flume-ng

0热度

1回答

我为apache flume 1.7编写了自定义拦截器。拦截器必须为来自kafka源的所有事件设置特殊的标题，该标题与config定义的正则表达式匹配。但这是行不通的。我对java的知识太低，请帮我解决问题。我的配置/etc/flume-ng/conf/flume.conf的部分： ######################## kafka source ###################

1热度

1回答

使用FLUME将数据存储在Hadoop中

我已经按照教程中的hadoop安装和Flume的所有步骤进行了操作。我在大数据工具中很无聊。我收到以下错误。我不明白，问题在哪里？我也读了很多关于安装的帖子，但我仍然面临这个问题。我的最终目标是使用R执行Twitter情绪分析。 17/09/29 02:25:39 INFO node.PollingPropertiesFileConfigurationProvider: Configurati

-1热度

1回答

将Kafka消息流式传输到MySQL数据库

我想将Kafka消息写入MySQL数据库。在this链接中有一个示例。在那个例子中，apache flume用于消费消息并将其写入MySQL。我使用相同的代码，当我运行flume-ng agent和event始终成为null 而且我flume.conf.properties文件是： agent.sources=kafkaSrc agent.channels=channel1 agent.sin

0热度

2回答

当数据从卡夫卡流向HDFS时，Flume没有足够的空间错误

我们正在努力处理从Kafka到由Flume管理的HDFS的数据流。由于下面描述的例外情况，数据未完全传输到hdfs。但是这个错误对我们来说看起来有些误导，我们在数据目录和hdfs中都有足够的空间。我们认为这可能是通道配置的问题，但我们对于其他来源具有类似的配置，并且对于它们来说工作正常。如果有人不得不处理这个问题，我会很感激提示。 17 Aug 2017 14:15:24,335 ERROR

0热度

1回答

卡夫卡分区领导人选举失败后，不受控制的经纪人关机

我们有3卡夫卡经纪人和主题与40个分区和复制因子设置为1.在一些分区失控的卡夫卡经纪人关闭后，我们看到，它是不可能选出新的领导者（请参阅下面的日志）。最终我们无法读到这个话题。请注意，如果可以在不改变复制因子大于1的情况下幸存这种类型的崩溃。我们希望我们的目标数据库具有一致的状态（基于kafka主题的事件创建），所以我们还将参数unclean.leader.election.enable设置为

0热度

1回答

水槽错误：通道hdfschannel不活跃集

我得到以下错误消息，当我开始我的水槽剂： 17/10/15 14:40:47 WARN conf.FlumeConfiguration: Could not configure sink hdfssink due to: Channel hdfschannel not in active set. org.apache.flume.conf.ConfigurationException: Cha

0热度

1回答

如何将Apache Flume配置为不使用.COMPLETE

重命名摄入的文件我们有一个AWS S3存储桶，我们可以以10分钟的时间间隔获取新的CSV文件。目标是将这些文件摄入Hive。所以对我来说显而易见的方式是使用Apache Flume为此并使用Spooling Directory来源，它将不断寻找登陆目录中的新文件并将它们摄入Hive中。我们有read-only权限S3存储桶和登陆目录中的文件将被复制和Flume后缀摄入文件后缀.COMPLETE

0热度

1回答

来自Kafka在Flume中的EOFException

我正在尝试设置从控制台Kafka生产者到Hadoop文件系统（HDFS）的简单数据管道。我正在开发一款64位的Ubuntu虚拟机，并按照我所遵循的指南的建议，为Hadoop和Kafka创建了单独的用户。使用控制台消费者在卡夫卡消费生产的输入，并且HDFS似乎正在运行。现在我想使用Flume将输入传送到HDFS。我使用下面的配置文件： tier1.sources = source1 tier1.

1热度

1回答

HDFS汇：如何摆脱由水槽在HDFS中的每一个事件添加时间戳的文件

我有一个包含在每一行JSON的几个文件 [[email protected] vp_flume]# more vp_170801.txt.finished | awk '{printf("%s\n", substr($0,0,20))}' {"status":"OK","resp {"status":"OK","resp {"status":"OK","resp {"status":"OK

0热度

1回答

带有Flume的卡夫卡消息中的意外字符

我有一个使用Flume的摄入管道& Kafka，使用CSV文件，在Flume Interceptor中将事件转换为JSON并在Kafka中推送它。当我在发送给Kafka之前记录消息时，这是一个正常的，有效的JSON。但是，当从Kafka消费相同的消息时，我在尝试序列化它时收到错误，并说它不是有效的JSON。事实上，我有无法识别的字符在我的消息的开头：例如我认为它代表水槽试图在张贴到卡夫卡时