flume-ng

0热度

1回答

我正在以用户“root”的身份执行Flume代理，我想将保存在位置/root/data-pipeline/input处的XML文件复制到位于hdfs位置的目标位置hdfs:///user/root/data_pipeline_demo/input.. 当我执行水槽剂flume-ng agent -c /etc/flume/conf -f /etc/flume/conf/flume.conf -n

0热度

3回答

阿帕奇水槽：kafka.consumer.ConsumerTimeoutException

我试图建立管道与Apache水槽： spooldir - >卡夫卡通道 - > HDFS沉活动去卡夫卡的话题没有问题，我可以看到他们kafkacat请求。但kafka频道无法通过接收器将文件写入hdfs。错误是：超时等待数据来自卡夫卡完整的日志： 2016年2月26日18：25：17125 （SinkRunner-PollingRunner-DefaultSinkProcessor -Sen

0热度

1回答

阿帕奇水槽不与Twitter流

出发试图让阿帕奇水槽鸣叫在HortonWorks。（使用教程点参考）水槽配置权。这里是flume.conf TwitterAgent.sources = Twitter TwitterAgent.channels = MemChannel TwitterAgent.sinks = HDFS TwitterAgent.sources.Twitter.type = com.cloudera

1热度

1回答

log4j2-错误Appenders包含无效的元素或属性“Flume”

我想使用Flume Appender属性log4j2。但运行程序时会获得以下错误。 2016-01-20 16:36:42,436 main ERROR Appenders contains an invalid element or attribute "Flume" 2016-01-20 16:36:42,436 main ERROR Appenders contains an in

5热度

1回答

使用文件通道在水槽中耗尽的空间可用空间

我正在使用带有后台打印目录的Flume作为源，HDFS作为宿和文件作为通道。执行水槽作业时。我遇到了以下问题。内存通道工作正常。但我们需要使用文件通道来实现相同的功能。使用文件通道我得到以下问题。我已经在flume.env.sh文件中将JVM内存大小配置为3GB。请让我知道我们需要做的其他设置。 2016年1月20日20：05：27,099错误[SinkRunner-PollingRunner-

0热度

1回答

错误，同时流twitter数据

我使用CDH 4.7，并尝试使用水槽下载流twitter数据到hadoop。我正在执行以下命令。但它显示一些权限在/ user/flume路径中被拒绝。如何解决此问题？ [[email protected] flume-ng]$ bin/flume-ng agent -n TwitterAgent --conf ./conf/ -f conf/flume.conf -Dflume.root.lo

3热度

1回答

FLUME IllegalStateException：begin（）在事务处于OPEN状态时调用

我写了一个名为MySink的自定义flume sink，其处理方法在下面的第一个代码段中指出。我得到一个IllegalStateException如下（详细的堆栈跟踪的第二个片段是可用下图）：致：java.lang.IllegalStateException：开始（）调用时交易是开放的！问题：我按照KafkaSink和在水槽代码库现有类似水槽的实现，而写的过程的方法和我申请非常相同的事务处理

0热度

2回答

Flume：使用Kafka通道将事件路由到适当的主题分区

在Flume中，使用Kafka通道时，是否有办法影响事件发送到哪个分区？卡夫卡沉，则key FlumeEvent头显然是用来选择一个分区，但我找不到关于与卡夫卡通道分区的任何文件。

0热度

1回答

HDFS IO错误org.apache.hadoop.ipc.RemoteException：服务器IPC版本9无法与客户端版本4通信

我在虚拟机中使用Flume 1.6.0，在另一台虚拟机中使用Hadoop 2.7.1。当我将Avro事件发送到Flume 1.6.0并尝试在Hadoop 2.7.1 HDFS系统上编写代码时。发生异常follwing (SinkRunner-PollingRunner-DefaultSinkProcessor) [WARN - org.apache.flume.sink.hdfs.HDFSEve

0热度

1回答

Flume Agent没有收到数据但没有错误

我有一个水槽的问题。我正在尝试获取大数据，因此我正在使用“傻瓜书”中的教程。到目前为止，其他的东西或多或少有效，但是水槽代理存在一些问题。 Here是我正在使用的教程。当我按照教程做的一切，我的终端输出将如下： 16/02/05 17:19:33 INFO conf.FlumeConfiguration: Post-validation flume configuration contains