flume-ng

0热度

1回答

从Apache水槽1.6官方网站，我发现水槽是分布。但是主从架构在Flume 1.x之后已经被弃用了。水槽如何分配工作？我通过Hortonworks在两台主机上安装了水槽。我觉得在两台不同的机器上运行2个独立的水槽。有人可以帮助我了解它的分布。如果我在主机A和主机B上配置了相同源和接收器的HttpAgent，该怎么办？是否会复制输入数据或水槽坐标？请纠正我的理解。

0热度

1回答

需要帮助调试kafka源到hdfs接收器与flume

我想从kafka发送数据（最终我们将使用运行在不同实例上的kafka）到hdfs。我认为flume或某种摄取协议是将数据导入hdfs所必需的。所以我们使用了cloudera的flume服务和hdfs。这是我的flume-conf文件。 2181：当我开始卡夫卡消费者也可以从卡夫卡生产的消息在本地主机上就好了其他的conf文件是空 tier1.sources=source1 tier1.chan

0热度

1回答

水槽配置不工作，显示异常

我有followinf水槽配置。我正在尝试使用来自spool目录的flume将大小为9GB的文件传输到hdfs。我有以下水槽配置。 #initialize agent's source, channel and sink wagent.sources = wavetronix wagent.channels = memoryChannel2 wagent.sinks = flumeHDFS

2热度

1回答

定制水槽拦截：截距（）方法调用多次对同一事件

TL; DR 当水槽源未能事务推到在流水线中的下一信道，它始终保持事件实例为下一次尝试？一般情况下，安全有有状态 Flume拦截器，其中事件的处理取决于以前处理的事件？全部问题描述：我正在考虑利用有关方式主题分区消费者分布在消费群体在现有的基础水槽日志进行流式重复数据删除阿帕奇卡夫卡提供担保的可能性整合架构。使用Kafka Source for Flume和自定义路由到Kafka主题分区，

0热度

1回答

Apache Flume卡住后执行flu-ng

我需要帮助。我已经下载Apache Flume并安装在Hadoop之外，只是想通过控制台尝试netcat日志记录。我用1.6.0版本。这里是我的conf https://gist.github.com/ans-4175/297e2b4fc0a67d826b4b 这里是我如何开始它 bin/flume-ng agent -c conf -f conf/netcat.conf Dflume.ro

1热度

1回答

水槽命令[尾巴-F]退出，1

试图在Linux中运行以下命令： 2016-06-26 09:03:44,610 (conf-file-poller-0) [INFO - org.apache.flume.node.Application.startAllComponents(Application.java:138)] Starting new configuration:{ sourceRunners:{r1=EventDr

0热度

2回答

找不到我的数据写入hdfs与水槽

我想用Flume写入HDFS数据。这是我的水槽代理配置： a1.sources = r1 a1.sinks = k1 a1.channels = c1 # Describe/configure the source a1.sources.r1.type = netcat a1.sources.r1.bind = localhost a1.sources.r1.port = 4141

0热度

1回答

运行代理与Apache水槽

我试图使用我的推特应用程序使用flume 1.6v从Twitter下载日志数据。但我不断面临着这样的错误： error>>/usr/hdp/2.2.9.0-3393/flume/bin/flume-ng.distro: line 247: /usr/java/jdk1.7.0_79/bin/java/: Not a directory /usr/hdp/2.2.9.0-3393/flume/b

0热度

1回答

flume hdfs rollSize不能在多通道和多接收器中工作

我想用Flume-ng来获取128MB的日志信息并将其放入HDFS文件中。但HDFS滚动选项不起作用。 Flume-ng每秒发送日志文件。我怎样才能修复flume.conf文件？ agent01.sources = avroGenSrc agent01.channels = memoryChannel hdfsChannel agent01.sinks = fileSink hadoopSin

-1热度

1回答

使用Flume将本地文件系统中的文件复制到HDFS

在java中使用文件生成器时，我将在本地文件系统中拥有需要在HDFS中移动的目录和文件流。我在互联网搜索，我看到我可以使用Flume，但我没有找到任何资源，向我解释如何做到这一点。你有什么想法如何实现这一点？谢谢