flume-ng

-1热度

2回答

我想使用水槽提取twitter数据。但我得到以下错误 15/04/08 23:16:36 ERROR node.PollingPropertiesFileConfigurationProvider: Unhandled error java.lang.NoSuchMethodError: twitter4j.conf.Configuration.isStallWarningsEnabled()Z

0热度

1回答

水槽卷设置不工作

编辑*：以下是完整的配置文件： tier1.sources = source1 tier1.channels = channel1 tier1.sinks = sink1 tier1.sources.source1.type = org.apache.flume.source.kafka.KafkaSource tier1.sources.source1.command = /usr/bi

0热度

1回答

Flume - 从Windows的流日志文件到Linux中的HDFS

如何在Linux中将日志文件从Windows 7流式传输到HDFS？水槽在Windows是给错误我已经安装 '水槽节点-0.9.3' Windows 7上（节点1）。 'flumenode'服务正在运行，localhost：35862可以访问。在Windows中，日志文件位于'C：/logs/Weblogic.log' CentOS Linux（节点2）中的Flume代理程序也在运行。在W

3热度

2回答

如何在Apache Flume中传输文件时保留文件名？

我正在使用Flume 1.3.1 ng，我正在将一个文件从spoolDir传输到HDFS接收器，并且我需要outpufile的名称与输入文件相同。例如，如果输入文件名是sample.gz，那么输出也需要作为sample.gz 请您提供过程如何在Flume 1.3.1 ng中实现此功能。

0热度

1回答

什么原因导致了使用GCS接收器的水槽抛出OutOfMemoryException

我正在使用flume写入Google Cloud Storage。 Flume在HTTP:9000上收听。我花了一些时间使它工作（添加gcs库，使用凭证文件...），但现在它似乎通过网络进行通信。我送非常小的HTTP请求我的考验，我有足够的可用RAM： curl -X POST -d '[{ "headers" : { timestamp=1417444588182, env=dev, tena

0热度

1回答

水槽损失数据当收集在线数据到hdfs

我用flume-ng 1.5版本收集日志。数据流中有两个代理，它们分别位于两台主机上。并且从代理1到代理2发送数据。药剂的成分如下： AGENT1：假脱机目录源 - >文件信道 - >阿夫罗下沉 agent2：阿夫罗源 - >文件信道 - > HDFS水槽但是，它似乎损失数据约百万分之一百万的数据。为了解决问题，我试过下列步骤操作：查找代理日志：找不到任何错误或异常。查找代理监控指标

1热度

1回答

托管自定义端口的主机进程Google Compute Engine

此问题可能适用于在Google Compute Engine上的VM实例上的端口上侦听的任何Java进程。我试图在虚拟机上运行Apache Flume-ng进程的端口9090上建立TCP连接。我在默认网络中为0.0.0.0/0 TCP：9090添加了防火墙规则，并且我可以看到该进程正在侦听该端口。尝试连接时，我尝试了短暂主机IP和静态主机IP。我试图通过本地Web应用程序上的Flume-ng客

0热度

2回答

无法启动Elasticsearch接收器

我试图让我的elasticsearch接收器启动并运行。但是，我收到以下错误，并且如何解决它的想法已经不多了。任何帮助表示赞赏。这是错误： 2015-02-10 11：43：31,234错误org.apache.flume.lifecycle.LifecycleSupervisor：无法启动SinkRunner：{policy：[email protected] counterGroup ：{na

0热度

1回答

如何使用Flume在源代码上执行预处理并在hdfs接收器中保留实际文件名

我是使用Apache Flume的新手，我很难理解它是如何工作的。为了解释我的问题，所以我解释我的需要和我所做的。我想配置一个csv文件目录（这些文件每5分钟建立一个目录）和一个HDFS集群之间的流。我发现“假脱机目录”源和HDFS接收器是我需要的。这是给我这个flume.conf文件 agent.sources = seqGenSrc agent.channels = memoryChan

2热度

1回答

如何通过在水槽

参数我水槽配置文件 TwitterAgent.sources.Twitter.type = com.cloudera.flume.source.TwitterSource TwitterAgent.sources.Twitter.channels = MemChannel TwitterAgent.sources.Twitter.consumerKey = xxxxx TwitterAgen