flume-ng

0热度

1回答

设法解决基层的netcat程序错误：无法找到或加载主类org.apache.flume.node.Application 没有想法解决这个？长时间卡住...需要帮助吗？水槽版本 - 1.4.0 Java版本 - 1.7

2热度

1回答

我在Spark Streaming中使用spark 1.6.0，并且遇到了广泛操作中的一个问题。代码示例： RDD名为“a”，其类型为：class'pyspark.rdd.PipelinedRDD'。 “一个” 被接收到为： # Load a text file and convert each line to a Row. lines = sc.textFile(filename)

1热度

1回答

流到mysql的流水线

我一直在尝试使用APACHE KAFKA和FLUME将数据流到MySQL数据库。（这是我的水槽的配置文件） agent.sources=kafkaSrc agent.channels=channel1 agent.sinks=jdbcSink agent.channels.channel1.type=org.apache.flume.channel.kafka.KafkaChannel

0热度

1回答

Flume Hive接收器无法序列化JSON与阵列

我正尝试通过Hive接收器将JSON数据加载到Hive。但它失败，出现以下错误： WARN org.apache.hive.hcatalog.data.JsonSerDe: Error [java.io.IOException: Field name expected] parsing json text [{"id": "12345", "url": "https://mysite", "ti

1热度

2回答

Flume卡夫卡水槽中的org.apache.kafka.common.errors.RecordTooLargeException

我正在尝试从JMS源读取数据，并将它们推入到KAFKA主题中，同时这么做几个小时后，我观察到将频率推向KAFKA主题变成几乎为零，经过一些初步分析，我在FLUME日志中发现了以下异常。 28 Feb 2017 16:35:44,758 ERROR [SinkRunner-PollingRunner-DefaultSinkProcessor] (org.apache.flume.SinkRunner

0热度

1回答

Flume流gz文件

我有一个文件夹包含了很多gzip文件。每个gzip文件都包含xml文件。我曾使用flume将文件流式传输到HDFS。下面是我的配置文件： agent1.sources = src agent1.channels = ch agent1.sinks = sink agent1.sources.src.type = spooldir agent1.sources.src.spoolDir =

1热度

1回答

为什么我的Flume代理不启动？

我试图设置一个基本的Kafka-Flume-HDFS管道。卡夫卡是启动和运行，但是当我通过 bin/flume-ng agent -n flume1 -c conf -f conf/flume-conf.properties -D flume.root.logger=INFO,console 好像代理开始水槽剂不上来作为唯一的控制台日志我得到的是： Info: Sourcing enviro

0热度

1回答

用Apache Flume摄取bzip2文件

我需要摄取bzip2中的压缩文件。有没有可能使用水槽？我已经试过它与假脱机目录和BlobDeserializer，但它是不可读的在水槽。在此先感谢！

0热度

1回答

Twitter Flume数据不可读格式

我的twitter数据不是可读格式。我使用flume获取twitter数据，我正在尝试使用hive表读取数据。但我无法在hdfs中看到正确的数据。以下是详细内容： flume-env.sh - export JAVA_HOME=/usr/java/jdk1.7.0_67-cloudera FLUME_CLASSPATH="/opt/cloudera/parcels/CDH-5.8.0-1.cdh

0热度

1回答

ArcSight的CEF系统日志配置差异RAW TCP和UDP

ArcSight的CEF系统日志配置与RAW TCP和UDP之间的区别是什么？，才有可能把UDP系统日志发送不含底线例如\n 它是如何possibole从ArcSight可那个水槽syslogtcp发送系统日志将它读成系统日志