使用Flume导入csv

Question

我想用flume将csv文件导入HDFS。 但我得到“行长超过最大2048”这个警告和行被截断。 任何人都可以请建议我如何解决这个问题。

下面是我的源file--

a1.sources = s 
a1.channels = c 
a1.sinks = sk 

a1.sources.s.type = spooldir 
a1.sources.s.spoolDir = /home/itelligence/Desktop/Project 2 

a1.channels.c.type = file 

a1.sinks.sk.type = hdfs 
a1.sinks.sk.hdfs.path = /project 2 
a1.sinks.sk.hdfs.fileType = DataStream 

a1.sources.s.channels = c 
a1.sinks.sk.channel = c 

---

预先感谢您

Answer 1

此行添加到您的源文件

a1.sources.s.deserializer.maxLineLength = <MAXIMUM_LINE_LENGTH>