2011-04-12 76 views
0

ICE版本: Infobright的-3.5.2-P1-win_32有麻烦在Infobright的ICE数据加载

我试图装入大型文件,但继续运行与错误的问题,例如:

错误的数据或列定义。行:989,字段:5.

这是989行,场5:

“(450)568-3 ***”

注:最后3个字符都是数字为好,但不想张贴在这里somebodys电话号码。

这是任何在该领域中的其他项的真的没有什么不同。

该字段的数据类型为VARCHAR(255)NOT NULL

+0

您可以发布您运行的查询以加载数据?表DDL也会有帮助,以及文件中的示例行。 – curlingdude 2011-09-06 15:06:33

回答

3

此外,如果您升级到当前版本4.0.6,我们现在支持LOAD期间的行级错误检查并支持拒绝文件。

要启用拒绝文件功能,您必须指定BH_REJECT_FILE_PATH和其中一个关联参数(BH_ABORT_ON_COUNT或BH_ABORT_ON_THRESHOLD)。例如,如果要将文件DATAFILE.csv中的数据加载到表T中,但您希望该文件中的10行可能格式错误,则可以运行以下命令:

set @BH_REJECT_FILE_PATH ='/ tmp/reject_file';

set @BH_ABORT_ON_COUNT = 10;

将数据载入DATAFILE.csv到表T中;

如果少于10行被拒绝,将输出警告,加载将成功,所有有问题的行将输出到文件/ tmp/reject_file。如果Infobright Loader发现第十个错误行,则加载将会以错误终止,并且到目前为止发现的所有坏行都将输出到文件/ tmp/reject_file。

0

当文件的最后一行没有以--lines-terminated-by =“\ n”的值结尾时,我遇到了这个问题。 例如,如果我导入9000行数据的文件,我必须确保在文件末尾有一个新行。 根据文件的大小,你可以用文本编辑器打开它并点击返回k

0

我发现这与'\ r \ n'与'\ n'的区别是一致的。即使在Windows上的加载程序上运行,'\ n'也会成功100%(假设您的数据与列的定义没有实际问题)