将输出存储在PIG中的文本文件中

Question

我需要将最终输出存储在PIG中的文本文件中。

我的要求是：

让'Test'是最终的输出文件，我需要将其存储在一个路径。 说，'/path/'

我的代码：

a = LOAD 'example.csv' USING PigStorage(';'); 

b = FOREACH a GENERATE $0,$1,$2,$3,$6,$7,$8,$9,$11,$12,$13,$14,$20,$24,$25; 

STORE b INTO ‘myoutput’; 

当我试图挽救最后是越来越保存为partfile。 但我需要在另一个关系中加载此输出。 如果我能够将其保存为文本文件，我可以加载它，但我可以在加载中使用零件文件吗？ 请建议将输出保存在文本文件中。

Answer 1

了解STORE命令加载到文件。请参阅本教程： https://pig.apache.org/docs/r0.7.0/piglatin_ref2.html#STORE

STORE b INTO ‘myoutput.txt’ using PigStorage(','); 

Answer 2

您可以使用正则表达式*加载存储的关系。

STORE b INTO '/path/' USING PigStorage(','); 

并加载它置身于另一个关于这个

a = LOAD '/path/part-*' INTO USING PigStorage(',');