pig-udf

0热度

1回答

正在尝试处理文件。截至目前，我正在得到如下所示的输出。 input file:- c=1,2,3 a,b,c,d,a d,e,f g,h,i,i c=2,3,4 j,k,l m,n,a,h c=3,2,5 d,g,a s,fs,a expecting an output like:- c=1,2,3,a,b,c,d,a c=1,2,3,d,e,

0热度

1回答

多个元组在用Java编写的猪脚本

输出示例猪UDF输入： (1, 10) (2, 100) (3,44) (4,99) 我最终想要创建我的Java UDF的直方图。我如何在UDF中一次输入所有这些内容？

1热度

1回答

猪udf效率级联内置函数

我是新来的PIG脚本，我有一个要求，我需要执行梯子如果其他条件，从我有什么知识，我们只有三元运算符，所以我是想写一个UDF，放入三元运算符级联如下： - （condition：statement1？（condition：statement 2？statement 3））数据大小在几百万行，我是否应该继续努力为我的要求创建一个UDF。最终，如果它导致性能问题，那就没有意义了。从我所知道的情况

0热度

1回答

无法打开别名的迭代器<alias_name>

我知道这是最重复的问题之一。我几乎到处都是这样，没有资源可以解决我所面临的问题。以下是我的问题陈述的简化版本。但在实际的数据是有点复杂，所以我必须使用UDF 我的输入文件：（input.txt中） NotNeeded1,NotNeeded11;Needed1 NotNeeded2,NotNeeded22;Needed2 我所要的输出是 Needed1 Needed2 所以，我写下面的

1热度

1回答

Pig UDF在生成新元组时抛出NullPointerException

我有一个Pig UDF，它获取一些数据，然后尝试以最小的方式转换该数据。 my_data = LOAD 'path/to/data' USING SomeCustomLoader(); my_other_data = FOREACH my_data GENERATE MyUDF(COL_1, COL_2, $param1, $param2) as output; my_final_data =

0热度

1回答

PigStorage是如何工作的？

我是Apache Pig的新手，我想知道如何将数据记录存储到FS的一些处理细节。 1.对于每个Tuple，其中PigStorage将它们变为可读String？ 2.我可以调用stringfy函数供我自己使用吗？ THX〜

0热度

1回答

在猪中使用UDF时出现错误1070

运行猪脚本时出现错误2017-10-29 03:34:22,212 [main] ERROR org.apache.pig.tools.grunt.Grunt - ERROR 1200: <line 6, column 13> Syntax error, unexpected symbol at or near ''/home/harsh/Hunny/HadoopPractice/Pig/Uppe

0热度

2回答

无法存储别名C，同时试图使用Python UDF猪

我的Python UDF代码： #commaFormat- format a number with commas, 12345-> 12,345 @outputSchema("numformat:chararray") def commaFormat(num): return '{:,}'.format(num) 我的猪脚本： DEFINE CSVExcelStorage or