apache-pig

-2热度

1回答

这是我的数据集品牌名称其次是价格在$符号 Apple iPhone 6s Plus 16GB Space Gray T-Mobile Smartphone 2 cases + Box: Iphone 6s 16gb rose gold factory unlocked:$280 iPhone 6s 64gb T-Mobile:$350 Iphone 6S Plus 64 GB Space

1热度

1回答

使用PIG删除空格

我用逗号（，）分隔（csv）数据集。每个分隔符后面有一个空格，我想在Pig脚本中删除。例如排的样子： "Sachin", "India", "batsaman", "99", "kolkata", " ", "xyz" 逗号后移除空格之后，它应该是这样的： "Sachin","India","batsaman","99","kolkata"," ","xyz"

3热度

1回答

如何总结特定的列时PIG

关键的比赛我有样本数据如下： (id,code,key,value) 1,A,p,10 2,B,q,20 3,B,p,30 3,B,q,20 3,C,t,60 3,C,q,20 存储至PIG后，我需要输出象下面这样： O/P: (A,{(p,10)}) (B,{(q,40),(p,30)}) (C,{(t,60)},(q,20)) 我们可以删除ID ，并且需要为特定

1热度

1回答

如何将shell变量传递给pig参数文件

如何将shell变量传递给pig参数文件。作为一个例子，我有一个定义为DB_NAME的shell变量。我想定义我的猪参数文件 p_db_nm = $ DB_NAME 我试着像上面不工作，我也尝试像回声$ DB_NAME也不起作用。我知道我可以通过在命令行中使用-param来传递此信息，但我有很多变量，我希望将它放在param文件中，但值将在shell脚本中定义。我在谷歌搜索了很多主题，并没有任何

1热度

2回答

产生PIG一组从一个元组的元组

我找不到任何解决方案如何根据规则从一个元组猪生成一组元组：输入： ((1,2,3),(a,b,c),(aaa,bbb,ccc)) 输出： (1,a,aaa) (2,b,bbb) (3,c,ccc) 假设TOBAG和FLATTEN应该适用，但它似乎太棘手。

-2热度

1回答

SQL跟踪最新记录并更新

我有一个表id_track历史记录，它在不同的时间戳中更新id。我想通过在sql中迭代搜索来整合到最新的id。我怎样才能在SQL中做到这一点？表： OLD_ID NEW_ID TIME-STAMP 101 103 1/5/2001 102 108 2/5/2001 103 105 3/5/2001 105 106 4/5/2001 110 111 4/5/2001 108 116 14/5/20

0热度

1回答

使用piglatin

由integerlist筛选列表我有一个看起来像这样的列表：lista.csv： client-id priority client-start assignment 12345 1 1250125125 13 1246 3 1250122156 27 12616 1 1250122351 3 ... ，我有另一个列表，看上去就像一个向量listb.csv：

0热度

1回答

如何拉平一组包内的元组

假设我们有test_file以下数据： 1, 3, 4 1, 5, 6 和下面的脚本： r1 = load 'test_file' using PigStorage(',') as (a:int, b:int, c:int); r2 = foreach r1 generate a, (b, c) as bc; r2_group = group r2 by a; r3 = fore

2热度

1回答

Apache Pig：DEFINE STREAM使用Python代码的错误

我在练习Apache Pig。使用DEFINE和STREAM运算符我想使用python脚本流式传输文件并获取一些编辑输出。 Below is the file I am using. [[email protected] ~]$ cat data/movies_data.csv 1,The Nightmare Before Christmas,1993,3.9,4568 2,The Mum

0热度

1回答

如何在aws emr上启动-t ColumnMapKeyPrune

在我的猪脚本中，我希望文件名与每个记录进行一些进一步处理，所以我使用了-tagFile选项。现在，使用-tagFile选项后，列名都拿到未对齐所以我用下面的命令参照这个博客后，只得到所需的列：http://www.webopius.com/content/764/resolved-apache-pig-with-tagsource-tagfile-option-generates-incorrec