apache-pig

2热度

1回答

有没有人有过使用HBaseStorage通过Pig在Dataproc上从Bigtable载入数据的经验或成功？这是我试图运行的一个非常简单的Pig脚本。它会失败，并显示无法找到BigtableConnection类的错误，我想知道我可能会错过哪些设置以成功从Bigtable加载数据。 raw = LOAD 'hbase://my_hbase_table' USING org.apac

0热度

1回答

如何衡量猪的业绩

我遇到了两个脚本，它们完成了计算猪价值百分比的相同工作。 SCRIPT1 total = FOREACH (GROUP A ALL) GENERATE COUNT(A); rows = FOREACH (GROUP A by $0) GENERATE group as colname, COUNT(A) as cnt; fractions = FOREACH rows GENERATE col

1热度

1回答

Pig-无法转储数据

0热度

1回答

映射器无法将数据插入到MongoDB中

我正尝试使用MongoInsertStorage和PIG将文件从HDFS导入到MongoDB。这些文件很大，大约5GB。该脚本运行正常，当我与 pig -x local example.pig 运行在本地模式但是如果我在映射精简模式下运行，大部分的映射器的失败，出现以下错误： Error: com.mongodb.ConnectionString.getReadConcern()Lcom/mo

0热度

1回答

在猪的foreach语句后过滤

所以我有一列，U列和列名称u_id。 filter_out = filter A BY s_id == (FOREACH u GENERATE u_id); 我基本上是想通过在u表中的每一行匹配来过滤一张表。所以基本上如果是从（表1）从S_ID第二表匹配的U_ID，过滤出来我不断收到不匹配的输入“U” expecting LEFT_PAREN错误 -------------第二个方法---

0热度

1回答

apache pig，按值分组的值排列

使用Apache Pig，我需要一个字段的所有排列，按id字段分组（通过本例中的'title'）。输入的数据是这样的：模式是{chararray，chararray} (title1, name1) (title1, name2) (title1, name3) (title2, name4) (title2, name5) (title2, name6) 我需要TITLE1名字的

0热度

1回答

如何转换目标值与猪？

我有一些数据与4个值的目标，我希望其中三个成为使用拉丁猪一个单一的一部分。 Input: Output: ID | Target ID | Target ----------------- ----------------- test1 1 test1 1 test2 1 test2 1 test3 2 test3 2 test4

0热度

1回答

Apache Pig中的模式格式

我是这种语言的新手，我试图为Excel电子表格中的数据创建一个模式，并将其下载到一个文本文件中。（文本文件附后）请注意我有没有java知识，这是所有的猪。有人可以帮助我正确地格式化此格式以匹配架构并删除数字值中的逗号吗？我试图代码： sales2000 = LOAD '2000rssales1.txt' USING PigStorage() AS (field1:chararray,f

1热度

1回答

Pig载入：不推荐使用的属性fs.default.name

我已经安装了Hadoop 2.6.5，并且我刚刚在同一台机器上安装了Pig 0.16。我跑了猪，然后我用 a = load '/user/hduser/input/palabras.txt';加载了一个文件，我得到了这个INFO INFO org.apache.hadoop.conf.Configuration.deprecation - fs.default.name is deprecated

0热度

1回答

如何将.dat文件加载到配置单元或hdfs？

如何将.dat文件加载到配置单元或cloudera或hdfs？是否有必要通过使用pig将此格式转换为结构化格式？如果是的话有人可以给猪脚本将其转换为结构数据吗？我的数据是这样的，当我在记事本中打开.dat文件++ Americas¤AME ¤ZONE¤ ¤¤¤Active¤ Asia-Pacific¤APA ¤ZONE¤ ¤¤¤Active¤ Europe¤EUR ¤ZONE¤ ¤¤¤A