apache-pig

0热度

1回答

我有一个像下面 1,1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|2|2|2|3|3|1|1|1|1|1|1|1|1|1|2|3,2016-17-08 2,1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1,2016-07-10 3,1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|

1热度

1回答

在Pig中返回0条记录的过滤器命令

A = LOAD 'Batting.csv' USING PigStorage(','); B = foreach A generate $0 as id:int,$1 as year:int,$8 as run:int; C = FILTER B by year==1956; 但是DUMP C返回0条记录。但是档案中有1956年的记录。的样本数据： playerID,yearID,st

1热度

1回答

错误1066：无法打开iteratorfor别名

命令来运行（试图获得得分最高运行） Run_M = foreach Run_Group_All generate (Match.Player, Match.Run) , MAX(Match.Run); 按日志组命令失败，任何人可以帮助在哪里的问题？ java.lang.Exception: org.apache.pig.backend.executionengine.ExecException

0热度

1回答

field_discarded_type_conversion_failed错误 - 猪

我正在使用CROSS操作符。我在hdfs中有两个文件data1 & data2，如下所示。 data1- (1,2,3) (4,2,1) 数据2 (2,4) (8,9) (1,3) 现在我通过键入命令加载此文件到一个变量; A = LOAD 'data1' AS (a1:int,a2:int,a3:int); dump A; 倾倒它之后是显示错误 FIELD_DISCARDED

0热度

1回答

如何使用蜂巢或猪

输入 id,name,time 1,home,10:20 1,product,10:21 1,mobile,10:22 2,id,10:24 2,bag,10:30 2,home,10:21 3,keyboard,10:32 3,home,10:33 3,welcome,10:36 我要根据以下的输出，使列名作为源和目标，使行数据源和目标曲折。前面我与pig 尝试的步骤是：

0热度

1回答

处理大数据中的复杂联接

OLTP系统已规范化并包含数百个表。在设计报告时，我们可能需要加入很多表格。例如，我需要加入四到五张表才能获得客户的电子邮件地址。（感谢我们使用的电信模型）我想在hdfs（或者s3）中设计一个数据仓库。为了将emaill地址和自定义ID写入配置单元中的表中：我需要使用sqoop import命令将五个表中的整个数据提取到hdfs中。然后我需要在蜂巢中加入这些表格。所以这个过程可能会持续很长

0热度

1回答

如何读取Pig中的值列表作为包并将其与特定值进行比较？

输入： IDS： 1111,2222,3333,4444 员工： {"name":"abc","id":"1111"} {"name":"xyz","id":"10"} {"name":"z","id":"100"} {"name":"m","id":"99"} {"name":"pqr","id":"3333"} 我想筛选员工的ID存在于给定的列表。预期输出： {"name":"x

0热度

1回答

错误1200：猪脚本无法解析

我正在下面执行错误： data1 = load '/user/pig/join2_genchanA.txt' using PigStorage(',')as (showname:chararray, channelname:chararray); data2 = load '/user/pig/join2_gennumA.txt' using PigStorage(',')as (showna

0热度

1回答

运行猪脚本时出现TypeCast异常

下面是我的猪脚本。它非常简单。加载一些数据。按列过滤数据。使用数据类型生成模式。将数据存储在配置单元表中。当我执行数据，其扔 emp = load '/root/emp.nulls' using PigStorage(','); filt = filter emp by $2 is not null; f = foreach filt generate $0 as id:int, $1 as

0热度

1回答

在加入猪“OR”条件时会不会起作用？

我想实现下面的SQL语句PIG SCRIPT 表1 A，B，C，d列表2 W，X，Y，Z列 Select t.a,t.b,t.c,t.d from Table1 t Join Table2 tab on (t.a=tab.w or t.b=tab.x)