试图编译我的猪UDF使用Maven时,我收到以下错误(或我的IDE的IntelliJ为此事):猪UDF没有找到WritableComparable
cannot access org.apache.hadoop.io.WritableComparable
class file for org.apache.hadoop.io.WritableComparable not found
所以我想我会添加一个依赖到hadoop核心到我的POM文件,但仍然没有改变,虽然我检查和WritableComparable类在jar中。
我的UDF类看起来是这样的:
public class INCREMENTAL_UPDATE extends EvalFunc<DataBag> {
TupleFactory tupleFactory = TupleFactory.getInstance();
BagFactory bagFactory = BagFactory.getInstance();
public DataBag exec(Tuple input) throws IOException {
if (null == input || input.size() != 0) {
return null;
}
try {
DataBag inputbag = (DataBag) input.get(0);
Iterator it = inputbag.iterator();
DataBag outputbag = bagFactory.newDefaultBag();
Tuple previousTuple = null;
while (it.hasNext()) {
Tuple currentTuple = (Tuple) it.next();
Tuple outputTuple = tupleFactory.newTuple();
for (int i = 0; i < currentTuple.size(); i++) {
Object currentvalue = currentTuple.get(i);
if (currentvalue == null) {
outputTuple.append(currentvalue);
} else {
outputTuple.append(previousTuple.get(i));
}
}
previousTuple = outputTuple;
outputbag.add(outputTuple);
}
return outputbag;
} catch (Exception e) {
throw new IOException("UDF INCREMENTAL_UPDATE failed");
}
}
}
我还没有这是否会实际工作要弄清楚,因为我不能确定,如果UDF是分布式的。如果是的话,那个previousTuple可能不会工作。但我甚至无法测试,因为我无法编译,因为上面的错误。
我没有使用maven来编译一个UDF jar,我只使用ant,所以我不能帮忙。但是你的'previousTuple'技巧是行不通的。 exec函数在每条记录上运行,所以'previousTuple'将始终为'null'。但是,您可以将'previousTuple'设为类成员,并且可能会将其状态转移到下一条记录。由于记录可能以不可预知的顺序进行处理,但目前还不清楚这是否有用。 –