使用jRuby编写Hive UDF

可以这样做吗？这是一个测试UDF我曾试图写：使用jRuby编写Hive UDF

java_package "com.foo.hive.udf" 
java_import org.apache.hadoop.hive.ql.exec.Description 
java_import org.apache.hadoop.hive.ql.exec.UDF 

java_annotation 'Description(name = "foo", value = "_FUNC_(string) - just returns test.")' 
class Foo < UDF 
    def evaluate ts 
    "test" 
    end 
end

然后我编译这样的：

jrubyc com/foo/hive/udf/Foo.rb 
jar -cf Foo.jar com/foo/hive/udf/*.class /path/to/jruby-1.7.3/lib/jruby.jar

然后我尝试使用它：

hive> ADD JAR path/to/Foo.jar; 
Added /path/to/Foo.jar to class path 
hive> CREATE TEMPORARY FUNCTION foo AS 'com.foo.hive.udf.Foo';

这一点让我：

java.lang.NoClassDefFoundError: org/jruby/ast/executable/AbstractScript 
    at java.lang.ClassLoader.defineClass1(Native Method) 
    at java.lang.ClassLoader.defineClass(ClassLoader.java:634) 
    at java.security.SecureClassLoader.defineClass(SecureClassLoader.java:142) 
    at java.net.URLClassLoader.defineClass(URLClassLoader.java:277) 
    at java.net.URLClassLoader.access$000(URLClassLoader.java:73) 
    at java.net.URLClassLoader$1.run(URLClassLoader.java:212) 
    ... 
FAILED: Execution Error, return code -101 from org.apache.hadoop.hive.ql.exec.FunctionTask 
hive> ADD JAR /path/to/Foo.jar;

同样的事情，用java编写，工作正常。所以这对我来说似乎是一个jRuby问题？

来源

2013-04-22 Vlad the Impala

java.lang.NoClassDefFoundError: org/jruby/ast/executable/AbstractScript告诉你JRuby运行时jar不可用。当您编译JRuby类时，它会创建一个.class文件，该文件取决于您编译的JRuby版本。

我猜，如果你下载了完整的JRuby罐子，你可以运行

> ADD JAR jruby-complete-1.7.4.jar

，然后你的类必须配置它的依赖。

来源

2013-08-08 14:48:36 BaroqueBobcat

使用jRuby编写Hive UDF

回答

相关问题