2015-09-25 196 views
0

我正在尝试集成Spark和Hbase,并通过python使用它,并继续获取与ClassNotFound相关的错误。 (线77 -83)这里是我使用的代码:https://github.com/apache/spark/blob/master/examples/src/main/python/hbase_inputformat.py#L70ClassNotFound:apache.hadoop.io.ImmutableBytesWritable使用Python集成Spark与Hbase

错误,它给我的是:我是新来的Java enter image description here

。我不确定Java类的目录结构,因为我无法导航到我可以找到所有这些类的文件夹。无论如何,有人可以告诉我如何获得org.apache.hadoop.hbase.io.ImmutableByteWritable?

+0

你如何提交你的申请?我想你使用spark-submit,查找选项'--jars',并将路径传递给hbase-client.jar对应于您的hbase版本 –

+0

我使用pyspark并启动python spark driver = ipython来设置所有内容。我在ipython shell中运行命令。 – mousecoder

+0

是的,看看'--jars'选项。如果您遇到问题,请查看https://issues.apache.org/jira/browse/SPARK-5185。但首先尝试做像'bin/pyspark --jars /path/to/hbase-client.jar ...' –

回答

0

此文件是HBase的一部分。

请确保您已在项目中包含此依赖项(Jar,Maven Dependency)。

您可以执行mvn dependency:tree并确保您已包含此依赖项。