2014-09-03 104 views

回答

2

这篇文章有关连接星火随着HBase的应该是有帮助的:http://www.vidyasource.com/blog/Programming/Scala/Java/Data/Hadoop/Analytics/2014/01/25/lighting-a-spark-with-hbase

Do I just add the hbase address into spark classpath?

号其实,你应该把HBase的configuraion文件火花类路径。如果没有,你应该在你的代码中设置它们,例如:

Configuration hConf = HBaseConfiguration.create(conf); 
    hConf.set("hbase.zookeeper.quorum", "PDHadoop1.corp.CompanyName.com,PDHadoop2.corp.CompanyName.com"); 
    hConf.setInt("hbase.zookeeper.property.clientPort", 10000); 
+1

你能告诉我如何将hbase配置文件放在spark类路径上吗?是这样的 - 出口SPARK_CLASSPATH = /路径/到/ hbase/conf? – RisJi 2014-09-04 14:00:43

+0

是的。但它只用于驱动程序。你可以阅读上面的帖子。它在代码中读取hbase-site.xml。 – zsxwing 2014-09-04 14:25:23

+0

谢谢!但是现在我得到一个错误:java.lang.NoSuchMethodError:org.apache.hadoop.net.NetUtils.getInputStream(Ljava/net/Socket;)Ljava/io/InputStream; \t at org.apache.hadoop.hbase.ipc.HBaseClient $ Connection.setupIOstreams(HBaseClient.java:437) – RisJi 2014-09-09 20:59:43