5
A
回答
2
这篇文章有关连接星火随着HBase的应该是有帮助的:http://www.vidyasource.com/blog/Programming/Scala/Java/Data/Hadoop/Analytics/2014/01/25/lighting-a-spark-with-hbase
Do I just add the hbase address into spark classpath?
号其实,你应该把HBase的configuraion文件火花类路径。如果没有,你应该在你的代码中设置它们,例如:
Configuration hConf = HBaseConfiguration.create(conf);
hConf.set("hbase.zookeeper.quorum", "PDHadoop1.corp.CompanyName.com,PDHadoop2.corp.CompanyName.com");
hConf.setInt("hbase.zookeeper.property.clientPort", 10000);
相关问题
- 1. 火花流HBase的错误
- 2. 火花配置优先
- 3. 火花R的Hadoop配置
- 4. 如何在火花
- 5. 使用火花阅读hbase表
- 6. 失败incrementColumnValue HBASE火花斯卡拉
- 7. 火花阶读取配置文件
- 8. 配置火花视图引擎!
- 9. 如何在HA模式下配置HBase?
- 10. 如何配置火花sql节俭服务器
- 11. 如何使用火花访问配置单元数据
- 12. 在火花集群中配置主节点
- 13. 无法设置在配置火花提交
- 14. 如何在火花中分发任务
- 15. 火花2到火花1.6
- 16. 如何在Scala中使用流浪盒火花装置?
- 17. 如何在Flex中控制火花Datagrid的滚动条位置?
- 18. 火花java.util.logging.Logger中
- 19. 火花网UI中的配色方案
- 20. 在Windows中配置HBase集群
- 21. 如何使用火花
- 22. 在本地模式下火花提交 - 配置
- 23. 在HDFS的火花输出上创建配置单元表
- 24. 无法使用火花在配置单元上写数据
- 25. 如何杀死火花应用的火花作业?
- 26. 阅读hbase表中盐与phoenix在配置单元hbase serde
- 27. 来自多个配置文件的火花加载设置
- 28. SnappyData - 配置数据流作业,火花设置
- 29. 如何在Azure HDInsight的Spark Cluster中配置HBase?
- 30. 火花
你能告诉我如何将hbase配置文件放在spark类路径上吗?是这样的 - 出口SPARK_CLASSPATH = /路径/到/ hbase/conf? – RisJi 2014-09-04 14:00:43
是的。但它只用于驱动程序。你可以阅读上面的帖子。它在代码中读取hbase-site.xml。 – zsxwing 2014-09-04 14:25:23
谢谢!但是现在我得到一个错误:java.lang.NoSuchMethodError:org.apache.hadoop.net.NetUtils.getInputStream(Ljava/net/Socket;)Ljava/io/InputStream; \t at org.apache.hadoop.hbase.ipc.HBaseClient $ Connection.setupIOstreams(HBaseClient.java:437) – RisJi 2014-09-09 20:59:43