Datastax Spark worker始终在127.0.0.1处寻找主服务器

我正尝试通过使用“dse cassandra -k -s”以分析模式调用datastax cassandra。我在单个节点设置上使用DSE 5.0沙箱。Datastax Spark worker始终在127.0.0.1处寻找主服务器

我已经用SPARK_MASTER_IP和SPARK_LOCAL_IP配置spark-env.sh来指向我的LAN IP。

export SPARK_LOCAL_IP="172.40.9.79" 
export SPARK_MASTER_HOST="172.40.9.79" 
export SPARK_WORKER_HOST="172.40.9.79" 
export SPARK_MASTER_IP="172.40.9.79"

以上所有变量均在spark-env.sh中设置。

尽管这些，工人不会上来。它一直在寻找在127.0.0.1.This主是我在/var/log/cassandra/system.log看到的错误

WARN [worker-register-master-threadpool-8] 2016-10-04 08:02:45,832 SPARK-WORKER Logging.scala:91 - Failed to connect to master 127.0.0.1:7077 
java.io.IOException: Failed to connect to /127.0.0.1:7077

从DSE客户端工具结果表明127.0.0.1

$ dse client-tool -u cassandra -p cassandra spark master-address 
spark://127.0.0.1:7077

但是我能够从LAN IP 172.40.9.79

Spark Web UI screenshot

任何帮助是极大的赞赏

访问火花的web用户界面

来源

2016-10-04 I.Peer

我已经把本地主机的cassandra.yaml中的listen_address留下了。指着172.40.9.79解决了问题 –

尝试在文件spark-defaults.conf中添加此参数：spark.master local [*]或spark.master 172.40.9.79。也许这就解决了你的问题

来源

2016-10-05 00:06:40

这并没有帮助，谢谢你的建议。我通过在cassandra.yaml文件中将listen_address指向172.40.9.79来修复它 –

Datastax Spark worker始终在127.0.0.1处寻找主服务器

回答

相关问题