Hadoop的泊坞窗设置 - 字计数教程

我下面的教程运行WordCount.java在here提到的，当我运行下面一行教程Hadoop的泊坞窗设置 - 字计数教程

hadoop jar wordcount.jar org.myorg.WordCount /user/cloudera/wordcount/input /user/cloudera/wordcount/output

我碰到下面的错误 -

17/09/04 01:57:29 INFO client.RMProxy: Connecting to ResourceManager at /0.0.0.0:8032 
17/09/04 01:57:30 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 0 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)

我使用的码头图像是docker pull cloudera/quickstart

没有使用Docker的Hadoop设置教程，所以如果你觉得它会有帮助ld告诉我要克服这些问题的配置。

来源

2017-09-04 Naveen Dennis

该教程假定您处于群集中，并且可以使用Hadoop客户端命令，启动Hadoop服务并进行正确配置。

0.0.0.0:8032是the default YARN resource manager，所以你需要配置HADOOP_CONF_DIR XML文件（特别yarn-site这个错误）在纱线的正确地址泊坞窗容器点。 core和hdfs-site也需要配置为指向HDFS。

来源

2017-09-04 15:35:36

有没有办法找出哪个IP和端口被使用？我在哪里配置这些设置 - 因为有多个yarn-site.xml文件？ –

应该只有一个纱线站点文件。除非你已经从容器中正确地暴露了YARN，HDFS等的端口，否则IP或主机名是docker容器。否则，这是你的本地主机 –

我假设你的答案是正确的。我能解决它码头运行--hostname = quickstart.cloudera --privileged = true -t -i -p 8888 cloudera/quickstart/usr/bin/docker-quickstart。 -p选项被称为“建议”，但不是必需的，但从这种体验中，我相信如果有人想遵循本教程，至少需要这样做。 https://www.cloudera.com/documentation/other/tutorial/CDH5/topics/ht_usage.html。请添加这些额外的细节，以便我可以接受你的答案。 –

Hadoop的泊坞窗设置 - 字计数教程

回答

相关问题