我正在运行三个节点(一个真实系统,两个虚拟机)的测试集群。所有三个Ubuntu 10.1或更高。 Hadoop版本1.0.2和配置单元0.8.1hadoop示例作业失败,出现网络错误
现在,基本的东西工作正常,节点能够相互交谈,数据包正在被复制等等。进程运行良好。
作为一个测试用例,我试图运行标准的hadoop字数统计范例。这的map/reduce任务失败说 -
Call to <my_NameNode_HostName>127.0.0.1:9000 failed on connection exception:
java.net.ConnectException: Connection refused
虽然作业继续,有时它只是挂起,其他时候,它没有前这个消息转发(当然堆栈跟踪)几次。令人惊讶的是,屏幕上或输出目录中都没有输出。
下面是我运行命令 -
hadoop jar hadoop*examples*.jar wordcount /text_data /txt_output
Hadoop是在路径的jar文件是在当前目录中,和3个文本文件已被复制到HDFS目录/ text_data
谷歌搜索也似乎找不到有用的东西..在这里寻求帮助...
编辑: 我忘了补充说,其他工作(如由蜂房查询触发)运行得很好。 SSH在三个节点之间建立,并且所有边缘都经过连接测试,无需密码挑战。
是的,jps已经在namenode和其他两个节点上尝试过,所有这些都报告了。将返回到namenode日志并共享信息。 – Gyan