2014-10-07 163 views
0

来自旧版本的Hadoop,我在Hadoop 2.2.0中查找用户日志文件(log.index,stderr,stdout,syslog)。我首先查找了Web界面,但没有任何端口在50030上运行。然后,我查看了HADOOP_HOME_DIR/logs,但没有看到userlogs目录,也没有看到任何jobnumber。 NEX位置我看是临时目录(/ tmp目录),并发现看起来像它的文件夹:Hadoop日志文件丢失

$ find . -name "job_local1643076800_0001" 
./hadoop-tom/mapred/staging/tom1643076800/.staging/job_local1643076800_0001 
./hadoop-tom/mapred/local/localRunner/tom/jobcache/job_local1643076800_0001 
./hadoop-tom/mapred/local/localRunner/tom/job_local1643076800_0001 

在这里,我发现在目录我预想的格式为: attempt_local1643076800_0001_m_000000_0 但它们都是空的。

我也设置了"export HADOOP_LOG_DIR=/path",但是这也没有填满。我在这里失踪的任何东西?或者当我从源代码创建hadoop时出错了?

在此先感谢!

回答

0

hadoop 2.2.0中的默认mapreduce框架是YARN。 50030端口是JobTracker的WebUI中,纱代替的JobTracker它使用资源管理器,其WEBUI是被作为localRunner执行,这意味着无论是从客户端在8088

在你的情况的工作访问,纱线配置不正确或YARN服务下降。验证您的配置。

0

用户日志应位于logs文件夹下的文件夹userlogs下。所以像hadoop-2.2.0/logs/userlogs/。检查jps命令以查看是否有所需的进程正在运行 - 可能不是。如果没有,请检查您的日志(不是用户日志)是否有错误,并检查您的配置。

如果你的进程没有运行,我想知道你是如何设法运行一些工作的。你的工作做得好吗?