hadoop CopytoLocal命令在哪里被记录？

我想知道何时将文件从hadoop复制到本地，在哪里记录此信息。我查看了hadoop审计日志和namenode日志，我没有看到这些信息被记录下来。任何帮助将不胜感激。hadoop CopytoLocal命令在哪里被记录？

2017-10-05 Vishy

我不明白这个问题。你想看到什么记录？ – philantrovert

我希望在日志中看到复制命令，或者有人会说有人试图将文件从hadoop复制到本地。 – Vishy

我不认为这种信息会被记录下来，而且我也没有看到它为什么会这样。 – philantrovert

CopyToLocal可以将文件复制到本地文件系统。这个过程涉及很多类和方法，所以你最好在日志中看到hadoop-hadoop-namenode-Master.log，hadoop-hadoop-jobtracker-Master.log，hadoop-hadoop-datanode-Slave1.log。我会给自己一些关于写文件的理解。读取的过程与写入文件的过程相似。

您可以在hadoop-hadoop-namenode-Master.log中搜索“cmd = mkdirs”，并且可以搜索“HDFS_WRITE”等。这些关键词提供了写入文件的过程，即put或CopyFromLocal。然后，您可以根据您的目的阅读这些日志。

注意：你最好在主节点和从节点分别找到你的日志，上面的日志名字就在我的电脑里。

来源

2018-01-02 07:51:03 Sky

hadoop CopytoLocal命令在哪里被记录？

回答

相关问题