上存储的MapReduce中间输出,可以使用一个Hadoop(版本1.2.0)16个节点,一个具有通过专用网络(从站)连接的公共IP(主)及15的集群。远程服务器
是否有可能使用远程服务器(除了这些16个节点),用于存储映射器的输出是什么?问题是在映射阶段期间节点磁盘空间不足,我无法再压缩映射输出。
我知道mapred-site.xml
中的mapred.local.dir
用于设置存储tmp文件的dirs的逗号分隔列表。理想情况下,我想在远程服务器上有一个本地目录(默认目录)和一个目录。当本地磁盘已满时,我想使用远程磁盘。
对于这两个属性来说+1,的确很有用。谢谢!我将深入研究这些。我已经知道答案的第一部分,我的问题是如何做到这一点。 – vefthym 2014-10-30 11:01:51