Hadoop环境变量

Question

我试图在Mac上调试单个节点Hadoop集群的一些问题。在所有的设置文档，它说补充：

export HADOOP_OPTS="-Djava.security.krb5.realm=OX.AC.UK -Djava.security.krb5.kdc=kdc0.ox.ac.uk:kdc1.ox.ac.uk" 

删除此错误：

Unable to load realm info from SCDynamicStore 

这工作，但似乎只为STDOUT工作。当我检查我的Hadoop日志目录下的“工作 - ###/atempt _ ### /标准错误”的错误仍然存​​在：

2013-02-08 09:58:23.662 java[2772:1903] Unable to load realm info from SCDynamicStore 

我有很大的困难加载RVM红宝石到Hadoop的环境中执行带有Hadoop流的Ruby代码。 stdout是打印该RVM被加载并使用正确的Ruby /宝石，但我STDERR日志：

env: ruby_noexec_wrapper: No such file or directory 

有一些方法来找出Hadoop的实际使用什么路径来执行工作，或者如果它的调用其他一些这里的环境？

更多背景：

我正在使用通过Homebrew安装的Hadoop 1.1.1。它的设置方式与“INSTALLING HADOOP ON MAC OSX LION”非常相似，并且将wukong 3.0.0的实现作为执行Hadoop作业的包装进行调试。

Answer 1

回答我自己的问题，让他人可以找到它。

我似乎要在我的hadoop-env中加载rvm，但在添加它之后，我必须没有重新启动群集。为了确保您的rubies和gemset已加载，请将标准rvm子句添加到hadoop-env.sh。例如：

[[ -s "/Users/ScotterC/.rvm/scripts/rvm" ]] && source "/Users/ScotterC/.rvm/scripts/rvm" 

并确保重新启动集群，以便它能够启动它。奇怪的是，没有重新启动，我的日志会显示它正在加载rvm，但它显然没有执行该红宝石，它是相应的gemfiles。重新启动后，它工作。