2011-05-18 102 views
0

我有越来越地图问题/减少例如对cygwin的工作:http://www.michael-noll.com/tutorials/writing-an-hadoop-mapreduce-program-in-python/cygwin的hadoop的地图,减少问题

在cygwin下,传递-mapper = mapper.py导致“CreateProcess的错误= 193,%1不是一个有效的Win32应用程序”

我尝试使用-mapper = “蟒蛇mapper.py”,它给错误:了java.lang.RuntimeException:PipeMapRed.waitOutputThreads():子进程失败,代码1

任何人有成功运行hadoop map/reduce在cygwin下使用python?

谢谢。

回答

1

我已经在Cygwin下的该教程中取得了成功。我在WinXP上使用Cygwin 1.7.9-1下的hadoop-0.20.2。我还没有看到您的确切消息......但我正在回答,因为我确实在-mapper选项中遇到了一些麻烦,并通过将python脚本放在/ tmp目录中解决了这个问题。我看到一些错误消息,这让我认为有关如何在Cygwin下命名/ home目录存在一些困惑。我决定避免使用/ tmp并取得成功。我也用单引号,顺便说一句。有时在Windows中粘贴双引号会给你一个Unix进程无法理解的字符。

顺便说一句,我也使用了教程re。让Hadoop进入Cygwin和Eclipse这里: http://ebiquity.umbc.edu/Tutorials/Hadoop/ Eclipse/java的东西接近尾声并不适合我,而不是我打算如何使用Hadoop。然而,前几个步骤有助于获得伪群集。