在Hadoop和纱线上安装pyspark

我在hadoop和yarn之上安装了火花。当我启动pyspark shell并尝试计算某些东西时出现此错误。在Hadoop和纱线上安装pyspark

Error from python worker: 
    /usr/bin/python: No module named pyspark

pyspark模块应该在那里，我必须把它的外部链接？

请更新您的系统配置。 OS，Hadoop和Yarn版本等。 – eliasah

问题中没有足够的信息。 –

我遇到了同样的问题。这是因为用Java7构建Spark。使用Java6应该修复它。这实际上是python的错 - 它的zipimport模块不支持Java7使用Zip64格式来打包大型Jar和65536+文件。这是Google的帮助。 http://mail-archives.apache.org/mod_mbox/incubator-spark-user/201406.mbox/%[email protected].com%3E

2014-09-19 08:32:04 user3931226

回答