Hadoop的流 - 模块依赖

Question

是否有Hadoop的流任何标准的方法来处理类似DistributedCache（在Java MR）的依赖

比方说我有一个Python模块中的所有地图的任务使用。我如何实现它？

Answer 1

可以使用-file参数指定Python模块：

看到http://hadoop.apache.org/docs/r0.18.3/streaming.html

，如果你有依赖模块和这样你可以指定多个-file参数。