如何在本地测试地图并减少代码？

Question

如果我有一个从多个csv文件读取并生成键值对的map.py文件，如何将这些文件传递给我的reducer.py并在本地进行测试？

Answer 1

如果您正在使用Hadoop流，那么你就可以在本地测试你的脚本是这样的：

cat *.csv | map.py | sort -k1,1 | reducer.py 

从映射数据传递到减速机在Hadoop的数据流，简单地写"<key>\t<value>"到stdout