0
我在Amazon EMR上运行我自己的地图缩减任务。我发现地图任务失败,我无法找出失败地图任务的原因。地图功能在EMR中的mapreduce运行失败
import fileinput
import csv
myDict = {}
csvreader = csv.reader(fileinput.input(mode='rb'), delimiter=',')
for newline in csvreader:
#newline = line.split(',')
if newline[6] not in myDict.keys():
#print 'Zipcode: ' + row[6] + ' Hospital code: ' + row[1]
myDict[newline[6]] = 1
elif newline[6] in myDict.keys():
#print 'value in row '+ str(myDict[row[6]])
myDict[newline[6]] += 1
for key in myDict.keys():
print '%s\t%s' % (str(key), str(myDict[key]))
map任务是读取作为输入给出的csv文件,使用两列中的数据创建键值对。减少任务是聚合它们并打印它们。
以下是当不在脚本顶部添加#!/ usr/bin/env python时为maptask获取的stderr。如果是ADDE,d标准错误是空白,但在maptask失败:
/mnt/var/lib/hadoop/tmp/nm-local-dir/usercache/hadoop/appcache/application_1417478068297_0008/container_1417478068297_0008_01_000005/./map_zip_hospi.py: line 1: import: command not found
/mnt/var/lib/hadoop/tmp/nm-local-dir/usercache/hadoop/appcache/application_1417478068297_0008/container_1417478068297_0008_01_000005/./map_zip_hospi.py: line 2: import: command not found
/mnt/var/lib/hadoop/tmp/nm-local-dir/usercache/hadoop/appcache/application_1417478068297_0008/container_1417478068297_0008_01_000005/./map_zip_hospi.py: line 3: myDict: command not found
/mnt/var/lib/hadoop/tmp/nm-local-dir/usercache/hadoop/appcache/application_1417478068297_0008/container_1417478068297_0008_01_000005/./map_zip_hospi.py: line 4: syntax error near unexpected token `('
/mnt/var/lib/hadoop/tmp/nm-local-dir/usercache/hadoop/appcache/application_1417478068297_0008/container_1417478068297_0008_01_000005/./map_zip_hospi.py: line 4: `csvreader = csv.reader(fileinput.input(), delimiter=',')
'
我可以从地图上的任务是失败的控制台中看到。有人可以帮我找到我的代码的错误?