将HDFS命令作为EMR运行步骤

Question

如何在EMR集群中发出hdfs命令作为步骤？将步骤作为script_runner.jar任务添加似乎奇怪地失败。

Answer 1

使用command-runner.jar并致电bash发出您的hdfs命令。

aws emr add-steps --cluster-id j-XXXXXXXXX --steps Name="Command Runner",Jar="command-runner.jar",Args=[/bin/bash,-c,"\"hdfs dfs -mkdir /tmp/foo\""] 

注意，最后一个参数是为一个单一的逃生引号的字符串传递给bash。