如何在AMI 4

Question

的documentation配置应用程序说

在亚马逊EMR释放4.0和更高版本，唯一可以接受的参数是 应用程序的名称。要将参数传递给应用程序，请为每个应用程序提供一个 配置。

但我找不到一个示例，显示如何在ami 4中传递参数。我可以找到的所有配置出口的示例如下。我想弄清楚如何设置Spark的版本来使用。

[ 
     { 
     "Classification":"hadoop-env", 
     "Properties":{ 

     }, 
     "Configurations":[ 
      { 
       "Classification":"export", 
       "Properties":{ 
        "HADOOP_USER_CLASSPATH_FIRST":"true", 
        "HADOOP_CLASSPATH":"/path/to/my.jar" 
       } 
      } 
     ] 
     } 
    ] 

Answer 1

您不能像任何版本的3.x AMI版本那样设置Spark的任意版本。相反，Spark的版本（当然还有其他应用程序）由发布标签决定。例如，最新版本目前是emr-5.2.1，其中包括Spark 2.0.2。如果你想要一个1.x版本的Spark，可用的最新版本是发布emr-4.8.3的Spark 1.6.3。