如何使用Azure自动化从HDInsight启动Spark 2.0

Question

我无法弄清楚如何从Azure自动化图形操作手册启动HDInsight Spark 2.0。我有一个现有的使用Spark 1.6的HDInsight工作簿。通常情况下，我会将版本字符串从3.4更新到3.5，但看起来HDInsight 3.5有两个版本 - 一个使用Spark 2.0，一个使用1.6版本。

谁能告诉我如何让我的Runbook使用Spark2.0版本？

版本参考：https://docs.microsoft.com/en-us/azure/hdinsight/hdinsight-component-versioning#hadoop-components-available-with-different-hdinsight-versions

Answer 1

我没有决定如何使用ARM模板来做到这一点。希望这可以帮助你关注润滑手册。这是JSON执行2.0集群。注意clusterVersion和componentVersion部分。

... 
"resources": [ 
    { 
     "apiVersion": "2015-03-01-preview", 
     "name": "somename", 
     "type": "Microsoft.HDInsight/clusters", 
     "location": "northcentralus", 
     "dependsOn": [], 
     "properties": { 
      "clusterVersion": "3.5", 
      "osType": "Linux", 
      "tier": "standard", 
      "clusterDefinition": { 
       "kind": "spark", 
       "componentVersion": { 
        "Spark": "2.0" 
       }, 
...