我想在amazon EMR实例上运行pyspark以从dynamodb读取数据,并想知道如何在代码中设置拆分和工人数量?如何在pyspark中设置拆分和减速器的数量
我遵循以下两个文档中的说明来提供当前连接到dynamoDB并读取数据的代码。 connecting to dynamoDB from pyspark 和Pyspark documentation
from pyspark.context import SparkContext
sc = SparkContext.getOrCreate()
conf = {"dynamodb.servicename": "dynamodb", "dynamodb.input.tableName":
"Table1", "dynamodb.endpoint": "https://dynamodb.us-east-
1.amazonaws.com", "dynamodb.regionid":"us-east-1",
"mapred.input.format.class":
"org.apache.hadoop.dynamodb.read.DynamoDBInputFormat",
"mapred.output.format.class":
"org.apache.hadoop.dynamodb.write.DynamoDBOutputFormat"
orders = sc.hadoopRDD(inputFormatClass="org.apache.hadoop.dynamodb.read.DynamoDBInputFormat",
keyClass="org.apache.hadoop.io.Text",
valueClass="org.apache.hadoop.dynamodb.DynamoDBItemWritable", conf=conf)
我试图改变实例和SparkConf类并行数值,但不知道如何将影响SparkContext变量
SparkConf().set('spark.executor.instances','4')
SparkConf().set('spark.default.parallelism', '128')
设置分裂和减速器,但它似乎没有改变它。