配置如何在Spark SQL中共享/隔离？

Question

所以，我有我的火花上下文SC，从我得到我的火花SQL上下文，

val sqlContext = new SQLContext(sc) 
sqlContext.sql("set spark.sql.shuffle.partitions=2") 

有时我想用2洗牌分区，但在其他一些时刻（可能是兼）我想有200. 这sqlContext是在我所有的线程之间共享，这些属性如何隔离执行？他们是全球吗？

谢谢！

Answer 1

对于不同执行间的隔离属性，可以通过在SQLContext本身上发出newSession（）来获得新的SQLContext。这样，你用新创建的上下文所做的每件事都存在于上下文中，并在那里死去。