是否存在使用spark-submit提交python脚本与使用python可执行文件(和导入SparkSession)简单运行.py文件的优点/缺点或不同用例,如下所示?python脚本中spark-submit与SparkSession的区别?
from pyspark.sql import SparkSession
spk = SparkSession.builder.master(master).getOrCreate()
基本上是通过python
运行脚本,并没有任何差别不是火花提交。
[spark-submit和pyspark有什么不同?](https://stackoverflow.com/questions/26726780/what-is-the-difference-between-spark-submit-and-pyspark) – vmg
pyspark在火星壳内运行,是吗?在这种情况下,我只想通过'''python'''运行脚本,而不是spark-submit。 –