在Apache Spark 2.0.0中，是否可以从外部数据库获取查询（而不是抓取整个表）？

Question

使用pyspark：

from pyspark.sql import SparkSession 

spark = SparkSession\ 
    .builder\ 
    .appName("spark play")\ 
    .getOrCreate()  

df = spark.read\ 
    .format("jdbc")\ 
    .option("url", "jdbc:mysql://localhost:port")\ 
    .option("dbtable", "schema.tablename")\ 
    .option("user", "username")\ 
    .option("password", "password")\ 
    .load() 

而不是取“schema.tablename”，我更愿意抢查询结果集的。

Answer 1

相同1.x中，你可以通过有效的子查询作为参数dbtable例如：

... 
.option("dbtable", "(SELECT foo, bar FROM schema.tablename) AS tmp") 
...