如何在Spark SQL中使用CROSS JOIN和CROSS APPLY

Question

我对Spark和Scala非常新，我正在编写Spark SQL代码。我的情况是在我的逻辑中应用CROSS JOIN和CROSS APPLY。在这里，我将发布我必须转换为SQL的SQL查询。

select Table1.Column1,Table2.Column2,Table3.Column3 
from Table1 CROSS JOIN Table2 CROSS APPLY Table3 

我需要上述查询来在Spark SQL中转换为SQLContext。请帮助我。提前致谢。

Answer 1

首先设置以下属性火花的conf

spark.sql.crossJoin.enabled=true 

然后dataFrame1.join(dataFrame2)会做十字/笛卡儿连接，

我们可以使用下面的查询也做同样的

sqlContext.sql("select * from table1 CROSS JOIN table2 CROSS JOIN table3...")