Scala Spark：动态分割数据帧列

Question

我对scala和spark非常陌生。

我看过一个文本文件转换成一个数据帧，单柱成功拆分成多列（主要是该文件是空格分隔CSV）

val irisDF:DataFrame = spark.read.csv("src/test/resources/iris-in.txt") 

    irisDF.show() 

    val dfnew:DataFrame = irisDF.withColumn("_tmp", split($"_c0", " ")).select(
    $"_tmp".getItem(0).as("col1"), 
    $"_tmp".getItem(1).as("col2"), 
    $"_tmp".getItem(2).as("col3"), 
    $"_tmp".getItem(3).as("col4") 
).drop("_tmp") 

这工作。

但是如果我不知道数据文件中有多少列，该怎么办？如何根据分割函数生成的项目数动态生成列？

Answer 1

您可以创建选择表达式序列，然后应用他们都select法:_*语法：

示例数据：

val df = Seq("a b c d", "e f g").toDF("c0") 

df.show 
+-------+ 
|  c0| 
+-------+ 
|a b c d| 
| e f g| 
+-------+ 

如果你想从c0五列列，在执行此操作前需要确定：

val selectExprs = 0 until 5 map (i => $"temp".getItem(i).as(s"col$i")) 

df.withColumn("temp", split($"c0", " ")).select(selectExprs:_*).show 
+----+----+----+----+----+ 
|col0|col1|col2|col3|col4| 
+----+----+----+----+----+ 
| a| b| c| d|null| 
| e| f| g|null|null| 
+----+----+----+----+----+