PySpark：数据帧 - 转换结构数组

Question

我有以下结构的数据帧：

root 
|-- index: long (nullable = true) 
|-- text: string (nullable = true) 
|-- topicDistribution: struct (nullable = true) 
| |-- type: long (nullable = true) 
| |-- values: array (nullable = true) 
| | |-- element: double (containsNull = true) 
|-- wiki_index: string (nullable = true) 

我需要将其更改为：

root 
|-- index: long (nullable = true) 
|-- text: string (nullable = true) 
|-- topicDistribution: array (nullable = true) 
| |-- element: double (containsNull = true) 
|-- wiki_index: string (nullable = true) 

请问我该怎么办呢？

非常感谢。

Answer 1

我认为你正在寻找

df.withColumn("topicDistribution", col("topicDistribution").getField("values"))