星火拆分列值成多行

Question

我的问题是我有一个表是这样的：

------------------------ 
A B C 
------------------------ 
a1 b2 c1|c2|c3|c4 

C1 | C2 | C3 | C4是分开的一个值|。

我的最终结果应该是这样的：

--------- 
A B C 
--------- 
a1 b1 c1 
a1 b1 c2 
a1 b1 c3 
a1 b1 c4 

我该怎么办呢？

由于用放电功能

Answer 1

这是你能做什么，split串用管和explode数据

import org.apache.spark.sql.functions._ 
import spark.implicits._ 

val df = Seq(("a1", "b1", "c1|c2|c3|c4")).toDF("A", "B", "C") 

df.withColumn("C", explode(split($"C", "\\|"))).show 

输出：

+---+---+---+ 
| A| B| C| 
+---+---+---+ 
| a1| b1| c1| 
| a1| b1| c2| 
| a1| b1| c3| 
| a1| b1| c4| 
+---+---+---+ 

希望这有助于！