Spark SQL爆炸结构数组

我有下面的JSON结构，我试图将每个元素转换为列，如下所示使用Spark SQL进行结构化。爆炸（控制）不起作用。有人可以建议一种方法来做到这一点？Spark SQL爆炸结构数组

输入：

{ 
"control" : [ 
    { 
     "controlIndex": 0, 
     "customerValue": 100.0, 
     "guid": "abcd", 
     "defaultValue": 50.0, 
     "type": "discrete" 
    }, 
    { 
     "controlIndex": 1, 
     "customerValue": 50.0, 
     "guid": "pqrs", 
     "defaultValue": 50.0, 
     "type": "discrete" 
    } 
    ] 
}

所需的输出：

controlIndex customerValue guid defaultValult type 

0   100.0   abcd 50.0   discrete 

1   50.0   pqrs 50.0   discrete

来源

2017-10-17 abiswas

你能添加代码你试过了吗？ – mrsrinivas

我试过 - 从myview中选择爆炸（控制）它使一列，并把每个结构内， – abiswas

爆炸将会给定数组中创建的每个元素的新行或映射列

import org.apache.spark.sql.functions.explode 

df.select(
    explode($"control") 
)

来源

2017-10-17 20:31:34

我会尝试...... thx – abiswas

Spark SQL爆炸结构数组

回答

相关问题