如何使用Azure Data Factory将Json文档Unpivot转换为SQL数据库

Question

我需要将数据从DocumentDB复制到Azure SQL数据库。

JSON文档是这样的：

{

“的DeviceID”： “D1”，

“时代”： “2017-07-27T20：00：00”，

“温度”：25，

“Humedity”：50

}

目标SQL数据库表结构是（DeviceID | SensorID |值|时间） 所以数据是这样的：

DeviceID | SensorID |值|时间

D1  | Temperature |  25  | 2017-07-27 20:00:00 
D1  | Humedity  |  50  | 2017-07-27 20:00:00 

现在该如何实现？

我想改变JSON文档结构有SensorIDs和值的列表，它可能是一个糟糕的设计，而且数据工厂拒绝了，因为列表中的行不支持

我现在正在考虑以创建一个像这样的结构化表格（DeviceID | Temperature | Humedity | Time）并使用ADF将数据复制到它，然后使用SQL的UNPIVOT子句将数据再次复制到我的表中。

任何帮助实现正确/最佳实施？

Answer 1

在SQL Azure和SQL Server的引擎中： 您可以使用OPENJSON将其转换为关系表单。然后，你可以使用SQL PIVOT操作转动它的行成列：

https://docs.microsoft.com/en-us/sql/t-sql/functions/openjson-transact-sql https://technet.microsoft.com/en-us/library/ms177410(v=sql.105).aspx

所以，你可以SQL内的土地的JSON然后将其转换。

ADF中可能还有其他路径可以使用。

Answer 2

上一见钟情的数据工厂文档不使它明显，它可以映射建在列。

数据工厂拥有对JSON的原生支持，通过指定的数据设置为JSON的类型和定义它的结构体。

https://docs.microsoft.com/en-us/azure/data-factory/data-factory-supported-file-and-compression-formats#json-format

我建议在门户网站，复制向导玩，让你熟悉数据的工厂是如何工作的。

然后，您可以使用TabularTranslator