将数据从Blob移动到SQL数据库

我目前正在将我的传感器读取数据从Azure Blob存储移动到SQL数据库中。我有多个.csv文件，在这些文件中，我有各种列，其中包含日期（格式为：2017/4/25），time，sensor_location和sensor_readings。我的问题;如果我想使用逻辑应用根据各自的列存储数据，我应该采取什么步骤？以及如何在第一个文件数据之后将第二个文件数据推入行中？谢谢将数据从Blob移动到SQL数据库

来源

2017-04-25 Dein

查看Azure数据工厂 - 这是一个Azure本地服务，可以在各种源之间复制数据并根据您的喜好进行转换。 –

谢谢@TomaszTuczapski。但我不知道如何告诉ADF将修改过的/新添加的数据只复制到SQL DB中。 – Dein

你需要写一个脚本（任何支持或扩展mysql的高级语言都可以，python，php，nodejs等）来导入你的数据，或者你可以使用像sequelpro这样的mysql客户端其中导入csv文件的https://www.sequelpro.com/。

这里是如何将数据插入到MySQL和PHP的链接： http://php.net/manual/en/pdo.prepared-statements.php 你可以读取csv文件：

$contents = file_get_contents('filename.csv'); 
$lines = explode("\n", $contents); 
foreach($lines as $line) { ... 
// insert all rows to mysql here

来源

2017-04-25 07:44:08 visualex

感谢您的建议伴侣。但我不认为我可以在Azure平台上使用PHP – Dein

你应该尝试Azure Data Factory。有一个教程将blob数据复制到SQL here。

您也可以将其设置为按计划运行。

来源

2017-04-25 09:57:13 Niels

谢谢。但我猜想每次ADF执行时，它都会将blob中的所有数据提取出来，并将其放在耗时且需要大量处理能力的表格中。我只需要将当前数据添加到以前的数据下方，或者只需将任何新数据添加到blob中即可。 – Dein

您可以自由复制部分存储帐户。例如，如果您的输入blob以年/月/日格式构成，则可以使用动态表达式仅选择当前或过去的日期进行复制。最简单的可能是创建一个DF来玩弄，看看它是否适合你。但我同意，每次复制整个存储帐户都没有意义:) – Niels

将数据从Blob移动到SQL数据库

回答

相关问题