具有WebJob/Azure功能的Azure Data Lake Store和Azure SQL

Question

我需要将WEB API响应文件上载到Azure Data Lake。 然后我必须将这些文件转储到Azure SQL表中。

以上两个进程必须安排在小时执行。 我应该使用Azure Web Jobs还是Azure Function？

Answer 1

如果您正在消费计划中运行Azure函数，则函数调用必须在5分钟内完成，这对于大数据集可能不够。

其余功能和Web作业与您的方案类似。函数实际上是在Web作业之上运行的。如果你不需要函数的任何高级特性（例如绑定），我会去找一个Job。

Answer 2

Azure Data Factory可能是更好的机制来推动这种循环小时管道。更多细节在这里。

https://docs.microsoft.com/en-us/azure/data-factory/data-factory-scheduling-and-execution