我们有一个方案,我们希望使用Azure数据工厂将数据从多个Azure SQL数据库复制到Azure Data Lake Store。由于不同组拥有很多不同的数据库,我们希望自动化复制过程,包括生成管道,根据配置复制活动。达到此目的的最佳方法是什么?目前我们正在关注Azure .Net SDK,但是又会有很多代码需要管理。
我在ADF中进行自定义活动,它涉及从Azure存储Blob中读取多个文件,对它们进行一些处理,然后将结果文件写入Azure Data Lake Store。 最后一步是我停下来的地方,因为据我所见,.NET SDK只允许从本地文件上传。 有什么办法可以(以编程方式)从本地文件上传文件到ADL Store,它是而不是?可能是一个blob或流。如果没有,任何解决方法?