0
我正在使用Apache flink进行流式处理。我正在通过flink从Apache Kafka作为流获取数据，并做一些处理并将结果流保存在Azure数据湖中。是否存在flink中的任何可用连接器以便在Azure中转储流数据数据湖？如何将流数据保存到Azure数据湖？
A
回答
1
Flink支持所有实现org.apache.hadoop.fs.FileSystem的文件系统，如下所示：https://ci.apache.org/projects/flink/flink-docs-release-0.8/example_connectors.html。
因此，您应该能够将其设置为将数据输出到Azure Data Lake Store。这里有一个博客展示了如何将Hadoop连接到Azure Data Lake Store。理论上相同的方法应该适用于Flink。 https://medium.com/azure-data-lake/connecting-your-own-hadoop-or-spark-to-azure-data-lake-store-93d426d6a5f4
相关问题
- 1. 如何从多线程写入流数据到Azure数据湖？
- 2. 如何将Azure数据湖存储连接到Azure ML？
- 3. azure数据湖授权
- 4. CreateJob for C＃的Azure数据湖分析＃
- 5. Google的BigQuery与Azure数据湖U-SQL
- 6. Azure数据湖中的U-SQL游标
- 7. Azure数据湖中的增量负载
- 8. 如何使用UWP将图像保存到azure mysql数据库
- 9. 如何将缓存数据保存到sqlite数据库（android）
- 10. 将数据集保存到数据库
- 11. 将数据集保存到数据库
- 12. 将新数据保存到数据集
- 13. Firebase - 将数据保存到数据库
- 14. 将数据保存到数据库yii2
- 15. 如何将数据保存到coreData
- 16. 如何将unicode数据保存到oracle？
- 17. Django：如何将数据保存到ManyToManyField？
- 18. 如何将Handsontable保存到数据库
- 19. 如何将JSON数据保存到iPhone
- 20. Azure数据湖外部数据源：行大小太大
- 21. 电力BI刷新数据源Azure数据湖
- 22. Azure数据湖与数据工厂定制活动的连接
- 23. 如何将数据从流保存到WinRT中的文件？
- 24. 通配符在数据工厂Azure的数据存储湖输入
- 25. 将数据保存到Parse
- 26. 我们能否使用Snappy-data更新Azure数据湖中的记录？ OR仅仅是Azure数据湖追加？
- 27. 如何从Azure的数据副本湖加快宇宙DB
- 28. 如何将网页收集数据保存到数据库
- 29. 如何使用SqlCommand将数据保存到sql数据库
- 30. 如何将阵列数据保存到mysql数据库