如何在flink streaming中不断读取AzureDataLake中的文件内容？

Question

我正在使用flink streaming从AzureDataLake store中的文件中读取数据。是否有任何连接器可用于在文件更新时从存储在Azure Data Lake中的文件中持续读取数据。如何执行此操作？

Answer 1

Azure Data Lake Store（ADLS）支持与HDFS兼容的REST API接口，并在此处进行了说明。 https://docs.microsoft.com/en-us/rest/api/datalakestore/webhdfs-filesystem-apis。

当前没有任何API或连接器可用于在更新文件/文件夹时轮询ADLS和通知/读取数据。这是您可以使用上面提供的API在自定义连接器中实现的。您的连接器需要定期轮询ADLS帐户/文件夹以识别更改。

感谢， 萨钦谢斯 项目经理 Azure的数据湖