2017-06-06 92 views
1

我们已经有Move-AzureRmDataLakeStoreItem这将在Azure Datalake内的文件夹之间移动文件。我正在寻找的是在datalake中复制文件而不影响原始文件。我们如何在Azure Data Lake Store文件夹内复制任何文件

,我知道利用的资源文件USQLEXTRACT数据,然后OUTPUT到destinationfile

  1. 为─可能性 - 但我试图复制的所有排序文件(。广州,txt文件,.INFO ,名为.exe,.msi)的,我不知道如果USQL可以帮我用Data Factory复制数据。广州或.exe或的.msi文件
  2. 自/至Data Lake store

因此,我的问题是,我们是否还有其他任何可以使用的方法来在Azure Data Lake Store中执行文件副本?

+0

另一种需要考虑的方法是,可能不要复制您的文件太多?您可以将您的数据存入您的“原始”或暂存区域中,然后该文件的任何其他版本应该以某种方式改进,聚合,清理,增强或处理,而不是直接重复。 – wBob

回答

3

您有其他几个选项,一个HDI集群上

  1. 运行DistCp使用 - 在这里提供的说明类似。 https://docs.microsoft.com/en-us/azure/data-lake-store/data-lake-store-copy-data-wasb-distcp
  2. 使用adlcopy如果您要复制的数据量有限(10-100说的GB的) - https://docs.microsoft.com/en-us/azure/data-lake-store/data-lake-store-copy-data-azure-storage-blob

这是否就足够了吗?或者您想通过其REST API获得Azure Data Lake Store本机支持的某些内容吗?

谢谢, Sachin Sheth Azure Data Lake项目经理。

+0

谢谢@Sachin - 让我通读文章并探索可能性。如果我需要更多关于这方面的信息,我可能会回复你,如果你没有问题的话:) – Abhishek

相关问题