2017-02-16 127 views
1

我期待在微软文档上moving data to and from an Azure Data Lake Store和发现下列有关fileName属性:通配符在数据工厂Azure的数据存储湖输入

在Azure的数据湖店的文件的名称。 fileName是可选的并且区分大小写。如果你指定一个文件名,活动(包括复制)对特定文件起作用。“

我在这里没有看到任何提及的通配符,例如,我不知道如何使用一个文件夹,但只有符合2017-foo-*.json中的文件?我试过星号,但它似乎是从字面上理解。

回答

1

根据您的源和汇上,你也许能够使用fileFilter属性,而不是文件名的使用通配符,如引自here

允许的值是:*(多个字符)和? (单个字符)。

实施例1: “的FileFilter”: “* .LOG”

实施例2: “的FileFilter”: 2014-1 - ?. TXT”

注意的FileFilter适用于输入文件共享数据集。

这个例子是一个的预置型文件共享:

{ 
    "name": "InputDataset-AllFiles", 
    "properties": { 
     "published": false, 
     "type": "FileShare", 
     "linkedServiceName": "OnPremisesFileServerLinkedService", 
     "typeProperties": { 
      "fileFilter": "*.txt", 
      "folderPath": "." 
     }, 
     "availability": { 
      "frequency": "Day", 
      "interval": 1 
     }, 
     "external": true, 
     "policy": {} 
    } 
} 

我不知道这个prope rty可用于其他类型,如blob存储,数据湖等你可以确认你的源和汇(假设其中之一是数据湖)?

更多信息可在这里:

https://docs.microsoft.com/en-us/azure/data-factory/data-factory-onprem-file-system-connector

Polybase now supports ADLS,所以你可以没有这些ADF诡计以这种方式移动数据。

+1

来源是Data Lake Store。接收器是数据仓库。 – catfood

+0

Polybase现在支持ADLS,因此您可以以这种方式移动数据,而无需使用这些ADF shenanigans。 – wBob