azure-data-lake

2热度

1回答

我有200多个MSSQL表，并且希望将数据传输到Azure Data Lake Storage。我认为的一种方法是对动态数据流使用SSIS，即创建表名变量，并对表名和每个表运行数据流执行foreach循环。然而，这种方法似乎是错误的，虽然文件是在Data Lake存储中创建的，并且正确的方案数据不会由于错误的映射而被传输。是否有任何通用的方式来创建一个动态数据流并传输大量的表数据？

1热度

1回答

从文件流上传到ADLS

我在ADF中进行自定义活动，它涉及从Azure存储Blob中读取多个文件，对它们进行一些处理，然后将结果文件写入Azure Data Lake Store。最后一步是我停下来的地方，因为据我所见，.NET SDK只允许从本地文件上传。有什么办法可以（以编程方式）从本地文件上传文件到ADL Store，它是而不是？可能是一个blob或流。如果没有，任何解决方法？

0热度

1回答

az dls fs上传到ADLS文件夹抛出提高FileExistsError（rpath）错误

我试图上传一些文件到ADLS中的特定文件夹。下面是我用来上传文件的az上传脚本。 az dls fs upload --account $adls_account --source-path $src_dir --destination-path $dest_dir --thread-count $thread_count --debug 目标文件夹已经存在于ADLS中，并且正在尝试向其添加更

1热度

3回答

Json使用servicePrincipal为AzureDataLakeAnalytics定义链接服务

我有一个调用U-SQL转换的管道。使用门户部署链接服务，数据集，管道链接服务JSON for ADLS支持ServicePrincipal，但对于ADLA，如果我声明servicePrincipalKey，则显示错误。确实给笔者门户支持链接服务 “AzureDataLakeAnalytics”还是我需要使用VS部署？有没有样品？因为下面的JSON不起作用下面的示例显示错误： { "na

1热度

1回答

USQL，将文件夹名提取到输出

我试图从data lake存储中提取文件夹名并将其作为列输出到csv文件中。有没有办法通过USQL提取整个文件夹名称或部分文件夹名称？例如/input/Testing - 我需要Testing。我知道你可以提取文件名，并把它变成像这样的虚拟列： // Filesets, file set with virtual column @q = EXTRACT rowId int, f

0热度

1回答

U-SQL视图并发读取和删除

假设我有一个U-SQL视图。有一个作业正在从视图中读取数据。与此同时，另一项工作想要放弃并重新创建视图。当第二份工作尝试在第一份工作使用该视图时将会发生什么情况？第二份工作会自动等待吗？或者它会放弃观点？对第一份工作会有什么影响？

3热度

3回答

数据湖中的表格有什么意义？

我认为使用数据湖与数据仓库的关键在于将ETL（提取，转换，加载）过程转换为LET（加载，提取，转换）。不提取这些数据，将其转换并加载到表格中让我们回到我们开始的地方？

1热度

1回答

U型SQL：阵列可以使用的Avro提取

阵列使用的Avro提取使用EventHub不能为空，捕捉到Blob存储我有基于任何试图改变该文件的AvroSamples功能不能为空。这是我的U型SQL脚本： REFERENCE ASSEMBLY [Newtonsoft.Json]; REFERENCE ASSEMBLY [log4net]; REFERENCE ASSEMBLY [Avro]; REFERENCE ASSEMBLY [

1热度

1回答

如何在USQL中定义多个输入文件模式？

我有我需要处理一些数据的U-SQL脚本。数据存储在blob中，每天在这个文件夹结构中有大约100个文件：/{year}/{month}/{day}/{hour}/filenames.tsv 获取一天的数据很容易，只需在最后放置一个通配符，它将在所有时间内挑选出所有文件当天。但是，在我的脚本中，我想读出当天和前一天的最后2小时。用简单的方式就是以这种方式与3级摘录的语句：使用AvroExtra

1热度

1回答

什么时候应该在U-SQL中使用方括号？

当列名中有空格时，U-SQL需要方括号（[]）。但我也看到了这一点U-SQL Tutorial： System.[IO].File.ReadAllText("helloworld.txt") AS Message 我很奇怪，为什么需要在这种情况下支架，什么都当[]在U型SQL有用的案例。