azure-data-lake

0热度

1回答

我已经创建了一个服务负责人，并设置了必要的链接服务，以便在ADF中使用凭据和密钥等，这是如何完成的： https://docs.microsoft.com/en-us/azure/data-lake-store/data-lake-store-authenticate-using-active-directory 当我执行我的管道，并且文件被写入ADL，我可以看到顶级文件夹（我记录在ADL服务的创

0热度

1回答

如何枚举Data Lake Store中的文件子集？

我有大量文件存储在Data Lake Store中 - 我现在需要获取最新的文件。因为我还没找到更好的方法，我现在的方法是列出所有文件并查看修改日期。但是，我怀疑在处理更大的一组文件时可能会导致一些问题。该API有一个限制它的方法，通过调用以下方法： var statuses = _client.FileSystem.ListFileStatus(_store._dlsAccountName,

0热度

1回答

Adlcopy命令azure认证可以通过证书而不是来自Azure登录页面吗？

我试图使用adlcopy命令将Azure数据湖上的文件从一个文件夹复制到其他文件夹。当我点击该命令时，它将打开天蓝色的登录页面进行身份验证。是否有可能通过证书进行身份验证？

1热度

2回答

从本地将定期CSV文件加载到Azure数据库中

我们正在构建一个快速应用程序/快速解决方案，这需要将每月CSV文件从本地存储（即）文件加载到Azure blob/SQL表中。有4个文件，每个文件有50000行，月份名称被贴在文件名中。什么是将这些文件转移到blob或存储的最有名的方法，同时确保我们以某种方式能够从文件中检索月份名称，忽略内部文件夹上的旧文件并仅加载新文件。过去，我们可以使用SSIS轻松地支持此行为，但我正在寻找基于云的解决方

1热度

1回答

是否可以从Azure数据库表读取数据并将其写入Azure Data Lake文件并使用Azure功能？

我想实现一个时间触发器函数，它连接到Azure DB并从表中获取内容。在此之后，我正在寻找使用BCP将此数据写入Azure数据湖文件的可能性。下面是我的功能和JSON脚本 #r "System.Configuration" #r "System.Data" #r "System.IO" using System.Configuration; using System.Data.SqlCli

0热度

1回答

如何在flink streaming中不断读取AzureDataLake中的文件内容？

我正在使用flink streaming从AzureDataLake store中的文件中读取数据。是否有任何连接器可用于在文件更新时从存储在Azure Data Lake中的文件中持续读取数据。如何执行此操作？

0热度

1回答

U-SQL/ADLA：如何获取表上的多个索引和分区？

在Azure Data Lake Analytics（ADLA）中，只能在表上定义一个索引，并且必须对其进行聚类。它有两种分析需要在不同的键上进行分区以提高效率，您必须复制表创建脚本等以使事情平行运行。 E.g.简单的订单示例 CREATE TABLE dbo.Orders ( OrderID int, CustomerID int, OrderDetailID in

2热度

1回答

由于超出路径长度限制导致USQL失败

我正在使用本地SDK在本地运行我的作业。不过，我得到了以下错误消息： Error : 'System.IO.PathTooLongException: The specified path, file name, or both are too long. The fully qualified file name must be less than 260 characters, and the

0热度

1回答

usql：Extractors.Csv（）中的数字列

我解析了u-sql中的一个csv文件，并且由于两个以数字开头的列名称而产生问题。这会产生以下错误：错误：E_CSC_USER_SYNTAXERROR：语法错误。预期之一：标识符引用标识符是不可能解析以u-sql中的数值开头的csv文件？将列01Test和02Test重命名为Test01和Test02，并按预期工作。 //currentTime,01Test,02Test //2016-

0热度

1回答

u-sql：在u-sql脚本中加载文件

我有成千上万的csv文件，包含从2016年1月到今天的跨越。我想加载从2016年11月25日到2017年1月02日的所有文件。我知道我可以使用如下的虚拟路径，但是不会从磁盘加载所有数据？我只需要上述期间的数据。将添加@result查询（修改到我的时间段）确保只有我感兴趣的文件被加载到内存中？ DECLARE @file_set_path2 string = @dir + "{date:yyyy