u-sql

    3热度

    2回答

    我已经为NetCDF文件实施了一个自定义提取器,并在输出它们之前将这些变量加载到内存中的数组中。有些阵列可能很大,所以我想知道ADLA中的内存限制。是否有可以分配的最大内存量?

    0热度

    2回答

    转换对于我所有的CSV源时无效字符,我提取设置为: USING Extractors.Csv(silent:true,skipFirstNRows:1); - silent is set to true to ignore bad rows - skipFirstNRows is set to 1 to skip the header row 但奇怪的是,我仍然得到这个错误: HEX: "

    2热度

    2回答

    我想创建api或桌面应用程序,允许用户执行我的u-sql脚本,该脚本适用于特定的Azure Data Lake Store我的Azure帐户。我想了解一些有关Azure Data Factory Service的内容,但是.NET中是否有其他方式在Azure Data Lake Store Data上执行U-SQL脚本(并将参数传递给此脚本)?

    0热度

    2回答

    我想从我的资源库仅提取3天以内(2015/10/01至2015/10/03)的数据。以下逻辑将首先提取Test文件夹内的所有文件,然后在“选择”语句中将其分为3天,因此执行时间太长。 是否有可能只提取文件3天,而不提取所有文件。 DROP VIEW IF EXISTS dbo.Read; CREATE VIEW IF NOT EXISTS dbo.Read AS EXTRACT

    2热度

    2回答

    我在Azure数据湖中使用U-SQL创建了一个存储过程。我想要在Azure数据工厂中安排该存储过程。 这可能吗? 我尝试以下步骤: 我创建了Azure的数据湖采用U-SQL存储过程。 我创建了一个执行相同过程的脚本。 现在,我试图从ADF运行该U-SQL脚本。 这是执行U-SQL存储过程的正确方法吗?

    0热度

    1回答

    在下面的代码中,我声明了开始日期和结束日期。这两个日期均来自系统日期。我每天运行这个代码。 Declaration type 1 DECLARE @StartDate string = DateTime.Now.AddDays(-30).ToShortDateString(); DECLARE @EndDate string = DateTime.Now.AddDays(-33).ToShor

    1热度

    2回答

    U-SQL提取语句中是否有任何方法只指定我关心的输入列?我正在使用一个遗留数据库,该数据库将多个表导出到大约200列的csv。我只关心其中的10个领域。我希望能做这样的事情: EXTRACT CustomerID:0 string, StoreNumber:5 double, ReceiptNumber:20 double, Timestamp:125 int FR

    0热度

    2回答

    我使用Azure API创建了U-SQL库,并在Azure云上注册了具有所有依赖项的程序集。我添加了这个库,我的U型SQL项目及以下线路加在我的U型SQL脚本 USE master; REFERENCE ASSEMBLY [AzureLibrary]; 在利用我在库中创建函数或方法的时候,我得到了以下错误消息。 从用户表达内部异常:无法加载文件或组件 “Microsoft.Azure.Man

    2热度

    1回答

    我有一个非常大的CSV,其中每行包含客户和商店ID以及交易信息。当前的测试文件大约为40 GB(大约2天),因此对于选择查询的任何合理返回时间来说,分区是绝对必要的。 我的问题是这样的:当我们收到一个文件时,它包含了多个商店的数据。我想使用“虚拟列”功能将该文件分离到各自的目录结构中。该结构是“/Data/{CustomerId}/{StoreID}/file.csv”。 我还没有得到它与OUTP

    2热度

    1回答

    我们可以访问U-SQL执行日志吗?这些暴露给开发者收集重要的统计数据吗?是否有任何API暴露给我们或任何已存在的U-SQL库? 感谢