azure-data-lake

    1热度

    1回答

    我想仅在非空的情况下才将U-SQL表保存为csv文件。但是,我不知道如何获得表的数量作为标量值,以便我可以使用IF条件。任何帮助将不胜感激。

    0热度

    1回答

    我在我的场景中使用了spark独立群集。我想阅读从Azure数据湖中读取JSON文件并使用SparkSQL并对其进行查询并将结果保存到mysql数据库中。我不知道该怎么做。一个小的帮助将是一个伟大的。 package com.biz.Read_from_ADL; import org.apache.spark.sql.Dataset; import org.apache.spark.sql.

    2热度

    2回答

    我一直从数据工厂收到以下错误,每当我运行一个U型SQL工作 Job submission failed, the user 'adla account name' does not have permissions to a subfolder in the /system/ path needed by Data Lake Analytics. Please run “Add User Wiza

    1热度

    1回答

    我正在尝试使用C#API和DataLakeAnalyticsJobManagementClient创建一个作业,并且在尝试使用错误消息的每次尝试中都失败:“作业定义无效”。。关于什么是无效的,没有其他有用的信息。这项工作是一个U-SQL工作,我开始在azure门户创建它,并且工作得很好,正确无误地运行。 我使用与使用门户网站测试相同的信息构建JobInformation和JobProperties

    0热度

    1回答

    当前我正在尝试在我的Web应用程序中调用我的U-SQL Jobs中的数据湖分析。要做到这一点,我使用的是官方的.net sdk。我正在通过另一个放置在azure活动目录中的web应用授予Azure授权,并有权访问数据湖文件(这也适用于我的应用),并拥有对数据湖分析资源组的阅读权限。我只是与来自互联网的一些选项(两个服务的防火墙转,检查我是否有数据湖存储az数据源在数据湖分析),但它不工作:/所以也

    2热度

    1回答

    数据湖的方法(根据滑动5 here)是: 摄取的所有数据 - 不管要求 存储所有数据 - 以本机格式,而不架构定义 做分析 - 使用像Hadoop这样的引擎 但是,比方说,我们已经加载了很多很多数据集到我们的数据湖,我该如何在自动化和可扩展的manne中进行模式发现R' U-SQL是否支持动态模式发现或者使用ADLA或其他工具集进行动态模式发现?

    0热度

    1回答

    我现在正在尝试从数据工厂将数据从cosmosdb复制到数据库存储。 但是,性能差,大概100KB/s,数据量是100+ GB,并且不断增加。这将需要10天以上才能完成,这是不可接受的。 微软文档https://docs.microsoft.com/en-us/azure/data-factory/data-factory-copy-activity-performance提到了从宇宙到数据存储的最

    0热度

    1回答

    我正在使用flink从Azure数据湖中读取数据。但flink无法找到Azure数据湖文件系统。如何配置flink来了解Azure Data湖文件系统。任何人都可以在此引导我?

    -2热度

    1回答

    我正尝试从Visual Studio创建一个U-SQL项目。我无法创建一个。以下是我收到的错误消息的链接。 注:我已经安装了.NET SDK

    1热度

    2回答

    我想将本地文件附加到数据湖上的文件。有人可以给我一个例子什么是使用.net sdk连接数据库存储的最佳方式。 在这个GitHub库中说明验证