azure-data-factory

0热度

1回答

美好的一天！我开始使用Azure Data Factory将部分数据从本地数据源移至Data Lake进行分析。当我安装了数据网关，我注意到，它使用“内部部署证书存储”（见下图），而不是像大多数微软的文档“证书”显示如这里https://docs.microsoft.com/en-us/azure/data-factory/data-factory-move-data-between-onprem

0热度

1回答

将文件从FTP位置复制到Azure DataLake

我已按照MSDN文档中显示的所有步骤操作到Copy File from FTP。到目前为止，数据集被创建，链接的服务器被创建，管道被创建。管道图表显示了逻辑流程。但是，当我安排ADF时，为我完成这项工作。它失败。输入数据集通过，但在执行输出数据集时，出现以下错误。 Copy activity encountered a user error at Source side: ErrorCode=U

1热度

1回答

对Data Lake Store链接服务的Azure批处理支持

我正在使用具有数据库存储输入数据集和输出数据集的自定义活动（配置为在Azure批处理上运行）的数据工厂管道。数据湖存储链接服务正在使用服务来验证服务（服务主体），并且在通过复制向导在复制活动中使用时工作正常。但是，当与试图检查数据湖中是否存在文件的自定义活动一起使用时，活动会失败，并显示“需要授权”错误。使用Azure Blob Store作为输入和输出数据集时，相同的自定义活动正常工作。似乎是

0热度

1回答

Azure的数据工厂 - 使用GetRunRecord（指定runid），以获得完整的错误详细信息

我只是想运行的第一数据复制工作Azure的数据工厂里面 - 它几乎立即失败，并显示以下信息：执行失败：错误信息太大而无法返回。使用 GetRunRecord（runid）获取完整的错误详细信息。有人能告诉我在哪里我应该使用这个GetRunRecord命令吗？谷歌搜索这个错误给我带来了一个相关的结果，并没有帮助。谢谢。

1热度

1回答

错误 - 从SQL数据库到Azure搜索的Azure数据工厂传输

我已经设置了一个Azure数据工厂管道来将数据从我们的SQL Server数据库中的一个表传输到我们的新Azure搜索服务。转移工作连续失败给了以下错误： Copy activity encountered a user error at Sink side: GatewayNodeName=SQLMAIN01,ErrorCode=UserErrorAzuerSearchOperation,'Ty

2热度

1回答

使用复制数据向导时出错

我们正在使用数据工厂的复制数据向导将数据从本地mongo数据库服务器迁移到Azure SQL。虽然这样做，因为我们正面临着数据缓冲区大小问题表之一，因为这个特殊的表中包含大的文本即使在预览中我们得到如下错误的时间值 Error at time of preview 处理请求时出错：包装器发生未知错误。 '类型=，消息= SUCCESS_WITH_INFO [Microsoft] [ODBC]（10

3热度

2回答

使用逻辑应用程序从所有子（子）文件夹中获取特定文件，将它们加载到SQL Azure

我对数据工厂和逻辑应用程序非常陌生（但我对SSIS有多年的经验），成功地在100文本文件的文件夹加载到SQL-天青与数据工厂但文件本身是不变现在，另一个要求是在文件夹中，我环获得与某个文件扩展名的文件，最后，我应该将'To_be_processed'文件夹中的所有文件移动（=复制&删除）到'Processed'文件夹我无法找到放置'通配符'的位置，例如：例如，获取文件扩展名为.001,

1热度

2回答

从Azure的功能

我有一个Azure的功能，其触发管线管道访问活动状态，我能查询管道状况检查它完成时使用：Pipeline.Properties.RuntimeInfo.PipelineState 我的管道使用了几个并行副本活动，我希望能够在失败后访问这些活动的状态。 Azure文档描述了如何访问管道活动，但您只能获取像名称和描述这样的静态属性，而不能获取状态等动态属性（就像您可以通过其RuntimeInfo属性获

1热度

1回答

如何控制Azure数据工厂管道中的数据失败？

由于源数据集中的数据不兼容与我的目标数据集相比，我收到了来自时间和时间的错误。我想控制流水线根据错误类型确定的操作，可能会输出或丢弃这些微粒行，然后完成其他所有操作。那可能吗？此外，是否可以通过某种简单的方式从Data Factory中获取实际失败的行，而无需访问和搜索实际的源数据集？复制活动在Sink端遇到用户错误：ErrorCode = UserErrorInvalidDataValue，'

1热度

3回答

如何根据需要创建Azure HD高清洞察使用数据工厂的Spark群集

我正在尝试使用Azure数据工厂创建使用Hdi 3.5版的按需HD高清洞察Spark群集。数据工厂拒绝用一个错误信息来创建 HdiVersion：“3.5”不支持如果当前没有需求HD洞察火花集群上创建的方式又是什么另一个明智的选择？对我来说，这似乎很奇怪，为什么微软没有在Azure数据工厂中添加一个按需HD高清洞察Spark Cluster。