azure-data-factory

    2热度

    1回答

    SSIS复制多个表

    我有200多个MSSQL表，并且希望将数据传输到Azure Data Lake Storage。 我认为的一种方法是对动态数据流使用SSIS，即创建表名变量，并对表名和每个表运行数据流执行foreach循环。然而，这种方法似乎是错误的，虽然文件是在Data Lake存储中创建的，并且正确的方案数据不会由于错误的映射而被传输。 是否有任何通用的方式来创建一个动态数据流并传输大量的表数据？
    sql-server ssis etl azure-data-factory azure-data-lake 2017-11-18

    1热度

    1回答

    USQL，将文件夹名提取到输出

    我试图从data lake存储中提取文件夹名并将其作为列输出到csv文件中。有没有办法通过USQL提取整个文件夹名称或部分文件夹名称？例如/input/Testing - 我需要Testing。 我知道你可以提取文件名，并把它变成像这样的虚拟列： // Filesets, file set with virtual column @q = EXTRACT rowId int, f
    azure-data-factory azure-data-lake u-sql 2017-10-12

    0热度

    1回答

    ADF V2自托管的IR LinkedService状态

    在Azure ADF V1中，gui允许我们看到数据网关处于联机状态，并且会告诉我们联机服务是否无法使用。我还没有找到能给我提供相同信息的powershell cmdlet。 我目前的问题是ADF V2中的管道正在返回“无法连接到SQL Server”错误。我在数据网关上的自托管IR中运行诊断程序，并可以连接到服务器。 除了运行管道以查看它是否失败之外，是否有人有脚本或建议来测试linkedSer
    powershell azure azure-data-factory 2017-10-13

    -1热度

    3回答

    MYSQL更改数据捕获（CDC） - Azure服务（Azure数据工厂）

    我想对MYSQL数据库的数据表执行ETL操作并将数据存储在azure数据仓库中。我没有更新日期列以标识期间的修改记录。我如何才能知道哪条记录被修改。 MYSQL数据库是否支持CDC？ 使用Azure服务（Azure数据工厂）可以读取MYSQL二进制日志或二进制日志？
    mysql etl data-warehouse azure-data-factory 2017-10-16

    0热度

    3回答

    使用Azure数据工厂将数据从Data Lake Store（JSON文件）移动到Azure搜索

    我正在尝试使用Data Factory将Azure数据湖中的json文件移至Azure搜索。 但它示出了下面的错误， 复制活性在源侧遇到用户错误：错误码= UserErrorSourceDataContainsMoreColumnsThanDefined，“类型= Microsoft.DataTransfer.Common.Shared.HybridDeliveryException，消息=发现错
    json azure azure-data-factory azure-search 2017-10-16

    1热度

    3回答

    无法访问ADLS帐户'（accountname）'

    我正在尝试使用azure数据工厂v2将数据复制到Azure数据存储池。我创建了数据湖商店，并在article here之后创建了一个AD网络应用程序，并确保该帐户可以访问数据湖商店。不过，我收到以下错误，每当我试图运行一个管道，涉及使用数据湖店作为一个水槽的单一副本活动： 活动复制（副本活动名称）失败：无法检测区的链接服务'AzureDataLakeStore'：'LS_DataLakeStore
    azure-data-factory 2017-10-17

    1热度

    1回答

    Set-AzureRmDataFactoryV2无法识别cmdlet的名称

    我正在尝试使用数据工厂的预览版本。但是，当我尝试在PowerShell中使用Set-AzureRmDataFactoryV2命令创建新的数据工厂时。 它返回一个错误：术语“Set-AzureRmDataFactoryV2”无法识别cmdlet的名称。谁能帮忙？由于
    azure-data-factory 2017-10-18

    0热度

    1回答

    如何使用Azure Powershell删除名称以Azure Data Factory中的特定文本开头的所有数据集？

    Iam试图只删除datafactory中的特定数据集，即只有名称以“DS_SHP”开头的数据集。 Iam使用Azure PowerShell cmdlet： Get-AzureRmDataFactoryDataset -ResourceGroupName“cdm-apps-rg”-DataFactoryName“cdm-apps-adf”| Remove-AzureRmDataFactoryDat
    azure azure-data-factory 2017-10-20

    0热度

    1回答

    加密草稿以为Azure数据工厂结果创建链接服务导致错误。

    我想加密草稿以在Azure数据工厂中创建链接服务，但是当我单击加密按钮并尝试点击指向下载的客户端时出现错误。 所以首先我跳过输入自己的用户名和密码，因为微软的指南不告诉我，由于某种原因（顺便说一句的是一个需要被更新中...） 指南：Move data between on-premises sources and the cloud with Data Management Gateway 的第一
    sql-server azure connection-string azure-data-factory 2017-10-20

    0热度

    1回答

    无法从ADF执行U-SQL脚本：ScriptPath不应为空

    我们试图从ADFv2运行U-SQL脚本，但存在阻止执行的错误。考虑到关于这个问题的MS文档没有什么帮助，我再次要求SO帮助解决这个问题。 最初的问题是如何部署在U-SQL脚本ADLA。我们找不到任何有用的东西，最终只是将脚本复制粘贴到ADLA和Azure Blob存储上，格式为.usql和.txt。 （这也可能是其中一个问题）。 我们根据MS documentation创建的ARM，但它与错误而失
    azure azure-data-factory u-sql custom-activity 2017-12-27
最新问题