etl

3热度

1回答

我尝试使用SSIS包将一个csv文件导入到SQL Server表中时，出现了一个非常特殊的情况。 csv文件中的数据可以包含双引号和逗号。因此，带逗号的数据用双引号引起来，双引号用额外的双引号转义。我使用了文本限定符来成功处理最初的周围引号。但是，在某些情况下，数据格式化的格式类似于我无法处理的“”“Anne”“，Annabelle”。数据中额外的双引号似乎会导致逗号终止该字段。我试图使用派生列转

2热度

1回答

SSIS复制多个表

我有200多个MSSQL表，并且希望将数据传输到Azure Data Lake Storage。我认为的一种方法是对动态数据流使用SSIS，即创建表名变量，并对表名和每个表运行数据流执行foreach循环。然而，这种方法似乎是错误的，虽然文件是在Data Lake存储中创建的，并且正确的方案数据不会由于错误的映射而被传输。是否有任何通用的方式来创建一个动态数据流并传输大量的表数据？

0热度

1回答

仅更新允许的列在休眠状态

我可以使用hibernate允许用户根据某些条件更改某些列吗？列注释中有（updatable = false），我可以动态更改它还是有更好的解决方案？

0热度

1回答

我应该如何控制使用Pentaho的计算版本的重复？

我有一个表result_slalom，其中数据通过Pentaho的ETL作业填充。当ETL第一次运行时，它会创建版本-1。现在，如果数据在新计算后发生变化，它将成为版本-2。我只需要在计算版本-2中进行更改，并且在result_slalom表中不应超过2个版本。（版本1和版本2）所以逻辑是：检查表存在 Ø When data exists and existing version is

2热度

1回答

使用SSIS在不知道文件名的情况下使用SSIS从Excel导入数据

我正在处理将用于将数据从Excel文件导入到SQL Server的SSIS包。我目前的挣扎是想办法让SSIS软件包准确地引入一个excel文件，而不必事先知道它的名称。我有一个同时包含0和n excel文件的目录。我只想拉入最早创建时间的文件。这可能吗？我正在使用Visual Studio 2015构建SSIS包。我的数据库是SQL Server 2016

0热度

1回答

我应该在连接条件还是先前的CTE中放置行号过滤器？

我有一个subscription表和一个payments表，我需要加入。我试图在2个选项之间做出决定，性能是一个关键考虑因素。以下两个选项中哪一个表现更好？我正在使用Impala，并且这些表很大（数百万行）我只需要为每个id和date分组（因此为row_number()分析函数）获得一行。我已经缩短了的查询来说明我的问题： OPTION 1： WITH cte AS (

3热度

1回答

如何在SSIS脚本组件中按名称循环访问列？

我正在将管道分隔的平面文件加载到临时表中。在加载过程中，SSIS脚本组件在一行上执行一些操作。它可以根据另一个字段中的值在一个字段中设置标志，为某些列添加前缀或应用格式。例如，如果缺少日期，则该字段被分配为默认日期。（如果Row.EndDate_isNull，则Row.EndDate = defaultDate）当需要将相同的转换应用于一系列行时，这些脚本变得很麻烦。例如，医疗记录文件可以用三

0热度

2回答

批量插入到SQL服务器与Python不工作

我试图批量插入一个csv到SQL服务器中的表。问题是，数据与目标表的列不匹配。目标表有多个在源文件中找不到的审核列。我找到的解决方案是插入视图。代码很简单： from sqlalchemy import create_engine engine = create_engine('mssql+pyodbc://[DNS]') conn = engine.connect() sql = "BUL

1热度

2回答

在aws的360gb文本文件中将1620列转换为360gb文本文件中的行

2热度

1回答

ssis意外终止错误

从服务器运行ssis包时，我得到以下错误。 Data Flow Task:Error: Excel Source failed the pre-execute phase and returned error code 0xC0202009 Data Flow Task :Error: SSIS Error Code DTS_E_OLEDBERROR . An OLE DB error has o