dataflow

0热度

1回答

在我的项目，我使用Nifi阅读从Tomcat日志文件，并在火花的应用处理这些数据，之后，在DB插入的过程数据。但我的问题是，在应用服务器层面，我有2个不同的盒子4 Tomcat集群（4个不同的日志文件），我有标示出哪些数据是从哪个集群的火花水平。在目前的设置我在Nifi 2 tailFile处理器，其指向单个外港，在每盒但不能够识别哪些数据是从哪个群集在火花水平。是否有tailFile处理器的

0热度

1回答

使用存储数据到查询SSIS

我有一个查询，我需要的数据，所以我将其存储到OLEDB连接，因为我想几次使用该数据到另一个querys 查询 SELECT * FROM ( SELECT TT.VOUCHER, TT.TAXITEMGROUP, TT.TAXCODE, TT.SOURCEBASEAMOUNTCUR, TT.SOURCETAXAMOUNTCUR, TTGJAERIVA.TAXTRANSRELATIONS

1热度

1回答

SSIS - Teradata数据为Attunity连接器和SQLServer 2016

我有我的开发机器从Teradata的15传送到使用为Attunity 4.0的SQLServer 2016上运行，从VS2015的SSIS包没有问题，所有的TTU 01年10月16日以下的： ODBC驱动 OLEDB访问模块 .NET数据提供 TPT基地 TPT流，但是当我的包部署到同一个SQLServer的执行失败，此错误： “数据流任务：错误：Teradata数据源的版本 - [来源名称]是

0热度

3回答

数据流脚本组件中的SSIS设置变量

我有一个输入平面文件，每个输出记录有两种类型的输入记录。第一条记录（由第一栏C标识）有一个ID和人口统计信息。第二条记录（由第一栏中的L标识）有一些财务信息。它们是管道分隔的，长度不同。没有办法将所有C记录写入到一个流中，并且L记录到另一个流中，然后将它们放回到一起。所以我的解决方案是进行条件分割。当我在SSIS变量中打开C记录存储所需的所有信息时。当我点击一条L记录时，可以从变量中派生列，并使

0热度

1回答

带循环链接的TPL块？

我使用TPL很多，并有大量数据流管道结构。作为管道网络的一部分，我想将一些数据写入azure blob存储。我们有很多数据，因此我们有4存储帐户，我们希望在它们之间均匀分配数据。希望继续使用数据流管道模式，因此我想实现一个SourceBlock，如果我将它链接到几个目标模块，它将使用循环法将消息发送给它们。 BufferBlock不够好，因为他正在将消息发送到接受它的第一个块，并假设所有目标块

0热度

1回答

执行OLE DB目的地时出现SSIS错误

我是SSIS的新手，所以一直在关注一些在线教程。我遇到以下情况，无法弄清楚发生了什么。错误是与OLE DB连接如果任何人都可以指出我正确的方向来解决这将是伟大的。 SSIS package "c:\users\****\documents\visual studio 2015\Projects\tutorials\tutorials\basicpackage.dtsx" starting. I

0热度

1回答

如何使用Apache Beam Python SDK在两个给定密钥的源上执行“差异”？

我一般提出这个问题，因为它可能是一个通用的答案。但是一个具体的例子是将2个BigQuery表与相同的模式进行比较，但可能会有不同的数据。我想要一个差异，即相对于一个组合键，例如，添加，删除，修改的内容。前2列。 Table A C1 C2 C3 ----------- a a 1 a b 1 a c 1 Table B C1 C2 C3 # Notes if comparing

0热度

1回答

Apache-Beam将序列号添加到PCollection中

我试图构建一个ETL来加载一个Dimension表。我使用Python和DataFlow和BigQuery来分配Apache Bea。我需要为pcollection的每个元素分配一个序列号，以便将其加载到BigQuery中，但我找不到任何方法来执行此操作。我想我需要DataFlow使先前的聚合和连接，以获得我最后的pcollection添加序列号，但在这一刻我需要停止并行处理，并将我的pcol

0热度

1回答

解决apache波束管道导入错误[BoundedSource对象大于允许的限制]

我有一堆存储在谷歌云存储上的文本文件（〜1M）。当我读到这些文件到谷歌云数据流的管道的处理，我总是得到以下错误： Total size of the BoundedSource objects returned by BoundedSource.split() operation is larger than the allowable limit 的故障排除页说： You might enc

1热度

3回答

使用Python SDK进行数据流流式传输：将PubSub消息转换为BigQuery输出

我正在尝试使用数据流来读取pubsub消息并将其写入大查询。我获得了Google团队的Alpha访问权限，并获得了提供的示例，但现在我需要将其应用于我的场景。 PubSub的有效载荷： Message { data: {'datetime': '2017-07-13T21:15:02Z', 'mac': 'FC:FC:48:AE:F6:94', 'status': 1} att