DataStage：运行低级套接字连接

我是Unix java开发人员，试图帮助数据开发人员，因此离开了我的水族馆。DataStage：运行低级套接字连接

datastage进程连接到托管unix服务器上的金融交易的数据库。有一个将财务交易转移到ACCOUNTING系统的数据传输流程。由于某种原因，ETL开发人员指定他们无法在进行新的金融交易时运行一个或多个特定的ETL，并指定了将交易插入数据库的过程被停止。

我java的怪胎认为有一些过程检查运行在端口55555服务将是完美的。但是我们无法找到datastage创建套接字连接到端口的方法来检查。我不做datastage，所以我不知道如何解决它的局限性。

ETL开发人员认为每分钟运行一次cron脚本，将进程的向上/向下状态插入到特殊表中将是完美的。我认为这是对CPU的浪费。

当某个进程在远程系统上运行时，我不能成为唯一不能运行ETL的公司。

你是如何解决这个问题的？有没有办法连接到远程服务器套接字并从datastage运行服务？

谢谢

来源

2017-06-20 peter cooke

请给我们更多的细节 - 为什么DataStage过程不能运行？我很确定有这样的数据库解决方案。 – MichaelTiefenbacher

根据评论添加信息 –

在技术层面上，DataStage是从图形描述到C的代码生成器，可以编写自己的C函数并从DataStage调用它们。所以它可以运行一个套接字。但是，这可能不是最好的解决方案：如果DataStage作业是并行的，那么作业的每个分支都会打开自己的套接字，并且可能会找到与其他地方不同的状态！由于数据库是金融交易系统和ETL工作的中心点，我认为这将是处理这些计划之间合作的最佳地点。 –

经过一番讨论。选项我们发现

添加步骤写入过程状态表开始停止服务器的脚本。亲：易于实施。 con：不太准确（像我这样的怪人很可能会绕过启动/停止脚本，只运行可执行文件，绕过启动停止脚本并绕过插入状态的步骤。）无网络和InfoSec文档
基于Cron的脚本，可以逐分更新表的状态。多么痛苦!!!!没有网络和InfoSec文书工作。
脚本通过inet或xinet提供给网络。问题是datastage ETL开发人员不知道如何通过C或Java程序连接到套接字。创建Infosec和网络文书工作问题。
新的web服务（有一个tomcat服务器提供大量的web服务）问题是datastage ETL开发人员不知道如何通过C或java程序连接到套接字。创建Infosec和网络文书工作问题。

选项3和4是精确和实时。选项1和2通过绕过流程而导致错误的可能性，但是这会打开一堆不同的蠕虫。

我们可能会执行选项1

来源

2017-06-21 15:31:55

DataStage：运行低级套接字连接

回答

相关问题