2017-05-03 49 views
0

技术可供选择:Autosys,Informatica的,UNIX脚本,数据库(通过Informatica的可用)如何在Autosys中创建优先队列计划?

我们目前一批工作原理是filewatchers寻找一个叫当饲料开始处理这些被删除“control.txt”文件。一旦完成后它会被重新创建,它允许所有的“控制”自动操作作业等待,有一个拿起控制文件并开始逐个处理数据馈送。

然而,该系统已经成长大,有的饲料变得比其他人更重要,我们正在寻找方法来改善我们的调度比别人优先饲料。

与目前的设计中,一个下一个进料运行时决定一个文件,它不能做的,我一直没能拿出一个简单的解决方案,使之成为现实。

例子:

1. Feed A is processing 
2. Feed B, Feed C, Feed X, Feed F come in while Feed A is processing 
3. Need to ensure that Feed B is processed next, even though C, X, F are ready. 
4. C, X, F have a lower priority than A and B, but have the same priority and can process in any order 
+0

您也可以重命名该控件。txt文件相关的饲料 –

回答

0

一个非常有趣的问题。我可以想到的一件事是使用shell脚本来进行额外的Autosys作业,该脚本可以按特定顺序复制文件。像:

  • 创建输入文件夹如StageFolder
  • 让我们把当前的Autosys输入文件夹“的InputFolder”
  • 有无Autosys监视它和任何文件运行OrderedFileCopyScript.sh,每分钟
  • OrderedFileCopyScript.sh应该StageFolder在期望复制一个文件InputFolder仅当输入文件夹为空时才会订购

我希望自己清楚。

+0

这是一个开始,问题在改变文件名和位置会产生大量额外的工作,认为该项目不可行。但是,我知道你不可能知道这一点。 – Christian

+0

嗯......我只是在给出的限制内抛出一些想法:)然而:不需要文件名称的改变,只需要额外的文件夹。 – Maciejg

+0

是的,对不起,这就是我想说的原因。我非常感谢任何帮助。我只是不够详细。抱歉。 – Christian

0

我反对使用Autosys来达到这个要求!错误的工具!

我不知道所有的细节,但考虑到与通常的参照表的应用程序。

在这种情况下,您应该使用Feed参考表来包含相对优先级。

我建议创建(或重用)的表由文件守望者的继任者的工作负载。

1)表包含具有相应优先级的未处理文件,然后使用此表根据优先级处理文件。

2)删除/存档条目一旦完成。

3)还有另外一项工作,并像start_times/run_window的守护程序一样运行。

这给了灵活性,以应对变化中的优先事项,并保持整体设计简洁。

这给出