针对构建基于hadoop的数据管道的调度工具的建议

Question

在Apache Oozie，Spotify/Luigi和airbnb/airflow之间，他们每个人有什么优点和缺点？

我过去曾经使用oozie和airflow来构建使用PIG和Hive的数据摄入管道。目前，我正在构建一个查看日志并提取有用事件并将其置于红移的管道。

我发现气流更容易使用/测试/设置。它有一个更酷的用户界面，并允许用户从用户界面本身执行操作，这与Oozie不同。欢迎任何有关Luigi或其他有关稳定性和问题的见解。

Answer 1

• Azkaban：漂亮的UI，相对简单，非程序员可以访问。在LinkedIn有悠久的历史。
  • 检查出Azkaban CLI项目的程序化作业创建。我在GitHub上有一个Azkaban example workflows项目。
• 气流：体面的UI，Python-ish作业定义，非程序员半访问，依赖声明语法很奇怪。
• Luigi：确定UI，工作流程是纯Python，需要牢固掌握Python编码和面向对象的概念，因此不适合非程序员。 Oozie：疯狂的基于XML的作业定义。这里是龙。 ;-)

恕我直言，Azkaban强制执行简单性（不能使用不存在的功能），其他人则巧妙地鼓励复杂性。

更简单的管道比复杂的管道更好：创建更容易，更容易理解（特别是当你没有创建时），更容易调试/修复。

当需要复杂的操作时，您希望以完全成功或完全失败的方式封装它们。

如果你可以使它幂等（再次运行它会产生相同的结果），那就更好了。

Answer 2

这篇文章会给你一个最初的想法有关不同可能的工作流程

http://bytepawn.com/luigi-airflow-pinball.html