在Hadoop中运行的打包依赖

Question

作为一名非常熟悉Maven依赖和打包的以前的Java开发人员......您如何捆绑应用程序，并将其依赖的JAR部署到Hadoop集群中？几乎我见过的每个示例都看到打包单个JAR。好像我要么失去了一些东西。

-libjars给出的回答here对于简单的依赖性层次结构似乎没问题，但对于复杂的情况几乎无法管理。

Answer 1

好的，我会提出一个答案，我是如何考虑这个问题的，但是让社区决定这是否成立（在一周左右之后，大多数观点都会标记出正确答案）。

以前我创建了Maven配置来构建可执行文件 - 通常这些文件会创建一个带有所有相关JAR的分解文件夹和一个包含所有依赖项的自动批处理脚本......我认为这可能是最佳选择。

将这些文件压缩并推入中央Maven回购可能是最容易打包的，但仍然需要在Hadoop上运行之前下载并解压缩。