在Livy上创建另一个副本作为副本

Question

我使用livy将Spark用作服务。我的应用程序将一些命令作为代码发送给livy，但是，spark需要初始化一些变量（读取一些文件，制作一些减少操作的地图等），这需要时间。这个初始化部分对所有会话都是通用的。施工结束后，可能会向这些会议发送不同的陈述。

我在想什么，当livy创建一个会话，是否有可能复制旧的会话线的图像或应该从头开始一切？

预先感谢您。

Answer 1

经过一番研究，Livy服务器无法实现。 Livy唯一的责任是为Hadoop集群中的Spark框架提供其他服务。对于每个请求（无论是批处理还是会话），都会打开一个单独的火花外壳。因此，克隆现有会话是不可能的。

另外还有一点，我真的不喜欢livy服务器处理外部依赖的方式。生成一个胖罐子不适合hadoop环境，因为它们中有很多。但是，如果使用命令行参数实现Spark应用程序，则可以通过HTTP以交互方式与Hadoop环境进行通信。