火星壳消耗的纱线资源，如何阻止它

这是我的问题，现在，当我开始使用火花外壳时，它会消耗大量资源并且可能使它们保持有限/通过影响其他并行运行的应用程序。火星壳消耗的纱线资源，如何阻止它

例如，我正在运行一些spark-shell命令，并且意外地将shell打开并且未关闭会话，所有资源都将保持不变，并且所有其他用户都无法处理任何内容，除非我关闭我的环节

如何从纱线角度解决这个问题。

2017-05-05 akash sharma

您可能希望为Cloudera中的Yarn设置资源池使用情况。您可以为每个用户分配一些资源。即使您使用了所有资源，也会有一些用户可用。

如果您不想在用户之间分割纱线资源。您可以将SPARK设置为使用动态分配（在http://spark.apache.org/docs/latest/configuration.html中检查spark.dynamicAllocation.enabled属性）。所以如果你打开你的火星壳并完成你的工作，火花会将资源归还给纱恩。但是你可以在使用动态分配

问候，阿尔诺

没有设置执行者的数量

来源

2017-05-05 09:34:47 Nonontb

火星壳消耗的纱线资源，如何阻止它

回答

相关问题