设置spark storageFraction没有效果。它甚至没有崩溃的废话值

Question

我试图改变火花环境变量“spark.memory.storageFraction”。我试图做到这一点以不同的方式：

• 作为参数传递给在我重视我的一个配置文件中保存我的火花提交命令
• 火花提交
• 在通过Scala代码。集（“spark.memory.storageFraction”，“0.1”）

当我检查下的“火花属性”火花应用UI它清楚地表明，该变量被设置，但其对存储存储器没有影响当我看着UI的“执行者”部分。

即使我添加了一个胡说八道值像这样：

的计划似乎

.SET（“spark.memory.storageFraction”，“等等等等等等”）根本不会受到影响。实际上，“blah blah blah”-value显示在spark属性下。

我使用的火花1.5

Answer 1

尝试spark.storage.memoryFraction来代替。