2
我想知道是否有一个广播变量的火花限制的大小，因为我需要广播一个大对象（6GB，可以在未来更大）。 我已经在主页和本网站搜索，但没有发现回答我的问题。 我会在播放一个非常大的对象时遇到问题吗？火花广播变量的大小是否有限制？
A
回答
2
Java Integer.MAX_VALUE有一个限制。这就是说大约2,3 GB。 请在这里查看Spark Jira的更多信息：https://issues.apache.org/jira/browse/SPARK-5739
相关问题
- 1. 火花流 - 在foreachrdd中广播变量广播始终
- 2. 制造文件中变量的大小是否有限制
- 3. 广播变量在星火
- 4. 检查大小广播变量PySpark
- 5. iPhone SDK是否限制udp广播？
- 6. chrome.hid.send的ArrayBuffer大小是否有限制？
- 7. 火花传输中的广播
- 8. 堆栈大小的最大使用限制是否有限制？
- 9. HTML5 Manifest是否有大小限制？
- 10. WritePrivateProfileStruct是否有大小限制？
- 11. Numpy：是否有数组大小限制？
- 12. Ruby对象是否有大小限制？
- 13. 是否有ajax邮寄大小限制？
- 14. MBTiles文件是否有大小限制？
- 15. CGBitmapContextCreate（）是否有大小限制？
- 16. document.execCommand（'copy'）是否有大小限制？
- 17. 火花广播与Singleton封装
- 18. 知道一个广播可变的火花
- 19. 火花Scala的抛出“java.util.NoSuchElementException：键未找到”与广播可变
- 20. 限制文本火花textarea可用大小
- 21. Node.js中的响应大小是否有大小限制
- 22. 限制行的大小是否有利于MySQL表大小？
- 23. 在visual c中是否有全局变量大小限制的解决方法？
- 24. 为什么一个适度的火花广播变量会使工作挂起？
- 25. 会话变量是否有限制？
- 26. 如何检查广播变量在Spark 2.0中是否有效？
- 27. 火花任务大小太大
- 28. Android O：PHONE_STATE广播限制
- 29. PL SQL触发器的大小限制是否限制为32Kb？
- 30. 霍夫曼压缩文件大小是否有最大限制？
它被下载到每台机器上，因此您需要内存来存储广播变量和所有任务。 – abalcerek
您是不是说广播变量的大小仅受每个执行程序内存的限制，如果我们有足够的RAM，我们可以拥有例如1TB广播变量？ –