我跟着在此链接的AWS EMR集群上设置JupyterHub教程:https://aws.amazon.com/blogs/big-data/running-jupyter-notebook-and-jupyterhub-on-amazon-emr/如何为多个用户压力/负载测试JupyterHub?
我得到了集群启动和运行,但现在我的问题是我怎么应力/负载测试? (即同时模拟100个用户在笔记本上运行)。
在课堂环境中,我有大约30位用户通过笔记本练习进入我的群集,但是当更多人开始执行笔记本中的代码块时,出现了巨大的减速。发生了什么是一些Python库导入永久,一些练习停止工作或只是悬挂。 Cloudwatch表明存在网络瓶颈。
基本上我问的是我该如何去调试类似的东西?模拟多个用户进入EMR集群,打开jupyter笔记本并同时运行代码块的最佳方式是什么?