0

我跟着在此链接的AWS EMR集群上设置JupyterHub教程:https://aws.amazon.com/blogs/big-data/running-jupyter-notebook-and-jupyterhub-on-amazon-emr/如何为多个用户压力/负载测试JupyterHub?

我得到了集群启动和运行,但现在我的问题是我怎么应力/负载测试? (即同时模拟100个用户在笔记本上运行)。

在课堂环境中,我有大约30位用户通过笔记本练习进入我的群集,但是当更多人开始执行笔记本中的代码块时,出现了巨大的减速。发生了什么是一些Python库导入永久,一些练习停止工作或只是悬挂。 Cloudwatch表明存在网络瓶颈。

基本上我问的是我该如何去调试类似的东西?模拟多个用户进入EMR集群,打开jupyter笔记本并同时运行代码块的最佳方式是什么?

回答

0

你应该看看(和贡献?)项目,如this one这是为了加载测试JupyterHub,并应该迁移到jupyterHub组织再次抛光。

请注意,在你的情况下,你并不是真的想测试JupyterHub,你正在测试你的集群;只需并行运行N个脚本导入您的库,然后进行负载测试。