使用AMI和公用文件的亚马逊EC2现货实例车队

Question

我想使用定制AMI（码头？）为执行深度学习培训任务推出多个Amazon EC2现货实例（车队？）。为了训练模型，我希望所有实例都共享一组通用文件。

当由于价格限制/需求导致现货实例被AWS终止时，这里的想法并不是失去培训历史并在EBS（网络驱动器？）中保留备份。任务状态可以在文件中更新，然后在实例可用时恢复。

是否可以启动所有实例并让它们协同工作来完成培训任务？什么样的设置可以实现这一点？

Answer 1

首先，您可能会对来自AWS Marketplace的Deep Learning AMI感兴趣，该Marketplace可通过深度学习工具完全配置。

如果您使用的软件希望将其数据保存到本地文件系统（而不是Amazon S3），则可以使用Deep Learning AMI在多个Amazon EC2实例（包括竞价型实例）之间共享文件系统。 Amazon EFS与NAS相似，可以跨多个实例同时使用。

EFS卷可以通过User Data script连同安装脚本一起加载并运行所需的应用程序（比创建新的AMI更容易）。