Amazon批处理 - 来自s3的输入文件

Question

我是AWS新手。我正在尝试使用批处理来分析一堆文件。如果我有一个Docker镜像来安装我的分析程序，那么在批处理作业中使用I/O的建议方式是什么？

1. 有没有办法使用通用程序访问S3文件？

   /bin/cd-hit -i <s3bucket/input> -o <s3bucket/output.txt>

2. 或者做人流在作业定义使用Amazon的弹性文件系统挂载为卷，然后访问文件呀？

Answer 1

1. 是否有访问与通用程序S3文件的方法吗？

是的。

• http://s3tools.org/s3cmd
• http://docs.aws.amazon.com/cli/latest/reference/s3/index.html

或做的人使用亚马逊弹性文件系统，在作业定义安装体积，然后访问文件的方式？

这也是可能的，即使它是更好的考虑S3作为一个键值存储和编写多线程代码访问S3在时尚。