如何将程序的输出存储在Amazon S3中？

Question

我有一个AWS EMR集群。我为该集群运行程序“samplespark.py”（包含在S3存储桶中）创建了一个步骤。 samplespark.py创建一个文件，并将一些输出写入该文件，或者至少在我的计算机上测试时输出。当我在AWS EMR上运行samplespark.py时，找不到输出文件。

如何将输出文件写入Amazon S3存储桶？

Answer 1

或者您可以使用minio client aka mc

您可以直接管结果S3存储为对象。

$ python samplespark.py | MC管s3/myoutput/output.txt

希望它有帮助。