高效的方式上传多个文件分离对谷歌的云存储位置

Question

这里是我的情况，我想复制多个文件分离在谷歌云存储，比如位置：

gsutil -m cp /local/path/to/d1/x.csv.gz gs://bucketx/d1/x.csv.gz 
gsutil -m cp /local/path/to/d2/x.csv.gz gs://bucketx/d2/x.csv.gz 
gsutil -m cp /local/path/to/d3/x.csv.gz gs://bucketx/d3/x.csv.gz 
... 

我有超过10,000的这样的文件，并通过单独的gsutil调用执行它们似乎非常慢，并且在设置网络连接上浪费了大量时间。请问最有效的方法是什么？

Answer 1

如果你的路径是在你的榜样的性质一致，你可以用一个gsutil命令做到这一点：

gsutil -m cp -r /local/path/to/* gs://bucketx 

但是，这只能如果你想在目标命名镜像源。如果您的路径是源名称到目的地名称的任意映射，则需要运行单个命令（正如您注意的那样，可以使用parallel加速）。