2017-02-17 65 views

回答

3

如果使用云存储是一种选择,你可以把他们都在一个共同的前缀水桶和例如使用通配符gs://my_bucket/some/path/files*可快速指定具有多个输入的单个加载作业。

+0

感谢。这样可行。如果文件在子文件夹内怎么办?我们可以设置递归加载子文件夹数据的选项吗? – user1311888

+0

GCS在这方面不是文件系统,路径实际上只是二进制对象的关键。换句话说,只要你的字符串前缀只匹配你想要的CSV文件,那么无论在gs://路径中有多少斜杠。 – shollyman

+0

是否有必要通过谷歌云存储上传大量文件(数千个文件)?我只看到使用GCS的答案,但这是非常间接的,也许更昂贵。 – Jeff

相关问题