如何限制从bigquery导出到gcs的文件的大小？

我使用python代码将数据从bigquery导出到gcs，然后使用gsutil导出到s3！但是在导出到gcs后，我注意到一些文件更多是5 GB，哪个gsutil不能处理？所以我想知道的方式限制大小如何限制从bigquery导出到gcs的文件的大小？

来源

2017-05-22 user3065606

尝试使用单一通配符URI

查看文档Exporting data into one or more files

使用一个通配符URI，如果你认为你的导出的数据会比BigQuery的1 GB的 每个文件最大值为 m值。 BigQuery将根据提供的模式分成多个文件。如果在文件名以外的URI组件中使用通配符，请务必在导出数据之前路径组件不存在。

属性定义：

[ 'GS：// [YOUR_BUCKET] /file-name-*.json']

创建：

GS：//我的桶/文件 - 名称000000000000.json
GS：//my-bucket/file-name-000000000001.json
GS：//my-bucket/file-name-000000000002.json ...

属性定义：

[ 'GS：// [YOUR_BUCKET] /path-component-*/file-name.json']

创建：

GS：//我的桶/路径组分-000000000000 /文件name.json
GS：//my-bucket/path-component-000000000001/file-name.json
GS：//my-bucket/path-component-000000000002/file-name.json

来源

2017-05-22 17:27:11

嗨米哈伊尔，当我使用通配符时，gcs会创建14个文件，其中大部分都大于5GB ..我使用多个通配符uri，对于一种模式，gcs会创建2个文件，一个文件6GB和另一个0B – user3065606

我认为发生的事情是在bigquery表中基于压缩的大小计算1GB。你尝试过压缩吗？顺便说一句，你导出CSV或JSON？ JSON格式过于冗长 - 可能是大尺寸的另一个原因 –

是的，我从json导出，从我的角度来看，1gb可能是数据长度不包括架构...我害怕一些文件被压制之后，其中一些也可能大于5Gb – user3065606

如何限制从bigquery导出到gcs的文件的大小？

回答

相关问题