对BigQuery中的记录插入次数有任何限制？

Question

我们试图一次性插入近10万条记录！但是，该脚本将所有0.1英里的记录插入到MySql中，而类似的脚本在Big Query中插入大约27K条记录后过早终止！

另外我们没有发现任何错误在从Big Query API脚本终止。请帮助我们知道原因，如果它BQ已设置任何限制插入或其他！

Answer 1

如果您并行地制作流式插入，效果会更好。对于大数据使用加载文件的作业。确保你正确处理错误，因为从一批行可能会失败，有些可以通过。处理错误时您需要处理此问题。

以下限制适用于将数据流式传输到BigQuery。

• 最大行大小：1 MB。超过此值将导致无效错误。 HTTP请求大小限制：10 MB。超过此值将导致无效错误。
• 每秒最大行数：每个表格每秒100,000行。每个项目每秒1,000,000行。超过任一数量都会导致配额超出错误。
• 每个请求的最大行数：没有硬性限制，但我们建议最多500行。批处理可以提高性能和吞吐量，但是会以每请求延迟为代价。每个请求的行数太少以及每个请求的开销可能导致摄入效率低下。每个请求的行数太多，吞吐量可能会下降。我们建议每个请求使用约500行，但使用代表性数据（模式和数据大小）的实验将帮助您确定理想的批量大小。
• 每秒最大字节数：每个表每秒100 MB。超过此金额将导致quotaExceeded错误。