缓慢插入bq +后端错误

Question

我们在将数据插入BigQuery时遇到问题。 我们位于荷兰。

的命令：
ADM @ la478 ads_csv $时间BQ负载--debug_mode --skip_leading_rows 1个--max_bad_records 100 --project_id 197553342340 ad_monitoring.ad ad_bd9a6230-2d34-4cf1-8553-04d9c2f8c52b.csv.gz
大量查询误差在负载操作：后端错误

的度量：
真实4m35.997s
用户0m0.963s
SYS 0m0.169s

文件大小：
-RW-RW-RW-1个ADM管理员3900年07月10 17:02 ad_bd9a6230-2d34-4cf1-8553-04d9c2f8c52b.csv.gz
200MB的未压缩

可以请你建议使用做什么？

Answer 1

我正在调查我们后端的问题，但如果您通过Google存储进行导入，您可能会有更好的运气（尤其是来自欧洲）。如果您运行gsutil cp ad_monitoring.ad ad_bd9a6230-2d34-4cf1-8553-04d9c2f8c52b.csv.gz gs://your_bucket/ad_monitoring.ad ad_bd9a6230-2d34-4cf1-8553-04d9c2f8c52b.csv.gz，然后你可以改变BQ命令行：

bq load --debug_mode --skip_leading_rows 1 --max_bad_records 100 --project_id 197553342340 ad_monitoring.ad gs://your_bucket/ad_bd9a6230-2d34-4cf1-8553-04d9c2f8c52b.csv.gz

我在寻找我们的日志你的工作，它看起来像已经出现了一堆失败近期负载工作'TOO_MANY_ERRORS'。如果你使用bq ls -j和bq show -j <job_id>，你可以得到更多关于这些信息。