BigQuery：将数据从GCS加载到EU数据集中

过去，我已经成功地将数据从美国托管的GCS存储桶中的CSV数据加载到美国托管的BigQuery数据集中。我们自此决定将我们的BigQuery数据移至欧盟，并且我创建了一个新的数据集，并在其上选择了此区域。我已经成功地填充了足够小的桌子，可以在家里从我的机器上传。但是两张表对于这个太大了，所以我想从GCS的文件中加载它们。我曾尝试从美国托管的GCS存储桶和由EU托管的GCS存储桶（认为bq负载可能不喜欢跨区域）执行此操作，但负载每次都会失败。下面是我从bq命令行（500，内部错误）得到的错误细节。有没有人知道为什么会发生这种情况？是否将数据加载到来自GCS的由EU托管的BigQuery数据集中已知可用于其他用户的数据？BigQuery：将数据从GCS加载到EU数据集中

{ 
    "configuration": { 
    "load": { 
     "destinationTable": { 
     "datasetId": "######", 
     "projectId": "######", 
     "tableId": "test" 
     }, 
     "schema": { 
     "fields": [ 
      { 
      "name": "test_col", 
      "type": "INTEGER" 
      } 
     ] 
     }, 
     "sourceFormat": "CSV", 
     "sourceUris": [ 
     "gs://######/test.csv" 
     ] 
    } 
    }, 
    "etag": "######", 
    "id": "######", 
    "jobReference": { 
    "jobId": "job_Y4U58uTyxitsvbgljFi2x534N7M", 
    "projectId": "######" 
    }, 
    "kind": "bigquery#job", 
    "selfLink": "https://www.googleapis.com/bigquery/v2/projects/######", 
    "statistics": { 
    "creationTime": "1445336673213", 
    "endTime": "1445336674738", 
    "startTime": "1445336674738" 
    }, 
    "status": { 
    "errorResult": { 
     "message": "An internal error occurred and the request could not be completed.", 
     "reason": "internalError" 
    }, 
    "errors": [ 
     { 
     "message": "An internal error occurred and the request could not be completed.", 
     "reason": "internalError" 
     } 
    ], 
    "state": "DONE" 
    }, 
    "user_email": "######" 
}

来源

2015-10-21 Dzamo Norton

您有低利率。重要的是，您必须使用投票下方发布答案左侧的勾号标记接受的答案。这会增加你的速度。通过查看这个链接了解它是如何工作的：http://meta.stackoverflow.com/questions/5234/how-does-accepting-an-answer-work#5235 – Pentium10

谢谢，我已经完成了 –

通过在计算器上其他相关的问题，搜索后，我终于意识到，我已经把我的GCS斗区EUROPE-WEST-1，而不是多区域EU位置。事情现在按预期工作。

来源

2015-10-26 06:42:19

BigQuery：将数据从GCS加载到EU数据集中

回答

相关问题