数据将由BigQuery存储的位置

Question

我正在使用BigQueryIO将数据发布到Google Dataflow作业的BigQuery中。

AFAIK，BigQuery可用于从Google云端存储，Google云端硬盘和Google表格中查询数据。

但是当我们使用BigQueryIO存储数据时，数据将存储在哪里？它在Google云端存储中吗？

Answer 1

云存储是从大查询一个单独的服务。 Big Query在内部管理自己的存储。

因此，如果您将数据保存到云存储，然后使用bq命令从云存储中的文件加载Big Query表，则现在有两份数据副本。

后果包括：

• 如果删除云存储复制，数据仍将是大查询。
• 费用包括每个副本的价格。我认为在2017年4月，BQ的长期存储量约为0.01美元/ GB，云存储量约为0.01美元至0.026美元/ GB，具体取决于存储级别。
• 如果GCS和BQ中都有相同的数据，那么您需要支付两次。是否值得拥有备份数据副本取决于您。

Answer 2

BigQuery是一个托管数据仓库，简单地说它是一个数据库。

因此，您的数据将存储在BigQuery中，您可以通过使用SQL查询来访问它。

Answer 3

简短的回答 - BigQueryIO写/读/从BigQuery的表

要转到更深一点：在Capacitor列数据格式
的BigQuery存储数据，并提供表，分区列的标准数据库概念，和行。

它管理存储结构化数据的技术方面，包括压缩，加密，复制，性能调整和扩展。

您可以阅读BigQuery Overview更多关于BigQuery的不同组件