谷歌云平台架构

Question

一个简单的问题：

是通过谷歌查询大存储处理，在谷歌云存储，并只用于分割目的吉贝数据？或者Google Big Query是否拥有自己的存储机制。

我在学习架构，我看到箭头互相指向，但它没有说GBQ的架构在哪里？

谢谢。

Answer 1

从Bigquery under the hood：

巨像 - 分布式存储

的BigQuery依靠巨人，谷歌最新一代的分布式 文件系统。每个Google数据中心都有自己的Colossus群集，并且每个Colossus群集都有足够的磁盘，以便每次为每个BigQuery用户提供数千个专用磁盘。 Colossus还处理 复制，恢复（当磁盘崩溃时）和分布式管理 （因此没有单点故障）。 Colossus足够快到允许BigQuery提供与许多内存中的 数据库类似的性能，但利用了更便宜但高度并行化的，可伸缩，耐用和高性能的基础架构。

BigQuery中利用了ColumnIO柱状存储格式和 压缩算法来以最佳方式 在巨人数据存储用于读取大量结构化data.Colossus的允许 大量查询用户扩展到几十PB的在存储无缝， 而无需支付附加更昂贵的计算资源的代价 - 大多数传统数据库都是这种情况。

关于ColumnIO的部分已过时--BigQuery现在使用Capacitor format - 但其余部分仍然相关。