我们使用BigQuery作为系统的分析引擎,为报表准备数据。 根据我们的流程,数据的任何部分都可能发生变化,这也是2013-2015年的历史数据,所以我们每天早上都会删除并重新加载BigQuery中的所有表格。Big Query是否适应数据?
我们想了解我们的方法是否会降低性能或增加数据处理的成本。因为它可能是BQ“适应”的表格内容,随后的查询变得更加高效。我不是在谈论缓存,而是关于BQ在处理查询时可能发现的一些数据重组,例如分区。
例如,大部分的查询都与一个特定的年份,或值类型,所以BQ可能要跨越这些字段中的数据分区,一旦识别常见的查询模式。
我证实了这一点Google BQ的行为。即使数据未更改,查询执行计划也会随时间变化。不幸的是,在我们的案例中,通配符表不是一种选择,因为我们使用自行生成SQL代码的BI工具。 –