将Google表格加载到Big Query

Question

我已经能够按照此处列出的说明将Google表格加载到大查询中。

https://cloud.google.com/blog/big-data/2016/05/bigquery-integrates-with-google-drive

说我被难住了唯一的一点是，我要字段添加到架构。 因此，假设我在Google表格中有100列，所有这些列都需要加载到BQ中。这是否意味着我必须手动输入100个模式名称并选择它们的字段类型？我做了一个，但我认为有一种方法可以将Google表格中的所有内容自动加载到BQ中。

难道有人指着我正确的方向吗？

谢谢！

Answer 1

你必须提供模式！

那么如何使用常规的电子表格功能，并生成表格的数据在表格中的列标题。您可以首先使用最常用的数据类型，然后手动“修复”不同类型的字段。这可以作为一个脚本来为你工作，然后你用它来提供模式

另一方面 - 你可以检查Table definitions based on Google Sheets source files。它可能有帮助

Answer 2

您可以为您的Google Sheets文件创建table definition（但您必须使用命令行界面）。默认情况下，它将尽最大努力auto detect来自文件的表格模式。