通过我的Google应用程序引擎应用程序将大型excel文件上传到bigquery

Question

我想通过我的Google应用程序引擎应用程序将大型excel文件上传到Bigquery。现在我上传数据并使用POI读取数据，然后通过流式插入将数据插入到Bigquery中。如果我使用这个更大的excel文件，这是不可能的，这肯定会花费60秒以上（DeadlineExceededexception）。请提出正确的方法来完成这项任务。

在此先感谢

Answer 1

当你打DeadlineExceededexception应用服务引擎的请求，通常的情况是，你将需要分割该请求期间所做的工作的标志。

如果我深知你的使用情况，您可以：

1）将其分开步骤：上载，转换数据，插入的BigQuery。

2）如果必须从客户端发送大量数据，请使用Blobstore Java API。

3）使用Task Queues进行其他耗时工作。请注意，他们也有10分钟的截止日期。