谷歌数据流失败

去过一会儿测试数据流，今天我遇到一些故障，错误信息是：谷歌数据流失败

原因：（b8a42e32d0888f60）：无法从GS重命名文件输出中：// clickstream_current的/ tmp/dataflow /staging/clickstream/8977742977819433140/dax-tmp-2015-04-14_15_58_06-5441905562239213266-S01-1-e70068cb69ef966a/@DAX.json到gs：// clickstream_current/tmp/dataflow/staging/clickstream/8977742977819433140/@ *。 JSON。原因：（b8a42e32d0888fdb）：无法重命名“GS：// clickstream_current/TMP /数据流/分段/点击流/ 8977742977819433140/DAX-TMP-2015-04-14_15_58_06-5441905562239213266-S01-1-e70068cb69ef966a/-shard-00000-的-00940-endshard.json“改为”gs：//clickstream_current/tmp/dataflow/staging/clickstream/8977742977819433140/-00000-of-00940.json。

这是GCS问题吗？除了失败之外，还有警告抱怨“从GCS文件夹无法删除临时文件”我能做些什么来避免呢？

来源

2015-04-14 Echo

这种故障是否一致发生？您是否尝试过使用较小的数据集和/或增加工作人员的数量？ –

对象gs：//clickstream_current/tmp/dataflow/staging/clickstream/8977742977819433140/dax-tmp-2015-04-14_15_58_06-5441905562239213266-S01-1-e70068cb69ef966a/-shard-00000-of-00940-endshard.json实际存在？ –

你的管道使用什么类型的写变换？例如BigQueryIO，TextIO，AvroIO？ –

我们已经确定了服务的问题，这将导致在某些罕见的情况下此故障。我们正在解决这个问题的工作。与此同时，我们对给您带来的不便深表歉意。如果您使用BigQueryIO.Write来更改错误输出你的数据。

来源

2015-04-21 23:36:57

谷歌数据流失败

回答

相关问题