为什么我的Dataflow管道没有显示步骤？

当我运行这些示例时，我得到一张漂亮的图片，显示流程，并且可以在执行时监视它。用我的应用程序不显示图表，如果我点击“步骤”它什么都不显示。

添加作业日志的屏幕截图。没有警告或错误。顺便说一下，我假设日志条目上的图标是“i”代表信息级别，但是当我将级别从BASIC更改为ALL时，会添加更多条目并且它们都具有相同的图标。这是令人困惑的。图标应该更清楚，应该有悬停技巧，国际海事组织。

来源

2015-12-14 successhawk

嗨，我在数据流团队。对不起，你有麻烦。你的管道是否产生输出并且你是否证实输出正在产生？你可以分享一个没有图表显示的工作的工作ID吗？ –

@JeremyLewi是的，它会产生我的预期输出。这不是第一次截图中的作业ID吗？复制在这里为您提供方便。工作名称\t uotcpipeline-nwh02-1214220911 职位编号\t 2015-12-14_14_09_19-5727579938330135228 – successhawk

我刚才看到这个在[常见问题]（https://cloud.google.com/dataflow/faq#additional-support） ** _为什么数据流监控接口没有报告我的管道输出步骤的状态？_ ** _这是数据流监控接口的一个已知问题，将在未来版本中解决。作为解决方法，您可以在云平台输出位置（例如云存储容器资源管理器或BigQuery控制台）的相关云平台控制台界面中查看实时输出。我不确定这是否适用于我的情况。它有点模糊。 – successhawk

我对数据流的球队。很抱歉，您遇到此问题。

我相信这是因为你正在使用的自定义步骤名称而发生的。从作业日志的屏幕截图看来，这些步骤中的某些步骤已被赋予代表GCS存储路径位置的名称。我注意到了这一点，从这个消息中的日志：

执行操作“GS：// datalake /着陆/ ......”

这未能在监控界面来呈现，并有可能击中断言，因为斜杠是不允许的字符。

为了解决此问题，请尝试删除代码中使用的自定义步骤名称。这似乎被设置为gs：//样式路径。您也可以尝试为每个步骤指定名称，而不使用特殊字符。请尝试在更改后再次运行作业，并查看图形是否在数据流UI中正确呈现。

我创建了一个github issue来跟踪此错误并防止将来在数据流SDK代码中发送这些斜杠字符。

如果您遇到任何其他问题，请让我知道。

来源

2015-12-16 22:50:58

是的。就是这样。我正在命名转换文件名像TextIO.Read.named（inputFile）.from（inputFile），因为没有明确命名它给了我这个警告：_WARNING：转换TextIO.Read2没有稳定的唯一名称。这将阻止更新管道。警告消失了，当我硬编码一个不带斜线的名字时，监控界面按预期工作。谢谢！ – successhawk

为什么我的Dataflow管道没有显示步骤？

回答

相关问题