2016-03-03 56 views
0

我有一堆总是写入日志的汇总节点(标量,直方图等)。点校验并不常见,所以我经常遇到这样的情况,即我正在从比写入日志的事件更早的检查点恢复。当我从检查点恢复并重新开始写入日志时,究竟发生了什么?旧活动会被覆盖吗?这个文件不是很清楚。在TensorBoard看来,似乎“未来”事件仍然存在。理想情况下,我想冲过当前的global_step,然后重新开始。在检查点之后写入的事件会发生什么?

回答

1

TensorBoard确实有处理这种情况的逻辑 - 它查找重新启动事件,并尝试清除global_step大于重新启动步骤的所有内容。 See this code。如果您仍然看到孤立的事件,那意味着某些事情不起作用 - 也许在您的作业从检查点重新启动时,SessionLog.START事件没有被写入?

你可以创建一个简单的repro这个并在GitHub上提出问题吗?

相关问题