mxnet：是否有一种方法可以在回调中监控学习速率值？

为了调试的目的，我想在我的fit回调函数中监视学习速率值，以确保我的mx.lr_scheduler.MultiFactorScheduler按预期完成了任务。mxnet：是否有一种方法可以在回调中监控学习速率值？

不幸的是，学习率似乎并没有在参数中可用。有没有办法访问当前批次的实际使用的lr？

非常感谢！

来源

2016-12-28 HALMTL

一个可能的解决方案可能是从您使用的当前优化器创建子类。然后覆盖更新方法以记录每次更新的当前学习速率。

来源

2016-12-29 20:20:17 kevinthesun

那么我写了我自己的调度程序来存储随着时间的学习率。我希望这个模型能够返回param中的当前值，以便在回调函数中跟踪。感谢您对凯文的回答！ – HALMTL

在param中直接访问lr似乎很困难。但是如果你使用优化器接口，你可以覆盖更新方法和日志lr。如果你有自己的lr_scheduler，你可以用它创建一个优化器。 http://mxnet.io/api/python/model.html?highlight=optimizer#optimizer-api-reference希望它适合你:) – kevinthesun

非常感谢您的建议和时间凯文。我会深入研究这个！ – HALMTL

mxnet：是否有一种方法可以在回调中监控学习速率值？

回答

相关问题