在线培训

Question

在this文章神经网络进行训练在线 - 输入训练时选择：

这可以通过从内选择硬盘 正/负范例来完成小批量。

有人可以详细解释在线培训吗？

Answer 1

在线学习描述了一次只能训练一个模型的输入，或者一次只能训练一个模型。通常使用在线学习是因为数据来自数据流，或者数据太大而无法一次保存在内存中。

一次训练一个例子，通常会采取更多步骤来达到与离线训练相同的准确度，因为您无法针对每个步骤中的整个数据集优化丢失功能。

但是，您链接的论文使用在线学习来智能地选择几次训练样本，以加快模型的收敛速度。他们的方法试图选择当前模型最难处理的例子，这样模型可以在每个训练步骤中发挥最大的作用。