2017-04-10 152 views
1

在纸:什么是训练机器学习的步骤时间?

TensorFlow:一种大型机器学习 系统(马丁·阿巴迪,保罗·巴勒姆,建民陈,陈志峰...)

什么术语“步时间“或”训练步骤时间“是什么意思?为什么不简单地使用火车时间?

paper screenshot(没有足够的声誉后直接图像)

回答

2

在神经网络场景中,历元可以被定义为一个单一的直传和的所有训练样例向后通。我们不会一次将所有的神经元送入我们的网络。相反,我们选择一批神经元(小批量)并喂入。我们处理一小部分训练数据向前和向后。我们这样做是为了能够执行随机梯度下降,并防止我们的网络过度配合。个人训练步骤时间和总训练时间之间存在差异。例如,如果您的网络中有30个训练步骤,则总训练时间=完成全部30个训练步骤所需的时间。

enter image description here

请检查参考[15]下表:

enter image description here

[15] S. Chintala. convnet-benchmarks, github.com/soumith/convnet-benchmarks.

enter image description here

对于AlexNet,CAFFE训练步骤时间324女士。 总时间=正向+反向= 121 + 203