反向传播

Question

反向传播的工作原理是在监督学习一番韵味在输出标签中给出。但是我想知道Backpropagation是否适用于Un-supervised learning。如果是这样如何？

Answer 1

一个划时代由训练集一个完整的训练周期。一旦看到集合中的每个样本，就重新开始 - 标记第二个时期的开始。

甲通是一个历元和每个历元表示一个迭代。

我不确定使用的时代的平均数量是一个有价值的方式来想到它。

只要你没有过度拟合或达到一定数量的时期，或者你的验证准确度在'n'时代后没有得到改善，以先到者为准。在时代方面，我看到了一个张量流的例子，他们说500次迭代会给你提供更低的精度（取决于你正在解决的问题），他们建议推到4000！

当误差收敛或获取超过一定阈值时，可以停止训练。这也进入防止过度配备的领域。

Answer 2

反向传播的目的是找出我们的误差函数w.r.t在网络中每个单独权重的偏导数，所以我们可以在我们的梯度下降。它给了我们一种计算每层误差的方法，然后将这些误差与实际感兴趣的量相关联，从而得到网络中任何权重的偏导数。我们可以使用链规则来计算偏导数（即）每个权重的误差的梯度。

在其核心的反传播简单地包括在我们的神经网络中通过所有可能的路径重复应用链规则。

的步骤由参与BP步骤的过程是：

第一步：接收一个新的观察x和目标年。其中x可能是癌细胞的一些图像，实际上它是一组巨大的矢量化数字（像素），Y是标记癌症。他们可能是癌症或不是癌症。只要我们有标签，我们就可以做反向传播。步骤2：获取输入向量，乘以某个权重，添加一个偏差，并通过对其应用非线性来激活它，并持续反复进行，直到我们有输出预测。

第3步：将输出预测与真实标签进行比较并计算误差值。

第四步：Backpropagating错误。针对每个层递归地计算关于每个权重的误差的PD。因此，我们将之前计算PD WRT层，我们会采取错误的梯度，并用它来计算PD WRT下一层和递归一组梯度值被用来更新网络中所有的权重这样的处理结果。

因此，在短期BP就像 输入 - >前馈 - >获取错误 - >返回传播 - >更新重量 - >重复

反向传播效果很好在被监督学习标记的数据集，但它也用于没有特定标签的无监督学习。在无监督学习中，BP通过自我监督意味着我们正在创建标签。