神经网络中的样本量

Question

我已经看到神经网络中样本量的一般规则是“权重数量”的10倍。例如，如果我们有一个NxD输入，一个图层大小M和输出图层大小K是由于两个W矩阵而产生的“权重数量”2？或者是D M + M K？预先感谢您的帮助。

Answer 1

权重的实际数目应DM + MK + M + K其中DM表示权重的数量为在隐藏层中的所有单元和M为在隐藏层中的偏差项和以同样的方式，MK和K代表尸妖的数和输出层中的偏置项。