前馈 - 神经网络Keras

Question

我在前馈神经网络中的输入，这是我在Keras中实现的，我只是想检查我的理解是否正确。

[[ 25.26000023 26.37000084 24.67000008 23.30999947] 
[ 26.37000084 24.67000008 23.30999947 21.36000061] 
[ 24.67000008 23.30999947 21.36000061 19.77000046]...] 

所以在上面的数据中它是一个数组中4个输入的时间窗口。我输入层

model.add(Dense(4, input_dim=4, activation='sigmoid')) 

model.fit(trainX, trainY, nb_epoch=10000,verbose=2,batch_size=4) 

的batch_size和为4，理论上当我打电话拟合函数会在功能上走在每个nb_epoch所有这些投入？并且batch_size是否需要为4才能使此时间窗工作？

感谢约翰

Answer 1

和batch_size是4，理论上当我调用fit函数时函数会遍历每个nb_epoch中的所有这些输入吗？

是的，每个时期被迭代超过所有训练样本

，并在不batch_size时需4为了使这种时间窗口工作？

不，这些都是完全不相关的东西。 批只是您的训练数据的一个子集，用于计算成本函数的真实梯度的近似值。批次越大 - 越接近真正的渐变（原始渐变下降），但训练速度会变慢。更接近1你得到 - 它变得越来越随机，嘈杂的近似值（更接近随机梯度下降）。匹配batch_size和data维度的事实只是一个奇怪的巧合，并没有任何意义。

让我把这个更generall设置，则在与添加剂损失函数（神经网络通常使用）梯度下降做到底是怎么回事针对该

grad_theta 1/N SUM_i=1^N loss(x_i, pred(x_i), y_i|theta) = 
= 1/N SUM_i=1^N grad_theta loss(x_i, pred(x_i), y_i|theta) 

其中loss梯度一些损失函数您的pred（预测）与y_i相比。

以及基于批量scenatio（粗略的想法）是你不需要去对所有的例子，而是一些严格的子集，像batch = {(x_1, y_1), (x_5, y_5), (x_89, y_89) ... }和使用形式

1/|batch| SUM_(x_i, y_i) in batch: grad_theta loss(x_i, pred(x_i), y_i|theta) 

由于梯度近似您可以看到这与x_i所在的空间无关，因此与数据的维度没有关系。

Answer 2

让我用一个例子来说明这一点：

当你有32个训练例子，你叫model.fit为4 batch_size，神经网络将有4例在同一时间呈现，但是一个时期仍将被定义为对所有32个示例的一次完整传递。因此，在这种情况下，网络一次将通过4个示例，理论上至少将正向传球（和反向传球）称为32/4 = 8次。

在极端情况下，当您的batch_size为1时，即为普通的旧随机梯度下降。当您的batch_size大于1时，则称为批梯度下降。