多类神经网络问题

Question

我一直在尝试实现一段时间的反向传播神经网络，并且我一次又一次地面临问题。目前的进展是，我的神经网络适用于XOR，AND和OR。

下面的图片显示了我的神经网络训练XOR超过100000次迭代，它似乎收敛良好。为此，我有2个输入神经元和与2个神经元的隐藏层的单个输出神经元它[虽然1就已经足够了]

现在正在进行向前我训练同一网络的两个区分在XY平面内的坐标为两个类与2输入神经元和1个输出神经元和单隐层的相同结构具有两个神经元：

下一个I训练它仅但具有2个输出神经元和结构的保持其余两个类同样的，这段时间需要很长时间才能收敛，但它确实如此。 但现在我增加到三班; A类为100和B类将是010和C级将是001，但现在，当我训练它，然后它从来没有收敛，并让我对下面显示的数据如下结果：

它似乎永远不会汇聚。我观察到这种模式，如果我增加输出层神经元的数量，错误率就像任何东西一样增加？我可以指导我去哪里我错了吗？

Answer 1

如果您从二进制分类转移到多类分类，则必须推广反向传播算法以正确处理两个以上的类。

到二元分类的主要区别是，该更新更改：

与：

是其中选择参数Y（输出）的新得分得出特征的最高分数乘以权重向量w。这种策略被称为one-vs.-rest。写为伪代码（from here）：

请记住，根据自己的特定代码，您可能需要执行其他变化（如地图的实值输出到二进制输出每输出单元）至你当前的代码。

，如果你有由要划分多个independent属性你具有每类1个的二进制输出节点的体系结构是完全没有问题。否则，您应该考虑使用输出层softmax（有关实现示例，请参阅here）。在输出层中使用softmax激活会将原始值转换为后验概率（而不是每个类的二进制输出）。既然这给你一个确定性的措施，它也给你更多的见解。