二元分类成本函数，神经网络

Question

我一直在调整深度学习tutorial训练二元分类问题Logistic回归模型的权重，本教程使用下面的负对数似然成本函数...

self.p_y_given_x = T.nnet.softmax(T.dot(input, self.W) + self.b) 

def negative_log_likelihood(self, y): 
    return -T.mean(T.log(self.p_y_given_x)[T.arange(y.shape[0]), y]) 

但是，我的权重似乎没有正确收敛，因为我的验证错误在连续时期增加。

我想知道如果我使用适当的成本函数来收敛适当的权重。这可能是有用的注意，我的两个类是非常不平衡的，我的预测已经归我能想到的

Answer 1

几个原因是：

1. 你的学习率过高

2. 对于二进制分类，尝试平方误差或交叉熵错误，而不是负对数似然。

3. 您只使用一层。可能是您使用的数据集需要更多图层。因此连接更多隐藏层。

4. 玩弄层数和隐藏单位。