神经网络教学：双极XOR

我试图教2个输入，4个隐藏节点（全部在同一层）和1个输出节点的神经网络。二进制表示可以正常工作，但是我对双极性有问题。我无法弄清楚为什么，但总误差有时会汇集到2.xx左右的相同数字。我的sigmoid是2 /（1 + exp（-x）） - 1.也许我在sigmoiding在错误的地方。例如，为了计算输出误差，我应该比较sigmoided输出与期望值还是sigmoided期望值？神经网络教学：双极XOR

我在这里关注这个网站：http://galaxy.agh.edu.pl/~vlsi/AI/backp_t_en/backprop.html，但他们使用不同的功能，然后我被指示使用。即使当我尝试实现他们的功能时，我仍遇到同样的问题。无论哪种方式，我停留在相同数量的一半时间（不同的实现不同的数字）。请告诉我，如果我的代码在某个地方犯了错误，或者这是正常的（我不明白这是怎么回事）。动量被设置为0.这是一个常见的0动量问题吗？我们应该使用错误的功能是：

如果UI是一个输出单元

Error(i) = (Ci - ui) * f'(Si)

如果用户界面是一个隐藏的单元

Error(i) = Error(Output) * weight(i to output) * f'(Si)

public double sigmoid(double x) { 
    double fBipolar, fBinary, temp; 
    temp = (1 + Math.exp(-x)); 
    fBipolar = (2/temp) - 1; 
    fBinary = 1/temp; 
    if(bipolar){ 
     return fBipolar; 
    }else{ 
     return fBinary; 
    } 

} 

// Initialize the weights to random values. 
private void initializeWeights(double neg, double pos) { 
    for(int i = 0; i < numInputs + 1; i++){ 
     for(int j = 0; j < numHiddenNeurons; j++){ 
      inputWeights[i][j] = Math.random() - pos; 
      if(inputWeights[i][j] < neg || inputWeights[i][j] > pos){ 
       print("ERROR "); 
       print(inputWeights[i][j]); 
      } 
     } 
    } 
    for(int i = 0; i < numHiddenNeurons + 1; i++){ 
     hiddenWeights[i] = Math.random() - pos; 
     if(hiddenWeights[i] < neg || hiddenWeights[i] > pos){ 
      print("ERROR "); 
      print(hiddenWeights[i]); 
     } 
    } 
} 

// Computes output of the NN without training. I.e. a forward pass 
public double outputFor (double[] argInputVector) { 
    for(int i = 0; i < numInputs; i++){ 
     inputs[i] = argInputVector[i]; 
    } 
    double weightedSum = 0; 
    for(int i = 0; i < numHiddenNeurons; i++){ 
     weightedSum = 0; 
     for(int j = 0; j < numInputs + 1; j++){ 
      weightedSum += inputWeights[j][i] * inputs[j]; 
     } 
     hiddenActivation[i] = sigmoid(weightedSum); 
    } 

    weightedSum = 0; 
    for(int j = 0; j < numHiddenNeurons + 1; j++){ 
     weightedSum += (hiddenActivation[j] * hiddenWeights[j]); 
    } 

    return sigmoid(weightedSum); 
} 

    //Computes the derivative of f 
public static double fPrime(double u){ 
    double fBipolar, fBinary; 
    fBipolar = 0.5 * (1 - Math.pow(u,2)); 
    fBinary = u * (1 - u); 
    if(bipolar){ 
     return fBipolar; 
    }else{ 
     return fBinary; 
    } 
} 

// This method is used to update the weights of the neural net. 
public double train (double [] argInputVector, double argTargetOutput){ 
    double output = outputFor(argInputVector); 
    double lastDelta; 

    double outputError = (argTargetOutput - output) * fPrime(output); 

    if(outputError != 0){ 
     for(int i = 0; i < numHiddenNeurons + 1; i++){ 
      hiddenError[i] = hiddenWeights[i] * outputError * fPrime(hiddenActivation[i]); 
      deltaHiddenWeights[i] = learningRate * outputError * hiddenActivation[i] + (momentum * lastDelta); 
      hiddenWeights[i] += deltaHiddenWeights[i]; 
     } 

     for(int in = 0; in < numInputs + 1; in++){ 
      for(int hid = 0; hid < numHiddenNeurons; hid++){ 
       lastDelta = deltaInputWeights[in][hid]; 
       deltaInputWeights[in][hid] = learningRate * hiddenError[hid] * inputs[in] + (momentum * lastDelta); 
       inputWeights[in][hid] += deltaInputWeights[in][hid]; 
      } 
     } 
    } 

    return 0.5 * (argTargetOutput - output) * (argTargetOutput - output); 
}

来源

2010-11-16 Stuart

通用编码评论：

initializeWeights(-1.0, 1.0);

实际上可能不会获得您期望的初始值。

initializeWeights大概应该有：

inputWeights[i][j] = Math.random() * (pos - neg) + neg; 
// ... 
hiddenWeights[i] = (Math.random() * (pos - neg)) + neg;

代替：

Math.random() - pos;

，这样工作的：

initializeWeights(0.0, 1.0);

，并为您提供了0.0和1.0之间的初始值，而不是之间-1.0和0.0。

lastDelta使用声明之前：

deltaHiddenWeights[i] = learningRate * outputError * hiddenActivation[i] + (momentum * lastDelta);

我不知道如果+ 1上numInputs + 1和numHiddenNeurons + 1是必要的。

请记住注意四舍五入：5/2 = 2，而不是2.5！改为使用5.0/2.0。通常，当输出应该是double时，在代码中添加.0。

最重要的是，你有没有足够长的时间训练NeuralNet？

尝试使用numInputs = 2，numHiddenNeurons = 4，learningRate = 0.9和训练1,000或10,000次来运行它。

使用numHiddenNeurons = 2它试图解决异或问题时有时会“卡住”。

另请参见XOR problem - simulation

来源

2010-11-16 08:53:00 user508994

神经网络教学：双极XOR

回答

相关问题