神经网络连续tanh-sigmoid激活函数和随机权重

Question

我真的需要帮助在一个非常基本的神经网络中实现连续的tanh-sigmoid激活函数。如果你可以给出一个很好的基本例子，但如果你可以在我的source code中改变它，我会非常感激！而且，随机权重应以什么范围开始（即什么范围）？

Answer 1

重量范围取决于您拥有的输入数据范围。在一些实现中，权重也可以是负的。

对于可能乙状结肠功能，点击这里（正切不是唯一的可能性）：

http://en.wikipedia.org/wiki/Sigmoid_function

提示：您可以用通常矩阵乘法计算NN。

http://www.dtreg.com/mlfn.htm

http://en.wikipedia.org/wiki/Neural_network

P.S：可能不是一个好主意，在JavaScript来做到这一点。

---

你可以通过EXP（x）的实现它，请参阅：http://www.javascripter.net/faq/mathfunc.htm

  sinh(x) exp(x) - exp(-x)  exp(2x) - 1 
tanh(x) = ------- = ------------------ = ------------- 
      cosh(x) exp(x) + exp(-x)  exp(2x) + 1 

，让你：

function tanh(x) { 
    e = Math.exp(2*x); 
    return (e - 1)/(e + 1) ; 
}; 

另一个解决方案是将一个表的正切函数值，并定义一个JavaScript函数，该函数根据存储在数组中的tanh值插值x的tanh值

---

通常人们不希望[-inf ... + inf]作为输入值的范围，并且不希望[-1 ... + 1]作为输出值的范围 - - 因此你可能需要一个不同的sigmoid函数！

您需要取预期的输入值范围和输出值的预期范围，并使用它们来移动实际的S形函数，权重范围和阈值。

通常使用0.7或更大的阈值。你需要尝试一下。

Answer 2

this.output = 2/(1 + Math.exp(-2 * input)) - 1;