1

我决定制作遗传算法来训练神经网络。它们将通过遗传来发展,其中一个(许多)可变基因应该是转移功能。如何调整权重 - 反向传播

所以,我需要更深入的数学,它是真正的时间消耗。

我有例如传递函数基因的三种变体。

1)日志S形函数

2)黄褐色S形函数

3)高斯函数

一个的传递函数基因的特征应该是,它可以修改的功能参数,以获得不同形状的功能。

而现在,我不是cappable尚未解决的问题:

我有错误,在神经网络的输出,以及如何将它使用不同的参数传递的权重通过量不同的功能?根据我的研究,我认为这与衍生物和梯度下降有关。

我是高水平的数学noob。有人可以解释我的简单例子如何通过参数化(对于exapmle)sigmoid函数传播错误权重吗?

编辑 我还在做研究,现在我不确定我是不是误解了反向传播。我发现这个文档 http://www.google.cz/url?sa=t&rct=j&q=backpropagation+algorithm+sigmoid+examples&source=web&cd=10&ved=0CHwQFjAJ&url=http%3A%2F%2Fwww4.rgu.ac.uk%2Ffiles%2Fchapter3%2520-%2520bp.pdf&ei=ZF9CT-7PIsak4gTRypiiCA&usg=AFQjCNGWZjabH5ALbDLgSOBak-BTRGmS3g 他们有一些计算权重的例子,他们不涉及传递函数到权重调整。

那么是否需要将传递函数引入权重调整?

+0

您使用的是什么软件? – damned 2012-02-20 14:25:14

+0

我想用java。通过参数化传递函数,我清楚地意识到除了反向传播之外,还要实现其他一切。 – John 2012-02-20 14:29:20

+1

@Novak说没有捷径。请花几个小时观看这里的视频:http://www.ml-class.org/course/video/preview_list – YXD 2012-02-20 16:13:37

回答

2

反向传播的确与衍生物和梯度下降有关。
我认为没有任何捷径可以真正理解数学,但这可能有所帮助 - 我为其他人提供了基本相同的问题,至少应该在高层解释发生了什么,以及为什么。

How does a back-propagation training algorithm work?