咖啡的初始化？

我知道我可以用xavier或gaussian初始化caffe卷积网络的权重。可悲的是我找不到在caffe中实现的其他初始化方法。特别是，我想使用本文建议的PReLU初始化：https://arxiv.org/pdf/1502.01852.pdf 咖啡的初始化？

这是用caffe和pycaffe实现的shome？

2016-12-30 Kev1n91

我宁愿说“他初始化”比“PRelu初始化”为“PRelu”是激活功能。 –

谢谢，我不知道 – Kev1n91

MSRA（用于微软亚洲研究院）填料是在纸张发布几个月后在Caffe中实施的。您可以将其与msra参数一起使用。

2017-01-19 13:30:20 nshaud

这是一个非常不幸的缩写，谢谢 – Kev1n91

He等人使用的样本的每个权重w给定层的independantly同分布的初始化方案（IID）：

但是，可能知道，VAR（AX）= A^2 VAR（X）。因此：

所以，你可以简单地初始化gaussian的权重，然后用2/n_l它们相乘。

2016-12-30 19:11:25

我在这里有点麻烦，你看起来很先进。我怎么知道n_l？ – Kev1n91

'n_l'是第2.2节（下面的等式5）中的文章中解释的层'l'的连接数。因此，如果图层“l-1”具有“c”过滤器并且图层“l”具有大小为“a * b”的过滤器，则“n_l = c * a * b”。 –

另请参阅https://github.com/Lasagne/Lasagne/blob/master/lasagne/init.py#L198如果你想看到烤宽面条的实施。 –

回答