CNN中的ReLu和Dropout

我正在研究卷积神经网络。我对CNN的一些图层感到困惑。CNN中的ReLu和Dropout

关于ReLu ...我只知道它是无限逻辑函数的总和，但ReLu不连接到任何上层。为什么我们需要ReLu，它是如何工作的？

关于退出...退出如何工作？我听了G. Hinton的录像讲话。他说，有一种策略是在训练权重时随机忽略一半节点，并在预测时减半权重。他说，它是从随机森林中获得灵感，并且与计算这些随机训练模型的几何平均值完全相同。

这种策略与退路相同吗？

有人可以帮我解决这个问题吗？

2014-12-05 user3783676

一个非常好的资源是[Marc'Aurelio Ranzato]（http：//www.googlel.co.uk）的[CVPR 2014大规模视觉识别教程]（https://sites.google.com/site/lsvrtutorialcvpr14/home/deearning） /www.cs.toronto.edu/~ranzato/）。它介绍并详述了这两个主题。 – deltheil 2014-12-05 18:45:39

@deltheil我很抱歉，但是在你链接的文件中我找不到任何关于退出的内容。搜索文档“dropout”会返回三次出现，所有三次只是在这里使用dropout。你有没有页面nr详细信息丢失？我已经读过它，但还没有找到关于丢失的东西 – DBX12 2017-06-24 14:32:26

RELU： 整流功能是激活函数F（X）= MAX（0，x）的其可通过神经元被使用，就像任何其他活化功能，采用整流器激活功能的节点是称为ReLu节点。使用它的主要原因是因为与更传统的激活函数（如S形和双曲正切）相比，它的计算效率有多高，而不会对泛化精度产生重大影响。使用整流器激活功能代替线性激活功能来为网络添加非线性，否则网络将只能够计算线性函数。

辍学： 是的，所描述的技术与辍学相同。随机忽略节点的原因是有用的，因为它可以防止节点之间出现相互依赖（即，节点不学习依赖来自另一节点的输入值的函数），这使得网络能够学习更多更强大的关系。实施退出与从网络委员会获得平均值具有相同的影响，但在时间和存储要求方面成本明显较低。

来源

2014-12-08 13:37:41 Hungry

Doese ReLu连接到上层？我检查AlexNet的imagenet任务的体系结构。看来ReLu是一个独立的层。如果是这样，它不会将价值传递给上层。为什么我们需要这个“无关”的层？ – user3783676 2014-12-11 18:27:35

ReLu只是一个实现整流器激活函数* max（0，n）*的神经元，不是一个全新的图层。虽然报告没有说明确切的细节，但看起来这个激活函数在网络中的每个神经元上，在卷积层和完全连接的层中都被使用。 – Hungry 2014-12-12 08:57:59

ReLu函数仍然看起来有点线性。它能解决问题以及S形吗？ – gisek 2017-09-18 08:43:54

CNN中的ReLu和Dropout

回答

相关问题