使用深度学习技术的监督学习（文档分类）

Question

我正在阅读关于深度学习的论文。他们大多数提到无监督学习。

他们还说神经元是使用无监督的RBM网络预先训练的。后来他们使用反向传播算法（监督）进行了很好的调整。

那么我们可以使用深度学习来解决监督学习问题吗？

我想知道深度学习是否可以应用于文档分类问题。 我知道有很好的分类器可用。但我的目标是找出我们是否可以为此目的使用深度学习。

Answer 1

深度学习是关于学习未知概念，所以通常用于查找数据集中的模式。这是不受监督的，因为这些模式不一定是先验知道的。然而，在监督学习中，您需要的模式类型可以通过适合您正在学习的数据的训练模式的形式轻松理解。这些模式成为拟合您的模型（例如使用反向传播训练的神经网络）到您的数据的基础。没有真正发现新的概念和组件。所以从这个角度来看，我会说不，深度学习不能用于解决监督学习问题。

话虽如此，您可能可以使用它来查找您的数据中有趣的模式。然后，您可以使用这些有趣的模式作为使用标准监督方法进行培训的基础。也许这就是他们在上面所做的，你提到了

“他们还说神经元是用无监督的RBM网络预先训练的，后来他们使用反向传播算法（监督）进行了很好的调整。

如果没有读过你读过的东西，也许他们从无监督的算法开始寻找最有趣的数据，并且这样做会降低维度的形式，导致比原始数据更容易训练的数据，使用监督算法。

Answer 2

总之 - 是的，它可以，并且是经常在监督的方式使用。就像Ben J所描述的那样 - 架构的“深度”以无监督的方式用于otder中，以创建数据的非常抽象的表示，可以稍后用作预处理层（无需微调）或作为初始化对于神经网络（微调，喜欢类似）。特别是你可以使用这种方法处理文本。

有通过韩丁关于建模与DBMS的文本文档有趣的非常最近的一篇文章：http://www.cs.toronto.edu/~rsalakhu/papers/uai13.pdf

有很多资源avaliable网上，特别是pylearn库实现这样的办法，包括“经典” DBN（深Beiief网络）http://deeplearning.net/tutorial/DBN.html

此外，实际上也可以使用堆叠的RBM进行分类，该模型被称为“分类RBM”。更多细节可以在这里获得：http://machinelearning.org/archive/icml2008/papers/601.pdf

Answer 3

除了上面提供的很好的参考资料之外，Yann Le Cunn的小组还有另一篇文章只是通过编码字符来进行文本分类，而不使用任何外部特征提取库。它只是通过在角色层面进行编码而起作用。他们声称98％的准确性。

http://arxiv.org/pdf/1502.01710v2.pdf

Answer 4

是的，肯定。其实在行业中，深度学习主要用于解决监督问题。 RBM和这种无监督的东西在学术界以外并没有得到广泛的应用。要了解更多关于监督学习的深度学习，您可以在2012年后阅读论文，从与ImageNet Challenge相关的任何内容开始。

这些深层神经网络的主要里程碑：