迁移学习和线性分类

新的数据集很小，类似原始数据集。由于的数据很小，因此对ConvNet进行微调并不是一个好主意，因为过度拟合问题......因此，最好的想法可能是在CNN代码上训练一个线性分类器。

我不确定线性分类器的含义。线性分类器是指最后一个完全连接的层？（例如，在Alexnet中，有三个完全连接的层，线性分类器是最后一个完全连接的层？）

2017-05-05 MoneyBall

通常，当人们说“线性分类器”时，他们指的是Linear SVM (support vector machine)。线性分类学的重量vecotr w和一个阈值（也称为“偏置”）b使得对于每个实施例x的

<w, x> + b

的符号为正，为“正”级和负的“负”类。

神经网络的最后一个（通常是完全连接的）层可以被认为是线性分类器的一种形式。

2017-05-05 08:02:15 Shai

严重的是，你一直是救命的人。我不能够感谢你。这是一个后续问题，是否建议只训练最后一个完全连接的层进行传输学习，或者即使多个fc层是多项式而非线性也可以训练多个fc层？ – MoneyBall

@MoneyBall如果你没有足够的训练样本，建议不要训练超过最顶层的fc图层。顺便说一句，堆叠在一起的两个线性层不是多项式。写下数学，你会看到。 – Shai

有多少训练样本被认为是足够的？我有大约50,000个训练样本。 – MoneyBall

回答