为什么我们要将机器学习模型的成本函数中的误差平方？

Question

如果我们不计算成本函数的误差会发生什么？

例如，在逻辑回归中，我们计算成本函数。

Answer 1

我对逻辑回归不太熟悉，因为我更像是一个深入学习的人，但我会对你的问题采取一些措施。首先，我们需要指定一些东西。你在说什么成本函数，以及你使用哪种机器学习模型？在机器学习的每个学科中，根据问题有很多合适的误差函数，它们可以是平方的也可以是不平方的。

你提到了logistic回归中的平方值......但是使用平方和与MLE模型有很多优点和缺点，讨论了here。有关另一主题的示例，存在平方值（MSE）以及不包含（Cross Entropy）的神经网络成本函数。 无论如何，有一些常见的主题描述何时适合在成本函数中平方值。作为一个（非常）一般的规则，你想要在变量连续并且有一个可定义的距离度量时对它们进行平方。

比方说，我试图预测数字上的点。如果我预测的值为y_predicted，并将它们与y_true进行比较，那么我确切知道我在这个1D距离方面有多远。这是一个连续的错误度量，这意味着我不想通过离散化来丢失信息。此外，在那里放置一个正方形意味着我避免处理可能在求和期间相互抵消的正值和负值。最后，平方值强调异常值，同时略微忽略较小的错误，这在某些情况下会有所帮助。长话短说，这取决于你的问题的范围。希望有一个更简单的解决方案，但这就是它的方式。