什么是欠拟合和过拟合？ 过拟合

CSDN 这篇文章详细介绍了，可以阅读以下，这里简单概括一下：

• 欠拟合：泛化能力差，训练样本集准确率低，测试样本集准确率低。
• 过拟合：泛化能力差，训练样本集准确率高，测试样本集准确率低。

合适的拟合程度：泛化能力强，训练样本集准确率高，测试样本集准确率高

欠拟合原因：训练样本数量少、模型复杂度低、参数未收敛就停止训练

欠拟合解决：增加样本数量、增加模型参数，提高模型复杂度、增加训练迭代次数、是否学习率过高

过拟合原因：数据噪声太大、特征较多、模型太复杂

过拟合解决：数据预处理、减少模型参数，降低模型复杂度、增加惩罚因子（正则化）

偏差-方差权衡

由上述过拟合和欠拟合的分析可知，我们想要模型达到的一种状态就是不那么过拟合也不那么欠拟合，是一种平衡状态。这里我们就引用到了偏差和方差权衡的概念，用于解释模型在训练数据和测试数据上的表现。

1. 偏差
   • 衡量模型预测值与真实值之间的平均差异，也就是预测的值和标签值之间的差异，我们平常说的误差。
   • 高偏差：模型预测的与真实值差的很多，也就是模型太简单了，无法很好的拟合训练数据，在训练的时候误差很大（欠拟合）
   • 表现：模型在训练集上的误差很大
2. 方差
   • 衡量不同数据上的预测**波动性，**注意是波动性，也就是说在一批数据上预测误差很小，但是到了另一批数据上，误差就很大了。也就是泛化性较低。
   • 高方差：模型太复杂了，对训练数据的噪声和细节过于敏感，导致在测试集上表现很差（过拟合）
   • 表现：模型在训练集上表现很好，但在测试集上误差较大。

所以，我们想要的是模型同时具有低偏差（在训练数据上拟合较好），也要具有低方差（泛化到测试数据好）。但在实际情况下，二者之间是需要权衡的：

• 简单模型（如线性回归）：高偏差（训练误差大），低方差（对数据变化不敏感，测试误差较稳定）。
• 复杂模型（如高阶多项式或深层神经网络）：低偏差（训练误差小），高方差（对训练数据变化敏感，测试误差大）。

正则化

上面的分析可知，我们想要达到一种平衡状态，也就是偏差和方差的权衡。实际上，如果我们想要实现测试集上的高准确率，也就是在测试集上的误差较小，那么我们就要使模型的方差变小，也就是在训练数据上进行训练的时候，不要过多的学习训练数据的细节和噪声，要学习到一些通用的模式和特征，这样才能提高模型的泛化性。但是这样就会使模型无法完全拟合训练数据的每一个细节，就必然引起在训练集上的误差略微增大。总而言之，就是通过增大训练误差来减少测试集误差。