版权声明：欢迎转载~ 转载请注明来源及作者，谢谢！ https://blog.csdn.net/qq_42442369/article/details/86499225

1. 过拟合与欠拟合概念

之前，我们介绍过拟合的概念。拟合指的是构建的模型能够符合样本数据的特征。与拟合相关的两个概念是欠拟合与过拟合。

• 欠拟合：模型过于简单，未能充分捕获样本数据的特征。表现为模型在训练集上的效果不好。
• 过拟合：模型过于复杂，过分捕获样本数据的特征，从而将样本数据中一些特殊特征当成了共性特征。表现为模型在训练集上的效果非常好，但是在未知数据上的表现效果不好。

2. 概念进一步解释

欠拟合
数据集里很多能影响到的因素没有考虑到。
eg. 房屋面积和房价，y_hat = wx + b可以说是欠拟合，有很多因素能影响房价，除了面积。

过拟合
如果每一个细节都纳入，每一个特征都不放过，不是训练起来很完美吗？
eg. 建筑年代，材料，楼层，考虑到很多因素，很可能需要100元线性回归。就算在训练集的表现很不错，但是太过于考虑训练集特征，导致很可能在测试集上表现的不好，过拟合就是太过于复杂，对特征过分依赖。
表现就是：训练集表现好，测试集不是那么好。
eg. 判断人的性别是男还是女？
举过拟合的例子，只要是有胡子，就是男人。这就是贻笑大方了。

左图，欠拟合。
why 真实值和样本数据没有完全重合 ？
现实数据中，因为有噪声。

真实值是曲线，而用直线来进行预测，就是一种欠拟合。
看图， $R^{2}$只有0.474 效果并不是很好。
就像预测房屋价格，只考虑面积因素，就是欠拟合。

该图训练集和测试集都表示的不错。

上图穿过去，趋势大， 在训练集上表现好，都传过去了。
但是在未知数据上表现不好， 测试集上， $R^{2}$ 都是负的了，和真实值差别大。

eg. 图像的话，抓的太详细了，穿过每个点；判断男女性别的话好像有个汗毛就是男的了。**why ?**因为训练集只是样本的一部分。

3. 过拟合 & 欠拟合 解决方案

如果产生欠拟合，可以采用如下方式，来达到更好的拟合效果。

• 增加迭代次数
• 增加模型复杂度（例如，引入新的特征）
• 通过多项式扩展
• 使用更复杂的模型（例如非线性模型）

如果产生过拟合，可以采用如下方式，来降低过拟合的程度。

• 收集更多的数据
• 正则化
• 降低模型的复杂度
• 减少迭代次数
• 选择简单的模型

现在，我们来介绍下多项式扩展与正则化。

并不是每一种方法都是有效，要去做实验，分别解释。

4. 概念进一步解释

4.1 如果欠拟合，怎么解决？

eg. 走楼梯，100个台阶，50步，没达到极值点，误差还是比较大，欠拟合。

• 增加迭代次数，就能达到
  多次进行循环就能达到，而欠拟合，就是过于简单。

• 增加模型复杂度
  eg. 就像房价，用 y = wx + b

• 多项式扩展
  扩展到多维度；维度增加，拟合能力变强。
  一个线变成曲线，变成平面。
  eg. 以前是直的，现在可以打弯。

• 更换模型
  换个模型，找个其他的模型尝试。
  eg. 线性模型处理不好的话，找个非线性的模型。
  相比较增加复杂度，不换模型。

4.2 如果过拟合，怎么解决？

• 数据收集
  数据集分成4个部分，左上角的数据特别多，其他少。将其他部分的数据多收集些，再放到数据集中。这样就能捕获更多特征。
  但是，现实中收集数据可能很麻烦。
  

• 正则化

• 降低模型的复杂度
  看这个线的复杂度，咱们将多项式的阶数下降。
  

• 减少迭代次数
  迭代多了 过拟合
  迭代少了 欠拟合

• 选择简单的模型

更多精彩内容