前面提到了Lasso回归使用的是L1正则项，这里来说一下Ridge回归，他则使用L2正则项。
两者结合可形成弹性网络回归，兼具特征选择和参数缩减。什么是弹性网络回归？ 6.弹性网络回归
Ridge 回归是一种用于处理多重共线性（即自变量之间高度相关）的线性回归技术。它通过在模型中引入一个额外的惩罚项来避免过拟合，从而提高模型的泛化能力。
我们知道线性回归是用来预测一个变量（因变量）与一个或多个变量（自变量）之间关系的统计方法。与多个自变量之间的关系的时候就是多项式回归 2. 多项式回归.
但是在实际的应用中自变量之间有时候会高度相关，这叫做多重共线性。这种情况会导致线性回归模型的预测效果不好，因为模型对训练数据过于敏感（即过拟合），在新数据上表现不佳。
关于多重共线性，例如三个变量： $x_1,x_2,x_3$分别代表房屋面积（平方米）、房屋尺寸（平方英尺）、卧室数量。其中 $x_1,x_2$就是高度相关的，相关系数接近1.这就是多重共线性。
其实岭回归主要是使用了L2正则化， 正则化,原理是一样的，不再赘述了。
多重共线性会带来什么问题？
多重共线性会带来以下问题：
主要是，当存在多重共线性的时候，相关性高的变量之间可能会争夺权重，因为他们相关性高，解释统一部分方差的时候作用是相似的，权重给谁都可以，最终会导致其中一个权重很大，另外的权重变小。每当数据发生变化的时候，另一个变量的权重可能又变得很大，导致当前变量的权重变小。例如：
而L2正则化，通过正则化项限制所有参数的取值范围，防止其中某些权重过大，使他们都发挥一定的作用。减少了不稳定性，而L1正则化由于会导致一些权重变为0，那么就会有更大的概率将相关性很高的多个自变量中的一个置为0，但是选择哪一个？这个不确定，可能会加剧共线性问题的参数波动。
Lasso和Ridge都是正则化的使用案例，其目的就是为了防止模型过拟合。正则化是从限制模型能力的角度出发，防止模型过拟合。