弹性网络回归就是结合了Lasso回归和Ridge回归的一个回归模型,说白了就是同时使用了L1正则化和L2正则化。

弹性网络回归的损失函数可以表达为:

$$ L_{\text{reg}}(\theta) = L(\theta) + \lambda \left(\rho\sum |w_i|+\frac{1-\rho}{2}\sum w_i^2\right) $$

$\lambda$控制正则化的强度, $\rho$控制L1正则化和L2正则化之间的权衡。

也就是说,弹性网络回归就是综合L1正则化和L2正则化的作用,既能够筛选不重要的特征,也能够平滑权重,避免过拟合。

总结

三种回归方法:Lasso回归、Ridge回归和弹性网络(ElasticNet)回归三种回归方式都是对线性回归做的改进,在线性回归的基础上加上了正则化的作用。归根结底,其作用的就是L1正则化和L2正则化,明白两种正则化作用的原理,三种回归方式也就明白了。