在统计学和机器学习中，Lasso回归是一种同时进行特征选择和正则化（数学）的回归分析方法，旨在增强统计模型的预测准确性和可解释性，
正则化是一种回归的形式，它将系数估计（coefficient estimate）朝零的方向进行约束、调整或缩小。也就是说，正则化可以在学习过程中降低模型复杂度和不稳定程度，从而避免过拟合的危险。一个简单的线性回归关系如下式。其中 Y 代表学习关系，β 代表对不同变量或预测因子 X 的系数估计。
Y ≈ β_0 + β_1X_1 + β_2X_2 + …+ β_pX_p
拟合过程涉及损失函数，称为残差平方和（RSS）。系数选择要使得它们能最小化损失函数。
RSS = \sum_{i=1}^n (y_i - \beta_0 - \sum_{j=1}^p \beta_j x_{ij})^2这个式子可以根据你的训练数据调整系数。但如果训练数据中存在噪声，则估计的系数就不能很好地泛化到未来数据中。这正是正则化要解决的问题，它能将学习后的参数估计朝零缩小调整。
Lasso和岭回归都是正则化的方法，我们将对比着描述，其中lasso需要最小化下图的函数：
\sum_{i=1}^n (y_i - \beta_0 - \sum_{j=1}^p \beta_j x_{ij})^2 + \lamda \sum_{j=1}^p|\beta_j| = RSS + \lamda \sum_{j=1}^p|\beta_j|很明显，这种变体只有在惩罚高系数时才有别于岭回归。它使用 |β_j|（模数）代替 β 的平方作为惩罚项。在统计学中，这被称为 L1 范数。让我们换个角度看看上述方法。岭回归可以被认为是求解一个方程，其中系数的平方和小于等于 s。而 Lasso 可以看作系数的模数之和小于等于 s 的方程。其中，s 是一个随收缩因子 λ 变化的常数。这些方程也被称为约束函数。
假定在给定的问题中有 2 个参数。那么根据上述公式，岭回归的表达式为 β1² + β2² ≤ s。这意味着，在由 β1² + β2² ≤ s 给出的圆的所有点当中，岭回归系数有着最小的 RSS（损失函数）。同样地，对 Lasso 而言，方程变为 |β1|+|β2|≤ s。这意味着在由 |β1|+|β2|≤ s 给出的菱形当中，Lasso 系数有着最小的 RSS（损失函数）。
下图描述了这些方程。
上图的绿色区域代表约束函数域：左侧代表 Lasso，右侧代表岭回归。其中红色椭圆是 RSS 的等值线，即椭圆上的点有着相同的 RSS 值。对于一个非常大的 s 值，绿色区域将会包含椭圆的中心，使得两种回归方法的系数估计等于最小二乘估计。但是，上图的结果并不是这样。在上图中，Lasso 和岭回归系数估计是由椭圆和约束函数域的第一个交点给出的。因为岭回归的约束函数域没有尖角，所以这个交点一般不会产生在一个坐标轴上，也就是说岭回归的系数估计全都是非零的。然而，Lasso 约束函数域在每个轴上都有尖角，因此椭圆经常和约束函数域相交。发生这种情况时，其中一个系数就会等于 0。在高维度时（参数远大于 2），许多系数估计值可能同时为 0。
这说明了岭回归的一个明显缺点：模型的可解释性。它将把不重要的预测因子的系数缩小到趋近于 0，但永不达到 0。也就是说，最终的模型会包含所有的预测因子。但是，在 Lasso 中，如果将调整因子 λ 调整得足够大，L1 范数惩罚可以迫使一些系数估计值完全等于 0。因此，Lasso 可以进行变量选择，产生稀疏模型。
[图片及描述来源：初学者如何学习机器学习中的L1和L2正则化|机器之心]
发展历史
lasso是由斯坦福大学统计学教授Robert Tibshirani于1996年基于Leo Breiman的非负参数推断(Nonnegative Garrote, NNG)提出。后者于其1995年的论文中发表。Robert Tibshirani最初使用Lasso来提高预测的准确性与回归模型的可解释性，他修改了模型拟合的过程，在协变量中只选择一个子集应用到最终模型中，而非用上全部协变量。
在随后的研究中不同的lasso变体被创造出来。几乎所有这些变体都集中于尊重或利用协变量之间的不同类型的依赖性。2005年，Hui Zou和Trevor Hastie提出通过弹性网（elastic net）来实现正则化和变量选择。当预测变量的数量大于样本大小时，弹性网络正则化会增加额外的岭回归类惩罚，从而提高性能，允许方法一起选择强相关变量，并提高整体预测精度。
2006年Ming Yuan和Yi Lin提对变量进行组合，即group lasso，允许选择相关协变量组作为单个单元，主要针对某些情况下变量不单个出现而仅与其他变量一同出现。
2009年，Arnau Tibau Puig等人对group lasso进一步扩展，以在各个组（稀疏组套索）中执行变量选择并允许组之间的重叠（重叠组套索）。
Lasso结合了上述的两种方法，它通过强制让回归系数绝对值之和小于某固定值，即强制一些回归系数变为0，有效地选择了不包括这些回归系数对应的协变量的更简单的模型。这种方法和岭回归类似，在岭回归中，回归系数平方和被强制小于某定值，不同点在于岭回归只改变系数的值，而不把任何值设为0。
主要事件
| 年份 | 事件 | 相关论文/Reference |
| 1995 | Leo Breiman提出非负参数推断 | Breiman, L.(1995). Better Subset Regression Using the Nonnegative Garrote. Technometrics. 37 (4): 373–384. |
| 1996 | 斯坦福大学统计学教授Robert Tibshirani于1996年基于Leo Breiman的非负参数推断(Nonnegative Garrote, NNG)提出lasso | Tibshirani, R. (1996). Regression Shrinkage and Selection via the lasso. Journal of the Royal Statistical Society. Series B (methodological). 58 (1): 267–88. |
| 2005 | Hui Zou和Trevor Hastie提出通过弹性网（elastic net）来实现正则化和变量选择 | Zou, H.; Hastie, T. (2005). Regularization and Variable Selection via the Elastic Net. Journal of the Royal Statistical Society. Series B (statistical Methodology). 67 (2): 301–20. |
| 2006 | Ming Yuan和Yi Lin提对变量进行组合，即group lasso | Yuan, M.; Lin, Y. (2006). Model Selection and Estimation in Regression with Grouped Variables. Journal of the Royal Statistical Society. Series B (statistical Methodology). 68 (1): 49–67. |
| 2009 | Arnau Tibau Puig等人对group lasso进一步扩展，以在各个组（稀疏组套索）中执行变量选择并允许组之间的重叠（重叠组套索） | Puig, A. T., Wiesel, A.; Hero, A. O. (2009). A Multidimensional Shrinkage-Thresholding Operator. Proceedings of the 15th workshop on Statistical Signal Processing, SSP’09, IEEE, pp. 113–116. |
发展分析
瓶颈
Lasso不能做group selection，这也是其后提出的许多算法改进的方向。另外，L1范数没有解析解，但L2范数有。在数据量较大的时候岭回归计算效率可能更高。
未来发展方向
目前lasso的变体已经有很多，主要集中在不同的方向上对lasso进行改进，如弹性网鼓励在高度相关变量的情况下的群体效应，而不是像Lasso那样将其中一些置零。当多个特征和另一个特征相关的时候弹性网络非常有用。在未来也可以有更多能够弥补lasso的不足的算法的研究。
Contributor: Yuanyuan Li