Lasso正则化广义线性模型- MATLAB & Simulink - MathWorks Australia金宝app - 金宝app,下载188bet金宝搏,金宝搏官方网站

广义线性模型的Lasso正则化

套索是一种正规化技术。使用lassoglm:

弹性网是一项相关技术。当你有几个高度相关的变量时使用它。lassoglm提供弹性网正规化时，您设置α名称-值对严格限定在一个数字之间0和1．

关于lasso和elastic net的计算和算法请参见广义线性模型套索和弹性网．关于广义线性模型的讨论，请参阅什么是广义线性模型?．

套索是一种估计广义线性模型的正则化技术。Lasso包含一个惩罚项，限制了估计系数的大小。因此,它就像岭回归．拉索是一个收缩估计量:它生成的系数估计偏小。然而，当你将lasso估价器应用于新数据时，它可以比普通的最大似然估价器有更小的误差。

与岭回归不同，随着惩罚项的增加，套索技术将更多的系数设置为零。这意味着lasso估计量是一个较小的模型，具有较少的预测量。因此，套索是一种替代逐步回归以及其他模型选择和降维技术。

弹性网是一个相关的技术。弹性网类似于脊回归和套索正规化的混合。像套索一样，弹性网可以通过生成零值系数来生成简化模型。经验研究表明弹性网技术可以在预测高度相关的数据上优于套索技术。

的非负值λ，lassoglm解决问题

$\underset{β_{0} ， β}{最小值} （ \frac{1}{N} 异常（ β_{0} ， β ） + λ \sum_{j ＝ 1}^{p} | β_{j} | ）．$

这个方程中的函数Deviance是使用截距拟合响应的模型的偏差β₀以及预测系数β．越轨的公式取决于分配您提供的参数lassoglm．最小化λ-惩罚偏差等于最大化λ处罚loglikelihood。
N为观察次数。
λ一个非负正则化参数是否对应于的一个值λ．
的参数β₀和β一个标量和一个长度向量p,分别。

作为λ增加，非零分量的数目β减少。

套索问题涉及到l¹规范的β，与弹性网算法相比。

为α严格在0和1之间，且非负λ，弹性网就解决了这个问题

$\underset{β_{0} ， β}{最小值} （ \frac{1}{N} 异常（ β_{0} ， β ） + λ P_{α} （ β ）），$

在哪里

$P_{α} （ β ）＝ \frac{（ 1 - α ）}{2} {为 β 为}_{2}^{2} + α {为 β 为}_{1} ＝ \sum_{j ＝ 1}^{p} （ \frac{（ 1 - α ）}{2} β_{j}^{2} + α | β_{j} | ）．$

弹力网与套索是一样的α= 1。的其他值α，罚则P_α（β)之间插入l¹规范的β和方l²规范的β．作为α缩小到0，弹性网接近脊回归。

[1] Tibshirani, R。通过套索的回归收缩和选择。《皇家统计学会学报》，B辑，第58卷，第1期，267-288页，1996年。

邹，H.和T.快点。通过弹性网的正则化和变量选择。皇家统计学会学报，B辑，第67卷，第2期，301-320页，2005。

[3] Friedman, J.， R. Tibshirani, T. Hastie。基于坐标下降的广义线性模型正则化路径。统计软件学报，2010年第1期。https://www.jstatsoft.org/v33/i01

Hastie, T.， R. Tibshirani, J. Friedman。统计学习的要素，第二版。施普林格，纽约，2008。

P. McCullagh和J. A. Nelder。广义线性模型,第二版。查普曼与霍尔/CRC出版社，1989。