套索和弹性网- MATLAB和Simulink MathWorks金宝app西班牙 - 金宝app,下载188bet金宝搏,金宝搏官方网站

套索和弹性网

套索和弹性网是什么?

拉索是一种正则化技术。使用套索:

减少预测的回归模型。
识别重要的预测因子。
选择冗余预测因子之一。
产生收缩估计与预测错误可能低于普通最小二乘法。

弹性网是一个相关的技术。使用弹性网当你有几个高度相关的变量。套索当你设置提供了弹性净正规化α名称-值对之间严格的数量0和1。

看到套索和弹性网络的细节。

回归套索正规化的乐团,明白了规范。

套索和弹性网络的细节

套索和弹性网的概述

拉索是一种正则化技术进行线性回归。套索包括一个惩罚项约束的大小估计系数。因此,它就像岭回归。拉索是一个收缩估计量:它生成系数估计是偏小。然而,一个套索估计可以有更小的均方误差比一个普通最小二乘估计量,当你把它应用到新数据。

不像岭回归,随着惩罚项的增加,套索套更多的系数为零。这意味着套索估计量是一个小模型,用更少的预测因子。因此,套索的另一种选择逐步回归和其他模型选择和降维技术。

弹性网是一个相关的技术。弹性网是一个混合的岭回归和套索正规化。像套索,弹性网可以生成模型减少了产生新鲜感系数。实证研究表明,弹性网络技术可以超越套索与高度相关的预测数据。

套索的定义

的套索技术解决了这个正则化问题。对于一个给定的值λ一个非负参数,套索解决问题

$\underset{β_{0}, β}{最小值} (\frac{1}{2 N} \sum_{我 = 1}^{N} {(y_{我} - β_{0} - x_{我}^{T} β)}^{2} + λ \sum_{j = 1}^{p} | β_{j} |) 。$

N是观测的数量。
y_我是在观察反应吗我。
x_我是数据,矢量的p在观测值我。
λ是一个积极的正则化参数对应于一个值的λ。
的参数β₀和β标量和p向量分别。

作为λ增加,非零组件的数量β减少。

套索的问题涉及到l¹规范的β,如与弹性网算法。

弹性网的定义

的弹性网技术解决了这个正则化问题。对于一个α严格在0和1之间,和一个非负λ,弹性网络解决问题

$\underset{β_{0}, β}{最小值} (\frac{1}{2 N} \sum_{我 = 1}^{N} {(y_{我} - β_{0} - x_{我}^{T} β)}^{2} + λ P_{α} (β)),$

在哪里

$P_{α} (β) = \frac{(1 - α)}{2} {为 β 为}_{2}^{2} + α {为 β 为}_{1} = \sum_{j = 1}^{p} (\frac{(1 - α)}{2} β_{j}^{2} + α | β_{j} |) 。$

弹性净套索时是一样的α= 1。作为α减少到0,弹性网的方法脊回归。其他的值α,惩罚项P_α(β)之间的插入l¹规范的β和方l²规范的β。

引用

[1]Tibshirani, R。“回归收缩和通过套索选择。”英国皇家统计学会杂志》上的系列B, 58卷,1号,第288 - 267页,1996年。

[2]邹,h . t . Hastie。通过弹性网“正规化和变量选择。”英国皇家统计学会杂志》上的B系列,2号卷。67年,第320 - 301页,2005年。

[3]弗里德曼,J。,R. Tibshirani, and T. Hastie. "Regularization paths for generalized linear models via coordinate descent."统计软件学报,33卷,1号,2010年。https://www.jstatsoft.org/v33/i01

[4]Hastie, T。,R. Tibshirani, and J. Friedman.统计学习的元素,第二版。施普林格,纽约,2008年。

另请参阅

套索|lassoglm|fitrlinear|lassoPlot|脊