GPR模型回归器近似子集- MATLAB & Simulink - MathWorks한국金宝app - 金宝app,下载188bet金宝搏,金宝搏官方网站

探地雷达模型回归量的子集逼近

回归量子集逼近法由替换核函数组成 $k （ x ， x_{r} | θ ）$ 在精确探地雷达法通过它的近似 ${\overset{＾}{k}}_{年代 R} （ x ， x_{r} | θ ，一个）$ ，给定活动集合 $一个 \subset N ＝｛ 1 ， 2 ， .．. ， n ｝$ ．属性为参数估计指定SR方法“FitMethod”、“老”调用中的名称-值对参数fitrgp．对于使用SR进行预测，可以使用“PredictMethod”、“老”调用中的名称-值对参数fitrgp．

逼近核函数

为精确的探地雷达模型， GPR中的预期预测取决于的集合 $N$ 功能 ${年代}_{N} ＝｛ k （ x ， x_{我} | θ ），我＝ 1 ， 2 ， .．. ， n ｝$ ,在那里 $N ＝｛ 1 ， 2 ， .．. ， n ｝$ 所有观测值的指标集，和n是观测的总数。这个想法是用一个更小的函数集来近似这些函数张成的空间， ${年代}_{一个}$ ,在那里 $一个 \subset N ＝｛ 1 ， 2 ， .．. ， n ｝$ 是被选为活动集中的点的索引的子集。考虑 ${年代}_{一个} ＝｛ k （ x ， x_{j} | θ ）， j \in 一个｝$ ．目的是近似地计算元素 ${年代}_{N}$ 元素的线性组合 ${年代}_{一个}$ ．

假设近似为 $k （ x ， x_{r} | θ ）$ 使用中的函数 ${年代}_{一个}$ 如下:

$\overset{＾}{k} （ x ， x_{r} | θ ）＝ \sum_{j \in 一个} c_{j r} k （ x ， x_{j} | θ ），$

在哪里 $c_{j r} \in ℝ$ 线性组合的系数是否近似 $k （ x ， x_{r} | θ ）$ ．假设 $C$ 矩阵包含所有系数吗 $c_{j r}$ ．然后, $C$ ，是一个 $| 一个 | \times n$ 这样的矩阵 $C （ j ， r ）＝ c_{j r}$ ．软件会找到与元素的最佳近似 ${年代}_{N}$ 使用活动集 $一个 \subset N ＝｛ 1 ， 2 ， .．. ， n ｝$ 通过最小化误差函数

$E （一个， C ）＝ \sum_{r ＝ 1}^{n} {为 k （ x ， x_{r} | θ ） - \overset{＾}{k} （ x ， x_{r} | θ ）为}_{ℋ}^{2} ，$

在哪里 $ℋ$ 再现核希尔伯特空间(RKHS)与核函数有关吗k[1]，[２]．

最小的系数矩阵 $E （一个， C ）$ 是

${\overset{＾}{C}}_{一个} ＝ K {（ X_{一个} ， X_{一个} | θ ）}^{- 1} K （ X_{一个} ， X | θ ），$

用活动集中的元素近似核函数 $一个 \subset N ＝｛ 1 ， 2 ， .．. ， n ｝$ 是

$\overset{＾}{k} （ x ， x_{r} | θ ）＝ \sum_{j \in 一个} c_{j r} k （ x ， x_{j} | θ ）＝ K （ x^{T} ， X_{一个} | θ ） C （：， r ）．$

利用活动集对核函数进行SR近似 $一个 \subset N ＝｛ 1 ， 2 ， .．. ， n ｝$ 定义为:

${\overset{＾}{k}}_{年代 R} （ x ， x_{r} | θ ，一个）＝ K （ x^{T} ， X_{一个} | θ ） {\overset{＾}{C}}_{一个} （：， r ）＝ K （ x^{T} ， X_{一个} | θ ） K {（ X_{一个} ， X_{一个} | θ ）}^{- 1} K （ X_{一个} ， x_{r}^{T} | θ ）$

和SR近似 $K （ X ， X | θ ）$ 是:

${\overset{＾}{K}}_{年代 R} （ X ， X | θ ，一个）＝ K （ X ， X_{一个} | θ ） K {（ X_{一个} ， X_{一个} | θ ）}^{- 1} K （ X_{一个} ， X | θ ）．$

参数估计

替换 $K （ X ， X | θ ）$ 通过 ${\overset{＾}{K}}_{年代 R} （ X ， X | θ ，一个）$ 在边缘对数似然函数中产生其SR近似:

$\begin{array}{l} 日志 P_{年代 R} （ y | X ， β ， θ ， σ^{2} ，一个）＝ & - \frac{1}{2} {（ y - H β ）}^{T} {［ {\overset{＾}{K}}_{年代 R} （ X ， X | θ ，一个） + σ^{2} 我_{n} ］}^{- 1} （ y - H β ） \\ - \frac{N}{2} 日志 2 π - \frac{1}{2} 日志 | {\overset{＾}{K}}_{年代 R} （ X ， X | θ ，一个） + σ^{2} 我_{n} | \end{array}$

就像确切的方法时，软件通过先计算来估计参数 $\overset{＾}{β} （ θ ， σ^{2} ）$ 的最优估计 $β$ ,鉴于 $θ$ 而且 $σ^{2}$ ．然后估计 $θ$ , $σ^{2}$ 使用 $β$ -剖面边缘对数似然。SR估计为 $β$ 对于给定 $θ$ , $σ^{2}$ 是:

${\overset{＾}{β}}_{年代 R} （ θ ， σ^{2} ，一个）＝ {［ \underset{＊}{\underset{︸}{H^{T} {［ {\overset{＾}{K}}_{年代 R} （ X ， X | θ ，一个） + σ^{2} 我_{n} ］}^{- 1} H}} ］}^{- 1} \underset{＊＊}{\underset{︸}{H^{T} {［ {\overset{＾}{K}}_{年代 R} （ X ， X | θ ，一个） + σ^{2} 我_{n} ］}^{- 1} y}} ，$

在哪里

$\begin{array}{l} {［ {\overset{＾}{K}}_{年代 R} （ X ， X | θ ，一个） + σ^{2} 我_{n} ］}^{- 1} ＝ \frac{我_{N}}{σ^{2}} - \frac{K （ X ， X_{一个} | θ ）}{σ^{2}} {一个}_{一个}^{- 1} \frac{K （ X_{一个} ， X | θ ）}{σ^{2}} ， \\ {一个}_{一个} ＝ K （ X_{一个} ， X_{一个} | θ ） + \frac{K （ X_{一个} ， X | θ ） K （ X ， X_{一个} | θ ）}{σ^{2}} ， \\ ＊＝ \frac{H^{T} H}{σ^{2}} - \frac{H^{T} K （ X ， X_{一个} | θ ）}{σ^{2}} {一个}_{一个}^{- 1} \frac{K （ X_{一个} ， X | θ ） H}{σ^{2}} ， \\ ＊＊＝ \frac{H^{T} y}{σ^{2}} - \frac{H^{T} K （ X ， X_{一个} | θ ）}{σ^{2}} {一个}_{一个}^{- 1} \frac{K （ X_{一个} ， X | θ ） y}{σ^{2}} ． \end{array}$

还有SR的近似 $β$ -剖面边际对数似然为:

$\begin{array}{l} 日志 P_{年代 R} （ y | X ， {\overset{＾}{β}}_{年代 R} （ θ ， σ^{2} ，一个）， θ ， σ^{2} ，一个）＝ \\ \begin{array}{l} - \frac{1}{2} {（ y - H {\overset{＾}{β}}_{年代 R} （ θ ， σ^{2} ，一个））}^{T} {［ {\overset{＾}{K}}_{年代 R} （ X ， X | θ ，一个） + σ^{2} 我_{n} ］}^{- 1} （ y - H {\overset{＾}{β}}_{年代 R} （ θ ， σ^{2} ，一个）） \\ - \frac{N}{2} 日志 2 π - \frac{1}{2} 日志 | {\overset{＾}{K}}_{年代 R} （ X ， X | θ ，一个） + σ^{2} 我_{n} | ． \end{array} \end{array}$

预测

分布的SR近似 $y_{n e w}$ 鉴于 $y$ ， $X$ ， $x_{n e w}$ 是

$P （ y_{n e w} | y ， X ， x_{n e w} ）＝ N （ y_{n e w} | h {（ x_{n e w} ）}^{T} β + μ_{年代 R} ， σ_{n e w}^{2} + Σ_{年代 R} ），$

在哪里 $μ_{年代 R}$ 而且 $Σ_{年代 R}$ SR近似是 $μ$ 而且 $Σ$ 所示使用精确的探地雷达方法进行预测．

$μ_{年代 R}$ 而且 $Σ_{年代 R}$ 都是通过替换 $k （ x ， x_{r} | θ ）$ 根据其SR近似 ${\overset{＾}{k}}_{年代 R} （ x ， x_{r} | θ ，一个）$ 在 $μ$ 而且 $Σ$ ,分别。

也就是说,

$μ_{年代 R} ＝ \underset{（ 1 ）}{\underset{︸}{{\overset{＾}{K}}_{年代 R} （ x_{n e w}^{T} ， X | θ ，一个）}} \underset{（ 2 ）}{\underset{︸}{{（ {\overset{＾}{K}}_{年代 R} （ X ， X | θ ，一个） + σ^{2} 我_{N} ）}^{- 1}}} （ y - H β ）．$

自

$\begin{array}{l} （ 1 ）＝ K （ x_{n e w}^{T} ， X_{一个} | θ ） K {（ X_{一个} ， X_{一个} | θ ）}^{- 1} K （ X_{一个} ， X | θ ） \end{array} ，$

$（ 2 ）＝ \frac{我_{N}}{σ^{2}} - \frac{K （ X ， X_{一个} | θ ）}{σ^{2}} {［ K （ X_{一个} ， X_{一个} | θ ） + \frac{K （ X_{一个} ， X | θ ） K （ X ， X_{一个} | θ ）}{σ^{2}} ］}^{- 1} \frac{K （ X_{一个} ， X | θ ）}{σ^{2}} ，$

从事实来看 $我_{N} - B {（一个 + B ）}^{- 1} ＝一个 {（一个 + B ）}^{- 1}$ ， $μ_{年代 R}$ 可以写成

$\begin{array}{l} μ_{年代 R} & ＝ K （ x_{n e w}^{T} ， X_{一个} | θ ） {［ K （ X_{一个} ， X_{一个} | θ ） + \frac{K （ X_{一个} ， X | θ ） K （ X ， X_{一个} | θ ）}{σ^{2}} ］}^{- 1} \frac{K （ X_{一个} ， X | θ ）}{σ^{2}} （ y - H β ） \end{array} ．$

同样的, $Σ_{年代 R}$ 推导如下:

$Σ_{年代 R} ＝ \underset{＊}{\underset{︸}{{\overset{＾}{k}}_{年代 R} （ x_{n e w} ， x_{n e w} | θ ，一个）}} - \underset{＊＊}{\underset{︸}{{\overset{＾}{K}}_{年代 R} （ x_{n e w}^{T} ， X | θ ，一个）}} \underset{＊＊＊}{\underset{︸}{{（ {\overset{＾}{K}}_{年代 R} （ X ， X | θ ，一个） + σ^{2} 我_{N} ）}^{- 1}}} \underset{＊＊＊＊}{\underset{︸}{{\overset{＾}{K}}_{年代 R} （ X ， x_{n e w}^{T} | θ ，一个）}} ．$

因为

$＊＝ K （ x_{n e w}^{T} ， X_{一个} | θ ） K {（ X_{一个} ， X_{一个} | θ ）}^{- 1} K （ X_{一个} ， x_{n e w}^{T} | θ ），$

$\begin{array}{l} ＊＊＝ K （ x_{n e w}^{T} ， X_{一个} | θ ） K {（ X_{一个} ， X_{一个} | θ ）}^{- 1} K （ X_{一个} ， X | θ ）， \\ ＊＊＊＝（ 2 ）在方程中 μ_{年代 R} ， \end{array}$

$＊＊＊＊＝ K （ X ， X_{一个} | θ ） K {（ X_{一个} ， X_{一个} | θ ）}^{- 1} K （ X_{一个} ， x_{n e w}^{T} | θ ），$

$Σ_{年代 R}$ 得到如下:

$\sum_{年代 R} ＝ K （ x_{n e w}^{T} ， X_{一个} | θ ） {［ K （ X_{一个} ， X_{一个} | θ ） + \frac{K （ X_{一个} ， X | θ ） K （ X ， X_{一个} | θ ））}{σ^{2}} ］}^{- 1} K （ X_{一个} ， x_{n e w}^{T} | θ ）．$

预测方差问题

SR方法的缺点之一是，当在远离所选活动集的区域进行预测时，它可以给出不合理的小预测方差 $一个 \subset N ＝｛ 1 ， 2 ， .．. ， n ｝$ ．考虑在一个新的点上做一个预测 $x_{n e w}$ 这离训练集很远 $X$ ．换句话说，假设 $K （ x_{n e w}^{T} ， X | θ ） \approx 0$ ．

对于精确探地雷达，后验分布 $f_{n e w}$ 鉴于 $y$ ， $X$ 而且 $x_{n e w}$ 是正常的还是刻薄的 $μ ＝ 0$ 和方差 $Σ ＝ k （ x_{n e w} ， x_{n e w} | θ ）$ ．这个值是正确的，因为，如果 $x_{n e w}$ 远远不是 $X$ ，然后是数据 $（ X ， y ）$ 没有提供任何新的信息关于 $f_{n e w}$ 所以后验分布 $f_{n e w}$ 鉴于 $y$ ， $X$ , $x_{n e w}$ 应该归为先验分布吗 $f_{n e w}$ 鉴于 $x_{n e w}$ ，为带均值的正态分布 $0$ 和方差 $k （ x_{n e w} ， x_{n e w} | θ ）$ ．

对于SR近似，如果 $x_{n e w}$ 是远离 $X$ (因此也远离 $X_{一个}$ ),然后 $μ_{年代 R} ＝ 0$ 而且 $Σ_{年代 R} ＝ 0$ ．因此在这种极端情况下， $μ_{年代 R}$ 同意 $μ$ 精确的探地雷达，但是 $Σ_{年代 R}$ 小到不合理 $Σ$ 精确的探地雷达。

的完全独立条件近似法可以帮助避免这个问题。

参考文献

[1]拉斯穆森，c.e.和c.k.i.威廉姆斯。机器学习的高斯过程。麻省理工学院出版社。剑桥，马萨诸塞州，2006年。

[2]斯莫拉，a.j.， B. Schökopf。“机器学习的稀疏贪婪矩阵近似。”在第十七届机器学习国际会议论文集, 2000年。

另请参阅

fitrgp|预测