GPR模型的回归器近似子集-MATLAB和SIMULINK -MATHWORKS ITALIA金宝app - 金宝app,下载188bet金宝搏,金宝搏官方网站

GPR模型的回归器近似子集

回归器（SR）近似方法的子集包括替换内核函数 $k （（ X ，，，， X_{r} | θ ）$ 在里面精确的GPR方法通过近似 ${\hat{k}}_{s r} （（ X ，，，， X_{r} | θ ，，，，一个）$ ，给定活动集 $一个 \subset n = {1 ，，，， 2 ，，，， ... ，，，， n}$ 。您可以使用“ fitMethod”，'sr'呼叫中的名称值对参数fitrgp。对于使用SR的预测，您可以使用“预测方法”，“ sr'呼叫中的名称值对参数fitrgp。

近似内核函数

为了确切的GPR模型，GPR中的预期预测取决于 $n$ 功能 $s_{n} = {k （（ X ，，，， X_{一世} | θ ），，，，一世 = 1 ，，，， 2 ，，，， \dots ，，，， n}$ ，在哪里 $n = {1 ，，，， 2 ，，，， ... ，，，， n}$ 是所有观察的索引集，n是观察总数。这个想法是通过较小的函数集近似这些函数的跨度， $s_{一个}$ ，在哪里 $一个 \subset n = {1 ，，，， 2 ，，，， ... ，，，， n}$ 是选择为活动集中的点的索引子集。考虑 $s_{一个} = {k （（ X ，，，， X_{j} | θ ），，，， j \in 一个}$ 。目的是近似 $s_{n}$ 作为元素的线性组合 $s_{一个}$ 。

假设近似 $k （（ X ，，，， X_{r} | θ ）$ 在 $s_{一个}$ 如下：

$\hat{k} （（ X ，，，， X_{r} | θ ） = \sum_{j \in 一个} C_{j r} k （（ X ，，，， X_{j} | θ ），，，，$

在哪里 $C_{j r} \in ℝ$ 是线性组合的系数用于近似 $k （（ X ，，，， X_{r} | θ ）$ 。认为 $C$ 是包含所有系数的矩阵 $C_{j r}$ 。然后， $C$ ，是 $| 一个 | \times n$ 矩阵这样 $C （（ j ，，，， r ） = C_{j r}$ 。该软件找到了与元素的最佳近似 $s_{n}$ 使用活动集 $一个 \subset n = {1 ，，，， 2 ，，，， ... ，，，， n}$ 通过最小化错误函数

$e （（一个，，，， C ） = \sum_{r = 1}^{n} {” k （（ X ，，，， X_{r} | θ ） - \hat{k} （（ X ，，，， X_{r} | θ ） ”}_{ℋ}^{2} ，，，，$

在哪里 $ℋ$ 是与内核功能相关的繁殖内核希尔伯特空间（RKHS）k[1]，，，，[2]。

最小化系数矩阵 $e （（一个，，，， C ）$ 是

${\hat{C}}_{一个} = k {（（ X_{一个} ，，，， X_{一个} | θ ）}^{- 1} k （（ X_{一个} ，，，， X | θ ），，，，$

并使用活动集中的元素与内核函数进行近似 $一个 \subset n = {1 ，，，， 2 ，，，， ... ，，，， n}$ 是

$\hat{k} （（ X ，，，， X_{r} | θ ） = \sum_{j \in 一个} C_{j r} k （（ X ，，，， X_{j} | θ ） = k （（ X^{t} ，，，， X_{一个} | θ ） C （（：，，，， r ）。$

使用活动集的SR近似与内核函数 $一个 \subset n = {1 ，，，， 2 ，，，， ... ，，，， n}$ 被定义为：

${\hat{k}}_{s r} （（ X ，，，， X_{r} | θ ，，，，一个） = k （（ X^{t} ，，，， X_{一个} | θ ） {\hat{C}}_{一个} （（：，，，， r ） = k （（ X^{t} ，，，， X_{一个} | θ ） k {（（ X_{一个} ，，，， X_{一个} | θ ）}^{- 1} k （（ X_{一个} ，，，， X_{r}^{t} | θ ）$

和SR近似 $k （（ X ，，，， X | θ ）$ 是：

${\hat{k}}_{s r} （（ X ，，，， X | θ ，，，，一个） = k （（ X ，，，， X_{一个} | θ ） k {（（ X_{一个} ，，，， X_{一个} | θ ）}^{- 1} k （（ X_{一个} ，，，， X | θ ）。$

参数估计

更换 $k （（ X ，，，， X | θ ）$ 经过 ${\hat{k}}_{s r} （（ X ，，，， X | θ ，，，，一个）$ 在边际对数可能性函数中，产生其SR近似：

$\begin{array}{l} 日志 p_{s r} （（ y | X ，，，， β ，，，， θ ，，，， σ^{2} ，，，，一个） = & - \frac{1}{2} {（（ y - H β ）}^{t} {[[{\hat{k}}_{s r} （（ X ，，，， X | θ ，，，，一个） + σ^{2} 我_{n} 这是给予的}^{- 1} （（ y - H β ） \\ - \frac{n}{2} 日志 2 π - \frac{1}{2} 日志 | {\hat{k}}_{s r} （（ X ，，，， X | θ ，，，，一个） + σ^{2} 我_{n} | \end{array}$

就像在精确的方法，该软件通过首先计算来估计参数 $\hat{β} （（ θ ，，，， σ^{2} ）$ ，最佳估计 $β$ ，给予 $θ$ 和 $σ^{2}$ 。然后估计 $θ$ ，和 $σ^{2}$ 使用 $β$ - 填充的边缘原木可能性。SR估计 $β$ 给定 $θ$ ，和 $σ^{2}$ 是：

${\hat{β}}_{s r} （（ θ ，，，， σ^{2} ，，，，一个） = {[[\underset{*}{\underset{︸}{H^{t} {[[{\hat{k}}_{s r} （（ X ，，，， X | θ ，，，，一个） + σ^{2} 我_{n} 这是给予的}^{- 1} H}} 这是给予的}^{- 1} \underset{* *}{\underset{︸}{H^{t} {[[{\hat{k}}_{s r} （（ X ，，，， X | θ ，，，，一个） + σ^{2} 我_{n} 这是给予的}^{- 1} y}} ，，，，$

在哪里

$\begin{array}{l} {[[{\hat{k}}_{s r} （（ X ，，，， X | θ ，，，，一个） + σ^{2} 我_{n} 这是给予的}^{- 1} = \frac{我_{n}}{σ^{2}} - \frac{k （（ X ，，，， X_{一个} | θ ）}{σ^{2}} {一个}_{一个}^{- 1} \frac{k （（ X_{一个} ，，，， X | θ ）}{σ^{2}} ，，，， \\ {一个}_{一个} = k （（ X_{一个} ，，，， X_{一个} | θ ） + \frac{k （（ X_{一个} ，，，， X | θ ） k （（ X ，，，， X_{一个} | θ ）}{σ^{2}} ，，，， \\ * = \frac{H^{t} H}{σ^{2}} - \frac{H^{t} k （（ X ，，，， X_{一个} | θ ）}{σ^{2}} {一个}_{一个}^{- 1} \frac{k （（ X_{一个} ，，，， X | θ ） H}{σ^{2}} ，，，， \\ * * = \frac{H^{t} y}{σ^{2}} - \frac{H^{t} k （（ X ，，，， X_{一个} | θ ）}{σ^{2}} {一个}_{一个}^{- 1} \frac{k （（ X_{一个} ，，，， X | θ ） y}{σ^{2}} 。 \end{array}$

和SR近似 $β$ - 填充的边缘日志可能性是：

$\begin{array}{l} 日志 p_{s r} （（ y | X ，，，， {\hat{β}}_{s r} （（ θ ，，，， σ^{2} ，，，，一个），，，， θ ，，，， σ^{2} ，，，，一个） = \\ \begin{array}{l} - \frac{1}{2} {（（ y - H {\hat{β}}_{s r} （（ θ ，，，， σ^{2} ，，，，一个））}^{t} {[[{\hat{k}}_{s r} （（ X ，，，， X | θ ，，，，一个） + σ^{2} 我_{n} 这是给予的}^{- 1} （（ y - H {\hat{β}}_{s r} （（ θ ，，，， σ^{2} ，，，，一个）） \\ - \frac{n}{2} 日志 2 π - \frac{1}{2} 日志 | {\hat{k}}_{s r} （（ X ，，，， X | θ ，，，，一个） + σ^{2} 我_{n} | 。 \end{array} \end{array}$

预言

SR分布的SR近似 $y_{n e w}$ 给出 $y$ ，，，， $X$ ，，，， $X_{n e w}$ 是

$p （（ y_{n e w} | y ，，，， X ，，，， X_{n e w} ） = n （（ y_{n e w} | H {（（ X_{n e w} ）}^{t} β + μ_{s r} ，，，， σ_{n e w}^{2} + σ_{s r} ），，，，$

在哪里 $μ_{s r}$ 和 $σ_{s r}$ 是SR近似 $μ$ 和 $σ$ 显示在使用精确的GPR方法进行预测。

$μ_{s r}$ 和 $σ_{s r}$ 通过更换获得 $k （（ X ，，，， X_{r} | θ ）$ 通过其SR近似 ${\hat{k}}_{s r} （（ X ，，，， X_{r} | θ ，，，，一个）$ 在 $μ$ 和 $σ$ ，分别。

那是，

$μ_{s r} = \underset{（（ 1 ）}{\underset{︸}{{\hat{k}}_{s r} （（ X_{n e w}^{t} ，，，， X | θ ，，，，一个）}} \underset{（（ 2 ）}{\underset{︸}{{（（ {\hat{k}}_{s r} （（ X ，，，， X | θ ，，，，一个） + σ^{2} 我_{n} ）}^{- 1}}} （（ y - H β ）。$

自从

$\begin{array}{l} （（ 1 ） = k （（ X_{n e w}^{t} ，，，， X_{一个} | θ ） k {（（ X_{一个} ，，，， X_{一个} | θ ）}^{- 1} k （（ X_{一个} ，，，， X | θ ） \end{array} ，，，，$

$（（ 2 ） = \frac{我_{n}}{σ^{2}} - \frac{k （（ X ，，，， X_{一个} | θ ）}{σ^{2}} {[[k （（ X_{一个} ，，，， X_{一个} | θ ） + \frac{k （（ X_{一个} ，，，， X | θ ） k （（ X ，，，， X_{一个} | θ ）}{σ^{2}} 这是给予的}^{- 1} \frac{k （（ X_{一个} ，，，， X | θ ）}{σ^{2}} ，，，，$

从事实上 $我_{n} - b {（（一个 + b ）}^{- 1} = 一个 {（（一个 + b ）}^{- 1}$ ，，，， $μ_{s r}$ 可以写成

$\begin{array}{l} μ_{s r} & = k （（ X_{n e w}^{t} ，，，， X_{一个} | θ ） {[[k （（ X_{一个} ，，，， X_{一个} | θ ） + \frac{k （（ X_{一个} ，，，， X | θ ） k （（ X ，，，， X_{一个} | θ ）}{σ^{2}} 这是给予的}^{- 1} \frac{k （（ X_{一个} ，，，， X | θ ）}{σ^{2}} （（ y - H β ） \end{array} 。$

相似地， $σ_{s r}$ 得出如下：

$σ_{s r} = \underset{*}{\underset{︸}{{\hat{k}}_{s r} （（ X_{n e w} ，，，， X_{n e w} | θ ，，，，一个）}} - \underset{* *}{\underset{︸}{{\hat{k}}_{s r} （（ X_{n e w}^{t} ，，，， X | θ ，，，，一个）}} \underset{* * *}{\underset{︸}{{（（ {\hat{k}}_{s r} （（ X ，，，， X | θ ，，，，一个） + σ^{2} 我_{n} ）}^{- 1}}} \underset{* * * *}{\underset{︸}{{\hat{k}}_{s r} （（ X ，，，， X_{n e w}^{t} | θ ，，，，一个）}} 。$

因为

$* = k （（ X_{n e w}^{t} ，，，， X_{一个} | θ ） k {（（ X_{一个} ，，，， X_{一个} | θ ）}^{- 1} k （（ X_{一个} ，，，， X_{n e w}^{t} | θ ），，，，$

$\begin{array}{l} * * = k （（ X_{n e w}^{t} ，，，， X_{一个} | θ ） k {（（ X_{一个} ，，，， X_{一个} | θ ）}^{- 1} k （（ X_{一个} ，，，， X | θ ），，，， \\ * * * = （（ 2 ）在等式 μ_{s r} ，，，， \end{array}$

$* * * * = k （（ X ，，，， X_{一个} | θ ） k {（（ X_{一个} ，，，， X_{一个} | θ ）}^{- 1} k （（ X_{一个} ，，，， X_{n e w}^{t} | θ ），，，，$

$σ_{s r}$ 被发现如下：

$\sum_{s r} = k （（ X_{n e w}^{t} ，，，， X_{一个} | θ ） {[[k （（ X_{一个} ，，，， X_{一个} | θ ） + \frac{k （（ X_{一个} ，，，， X | θ ） k （（ X ，，，， X_{一个} | θ ））}{σ^{2}} 这是给予的}^{- 1} k （（ X_{一个} ，，，， X_{n e w}^{t} | θ ）。$

预测差异问题

SR方法的缺点之一是，在远离所选活动集的区域中进行预测时，它可以给出不合理的小预测差异 $一个 \subset n = {1 ，，，， 2 ，，，， ... ，，，， n}$ 。考虑在新点进行预测 $X_{n e w}$ 离训练集很远 $X$ 。换句话说，假设 $k （（ X_{n e w}^{t} ，，，， X | θ ） \approx 0$ 。

对于精确的GPR，后验分布 $F_{n e w}$ 给出 $y$ ，，，， $X$ 和 $X_{n e w}$ 平均是正常的 $μ = 0$ 和差异 $σ = k （（ X_{n e w} ，，，， X_{n e w} | θ ）$ 。从某种意义上说，这个值是正确的 $X_{n e w}$ 离得很远 $X$ ，然后数据 $（（ X ，，，， y ）$ 不提供有关有关的任何新信息 $F_{n e w}$ 因此 $F_{n e w}$ 给出 $y$ ，，，， $X$ ，和 $X_{n e w}$ 应减少到先前的分布 $F_{n e w}$ 给出 $X_{n e w}$ ，这是平均分布 $0$ 和差异 $k （（ X_{n e w} ，，，， X_{n e w} | θ ）$ 。

对于SR近似，如果 $X_{n e w}$ 远离 $X$ （因此也很远 $X_{一个}$ ），然后 $μ_{s r} = 0$ 和 $σ_{s r} = 0$ 。因此，在这种极端情况下 $μ_{s r}$ 同意 $μ$ 从确切的GPR，但 $σ_{s r}$ 与 $σ$ 来自精确的GPR。

这完全独立的条件近似法可以帮助避免这个问题。

参考

[1] Rasmussen，C。E.和C. K. I. Williams。用于机器学习的高斯流程。麻省理工学院出版社。剑桥，马萨诸塞州，2006年。

[2] Smola，A。J.和B.Schökopf。“机器学习的稀疏贪婪矩阵近似。”在第十七国际机器学习会议论文集，2000年。

也可以看看

fitrgp|预测