主要内容gydF4y2Ba

高斯过程回归模型gydF4y2Ba

高斯过程回归(GPR)模型是一种非参数核概率模型。您可以训练一个GPR模型使用gydF4y2BafitrgpgydF4y2Ba函数。gydF4y2Ba

考虑训练集gydF4y2Ba ｛gydF4y2Ba （gydF4y2Ba xgydF4y2Ba 我gydF4y2Ba ，gydF4y2Ba ygydF4y2Ba 我gydF4y2Ba ）gydF4y2Ba ；gydF4y2Ba 我gydF4y2Ba ＝gydF4y2Ba 1gydF4y2Ba ，gydF4y2Ba 2gydF4y2Ba ，gydF4y2Ba .．.gydF4y2Ba ，gydF4y2Ba ngydF4y2Ba ｝gydF4y2Ba ,在那里gydF4y2Ba xgydF4y2Ba 我gydF4y2Ba ∈gydF4y2Ba ℝgydF4y2Ba dgydF4y2Ba 而且gydF4y2Ba ygydF4y2Ba 我gydF4y2Ba ∈gydF4y2Ba ℝgydF4y2Ba ，从未知分布中抽取。探地雷达模型解决了预测响应变量值的问题gydF4y2Ba ygydF4y2Ba ngydF4y2Ba egydF4y2Ba wgydF4y2Ba ，给定新的输入向量gydF4y2Ba xgydF4y2Ba ngydF4y2Ba egydF4y2Ba wgydF4y2Ba ，以及训练数据。线性回归模型的形式为gydF4y2Ba

ygydF4y2Ba ＝gydF4y2Ba xgydF4y2Ba TgydF4y2Ba βgydF4y2Ba +gydF4y2Ba εgydF4y2Ba ，gydF4y2Ba

在哪里gydF4y2Ba εgydF4y2Ba ∼gydF4y2Ba NgydF4y2Ba （gydF4y2Ba 0gydF4y2Ba ，gydF4y2Ba σgydF4y2Ba 2gydF4y2Ba ）gydF4y2Ba ．误差方差gydF4y2BaσgydF4y2Ba2gydF4y2Ba这些系数gydF4y2BaβgydF4y2Ba都是根据数据估计出来的。探地雷达模型通过引入潜在变量来解释这种反应，gydF4y2Ba fgydF4y2Ba （gydF4y2Ba xgydF4y2Ba 我gydF4y2Ba ）gydF4y2Ba ，gydF4y2Ba 我gydF4y2Ba ＝gydF4y2Ba 1gydF4y2Ba ，gydF4y2Ba 2gydF4y2Ba ，gydF4y2Ba .．.gydF4y2Ba ，gydF4y2Ba ngydF4y2Ba ，由高斯过程(GP)和显式基函数，gydF4y2BahgydF4y2Ba．潜在变量的协方差函数捕捉响应的平滑性，基函数投影输入gydF4y2Ba xgydF4y2Ba 成一个gydF4y2BapgydF4y2Ba-维特征空间。gydF4y2Ba

GP是一组随机变量，使得任意有限个随机变量都具有联合高斯分布。如果gydF4y2Ba ｛gydF4y2Ba fgydF4y2Ba （gydF4y2Ba xgydF4y2Ba ）gydF4y2Ba ，gydF4y2Ba xgydF4y2Ba ∈gydF4y2Ba ℝgydF4y2Ba dgydF4y2Ba ｝gydF4y2Ba 是全科医生，然后给gydF4y2BangydF4y2Ba观察gydF4y2Ba xgydF4y2Ba 1gydF4y2Ba ，gydF4y2Ba xgydF4y2Ba 2gydF4y2Ba ，gydF4y2Ba .．.gydF4y2Ba ，gydF4y2Ba xgydF4y2Ba ngydF4y2Ba 为随机变量的联合分布gydF4y2Ba fgydF4y2Ba （gydF4y2Ba xgydF4y2Ba 1gydF4y2Ba ）gydF4y2Ba ，gydF4y2Ba fgydF4y2Ba （gydF4y2Ba xgydF4y2Ba 2gydF4y2Ba ）gydF4y2Ba ，gydF4y2Ba .．.gydF4y2Ba ，gydF4y2Ba fgydF4y2Ba （gydF4y2Ba xgydF4y2Ba ngydF4y2Ba ）gydF4y2Ba 是高斯。GP由其均值函数定义gydF4y2Ba 米gydF4y2Ba （gydF4y2Ba xgydF4y2Ba ）gydF4y2Ba 协方差函数，gydF4y2Ba kgydF4y2Ba （gydF4y2Ba xgydF4y2Ba ，gydF4y2Ba xgydF4y2Ba ”gydF4y2Ba ）gydF4y2Ba ．也就是说，如果gydF4y2Ba ｛gydF4y2Ba fgydF4y2Ba （gydF4y2Ba xgydF4y2Ba ）gydF4y2Ba ，gydF4y2Ba xgydF4y2Ba ∈gydF4y2Ba ℝgydF4y2Ba dgydF4y2Ba ｝gydF4y2Ba 是高斯过程，那么gydF4y2Ba EgydF4y2Ba （gydF4y2Ba fgydF4y2Ba （gydF4y2Ba xgydF4y2Ba ）gydF4y2Ba ）gydF4y2Ba ＝gydF4y2Ba 米gydF4y2Ba （gydF4y2Ba xgydF4y2Ba ）gydF4y2Ba 而且gydF4y2Ba CgydF4y2Ba ogydF4y2Ba vgydF4y2Ba ［gydF4y2Ba fgydF4y2Ba （gydF4y2Ba xgydF4y2Ba ）gydF4y2Ba ，gydF4y2Ba fgydF4y2Ba （gydF4y2Ba xgydF4y2Ba ”gydF4y2Ba ）gydF4y2Ba ］gydF4y2Ba ＝gydF4y2Ba EgydF4y2Ba ［gydF4y2Ba ｛gydF4y2Ba fgydF4y2Ba （gydF4y2Ba xgydF4y2Ba ）gydF4y2Ba −gydF4y2Ba 米gydF4y2Ba （gydF4y2Ba xgydF4y2Ba ）gydF4y2Ba ｝gydF4y2Ba ｛gydF4y2Ba fgydF4y2Ba （gydF4y2Ba xgydF4y2Ba ”gydF4y2Ba ）gydF4y2Ba −gydF4y2Ba 米gydF4y2Ba （gydF4y2Ba xgydF4y2Ba ”gydF4y2Ba ）gydF4y2Ba ｝gydF4y2Ba ］gydF4y2Ba ＝gydF4y2Ba kgydF4y2Ba （gydF4y2Ba xgydF4y2Ba ，gydF4y2Ba xgydF4y2Ba ”gydF4y2Ba ）gydF4y2Ba ．gydF4y2Ba

现在考虑下面的模型。gydF4y2Ba

hgydF4y2Ba （gydF4y2Ba xgydF4y2Ba ）gydF4y2Ba TgydF4y2Ba βgydF4y2Ba +gydF4y2Ba fgydF4y2Ba （gydF4y2Ba xgydF4y2Ba ）gydF4y2Ba ，gydF4y2Ba

在哪里gydF4y2Ba fgydF4y2Ba （gydF4y2Ba xgydF4y2Ba ）gydF4y2Ba ～gydF4y2Ba GgydF4y2Ba PgydF4y2Ba （gydF4y2Ba 0gydF4y2Ba ，gydF4y2Ba kgydF4y2Ba （gydF4y2Ba xgydF4y2Ba ，gydF4y2Ba xgydF4y2Ba ”gydF4y2Ba ）gydF4y2Ba ）gydF4y2Ba 也就是说gydF4y2BafgydF4y2Ba（gydF4y2BaxgydF4y2Ba)均来自一个具有协方差函数的零均值GP，gydF4y2Ba kgydF4y2Ba （gydF4y2Ba xgydF4y2Ba ，gydF4y2Ba xgydF4y2Ba ”gydF4y2Ba ）gydF4y2Ba ．gydF4y2BahgydF4y2Ba（gydF4y2BaxgydF4y2Ba)是对原始特征向量进行变换的一组基函数gydF4y2BaxgydF4y2Ba在RgydF4y2BadgydF4y2Ba变成一个新的特征向量gydF4y2BahgydF4y2Ba（gydF4y2BaxgydF4y2Ba)用RgydF4y2BapgydF4y2Ba．gydF4y2BaβgydF4y2Ba是一个gydF4y2BapgydF4y2Ba基函数系数的-by-1向量。该模型代表一个探地雷达模型。响应实例gydF4y2BaygydF4y2Ba可以建模为gydF4y2Ba

PgydF4y2Ba （gydF4y2Ba ygydF4y2Ba 我gydF4y2Ba |gydF4y2Ba fgydF4y2Ba （gydF4y2Ba xgydF4y2Ba 我gydF4y2Ba ）gydF4y2Ba ，gydF4y2Ba xgydF4y2Ba 我gydF4y2Ba ）gydF4y2Ba ～gydF4y2Ba NgydF4y2Ba （gydF4y2Ba ygydF4y2Ba 我gydF4y2Ba |gydF4y2Ba hgydF4y2Ba （gydF4y2Ba xgydF4y2Ba 我gydF4y2Ba ）gydF4y2Ba TgydF4y2Ba βgydF4y2Ba +gydF4y2Ba fgydF4y2Ba （gydF4y2Ba xgydF4y2Ba 我gydF4y2Ba ）gydF4y2Ba ，gydF4y2Ba σgydF4y2Ba 2gydF4y2Ba ）gydF4y2Ba

因此，探地雷达模型是一个概率模型。这里有一个潜在变量gydF4y2BafgydF4y2Ba（gydF4y2BaxgydF4y2Ba我gydF4y2Ba)介绍gydF4y2Ba xgydF4y2Ba 我gydF4y2Ba ，这使得GPR模型是非参数的。在向量形式下，这个模型等价于gydF4y2Ba

PgydF4y2Ba （gydF4y2Ba ygydF4y2Ba |gydF4y2Ba fgydF4y2Ba ，gydF4y2Ba XgydF4y2Ba ）gydF4y2Ba ～gydF4y2Ba NgydF4y2Ba （gydF4y2Ba ygydF4y2Ba |gydF4y2Ba HgydF4y2Ba βgydF4y2Ba +gydF4y2Ba fgydF4y2Ba ，gydF4y2Ba σgydF4y2Ba 2gydF4y2Ba 我gydF4y2Ba ）gydF4y2Ba ，gydF4y2Ba

在哪里gydF4y2Ba

XgydF4y2Ba ＝gydF4y2Ba （gydF4y2Ba xgydF4y2Ba 1gydF4y2Ba TgydF4y2Ba xgydF4y2Ba 2gydF4y2Ba TgydF4y2Ba ⋮gydF4y2Ba xgydF4y2Ba ngydF4y2Ba TgydF4y2Ba ）gydF4y2Ba ，gydF4y2Ba ygydF4y2Ba ＝gydF4y2Ba （gydF4y2Ba ygydF4y2Ba 1gydF4y2Ba ygydF4y2Ba 2gydF4y2Ba ⋮gydF4y2Ba ygydF4y2Ba ngydF4y2Ba ）gydF4y2Ba ，gydF4y2Ba HgydF4y2Ba ＝gydF4y2Ba （gydF4y2Ba hgydF4y2Ba （gydF4y2Ba xgydF4y2Ba 1gydF4y2Ba TgydF4y2Ba ）gydF4y2Ba hgydF4y2Ba （gydF4y2Ba xgydF4y2Ba 2gydF4y2Ba TgydF4y2Ba ）gydF4y2Ba ⋮gydF4y2Ba hgydF4y2Ba （gydF4y2Ba xgydF4y2Ba ngydF4y2Ba TgydF4y2Ba ）gydF4y2Ba ）gydF4y2Ba ，gydF4y2Ba fgydF4y2Ba ＝gydF4y2Ba （gydF4y2Ba fgydF4y2Ba （gydF4y2Ba xgydF4y2Ba 1gydF4y2Ba ）gydF4y2Ba fgydF4y2Ba （gydF4y2Ba xgydF4y2Ba 2gydF4y2Ba ）gydF4y2Ba ⋮gydF4y2Ba fgydF4y2Ba （gydF4y2Ba xgydF4y2Ba ngydF4y2Ba ）gydF4y2Ba ）gydF4y2Ba ．gydF4y2Ba

潜变量的联合分布gydF4y2Ba fgydF4y2Ba （gydF4y2Ba xgydF4y2Ba 1gydF4y2Ba ）gydF4y2Ba ，gydF4y2Ba fgydF4y2Ba （gydF4y2Ba xgydF4y2Ba 2gydF4y2Ba ）gydF4y2Ba ，gydF4y2Ba .．.gydF4y2Ba ，gydF4y2Ba fgydF4y2Ba （gydF4y2Ba xgydF4y2Ba ngydF4y2Ba ）gydF4y2Ba GPR模型中的值为:gydF4y2Ba

PgydF4y2Ba （gydF4y2Ba fgydF4y2Ba |gydF4y2Ba XgydF4y2Ba ）gydF4y2Ba ～gydF4y2Ba NgydF4y2Ba （gydF4y2Ba fgydF4y2Ba |gydF4y2Ba 0gydF4y2Ba ，gydF4y2Ba KgydF4y2Ba （gydF4y2Ba XgydF4y2Ba ，gydF4y2Ba XgydF4y2Ba ）gydF4y2Ba ）gydF4y2Ba ，gydF4y2Ba

接近线性回归模型，其中gydF4y2Ba KgydF4y2Ba （gydF4y2Ba XgydF4y2Ba ，gydF4y2Ba XgydF4y2Ba ）gydF4y2Ba 如下所示:gydF4y2Ba

KgydF4y2Ba （gydF4y2Ba XgydF4y2Ba ，gydF4y2Ba XgydF4y2Ba ）gydF4y2Ba ＝gydF4y2Ba （gydF4y2Ba kgydF4y2Ba （gydF4y2Ba xgydF4y2Ba 1gydF4y2Ba ，gydF4y2Ba xgydF4y2Ba 1gydF4y2Ba ）gydF4y2Ba kgydF4y2Ba （gydF4y2Ba xgydF4y2Ba 1gydF4y2Ba ，gydF4y2Ba xgydF4y2Ba 2gydF4y2Ba ）gydF4y2Ba ⋯gydF4y2Ba kgydF4y2Ba （gydF4y2Ba xgydF4y2Ba 1gydF4y2Ba ，gydF4y2Ba xgydF4y2Ba ngydF4y2Ba ）gydF4y2Ba kgydF4y2Ba （gydF4y2Ba xgydF4y2Ba 2gydF4y2Ba ，gydF4y2Ba xgydF4y2Ba 1gydF4y2Ba ）gydF4y2Ba kgydF4y2Ba （gydF4y2Ba xgydF4y2Ba 2gydF4y2Ba ，gydF4y2Ba xgydF4y2Ba 2gydF4y2Ba ）gydF4y2Ba ⋯gydF4y2Ba kgydF4y2Ba （gydF4y2Ba xgydF4y2Ba 2gydF4y2Ba ，gydF4y2Ba xgydF4y2Ba ngydF4y2Ba ）gydF4y2Ba ⋮gydF4y2Ba ⋮gydF4y2Ba ⋮gydF4y2Ba ⋮gydF4y2Ba kgydF4y2Ba （gydF4y2Ba xgydF4y2Ba ngydF4y2Ba ，gydF4y2Ba xgydF4y2Ba 1gydF4y2Ba ）gydF4y2Ba kgydF4y2Ba （gydF4y2Ba xgydF4y2Ba ngydF4y2Ba ，gydF4y2Ba xgydF4y2Ba 2gydF4y2Ba ）gydF4y2Ba ⋯gydF4y2Ba kgydF4y2Ba （gydF4y2Ba xgydF4y2Ba ngydF4y2Ba ，gydF4y2Ba xgydF4y2Ba ngydF4y2Ba ）gydF4y2Ba ）gydF4y2Ba ．gydF4y2Ba

协方差函数gydF4y2Ba kgydF4y2Ba （gydF4y2Ba xgydF4y2Ba ，gydF4y2Ba xgydF4y2Ba ”gydF4y2Ba ）gydF4y2Ba 通常由一组内核参数或超参数参数化，gydF4y2Ba θgydF4y2Ba ．经常gydF4y2Ba kgydF4y2Ba （gydF4y2Ba xgydF4y2Ba ，gydF4y2Ba xgydF4y2Ba ”gydF4y2Ba ）gydF4y2Ba 写为gydF4y2Ba kgydF4y2Ba （gydF4y2Ba xgydF4y2Ba ，gydF4y2Ba xgydF4y2Ba ”gydF4y2Ba |gydF4y2Ba θgydF4y2Ba ）gydF4y2Ba 来显式地指示依赖于gydF4y2Ba θgydF4y2Ba ．gydF4y2Ba

fitrgpgydF4y2Ba估计基函数系数，gydF4y2Ba βgydF4y2Ba ，噪声方差，gydF4y2Ba σgydF4y2Ba 2gydF4y2Ba ，超参数，gydF4y2Ba θgydF4y2Ba 的核函数，同时训练GPR模型的数据。您可以指定基函数、核(协方差)函数和参数的初始值。gydF4y2Ba

由于GPR模型是概率性的，因此可以使用训练过的模型计算预测间隔(参见gydF4y2Ba预测gydF4y2Ba而且gydF4y2BaresubPredictgydF4y2Ba）.gydF4y2Ba

您还可以使用训练好的GPR模型计算回归误差(参见gydF4y2Ba损失gydF4y2Ba而且gydF4y2BaresubLossgydF4y2Ba）.gydF4y2Ba

比较探地雷达模型的预测区间gydF4y2Ba

打开实时脚本gydF4y2Ba

本例将GPR模型适用于无噪声数据集和有噪声数据集。算例比较了两种拟合GPR模型的预测响应和预测区间。gydF4y2Ba

由函数生成两个观测数据集gydF4y2Ba ggydF4y2Ba （gydF4y2Ba xgydF4y2Ba ）gydF4y2Ba ＝gydF4y2Ba xgydF4y2Ba ⋅gydF4y2Ba 罪gydF4y2Ba （gydF4y2Ba xgydF4y2Ba ）gydF4y2Ba ．gydF4y2Ba

rng (gydF4y2Ba“默认”gydF4y2Ba）gydF4y2Ba%用于再现性gydF4y2BaX_observed = linspace(0,10,21)';Y_observed1 = x_observed.*sin(x_observed);Y_observed2 = y_observed1 + 0.5*randn(size(x_observed));gydF4y2Ba

中的值gydF4y2Bay_observed1gydF4y2Ba是否无噪声，且值在gydF4y2Bay_observed2gydF4y2Ba包括一些随机噪音。gydF4y2Ba

将探地雷达模型与观测数据集相匹配。gydF4y2Ba

gprMdl1 = fitrgp(x_observed, y_observved1);gprMdl2 = fitrgp(x_observed, y_observved2);gydF4y2Ba

利用拟合模型计算预测响应和95%预测区间。gydF4y2Ba

X = linspace(0,10)';[ypred1，~，yint1] = predict(gprMdl1,x);[ypred2，~，yint2] = predict(gprMdl2,x);gydF4y2Ba

调整图形的大小以在一个图形中显示两个绘图。gydF4y2Ba

图;fig.Position(3) = fig.Position(3)*2;gydF4y2Ba

创建1 * 2平铺图表布局。gydF4y2Ba

tiledlayout(1、2、gydF4y2Ba“TileSpacing”gydF4y2Ba，gydF4y2Ba“紧凑”gydF4y2Ba）gydF4y2Ba

对于每个瓦，绘制观测数据点的散点图和函数图gydF4y2Ba xgydF4y2Ba ⋅gydF4y2Ba 罪gydF4y2Ba （gydF4y2Ba xgydF4y2Ba ）gydF4y2Ba ．然后添加一个GP预测反应的图和一个预测间隔的补丁。gydF4y2Ba

nexttile举行gydF4y2Ba在gydF4y2Ba散射(x_observed y_observed1,gydF4y2Ba“r”gydF4y2Ba）gydF4y2Ba观测数据点百分比gydF4y2Bafplot (@ x (x)。* sin (x) [0, 10],gydF4y2Ba“——r”gydF4y2Ba）gydF4y2Bax*sin(x)的函数图gydF4y2Ba情节(x, ypred1,gydF4y2Ba‘g’gydF4y2Ba）gydF4y2Ba%探地雷达预测gydF4y2Ba补丁([x; flipud (x)], [yint1 (: 1); flipud (yint1 (:, 2))),gydF4y2Ba“k”gydF4y2Ba，gydF4y2Ba“FaceAlpha”gydF4y2Ba, 0.1);gydF4y2Ba%预测区间gydF4y2Ba持有gydF4y2Ba从gydF4y2Ba标题(gydF4y2Ba“无噪声观测的GPR拟合”gydF4y2Ba)({传奇gydF4y2Ba“无噪声的观察”gydF4y2Ba，gydF4y2Ba'g(x) = x*sin(x)'gydF4y2Ba，gydF4y2Ba“探地雷达预测”gydF4y2Ba，gydF4y2Ba“95%预测区间”gydF4y2Ba}，gydF4y2Ba“位置”gydF4y2Ba，gydF4y2Ba“最佳”gydF4y2Ba) nexttile holdgydF4y2Ba在gydF4y2Ba散射(x_observed y_observed2,gydF4y2Ba“xr”gydF4y2Ba）gydF4y2Ba观测数据点百分比gydF4y2Bafplot (@ x (x)。* sin (x) [0, 10],gydF4y2Ba“——r”gydF4y2Ba）gydF4y2Bax*sin(x)的函数图gydF4y2Ba情节(x, ypred2,gydF4y2Ba‘g’gydF4y2Ba）gydF4y2Ba%探地雷达预测gydF4y2Ba补丁([x; flipud (x)], [yint2 (: 1); flipud (yint2 (:, 2))),gydF4y2Ba“k”gydF4y2Ba，gydF4y2Ba“FaceAlpha”gydF4y2Ba, 0.1);gydF4y2Ba%预测区间gydF4y2Ba持有gydF4y2Ba从gydF4y2Ba标题(gydF4y2Ba“噪声观测的GPR拟合”gydF4y2Ba)({传奇gydF4y2Ba“嘈杂的观察”gydF4y2Ba，gydF4y2Ba'g(x) = x*sin(x)'gydF4y2Ba，gydF4y2Ba“探地雷达预测”gydF4y2Ba，gydF4y2Ba“95%预测区间”gydF4y2Ba}，gydF4y2Ba“位置”gydF4y2Ba，gydF4y2Ba“最佳”gydF4y2Ba）gydF4y2Ba

图中包含2个轴对象。轴对象1，标题为GPR拟合of Noise-Free Observations，包含散点(scatter)、函数线(functionline)、直线(line)、补丁(patch) 4个对象。这些对象表示无噪声观测，g(x) = x*sin(x)， GPR预测，95%预测区间。标题为GPR拟合的轴对象2包含散点、函数线、直线、补丁类型的4个对象。这些对象表示噪声观测，g(x) = x*sin(x)， GPR预测，95%预测区间。gydF4y2Ba

当观测值无噪声时，探地雷达拟合的预测响应与观测值交叉。预测反应的标准差几乎为零。因此，预测区间非常窄。当观测值包含噪声时，预测的响应不会与观测值交叉，预测区间变宽。gydF4y2Ba

参考文献gydF4y2Ba

[1]拉斯穆森，c.e.和c.k.i.威廉姆斯。gydF4y2Ba机器学习的高斯过程。gydF4y2Ba麻省理工学院出版社。剑桥，马萨诸塞州，2006年。gydF4y2Ba

另请参阅gydF4y2Ba

|gydF4y2Ba|gydF4y2Ba

相关的话题gydF4y2Ba