主要内容gydF4y2Ba

高斯过程回归模型gydF4y2Ba

高斯过程回归(GPR)模型是非参数的基于核的概率模型。你可以训练一个探地雷达模型使用gydF4y2BafitrgpgydF4y2Ba函数。gydF4y2Ba

考虑训练集gydF4y2Ba ｛gydF4y2Ba （gydF4y2Ba xgydF4y2Ba 我gydF4y2Ba ，gydF4y2Ba ygydF4y2Ba 我gydF4y2Ba ）gydF4y2Ba ；gydF4y2Ba 我gydF4y2Ba ＝gydF4y2Ba 1gydF4y2Ba ，gydF4y2Ba 2gydF4y2Ba ，gydF4y2Ba .．.gydF4y2Ba ，gydF4y2Ba ngydF4y2Ba ｝gydF4y2Ba ,在那里gydF4y2Ba xgydF4y2Ba 我gydF4y2Ba ∈gydF4y2Ba ℝgydF4y2Ba dgydF4y2Ba 和gydF4y2Ba ygydF4y2Ba 我gydF4y2Ba ∈gydF4y2Ba ℝgydF4y2Ba ，从一个未知的分布。探地雷达模型解决了预测响应变量值的问题gydF4y2Ba ygydF4y2Ba ngydF4y2Ba egydF4y2Ba wgydF4y2Ba ，给定新的输入向量gydF4y2Ba xgydF4y2Ba ngydF4y2Ba egydF4y2Ba wgydF4y2Ba ，以及训练数据。线性回归模型如下所示gydF4y2Ba

ygydF4y2Ba ＝gydF4y2Ba xgydF4y2Ba TgydF4y2Ba βgydF4y2Ba +gydF4y2Ba εgydF4y2Ba ，gydF4y2Ba

在哪里gydF4y2Ba εgydF4y2Ba ∼gydF4y2Ba NgydF4y2Ba （gydF4y2Ba 0gydF4y2Ba ，gydF4y2Ba σgydF4y2Ba 2gydF4y2Ba ）gydF4y2Ba ．误差方差gydF4y2BaσgydF4y2Ba2gydF4y2Ba和系数gydF4y2BaβgydF4y2Ba是根据数据估计的。GPR模型通过引入潜在变量来解释这种反应，gydF4y2Ba fgydF4y2Ba （gydF4y2Ba xgydF4y2Ba 我gydF4y2Ba ）gydF4y2Ba ，gydF4y2Ba 我gydF4y2Ba ＝gydF4y2Ba 1gydF4y2Ba ，gydF4y2Ba 2gydF4y2Ba ，gydF4y2Ba .．.gydF4y2Ba ，gydF4y2Ba ngydF4y2Ba ，来自高斯过程(GP)，以及显式基函数，gydF4y2BahgydF4y2Ba．潜变量的协方差函数捕捉响应的平滑性，基函数投射输入gydF4y2Ba xgydF4y2Ba 成一个gydF4y2BapgydF4y2Ba维特征空间。gydF4y2Ba

GP是一组随机变量，其中任意有限个数的随机变量具有联合高斯分布。如果gydF4y2Ba ｛gydF4y2Ba fgydF4y2Ba （gydF4y2Ba xgydF4y2Ba ）gydF4y2Ba ，gydF4y2Ba xgydF4y2Ba ∈gydF4y2Ba ℝgydF4y2Ba dgydF4y2Ba ｝gydF4y2Ba 是全科医生，然后给予gydF4y2BangydF4y2Ba观察gydF4y2Ba xgydF4y2Ba 1gydF4y2Ba ，gydF4y2Ba xgydF4y2Ba 2gydF4y2Ba ，gydF4y2Ba .．.gydF4y2Ba ，gydF4y2Ba xgydF4y2Ba ngydF4y2Ba ，随机变量的联合分布gydF4y2Ba fgydF4y2Ba （gydF4y2Ba xgydF4y2Ba 1gydF4y2Ba ）gydF4y2Ba ，gydF4y2Ba fgydF4y2Ba （gydF4y2Ba xgydF4y2Ba 2gydF4y2Ba ）gydF4y2Ba ，gydF4y2Ba .．.gydF4y2Ba ，gydF4y2Ba fgydF4y2Ba （gydF4y2Ba xgydF4y2Ba ngydF4y2Ba ）gydF4y2Ba 是高斯。GP由其均值函数定义gydF4y2Ba 米gydF4y2Ba （gydF4y2Ba xgydF4y2Ba ）gydF4y2Ba 和协方差函数,gydF4y2Ba kgydF4y2Ba （gydF4y2Ba xgydF4y2Ba ，gydF4y2Ba xgydF4y2Ba ”gydF4y2Ba ）gydF4y2Ba ．也就是说,如果gydF4y2Ba ｛gydF4y2Ba fgydF4y2Ba （gydF4y2Ba xgydF4y2Ba ）gydF4y2Ba ，gydF4y2Ba xgydF4y2Ba ∈gydF4y2Ba ℝgydF4y2Ba dgydF4y2Ba ｝gydF4y2Ba 是高斯过程，那么gydF4y2Ba EgydF4y2Ba （gydF4y2Ba fgydF4y2Ba （gydF4y2Ba xgydF4y2Ba ）gydF4y2Ba ）gydF4y2Ba ＝gydF4y2Ba 米gydF4y2Ba （gydF4y2Ba xgydF4y2Ba ）gydF4y2Ba 和gydF4y2Ba CgydF4y2Ba ogydF4y2Ba vgydF4y2Ba ［gydF4y2Ba fgydF4y2Ba （gydF4y2Ba xgydF4y2Ba ）gydF4y2Ba ，gydF4y2Ba fgydF4y2Ba （gydF4y2Ba xgydF4y2Ba ”gydF4y2Ba ）gydF4y2Ba ］gydF4y2Ba ＝gydF4y2Ba EgydF4y2Ba ［gydF4y2Ba ｛gydF4y2Ba fgydF4y2Ba （gydF4y2Ba xgydF4y2Ba ）gydF4y2Ba −gydF4y2Ba 米gydF4y2Ba （gydF4y2Ba xgydF4y2Ba ）gydF4y2Ba ｝gydF4y2Ba ｛gydF4y2Ba fgydF4y2Ba （gydF4y2Ba xgydF4y2Ba ”gydF4y2Ba ）gydF4y2Ba −gydF4y2Ba 米gydF4y2Ba （gydF4y2Ba xgydF4y2Ba ”gydF4y2Ba ）gydF4y2Ba ｝gydF4y2Ba ］gydF4y2Ba ＝gydF4y2Ba kgydF4y2Ba （gydF4y2Ba xgydF4y2Ba ，gydF4y2Ba xgydF4y2Ba ”gydF4y2Ba ）gydF4y2Ba ．gydF4y2Ba

现在考虑以下模型。gydF4y2Ba

hgydF4y2Ba （gydF4y2Ba xgydF4y2Ba ）gydF4y2Ba TgydF4y2Ba βgydF4y2Ba +gydF4y2Ba fgydF4y2Ba （gydF4y2Ba xgydF4y2Ba ）gydF4y2Ba ，gydF4y2Ba

在哪里gydF4y2Ba fgydF4y2Ba （gydF4y2Ba xgydF4y2Ba ）gydF4y2Ba ～gydF4y2Ba GgydF4y2Ba PgydF4y2Ba （gydF4y2Ba 0gydF4y2Ba ，gydF4y2Ba kgydF4y2Ba （gydF4y2Ba xgydF4y2Ba ，gydF4y2Ba xgydF4y2Ba ”gydF4y2Ba ）gydF4y2Ba ）gydF4y2Ba ,这是gydF4y2BafgydF4y2Ba（gydF4y2BaxgydF4y2Ba)是从零均值GP和协方差函数，gydF4y2Ba kgydF4y2Ba （gydF4y2Ba xgydF4y2Ba ，gydF4y2Ba xgydF4y2Ba ”gydF4y2Ba ）gydF4y2Ba ．gydF4y2BahgydF4y2Ba（gydF4y2BaxgydF4y2Ba)是一组对原始特征向量进行变换的基函数gydF4y2BaxgydF4y2Ba在RgydF4y2BadgydF4y2Ba变成一个新的特征向量gydF4y2BahgydF4y2Ba（gydF4y2BaxgydF4y2Ba在R中)gydF4y2BapgydF4y2Ba．gydF4y2BaβgydF4y2Ba是一个gydF4y2BapgydF4y2Ba基函数系数的- × 1向量。该模型代表了GPR模型。响应的实例gydF4y2BaygydF4y2Ba可以建模为gydF4y2Ba

PgydF4y2Ba （gydF4y2Ba ygydF4y2Ba 我gydF4y2Ba |gydF4y2Ba fgydF4y2Ba （gydF4y2Ba xgydF4y2Ba 我gydF4y2Ba ）gydF4y2Ba ，gydF4y2Ba xgydF4y2Ba 我gydF4y2Ba ）gydF4y2Ba ～gydF4y2Ba NgydF4y2Ba （gydF4y2Ba ygydF4y2Ba 我gydF4y2Ba |gydF4y2Ba hgydF4y2Ba （gydF4y2Ba xgydF4y2Ba 我gydF4y2Ba ）gydF4y2Ba TgydF4y2Ba βgydF4y2Ba +gydF4y2Ba fgydF4y2Ba （gydF4y2Ba xgydF4y2Ba 我gydF4y2Ba ）gydF4y2Ba ，gydF4y2Ba σgydF4y2Ba 2gydF4y2Ba ）gydF4y2Ba

因此，GPR模型是一个概率模型。这里有一个潜在的变量gydF4y2BafgydF4y2Ba（gydF4y2BaxgydF4y2Ba我gydF4y2Ba)为每次观察介绍gydF4y2Ba xgydF4y2Ba 我gydF4y2Ba ，这使得GPR模型是非参数化的。在矢量形式下，该模型等价于gydF4y2Ba

PgydF4y2Ba （gydF4y2Ba ygydF4y2Ba |gydF4y2Ba fgydF4y2Ba ，gydF4y2Ba XgydF4y2Ba ）gydF4y2Ba ～gydF4y2Ba NgydF4y2Ba （gydF4y2Ba ygydF4y2Ba |gydF4y2Ba HgydF4y2Ba βgydF4y2Ba +gydF4y2Ba fgydF4y2Ba ，gydF4y2Ba σgydF4y2Ba 2gydF4y2Ba 我gydF4y2Ba ）gydF4y2Ba ，gydF4y2Ba

在哪里gydF4y2Ba

XgydF4y2Ba ＝gydF4y2Ba （gydF4y2Ba xgydF4y2Ba 1gydF4y2Ba TgydF4y2Ba xgydF4y2Ba 2gydF4y2Ba TgydF4y2Ba ⋮gydF4y2Ba xgydF4y2Ba ngydF4y2Ba TgydF4y2Ba ）gydF4y2Ba ，gydF4y2Ba ygydF4y2Ba ＝gydF4y2Ba （gydF4y2Ba ygydF4y2Ba 1gydF4y2Ba ygydF4y2Ba 2gydF4y2Ba ⋮gydF4y2Ba ygydF4y2Ba ngydF4y2Ba ）gydF4y2Ba ，gydF4y2Ba HgydF4y2Ba ＝gydF4y2Ba （gydF4y2Ba hgydF4y2Ba （gydF4y2Ba xgydF4y2Ba 1gydF4y2Ba TgydF4y2Ba ）gydF4y2Ba hgydF4y2Ba （gydF4y2Ba xgydF4y2Ba 2gydF4y2Ba TgydF4y2Ba ）gydF4y2Ba ⋮gydF4y2Ba hgydF4y2Ba （gydF4y2Ba xgydF4y2Ba ngydF4y2Ba TgydF4y2Ba ）gydF4y2Ba ）gydF4y2Ba ，gydF4y2Ba fgydF4y2Ba ＝gydF4y2Ba （gydF4y2Ba fgydF4y2Ba （gydF4y2Ba xgydF4y2Ba 1gydF4y2Ba ）gydF4y2Ba fgydF4y2Ba （gydF4y2Ba xgydF4y2Ba 2gydF4y2Ba ）gydF4y2Ba ⋮gydF4y2Ba fgydF4y2Ba （gydF4y2Ba xgydF4y2Ba ngydF4y2Ba ）gydF4y2Ba ）gydF4y2Ba ．gydF4y2Ba

潜在变量的联合分布gydF4y2Ba fgydF4y2Ba （gydF4y2Ba xgydF4y2Ba 1gydF4y2Ba ）gydF4y2Ba ，gydF4y2Ba fgydF4y2Ba （gydF4y2Ba xgydF4y2Ba 2gydF4y2Ba ）gydF4y2Ba ，gydF4y2Ba .．.gydF4y2Ba ，gydF4y2Ba fgydF4y2Ba （gydF4y2Ba xgydF4y2Ba ngydF4y2Ba ）gydF4y2Ba 在GPR模型中为:gydF4y2Ba

PgydF4y2Ba （gydF4y2Ba fgydF4y2Ba |gydF4y2Ba XgydF4y2Ba ）gydF4y2Ba ～gydF4y2Ba NgydF4y2Ba （gydF4y2Ba fgydF4y2Ba |gydF4y2Ba 0gydF4y2Ba ，gydF4y2Ba KgydF4y2Ba （gydF4y2Ba XgydF4y2Ba ，gydF4y2Ba XgydF4y2Ba ）gydF4y2Ba ）gydF4y2Ba ，gydF4y2Ba

接近线性回归模型，其中gydF4y2Ba KgydF4y2Ba （gydF4y2Ba XgydF4y2Ba ，gydF4y2Ba XgydF4y2Ba ）gydF4y2Ba 看起来如下:gydF4y2Ba

KgydF4y2Ba （gydF4y2Ba XgydF4y2Ba ，gydF4y2Ba XgydF4y2Ba ）gydF4y2Ba ＝gydF4y2Ba （gydF4y2Ba kgydF4y2Ba （gydF4y2Ba xgydF4y2Ba 1gydF4y2Ba ，gydF4y2Ba xgydF4y2Ba 1gydF4y2Ba ）gydF4y2Ba kgydF4y2Ba （gydF4y2Ba xgydF4y2Ba 1gydF4y2Ba ，gydF4y2Ba xgydF4y2Ba 2gydF4y2Ba ）gydF4y2Ba ⋯gydF4y2Ba kgydF4y2Ba （gydF4y2Ba xgydF4y2Ba 1gydF4y2Ba ，gydF4y2Ba xgydF4y2Ba ngydF4y2Ba ）gydF4y2Ba kgydF4y2Ba （gydF4y2Ba xgydF4y2Ba 2gydF4y2Ba ，gydF4y2Ba xgydF4y2Ba 1gydF4y2Ba ）gydF4y2Ba kgydF4y2Ba （gydF4y2Ba xgydF4y2Ba 2gydF4y2Ba ，gydF4y2Ba xgydF4y2Ba 2gydF4y2Ba ）gydF4y2Ba ⋯gydF4y2Ba kgydF4y2Ba （gydF4y2Ba xgydF4y2Ba 2gydF4y2Ba ，gydF4y2Ba xgydF4y2Ba ngydF4y2Ba ）gydF4y2Ba ⋮gydF4y2Ba ⋮gydF4y2Ba ⋮gydF4y2Ba ⋮gydF4y2Ba kgydF4y2Ba （gydF4y2Ba xgydF4y2Ba ngydF4y2Ba ，gydF4y2Ba xgydF4y2Ba 1gydF4y2Ba ）gydF4y2Ba kgydF4y2Ba （gydF4y2Ba xgydF4y2Ba ngydF4y2Ba ，gydF4y2Ba xgydF4y2Ba 2gydF4y2Ba ）gydF4y2Ba ⋯gydF4y2Ba kgydF4y2Ba （gydF4y2Ba xgydF4y2Ba ngydF4y2Ba ，gydF4y2Ba xgydF4y2Ba ngydF4y2Ba ）gydF4y2Ba ）gydF4y2Ba ．gydF4y2Ba

协方差函数gydF4y2Ba kgydF4y2Ba （gydF4y2Ba xgydF4y2Ba ，gydF4y2Ba xgydF4y2Ba ”gydF4y2Ba ）gydF4y2Ba 通常由一组核参数或超参数来参数化，gydF4y2Ba θgydF4y2Ba ．经常gydF4y2Ba kgydF4y2Ba （gydF4y2Ba xgydF4y2Ba ，gydF4y2Ba xgydF4y2Ba ”gydF4y2Ba ）gydF4y2Ba 被编写为gydF4y2Ba kgydF4y2Ba （gydF4y2Ba xgydF4y2Ba ，gydF4y2Ba xgydF4y2Ba ”gydF4y2Ba |gydF4y2Ba θgydF4y2Ba ）gydF4y2Ba 显式地指示依赖gydF4y2Ba θgydF4y2Ba ．gydF4y2Ba

fitrgpgydF4y2Ba估计基函数系数，gydF4y2Ba βgydF4y2Ba ，噪声方差，gydF4y2Ba σgydF4y2Ba 2gydF4y2Ba 和超参数，gydF4y2Ba θgydF4y2Ba ，在训练GPR模型时，从数据中提取核函数。您可以指定基函数、核(协方差)函数和参数的初始值。gydF4y2Ba

因为探地雷达模型是概率的，所以可以使用训练过的模型来计算预测间隔(见gydF4y2Ba预测gydF4y2Ba和gydF4y2BaresubPredictgydF4y2Ba）.gydF4y2Ba

你也可以使用训练过的探地雷达模型计算回归误差(见gydF4y2Ba损失gydF4y2Ba和gydF4y2BaresubLossgydF4y2Ba）.gydF4y2Ba

比较探地雷达模型的预测间隔gydF4y2Ba

打开生活的脚本gydF4y2Ba

这个例子适用于无噪声数据集和有噪声数据集的探地雷达模型。算例比较了两种GPR模型的预测响应和预测间隔。gydF4y2Ba

从函数中生成两个观测数据集gydF4y2Ba ggydF4y2Ba （gydF4y2Ba xgydF4y2Ba ）gydF4y2Ba ＝gydF4y2Ba xgydF4y2Ba ⋅gydF4y2Ba 罪gydF4y2Ba （gydF4y2Ba xgydF4y2Ba ）gydF4y2Ba ．gydF4y2Ba

rng (gydF4y2Ba“默认”gydF4y2Ba）gydF4y2Ba%的再现性gydF4y2Bax_observed = linspace(0, 10日,21)';y_observed1 = x_observed。* sin (x_observed);Y_observed2 = y_observed1 + 0.5*randn(x_observed));gydF4y2Ba

中的值gydF4y2Bay_observed1gydF4y2Ba是否无噪声，值在gydF4y2Bay_observed2gydF4y2Ba包括一些随机噪声。gydF4y2Ba

将探地雷达模型与观测数据集相匹配。gydF4y2Ba

gprMdl1 = fitrgp (x_observed y_observed1);gprMdl2 = fitrgp (x_observed y_observed2);gydF4y2Ba

使用拟合模型计算预测响应和95%的预测间隔。gydF4y2Ba

x = linspace (0, 10) ';[ypred1, ~, yint1] =预测(gprMdl1 x);[ypred2, ~, yint2] =预测(gprMdl2 x);gydF4y2Ba

调整图形的大小以在一个图形中显示两个图形。gydF4y2Ba

无花果=图;fig.Position (3) = fig.Position (3) * 2;gydF4y2Ba

创建一个1 * 2平铺图表布局。gydF4y2Ba

tiledlayout(1、2、gydF4y2Ba“TileSpacing”gydF4y2Ba，gydF4y2Ba“紧凑”gydF4y2Ba）gydF4y2Ba

对于每个贴图，绘制观察数据点的散点图和函数图gydF4y2Ba xgydF4y2Ba ⋅gydF4y2Ba 罪gydF4y2Ba （gydF4y2Ba xgydF4y2Ba ）gydF4y2Ba ．然后添加一个GP预测响应图和一个预测间隔补丁。gydF4y2Ba

nexttile举行gydF4y2Ba在gydF4y2Ba散射(x_observed y_observed1,gydF4y2Ba“r”gydF4y2Ba）gydF4y2Ba%观测数据点gydF4y2Bafplot (@ x (x)。* sin (x) [0, 10],gydF4y2Ba“——r”gydF4y2Ba）gydF4y2Bax*sin(x)的%函数图gydF4y2Ba情节(x, ypred1,gydF4y2Ba‘g’gydF4y2Ba）gydF4y2Ba% GPR预测gydF4y2Ba补丁([x; flipud (x)], [yint1 (: 1); flipud (yint1 (:, 2))),gydF4y2Ba“k”gydF4y2Ba，gydF4y2Ba“FaceAlpha”gydF4y2Ba, 0.1);gydF4y2Ba%的预测区间gydF4y2Ba持有gydF4y2Ba从gydF4y2Ba标题(gydF4y2Ba“无噪声观测的GPR拟合”gydF4y2Ba)({传奇gydF4y2Ba“无噪声的观察”gydF4y2Ba，gydF4y2Ba“g (x) = x * sin (x) 'gydF4y2Ba，gydF4y2Ba“探地雷达预测”gydF4y2Ba，gydF4y2Ba“95%的预测区间”gydF4y2Ba}，gydF4y2Ba“位置”gydF4y2Ba，gydF4y2Ba“最佳”gydF4y2Ba) nexttile举行gydF4y2Ba在gydF4y2Ba散射(x_observed y_observed2,gydF4y2Ba“xr”gydF4y2Ba）gydF4y2Ba%观测数据点gydF4y2Bafplot (@ x (x)。* sin (x) [0, 10],gydF4y2Ba“——r”gydF4y2Ba）gydF4y2Bax*sin(x)的%函数图gydF4y2Ba情节(x, ypred2,gydF4y2Ba‘g’gydF4y2Ba）gydF4y2Ba% GPR预测gydF4y2Ba补丁([x; flipud (x)], [yint2 (: 1); flipud (yint2 (:, 2))),gydF4y2Ba“k”gydF4y2Ba，gydF4y2Ba“FaceAlpha”gydF4y2Ba, 0.1);gydF4y2Ba%的预测区间gydF4y2Ba持有gydF4y2Ba从gydF4y2Ba标题(gydF4y2Ba“有噪声观测的GPR匹配”gydF4y2Ba)({传奇gydF4y2Ba“嘈杂的观察”gydF4y2Ba，gydF4y2Ba“g (x) = x * sin (x) 'gydF4y2Ba，gydF4y2Ba“探地雷达预测”gydF4y2Ba，gydF4y2Ba“95%的预测区间”gydF4y2Ba}，gydF4y2Ba“位置”gydF4y2Ba，gydF4y2Ba“最佳”gydF4y2Ba）gydF4y2Ba

图中包含2个轴对象。标题为GPR拟合的无噪声观测坐标轴对象1包含散点类型、功能线类型、直线类型、patch类型4个对象。这些对象代表无噪声观测，g(x) = x*sin(x)， GPR预测，95%预测区间。标题为GPR拟合噪声观测的坐标轴对象2包含散点类型、函数线类型、直线类型、patch类型4个对象。这些对象代表噪声观测，g(x) = x*sin(x)， GPR预测，95%预测区间。gydF4y2Ba

当观测值为无噪声时，GPR拟合的预测响应与观测值相交。预测响应的标准差几乎为零。因此，预测区间非常窄。当观测值包含噪声时，预测响应与观测值不相交，预测区间变宽。gydF4y2Ba

参考文献gydF4y2Ba

拉斯穆森，c。e。和c。k。i。威廉姆斯。gydF4y2Ba机器学习的高斯过程。gydF4y2Ba麻省理工学院出版社。马萨诸塞州剑桥,2006年。gydF4y2Ba

另请参阅gydF4y2Ba

|gydF4y2Ba|gydF4y2Ba

相关的话题gydF4y2Ba

统计和机器学习工具箱文档gydF4y2Ba

金宝app

掌握机器学习:MATLAB一步一步指南gydF4y2Ba

掌握机器学习:MATLAB一步一步指南gydF4y2Ba

下载电子书gydF4y2Ba