学習デ，タの読み込みと前処理gydF4y2Ba

手書きの数字のメジで構成される学習デタを読み込みます。関数gydF4y2BadigitTrain4DArrayDatagydF4y2Baは，数字の。gydF4y2Ba

[XTrain,TTrain] = digitTrain4DArrayData;gydF4y2Ba

XTraingydF4y2Baは,サイズが28 x 28のシングルチャネルイメージ5000個を含む,28日28 x 5000 xの配列です。各ピクセルはgydF4y2Ba0gydF4y2BaからgydF4y2Ba1gydF4y2Baの間の値です。gydF4y2BaTTraingydF4y2Baは,各観測値のラベルが含まれる直言ベクトルで,ラベルは手書きの数字に対応する0から9の数字です。gydF4y2Ba

ランダムに選択した▪▪メ▪▪ジを表示します。gydF4y2Ba

perm = randperm(数字(TTrain)，9);imshow (imtile (XTrain(:,:,:,烫),ThumbnailSize = (100 - 100)));gydF4y2Ba

類似メジと非類似メジのペアの作成gydF4y2Ba

ネットワークに学習させるには,データを類似イメージまたは非類似イメージのペアにグループ化しなければなりません。ここで,類似イメージは同じラベルをもつイメージ,非類似イメージは異なるラベルをもつイメージとして定義されます。関数gydF4y2BagetSiameseBatchgydF4y2Ba(この例のgydF4y2Baサポ，ト関数gydF4y2Baの節で定義)は，類似gydF4y2BapairImage1gydF4y2BaとgydF4y2BapairImage2gydF4y2Baを作成します。また，この関数は，gydF4y2BapairLabelgydF4y2Baを返します。メ，ジの類似ペアの場合はgydF4y2BapairLabel = 1gydF4y2Ba，非類似ペアの場合はgydF4y2BapairLabel = 0gydF4y2Baになります。gydF4y2Ba

。gydF4y2Ba

batchSize = 10;[pairImage1,pairImage2,pairLabel] = getSiameseBatch(XTrain,TTrain,batchSize);gydF4y2Ba

生成された▪▪メ▪▪ジのペアを表示します。gydF4y2Ba

图tiledlayout (gydF4y2Ba“流”gydF4y2Ba）gydF4y2Ba为gydF4y2Bai = 1: batchSize nexttile imshow ([pairImage1 (::,:, i) pairImage2(::,:,我)]);gydF4y2Ba如果gydF4y2BapairLabel(i) == 1 s =gydF4y2Ba“相似”gydF4y2Ba；gydF4y2Ba其他的gydF4y2Bas =gydF4y2Ba“不同”gydF4y2Ba；gydF4y2Ba结束gydF4y2Ba标题(年代)gydF4y2Ba结束gydF4y2Ba

この例では，学習ル，プの反復ごとに，メ，ジのペア180個から成る新しいバッチが作成されます。これにより,類似ペアと非類似ペアの比率がほぼ等しい大量のランダムなイメージのペアでネットワークに学習させることができます。gydF4y2Ba

ネットワ，クア，キテクチャの定義gydF4y2Ba

シャムネットワ，クのア，キテクチャを次の図に示します。gydF4y2Ba

この例では，2。28 x 28 x 1 のイメージを受け取り、低次元特徴表現として使用される 2 つの特徴ベクトルを出力するネットワークを作成します。ネットワークは、入力イメージの次元を 2 に削減します。これにより、初期の 784 の次元よりもプロットと可視化を簡単に行えるようになります。

最初の2つの全結合層では,出力サイズに1024を指定し,他の重みの初期化子を使用します。gydF4y2Ba

最終の全結合層では，出力サaaplズに2を指定し，Heの重みの初期化子を使用します。gydF4y2Ba

layers = [imageInputLayer([28 28]，归一化=gydF4y2Ba“没有”gydF4y2Ba) fullyConnectedLayer(1024年,WeightsInitializer =gydF4y2Ba“他”gydF4y2Ba) reluLayer fullyConnectedLayer(1024,WeightsInitializer=gydF4y2Ba“他”gydF4y2Ba) reluLayer fullyConnectedLayer(2,WeightsInitializer=gydF4y2Ba“他”gydF4y2Ba));gydF4y2Ba

カスタム学習ル，プを使用してネットワ，クに学習させ，自動微分を有効にするには，層配列をgydF4y2BadlnetworkgydF4y2Baオブジェクトに変換します。gydF4y2Ba

Net = dlnetwork(layers);gydF4y2Ba

モデル損失関数の定義gydF4y2Ba

関数gydF4y2BamodelLossgydF4y2Ba(この例のgydF4y2Baサポ，ト関数gydF4y2Baの節で定義)を作成します。関数gydF4y2BamodelLossgydF4y2Baは，シャムgydF4y2BadlnetworkgydF4y2BaオブジェクトgydF4y2Ba网gydF4y2Ba，入力デ，タのミニバッチgydF4y2BaX1gydF4y2BaとgydF4y2BaX2gydF4y2BaおよびそのラベルgydF4y2BapairLabelsgydF4y2Baを受け取ります。関数は損失値と、ネットワークの学習可能なパラメーターについての損失の勾配を返します。

シャムネットワークの目的は,各イメージについて,類似イメージの場合は類似し,非類似イメージの場合は明確に異なるような特徴ベクトルを出力することです。このようにして，ネットワ，クは2の入力を区別することができます。gydF4y2Ba

最後の全結合層の出力と，gydF4y2BapairImage1gydF4y2BaおよびgydF4y2BapairImage2gydF4y2Baからの特徴ベクトルgydF4y2Bafeatures1gydF4y2BaおよびgydF4y2Bafeatures1gydF4y2Baとの間の対比損失をそれぞれ求めます。ペアの対比損失は[3]で与えられます。gydF4y2Ba

ここで，gydF4y2Ba $\mathit{ygydF4y2Ba}$はペアラベルの値(類似メジの場合はgydF4y2Ba $\mathit{ygydF4y2Ba}＝gydF4y2Ba\mathrm{1gydF4y2Ba}$，非類似aapl . exe，非類似aapl . exegydF4y2Ba $\mathit{ygydF4y2Ba}＝gydF4y2Ba\mathrm{0gydF4y2Ba}$)で，gydF4y2Ba $\mathit{dgydF4y2Ba}$は2の特徴ベクトルgydF4y2Ba $\mathit{f1gydF4y2Ba}$とgydF4y2Ba $\mathit{f2gydF4y2Ba}$のユ，クリッド距離gydF4y2Ba $\mathit{dgydF4y2Ba}＝gydF4y2Ba{为gydF4y2Ba\mathit{f1gydF4y2Ba}-gydF4y2Ba\mathit{f2gydF4y2Ba}为gydF4y2Ba}_{\mathrm{2gydF4y2Ba}}$です。gydF4y2Ba

$\mathrm{米gydF4y2Ba}\mathrm{一个gydF4y2Ba}\mathrm{rgydF4y2Ba}\mathrm{ggydF4y2Ba}\mathrm{我gydF4y2Ba}\mathrm{ngydF4y2Ba}$パラメ，タ，は制約のために使用されます。ペア内の2のメジが非類似の場合は，両者の距離が少なくともgydF4y2Ba $\mathrm{米gydF4y2Ba}\mathrm{一个gydF4y2Ba}\mathrm{rgydF4y2Ba}\mathrm{ggydF4y2Ba}\mathrm{我gydF4y2Ba}\mathrm{ngydF4y2Ba}$でなければならず，そうでないと損失が発生します。gydF4y2Ba

対比損失には項が2つありますが,与えられたイメージペアについて非ゼロになり得るのは,どちらか1つだけです。類似メジの場合は，第1項が非ゼロになることができ，メジの特徴gydF4y2Ba $\mathit{f1gydF4y2Ba}$とgydF4y2Ba $\mathit{f2gydF4y2Ba}$の間の距離を減らすことで最小化されます。非類似イメージの場合は,第2項が非ゼロになることができ,イメージの特徴間の距離を増やすことで,少なくともgydF4y2Ba $\mathrm{米gydF4y2Ba}\mathrm{一个gydF4y2Ba}\mathrm{rgydF4y2Ba}\mathrm{ggydF4y2Ba}\mathrm{我gydF4y2Ba}\mathrm{ngydF4y2Ba}$の距離まで最小化されます。gydF4y2Ba $\mathrm{米gydF4y2Ba}\mathrm{一个gydF4y2Ba}\mathrm{rgydF4y2Ba}\mathrm{ggydF4y2Ba}\mathrm{我gydF4y2Ba}\mathrm{ngydF4y2Ba}$の値が小さいほど，損失が発生する前に非類似ペアがどれだけ近くなり得るかの制約が緩くなります。gydF4y2Ba

学習オプションの指定gydF4y2Ba

学習中に使用するgydF4y2Ba $\mathrm{米gydF4y2Ba}\mathrm{一个gydF4y2Ba}\mathrm{rgydF4y2Ba}\mathrm{ggydF4y2Ba}\mathrm{我gydF4y2Ba}\mathrm{ngydF4y2Ba}$の値を指定します。gydF4y2Ba

Margin = 0.3;gydF4y2Ba

学習中に使用するオプションを指定します。3000回反復して学習させます。gydF4y2Ba

numIterations = 3000;miniBatchSize = 180;gydF4y2Ba

亚当最適化のオプションを指定します。gydF4y2Ba

learningRate = 1e-4;trailingAvg = [];trailingAvgSq = [];gradDecay = 0.9;gradDecaySq = 0.99;gydF4y2Ba

学習損失の進行状況をプロットするためのプロットパラメ，タ，を初期化します。gydF4y2Ba

图C = colororder;lineLossTrain = animatedline(Color=C(2，:));Ylim ([0 inf]) xlabel(gydF4y2Ba“迭代”gydF4y2Ba) ylabel (gydF4y2Ba“损失”gydF4y2Ba网格)gydF4y2Ba在gydF4y2Ba

モデルの学習gydF4y2Ba

カスタム学習ル，プを使用してモデルに学習させます。学習デ，タ全体をル，プ処理し，各反復でネットワ，クパラメ，タ，を更新します。gydF4y2Ba

それぞれの反復で次を行います。gydF4y2Ba

开始= tic;gydF4y2Ba在小批上循环。gydF4y2Ba为gydF4y2Baiteration = 1:numIterationsgydF4y2Ba提取小批量图像对和图像对标签gydF4y2Ba[X1,X2,pairLabels] = getSiameseBatch(XTrain,TTrain,miniBatchSize);gydF4y2Ba将小批量数据转换为大数组。指定尺寸标签gydF4y2Ba%“SSCB”(空间、空间、通道、批处理)用于图像数据gydF4y2BaX1 = dlarray(single(X1)，gydF4y2Ba“SSCB”gydF4y2Ba）;X2 = dlarray(single(X2)，gydF4y2Ba“SSCB”gydF4y2Ba）;gydF4y2Ba如果在GPU上训练，则将数据转换为gpuArray。gydF4y2Ba如果gydF4y2BacanUseGPU X1 = gpuArray(X1);X2 = gpuArray(X2);gydF4y2Ba结束gydF4y2Ba使用dlfeval和modelLoss评估模型损失和梯度gydF4y2Ba在示例末尾列出的%函数。gydF4y2Ba[loss,gradients] = dlfeval(@modelLoss,net,X1,X2,pairLabels,margin);gydF4y2Ba更新Siamese网络参数。gydF4y2Ba[net,trailingAvg,trailingAvgSq] = adamupdate(net,gradients，gydF4y2Ba.．.gydF4y2BatrailingAvg trailingAvgSq,迭代,learningRate、gradDecay gradDecaySq);gydF4y2Ba更新培训损失进度图。gydF4y2BaD = duration(0,0,toc(start)，Format=gydF4y2Ba“hh: mm: ss”gydF4y2Ba）;损失=双倍(损失);addpoints (lineLossTrain、迭代、失去)标题(gydF4y2Ba”经过:“gydF4y2Ba+字符串(D))现在绘制gydF4y2Ba结束gydF4y2Ba

メ，ジ類似度の可視化gydF4y2Ba

次元削減におけるネットワークの性能を評価するために,テストデータのセットについて低次元特徴を計算してプロットします。学習デタと類似した手書きの数字のメジで構成されるテストデタを読み込みます。テストデ，タをgydF4y2BadlarraygydF4y2Baに変換し，次元ラベルをgydF4y2Ba“SSCB”gydF4y2Ba(空间，空间，通道，批次)に指定します。Gpuを使用している場合は，テストデ，タをgydF4y2BagpuArraygydF4y2Baに変換します。gydF4y2Ba

[XTest,TTest] = digitTest4DArrayData;XTest = dlarray(single(XTest)，gydF4y2Ba“SSCB”gydF4y2Ba）;gydF4y2Ba如果gydF4y2BacanUseGPU XTest = gpuArray(XTest);gydF4y2Ba结束gydF4y2Ba

テストデ，タの低次元特徴を計算します。gydF4y2Ba

FTest =预测(net,XTest);gydF4y2Ba

各グルプにいて，テストデタの最初の2の低次元特徴をプロットします。gydF4y2Ba

uniqueGroups =唯一的(TTest);colors = hsv(length(uniqueGroups));图保存gydF4y2Ba在gydF4y2Ba为gydF4y2Bak = 1:length(uniqueGroups) ind = TTest==uniqueGroups(k);情节(英国《金融时报》(印第安纳州),英国《金融时报》(印第安纳州),gydF4y2Ba＂."gydF4y2Ba颜色,颜色= (k,:));gydF4y2Ba结束gydF4y2Ba持有gydF4y2Ba从gydF4y2Ba包含(gydF4y2Ba”功能1”gydF4y2Ba) ylabel (gydF4y2Ba“功能2”gydF4y2Ba)标题(gydF4y2Ba数字图像的二维特征表示gydF4y2Ba）;传奇(uniqueGroups、位置=gydF4y2Ba“eastoutside”gydF4y2Ba）;gydF4y2Ba

学習済みネットワクを使用した類似メジの検出gydF4y2Ba

学習済みネットワクを使用して，互いに似ているメジの集合をグルプから検出することが可能です。テストデ、タからテスト、メ、ジを1抽出して表示します。gydF4y2Ba

testdx = randi(5000);testtestg = XTest(:，:，:， testdx);trialImgDisp = extractdata(teestimg);图imshow (trialImgDisp InitialMagnification = 500);gydF4y2Ba

テストデタを含み，抽出されたテストメジは含まないメジのグルプを作成します。gydF4y2Ba

groupX = XTest;groupX(:，:，:， testdx) = [];gydF4y2Ba

预测gydF4y2Baを使用してテスト▪▪メ▪▪ジの低次元特徴を求めます。gydF4y2Ba

trialF = predict(net, teestimg);gydF4y2Ba

学習済みネットワークを使用して,グループ内の各イメージについて2次元の低次元特徴表現を求めます。gydF4y2Ba

FGroupX =预测(net,groupX);gydF4y2Ba

低次元特徴表現を使用して,ユークリッド距離計量を用いてテストイメージに最も近いイメージをグループ内から9個見つけます。メ，ジを表示します。gydF4y2Ba

距离= vecnorm(extractdata(trialF - FGroupX));[~，idx] = sort(距离);sortedImages = groupX(:，:，:，idx);sortedImages = extractdata(sortedImages);图imshow (imtile (sortedImages (:,:,: 1:9)), InitialMagnification = 500);gydF4y2Ba

。低次元特徴表現によって，ネットワ:。シャムネットワ，クは顔認識やシグネチャ認識のコンテキストでよく使用されます。たとえば,顔のイメージを入力として受け取り,データベースからよく似ている顔のセットを返すように,シャムネットワークに学習させることができます。gydF4y2Ba

サポ，ト関数gydF4y2Ba

モデル損失関数gydF4y2Ba

関数gydF4y2BamodelLossgydF4y2Baは，シャムgydF4y2BadlnetworkgydF4y2BaのオブジェクトgydF4y2Ba网gydF4y2Ba，ミニバッチ入力デ，タgydF4y2BaX1gydF4y2BaとgydF4y2BaX2gydF4y2Baのペア，およびラベルgydF4y2BapairLabelsgydF4y2Baを受け取ります。この関数は,ペアになっているイメージの低次元特徴間の対比損失と,ネットワーク内の学習可能パラメーターについての損失の勾配を返します。この例では，関数gydF4y2BamodelLossgydF4y2BaにいてgydF4y2Baモデル損失関数の定義gydF4y2Baの節で紹介されています。gydF4y2Ba

函数gydF4y2Ba[loss,gradients] = modelLoss(net,X1,X2,pairLabel,margin)gydF4y2BamodelLoss函数计算gydF4y2Ba%的配对图像，并返回损失和梯度的损失与gydF4y2Ba%相对于网络可学习参数gydF4y2Ba将前一半的图像对通过网络转发gydF4y2BaF1 =正向(净，X1);gydF4y2Ba将第二组图像对通过网络转发gydF4y2BaF2 =正向(净，X2);gydF4y2Ba%计算对比损失gydF4y2Ba损失= contrtiveloss (F1,F2,pairLabel,margin);gydF4y2Ba计算相对于网络可学习的损失的梯度gydF4y2Ba%的参数gydF4y2Bagradients = dlgradient(loss,net.Learnables);gydF4y2Ba结束gydF4y2Ba函数gydF4y2Baloss = contrtiveloss (F1,F2,pairLabel,margin)gydF4y2Ba之间的对比损失函数gydF4y2Ba%成对图像的约简特征gydF4y2Ba定义小值以防止取0的平方根gydF4y2BaDelta = 1e-6;gydF4y2Ba找到欧几里得距离度量gydF4y2Ba距离=平方根(sum((F1 - F2).^2,1) + delta);gydF4y2Ba% label(i) = 1如果features1(:，i)和featres2 (:，i)是特征gydF4y2Ba相似的图像为%，否则为0gydF4y2BalossSimilar = pairLabel.*(距离。^2);lossDissimilar = (1 - pairLabel)。*(max(margin - distance, 0).^2);损失= 0.5*sum(lossSimilar + lossdissimilarity，gydF4y2Ba“所有”gydF4y2Ba）;gydF4y2Ba结束gydF4y2Ba

メ，ジペアのバッチの作成gydF4y2Ba

次の関数は，ラベルに基づいて類似または非類似の。この例では，関数gydF4y2BagetSiameseBatchgydF4y2BaにいてgydF4y2Ba類似メジと非類似メジのペアの作成gydF4y2Baの節で紹介されています。gydF4y2Ba

函数gydF4y2Ba[X1,X2,pairLabels] = getSiameseBatch(X,Y,miniBatchSize)gydF4y2Ba% getSiameseBatch返回随机选择的成对图像批次。gydF4y2Ba平均而言，此函数生成一组相似的和的平衡集gydF4y2Ba%不相似对。gydF4y2BapairLabels = 0 (1, miniBatchSize);imgSize = size(X(:，:，:，1));X1 = 0 ([imgSize 1 miniBatchSize]);X2 = 0 ([imgSize 1 miniBatchSize]);gydF4y2Ba为gydF4y2Bai = 1:miniBatchSize select = rand(1);gydF4y2Ba如果gydF4y2Baselect < 0.5 [pairIdx1, pairIdx2, pairLabels(i)] = getSimilarPair(Y);gydF4y2Ba其他的gydF4y2Ba[pairIdx1, pairIdx2, pairLabels(i)] = getDissimilarPair(Y);gydF4y2Ba结束gydF4y2BaX1(:，:，:，i) = X(:，:，:，pairIdx1);X2(:，:，:，i) = X(:，:，:，pairIdx2);gydF4y2Ba结束gydF4y2Ba结束gydF4y2Ba函数gydF4y2Ba[pairIdx1,pairIdx2,pairLabel] = getSimilarPair(classLabel)gydF4y2BagetSimilarPair返回图像的随机索引对gydF4y2Ba%属于同一类且相似的pair标签= 1。gydF4y2Ba找到所有唯一的类。gydF4y2Baclasses =唯一的(classLabel);gydF4y2Ba%随机选择一个类，将用于获得类似的一对。gydF4y2BaclassChoice = randi(编号(类));gydF4y2Ba找到所选类中所有观测值的指数。。gydF4y2Baidxs = find(classLabel==classes(classChoice));gydF4y2Ba从所选类别中随机选择两张不同的图片。gydF4y2BapairIdxChoice = randperm(数字(idxs)，2);pairIdx1 = idxs(pairIdxChoice(1));pairIdx2 = idxs(pairIdxChoice(2));pairLabel = 1;gydF4y2Ba结束gydF4y2Ba函数gydF4y2Ba[pairIdx1,pairIdx2,pairLabel] = getDissimilarPair(classLabel)gydF4y2BagetDissimilarPair返回图像的随机索引对gydF4y2Ba%，在不同的类和不同的对标签= 0。gydF4y2Ba找到所有唯一的类。gydF4y2Baclasses =唯一的(classLabel);gydF4y2Ba%随机选择两个不同的班级，将会得到一个不同的配对。gydF4y2BaclassesChoice = randperm(编号(类)，2);gydF4y2Ba找到第一类和第二类中所有观测值的指标。gydF4y2Baidxs1 = find(classLabel==classes(classesChoice(1)));idxs2 = find(classLabel==classes(classesChoice(2)));gydF4y2Ba从每个类别中随机选择一张图片。gydF4y2BapairIdx1Choice = randi(编号(idxs1));pairIdx2Choice = randi(编号(idxs2));pairIdx1 = idxs1(pairIdx1Choice);pairIdx2 = idxs2(pairIdx2Choice);pairLabel = 0;gydF4y2Ba结束gydF4y2Ba

参考文献gydF4y2Ba