基于深度学习的三维脑肿瘤分割
这个例子展示了如何训练一个三维U-Net神经网络和执行语义分割脑肿瘤从三维医学图像。
语义分割涉及使用类标记图像或三维体积体素中的每个像素。此示例说明了在磁共振成像（MRI）扫描中使用深度学习方法对脑肿瘤执行二元语义分割。在此二元分割中，每个像素标记为肿瘤或背景。
本例使用三维U-Net架构进行脑肿瘤分割[1］．U-Net是一种快速、高效、简单的语义分词网络，目前在语义分词领域非常流行。
医学图像分割的一个挑战是存储和处理三维卷所需的内存量。由于GPU资源限制，在完整输入卷上训练网络是不切实际的。此示例通过在图像块上训练网络来解决此问题。该示例使用重叠平铺策略将测试块缝合到一个完整分段测试体积。该示例通过使用神经网络中卷积的有效部分避免边界伪影[5］．
医学图像分割的第二个挑战是，当使用传统的交叉熵损失时，数据中的类别不平衡妨碍了训练。这个例子通过使用加权多类骰子损失函数解决了这个问题[4]。对类进行加权有助于抵消较大区域对骰子分数的影响，使网络更容易学习如何分割较小区域。
下载培训、验证和测试数据
此示例使用BraTS数据集[2]。BraTS数据集包含脑肿瘤（即胶质瘤）的MRI扫描，胶质瘤是最常见的原发性脑恶性肿瘤。数据文件大小约为7 GB。如果不想下载BraTS数据集，请直接转到下载预训练网络和样本测试集本例中的第节。
创建一个目录来存储BraTS数据集。
imageDir = fullfile (tempdir,“小鬼”）;如果~存在(imageDir“dir”mkdir (imageDir);结束
要下载BraTS数据，请到医学十项全能，然后点击“下载资料”链接。下载Task01_BrainTumour.tar文件[3.].将TAR文件解压缩到imageDir变量。成功解压缩时，imageDir将包含一个名为Task01_BrainTumour它有三个子目录:imagesTr，imagesTs和标签．
数据集包含750个4-D体积，每个体积表示一组3-D图像。每个4-D体积的大小为240×240×155×4，其中前三个尺寸对应于3-D体积图像的高度、宽度和深度。第四个尺寸对应于不同的扫描模式。数据集使用vox分为484个训练体积el标签和266个测试卷，测试卷没有标签，因此本示例不使用测试数据。相反，本示例将484个培训卷拆分为三个独立集，用于培训、验证和测试。
预处理培训和验证数据
为了更有效地训练三维U网络，使用辅助函数对MRI数据进行预处理preprocessBraTSdataset. 此函数作为支持文件附加到示例中。金宝app
helper函数执行以下操作：
将数据裁剪到主要包含大脑和肿瘤的区域。裁剪数据可以减少数据的大小，同时保留每个MRI体积及其相应标签的最关键部分。
将每个体积的每个模态单独归一化，方法是减去平均值并除以剪裁后的大脑区域的标准偏差。
将484个培训卷分为400个培训、29个验证和55个测试集。
数据预处理大约需要30分钟。
sourceDataLoc = [imageDir filesep .“任务01_脑瘤”];preprocessDataLoc = fullfile (tempdir,“小鬼”，“preprocessedDataset”）;preprocessBraTSdataset (preprocessDataLoc sourceDataLoc);
创建用于培训和验证的随机补丁提取数据存储
使用随机的补丁提取数据存储将训练数据提供给网络并验证训练进度。该数据存储从地面真实图像和相应的像素标签数据中提取随机斑块。在进行任意大容量的训练时，修补是一种常见的防止内存耗尽的技术。
创建一个imageDatastore来存储3d图像数据。因为mat文件格式是非标准的图像格式，所以必须使用mat文件阅读器来读取图像数据。你可以使用辅助的mat文件读取器，马特雷德. 此函数作为支持文件附加到示例中。金宝app
volReader=@（x）matRead（x）；volLoc=fullfile（预处理数据loc，“imagesTr”); volds=图像数据存储（volLoc，...“FileExtensions”，“马特先生”，“ReadFcn”, volReader);
创建一个pixelLabelDatastore(计算机视觉工具箱)储存标签。
lblLoc = fullfile (preprocessDataLoc,“labelsTr”); 类名=[“背景”，“肿瘤”]; pixelLabelID=[01]；pixelLabelID pxds = pixelLabelDatastore (lblLoc,一会,...“FileExtensions”，“马特先生”，“ReadFcn”, volReader);
预览一个图像卷和标签。使用拉伯沃尔秀(图像处理工具箱)函数。设置背景标签的可见性，使背景完全透明(1)到0．
卷=预览（volds）；标签=预览（pxds）；视图PNL=uipanel（图，“标题”，“标记训练卷”); hPred=labelvolshow（标签，卷（：，：，：，1），“家长”viewPnl,...“唇彩”[0 0；1 0 0]）；hPred.标签可视性（1）=0；
创建一个randomPatchExtractionDatastore(图像处理工具箱)它包含训练图像和像素标签数据。指定一个补丁大小为132 × 132 × 132体素。指定“PatchesPerImage”在训练过程中，从每对卷和标签中抽取16个随机定位的patch。指定迷你批处理大小为8。
patchSize = [132 132 132];patchPerImage = 16;miniBatchSize = 8;patchds = randomPatchExtractionDatastore (volds pxds patchSize,...“PatchesPerImage”，patchPerImage）；patchds.MiniBatchSize=MiniBatchSize；
按照相同的步骤创建randomPatchExtractionDatastore它包含验证图像和像素标签数据。随着时间的推移，您可以使用验证数据来评估网络是否在持续学习、欠拟合或过拟合。
volLocVal=fullfile（预处理数据loc，“imagesVal”）;voldsVal = imageDatastore (volLocVal,...“FileExtensions”，“马特先生”，“ReadFcn”, volReader);lblLocVal = fullfile (preprocessDataLoc,“labelsVal”)；pxdsVal=像素标签数据存储（lblLocVal、类名、像素标签ID、，...“FileExtensions”，“马特先生”，“ReadFcn”，volReader）；dsVal=随机PatchExtractionDatastore（voldsVal、pxdsVal、patchSize、，...“PatchesPerImage”, patchPerImage);dsVal。MiniBatchSize = MiniBatchSize;
设置3-D U-Net层
本例使用3d U-Net网络[1]。在U-Net中，初始卷积层系列中穿插有最大池层，从而连续降低输入图像的分辨率。这些层之后是一系列卷积层，其中穿插有上采样运算符，从而连续提高输入图像的分辨率。批处理规范化层在每个ReLU层之前引入。U-Net的名称来源于这样一个事实，即网络可以像字母U一样以对称形状绘制。
使用创建默认的3-D U-Net网络无误者(计算机视觉工具箱)函数。指定两类分段。还指定有效的卷积填充，以避免在使用重叠平铺策略预测测试卷时出现边界瑕疵。
numChannels = 4;inputPatchSize = [patchSize numChannels];numClasses = 2;[lgraph, outPatchSize] = unet3dLayers (inputPatchSize numClasses,“ConvolutionPadding”，“有效”）;
通过使用使改变函数具有helper函数指定的自定义预处理操作augmentAndCrop3dPatch. 此函数作为支持文件附加到示例中。金宝app
的augmentAndCrop3dPatch函数执行以下操作：
随机旋转和反映训练数据，使训练更加稳健。该函数不旋转或反映验证数据。
作物响应补丁的输出大小的网络，44 × 44 × 44体素。
数据源=“培训”；dsTrain=transform（patchds，@（patchIn）augmentAndCrop3dPatch（patchIn，outPatchSize，dataSource））；dataSource=“验证”；dsVal =变换(dsVal @ (patchIn) augmentAndCrop3dPatch (patchIn outPatchSize,数据源));
为了更好地分割较小的肿瘤区域并减少较大背景区域的影响，本例使用aDicePixelsClassificationLayer(计算机视觉工具箱). 将像素分类层替换为骰子像素分类层。
outputLayer = dicePixelClassificationLayer (“名字”，“输出”）;lgraph = replaceLayer (lgraph,“Segmentation-Layer”, outputLayer);
数据已经在预处理培训和验证数据这个例子的一部分。数据规范化image3dInputLayer是不必要的，因此将输入层替换为没有数据规范化的输入层。
inputLayer = image3dInputLayer (inputPatchSize,“归一化”，“没有”，“名字”，“ImageInputLayer”）;lgraph = replaceLayer (lgraph,“ImageInputLayer”, inputLayer);
或者，您可以使用深度学习工具箱™中的深度网络设计器应用程序修改3-D U-Net网络。
绘制更新后的3-D U-Net网络图。
分析网络（lgraph）
指定培训选项
训练网络使用亚当优化求解。属性指定超参数设置培训选项功能。初始学习率设置为5e-4，并在整个训练过程中逐渐降低。您可以使用小批量属性基于您的GPU内存。为了最大限度地利用GPU内存，最好使用大的输入补丁而不是大的批量大小。注意，批处理规格化层对于较小的值效果较差小批量．调整初始学习率基于小批量．
选项=培训选项(“亚当”，...“MaxEpochs”,50,...“初始学习率”5的军医,...“LearnRateSchedule”，“分段”，...“LearnRateDropPeriod”5,...“LearnRateDropFactor”,0.95,...“验证数据”，dsVal，...“验证频率”,400,...“阴谋”，“培训进度”，...“详细”错误的...“MiniBatchSize”, miniBatchSize);
下载预训练网络和样本测试集
从BraTS数据集下载预先训练过的3d U-Net版本和五份样本测试卷及其相应的标签[3.].预训练的模型和样本数据使您能够在不下载完整数据集或等待网络训练的情况下对测试数据执行分段。
trained3DUnet_url ='//www.tatmou.com/金宝appsupportfiles/vision/data/brainTumor3DUNetValid.mat'；sampleData_url =“//www.tatmou.com/金宝appsupportfiles/vision/data/sampleBraTSTestSetValid.tar.gz”；imageDir = fullfile (tempdir,“小鬼”）;如果~存在(imageDir“dir”mkdir (imageDir);结束下载的Trained3DUNETSampleData（trained3DUnet\u url、sampleData\u url、imageDir）；
列车网络的
默认情况下，本例加载一个预先训练好的三维U-Net网络。预先训练过的网络使您无需等待训练完成就可以运行整个示例。
要训练网络，请设置doTraining以下代码中的变量符合事实的．训练模型使用列车网络函数。
在可用的GPU上进行训练。使用GPU需要并行计算工具箱™和支持CUDA®的NVIDIA®GPU。有关更多信息，请参见GPU支金宝app持情况(并行计算工具箱)．在4个NVIDIA™Titan Xp GPU的多GPU系统上，培训大约需要30个小时，根据您的GPU硬件，可能需要更长时间。
doTraining=false；如果doTraining modelDateTime=字符串（日期时间(“现在”，“格式”，“yyyy-MM-dd-HH-mm-ss”));(网络,信息)= trainNetwork (dsTrain、lgraph选项);保存(strcat (“trained3DUNet——”modelDateTime,“-纪元—num2str (options.MaxEpochs),“.mat”),“净”）;其他的inputPatchSize = [132 132 132 4];outPatchSize = [44 44 44 2];负载(fullfile (imageDir“培训3次调整”，“Braintomo Dunetvalid.mat”));结束
执行测试数据的分段
强烈建议使用GPU执行图像体积的语义分割（需要并行计算工具箱）™).
选择包含地面真实体积和测试标签的测试数据源。如果保留useFullTestSet变量为错误的，则示例使用5卷进行测试。如果你设置useFullTestSet可变到符合事实的，则示例使用从完整数据集中选择的55张测试图像。
useFullTestSet = false;如果usfulltestset volLocTest = fullfile(preprocessDataLoc，“图像测试”); lblLocTest=fullfile（预处理数据位置，“标签测试”）;其他的volLocTest=fullfile（imageDir，“sampleBraTSTestSetValid”，“图像测试”）;lblLocTest = fullfile (imageDir,“sampleBraTSTestSetValid”，“标签测试”); 类名=[“背景”，“肿瘤”]; pixelLabelID=[01]；结束
的voldsTest变量存储地面真实性测试图像PXD测试变量存储地面真相标签。
volReader = @(x) matRead(x);voldsTest = imageDatastore (volLocTest,...“FileExtensions”，“马特先生”，“ReadFcn”，volReader）；pXDTest=像素标签数据存储（lblLocTest、类名、像素标签ID、，...“FileExtensions”，“马特先生”，“ReadFcn”, volReader);
使用重叠策略来预测每个测试量的标签。每个测试体积被填充，使输入大小为网络输出大小的倍数，并补偿有效卷积的影响。重叠算法选择重叠的patch，利用该算法预测每个patch的标签semanticseg(计算机视觉工具箱)功能，然后重新组合补丁。
id=1；虽然hasdata（卷测试）显示([“正在处理测试卷”num2str（id）]；tempGroundTruth=读取（pxdsTest）；groundTruthLabels{id}=tempGroundTruth{1}；vol{id}=read（voldsTest）；%对测试图像使用反射填充。%避免填充不同的模式。volSize=size（vol{id}，（1:3））；padSizePre=（inputPatchSize（1:3）-outPatchSize（1:3））/2；padSizePost=（inputPatchSize（1:3）-outPatchSize（1:3））/2+（outPatchSize（1:3）-mod（volSize，outPatchSize（1:3））；volPaddedPre=padarray（vol{id}，padSizePre，“对称”，“以前”）;volPadded = padarray (volPaddedPre padSizePost,“对称”，“职位”）;[heightPad, widthPad depthPad ~] =大小(volPadded);(高度、宽度、深度、~)=大小(卷{id});tempSeg =分类(0(高度、宽度、深度,‘uint8’)，[0；1]，类名）；%卷分割的重叠平铺策略。为k=1:outPatchSize（3）：depthPad inputPatchSize（3）+1为j = 1: outPatchSize (2): widthPad-inputPatchSize (2) + 1为i=1:OutputPatchSize（1）：heightPad inputPatchSize（1）+1 patch=volPadded（i:i+inputPatchSize（1）-1，...j:j+inputPatchSize（2）-1，...凯西:k + inputPatchSize (3) 1:);patchSeg = semanticseg(补丁,净);tempSeg(我+ outPatchSize (1) 1...j: + outPatchSize (2) 1,...凯西:k + outPatchSize (3) 1) = patchSeg;结束结束结束裁掉额外的填充区域。tempSeg=tempSeg（1：高度，1：宽度，1：深度）；%保存预测的卷结果。predictedLabels{id}=tempSeg；id=id+1；结束
比较地面实况与网络预测
选择一幅测试图像来评估语义分割的准确性。从4-D体积数据中提取第一个模态，并将这个3-D体积存储在变量中vol3d．
volId=1；vol3d=vol{volId}（：，：，：，1）；
在蒙太奇中显示沿深度方向的地面真实值和预测标签的中心切片。
zID =大小(vol3d, 3) / 2;zSliceGT = labeloverlay (vol3d (:,:, zID) groundTruthLabels {volId} (:,:, zID));zSlicePred = labeloverlay (vol3d (:,:, zID) predictedLabels {volId} (:,:, zID));图蒙太奇({zSliceGT, zSlicePred},“大小”(1 - 2),“BorderSize”5)标题(“标记地面真相(左)vs.网络预测(右)”）
显示地面真相标记卷使用拉伯沃尔秀(图像处理工具箱)函数。设置背景标签的可见性，使背景完全透明(1)到0．因为肿瘤在脑组织内部，所以要使一些脑体素透明，这样肿瘤就可以被看到。为了使一些脑体素透明，将体积阈值指定为[0,1]范围内的一个数字。低于这个阈值的所有归一化体积强度都是完全透明的。本例将体积阈值设置为小于1，以便一些大脑像素保持可见，以提供肿瘤在大脑中的空间位置的上下文。
viewPnlTruth = uipanel(图,“标题”，真实的标签卷”）;hTruth = labelvolshow (groundTruthLabels {volId}, vol3d,“家长”viewPnlTruth,...“唇彩”，[0 0 0;1 0 0]，“VolumeThreshold”hTruth.LabelVisibility（1）=0；
对于同一体积，显示预测的标签。
viewPnlPred = uipanel(图,“标题”，“预测标记体积”）;hPred = labelvolshow (predictedLabels {volId}, vol3d,“家长”viewPnlPred,...“唇彩”，[0 0 0;1 0 0]，“VolumeThreshold”, 0.68);hPred.LabelVisibility (1) = 0;
该图像显示了在一个卷上顺序显示切片的结果。标记的地面真理在左边，网络预测在右边。
量化细分精度
利用骰子(图像处理工具箱)函数。该函数计算预测和地面真值分割之间的Dice相似系数。
diceResult = 0(长度(voldsTest.Files), 2);为j=1:length（vol）diceResult（j，：）=dice（groundTruthLabels{j}，predictedLabels{j}）；结束
计算一组测试卷的平均骰子分数。
meanDiceBackground =意味着(diceResult (: 1));disp ([“平均骰子得分的背景”，num2str（j），...' test volumes = '，num2str（meansdicebackground）]）meansdicetumor=means（diceResult（：，2））；disp([“肿瘤的平均骰子得分”，num2str（j），...' test volumes = 'num2str (meanDiceTumor)])
图中显示了一个箱线图(统计学和机器学习工具箱)它可视化了5个样本测试卷中Dice分数的统计数据。图中的红线表示类的骰子值的中值。蓝色框的上下限分别表示第25和75个百分点。黑须延伸到最极端的数据点，而不考虑异常值。
如果您有统计学和机器学习工具箱™，那么您可以使用箱线图函数可视化关于所有测试卷的Dice分数的统计数据。创建一个箱线图，设置createBoxplot以下代码中的变量符合事实的．
createBoxplot=false；如果createBoxplot图形boxplot(dicerresult) title(“测试骰子精度”) xticklabels(类名)ylabel (“骰子系数”）结束
参考文献
[1] Cicek O。，A. Abdulkadir, S. S. Lienkamp, T. Brox, and O. Ronneberger. "3D U-Net: Learning Dense Volumetric Segmentation from Sparse Annotation." In2016年医学图像计算和计算机辅助干预国际会议记录希腊雅典，2016年10月，第424-432页。
[2] Isensee，F.，P.Kickingereder，W.Wick，M.Bendszus和K.H.Maier Hein.“脑肿瘤分割和放射组学生存预测：对BRATS 2017挑战的贡献”，摘自国际MICCAI脑病研讨会论文集．加拿大魁北克市，2017年9月，第287-297页。
[3]“脑癌”。医学分割十项全能。http://medicaldecathlon.com/
BraTS数据集由医学分段迪卡侬在4.0使用许可证。所有保证和声明均不受任何约束；有关详细信息，请参阅许可证。MathWorks®已修改了中链接的数据集下载预训练网络和样本测试集这个例子的一部分。修改后的样本数据集被裁剪到一个主要包含大脑和肿瘤的区域，每个通道通过减去平均值并除以裁剪后的大脑区域的标准差独立地进行归一化。
[4] Sudre，C.H.，W.Li，T.Vercauteren，S.Ourselin和M.J.Cardoso，“作为高度不平衡分段的深度学习损失函数的广义骰子重叠。”医学图像分析深度学习和临床决策支持的多模式学习：第三届国际研讨会金宝app．加拿大魁北克市，2017年9月，第240-248页。
Ronneberger, O.， P. Fischer和T. Brox。U-Net:用于生物医学图像分割的卷积网络。在医学图像计算和计算机辅助干预国际会议记录-2015年MICCAI．德国慕尼黑，2015年10月，第234-241页。可以在arXiv: 1505.04597。
另请参阅
randomPatchExtractionDatastore(图像处理工具箱)|列车网络|培训选项|使改变|pixelLabelDatastore(计算机视觉工具箱)|imageDatastore|semanticseg(计算机视觉工具箱)|DicePixelsClassificationLayer(计算机视觉工具箱)
相关话题
您还可以从以下列表中选择网站：
