基于深度学习的三维脑肿瘤分割
这个例子展示了如何从三维医学图像中执行脑肿瘤的语义分割。
语义分割涉及用类标记图像中的每个像素或三维体素。这个例子说明了在磁共振成像(MRI)扫描中使用三维U-Net深度学习网络对脑肿瘤进行二进制语义分割。U-Net是一种快速、高效、简单的网络，已成为语义分割领域的热门网络[1］．
医学图像分割的一个挑战是存储和处理3-D卷所需的内存量。由于GPU资源的限制，在完整的输入量上训练网络并执行分割是不切实际的。这个例子通过将图像分割成更小的补丁或块来解决这个问题，以进行训练和分割。
医学图像分割的第二个挑战是数据中的类不平衡，当使用传统的交叉熵损失时，这阻碍了训练。这个例子通过使用加权多类Dice损失函数来解决这个问题[4］．加权类有助于抵消较大区域对Dice分数的影响，使网络更容易学习如何分割较小的区域。
这个例子展示了如何使用预训练的3-D U-Net架构执行脑肿瘤分割，以及如何使用一组测试图像评估网络性能。你可以选择在BraTS数据集上训练一个三维U-Net [2］．
使用预训练的三维U-Net进行脑肿瘤分割
下载预训练的3d U-Net
下载一个预先训练好的3d U-Net到一个名为网．
dataDir = fullfile(tempdir，“小鬼”）;如果~存在(dataDir“dir”mkdir (dataDir);结束trained3DUnetURL =“//www.tatmou.com/金宝appsupportfiles/”+.．.“视觉/数据/ brainTumor3DUNetValid.mat”；downloadTrainedNetwork (trained3DUnetURL dataDir);负载(dataDir + filesep +“brainTumor3DUNetValid.mat”）;
下载BraTS样本数据
从BraTS数据集中下载五个示例测试卷及其对应的标签downloadBraTSSampleTestData辅助函数[3.］．helper函数作为支持文件附加到示例中。金宝app示例数据使您能够在不下载完整数据集的情况下对测试数据执行分段。
downloadBraTSSampleTestData (dataDir);
加载其中一个体积样本及其像素标签ground truth。
testDir = dataDir+filesep+“sampleBraTSTestSetValid”；data = load(fullfile(testDir)“imagesTest”，“BraTS446.mat”));标签= load(fullfile(testDir)“labelsTest”，“BraTS446.mat”));volTest = data.cropVol;volTestLabels = labels.cropLabel;
执行语义分割
该示例使用重叠瓦片策略来处理大卷。重叠瓦片策略选择重叠的块，预测每个块的标签semanticseg(计算机视觉工具箱)函数，然后将这些块重新组合成一个完整的分段测试卷。该策略可以在内存资源有限的GPU上实现高效的处理。该策略还通过使用神经网络中卷积的有效部分来减少边界伪影[5］．
通过将卷数据存储为a来实现重叠策略blockedImage对象和处理块应用函数。
创建一个blockedImage对象用于前一节中下载的样例卷。
bim = blockedImage(volTest);
的应用对象中的每个块执行自定义函数blockedImage．定义semanticsegBlock作为每个块执行的函数。
semanticsegBlock = @(bstruct)semanticseg(bstruct. data,net);
指定块大小作为网络输出大小。若要创建重叠块，请指定非零边界大小。本例使用的边界大小使块加上边界与网络输入大小相匹配。
networkInputSize = net.Layers(1).InputSize;networkOutputSize = net.Layers(end).OutputSize;blockSize = [networkOutputSize(1:3) networkInputSize(end)];(networkInputSize(1:3) - blockSize(1:3))/2;
使用以下方法执行语义分割blockedImage应用部分块填充设置为真正的．默认填充方法，“复制”，是合适的，因为卷数据包含多种模式。批处理大小指定为1，以防止在内存资源有限的gpu上出现内存不足的错误。但是，如果你的GPU有足够的内存，那么你可以通过增加块大小来提高处理速度。
batchSize = 1;结果= apply(bim，.．.semanticsegBlock,.．.BlockSize = BlockSize,.．.BorderSize = BorderSize,.．.PadPartialBlocks = true,.．.BatchSize = BatchSize);predictedLabels = results.Source;
显示蒙太奇显示中心切片的地面真相和预测标签沿深度方向。
zID = size(volTest,3)/2;zSliceGT = labeloverlay(volTest(:，:，zID)，volTestLabels(:，:，zID));zSlicePred = labeloverlay(volTest(:，:，zID)，predictedLabels(:，:，zID));figure montage({zsliceegt,zSlicePred}，Size=[1 2]，BorderSize=5) title(标签地面真相(左)vs网络预测(右)）
下图显示了在其中一个卷上按顺序显示切片的结果。标记的地面真相在左边，网络预测在右边。
列车三维U-Net
这部分示例展示了如何训练一个3d U-Net。如果您不想下载训练数据集或训练网络，那么您可以跳到评估网络性能部分的示例。
下载BraTS数据集
本例使用了BraTS数据集[2］．BraTS数据集包含脑肿瘤的MRI扫描，即胶质瘤，这是最常见的原发性脑恶性肿瘤。数据文件的大小为~7 GB。
要下载BraTS数据，请转到医疗细分十项全能网页，并按“下载资料”连结。下载“task01_braintumor .tar”文件[3.］．方法指定的目录中解压缩TAR文件imageDir变量。当成功拉开拉链时，imageDir将包含一个名为Task01_BrainTumour它有三个子目录:imagesTr，imagesTs,labelsTr．
该数据集包含750个4-D卷，每个卷代表一组3-D图像。每个4-D体的大小为240 × 240 × 155 × 4，其中前三个维度对应3-D体图像的高度、宽度和深度。第四个维度对应不同的扫描方式。数据集分为484个带有体素标签的训练卷和266个测试卷。测试卷没有标签，因此本示例不使用测试数据。相反，该示例将484个训练卷分成三个独立的集，分别用于训练、验证和测试。
预处理训练和验证数据
为了更有效地训练三维U-Net网络，使用helper函数对MRI数据进行预处理preprocessBraTSDataset．该函数作为支持文件附加到示例中。金宝apphelper函数执行以下操作:
将数据裁剪到主要包含大脑和肿瘤的区域。裁剪数据可以减少数据的大小，同时保留每个MRI体积的最关键部分及其相应的标签。
通过减去平均值并除以裁剪的大脑区域的标准偏差，将每个体积的每个模态独立归一化。
将484个训练卷分成400个训练集、29个验证集和55个测试集。
数据预处理大约需要30分钟才能完成。
sourceDataLoc = dataDir+filesep+“Task01_BrainTumour”；preprocessDataLoc = dataDir+filesep+“preprocessedDataset”；preprocessBraTSDataset (preprocessDataLoc sourceDataLoc);
为训练和验证创建随机补丁提取数据存储
创建一个imageDatastore来存储三维图像数据。因为MAT文件格式是非标准图像格式，所以必须使用MAT文件读取器来读取图像数据。你可以使用MAT文件阅读器，matRead．该函数作为支持文件附加到示例中。金宝app
volLoc = fullfile(preprocessDataLoc，“imagesTr”）;volds = imageDatastore(volLoc,FileExtensions=“.mat”ReadFcn = @matRead);
创建一个pixelLabelDatastore(计算机视觉工具箱)用于存储标签。
lblLoc = fullfile(preprocessDataLoc，“labelsTr”）;classNames = [“背景”，“肿瘤”];pixelLabelID = [0 1];pxds = pixelLabelDatastore(lblLoc,classNames,pixelLabelID，.．.FileExtensions =“.mat”ReadFcn = @matRead);
创建一个randomPatchExtractionDatastore它从地面真实图像和相应的像素标签数据中提取随机补丁。指定132 * 132 * 132体素的补丁大小。指定“PatchesPerImage”在训练过程中，从每对卷和标签中抽取16个随机定位的补丁。指定一个小批大小为8。
patchSize = [132 132 132];patchPerImage = 16;miniBatchSize = 8;patchds = randompatchextracactiondatastore (volds,pxds,patchSize，.．.PatchesPerImage = patchPerImage);patchds。MiniBatchSize = MiniBatchSize;
创建一个randomPatchExtractionDatastore它从验证图像和像素标签数据中提取补丁。您可以使用验证数据来评估网络是否随着时间的推移不断学习、欠拟合或过拟合。
volLocVal = fullfile(preprocessDataLoc，“imagesVal”）;voldsVal = imageDatastore(volLocVal,FileExtensions=“.mat”，.．.ReadFcn = @matRead);lblLocVal = fullfile(preprocessDataLoc，“labelsVal”）;pxdsVal = pixelLabelDatastore(lblLocVal,classNames,pixelLabelID，.．.FileExtensions =“.mat”ReadFcn = @matRead);dsVal = randompatchextracactiondatastore (voldsVal,pxdsVal,patchSize，.．.PatchesPerImage = patchPerImage);dsVal。MiniBatchSize = MiniBatchSize;
设置3-D U-Net图层
本例以三维U-Net网络为例[1］．在U-Net中，在初始的卷积层序列中穿插最大池化层，依次降低输入图像的分辨率。这些层之后是一系列卷积层，其中点缀着上采样算子，依次增加输入图像的分辨率。在每个ReLU层之前引入一个批处理归一化层。U- net这个名字来源于这样一个事实，即网络可以画出一个像字母U一样的对称形状。
创建默认的3d U-Net网络unetLayers(计算机视觉工具箱)函数。指定两个类分割。当使用重叠贴图策略预测测试卷时，还要指定有效的卷积填充以避免边界伪影。
numChannels = 4;inputPatchSize = [patchSize numChannels];numClasses = 2;[lgraph,outPatchSize] = unet3dLayers(inputPatchSize，.．.numClasses ConvolutionPadding =“有效的”）;
扩充训练和验证数据变换函数使用helper函数指定的自定义预处理操作augmentAndCrop3dPatch．该函数作为支持文件附加到示例中。金宝app的augmentAndCrop3dPatch函数执行以下操作:
随机旋转和反映训练数据，使训练更健壮。该函数不旋转或反映验证数据。
根据网络的输出大小裁剪响应补丁，44 × 44 × 44体素。
dsTrain = transform(补丁，.．.@ (patchIn) augmentAndCrop3dPatch (patchIn outPatchSize,“培训”));dsVal =变换(dsVal，.．.@ (patchIn) augmentAndCrop3dPatch (patchIn outPatchSize,“确认”));
为了更好地分割较小的肿瘤区域并减少较大背景区域的影响，本示例使用dicePixelClassificationLayer(计算机视觉工具箱)．用Dice像素分类层替换像素分类层。
outputLayer = dicePixelClassificationLayer(Name=“输出”）;lgraph =替换层(lgraph，“Segmentation-Layer”, outputLayer);
数据已经在预处理训练和验证数据部分的示例。中的数据规范化image3dInputLayer(深度学习工具箱)是不必要的，因此将输入层替换为没有数据规范化的输入层。
inputLayer = image3dInputLayer(inputPatchSize，.．.归一化=“没有”、名称=“ImageInputLayer”）;lgraph =替换层(lgraph，“ImageInputLayer”, inputLayer);
您也可以修改3d U-Net网络深度网络设计器应用程序。
deepNetworkDesigner (lgraph)
指定培训项目
训练网络使用亚当优化求解。属性指定超参数设置trainingOptions(深度学习工具箱)函数。初始学习率设置为5e-4，并在训练期间逐渐降低。你可以用MiniBatchSize属性基于您的GPU内存。为了最大限度地利用GPU内存，建议使用大的输入补丁而不是大的批处理大小。注意，批处理归一化层对于较小的值的效果较差MiniBatchSize．参数调整初始学习率MiniBatchSize．
选项= trainingOptions(“亚当”，.．.MaxEpochs = 50,.．.InitialLearnRate = 5的军医,.．.LearnRateSchedule =“分段”，.．.LearnRateDropPeriod = 5,.．.LearnRateDropFactor = 0.95,.．.ValidationData = dsVal,.．.ValidationFrequency = 400,.．.情节=“训练进步”，.．.Verbose = false,.．.MiniBatchSize = MiniBatchSize);
列车网络的
默认情况下，示例使用下载的预训练的3-D U-Net网络。预训练的网络使您能够执行语义分割和评估分割结果，而无需等待训练完成。
为了训练网络，设置doTraining变量转换为真正的．训练网络使用trainNetwork(深度学习工具箱)函数。
如果有GPU，可以在GPU上进行训练。使用GPU需要并行计算工具箱™和支持CUDA®的NVIDIA®GPU。有关更多信息，请参见GPU计算要求(并行计算工具箱)．在带有4个NVIDIA™Titan Xp GPU的多GPU系统上进行培训大约需要30个小时，根据GPU硬件的不同，培训时间可能会更长。
doTraining =假；如果doTraining [net,info] = trainNetwork(dsTrain,lgraph,options);modelDateTime = string(datetime(“现在”格式=“yyyy-MM-dd-HH-mm-ss”));保存(“trained3DUNet——”+ modelDateTime +“.mat”，“净”）;结束
评估网络性能
选择包含实际数据量和标签的测试数据源。如果你留着useFullTestSet变量在以下代码中的值为假，则本例使用5个样本量进行测试。如果你设置useFullTestSet变量来真正的，则该示例使用从完整数据集中选择的55个测试图像。
useFullTestSet =假；如果useFullTestSet volLocTest = fullfile(preprocessDataLoc，“imagesTest”）;lblLocTest = fullfile(preprocessDataLoc，“labelsTest”）;其他的volLocTest = fullfile(testDir，“imagesTest”）;lblLocTest = fullfile(testDir，“labelsTest”）;结束
的voldsTest变量存储地面真值测试图像。的pxdsTest变量存储基本真值标签。
voldsTest = imageDatastore(volLocTest,FileExtensions=“.mat”，.．.ReadFcn = @matRead);pxdsTest = pixelLabelDatastore(lblLocTest,classNames,pixelLabelID，.．.FileExtensions =“.mat”ReadFcn = @matRead);
对于每个测试卷，使用应用函数。的应用函数执行helper函数指定的操作calculateBlockMetrics，在本例的最后定义。的calculateBlockMetrics函数对每个块进行语义分割，计算预测和真实值标签之间的混淆矩阵。
imageIdx = 1;datasetConfMat = table;而hasdata (voldsTest)读取卷和标签数据vol = read(voldsTest);volLabels = read(pxdsTest);为卷和标签数据创建blockedImagetestVolume = blockedImage(vol);testLabels = blockedImage(volLabels{1});计算块指标blockConfMatOneImage = apply(testVolume，.．.@(块,labeledBlock).．.calculateBlockMetrics(块、labeledBlock网),.．.ExtraImages = testLabels,.．.PadPartialBlocks = true,.．.BlockSize = BlockSize,.．.BorderSize = BorderSize,.．.UseParallel = false);读取一个图像的所有块结果，并更新图像号blockConfMatOneImageDS = blockkedimagedatastore (blockConfMatOneImage);blockConfMat = readall(blockConfMatOneImageDS);blockConfMat = struct2table([blockConfMat{:}]);blockConfMat。ImageNumber = imageIdx.*ones(height(blockConfMat)，1);datasetConfMat = [datasetConfMat;blockConfMat];imageIdx = imageIdx + 1;结束
方法评估用于分割的数据集指标和块指标evaluateSemanticSegmentation(计算机视觉工具箱)函数。
[metrics,blockMetrics] = evaluateSemanticSegmentation(.．.datasetConfMat,一会,指标=“所有”）;
评估语义分割结果---------------------------------------- *选择的指标:全局精度，类精度，IoU，加权IoU。*处理5张图像。*完成……完成了。*数据集指标:GlobalAccuracy MeanAccuracy MeanIoU WeightedIoU ______________ ____________ _______ ___________ 0.99902 0.97955 0.95978 0.99808
显示Jaccard分数计算为每个图像。
metrics.ImageMetrics.MeanIoU
ans =5×10.9613 0.9570 0.9551 0.9656 0.9594
金宝app支持函数
的calculateBlockMetricsHelper函数对一个块进行语义分割，计算预测和真实值标签之间的混淆矩阵。该函数返回一个结构，其中包含关于块的混淆矩阵和元数据。的结构可以使用evaluateSemanticSegmentation函数计算指标和聚合基于块的结果。
函数blockMetrics = calculateBlockMetrics(bstruct,gtBlockLabels,net)%分段块predBlockLabels = semanticseg(bstruct.Data,net);从gtBlockLabels中删除边界区域blockStart = bstruct。BorderSize + 1;blockEnd = blockStart + block。BlockSize - 1;gtBlockLabels = gtBlockLabels(.．.blockStart (1): blockEnd (1),.．.blockStart (2): blockEnd (2),.．.blockStart (3): blockEnd (3));根据实际情况评估分割结果。confusimat = segmentationconfusimatrix (predBlockLabels,gtBlockLabels);% blockMetrics是一个结构与混淆矩阵，图像数，%和块信息。blockMetrics。ConfusionMatrix = confusionMat;blockMetrics。ImageNumber = bstruct.ImageNumber;blockInfo。Start = bstruct.Start;blockInfo。End = bstruct.End;blockMetrics。BlockInfo = BlockInfo;结束
参考文献
[1] Çiçek， Ö。，A. Abdulkadir, S. S. Lienkamp, T. Brox, and O. Ronneberger. "3D U-Net: Learning Dense Volumetric Segmentation from Sparse Annotation." In医学图像计算和计算机辅助干预国际会议记录- MICCAI 2016．希腊雅典，2016年10月，第424-432页。
Isensee, F.， P. Kickingereder, W. Wick, M. Bendszus和K. H. Maier-Hein。“脑肿瘤分割和放射组学生存预测:对BRATS 2017挑战的贡献。”在国际MICCAI脑损伤研讨会论文集．加拿大魁北克市，2017年9月，第287-297页。
[3]“脑瘤”。医学细分十项全能。http://medicaldecathlon.com/
BraTS数据集由医学细分十项全能提供CC-BY-SA 4.0许可证。所有保证和陈述均被放弃;详细信息请参见license。中链接的数据集下载BraTS样本数据部分的示例。将修改后的样本数据集裁剪为主要包含大脑和肿瘤的区域，并通过减去裁剪后的大脑区域的平均值并除以标准差，将每个通道独立归一化。
[4]苏德，C. H.，李伟文，T.韦考特伦，S.乌尔瑟林和M. J.卡多佐。“广义骰子重叠作为高度不平衡分割的深度学习损失函数。”医学图像分析中的深度学习和临床决策支持的多模态学习:第三届国际研讨会金宝app．加拿大魁北克市，2017年9月，第240-248页。
[5]罗内伯格，O. P.费舍尔和T.布罗克斯。U-Net:用于生物医学图像分割的卷积网络在医学图像计算与计算机辅助干预国际会议论文集- MICCAI 2015．德国慕尼黑，2015年10月，第234-241页。arXiv:1505.04597。
另请参阅
randomPatchExtractionDatastore|trainNetwork(深度学习工具箱)|trainingOptions(深度学习工具箱)|变换|pixelLabelDatastore(计算机视觉工具箱)|imageDatastore|semanticseg(计算机视觉工具箱)|dicePixelClassificationLayer(计算机视觉工具箱)
相关的话题
- 预处理深度学习卷(深度学习工具箱)
- 用于深度学习的数据存储(深度学习工具箱)
- 深度学习层列表(深度学习工具箱)
外部网站
您也可以从以下列表中选择一个网站: