主要内容

评估评估

评估针对地面真理的语义分割数据

描述

例子

SSM.= evaluateManticSegation(Dsresults.dstruth.计算各种度量来评估语义分割结果的质量,Dsresults.,反对地面真相细分,dstruth.

SSM.= evaluateManticSegation(ImageetConfusion.Classnames.计算各种度量标准,以评估混淆矩阵的语义分段结果的质量,ImageetConfusion.,分段课程Classnames.

[SSM.块镜] = evaluateManticSegation(BlockSetConfusion.Classnames.计算各种度量标准,以评估混淆矩阵的基于块的语义分段结果的质量,BlockSetConfusion.与课程Classnames.

[___] = evaluateManticSegation(___名称,价值使用一个或多个计算语义分段度量名称,价值对控制评估的参数。

例子

全部收缩

三角形数据集有100个测试图像,带有地面真理标签。定义数据集的位置。

datasetdir = fullfile(toolboxdir('想象'),'VisionData''triangleimages');

定义测试图像的位置。

testimagesdir = fullfile(DataSetdir,'testimages');

定义地面真理标签的位置。

testlabelsdir = fullfile(datasetdir,'testlabels');

创建一个持有测试图像的IMAGEDATASTORE。

IMDS = IMAGEDATASTORE(TESTIMAGESDIR);

定义类名称及其关联的标签ID。

ClassNames = [“三角形”“背景”];labelids = [255 0];

创建一个PixellabeldAtastore,保持测试图像的地面真相像素标签。

pxdstruth = pixellabeldataStore(testlabelsdir,classnames,labelids);

加载已经在培训图像上培训的语义分段网络三角形

net = load('trianglesemationnetwork');net = net.net;

在测试图像上运行网络。预测的标签将在临时目录中写入磁盘,并作为PixellabeldAtastore返回。

pxdsresults = semanticseg(IMDS,NET,“writepocation”,Tempdir);
运行语义分割网络------------------------------- * Processed 100图像。

评估预测结果对基础事实。

metrics = evaluateManticSegation(pxdsresults,pxdstruth);
评估语义分割结果---------------------------------------- *选择指标:全球精度,类准确性,IOU,加权IOU,BF得分。*加工100张图像。*即将完成...完成。*数据集的指标:GlobalAccuracy MeanAccuracy MeanIoU WeightedIoU MeanBFScore ______________ ____________ _______ ___________ ___________ 0.90624 0.95085 0.61588 0.87529 0.40652

显示该属性语义开关媒体目的。

指标
metrics =具有属性的语义发行级别:confusionmatrix:[2x2表] normalizedconfusionmatrix:[2x2表] datasetmetrics:[1x5表]类测量仪:[2x3表] ImageMetrics:[100x5表]

显示每个类的分类准确性,交叉路口,以及每个类的边界F-1分数。这些值存储在分类财产。

指标.Classmetrics.
ans =.2×3表准确性iou含义含义____________三角形1 0.33005 0.028664背景0.9017 0.9017 0.78438

显示存储在中的归一化混淆矩阵NormalizedConfusionMatrix财产。

metrics.confusionmatrix.
ans =.2×2表三角背景________ __________三角4730 0背景9601 88069

输入参数

全部收缩

预测由语义分割产生的像素标签,指定为数据存储或数据存储对象的单元格数组。Dsresults.可以是任何返回分类图像的数据存储,例如PixellabeldAtastore.或者PixellabelimagedAtastore.。这Dsresults.)必须返回分类数组,单元格数组或表。如果是函数返回多列单元格数组或表,第二列必须包含分类阵列。

地面真相像素标签,指定为数据存储区或数据存储对象的单元格数组。Dsresults.可以是任何返回分类图像的数据存储,例如PixellabeldAtastore.或者PixellabelimagedAtastore.。使用dstruth.)必须返回分类数组,单元格数组或表。如果是函数返回多列单元格数组或表,第二列必须包含分类阵列。

分段图像中的类的混淆矩阵,指定为以下之一,其中F是数据集中的图像数。

  • F行和名称的一个变量ConfusionMatrix.。表中的每一行包含具有相应图像的混淆矩阵的单元阵列。

  • F-By-One Cell阵列。单元阵列的每个元素包含相应图像的混淆矩阵。

分段块的混淆矩阵,指定为表格B.行和三列,在哪里B.是数据集中的所有图像中的块总数。三列是变量涂膜ConfusionMatrix., 和blockinfo.。您可以通过使用使用的表格来获取正确的格式表semmentationconfusionmatrix.函数在拨入基于块的呼叫中申请功能。例如,看到计算基于块的工作流程中的分割度量

类名称,指定为字符串数组或字符向量的单元格数组。

例子:[“天空”“草”“建设”“人行道”]

名称值对参数

指定可选的逗号分离对名称,价值论点。名称是参数名称和价值是相应的价值。名称必须出现在引号内。您可以以任何顺序指定多个名称和值对参数name1,value1,...,namen,valuen

例子:metrics = evaluateManticStimation(PXDSResults,PXDStruth,'Metrics',“Bfscore”)仅计算每个类,每个图像和整个数据集的平均bf分数。

分段指标语义开关媒体计算,指定为逗号分隔的配对组成'度量标准'和一个字符串矢量。此参数指定哪些变量datasetmetrics.分类, 和ImageMetrics要计算的表。ConfusionMatrix.NormalizedConfusionMatrix无论值如何,都被计算了'公制'

价值 描述 聚合数据集度量 图像指标 类指标
“全部”

评估所有语义分割度量。

该功能不包括含义从语义分割指标指定混淆矩阵时(ImageetConfusion.或者BlockSetConfusion.)作为输入功能。

所有聚合数据集指标 所有图像指标 所有课程指标
“准确性”

准确性表示每个类的正确识别像素的百分比。如果您想知道每个类正确识别像素,请使用精度度量。

  • 对于每个班级,准确性根据地面真理,是正确分类的像素与该类中的像素总数的比率。换句话说,

    精度得分= TP /(TP + Fn)

    TP是真正的阳性数量,FN是假底片的数量。

  • 对于聚合数据集,意思是意思是平均值准确性所有图像中的所有课程。

  • 对于每个图像,意思是意思是平均值准确性在那种特定图像中的所有课程。

类别精度是一个简单的度量标准,与全局精度类似,但它可能是误导性的。例如,标记所有像素“汽车”为“汽车”类提供了完美的分数(虽然不是其他类)。使用课程准确性与IOU进行更完整的分段结果评估。

意思是意思 意思是意思 准确性
“bfscore”

边界F1(BF)轮廓匹配分数表示每个类与真边区对齐的预测边界的程度如何。如果您希望使用比iou指标更好地相关的指标,请使用BF分数。

  • 对于每个班级,含义在所有图像上是该类的平均bf分数。

  • 对于每个图像,含义是该特定图像中所有类别的平均BF分数。

  • 对于聚合数据集,含义是所有图像中所有类别的平均bf分数。

有关更多信息,请参阅bfscore.

指定混淆矩阵时,此度量标准不可用(ImageetConfusion.或者BlockSetConfusion.)作为输入功能。

含义 含义 含义
“全球准确性”

GlobalAccuracy.是正确分类的像素的比率,无论类别如何,到总像素数。如果希望快速和计算地廉价的估计,请使用全局准确度指标估计正确分类的像素百分比。

GlobalAccuracy. GlobalAccuracy. 没有任何
“iou”

OF UNION(IOU)交叉口,也称为Jaccard相似系数,是最常用的指标。如果您想要惩罚误阳性的统计准确度测量,请使用iou指标。

  • 对于每个班级,IOU.是正确分类的像素与该类中的地面真理总数和预测像素的比率。换句话说,

    iou得分= tp /(tp + fp + fn)

    图像描述了真正的阳性(TP),误报(FP)和假否定(FN)。

  • 对于每个图像,意思是是那种特定图像中所有类的平均iou得分。

  • 对于聚合数据集,意思是所有图像中所有课程的平均IOU分数是所有课程。

有关更多信息,请参阅杰卡德

意思是 意思是 IOU.
“加权 - iou” 每个类的平均iou,由该类中的像素数量加权。如果图像具有不成比例的类,则使用此度量标准,以减少总体质量分数对小类错误的影响。 掌权 掌权 没有任何

例子:metrics = evaluatesEminticStogation(PXDSResults,PXDStruth,'度量标准',[“全球准确性”,“iou”)通过数据集,图像和类计算全球准确性和iOU度量。

数据类型:细绳

标志要在命令窗口中显示评估进度信息,指定为包括的逗号分隔对'verbose'和任何一种1真的) 或者0.错误的)。

显示的信息包括进度条,经过的时间,估计时间和数据集度量。

例子:Metrics = evaluateManticStogation(PXDSResults,PXDStruth,'verbose',0)计算分段度量,而无需显示进度信息。

数据类型:逻辑

输出参数

全部收缩

语义分割度量,作为一个返回语义开关媒体目的。

基于块的语义分割指标,作为一个返回F- 一个单元格阵列,其中F是数据集中的图像数。单元格阵列中的每个元素包含关于对相应图像中的所有块计算的所有度量的信息,格式化为表。

每个表都有K.F)行,在哪里K.F)是块的数量F数据集中的图像。该表最多有五个变量:

  • 表始终包括blockinfo.多变的。此变量中的该表数据是提供有关该块的空间信息的结构。结构的四个字段是blockstartworld.blockendworld.datastartworld., 和dataendworld.。有关这些字段的更多信息,请参阅'insertallockinfo'名称 - 值对参数申请功能。

  • 该表包括指标datasetmetrics.财产的财产SSM.输出参数。默认情况下,指标是GlobalAccuracy.意思是意思意思是, 和掌权。但是,如果你创造了SSM.并指定指标的子集来计算通过使用该计算指标名称值对参数,然后表仅包含指定的指标。

参考

[1] Csurka,G.,D. larlus和F. perronnin。“语义细分的良好评估措施是什么?”英国机器愿景会议的诉讼程序,2013,pp。32.1-32.11。

扩展能力

在R2017B中介绍