使用模型测试仪表板探索测试活动的状态和质量
模型测试仪表板从项目中的模型设计和测试工件中收集度量数据,以帮助您评估基于需求的模型测试的状态和质量。
仪表板分析项目中的工件,例如需求、模型和测试结果。仪表板中的每个度量都度量了模型测试质量的不同方面,并反映了行业公认的软件开发标准(如ISO 26262和DO-178C)中的指导方针。
这个例子展示了如何通过使用模型测试仪表板来评估模型的测试状态。如果项目中的需求、模型或测试发生变化,请使用仪表板来评估对测试的影响,并更新工件以实现测试目标。
探索项目的测试工件和度量
打开包含模型和测试工件的项目。对于本例,在命令行中键入dashboardCCProjectStart
.
要打开模型测试仪表板,请使用以下方法之一:
在项目选项卡上,单击模型测试仪表板.
在命令行中,输入
modelTestingDashboard
.
当您第一次为项目打开仪表板时,仪表板必须识别项目中的工件,并将它们追踪到模型。要运行分析并收集度量结果,请单击追踪和收集全部.
控件中所选模型的度量结果将显示在仪表板上工件面板。要收集模型的度量数据,请单击收集结果.如果您想收集项目中所有模型的度量标准,请单击收集结果>收集所有结果.如果以前为某个模型收集了度量数据,仪表板将从现有数据填充。为一个度量收集数据需要一个支持底层工件的产品许可,比如Simulink需求、Simulink测试或Simulink覆盖。金宝app金宝app但是,查看现有的度量数据不需要许可证。有关更多信息,请参见模型测试指标.
查看合规和非合规工件
您可以使用Model Testing Dashboard中的覆盖来查看一个小部件的度量结果是符合的还是不符合的,或者生成一个应该检查度量结果的警告。如果结果显示了完全的可追溯性、测试完成或模型覆盖,那么它们就是兼容的。在覆盖节,确保兼容的而且不一致的选中按钮。覆盖显示在具有该类别结果的小部件上。您可以在仪表板的右上角看到每个遵从性类别中的小部件总数。
要查看度量的遵从性阈值,请指向覆盖图标。
控件中的选定类别,可以隐藏覆盖图标覆盖部分。
有关每个度量的遵从性阈值的更多信息,请参见模型测试指标.
查看设计和测试工件的可追溯性
的工件Panel根据模型引用层次结构将项目中的单元模型组织在组件模型下。展开一个单元模型以查看项目中追踪到它的工件。如果对项目中的工件文件进行了更改,仪表板指示您必须通过单击刷新仪表板中的数据跟踪工件.对于本例,在工件面板中,展开模型的文件夹db_DriverSwRequest
.对于项目中的模型,跟踪的工件包括:
功能需求—与单元有链接的需求类型设置为
实现了
或者通过其他需求间接地连接到模型。在需求文件中创建或导入这些需求(.slreqx
)。金宝app设计—包含您测试的单元以及模型使用的库和数据字典的模型文件。
测试用例——运行模型或库的测试用例。通过使用Simulink test在测试套件文件中创建这些测试用例。金宝app
测试结果——单元测试用例的结果。若要在仪表板中使用结果,请运行单元测试、导出结果并将其另存为结果文件。仪表板显示了测试用例最新保存的结果。
一个工件出现在文件夹中Untraced如果仪表板没有将工件跟踪到单元模型。该文件夹包括缺少可跟踪性的工件和仪表板无法跟踪的工件。如果工件在可追溯性分析期间生成错误,则它将出现在错误文件夹中。有关未跟踪工件和错误的详细信息,请参见跟踪工件到单元进行模型测试分析.
导航到需求工件db_DriverSwRequest>功能需求>db_req_funct_spec.slreqx>取消开关检测然后单击需求。的细节窗格显示工件的名称和项目中包含工件的文件的文件夹路径。通过右键单击工件或使用菜单,您可以滚动到一个单元,或者折叠或展开工件列表在搜索栏的右边。
查看单位的度量结果
中收集和查看每个单元的度量结果工件面板。查看模型的结果db_DriverSwRequest
,在工件面板中,单击db_DriverSwRequest
.要同时打开多个单元的结果,右键单击一个单元并单击在新标签页打开.仪表板的顶部显示了模型的名称、数据收集时间戳以及收集数据的用户名。如果项目中的工件在收集结果后发生更改,则陈旧的指标图标显示某些仪表板小部件可能显示过时的数据,其中不包括更改。受影响的小部件以灰色突出显示。重新收集度量数据,以使用来自当前构件的数据更新过时的小部件。对于本例,仪表板中的数据并不是陈旧的。
仪表板小部件总结了度量数据结果,并显示了要解决的测试问题,例如:
需求和测试之间缺少可追溯性
具有不成比例的链接数量的测试或需求
必须检查的某些类型的测试
失败或禁用测试
失踪的报道
要更详细地查看数据,请单击单个度量小部件。对于选择的度量,一个表显示每个工件的度量值。该表提供了打开工件的超链接,以便您可以获得详细的结果并修复有问题的工件。在研究这些表时,请注意:
您可以根据每个工件返回的值筛选结果。要筛选结果,请单击表头中的筛选图标。
一些小部件在默认情况下过滤表格,只显示小部件显示的结果。例如,对于与测试关联的需求节,表为链接小部件被过滤以只显示缺少测试用例的需求。
要按工件、源文件或值对结果排序,请单击相应列标题中的箭头。
评估需求的测试和可追溯性
测试质量的一个标准度量是个体需求和验证它们的测试用例之间的可追溯性。要评估测试和需求的可追溯性,请使用测试用例分析仪表板的一部分。通过使用小部件中的摘要数据,您可以快速地在需求和测试中发现问题。单击小部件以查看包含详细结果的表和打开工件的链接。
需求缺失测试
在与测试关联的需求节,链接小部件指示有多少需求丢失了测试。向这些需求添加测试和链接。的测试要求拨号小部件将链接进度显示为已进行测试的需求的百分比。
单击部分中的任意小部件,在连接到测试用例的需求表格对于每个需求,表格显示了包含需求的源文件,以及需求是否被链接到至少一个测试用例。当你点击链接小部件时,表格将被过滤以只显示缺少测试用例链接的需求。
测试数量不成比例的需求
的按需求测试部分总结了与每个需求相关联的测试数量的分布。对于每个值,一个有颜色的容器表示链接到该数量的测试的需求的数量。颜色越深表示需求越多。如果一个需求有太多的测试,那么它可能太宽泛了,您可能希望将其分解成多个更细粒度的需求,并将它们链接到各自的测试。如果需求的测试太少,考虑添加更多的测试并将它们链接到需求。
要查看具有一定数量的测试用例的需求,单击相应的栏打开每个需求的测试用例表格对于每个需求,表格显示了包含需求和链接测试用例数量的源文件。要查看所有需求的结果,请参见链接的测试用例列,单击筛选器图标,然后选择清晰的过滤器.
缺少需求的测试
在链接到需求的测试节,链接小部件指示有多少测试没有链接到需求。将这些测试的链接添加到它们验证的需求中。的带需求的测试拨号小部件将链接进度显示为链接到需求的测试的百分比。
单击部分中的任意小部件,在与需求链接的测试表格对于每个测试用例,表格显示了包含测试的源文件,以及测试用例是否链接到至少一个需求。当你点击链接小部件时,表格将被过滤以只显示缺少需求链接的测试用例。
需求数量不成比例的测试
的每项测试的要求Widget总结了链接到每个测试的需求数量的分布。对于每个值,一个有颜色的容器表示链接到该数量的测试的需求的数量。颜色越深表示测试次数越多。如果一个测试有太多或太少的需求,那么调查该测试的失败可能会更加困难,并且您可能想要更改测试或需求,以便更容易跟踪它们。例如,如果一个测试比其他测试验证了更多的需求,考虑将其分解为多个较小的测试,并将它们链接到需求。
要查看具有一定数量需求的测试用例,单击相应的栏打开每个测试用例的需求表格对于每个测试用例,表格显示了包含测试和链接需求数量的源文件。要查看所有测试用例的结果,请使用相关的需求列,单击筛选器图标,然后选择清晰的过滤器.
一种类型的测试数量不成比例
的按类型测试而且带标签的测试小部件显示单元对每种类型和每个自定义标记有多少个测试。在行业标准中,测试通常被分类为正常测试或健壮性测试。您可以标记测试用例正常的
或鲁棒性
方法查看每个标记的总计数带标签的测试小部件。使用细分来决定是否要添加某种类型或带有某种标记的测试。
要查看一种类型的测试用例,请单击按类型测试表打开测试用例类型表格对于每个测试用例,表格显示了包含测试和测试类型的源文件。中查看所有测试用例的结果类型列,单击筛选器图标,然后选择清晰的过滤器.
中相应的行,以查看具有标记的测试用例带标签的测试表打开测试用例标记表格对于每个测试用例,该表显示了包含测试和测试用例上的标记的源文件。中查看所有测试用例的结果标签列,单击筛选器图标,然后选择清晰的过滤器.
分析测试结果和覆盖率
方法中的小部件可查看测试结果和覆盖率度量的摘要模拟试验结果分析仪表板的一部分。通过使用测试结果度量来发现测试和模型中的问题。通过使用覆盖率度量来查找覆盖率差距,并添加测试来解决缺失的覆盖率。运行模型的测试时,导出结果并将文件保存在项目中。然后收集仪表板指标并检查这些测试问题的结果。
未通过的测试
在模型试验状态节,未测试的而且禁用小部件指示单元有多少测试没有运行。使用Simulink测试管理器运行测试并导出新结果。金宝app
的失败的小部件指示失败的测试数。在test Manager中打开每个失败的测试,并调查导致失败的工件。修复工件,重新运行测试,并导出结果。
的不确定的小部件指示有多少测试没有通过/失败标准,例如验证语句、自定义标准、基线标准以及逻辑或临时评估。将一个或多个通过/失败的标准添加到您的测试用例中,以帮助验证您的模型的功能。
单击部分中的任意小部件以打开测试用例状态表格对于每个测试用例,表格显示了包含测试和测试结果状态的源文件。当你点击失败的,禁用,未测试的,或不确定的小部件时,将对表进行筛选,以仅显示针对这些结果的测试。仪表板只分析它追踪到每个测试用例的最新测试结果。
失踪的报道
的模型覆盖小部件显示是否有未被测试覆盖的模型元素。如果其中一种覆盖类型显示小于100%的覆盖,则可以调查覆盖缺口。添加测试以覆盖空白或证明不需要覆盖的点。然后再次运行测试并导出结果。
要查看一种覆盖类型的详细结果,请单击相应的栏。对于模型和测试用例,表中显示了源文件和实现的和合理的覆盖率。