ISO 26262 に従って要件に基づくテストの完全性を評価

モデルテストダッシュボードを使用して、要件に基づくテストアクティビティの品質と完全性を ISO 26262-6:2018 に従って評価することができます。ダッシュボードは、要件、テスト、テスト結果の間のトレーサビリティを監視し、テストの完全性と構造カバレッジの概要を提供することで、このアクティビティを容易にします。ダッシュボードは、プロジェクト内の実装および検証アーティファクトを解析し、次を提供します。

要件に基づくテストケースに関する、ISO 26262-6:2018、Clause 9.4.3 に従った完全性および品質メトリクス
要件に基づくテスト結果に関する、ISO 26262-6:2018、Clause 9.4.4 に従った完全性および品質メトリクス
ユニット別に整理された、プロジェクト内のアーティファクトの一覧

要件に基づくテストアクティビティの完全性を評価するには、モデルテストダッシュボードを使用して、以下の自動および手動での確認手順に従います。

モデルテストダッシュボードを開いてメトリクス結果を収集

モデルテストダッシュボードを使用してテストアーティファクトを解析するには、以下を行います。

モデルとテストアーティファクトを含むプロジェクトを開きます。あるいは、ダッシュボードのサンプルプロジェクトを読み込むには、コマンドラインでdashboardCCProjectStartと入力します。
ダッシュボードを開きます。[プロジェクト]タブで、[モデルテストダッシュボード]をクリックします。
これまでプロジェクトのダッシュボードを開いていない場合は,ダッシュボードはプロジェクト内のアーティファクトを特定し、モデルまでトレースしなければなりません。これを行うには、[すべてのトレースと収集]をクリックて実行し，メトリクスを收集します。
ダッシュボードの[アーティファクト]ペインでは、要件、テストケース、テスト結果などのアーティファクトがトレースするモデルの下に整理されています。サンプルプロジェクトのユニットdb_DriverSwRequestのメトリクス結果を表示するには、[アーティファクト]ペインで [db_DriverSwRequest] をクリックします。ダッシュボードでは、ユニットの最も新しいメトリクスコレクションのデータがウィジェットに取り込まれます。

メモ

モデルテストダッシュボードは、1 つのソフトウェアユニットを表すプロジェクト内の各モデルを考慮します。[オプション]ボタンを使用することにより、ソフトウェアユニットモデルを認識するようにダッシュボードを構成できます。

Model Testing Dashboard showing metric results for the db_DriverSwRequest unit

ダッシュボードウィジェットには、各ユニットのテストアーティファクトに関するトレーサビリティと完全性の測定値について概要データが表示されます。黄色のフォントで表示されているメトリクス結果は、要件に基づくユニットのテストを完了するために対処しなければならない可能性がある問題を示しています。データを詳細に確認するには、個々のメトリクスウィジェットをクリックします。表には、選択したメトリクスに関して、アーティファクトと各アーティファクトのメトリクス値が表示されます。詳細な結果を取得して、問題のあるアーティファクトを修正できるように、表にはアーティファクトを開くためのハイパーリンクが示されています。モデルテストダッシュボードの使用方法の詳細については、モデルテストダッシュボードを使用してテストアクティビティのステータスと品質を調査を参照してください。

テストケースの確認

ユニットがその要件を満たすことを検証するには、そのユニットのテストケースを要件に基づいて作成します。ISO 26262-6、Clause 9.4.3 は、ユニットのテストケースを要件から派生させることを求めています。要件のテストケースを作成するときに、要件のテストへのリンク(Requirements Toolbox)およびEstablish Requirements Traceability for Testing(Simulink Test)で説明されているように、テストケースと要件の間のトレーサビリティリンクを追加します。トレーサビリティを利用することで、どの要件がテストによって検証されたかを追跡したり、モデルが満たさない要件を特定することができます。Clause 9.4.3 は、要件とテストケースの間のトレーサビリティと、テストケースの正確性および完全性の確認を求めています。ユニットのテストケースの正確性と完全性を評価するには、モデルテストダッシュボードの[テストケースの解析]セクションにあるメトリクスを使用します。

ISO 26262-6 に関してテストケースの正確性と完全性を確認するのに役立つサンプルチェックリストを以下に示しています。各質問に対して、対応するダッシュボードメトリクスを使用して確認アクティビティを実行し、対応する修正を適用します。このチェックリストはサンプルとして提供されています。確認し、アプリケーションのニーズを満たすように変更する必要があります。

チェックリスト项目	確認アクティビティ	ダッシュボードメトリクス	修正法
1 — 各テストケースは要件までトレースするか。	[要件にリンクされているテスト]を表示して、ユニットのテストケースがすべて要件にリンクされていることを確認します。	要件にリンクされているテストメトリクス ID —`TestCaseWithRequirementPercentage` 詳細については、要件にリンクされているテストの割合を参照してください。	リンクされていない各テストケースに対して、要件に基づくテストの問題を修正で説明されているように、テストケースが検証する要件へのリンクを追加します。
2 — 各テストケースは適切な要件までトレースするか。	各テストケースに関して、リンクされている要件が正しいことを手動で検証します。[要件にリンクされているテスト]ウィジェットをクリックし、テストケースの表を表示します。テストケースのトレース先の要件を確認するには、[アーティファクト]列で、テストケース名の左側にある矢印をクリックします。	要件にリンクされているテストメトリクス ID —`TestCaseWithRequirements` 詳細については、要件にリンクされているテストを参照してください。	不適切な要件への各リンクについては、そのリンクを削除します。テストケースから適切な要件へのリンクが欠落している場合、正しいリンクを追加します。
3 — テストケースがすべての要件をカバーしているか。	[テストにリンクされている要件]を表示することで、ユニットの要件がすべてテストケースにリンクされていることを確認します。	テストにリンクされている要件メトリクス ID —`RequirementWithTestCasePercentage` 詳細については、テストケースをもつ要件の割合を参照してください。	リンクされていない各要件について、要件に基づくテストの問題を修正で説明されているように、それを検証するテストケースへのリンクを追加します。
4 — テストケースはパス/失敗の基準を含めて予想される結果を定義しているか。	各タイプのテストケースを手動で確認します。[タイプ別のテスト]ウィジェットをクリックして、テストケースとそのタイプの表を表示します。[アーティファクト]列のハイパーリンクを使用して、各テストケースをテストマネージャーで開きます。ベースラインのテストケースはベースライン基準を定義しなければなりません。シミュレーションテストケースについては、Assess Simulation and Compare Output Data(Simulink Test)で説明されているように、各テストケースが評価を使用してパス/失敗の基準を定義していることを確認します。	タイプ別のテストメトリクス ID —`TestCaseType` 詳細については、テストケースタイプを参照してください。	予想される結果を定義しない各テストケースについては、テストマネージャーで予想される結果およびパス/失敗の基準を追加します。
5 — 各テストケースはトレース先の要件を適切にテストするか。	各テストケースの要件リンクとコンテンツを手動で確認します。[要件にリンクされているテスト]ウィジェットをクリックし、テストケースの表を表示します。テストケースのトレース先の要件を確認するには、[アーティファクト]列で、テストケース名の左側にある矢印をクリックします。ハイパーリンクを使用してテストケースと要件を開き、テストケースが要件を適切にテストすることを確認します。	要件にリンクされているテストメトリクス ID —`TestCaseWithRequirements` 詳細については、要件にリンクされているテストを参照してください。	トレース先の要件を適切にテストしない各テストケースに関して、テストマネージャーでテストケースを更新します。あるいは、要件をさらにテストするテストケースを追加します。

テスト結果の確認

ユニットに対してテストを実行後、その結果を確認し、テストが実行されたこと、パスしたこと、ユニットを十分にテストしたことをチェックしなけれななりません。ISO 26262-6:2018 の Clause 9.4.4 では、ユニットごとに要件のカバレッジを解析することを求めています。すべてのテストケースで意図したモデルをテストし、パスしていることを確認します。さらに、テストのモデルカバレッジ結果を収集することで、ユニットのカバレッジを測定します。ユニットの要件のテストカバレッジを評価するには、モデルテストダッシュボードの[テスト結果の解析]セクションのメトリクスを使用します。

ダッシュボードを使用したテスト結果の解析と確認を容易にするために、以下のチェックリストが提供されています。各質問に対して、対応するダッシュボードメトリクスを使用して確認アクティビティを実行し、対応する修正を適用します。このチェックリストはサンプルとして提供されています。確認し、アプリケーションのニーズを満たすように変更する必要があります。

チェックリスト项目	確認アクティビティ	ダッシュボードメトリクス	修正法
1 — 各テスト結果はテストケースまでトレースするか。	ダッシュボードに表示されるテスト結果のみを使用します。テストケースまでトレースしないテスト結果はダッシュボードに表示されません。[テストの状態]セクション内のウィジェットをクリックすると、テストケースとそれらのトレース結果の表が示されます。	モデルテストのステータスメトリクス ID —`TestCaseStatusDistribution` 詳細については、テストケースステータスの分布を参照してください。	結果がトレースすべきテストを再実行し、新しい結果をエクスポートします。
2 — 各テストケースはテスト結果までトレースするか。	未テストのテストケースおよび無効なテストケースがないことを確認します。	モデルテストのステータスメトリクス ID —`TestCaseStatusDistribution` 詳細については、テストケースステータスの分布を参照してください。	無効または未テストの各テストケースについて、テストマネージャーでテストを有効にして実行します。
3 — すべてのテストケースが実行されたか。	未テストのテストケースおよび無効なテストケースがないことを確認します。	モデルテストのステータスメトリクス ID —`TestCaseStatusDistribution` 詳細については、テストケースステータスの分布を参照してください。	無効または未テストの各テストケースについて、テストマネージャーでテストを有効にして実行します。
4 — すべてのテストケースがパスするか。	ユニットのテストケースがすべてパスしたことを確認します。	[モデルテストのステータス]、[パス] メトリクス ID —`TestCaseStatusPercentage` 詳細については、テストケースステータスのパーセンテージを参照してください。	各テストの失敗に関して、テストマネージャーで失敗を確認し、モデル内の対応するテストケースまたは設計要素を修正します。
5 — すべてのテスト結果にカバレッジ結果が含まれているか。	テストマネージャーで各テスト結果を手動で確認し、カバレッジ結果が含まれていることをチェックします。	該当なし	カバレッジを含まない各テスト結果について、テストマネージャーでテストケースを開いて、カバレッジの収集を有効にします。テストケースを再実行します。
6 — 各ユニットで必要な構造カバレッジオブジェクティブを達成したか。	テストがユニットテストで要求されるカバレッジタイプの 100% のモデルカバレッジを達成していることを確認します。必要なカバレッジタイプを判別するには、ソフトウェアユニットの安全レベルを考慮して、ISO 26262-6:2018 の Clause 9.4.4 の表 9 を使用します。	モデルカバレッジメトリクス ID —`ExecutionCoverageBreakdown` メトリクス ID —`ConditionCoverageBreakdown` メトリクス ID —`DecisionCoverageBreakdown` メトリクス ID —`MCDCCoverageBreakdown` 詳細については、以下を参照してください。正当化され、達成された実行カバレッジ正当化され、達成された条件カバレッジ正当化され、達成された判定カバレッジ正当化され、達成された MC/DC カバレッジ	カバーされていない各設計要素について、解析して、未達カバレッジの原因を判断します。解析によって、テスト、要件、または実装に含まれる欠陥を明らかにすることができます。必要に応じて、要素をカバーするテストを追加します。あるいは、カバレッジフィルターの規則の作成、編集、表示(Simulink Coverage)で説明されているように、未達カバレッジを正当化する正当化フィルターを追加します。
7 — 欠陥は正しく正当化されたか。	カバレッジの正当化を手動で確認します。[モデルカバレッジ]ウィジェット内のバーをクリックして、対応するカバレッジタイプの結果の表を表示します。さらに詳しく確認するためにテスト結果をテストマネージャーで開くには、[アーティファクト]列のハイパーリンクをクリックします。	モデルカバレッジメトリクス ID —`ExecutionCoverageBreakdown` メトリクス ID —`ConditionCoverageBreakdown` メトリクス ID —`DecisionCoverageBreakdown` メトリクス ID —`MCDCCoverageBreakdown` 詳細については、以下を参照してください。正当化され、達成された実行カバレッジ正当化され、達成された条件カバレッジ正当化され、達成された判定カバレッジ正当化され、達成された MC/DC カバレッジ	正しく正当化されていない各カバレッジギャップについて、未達カバレッジの正当化を更新します。あるいは、ギャップをカバーするテストケースを追加します。

ISO 26262 に従ったユニットの検証

モデルテストダッシュボードは、ユニットの要件に基づくテストアクティビティの品質と完全性に関する情報を提供します。ISO 26262-6:2018 に準拠するために、別のアーキテクチャレベルでもソフトウェアをテストしなければなりません。ISO 26262-6:2018 では、以下のテストレベルの準拠要件が示されています。

ソフトウェアユニットテスト (表 7、メソッド 1j)
ソフトウェア統合テスト (表 10、メソッド 1a)
埋め込みソフトウェアテスト (表 14、メソッド 1a)

ISO 26262-8:2018、Clause 9 で詳細に説明されている汎用的な検証プロセスには、テストの計画、仕様、実行、評価、およびドキュメンテーションを利用してこうした各レベルのテストを体系的に実現できる方法について、追加情報が含まれています。この表は、モデルテストダッシュボードがユニットテストレベルに関する ISO 26262-8:2018、Clause 9 の要件に適用される方法と、準拠性を示すために実行する必要がある補完的なアクティビティを示しています。

要件	コンプライアンスの根拠	補完的なアクティビティ
9.4.1 — 検証アクティビティの範囲	モデルテストダッシュボードは安全性に関連するソフトウェアユニットと安全性に関連しないソフトウェアユニットすべてに適用されます。	該当なし
9.4.2 — 検証メソッド	モデルテストダッシュボードは、テスト結果に関するビューを含めて、要件に基づくテストの完全性についての概要を提供します (表 7、メソッド 1j)。	該当する場合は、次のような他の検証メソッドを 1 つ以上適用します。手動での確認と解析チェックリスト静的コード解析、制御フロー解析、データフロー解析など、他のツールを適用インターフェイステスト、フォールト挿入テスト、back-to-back 比較など、追加のテストを作成
9.4.3 — テストケースを派生させるためのメソッド	モデルテストダッシュボードにはソフトウェアユニットの要件と関連するテストを詳しく検討するための方法がいくつか用意されており、要件からテストケースを派生させるのに役立ちます。	金宝app^®Design Verifier™などの他のツールを使用して、テストケースを派生させることもできます。
9.4.4 — 要件および構造カバレッジ	モデルテストダッシュボードは以下を示すのに役立ちます。要件のカバレッジの完全性テストによって達成された分岐/ステートメントおよび MCDC モデルカバレッジ达成しカバレッジの充足根拠根拠	ダッシュボードはモデルレベルでのみ構造カバレッジを提供します。他のツールを使用すれば、構造カバレッジをコードレベルで追跡できます。
9.4.5 — テスト環境	モデルテストダッシュボードは、要件に基づくテストをモデルレベルで実行するのに役立ちます。	back-to-back 比較テストを適用して、モデルの動作が生成されたコードと同等であることを検証します。

参考文献:

ISO 26262-4:2018(en) 自動車 — 機能安全 — パート 4: システムレベルでの製品開発。国際標準化機構
ISO 26262-6:2018(en) 自動車 — 機能安全 — パート 6: ソフトウェアレベルでの製品開発。国際標準化機構
ISO 26262-8:2018(en) 自動車 — 機能安全 — パート 8: サポートプロセス。国際標準化機構

参考

Model Testing Metrics