検証
検証
各要求の検証方法を計画し、テストケースをスイートに整理し、ステップごとの結果とエビデンスを付けてテストを実行し、テストサイクルを保存し、RVTM でカバレッジを報告します。
概要
検証は、すべての要求について 1 つの問いに答えます:それが満たされていることを示す証拠は何か。
Holarch は、検証に関するすべてを要求と同じモデルに保持します。
- 計画:検証方法、レベル、成功基準
- 計画を実行するテストケース
- 各実行の結果
- その結果としてのカバレッジ
すべてが 1 つのモデルにあるので、カバレッジレポートは常に最新です。
ナビゲーションレールの検証グループには、次のものがあります。
| ページ | 目的 |
|---|---|
| RVTM | 要求検証トレーサビリティマトリックス:すべての要求と、その方法、レベル、検証するテストケース、自身の結果、集約した結果。 |
| テストセンター | テストスイートとテストケース、ステップごとの手順、証拠付きのテスト実行、テストサイクル、要求の検証カバレッジ。 |
| トレーサビリティマトリックス | 任意の関係をグリッドで表示します。例:要求 × テストケース。トレーサビリティマトリックスを参照してください。 |
| モデルチェック | モデル全体のルールチェック。検証されていないリーフ要求や、Issue のない不合格テストも含みます。モデルチェックを参照してください。 |
検証のレールバッジは、不合格のテストとモデルチェックのエラーを数えます。
概念
検証計画の属性
すべての Requirement には、次の 3 つの計画属性があります。
| 属性 | 値 | 意味 |
|---|---|---|
| Verification Method | 分析、実証、検査、テスト(任意の組み合わせ) | 要求の検証方法。 |
| 検証レベル | コンポーネント、サブシステム、システム | 検証を行う組立レベル。 |
| 成功基準 | テキスト | 要求が満たされていることを示す、測定可能な成果。 |
要求のラベルには、対応する Verification Method のラベル(Analysis、Demonstration、Inspection、Test)が含まれます。属性またはラベルを設定すると、その変更の一部としてもう一方も更新され、1 回の元に戻すで両方を取り消せます。そのため、ラベルを使うインポートしたプロジェクトも、属性を使うプロジェクトと同じように動作します。
Verification Requirement(LML 2.0)
Verification Requirement は、要求が満たされたとみなされる前に、何をどのように示す必要があるかを述べる Statement です。検証計画を要求ではなく独自の項目に保つ、LML 2.0 の方法です。次のものを持ちます。
| 属性 | 意味 |
|---|---|
| Verification Method | 分析、実証、検査、テスト(任意の組み合わせ。スキーマで方法を追加できます)。 |
| Acceptance Criteria | 検証が達成すべき結果。 |
| 証拠 | 収集して引き渡す記録の種類。例:試験報告書、検査記録。 |
| 根拠 | この方法、この基準、この証拠を選んだ理由。 |
verifies で対象の要求(または Asset)に、traced to でそれを実行するテストケースにリンクします。すると RVTM は、それらのテストケースを要求を検証するものとして数え、要求に独自の方法と受け入れ基準がない場合は Verification Requirement から取り、Verified By の下に Verification Requirement を一覧表示します。
どちらの形式も並行して使えます。要求を直接検証するテストケース(LML 1.x の形式)はこれまでどおりに数えられ、要求の Verification Requirement ラベルも引き続き使えます。
テストケースは、evaluates で試験対象の Asset を示すこともできます(Asset 側から見ると evaluated by)。
これらの追加より前に作成されたプロジェクトは、スキーマをそのまま保ちます。スキーマ → 新しい組み込み要素を追加…で、Verification Requirement クラスと evaluates の関係が追加されます。
テストケースとテストスイート
Test Case は、verifies の関係(要求側から見ると verified by)を通じて要求を検証します。テストケースは次のものを持ちます。
- 説明:手順。
- Set Up、期待される結果、実際の結果。
- Event Conditions(環境、モード、模擬負荷など、テストを実行する条件)と Event Constraints(独立した立会人、ホールドポイント、サンプリングのルールなど、テストイベントの制約)。実行のダイアログでは入力されている場合に表示され、スイートの CSV エクスポートにはそれぞれの列があります。
- evaluates:試験対象の Asset。
- ステータス:未実行、進行中、ブロック中、不合格、合格。
- ステップ:任意の番号付き手順。各ステップに Action、Expected Result、Actual Result、Pass/Fail があります。
- 記録された各実行で書き込まれる実行の証拠:テスト担当者、テスト日、構成(試験対象のビルドまたはバージョン)、供試体(ユニットまたはシリアル番号)、Test Evidence(ファイル)。
- 実行ログ:記録されたすべての実行と、その日付、ステータス、テスト担当者、構成、供試体、実際の結果、証拠のファイル名、ステップの結果。
テストケースは子テストケースに分解できます。親のステータスはリーフから集約されます。最初に一致したルールが適用されます。
- いずれかのリーフが不合格なら不合格。
- いずれかのリーフがブロック中ならブロック中。
- すべてのリーフが合格なら合格。
- どのリーフも実行されていなければ未実行。
- それ以外は進行中。
テストスイートは、Test Suite ラベルの付いた Artifact です。テストケースを source of(インポートしたデータでは referenced by)で保持します。どのスイートにも属さないテストケースは、スイートのないテストケースの下に表示されます。
要求の検証ステータス
各要求は、検証するテストケース(直接検証するものと、その Verification Requirement から traced from されるもの)から自身のステータスを得ます。
| 自身のステータス | ルール |
|---|---|
| 不合格 | 検証するテストケースが不合格になった。 |
| 合格 | 検証するテストケースが合格した(そして不合格のものがない)。 |
| 未実行 | 検証するテストケースはあるが、合格も不合格もない。 |
| 計画のみ | テストケースはないが、Verification Method が(要求またはその Verification Requirement のいずれかに)設定されている。 |
| 未検証 | テストケースも Verification Method もない。 |
集約したステータスは分解(decomposed by)に従います。親の要求の場合:
- 自身の合格したテストがあるとき、またはすべての子要求が合格のとき、合格になります。
- その下のどこかに不合格があるとき、不合格になります。
- それ以外の場合は、自身のステータスと、最もカバーされていない子のステータスのうち、進んでいる方を取ります。順序は 未検証 → 計画のみ → 未実行 です。
検証済みは常に合格を意味します。
テストサイクル
テストサイクルは、スイートの結果(すべてのリーフテストケースのステータスと実際の結果)を保存したスナップショットです。各キャンペーンの終わりに保存し、次に向けてスイートを未実行にリセットします。サイクル同士、またはサイクルと現在の結果を比較でき、サイクルに戻すこともできます。
使い方
使う場面と理由
検証は、設計ができた後ではなく、要求を書きながら計画します。要求の方法と成功基準を述べられないなら、その要求は通常、書かれたままでは検証できません。
通常の流れ:
- 要求分析:各要求に Verification Method、Level、Success Criteria を設定します。
- 設計:テストケースを書き、検証する要求にリンクします。分析、実証、検査の記録もテストケースです。
- 統合と試験:テストケースを実行し、結果と証拠を記録します。不合格には Issue を起票します。キャンペーンごとにテストサイクルを保存します。
- レビューと受け入れ:RVTM でカバレッジを報告します。
要求ごとに検証を計画する
各要求に方法、レベル、成功基準を与えます。これはテストセンターのカバレッジカードで行います。
- 検証 → テストセンターを開きます。
- 検証カバレッジまでスクロールします。
まだ検証されていないすべての要求が表示されます。
- 行で方法のボタンをクリックして、方法を切り替えます:A(分析)、D(実証)、I(検査)、T(テスト)。
要求が未検証から計画のみに移ります。
- レベル…でレベル(コンポーネント、サブシステム、システム)を選びます。
- + 基準をクリックします。
- 測定可能な成果を入力し、保存をクリックします。
ボタンの表示が基準 ✓になります。
これらの属性は、任意の要求のインスペクターでも編集できます。
テストスイートとテストケースを作成する
- ページヘッダーで+ 新規 ▾ → テストスイート…をクリックします。
- 番号(例:
TS-3)、名前、説明を入力します。 - 作成をクリックします。
新しいスイートカードが表示されます。
- スイートカードで+ テストケースをクリックします。
- 項目を作成で、テストケースに名前を付けます。
テストケースが、ステータス未実行でスイートに追加されます。
- テストケースの行で、検証対象列の + をクリックします。
- テストケースが検証する要求を選びます。
- 行に期待される結果を入力します。
- インスペクターまたは項目ビューで、テストケースの説明に手順を書きます。
ステップごとの手順を書く
ステップは任意です。ステップのないテストケースは全体として実行されます。
- テストケースの行で+ ステップをクリックします。
- ステップごとに+ ステップを追加をクリックします。
- 各ステップの Action と期待される結果を入力します。
- ↑ で並べ替え、× でステップを除去します。
- 適用をクリックします。
ボタンの表示がステップ (N) になります。
テストケースを作成するその他の方法
- カバレッジカードから:検証カバレッジで、要求の行の+ テストケースをクリックします。要求にリンク済みの Verify <requirement name> が、スイートのないテストケースの下に作成されます。
- AI で:ドキュメントまたは項目ビューで要求を選択します。✦ AI ▾ → テストケースを生成…を選びます。AI が名前、順序付きのステップ、セットアップ、期待される結果、方法の下書きを作ります。Review Test Case — <requirement> で下書きを確認し、テストケースを作成をクリックします。AI を参照してください。
テストを実行して結果を記録する
実行モードでは、テストを 1 つずつ案内し、各結果を証拠とともに記録します。
- 任意:一部のテストだけを実行するには、未実行 (12) などのステータスフィルターをクリックします。そのステータスのリーフテストケースだけが実行されます。
- ページヘッダーでスイートを実行をクリックします。
スイートを実行のダイアログが、未実行の最初のテストで開きます。
- セッションのフィールドを 1 回入力します:テスト担当者(既定値はあなたの名前)、コンフィギュレーション / ビルド、供試体。すべての構成として表示しているプロダクトラインでは、先に結果の記録先(テストを実行した構成、または No configuration)を選びます。✔ 合格、✘ 不合格、ブロック中は、選ぶまで待機します(プロダクトライン)。
- テストの手順、Set Up、ステップ、期待される結果を読みます。
- テストを実施します。各ステップで実際の値を入力し、合否を選びます。
- 実際の結果を記述します。
- 日時を確認します。
- 証拠を添付…をクリックして、ログ、データファイル、写真を追加します。
- ✔ 合格、✘ 不合格、ブロック中のいずれかをクリックします。
ダイアログが次のテストに進みます。記録せずに進むにはスキップをクリックします。戻るには‹ 前へをクリックします。
- ✘ 不合格の後、+ Issue を作成をクリックしてから次へ ›をクリックします。
ダイアログに記録しました。不合格を追跡する Issue を作成してください。Issue はこのテストケースと、それが検証する要求にリンクされます。と表示されます。
- テストごとに手順 4~10 を繰り返します。
最後に、実行が完了しましたに件数付きのステータスバーが表示されます。最初からレビューで最初のテストに戻ります。
記録した各結果は 1 回の元に戻すで取り消せます。次のすべてを行います。
- テストケースの Status、Actual Result、Tested By、Test Date、Configuration、Test Article、Test Evidence を更新する
- ステップの結果を保存する
- テストの実行ログに項目を追加する
実行モードを使わずに結果を記録するには、テストケースの行のステータス(例:未実行)をクリックして新しいステータスを選び、実際の結果のテキストをクリックして結果を入力します。フォーカスのある値で Enter または F2 を押しても開きます。Escape で変更せずに閉じます。
テストをもう一度実行するには、その行の↻ 再実行(テストに結果があると表示)をクリックします。未実行に戻さずに、そのテストだけで実行のダイアログが開きます。新しい結果は、以前の実行と並んで実行ログに追加されます。
ほかのテストシステムから結果をインポートする
自動テスト装置や CI パイプラインなど、ほかの場所でテストを実行する場合は、結果を入力する代わりにインポートします。Holarch は JUnit XML レポート(ほとんどのテストランナーと CI システムが出力)、CSV ファイル、Excel ワークブック(.xlsx)を読み取ります。
- ページヘッダーで結果をインポート…をクリックします。
- ファイルを選択…をクリックし、結果ファイルを選びます。
- 照合するテストケースを選びます:テストケースの照合先(すべて、または 1 つのスイート)と照合基準(Number, then name、番号、名前、グローバル ID)。
- CSV または Excel ファイルでは、Holarch が見出しから推測した列を確認します。テストケースの列とステータスの列は必須で、実際の結果、日付、テスト担当者、構成、供試体の列は任意です。
- 任意:ファイルにないものについて、テスト担当者、テスト日、コンフィギュレーション / ビルド、供試体を入力します。
- プレビューを確認します:一致した各テストケースとそのステータスの変化、およびどのテストケースにも一致しない行、複数のテストケースに一致する行、スキップされた行。
- Record N Results をクリックします。
すべての結果が記録されます。1 回の元に戻すですべて取り消せます。それぞれがテストケースの Status、Tested By、Test Date、Configuration、Test Article を更新し、ファイル名を記した項目を実行ログに追加します。新しく作成されるものはありません。
- ステータスの語:pass、passed、ok、success は合格、fail、failed、failure、error は不合格として記録されます。blocked、in progress、not run はそれぞれのステータスとして記録されます。スキップされたテスト(JUnit の
<skipped>、またはステータスの列の skipped)は変更されません。 - 実際の結果:JUnit の失敗メッセージ、または Actual Result の列が、実際の結果になります。ない場合、実際の結果は元のままです。
- 重複したテストケース:ファイルに同じテストケースが 2 回ある場合は、後の行が優先され、前の行はスキップとして一覧表示されます。
- 親のテストケース:子テストケースを持つテストケースは記録されません。そのステータスは子から集約されます。
Holarch を開かずに CI パイプラインから結果を記録するには、REST API(POST …/test-results)に送るか、MCP ツール record_test_results で AI クライアントに提案させます。どちらも結果をインポート…と同じ方法で、実行ログの項目も含めて結果を記録します(テスト結果)。
テストサイクルを保存する
テストキャンペーンが終わったらサイクルを保存します。
- スイートカードで新しいサイクルを開始…(または ⋯ → 新しいサイクルを開始…)をクリックします。
- 新しいテストサイクルを開始で、サイクルに名前を付けます(既定値 Test Cycle N)。
- コンフィギュレーション / ビルドと供試体を確認します。どちらも、実行で最も多く記録された値で始まります。これらはサイクルのテストレポートに出力されます。
- 次のいずれかをクリックします。
- 記録して新規開始:結果を保存し、スイートのすべての Status を未実行に設定して、実際の結果をクリアします。
- 記録のみ:結果を保存し、テストケースの結果はそのまま残します。
サイクルには、各テストケースのステータス、実際の結果、テスト担当者、テスト日、構成、供試体、証拠のファイル名、ステップの結果が保持されます。
後でサイクルを表示、比較、復元、削除するには、スイートカードの ⋯ → Test Cycles… (N) をクリックします。成果物には ⋯ → テストレポート…をクリックします。サイクルのテストレポートを Word、Excel、CSV、または Web ページとして書き出します(ドキュメント生成を参照)。
カバレッジを報告する
- 検証 → RVTMを開きます。
最初のカードには、進捗バー付きで検証済み / 合計が表示されます。ほかのカードは不合格、未実行、計画のみ、未検証を数えます。
幅の広い表を横にスクロールしても、番号と要求の列は表示されたままです。ステータスのチップが(一部の言語で)短縮されている場合は、ポインターを合わせると全文が表示されます。
- 任意:カードをクリックすると、その要求だけが一覧表示されます。
- エクスポート ▾をクリックします。
- Excel(.xlsx)、CSV、Word (.docx) のいずれかを選びます。
実例:CubeSat EO-1 のデモ
プロジェクトを管理 → プロジェクトファイル ▾ → 新しいデモプロジェクトでデモを作成してから、次の操作をします。
- 検証 → RVTMを開きます。
最初のカードには11 / 32 検証済み(合格)と表示されます。ほかのカードは、不合格 3、未実行 12、計画のみ 3、未検証 3 です。
- 1.6 Revisit Time を見つけます。
自身は計画のみです。方法は分析ですが、自身のテストがありません。ステータスは未実行です。ステータスは子から集約されます。
- 1.6.1 Ground Track Repeat は TC-13 で合格しています。
- 1.6.2 Off-Nadir Imaging は TC-14 で検証されますが、TC-14 は未実行です。
最もカバーされていない子は未実行で、これは計画のみより進んでいます。
- 不合格カードをクリックします。
2.1 Pointing Accuracy と 2.2 Pointing Stability は TC-04 Pointing Accuracy Test によって不合格です。4.3 は TC-09 Safe Mode Entry Test によって不合格です。
- 検証 → テストセンターを開きます。
カードには 3 つのスイートに 22 件のテストケースと表示されます。TS-1 Spacecraft Qualification Tests では、TC-04 の行に J. Alvarez · 2026-10-02 10:15 · 📎 tc04-pointing-errors.csv と Issue: Test failure: Pointing Accuracy Test が表示されます。
- TC-04 の行でステップ (3) をクリックします。
ステップ 3 は 0.14 degrees on targets 7, 12 and 18. で不合格になっています。
- TS-1 で ⋯ → Test Cycles… (2) をクリックします。
- Flatsat Cycle 1 → Flatsat Cycle 2 を比較します。
TC-03 と TC-06 が未実行から合格に変わっています。変わった行は強調表示されます。
次に、ウォッチドッグの修正後に TC-09 を再実行します。
- 不合格 (2) のフィルターをクリックし、スイートを実行をクリックします。
実行が TC-04 で開きます。
- スキップをクリックして TC-09 に進みます。
- コンフィギュレーション / ビルドに Flight software 2.3.2 と入力します。
- 実際の結果に Safe mode in 8 seconds と入力します。
- ✔ 合格をクリックします。
- もう一度 RVTM を開きます。
4.3 が合格になり、最初のカードには12 / 32 と表示されます。
最後に、未検証の要求の検証を計画します。
- 検証カバレッジで、2.5 Safe Mode Recovery(未検証)を見つけます。
- T をクリックし、レベル…でシステムを選び、基準を追加します。
- + テストケースをクリックして、そのテストを開始します。
ヒントとよい進め方
- 成功基準は、条件付きの測定可能な数値で書きます。例:Range ≥ 25 km in 3 of 3 flights at 20 °C。要求を言い換えるだけにしないでください。
- リーフ要求を検証し、親は集約に任せます。モデルチェック Requirement.10 は、検証するテストケースのないリーフ要求に印を付けます。親は子を通じてカバーされます。
- 分析、検査、実証であっても、検証イベントごとに 1 つのテストケースを使います。そうすれば、RVTM がすべての方法について証拠を示します。
- 実行のたびに構成を記録します。サイクル間で結果が変わったとき、どのビルドが原因かが実行ログでわかります。
- 不合格のたびに Issue を起票します。モデルチェック TestCase.1 は、リンクした Issue のない不合格のテストケースに印を付けます。
よくある間違い
- 親のテストケースを合格に設定しようとする。親には子の集約されたステータスが表示され、設定できません。結果はリーフに記録します。
- 要求をそのテストに verifies ではなく traced to でリンクする。要求は計画のみまたは未検証のままになります。テストケースの行の + を使うと verifies が作成されます。
- 何も検証しないテストケース。テストセンターでは数えられますが、RVTM では決して数えられません。
他の機能との関係
- データの入力元:
- 出力先:
- RVTM とそのエクスポート
- 不合格に対する Issue。カンバンボードのタスクとして計画できます(プロジェクト管理)
- モデルチェック(Requirement.10、TestCase.1)
- ホームのヘルスカードと検証のバッジ
- ベースラインとレビューパッケージ
- トレーサビリティマトリックス:カバレッジカードのマトリックスで開くで、verified by による要求 × テストケースが開きます。スイートの ⋯ → Open in ▸ トレーサビリティマトリックスで、その階層が開きます。
テストセンター
アドレス:test-center。test-center?root=<id> でテストケースまたはスイートを展開し、そこまでスクロールして選択します(テストケースの開く場所 ▾ → テストセンターで使われます)。
ページヘッダー
| コントロール | Action |
|---|---|
| エクスポート ▾ | RVTM(CSV)、RVTM(Excel)、RVTM(Word)。 |
| + 新規 ▾ | テストスイート…、テストケース…(どのスイートにも属さないテストケース)。 |
| 結果をインポート… | プレビューの後、JUnit XML、CSV、Excel ファイルの結果を一致するテストケースに記録します。ほかのテストシステムから結果をインポートするを参照してください。 |
| スイートを実行 | すべてのリーフテストケース(またはステータスフィルターに一致するものだけ)について実行モードを開きます。テストケースがないときは無効です。 |
ヘルスカードとフィルター
- テストケース:リーフテストケースの数とスイートの数。
- 実行済み:未実行ではないリーフの割合と件数。
- 合格:合格したリーフの割合と件数。
- 不合格:不合格のリーフの数と、ブロック中の数。
カードの下:
- ステータスバー。
- フィルター すべて (N)、未実行、進行中、ブロック中、不合格、合格(それぞれ件数付き)。フィルターをもう一度クリックすると解除されます。
- 右側にスイートの並べ替え:番号順、名前順、更新日順。
- テストケースを検索:番号、名前、説明に一致します。名前が一致するスイートは、すべてのテストケースを表示します。
スイートカード
見出しには、▾/▸(折りたたみ)、スイートのリンク、テストスイートのチップ、集約したステータス、テスト数、サイクル数、小さなステータスバーと、次のものが表示されます。
- + テストケース — このスイートにテストケースを作成します。
- 新しいサイクルを開始… — 結果をサイクルとして記録し、スイートをリセットします(上記を参照)。
- ⋯(スイートのオプション)。項目はテストのワークフローの順に並びます:実行と記録、レポート、開く、そして複製と削除。
| アイテム | Action |
|---|---|
| サイクルを実行… | このスイートのテストケースだけについて、未実行の最初のテストから実行モードを開きます。スイートにテストケースがないときは無効です。 |
| 新しいサイクルを開始… | カードのボタンと同じです:結果をサイクルとして記録し、スイートをリセットします。 |
| Test Cycles… (N) | テストサイクルの一覧を開きます。 |
| テストレポート… | 最新のサイクルでテストレポートを開きます:サイクル(または現在の結果)と形式(既定は Word)を選び、エクスポートをクリックします。 |
| テストケース(Word)… | スイートのテストケースの Word ドキュメントを書き出します。 |
| CSV をエクスポート | <suite>.csv:Number、Name(深さに応じて字下げ)、Description、Set Up、Expected Result、Actual Result、Status、Status Roll-Up、Verifies。 |
| JSON をエクスポート | <suite>.json:スイート、そのテストサイクル、検証する要求付きのテストケースのツリー。 |
| ドキュメントとして開く | スイートをドキュメントとして開きます。 |
| Open in ▸ | 項目ビュー(スイートの項目ビュー)またはトレーサビリティマトリックス(スイートをルートとするマトリックス)。 |
| 複製 | スイートとそのテストケースを、verifies のリンク付きでコピーします(<suite> (Copy))。ステータスは未実行にリセットされ、実際の結果はクリアされます。トースト:<name> として複製しました。 |
| 削除… | テストスイートを削除:スイートを削除します。テストケースも削除するには、Also delete its N test case(s) にチェックを入れます。 |
テストケースの表
| 列 | 内容 |
|---|---|
| 番号 | テストケースの番号。 |
| テストケースと手順 | 名前(項目ビューへのリンク)と説明。子テストケースには ▾/▸。 |
| 期待される結果 | テキスト(最大 3 行。クリックするとボックスで編集)と+ ステップ / ステップ (N)。親では —。 |
| 実際の結果 | テキスト(クリックで編集)。その下に最後の実行のテスト担当者と日付があり、ポインターを合わせると構成と供試体が表示され、証拠ファイルへの 📎 リンクがあります。不合格のテストには Issue: <issue> または+ Issue を作成が表示されます。 |
| ステータス | ステータスのピル(未実行、進行中、ブロック中、不合格、合格)。クリックすると別のものを選べます。テストに結果があると、横に↻ 再実行が表示されます。親には集約したステータスが表示されます。 |
| 検証対象 | 検証する要求(それぞれに ×(Remove verifies、要求にポインターを合わせると表示))と +(Link a requirement this test verifies)。 |
行のフィールド以外の部分をクリックすると、インスペクターにテストケースが表示されます。空のスイート:このスイートにはテストケースがありません。+ テストケースで追加してください。一致なし:フィルターに一致するテストケースはありません。すべて表示するにはフィルターをクリアしてください。
テストステップのダイアログ
タイトル:Test Steps — <test case>。表の列:
- #
- Action(プレースホルダー Do this)
- 期待される結果(Expect this)
- 実際の結果(Observed)
- 合否(—、Pass、Fail)
- ↑(上へ移動)と ×(ステップを除去)
表の下:+ ステップを追加、キャンセル、適用。空のステップは適用時に除外されます。ステップがないとき、ダイアログにはステップはまだありません。ステップのないテストケースは全体として実行されます。と表示されます。
スイート実行のダイアログ
| 構成要素 | 内容 |
|---|---|
| セッション | テスト担当者(Your name)、コンフィギュレーション / ビルド(Build, version or configuration)、供試体(Unit or serial number)、ステージ(Development、Qualification、Acceptance、Integration、Operational)、イベント(例:Thermal vacuum 1)。最初のテストの最後の実行から事前入力されます。ステージとイベントは、記録した各テストに保存されます。 |
| 進捗 | Test N of M、スイート名、進捗バー。 |
| Heading | テストケース、現在のステータス、run N times, last <date>。 |
| 本文 | 手順、Set Up、ステップ(Action、Expected、Actual、Pass/Fail)、期待される結果、実際の結果、日時、証拠(証拠を添付…とファイル名、または Current: <file> / ファイルなし)。複数のファイルを選べます。最初のファイルがテストの証拠になり、ほかは証拠の一覧に追加されます。 |
| ボタン | ‹ 前へ、スキップ、ブロック中、✘ 不合格、✔ 合格。下部に閉じる。 |
テストケース(Word)
- ファイル名:既定値 <suite> Test Cases。
- 属性を選択:番号、説明、Set Up、期待される結果、実際の結果、ステータス、ステータスの集約、検証対象、およびその他すべての Test Case の属性(Tested By、Test Date、Configuration、Test Article、Test Evidence、カスタム属性)。番号、説明、期待される結果、実際の結果、ステータスは既定でチェックされています。
- ダウンロード:タイトルセクション(テストケースの数と作成日)と、テストケースごとに 1 セクションを書き出します。
テストサイクルのダイアログ
タイトル:Test Cycles — <suite>。
- サイクルの表:テストサイクル、保存済み、結果(小さなステータスバーと N/M passed)。各行に表示、レポート…(サイクルのテストレポート)、元に戻す、削除があります。
- 元に戻すでは、「<name>」に保存されたステータスと実際の結果をテストケースに書き戻しますか?と確認されます。
- 比較:2 つの選択欄(任意のサイクルまたは現在の結果)と、テストケース、前、後の表。変わった行は強調表示されます。
- 下部:新しいサイクルを開始…と閉じる。
サイクルがないとき、ダイアログにはテストサイクルはまだありません。「新しいサイクルを開始…」で現在の結果が記録され、スイートがリセットされます。と表示されます。
検証カバレッジ
ページの最後のカードです。検証の計画や、まだテストが必要な要求を見つけるのに使います。
- 見出し:N of M requirements verified by a passing test (P%) とマトリックスで開く。
- ステータスバーとフィルター:未検証 (N)(既定値)、すべて (N)、ステータスごとのフィルター。
- 注記:検証済み = 検証するテストケースが合格。親の要求は、自身の合格したテストがあるか、すべての子要求が検証済みのときに検証済みになります。方法のボタン:分析、実証、検査、テスト。
各行には、左から右へ次のものが表示されます。
- ステータスのピル(自身のステータスが異なるときは、ポインターを合わせると表示)
- 要求のリンクとテストの数
- 方法のボタン A D I T
- レベル…
- + 基準、または基準が設定されると基準 ✓
- + テストケース
最大 300 行が表示され、それを超えると …and N more になります。すべて検証済みのとき、カードにはすべての要求が合格したテストで検証されています。と表示されます。
証拠ファイル
テストケースの下の証拠 (n) で、その証拠の一覧が開きます。実行時のログ、写真、データシートはすべてテストと一緒に保管します。
- ファイルを追加…で、1 つ以上のファイルを添付します。1 回の元に戻すですべて取り消せます。
- 各ファイルは Verification Evidence ラベルの付いた Artifact で、ファイルを保持し、テストケースがそれを references します。
- ダウンロードでファイルを保存し、除去でその Artifact を削除します。
ステータスの下には、設定されていれば、テストケースの Verification Stage と Verification Event が表示されます。
Issue を作成
+ Issue を作成は、不合格のテストの行と実行モードに表示されます。次のような Issue を作成します。
- 名前は Test failure: <test case>、ステータスは Open
- 説明には期待される結果と実際の結果が入る
- テストケース(causes または related to)と、テストが検証する各要求にリンクされる
トーストには Issue <name> を作成しましたと表示されます。
正式プログラムがオンのとき、不合格のテストには代わりに処置…が表示されます。不適合と、必要なら特別採用を記録します。正式プログラム を参照してください。
RVTM
アドレス:rvtm。rvtm?status=<status> と ?q=<text> も使えます。
ページヘッダー
| コントロール | Action |
|---|---|
| エクスポート ▾ | Excel(.xlsx)(RVTM.xlsx)、CSV(RVTM.csv)、または Word (.docx)(Requirements Verification Traceability Matrix、要求ごとにその文を含む 1 セクション)。 |
| テストセンター | テストセンターを開きます。 |
3 つのエクスポートすべてに、Requirement Number、Requirement、Verification Method、Verification Level、Success Criteria、Verified By(各テストケースとその集約したステータス)、Own Status、Status(集約)、Verification Stage、Verification Event が含まれます。正式プログラムがオンのときは、Deviations and Waivers と Closure が加わります。
カード
検証済み(合格)には、進捗バー付きで検証済み / 合計が表示されます。不合格、未実行、計画のみ、未検証には件数が表示されます。
RVTM には、プロジェクト自身の要求が一覧表示されます。Customer Specification ラベルの付いたドキュメント内の要求は、行と合計から除外されます。それらは適合性マトリックスで、それに応えるあなたの要求の検証とともに評価されます。
カードをクリックすると表が絞り込まれます(これらだけを表示しています。クリックするとすべて表示します。)。チップ Status: <status> × をクリックすると絞り込みが解除されます。
表
| 列 | 内容 |
|---|---|
| # | 要求の番号。 |
| 要求 | 名前(項目ビューへのリンク)。名前の後の ⚠ は、要求のリンクのいずれかにレビューが必要であることを示します:要求が変更されたか、その上流の項目が変更されました。 |
| 手法 | 検証方法、または —。 |
| レベル | Verification Level、または —。 |
| 検証するもの | 検証するテストケース、またはテストなし。テストケースの後の ⚠ は、その検証リンクにレビューが必要であることを示します。ツールチップに、何がいつ変わったかが表示されます。 |
| ステージ | 検証するテストケースの検証ステージ、または —。 |
| 証拠 | テストケースの証拠ファイルの数と、要求を直接検証するレポートの数。クリックすると、分析などのレポートを追加できます。 |
| 自身 | 自身のステータス。 |
| ステータス | 集約したステータス。 |
| 逸脱/特別採用 | 正式プログラムのみ。要求に対する逸脱と特別採用とそのステータス、または不合格の結果には処置…。 |
| クローズ | 正式プログラムのみ。サインオフ…、名前と日付付きの Closed と再開、または Open。正式プログラム を参照してください。 |
RVTM | VCRM で表を切り替えます。VCRM(検証クロスリファレンスマトリックス)は計画のビューです:I、A、D、T の列で方法(検査、分析、実証、テスト)を示し、続いてレベル、ステージ、イベント、検証元、ステータスが並びます。
番号または名前で絞り込みで行を絞り込みます。行をクリックする(または Enter を押す)と、インスペクターに要求が表示されます。
要求の ⚠ にポインターを合わせると、リンクが最後にレビューされてから変更された項目がわかります。クリックすると Links to Review — <requirement> ダイアログが開きます:要求の両端でレビューが必要なすべてのリンクが、差分とレビュー済みにする…付きで表示され、一覧全体にはレビュー待ちのリンクがあります(レビュー待ちのリンク)。エクスポートには要確認のフラグは含まれません。ステータスの列には検証結果だけが入ります。
ショートカット
| キー | 場所 | Action |
|---|---|---|
| Enter / Space | RVTM の行 | インスペクターに要求を表示 |
| ↑ / ↓ | RVTM | 行間を移動 |
| Esc | RVTM | 選択を解除する |
| ⌘K / Ctrl+K | どこでも | Export RVTM (Excel) などのアクションを検索 |
メッセージ
| メッセージ | 意味 |
|---|---|
| 名前または番号が必要です | どちらもないスイートを作成した。 |
| 実行するものがありません:一致するテストケースがありません。テストケースを追加するか、ステータスフィルターをクリアしてください。 | スイートを実行で、フィルターに一致するリーフテストケースが見つからなかった。 |
| テストサイクルを保存しました / テストサイクルを保存しました。ステータスを未実行にリセットしました | 記録のみ / 記録して新規開始。 |
| テストケース <name> を作成しました | カバレッジカードの+ テストケース。 |
| <file>(名前のみ:10 MB 超) | 証拠ファイルがファイルごとの上限(Free プランで 10 MB、10 × 1,048,576 バイトとして計算)を超えています。名前だけが記録されます。 |
| このプロジェクトには要求がありません。要求を書くかインポートしてから、「verified by」でテストケースをリンクしてください。 | RVTM が空。 |
| このフィルターに一致する要求はありません。すべての要求を表示するには、フィルターをクリアしてください。 | RVTM のフィルターで、すべての行が非表示になっている。 |
| このテストケースを作成するには、チェックボックスにチェックを入れてください。 | 「テストケースを生成」で AI の下書きに Web アドレスが見つかった。作成する前に確認します。 |
制限事項
- テストの証拠ファイル:Free プランでは 1 ファイルあたり 10 MB(10,485,760 バイト)、有料プランでは 25 MB(26,214,400 バイト)。これより大きいファイルは名前だけが記録されます。証拠はプロジェクトのストレージに含まれます(ストレージと制限を参照)。
- カバレッジカードには、現在のフィルターの最初の 300 件の要求が表示されます。
- テストケースに保持される証拠ファイルは、テストケースごとに 1 つ(最新のもの)です。実行ログには各実行の証拠ファイル名が残ります。
関連
- ガイド:要求検証マトリックス(RVTM):列、方法、実例(RVTM の背後にある方法)。
- インターフェース — インターフェース要求と ICD。
- 予算と TPM — しきい値に対する性能を追跡する Measure。
- プロジェクト管理 — 不合格のテストの修正を計画します。
- ヘルプ:検証を設定し、スイートを実行して RVTM を作成、RVTM、テストセンター、トレーサビリティマトリックス、モデルチェック、シミュレーションを行い要求と照合。