Holarch

驗證

驗證

規劃每項需求的驗證方式、將測試案例組織成套件、以步驟結果與證據執行測試、儲存測試週期,並在 RVTM 中報告涵蓋範圍。

使用方式 →

本頁內容
  1. 概觀
  2. 概念
    1. 驗證規劃屬性
    2. Verification Requirement (LML 2.0)
    3. 測試案例與測試套件
    4. 需求驗證狀態
    5. 測試週期
  3. 使用方式
    1. 使用時機與原因
    2. 規劃每項需求的驗證
    3. 建立測試套件和測試案例
    4. 撰寫逐步程序
    5. 建立測試案例的其他方式
    6. 執行測試並記錄結果
    7. 從其他測試系統匯入結果
    8. 儲存測試週期
    9. 報告涵蓋率
    10. 實例演練:CubeSat EO-1 示範
    11. 提示與良好做法
    12. 常見錯誤
    13. 與其他功能的關聯
  4. 測試中心
    1. 頁首
    2. 健康狀態卡片和篩選
    3. 套件卡片
    4. 測試案例表格
    5. 測試步驟對話方塊
    6. 執行套件對話方塊
    7. 測試案例 (Word)
    8. 測試週期對話方塊
    9. 驗證涵蓋率
    10. 證據檔案
    11. 建立 Issue
  5. RVTM
    1. 頁首
    2. 卡片
    3. 表格
  6. 快速鍵
  7. 訊息
  8. 限制
  9. 相關內容

概觀

驗證要為每項需求回答一個問題:什麼證據顯示它已被滿足?

Holarch 將驗證的所有內容都保存在與需求相同的模型中:

  • 計畫:驗證方法、層級和成功準則
  • 執行計畫的測試案例
  • 每次執行的結果
  • 所得的涵蓋率

由於所有內容都位於同一個模型中,涵蓋率報告永遠是最新的。

導覽列中的驗證群組包含:

頁面用途
RVTM需求驗證可追溯性矩陣:每項需求及其方法、層級、驗證的測試案例、自身結果和彙總結果。
測試中心測試套件和測試案例、逐步程序、含證據的測試執行、測試週期,以及需求驗證涵蓋率。
可追溯性矩陣以格線呈現任何關係,例如需求 × 測試案例。請參閱可追溯性矩陣。
模型檢查整個模型的規則檢查,包括未驗證的末端需求和沒有 Issue 的失敗測試。請參閱模型檢查。

驗證上的導覽列徽章會計算失敗的測試和模型檢查錯誤。

概念

驗證規劃屬性

每個 Requirement 都有三個規劃屬性:

屬性數值意義
Verification MethodAnalysis、Demonstration、Inspection、Test(任意組合)需求的驗證方式。
Verification LevelComponent、Subsystem、System驗證所在的組裝層級。
Success Criteria文字顯示需求已被滿足的可量測結果。

需求的標籤包含相符的 Verification Method 標籤(Analysis、Demonstration、Inspection、Test)。設定屬性或標籤時,會作為同一個變更的一部分更新另一者,一次復原即可同時撤回兩者。因此使用標籤的匯入專案,其行為與使用屬性的專案相同。

Verification Requirement (LML 2.0)

Verification Requirement 是一個 Statement,說明在需求被視為已滿足之前,必須證明什麼以及如何證明。這是 LML 2.0 將驗證計畫保存在其專屬項目、而非需求上的方式。它具有:

屬性意義
Verification MethodAnalysis、Demonstration、Inspection、Test(任意組合;可在結構描述中新增更多方法)。
Acceptance Criteria驗證必須達到的結果。
證據要收集並移交的紀錄種類,例如測試報告或檢驗紀錄。
理由選擇此方法、這些準則和此證據的原因。

以 verifies 將它關聯到其涵蓋的需求(或資產),並以 traced to 關聯到執行它的測試案例。RVTM 接著會將這些測試案例計為驗證該需求、在需求本身沒有方法和驗收準則時從 Verification Requirement 取得,並在 Verified By 下列出該 Verification Requirement。

兩種形式可以並存:直接驗證需求的測試案例(LML 1.x 形式)的計算方式與以往完全相同,需求上的 Verification Requirement 標籤也仍可使用。

測試案例也可以用 evaluates(從資產的角度:evaluated by)指名受測資產。

在這些新增功能之前建立的專案會保留其結構描述;結構描述 → 新增內建項目…會為它們新增 Verification Requirement 類別和 evaluates 關係。

測試案例與測試套件

Test Case 透過 verifies 關係(從需求的角度:verified by)驗證需求。測試案例具有:

  • Description:程序。
  • Set Up、Expected Result、Actual Result。
  • Event Conditions(測試執行時的條件,例如環境、模式或模擬負載)和 Event Constraints(測試事件的限制,例如獨立見證人、保留點或抽樣規則)。填入時,執行對話方塊會顯示它們,套件 CSV 匯出也各有一欄。
  • evaluates:受測資產。
  • 狀態:未執行、進行中、已封鎖、未通過或通過。
  • 步驟:選用的編號程序,每個步驟都有 Action、Expected Result、Actual Result 和 Pass/Fail。
  • 執行證據,由每次記錄的執行寫入:測試人員、測試日期、組態(受測的版本或建置)、受測件(單元或序號)和測試證據(一個檔案)。
  • 執行記錄:每次記錄的執行,含日期、狀態、測試人員、組態、受測件、實際結果、證據檔案名稱和步驟結果。

測試案例可以分解為子測試案例。父項的狀態由其末端項目彙總而來。第一個符合的規則優先:

  1. 任何末端項目未通過時為未通過。
  2. 任何末端項目被封鎖時為已封鎖。
  3. 所有末端項目都通過時為通過。
  4. 沒有任何末端項目執行時為未執行。
  5. 其他情況為進行中。

測試套件是一個具有 Test Suite 標籤的 Artifact。它透過 source of(匯入的資料中為 referenced by)包含其測試案例。不屬於任何套件的測試案例會顯示在不屬於任何套件的測試案例下。

需求驗證狀態

每項需求都會從其驗證測試案例(直接驗證它的測試案例,以及從其 Verification Requirement 追溯的測試案例)取得自身狀態:

自身狀態規則
未通過某個驗證的測試案例失敗。
通過有驗證測試案例通過(且沒有任何未通過)。
未執行有驗證測試案例,但都尚未通過或未通過。
僅已計畫沒有測試案例,但已設定 Verification Method(在需求上或其某個 Verification Requirement 上)。
未驗證沒有測試案例,也沒有 Verification Method。

彙總狀態依循分解(decomposed by)。對於父需求:

  • 當它有自己通過的測試,或其所有子需求都為通過時,它為通過。
  • 當它下方任何地方有失敗時,它為未通過。
  • 否則它會採用其自身狀態或其涵蓋程度最低之子項的狀態,以進度較前者為準。順序為未驗證 → 僅已計畫 → 未執行。

已驗證一律表示通過。

測試週期

測試週期是套件結果的已儲存快照:每個末端測試案例的狀態和實際結果。在每次測試活動結束時儲存一個,然後將套件重設為未執行,以進行下一次活動。您可以將週期彼此比較或與目前結果比較,也可以還原到某個週期。

使用方式

使用時機與原因

在撰寫需求時就規劃驗證,而不是在設計建立之後。如果您無法說明需求的方法和成功準則,該需求以其目前的寫法通常就無法驗證。

一般流程:

  1. 需求分析:在每項需求上設定 Verification Method、Level 和 Success Criteria。
  2. 設計:撰寫測試案例,並將它們關聯到所驗證的需求。分析、示範和檢驗紀錄也是測試案例。
  3. 整合與測試:執行測試案例,並記錄結果和證據。為失敗建立 Issue。每次測試活動儲存一個測試週期。
  4. 審查與驗收:以 RVTM 報告涵蓋率。

規劃每項需求的驗證

為每項需求指定方法、層級和成功準則。請在測試中心的涵蓋率卡片中進行。

  1. 開啟驗證 → 測試中心。
  2. 捲動到驗證涵蓋率。

您會看到每項尚未驗證的需求。

  1. 在某一列上,按一下方法按鈕以切換方法:A(Analysis)、D(Demonstration)、I(Inspection)、T(Test)。

需求會從未驗證變為僅已計畫。

  1. 在等級…中選擇層級:Component、Subsystem 或 System。
  2. 按一下 + 準則。
  3. 輸入可量測的結果,然後按一下儲存。

按鈕現在顯示準則 ✓。

您也可以在任何需求的屬性面板中編輯這些屬性。

建立測試套件和測試案例

  1. 在頁首中,按一下 + 新增 ▾ → 測試套件…。
  2. 輸入編號(例如 TS-3)、名稱和說明。
  3. 按一下建立。

您會看到一張新的套件卡片。

  1. 在套件卡片上,按一下 + 測試案例。
  2. 在建立項目中,為測試案例命名。

測試案例會以未執行狀態新增到套件中。

  1. 在測試案例列中,按一下驗證欄中的 +。
  2. 挑選測試案例所驗證的需求。
  3. 在該列中輸入預期結果。
  4. 在測試案例的描述中(在屬性面板或項目檢視中)撰寫程序。

撰寫逐步程序

步驟是選用的。沒有步驟的測試案例會整體執行。

  1. 在測試案例列中,按一下 + 步驟。
  2. 針對每個步驟按一下 + 新增步驟。
  3. 為每個步驟填入動作和預期結果。
  4. 以 ↑ 重新排序,以 × 移除步驟。
  5. 按一下套用。

按鈕現在顯示步驟 (N)。

建立測試案例的其他方式

  • 從涵蓋率卡片:在驗證涵蓋率中,按一下需求列上的 + 測試案例。它會在不屬於任何套件的測試案例下建立 Verify <requirement name>,並已關聯到該需求。
  • 使用 AI:在文件中或其項目檢視中選取一項需求。選擇 ✦ AI ▾ → 產生測試案例…。AI 會草擬名稱、依序的步驟、設定、預期結果和方法。在審查測試案例 — <requirement>中審查草稿,然後按一下建立測試案例。請參閱 AI。

執行測試並記錄結果

執行模式會一次一個地引導您完成測試,並記錄每個結果及其證據。

  1. 選用:若只要執行部分測試,請按一下狀態篩選條件,例如未執行 (12)。只會執行具有該狀態的末端測試案例。
  2. 在頁首中,按一下執行套件。

執行套件對話方塊會在第一個未執行的測試上開啟。

  1. 填寫一次工作階段欄位:測試人員(預設為您的名稱)、組態 / 版本和受測件。在以所有組態檢視的產品線中,請先選擇記錄結果:測試執行所在的組態,或無組態。✔ 通過、✘ 未通過和已封鎖會等到您選擇後才能使用(產品線)。
  2. 閱讀測試的程序、設定、步驟和預期結果。
  3. 執行測試。針對每個步驟,填入實際值並選擇通過/未通過。
  4. 描述實際結果。
  5. 檢查日期和時間。
  6. 按一下附加證據…以新增記錄、資料檔案或照片。
  7. 按一下 ✔ 通過、✘ 未通過或已封鎖。

對話方塊會移到下一個測試。若要移動而不記錄,請按一下略過。若要返回,請按一下 ‹ 上一個。

  1. 在 ✘ 未通過之後,按一下 + 建立 Issue,然後按一下下一個 ›。

對話方塊會顯示已記錄。請建立 Issue 以追蹤此失敗;它會關聯到此測試案例及其所驗證的需求。

  1. 針對每個測試重複步驟 4 到 10。

結束時,執行完成會顯示一個含計數的狀態列。從頭審查會返回第一個測試。

每個記錄的結果都能以一次復原撤回。它會執行下列所有動作:

  • 更新測試案例的 Status、Actual Result、Tested By、Test Date、Configuration、Test Article 和 Test Evidence
  • 儲存步驟結果
  • 在測試的執行記錄中新增一筆項目

若要在不使用執行模式的情況下記錄結果,請按一下測試案例列中的狀態(例如未執行)並選擇新的狀態,然後按一下實際結果文字並輸入結果。在焦點所在的值上按 Enter 或 F2 也會開啟它;Escape 會保持不變。

若要再次執行測試,請按一下其列中的 ↻ 重新執行(測試有結果後才會顯示)。執行對話方塊只會針對該測試開啟,且不會將它設回未執行;新結果會加入其執行記錄,排在先前的執行旁。

從其他測試系統匯入結果

當測試在其他地方執行(例如自動化測試設備或 CI 管線)時,請匯入其結果,而不是手動輸入。Holarch 可讀取 JUnit XML 報告(大多數測試執行器和 CI 系統都會產生)、CSV 檔案和 Excel 活頁簿 (.xlsx)。

  1. 在頁首中,按一下匯入結果…。
  2. 按一下選擇檔案…並挑選結果檔案。
  3. 選擇要比對哪些測試案例:在以下位置比對測試案例(全部,或某個套件)和比對依據(編號,然後名稱、編號、名稱或全域 ID)。
  4. 對於 CSV 或 Excel 檔案,請檢查 Holarch 從標題列推測的欄:測試案例欄和狀態欄為必要;實際結果、日期、測試人員、組態和受測件欄為選用。
  5. 選用:針對檔案未提供的內容,填寫測試人員、測試日期、組態 / 版本和受測件。
  6. 檢查預覽:每個比對到的測試案例及其狀態變更,以及沒有比對到任何測試案例、比對到多個測試案例或被略過的列。
  7. 按一下記錄 N 個結果。

所有結果都會被記錄,一次復原即可全部撤回。每個結果都會更新測試案例的 Status、Tested By、Test Date、Configuration 和 Test Article,並在其執行記錄中新增一筆註明該檔案的項目。不會建立任何新項目。

  • 狀態字詞:pass、passed、ok 和 success 記錄為通過;fail、failed、failure 和 error 記錄為未通過;blocked、in progress 和 not run 記錄為對應的狀態。略過的測試(JUnit <skipped>,或狀態欄中為 skipped)保持不變。
  • 實際結果:JUnit 失敗訊息或實際結果欄會成為實際結果。沒有時,實際結果維持原樣。
  • 重複的測試案例:當檔案兩次提到同一個測試案例時,後面的列優先;前面的列會列為已略過。
  • 父測試案例:有子測試案例的測試案例不會被記錄;其狀態由其子項彙總而來。

若要在不開啟 Holarch 的情況下從 CI 管線記錄結果,請將結果傳送到 REST API(POST …/test-results),或讓 AI 用戶端以 MCP 工具 record_test_results 提議結果。兩者記錄結果的方式都與匯入結果…相同,包括執行記錄項目(測試結果)。

儲存測試週期

在測試活動結束時儲存一個週期。

  1. 在套件卡片上,按一下開始新週期…(或 ⋯ → 開始新週期…)。
  2. 在開始新的測試週期中,為週期命名(預設為 Test Cycle N)。
  3. 檢查組態 / 版本和受測件。兩者一開始都是此次執行中最常記錄的值;它們會列印在該週期的測試報告中。
  4. 按一下下列其中之一:
    • 記錄並開始新週期:儲存結果,然後將套件中的每個狀態設為未執行,並清除實際結果。
    • 僅記錄:儲存結果,並將它們保留在測試案例上。

週期會保留每個測試案例的狀態、實際結果、測試人員、測試日期、組態、受測件、證據檔案名稱和步驟結果。

若之後要檢視、比較、還原或刪除週期,請按一下套件卡片上的 ⋯ → 測試週期… (N)。若要產生交付文件,請按一下 ⋯ → 測試報告…:它會將該週期的測試報告寫成 Word、Excel、CSV 或網頁(請參閱文件產生)。

報告涵蓋率

  1. 開啟驗證 → RVTM。

第一張卡片以進度列顯示已驗證 / 總數。其他卡片計算未通過、未執行、僅已計畫和未驗證。

寬表格橫向捲動時,編號和需求欄會保持在檢視中。狀態標記為了容納而縮短時(在某些語言中),將指標移到其上即可查看完整文字。

  1. 選用:按一下卡片即可只列出那些需求。
  2. 按一下匯出 ▾。
  3. 選擇 Excel (.xlsx)、CSV 或 Word (.docx)。

實例演練:CubeSat EO-1 示範

以管理專案 → 專案檔案 ▾ → 新增示範專案建立示範專案,然後:

  1. 開啟驗證 → RVTM。

第一張卡片顯示 11 / 32 已驗證(通過)。其他卡片顯示 3 未通過、12 未執行、3 僅已計畫和 3 未驗證。

  1. 找到 1.6 Revisit Time。

自身為僅已計畫:方法是 Analysis,但它沒有自己的測試。狀態為未執行。狀態由其子項彙總而來:

  • 1.6.1 Ground Track Repeat 由 TC-13 判定為通過。
  • 1.6.2 Off-Nadir Imaging 由 TC-14 驗證,而 TC-14 為未執行。

涵蓋程度最低的子項為未執行,其進度比僅已計畫更前。

  1. 按一下未通過卡片。

2.1 Pointing Accuracy 和 2.2 Pointing Stability 因 TC-04 Pointing Accuracy Test 而未通過。4.3 因 TC-09 Safe Mode Entry Test 而未通過。

  1. 開啟驗證 → 測試中心。

卡片顯示 3 個套件中有 22 個測試案例。在 TS-1 Spacecraft Qualification Tests 中,TC-04 列顯示 J. Alvarez · 2026-10-02 10:15 · 📎 tc04-pointing-errors.csv 和 Issue: Test failure: Pointing Accuracy Test。

  1. 在 TC-04 列中,按一下步驟 (3)。

步驟 3 未通過,結果為 0.14 degrees on targets 7, 12 and 18.

  1. 在 TS-1 上,按一下 ⋯ → 測試週期… (2)。
  2. 比較 Flatsat Cycle 1 → Flatsat Cycle 2。

TC-03 和 TC-06 從未執行變為通過。變更的列會醒目提示。

現在,在看門狗修正後重新執行 TC-09:

  1. 按一下未通過 (2) 篩選條件,然後按一下執行套件。

執行會在 TC-04 上開啟。

  1. 按一下略過以前往 TC-09。
  2. 輸入 Flight software 2.3.2 作為組態 / 版本。
  3. 輸入 Safe mode in 8 seconds 作為實際結果。
  4. 按一下 ✔ 通過。
  5. 再次開啟 RVTM。

4.3 現在為通過,第一張卡片顯示 12 / 32。

最後,為一項未驗證的需求制定計畫:

  1. 在驗證涵蓋率中,找到 2.5 Safe Mode Recovery(未驗證)。
  2. 按一下 T,在等級…中選擇 System,然後新增準則。
  3. 按一下 + 測試案例以開始其測試。

提示與良好做法

  • 將成功準則寫成附條件的可量測數字,例如 Range ≥ 25 km in 3 of 3 flights at 20 °C。不要重述需求。
  • 驗證末端需求,並讓父項自動彙總。模型檢查 Requirement.10 會標示沒有驗證測試案例的末端需求。父項會透過其子項取得涵蓋。
  • 每個驗證事件使用一個測試案例,即使是 Analysis、Inspection 和 Demonstration 也一樣。如此 RVTM 就會為每種方法顯示證據。
  • 每次執行都記錄組態。當結果在週期之間變更時,執行記錄會顯示是哪個版本造成的。
  • 為每個失敗建立 Issue。模型檢查 TestCase.1 會標示沒有關聯 Issue 的未通過測試案例。

常見錯誤

  • 嘗試將父測試案例設為通過。父項顯示其子項的彙總狀態,無法設定。請在末端項目上記錄結果。
  • 以 traced to 而非 verifies 將需求關聯到其測試。需求會停留在僅已計畫或未驗證。請使用測試案例列中的 +,它會建立 verifies。
  • 未驗證任何項目的測試案例。它會計入測試中心,但永遠不會計入 RVTM。

與其他功能的關聯

  • 資料來源:
    • 需求及其分解(需求)
    • Conduit 上的介面需求(介面)
    • 模擬結果,可透過 Measure 驗證需求(模擬)
  • 輸出至:
    • RVTM 及其匯出
    • 失敗的 Issue,您可以在看板上將它們規劃為工作(專案管理)
    • 模型檢查(Requirement.10、TestCase.1)
    • 首頁健康狀態卡片和驗證徽章
    • 基準線和審查套件
  • 可追溯性矩陣:涵蓋率卡片上的在矩陣中開啟會以 verified by 開啟需求 × 測試案例;套件的 ⋯ → 開啟位置 ▸ 可追溯性矩陣會開啟其階層。

測試中心

網址:test-center;test-center?root=<id> 會展開、捲動到並選取一個測試案例或套件(測試案例上的開啟位置 ▾ → 測試中心使用此網址)。

控制項動作
匯出 ▾RVTM(CSV)、RVTM(Excel)、RVTM(Word)。
+ 新增 ▾測試套件…、測試案例…(未指派的測試案例)。
匯入結果…預覽後,將 JUnit XML、CSV 或 Excel 檔案中的結果記錄到相符的測試案例上。請參閱從其他測試系統匯入結果。
執行套件為每個末端測試案例(或只為符合狀態篩選條件者)開啟執行模式。沒有測試案例時停用。

健康狀態卡片和篩選

  • 測試案例:末端測試案例的數量,以及套件的數量。
  • 已執行:狀態不是未執行之末端項目的百分比和數量。
  • 通過:通過之末端項目的百分比和數量。
  • 未通過:未通過之末端項目的數量,以及已封鎖的數量。

卡片下方:

  • 一個狀態列。
  • 篩選條件全部 (N)、未執行、進行中、已封鎖、未通過和通過,各附其數量。再按一下篩選條件即可清除它。
  • 右側是套件排序:依編號、依名稱或依修改日期。
  • 搜尋測試案例:比對編號、名稱或描述。名稱符合的套件會顯示其所有測試案例。

套件卡片

標頭顯示 ▾/▸(摺疊)、套件連結、測試套件標記、彙總狀態、測試數、週期數、迷你狀態列,以及:

  • + 測試案例 — 在此套件中建立測試案例。
  • 開始新週期… — 將結果記錄為週期並重設套件(見上文)。
  • ⋯(套件選項)。項目依循測試工作流程排列:執行和記錄、報告、開啟,然後是複製和刪除。
項目動作
執行週期…只為此套件的測試案例開啟執行模式,從第一個未執行的測試案例開始。套件沒有測試案例時停用。
開始新週期…與卡片上的按鈕相同:將結果記錄為週期,然後重設套件。
測試週期… (N)開啟測試週期清單。
測試報告…以最新的週期開啟 Test Report:選擇週期(或目前結果)和格式(預設為 Word),然後按一下匯出。
測試案例 (Word)…撰寫套件測試案例的 Word 文件。
匯出 CSV<suite>.csv:Number、Name(依深度縮排)、Description、Set Up、Expected Result、Actual Result、Status、Status Roll-Up、Verifies。
匯出 JSON<suite>.json:套件、其測試週期,以及含已驗證需求的測試案例樹。
以文件開啟將套件以文件開啟。
開啟於 ▸項目檢視(套件的項目檢視)或可追溯性矩陣(以套件為根的矩陣)。
複製副本複製套件及其測試案例(<suite> (Copy))以及其 verifies 關聯,狀態重設為未執行,實際結果清除。快顯通知:已複製為 <name>。
刪除…刪除測試套件:刪除套件;勾選同時刪除其 N 個測試案例即可一併刪除它們。

測試案例表格

欄內容
編號測試案例編號。
測試案例和程序名稱(連結到項目檢視)和描述;子測試案例有 ▾/▸。
預期結果文字(最多三行;按一下即可在方塊中編輯),以及 + 步驟 / 步驟 (N)。父項顯示 —。
實際結果文字(按一下即可編輯);其下方是上次執行的測試人員和日期,滑鼠停留時顯示組態和受測件,並有指向證據檔案的 📎 連結。未通過的測試會顯示 Issue: <issue> 或 + 建立 Issue。
狀態狀態標記(未執行、進行中、已封鎖、未通過、通過);按一下即可選擇其他狀態。測試有結果後,旁邊會出現 ↻ 重新執行。父項顯示彙總狀態。
驗證已驗證的需求,每項都有 ×(移除 verifies,將指標移到需求上時顯示),以及 +(關聯此測試所驗證的需求)。

按一下列中欄位以外的位置,即可在屬性面板中顯示該測試案例。空白套件:此套件沒有測試案例。請以 + 測試案例新增一個。沒有相符項目:沒有測試案例符合篩選條件。請清除篩選條件以查看全部。

測試步驟對話方塊

標題:Test Steps — <test case>。表格欄:

  • #
  • 動作(預留位置文字 Do this)
  • 預期結果(Expect this)
  • 實際結果(Observed)
  • 通過/未通過(—、Pass、Fail)
  • ↑(上移)和 ×(移除步驟)

表格下方:+ 新增步驟、取消和套用。套用時會捨棄空白步驟。沒有步驟時,對話方塊會顯示尚無步驟。沒有步驟的測試案例會整體執行。

執行套件對話方塊

組成內容
工作階段測試人員(Your name)、組態 / 版本(Build, version or configuration)、受測件(Unit or serial number)、階段(Development、Qualification、Acceptance、Integration、Operational)和事件(例如 Thermal vacuum 1)。預先填入第一個測試上次執行的值;階段和事件會儲存在您記錄的每個測試上。
進度Test N of M、套件名稱和進度列。
Heading測試案例、目前狀態,以及 run N times, last <date>。
內文程序、設定、步驟(Action、Expected、Actual、Pass/Fail)、預期結果、實際結果、日期和時間、證據(附加證據…和檔案名稱,或 Current: <file> / No file)。您可以挑選多個檔案:第一個會成為測試的證據,其他則加入其證據清單。
按鈕‹ 上一個、略過、已封鎖、✘ 未通過、✔ 通過;底部有關閉。

測試案例 (Word)

  • 檔案名稱:預設為 <suite> Test Cases。
  • 選擇屬性:編號、說明、設定、預期結果、實際結果、狀態、狀態彙總、驗證,以及其他所有 Test Case 屬性(Tested By、Test Date、Configuration、Test Article、Test Evidence 和自訂屬性)。Number、Description、Expected Result、Actual Result 和 Status 預設為勾選。
  • 下載:寫入一個標題章節(測試案例數和產生日期),以及每個測試案例一個章節。

測試週期對話方塊

標題:Test Cycles — <suite>。

  • 週期表格:測試週期、已儲存和結果(迷你狀態列和 N/M passed),每一列都有檢視、報告…(該週期的測試報告)、還原和刪除。
  • 還原會詢問要將「<name>」中儲存的狀態和實際結果寫回測試案例嗎?
  • 比較:兩個選取器(任何週期或目前結果),以及含測試案例、之前和之後的表格。變更的列會醒目提示。
  • 底部:開始新週期…和關閉。

沒有週期時,對話方塊會顯示尚無測試週期。「開始新週期…」會記錄目前結果並重設套件。

驗證涵蓋率

頁面上的最後一張卡片。用它規劃驗證,並找出仍需要測試的需求。

  • 標題:N of M requirements verified by a passing test (P%),含在矩陣中開啟。
  • 狀態列和篩選條件:未驗證 (N)(預設)、全部 (N),以及每種狀態一個篩選條件。
  • 註記:已驗證 = 有驗證測試案例通過。當父需求有自己通過的測試,或其所有子需求都已驗證時,父需求即為已驗證。方法按鈕:Analysis、Demonstration、Inspection、Test。

每一列由左至右顯示:

  • 狀態標記(若自身狀態不同,將指標移到其上即可查看)
  • 需求連結和測試數
  • 方法按鈕 A D I T
  • 等級…
  • + 準則,或設定準則後的準則 ✓
  • + 測試案例

最多顯示 300 列,之後顯示 …and N more。全部都已驗證時,卡片會顯示每項需求都已由通過的測試驗證。

證據檔案

測試案例下方的證據 (n)會開啟其證據清單。請將執行中的每份記錄、照片和資料表都與測試一起保存。

  • 新增檔案…會附加一個或多個檔案,一次復原即可全部撤回。
  • 每個檔案都是標籤為 Verification Evidence 的 Artifact,內含該檔案,並由測試案例 references。
  • 下載會儲存檔案;移除會刪除其 Artifact。

設定後,測試案例會在狀態下方顯示其 Verification Stage 和 Verification Event。

建立 Issue

+ 建立 Issue 會出現在未通過的測試上,包括在列中和執行模式中。它會建立一個 Issue:

  • 名為 Test failure: <test case>,狀態為 Open
  • 描述包含預期結果和實際結果
  • 關聯到該測試案例(causes 或 related to),以及該測試所驗證的每項需求

快顯通知顯示已建立 Issue <name>。

開啟正式計畫時,未通過的測試會改為顯示處置…。它會記錄不符合事項,並在需要時記錄特採。請參閱正式計畫。

RVTM

網址:rvtm,以及 rvtm?status=<status> 和 ?q=<text>。

頁首

控制項動作
匯出 ▾Excel (.xlsx)(RVTM.xlsx)、CSV(RVTM.csv)或 Word (.docx)(Requirements Verification Traceability Matrix,每項需求一個章節,含其陳述)。
測試中心開啟測試中心。

三種匯出都包含 Requirement Number、Requirement、Verification Method、Verification Level、Success Criteria、Verified By(每個測試案例及其彙總狀態)、Own Status、Status(彙總)、Verification Stage 和 Verification Event。開啟正式計畫時,另加 Deviations and Waivers 和 Closure。

卡片

已驗證(通過)以進度列顯示已驗證 / 總數。未通過、未執行、僅已計畫和未驗證顯示數量。

RVTM 會列出專案自己的需求。標籤為 Customer Specification 之文件中的需求不會列入其列和總計;符合性矩陣會評估它們,並附上回應它們之您的需求的驗證。

按一下卡片即可篩選表格(只顯示這些。按一下以顯示全部。)。按一下 Status: <status> × 標記即可清除篩選。

表格

欄內容
#需求編號。
需求名稱,連結到項目檢視。名稱後的 ⚠ 表示該需求的某個關聯需要審查:需求已變更,或其上游項目已變更。
方法驗證方法,或 —。
層級Verification Level,或 —。
Verified by驗證的測試案例,或 No test。測試案例後的 ⚠ 表示其驗證關聯需要審查;工具提示會顯示變更的內容和時間。
階段驗證測試案例的驗證階段,或 —。
證據測試案例的證據檔案數,加上直接驗證該需求的報告數。按一下即可新增報告,例如分析報告。
自身自身狀態。
狀態彙總狀態。
偏離/特採僅限正式計畫。針對該需求的偏離和特採及其狀態,或未通過結果的處置…。
結案僅限正式計畫。簽核…、附名稱和日期的 Closed 以及重新開啟,或 Open。請參閱正式計畫。

RVTM | VCRM 會切換表格。VCRM(驗證交叉參照矩陣)是規劃檢視:I、A、D 和 T 欄標示方法(檢驗、分析、示範、測試),接著是層級、階段、事件、Verified by 和狀態。

依編號或名稱篩選會縮小列的範圍。按一下某列(或按 Enter)即可在屬性面板中顯示該需求。

將指標移到需求的 ⚠ 上,即可查看自其關聯上次審查以來有哪些項目變更。按一下它即可開啟待審查的關聯 — <requirement>對話方塊:需求任一端需要審查的每個關聯,附差異和標記為已審查…,以及開啟完整清單的待審查的未關閉關聯(待審查的關聯)。匯出不包含可疑標記:其狀態欄只包含驗證結果。

快速鍵

按鍵位置動作
Enter / SpaceRVTM 列在屬性面板中顯示需求
↑ / ↓RVTM在列之間移動
EscRVTM清除選取
⌘K / Ctrl+K任何位置搜尋動作,例如 Export RVTM (Excel)

訊息

訊息意義
名稱或編號為必填建立兩者都沒有的套件。
沒有可執行的內容:沒有符合的測試案例。請新增測試案例或清除狀態篩選條件。執行套件找不到符合篩選條件的末端測試案例。
已儲存測試週期 / 已儲存測試週期;狀態已重設為未執行僅記錄 / 記錄並開始新週期。
已建立測試案例 <name>涵蓋率卡片中的 + 測試案例。
<file>(僅名稱:超過 10 MB)證據檔案大於每個檔案的上限(Free 方案為 10 MB,以 10 × 1,048,576 位元組計算);只會記錄其名稱。
此專案沒有需求。請撰寫或匯入需求,然後以「verified by」關聯測試案例。RVTM 是空的。
沒有需求符合此篩選條件。請清除篩選條件以顯示每項需求。RVTM 篩選條件隱藏了所有列。
勾選此方塊以建立此測試案例。「產生測試案例」在 AI 草稿中發現一個網址;建立前請先確認。

限制

  • 測試證據檔案:Free 方案每個檔案 10 MB(10,485,760 位元組);付費方案 25 MB(26,214,400 位元組)。較大的檔案只會記錄名稱。證據會計入專案的儲存空間(請參閱儲存空間與限制)。
  • 涵蓋率卡片會顯示目前篩選條件的前 300 項需求。
  • 每個測試案例只在測試案例上保留一個證據檔案(最新的);執行記錄會保留每次執行的證據檔案名稱。