驗證
驗證
規劃每項需求的驗證方式、將測試案例組織成套件、以步驟結果與證據執行測試、儲存測試週期,並在 RVTM 中報告涵蓋範圍。
本頁內容
概觀
驗證要為每項需求回答一個問題:什麼證據顯示它已被滿足?
Holarch 將驗證的所有內容都保存在與需求相同的模型中:
- 計畫:驗證方法、層級和成功準則
- 執行計畫的測試案例
- 每次執行的結果
- 所得的涵蓋率
由於所有內容都位於同一個模型中,涵蓋率報告永遠是最新的。
導覽列中的驗證群組包含:
| 頁面 | 用途 |
|---|---|
| RVTM | 需求驗證可追溯性矩陣:每項需求及其方法、層級、驗證的測試案例、自身結果和彙總結果。 |
| 測試中心 | 測試套件和測試案例、逐步程序、含證據的測試執行、測試週期,以及需求驗證涵蓋率。 |
| 可追溯性矩陣 | 以格線呈現任何關係,例如需求 × 測試案例。請參閱可追溯性矩陣。 |
| 模型檢查 | 整個模型的規則檢查,包括未驗證的末端需求和沒有 Issue 的失敗測試。請參閱模型檢查。 |
驗證上的導覽列徽章會計算失敗的測試和模型檢查錯誤。
概念
驗證規劃屬性
每個 Requirement 都有三個規劃屬性:
| 屬性 | 數值 | 意義 |
|---|---|---|
| Verification Method | Analysis、Demonstration、Inspection、Test(任意組合) | 需求的驗證方式。 |
| Verification Level | Component、Subsystem、System | 驗證所在的組裝層級。 |
| Success Criteria | 文字 | 顯示需求已被滿足的可量測結果。 |
需求的標籤包含相符的 Verification Method 標籤(Analysis、Demonstration、Inspection、Test)。設定屬性或標籤時,會作為同一個變更的一部分更新另一者,一次復原即可同時撤回兩者。因此使用標籤的匯入專案,其行為與使用屬性的專案相同。
Verification Requirement (LML 2.0)
Verification Requirement 是一個 Statement,說明在需求被視為已滿足之前,必須證明什麼以及如何證明。這是 LML 2.0 將驗證計畫保存在其專屬項目、而非需求上的方式。它具有:
| 屬性 | 意義 |
|---|---|
| Verification Method | Analysis、Demonstration、Inspection、Test(任意組合;可在結構描述中新增更多方法)。 |
| Acceptance Criteria | 驗證必須達到的結果。 |
| 證據 | 要收集並移交的紀錄種類,例如測試報告或檢驗紀錄。 |
| 理由 | 選擇此方法、這些準則和此證據的原因。 |
以 verifies 將它關聯到其涵蓋的需求(或資產),並以 traced to 關聯到執行它的測試案例。RVTM 接著會將這些測試案例計為驗證該需求、在需求本身沒有方法和驗收準則時從 Verification Requirement 取得,並在 Verified By 下列出該 Verification Requirement。
兩種形式可以並存:直接驗證需求的測試案例(LML 1.x 形式)的計算方式與以往完全相同,需求上的 Verification Requirement 標籤也仍可使用。
測試案例也可以用 evaluates(從資產的角度:evaluated by)指名受測資產。
在這些新增功能之前建立的專案會保留其結構描述;結構描述 → 新增內建項目…會為它們新增 Verification Requirement 類別和 evaluates 關係。
測試案例與測試套件
Test Case 透過 verifies 關係(從需求的角度:verified by)驗證需求。測試案例具有:
- Description:程序。
- Set Up、Expected Result、Actual Result。
- Event Conditions(測試執行時的條件,例如環境、模式或模擬負載)和 Event Constraints(測試事件的限制,例如獨立見證人、保留點或抽樣規則)。填入時,執行對話方塊會顯示它們,套件 CSV 匯出也各有一欄。
- evaluates:受測資產。
- 狀態:未執行、進行中、已封鎖、未通過或通過。
- 步驟:選用的編號程序,每個步驟都有 Action、Expected Result、Actual Result 和 Pass/Fail。
- 執行證據,由每次記錄的執行寫入:測試人員、測試日期、組態(受測的版本或建置)、受測件(單元或序號)和測試證據(一個檔案)。
- 執行記錄:每次記錄的執行,含日期、狀態、測試人員、組態、受測件、實際結果、證據檔案名稱和步驟結果。
測試案例可以分解為子測試案例。父項的狀態由其末端項目彙總而來。第一個符合的規則優先:
- 任何末端項目未通過時為未通過。
- 任何末端項目被封鎖時為已封鎖。
- 所有末端項目都通過時為通過。
- 沒有任何末端項目執行時為未執行。
- 其他情況為進行中。
測試套件是一個具有 Test Suite 標籤的 Artifact。它透過 source of(匯入的資料中為 referenced by)包含其測試案例。不屬於任何套件的測試案例會顯示在不屬於任何套件的測試案例下。
需求驗證狀態
每項需求都會從其驗證測試案例(直接驗證它的測試案例,以及從其 Verification Requirement 追溯的測試案例)取得自身狀態:
| 自身狀態 | 規則 |
|---|---|
| 未通過 | 某個驗證的測試案例失敗。 |
| 通過 | 有驗證測試案例通過(且沒有任何未通過)。 |
| 未執行 | 有驗證測試案例,但都尚未通過或未通過。 |
| 僅已計畫 | 沒有測試案例,但已設定 Verification Method(在需求上或其某個 Verification Requirement 上)。 |
| 未驗證 | 沒有測試案例,也沒有 Verification Method。 |
彙總狀態依循分解(decomposed by)。對於父需求:
- 當它有自己通過的測試,或其所有子需求都為通過時,它為通過。
- 當它下方任何地方有失敗時,它為未通過。
- 否則它會採用其自身狀態或其涵蓋程度最低之子項的狀態,以進度較前者為準。順序為未驗證 → 僅已計畫 → 未執行。
已驗證一律表示通過。
測試週期
測試週期是套件結果的已儲存快照:每個末端測試案例的狀態和實際結果。在每次測試活動結束時儲存一個,然後將套件重設為未執行,以進行下一次活動。您可以將週期彼此比較或與目前結果比較,也可以還原到某個週期。
使用方式
使用時機與原因
在撰寫需求時就規劃驗證,而不是在設計建立之後。如果您無法說明需求的方法和成功準則,該需求以其目前的寫法通常就無法驗證。
一般流程:
- 需求分析:在每項需求上設定 Verification Method、Level 和 Success Criteria。
- 設計:撰寫測試案例,並將它們關聯到所驗證的需求。分析、示範和檢驗紀錄也是測試案例。
- 整合與測試:執行測試案例,並記錄結果和證據。為失敗建立 Issue。每次測試活動儲存一個測試週期。
- 審查與驗收:以 RVTM 報告涵蓋率。
規劃每項需求的驗證
為每項需求指定方法、層級和成功準則。請在測試中心的涵蓋率卡片中進行。
- 開啟驗證 → 測試中心。
- 捲動到驗證涵蓋率。
您會看到每項尚未驗證的需求。
- 在某一列上,按一下方法按鈕以切換方法:A(Analysis)、D(Demonstration)、I(Inspection)、T(Test)。
需求會從未驗證變為僅已計畫。
- 在等級…中選擇層級:Component、Subsystem 或 System。
- 按一下 + 準則。
- 輸入可量測的結果,然後按一下儲存。
按鈕現在顯示準則 ✓。
您也可以在任何需求的屬性面板中編輯這些屬性。
建立測試套件和測試案例
- 在頁首中,按一下 + 新增 ▾ → 測試套件…。
- 輸入編號(例如
TS-3)、名稱和說明。 - 按一下建立。
您會看到一張新的套件卡片。
- 在套件卡片上,按一下 + 測試案例。
- 在建立項目中,為測試案例命名。
測試案例會以未執行狀態新增到套件中。
- 在測試案例列中,按一下驗證欄中的 +。
- 挑選測試案例所驗證的需求。
- 在該列中輸入預期結果。
- 在測試案例的描述中(在屬性面板或項目檢視中)撰寫程序。
撰寫逐步程序
步驟是選用的。沒有步驟的測試案例會整體執行。
- 在測試案例列中,按一下 + 步驟。
- 針對每個步驟按一下 + 新增步驟。
- 為每個步驟填入動作和預期結果。
- 以 ↑ 重新排序,以 × 移除步驟。
- 按一下套用。
按鈕現在顯示步驟 (N)。
建立測試案例的其他方式
- 從涵蓋率卡片:在驗證涵蓋率中,按一下需求列上的 + 測試案例。它會在不屬於任何套件的測試案例下建立 Verify <requirement name>,並已關聯到該需求。
- 使用 AI:在文件中或其項目檢視中選取一項需求。選擇 ✦ AI ▾ → 產生測試案例…。AI 會草擬名稱、依序的步驟、設定、預期結果和方法。在審查測試案例 — <requirement>中審查草稿,然後按一下建立測試案例。請參閱 AI。
執行測試並記錄結果
執行模式會一次一個地引導您完成測試,並記錄每個結果及其證據。
- 選用:若只要執行部分測試,請按一下狀態篩選條件,例如未執行 (12)。只會執行具有該狀態的末端測試案例。
- 在頁首中,按一下執行套件。
執行套件對話方塊會在第一個未執行的測試上開啟。
- 填寫一次工作階段欄位:測試人員(預設為您的名稱)、組態 / 版本和受測件。在以所有組態檢視的產品線中,請先選擇記錄結果:測試執行所在的組態,或無組態。✔ 通過、✘ 未通過和已封鎖會等到您選擇後才能使用(產品線)。
- 閱讀測試的程序、設定、步驟和預期結果。
- 執行測試。針對每個步驟,填入實際值並選擇通過/未通過。
- 描述實際結果。
- 檢查日期和時間。
- 按一下附加證據…以新增記錄、資料檔案或照片。
- 按一下 ✔ 通過、✘ 未通過或已封鎖。
對話方塊會移到下一個測試。若要移動而不記錄,請按一下略過。若要返回,請按一下 ‹ 上一個。
- 在 ✘ 未通過之後,按一下 + 建立 Issue,然後按一下下一個 ›。
對話方塊會顯示已記錄。請建立 Issue 以追蹤此失敗;它會關聯到此測試案例及其所驗證的需求。
- 針對每個測試重複步驟 4 到 10。
結束時,執行完成會顯示一個含計數的狀態列。從頭審查會返回第一個測試。
每個記錄的結果都能以一次復原撤回。它會執行下列所有動作:
- 更新測試案例的 Status、Actual Result、Tested By、Test Date、Configuration、Test Article 和 Test Evidence
- 儲存步驟結果
- 在測試的執行記錄中新增一筆項目
若要在不使用執行模式的情況下記錄結果,請按一下測試案例列中的狀態(例如未執行)並選擇新的狀態,然後按一下實際結果文字並輸入結果。在焦點所在的值上按 Enter 或 F2 也會開啟它;Escape 會保持不變。
若要再次執行測試,請按一下其列中的 ↻ 重新執行(測試有結果後才會顯示)。執行對話方塊只會針對該測試開啟,且不會將它設回未執行;新結果會加入其執行記錄,排在先前的執行旁。
從其他測試系統匯入結果
當測試在其他地方執行(例如自動化測試設備或 CI 管線)時,請匯入其結果,而不是手動輸入。Holarch 可讀取 JUnit XML 報告(大多數測試執行器和 CI 系統都會產生)、CSV 檔案和 Excel 活頁簿 (.xlsx)。
- 在頁首中,按一下匯入結果…。
- 按一下選擇檔案…並挑選結果檔案。
- 選擇要比對哪些測試案例:在以下位置比對測試案例(全部,或某個套件)和比對依據(編號,然後名稱、編號、名稱或全域 ID)。
- 對於 CSV 或 Excel 檔案,請檢查 Holarch 從標題列推測的欄:測試案例欄和狀態欄為必要;實際結果、日期、測試人員、組態和受測件欄為選用。
- 選用:針對檔案未提供的內容,填寫測試人員、測試日期、組態 / 版本和受測件。
- 檢查預覽:每個比對到的測試案例及其狀態變更,以及沒有比對到任何測試案例、比對到多個測試案例或被略過的列。
- 按一下記錄 N 個結果。
所有結果都會被記錄,一次復原即可全部撤回。每個結果都會更新測試案例的 Status、Tested By、Test Date、Configuration 和 Test Article,並在其執行記錄中新增一筆註明該檔案的項目。不會建立任何新項目。
- 狀態字詞:pass、passed、ok 和 success 記錄為通過;fail、failed、failure 和 error 記錄為未通過;blocked、in progress 和 not run 記錄為對應的狀態。略過的測試(JUnit
<skipped>,或狀態欄中為 skipped)保持不變。 - 實際結果:JUnit 失敗訊息或實際結果欄會成為實際結果。沒有時,實際結果維持原樣。
- 重複的測試案例:當檔案兩次提到同一個測試案例時,後面的列優先;前面的列會列為已略過。
- 父測試案例:有子測試案例的測試案例不會被記錄;其狀態由其子項彙總而來。
若要在不開啟 Holarch 的情況下從 CI 管線記錄結果,請將結果傳送到 REST API(POST …/test-results),或讓 AI 用戶端以 MCP 工具 record_test_results 提議結果。兩者記錄結果的方式都與匯入結果…相同,包括執行記錄項目(測試結果)。
儲存測試週期
在測試活動結束時儲存一個週期。
- 在套件卡片上,按一下開始新週期…(或 ⋯ → 開始新週期…)。
- 在開始新的測試週期中,為週期命名(預設為 Test Cycle N)。
- 檢查組態 / 版本和受測件。兩者一開始都是此次執行中最常記錄的值;它們會列印在該週期的測試報告中。
- 按一下下列其中之一:
- 記錄並開始新週期:儲存結果,然後將套件中的每個狀態設為未執行,並清除實際結果。
- 僅記錄:儲存結果,並將它們保留在測試案例上。
週期會保留每個測試案例的狀態、實際結果、測試人員、測試日期、組態、受測件、證據檔案名稱和步驟結果。
若之後要檢視、比較、還原或刪除週期,請按一下套件卡片上的 ⋯ → 測試週期… (N)。若要產生交付文件,請按一下 ⋯ → 測試報告…:它會將該週期的測試報告寫成 Word、Excel、CSV 或網頁(請參閱文件產生)。
報告涵蓋率
- 開啟驗證 → RVTM。
第一張卡片以進度列顯示已驗證 / 總數。其他卡片計算未通過、未執行、僅已計畫和未驗證。
寬表格橫向捲動時,編號和需求欄會保持在檢視中。狀態標記為了容納而縮短時(在某些語言中),將指標移到其上即可查看完整文字。
- 選用:按一下卡片即可只列出那些需求。
- 按一下匯出 ▾。
- 選擇 Excel (.xlsx)、CSV 或 Word (.docx)。
實例演練:CubeSat EO-1 示範
以管理專案 → 專案檔案 ▾ → 新增示範專案建立示範專案,然後:
- 開啟驗證 → RVTM。
第一張卡片顯示 11 / 32 已驗證(通過)。其他卡片顯示 3 未通過、12 未執行、3 僅已計畫和 3 未驗證。
- 找到 1.6 Revisit Time。
自身為僅已計畫:方法是 Analysis,但它沒有自己的測試。狀態為未執行。狀態由其子項彙總而來:
- 1.6.1 Ground Track Repeat 由 TC-13 判定為通過。
- 1.6.2 Off-Nadir Imaging 由 TC-14 驗證,而 TC-14 為未執行。
涵蓋程度最低的子項為未執行,其進度比僅已計畫更前。
- 按一下未通過卡片。
2.1 Pointing Accuracy 和 2.2 Pointing Stability 因 TC-04 Pointing Accuracy Test 而未通過。4.3 因 TC-09 Safe Mode Entry Test 而未通過。
- 開啟驗證 → 測試中心。
卡片顯示 3 個套件中有 22 個測試案例。在 TS-1 Spacecraft Qualification Tests 中,TC-04 列顯示 J. Alvarez · 2026-10-02 10:15 · 📎 tc04-pointing-errors.csv 和 Issue: Test failure: Pointing Accuracy Test。
- 在 TC-04 列中,按一下步驟 (3)。
步驟 3 未通過,結果為 0.14 degrees on targets 7, 12 and 18.
- 在 TS-1 上,按一下 ⋯ → 測試週期… (2)。
- 比較 Flatsat Cycle 1 → Flatsat Cycle 2。
TC-03 和 TC-06 從未執行變為通過。變更的列會醒目提示。
現在,在看門狗修正後重新執行 TC-09:
- 按一下未通過 (2) 篩選條件,然後按一下執行套件。
執行會在 TC-04 上開啟。
- 按一下略過以前往 TC-09。
- 輸入 Flight software 2.3.2 作為組態 / 版本。
- 輸入 Safe mode in 8 seconds 作為實際結果。
- 按一下 ✔ 通過。
- 再次開啟 RVTM。
4.3 現在為通過,第一張卡片顯示 12 / 32。
最後,為一項未驗證的需求制定計畫:
- 在驗證涵蓋率中,找到 2.5 Safe Mode Recovery(未驗證)。
- 按一下 T,在等級…中選擇 System,然後新增準則。
- 按一下 + 測試案例以開始其測試。
提示與良好做法
- 將成功準則寫成附條件的可量測數字,例如 Range ≥ 25 km in 3 of 3 flights at 20 °C。不要重述需求。
- 驗證末端需求,並讓父項自動彙總。模型檢查 Requirement.10 會標示沒有驗證測試案例的末端需求。父項會透過其子項取得涵蓋。
- 每個驗證事件使用一個測試案例,即使是 Analysis、Inspection 和 Demonstration 也一樣。如此 RVTM 就會為每種方法顯示證據。
- 每次執行都記錄組態。當結果在週期之間變更時,執行記錄會顯示是哪個版本造成的。
- 為每個失敗建立 Issue。模型檢查 TestCase.1 會標示沒有關聯 Issue 的未通過測試案例。
常見錯誤
- 嘗試將父測試案例設為通過。父項顯示其子項的彙總狀態,無法設定。請在末端項目上記錄結果。
- 以 traced to 而非 verifies 將需求關聯到其測試。需求會停留在僅已計畫或未驗證。請使用測試案例列中的 +,它會建立 verifies。
- 未驗證任何項目的測試案例。它會計入測試中心,但永遠不會計入 RVTM。
與其他功能的關聯
- 資料來源:
- 輸出至:
- RVTM 及其匯出
- 失敗的 Issue,您可以在看板上將它們規劃為工作(專案管理)
- 模型檢查(Requirement.10、TestCase.1)
- 首頁健康狀態卡片和驗證徽章
- 基準線和審查套件
- 可追溯性矩陣:涵蓋率卡片上的在矩陣中開啟會以 verified by 開啟需求 × 測試案例;套件的 ⋯ → 開啟位置 ▸ 可追溯性矩陣會開啟其階層。
測試中心
網址:test-center;test-center?root=<id> 會展開、捲動到並選取一個測試案例或套件(測試案例上的開啟位置 ▾ → 測試中心使用此網址)。
頁首
| 控制項 | 動作 |
|---|---|
| 匯出 ▾ | RVTM(CSV)、RVTM(Excel)、RVTM(Word)。 |
| + 新增 ▾ | 測試套件…、測試案例…(未指派的測試案例)。 |
| 匯入結果… | 預覽後,將 JUnit XML、CSV 或 Excel 檔案中的結果記錄到相符的測試案例上。請參閱從其他測試系統匯入結果。 |
| 執行套件 | 為每個末端測試案例(或只為符合狀態篩選條件者)開啟執行模式。沒有測試案例時停用。 |
健康狀態卡片和篩選
- 測試案例:末端測試案例的數量,以及套件的數量。
- 已執行:狀態不是未執行之末端項目的百分比和數量。
- 通過:通過之末端項目的百分比和數量。
- 未通過:未通過之末端項目的數量,以及已封鎖的數量。
卡片下方:
- 一個狀態列。
- 篩選條件全部 (N)、未執行、進行中、已封鎖、未通過和通過,各附其數量。再按一下篩選條件即可清除它。
- 右側是套件排序:依編號、依名稱或依修改日期。
- 搜尋測試案例:比對編號、名稱或描述。名稱符合的套件會顯示其所有測試案例。
套件卡片
標頭顯示 ▾/▸(摺疊)、套件連結、測試套件標記、彙總狀態、測試數、週期數、迷你狀態列,以及:
- + 測試案例 — 在此套件中建立測試案例。
- 開始新週期… — 將結果記錄為週期並重設套件(見上文)。
- ⋯(套件選項)。項目依循測試工作流程排列:執行和記錄、報告、開啟,然後是複製和刪除。
| 項目 | 動作 |
|---|---|
| 執行週期… | 只為此套件的測試案例開啟執行模式,從第一個未執行的測試案例開始。套件沒有測試案例時停用。 |
| 開始新週期… | 與卡片上的按鈕相同:將結果記錄為週期,然後重設套件。 |
| 測試週期… (N) | 開啟測試週期清單。 |
| 測試報告… | 以最新的週期開啟 Test Report:選擇週期(或目前結果)和格式(預設為 Word),然後按一下匯出。 |
| 測試案例 (Word)… | 撰寫套件測試案例的 Word 文件。 |
| 匯出 CSV | <suite>.csv:Number、Name(依深度縮排)、Description、Set Up、Expected Result、Actual Result、Status、Status Roll-Up、Verifies。 |
| 匯出 JSON | <suite>.json:套件、其測試週期,以及含已驗證需求的測試案例樹。 |
| 以文件開啟 | 將套件以文件開啟。 |
| 開啟於 ▸ | 項目檢視(套件的項目檢視)或可追溯性矩陣(以套件為根的矩陣)。 |
| 複製副本 | 複製套件及其測試案例(<suite> (Copy))以及其 verifies 關聯,狀態重設為未執行,實際結果清除。快顯通知:已複製為 <name>。 |
| 刪除… | 刪除測試套件:刪除套件;勾選同時刪除其 N 個測試案例即可一併刪除它們。 |
測試案例表格
| 欄 | 內容 |
|---|---|
| 編號 | 測試案例編號。 |
| 測試案例和程序 | 名稱(連結到項目檢視)和描述;子測試案例有 ▾/▸。 |
| 預期結果 | 文字(最多三行;按一下即可在方塊中編輯),以及 + 步驟 / 步驟 (N)。父項顯示 —。 |
| 實際結果 | 文字(按一下即可編輯);其下方是上次執行的測試人員和日期,滑鼠停留時顯示組態和受測件,並有指向證據檔案的 📎 連結。未通過的測試會顯示 Issue: <issue> 或 + 建立 Issue。 |
| 狀態 | 狀態標記(未執行、進行中、已封鎖、未通過、通過);按一下即可選擇其他狀態。測試有結果後,旁邊會出現 ↻ 重新執行。父項顯示彙總狀態。 |
| 驗證 | 已驗證的需求,每項都有 ×(移除 verifies,將指標移到需求上時顯示),以及 +(關聯此測試所驗證的需求)。 |
按一下列中欄位以外的位置,即可在屬性面板中顯示該測試案例。空白套件:此套件沒有測試案例。請以 + 測試案例新增一個。沒有相符項目:沒有測試案例符合篩選條件。請清除篩選條件以查看全部。
測試步驟對話方塊
標題:Test Steps — <test case>。表格欄:
- #
- 動作(預留位置文字 Do this)
- 預期結果(Expect this)
- 實際結果(Observed)
- 通過/未通過(—、Pass、Fail)
- ↑(上移)和 ×(移除步驟)
表格下方:+ 新增步驟、取消和套用。套用時會捨棄空白步驟。沒有步驟時,對話方塊會顯示尚無步驟。沒有步驟的測試案例會整體執行。
執行套件對話方塊
| 組成 | 內容 |
|---|---|
| 工作階段 | 測試人員(Your name)、組態 / 版本(Build, version or configuration)、受測件(Unit or serial number)、階段(Development、Qualification、Acceptance、Integration、Operational)和事件(例如 Thermal vacuum 1)。預先填入第一個測試上次執行的值;階段和事件會儲存在您記錄的每個測試上。 |
| 進度 | Test N of M、套件名稱和進度列。 |
| Heading | 測試案例、目前狀態,以及 run N times, last <date>。 |
| 內文 | 程序、設定、步驟(Action、Expected、Actual、Pass/Fail)、預期結果、實際結果、日期和時間、證據(附加證據…和檔案名稱,或 Current: <file> / No file)。您可以挑選多個檔案:第一個會成為測試的證據,其他則加入其證據清單。 |
| 按鈕 | ‹ 上一個、略過、已封鎖、✘ 未通過、✔ 通過;底部有關閉。 |
測試案例 (Word)
- 檔案名稱:預設為 <suite> Test Cases。
- 選擇屬性:編號、說明、設定、預期結果、實際結果、狀態、狀態彙總、驗證,以及其他所有 Test Case 屬性(Tested By、Test Date、Configuration、Test Article、Test Evidence 和自訂屬性)。Number、Description、Expected Result、Actual Result 和 Status 預設為勾選。
- 下載:寫入一個標題章節(測試案例數和產生日期),以及每個測試案例一個章節。
測試週期對話方塊
標題:Test Cycles — <suite>。
- 週期表格:測試週期、已儲存和結果(迷你狀態列和 N/M passed),每一列都有檢視、報告…(該週期的測試報告)、還原和刪除。
- 還原會詢問要將「<name>」中儲存的狀態和實際結果寫回測試案例嗎?
- 比較:兩個選取器(任何週期或目前結果),以及含測試案例、之前和之後的表格。變更的列會醒目提示。
- 底部:開始新週期…和關閉。
沒有週期時,對話方塊會顯示尚無測試週期。「開始新週期…」會記錄目前結果並重設套件。
驗證涵蓋率
頁面上的最後一張卡片。用它規劃驗證,並找出仍需要測試的需求。
- 標題:N of M requirements verified by a passing test (P%),含在矩陣中開啟。
- 狀態列和篩選條件:未驗證 (N)(預設)、全部 (N),以及每種狀態一個篩選條件。
- 註記:已驗證 = 有驗證測試案例通過。當父需求有自己通過的測試,或其所有子需求都已驗證時,父需求即為已驗證。方法按鈕:Analysis、Demonstration、Inspection、Test。
每一列由左至右顯示:
- 狀態標記(若自身狀態不同,將指標移到其上即可查看)
- 需求連結和測試數
- 方法按鈕 A D I T
- 等級…
- + 準則,或設定準則後的準則 ✓
- + 測試案例
最多顯示 300 列,之後顯示 …and N more。全部都已驗證時,卡片會顯示每項需求都已由通過的測試驗證。
證據檔案
測試案例下方的證據 (n)會開啟其證據清單。請將執行中的每份記錄、照片和資料表都與測試一起保存。
- 新增檔案…會附加一個或多個檔案,一次復原即可全部撤回。
- 每個檔案都是標籤為 Verification Evidence 的 Artifact,內含該檔案,並由測試案例 references。
- 下載會儲存檔案;移除會刪除其 Artifact。
設定後,測試案例會在狀態下方顯示其 Verification Stage 和 Verification Event。
建立 Issue
+ 建立 Issue 會出現在未通過的測試上,包括在列中和執行模式中。它會建立一個 Issue:
- 名為 Test failure: <test case>,狀態為 Open
- 描述包含預期結果和實際結果
- 關聯到該測試案例(causes 或 related to),以及該測試所驗證的每項需求
快顯通知顯示已建立 Issue <name>。
開啟正式計畫時,未通過的測試會改為顯示處置…。它會記錄不符合事項,並在需要時記錄特採。請參閱正式計畫。
RVTM
網址:rvtm,以及 rvtm?status=<status> 和 ?q=<text>。
頁首
| 控制項 | 動作 |
|---|---|
| 匯出 ▾ | Excel (.xlsx)(RVTM.xlsx)、CSV(RVTM.csv)或 Word (.docx)(Requirements Verification Traceability Matrix,每項需求一個章節,含其陳述)。 |
| 測試中心 | 開啟測試中心。 |
三種匯出都包含 Requirement Number、Requirement、Verification Method、Verification Level、Success Criteria、Verified By(每個測試案例及其彙總狀態)、Own Status、Status(彙總)、Verification Stage 和 Verification Event。開啟正式計畫時,另加 Deviations and Waivers 和 Closure。
卡片
已驗證(通過)以進度列顯示已驗證 / 總數。未通過、未執行、僅已計畫和未驗證顯示數量。
RVTM 會列出專案自己的需求。標籤為 Customer Specification 之文件中的需求不會列入其列和總計;符合性矩陣會評估它們,並附上回應它們之您的需求的驗證。
按一下卡片即可篩選表格(只顯示這些。按一下以顯示全部。)。按一下 Status: <status> × 標記即可清除篩選。
表格
| 欄 | 內容 |
|---|---|
| # | 需求編號。 |
| 需求 | 名稱,連結到項目檢視。名稱後的 ⚠ 表示該需求的某個關聯需要審查:需求已變更,或其上游項目已變更。 |
| 方法 | 驗證方法,或 —。 |
| 層級 | Verification Level,或 —。 |
| Verified by | 驗證的測試案例,或 No test。測試案例後的 ⚠ 表示其驗證關聯需要審查;工具提示會顯示變更的內容和時間。 |
| 階段 | 驗證測試案例的驗證階段,或 —。 |
| 證據 | 測試案例的證據檔案數,加上直接驗證該需求的報告數。按一下即可新增報告,例如分析報告。 |
| 自身 | 自身狀態。 |
| 狀態 | 彙總狀態。 |
| 偏離/特採 | 僅限正式計畫。針對該需求的偏離和特採及其狀態,或未通過結果的處置…。 |
| 結案 | 僅限正式計畫。簽核…、附名稱和日期的 Closed 以及重新開啟,或 Open。請參閱正式計畫。 |
RVTM | VCRM 會切換表格。VCRM(驗證交叉參照矩陣)是規劃檢視:I、A、D 和 T 欄標示方法(檢驗、分析、示範、測試),接著是層級、階段、事件、Verified by 和狀態。
依編號或名稱篩選會縮小列的範圍。按一下某列(或按 Enter)即可在屬性面板中顯示該需求。
將指標移到需求的 ⚠ 上,即可查看自其關聯上次審查以來有哪些項目變更。按一下它即可開啟待審查的關聯 — <requirement>對話方塊:需求任一端需要審查的每個關聯,附差異和標記為已審查…,以及開啟完整清單的待審查的未關閉關聯(待審查的關聯)。匯出不包含可疑標記:其狀態欄只包含驗證結果。
快速鍵
| 按鍵 | 位置 | 動作 |
|---|---|---|
| Enter / Space | RVTM 列 | 在屬性面板中顯示需求 |
| ↑ / ↓ | RVTM | 在列之間移動 |
| Esc | RVTM | 清除選取 |
| ⌘K / Ctrl+K | 任何位置 | 搜尋動作,例如 Export RVTM (Excel) |
訊息
| 訊息 | 意義 |
|---|---|
| 名稱或編號為必填 | 建立兩者都沒有的套件。 |
| 沒有可執行的內容:沒有符合的測試案例。請新增測試案例或清除狀態篩選條件。 | 執行套件找不到符合篩選條件的末端測試案例。 |
| 已儲存測試週期 / 已儲存測試週期;狀態已重設為未執行 | 僅記錄 / 記錄並開始新週期。 |
| 已建立測試案例 <name> | 涵蓋率卡片中的 + 測試案例。 |
| <file>(僅名稱:超過 10 MB) | 證據檔案大於每個檔案的上限(Free 方案為 10 MB,以 10 × 1,048,576 位元組計算);只會記錄其名稱。 |
| 此專案沒有需求。請撰寫或匯入需求,然後以「verified by」關聯測試案例。 | RVTM 是空的。 |
| 沒有需求符合此篩選條件。請清除篩選條件以顯示每項需求。 | RVTM 篩選條件隱藏了所有列。 |
| 勾選此方塊以建立此測試案例。 | 「產生測試案例」在 AI 草稿中發現一個網址;建立前請先確認。 |
限制
- 測試證據檔案:Free 方案每個檔案 10 MB(10,485,760 位元組);付費方案 25 MB(26,214,400 位元組)。較大的檔案只會記錄名稱。證據會計入專案的儲存空間(請參閱儲存空間與限制)。
- 涵蓋率卡片會顯示目前篩選條件的前 300 項需求。
- 每個測試案例只在測試案例上保留一個證據檔案(最新的);執行記錄會保留每次執行的證據檔案名稱。
相關內容
- 指南:需求驗證矩陣(RVTM):欄、方法與實作範例,說明 RVTM 背後的方法。
- 介面 — 介面需求與 ICD。
- 預算與 TPM — 依門檻追蹤效能的 Measure。
- 專案管理 — 為未通過的測試規劃修正。
- 說明:設定驗證、執行套件並產生 RVTM、RVTM、測試中心、可追溯性矩陣、模型檢查、模擬並對照需求檢查。