Holarch

指南 · 驗證

系統工程中的驗證與確認

收聽本指南 29 分鐘

驗證顯示系統符合其需求;確認顯示系統在預期用途中符合利害關係人的需要。本指南說明 ISO/IEC/IEEE 15288 中的定義、兩者各自對照的依據、兩者在生命週期中發生的位置、四種驗證方法、確認活動、模型驗證與確認、兩者背後的可追溯性,以及模糊兩者界線的錯誤,並以一顆 6U CubeSat 實作說明。

本頁內容
  1. 簡短的答案
  2. ISO/IEC/IEEE 15288 中的定義
  3. 兩者各自對照的依據
  4. 兩者在生命週期中的發生時機
    1. V 模型
    2. 漸進式與持續性 V&V
  5. 四種驗證方法
  6. 確認活動
    1. EO-1 的確認
  7. 模型驗證與模型確認
  8. 兩者背後的可追溯性
  9. 實務中的驗證證據:TC-06
  10. 驗證與確認比較
  11. 常見的混淆
  12. Holarch 如何記錄兩者
    1. 在 Holarch 中試試看
  13. 常見問題
    1. 先做驗證還是先做確認?
    2. 一項活動能同時做到兩者嗎?
    3. 誰執行確認?
    4. 驗證通過但確認失敗時會怎樣?
  14. 下一步

簡短的答案

驗證 問的是:我們是否正確地建造了系統?它將系統與其需求逐條比較,並產生每一條都已滿足的證據。確認 問的是:我們是否建造了正確的系統?它將系統與利害關係人的需要及使用方式比較,並產生系統能完成其採購目的的證據。

這兩個問題聽起來很像,而且常由同一個團隊使用相同的設備進行,但它們可能給出不同的答案。系統可能通過每一項需求,卻仍然無法滿足使用者,因為某項需求遺漏了、寫錯了,或是為與實際用途不同的用途而寫。系統也可能很好地服務使用者,卻未通過一項事後證明並不重要的需求。系統工程將兩者分開,是因為各自都能抓到另一方看不到的錯誤。

「正確地建造產品」與「建造正確的產品」這種說法,通常歸功於 Barry Boehm 早期的軟體工程著作,至今仍是記住兩者差異最簡短的方式。

ISO/IEC/IEEE 15288 中的定義

ISO/IEC/IEEE 15288 是系統生命週期流程的國際標準,它將驗證與確認視為兩個獨立的技術流程:驗證流程(條款 6.4.9)與 確認流程(條款 6.4.11)。整合位於驗證之前,而移轉位於兩者之間:系統先依建造結果進行驗證,再移交到其作業環境,然後在那裡進行確認。

  • 驗證 是透過客觀證據確認指定的需求已經滿足。它在標準中的目的是顯示系統或元素符合其需求與特性,並回報過程中發現的任何異常。
  • 確認 是透過客觀證據確認特定預期用途或應用的需求已經滿足。它的目的是顯示系統在其預期環境中使用時,能滿足利害關係人的需要,並達成其業務或任務目標。

兩個定義都建立在 客觀證據 之上:量測結果、分析報告、檢驗紀錄或觀察到的示範,且其他人可以查核。意見、「看起來沒問題」以及沒有人記錄下來的測試都不是證據。兩者的差異在於各自對照的依據。

INCOSE Systems Engineering Handbook(第 5 版,第 2.3.5.9 與 2.3.5.11 節)採用相同的區分,而 NASA Systems Engineering Handbook(NASA/SP-2016-6105 Rev 2)則為兩者設立各自的產品實現流程:產品驗證(第 5.3 節)與產品確認(第 5.4 節)。NASA 的手冊直白地指出一個有用的觀點:驗證顯示產品是依規格建造的;確認則顯示規格本身,因而也包括產品,是正確的。

兩者各自對照的依據

區分兩者最清楚的方式,是問證據要與什麼比較。

  • 驗證對照需求檢查。依據是系統、子系統與元件規格中的「shall」陳述。它們由工程團隊撰寫、與利害關係人達成共識,且措辭能讓測試、分析、檢驗或示範給出通過或不通過的結果。ISO/IEC/IEEE 29148 將 可驗證 列為每項需求必須具備的特性之一(條款 5.2.5),正是這個原因:無法驗證的需求根本無法參與驗證。
  • 確認對照利害關係人的需要與預期用途檢查。依據是使用者、操作人員、客戶與其他利害關係人以他們自己的語言所表達的期望,以及實際使用的條件:作業情境、環境、將操作系統的人員,以及說明「好」對他們意味著什麼的效能量測。需要往往是定性的,因此確認除了量測之外,也仰賴情境、模擬、試行與利害關係人的判斷。

可追溯性指南對需要與需求的比較 用一句話說明:需要被確認,需求被驗證。本指南的其餘內容都由此而來。

兩者在生命週期中的發生時機

V 模型

Vee 模型將生命週期畫成一個 V。左側向下經過分解與定義:作業概念、系統需求、高階設計、詳細設計。實作位於底部。右側向上經過整合與檢查,右側的每一步都對應到其對面的那一步:

右側對照(左側)種類
單元驗證詳細設計驗證
子系統驗證高階設計驗證
系統驗證系統需求驗證
系統確認作業概念與利害關係人需要確認

最上面那一對是唯一的確認配對,這就是確認常被描繪成最後一步的原因。V 模型顯示的是最終證據產生的位置,而不是工作開始的時間。每項驗證與確認活動都是在左側 規劃 的,與它所檢查的項目同時進行:確認方法隨作業概念一起規劃,驗證方法隨每項需求一起規劃。

漸進式與持續性 V&V

等到系統整合完成才問它是否正確,是發現它不正確代價最高的方式。實務上會將兩種活動分散在整個生命週期中:

  • 早期確認。概念、實體模型、樣品與模擬早在硬體出現之前就提交給利害關係人。每次審查都會降低需求寫入錯誤需要的風險。
  • 每個層級都進行驗證。元件在整合前驗證,子系統在系統之前驗證。在工作台上發現的缺陷,成本遠低於在系統測試中發現的缺陷。
  • 反覆式開發中的持續性 V&V。以增量方式交付的團隊,例如採用持續整合的軟體團隊,會在每次建置時執行自動化驗證,並與使用者一起確認每個增量。兩個問題保持不變;只是被問得更頻繁。

四種驗證方法

大多數標準與手冊都使用相同的四種方法。RVTM 指南 說明如何在它們之間選擇;這裡以本指南通篇使用的 EO-1 CubeSat 中的一列說明每種方法。EO-1 是一顆虛構的 6U 太空載具,從 500 km 軌道以四個光譜波段拍攝農田,其規格中有 32 項需求。

檢驗
在不操作項目的情況下檢查項目或其紀錄。EO-1 的 3.4 Bus Regulation(12 V,誤差 2% 以內)由 TC-18 Bus Regulation Inspection 驗證,這是對電源分配單元設計及其鑑定負載階躍資料的審查。結果通過:最差情況為 11.81 V,位於 11.76–12.24 V 之內。
分析
計算、建模或模擬,通常以較低層級的測試資料作為輸入。1.7 Mission Lifetime(在軌 730 天)無法在地面測試,因此 TC-16 Lifetime Reliability Analysis 結合零件失效率、輻射劑量與電池衰退。結果通過:運作 730 天的機率為 0.86,要求至少 0.8。
示範
操作項目以展示它能做某件事,經過觀察但未精確量測。6.1 Contact Scheduling(提前 48 小時預約通聯)將由 TC-20 Operations Rehearsal 展示:與合作地面網路進行 14 天的通聯排程。尚未執行。
Test
在受控條件下操作項目,並將結果與某個值比較。3.2 Battery Capacity(壽命初期至少 77 Wh)由 TC-07 Battery Capacity Test 驗證,即在 20 °C 下以 C/2 放電。結果通過,為 78.3 Wh。

四者都屬於驗證。示範不是「比較寬鬆的測試」,而分析也不會只因為使用了模型就成為確認活動:讓它們成為驗證的,是通過準則來自需求。

確認活動

確認使用許多相同的技術,但對準不同的依據。常見的形式有:

  • 作業情境。讓系統或其模型走過作業概念:正常的一天、降級模式、操作人員之間的交接。問題在於情境是否達成利害關係人想要的結果,而不是每一步是否達到其數字。
  • 任務模擬。在具有真實環境與變異的模擬中執行作業概念,然後對照效能量測(MOE)解讀結果;MOE 是面向利害關係人、衡量任務執行成效的量測。
  • 利害關係人審查。向使用者展示概念、原型、樣品或介面,並記錄他們的判斷。及早、成本低,而且往往是遺漏的需要第一次浮現的時候。
  • 作業試行與先導計畫。真實的使用者、真實的程序、具代表性的環境。往往是決定性的確認證據,在許多計畫中則是由獨立組織進行的正式作業測試與評估。

EO-1 的確認

EO-1 模型包含三項利害關係人需要,每一項都追溯到將其正式化的需求,還有第三個測試套件 TS-3 Mission Validation,每項需要各有一個確認事件。兩者都是 EO-1 參考模型(v1.0)以及 Holarch 2.2.1 或更新版本中建立的示範專案的一部分。

需要需求(已驗證)確認事件狀態
N1 Same-Day Crop Stress Alerts6.2 Image Delivery(下傳後 6 小時內)、6.5 Planning Cycle Time(100 分鐘內)VAL-01 Customer Alert Pilot:三座先導農場上空的已記錄過境資料,經過規劃、處理與客戶入口網站,由農場的農藝師在日常工作中使用這些警示未執行
N2 Twice-Weekly Revisit1.6 Revisit Time(72 小時內),透過 1.6.1 Ground Track Repeat 與 1.6.2 Off-Nadir ImagingVAL-02 Growing Season Revisit Simulation:以規劃的地面軌跡、偏離天底限制與歷史雲量,對客戶目標清單進行一整個生長季的成像模擬未執行
N3 Field-Level Vegetation Maps1.2 Ground Sample Distance(4.5 m)、1.4 Spectral Bands(四個波段,450–900 nm)VAL-03 Agronomist Map Review:農藝師審查由航空影像重新取樣為 4.5 m、採用 EO-1 四個波段所製成的植生圖通過:12 張樣本地圖全部被接受

每一列都說明了為何確認不是驗證的重複。1.6 要求在 72 小時內重訪,這是軌道與指向限制的特性,而 TC-13 Ground Track Repeat Analysis 已顯示重訪週期為 3 天又 0.4 小時。但農民每週需要兩次 可用的 影像,而 1.6 中沒有提到雲。只有包含雲量統計的模擬(VAL-02)才能說明這項需求在依文字滿足後,是否真正滿足了需要。如果沒有,解決之道是新增或修改需求,而不是更好的測試。

N1 也類似。6.2 與 6.5 為交付鏈設定了數字,而 6.5 的蒙地卡羅分析(請參閱 蒙地卡羅指南)顯示達成 100 分鐘的機率約為 97.6%。農藝師是否真的能在衛星過境當天,以可據以行動的形式得知作物受到逆境,則是另一個問題,而 VAL-01 以真實使用者來回答它。

VAL-03 最先執行,早於任何飛行硬體,因為它只需要樣本影像與人員。這就是早期確認:它在相機設計凍結之前,就確認了四個波段的 4.5 m 解析度足以製作田區層級的地圖。兩位審查者要求加上田區邊界疊圖,這是一項可能的新需要,已隨結果一起記錄。

模型驗證與模型確認

在以模型為基礎的系統工程中,模型本身就是一項工程產品,同樣的兩個問題也適用於它。國防與航太實務數十年來已為模型與模擬定義了這兩者(DoD Instruction 5000.61 關於驗證、確認與認可;NASA-STD-7009 關於模型與模擬的可信度):

  • 模型驗證:模型是否建得正確?實作是否符合它自己的規格與建模規則:模擬流程中沒有缺少持續時間、沒有無人執行的功能、沒有缺少驗證事件的需求、方程式的因次一致、程式碼計算的正是作者想要的。
  • 模型確認:它是否是符合其目的的正確模型?它是否足夠貼近地呈現真實系統,以支援它將支持的決策?這要透過將模型與現實比較來回答:測試資料、飛行資料、值得信賴的更高精度模型。
  • 認可,在 DoD 的用法中,是根據模型的驗證與確認證據,正式決定該模型可用於特定用途。

EO-1 有一個明確的案例。它的電力預算以方程式 EQ-1.3 將量測到的太陽能板峰值功率轉換為軌道平均功率:軌道平均 = 峰值 × 0.62(日照比例)× 0.6(電力路徑效率)。驗證這個方程式,表示檢查算術、單位與其關聯。確認它,則表示要問 0.62 與 0.6 是否符合實際的軌道與實際的電力鏈,例如將預測值與在 flatsat 上經過模擬軌道量測到的軌道平均功率比較。下文對需求 3.1 的判定完全取決於這個方程式,因此未經確認的 EQ-1.3 會讓即使完美的測試也無法得出結論。

經驗法則:當分析或模擬被用作驗證證據時,其模型也需要自己的確認證據,程度與決策依賴它的程度成正比。

兩者背後的可追溯性

驗證與確認各自需要自己的關聯鏈:

  • 需要 → 確認。每項利害關係人需要都連結到將顯示它在預期用途中被滿足的確認活動,以及將它正式化的需求。
  • 需求 → 驗證。每項需求都連結到驗證它的測試、分析、檢驗或示範,並附有方法、層級與成功準則。需求驗證矩陣 就是這條鏈的報告。

兩者合起來,回答審查委員會提出的兩個涵蓋範圍問題:每項需求都已驗證了嗎?每項需要都已確認了嗎?需要與需求之間的關聯將兩條鏈連接起來,因此一側的缺口可以追溯到另一側:如果某項需要的需求全部通過、確認卻失敗,就表示有需求遺漏或寫錯了。

在矩陣中,兩條鏈並排呈現:需求由 TC 測試案例驗證,需要由 VAL 事件確認。矩陣也顯示了一個驗證缺口:6.5 Planning Cycle Time 有方法(分析),但模型中還沒有驗證事件。蒙地卡羅指南 執行了這項分析;將其結果記錄為測試案例就能補齊這一列。

實務中的驗證證據:TC-06

EO-1 的 TC-06 Solar Array Power Test 說明了是什麼讓驗證證據可靠,以及它如何失去效力。紀錄很完整:M. Chen 在太陽能板鑑定面板 QM-1 與 QM-2 上、使用線束版本 C,於大面積太陽模擬器的 AM0 條件下(1361 W/m²,均勻度 1.4%)執行測試,並附上 I-V 曲線 tc06-array-iv-curve.csv。峰值功率為 75.1 W,預期結果為至少 72 W。通過。

接著,需求 3.1 Orbit Average Power 在初步設計審查後從 28 W 提高到 30 W。測試結果沒有改變,但它所證明的內容改變了。透過 EQ-1.3,75.1 W 峰值相當於 27.9 W 軌道平均(75.1 × 0.62 × 0.6),低於 30 W;要證明 30 W,大約需要 80.6 W 峰值。因此從 3.1 到 TC-06 的關聯被標記為可疑,並保持可疑,直到 TC-06 的預期結果依新需求重新推導,且測試重新執行或設計變更為止。RVTM 指南 逐步說明這次審查,而 變更影響分析指南 則追蹤同一項變更在設計中的影響。

從中可得出驗證證據的三個教訓:

  1. 證據與組態及需求版本綁定。依 28 W 記錄的通過,並不是 30 W 的證據。
  2. 通過準則必須來自需求。TC-06 的 72 W 上限只相當於 26.8 W 軌道平均,因此它連舊的 28 W 都沒有證明。測試可能通過了自己的準則,卻仍未驗證其需求。
  3. 迴圈中的分析需要確認。判定結果取決於 EQ-1.3 的兩個係數,這就是上一節的模型確認問題。

而這一切都不是確認。即使得到乾淨的 30 W 結果,也只能顯示太陽能板符合 3.1。30 W 是否足以為農業客戶每天拍攝 120 個場景,是任務層級確認事件所回答的那類問題。

驗證與確認比較

驗證確認
問題我們是否正確地建造了系統?我們是否建造了正確的系統?
對照依據需求與設計規格利害關係人需要、預期用途、效能量測
ISO/IEC/IEEE 15288驗證流程(6.4.9)確認流程(6.4.11)
典型方法檢驗、分析、示範、測試作業情境、任務模擬、利害關係人審查、作業試行、現場資料
層級元件、子系統、系統主要是作業環境中的系統;在概念與原型上進行早期確認
環境受控:實驗室、工作台、模擬器代表實際使用,盡可能有真實使用者參與
由誰判定工程團隊依書面準則判定;驗收時由客戶判定利害關係人與使用者,通常有獨立評估者參與
結果每項需求通過或不通過需要已滿足、部分滿足或未滿足,常伴隨新的或變更的需要
可追溯性需求 → 驗證事件需要 → 確認事件
常見紀錄需求驗證矩陣、測試報告確認計畫與報告、作業評估報告
失敗代表系統不符合某項需求:修正設計或建造需求沒有掌握需要:先修正需求,再修正設計
EO-1 範例TC-07:電池 78.3 Wh,要求 77 WhVAL-03:農藝師接受 4.5 m 四波段地圖

常見的混淆

  • 「確認是最後一項測試。」接近尾聲的系統層級測試通常仍屬於驗證。確認是由其依據(需要與預期用途)定義的,而不是由時機定義,而且應該早在尾聲之前就開始。
  • 「所有需求都通過了,所以系統已經確認。」需求通過只表示需求已被滿足。它完全沒有說明這些需求是否正確。EO-1 可能完全滿足 1.6,卻在實際雲量下仍未達成 N2。
  • 確認需求與驗證系統。這些詞也適用於需求本身。INCOSE Guide to Needs and Requirements 將 需求驗證(陳述是否結構良好:必要、明確、可驗證?)與 需求確認(它是否表達了它所來自的需要?)與系統驗證和系統確認區分開來。請說明您指的是哪一個。需求撰寫指南 說明如何讓陳述可驗證。
  • 「示範就是確認。」針對需求的示範屬於驗證。與使用者一起、依其需要判定的作業情境示範,才屬於確認。決定它的不是方法,而是依據。
  • 「模擬就是確認。」模擬是一種技術。以 100 分鐘為準模擬 6.5 的規劃週期,是驗證 6.5。以「每週兩次可用影像」為準模擬一個生長季,是確認 N2。而模擬模型本身也需要自己的確認。
  • IV&V 意味著「更多的 V&V」。獨立驗證與確認是由在管理、預算與技術判斷上都與開發者分離的組織所執行的 V&V。它關乎由誰執行,而不是第三種活動。
  • 將關聯數量當成結果。連結到確認事件的需要是 已規劃 確認,而不是已確認。涵蓋數量告訴您規劃了什麼;只有結果才能告訴您證明了什麼。

Holarch 如何記錄兩者

在 LML 專案中,驗證與確認與需要和需求保存在同一個模型中,使用相同種類的項目與關聯:

  • 需要 是 Statements(而非 Requirements),以 traced to 連結到將它們正式化的需求。
  • 驗證規劃 位於每個 Requirement 上:驗證方法(分析、示範、檢驗、測試,可任意組合)、層級與成功準則。
  • 驗證事件 是測試套件中的 Test Cases,以 verifies 連結到需求。分析、檢驗與示範也都是測試案例。每次執行都會記錄測試人員、組態、測試件與證據檔案;失敗的測試會成為 Issues,而測試週期會保存每一輪測試。
  • 確認事件 也可以是 Test Cases,放在自己的套件中(如上方的 TS-3),以 verifies 連結到需要。標準 LML 結構描述只允許 verifies 指向需求,因此 EO-1 模型的結構描述加入了一個目標:Test Case verifies Statement;在您自己的專案中,請先在 結構描述 中加入它(開啟 Test Case,+ 關係),再於 可追溯性矩陣 中建立關聯。RVTM 與 驗證涵蓋率 只計算需求,因此確認事件不會改變「32 項需求中已驗證 11 項」這個數字;矩陣會將它們顯示在需求旁邊。
  • 效能量測 是標記為 MOE、具有門檻值與目標值的 Measures。模擬器 中的蒙地卡羅研究可以將輸出與某項需求或某個 Measure 比較,並將結果記錄為 Test Case,分析就是這樣成為驗證證據的。
  • 變更 會將關聯標記為可疑,包括連到驗證測試案例的關聯,就像 TC-06 一樣。
  • 模型驗證 就是 驗證 → 模型檢查 所做的事:套用於整個模型的規則,例如沒有驗證測試案例的末端需求,以及沒有 Issue 的失敗測試。Action 圖在執行模擬之前也有自己的檢查。Holarch 沒有獨立的模型確認紀錄;請將與測試或飛行資料的比較,保留為依賴該模型之分析測試案例的證據。

SE 流程指南顯示 V 模型的兩側。使用 V 模型 流程時,驗證關聯 卡片將右側的每個階段與它所檢查的左側階段配對:系統確認對應作業概念(「需要已確認」),系統驗證對應系統需求(「需求已驗證」),以及下方的子系統與單元層級。

請依照上述混淆的精神,將這張卡片解讀為涵蓋範圍。只要有測試案例以 verifies 連結到某項需要,或從它追溯出的某項需求已通過,該需要就計為已確認,因此即使 VAL-01 與 VAL-02 尚未執行,N1 與 N2 仍被計入。卡片將每個被追溯、但不是需求的 Statement 都計為需要;在示範中,這會在 N1–N3 之外再加上一項假設(1.1 Reference Orbit)與三項作業規則(OR-1 至 OR-3),所以顯示為 7。確認結果本身則位於測試中心。

文件可以承載這些計畫:文件範本包括作業概念、驗證與確認計畫、測試計畫、測試報告與 IV&V 計畫,並含有隨模型更新的即時 VCRM 與 RVTM 區塊。

在 Holarch 中試試看

  1. 建立 EO-1 專案:管理專案 → 專案檔案 ▾ → 新增示範專案 → CubeSat(引導式系統工程),或匯入 EO-1 參考模型。
  2. 按 ⌘K / Ctrl+K,輸入 crop stress,然後開啟 N1 Same-Day Crop Stress Alerts:它的關係會顯示它 traced to 的需求,以及驗證它的 VAL 事件。將您自己的需要新增為 Statement,例如在需求文件中使用 新增項目 ▸。
  3. 在 驗證 → 測試中心 中,開啟 TS-3 Mission Validation。若要建立您自己的套件,請按一下 + 新增 ▾ → 測試套件…,然後為每個確認事件按 + 測試案例,並以利害關係人的語言撰寫其設置與預期結果。
  4. 開啟 驗證 → 可追溯性矩陣,將需要放在列、確認測試案例放在欄,並選擇 verified by:每項需要都有其 VAL 事件。按一下空白儲存格即可新增關聯。
  5. 開啟 驗證 → RVTM 查看需求驗證,並開啟 計畫 → SE 流程 搭配 V 模型 查看 V 模型的兩側。

完整參考請見 驗證、可追溯性、SE 流程 與 模型檢查。

常見問題

先做驗證還是先做確認?

正式的系統確認通常在系統驗證之後進行,因為它需要一個能在預期環境中依規格運作的系統。但確認活動會先開始:對概念與需求的利害關係人審查,在任何驗證可行之前就已進行。請在一開始就規劃兩者。

一項活動能同時做到兩者嗎?

可以,只要事先如此規劃,並分別對照兩種依據判定。端對端的作業演練可以依 48 小時準則驗證 6.1 Contact Scheduling,同時在真實操作人員與客戶參與下,為 N1 蒐集確認證據。請分別記錄兩項判定,因為它們可能不同。

誰執行確認?

通常由開發者規劃並提供支援,但判定屬於利害關係人:使用者、操作人員、客戶,有時還有獨立的測試組織。沒有利害關係人參與的確認,只是對他們需要的猜測。

驗證通過但確認失敗時會怎樣?

這表示需求沒有掌握需要。將失敗的需要追溯到其需求,找出遺漏或錯誤的那一項,透過變更管制加以修改,並沿著可疑關聯追蹤到設計與驗證。這是系統工程中代價最高的失敗,這也是早期確認值得投入的原因。

下一步