我們如何測試
我們如何測試 Holarch
每次發行在送達您之前都要通過的檢查、發行如何進入託管服務、證據如何公開,以及這些測試無法顯示的內容。
每次發行
每次發行都在原始碼的乾淨副本中建置,絕不在工作副本中建置。建置結果接著通過發行關卡:一組固定的自動化檢查。任何檢查失敗都會中止發行。修正原因後,失敗的檢查會重新執行,發行才會繼續。
- 發行建置:應用程式以發行模式建置,並依頁面的內容安全性原則檢查建置出的程式碼。
- 語言引擎建置:編譯後的語言引擎會從其原始碼重新建置,結果必須與隨附的建置相同。
- 引擎防護測試:對每項引擎操作輸入深層、冗長、寬廣、循環與超出限制的內容,並限制回應時間與記憶體,同時檢查時間是否與輸入大小成比例增加。
- 相依套件稽核:檢查引擎的第三方相依套件是否有已知的安全性公告,並檢查其授權與來源。
- 注入檢查:若程式碼中有任何插入 HTML 或將文字當作程式碼執行之處,除非該處已經審查並記錄為安全,否則檢查工具會讓發行失敗。
- 第三方檔案:應用程式隨附的每個第三方檔案都必須與其記錄的檢查碼相符。
- 效能:在大型產生專案上,於瀏覽器與伺服器中為建置好的應用程式計時,並與固定的限制比較。
- 冒煙測試:在真實瀏覽器 Safari 中開啟並使用建置好的應用程式,分別以桌面應用程式與伺服器模式執行,也就是託管服務的執行方式。
- 變更內容的測試:針對發行所變更的每個領域執行瀏覽器測試套件(若該領域兩種模式皆有,則兩種模式都執行),並執行每個變更之伺服器模組的 Python 測試。
瀏覽器測試以人操作的方式驅動應用程式:在頁面中點按、拖曳與輸入,然後檢查模型與畫面。
從發行到託管服務
- 先上預備環境:每次發行在進入正式環境之前,都會先在獨立的預備服務上執行。正式環境只接受已在預備環境上執行過的建置。
- 資料庫變更前先備份:在發行變更資料庫之前,會先儲存一份資料庫副本。
- 健康檢查:切換之後,服務必須回應為健康,並回報已發行的版本。
- 復原:前一個版本會被保留。如果新版本未通過健康檢查,服務會回到前一個版本。
託管服務的備份每週都會進行還原測試;請參閱 服務目標。
語言引擎
Holarch Language Engine 會剖析、解析並檢查 SysML v2 與 KerML 文字。除了發行檢查之外,它還依據一份書面驗收計畫進行量測。驗收準則在量測任何結果之前就已寫下;日後若變更準則,就是方法的一個新的編號版本,並記錄其原因,而先前的結果保留其量測時所依據的版本。已公布的結果絕不修改;更正是一次新的執行,並指明它所取代的那一次。
- 範例模型:引擎以 Object Management Group 官方發行儲存庫中的 SysML v2 範例模型(訓練、範例與驗證集)進行測試,並固定在特定的發行版本。
- 差異測試:將引擎在這些模型上的結果與 OMG 的試行實作比較:每個模型是否被接受,以及每個名稱繫結到哪個元素。每項不一致都會個別調查,並歸類為引擎錯誤、不支援的語言功能、範例中的錯誤,或試行實作中的差異。
- 強健性:大量受損的輸入,例如缺少大括號、截斷的宣告、損壞的匯入、循環、無效字元與常見的輸入錯誤,用來檢查引擎從不當機、在損壞修復後給出相同答案,並持續檢查模型的其餘部分。
- 規模:以非常大的產生模型量測編輯的回應時間、分析整個模型的時間、記憶體使用量,以及時間如何隨模型大小增加。
- 模糊測試:對引擎的請求、詞法分析器與剖析器進入點進行模糊測試。
- 測試案例:引擎自己的測試依據規格文字撰寫,每一項都標記其所檢查的條款。
結果(包括失敗)以及引擎版本、方法版本與已知缺陷:Language Engine 測試結果。語言支援目前涵蓋的內容及其已知缺口:SysML v2 語言涵蓋範圍。
公開證據:EO-1 參考模型
EO-1 參考模型 是在 Holarch 中建立的完整 CubeSat 模型,從需要一直到經驗證的證據。它的專案檔案與匯出資料可免費下載,因此任何人都能開啟模型並自行檢查其可追溯性。
EO-1 模型上的正式驗證週期 追蹤一項需求變更走過正式計畫:失敗的重新測試、不合格品及其特採、危害與失效模式、簽核、審查與新的基準線。
專案規模
每個方案的項目上限都依據託管服務的負載測試而定。已測試的上限 說明了測試內容、通過標準、結果,以及未量測的項目。
這些測試無法顯示的內容
- 這是 Holarch 自己的測試。它不是認證,而且託管服務沒有任何安全性認證;請參閱 認證。
- 引擎結果報告的是 Holarch 的測試在其執行的模型上所發現的內容。Object Management Group 並未審查或背書這些結果。
- 已規劃對測試方法進行獨立審查。
- 測試能降低缺陷的機率,但無法排除缺陷。請使用應用程式中的傳送意見回饋,或寄信至 [email protected] 回報問題。