跳至:本次執行 · 摘要 · 工作階段記憶體 · 證據支持的範圍 · 範例模型 · 診斷驗證 · 名稱繫結 · 損壞的文字 · 速度與記憶體 · 尚未支援 · 重現結果 · 先前的執行 · 這些結果無法顯示的內容
本次執行
- 引擎:Holarch Language Engine 2.1(版本 2.1.1,建置 37168cc)。Holarch 隨附版本 2.1.2,它新增了供主程式進度列使用的進度回報,並能檢查曾使先前版本停止的極長匯入鏈或特化鏈;在本次執行的範例模型、產生的模型與測試語料上,它的回應與 2.1.1 相同,因此本頁以 2.1.1 量測的數據未重新量測。在官方執行以外的一次量測中,它對大型產生模型的冷啟動分析多花了約 3 % 的時間。引擎 2.1 新增了可變性、使用者定義的關鍵字、轉移的觸發與效果、模擬(另行授權的附加元件,未在此量測),並降低了整個編輯工作階段的記憶體用量。
- 方法:書面驗收計畫第 10 版。準則在量測第一批結果之前即已訂定。之後每次方法變更都會記錄原因,先前的結果保留其量測時所用的方法。第 8 到第 10 版在可變性、使用者定義的關鍵字、轉移的觸發與效果各自推出時,將它們從不支援的結構清單中移除;準則與關卡不變。
- 範例模型:OMG SysML v2 發行儲存庫的 training、examples 與 validation 集,發行版 2026-08(commit fb97b754):252 個檔案,14,957 行。每次執行時都從 OMG 的儲存庫取得模型,不會複製到 Holarch 中。
- 參考:OMG 的試行實作,版本 0.62.0,以黑箱方式執行。
- 大型模型:10,000 到 250,000 行的產生模型,含深層匯入、跨套件參照與長特化鏈。
本頁的每個數據都來自下方列出的官方執行。已發布的執行絕不會被編輯。更正會是一次新的執行,並註明它取代的是哪一次。
內部審查 標示本頁的每項分類與審查:不一致的類別、登錄表、每個引擎錯誤的審查,以及繫結類別。這些都是 Holarch 依據規格文字所做。目前尚無外部審查;在有外部審查之前,此標籤會一直保留。
| Holarch 發行版 | 引擎版本 | 引擎建置 | 方法 | 官方執行 |
|---|---|---|---|---|
| 2.21.0(隨附引擎 2.1.2) | 2.1.1 | 37168cc | 10 | 2.1.1-37168cc79-1(所有量測,也包括工作階段記憶體特性分析;本頁的數據) |
| 2.17.1 | 2.0.1 | d8cf5c8 | 7 | 2.0.1-d8cf5c835-1(速度與記憶體、工作階段記憶體) |
| 2.15.1 | 2.0.0 | dd4fb10;91f058a 回報 2.0.0 | 6 | 1.0.0-dd4fb10f5-1(所有量測)、2.0.0-91f058a75-1(所有量測,在回報 2.0.0 的建置上;也包括工作階段記憶體特性分析) |
| 2.15.0 | 1.0.0 | e6bb924 | 5 | 1.0.0-e6bb92459-1(速度與記憶體、測試涵蓋率) |
| 2.14.0 | 1.0.0 | 0c983e2 | 6 | 1.0.0-0c983e2e8-1(速度與記憶體,用於比較) |
| 2.13.1 | 1.0.0 | d3f5d4b | 5 | 1.0.0-d3f5d4b5d-2(範例模型)、1.0.0-d3f5d4b5d-1(其他量測) |
| 2.12.0 | 1.0.0 | 8a6bf7b | 5 | 1.0.0-8a6bf7b76-2(範例模型)、1.0.0-8a6bf7b76-1(其他量測) |
| 2.11.0 | 1.0.0 | c184e57 | 3,依 4 解讀 | 1.0.0-c184e57e6-1 |
摘要
在產生的 10,000 行模型上,引擎 2.1.1 分析整個模型需 150 ms,編輯後重新檢查需 1.3 到 6.8 ms(第 95 百分位數)。引擎基準(已載入標準庫):17 MiB;整個模型的分析每 10,000 行約增加 29 MiB,整個編輯工作階段每 10,000 行約增加 33 MiB。所有準則皆已達成,包括 100,000 與 250,000 行時整個編輯工作階段的引擎記憶體,這是先前的引擎未能達成的。以最多 250,000 行的產生模型測試:各種大小的速度與記憶體。
上方的記憶體以引擎基準之上每 10,000 行顯示;引擎基準是已載入標準庫且模型為空時的引擎記憶體。準則適用於總量。
| 量測項目 | 準則 | 引擎 2.1.1 | 達成 |
|---|---|---|---|
| 範例模型:當機與逾時 | 不允許任何發生 | 無 | 是 |
| 範例模型:驗收一致性(經分類) | 評估範圍內至少 98 % 的檔案 | 252 / 252 內部審查 | 是 |
| 範例模型:錯誤接受 | 不允許任何發生 | 無 | 是 |
| 範例模型:每個引擎錯誤逐一審查 | 全部審查 | 44 / 44 內部審查 | 是 |
| 名稱繫結 | 成對繫結至少 99.5 % 一致 | 4,904 / 4,908 | 是 |
| 損壞的文字 | 七項準則,見下方 | 七項全部達成 | 是 |
| 編輯,所有大小 | 值變更在 12 ms 內,其他編輯在 60 ms 內(250,000 行時為 25 與 150 ms) | 全部在範圍內 | 是 |
| 冷啟動分析,100,000 行 | 僅回報,自方法第 4 版起不再設為目標(先前目標:0.6 s 內) | 1.43 s | 未達先前目標 |
| 冷啟動分析,250,000 行 | 僅回報,自方法第 4 版起不再設為目標(先前目標:1.2 s 內) | 3.73 s | 未達先前目標 |
| 長時間分析期間顯示進度 | 任何可能超過 3 秒的分析都有進度列(方法第 4 版) | 已顯示,含引擎的各階段;由 Holarch 的進度測試檢查 | 是 |
| 引擎記憶體,冷啟動分析,100,000 行 | 512 MiB 內 | 基準之上每 10,000 行 28 MiB | 是 |
| 引擎記憶體,冷啟動分析,250,000 行 | 1 GiB 內 | 基準之上每 10,000 行 28 MiB | 是 |
| 引擎記憶體,整個編輯工作階段,100,000 行 | 512 MiB 內(方法第 6 版) | 基準之上每 10,000 行 33 MiB | 是 |
| 引擎記憶體,整個編輯工作階段,250,000 行 | 1 GiB 內(方法第 6 版) | 基準之上每 10,000 行 33 MiB | 是 |
| 隨模型大小的成長 | 250,000 行的冷啟動分析至多為 10,000 行時的 40 倍 | 24.9 倍 | 是 |
| 相同請求,相同回應 | 在兩個全新程序中每個回應都相同 | 1,211 / 1,211 | 是 |
工作階段記憶體:準則已達成
達成:100,000 與 250,000 行時整個編輯工作階段的引擎記憶體。到 2.0.1 為止的引擎在 250,000 行時未能達成(2.0.0 在 100,000 行時也未達成);引擎 2.1.1 在整個工作階段中,基準之上每 10,000 行約需 33 MiB,100,000 行時在 512 MiB 內,250,000 行時在 1 GiB 內。
- 改變了什麼。列印器與文字比對不再於記憶體中建立文件的完整副本(引擎 2.0.1),而引擎的名稱表、分析快取、語法樹與來源位置佔用的空間也變少了(引擎 2.1.1)。
- 列印整個模型先前是最大的步驟,現在在原生環境中基準之上每 10,000 行約需 40 MiB,比在已開啟的工作階段旁從頭重新分析模型(每 10,000 行約 54 MiB)還少:長時間工作階段的記憶體。
- 在瀏覽器中,引擎的記憶體永遠不會縮小,因此 worker 會維持其最大時刻的大小,直到被結束為止;當閒置的引擎 worker 佔用的記憶體遠多於它所使用的量時,Holarch 會結束並重新啟動它。
證據支持的範圍
這些結果支持哪些用途,以及證據止於何處。「未確立」表示本頁對此沒有任何正面或反面的證據。
| 用途 | 依據 | 已確立 | 未確立 |
|---|---|---|---|
| 編輯器輔助(輸入時分析) | 編輯時間、損壞的文字、範例模型、工作階段記憶體 | 最多 250,000 行時,編輯後的重新分析在原生環境與 Safari 中皆符合準則;七項準則中損壞的文字皆有處理;長時間編輯期間記憶體趨於平穩;最多 250,000 行時,整個編輯工作階段的記憶體符合準則 | 在比量測電腦更慢的電腦上的時間(假設容許 4 倍,未量測);Safari 以外的瀏覽器 |
| 批次與 CI 檢查(整個模型) | 範例模型、診斷驗證、冷啟動分析、相同請求相同回應 | 無當機或逾時;分類後 252 個範例檔案中 252 個一致 內部審查;每個引擎錯誤皆已審查;全新程序中回應相同;冷啟動分析隨模型大小成比例成長 | 由人或其他工具撰寫的大型模型(僅量測了產生的模型與 OMG 的範例);CI 整合 |
| 模型轉換(將模型列印為文字、將文字寫回模型) | 整個編輯工作階段、工作階段記憶體 | 每個步驟在各種模型大小上皆有回應;在原生環境中,最多 250,000 行的整個模型列印記憶體符合準則 | 列印與寫回是否得到相同的模型(不屬於這些量測);從 SysML v1 轉換 |
| 瀏覽器(WebAssembly) | Safari 時間、Safari 中的工作階段記憶體 | Safari 中最多 250,000 行的啟動、冷啟動分析與編輯 | Chrome、Firefox 與 Edge;行動瀏覽器;此引擎在 Safari 中的工作階段記憶體(2.0.1 已量測至 250,000 行) |
| 原生與伺服器 | 本頁的所有量測(準則以原生環境為準) | 在 Apple silicon Mac 上 | 其他作業系統與處理器;單一程序中同時處理多個模型;跨多個專案的長時間伺服器工作階段 |
| 高可信度用途(安全或任務關鍵決策、認證證據) | 單獨無法支持 | 不超出上述用途 | 外部審查;任何形式的認證或資格認定;完整涵蓋規格的驗證規則;動作與狀態機的執行(模擬附加元件未在此量測) |
範例模型
每組範例模型會作為一個專案一起分析,因為範例之間會互相匯入套件。試行實作在一個工作階段中取得相同的檔案。對每個檔案比較兩者的回應:檔案是否有錯誤,以及每個名稱繫結到哪個元素。
驗收一致性
| 計數 | 計數內容 | 引擎 2.1.1 |
|---|---|---|
| 原始 | 每個檔案;對檔案是否有錯誤的一致性,不做分類 | 242 / 252 |
| 評估範圍 | 排除不一致來自不支援清單上之結構的檔案後剩下的檔案 | 252 / 252(無排除) |
| 經分類 | 評估範圍內的一致性,只有在規格顯示引擎正確時,才將不一致計為一致 | 252 / 252 內部審查 |
- 達成:每個檔案都與試行實作一致,其中 10 個是透過下方的登錄表。可變性、使用者定義的關鍵字、轉移的觸發與效果現已支援,因此沒有檔案離開評估範圍(引擎 2.0.0 時有 11 個);比起引擎 2.0.0,多了 10 個檔案被無錯誤接受,而 2.0.0 接受的檔案現在都沒有錯誤。
- 錯誤接受:0。試行實作拒絕的檔案,引擎都沒有接受。
- 當機與逾時:無。
分類規則 內部審查。與試行實作的每個不一致都會個別調查,並在執行之前(絕不在執行期間)以下列其中一個類別記錄:
- 範例錯誤:引擎正確而範例無效,並附上證明這一點的規格條款。例如:將長度與質量相加的算術。計為一致。
- 試行實作錯誤:引擎正確,而試行實作的回應與所引用的規格條款矛盾。計為一致。
- 不支援的結構:不一致來自引擎已公布之不支援結構清單上的結構(見下方)。該檔案離開評估範圍。當該結構推出後,它會離開清單,檔案也會重新量測。
- 引擎缺陷:引擎中的已知錯誤。絕不計為一致。
由規格判定之不一致的登錄表 內部審查
有十個不一致因規格顯示引擎正確而計為一致。每一個都列在這裡。審查狀態:「內部」表示由 Holarch 依據規格審查;這些案例及其他案例的外部審查已在規劃中。
| Id | 檔案 | 等級 | 條款 | 證據 | 審查 |
|---|---|---|---|---|---|
| R1 | Calculation Definitions(training) | 範例錯誤 | SysML 9.8.2 | 功率與速度因次項在同一個總和中相加 | 內部 |
| R2 | Calculation Usages-2(training) | 範例錯誤 | SysML 9.8.2 | 不同因次的量在同一個運算式中組合 | 內部 |
| R3 | Dynamics(examples) | 範例錯誤 | SysML 9.8.2 | 不同因次的量在同一個運算式中組合 | 內部 |
| R4 | Turbojet Stage Analysis(examples) | 範例錯誤 | SysML 9.8.2 | 不同因次的量在同一個運算式中組合 | 內部 |
| R5 | SimpleQuadcopter(examples) | 範例錯誤 | SysML 9.8.2 | 長度繫結到無因次值 | 內部 |
| R6 | VehicleGeometryAndCoordinateFrames(examples) | 範例錯誤 | SysML 9.8.2 | 純數字加上長度 | 內部 |
| R7 | 15_12 Compound Value Type(validation) | 範例錯誤 | SysML 9.8.2 | 不同因次的量在同一個運算式中組合 | 內部 |
| R8 | AnalysisIndividualExample(examples) | 範例錯誤 | SysML 9.8.2 | 速度繫結到燃油經濟性特徵 | 內部 |
| R9 | 13a Model Containment(validation) | 試行實作錯誤 | KerML 8.2.3.5.3 | 兩個不同的匯入元素在同一個命名空間中同名;一個名稱至多解析到一個成員關係,而試行實作任選其一 | 內部 |
| R10 | SysML v2 Spec Annex A SimpleVehicleModel(examples) | 試行實作錯誤 | KerML 8.2.3.5.3 | 多個匯入帶入同名元素(同 R9);使用它們的重新定義與連接器端點也隨之受影響。此模型也將速度繫結到長度,屬範例錯誤 | 內部 |
診斷驗證 內部審查
驗收一致性只說明兩個工具是否都拒絕某個檔案。為了檢查引擎拒絕檔案的原因,引擎在範例模型上回報的每個錯誤(含不支援結構的行除外)都逐一審查:其代碼、位置、所套用的規則、規格條款、它是某個問題的第一個錯誤(主要)還是另一個錯誤的後果(連鎖),以及處置結論。
| 處置 | 意義 | 引擎 2.1.1 |
|---|---|---|
| 已確認 | 規格支持此錯誤 | 42 |
| 引擎缺陷 | 誤報的錯誤 | 0 |
| 有爭議 | 規格未對此案例做出判定 | 2 |
| 已知缺口 | 錯誤來自不支援清單上的結構 | 0 |
| 總計 | 10 個檔案中 44 個錯誤(22 個主要、22 個連鎖) |
- 沒有引擎缺陷。沒有任何錯誤落在引擎不支援的結構上:引擎 2.0.0 中來自可變性、使用者定義的關鍵字與轉移效果的 40 個錯誤已經消失。
- 各處使用相同代碼。解析到多個匯入元素的名稱,在運算式與參照中都回報為模稜兩可;先前的建置在運算式中將其回報為未解析。
- 一種解讀。當匯入帶入兩個同名元素且其中一個特化另一個時,規格的描述與其形式規則並不一致。引擎依循形式規則,將名稱回報為模稜兩可。試行實作則接受這類名稱而不產生診斷。
- 有爭議:2 個有爭議的錯誤將一個量繫結到以純實數為型別的特徵:規格中沒有任何約束使此繫結無效,但在數量庫的意義下它不可能成立。
名稱繫結
對於模型中的每個名稱,兩個工具都會回報它繫結到的元素。兩個工具對同一名稱都回報的繫結會配對並比較。一致性數據僅計算已配對的繫結;它不涉及只有一個工具回報的繫結,這些繫結在下方依類別分類。
- 已配對繫結中有 4,904 / 4,908 一致。
- 只有一個工具回報的繫結:引擎 1,639 個,試行實作 601 個。
4 個已配對的不一致 內部審查
| 繫結 | 位置 | 原因 | 等級 |
|---|---|---|---|
| 3 | PartTest(examples) | 試行實作對目標的名稱帶有其簡稱;為同一元素 | 元素識別或正規化不同 |
| 1 | ActionTest(examples) | 沒有承載內容的傳送動作:試行實作建立自己的承載特徵來重新定義庫中的特徵;經重新定義後為同一特徵 | 元素識別或正規化不同 |
引擎 2.0.0 在轉移的 accept 與 effect 上的 3 個不一致已經消失:引擎現在與試行實作一樣,繫結到轉移本身的接受者與效果。
只有一個工具回報的繫結 內部審查
依據檢視每個繫結、其目標及其所在行的規則排序:
| 類別 | 僅引擎 | 僅試行實作 |
|---|---|---|
| 元素識別或正規化不同 | 1,243 | 370 |
| 額外的隱含繫結(引擎繫結,試行實作未顯示關係) | 396 | – |
| 缺少(試行實作繫結,引擎未繫結) | – | 231 |
| 不支援的結構 | 0 | 0 |
| 試行實作差異 | 找到 0 個 | 找到 0 個 |
| 總計 | 1,639 | 601 |
- 元素識別或正規化不同大多源自比較方式,而非引擎:連接器、流與接續端點以及運算式中的名稱,試行實作將其顯示為擁有的特徵而非關係;位於五個庫套件中的目標,比較工具在試行實作那一側無法命名;在繫結比較中依字母順序餵給試行實作的檔案,若依相依順序則可多配對 217 個繫結;以及試行實作以不同方式命名的簡稱、共軛埠、未命名的擁有者與隱含特徵。
- 額外的隱含繫結與缺少是規則分類後剩下的部分。抽樣顯示有經由介面端點的鏈、定義中的共軛埠與中繼資料;它們尚未逐一審查。
- 修正比較方式會改變量測本身,因此需要新的方法版本。
損壞的文字
模型會被刻意損壞,一次一個變異:移除或多出的大括號、截斷的宣告、損壞的匯入、循環參照、無效字元、隨機的 token 變更,以及常見的輸入錯誤,例如缺少分號或關鍵字拼錯。輸入包括引擎自己的測試模型、一個產生的模型與範例模型。
| 檢查 | 準則 | 結果 | 達成 |
|---|---|---|---|
| 當機與超過 10 s 的逾時 | 不允許任何發生 | 無 | 是 |
| 損壞的輸入 | 至少 10,000 | 10,044 | 是 |
| 每次編輯後的回應等於全新分析的結果 | 全部 | 10,044 / 10,044 | 是 |
| 修復損壞後恢復原本的回應 | 全部 | 9,830 / 9,830 | 是 |
| 一個變異至多產生 3 個新的語法錯誤 | 至少 99 % 的案例 | 100.0 % | 是 |
| 第一個語法錯誤指向損壞的宣告內部或緊接其後 | 至少 95 % 的案例 | 7,163 個中的 99.7 % | 是 |
| 損壞範圍以外的宣告仍以相同方式檢查 | 至少 99 % | 55,225 個中的 99.5 % | 是 |
速度與記憶體
準則針對引擎的原生建置。在 Holarch 中,引擎以 WebAssembly 在瀏覽器中執行,速度較慢;準則為此及較慢的電腦,在編輯與分析上預留 8 倍的係數。WebAssembly 建置也在 Safari 中量測(見下方)。
引擎基準(已載入標準庫):17 MiB。以下記憶體數據為此基準之上每 10,000 行的量:峰值減去基準,再除以以 10,000 行為單位的模型大小。準則適用於總量。
編輯
每種編輯在 20 次暖身編輯之後套用 200 次,於同一個編輯工作階段中進行,方式與 Holarch 編輯器送出時相同。表格顯示第 95 百分位數:100 次編輯中有 95 次達到此速度或更快。
| 模型大小 | 變更值 | 重新命名定義 | 變更匯入 | 變更超型別 | 達成 |
|---|---|---|---|---|---|
| 10,038 行 | 1.3 | 6.8 | 2.1 | 2.2 | 是 |
| 50,013 行 | 3.9 | 19.4 | 4.9 | 4.7 | 是 |
| 100,033 行 | 7.7 | 34.6 | 8.6 | 8.5 | 是 |
| 250,011 行 | 22.7 | 90.8 | 24.0 | 24.9 | 是 |
準則:值變更在 12 ms 內(250,000 行時 25 ms);重新命名、匯入或超型別變更在 60 ms 內(250,000 行時 150 ms)。
分析整個模型
冷啟動分析:一個已載入標準庫的全新程序從零開始分析整個模型,取 5 次執行的中位數。引擎記憶體是該分析期間引擎的峰值,以基準之上每 10,000 行表示。同一分析的 WebAssembly 記憶體列出供參考,以每 10,000 行表示,並包含引擎本身的啟動記憶體。
| 模型大小 | 冷啟動分析 | 引擎記憶體,冷啟動分析 | WebAssembly 記憶體,冷啟動分析 |
|---|---|---|---|
| 10,038 行 | 150 ms | 每 10,000 行 29 MiB | 每 10,000 行 38 MiB |
| 50,013 行 | 711 ms | 每 10,000 行 28 MiB | 每 10,000 行 29 MiB |
| 100,033 行 | 1.43 s | 每 10,000 行 28 MiB | 每 10,000 行 28 MiB |
| 250,011 行 | 3.73 s | 每 10,000 行 28 MiB | 每 10,000 行 26 MiB |
- 方法第 3 版下的冷啟動分析:未達目標。目標為 100,000 行 0.6 s、250,000 行 1.2 s;極大模型的首次分析需 1.43 s 與 3.73 s。本次執行期間量測電腦上還有其他工作在執行,因此這些時間可能偏高幾個百分點;記憶體數據不受此影響。
- 方法第 4 版下的冷啟動分析:僅回報,不設目標。進度準則已達成。任何可能超過 3 秒的分析,Holarch 都會顯示進度列:長時間分析開始一秒後出現,標示目前階段(啟動引擎、載入標準庫、分析模型),並持續到分析完成為止。進度列是應用程式處理冗長首次分析的方式,並不代表對引擎速度的宣稱。
- 達成:首次分析之後的編輯在各種大小下都符合其準則。
- 達成:冷啟動分析的引擎記憶體在 100,000 行時在 512 MiB 內,250,000 行時在 1 GiB 內。
- 達成:時間隨模型大小成比例成長。250,000 行的冷啟動分析耗時為 10,000 行時的 24.9 倍,而模型大了 25 倍(準則:至多 40 倍)。
整個編輯工作階段
方法第 6 版,自引擎 2.0.1 起依第 7 版解讀:量測工具像 Holarch 一樣以文字保存模型的記錄。一個全新程序執行固定的指令碼:首次分析、模型的元素記錄、模型的首次檢查、60 次編輯(20 次值變更、20 次匯入變更與 20 次超型別變更,每次都重新分析)、將模型列印為文字、將編輯後的文字寫回模型,以及評估模型的值。數據為工作階段中任一時點的最大引擎記憶體。
| 模型大小 | 引擎 2.1.1 | 引擎 2.0.1 | 2.1.1 中達成 |
|---|---|---|---|
| 10,038 行 | 每 10,000 行 35 MiB | 每 10,000 行 51 MiB | 僅回報 |
| 50,013 行 | 每 10,000 行 33 MiB | 每 10,000 行 49 MiB | 僅回報 |
| 100,033 行 | 每 10,000 行 33 MiB | 每 10,000 行 49 MiB | 是(準則:512 MiB 內) |
| 250,011 行 | 每 10,000 行 33 MiB | 每 10,000 行 50 MiB | 是(準則:1 GiB 內) |
- 在 100,000 與 250,000 行時達成。準則與冷啟動分析相同:100,000 行時在 512 MiB 內、250,000 行時在 1 GiB 內,即瀏覽器允許 WebAssembly 執行個體使用並保留餘裕的記憶體。在 WebAssembly 中,引擎的記憶體永遠不會縮小,因此工作階段中最大的時刻決定了它的大小。引擎 2.0.1 在 100,000 行時達成準則,在 250,000 行時未達成;引擎 2.0.0 兩者都未達成(方法第 6 版下每 10,000 行 122 MiB)。
- 最大的時刻是模型的首次檢查與評估,兩者都與將文字寫回模型差不多大;列印模型已不再是最大的步驟。
長時間工作階段的記憶體
僅回報,不是準則。這是上述結果的特性分析,於原生環境、引擎 2.1.1 上進行(執行 2.1.1-37168cc79-1)。每種模型大小一個工作階段:開啟模型並檢查;對每個編輯位置進行兩輪編輯(值、匯入與超型別變更,每次都重新分析),接著是持續寫入新數字的值編輯;對未變更的模型進行十次分析與十次檢查,以及在已開啟的工作階段旁從頭分析一次;列印一個套件,再列印整個模型;將文字寫回模型;評估;然後關閉並重新開啟三次。
| 模型大小 | 編輯已開啟的模型 | 最大步驟:在已開啟的工作階段旁從頭重新分析 | 列印整個模型 | 關閉後剩餘 |
|---|---|---|---|---|
| 10,038 行 | 27 MiB | 55 MiB | 41 MiB | 1.5 MiB |
| 50,013 行 | 26 MiB | 54 MiB | 40 MiB | 0.6 MiB |
| 100,033 行 | 26 MiB | 54 MiB | 40 MiB | 0.5 MiB |
| 250,011 行 | 26 MiB | 54 MiB | 40 MiB | 0.4 MiB |
- 編輯趨於平穩。當編輯觸及先前未編輯過的宣告時,記憶體每 10,000 行約增加 5 MiB,之後便保持平穩。
- 重複分析不會累積。對未變更的模型進行十次分析與十次檢查後,記憶體維持原狀。
- 最大的步驟是在工作階段保持開啟的情況下從頭分析整個模型,此時會同時保有兩份分析;只保留一個工作階段的編輯器不需要這麼做。
- 列印整個模型需要基準之上每 10,000 行約 40 MiB(引擎 2.0.1:53 到 55;引擎 2.0.0:129 到 131)。
- 關閉會釋放記憶體。只留下少量餘數,且在三次重新開啟的循環中不會增加。
- 在 Safari 中,此特性分析未在引擎 2.1.1 上執行;最近一次的 Safari 工作階段數據為引擎 2.0.1 的數據,收錄於證據套件中。
WebAssembly,於 Safari 中量測
引擎 2.1.1 的 WebAssembly 建置,在 Holarch 自己的引擎 worker 中,使用相同的產生模型。啟動指取得並啟動引擎及載入標準庫;冷啟動分析取 3 個全新 worker 的中位數;編輯為每種 200 次(在 20 次暖身編輯之後),於同一工作階段中進行,同上。每種模型大小在各自的頁面中執行。重新命名僅在原生建置中量測。這些數據僅回報,不是準則。
| 模型大小 | 引擎啟動,Safari | 冷啟動分析,Safari | 冷啟動分析,原生 | 變更值,p95,Safari / 原生 | 變更匯入,p95,Safari / 原生 | 變更超型別,p95,Safari / 原生 |
|---|---|---|---|---|---|---|
| 10,038 行 | 143 ms | 215 ms | 150 ms | 3 / 1.3 ms | 4 / 2.1 ms | 4 / 2.2 ms |
| 50,013 行 | 152 ms | 867 ms | 711 ms | 12 / 3.9 ms | 10 / 4.9 ms | 10 / 4.7 ms |
| 100,033 行 | 144 ms | 1.63 s | 1.43 s | 20 / 7.7 ms | 20 / 8.6 ms | 20 / 8.5 ms |
| 250,011 行 | 175 ms | 4.44 s | 3.73 s | 53 / 22.7 ms | 50 / 24.0 ms | 49 / 24.9 ms |
尚未支援
這些結構列在引擎已公布的不支援結構清單上。範例模型中因它們而與試行實作不一致的檔案會離開評估範圍;本次執行中沒有。
- 其他語言的文字表示會保留為文字,不做檢查。
可變性、使用者定義的關鍵字,以及以 accept 或 action 撰寫的轉移效果,在方法第 8 到第 10 版中隨各自推出而離開清單。文字表示法的每一條語法產生式都至少有一個測試會剖析它並檢查結果。Holarch 中可用功能的完整清單及其限制:SysML v2 語言涵蓋範圍。
重現結果
這些結果可獨立重現:證據套件(zip,SHA-256 5d9821f7dac3fd0b2bc49a8defe416ac01f515834d65d3182891a9f8d20e59ae)包含在同一引擎建置上重複每次執行所需的內容。
- 一頁的重現指南
REPRODUCE.md:確切的命令、相依套件、輸入及其檢查碼、預期結果與執行時間。 - 測試方法,含每個方法版本(1 到 10)及其原因。
- 分類表:不支援結構的清單、每個已分類的不一致及其類別與條款、上方的登錄表、每個引擎錯誤的審查,以及繫結類別。
- 每次執行的摘要與機器可讀的結果:引擎 2.1.1(所有量測與工作階段記憶體特性分析)、引擎 2.0.1(速度與記憶體、工作階段記憶體)、Holarch 2.15.1(引擎 2.0.0 程式碼的兩個建置)、2.14.0(速度與記憶體)、2.13.1 與 2.12.0,以及在 Safari 中量測的 WebAssembly 時間與工作階段記憶體。
- 大型模型的產生器(每個種子結果固定),以及量測與比較指令碼。
- 每個檔案的檢查碼。
它不包含引擎或 OMG 的檔案。指令碼會依固定的 commit 與套件檢查碼,從公開來源取得範例模型與試行實作。重複執行所需的引擎隨引擎評估提供。
先前的執行
先前的官方執行維持量測時的原樣,各自依其方法版本。在方法 1 到 3 中,100,000 行時冷啟動分析在 0.6 s 內是目標;沒有任何執行達成。方法 4 僅回報而不設目標。方法第 3 版之前的峰值記憶體是量測程序的常駐記憶體峰值,其中也計入配置器保留以供重複使用的記憶體;它與引擎堆積數據不可比較。Holarch 2.15.0 與 2.14.0 的執行只量測了速度與記憶體;2.15.0 執行的時間比前後建置高出約四分之一,量測時同一台電腦上還有其他工作在執行。
| 建置 | 引擎版本 | Holarch 發行版 | 方法 | 驗收,原始 | 驗收,經分類(內部審查) | 名稱繫結 | 冷啟動分析,100,000 行 | 峰值記憶體,100,000 行 |
|---|---|---|---|---|---|---|---|---|
| 37168cc | 2.1.1 | 2.21.0(隨附引擎 2.1.2) | 10 | 242 / 252 | 252 / 252 | 4,904 / 4,908 | 1.43 s | 引擎堆積 302 MiB |
| d8cf5c8 | 2.0.1 | 2.17.1 | 7 | 未量測 | 未量測 | 未量測 | 1.23 s | 引擎堆積 362 MiB |
| 91f058a | 2.0.0 | 2.15.1(引擎程式碼與 dd4fb10 相同) | 6 | 232 / 252 | 241 / 241 | 4,879 / 4,886 | 1.35 s | 引擎堆積 362 MiB |
| dd4fb10 | 1.0.0 | 2.15.1 | 6 | 232 / 252 | 241 / 241 | 4,879 / 4,886 | 1.28 s | 引擎堆積 362 MiB |
| e6bb924 | 1.0.0 | 2.15.0 | 5 | 未量測 | 未量測 | 未量測 | 1.57 s | 引擎堆積 362 MiB |
| 0c983e2 | 1.0.0 | 2.14.0 | 6 | 未量測 | 未量測 | 未量測 | 1.37 s | 引擎堆積 362 MiB |
| d3f5d4b | 1.0.0 | 2.13.1, 2.13.2 | 5 | 231 / 252 | 240 / 242 | 4,851 / 4,860 | 1.24 s | 引擎堆積 362 MiB |
| 8a6bf7b | 1.0.0 | 2.12.0 | 5 | 220 / 252 | 229 / 242 | 4,753 / 4,768 | 1.21 s | 引擎堆積 362 MiB |
| 6eec2b7 | 1.0.0 | – | 5 | 231 / 252 | 240 / 240(錯誤審查之前的分類) | 4,851 / 4,860 | 1.20 s | 引擎堆積 362 MiB |
| c184e57 | 1.0.0 | 2.11.0 | 3 | 220 / 252 | 228 / 228 | 4,753 / 4,768 | 1.31 s | 引擎堆積 361 MiB |
| bfa03c7 | 1.0.0 | – | 2 | 220 / 252 | 228 / 228 | 4,753 / 4,768 | 1.35 s | 程序 972 MiB |
| 1cada39 | 1.0.0 | – | 2 | 216 / 252 | 224 / 228 | 4,737 / 4,752 | 4.24 s | 程序 1,022 MiB |
| fd20280 | 1.0.0 | – | 1 | 145 / 252 | 未分類(方法 1) | 4,326 / 4,373 | 2.41 s | 程序 1,535 MiB |
這些結果無法顯示的內容
- 這些是 Holarch 自己對所執行之模型的量測。它們不是認證。Object Management Group 並未審查或背書這些結果。
- 試行實作與範例模型並不是規格。當它們與引擎不同時,上方的分類會說明規格支持哪一方,以及原因。
- 本頁的每項分類與審查都是內部審查。針對規格對引擎測試案例的抽樣進行外部審查,已在規劃中。
- 動作與狀態機的模擬(另行授權的模擬附加元件)未在此量測。
- SysML v1 模型轉換為 SysML v2 未在此量測。對引擎授權者而言,它是另行授權的遷移附加元件。