已測試的上限
Holarch 能處理多大的專案
Holarch 測試過的最大專案、這些專案所需的瀏覽器記憶體與開啟時間,以及各方案項目限制背後的託管服務負載測試。
效能
以兩種建模語言的產生專案進行測量;瀏覽器數據為 Mac 上的 Safari。每個表格都註明測量時的 Holarch 版本。
- 桌面應用程式(安裝在您電腦上的 Holarch):LML 測試至每個專案 700,000 個項目,SysML v2 測試至 400,000 個(超過 250,000 個項目)。
- 託管服務(app.holarch.app):每個專案最多 50,000 個項目;較大的計畫群可透過跨專案關聯、計畫群地圖與庫來連結專案(方案限制)。
- 自行託管的 Holarch 伺服器(Enterprise):LML 與 SysML v2 皆測試至每個專案 400,000 個項目。LML 約 330,000 個項目以內、SysML v2 超過 400,000 個項目時,一個專案所需的額外伺服器記憶體仍低於 1 GB(超過 250,000 個項目的自行託管伺服器)。
託管服務:伺服器記憶體
專案開啟期間,每 10,000 個項目所需、超出伺服器無此專案時用量的伺服器記憶體。測試至每個專案 50,000 個項目,即託管服務的限制。
| 語言 | 每 10,000 個項目 | 測試過的最大專案 |
|---|---|---|
| LML | 約 17 MB | 50,000 個項目 |
| SysML v2 | 4–8 MB | 50,000 個項目 |
- 這些數字是一個開啟中專案的額外記憶體,而不是整台伺服器的記憶體。基準為剛啟動並完成一次登入後的伺服器,約 130 MB。
- 專案分頁在您瀏覽器中所需的記憶體列於下方(瀏覽器記憶體)。
瀏覽器記憶體
未開啟任何專案時,Holarch 頁面約使用 100 MB。這就是基準。以下數字是專案中每 10,000 個項目,瀏覽器分頁在基準之上所需的記憶體,取專案開啟過程中的最高點。
| 語言 | 託管服務 | 安裝在您的電腦上 |
|---|---|---|
| LML | 40–60 MB | 50–70 MB |
| SysML v2 | 100–155 MB | 70–80 MB |
- 此數字隨專案大小而異。請以較高的數字規劃。
- 編輯增加的用量很少:進行 100 次編輯後,LML 專案分頁使用的記憶體並未比編輯前多。在儲存編輯期間,可能會短暫多需要約 0.6 GB。
- 各專案規模應規劃的記憶體:系統需求。
開啟時間
從按一下到頁面可供使用為止。SysML v2 專案接著會在您工作時於背景執行第一次模型檢查;第二個數字是該檢查完成所需的時間。
| 項目 | LML,託管 | LML,已安裝 | SysML v2,託管 | SysML v2,已安裝 |
|---|---|---|---|---|
| 50,000 | 約 1 秒 | 約 1 秒 | 約 2 秒;檢查 4 秒 | 未測量 |
| 100,000 | — | 約 1 秒 | — | 約 2 秒;檢查 5 秒 |
| 150,000 | — | 未測量 | — | 未測量 |
| 200,000 | — | 約 2 秒 | — | 未測量 |
| 250,000 | — | 未測量 | — | 約 6 秒;檢查 14 秒 |
- 託管時間是對測試伺服器測量的。網路連線較慢時,會增加下載專案的時間。
- —:超出託管服務每個專案 50,000 個項目的限制。
- 託管服務上的編輯確認與多人同時工作:請參閱負載測試結果。
- SysML v2 語言引擎本身的速度與記憶體:請參閱 Language Engine 測試結果。
超過 250,000 個項目,安裝在您的電腦上
Holarch 2.30.0 在 Safari 中開啟了 400,000 與 700,000 個 LML 項目的產生專案,以及 400,000 個項目的 SysML v2 模型,進行一次編輯、儲存後關閉專案。沒有任何失敗。
| 專案 | 開啟 | 背景工作完成 | 開啟時每 10,000 個項目的瀏覽器記憶體 |
|---|---|---|---|
| LML,400,000 個項目 | 約 4 秒 | 16 秒 | 約 105 MB |
| LML,700,000 個項目 | 約 6 秒 | 21 秒 | 約 130 MB |
| SysML v2,400,000 個項目 | 約 3 秒 | 19 秒 | 約 85 MB |
- 在這些規模下,您電腦的記憶體決定了上限。
- 開啟這麼大的 LML 專案時,以及儲存其第一次編輯時,頁面可能會有幾秒鐘沒有回應。
超過 250,000 個項目的自行託管伺服器
一台執行 Holarch 2.30.0 的 Holarch 伺服器,以 250,000 與 400,000 個 LML 項目(每個項目三個關係)的產生專案,以及 400,000 個項目的 SysML v2 模型進行測試。每個專案都經過以下工作負載:
- 將整個專案儲存到伺服器,開啟它,然後再次開啟。
- 擁有者從 10 個頁面同時編輯 60 秒,每個頁面每秒進行一次編輯,並每 15 秒重新開啟專案。
- 壓縮變更歷程。
- 刪除專案。
每個階段都通過:沒有伺服器錯誤,也沒有被拒絕的編輯。
| 專案 | 每 10,000 個項目,最高的階段 | 低於 1 GB | 編輯確認 p95 |
|---|---|---|---|
| LML,250,000 個項目 | 約 31 MB | 是 | 30 ms |
| LML,400,000 個項目 | 約 30 MB | 否,自約 330,000 個項目起 | 60 ms |
| SysML v2,400,000 個項目 | 約 21 MB | 是 | 34 ms |
- 這些數字是專案所需、超出伺服器無此專案時用量的額外伺服器記憶體。它們不是整台伺服器的記憶體。
- 整個專案的儲存預設限制為 192 MB 的專案資料,約 340,000 個 LML 項目或 430,000 個 SysML v2 項目。自行託管伺服器可以提高此限制;400,000 個項目的執行即提高了限制。
- 這些是在此工作負載下測試過的規模,並非對每個模型的保證。長文字與大量圖不在此測試範圍內。
1.1.6 → 2.15.1
Holarch 1.1.6 是第一個以這些大型專案測試測量的版本。相同的測試在 1.1.6 與 2.15.1 上原封不動地執行,使用相同的產生 LML 專案、同一台電腦與相同的伺服器限制。
| 量測項目 | Holarch 1.1.6 | Holarch 2.15.1 |
|---|---|---|
| 每 10,000 個項目的記憶體:建立、開啟、200 次編輯與一個版本 | 220–250 MB | 20,000 個項目起為 40–55 MB(5,000–10,000 個時為 80–110 MB) |
| 同上,並在擁有者編輯時寫入版本 | 在 25,000 個項目時記憶體不足 | 45–67 MB |
| 基準:完成一次登入後的伺服器 | 約 125 MB | 約 130 MB |
| 寫入 25,000 個項目專案的版本 | 7.5 秒 | 0.4 秒 |
| 測試過的最大專案 | 25,000 個項目 | 115,000 個項目,即單次 64 MB 儲存可容納的最大規模 |
| 步驟 | 項目 | Holarch 1.1.6 | Holarch 2.15.1 |
|---|---|---|---|
| 首頁 | 25,000 / 50,000 | 36 秒 / 149 秒 | 0.7 秒 / 1.6 秒 |
| 模型檢查頁面 | 25,000 / 50,000 | 66 秒 / 297 秒 | 0.4 秒 / 0.7 秒 |
| 可追溯性矩陣(需求 × 測試案例) | 10,000 | 47 秒 | 0.2 秒 |
| 需求驗證可追溯性矩陣 | 10,000 | 31 秒 | 0.1 秒 |
| 開啟含 2,000 項需求的文件 | 5,000 / 10,000 / 25,000 | 0.6 秒 / 0.6 秒 / 0.8 秒 | 0.5 秒 / 0.5 秒 / 0.5 秒* |
| 一次編輯後儲存 | 5,000 / 10,000 / 25,000 / 50,000 | 0.2 秒 / 0.5 秒 / 30 秒 / 152 秒 | 0.15 秒 / 0.3 秒 / 0.8 秒 / 1.6 秒* |
| 2,000 項需求的需求品質檢查 | 10,000 | 30 秒 | 3.2 秒 |
| 完成每個步驟的最大專案 | — | 50,000 個項目,頁面每次會停止回應超過 2 分鐘 | 100,000 個項目;首頁 3.2 秒,矩陣 0.3 秒 |
- * 於 2.16.1 測量,該版本讓這兩個步驟比 2.15.1 更快。其他數字於 2.15.1 測量。
- 在 1.1.6 中,可追溯性矩陣在 25,000 個項目時讓頁面停止超過 2 分鐘,因此未在更大規模下測量。在 2.15.1 中,它在最多 100,000 個項目的每種規模下都能在 0.3 秒內開啟。
通過標準
託管服務以多人同時開啟並編輯同一專案的方式進行負載測試。當服務在以下情境中符合每個條件時,該專案規模即為通過:
- 伺服器剛壓縮完專案的變更歷程。在此狀態下開啟專案的成本最高。
- 10 個人在同一時刻開啟專案。
- 接著同樣的 10 個人編輯 60 秒,每人每秒進行一次編輯。
- 編輯確認:95 % 的編輯在 1.5 秒內由伺服器確認(p95 ≤ 1.5 s)。
- 沒有失敗:沒有伺服器錯誤。
測試設定
- 正式環境的伺服器軟體,執行於比託管服務更慢的測試設定上,因此結果偏保守。
- 託管服務的資源限制與設定。
- 資料庫與檔案儲存在同一台電腦上執行,而非透過網路。每次執行都啟動一台全新的伺服器。
- 產生的 LML 專案:40 % 為規格書中的需求、20 % 為功能、15 % 為元件、15 % 為測試案例、5 % 為風險,其餘為輸入與輸出,每個項目三個關係。
結果
| 項目 | 每次開啟傳送的資料 | 10 次開啟耗時 | 編輯確認 p95 | 結果 |
|---|---|---|---|---|
| 50,000 | 27.2 MB | 3.7 秒 | 1.49 秒 | 通過 |
| 50,000(第二次執行) | 27.2 MB | 3.6 秒 | 1.08 秒 | 通過 |
- 沒有任何一次執行出現伺服器錯誤。
- 典型的編輯(p50)在每次執行中約 30 ms 內即獲確認。較慢的編輯是在等待同時開啟所產生的大型回應。
方案限制
| 方案 | 每專案項目數 |
|---|---|
| Free / 學術 | 1,000(使用中課程組織內為 2,000) |
| Individual | 5,000 |
| Team | 50,000 |
- 託管服務(app.holarch.app)在每個方案中每個專案最多可容納 50,000 個項目;較大的計畫群請連結多個專案。桌面應用程式(安裝在您電腦上的 Holarch)LML 測試至每個專案 700,000 個項目,SysML v2 測試至 400,000 個。
- 整個專案的儲存(例如匯入專案檔案)最多可為 192 MB 的專案資料。含長文字的專案可能在達到項目限制之前就達到此大小。
- 什麼算作一個項目:請參閱定價。
- 各規模專案在瀏覽器中所需的電腦記憶體:請參閱系統需求。
往返測試:各交換格式保留了什麼
每個模型都以適用的每種格式匯出,並以預設選項再次匯入新專案。接著將原始專案的每個元素計為保留、轉換或捨棄。於 Holarch 2.21.0 測量,託管服務與安裝在您電腦上的結果相同。
- 保留:原封不動地再次找到。項目保留其類別、名稱、編號、描述與標籤;關係保留其類型、兩端與屬性;屬性值、已儲存的檢視或格式化描述與之前相同。
- 轉換:再次找到但有差異,例如 Statement 以 Requirement 的形式回來、缺少編號或標籤,或關係屬性以其預設值回來。
- 捨棄:不在新專案中,因為格式中沒有容納它的位置,或其一端已被捨棄。
| 格式 | 項目 | 關係 | 屬性值 | 已儲存的檢視 | 文件 | 格式化描述 |
|---|---|---|---|---|---|---|
| Holarch 專案檔案(.json) | 407 / 0 / 0 | 915 / 0 / 0 | 979 / 0 / 0 | 83 / 0 / 0 | 3 / 0 / 0 | 5 / 0 / 0 |
| Holarch 備份與專案套件(.holarch)* | 424 / 0 / 0 | 949 / 0 / 0 | 1,104 / 0 / 0 | 84 / 0 / 0 | 3 / 0 / 0 | 5 / 0 / 0 |
| UML/SysML XMI,含 Holarch 資料 | 317 / 0 / 90 | 631 / 0 / 284 | 672 / 0 / 307 | 0 / 3 / 80 | 0 / 0 / 3 | 5 / 0 / 0 |
| UML/SysML XMI,純 SysML | 83 / 234 / 90 | 548 / 95 / 272 | 138 / 38 / 803 | 0 / 3 / 80 | 0 / 0 / 3 | 0 / 5 / 0 |
| Papyrus(.uml) | 317 / 0 / 90 | 631 / 0 / 284 | 672 / 0 / 307 | 0 / 3 / 80 | 0 / 0 / 3 | 5 / 0 / 0 |
| ReqIF | 407 / 0 / 0 | 879 / 21 / 15 | 979 / 0 / 0 | 0 / 0 / 83 | 3 / 0 / 0 | 5 / 0 / 0 |
| CSV,所有屬性、標籤與關係 | 393 / 14 / 0 | 810 / 96 / 9 | 979 / 0 / 0 | 0 / 0 / 83 | 3 / 0 / 0 | 5 / 0 / 0 |
| SysML v2 副本,再轉 LML 副本 | 348 / 41 / 18 | 703 / 56 / 156 | 857 / 33 / 89 | 26 / 7 / 50 | 3 / 0 / 0 | 0 / 5 / 0 |
* 於 Holarch 2.33.0 在目前的 CubeSat EO-1 示範上測量(424 個項目、949 個關係、1,104 個屬性值、84 個已儲存檢視、3 份文件、5 個格式化描述);沒有任何內容被轉換或捨棄。
- 專案檔案與專案套件:整個專案,包括首頁、圖表、計畫儀表板與專案設定。
- 含 Holarch 資料的 XMI 與 Papyrus:SysML 有對應元素的每個項目都會原封不動地回來,並帶有其 LML 類別、編號、標籤與屬性。被捨棄的 90 個項目是任務、文件、風險、問題、時程項目、危害,以及其他 SysML 沒有對應元素的項目;大多數被捨棄的關係都連接到它們。Trigger 與 Amount 等關係屬性也會回來。除 Action 圖的流程之外,其他圖不屬於 XMI。
- 不含 Holarch 資料的 XMI:純 SysML 1.6。Statement 以 Requirement 的形式回來,LML 編號、標籤與 LML 屬性不在檔案中。
- ReqIF:每個項目、屬性值、標籤與文件結構都會回來,關係也保留其屬性。分解的多重性不會寫出,因為 ReqIF 以文件結構保存分解。示範本身的結構描述擴充(例如滿足 Requirement 的 Equation)在使用標準結構描述的新專案中會被略過。
- CSV:每個項目與屬性值都會回來。表格中沒有容納關係屬性的位置,因此它們會以預設值回來,新專案中沒有的標籤則會被省略。
- SysML v2 副本再轉回:這是附帶報告的轉換,而非交換格式。Measure 與 Asset 的編號不會回來,部分追溯也不會。
| 格式 | Hybrid Car,708 個元素 | Hybrid Car,Holarch 資料 | Battery Pack,62 個元素 |
|---|---|---|---|
| Holarch 專案檔案(.json) | 708 / 0 / 0 | 全部保留 | 62 / 0 / 0 |
| SysML v2 文字(.sysml) | 708 / 0 / 0 | 不在檔案中 | 62 / 0 / 0 |
| SysML v2 JSON | 708 / 0 / 0,保留元素 id | 不在檔案中 | 62 / 0 / 0,保留元素 id |
| LML 副本,再轉 SysML v2 副本 | 22 / 184 / 502 | 27 個項目中保留 21 個 | 6 / 21 / 35 |
- SysML v2 文字與 JSON:每個模型元素都會原封不動地回來。需求狀態、驗證結果、風險、文件與其他 Holarch 資料只隨專案檔案傳遞。
- LML 副本再轉回:模型由 LML 副本重建,因此接續、匯入、中繼資料與大部分型別不會回來。
重做此測試:從新增示範專案建立示範,以其中一種格式匯出,以預設選項將檔案匯入新專案,然後在資料庫中比較兩個專案。
未測量的項目
- SysML v2 專案、含大量圖的專案,以及長篇的格式化文字描述。
- 同時使用多個大型專案。
關於您這種規模模型的問題:與我們聯絡。