テスト済みの上限
Holarch が扱えるプロジェクトの規模
Holarch のテストで使った最大のプロジェクト、それに必要なブラウザーのメモリと読み込み時間、そして各プランの項目数の上限の根拠となるホスト型サービスの負荷テスト。
性能
両方のモデリング言語で生成したプロジェクトで測定しました。ブラウザーの数値は Mac の Safari によるものです。各表に測定した Holarch のバージョンを記載しています。
- デスクトップアプリ(お使いのコンピューターにインストールした Holarch):プロジェクトあたり LML で 700,000 項目、SysML v2 で 400,000 項目までテスト済み(250,000 項目超)。
- ホスト型サービス(app.holarch.app):プロジェクトあたり最大 50,000 項目。より大規模なプログラムでは、プロジェクト間リンク、プログラムマップ、ライブラリでプロジェクトをつなげます(プランの上限)。
- セルフホスト型 Holarch サーバー(Enterprise):LML と SysML v2 で、プロジェクトあたり 400,000 項目までテスト済み。追加のサーバーメモリは、LML で約 330,000 項目まで、SysML v2 では 400,000 項目を超えても 1 GB 未満に収まります(250,000 項目超のセルフホスト型サーバー)。
ホスト型サービス:サーバーメモリ
プロジェクトを開いている間に必要なサーバーメモリ(プロジェクトなしでサーバーが使う量を除く)を 10,000 項目ごとに示します。ホスト型サービスの上限であるプロジェクトあたり 50,000 項目までテスト済みです。
| 言語 | 10,000 項目あたり | テストした最大のプロジェクト |
|---|---|---|
| LML | 約 17 MB | 50,000 項目 |
| SysML v2 | 4〜8 MB | 50,000 項目 |
- 数値は開いているプロジェクトの追加メモリであり、サーバー全体のメモリではありません。基本使用量(起動直後に 1 回サインインしたサーバー)は約 130 MB です。
- プロジェクトのタブがブラウザーで必要とするメモリは以下のとおりです(ブラウザーのメモリ)。
ブラウザーのメモリ
Holarch のページは、プロジェクトを開いていない状態で約 100 MB を使います。これが基本使用量です。以下の数値は、プロジェクトを開く間の最大時点で、ブラウザーのタブが基本使用量に加えてプロジェクトの 10,000 項目ごとに必要とするメモリです。
| 言語 | ホスト型サービス | コンピューターにインストール |
|---|---|---|
| LML | 40〜60 MB | 50〜70 MB |
| SysML v2 | 100〜155 MB | 70〜80 MB |
- 数値はプロジェクトのサイズによって変わります。大きい方の数値で計画してください。
- 編集による増加はわずかです。100 回編集した後も、LML プロジェクトのタブのメモリ使用量は編集前と変わりませんでした。編集の保存中は、一時的に最大約 0.6 GB 多く必要になることがあります。
- プロジェクトのサイズごとに見込むべきメモリ:システム要件。
読み込み時間
クリックしてからページが使える状態になるまでの時間です。SysML v2 プロジェクトはその後、作業中にバックグラウンドで最初のモデルチェックを実行します。2 つ目の数値はそのチェックが終わるまでの時間です。
| 項目数 | LML、ホスト型 | LML、インストール版 | SysML v2、ホスト型 | SysML v2、インストール版 |
|---|---|---|---|---|
| 50,000 | 約 1 秒 | 約 1 秒 | 約 2 秒、チェック 4 秒 | 未測定 |
| 100,000 | — | 約 1 秒 | — | 約 2 秒、チェック 5 秒 |
| 150,000 | — | 未測定 | — | 未測定 |
| 200,000 | — | 約 2 秒 | — | 未測定 |
| 250,000 | — | 未測定 | — | 約 6 秒、チェック 14 秒 |
- ホスト型の時間はテストサーバーに対して測定しました。ネットワーク接続が遅い場合は、プロジェクトのダウンロード時間が加わります。
- —:ホスト型サービスの上限(プロジェクトあたり 50,000 項目)を超えています。
- ホスト型サービスでの編集の確定と多人数での同時作業:負荷テストの結果をご覧ください。
- SysML v2 言語エンジン単体の速度とメモリ:Language Engine のテスト結果をご覧ください。
250,000 項目超(コンピューターにインストール)
Holarch 2.30.0 は、生成した 400,000 項目と 700,000 項目の LML プロジェクト、および 400,000 項目の SysML v2 モデルを Safari で開き、1 回編集して保存し、プロジェクトを閉じました。失敗はありませんでした。
| プロジェクト | 開く | バックグラウンド処理の完了 | 10,000 項目あたりのブラウザーメモリ(読み込み中) |
|---|---|---|---|
| LML、400,000 項目 | 約 4 秒 | 16 秒 | 約 105 MB |
| LML、700,000 項目 | 約 6 秒 | 21 秒 | 約 130 MB |
| SysML v2、400,000 項目 | 約 3 秒 | 19 秒 | 約 85 MB |
- このサイズでは、お使いのコンピューターのメモリが上限を決めます。
- このように大きな LML プロジェクトを開く間と、最初の編集を保存する間、ページが数秒間応答しなくなることがあります。
250,000 項目超のセルフホスト型サーバー
Holarch 2.30.0 を実行する Holarch サーバーを、項目ごとに 3 つの関係を持つ 250,000 項目と 400,000 項目の生成 LML プロジェクト、および 400,000 項目の SysML v2 モデルでテストしました。各プロジェクトで次の作業負荷を実行しました。
- プロジェクト全体をサーバーに保存し、開き、もう一度開く。
- オーナーが 10 ページから同時に 60 秒間編集する。各ページは毎秒 1 回編集し、15 秒ごとにプロジェクトを開き直す。
- 変更履歴の圧縮。
- プロジェクトを削除する。
すべての段階に合格しました。サーバーエラーも、拒否された編集もありませんでした。
| プロジェクト | 10,000 項目あたり(最大の段階) | 1 GB 未満 | 編集の確定 p95 |
|---|---|---|---|
| LML、250,000 項目 | 約 31 MB | はい | 30 ms |
| LML、400,000 項目 | 約 30 MB | いいえ(約 330,000 項目から超過) | 60 ms |
| SysML v2、400,000 項目 | 約 21 MB | はい | 34 ms |
- これらの数値は、プロジェクトなしでサーバーが使う量を超えて、そのプロジェクトが必要とする追加のサーバーメモリです。サーバー全体のメモリではありません。
- プロジェクト全体の保存は、既定で 192 MB のプロジェクトデータ(LML で約 340,000 項目、SysML v2 で約 430,000 項目)に制限されています。セルフホスト型サーバーでは上限を引き上げられます。400,000 項目のテストでは引き上げました。
- これはこの作業負荷でテストしたサイズであり、あらゆるモデルを保証するものではありません。長いテキストや多数のダイアグラムはこのテストに含まれていません。
1.1.6 → 2.15.1
Holarch 1.1.6 は、これらの大規模プロジェクトのテストで測定した最初のバージョンです。同じテストを 1.1.6 と 2.15.1 で変更なしに、同じ生成 LML プロジェクト、同じコンピューター、同じサーバーの上限で実行しました。
| 指標 | Holarch 1.1.6 | Holarch 2.15.1 |
|---|---|---|
| 10,000 項目あたりのメモリ(作成、開く、200 回の編集、バージョン 1 つ) | 220〜250 MB | 20,000 項目以上で 40〜55 MB(5,000〜10,000 項目では 80〜110 MB) |
| 同上(オーナーの編集中にバージョンを書き込む場合) | 25,000 項目でメモリ不足 | 45〜67 MB |
| 基本使用量:1 回サインインした後のサーバー | 約 125 MB | 約 130 MB |
| 25,000 項目のプロジェクトのバージョンの書き込み | 7.5 秒 | 0.4 秒 |
| テストした最大のプロジェクト | 25,000 項目 | 115,000 項目(64 MB の 1 回の保存に収まる最大) |
| 手順 | 項目数 | Holarch 1.1.6 | Holarch 2.15.1 |
|---|---|---|---|
| ホーム | 25,000 / 50,000 | 36 秒 / 149 秒 | 0.7 秒 / 1.6 秒 |
| モデルチェックページ | 25,000 / 50,000 | 66 秒 / 297 秒 | 0.4 秒 / 0.7 秒 |
| トレーサビリティマトリクス(要求 × テストケース) | 10,000 | 47 秒 | 0.2 秒 |
| 要求検証トレーサビリティマトリクス | 10,000 | 31 秒 | 0.1 秒 |
| 2,000 件の要求を含むドキュメントを開く | 5,000 / 10,000 / 25,000 | 0.6 秒 / 0.6 秒 / 0.8 秒 | 0.5 秒 / 0.5 秒 / 0.5 秒* |
| 1 回編集した後の保存 | 5,000 / 10,000 / 25,000 / 50,000 | 0.2 秒 / 0.5 秒 / 30 秒 / 152 秒 | 0.15 秒 / 0.3 秒 / 0.8 秒 / 1.6 秒* |
| 2,000 件の要求の品質チェック | 10,000 | 30 秒 | 3.2 秒 |
| すべての手順を実行できた最大のプロジェクト | — | 50,000 項目(ページが一度に 2 分以上応答しない) | 100,000 項目。ホーム 3.2 秒、マトリクス 0.3 秒 |
- * 2.16.1 で測定。このバージョンでこの 2 つの手順は 2.15.1 より速くなりました。その他の数値は 2.15.1 で測定しました。
- 1.1.6 では、トレーサビリティマトリクスが 25,000 項目でページを 2 分以上止めたため、それより大きなサイズでは測定していません。2.15.1 では、100,000 項目までのすべてのサイズで 0.3 秒未満で開きます。
合格基準
ホスト型サービスは、複数の人が 1 つのプロジェクトを同時に開いて編集する状態で負荷テストを行っています。次のシナリオですべての条件を満たした場合に、そのプロジェクトサイズを合格とします。
- サーバーがプロジェクトの変更履歴を圧縮した直後。この状態でプロジェクトを開くのが最も負荷が高くなります。
- 10 人が同時にプロジェクトを開く。
- 同じ 10 人が続けて 60 秒間編集し、それぞれ毎秒 1 回編集する。
- 編集の確定:編集の 95 % が 1.5 秒以内にサーバーで確定される(p95 ≤ 1.5 秒)。
- 失敗なし:サーバーエラーがない。
テスト環境
- 本番のサーバーソフトウェアを、ホスト型サービスより遅いテスト環境で使用しているため、結果は控えめな値です。
- ホスト型サービスのリソース上限と設定。
- データベースとファイルストレージは、ネットワーク越しではなく同じコンピューター上で動作しました。実行ごとに新しいサーバーを起動しました。
- 生成した LML プロジェクト:仕様内の要求 40 %、機能 20 %、コンポーネント 15 %、テストケース 15 %、リスク 5 %、残りは入力と出力。項目ごとに 3 つの関係を持ちます。
結果
| 項目数 | 1 回のオープンで送信されるデータ | 10 件のオープンの所要時間 | 編集の確定 p95 | 結果 |
|---|---|---|---|---|
| 50,000 | 27.2 MB | 3.7 秒 | 1.49 秒 | 合格 |
| 50,000(2 回目の実行) | 27.2 MB | 3.6 秒 | 1.08 秒 | 合格 |
- どの実行でもサーバーエラーはありませんでした。
- 通常の編集(p50)は、どの実行でも約 30 ms で確定されました。遅い編集は、同時オープンの大きな応答の後ろで待たされたものです。
プランの上限
| プラン | プロジェクトあたりの項目数 |
|---|---|
| Free / Academic | 1,000(有効な授業組織では 2,000) |
| Individual | 5,000 |
| Team | 50,000 |
- ホスト型サービス(app.holarch.app)は、どのプランでもプロジェクトあたり最大 50,000 項目を保持します。より大規模なプログラムではプロジェクトをつなげてください。デスクトップアプリ(お使いのコンピューターにインストールした Holarch)は、プロジェクトあたり LML で 700,000 項目、SysML v2 で 400,000 項目までテスト済みです。
- プロジェクトファイルのインポートなど、プロジェクト全体の保存は最大 192 MB のプロジェクトデータまでです。長いテキストを含むプロジェクトは、項目数の上限より先にこのサイズに達することがあります。
- 項目として数えるもの:料金をご覧ください。
- 各サイズのプロジェクトがブラウザーで必要とするコンピューターのメモリ:システム要件をご覧ください。
ラウンドトリップ:各交換形式で保持されるもの
各モデルを該当するすべての形式でエクスポートし、既定のオプションで新しいプロジェクトにインポートし直しました。その後、元のすべての要素を保持、変形、破棄のいずれかとして数えました。Holarch 2.21.0 で測定し、ホスト型サービスでもコンピューターにインストールした場合でも同じ結果でした。
- 保持:変更なく再び見つかったもの。項目はクラス、名前、番号、説明、ラベルを保持し、関係は種類、両端、属性を保持します。属性値、保存したビュー、書式付きの説明は以前と同じです。
- 変形:違いがある状態で再び見つかったもの。たとえば、Statement が Requirement として戻る、番号やラベルが欠ける、関係の属性が既定値で戻る、などです。
- 破棄:形式に格納場所がない、または一方の端が破棄されたため、新しいプロジェクトに存在しないもの。
| 形式 | 項目数 | 関係 | 属性値 | 保存したビュー | ドキュメント | 書式付きの説明 |
|---|---|---|---|---|---|---|
| Holarch プロジェクトファイル(.json) | 407 / 0 / 0 | 915 / 0 / 0 | 979 / 0 / 0 | 83 / 0 / 0 | 3 / 0 / 0 | 5 / 0 / 0 |
| Holarch バックアップとプロジェクトパッケージ(.holarch)* | 424 / 0 / 0 | 949 / 0 / 0 | 1,104 / 0 / 0 | 84 / 0 / 0 | 3 / 0 / 0 | 5 / 0 / 0 |
| UML/SysML XMI(Holarch データ付き) | 317 / 0 / 90 | 631 / 0 / 284 | 672 / 0 / 307 | 0 / 3 / 80 | 0 / 0 / 3 | 5 / 0 / 0 |
| UML/SysML XMI(プレーンな SysML) | 83 / 234 / 90 | 548 / 95 / 272 | 138 / 38 / 803 | 0 / 3 / 80 | 0 / 0 / 3 | 0 / 5 / 0 |
| Papyrus(.uml) | 317 / 0 / 90 | 631 / 0 / 284 | 672 / 0 / 307 | 0 / 3 / 80 | 0 / 0 / 3 | 5 / 0 / 0 |
| ReqIF | 407 / 0 / 0 | 879 / 21 / 15 | 979 / 0 / 0 | 0 / 0 / 83 | 3 / 0 / 0 | 5 / 0 / 0 |
| CSV(全属性、ラベル、関係) | 393 / 14 / 0 | 810 / 96 / 9 | 979 / 0 / 0 | 0 / 0 / 83 | 3 / 0 / 0 | 5 / 0 / 0 |
| SysML v2 コピー、続いて LML コピー | 348 / 41 / 18 | 703 / 56 / 156 | 857 / 33 / 89 | 26 / 7 / 50 | 3 / 0 / 0 | 0 / 5 / 0 |
* Holarch 2.33.0 で、現在の CubeSat EO-1 デモ(424 項目、949 関係、1,104 属性値、84 保存ビュー、3 ドキュメント、5 書式付き説明)を使って測定。変形も破棄もありませんでした。
- プロジェクトファイルとプロジェクトパッケージ:ホーム、グラフ、プログラムダッシュボード、プロジェクト設定を含むプロジェクト全体。
- Holarch データ付きの XMI と Papyrus:SysML に対応する要素があるすべての項目が、LML クラス、番号、ラベル、属性とともに変更なく戻ります。破棄された 90 項目は、タスク、ドキュメント、リスク、課題、スケジュール項目、ハザードなど、SysML に対応する要素のない項目です。破棄された関係の多くはそれらにつながるものです。Trigger や Amount などの関係の属性も戻ります。アクションダイアグラムのフロー以外のダイアグラムは XMI に含まれません。
- Holarch データなしの XMI:プレーンな SysML 1.6。Statement は Requirement として戻り、LML の番号、ラベル、LML の属性はファイルに含まれません。
- ReqIF:すべての項目、属性値、ラベル、ドキュメント構造が戻り、関係は属性を保持します。ReqIF は分解をドキュメント構造として保持するため、分解の多重度は書き出されません。デモ独自のスキーマ追加(たとえば Requirement を満たす Equation)は、標準スキーマを持つ新しいプロジェクトではスキップされます。
- CSV:すべての項目と属性値が戻ります。表には関係の属性の格納場所がないため、それらは既定値で戻り、新しいプロジェクトにないラベルは除外されます。
- SysML v2 コピーと戻し:交換形式ではなく、レポート付きの変換です。Measure と Asset の番号、および一部のトレースは戻りません。
| 形式 | Hybrid Car、708 要素 | Hybrid Car、Holarch データ | Battery Pack、62 要素 |
|---|---|---|---|
| Holarch プロジェクトファイル(.json) | 708 / 0 / 0 | すべて保持 | 62 / 0 / 0 |
| SysML v2 テキスト(.sysml) | 708 / 0 / 0 | ファイルに含まれない | 62 / 0 / 0 |
| SysML v2 JSON | 708 / 0 / 0、要素 ID 保持 | ファイルに含まれない | 62 / 0 / 0、要素 ID 保持 |
| LML コピー、続いて SysML v2 コピー | 22 / 184 / 502 | 27 項目中 21 項目を保持 | 6 / 21 / 35 |
- SysML v2 テキストと JSON:すべてのモデル要素が変更なく戻ります。要求のステータス、検証結果、リスク、ドキュメントなどの Holarch データは、プロジェクトファイルでのみ受け渡されます。
- LML コピーと戻し:モデルは LML コピーから再構築されるため、サクセッション、インポート、メタデータ、ほとんどの型付けは戻りません。
テストを再現するには:新しいデモプロジェクトからデモを作成し、いずれかの形式でエクスポートし、既定のオプションで新しいプロジェクトにファイルをインポートして、データベースで 2 つのプロジェクトを比較します。
測定していないもの
- SysML v2 プロジェクト、多数のダイアグラムを含むプロジェクト、長いリッチテキストの説明。
- 複数の大規模プロジェクトの同時使用。
お使いの規模のモデルについてのご質問:お問い合わせ。