移動:今回の実行 · 概要 · セッションのメモリ · 証拠が裏付けること · サンプルモデル · 診断の妥当性確認 · 名前の結び付け · 損傷したテキスト · 速度とメモリ · 未サポート · 結果の再現 · 以前の実行 · これらの結果でわからないこと
今回の実行
- エンジン:Holarch Language Engine 2.1(バージョン 2.1.1、ビルド 37168cc)。Holarch が出荷しているのはバージョン 2.1.2 で、ホストのプログレスバー向けの進捗報告を追加し、以前のバージョンを停止させていた非常に長いインポートや特化の連鎖をチェックします。今回の実行のサンプルモデル、生成モデル、テストコーパスでは 2.1.1 と同じ応答を返すため、2.1.1 で測定したこのページの数値は再測定していません。公式の実行以外での測定では、大規模な生成モデルのコールド解析に約 3 % 長くかかりました。エンジン 2.1 では、バリアビリティ、ユーザー定義キーワード、遷移のトリガーと効果、シミュレーション(別途ライセンスが必要なアドオンで、ここでは測定していません)、および編集セッション全体でのメモリ削減が追加されています。
- 手法:文書化された受け入れ計画のバージョン 10。基準は最初の結果を測定する前に定めました。その後の手法の変更はそれぞれ理由とともに記録し、以前の結果は測定時の手法を保持します。バージョン 8 から 10 では、バリアビリティ、ユーザー定義キーワード、遷移のトリガーと効果を、それぞれ出荷された時点で未サポートの構文のリストから外しています。基準とゲートは変わっていません。
- サンプルモデル:OMG の SysML v2 リリースリポジトリ、リリース 2026-08(コミット fb97b754)の training、examples、validation の各セット:252 ファイル、14,957 行。モデルは実行ごとに OMG のリポジトリから取得し、Holarch にはコピーしていません。
- リファレンス:OMG のパイロット実装、バージョン 0.62.0、ブラックボックスとして実行。
- 大規模モデル:深いインポート、パッケージをまたぐ参照、長い特化の連鎖を持つ、10,000 行から 250,000 行の生成モデル。
このページのすべての数値は、以下に名前を挙げた公式の実行によるものです。公開した実行は決して編集しません。訂正は、置き換える対象を明示した新しい実行として行います。
社内レビューは、このページのすべての分類とレビューを示します:不一致の分類、登録簿、すべてのエンジンエラーのレビュー、結び付けのカテゴリー。これらは Holarch が仕様のテキストに照らして行ったものです。外部のレビューはまだありません。外部のレビューが行われるまでこのラベルは残ります。
| Holarch のリリース | エンジンのバージョン | エンジンのビルド | 手法 | 公式の実行 |
|---|---|---|---|---|
| 2.21.0(エンジン 2.1.2 を出荷) | 2.1.1 | 37168cc | 10 | 2.1.1-37168cc79-1(すべての測定。セッションのメモリの特性評価も含む。このページの数値) |
| 2.17.1 | 2.0.1 | d8cf5c8 | 7 | 2.0.1-d8cf5c835-1(速度とメモリ、セッションのメモリ) |
| 2.15.1 | 2.0.0 | dd4fb10、91f058a は 2.0.0 を報告 | 6 | 1.0.0-dd4fb10f5-1(すべての測定)、2.0.0-91f058a75-1(2.0.0 を報告するビルドでのすべての測定。セッションのメモリの特性評価も含む) |
| 2.15.0 | 1.0.0 | e6bb924 | 5 | 1.0.0-e6bb92459-1(速度とメモリ、テストカバレッジ) |
| 2.14.0 | 1.0.0 | 0c983e2 | 6 | 1.0.0-0c983e2e8-1(比較用の速度とメモリ) |
| 2.13.1 | 1.0.0 | d3f5d4b | 5 | 1.0.0-d3f5d4b5d-2(サンプルモデル)、1.0.0-d3f5d4b5d-1(その他の測定) |
| 2.12.0 | 1.0.0 | 8a6bf7b | 5 | 1.0.0-8a6bf7b76-2(サンプルモデル)、1.0.0-8a6bf7b76-1(その他の測定) |
| 2.11.0 | 1.0.0 | c184e57 | 3、4 のもとで読み直し | 1.0.0-c184e57e6-1 |
概要
生成した 10,000 行のモデルで、エンジン 2.1.1 はモデル全体を 150 ms で解析し、編集後の再チェックは 1.3~6.8 ms(95 パーセンタイル)で完了します。エンジンのベース(標準ライブラリ読み込み済み):17 MiB。モデル全体の解析では 10,000 行あたり約 29 MiB、編集セッション全体では 10,000 行あたり約 33 MiB が加わります。以前のエンジンが満たしていなかった 100,000 行と 250,000 行での編集セッション全体のエンジンメモリを含め、すべての基準を満たしています。最大 250,000 行の生成モデルでテスト済み:各規模での速度とメモリ。
上記のメモリは、エンジンのベース(標準ライブラリを読み込み、モデルが空の状態のエンジンのメモリ)を超える分を 10,000 行あたりで示しています。基準は合計に適用されます。
| 指標 | 基準 | エンジン 2.1.1 | 達成 |
|---|---|---|---|
| サンプルモデル:クラッシュとタイムアウト | 一切不可 | なし | はい |
| サンプルモデル:受理の一致(分類済み) | 評価対象範囲のファイルの 98 % 以上 | 252 件中 252 件 社内レビュー | はい |
| サンプルモデル:誤った受理 | 一切不可 | なし | はい |
| サンプルモデル:すべてのエンジンエラーを一つずつレビュー | すべてレビュー済み | 44 件中 44 件 社内レビュー | はい |
| 名前の結び付け | 対になった結び付けの 99.5 % 以上が一致 | 4,908 件中 4,904 件 | はい |
| 損傷したテキスト | 7 つの基準(下記) | 7 つすべて達成 | はい |
| 編集、すべての規模 | 値の変更は 12 ms 以内、その他の編集は 60 ms 以内(250,000 行では 25 ms と 150 ms) | すべて範囲内 | はい |
| コールド解析、100,000 行 | 報告のみ。手法バージョン 4 以降は目標ではない(以前の目標:0.6 秒以内) | 1.43 秒 | 以前の目標は未達 |
| コールド解析、250,000 行 | 報告のみ。手法バージョン 4 以降は目標ではない(以前の目標:1.2 秒以内) | 3.73 秒 | 以前の目標は未達 |
| 長い解析中の進捗表示 | 3 秒を超えうるすべての解析でプログレスバーを表示(手法バージョン 4) | エンジンの段階とともに表示。Holarch の進捗テストで確認済み | はい |
| エンジンのメモリ、コールド解析、100,000 行 | 512 MiB 以内 | ベースを超えて 10,000 行あたり 28 MiB | はい |
| エンジンのメモリ、コールド解析、250,000 行 | 1 GiB 以内 | ベースを超えて 10,000 行あたり 28 MiB | はい |
| エンジンのメモリ、編集セッション全体、100,000 行 | 512 MiB 以内(手法バージョン 6) | ベースを超えて 10,000 行あたり 33 MiB | はい |
| エンジンのメモリ、編集セッション全体、250,000 行 | 1 GiB 以内(手法バージョン 6) | ベースを超えて 10,000 行あたり 33 MiB | はい |
| モデルの大きさに応じた増加 | 250,000 行でのコールド解析は 10,000 行での最大 40 倍 | 24.9 倍 | はい |
| 同じリクエストに同じ応答 | 新しい 2 つのプロセスですべての応答が同一 | 1,211 件中 1,211 件 | はい |
セッションのメモリ:基準を達成
達成:100,000 行と 250,000 行での編集セッション全体のエンジンメモリ。2.0.1 までのエンジンは 250,000 行で(2.0.0 は 100,000 行でも)これを満たしていませんでした。エンジン 2.1.1 は、セッション全体でベースを超えて 10,000 行あたり約 33 MiB を必要とし、100,000 行では 512 MiB 以内、250,000 行では 1 GiB 以内に収まります。
- 変更点。プリンターとテキストの差分処理は、ドキュメントの完全なコピーをメモリ上に作成しなくなりました(エンジン 2.0.1)。また、エンジンの名前テーブル、解析キャッシュ、構文木、ソース位置が占める容量が減りました(エンジン 2.1.1)。
- 以前最大のステップだったモデル全体の出力は、ネイティブでベースを超えて 10,000 行あたり約 40 MiB で済むようになりました。これは、開いているセッションと並行してモデルを最初から再解析する場合(10,000 行あたり約 54 MiB)より少なくなっています:長いセッションでのメモリ。
- ブラウザーではエンジンのメモリが縮むことはないため、ワーカーは終了するまで最大時のサイズを保持します。Holarch は、使用量をはるかに超えるメモリを保持しているアイドル状態のエンジンワーカーを終了して再起動します。
証拠が裏付けること
これらの結果が裏付ける用途と、証拠が及ばない範囲。「未確立」は、このページにそれを肯定も否定もする証拠がないことを意味します。
| 用途 | 裏付け | 確立済み | 未確立 |
|---|---|---|---|
| エディターの支援(入力中の解析) | 編集の所要時間、損傷したテキスト、サンプルモデル、セッションのメモリ | 編集後の再解析は、ネイティブでも Safari でも、250,000 行まで基準内。損傷したテキストは 7 つの基準すべてで処理。長い編集ではメモリが横ばいになる。編集セッション全体のメモリは 250,000 行まで基準内 | 測定に使ったものより遅いコンピューターでの所要時間(4 倍の余裕を想定しているが、測定はしていない)。Safari 以外のブラウザー |
| バッチと CI でのチェック(モデル全体) | サンプルモデル、診断の妥当性確認、コールド解析、同じリクエストに同じ応答 | クラッシュやタイムアウトなし。分類後、サンプルファイル 252 件中 252 件が一致 社内レビュー。すべてのエンジンエラーをレビュー済み。新しいプロセスで同一の応答。コールド解析はモデルの大きさに比例して増加 | 人や他のツールが書いた大規模なモデル(測定したのは生成モデルと OMG のサンプルのみ)。CI への統合 |
| モデルの変換(モデルをテキストとして出力、テキストをモデルに書き戻す) | 編集セッション全体、セッションのメモリ | 各ステップがあらゆるモデルの大きさで応答。モデル全体の出力のメモリは、ネイティブで 250,000 行まで基準内 | 出力と書き戻しで同じモデルになるかどうか(これらの測定には含まれない)。SysML v1 からの変換 |
| ブラウザー(WebAssembly) | Safari での所要時間、Safari でのセッションのメモリ | Safari での起動、コールド解析、編集(250,000 行まで) | Chrome、Firefox、Edge。モバイルブラウザー。このエンジンの Safari でのセッションのメモリ(2.0.1 については 250,000 行まで測定済み) |
| ネイティブとサーバー | このページのすべての測定(基準はネイティブ) | Apple シリコン搭載の Mac で | 他のオペレーティングシステムとプロセッサー。1 つのプロセスで多数のモデルを同時に扱う場合。多数のプロジェクトにわたる長時間のサーバーセッション |
| 高い保証が求められる用途(安全やミッションにとって重要な意思決定、認証の証拠) | 単独ではなし | 上記の用途を超えるものはなし | 外部のレビュー。いかなる種類の認証や認定。仕様の妥当性ルールの完全なカバー。アクションとステートマシンの実行(シミュレーションアドオンはここでは測定していない) |
サンプルモデル
サンプルは互いのパッケージをインポートしているため、サンプルモデルの各セットは 1 つのプロジェクトとしてまとめて解析されます。パイロット実装には同じファイルを 1 つのセッションで与えます。ファイルごとに 2 つの応答を比較します:ファイルにエラーがあるかどうか、各名前がどの要素に結び付くか。
受理の一致
| 数え方 | 数える対象 | エンジン 2.1.1 |
|---|---|---|
| 未加工 | すべてのファイル。分類せずに、ファイルにエラーがあるかどうかの一致 | 252 件中 242 件 |
| 評価対象範囲 | 未サポートのリストにある構文に起因する不一致のファイルを除いた残りのファイル | 252 件中 252 件(除外なし) |
| 分類済み | 評価対象範囲内での一致。仕様がエンジンの正しさを示している場合に限り、不一致を一致として数える | 252 件中 252 件 社内レビュー |
- 達成:すべてのファイルがパイロットと一致し、そのうち 10 件は下記の登録簿によるものです。バリアビリティ、ユーザー定義キーワード、遷移のトリガーと効果がサポートされたため、評価対象範囲から外れるファイルはありません(エンジン 2.0.0 では 11 件が外れていました)。エンジン 2.0.0 と比べて 10 件多くのファイルがエラーなしで受理され、2.0.0 が受理したファイルで現在エラーがあるものはありません。
- 誤った受理:0 件。パイロットが拒否するファイルをエンジンが受理することはありません。
- クラッシュとタイムアウト:なし。
分類ルール 社内レビュー。パイロットとの各不一致は一つずつ調査され、実行の前(実行中ではなく)に、次のいずれかの分類で記録されます:
- サンプルの誤り:エンジンが正しく、サンプルが無効であり、それを示す仕様の条項があるもの。例:長さに質量を足す算術。一致として数えます。
- パイロットの誤り:エンジンが正しく、パイロットの応答が引用した仕様の条項と矛盾するもの。一致として数えます。
- 未サポートの構文:不一致が、エンジンが公開している未サポートの構文のリスト(下記)にある構文に起因するもの。そのファイルは評価対象範囲から外れます。その構文が出荷されるとリストから外れ、ファイルは再測定されます。
- エンジンの欠陥:エンジンの既知のバグ。一致として数えることはありません。
仕様で決着する不一致の登録簿 社内レビュー
仕様がエンジンの正しさを示しているため、10 件の不一致を一致として数えています。それぞれをここに記載します。レビューのステータス:社内とは、Holarch が仕様に照らしてレビューしたことを意味します。これらおよびその他のケースの外部レビューを予定しています。
| ID | ファイル | 分類 | 条項 | 証拠 | レビュー |
|---|---|---|---|---|---|
| R1 | Calculation Definitions(training) | サンプルの誤り | SysML 9.8.2 | 1 つの和の中で電力の項と速度の次元の項を組み合わせている | 社内 |
| R2 | Calculation Usages-2(training) | サンプルの誤り | SysML 9.8.2 | 次元の異なる量を 1 つの式の中で組み合わせている | 社内 |
| R3 | Dynamics(examples) | サンプルの誤り | SysML 9.8.2 | 次元の異なる量を 1 つの式の中で組み合わせている | 社内 |
| R4 | Turbojet Stage Analysis(examples) | サンプルの誤り | SysML 9.8.2 | 次元の異なる量を 1 つの式の中で組み合わせている | 社内 |
| R5 | SimpleQuadcopter(examples) | サンプルの誤り | SysML 9.8.2 | 長さを無次元の値に結び付けている | 社内 |
| R6 | VehicleGeometryAndCoordinateFrames(examples) | サンプルの誤り | SysML 9.8.2 | 単なる数値を長さに足している | 社内 |
| R7 | 15_12 Compound Value Type(validation) | サンプルの誤り | SysML 9.8.2 | 次元の異なる量を 1 つの式の中で組み合わせている | 社内 |
| R8 | AnalysisIndividualExample(examples) | サンプルの誤り | SysML 9.8.2 | 速度を燃費のフィーチャーに結び付けている | 社内 |
| R9 | 13a Model Containment(validation) | パイロットの誤り | KerML 8.2.3.5.3 | インポートされた 2 つの異なる要素が 1 つの名前空間で名前を共有している。名前は最大 1 つのメンバーシップに解決されるが、パイロットはそのうちの 1 つを選んでいる | 社内 |
| R10 | SysML v2 Spec Annex A SimpleVehicleModel(examples) | パイロットの誤り | KerML 8.2.3.5.3 | 複数のインポートが同じ名前の要素を持ち込んでいる(R9 と同様)。それらを使う再定義とコネクターの端はそこから生じている。モデルは速度を長さにも結び付けており、これはサンプルの誤り | 社内 |
診断の妥当性確認 社内レビュー
受理の一致は、両方のツールがファイルを拒否するかどうかを示すだけです。エンジンがファイルを拒否する理由を確認するため、未サポートの構文を含む行以外で、エンジンがサンプルモデルについて報告したすべてのエラーを一つずつレビューしました:そのコード、位置、適用されるルール、仕様の条項、それが問題の最初のエラー(一次)か別のエラーの結果(連鎖)か、そして処置です。
| 処置 | 意味 | エンジン 2.1.1 |
|---|---|---|
| 確認済み | 仕様がそのエラーを裏付けている | 42 |
| エンジンの欠陥 | 誤ったエラー | 0 |
| 議論あり | 仕様ではそのケースが決着しない | 2 |
| 既知の不足 | 未サポートのリストにある構文に起因するエラー | 0 |
| 合計 | 10 ファイルで 44 件のエラー(一次 22 件、連鎖 22 件) |
- エンジンの欠陥はなし。エンジンがサポートしていない構文に関するエラーはありません。エンジン 2.0.0 でバリアビリティ、ユーザー定義キーワード、遷移の効果に起因していた 40 件のエラーはなくなりました。
- どこでも同じコード。インポートされた複数の要素に解決される名前は、参照でも式でも曖昧として報告されます。以前のビルドでは、式の中では未解決として報告していました。
- 1 つの解釈。インポートが同じ名前の 2 つの要素を持ち込み、一方が他方を特化している場合、仕様の記述と形式的なルールが異なります。エンジンは形式的なルールに従い、その名前を曖昧として報告します。パイロットはそのような名前を診断なしで受理します。
- 議論あり:議論のある 2 件のエラーは、単なる実数で型付けされたフィーチャーに量を結び付けています。仕様のどの制約もその結び付けを無効にはしませんが、量のライブラリの意味のもとでは成り立ちません。
名前の結び付け
モデル内の各名前について、両方のツールがそれが結び付く要素を報告します。両方のツールが同じ名前について報告した結び付けを対にして比較します。一致の数値は対になった結び付けだけを対象としており、一方のツールだけが報告する結び付けについては何も示しません。それらは以下でカテゴリーに分類しています。
- 対になった結び付けの 4,908 件中 4,904 件が一致しています。
- 一方のツールだけが報告する結び付け:エンジンから 1,639 件、パイロットから 601 件。
対になった 4 件の不一致 社内レビュー
| 結び付け | 場所 | 原因 | 分類 |
|---|---|---|---|
| 3 | PartTest(examples) | パイロットの対象の名前に短縮名が含まれている。同じ要素 | 要素の同一性や正規化の違い |
| 1 | ActionTest(examples) | ペイロードのない送信アクション:パイロットはライブラリのものを再定義する独自のペイロードフィーチャーを作成する。再定義による同じフィーチャー | 要素の同一性や正規化の違い |
遷移の accept と effect に関するエンジン 2.0.0 の 3 件の不一致はなくなりました。エンジンは現在、パイロットと同様に、遷移自身の accepter と effect に結び付けます。
一方のツールだけが報告する結び付け 社内レビュー
各結び付け、その対象、それがある行を調べるルールで分類しています:
| カテゴリー | エンジンのみ | パイロットのみ |
|---|---|---|
| 要素の同一性や正規化の違い | 1,243 | 370 |
| 余分な暗黙の結び付け(エンジンは結び付け、パイロットは関係を示さない) | 396 | – |
| 欠落(パイロットは結び付け、エンジンは結び付けない) | – | 231 |
| 未サポートの構文 | 0 | 0 |
| パイロットとの食い違い | 0 件 | 0 件 |
| 合計 | 1,639 | 601 |
- 要素の同一性や正規化の違いは、主にエンジンではなく比較の問題です:コネクター、フロー、サクセッションの端と式の中の名前(パイロットは関係ではなく所有フィーチャーとして示します)。比較がパイロット側で名前を付けられない 5 つのライブラリパッケージ内の対象。結び付けの比較でパイロットにアルファベット順に与えたファイル(依存関係の順序では、さらに 217 件の結び付けが対になります)。パイロットが異なる名前を付ける短縮名、共役ポート、無名の所有者、暗黙のフィーチャー。
- 余分な暗黙の結び付けと欠落は、ルールで分類しきれなかったものです。サンプルでは、インターフェースの端を通る連鎖、定義内の共役ポート、メタデータが見られます。まだ一つずつレビューしていません。
- 比較を修正すると測定が変わるため、新しい手法バージョンが必要です。
損傷したテキスト
モデルを意図的に、1 回に 1 つの変異ずつ損傷させます:中括弧の除去や追加、途中で切れた宣言、壊れたインポート、循環参照、無効な文字、ランダムなトークンの変更、そしてセミコロンの欠落やキーワードの綴り間違いのようなよくある入力ミスです。入力は、エンジン自身のテストモデル、生成モデル、サンプルモデルです。
| チェック | 基準 | 結果 | 達成 |
|---|---|---|---|
| クラッシュと 10 秒を超えるタイムアウト | 一切不可 | なし | はい |
| 損傷した入力 | 10,000 件以上 | 10,044 | はい |
| 各編集後の応答が新規の解析と一致 | すべて | 10,044 件中 10,044 件 | はい |
| 損傷を修復すると元の応答に戻る | すべて | 9,830 件中 9,830 件 | はい |
| 1 つの変異で生じる新たな構文エラーは最大 3 件 | ケースの 99 % 以上 | 100.0 % | はい |
| 最初の構文エラーが、損傷した宣言の中またはその直後を指す | ケースの 95 % 以上 | 7,163 件中 99.7 % | はい |
| 損傷の外の宣言は引き続き同じようにチェックされる | 99 % 以上 | 55,225 件中 99.5 % | はい |
速度とメモリ
基準はエンジンのネイティブビルドに対するものです。Holarch では、エンジンはブラウザー内で WebAssembly として動作し、こちらの方が遅くなります。基準は、それと遅いコンピューターを考慮して、編集と解析に 8 倍の余裕を見込んでいます。WebAssembly ビルドも Safari で測定しています(下記)。
エンジンのベース(標準ライブラリ読み込み済み):17 MiB。以下のメモリの数値は、このベースを超える分を 10,000 行あたりで示したものです。ピークからベースを引き、モデルの大きさ(10,000 行単位)で割った値です。基準は合計に適用されます。
編集
各種類の編集を、ウォームアップの 20 回の編集の後、1 つの編集セッションの中で Holarch のエディターが送るのと同じ方法で 200 回適用します。表は 95 パーセンタイルを示します:100 回の編集のうち 95 回がこの速さ以下でした。
| モデルの大きさ | 値の変更 | 定義の名前の変更 | インポートの変更 | スーパータイプの変更 | 達成 |
|---|---|---|---|---|---|
| 10,038 行 | 1.3 | 6.8 | 2.1 | 2.2 | はい |
| 50,013 行 | 3.9 | 19.4 | 4.9 | 4.7 | はい |
| 100,033 行 | 7.7 | 34.6 | 8.6 | 8.5 | はい |
| 250,011 行 | 22.7 | 90.8 | 24.0 | 24.9 | はい |
基準:値の変更は 12 ms 以内(250,000 行では 25 ms)。名前、インポート、スーパータイプの変更は 60 ms 以内(250,000 行では 150 ms)。
モデル全体の解析
コールド解析:標準ライブラリを読み込んだ新しいプロセスが、モデル全体を何もない状態から解析します。5 回の実行の中央値です。エンジンのメモリは、その解析中のエンジンのピークで、ベースを超える分を 10,000 行あたりで示しています。同じ解析の WebAssembly のメモリを参考として、エンジン自身の起動時のメモリを含めて 10,000 行あたりで示しています。
| モデルの大きさ | コールド解析 | エンジンのメモリ、コールド解析 | WebAssembly のメモリ、コールド解析 |
|---|---|---|---|
| 10,038 行 | 150 ms | 10,000 行あたり 29 MiB | 10,000 行あたり 38 MiB |
| 50,013 行 | 711 ms | 10,000 行あたり 28 MiB | 10,000 行あたり 29 MiB |
| 100,033 行 | 1.43 秒 | 10,000 行あたり 28 MiB | 10,000 行あたり 28 MiB |
| 250,011 行 | 3.73 秒 | 10,000 行あたり 28 MiB | 10,000 行あたり 26 MiB |
- 手法バージョン 3 のもとでのコールド解析:目標未達。目標は 100,000 行で 0.6 秒、250,000 行で 1.2 秒でした。非常に大きなモデルの最初の解析には 1.43 秒と 3.73 秒かかります。この実行中は測定用のコンピューターで他の作業も動いていたため、これらの時間は数 % 高めに出ている可能性があります。メモリの数値はその影響を受けません。
- 手法バージョン 4 のもとでのコールド解析:報告のみで目標ではない。進捗の基準は達成。Holarch は、3 秒を超えうるすべての解析でプログレスバーを表示します。長い解析が始まって 1 秒後に表示され、段階(エンジンの起動、標準ライブラリの読み込み、モデルの解析)を示し、解析が終わるまで表示され続けます。プログレスバーはアプリが長い最初の解析に対処する方法であり、エンジンの速度についての主張ではありません。
- 達成:その最初の解析の後の編集は、すべての規模で基準内です。
- 達成:コールド解析のエンジンメモリは、100,000 行で 512 MiB 以内、250,000 行で 1 GiB 以内です。
- 達成:時間はモデルの大きさに比例して増えます。250,000 行でのコールド解析には、25 倍の大きさのモデルに対して 10,000 行の場合の 24.9 倍の時間がかかります(基準:最大 40 倍)。
編集セッション全体
手法バージョン 6。エンジン 2.0.1 以降はバージョン 7 のもとで読み直し:測定ツールは、Holarch と同様に、モデルのレコードをテキストとして保持します。新しいプロセスが 1 つ、決められたスクリプトを実行します:最初の解析、モデルの要素レコード、モデルの最初のチェック、60 回の編集(値の変更 20 回、インポートの変更 20 回、スーパータイプの変更 20 回。それぞれ再解析)、モデルのテキストとしての出力、編集したテキストのモデルへの書き戻し、モデルの値の評価。数値は、セッション中の任意の時点での最大のエンジンメモリです。
| モデルの大きさ | エンジン 2.1.1 | エンジン 2.0.1 | 2.1.1 で達成 |
|---|---|---|---|
| 10,038 行 | 10,000 行あたり 35 MiB | 10,000 行あたり 51 MiB | 報告のみ |
| 50,013 行 | 10,000 行あたり 33 MiB | 10,000 行あたり 49 MiB | 報告のみ |
| 100,033 行 | 10,000 行あたり 33 MiB | 10,000 行あたり 49 MiB | はい(基準:512 MiB 以内) |
| 250,011 行 | 10,000 行あたり 33 MiB | 10,000 行あたり 50 MiB | はい(基準:1 GiB 以内) |
- 100,000 行と 250,000 行で達成。基準はコールド解析と同じです:100,000 行で 512 MiB 以内、250,000 行で 1 GiB 以内。これは、ブラウザーが WebAssembly インスタンスに許すメモリに余裕を持たせたものです。WebAssembly ではエンジンのメモリが縮むことはないため、セッション中の最大時がそのサイズを決めます。エンジン 2.0.1 は 100,000 行では基準を満たし、250,000 行では満たしませんでした。エンジン 2.0.0 はどちらも満たしませんでした(手法バージョン 6 のもとで 10,000 行あたり 122 MiB)。
- 最大時は、モデルの最初のチェックと評価で、それぞれテキストをモデルに書き戻すのとほぼ同じ大きさです。モデルの出力はもはや最大のステップではありません。
長いセッションでのメモリ
報告のみで基準ではありません。上記の結果の特性評価で、エンジン 2.1.1 においてネイティブで実施しました(実行 2.1.1-37168cc79-1)。モデルの大きさごとに 1 つのセッション:モデルを開いてチェックする。すべての編集箇所を 2 巡する編集(値、インポート、スーパータイプの変更。それぞれ再解析)、続いて新しい数値を書き続ける値の編集。変更していないモデルの解析 10 回とチェック 10 回、そして開いているセッションと並行した最初からの解析。1 つのパッケージの出力、続いてモデル全体の出力。テキストのモデルへの書き戻し。評価。その後、閉じて開き直すことを 3 回。
| モデルの大きさ | 開いているモデルの編集 | 最大のステップ:開いているセッションと並行した最初からの再解析 | モデル全体の出力 | 閉じた後の残り |
|---|---|---|---|---|
| 10,038 行 | 27 MiB | 55 MiB | 41 MiB | 1.5 MiB |
| 50,013 行 | 26 MiB | 54 MiB | 40 MiB | 0.6 MiB |
| 100,033 行 | 26 MiB | 54 MiB | 40 MiB | 0.5 MiB |
| 250,011 行 | 26 MiB | 54 MiB | 40 MiB | 0.4 MiB |
- 編集では横ばいになります。編集が以前に編集していない宣言に及ぶ間は、メモリは 10,000 行あたり約 5 MiB 増え、その後は横ばいになります。
- 繰り返しの解析は何も残しません。変更していないモデルの解析 10 回とチェック 10 回の後も、メモリは元のままです。
- 最大のステップは、セッションを開いたままモデル全体を最初から解析することで、解析のコピーを同時に 2 つ保持します。1 つのセッションを保持するエディターではこれは必要ありません。
- モデル全体の出力は、ベースを超えて 10,000 行あたり約 40 MiB を必要とします(エンジン 2.0.1:53~55、エンジン 2.0.0:129~131)。
- 閉じるとメモリが返されます。わずかな残りがありますが、3 回の開き直しでも増えません。
- Safari では、この特性評価はエンジン 2.1.1 では実施していません。Safari での最新のセッションの数値はエンジン 2.0.1 のもので、証拠パッケージにあります。
Safari で測定した WebAssembly
エンジン 2.1.1 の WebAssembly ビルドを、Holarch 自身のエンジンワーカーで、同じ生成モデルを使って測定しました。起動とは、エンジンを取得して起動し、標準ライブラリを読み込むことです。コールド解析は新しいワーカー 3 つの中央値です。編集は上記と同様に、1 つのセッションの中で、ウォームアップの 20 回の後に種類ごとに 200 回です。モデルの大きさごとに別のページで実行しました。名前の変更はネイティブビルドでのみ測定しています。これらの数値は報告のみで、基準ではありません。
| モデルの大きさ | エンジンの起動、Safari | コールド解析、Safari | コールド解析、ネイティブ | 値の変更、p95、Safari / ネイティブ | インポートの変更、p95、Safari / ネイティブ | スーパータイプの変更、p95、Safari / ネイティブ |
|---|---|---|---|---|---|---|
| 10,038 行 | 143 ms | 215 ms | 150 ms | 3 / 1.3 ms | 4 / 2.1 ms | 4 / 2.2 ms |
| 50,013 行 | 152 ms | 867 ms | 711 ms | 12 / 3.9 ms | 10 / 4.9 ms | 10 / 4.7 ms |
| 100,033 行 | 144 ms | 1.63 秒 | 1.43 秒 | 20 / 7.7 ms | 20 / 8.6 ms | 20 / 8.5 ms |
| 250,011 行 | 175 ms | 4.44 秒 | 3.73 秒 | 53 / 22.7 ms | 50 / 24.0 ms | 49 / 24.9 ms |
未サポート
これらの構文は、エンジンが公開している未サポートの構文のリストに載っています。これらが原因でパイロットと一致しないサンプルモデルのファイルは評価対象範囲から外れます。今回の実行ではそのようなファイルはありません。
- 他の言語によるテキスト表現はテキストとして保持され、チェックされません。
バリアビリティ、ユーザー定義キーワード、accept や action として書かれた遷移の効果は、それぞれ出荷された時点で、手法バージョン 8 から 10 でリストから外れました。テキスト表記のすべての文法規則には、それを解析して結果をチェックするテストが少なくとも 1 つあります。Holarch で動作するものの完全な一覧とその制限:SysML v2 言語の対応範囲。
結果の再現
結果は独立して再現できます。証拠パッケージ(zip、SHA-256 5d9821f7dac3fd0b2bc49a8defe416ac01f515834d65d3182891a9f8d20e59ae)には、同じエンジンビルドで各実行を繰り返すのに必要なものが含まれています。
- 1 ページの再現ガイド
REPRODUCE.md:正確なコマンド、依存関係、チェックサム付きの入力、期待される結果、実行時間。 - すべての手法バージョン(1~10)とその理由を記したテスト手法。
- 分類表:未サポートの構文のリスト、分類と条項を付けたすべての分類済みの不一致、上記の登録簿、すべてのエンジンエラーのレビュー、結び付けのカテゴリー。
- エンジン 2.1.1(すべての測定とセッションのメモリの特性評価)、エンジン 2.0.1(速度とメモリ、セッションのメモリ)、Holarch 2.15.1(エンジン 2.0.0 のコードの両方のビルド)、2.14.0(速度とメモリ)、2.13.1、2.12.0 の各実行の要約と機械可読な結果、そして Safari で測定した WebAssembly の所要時間とセッションのメモリ。
- シードごとに決定的な大規模モデルのジェネレーターと、測定および比較のスクリプト。
- すべてのファイルのチェックサム。
エンジンや OMG のファイルは含まれていません。スクリプトは、固定されたコミットとパッケージのチェックサムで、サンプルモデルとパイロット実装を公開されている取得元から取得します。再実行用のエンジンはエンジンの評価版に付属します。
以前の実行
以前の公式の実行は、それぞれ独自の手法バージョンのもとで、測定したとおりに残しています。手法 1~3 では、100,000 行でのコールド解析 0.6 秒以内が目標でしたが、どの実行も達成しませんでした。手法 4 は目標なしでこれを報告します。手法バージョン 3 より前のピークメモリは測定プロセスのピーク常駐メモリで、アロケーターが再利用のために保持するメモリも数えているため、エンジンのヒープの数値とは比較できません。Holarch 2.15.0 と 2.14.0 の実行では速度とメモリのみを測定しました。2.15.0 の実行の時間は、同じコンピューターで他の作業が動いている間に測定したため、前後のビルドより約 4 分の 1 長くなっています。
| ビルド | エンジンのバージョン | Holarch のリリース | 手法 | 受理、未加工 | 受理、分類済み(社内レビュー) | 名前の結び付け | コールド解析、100,000 行 | ピークメモリ、100,000 行 |
|---|---|---|---|---|---|---|---|---|
| 37168cc | 2.1.1 | 2.21.0(エンジン 2.1.2 を出荷) | 10 | 252 件中 242 件 | 252 件中 252 件 | 4,908 件中 4,904 件 | 1.43 秒 | エンジンのヒープ 302 MiB |
| d8cf5c8 | 2.0.1 | 2.17.1 | 7 | 未測定 | 未測定 | 未測定 | 1.23 秒 | エンジンのヒープ 362 MiB |
| 91f058a | 2.0.0 | 2.15.1(dd4fb10 と同じエンジンのコード) | 6 | 252 件中 232 件 | 241 件中 241 件 | 4,886 件中 4,879 件 | 1.35 秒 | エンジンのヒープ 362 MiB |
| dd4fb10 | 1.0.0 | 2.15.1 | 6 | 252 件中 232 件 | 241 件中 241 件 | 4,886 件中 4,879 件 | 1.28 秒 | エンジンのヒープ 362 MiB |
| e6bb924 | 1.0.0 | 2.15.0 | 5 | 未測定 | 未測定 | 未測定 | 1.57 秒 | エンジンのヒープ 362 MiB |
| 0c983e2 | 1.0.0 | 2.14.0 | 6 | 未測定 | 未測定 | 未測定 | 1.37 秒 | エンジンのヒープ 362 MiB |
| d3f5d4b | 1.0.0 | 2.13.1, 2.13.2 | 5 | 252 件中 231 件 | 242 件中 240 件 | 4,860 件中 4,851 件 | 1.24 秒 | エンジンのヒープ 362 MiB |
| 8a6bf7b | 1.0.0 | 2.12.0 | 5 | 252 件中 220 件 | 242 件中 229 件 | 4,768 件中 4,753 件 | 1.21 秒 | エンジンのヒープ 362 MiB |
| 6eec2b7 | 1.0.0 | – | 5 | 252 件中 231 件 | 240 件中 240 件(エラーのレビュー前の分類) | 4,860 件中 4,851 件 | 1.20 秒 | エンジンのヒープ 362 MiB |
| c184e57 | 1.0.0 | 2.11.0 | 3 | 252 件中 220 件 | 228 件中 228 件 | 4,768 件中 4,753 件 | 1.31 秒 | エンジンのヒープ 361 MiB |
| bfa03c7 | 1.0.0 | – | 2 | 252 件中 220 件 | 228 件中 228 件 | 4,768 件中 4,753 件 | 1.35 秒 | プロセス 972 MiB |
| 1cada39 | 1.0.0 | – | 2 | 252 件中 216 件 | 228 件中 224 件 | 4,752 件中 4,737 件 | 4.24 秒 | プロセス 1,022 MiB |
| fd20280 | 1.0.0 | – | 1 | 252 件中 145 件 | 未分類(手法 1) | 4,373 件中 4,326 件 | 2.41 秒 | プロセス 1,535 MiB |
これらの結果でわからないこと
- これらは、実行したモデルについての Holarch 自身による測定です。認証ではありません。Object Management Group はそれらをレビューも承認もしていません。
- パイロット実装とサンプルモデルは仕様ではありません。それらとエンジンが異なる場合、上記の分類で、仕様がどちらを裏付けているかとその理由を示しています。
- このページのすべての分類とレビューは社内レビューです。エンジンのテストケースのサンプルを仕様に照らして外部レビューすることを予定しています。
- 別途ライセンスが必要なシミュレーションアドオンである、アクションとステートマシンのシミュレーションは、ここでは測定していません。
- SysML v1 モデルの SysML v2 への変換は、ここでは測定していません。エンジンのライセンシー向けには、別途ライセンスが必要な移行アドオンです。