Holarch Language Engine
Testergebnisse der Language Engine
Gemessene Ergebnisse der Engine hinter den SysML-v2-Projekten von Holarch: wie ihre Antworten bei den offiziellen Beispielmodellen im Vergleich zur Pilotimplementierung der OMG abschneiden, wie sie mit beschädigtem Text umgeht und wie schnell sie bei großen Modellen ist. Nicht erfüllte Kriterien sind zusammen mit den erfüllten aufgeführt.
Springen zu: Dieser Lauf · Zusammenfassung · Sitzungsspeicher · Was die Nachweise stützen · Beispielmodelle · Validierung der Diagnosen · Namensbindung · Beschädigter Text · Geschwindigkeit und Speicher · Noch nicht unterstützt · Die Ergebnisse reproduzieren · Frühere Läufe · Was diese Ergebnisse nicht zeigen
Dieser Lauf
- Engine: Holarch Language Engine 2.1 (Version 2.1.1, Build 37168cc). Holarch liefert Version 2.1.2 aus, die Fortschrittsmeldungen für den Fortschrittsbalken des Hosts ergänzt und sehr lange Ketten von Importen oder Spezialisierungen prüft, an denen frühere Versionen stoppten; bei den Beispielmodellen, den generierten Modellen und dem Testkorpus dieses Laufs liefert sie dieselben Antworten wie 2.1.1, daher wurden die auf dieser Seite mit 2.1.1 gemessenen Werte nicht erneut gemessen. Ihre Kaltanalyse der großen generierten Modelle dauerte bei einer Messung außerhalb der offiziellen Läufe etwa 3 % länger. Engine 2.1 ergänzt Variabilität, benutzerdefinierte Schlüsselwörter, Auslöser und Effekte von Transitionen, Simulation (ein separat lizenziertes Add-on, hier nicht gemessen) und geringeren Speicherbedarf über eine Bearbeitungssitzung.
- Methode: Version 10 des schriftlichen Abnahmeplans. Die Kriterien wurden festgelegt, bevor die ersten Ergebnisse gemessen wurden. Jede spätere Änderung der Methode wird mit ihrer Begründung festgehalten, und frühere Ergebnisse behalten die Methode, unter der sie gemessen wurden. Die Versionen 8 bis 10 nehmen Variabilität, benutzerdefinierte Schlüsselwörter sowie Auslöser und Effekte von Transitionen jeweils mit ihrer Auslieferung von der Liste der nicht unterstützten Konstrukte; Kriterien und Gates sind unverändert.
- Beispielmodelle: die Sätze training, examples und validation aus dem SysML-v2-Release-Repository der OMG, Release 2026-08 (Commit fb97b754): 252 Dateien, 14.957 Zeilen. Die Modelle werden für jeden Lauf aus dem Repository der OMG abgerufen und nicht in Holarch kopiert.
- Referenz: die Pilotimplementierung der OMG, Version 0.62.0, als Blackbox ausgeführt.
- Große Modelle: generierte Modelle mit 10.000 bis 250.000 Zeilen mit tiefen Importen, paketübergreifenden Referenzen und langen Spezialisierungsketten.
Jeder Wert auf dieser Seite stammt aus den unten genannten offiziellen Läufen. Ein veröffentlichter Lauf wird nie bearbeitet. Eine Korrektur ist ein neuer Lauf, der den Lauf nennt, den er ersetzt.
Interne Prüfung kennzeichnet jede Einordnung und Prüfung auf dieser Seite: die Klassen von Abweichungen, das Register, die Prüfung jedes Engine-Fehlers und die Bindungskategorien. Sie wurden von Holarch anhand des Spezifikationstextes vorgenommen. Eine externe Prüfung gibt es noch nicht; die Kennzeichnung bleibt, bis es eine gibt.
| Holarch-Version | Engine-Version | Engine-Build | Methode | Offizielle Läufe |
|---|---|---|---|---|
| 2.21.0 (liefert Engine 2.1.2 aus) | 2.1.1 | 37168cc | 10 | 2.1.1-37168cc79-1 (jede Messung, auch die Charakterisierung des Sitzungsspeichers; die Werte auf dieser Seite) |
| 2.17.1 | 2.0.1 | d8cf5c8 | 7 | 2.0.1-d8cf5c835-1 (Geschwindigkeit und Speicher, Sitzungsspeicher) |
| 2.15.1 | 2.0.0 | dd4fb10; 91f058a meldet 2.0.0 | 6 | 1.0.0-dd4fb10f5-1 (jede Messung), 2.0.0-91f058a75-1 (jede Messung, mit dem Build, der 2.0.0 meldet; auch die Charakterisierung des Sitzungsspeichers) |
| 2.15.0 | 1.0.0 | e6bb924 | 5 | 1.0.0-e6bb92459-1 (Geschwindigkeit und Speicher, Testabdeckung) |
| 2.14.0 | 1.0.0 | 0c983e2 | 6 | 1.0.0-0c983e2e8-1 (Geschwindigkeit und Speicher, zum Vergleich) |
| 2.13.1 | 1.0.0 | d3f5d4b | 5 | 1.0.0-d3f5d4b5d-2 (Beispielmodelle), 1.0.0-d3f5d4b5d-1 (andere Messungen) |
| 2.12.0 | 1.0.0 | 8a6bf7b | 5 | 1.0.0-8a6bf7b76-2 (Beispielmodelle), 1.0.0-8a6bf7b76-1 (andere Messungen) |
| 2.11.0 | 1.0.0 | c184e57 | 3, gelesen unter 4 | 1.0.0-c184e57e6-1 |
Zusammenfassung
Bei einem generierten Modell mit 10.000 Zeilen analysiert Engine 2.1.1 das ganze Modell in 150 ms und prüft es nach einer Bearbeitung in 1,3 bis 6,8 ms erneut (95. Perzentil). Engine-Basis, Standardbibliothek geladen: 17 MiB; eine Analyse des ganzen Modells fügt etwa 29 MiB pro 10.000 Zeilen hinzu, eine ganze Bearbeitungssitzung etwa 33 MiB pro 10.000 Zeilen. Jedes Kriterium ist erfüllt, einschließlich des Engine-Speichers über eine vollständige Bearbeitungssitzung bei 100.000 und 250.000 Zeilen, das frühere Engines nicht erfüllten. Getestet mit generierten Modellen bis zu 250.000 Zeilen: Geschwindigkeit und Speicher bei jeder Größe.
Der Speicher wird pro 10.000 Zeilen oberhalb der Engine-Basis angegeben, also dem Speicher der Engine mit geladener Standardbibliothek und leerem Modell. Die Kriterien gelten für die Summe.
| Messgröße | Kriterium | Engine 2.1.1 | Erfüllt |
|---|---|---|---|
| Beispielmodelle: Abstürze und Zeitüberschreitungen | Keine zulässig | Keine | Ja |
| Beispielmodelle: Übereinstimmung bei der Akzeptanz, eingeordnet | Mindestens 98 % der Dateien im bewerteten Umfang | 252 von 252 Interne Prüfung | Ja |
| Beispielmodelle: fälschliche Akzeptanzen | Keine zulässig | Keine | Ja |
| Beispielmodelle: jeder Engine-Fehler einzeln geprüft | Alle geprüft | 44 von 44 Interne Prüfung | Ja |
| Namensbindung | Mindestens 99,5 % der gepaarten Bindungen stimmen überein | 4.904 von 4.908 | Ja |
| Beschädigter Text | Sieben Kriterien, siehe unten | Alle sieben erfüllt | Ja |
| Bearbeitungen, alle Größen | Wertänderung innerhalb von 12 ms, andere Bearbeitungen innerhalb von 60 ms (25 und 150 ms bei 250.000 Zeilen) | Alle innerhalb | Ja |
| Kaltanalyse, 100.000 Zeilen | Angegeben, seit Methodenversion 4 kein Ziel mehr (früheres Ziel: innerhalb von 0,6 s) | 1,43 s | Früheres Ziel nicht erfüllt |
| Kaltanalyse, 250.000 Zeilen | Angegeben, seit Methodenversion 4 kein Ziel mehr (früheres Ziel: innerhalb von 1,2 s) | 3,73 s | Früheres Ziel nicht erfüllt |
| Fortschritt bei langer Analyse angezeigt | Ein Fortschrittsbalken für jede Analyse, die über 3 Sekunden dauern kann (Methodenversion 4) | Angezeigt, mit den Stufen der Engine; durch den Fortschrittstest von Holarch geprüft | Ja |
| Engine-Speicher, Kaltanalyse, 100.000 Zeilen | Innerhalb von 512 MiB | 28 MiB pro 10.000 Zeilen über der Basis | Ja |
| Engine-Speicher, Kaltanalyse, 250.000 Zeilen | Innerhalb von 1 GiB | 28 MiB pro 10.000 Zeilen über der Basis | Ja |
| Engine-Speicher, vollständige Bearbeitungssitzung, 100.000 Zeilen | Innerhalb von 512 MiB (Methodenversion 6) | 33 MiB pro 10.000 Zeilen über der Basis | Ja |
| Engine-Speicher, vollständige Bearbeitungssitzung, 250.000 Zeilen | Innerhalb von 1 GiB (Methodenversion 6) | 33 MiB pro 10.000 Zeilen über der Basis | Ja |
| Wachstum mit der Modellgröße | Kaltanalyse bei 250.000 Zeilen höchstens das 40-Fache von der bei 10.000 | 24,9-fach | Ja |
| Gleiche Anfrage, gleiche Antwort | Jede Antwort in zwei neuen Prozessen identisch | 1.211 von 1.211 | Ja |
Sitzungsspeicher: Kriterium erfüllt
Erfüllt: Engine-Speicher über eine vollständige Bearbeitungssitzung bei 100.000 und 250.000 Zeilen. Engines bis 2.0.1 erfüllten es bei 250.000 Zeilen nicht (2.0.0 auch nicht bei 100.000 Zeilen); Engine 2.1.1 braucht über die ganze Sitzung etwa 33 MiB pro 10.000 Zeilen über der Basis, innerhalb von 512 MiB bei 100.000 Zeilen und innerhalb von 1 GiB bei 250.000 Zeilen.
- Was sich geändert hat. Der Printer und der Textvergleich bauen keine vollständige Kopie des Dokuments im Speicher mehr auf (Engine 2.0.1), und Namenstabellen, Analyse-Cache, Syntaxbaum und Quellpositionen der Engine benötigen weniger Platz (Engine 2.1.1).
- Das Ausgeben eines ganzen Modells, früher der größte Schritt, braucht nativ jetzt etwa 40 MiB pro 10.000 Zeilen über der Basis, weniger als eine erneute Analyse des Modells von Grund auf neben einer offenen Sitzung (etwa 54 MiB pro 10.000 Zeilen): Speicher über eine lange Sitzung.
- Im Browser schrumpft der Speicher der Engine nie, sodass ein Worker die Größe seines größten Moments behält, bis er beendet wird; Holarch beendet einen untätigen Engine-Worker, der weit mehr Speicher hält, als er nutzt, und startet ihn neu.
Was die Nachweise stützen
Welche Verwendungen diese Ergebnisse stützen und wo die Nachweise enden. „Nicht belegt“ heißt, dass diese Seite dafür weder in die eine noch in die andere Richtung Nachweise hat.
| Verwendung | Gestützt durch | Belegt | Nicht belegt |
|---|---|---|---|
| Editor-Unterstützung (Analyse beim Tippen) | Bearbeitungszeiten, beschädigter Text, Beispielmodelle, Sitzungsspeicher | Erneute Analyse nach einer Bearbeitung innerhalb der Kriterien bis 250.000 Zeilen, nativ und in Safari; beschädigter Text in allen sieben Kriterien bewältigt; Speicher pendelt sich bei langem Bearbeiten ein; Speicher über eine vollständige Bearbeitungssitzung innerhalb der Kriterien bis 250.000 Zeilen | Zeiten auf Computern, die langsamer sind als der Messrechner (ein Spielraum vom 4-Fachen wird angenommen, nicht gemessen); andere Browser als Safari |
| Batch- und CI-Prüfung (ganze Modelle) | Beispielmodelle, Validierung der Diagnosen, Kaltanalyse, gleiche Anfrage gleiche Antwort | Keine Abstürze oder Zeitüberschreitungen; 252 von 252 Beispieldateien stimmen nach Einordnung überein Interne Prüfung; jeder Engine-Fehler geprüft; identische Antworten in neuen Prozessen; die Kaltanalyse wächst im Verhältnis zur Modellgröße | Große Modelle, die von Menschen oder anderen Werkzeugen geschrieben wurden (gemessen wurden nur generierte Modelle und die Beispiele der OMG); eine CI-Integration |
| Modelltransformation (ein Modell als Text ausgeben, Text zurück ins Modell schreiben) | Vollständige Bearbeitungssitzung, Sitzungsspeicher | Jeder Schritt antwortet bei jeder Modellgröße; Speicher innerhalb der Kriterien für das Ausgeben ganzer Modelle bis 250.000 Zeilen, nativ | Ob Ausgeben und Zurückschreiben dasselbe Modell ergeben (nicht Teil dieser Messungen); Konvertierung aus SysML v1 |
| Browser (WebAssembly) | Zeiten in Safari, Sitzungsspeicher in Safari | Start, Kaltanalyse und Bearbeitungen in Safari bis 250.000 Zeilen | Chrome, Firefox und Edge; mobile Browser; Sitzungsspeicher in Safari für diese Engine (für 2.0.1 bis 250.000 Zeilen gemessen) |
| Nativ und Server | Jede Messung auf dieser Seite (die Kriterien sind nativ) | Auf einem Mac mit Apple Silicon | Andere Betriebssysteme und Prozessoren; viele Modelle gleichzeitig in einem Prozess; langlaufende Serversitzungen über viele Projekte |
| Einsatz mit hohen Anforderungen an die Vertrauenswürdigkeit (sicherheits- oder missionskritische Entscheidungen, Zertifizierungsnachweise) | Keine für sich allein | Nichts über die oben genannten Verwendungen hinaus | Eine externe Prüfung; Zertifizierung oder Qualifizierung jeder Art; vollständige Abdeckung der Validierungsregeln der Spezifikation; Ausführung von Aktionen und Zustandsautomaten (das Simulations-Add-on wird hier nicht gemessen) |
Beispielmodelle
Jeder Satz von Beispielmodellen wird gemeinsam als ein Projekt analysiert, weil die Beispiele Pakete voneinander importieren. Die Pilotimplementierung erhält dieselben Dateien in einer Sitzung. Für jede Datei werden die beiden Antworten verglichen: Hat die Datei Fehler oder nicht, und an welches Element bindet jeder Name.
Übereinstimmung bei der Akzeptanz
| Zählung | Was sie zählt | Engine 2.1.1 |
|---|---|---|
| Roh | Jede Datei; Übereinstimmung darüber, ob die Datei Fehler hat, ohne Einordnung | 242 von 252 |
| Bewerteter Umfang | Dateien, die übrig bleiben, nachdem diejenigen herausgenommen wurden, deren Abweichung von einem Konstrukt auf der Liste der nicht unterstützten Konstrukte herrührt | 252 von 252 (keine herausgenommen) |
| Eingeordnet | Übereinstimmung innerhalb des bewerteten Umfangs, wobei eine Abweichung nur dort als Übereinstimmung zählt, wo die Spezifikation zeigt, dass die Engine richtig liegt | 252 von 252 Interne Prüfung |
- Erfüllt: Jede Datei stimmt mit dem Pilot überein, 10 davon über das Register unten. Variabilität, benutzerdefinierte Schlüsselwörter sowie Auslöser und Effekte von Transitionen werden jetzt unterstützt, sodass keine Datei den bewerteten Umfang verlässt (bei Engine 2.0.0 waren es 11 Dateien); 10 Dateien mehr als mit Engine 2.0.0 werden ohne Fehler akzeptiert, und keine Datei, die 2.0.0 akzeptiert hat, hat jetzt Fehler.
- Fälschliche Akzeptanzen: 0. Keine Datei, die der Pilot ablehnt, wird von der Engine akzeptiert.
- Abstürze und Zeitüberschreitungen: keine.
Einordnungsregeln Interne Prüfung. Jede Abweichung vom Pilot wird einzeln untersucht und vor einem Lauf, nie währenddessen, mit einer dieser Klassen festgehalten:
- Beispielfehler: Die Engine liegt richtig, und das Beispiel ist ungültig, mit der Klausel der Spezifikation, die das zeigt. Beispiel: Arithmetik, die eine Länge zu einer Masse addiert. Zählt als Übereinstimmung.
- Pilotfehler: Die Engine liegt richtig, und die Antwort des Pilots widerspricht einer zitierten Klausel der Spezifikation. Zählt als Übereinstimmung.
- Nicht unterstütztes Konstrukt: Die Abweichung rührt von einem Konstrukt auf der veröffentlichten Liste der nicht unterstützten Konstrukte der Engine her (unten). Die Datei verlässt den bewerteten Umfang. Wenn das Konstrukt ausgeliefert wird, verlässt es die Liste, und die Datei wird erneut gemessen.
- Engine-Mangel: ein bekannter Fehler in der Engine. Zählt nie als Übereinstimmung.
Register der Abweichungen, die die Spezifikation entscheidet Interne Prüfung
Zehn Abweichungen zählen als Übereinstimmung, weil die Spezifikation zeigt, dass die Engine richtig liegt. Jede ist hier aufgeführt. Prüfstatus: intern bedeutet, von Holarch anhand der Spezifikation geprüft; eine externe Prüfung dieser und anderer Fälle ist geplant.
| ID | Datei | Klasse | Klausel | Nachweis | Review |
|---|---|---|---|---|---|
| R1 | Calculation Definitions (training) | Beispielfehler | SysML 9.8.2 | Ein Term mit der Dimension Leistung und einer mit der Dimension Geschwindigkeit in einer Summe kombiniert | Intern |
| R2 | Calculation Usages-2 (training) | Beispielfehler | SysML 9.8.2 | Größen unterschiedlicher Dimensionen in einem Ausdruck kombiniert | Intern |
| R3 | Dynamics (examples) | Beispielfehler | SysML 9.8.2 | Größen unterschiedlicher Dimensionen in einem Ausdruck kombiniert | Intern |
| R4 | Turbojet Stage Analysis (examples) | Beispielfehler | SysML 9.8.2 | Größen unterschiedlicher Dimensionen in einem Ausdruck kombiniert | Intern |
| R5 | SimpleQuadcopter (examples) | Beispielfehler | SysML 9.8.2 | Eine Länge an einen dimensionslosen Wert gebunden | Intern |
| R6 | VehicleGeometryAndCoordinateFrames (examples) | Beispielfehler | SysML 9.8.2 | Eine einfache Zahl zu einer Länge addiert | Intern |
| R7 | 15_12 Compound Value Type (validation) | Beispielfehler | SysML 9.8.2 | Größen unterschiedlicher Dimensionen in einem Ausdruck kombiniert | Intern |
| R8 | AnalysisIndividualExample (examples) | Beispielfehler | SysML 9.8.2 | Eine Geschwindigkeit an ein Feature für Kraftstoffverbrauch gebunden | Intern |
| R9 | 13a Model Containment (validation) | Pilotfehler | KerML 8.2.3.5.3 | Zwei verschiedene importierte Elemente teilen sich in einem Namensraum einen Namen; ein Name löst zu höchstens einer Mitgliedschaft auf, und der Pilot wählt eine aus | Intern |
| R10 | SysML v2 Spec Annex A SimpleVehicleModel (examples) | Pilotfehler | KerML 8.2.3.5.3 | Mehrere Importe bringen Elemente desselben Namens ein (wie in R9); die Redefinitionen und Konnektorenden, die sie verwenden, folgen daraus. Das Modell bindet außerdem eine Geschwindigkeit an eine Länge, ein Beispielfehler | Intern |
Validierung der Diagnosen Interne Prüfung
Die Übereinstimmung bei der Akzeptanz sagt nur, ob beide Werkzeuge eine Datei ablehnen. Um zu prüfen, warum die Engine eine ablehnt, wurde jeder Fehler, den sie bei den Beispielmodellen außerhalb der Zeilen mit einem nicht unterstützten Konstrukt meldet, einzeln geprüft: sein Code, seine Position, die angewendete Regel, die Klausel der Spezifikation, ob es der erste Fehler eines Problems ist (primär) oder eine Folge eines anderen Fehlers (Kaskade), und eine Entscheidung.
| Entscheidung | Bedeutung | Engine 2.1.1 |
|---|---|---|
| Bestätigt | Die Spezifikation stützt den Fehler | 42 |
| Engine-Mangel | Ein falscher Fehler | 0 |
| Strittig | Die Spezifikation entscheidet den Fall nicht | 2 |
| Bekannte Lücke | Der Fehler rührt von einem Konstrukt auf der Liste der nicht unterstützten Konstrukte her | 0 |
| Gesamt | 44 Fehler in 10 Dateien (22 primär, 22 Kaskaden) |
- Keine Engine-Mängel. Kein Fehler betrifft ein Konstrukt, das die Engine nicht unterstützt: Die 40 Fehler von Engine 2.0.0, die von Variabilität, benutzerdefinierten Schlüsselwörtern und Transitionseffekten herrührten, sind verschwunden.
- Überall derselbe Code. Ein Name, der zu mehreren importierten Elementen auflöst, wird in Ausdrücken wie in Referenzen als mehrdeutig gemeldet; frühere Builds meldeten ihn in Ausdrücken als nicht aufgelöst.
- Eine Interpretation. Wo Importe zwei Elemente desselben Namens einbringen und eines davon das andere spezialisiert, unterscheiden sich die Beschreibung der Spezifikation und ihre formale Regel. Die Engine folgt der formalen Regel und meldet den Namen als mehrdeutig. Der Pilot akzeptiert solche Namen ohne Diagnose.
- Strittig: Die 2 strittigen Fehler binden eine Größe an ein Feature, das durch eine einfache reelle Zahl typisiert ist: Keine Randbedingung der Spezifikation macht die Bindung ungültig, aber unter der Bedeutung der Größenbibliothek kann sie nicht gelten.
Namensbindung
Für jeden Namen in einem Modell melden beide Werkzeuge das Element, an das er bindet. Bindungen, die beide Werkzeuge für denselben Namen melden, werden gepaart und verglichen. Der Übereinstimmungswert bezieht sich nur auf gepaarte Bindungen; er sagt nichts über die Bindungen, die nur ein Werkzeug meldet und die unten in Kategorien eingeordnet sind.
- 4.904 von 4.908 gepaarten Bindungen stimmen überein.
- Bindungen, die nur ein Werkzeug meldet: 1.639 von der Engine und 601 vom Pilot.
Die 4 gepaarten Abweichungen Interne Prüfung
| Bindungen | Wo | Ursache | Klasse |
|---|---|---|---|
| 3 | PartTest (examples) | Der Name des Pilots für das Ziel trägt dessen Kurznamen; dasselbe Element | Unterschiedliche Elementidentität oder Normalisierung |
| 1 | ActionTest (examples) | Eine Sendeaktion ohne Payload: Der Pilot erzeugt ein eigenes Payload-Feature, das das der Bibliothek redefiniert; durch Redefinition dasselbe Feature | Unterschiedliche Elementidentität oder Normalisierung |
Die 3 Abweichungen von Engine 2.0.0 bei accept und effect einer Transition sind verschwunden: Die Engine bindet jetzt, wie der Pilot, den eigenen Accepter und Effekt der Transition.
Bindungen, die nur ein Werkzeug meldet Interne Prüfung
Eingeordnet nach Regeln, die jede Bindung, ihr Ziel und die Zeile betrachten, in der sie steht:
| Kategorie | Nur Engine | Nur Pilot |
|---|---|---|
| Unterschiedliche Elementidentität oder Normalisierung | 1,243 | 370 |
| Zusätzlich implizit (Engine bindet, Pilot zeigt keine Beziehung) | 396 | – |
| Fehlend (Pilot bindet, Engine nicht) | – | 231 |
| Nicht unterstütztes Konstrukt | 0 | 0 |
| Abweichung des Pilots | 0 gefunden | 0 gefunden |
| Gesamt | 1,639 | 601 |
- Unterschiedliche Elementidentität oder Normalisierung liegt meist am Vergleich, nicht an der Engine: Namen in Enden von Konnektoren, Flüssen und Successions sowie in Ausdrücken, die der Pilot als besessene Features statt als Beziehungen zeigt; Ziele in fünf Bibliothekspaketen, die der Vergleich auf der Seite des Pilots nicht benennen kann; im Bindungsvergleich alphabetisch an den Pilot übergebene Dateien, wobei sich in Abhängigkeitsreihenfolge 217 Bindungen mehr paaren; Kurznamen, konjugierte Ports, unbenannte Besitzer und implizite Features, die der Pilot anders benennt.
- Zusätzlich implizit und fehlend ist das, was die Regeln übrig lassen. Eine Stichprobe zeigt Ketten durch Schnittstellenenden, konjugierte Ports in Definitionen und Metadaten; sie wurden noch nicht einzeln geprüft.
- Eine Korrektur des Vergleichs ändert die Messung, daher braucht sie eine neue Methodenversion.
Beschädigter Text
Modelle werden absichtlich beschädigt, eine Mutation nach der anderen: entfernte oder zusätzliche Klammern, abgeschnittene Deklarationen, defekte Importe, zirkuläre Referenzen, ungültige Zeichen, zufällige Token-Änderungen und häufige Tippfehler wie ein fehlendes Semikolon oder ein falsch geschriebenes Schlüsselwort. Die Eingaben sind die eigenen Testmodelle der Engine, ein generiertes Modell und die Beispielmodelle.
| Prüfen | Kriterium | Ergebnis | Erfüllt |
|---|---|---|---|
| Abstürze und Zeitüberschreitungen über 10 s | Keine zulässig | Keine | Ja |
| Beschädigte Eingaben | Mindestens 10.000 | 10,044 | Ja |
| Antwort nach jeder Bearbeitung entspricht einer neuen Analyse | Alle | 10.044 von 10.044 | Ja |
| Die Reparatur des Schadens liefert die ursprüngliche Antwort zurück | Alle | 9.830 von 9.830 | Ja |
| Eine Mutation ergibt höchstens 3 neue Syntaxfehler | Mindestens 99 % der Fälle | 100.0 % | Ja |
| Der erste Syntaxfehler zeigt in die beschädigte Deklaration oder direkt dahinter | Mindestens 95 % der Fälle | 99,7 % von 7.163 | Ja |
| Deklarationen außerhalb des Schadens werden weiterhin gleich geprüft | Mindestens 99 % | 99,5 % von 55.225 | Ja |
Geschwindigkeit und Speicher
Die Kriterien gelten für den nativen Build der Engine. In Holarch läuft die Engine als WebAssembly im Browser, was langsamer ist; die Kriterien berücksichtigen dies und langsamere Computer mit einem Faktor von 8 für Bearbeitungen und Analyse. Der WebAssembly-Build wird außerdem in Safari gemessen (unten).
Engine-Basis, Standardbibliothek geladen: 17 MiB. Die Speicherwerte unten gelten pro 10.000 Zeilen über dieser Basis: der Spitzenwert minus die Basis, geteilt durch die Größe des Modells in Einheiten von 10.000 Zeilen. Die Kriterien gelten für die Summe.
Bearbeitungen
Jede Bearbeitungsart wird 200-mal angewendet, nach 20 Aufwärmbearbeitungen, in einer Bearbeitungssitzung, so wie der Editor von Holarch sie sendet. Die Tabelle zeigt das 95. Perzentil: 95 von 100 Bearbeitungen waren so schnell oder schneller.
| Modellgröße | Einen Wert ändern | Eine Definition umbenennen | Einen Import ändern | Einen Supertyp ändern | Erfüllt |
|---|---|---|---|---|---|
| 10.038 Zeilen | 1.3 | 6.8 | 2.1 | 2.2 | Ja |
| 50.013 Zeilen | 3.9 | 19.4 | 4.9 | 4.7 | Ja |
| 100.033 Zeilen | 7.7 | 34.6 | 8.6 | 8.5 | Ja |
| 250.011 Zeilen | 22.7 | 90.8 | 24.0 | 24.9 | Ja |
Kriterien: eine Wertänderung innerhalb von 12 ms (25 ms bei 250.000 Zeilen); eine Umbenennung, Import- oder Supertypänderung innerhalb von 60 ms (150 ms bei 250.000 Zeilen).
Ein ganzes Modell analysieren
Kaltanalyse: Ein neuer Prozess mit geladener Standardbibliothek analysiert das ganze Modell von null an, Median aus 5 Läufen. Der Engine-Speicher ist der Spitzenwert der Engine während dieser Analyse, pro 10.000 Zeilen über der Basis. Der WebAssembly-Speicher derselben Analyse ist zum Vergleich angegeben, pro 10.000 Zeilen einschließlich des eigenen Startspeichers der Engine.
| Modellgröße | Kaltanalyse | Engine-Speicher, Kaltanalyse | WebAssembly-Speicher, Kaltanalyse |
|---|---|---|---|
| 10.038 Zeilen | 150 ms | 29 MiB pro 10.000 Zeilen | 38 MiB pro 10.000 Zeilen |
| 50.013 Zeilen | 711 ms | 28 MiB pro 10.000 Zeilen | 29 MiB pro 10.000 Zeilen |
| 100.033 Zeilen | 1,43 s | 28 MiB pro 10.000 Zeilen | 28 MiB pro 10.000 Zeilen |
| 250.011 Zeilen | 3,73 s | 28 MiB pro 10.000 Zeilen | 26 MiB pro 10.000 Zeilen |
- Kaltanalyse unter Methodenversion 3: Ziel nicht erfüllt. Das Ziel war 0,6 s bei 100.000 Zeilen und 1,2 s bei 250.000 Zeilen; eine erste Analyse eines sehr großen Modells dauert 1,43 s und 3,73 s. Während dieses Laufs lief andere Arbeit auf dem Messrechner, daher können diese Zeiten einige Prozent zu hoch ausfallen; die Speicherwerte hängen davon nicht ab.
- Kaltanalyse unter Methodenversion 4: angegeben, kein Ziel. Das Fortschrittskriterium ist erfüllt. Holarch zeigt einen Fortschrittsbalken für jede Analyse, die über 3 Sekunden dauern kann: Er erscheint eine Sekunde nach Beginn einer langen Analyse, nennt die Stufe (Engine starten, Standardbibliothek laden, Modell analysieren) und bleibt, bis die Analyse abgeschlossen ist. Der Fortschrittsbalken ist die Art, wie die App mit einer langen ersten Analyse umgeht; er ist keine Aussage über die Geschwindigkeit der Engine.
- Erfüllt: Bearbeitungen nach dieser ersten Analyse liegen bei jeder Größe innerhalb ihrer Kriterien.
- Erfüllt: Engine-Speicher einer Kaltanalyse innerhalb von 512 MiB bei 100.000 Zeilen und innerhalb von 1 GiB bei 250.000 Zeilen.
- Erfüllt: Die Zeit wächst im Verhältnis zur Modellgröße. Die Kaltanalyse bei 250.000 Zeilen dauert 24,9-mal so lange wie bei 10.000 Zeilen, für ein 25-mal so großes Modell (Kriterium: höchstens 40).
Eine ganze Bearbeitungssitzung
Methodenversion 6, seit Engine 2.0.1 unter Version 7 gelesen: Das Messwerkzeug hält die Datensätze des Modells als Text, wie Holarch es tut. Ein neuer Prozess führt ein festes Skript aus: die erste Analyse, die Elementdatensätze des Modells, eine erste Prüfung des Modells, 60 Bearbeitungen (20 Wertänderungen, 20 Importänderungen und 20 Supertypänderungen, jeweils erneut analysiert), das Ausgeben des Modells als Text, das Zurückschreiben des bearbeiteten Textes ins Modell und das Auswerten der Werte des Modells. Der Wert ist der größte Engine-Speicher zu irgendeinem Zeitpunkt der Sitzung.
| Modellgröße | Engine 2.1.1 | Engine 2.0.1 | Erfüllt in 2.1.1 |
|---|---|---|---|
| 10.038 Zeilen | 35 MiB pro 10.000 Zeilen | 51 MiB pro 10.000 Zeilen | Angegeben |
| 50.013 Zeilen | 33 MiB pro 10.000 Zeilen | 49 MiB pro 10.000 Zeilen | Angegeben |
| 100.033 Zeilen | 33 MiB pro 10.000 Zeilen | 49 MiB pro 10.000 Zeilen | Ja (Kriterium: innerhalb von 512 MiB) |
| 250.011 Zeilen | 33 MiB pro 10.000 Zeilen | 50 MiB pro 10.000 Zeilen | Ja (Kriterium: innerhalb von 1 GiB) |
- Erfüllt bei 100.000 und 250.000 Zeilen. Die Kriterien sind die der Kaltanalyse: innerhalb von 512 MiB bei 100.000 Zeilen und innerhalb von 1 GiB bei 250.000 Zeilen, der Speicher, den ein Browser einer WebAssembly-Instanz erlaubt, mit einem Spielraum. In WebAssembly schrumpft der Speicher der Engine nie, sodass der größte Moment einer Sitzung ihre Größe bestimmt. Engine 2.0.1 erfüllte das Kriterium bei 100.000 Zeilen, nicht aber bei 250.000; Engine 2.0.0 erfüllte keines von beiden (122 MiB pro 10.000 Zeilen unter Methodenversion 6).
- Die größten Momente sind die erste Prüfung und die Auswertung des Modells, jeweils etwa so groß wie das Zurückschreiben des Textes ins Modell; das Ausgeben des Modells ist nicht mehr der größte Schritt.
Speicher über eine lange Sitzung
Angegeben, kein Kriterium. Eine Charakterisierung des obigen Ergebnisses, nativ, mit Engine 2.1.1 (Lauf 2.1.1-37168cc79-1). Eine Sitzung pro Modellgröße: das Modell öffnen und prüfen; Bearbeitungen in zwei Durchgängen über jede Bearbeitungsstelle (Wert-, Import- und Supertypänderungen, jeweils erneut analysiert), dann Wertbearbeitungen, die immer neue Zahlen schreiben; zehn Analysen und zehn Prüfungen des unveränderten Modells sowie eine Analyse von Grund auf neben der offenen Sitzung; das Ausgeben eines Pakets, dann des ganzen Modells; das Zurückschreiben des Textes ins Modell; die Auswertung; dann dreimal schließen und wieder öffnen.
| Modellgröße | Bearbeiten des offenen Modells | Größter Schritt: erneute Analyse von Grund auf neben der offenen Sitzung | Ausgeben des ganzen Modells | Nach dem Schließen verbleibend |
|---|---|---|---|---|
| 10.038 Zeilen | 27 MiB | 55 MiB | 41 MiB | 1,5 MiB |
| 50.013 Zeilen | 26 MiB | 54 MiB | 40 MiB | 0,6 MiB |
| 100.033 Zeilen | 26 MiB | 54 MiB | 40 MiB | 0,5 MiB |
| 250.011 Zeilen | 26 MiB | 54 MiB | 40 MiB | 0,4 MiB |
- Das Bearbeiten pendelt sich ein. Der Speicher steigt um etwa 5 MiB pro 10.000 Zeilen, solange Bearbeitungen Deklarationen erreichen, die vorher nicht bearbeitet wurden, und bleibt dann gleich.
- Wiederholte Analyse behält nichts. Zehn Analysen und zehn Prüfungen eines unveränderten Modells lassen den Speicher, wo er war.
- Der größte Schritt ist eine Analyse des ganzen Modells von Grund auf, während die Sitzung offen bleibt, wodurch zwei Kopien der Analyse gleichzeitig gehalten werden; ein Editor, der eine Sitzung hält, braucht sie nicht.
- Das Ausgeben des ganzen Modells braucht etwa 40 MiB pro 10.000 Zeilen über der Basis (Engine 2.0.1: 53 bis 55; Engine 2.0.0: 129 bis 131).
- Das Schließen gibt Speicher zurück. Ein kleiner Rest bleibt und wächst über drei Zyklen des Wiederöffnens nicht.
- In Safari wurde diese Charakterisierung mit Engine 2.1.1 nicht ausgeführt; die letzten Sitzungswerte aus Safari sind die von Engine 2.0.1, im Nachweispaket.
WebAssembly, gemessen in Safari
Der WebAssembly-Build von Engine 2.1.1 im eigenen Engine-Worker von Holarch, mit denselben generierten Modellen. Der Start umfasst das Abrufen und Starten der Engine und das Laden der Standardbibliothek; die Kaltanalyse ist der Median aus 3 neuen Workern; Bearbeitungen sind 200 pro Art nach 20 Aufwärmbearbeitungen, in einer Sitzung, wie oben. Jede Modellgröße lief auf einer eigenen Seite. Umbenennungen werden nur im nativen Build gemessen. Diese Werte werden angegeben, sie sind keine Kriterien.
| Modellgröße | Engine-Start, Safari | Kaltanalyse, Safari | Kaltanalyse, nativ | Einen Wert ändern, p95, Safari / nativ | Einen Import ändern, p95, Safari / nativ | Einen Supertyp ändern, p95, Safari / nativ |
|---|---|---|---|---|---|---|
| 10.038 Zeilen | 143 ms | 215 ms | 150 ms | 3 / 1,3 ms | 4 / 2,1 ms | 4 / 2,2 ms |
| 50.013 Zeilen | 152 ms | 867 ms | 711 ms | 12 / 3,9 ms | 10 / 4,9 ms | 10 / 4,7 ms |
| 100.033 Zeilen | 144 ms | 1,63 s | 1,43 s | 20 / 7,7 ms | 20 / 8,6 ms | 20 / 8,5 ms |
| 250.011 Zeilen | 175 ms | 4,44 s | 3,73 s | 53 / 22,7 ms | 50 / 24,0 ms | 49 / 24,9 ms |
Noch nicht unterstützt
Diese Konstrukte stehen auf der veröffentlichten Liste der nicht unterstützten Konstrukte der Engine. Dateien der Beispielmodelle, die deswegen vom Pilot abweichen, verlassen den bewerteten Umfang; in diesem Lauf keine.
- Textuelle Repräsentationen in anderen Sprachen werden als Text beibehalten und nicht geprüft.
Variabilität, benutzerdefinierte Schlüsselwörter und als accept oder action geschriebene Transitionseffekte haben die Liste in den Methodenversionen 8 bis 10 verlassen, jeweils mit ihrer Auslieferung. Jede Grammatikproduktion der textuellen Notation hat mindestens einen Test, der sie parst und das Ergebnis prüft. Die vollständige Liste dessen, was in Holarch funktioniert, mit ihren Grenzen: Sprachabdeckung von SysML v2.
Die Ergebnisse reproduzieren
Die Ergebnisse sind unabhängig reproduzierbar: Das Nachweispaket (ZIP, SHA-256 5d9821f7dac3fd0b2bc49a8defe416ac01f515834d65d3182891a9f8d20e59ae) enthält, was nötig ist, um jeden Lauf mit demselben Engine-Build zu wiederholen.
- Eine einseitige Reproduktionsanleitung,
REPRODUCE.md: die genauen Befehle, die Abhängigkeiten, die Eingaben mit ihren Prüfsummen, die erwarteten Ergebnisse und die Laufzeiten. - Die Testmethode, mit jeder Methodenversion (1 bis 10) und ihrer Begründung.
- Die Einordnungstabellen: die Liste der nicht unterstützten Konstrukte, jede eingeordnete Abweichung mit ihrer Klasse und Klausel, das Register oben, die Prüfung jedes Engine-Fehlers und die Bindungskategorien.
- Die Zusammenfassung und die maschinenlesbaren Ergebnisse jedes Laufs für Engine 2.1.1 (jede Messung und die Charakterisierung des Sitzungsspeichers), Engine 2.0.1 (Geschwindigkeit und Speicher, Sitzungsspeicher), Holarch 2.15.1 (beide Builds des Codes von Engine 2.0.0), 2.14.0 (Geschwindigkeit und Speicher), 2.13.1 und 2.12.0 sowie die in Safari gemessenen WebAssembly-Zeiten und den Sitzungsspeicher.
- Der Generator der großen Modelle, deterministisch pro Seed, sowie die Mess- und Vergleichsskripte.
- Eine Prüfsumme jeder Datei.
Es enthält weder die Engine noch die Dateien der OMG. Die Skripte rufen die Beispielmodelle und die Pilotimplementierung aus ihren öffentlichen Quellen beim festgelegten Commit und der festgelegten Paketprüfsumme ab. Die Engine für einen Wiederholungslauf erhalten Sie mit einer Evaluierung der Engine.
Frühere Läufe
Frühere offizielle Läufe bleiben so, wie sie gemessen wurden, jeweils unter ihrer eigenen Methodenversion. Unter den Methoden 1 bis 3 war eine Kaltanalyse innerhalb von 0,6 s bei 100.000 Zeilen ein Ziel; kein Lauf erfüllte es. Methode 4 gibt sie ohne Ziel an. Der Spitzenspeicher vor Methodenversion 3 war der maximale residente Speicher des Messprozesses, der auch Speicher mitzählt, den der Allocator zur Wiederverwendung behält; er ist mit dem Wert des Engine-Heaps nicht vergleichbar. Die Läufe von Holarch 2.15.0 und 2.14.0 maßen nur Geschwindigkeit und Speicher; die Zeiten des Laufs 2.15.0 liegen etwa ein Viertel höher als die der Builds davor und danach, gemessen, während andere Arbeit auf demselben Computer lief.
| Build | Engine-Version | Holarch-Version | Methode | Akzeptanz, roh | Akzeptanz, eingeordnet (interne Prüfung) | Namensbindung | Kaltanalyse, 100.000 Zeilen | Spitzenspeicher, 100.000 Zeilen |
|---|---|---|---|---|---|---|---|---|
| 37168cc | 2.1.1 | 2.21.0 (liefert Engine 2.1.2 aus) | 10 | 242 von 252 | 252 von 252 | 4.904 von 4.908 | 1,43 s | 302 MiB Engine-Heap |
| d8cf5c8 | 2.0.1 | 2.17.1 | 7 | Nicht gemessen | Nicht gemessen | Nicht gemessen | 1,23 s | 362 MiB Engine-Heap |
| 91f058a | 2.0.0 | 2.15.1 (derselbe Engine-Code wie dd4fb10) | 6 | 232 von 252 | 241 von 241 | 4.879 von 4.886 | 1,35 s | 362 MiB Engine-Heap |
| dd4fb10 | 1.0.0 | 2.15.1 | 6 | 232 von 252 | 241 von 241 | 4.879 von 4.886 | 1,28 s | 362 MiB Engine-Heap |
| e6bb924 | 1.0.0 | 2.15.0 | 5 | Nicht gemessen | Nicht gemessen | Nicht gemessen | 1,57 s | 362 MiB Engine-Heap |
| 0c983e2 | 1.0.0 | 2.14.0 | 6 | Nicht gemessen | Nicht gemessen | Nicht gemessen | 1,37 s | 362 MiB Engine-Heap |
| d3f5d4b | 1.0.0 | 2.13.1, 2.13.2 | 5 | 231 von 252 | 240 von 242 | 4.851 von 4.860 | 1,24 s | 362 MiB Engine-Heap |
| 8a6bf7b | 1.0.0 | 2.12.0 | 5 | 220 von 252 | 229 von 242 | 4.753 von 4.768 | 1,21 s | 362 MiB Engine-Heap |
| 6eec2b7 | 1.0.0 | – | 5 | 231 von 252 | 240 von 240 (Einordnung vor der Fehlerprüfung) | 4.851 von 4.860 | 1,20 s | 362 MiB Engine-Heap |
| c184e57 | 1.0.0 | 2.11.0 | 3 | 220 von 252 | 228 von 228 | 4.753 von 4.768 | 1,31 s | 361 MiB Engine-Heap |
| bfa03c7 | 1.0.0 | – | 2 | 220 von 252 | 228 von 228 | 4.753 von 4.768 | 1,35 s | 972 MiB Prozess |
| 1cada39 | 1.0.0 | – | 2 | 216 von 252 | 224 von 228 | 4.737 von 4.752 | 4,24 s | 1.022 MiB Prozess |
| fd20280 | 1.0.0 | – | 1 | 145 von 252 | Nicht eingeordnet (Methode 1) | 4.326 von 4.373 | 2,41 s | 1.535 MiB Prozess |
Was diese Ergebnisse nicht zeigen
- Dies sind die eigenen Messungen von Holarch an den Modellen, mit denen sie durchgeführt wurden. Sie sind keine Zertifizierung. Die Object Management Group hat sie weder geprüft noch befürwortet.
- Die Pilotimplementierung und die Beispielmodelle sind nicht die Spezifikation. Wo sie und die Engine voneinander abweichen, sagt die Einordnung oben, welche Seite die Spezifikation stützt und warum.
- Jede Einordnung und Prüfung auf dieser Seite ist eine interne Prüfung. Eine externe Prüfung einer Stichprobe der Testfälle der Engine anhand der Spezifikation ist geplant.
- Die Simulation von Aktionen und Zustandsautomaten, das separat lizenzierte Simulations-Add-on, wird hier nicht gemessen.
- Die Konvertierung von SysML-v1-Modellen nach SysML v2 wird hier nicht gemessen. Für Lizenznehmer der Engine ist sie das separat lizenzierte Migrations-Add-on.
Testen Sie die Engine an Ihren eigenen Modellen.
Die Evaluierung ist 60 Tage lang kostenlos.