Getestete Grenzen
Wie große Projekte Holarch bewältigt
Die größten Projekte, mit denen Holarch getestet wird, der Browserspeicher und die Öffnungszeiten, die sie brauchen, und der Lasttest des gehosteten Dienstes hinter der Elementgrenze jedes Plans.
Leistung
Gemessen mit generierten Projekten in beiden Modellierungssprachen; Browserwerte in Safari auf einem Mac. Jede Tabelle nennt die Holarch-Version, mit der gemessen wurde.
- Desktop-App (Holarch auf Ihrem Computer installiert): getestet bis 700.000 Elemente pro Projekt in LML und 400.000 in SysML v2 (Über 250.000 Elemente).
- Gehosteter Dienst (app.holarch.app): bis zu 50.000 Elemente pro Projekt; verknüpfen Sie Projekte für größere Programme mit projektübergreifenden Links, der Programmübersicht und Bibliotheken (Grenzen der Pläne).
- Selbst gehosteter Holarch-Server (Enterprise): getestet bis 400.000 Elemente pro Projekt, in LML und SysML v2. Ein Projekt bleibt unter 1 GB zusätzlichem Serverspeicher bis etwa 330.000 LML-Elemente und über 400.000 SysML-v2-Elemente hinaus (Selbst gehosteter Server über 250.000 Elemente).
Gehosteter Dienst: Serverspeicher
Der Serverspeicher, den ein Projekt braucht, solange es geöffnet ist, zusätzlich zu dem, was der Server ohne es nutzt, je 10.000 Elemente. Getestet bis 50.000 Elemente pro Projekt, die Grenze des gehosteten Dienstes.
| Sprache | Pro 10.000 Elemente | Größtes getestetes Projekt |
|---|---|---|
| LML | etwa 17 MB | 50.000 Elemente |
| SysML v2 | 4–8 MB | 50.000 Elemente |
- Die Werte sind der zusätzliche Speicher eines geöffneten Projekts, nicht der Speicher des ganzen Servers. Die Basis, ein frisch gestarteter Server nach einer Anmeldung, liegt bei etwa 130 MB.
- Den Speicher, den die Registerkarte eines Projekts in Ihrem Browser braucht, finden Sie unten (Browserspeicher).
Browserspeicher
Die Holarch-Seite nutzt ohne geöffnetes Projekt etwa 100 MB. Das ist die Basis. Die Werte unten sind der Speicher, den die Browser-Registerkarte zusätzlich zur Basis je 10.000 Elemente im Projekt braucht, am höchsten Punkt während des Öffnens.
| Sprache | Gehosteter Dienst | Auf Ihrem Computer installiert |
|---|---|---|
| LML | 40–60 MB | 50–70 MB |
| SysML v2 | 100–155 MB | 70–80 MB |
- Der Wert schwankt mit der Projektgröße. Planen Sie mit dem höheren Wert.
- Bearbeiten fügt wenig hinzu: Nach 100 Bearbeitungen nutzte die Registerkarte eines LML-Projekts nicht mehr Speicher als davor. Während die Bearbeitungen gespeichert werden, kann sie kurzzeitig bis zu etwa 0,6 GB mehr brauchen.
- Der für jede Projektgröße einzuplanende Speicher: Systemanforderungen.
Öffnungszeiten
Vom Klick, bis die Seite bereit ist. Ein SysML-v2-Projekt führt dann im Hintergrund seine erste Modellprüfung aus, während Sie arbeiten; der zweite Wert ist die Zeit, bis diese Prüfung abgeschlossen ist.
| Elemente | LML, gehostet | LML, installiert | SysML v2, gehostet | SysML v2, installiert |
|---|---|---|---|---|
| 50,000 | etwa 1 s | etwa 1 s | etwa 2 s; Prüfung 4 s | nicht gemessen |
| 100,000 | — | etwa 1 s | — | etwa 2 s; Prüfung 5 s |
| 150,000 | — | nicht gemessen | — | nicht gemessen |
| 200,000 | — | etwa 2 s | — | nicht gemessen |
| 250,000 | — | nicht gemessen | — | etwa 6 s; Prüfung 14 s |
- Die gehosteten Zeiten wurden gegen einen Testserver gemessen. Eine langsame Netzwerkverbindung fügt die Zeit für das Herunterladen des Projekts hinzu.
- — : über der Grenze des gehosteten Dienstes von 50.000 Elementen pro Projekt.
- Bestätigung von Bearbeitungen und viele gleichzeitig arbeitende Personen im gehosteten Dienst: siehe Ergebnisse des Lasttests.
- Geschwindigkeit und Speicher der SysML-v2-Language-Engine für sich: siehe Testergebnisse der Language Engine.
Über 250.000 Elemente, auf Ihrem Computer installiert
Holarch 2.30.0 öffnete in Safari generierte Projekte mit 400.000 und 700.000 LML-Elementen und ein SysML-v2-Modell mit 400.000 Elementen, nahm eine Bearbeitung vor, speicherte sie und schloss das Projekt. Nichts schlug fehl.
| Projekt | Öffnen | Hintergrundarbeit abgeschlossen | Browserspeicher pro 10.000 Elemente, beim Öffnen |
|---|---|---|---|
| LML, 400.000 Elemente | etwa 4 s | 16 s | etwa 105 MB |
| LML, 700.000 Elemente | etwa 6 s | 21 s | etwa 130 MB |
| SysML v2, 400.000 Elemente | etwa 3 s | 19 s | etwa 85 MB |
- Bei diesen Größen setzt der Speicher Ihres Computers die Grenze.
- Die Seite kann einige Sekunden lang nicht reagieren, während ein so großes LML-Projekt geöffnet und seine erste Bearbeitung gespeichert wird.
Selbst gehosteter Server über 250.000 Elemente
Ein Holarch-Server mit Holarch 2.30.0 wurde mit generierten Projekten von 250.000 und 400.000 LML-Elementen mit drei Beziehungen pro Element und einem SysML-v2-Modell mit 400.000 Elementen getestet. Jedes Projekt durchlief diese Arbeitslast:
- Das ganze Projekt auf dem Server speichern, öffnen und erneut öffnen.
- Der Eigentümer bearbeitet 60 Sekunden lang von 10 Seiten gleichzeitig, jede Seite mit einer Bearbeitung pro Sekunde und erneutem Öffnen des Projekts alle 15 Sekunden.
- Eine Verdichtung des Änderungsverlaufs.
- Das Projekt löschen.
Jede Phase bestanden: keine Serverfehler und keine abgelehnten Bearbeitungen.
| Projekt | Pro 10.000 Elemente, höchste Phase | Unter 1 GB | Bestätigung von Bearbeitungen p95 |
|---|---|---|---|
| LML, 250.000 Elemente | etwa 31 MB | ja | 30 ms |
| LML, 400.000 Elemente | etwa 30 MB | nein, ab etwa 330.000 Elementen | 60 ms |
| SysML v2, 400.000 Elemente | etwa 21 MB | ja | 34 ms |
- Diese Werte sind der zusätzliche Serverspeicher, den das Projekt braucht, über dem, was der Server ohne es nutzt. Sie sind nicht der Speicher des ganzen Servers.
- Ein Speichern des ganzen Projekts ist standardmäßig auf 192 MB Projektdaten begrenzt, etwa 340.000 LML-Elemente oder 430.000 SysML-v2-Elemente. Ein selbst gehosteter Server kann die Grenze anheben; die Läufe mit 400.000 Elementen taten das.
- Dies sind getestete Größen unter dieser Arbeitslast, keine Garantie für jedes Modell. Lange Texte und viele Diagramme waren nicht Teil dieses Tests.
1.1.6 → 2.15.1
Holarch 1.1.6 ist die erste Version, die mit diesen Tests für große Projekte gemessen wurde. Dieselben Tests liefen unverändert auf 1.1.6 und auf 2.15.1, mit denselben generierten LML-Projekten, auf demselben Computer und mit denselben Servergrenzen.
| Messgröße | Holarch 1.1.6 | Holarch 2.15.1 |
|---|---|---|
| Speicher pro 10.000 Elemente, Erstellen, Öffnen, 200 Bearbeitungen und eine Version | 220–250 MB | 40–55 MB ab 20.000 Elementen (80–110 MB bei 5.000–10.000) |
| Dasselbe, mit einer Version, die geschrieben wird, während der Eigentümer bearbeitet | Speicher bei 25.000 Elementen erschöpft | 45–67 MB |
| Basis: der Server nach einer Anmeldung | etwa 125 MB | etwa 130 MB |
| Schreiben einer Version eines Projekts mit 25.000 Elementen | 7,5 s | 0,4 s |
| Größtes getestetes Projekt | 25.000 Elemente | 115.000 Elemente, das größte, das ein Speichervorgang von 64 MB fasst |
| Schritt | Elemente | Holarch 1.1.6 | Holarch 2.15.1 |
|---|---|---|---|
| Start | 25,000 / 50,000 | 36 s / 149 s | 0,7 s / 1,6 s |
| Seite Modellprüfungen | 25,000 / 50,000 | 66 s / 297 s | 0,4 s / 0,7 s |
| Nachverfolgbarkeitsmatrix (Anforderungen × Testfälle) | 10,000 | 47 s | 0,2 s |
| Anforderungs-Verifikations-Nachverfolgbarkeitsmatrix | 10,000 | 31 s | 0,1 s |
| Ein Dokument mit 2.000 Anforderungen öffnen | 5,000 / 10,000 / 25,000 | 0,6 s / 0,6 s / 0,8 s | 0,5 s / 0,5 s / 0,5 s* |
| Speichern nach einer Bearbeitung | 5,000 / 10,000 / 25,000 / 50,000 | 0,2 s / 0,5 s / 30 s / 152 s | 0,15 s / 0,3 s / 0,8 s / 1,6 s* |
| Qualitätsprüfung von 2.000 Anforderungen | 10,000 | 30 s | 3,2 s |
| Größtes Projekt, das jeden Schritt durchlief | — | 50.000 Elemente, wobei die Seite jeweils über 2 Minuten nicht reagierte | 100.000 Elemente; Start 3,2 s, Matrix 0,3 s |
- * Gemessen mit 2.16.1, das diese beiden Schritte gegenüber 2.15.1 beschleunigt hat. Die übrigen Werte wurden mit 2.15.1 gemessen.
- In 1.1.6 hielt die Nachverfolgbarkeitsmatrix die Seite bei 25.000 Elementen über 2 Minuten an und wurde dort daher bei größeren Größen nicht gemessen. In 2.15.1 öffnet sie sich bei jeder Größe bis 100.000 Elemente in unter 0,3 s.
Die Bestehensgrenze
Der gehostete Dienst wird mit mehreren Personen lastgetestet, die gleichzeitig ein Projekt öffnen und bearbeiten. Eine Projektgröße besteht, wenn der Dienst jede Bedingung in diesem Szenario erfüllt:
- Der Server hat gerade den Änderungsverlauf des Projekts verdichtet. In diesem Zustand ist das Öffnen eines Projekts am aufwendigsten.
- 10 Personen öffnen das Projekt im selben Moment.
- Dieselben 10 Personen bearbeiten es dann 60 Sekunden lang, jede mit einer Bearbeitung pro Sekunde.
- Bestätigung von Bearbeitungen: 95 % der Bearbeitungen werden vom Server innerhalb von 1,5 Sekunden bestätigt (p95 ≤ 1,5 s).
- Keine Fehlschläge: keine Serverfehler.
Testaufbau
- Die Produktionsserversoftware auf einem Testaufbau, der langsamer ist als der gehostete Dienst, sodass die Ergebnisse konservativ sind.
- Die Ressourcengrenzen und Einstellungen des gehosteten Dienstes.
- Datenbank und Dateispeicher liefen auf demselben Computer, nicht über ein Netzwerk. Für jeden Lauf wurde ein frischer Server gestartet.
- Generierte LML-Projekte: 40 % Anforderungen in Spezifikationen, 20 % Funktionen, 15 % Komponenten, 15 % Testfälle, 5 % Risiken und der Rest Inputs und Outputs, mit drei Beziehungen pro Element.
Ergebnisse
| Elemente | Gesendete Daten pro Öffnen | Dauer von 10 Öffnungen | Bestätigung von Bearbeitungen p95 | Ergebnis |
|---|---|---|---|---|
| 50,000 | 27,2 MB | 3,7 s | 1,49 s | Bestanden |
| 50.000 (zweiter Lauf) | 27,2 MB | 3,6 s | 1,08 s | Bestanden |
- Kein Lauf hatte einen Serverfehler.
- Die typische Bearbeitung (p50) wurde in jedem Lauf in etwa 30 ms bestätigt. Die langsamen Bearbeitungen warten hinter den großen Antworten der gleichzeitigen Öffnungen.
Grenzen der Pläne
| Plan | Elemente pro Projekt |
|---|---|
| Free / Academic | 1.000 (2.000 in einer aktiven Kursorganisation) |
| Individual | 5,000 |
| Team | 50,000 |
- Der gehostete Dienst (app.holarch.app) fasst in jedem Plan bis zu 50.000 Elemente pro Projekt; verknüpfen Sie Projekte für größere Programme. Die Desktop-App (Holarch auf Ihrem Computer installiert) ist bis 700.000 Elemente pro Projekt in LML und 400.000 in SysML v2 getestet.
- Ein Speichern des ganzen Projekts, etwa beim Import einer Projektdatei, kann höchstens 192 MB Projektdaten umfassen. Ein Projekt mit langen Texten kann diese Größe vor der Elementgrenze erreichen.
- Was als Element zählt: siehe Preise.
- Den Computerspeicher, den ein Projekt jeder Größe im Browser braucht, finden Sie unter Systemanforderungen.
Rundläufe: was jedes Austauschformat erhält
Jedes Modell wurde in jedes passende Format exportiert und mit den Standardoptionen erneut in ein neues Projekt importiert. Danach wurde jedes Element des Originals als erhalten, umgewandelt oder verloren gezählt. Gemessen mit Holarch 2.21.0, gleich im gehosteten Dienst und auf Ihrem Computer installiert.
- Erhalten: unverändert wiedergefunden. Ein Element behält Klasse, Name, Nummer, Beschreibung und Labels; eine Beziehung behält Typ, ihre beiden Enden und ihre Attribute; ein Attributwert, eine gespeicherte Ansicht oder eine formatierte Beschreibung ist wie zuvor.
- Umgewandelt: mit einem Unterschied wiedergefunden, etwa ein Statement, das als Requirement zurückkommt, eine fehlende Nummer oder ein fehlendes Label oder ein Beziehungsattribut, das mit seinem Standardwert zurückkommt.
- Verloren: nicht im neuen Projekt, weil das Format keinen Platz dafür hat oder eines seiner Enden verloren ging.
| Format | Elemente | Beziehungen | Attributwerte | Gespeicherte Ansichten | Dokumente | Formatierte Beschreibungen |
|---|---|---|---|---|---|---|
| Holarch-Projektdatei (.json) | 407 / 0 / 0 | 915 / 0 / 0 | 979 / 0 / 0 | 83 / 0 / 0 | 3 / 0 / 0 | 5 / 0 / 0 |
| Holarch-Backup und Projektpaket (.holarch)* | 424 / 0 / 0 | 949 / 0 / 0 | 1,104 / 0 / 0 | 84 / 0 / 0 | 3 / 0 / 0 | 5 / 0 / 0 |
| UML/SysML-XMI, mit Holarch-Daten | 317 / 0 / 90 | 631 / 0 / 284 | 672 / 0 / 307 | 0 / 3 / 80 | 0 / 0 / 3 | 5 / 0 / 0 |
| UML/SysML-XMI, reines SysML | 83 / 234 / 90 | 548 / 95 / 272 | 138 / 38 / 803 | 0 / 3 / 80 | 0 / 0 / 3 | 0 / 5 / 0 |
| Papyrus (.uml) | 317 / 0 / 90 | 631 / 0 / 284 | 672 / 0 / 307 | 0 / 3 / 80 | 0 / 0 / 3 | 5 / 0 / 0 |
| ReqIF | 407 / 0 / 0 | 879 / 21 / 15 | 979 / 0 / 0 | 0 / 0 / 83 | 3 / 0 / 0 | 5 / 0 / 0 |
| CSV, alle Attribute, Labels und Beziehungen | 393 / 14 / 0 | 810 / 96 / 9 | 979 / 0 / 0 | 0 / 0 / 83 | 3 / 0 / 0 | 5 / 0 / 0 |
| SysML-v2-Kopie, dann LML-Kopie | 348 / 41 / 18 | 703 / 56 / 156 | 857 / 33 / 89 | 26 / 7 / 50 | 3 / 0 / 0 | 0 / 5 / 0 |
* Gemessen mit Holarch 2.33.0 an der aktuellen CubeSat-Demo EO-1 (424 Elemente, 949 Beziehungen, 1.104 Attributwerte, 84 gespeicherte Ansichten, 3 Dokumente, 5 formatierte Beschreibungen); nichts wurde umgewandelt oder ging verloren.
- Projektdatei und Projektpaket: das ganze Projekt, einschließlich Start, Charts, Programm-Dashboard und Projekteinstellungen.
- XMI und Papyrus mit Holarch-Daten: Jedes Element, für das SysML ein Element hat, kommt unverändert zurück, mit seiner LML-Klasse, Nummer, Labels und Attributen. Die 90 verlorenen Elemente sind Aufgaben, Dokumente, Risiken, Issues, Zeitplanelemente, Gefährdungen und andere Elemente, für die SysML kein Element hat; die meisten verlorenen Beziehungen verbinden mit ihnen. Beziehungsattribute wie Trigger und Amount kommen ebenfalls zurück. Diagramme außer den Abläufen von Action-Diagrammen sind nicht Teil von XMI.
- XMI ohne Holarch-Daten: reines SysML 1.6. Statements kommen als Requirements zurück, und LML-Nummern, Labels und LML-Attribute sind nicht in der Datei.
- ReqIF: Jedes Element, jeder Attributwert, jedes Label und die Dokumentstruktur kommen zurück, und Beziehungen behalten ihre Attribute. Die Multiplizität einer Zerlegung wird nicht geschrieben, weil ReqIF die Zerlegung als Dokumentstruktur hält. Die eigenen Schemaergänzungen der Demo (zum Beispiel eine Equation, die ein Requirement erfüllt) werden in einem neuen Projekt mit dem Standardschema übersprungen.
- CSV: Jedes Element und jeder Attributwert kommt zurück. Eine Tabelle hat keinen Platz für Beziehungsattribute, daher kommen diese mit ihren Standardwerten zurück, und Labels, die das neue Projekt nicht hat, werden ausgelassen.
- SysML-v2-Kopie und zurück: eine Umwandlung mit Bericht, kein Austauschformat. Measures und Asset-Nummern kommen nicht zurück, ebenso einige Traces.
| Format | Hybridauto, 708 Elemente | Hybridauto, Holarch-Daten | Batteriepaket, 62 Elemente |
|---|---|---|---|
| Holarch-Projektdatei (.json) | 708 / 0 / 0 | alle erhalten | 62 / 0 / 0 |
| SysML-v2-Text (.sysml) | 708 / 0 / 0 | nicht in der Datei | 62 / 0 / 0 |
| SysML-v2-JSON | 708 / 0 / 0, Element-IDs erhalten | nicht in der Datei | 62 / 0 / 0, Element-IDs erhalten |
| LML-Kopie, dann SysML-v2-Kopie | 22 / 184 / 502 | 21 von 27 Elementen erhalten | 6 / 21 / 35 |
- SysML-v2-Text und JSON: Jedes Modellelement kommt unverändert zurück. Anforderungsstatus, Verifikationsergebnisse, Risiken, Dokumente und andere Holarch-Daten reisen nur in der Projektdatei.
- LML-Kopie und zurück: Das Modell wird aus der LML-Kopie neu aufgebaut, daher kommen Successions, Importe, Metadaten und der größte Teil der Typisierung nicht zurück.
Den Test wiederholen: Erstellen Sie die Demo über Neues Demoprojekt, exportieren Sie sie in einem der Formate, importieren Sie die Datei mit den Standardoptionen in ein neues Projekt und vergleichen Sie die beiden Projekte in der Datenbank.
Was nicht gemessen wurde
- SysML-v2-Projekte, Projekte mit vielen Diagrammen und lange Rich-Text-Beschreibungen.
- Mehrere große Projekte, die gleichzeitig genutzt werden.
Fragen zu einem Modell Ihrer Größe: Kontakt aufnehmen.