Holarch Language Engine
Wyniki testów Language Engine
Zmierzone wyniki silnika stojącego za projektami SysML v2 w Holarch: jak jego odpowiedzi wypadają w porównaniu z pilotażową implementacją OMG na oficjalnych przykładowych modelach, jak radzi sobie z uszkodzonym tekstem i jak szybko działa na dużych modelach. Kryteria niespełnione są wymienione razem ze spełnionymi.
Przejdź do: Ten przebieg · Podsumowanie · Pamięć sesji · Co potwierdzają dowody · Przykładowe modele · Walidacja komunikatów diagnostycznych · Wiązanie nazw · Uszkodzony tekst · Szybkość i pamięć · Jeszcze nieobsługiwane · Odtwarzanie wyników · Wcześniejsze przebiegi · Czego te wyniki nie pokazują
Ten przebieg
- Silnik: Holarch Language Engine 2.1 (wersja 2.1.1, kompilacja 37168cc). Holarch zawiera wersję 2.1.2, która dodaje raporty postępu dla paska postępu w aplikacji hosta i sprawdza bardzo długie łańcuchy importów lub specjalizacji, na których zatrzymywały się wcześniejsze wersje; na przykładowych modelach, modelach generowanych i korpusie testowym tego przebiegu daje te same odpowiedzi co 2.1.1, dlatego wartości na tej stronie, zmierzone na 2.1.1, nie były mierzone ponownie. Jej analiza na zimno dużych modeli generowanych trwała w pomiarze poza oficjalnymi przebiegami około 3% dłużej. Silnik 2.1 dodaje zmienność, słowa kluczowe definiowane przez użytkownika, wyzwalacze i efekty przejść, symulację (osobno licencjonowany dodatek, tu niemierzony) oraz mniejsze zużycie pamięci w trakcie sesji edycji.
- Metoda: wersja 10 spisanego planu odbioru. Kryteria zostały ustalone przed zmierzeniem pierwszych wyników. Każda późniejsza zmiana metody jest zapisywana wraz z uzasadnieniem, a wcześniejsze wyniki zachowują metodę, według której je zmierzono. Wersje od 8 do 10 usuwają zmienność, słowa kluczowe definiowane przez użytkownika oraz wyzwalacze i efekty przejść z listy nieobsługiwanych konstrukcji w miarę ich udostępniania; kryteria i bramki pozostają bez zmian.
- Przykładowe modele: zestawy training, examples i validation z repozytorium wydań SysML v2 OMG, wydanie 2026-08 (commit fb97b754): 252 pliki, 14 957 wierszy. Modele są pobierane z repozytorium OMG przy każdym przebiegu i nie są kopiowane do Holarch.
- Odniesienie: pilotażowa implementacja OMG, wersja 0.62.0, uruchamiana jako czarna skrzynka.
- Duże modele: generowane modele od 10 000 do 250 000 wierszy z głębokimi importami, odwołaniami między pakietami i długimi łańcuchami specjalizacji.
Każda wartość na tej stronie pochodzi z wymienionych poniżej oficjalnych przebiegów. Opublikowany przebieg nigdy nie jest edytowany. Korekta to nowy przebieg, który wskazuje ten, który zastępuje.
Przegląd wewnętrzny oznacza każdą klasyfikację i każdy przegląd na tej stronie: klasy rozbieżności, rejestr, przegląd każdego błędu silnika i kategorie wiązań. Zostały wykonane przez Holarch na podstawie tekstu specyfikacji. Zewnętrzny przegląd jeszcze nie istnieje; oznaczenie pozostaje, dopóki go nie będzie.
| Wydanie Holarch | Wersja silnika | Kompilacja silnika | Metoda | Oficjalne przebiegi |
|---|---|---|---|---|
| 2.21.0 (zawiera silnik 2.1.2) | 2.1.1 | 37168cc | 10 | 2.1.1-37168cc79-1 (wszystkie pomiary, także charakterystyka pamięci sesji; wartości na tej stronie) |
| 2.17.1 | 2.0.1 | d8cf5c8 | 7 | 2.0.1-d8cf5c835-1 (szybkość i pamięć, pamięć sesji) |
| 2.15.1 | 2.0.0 | dd4fb10; 91f058a zgłasza 2.0.0 | 6 | 1.0.0-dd4fb10f5-1 (wszystkie pomiary), 2.0.0-91f058a75-1 (wszystkie pomiary, na kompilacji zgłaszającej 2.0.0; także charakterystyka pamięci sesji) |
| 2.15.0 | 1.0.0 | e6bb924 | 5 | 1.0.0-e6bb92459-1 (szybkość i pamięć, pokrycie testami) |
| 2.14.0 | 1.0.0 | 0c983e2 | 6 | 1.0.0-0c983e2e8-1 (szybkość i pamięć, dla porównania) |
| 2.13.1 | 1.0.0 | d3f5d4b | 5 | 1.0.0-d3f5d4b5d-2 (przykładowe modele), 1.0.0-d3f5d4b5d-1 (pozostałe pomiary) |
| 2.12.0 | 1.0.0 | 8a6bf7b | 5 | 1.0.0-8a6bf7b76-2 (przykładowe modele), 1.0.0-8a6bf7b76-1 (pozostałe pomiary) |
| 2.11.0 | 1.0.0 | c184e57 | 3, odczytywana według 4 | 1.0.0-c184e57e6-1 |
Podsumowanie
Na generowanym modelu o 10 000 wierszy silnik 2.1.1 analizuje cały model w 150 ms i sprawdza go ponownie po edycji w czasie od 1,3 do 6,8 ms (95. percentyl). Baza silnika z załadowaną biblioteką standardową: 17 MiB; analiza całego modelu dodaje około 29 MiB na 10 000 wierszy, a cała sesja edycji około 33 MiB na 10 000 wierszy. Każde kryterium jest spełnione, łącznie z pamięcią silnika w pełnej sesji edycji przy 100 000 i 250 000 wierszy, czego wcześniejsze silniki nie spełniały. Testowano na generowanych modelach do 250 000 wierszy: szybkość i pamięć dla każdego rozmiaru.
Pamięć jest podawana na 10 000 wierszy ponad bazę silnika, czyli pamięć silnika z załadowaną biblioteką standardową i pustym modelem. Kryteria dotyczą sumy.
| Pomiar | Kryterium | Silnik 2.1.1 | Spełnione |
|---|---|---|---|
| Przykładowe modele: awarie i przekroczenia czasu | Niedopuszczalne | Brak | Tak |
| Przykładowe modele: zgodność akceptacji, po klasyfikacji | Co najmniej 98% plików w ocenianym zakresie | 252 z 252 Przegląd wewnętrzny | Tak |
| Przykładowe modele: fałszywe akceptacje | Niedopuszczalne | Brak | Tak |
| Przykładowe modele: każdy błąd silnika przejrzany pojedynczo | Wszystkie przejrzane | 44 z 44 Przegląd wewnętrzny | Tak |
| Wiązanie nazw | Co najmniej 99,5% sparowanych wiązań zgodnych | 4904 z 4908 | Tak |
| Uszkodzony tekst | Siedem kryteriów, poniżej | Wszystkie siedem spełnione | Tak |
| Edycje, wszystkie rozmiary | Zmiana wartości w ciągu 12 ms, inne edycje w ciągu 60 ms (25 i 150 ms przy 250 000 wierszy) | Wszystkie w limicie | Tak |
| Analiza na zimno, 100 000 wierszy | Raportowane, od wersji 4 metody nie jest celem (wcześniejszy cel: w ciągu 0,6 s) | 1,43 s | Wcześniejszy cel niespełniony |
| Analiza na zimno, 250 000 wierszy | Raportowane, od wersji 4 metody nie jest celem (wcześniejszy cel: w ciągu 1,2 s) | 3,73 s | Wcześniejszy cel niespełniony |
| Postęp widoczny podczas długiej analizy | Pasek postępu dla każdej analizy, która może trwać ponad 3 sekundy (wersja 4 metody) | Widoczny, z etapami silnika; sprawdzany przez test postępu Holarch | Tak |
| Pamięć silnika, analiza na zimno, 100 000 wierszy | W granicach 512 MiB | 28 MiB na 10 000 wierszy ponad bazę | Tak |
| Pamięć silnika, analiza na zimno, 250 000 wierszy | W granicach 1 GiB | 28 MiB na 10 000 wierszy ponad bazę | Tak |
| Pamięć silnika, pełna sesja edycji, 100 000 wierszy | W granicach 512 MiB (wersja 6 metody) | 33 MiB na 10 000 wierszy ponad bazę | Tak |
| Pamięć silnika, pełna sesja edycji, 250 000 wierszy | W granicach 1 GiB (wersja 6 metody) | 33 MiB na 10 000 wierszy ponad bazę | Tak |
| Wzrost wraz z rozmiarem modelu | Analiza na zimno przy 250 000 wierszy najwyżej 40 razy dłuższa niż przy 10 000 | 24,9 razy | Tak |
| To samo żądanie, ta sama odpowiedź | Każda odpowiedź identyczna w dwóch nowych procesach | 1211 z 1211 | Tak |
Pamięć sesji: kryterium spełnione
Spełnione: pamięć silnika w pełnej sesji edycji przy 100 000 i 250 000 wierszy. Silniki do wersji 2.0.1 nie spełniały go przy 250 000 wierszy (2.0.0 także przy 100 000 wierszy); silnik 2.1.1 potrzebuje w całej sesji około 33 MiB na 10 000 wierszy ponad bazę, mieszcząc się w 512 MiB przy 100 000 wierszy i w 1 GiB przy 250 000 wierszy.
- Co się zmieniło. Drukarka tekstu i porównywanie tekstu nie budują już pełnej kopii dokumentu w pamięci (silnik 2.0.1), a tablice nazw, pamięć podręczna analizy, drzewo składni i pozycje źródłowe silnika zajmują mniej miejsca (silnik 2.1.1).
- Drukowanie całego modelu, wcześniej największy krok, wymaga teraz natywnie około 40 MiB na 10 000 wierszy ponad bazę, mniej niż ponowna analiza modelu od zera obok otwartej sesji (około 54 MiB na 10 000 wierszy): pamięć w długiej sesji.
- W przeglądarce pamięć silnika nigdy się nie zmniejsza, więc worker zachowuje rozmiar ze swojego największego momentu, dopóki nie zostanie zakończony; Holarch kończy i ponownie uruchamia bezczynnego workera silnika, który zajmuje znacznie więcej pamięci, niż używa.
Co potwierdzają dowody
Które zastosowania te wyniki potwierdzają i gdzie kończą się dowody. „Nie ustalono” oznacza, że ta strona nie ma dowodów ani za, ani przeciw.
| Zastosowanie | Na podstawie | Ustalono | Nie ustalono |
|---|---|---|---|
| Wsparcie edytora (analiza podczas pisania) | Czasy edycji, uszkodzony tekst, przykładowe modele, pamięć sesji | Ponowna analiza po edycji w granicach kryteriów do 250 000 wierszy, natywnie i w Safari; uszkodzony tekst obsłużony we wszystkich siedmiu kryteriach; pamięć stabilizuje się podczas długiej edycji; pamięć w pełnej sesji edycji w granicach kryteriów do 250 000 wierszy | Czasy na komputerach wolniejszych niż komputer pomiarowy (przyjęto zapas 4 razy, niezmierzony); przeglądarki inne niż Safari |
| Sprawdzanie wsadowe i w CI (całe modele) | Przykładowe modele, walidacja komunikatów diagnostycznych, analiza na zimno, to samo żądanie ta sama odpowiedź | Brak awarii i przekroczeń czasu; 252 z 252 przykładowych plików zgodne po klasyfikacji Przegląd wewnętrzny; każdy błąd silnika przejrzany; identyczne odpowiedzi w nowych procesach; analiza na zimno rośnie proporcjonalnie do rozmiaru modelu | Duże modele napisane przez ludzi lub inne narzędzia (mierzono tylko modele generowane i przykłady OMG); integracja z CI |
| Transformacja modelu (drukowanie modelu jako tekstu, zapisywanie tekstu z powrotem do modelu) | Pełna sesja edycji, pamięć sesji | Każdy krok odpowiada dla każdego rozmiaru modelu; pamięć w granicach kryteriów przy drukowaniu całego modelu do 250 000 wierszy, natywnie | Czy drukowanie i zapis zwrotny dają ten sam model (nie jest częścią tych pomiarów); konwersja z SysML v1 |
| Przeglądarka (WebAssembly) | Czasy w Safari, pamięć sesji w Safari | Uruchomienie, analiza na zimno i edycje w Safari do 250 000 wierszy | Chrome, Firefox i Edge; przeglądarki mobilne; pamięć sesji w Safari dla tego silnika (zmierzona dla 2.0.1 do 250 000 wierszy) |
| Natywnie i na serwerze | Każdy pomiar na tej stronie (kryteria są natywne) | Na Macu z procesorem Apple | Inne systemy operacyjne i procesory; wiele modeli jednocześnie w jednym procesie; długotrwałe sesje serwerowe obejmujące wiele projektów |
| Zastosowania o wysokim poziomie pewności (decyzje krytyczne dla bezpieczeństwa lub misji, dowody do certyfikacji) | Brak samodzielnie | Nic ponad powyższe zastosowania | Zewnętrzny przegląd; certyfikacja lub kwalifikacja jakiegokolwiek rodzaju; pełne pokrycie reguł walidacji specyfikacji; wykonywanie akcji i maszyn stanów (dodatek do symulacji nie jest tu mierzony) |
Przykładowe modele
Każdy zestaw przykładowych modeli jest analizowany razem, jako jeden projekt, ponieważ przykłady importują pakiety od siebie nawzajem. Implementacja pilotażowa otrzymuje te same pliki w jednej sesji. Dla każdego pliku porównywane są obie odpowiedzi: czy plik zawiera błędy, czy nie, i z którym elementem wiąże się każda nazwa.
Zgodność akceptacji
| Liczba | Co jest liczone | Silnik 2.1.1 |
|---|---|---|
| Surowa | Każdy plik; zgodność co do tego, czy plik zawiera błędy, bez klasyfikacji | 242 z 252 |
| Oceniany zakres | Pliki pozostałe po odjęciu tych, których rozbieżność wynika z konstrukcji z listy nieobsługiwanych | 252 z 252 (żaden nie pominięty) |
| Po klasyfikacji | Zgodność w ocenianym zakresie, przy czym rozbieżność liczy się jako zgodność tylko tam, gdzie specyfikacja pokazuje, że silnik ma rację | 252 z 252 Przegląd wewnętrzny |
- Spełnione: każdy plik jest zgodny z implementacją pilotażową, 10 z nich dzięki poniższemu rejestrowi. Zmienność, słowa kluczowe definiowane przez użytkownika oraz wyzwalacze i efekty przejść są już obsługiwane, więc żaden plik nie wypada z ocenianego zakresu (w silniku 2.0.0 wypadało 11 plików); o 10 plików więcej niż w silniku 2.0.0 jest akceptowanych bez błędów, a żaden plik akceptowany przez 2.0.0 nie ma teraz błędów.
- Fałszywe akceptacje: 0. Silnik nie akceptuje żadnego pliku odrzucanego przez implementację pilotażową.
- Awarie i przekroczenia czasu: brak.
Reguły klasyfikacji Przegląd wewnętrzny. Każda rozbieżność z implementacją pilotażową jest badana osobno i zapisywana z jedną z tych klas przed przebiegiem, nigdy w jego trakcie:
- Błąd przykładu: silnik ma rację, a przykład jest nieprawidłowy, z klauzulą specyfikacji, która to pokazuje. Przykład: arytmetyka dodająca długość do masy. Liczone jako zgodność.
- Błąd implementacji pilotażowej: silnik ma rację, a odpowiedź implementacji pilotażowej przeczy przywołanej klauzuli specyfikacji. Liczone jako zgodność.
- Nieobsługiwana konstrukcja: rozbieżność wynika z konstrukcji z opublikowanej listy konstrukcji nieobsługiwanych przez silnik (poniżej). Plik wypada z ocenianego zakresu. Gdy konstrukcja zostanie udostępniona, znika z listy, a plik jest mierzony ponownie.
- Defekt silnika: znany błąd silnika. Nigdy nie jest liczony jako zgodność.
Rejestr rozbieżności rozstrzyganych przez specyfikację Przegląd wewnętrzny
Dziesięć rozbieżności liczy się jako zgodność, ponieważ specyfikacja pokazuje, że silnik ma rację. Każda jest tu wymieniona. Status przeglądu: wewnętrzny oznacza przegląd przez Holarch na podstawie specyfikacji; zewnętrzny przegląd tych i innych przypadków jest planowany.
| Id | Plik | Klasa | Klauzula | Dowód | Przegląd |
|---|---|---|---|---|---|
| R1 | Calculation Definitions (training) | Błąd przykładu | SysML 9.8.2 | Moc i składnik o wymiarze prędkości połączone w jednej sumie | Wewnętrzny |
| R2 | Calculation Usages-2 (training) | Błąd przykładu | SysML 9.8.2 | Wielkości o różnych wymiarach połączone w jednym wyrażeniu | Wewnętrzny |
| R3 | Dynamics (examples) | Błąd przykładu | SysML 9.8.2 | Wielkości o różnych wymiarach połączone w jednym wyrażeniu | Wewnętrzny |
| R4 | Turbojet Stage Analysis (examples) | Błąd przykładu | SysML 9.8.2 | Wielkości o różnych wymiarach połączone w jednym wyrażeniu | Wewnętrzny |
| R5 | SimpleQuadcopter (examples) | Błąd przykładu | SysML 9.8.2 | Długość powiązana z wartością bezwymiarową | Wewnętrzny |
| R6 | VehicleGeometryAndCoordinateFrames (examples) | Błąd przykładu | SysML 9.8.2 | Zwykła liczba dodana do długości | Wewnętrzny |
| R7 | 15_12 Compound Value Type (validation) | Błąd przykładu | SysML 9.8.2 | Wielkości o różnych wymiarach połączone w jednym wyrażeniu | Wewnętrzny |
| R8 | AnalysisIndividualExample (examples) | Błąd przykładu | SysML 9.8.2 | Prędkość powiązana z cechą zużycia paliwa | Wewnętrzny |
| R9 | 13a Model Containment (validation) | Błąd implementacji pilotażowej | KerML 8.2.3.5.3 | Dwa różne zaimportowane elementy mają tę samą nazwę w jednej przestrzeni nazw; nazwa rozwiązuje się do najwyżej jednego członkostwa, a implementacja pilotażowa wybiera jedno | Wewnętrzny |
| R10 | SysML v2 Spec Annex A SimpleVehicleModel (examples) | Błąd implementacji pilotażowej | KerML 8.2.3.5.3 | Kilka importów wprowadza elementy o tej samej nazwie (jak w R9); wynikają z tego redefinicje i końce konektorów, które ich używają. Model wiąże też prędkość z długością, co jest błędem przykładu | Wewnętrzny |
Walidacja komunikatów diagnostycznych Przegląd wewnętrzny
Zgodność akceptacji mówi tylko, czy oba narzędzia odrzucają plik. Aby sprawdzić, dlaczego silnik go odrzuca, każdy błąd zgłoszony przez niego w przykładowych modelach, poza wierszami z nieobsługiwaną konstrukcją, przejrzano pojedynczo: jego kod, pozycję, stosowaną regułę, klauzulę specyfikacji, to, czy jest pierwszym błędem problemu (pierwotny), czy skutkiem innego błędu (kaskadowy), oraz rozstrzygnięcie.
| Rozstrzygnięcie | Znaczenie | Silnik 2.1.1 |
|---|---|---|
| Potwierdzony | Specyfikacja potwierdza błąd | 42 |
| Defekt silnika | Fałszywy błąd | 0 |
| Sporny | Specyfikacja nie rozstrzyga przypadku | 2 |
| Znana luka | Błąd wynika z konstrukcji z listy nieobsługiwanych | 0 |
| Suma | 44 błędy w 10 plikach (22 pierwotne, 22 kaskadowe) |
- Brak defektów silnika. Żaden błąd nie dotyczy konstrukcji nieobsługiwanej przez silnik: 40 błędów silnika 2.0.0 wynikających ze zmienności, słów kluczowych definiowanych przez użytkownika i efektów przejść zniknęło.
- Wszędzie ten sam kod. Nazwa, która rozwiązuje się do kilku zaimportowanych elementów, jest zgłaszana jako niejednoznaczna zarówno w wyrażeniach, jak i w odwołaniach; wcześniejsze kompilacje zgłaszały ją w wyrażeniach jako nierozwiązaną.
- Jedna interpretacja. Gdy importy wprowadzają dwa elementy o tej samej nazwie, a jeden z nich specjalizuje drugi, opis w specyfikacji i jej formalna reguła się różnią. Silnik stosuje regułę formalną i zgłasza nazwę jako niejednoznaczną. Implementacja pilotażowa akceptuje takie nazwy bez komunikatu.
- Sporne: 2 sporne błędy wiążą wielkość z cechą typowaną zwykłą liczbą rzeczywistą: żadne ograniczenie specyfikacji nie czyni tego wiązania nieprawidłowym, ale nie może ono zachodzić przy znaczeniu przyjętym w bibliotece wielkości.
Wiązanie nazw
Dla każdej nazwy w modelu oba narzędzia podają element, z którym się ona wiąże. Wiązania, które oba narzędzia podają dla tej samej nazwy, są parowane i porównywane. Wskaźnik zgodności dotyczy tylko sparowanych wiązań; nie mówi nic o wiązaniach podawanych tylko przez jedno narzędzie, które są poniżej podzielone na kategorie.
- 4904 z 4908 sparowanych wiązań jest zgodnych.
- Wiązania podawane tylko przez jedno narzędzie: 1639 przez silnik i 601 przez implementację pilotażową.
4 sparowane rozbieżności Przegląd wewnętrzny
| Wiązania | Gdzie | Przyczyna | Klasa |
|---|---|---|---|
| 3 | PartTest (examples) | Nazwa celu w implementacji pilotażowej zawiera jego nazwę skróconą; ten sam element | Inna tożsamość elementu lub normalizacja |
| 1 | ActionTest (examples) | Akcja wysyłania bez ładunku: implementacja pilotażowa tworzy własną cechę ładunku, która redefiniuje cechę z biblioteki; ta sama cecha przez redefinicję | Inna tożsamość elementu lub normalizacja |
3 rozbieżności silnika 2.0.0 dotyczące akceptacji i efektu przejścia zniknęły: silnik wiąże teraz własny akceptor i efekt przejścia, tak jak implementacja pilotażowa.
Wiązania podawane tylko przez jedno narzędzie Przegląd wewnętrzny
Posortowane według reguł, które biorą pod uwagę każde wiązanie, jego cel i wiersz, w którym się znajduje:
| Kategoria | Tylko silnik | Tylko implementacja pilotażowa |
|---|---|---|
| Inna tożsamość elementu lub normalizacja | 1,243 | 370 |
| Dodatkowe niejawne (silnik wiąże, implementacja pilotażowa nie pokazuje relacji) | 396 | – |
| Brakujące (implementacja pilotażowa wiąże, silnik nie) | – | 231 |
| Nieobsługiwana konstrukcja | 0 | 0 |
| Rozbieżność implementacji pilotażowej | Nie znaleziono | Nie znaleziono |
| Suma | 1,639 | 601 |
- Inna tożsamość elementu lub normalizacja to głównie kwestia porównania, a nie silnika: nazwy w końcach konektorów, przepływów i następstw oraz w wyrażeniach, które implementacja pilotażowa pokazuje jako posiadane cechy, a nie relacje; cele w pięciu pakietach biblioteki, których porównanie nie potrafi nazwać po stronie implementacji pilotażowej; pliki podawane implementacji pilotażowej alfabetycznie w porównaniu wiązań, gdzie przy kolejności zależności paruje się 217 wiązań więcej; nazwy skrócone, porty sprzężone, nienazwani właściciele i cechy niejawne, które implementacja pilotażowa nazywa inaczej.
- Dodatkowe niejawne i brakujące to to, co pozostaje po zastosowaniu reguł. Próbka pokazuje łańcuchy przez końce interfejsów, porty sprzężone w definicjach i metadane; nie zostały jeszcze przejrzane pojedynczo.
- Poprawienie porównania zmienia pomiar, więc wymaga nowej wersji metody.
Uszkodzony tekst
Modele są celowo uszkadzane, po jednej mutacji naraz: usunięte lub dodatkowe nawiasy klamrowe, ucięte deklaracje, zepsute importy, odwołania cykliczne, nieprawidłowe znaki, losowe zmiany tokenów i typowe błędy pisowni, takie jak brakujący średnik lub błędnie zapisane słowo kluczowe. Danymi wejściowymi są własne modele testowe silnika, model generowany i przykładowe modele.
| Kontrola | Kryterium | Wynik | Spełnione |
|---|---|---|---|
| Awarie i przekroczenia czasu powyżej 10 s | Niedopuszczalne | Brak | Tak |
| Uszkodzone dane wejściowe | Co najmniej 10 000 | 10,044 | Tak |
| Odpowiedź po każdej edycji równa nowej analizie | Wszystkie | 10 044 z 10 044 | Tak |
| Naprawa uszkodzenia przywraca pierwotną odpowiedź | Wszystkie | 9830 z 9830 | Tak |
| Jedna mutacja daje najwyżej 3 nowe błędy składni | Co najmniej 99% przypadków | 100.0 % | Tak |
| Pierwszy błąd składni wskazuje miejsce w uszkodzonej deklaracji lub tuż za nią | Co najmniej 95% przypadków | 99,7% z 7163 | Tak |
| Deklaracje poza uszkodzeniem są nadal sprawdzane tak samo | Co najmniej 99% | 99,5% z 55 225 | Tak |
Szybkość i pamięć
Kryteria dotyczą natywnej kompilacji silnika. W Holarch silnik działa w przeglądarce jako WebAssembly, co jest wolniejsze; kryteria uwzględniają to oraz wolniejsze komputery współczynnikiem 8 dla edycji i analizy. Kompilacja WebAssembly jest też mierzona w Safari (poniżej).
Baza silnika z załadowaną biblioteką standardową: 17 MiB. Poniższe wartości pamięci są podane na 10 000 wierszy ponad tę bazę: szczyt minus baza, podzielony przez rozmiar modelu w jednostkach po 10 000 wierszy. Kryteria dotyczą sumy.
Edycje
Każdy typ edycji jest stosowany 200 razy, po 20 edycjach rozgrzewkowych, w jednej sesji edycji, tak jak wysyła je edytor Holarch. Tabela pokazuje 95. percentyl: 95 na 100 edycji było tak szybkich lub szybszych.
| Rozmiar modelu | Zmiana wartości | Zmiana nazwy definicji | Zmiana importu | Zmiana nadtypu | Spełnione |
|---|---|---|---|---|---|
| 10 038 wierszy | 1.3 | 6.8 | 2.1 | 2.2 | Tak |
| 50 013 wierszy | 3.9 | 19.4 | 4.9 | 4.7 | Tak |
| 100 033 wiersze | 7.7 | 34.6 | 8.6 | 8.5 | Tak |
| 250 011 wierszy | 22.7 | 90.8 | 24.0 | 24.9 | Tak |
Kryteria: zmiana wartości w ciągu 12 ms (25 ms przy 250 000 wierszy); zmiana nazwy, importu lub nadtypu w ciągu 60 ms (150 ms przy 250 000 wierszy).
Analiza całego modelu
Analiza na zimno: nowy proces z załadowaną biblioteką standardową analizuje cały model od zera, mediana z 5 przebiegów. Pamięć silnika to szczyt silnika podczas tej analizy, na 10 000 wierszy ponad bazę. Dla porównania pokazano pamięć WebAssembly tej samej analizy, na 10 000 wierszy, łącznie z pamięcią startową samego silnika.
| Rozmiar modelu | Analiza na zimno | Pamięć silnika, analiza na zimno | Pamięć WebAssembly, analiza na zimno |
|---|---|---|---|
| 10 038 wierszy | 150 ms | 29 MiB na 10 000 wierszy | 38 MiB na 10 000 wierszy |
| 50 013 wierszy | 711 ms | 28 MiB na 10 000 wierszy | 29 MiB na 10 000 wierszy |
| 100 033 wiersze | 1,43 s | 28 MiB na 10 000 wierszy | 28 MiB na 10 000 wierszy |
| 250 011 wierszy | 3,73 s | 28 MiB na 10 000 wierszy | 26 MiB na 10 000 wierszy |
- Analiza na zimno według wersji 3 metody: cel niespełniony. Celem było 0,6 s przy 100 000 wierszy i 1,2 s przy 250 000 wierszy; pierwsza analiza bardzo dużego modelu trwa 1,43 s i 3,73 s. Podczas tego przebiegu na komputerze pomiarowym działały inne zadania, więc te czasy mogą być zawyżone o kilka procent; nie wpływa to na wartości pamięci.
- Analiza na zimno według wersji 4 metody: raportowana, nie jest celem. Kryterium postępu jest spełnione. Holarch pokazuje pasek postępu dla każdej analizy, która może trwać ponad 3 sekundy: pojawia się po sekundzie długiej analizy, nazywa etap (uruchamianie silnika, ładowanie biblioteki standardowej, analiza modelu) i pozostaje do zakończenia analizy. Pasek postępu to sposób, w jaki aplikacja obsługuje długą pierwszą analizę; nie jest to twierdzenie o szybkości silnika.
- Spełnione: edycje po tej pierwszej analizie mieszczą się w kryteriach przy każdym rozmiarze.
- Spełnione: pamięć silnika przy analizie na zimno w granicach 512 MiB przy 100 000 wierszy i w granicach 1 GiB przy 250 000 wierszy.
- Spełnione: czas rośnie proporcjonalnie do rozmiaru modelu. Analiza na zimno przy 250 000 wierszy trwa 24,9 razy dłużej niż przy 10 000 wierszy, dla modelu 25 razy większego (kryterium: najwyżej 40).
Cała sesja edycji
Wersja 6 metody, od silnika 2.0.1 odczytywana według wersji 7: narzędzie pomiarowe przechowuje rekordy modelu jako tekst, tak jak Holarch. Jeden nowy proces wykonuje stały skrypt: pierwszą analizę, rekordy elementów modelu, pierwszą kontrolę modelu, 60 edycji (20 zmian wartości, 20 zmian importów i 20 zmian nadtypów, każda ponownie analizowana), drukowanie modelu jako tekstu, zapis edytowanego tekstu z powrotem do modelu i obliczenie wartości modelu. Wartość to największa pamięć silnika w dowolnym momencie sesji.
| Rozmiar modelu | Silnik 2.1.1 | Silnik 2.0.1 | Spełnione w 2.1.1 |
|---|---|---|---|
| 10 038 wierszy | 35 MiB na 10 000 wierszy | 51 MiB na 10 000 wierszy | Raportowane |
| 50 013 wierszy | 33 MiB na 10 000 wierszy | 49 MiB na 10 000 wierszy | Raportowane |
| 100 033 wiersze | 33 MiB na 10 000 wierszy | 49 MiB na 10 000 wierszy | Tak (kryterium: w granicach 512 MiB) |
| 250 011 wierszy | 33 MiB na 10 000 wierszy | 50 MiB na 10 000 wierszy | Tak (kryterium: w granicach 1 GiB) |
- Spełnione przy 100 000 i 250 000 wierszy. Kryteria są takie same jak dla analizy na zimno: w granicach 512 MiB przy 100 000 wierszy i w granicach 1 GiB przy 250 000 wierszy, czyli pamięć, na jaką przeglądarka pozwala instancji WebAssembly, z zapasem. W WebAssembly pamięć silnika nigdy się nie zmniejsza, więc o rozmiarze sesji decyduje jej największy moment. Silnik 2.0.1 spełniał kryterium przy 100 000 wierszy, a przy 250 000 nie; silnik 2.0.0 nie spełniał żadnego (122 MiB na 10 000 wierszy według wersji 6 metody).
- Największe momenty to pierwsza kontrola i obliczenie wartości modelu, każde mniej więcej tak duże jak zapis tekstu z powrotem do modelu; drukowanie modelu nie jest już największym krokiem.
Pamięć w długiej sesji
Raportowane, nie jest kryterium. Charakterystyka powyższego wyniku, natywnie, na silniku 2.1.1 (przebieg 2.1.1-37168cc79-1). Jedna sesja na każdy rozmiar modelu: otwarcie modelu i jego kontrola; edycje w dwóch przejściach przez każde miejsce edycji (zmiany wartości, importów i nadtypów, każda ponownie analizowana), potem edycje wartości wpisujące wciąż nowe liczby; dziesięć analiz i dziesięć kontroli niezmienionego modelu oraz analiza od zera obok otwartej sesji; drukowanie jednego pakietu, a potem całego modelu; zapis tekstu z powrotem do modelu; obliczenie wartości; następnie trzykrotne zamknięcie i ponowne otwarcie.
| Rozmiar modelu | Edycja otwartego modelu | Największy krok: ponowna analiza od zera obok otwartej sesji | Drukowanie całego modelu | Pozostałość po zamknięciu |
|---|---|---|---|---|
| 10 038 wierszy | 27 MiB | 55 MiB | 41 MiB | 1,5 MiB |
| 50 013 wierszy | 26 MiB | 54 MiB | 40 MiB | 0,6 MiB |
| 100 033 wiersze | 26 MiB | 54 MiB | 40 MiB | 0,5 MiB |
| 250 011 wierszy | 26 MiB | 54 MiB | 40 MiB | 0,4 MiB |
- Edycja się stabilizuje. Pamięć rośnie o około 5 MiB na 10 000 wierszy, dopóki edycje docierają do deklaracji wcześniej nieedytowanych, a potem pozostaje na stałym poziomie.
- Powtarzana analiza niczego nie zatrzymuje. Dziesięć analiz i dziesięć kontroli niezmienionego modelu pozostawia pamięć na tym samym poziomie.
- Największy krok to analiza całego modelu od zera, gdy sesja pozostaje otwarta, co oznacza jednoczesne przechowywanie dwóch kopii analizy; edytor, który utrzymuje jedną sesję, tego nie potrzebuje.
- Drukowanie całego modelu wymaga około 40 MiB na 10 000 wierszy ponad bazę (silnik 2.0.1: od 53 do 55; silnik 2.0.0: od 129 do 131).
- Zamknięcie zwalnia pamięć. Pozostaje niewielka reszta, która nie rośnie przez trzy cykle ponownego otwarcia.
- W Safari tej charakterystyki nie wykonano na silniku 2.1.1; ostatnie wartości sesji w Safari dotyczą silnika 2.0.1 i są w pakiecie dowodów.
WebAssembly, pomiar w Safari
Kompilacja WebAssembly silnika 2.1.1, we własnym workerze silnika Holarch, na tych samych modelach generowanych. Uruchomienie to pobranie i start silnika oraz załadowanie biblioteki standardowej; analiza na zimno to mediana z 3 nowych workerów; edycje to 200 na typ po 20 edycjach rozgrzewkowych, w jednej sesji, jak wyżej. Każdy rozmiar modelu był uruchamiany na osobnej stronie. Zmiany nazw są mierzone tylko w kompilacji natywnej. Te wartości są raportowane, nie są kryteriami.
| Rozmiar modelu | Uruchomienie silnika, Safari | Analiza na zimno, Safari | Analiza na zimno, natywnie | Zmiana wartości, p95, Safari / natywnie | Zmiana importu, p95, Safari / natywnie | Zmiana nadtypu, p95, Safari / natywnie |
|---|---|---|---|---|---|---|
| 10 038 wierszy | 143 ms | 215 ms | 150 ms | 3 / 1,3 ms | 4 / 2,1 ms | 4 / 2,2 ms |
| 50 013 wierszy | 152 ms | 867 ms | 711 ms | 12 / 3,9 ms | 10 / 4,9 ms | 10 / 4,7 ms |
| 100 033 wiersze | 144 ms | 1,63 s | 1,43 s | 20 / 7,7 ms | 20 / 8,6 ms | 20 / 8,5 ms |
| 250 011 wierszy | 175 ms | 4,44 s | 3,73 s | 53 / 22,7 ms | 50 / 24,0 ms | 49 / 24,9 ms |
Jeszcze nieobsługiwane
Te konstrukcje znajdują się na opublikowanej liście konstrukcji nieobsługiwanych przez silnik. Pliki przykładowych modeli, które z ich powodu są niezgodne z implementacją pilotażową, wypadają z ocenianego zakresu; w tym przebiegu nie ma takich plików.
- Reprezentacje tekstowe w innych językach są zachowywane jako tekst i nie są sprawdzane.
Zmienność, słowa kluczowe definiowane przez użytkownika i efekty przejść zapisane jako accept lub action zniknęły z listy w wersjach metody od 8 do 10, w miarę ich udostępniania. Każda produkcja gramatyki notacji tekstowej ma co najmniej jeden test, który ją parsuje i sprawdza wynik. Pełna lista tego, co działa w Holarch, wraz z ograniczeniami: pokrycie języka SysML v2.
Odtwarzanie wyników
Wyniki można niezależnie odtworzyć: pakiet dowodów (zip, SHA-256 5d9821f7dac3fd0b2bc49a8defe416ac01f515834d65d3182891a9f8d20e59ae) zawiera wszystko, co potrzebne do powtórzenia każdego przebiegu na tej samej kompilacji silnika.
- Jednostronicowy przewodnik po odtwarzaniu,
REPRODUCE.md: dokładne polecenia, zależności, dane wejściowe z sumami kontrolnymi, oczekiwane wyniki i czasy przebiegów. - Metoda testowania, z każdą wersją metody (od 1 do 10) i jej uzasadnieniem.
- Tabele klasyfikacji: lista nieobsługiwanych konstrukcji, każda sklasyfikowana rozbieżność z klasą i klauzulą, powyższy rejestr, przegląd każdego błędu silnika i kategorie wiązań.
- Podsumowanie każdego przebiegu i wyniki do odczytu maszynowego dla silnika 2.1.1 (wszystkie pomiary i charakterystyka pamięci sesji), silnika 2.0.1 (szybkość i pamięć, pamięć sesji), Holarch 2.15.1 (obie kompilacje kodu silnika 2.0.0), 2.14.0 (szybkość i pamięć), 2.13.1 i 2.12.0 oraz czasy i pamięć sesji WebAssembly zmierzone w Safari.
- Generator dużych modeli, deterministyczny dla danego ziarna, oraz skrypty pomiarowe i porównawcze.
- Suma kontrolna każdego pliku.
Nie zawiera silnika ani plików OMG. Skrypty pobierają przykładowe modele i implementację pilotażową z ich publicznych źródeł według przypiętego commitu i sumy kontrolnej pakietu. Silnik do powtórzenia przebiegu jest dostępny w ramach wersji ewaluacyjnej silnika.
Wcześniejsze przebiegi
Wcześniejsze oficjalne przebiegi pozostają takie, jak je zmierzono, każdy według własnej wersji metody. W metodach od 1 do 3 celem była analiza na zimno w ciągu 0,6 s przy 100 000 wierszy; żaden przebieg go nie spełnił. Metoda 4 raportuje ją bez celu. Szczyt pamięci przed wersją 3 metody był szczytem pamięci rezydentnej procesu pomiarowego, który obejmuje też pamięć zatrzymaną przez alokator do ponownego użycia; nie jest porównywalny z wartością sterty silnika. Przebiegi Holarch 2.15.0 i 2.14.0 mierzyły tylko szybkość i pamięć; czasy przebiegu 2.15.0 są o około jedną czwartą wyższe niż kompilacji przed nim i po nim, ponieważ mierzono je, gdy na tym samym komputerze działały inne zadania.
| Kompilacja | Wersja silnika | Wydanie Holarch | Metoda | Akceptacja, surowa | Akceptacja, po klasyfikacji (przegląd wewnętrzny) | Wiązanie nazw | Analiza na zimno, 100 000 wierszy | Szczyt pamięci, 100 000 wierszy |
|---|---|---|---|---|---|---|---|---|
| 37168cc | 2.1.1 | 2.21.0 (zawiera silnik 2.1.2) | 10 | 242 z 252 | 252 z 252 | 4904 z 4908 | 1,43 s | 302 MiB sterty silnika |
| d8cf5c8 | 2.0.1 | 2.17.1 | 7 | Nie mierzono | Nie mierzono | Nie mierzono | 1,23 s | 362 MiB sterty silnika |
| 91f058a | 2.0.0 | 2.15.1 (ten sam kod silnika co dd4fb10) | 6 | 232 z 252 | 241 z 241 | 4879 z 4886 | 1,35 s | 362 MiB sterty silnika |
| dd4fb10 | 1.0.0 | 2.15.1 | 6 | 232 z 252 | 241 z 241 | 4879 z 4886 | 1,28 s | 362 MiB sterty silnika |
| e6bb924 | 1.0.0 | 2.15.0 | 5 | Nie mierzono | Nie mierzono | Nie mierzono | 1,57 s | 362 MiB sterty silnika |
| 0c983e2 | 1.0.0 | 2.14.0 | 6 | Nie mierzono | Nie mierzono | Nie mierzono | 1,37 s | 362 MiB sterty silnika |
| d3f5d4b | 1.0.0 | 2.13.1, 2.13.2 | 5 | 231 z 252 | 240 z 242 | 4851 z 4860 | 1,24 s | 362 MiB sterty silnika |
| 8a6bf7b | 1.0.0 | 2.12.0 | 5 | 220 z 252 | 229 z 242 | 4753 z 4768 | 1,21 s | 362 MiB sterty silnika |
| 6eec2b7 | 1.0.0 | – | 5 | 231 z 252 | 240 z 240 (klasyfikacja sprzed przeglądu błędów) | 4851 z 4860 | 1,20 s | 362 MiB sterty silnika |
| c184e57 | 1.0.0 | 2.11.0 | 3 | 220 z 252 | 228 z 228 | 4753 z 4768 | 1,31 s | 361 MiB sterty silnika |
| bfa03c7 | 1.0.0 | – | 2 | 220 z 252 | 228 z 228 | 4753 z 4768 | 1,35 s | 972 MiB procesu |
| 1cada39 | 1.0.0 | – | 2 | 216 z 252 | 224 z 228 | 4737 z 4752 | 4,24 s | 1022 MiB procesu |
| fd20280 | 1.0.0 | – | 1 | 145 z 252 | Bez klasyfikacji (metoda 1) | 4326 z 4373 | 2,41 s | 1535 MiB procesu |
Czego te wyniki nie pokazują
- To własne pomiary Holarch na modelach, na których je wykonano. Nie są certyfikacją. Object Management Group ich nie przeglądała ani nie poparła.
- Implementacja pilotażowa i przykładowe modele nie są specyfikacją. Tam, gdzie różnią się od silnika, powyższa klasyfikacja wskazuje, którą stronę popiera specyfikacja, i dlaczego.
- Każda klasyfikacja i każdy przegląd na tej stronie to przegląd wewnętrzny. Planowany jest zewnętrzny przegląd próbki przypadków testowych silnika względem specyfikacji.
- Symulacja akcji i maszyn stanów, czyli osobno licencjonowany dodatek do symulacji, nie jest tu mierzona.
- Konwersja modeli SysML v1 do SysML v2 nie jest tu mierzona. Dla licencjobiorców silnika jest to dodatek do migracji, licencjonowany osobno.
Wypróbuj silnik na własnych modelach.
Wersja ewaluacyjna jest bezpłatna przez 60 dni.