Przetestowane limity
Jak duży projekt obsługuje Holarch
Największe projekty, z którymi testowany jest Holarch, potrzebna im pamięć przeglądarki i czasy otwierania oraz test obciążeniowy hostowanej usługi, na którym opiera się limit elementów każdego planu.
Wydajnościowe
Mierzone na generowanych projektach w obu językach modelowania; wartości dla przeglądarki w Safari na komputerze Mac. Każda tabela podaje wersję Holarch, w której wykonano pomiar.
- Aplikacja desktopowa (Holarch zainstalowany na twoim komputerze): przetestowana do 700 000 elementów na projekt w LML i 400 000 w SysML v2 (Powyżej 250 000 elementów).
- Usługa hostowana (app.holarch.app): do 50 000 elementów na projekt; w większych programach łącz projekty za pomocą powiązań między projektami, Mapy programu i bibliotek (Limity planów).
- Samodzielnie hostowany serwer Holarch (Enterprise): przetestowany do 400 000 elementów na projekt, w LML i SysML v2. Projekt potrzebuje mniej niż 1 GB dodatkowej pamięci serwera do około 330 000 elementów LML i powyżej 400 000 elementów SysML v2 (Samodzielnie hostowany serwer powyżej 250 000 elementów).
Usługa hostowana: pamięć serwera
Pamięć serwera potrzebna projektowi, gdy jest otwarty, ponad to, czego serwer używa bez niego, na każde 10 000 elementów. Przetestowano do 50 000 elementów na projekt, czyli limitu usługi hostowanej.
| Język | Na 10 000 elementów | Największy przetestowany projekt |
|---|---|---|
| LML | około 17 MB | 50 000 elementów |
| SysML v2 | 4–8 MB | 50 000 elementów |
- Wartości oznaczają dodatkową pamięć otwartego projektu, a nie pamięć całego serwera. Baza, czyli świeżo uruchomiony serwer po jednym logowaniu, to około 130 MB.
- Pamięć potrzebna karcie projektu w przeglądarce jest podana poniżej (Pamięć przeglądarki).
Pamięć przeglądarki
Strona Holarch bez otwartego projektu używa około 100 MB. To jest baza. Poniższe wartości to pamięć, której karta przeglądarki potrzebuje ponad bazę na każde 10 000 elementów projektu, w szczytowym momencie otwierania projektu.
| Język | Usługa hostowana | Zainstalowany na komputerze |
|---|---|---|
| LML | 40–60 MB | 50–70 MB |
| SysML v2 | 100–155 MB | 70–80 MB |
- Wartość zależy od rozmiaru projektu. Planuj z wyższą wartością.
- Edycja dodaje niewiele: po 100 edycjach karta projektu LML nie używała więcej pamięci niż przed nimi. Podczas zapisywania edycji może przez chwilę potrzebować do około 0,6 GB więcej.
- Pamięć do zaplanowania dla każdego rozmiaru projektu: Wymagania systemowe.
Czasy otwierania
Od kliknięcia do chwili, gdy strona jest gotowa do użycia. Projekt SysML v2 wykonuje następnie w tle pierwszą kontrolę modelu, podczas gdy pracujesz; druga wartość to czas do zakończenia tej kontroli.
| Elementy | LML, hostowany | LML, zainstalowany | SysML v2, hostowany | SysML v2, zainstalowany |
|---|---|---|---|---|
| 50,000 | około 1 s | około 1 s | około 2 s; kontrola 4 s | nie mierzono |
| 100,000 | — | około 1 s | — | około 2 s; kontrola 5 s |
| 150,000 | — | nie mierzono | — | nie mierzono |
| 200,000 | — | około 2 s | — | nie mierzono |
| 250,000 | — | nie mierzono | — | około 6 s; kontrola 14 s |
- Czasy dla usługi hostowanej mierzono na serwerze testowym. Wolne połączenie sieciowe dodaje czas pobierania projektu.
- — : powyżej limitu usługi hostowanej wynoszącego 50 000 elementów na projekt.
- Potwierdzanie edycji i praca wielu osób jednocześnie w usłudze hostowanej: zobacz Wyniki testów obciążeniowych.
- Szybkość i pamięć samego silnika językowego SysML v2: zobacz Wyniki testów Language Engine.
Powyżej 250 000 elementów, instalacja na komputerze
Holarch 2.30.0 otworzył w Safari generowane projekty z 400 000 i 700 000 elementów LML oraz model SysML v2 z 400 000 elementów, wprowadził jedną edycję, zapisał ją i zamknął projekt. Nic nie zawiodło.
| Projekt | Otwarcie | Praca w tle zakończona | Pamięć przeglądarki na 10 000 elementów podczas otwierania |
|---|---|---|---|
| LML, 400 000 elementów | około 4 s | 16 s | około 105 MB |
| LML, 700 000 elementów | około 6 s | 21 s | około 130 MB |
| SysML v2, 400 000 elementów | około 3 s | 19 s | około 85 MB |
- Przy tych rozmiarach limit wyznacza pamięć twojego komputera.
- Strona może przestać reagować na kilka sekund podczas otwierania tak dużego projektu LML i zapisywania jego pierwszej edycji.
Samodzielnie hostowany serwer powyżej 250 000 elementów
Serwer Holarch z Holarch 2.30.0 przetestowano na generowanych projektach z 250 000 i 400 000 elementów LML, z trzema relacjami na element, oraz na modelu SysML v2 z 400 000 elementów. Każdy projekt przeszedł przez następujące obciążenie:
- Zapisanie całego projektu na serwerze, otwarcie go i ponowne otwarcie.
- Właściciel edytuje z 10 stron jednocześnie przez 60 sekund; każda strona wprowadza jedną edycję na sekundę i co 15 sekund ponownie otwiera projekt.
- Kompaktowanie historii zmian.
- Usunięcie projektu.
Każda faza zakończyła się powodzeniem: bez błędów serwera i bez odrzuconych edycji.
| Projekt | Na 10 000 elementów, najwyższa faza | Poniżej 1 GB | Potwierdzenie edycji p95 |
|---|---|---|---|
| LML, 250 000 elementów | około 31 MB | tak | 30 ms |
| LML, 400 000 elementów | około 30 MB | nie, od około 330 000 elementów | 60 ms |
| SysML v2, 400 000 elementów | około 21 MB | tak | 34 ms |
- Wartości te to dodatkowa pamięć serwera potrzebna projektowi ponad to, czego serwer używa bez niego. Nie jest to pamięć całego serwera.
- Zapis całego projektu jest domyślnie ograniczony do 192 MB danych projektu, czyli około 340 000 elementów LML lub 430 000 elementów SysML v2. Samodzielnie hostowany serwer może podnieść ten limit; w przebiegach z 400 000 elementów tak zrobiono.
- Są to rozmiary przetestowane przy tym obciążeniu, a nie gwarancja dla każdego modelu. Długie teksty i wiele diagramów nie były częścią tego testu.
1.1.6 → 2.15.1
Holarch 1.1.6 to pierwsza wersja zmierzona tymi testami dużych projektów. Te same testy uruchomiono bez zmian na 1.1.6 i na 2.15.1, z tymi samymi generowanymi projektami LML, na tym samym komputerze i z tymi samymi limitami serwera.
| Pomiar | Holarch 1.1.6 | Holarch 2.15.1 |
|---|---|---|
| Pamięć na 10 000 elementów: utworzenie, otwarcie, 200 edycji i wersja | 220–250 MB | 40–55 MB od 20 000 elementów (80–110 MB przy 5000–10 000) |
| To samo, z wersją zapisywaną podczas edycji przez właściciela | zabrakło pamięci przy 25 000 elementów | 45–67 MB |
| Baza: serwer po jednym logowaniu | około 125 MB | około 130 MB |
| Zapisanie wersji projektu z 25 000 elementów | 7,5 s | 0,4 s |
| Największy przetestowany projekt | 25 000 elementów | 115 000 elementów, najwięcej, ile mieści jeden zapis 64 MB |
| Krok | Elementy | Holarch 1.1.6 | Holarch 2.15.1 |
|---|---|---|---|
| Strona główna | 25,000 / 50,000 | 36 s / 149 s | 0,7 s / 1,6 s |
| Strona Kontrole modelu | 25,000 / 50,000 | 66 s / 297 s | 0,4 s / 0,7 s |
| Macierz identyfikowalności (wymagania × przypadki testowe) | 10,000 | 47 s | 0,2 s |
| Macierz identyfikowalności weryfikacji wymagań | 10,000 | 31 s | 0,1 s |
| Otwarcie dokumentu z 2000 wymagań | 5,000 / 10,000 / 25,000 | 0,6 s / 0,6 s / 0,8 s | 0,5 s / 0,5 s / 0,5 s* |
| Zapis po jednej edycji | 5,000 / 10,000 / 25,000 / 50,000 | 0,2 s / 0,5 s / 30 s / 152 s | 0,15 s / 0,3 s / 0,8 s / 1,6 s* |
| Kontrola jakości 2000 wymagań | 10,000 | 30 s | 3,2 s |
| Największy projekt przeprowadzony przez każdy krok | — | 50 000 elementów, ze stroną nieodpowiadającą przez ponad 2 minuty naraz | 100 000 elementów; Strona główna 3,2 s, macierz 0,3 s |
- * Zmierzono w 2.16.1, która przyspieszyła te dwa kroki względem 2.15.1. Pozostałe wartości zmierzono w 2.15.1.
- W 1.1.6 macierz identyfikowalności blokowała stronę na ponad 2 minuty przy 25 000 elementów, więc nie mierzono jej tam przy większych rozmiarach. W 2.15.1 otwiera się w mniej niż 0,3 s przy każdym rozmiarze do 100 000 elementów.
Próg zaliczenia
Usługa hostowana jest testowana obciążeniowo przy kilku osobach jednocześnie otwierających i edytujących jeden projekt. Rozmiar projektu zalicza test, gdy usługa spełnia każdy warunek tego scenariusza:
- Serwer właśnie skompaktował historię zmian projektu. W tym stanie otwarcie projektu jest najkosztowniejsze.
- 10 osób otwiera projekt w tej samej chwili.
- Te same 10 osób edytuje go następnie przez 60 sekund, każda wprowadzając jedną edycję na sekundę.
- Potwierdzenie edycji: 95 % edycji jest potwierdzanych przez serwer w ciągu 1,5 sekundy (p95 ≤ 1,5 s).
- Brak awarii: żadnych błędów serwera.
Środowisko testowe
- Produkcyjne oprogramowanie serwera, w środowisku testowym wolniejszym niż usługa hostowana, więc wyniki są ostrożne.
- Limity zasobów i ustawienia usługi hostowanej.
- Baza danych i przechowywanie plików działały na tym samym komputerze, a nie przez sieć. Dla każdego przebiegu uruchamiano nowy serwer.
- Generowane projekty LML: 40 % wymagań w specyfikacjach, 20 % funkcji, 15 % komponentów, 15 % przypadków testowych, 5 % ryzyk, a reszta to wejścia i wyjścia, z trzema relacjami na element.
Wyniki
| Elementy | Dane wysyłane na otwarcie | Czas 10 otwarć | Potwierdzenie edycji p95 | Wynik |
|---|---|---|---|---|
| 50,000 | 27,2 MB | 3,7 s | 1,49 s | Zaliczone |
| 50 000 (drugi przebieg) | 27,2 MB | 3,6 s | 1,08 s | Zaliczone |
- W żadnym przebiegu nie wystąpił błąd serwera.
- Typowa edycja (p50) była potwierdzana w około 30 ms w każdym przebiegu. Wolne edycje czekają za dużymi odpowiedziami na jednoczesne otwarcia.
Limity planów
| Plan | Elementy na projekt |
|---|---|
| Free / Academic | 1000 (2000 w aktywnej organizacji zajęć) |
| Individual | 5,000 |
| Team | 50,000 |
- Usługa hostowana (app.holarch.app) mieści do 50 000 elementów na projekt w każdym planie; w większych programach łącz projekty. Aplikacja desktopowa (Holarch zainstalowany na twoim komputerze) jest przetestowana do 700 000 elementów na projekt w LML i 400 000 w SysML v2.
- Zapis całego projektu, np. import pliku projektu, może obejmować najwyżej 192 MB danych projektu. Projekt z długimi tekstami może osiągnąć ten rozmiar przed limitem elementów.
- Co liczy się jako element: zobacz Cennik.
- Pamięć komputera potrzebna w przeglądarce projektowi każdego rozmiaru: zobacz Wymagania systemowe.
Wymiana w obie strony: co zachowuje każdy format wymiany
Każdy model wyeksportowano w każdym pasującym formacie i ponownie zaimportowano do nowego projektu z opcjami domyślnymi. Następnie każdy element oryginału zliczono jako zachowany, przekształcony lub utracony. Zmierzono w Holarch 2.21.0, tak samo w usłudze hostowanej i po instalacji na komputerze.
- Zachowane: odnalezione ponownie bez zmian. Element zachowuje klasę, nazwę, numer, opis i etykiety; relacja zachowuje typ, oba końce i atrybuty; wartość atrybutu, zapisany widok lub sformatowany opis są takie same jak wcześniej.
- Przekształcone: odnalezione ponownie z różnicą, na przykład Statement, który wraca jako Requirement, brakujący numer lub etykieta albo atrybut relacji, który wraca z wartością domyślną.
- Utracone: brak w nowym projekcie, ponieważ format nie ma na nie miejsca lub jeden z końców został utracony.
| Format | Elementy | Relacje | Wartości atrybutów | Zapisane widoki | Dokumenty | Sformatowane opisy |
|---|---|---|---|---|---|---|
| Plik projektu Holarch (.json) | 407 / 0 / 0 | 915 / 0 / 0 | 979 / 0 / 0 | 83 / 0 / 0 | 3 / 0 / 0 | 5 / 0 / 0 |
| Kopia zapasowa i pakiet projektu Holarch (.holarch)* | 424 / 0 / 0 | 949 / 0 / 0 | 1,104 / 0 / 0 | 84 / 0 / 0 | 3 / 0 / 0 | 5 / 0 / 0 |
| UML/SysML XMI z danymi Holarch | 317 / 0 / 90 | 631 / 0 / 284 | 672 / 0 / 307 | 0 / 3 / 80 | 0 / 0 / 3 | 5 / 0 / 0 |
| UML/SysML XMI, czysty SysML | 83 / 234 / 90 | 548 / 95 / 272 | 138 / 38 / 803 | 0 / 3 / 80 | 0 / 0 / 3 | 0 / 5 / 0 |
| Papyrus (.uml) | 317 / 0 / 90 | 631 / 0 / 284 | 672 / 0 / 307 | 0 / 3 / 80 | 0 / 0 / 3 | 5 / 0 / 0 |
| ReqIF | 407 / 0 / 0 | 879 / 21 / 15 | 979 / 0 / 0 | 0 / 0 / 83 | 3 / 0 / 0 | 5 / 0 / 0 |
| CSV, każdy atrybut, etykiety i relacje | 393 / 14 / 0 | 810 / 96 / 9 | 979 / 0 / 0 | 0 / 0 / 83 | 3 / 0 / 0 | 5 / 0 / 0 |
| Kopia SysML v2, potem kopia LML | 348 / 41 / 18 | 703 / 56 / 156 | 857 / 33 / 89 | 26 / 7 / 50 | 3 / 0 / 0 | 0 / 5 / 0 |
* Zmierzono w Holarch 2.33.0 na bieżącym demo CubeSat EO-1 (424 elementy, 949 relacji, 1104 wartości atrybutów, 84 zapisane widoki, 3 dokumenty, 5 sformatowanych opisów); nic nie zostało przekształcone ani utracone.
- Plik projektu i pakiet projektu: cały projekt, łącznie ze Stroną główną, Wykresami, pulpitem programu i ustawieniami projektu.
- XMI i Papyrus z danymi Holarch: każdy element, dla którego SysML ma odpowiednik, wraca bez zmian, z klasą LML, numerem, etykietami i atrybutami. 90 utraconych elementów to zadania, dokumenty, ryzyka, problemy, elementy harmonogramu, zagrożenia i inne elementy, dla których SysML nie ma odpowiednika; z nimi łączy się większość utraconych relacji. Atrybuty relacji, takie jak Trigger i Amount, także wracają. Diagramy inne niż przepływy diagramów akcji nie są częścią XMI.
- XMI bez danych Holarch: czysty SysML 1.6. Statements wracają jako Requirements, a numery, etykiety i atrybuty LML nie trafiają do pliku.
- ReqIF: wracają wszystkie elementy, wartości atrybutów, etykiety i struktura dokumentu, a relacje zachowują atrybuty. Krotność dekompozycji nie jest zapisywana, ponieważ ReqIF przechowuje dekompozycję jako strukturę dokumentu. Własne rozszerzenia schematu w demo (na przykład Equation, które spełnia Requirement) są pomijane w nowym projekcie, który ma standardowy schemat.
- CSV: wracają wszystkie elementy i wartości atrybutów. Tabela nie ma miejsca na atrybuty relacji, więc wracają one z wartościami domyślnymi, a etykiety, których nowy projekt nie ma, są pomijane.
- Kopia SysML v2 i z powrotem: konwersja z raportem, a nie format wymiany. Nie wracają Measures, numery Asset ani niektóre powiązania.
| Format | Hybrid Car, 708 elementów | Hybrid Car, dane Holarch | Battery Pack, 62 elementy |
|---|---|---|---|
| Plik projektu Holarch (.json) | 708 / 0 / 0 | wszystko zachowane | 62 / 0 / 0 |
| Tekst SysML v2 (.sysml) | 708 / 0 / 0 | brak w pliku | 62 / 0 / 0 |
| SysML v2 JSON | 708 / 0 / 0, identyfikatory elementów zachowane | brak w pliku | 62 / 0 / 0, identyfikatory elementów zachowane |
| Kopia LML, potem kopia SysML v2 | 22 / 184 / 502 | zachowano 21 z 27 elementów | 6 / 21 / 35 |
- Tekst SysML v2 i JSON: każdy element modelu wraca bez zmian. Status wymagań, wyniki weryfikacji, ryzyka, dokumenty i inne dane Holarch są przenoszone tylko w pliku projektu.
- Kopia LML i z powrotem: model jest odbudowywany z kopii LML, więc następstwa, importy, metadane i większość typowania nie wracają.
Powtórz test: utwórz demo z Nowy projekt demonstracyjny, wyeksportuj je w jednym z formatów, zaimportuj plik do nowego projektu z opcjami domyślnymi i porównaj oba projekty w Bazie danych.
Czego nie mierzono
- Projekty SysML v2, projekty z wieloma diagramami i długie opisy w tekście sformatowanym.
- Kilka dużych projektów używanych w tej samej chwili.
Pytania o model twojej wielkości: skontaktuj się z nami.