Limiti testati
Quanto può essere grande un progetto in Holarch
I progetti più grandi con cui Holarch è testato, la memoria del browser e i tempi di apertura che richiedono, e il test di carico del servizio ospitato alla base del limite di elementi di ogni piano.
Prestazione
Misurato con progetti generati in entrambi i linguaggi di modellazione; i valori del browser in Safari su un Mac. Ogni tabella indica la versione di Holarch su cui è stata misurata.
- App desktop (Holarch installato sul proprio computer): testato fino a 700.000 elementi per progetto in LML e 400.000 in SysML v2 (Oltre 250.000 elementi).
- Servizio ospitato (app.holarch.app): fino a 50.000 elementi per progetto; per programmi più grandi collegare i progetti con i collegamenti tra progetti, la Mappa del programma e le librerie (Limiti dei piani).
- Server Holarch self-hosted (Enterprise): testato fino a 400.000 elementi per progetto, in LML e SysML v2. Un progetto resta sotto 1 GB di memoria aggiuntiva del server fino a circa 330.000 elementi LML e oltre 400.000 elementi SysML v2 (Server self-hosted oltre 250.000 elementi).
Servizio ospitato: memoria del server
La memoria del server di cui un progetto ha bisogno mentre è aperto, oltre a quella che il server usa senza di esso, per ogni 10.000 elementi. Testato fino a 50.000 elementi per progetto, il limite del servizio ospitato.
| Lingua | Per 10.000 elementi | Progetto più grande testato |
|---|---|---|
| LML | circa 17 MB | 50.000 elementi |
| SysML v2 | 4–8 MB | 50.000 elementi |
- I valori sono la memoria aggiuntiva di un progetto aperto, non la memoria dell’intero server. La base, un server appena avviato dopo un accesso, è di circa 130 MB.
- La memoria di cui la scheda di un progetto ha bisogno nel browser è indicata più avanti (Memoria del browser).
Memoria del browser
La pagina di Holarch usa circa 100 MB senza alcun progetto aperto. Questa è la base. I valori seguenti sono la memoria di cui la scheda del browser ha bisogno in aggiunta alla base per ogni 10.000 elementi del progetto, nel punto più alto durante l’apertura del progetto.
| Lingua | Servizio ospitato | Installato sul proprio computer |
|---|---|---|
| LML | 40–60 MB | 50–70 MB |
| SysML v2 | 100–155 MB | 70–80 MB |
- Il valore varia con le dimensioni del progetto. Pianificare con il valore più alto.
- La modifica aggiunge poco: dopo 100 modifiche, la scheda di un progetto LML non usava più memoria di prima. Mentre le modifiche vengono salvate, può richiedere brevemente fino a circa 0,6 GB in più.
- La memoria da prevedere per ogni dimensione di progetto: Requisiti di sistema.
Tempi di apertura
Dal clic fino a quando la pagina è pronta all’uso. Un progetto SysML v2 esegue poi il suo primo controllo del modello in background mentre si lavora; il secondo valore è il tempo fino al termine di tale controllo.
| Elementi | LML, ospitato | LML, installato | SysML v2, ospitato | SysML v2, installato |
|---|---|---|---|---|
| 50,000 | circa 1 s | circa 1 s | circa 2 s; controllo 4 s | non misurato |
| 100,000 | — | circa 1 s | — | circa 2 s; controllo 5 s |
| 150,000 | — | non misurato | — | non misurato |
| 200,000 | — | circa 2 s | — | non misurato |
| 250,000 | — | non misurato | — | circa 6 s; controllo 14 s |
- I tempi del servizio ospitato sono stati misurati su un server di test. Una connessione di rete lenta aggiunge il tempo di download del progetto.
- — : oltre il limite del servizio ospitato di 50.000 elementi per progetto.
- Conferma delle modifiche e molte persone che lavorano contemporaneamente sul servizio ospitato: vedere Risultati dei test di carico.
- Velocità e memoria del motore del linguaggio SysML v2 da solo: vedere Risultati dei test del Language Engine.
Oltre 250.000 elementi, installato sul proprio computer
Holarch 2.30.0 ha aperto in Safari progetti generati di 400.000 e 700.000 elementi LML e un modello SysML v2 di 400.000 elementi, ha eseguito una modifica, l’ha salvata e ha chiuso il progetto. Nulla è fallito.
| Progetto | Apertura | Lavoro in background completato | Memoria del browser per 10.000 elementi, durante l’apertura |
|---|---|---|---|
| LML, 400.000 elementi | circa 4 s | 16 s | circa 105 MB |
| LML, 700.000 elementi | circa 6 s | 21 s | circa 130 MB |
| SysML v2, 400.000 elementi | circa 3 s | 19 s | circa 85 MB |
- A queste dimensioni il limite è dato dalla memoria del computer.
- La pagina può smettere di rispondere per alcuni secondi mentre si apre un progetto LML così grande e mentre viene salvata la sua prima modifica.
Server self-hosted oltre 250.000 elementi
Un server Holarch con Holarch 2.30.0 è stato testato con progetti generati di 250.000 e 400.000 elementi LML, tre relazioni per elemento, e con un modello SysML v2 di 400.000 elementi. Ogni progetto ha attraversato questo carico di lavoro:
- Salvare l’intero progetto sul server, aprirlo e riaprirlo.
- Il proprietario modifica da 10 pagine contemporaneamente per 60 secondi, ogni pagina esegue una modifica al secondo e riapre il progetto ogni 15 secondi.
- Una compattazione della cronologia delle modifiche.
- Eliminare il progetto.
Ogni fase è stata superata: nessun errore del server e nessuna modifica rifiutata.
| Progetto | Per 10.000 elementi, fase più alta | Sotto 1 GB | Conferma delle modifiche p95 |
|---|---|---|---|
| LML, 250.000 elementi | circa 31 MB | sì | 30 ms |
| LML, 400.000 elementi | circa 30 MB | no, da circa 330.000 elementi | 60 ms |
| SysML v2, 400.000 elementi | circa 21 MB | sì | 34 ms |
- Questi valori sono la memoria aggiuntiva del server di cui il progetto ha bisogno, oltre a quella che il server usa senza di esso. Non sono la memoria dell’intero server.
- Il salvataggio di un intero progetto è limitato per impostazione predefinita a 192 MB di dati di progetto, circa 340.000 elementi LML o 430.000 elementi SysML v2. Un server self-hosted può alzare il limite; le prove con 400.000 elementi lo hanno fatto.
- Queste sono dimensioni testate con questo carico di lavoro, non una garanzia per ogni modello. Testi lunghi e molti diagrammi non facevano parte di questo test.
1.1.6 → 2.15.1
Holarch 1.1.6 è la prima versione misurata con questi test su progetti grandi. Gli stessi test sono stati eseguiti senza modifiche su 1.1.6 e su 2.15.1, con gli stessi progetti LML generati, sullo stesso computer e con gli stessi limiti del server.
| Misura | Holarch 1.1.6 | Holarch 2.15.1 |
|---|---|---|
| Memoria per 10.000 elementi, creazione, apertura, 200 modifiche e una versione | 220–250 MB | 40–55 MB da 20.000 elementi in su (80–110 MB a 5.000–10.000) |
| Lo stesso, con una versione scritta mentre il proprietario modifica | memoria esaurita a 25.000 elementi | 45–67 MB |
| Base: il server dopo un accesso | circa 125 MB | circa 130 MB |
| Scrittura di una versione di un progetto di 25.000 elementi | 7,5 s | 0,4 s |
| Progetto più grande testato | 25.000 elementi | 115.000 elementi, il massimo contenuto in un salvataggio da 64 MB |
| Passo | Elementi | Holarch 1.1.6 | Holarch 2.15.1 |
|---|---|---|---|
| Home | 25,000 / 50,000 | 36 s / 149 s | 0,7 s / 1,6 s |
| Pagina Controlli del modello | 25,000 / 50,000 | 66 s / 297 s | 0,4 s / 0,7 s |
| Matrice di tracciabilità (requisiti × casi di test) | 10,000 | 47 s | 0,2 s |
| Matrice di tracciabilità della verifica dei requisiti | 10,000 | 31 s | 0,1 s |
| Aprire un documento di 2.000 requisiti | 5,000 / 10,000 / 25,000 | 0,6 s / 0,6 s / 0,8 s | 0,5 s / 0,5 s / 0,5 s* |
| Salvataggio dopo una modifica | 5,000 / 10,000 / 25,000 / 50,000 | 0,2 s / 0,5 s / 30 s / 152 s | 0,15 s / 0,3 s / 0,8 s / 1,6 s* |
| Controllo di qualità di 2.000 requisiti | 10,000 | 30 s | 3,2 s |
| Progetto più grande sottoposto a ogni passaggio | — | 50.000 elementi, con la pagina che non risponde per oltre 2 minuti alla volta | 100.000 elementi; Home 3,2 s, matrice 0,3 s |
- * Misurato su 2.16.1, che ha reso questi due passaggi più veloci che in 2.15.1. Gli altri valori sono stati misurati su 2.15.1.
- In 1.1.6 la matrice di tracciabilità bloccava la pagina per oltre 2 minuti a 25.000 elementi, quindi lì non è stata misurata a dimensioni maggiori. In 2.15.1 si apre in meno di 0,3 s a ogni dimensione fino a 100.000 elementi.
La soglia di superamento
Il servizio ospitato viene sottoposto a test di carico con più persone che aprono e modificano un progetto contemporaneamente. Una dimensione di progetto supera il test quando il servizio soddisfa ogni condizione di questo scenario:
- Il server ha appena compattato la cronologia delle modifiche del progetto. In questo stato l’apertura di un progetto costa di più.
- 10 persone aprono il progetto nello stesso istante.
- Le stesse 10 persone lo modificano poi per 60 secondi, ognuna con una modifica al secondo.
- Conferma delle modifiche: il 95 % delle modifiche viene confermato dal server entro 1,5 secondi (p95 ≤ 1,5 s).
- Nessun errore: nessun errore del server.
Configurazione del test
- Il software del server di produzione, su una configurazione di test più lenta del servizio ospitato, quindi i risultati sono prudenti.
- I limiti delle risorse e le impostazioni del servizio ospitato.
- Il database e l’archiviazione dei file funzionavano sullo stesso computer, non in rete. Per ogni prova è stato avviato un nuovo server.
- Progetti LML generati: 40 % requisiti nelle specifiche, 20 % funzioni, 15 % componenti, 15 % casi di test, 5 % rischi e il resto input e output, con tre relazioni per elemento.
Risultati
| Elementi | Dati inviati per apertura | Durata di 10 aperture | Conferma delle modifiche p95 | Risultato |
|---|---|---|---|---|
| 50,000 | 27,2 MB | 3,7 s | 1,49 s | Superato |
| 50.000 (seconda prova) | 27,2 MB | 3,6 s | 1,08 s | Superato |
- Nessuna prova ha avuto errori del server.
- La modifica tipica (p50) è stata confermata in circa 30 ms in ogni prova. Le modifiche lente attendono dietro le grandi risposte delle aperture simultanee.
Limiti dei piani
| Piano | Elementi per progetto |
|---|---|
| Free / Accademico | 1.000 (2.000 in un’organizzazione per corsi attiva) |
| Individual | 5,000 |
| Team | 50,000 |
- Il servizio ospitato (app.holarch.app) contiene fino a 50.000 elementi per progetto in ogni piano; per programmi più grandi collegare i progetti. L’app desktop (Holarch installato sul proprio computer) è testata fino a 700.000 elementi per progetto in LML e 400.000 in SysML v2.
- Il salvataggio di un intero progetto, come l’importazione di un file di progetto, può essere al massimo di 192 MB di dati di progetto. Un progetto con testi lunghi può raggiungere questa dimensione prima del limite di elementi.
- Che cosa conta come elemento: vedere Prezzi.
- La memoria del computer di cui un progetto di ogni dimensione ha bisogno nel browser: vedere Requisiti di sistema.
Andata e ritorno: che cosa conserva ogni formato di scambio
Ogni modello è stato esportato in ogni formato applicabile e importato di nuovo in un nuovo progetto con le opzioni predefinite. Ogni elemento dell’originale è stato poi conteggiato come conservato, trasformato od omesso. Misurato in Holarch 2.21.0, uguale nel servizio ospitato e installato sul proprio computer.
- Conservato: ritrovato senza modifiche. Un elemento conserva classe, nome, numero, descrizione ed etichette; una relazione conserva tipo, le due estremità e i suoi attributi; un valore di attributo, una vista salvata o una descrizione formattata è uguale a prima.
- Trasformato: ritrovato con una differenza, ad esempio uno Statement che torna come Requirement, un numero o un’etichetta mancante, o un attributo di relazione che torna con il valore predefinito.
- Omesso: non presente nel nuovo progetto, perché il formato non ha posto per esso o una delle sue estremità è stata omessa.
| Formato | Elementi | Relazioni | Valori di attributo | Viste salvate | Documenti | Descrizioni formattate |
|---|---|---|---|---|---|---|
| File di progetto Holarch (.json) | 407 / 0 / 0 | 915 / 0 / 0 | 979 / 0 / 0 | 83 / 0 / 0 | 3 / 0 / 0 | 5 / 0 / 0 |
| Backup e pacchetto di progetto Holarch (.holarch)* | 424 / 0 / 0 | 949 / 0 / 0 | 1,104 / 0 / 0 | 84 / 0 / 0 | 3 / 0 / 0 | 5 / 0 / 0 |
| XMI UML/SysML, con dati Holarch | 317 / 0 / 90 | 631 / 0 / 284 | 672 / 0 / 307 | 0 / 3 / 80 | 0 / 0 / 3 | 5 / 0 / 0 |
| XMI UML/SysML, SysML semplice | 83 / 234 / 90 | 548 / 95 / 272 | 138 / 38 / 803 | 0 / 3 / 80 | 0 / 0 / 3 | 0 / 5 / 0 |
| Papyrus (.uml) | 317 / 0 / 90 | 631 / 0 / 284 | 672 / 0 / 307 | 0 / 3 / 80 | 0 / 0 / 3 | 5 / 0 / 0 |
| ReqIF | 407 / 0 / 0 | 879 / 21 / 15 | 979 / 0 / 0 | 0 / 0 / 83 | 3 / 0 / 0 | 5 / 0 / 0 |
| CSV, ogni attributo, etichette e relazioni | 393 / 14 / 0 | 810 / 96 / 9 | 979 / 0 / 0 | 0 / 0 / 83 | 3 / 0 / 0 | 5 / 0 / 0 |
| Copia SysML v2, poi copia LML | 348 / 41 / 18 | 703 / 56 / 156 | 857 / 33 / 89 | 26 / 7 / 50 | 3 / 0 / 0 | 0 / 5 / 0 |
* Misurato in Holarch 2.33.0 sulla demo CubeSat EO-1 attuale (424 elementi, 949 relazioni, 1.104 valori di attributo, 84 viste salvate, 3 documenti, 5 descrizioni formattate); nulla è stato trasformato od omesso.
- File di progetto e pacchetto di progetto: l’intero progetto, inclusi Home, Grafici, il cruscotto del programma e le impostazioni del progetto.
- XMI e Papyrus con dati Holarch: ogni elemento per cui SysML ha un elemento corrispondente torna senza modifiche, con classe LML, numero, etichette e attributi. I 90 elementi omessi sono attività, documenti, rischi, problemi, elementi di pianificazione, pericoli e altri elementi per cui SysML non ha un elemento; la maggior parte delle relazioni omesse si collega a essi. Tornano anche gli attributi di relazione come Trigger e Amount. I diagrammi diversi dai flussi dei diagrammi di Action non fanno parte di XMI.
- XMI senza dati Holarch: SysML 1.6 semplice. Gli Statement tornano come Requirement, e numeri, etichette e attributi LML non sono nel file.
- ReqIF: tornano ogni elemento, valore di attributo, etichetta e la struttura del documento, e le relazioni conservano i loro attributi. La molteplicità di una decomposizione non viene scritta, perché ReqIF conserva la decomposizione come struttura del documento. Le aggiunte allo schema proprie della demo (ad esempio, un Equation che soddisfa un Requirement) vengono saltate in un nuovo progetto, che ha lo schema standard.
- CSV: tornano ogni elemento e valore di attributo. Una tabella non ha posto per gli attributi di relazione, quindi questi tornano con i valori predefiniti, e le etichette che il nuovo progetto non ha vengono tralasciate.
- Copia SysML v2 e ritorno: una conversione con un report, non un formato di scambio. Le Measure e i numeri degli Asset non tornano, né alcune tracce.
| Formato | Hybrid Car, 708 elementi | Hybrid Car, dati Holarch | Battery Pack, 62 elementi |
|---|---|---|---|
| File di progetto Holarch (.json) | 708 / 0 / 0 | tutti conservati | 62 / 0 / 0 |
| Testo SysML v2 (.sysml) | 708 / 0 / 0 | non nel file | 62 / 0 / 0 |
| JSON SysML v2 | 708 / 0 / 0, id degli elementi conservati | non nel file | 62 / 0 / 0, id degli elementi conservati |
| Copia LML, poi copia SysML v2 | 22 / 184 / 502 | 21 di 27 elementi conservati | 6 / 21 / 35 |
- Testo e JSON SysML v2: ogni elemento del modello torna senza modifiche. Stato dei requisiti, risultati di verifica, rischi, documenti e altri dati Holarch viaggiano solo nel file di progetto.
- Copia LML e ritorno: il modello viene ricostruito dalla copia LML, quindi successioni, importazioni, metadati e la maggior parte della tipizzazione non tornano.
Ripetere il test: creare la demo da Nuovo progetto demo, esportarla in uno dei formati, importare il file in un nuovo progetto con le opzioni predefinite e confrontare i due progetti nel Database.
Che cosa non è stato misurato
- Progetti SysML v2, progetti con molti diagrammi e lunghe descrizioni in testo formattato.
- Più progetti grandi in uso nello stesso momento.
Domande su un modello delle proprie dimensioni: contattateci.