Limites testées
La taille de projet que Holarch gère
Les plus grands projets avec lesquels Holarch est testé, la mémoire navigateur et les temps d'ouverture qu'ils demandent, et le test de charge du service hébergé à l'origine de la limite d'éléments de chaque offre.
Performances
Mesurées avec des projets générés dans les deux langages de modélisation ; chiffres navigateur dans Safari sur un Mac. Chaque tableau indique la version de Holarch sur laquelle il a été mesuré.
- Application de bureau (Holarch installé sur votre ordinateur) : testée jusqu'à 700 000 éléments par projet en LML et 400 000 en SysML v2 (Au-delà de 250 000 éléments).
- Service hébergé (app.holarch.app) : jusqu'à 50 000 éléments par projet ; reliez des projets pour les programmes plus importants avec les liens entre projets, la Carte de programme et les bibliothèques (Limites des offres).
- Serveur Holarch auto-hébergé (Enterprise) : testé jusqu'à 400 000 éléments par projet, en LML et en SysML v2. Un projet reste sous 1 Go de mémoire serveur supplémentaire jusqu'à environ 330 000 éléments LML et au-delà de 400 000 éléments SysML v2 (Serveur auto-hébergé au-delà de 250 000 éléments).
Service hébergé : mémoire serveur
La mémoire serveur dont un projet a besoin lorsqu'il est ouvert, en plus de ce que le serveur utilise sans lui, par tranche de 10 000 éléments. Testé jusqu'à 50 000 éléments par projet, la limite du service hébergé.
| Langage | Par tranche de 10 000 éléments | Plus grand projet testé |
|---|---|---|
| LML | environ 17 Mo | 50 000 éléments |
| SysML v2 | 4–8 Mo | 50 000 éléments |
- Les chiffres correspondent à la mémoire supplémentaire d'un projet ouvert, pas à la mémoire du serveur entier. La base, un serveur fraîchement démarré après une connexion, est d'environ 130 Mo.
- La mémoire dont l'onglet d'un projet a besoin dans votre navigateur figure ci-dessous (Mémoire du navigateur).
Mémoire du navigateur
La page Holarch utilise environ 100 Mo sans projet ouvert. C'est la base. Les chiffres ci-dessous sont la mémoire dont l'onglet du navigateur a besoin en plus de la base par tranche de 10 000 éléments du projet, au point le plus haut pendant l'ouverture du projet.
| Langage | Service hébergé | Installé sur votre ordinateur |
|---|---|---|
| LML | 40–60 Mo | 50–70 Mo |
| SysML v2 | 100–155 Mo | 70–80 Mo |
- Le chiffre varie avec la taille du projet. Prévoyez le chiffre le plus élevé.
- La modification ajoute peu : après 100 modifications, l'onglet d'un projet LML n'utilisait pas plus de mémoire qu'avant. Pendant l'enregistrement des modifications, il peut brièvement avoir besoin d'environ 0,6 Go supplémentaires.
- La mémoire à prévoir pour chaque taille de projet : Configuration requise.
Temps d'ouverture
Du clic jusqu'à ce que la page soit prête à l'emploi. Un projet SysML v2 lance ensuite son premier contrôle du modèle en arrière-plan pendant que vous travaillez ; le second chiffre est le temps jusqu'à la fin de ce contrôle.
| Éléments | LML, hébergé | LML, installé | SysML v2, hébergé | SysML v2, installé |
|---|---|---|---|---|
| 50,000 | environ 1 s | environ 1 s | environ 2 s ; contrôle 4 s | non mesuré |
| 100,000 | — | environ 1 s | — | environ 2 s ; contrôle 5 s |
| 150,000 | — | non mesuré | — | non mesuré |
| 200,000 | — | environ 2 s | — | non mesuré |
| 250,000 | — | non mesuré | — | environ 6 s ; contrôle 14 s |
- Les temps en hébergé ont été mesurés sur un serveur de test. Une connexion réseau lente ajoute le temps de téléchargement du projet.
- — : au-delà de la limite du service hébergé de 50 000 éléments par projet.
- Confirmation des modifications et nombreuses personnes travaillant en même temps sur le service hébergé : voir Résultats des tests de charge.
- Vitesse et mémoire du moteur de langage SysML v2 seul : voir résultats des tests du Language Engine.
Au-delà de 250 000 éléments, installé sur votre ordinateur
Holarch 2.30.0 a ouvert dans Safari des projets générés de 400 000 et 700 000 éléments LML et un modèle SysML v2 de 400 000 éléments, a effectué une modification, l'a enregistrée et a fermé le projet. Rien n'a échoué.
| Projet | Ouverture | Travail en arrière-plan terminé | Mémoire du navigateur par tranche de 10 000 éléments, pendant l'ouverture |
|---|---|---|---|
| LML, 400 000 éléments | environ 4 s | 16 s | environ 105 Mo |
| LML, 700 000 éléments | environ 6 s | 21 s | environ 130 Mo |
| SysML v2, 400 000 éléments | environ 3 s | 19 s | environ 85 Mo |
- À ces tailles, c'est la mémoire de votre ordinateur qui fixe la limite.
- La page peut cesser de répondre pendant quelques secondes pendant l'ouverture d'un projet LML de cette taille et pendant l'enregistrement de sa première modification.
Serveur auto-hébergé au-delà de 250 000 éléments
Un serveur Holarch exécutant Holarch 2.30.0 a été testé avec des projets générés de 250 000 et 400 000 éléments LML, trois relations par élément, et un modèle SysML v2 de 400 000 éléments. Chaque projet a subi la charge de travail suivante :
- Enregistrer le projet entier sur le serveur, l'ouvrir et l'ouvrir de nouveau.
- Le propriétaire modifie depuis 10 pages à la fois pendant 60 secondes, chaque page effectuant une modification par seconde et rouvrant le projet toutes les 15 secondes.
- Un compactage de l'historique des modifications.
- Supprimer le projet.
Chaque phase a réussi : aucune erreur serveur et aucune modification rejetée.
| Projet | Par tranche de 10 000 éléments, phase la plus haute | Moins de 1 Go | Confirmation des modifications p95 |
|---|---|---|---|
| LML, 250 000 éléments | environ 31 Mo | oui | 30 ms |
| LML, 400 000 éléments | environ 30 Mo | non, à partir d'environ 330 000 éléments | 60 ms |
| SysML v2, 400 000 éléments | environ 21 Mo | oui | 34 ms |
- Ces chiffres correspondent à la mémoire serveur supplémentaire dont le projet a besoin, au-delà de ce que le serveur utilise sans lui. Ce n'est pas la mémoire du serveur entier.
- Un enregistrement de projet entier est limité par défaut à 192 Mo de données de projet, soit environ 340 000 éléments LML ou 430 000 éléments SysML v2. Un serveur auto-hébergé peut relever cette limite ; les essais à 400 000 éléments l'ont fait.
- Ce sont des tailles testées avec cette charge de travail, pas une garantie pour chaque modèle. Les textes longs et les nombreux diagrammes ne faisaient pas partie de ce test.
1.1.6 → 2.15.1
Holarch 1.1.6 est la première version mesurée avec ces tests de grands projets. Les mêmes tests ont été exécutés sans modification sur 1.1.6 et sur 2.15.1, avec les mêmes projets LML générés, sur le même ordinateur et avec les mêmes limites de serveur.
| Mesure | Holarch 1.1.6 | Holarch 2.15.1 |
|---|---|---|
| Mémoire par tranche de 10 000 éléments : création, ouverture, 200 modifications et une version | 220–250 Mo | 40–55 Mo à partir de 20 000 éléments (80–110 Mo entre 5 000 et 10 000) |
| Idem, avec une version écrite pendant que le propriétaire modifie | mémoire épuisée à 25 000 éléments | 45–67 Mo |
| Base : le serveur après une connexion | environ 125 Mo | environ 130 Mo |
| Écriture d'une version d'un projet de 25 000 éléments | 7,5 s | 0,4 s |
| Plus grand projet testé | 25 000 éléments | 115 000 éléments, le maximum que contient un enregistrement de 64 Mo |
| Étape | Éléments | Holarch 1.1.6 | Holarch 2.15.1 |
|---|---|---|---|
| Accueil | 25,000 / 50,000 | 36 s / 149 s | 0,7 s / 1,6 s |
| Page des contrôles du modèle | 25,000 / 50,000 | 66 s / 297 s | 0,4 s / 0,7 s |
| Matrice de traçabilité (exigences × cas de test) | 10,000 | 47 s | 0,2 s |
| Matrice de traçabilité de la vérification des exigences | 10,000 | 31 s | 0,1 s |
| Ouvrir un document de 2 000 exigences | 5,000 / 10,000 / 25,000 | 0,6 s / 0,6 s / 0,8 s | 0,5 s / 0,5 s / 0,5 s* |
| Enregistrer après une modification | 5,000 / 10,000 / 25,000 / 50,000 | 0,2 s / 0,5 s / 30 s / 152 s | 0,15 s / 0,3 s / 0,8 s / 1,6 s* |
| Contrôle qualité de 2 000 exigences | 10,000 | 30 s | 3,2 s |
| Plus grand projet passé par toutes les étapes | — | 50 000 éléments, avec la page ne répondant plus pendant plus de 2 minutes d'affilée | 100 000 éléments ; Accueil 3,2 s, matrice 0,3 s |
- * Mesuré sur 2.16.1, qui a rendu ces deux étapes plus rapides qu'en 2.15.1. Les autres chiffres ont été mesurés sur 2.15.1.
- En 1.1.6, la matrice de traçabilité bloquait la page pendant plus de 2 minutes à 25 000 éléments ; elle n'y a donc pas été mesurée à des tailles supérieures. En 2.15.1, elle s'ouvre en moins de 0,3 s à toutes les tailles jusqu'à 100 000 éléments.
Le critère de réussite
Le service hébergé est testé en charge avec plusieurs personnes qui ouvrent et modifient un même projet en même temps. Une taille de projet est validée lorsque le service remplit toutes les conditions de ce scénario :
- Le serveur vient de compacter l'historique des modifications du projet. L'ouverture d'un projet coûte le plus dans cet état.
- 10 personnes ouvrent le projet au même moment.
- Les mêmes 10 personnes le modifient ensuite pendant 60 secondes, chacune effectuant une modification par seconde.
- Confirmation des modifications : 95 % des modifications sont confirmées par le serveur en 1,5 seconde au plus (p95 ≤ 1,5 s).
- Aucun échec : aucune erreur serveur.
Configuration de test
- Le logiciel serveur de production, sur une configuration de test plus lente que le service hébergé : les résultats sont donc prudents.
- Les limites de ressources et les paramètres du service hébergé.
- La base de données et le stockage de fichiers fonctionnaient sur le même ordinateur, pas en réseau. Un serveur neuf était démarré pour chaque essai.
- Projets LML générés : 40 % d'exigences dans des spécifications, 20 % de fonctions, 15 % de composants, 15 % de cas de test, 5 % de risques et le reste en entrées et sorties, avec trois relations par élément.
Résultats
| Éléments | Données envoyées par ouverture | Durée des 10 ouvertures | Confirmation des modifications p95 | Résultat |
|---|---|---|---|---|
| 50,000 | 27,2 Mo | 3,7 s | 1,49 s | Réussite |
| 50 000 (second essai) | 27,2 Mo | 3,6 s | 1,08 s | Réussite |
- Aucun essai n'a produit d'erreur serveur.
- La modification typique (p50) a été confirmée en environ 30 ms dans chaque essai. Les modifications lentes attendent derrière les grosses réponses des ouvertures simultanées.
Limites des offres
| Offre | Éléments par projet |
|---|---|
| Free / Academic | 1 000 (2 000 dans une organisation de classe active) |
| Individual | 5,000 |
| Team | 50,000 |
- Le service hébergé (app.holarch.app) accueille jusqu'à 50 000 éléments par projet dans toutes les offres ; reliez des projets pour les programmes plus importants. L'application de bureau (Holarch installé sur votre ordinateur) est testée jusqu'à 700 000 éléments par projet en LML et 400 000 en SysML v2.
- Un enregistrement de projet entier, comme l'import d'un fichier de projet, peut atteindre au plus 192 Mo de données de projet. Un projet contenant de longs textes peut atteindre cette taille avant la limite d'éléments.
- Ce qui compte comme un élément : voir Tarifs.
- La mémoire informatique dont un projet de chaque taille a besoin dans le navigateur : voir Configuration requise.
Allers-retours : ce que conserve chaque format d'échange
Chaque modèle a été exporté dans chaque format applicable, puis réimporté dans un nouveau projet avec les options par défaut. Chaque élément de l'original a ensuite été compté comme conservé, transformé ou perdu. Mesuré dans Holarch 2.21.0, à l'identique dans le service hébergé et en version installée sur votre ordinateur.
- Conservé : retrouvé à l'identique. Un élément conserve sa classe, son nom, son numéro, sa description et ses étiquettes ; une relation conserve son type, ses deux extrémités et ses attributs ; une valeur d'attribut, une vue enregistrée ou une description mise en forme est identique.
- Transformé : retrouvé avec une différence, par exemple un Statement qui revient sous forme de Requirement, un numéro ou une étiquette manquants, ou un attribut de relation qui revient avec sa valeur par défaut.
- Perdu : absent du nouveau projet, parce que le format n'a pas de place pour lui ou que l'une de ses extrémités a été perdue.
| Format | Éléments | Relations | Valeurs d'attributs | Vues enregistrées | Documents | Descriptions mises en forme |
|---|---|---|---|---|---|---|
| Fichier de projet Holarch (.json) | 407 / 0 / 0 | 915 / 0 / 0 | 979 / 0 / 0 | 83 / 0 / 0 | 3 / 0 / 0 | 5 / 0 / 0 |
| Sauvegarde et paquet de projet Holarch (.holarch)* | 424 / 0 / 0 | 949 / 0 / 0 | 1,104 / 0 / 0 | 84 / 0 / 0 | 3 / 0 / 0 | 5 / 0 / 0 |
| XMI UML/SysML, avec les données Holarch | 317 / 0 / 90 | 631 / 0 / 284 | 672 / 0 / 307 | 0 / 3 / 80 | 0 / 0 / 3 | 5 / 0 / 0 |
| XMI UML/SysML, SysML simple | 83 / 234 / 90 | 548 / 95 / 272 | 138 / 38 / 803 | 0 / 3 / 80 | 0 / 0 / 3 | 0 / 5 / 0 |
| Papyrus (.uml) | 317 / 0 / 90 | 631 / 0 / 284 | 672 / 0 / 307 | 0 / 3 / 80 | 0 / 0 / 3 | 5 / 0 / 0 |
| ReqIF | 407 / 0 / 0 | 879 / 21 / 15 | 979 / 0 / 0 | 0 / 0 / 83 | 3 / 0 / 0 | 5 / 0 / 0 |
| CSV, tous les attributs, étiquettes et relations | 393 / 14 / 0 | 810 / 96 / 9 | 979 / 0 / 0 | 0 / 0 / 83 | 3 / 0 / 0 | 5 / 0 / 0 |
| Copie SysML v2, puis copie LML | 348 / 41 / 18 | 703 / 56 / 156 | 857 / 33 / 89 | 26 / 7 / 50 | 3 / 0 / 0 | 0 / 5 / 0 |
* Mesuré dans Holarch 2.33.0 sur la démo CubeSat EO-1 actuelle (424 éléments, 949 relations, 1 104 valeurs d'attributs, 84 vues enregistrées, 3 documents, 5 descriptions mises en forme) ; rien n'a été transformé ni perdu.
- Fichier de projet et paquet de projet : le projet entier, y compris l'Accueil, les graphiques, le tableau de bord du programme et les paramètres du projet.
- XMI et Papyrus avec les données Holarch : chaque élément pour lequel SysML possède un équivalent revient à l'identique, avec sa classe LML, son numéro, ses étiquettes et ses attributs. Les 90 éléments perdus sont des tâches, documents, risques, problèmes, éléments de planning, dangers et autres éléments sans équivalent SysML ; la plupart des relations perdues s'y rattachent. Les attributs de relation comme Trigger et Amount reviennent aussi. Les diagrammes autres que les flux des diagrammes d'action ne font pas partie du XMI.
- XMI sans les données Holarch : SysML 1.6 simple. Les Statements reviennent sous forme de Requirements, et les numéros, étiquettes et attributs LML ne figurent pas dans le fichier.
- ReqIF : chaque élément, valeur d'attribut, étiquette et la structure du document reviennent, et les relations conservent leurs attributs. La multiplicité d'une décomposition n'est pas écrite, car ReqIF porte la décomposition sous forme de structure du document. Les ajouts propres au schéma de la démo (par exemple, une Equation qui satisfait un Requirement) sont ignorés dans un nouveau projet, qui a le schéma standard.
- CSV : chaque élément et chaque valeur d'attribut reviennent. Un tableau n'a pas de place pour les attributs de relation : ceux-ci reviennent avec leurs valeurs par défaut, et les étiquettes que le nouveau projet ne possède pas sont laissées de côté.
- Copie SysML v2 et retour : une conversion avec rapport, pas un format d'échange. Les Measures et les numéros d'Asset ne reviennent pas, ni certaines traces.
| Format | Hybrid Car, 708 éléments | Hybrid Car, données Holarch | Battery Pack, 62 éléments |
|---|---|---|---|
| Fichier de projet Holarch (.json) | 708 / 0 / 0 | tout conservé | 62 / 0 / 0 |
| Texte SysML v2 (.sysml) | 708 / 0 / 0 | absent du fichier | 62 / 0 / 0 |
| JSON SysML v2 | 708 / 0 / 0, identifiants des éléments conservés | absent du fichier | 62 / 0 / 0, identifiants des éléments conservés |
| Copie LML, puis copie SysML v2 | 22 / 184 / 502 | 21 éléments sur 27 conservés | 6 / 21 / 35 |
- Texte et JSON SysML v2 : chaque élément du modèle revient à l'identique. Le statut des exigences, les résultats de vérification, les risques, les documents et les autres données Holarch ne voyagent que dans le fichier de projet.
- Copie LML et retour : le modèle est reconstruit à partir de la copie LML : les successions, imports, métadonnées et la plupart des typages ne reviennent pas.
Refaire le test : créez la démo depuis Nouveau projet de démonstration, exportez-la dans l'un des formats, importez le fichier dans un nouveau projet avec les options par défaut et comparez les deux projets dans la Base de données.
Ce qui n'a pas été mesuré
- Les projets SysML v2, les projets avec de nombreux diagrammes et les longues descriptions en texte enrichi.
- Plusieurs grands projets utilisés au même moment.
Des questions sur un modèle de votre taille : nous contacter.