Nos méthodes de test
Comment nous testons Holarch
Les contrôles que chaque version franchit avant de vous parvenir, comment une version arrive sur le service hébergé, comment les preuves sont rendues publiques et ce que ces tests ne montrent pas.
Chaque version
Chaque version est construite dans une copie propre du code source, jamais dans une copie de travail. La build passe ensuite par la barrière de publication : un ensemble fixe de contrôles automatisés. Un contrôle en échec arrête la publication. La cause est corrigée, et les contrôles en échec sont relancés avant que la publication se poursuive.
- Build de publication : l'application est construite pour la publication, et le code construit est vérifié par rapport à la politique de sécurité du contenu de la page.
- Build du moteur de langage : le moteur de langage compilé est reconstruit à partir de son code source, et le résultat doit correspondre à la build livrée.
- Tests de garde du moteur : entrées profondes, longues, larges, cycliques et hors limites sur chaque opération du moteur, avec des limites de temps de réponse et de mémoire, et une vérification que le temps croît proportionnellement à la taille de l'entrée.
- Audit des dépendances : les dépendances tierces du moteur sont vérifiées quant aux avis de sécurité connus, aux licences et aux sources.
- Lint anti-injection : un lint fait échouer la publication pour tout endroit du code qui insère du HTML ou exécute du texte comme du code, sauf si cet endroit a été revu et consigné comme sûr.
- Fichiers tiers : chaque fichier tiers livré avec l'application doit correspondre à sa somme de contrôle enregistrée.
- Performances : l'application construite est chronométrée sur un grand projet généré, dans le navigateur et sur le serveur, par rapport à des limites fixes.
- Tests de fumée : l'application construite est ouverte et utilisée dans un vrai navigateur, Safari, à la fois comme application de bureau et en mode serveur, comme le service hébergé l'exécute.
- Tests de ce qui a changé : les suites de tests navigateur de chaque domaine modifié par la version, dans les deux modes lorsque le domaine les a tous deux, et les tests Python de chaque module serveur modifié.
Les tests navigateur pilotent l'application comme le fait une personne : ils cliquent, font glisser et tapent dans la page, puis vérifient le modèle et l'écran.
De la version au service hébergé
- La préproduction d'abord : chaque version s'exécute sur un service de préproduction distinct avant la production. La production n'accepte qu'une build qui a tourné en préproduction.
- Sauvegarde avant les modifications de base de données : avant qu'une version ne modifie la base de données, une copie de celle-ci est enregistrée.
- Contrôles de santé : après la bascule, le service doit répondre comme sain et indiquer la version publiée.
- Retour arrière : la version précédente est conservée. Si la nouvelle version échoue à son contrôle de santé, le service revient à la version précédente.
Les sauvegardes du service hébergé font l'objet d'un test de restauration chaque semaine ; voir Objectifs de service.
Le Language Engine
Le Holarch Language Engine analyse, résout et contrôle du texte SysML v2 et KerML. En plus des contrôles de version, il est mesuré selon un plan de recette écrit. Les critères d'acceptation ont été consignés avant toute mesure ; une modification ultérieure d'un critère constitue une nouvelle version numérotée de la méthode, consignée avec sa raison, et les résultats antérieurs conservent la version selon laquelle ils ont été mesurés. Un résultat publié n'est jamais modifié ; une correction est une nouvelle exécution qui désigne celle qu'elle remplace.
- Modèles d'exemple : le moteur est testé sur les modèles d'exemple SysML v2 du dépôt officiel des versions de l'Object Management Group (les ensembles training, examples et validation), figé sur une version précise.
- Tests différentiels : les résultats du moteur sur ces modèles sont comparés à l'implémentation pilote de l'OMG : si chaque modèle est accepté, et à quel élément chaque nom se lie. Chaque désaccord est examiné individuellement et classé comme bogue du moteur, fonctionnalité du langage non prise en charge, erreur dans l'exemple ou différence dans l'implémentation pilote.
- Robustesse : de grands ensembles d'entrées endommagées, comme des accolades manquantes, des déclarations tronquées, des imports cassés, des cycles, des caractères invalides et des fautes de frappe courantes, vérifient que le moteur ne plante jamais, donne la même réponse une fois le dommage réparé et continue de contrôler le reste du modèle.
- Échelle : de très grands modèles générés mesurent le temps de réponse des modifications, le temps d'analyse d'un modèle entier, l'utilisation de la mémoire et l'évolution du temps avec la taille du modèle.
- Fuzzing : les points d'entrée de requête, du lexer et du parser du moteur sont testés par fuzzing.
- Cas de test : les tests propres au moteur sont écrits à partir du texte de la spécification, et chacun est étiqueté avec la clause qu'il vérifie.
Les résultats, échecs compris, avec la version du moteur, la version de la méthode et les défauts connus : résultats de test du Language Engine. Ce que couvre aujourd'hui la prise en charge du langage, et ses lacunes connues : couverture du langage SysML v2.
Preuve publique : le modèle de référence EO-1
Le modèle de référence EO-1 est un modèle complet d'un CubeSat construit dans Holarch, des besoins jusqu'aux preuves vérifiées. Son fichier de projet et ses exports sont téléchargeables gratuitement, pour que chacun puisse ouvrir le modèle et vérifier sa traçabilité par lui-même.
Un cycle de vérification formel sur le modèle EO-1 suit une modification d'exigence au sein d'un programme formel : un nouveau test en échec, une non-conformité et sa dispense, des dangers et des modes de défaillance, la signature, la revue et la nouvelle référence.
Taille des projets
Les limites d'éléments de chaque offre reposent sur un test de charge du service hébergé. Limites testées décrit le test, son seuil de réussite, ses résultats et ce qu'il n'a pas mesuré.
Ce que ces tests ne montrent pas
- Il s'agit des tests propres à Holarch. Ce n'est pas une certification, et le service hébergé ne détient aucune certification de sécurité ; voir Certifications.
- Les résultats du moteur rapportent ce que les tests de Holarch ont trouvé sur les modèles exécutés. L'Object Management Group ne les a ni examinés ni approuvés.
- Un examen indépendant de la méthode de test est prévu.
- Les tests réduisent le risque de défaut ; ils ne l'excluent pas. Signalez un problème avec Envoyer un avis dans l'application ou à [email protected].