Holarch

Guide · Vérification

Vérification et validation en ingénierie système

Écouter ce guide (audio en anglais) 29 min

La vérification montre qu'un système satisfait ses exigences ; la validation montre qu'il répond aux besoins des parties prenantes dans l'usage prévu. Ce guide traite des définitions de l'ISO/IEC/IEEE 15288, de la référence à laquelle chacune se compare, de leur place dans le cycle de vie, des quatre méthodes de vérification, des activités de validation, de la vérification et de la validation des modèles, de la traçabilité qui les sous-tend, et des erreurs qui les confondent, sur l'exemple d'un CubeSat 6U.

Sur cette page
  1. La réponse courte
  2. Définitions de l'ISO/IEC/IEEE 15288
  3. La référence de chacune
  4. Quand chacune intervient dans le cycle de vie
    1. Le V
    2. V&V incrémentale et continue
  5. Les quatre méthodes de vérification
  6. Activités de validation
    1. La validation pour EO-1
  7. Vérification et validation des modèles
  8. La traçabilité qui sous-tend les deux
  9. Les preuves de vérification en pratique : TC-06
  10. Vérification et validation comparées
  11. Confusions courantes
  12. Comment Holarch enregistre chacune
    1. L'essayer dans Holarch
  13. Questions fréquentes
    1. Laquelle vient en premier, la vérification ou la validation ?
    2. Une même activité peut-elle faire les deux ?
    3. Qui réalise la validation ?
    4. Que se passe-t-il quand la validation échoue alors que la vérification a réussi ?
  14. Pour aller plus loin

La réponse courte

La vérification demande : avons-nous bien construit le système ? Elle compare le système à ses exigences, énoncé par énoncé, et produit la preuve que chacune est satisfaite. La validation demande : avons-nous construit le bon système ? Elle compare le système à ce dont ses parties prenantes ont besoin et à la façon dont elles l'utiliseront, et produit la preuve que le système fait le travail pour lequel il a été acheté.

Les deux questions se ressemblent et sont souvent traitées par la même équipe avec le même équipement, mais elles peuvent donner des réponses différentes. Un système peut satisfaire toutes ses exigences et pourtant décevoir ses utilisateurs, parce qu'une exigence manquait, était fausse ou avait été rédigée pour un autre usage que l'usage réel. Un système peut aussi bien servir ses utilisateurs tout en ne satisfaisant pas une exigence qui s'avère sans importance. L'ingénierie des systèmes garde les deux séparées parce que chacune détecte des erreurs que l'autre ne voit pas.

La formule « bien construire le produit » face à « construire le bon produit » est généralement attribuée aux premiers travaux de Barry Boehm sur le génie logiciel, et elle reste la façon la plus courte de retenir la différence.

Définitions de l'ISO/IEC/IEEE 15288

L'ISO/IEC/IEEE 15288, la norme internationale des processus du cycle de vie des systèmes, traite la vérification et la validation comme deux processus techniques distincts : le processus de vérification (article 6.4.9) et le processus de validation (article 6.4.11). L'intégration précède la vérification, et la transition se situe entre les deux : le système est vérifié tel que construit, remis à son environnement d'exploitation, puis validé dans celui-ci.

  • La vérification est la confirmation, par des preuves objectives, que des exigences spécifiées ont été satisfaites. Son objet dans la norme est de montrer que le système ou l'élément satisfait ses exigences et caractéristiques, et de signaler toute anomalie trouvée en chemin.
  • La validation est la confirmation, par des preuves objectives, que les exigences pour une utilisation ou une application prévue spécifique ont été satisfaites. Son objet est de montrer que le système, utilisé dans son environnement prévu, répond aux besoins des parties prenantes et atteint ses objectifs métier ou de mission.

Les deux définitions reposent sur des preuves objectives : un résultat mesuré, un rapport d'analyse, un enregistrement d'inspection ou une démonstration observée que quelqu'un d'autre pourrait contrôler. Une opinion, un « ça avait l'air bien » ou un test que personne n'a consigné ne sont pas des preuves. La différence entre les deux tient à la référence à laquelle chacune se compare.

Le Systems Engineering Handbook de l'INCOSE (5e édition, sections 2.3.5.9 et 2.3.5.11) suit la même séparation, et le NASA Systems Engineering Handbook (NASA/SP-2016-6105 Rev 2) leur attribue des processus de réalisation du produit distincts : la vérification du produit (section 5.3) et la validation du produit (section 5.4). Le manuel de la NASA formule clairement un point utile : la vérification montre que le produit a été construit selon la spécification ; la validation montre que la spécification, et donc le produit, étaient les bons.

La référence de chacune

La façon la plus claire de les distinguer est de demander à quoi la preuve est comparée.

  • La vérification se compare aux exigences. La référence est constituée des énoncés « shall » des spécifications du système, des sous-systèmes et des composants. Ils sont rédigés par l'équipe d'ingénierie, convenus avec les parties prenantes, et formulés de sorte qu'un test, une analyse, une inspection ou une démonstration puisse donner un verdict réussi ou échoué. L'ISO/IEC/IEEE 29148 range vérifiable parmi les caractéristiques que toute exigence doit avoir (article 5.2.5) précisément pour cette raison : une exigence qui ne peut pas être vérifiée ne peut pas du tout participer à la vérification.
  • La validation se compare aux besoins des parties prenantes et à l'usage prévu. La référence est ce qu'attendent les utilisateurs, opérateurs, clients et autres parties prenantes, dans leurs propres termes, avec les conditions de l'usage réel : les scénarios opérationnels, l'environnement, les personnes qui exploiteront le système et les mesures d'efficacité qui disent ce que « bon » signifie pour eux. Les besoins sont souvent qualitatifs ; la validation s'appuie donc sur des scénarios, des simulations, des essais en conditions réelles et le jugement des parties prenantes autant que sur la mesure.

La comparaison des besoins et des exigences du guide de la traçabilité le dit en une ligne : les besoins sont validés, les exigences sont vérifiées. Tout le reste de ce guide en découle.

Quand chacune intervient dans le cycle de vie

Le V

Le cycle en V représente le cycle de vie sous la forme d'un V. La branche gauche descend à travers la décomposition et la définition : concept d'opérations, exigences système, conception générale, conception détaillée. La réalisation se situe en bas. La branche droite remonte à travers l'intégration et le contrôle, et chaque étape de droite répond à l'étape qui lui fait face :

Branche droiteSe compare à (branche gauche)Type
Vérification unitaireConception détailléeVérification
Vérification des sous-systèmesConception généraleVérification
Vérification du systèmeExigences systèmeVérification
Validation du systèmeConcept d'opérations et besoins des parties prenantesValidation

La paire du haut est la seule paire de validation, d'où l'image fréquente de la validation comme dernière étape. Le V montre où les preuves finales sont produites, pas quand le travail commence. Chaque activité de vérification et de validation est planifiée sur la branche gauche, en même temps que l'élément qu'elle contrôle : l'approche de validation avec le concept d'opérations, la méthode de vérification avec chaque exigence.

V&V incrémentale et continue

Attendre d'avoir un système intégré pour se demander si c'est le bon est la façon la plus coûteuse d'apprendre qu'il ne l'est pas. La pratique répartit les deux activités sur tout le cycle de vie :

  • Validation précoce. Concepts, maquettes, produits échantillons et simulations sont présentés aux parties prenantes bien avant que le matériel n'existe. Chaque revue réduit le risque que les exigences traduisent un mauvais besoin.
  • Vérification à chaque niveau. Les composants sont vérifiés avant l'intégration, les sous-systèmes avant le système. Un défaut trouvé sur le banc coûte bien moins qu'un défaut trouvé lors du test du système.
  • V&V continue en développement itératif. Les équipes qui livrent par incréments, comme les équipes logicielles pratiquant l'intégration continue, exécutent une vérification automatisée à chaque build et valident chaque incrément avec les utilisateurs. Les deux questions restent les mêmes ; elles sont simplement posées bien plus souvent.

Les quatre méthodes de vérification

La plupart des normes et des manuels utilisent les mêmes quatre méthodes. Le guide de la RVTM explique comment choisir entre elles ; chacune est montrée ici avec une ligne du CubeSat EO-1 utilisé tout au long de ce guide, un satellite 6U fictif qui photographie des terres agricoles dans quatre bandes spectrales depuis une orbite de 500 km, avec 32 exigences dans sa spécification.

Inspection
Examiner l'élément ou ses enregistrements sans le faire fonctionner. 3.4 Bus Regulation d'EO-1 (12 V à 2 % près) est vérifiée par TC-18 Bus Regulation Inspection, une revue de la conception de l'unité de distribution de puissance et de ses données de qualification aux échelons de charge. Elle a réussi : le pire cas était de 11,81 V, dans la plage de 11,76 à 12,24 V.
Analyse
Calcul, modélisation ou simulation, souvent alimentés par des données d'essais de niveau inférieur. 1.7 Mission Lifetime (730 jours en orbite) ne peut pas être testée au sol ; TC-16 Lifetime Reliability Analysis combine donc les taux de défaillance des pièces, la dose de rayonnement et la perte de capacité de la batterie. Elle a réussi avec une probabilité de 0,86 de fonctionner pendant 730 jours, pour un minimum de 0,8.
Démonstration
Faire fonctionner l'élément pour montrer qu'il fait quelque chose, sous observation mais sans mesure précise. 6.1 Contact Scheduling (contacts réservés 48 heures à l'avance) doit être montrée par TC-20 Operations Rehearsal : 14 jours de planification des contacts avec le réseau sol partenaire. Elle n'a pas encore été exécutée.
Test
Faire fonctionner l'élément dans des conditions maîtrisées et mesurer le résultat par rapport à une valeur. 3.2 Battery Capacity (au moins 77 Wh en début de vie) est vérifiée par TC-07 Battery Capacity Test, une décharge à C/2 à 20 °C. Il a réussi avec 78,3 Wh.

Les quatre sont de la vérification. Une démonstration n'est pas « un test plus souple », et une analyse n'est pas une activité de validation simplement parce qu'elle utilise un modèle : ce qui fait de chacune une vérification, c'est que le critère de réussite vient d'une exigence.

Activités de validation

La validation utilise nombre des mêmes techniques, tournées vers une autre référence. Les formes courantes sont :

  • Scénarios opérationnels. Faire parcourir au système, ou à un modèle de celui-ci, le concept d'opérations : une journée nominale, un mode dégradé, une passation entre opérateurs. La question est de savoir si le scénario atteint ce que voulait la partie prenante, et non si chaque étape tient son chiffre.
  • Simulation de mission. Exécuter le concept opérationnel dans une simulation avec des environnements et des variations réalistes, puis lire les résultats à la lumière des mesures d'efficacité (MOE), les mesures, orientées parties prenantes, de la façon dont la mission remplit son rôle.
  • Revues avec les parties prenantes. Montrer aux utilisateurs des concepts, des prototypes, des produits échantillons ou des interfaces et consigner leur jugement. Précoce, peu coûteux, et souvent la première occasion où un besoin manquant apparaît.
  • Essais opérationnels et pilotes. De vrais utilisateurs, de vraies procédures, un environnement représentatif. Souvent la preuve de validation décisive, et dans de nombreux programmes une évaluation opérationnelle formelle menée par un organisme indépendant.

La validation pour EO-1

Le modèle EO-1 contient trois besoins de parties prenantes, chacun tracé vers les exigences qui le formalisent, et une troisième suite de tests, TS-3 Mission Validation, avec un événement de validation par besoin. Les deux font partie du modèle de référence EO-1 (v1.0) et des projets de démonstration créés dans Holarch 2.2.1 ou ultérieur.

BesoinExigences (vérifiées)Événement de validationStatut
N1 Same-Day Crop Stress Alerts6.2 Image Delivery (dans les 6 heures suivant la liaison descendante), 6.5 Planning Cycle Time (en moins de 100 minutes)VAL-01 Customer Alert Pilot : des passages enregistrés au-dessus de trois exploitations pilotes traités par la planification, le traitement et le portail client, les agronomes des exploitations utilisant les alertes dans leur routine quotidienneNon exécuté
N2 Twice-Weekly Revisit1.6 Revisit Time (dans les 72 heures), via 1.6.1 Ground Track Repeat et 1.6.2 Off-Nadir ImagingVAL-02 Growing Season Revisit Simulation : une saison d'imagerie sur la liste des cibles des clients avec la trace au sol prévue, la limite hors nadir et la nébulosité historiqueNon exécuté
N3 Field-Level Vegetation Maps1.2 Ground Sample Distance (4,5 m), 1.4 Spectral Bands (quatre bandes, 450–900 nm)VAL-03 Agronomist Map Review : des agronomes examinent des cartes de végétation réalisées à partir d'images aéroportées rééchantillonnées à 4,5 m dans les quatre bandes d'EO-1Réussi : les 12 cartes échantillons acceptées

Chaque ligne montre pourquoi la validation n'est pas une répétition de la vérification. 1.6 demande une revisite dans les 72 heures, une propriété de l'orbite et des limites de pointage, et TC-13 Ground Track Repeat Analysis a déjà montré une répétition de 3 jours et 0,4 heure. Mais les agriculteurs ont besoin d'images exploitables deux fois par semaine, et les nuages n'apparaissent pas dans 1.6. Seule une simulation intégrant des statistiques de nébulosité (VAL-02) peut dire si l'exigence, satisfaite telle que rédigée, répond au besoin. Si ce n'est pas le cas, la correction est une exigence nouvelle ou modifiée, pas un meilleur test.

N1 est similaire. 6.2 et 6.5 chiffrent la chaîne de livraison, et l'analyse de Monte Carlo de 6.5 (voir le guide Monte Carlo) situe la probabilité de tenir les 100 minutes à environ 97,6 %. Savoir si un agronome est réellement informé d'un stress des cultures le jour du survol, sous une forme sur laquelle il peut agir, est une autre question, et VAL-01 la pose avec de vrais utilisateurs.

VAL-03 a été exécuté en premier, avant tout matériel de vol, car il ne nécessite que des images échantillons et des personnes. C'est de la validation précoce : elle a confirmé que 4,5 m dans quatre bandes suffisent pour des cartes à l'échelle de la parcelle avant que la conception de la caméra ne soit figée. Deux relecteurs ont demandé des superpositions des limites de parcelles, un possible nouveau besoin consigné avec le résultat.

Vérification et validation des modèles

En ingénierie des systèmes basée sur les modèles, le modèle lui-même est un produit d'ingénierie, et les deux mêmes questions s'y appliquent. Les pratiques de la défense et de l'aérospatiale les définissent pour les modèles et simulations depuis des décennies (DoD Instruction 5000.61 sur la vérification, la validation et l'accréditation ; NASA-STD-7009 sur la crédibilité des modèles et simulations) :

  • Vérification du modèle : le modèle est-il correctement construit ? Sa réalisation correspond-elle à sa propre spécification et aux règles de modélisation : aucune durée manquante dans un flux simulé, aucune fonction réalisée par personne, aucune exigence sans événement de vérification, des équations dimensionnellement cohérentes, un code qui calcule ce que son auteur voulait ?
  • Validation du modèle : est-ce le bon modèle pour son objectif ? Représente-t-il le système réel d'assez près pour les décisions qu'il appuiera ? On y répond en comparant le modèle à la réalité : données d'essais, données de vol, un modèle de plus haute fidélité digne de confiance.
  • L'accréditation, dans l'usage du DoD, est la décision formelle qu'un modèle est acceptable pour un usage précis, sur la base de ses preuves de vérification et de validation.

EO-1 présente un cas clair. Son budget de puissance convertit la puissance crête mesurée des panneaux en puissance moyenne en orbite avec l'équation EQ-1.3 : moyenne orbitale = crête × 0,62 (fraction éclairée) × 0,6 (rendement de la chaîne de puissance). Vérifier cette équation consiste à contrôler l'arithmétique, les unités et ses liens. La valider consiste à se demander si 0,62 et 0,6 correspondent à l'orbite réelle et à la chaîne de puissance réelle, par exemple en comparant la prédiction avec la puissance moyenne en orbite mesurée sur la flatsat pendant une orbite simulée. Le verdict sur l'exigence 3.1 ci-dessous dépend entièrement de cette équation ; une EQ-1.3 non validée rendrait donc non concluant même un test parfait.

La règle empirique : lorsqu'une analyse ou une simulation sert de preuve de vérification, son modèle a besoin de ses propres preuves de validation, proportionnées à l'importance de la décision qui repose sur lui.

La traçabilité qui sous-tend les deux

La vérification et la validation ont chacune besoin de leur propre chaîne de liens :

  • Besoins → validation. Chaque besoin de partie prenante est lié à l'activité de validation qui montrera qu'il est satisfait dans l'usage prévu, et aux exigences qui le formalisent.
  • Exigences → vérification. Chaque exigence est liée au test, à l'analyse, à l'inspection ou à la démonstration qui la vérifie, avec une méthode, un niveau et des critères de réussite. La matrice de vérification des exigences est le rapport de cette chaîne.

Ensemble, elles répondent aux deux questions de couverture que pose un comité de revue : chaque exigence est-elle vérifiée, et chaque besoin est-il validé ? Les liens entre besoins et exigences relient les deux chaînes ; une lacune d'un côté peut donc être tracée de l'autre : un besoin dont toutes les exigences réussissent mais dont la validation échoue désigne une exigence manquante ou fausse.

Dans la matrice, les deux chaînes se côtoient : les exigences sont vérifiées par des cas de test TC, les besoins validés par des événements VAL. La matrice montre aussi une lacune de vérification : 6.5 Planning Cycle Time a une méthode (analyse) mais pas encore d'événement de vérification dans le modèle. Le guide Monte Carlo mène cette analyse ; enregistrer son résultat comme cas de test fermerait la ligne.

Les preuves de vérification en pratique : TC-06

TC-06 Solar Array Power Test d'EO-1 montre ce qui fait une bonne preuve de vérification, et comment elle cesse de compter. L'enregistrement est complet : M. Chen l'a exécuté sur les panneaux de qualification QM-1 et QM-2 avec la révision C du harnais, sous le simulateur solaire grande surface en AM0 (1361 W/m², uniformité 1,4 %), et a joint la courbe I-V sous le nom tc06-array-iv-curve.csv. La puissance crête était de 75,1 W pour un résultat attendu d'au moins 72 W. Réussi.

Puis l'exigence 3.1 Orbit Average Power a été relevée de 28 W à 30 W après la revue de conception préliminaire. Le résultat du test n'a pas changé, mais ce qu'il prouve, si. Via EQ-1.3, 75,1 W en crête donnent 27,9 W en moyenne orbitale (75,1 × 0,62 × 0,6), en dessous de 30 W ; montrer 30 W demanderait environ 80,6 W en crête. Le lien de 3.1 vers TC-06 est donc signalé comme suspect et le reste jusqu'à ce que le résultat attendu de TC-06 soit redérivé de la nouvelle exigence et que le test soit réexécuté ou que la conception change. Le guide de la RVTM parcourt la revue, et le guide de l'analyse d'impact des modifications suit la même modification à travers la conception.

Trois leçons en ressortent pour les preuves de vérification :

  1. Une preuve est liée à une configuration et à une version de l'exigence. Une réussite enregistrée par rapport à 28 W n'est pas une preuve pour 30 W.
  2. Le critère de réussite doit venir de l'exigence. La limite de 72 W de TC-06 ne correspond qu'à 26,8 W en moyenne orbitale ; il ne montrait donc même pas les anciens 28 W. Un test peut satisfaire son propre critère et ne pas vérifier pour autant son exigence.
  3. Une analyse dans la boucle demande une validation. Le verdict dépend des deux facteurs d'EQ-1.3, ce qui renvoie à la question de validation du modèle de la section précédente.

Et rien de tout cela n'est de la validation. Même un résultat net de 30 W montrerait seulement que les panneaux satisfont 3.1. Savoir si 30 W suffisent pour photographier 120 scènes par jour pour les clients agricoles est le type de question auquel répondent les événements de validation au niveau de la mission.

Vérification et validation comparées

VérificationValidation
QuestionAvons-nous bien construit le système ?Avons-nous construit le bon système ?
Se compare àLes exigences et les spécifications de conceptionLes besoins des parties prenantes, l'usage prévu, les mesures d'efficacité
ISO/IEC/IEEE 15288Processus de vérification (6.4.9)Processus de validation (6.4.11)
Méthodes typiquesInspection, analyse, démonstration, testScénarios opérationnels, simulation de mission, revues avec les parties prenantes, essais opérationnels, données de terrain
NiveauxComposant, sous-système, systèmePrincipalement le système dans son environnement opérationnel ; validation précoce sur des concepts et des prototypes
EnvironnementMaîtrisé : laboratoire, banc, simulateurReprésentatif de l'usage réel, avec de vrais utilisateurs si possible
Qui jugeL'équipe d'ingénierie selon des critères écrits ; le client à la recetteLes parties prenantes et les utilisateurs, souvent avec un évaluateur indépendant
RésultatRéussi ou échoué pour chaque exigenceBesoin satisfait, partiellement satisfait ou non satisfait, souvent avec des besoins nouveaux ou modifiés
TraçabilitéExigence → événement de vérificationBesoin → événement de validation
Enregistrement habituelMatrice de vérification des exigences, rapports d'essaisPlan et rapport de validation, rapport d'évaluation opérationnelle
Un échec signifieLe système ne satisfait pas une exigence : corriger la conception ou la fabricationLes exigences n'ont pas saisi le besoin : corriger les exigences, puis la conception
Exemple EO-1TC-07 : batterie à 78,3 Wh pour 77 WhVAL-03 : les agronomes acceptent les cartes à 4,5 m en quatre bandes

Confusions courantes

  • « La validation est le dernier test. » Les tests au niveau système vers la fin sont généralement encore de la vérification. La validation se définit par sa référence (les besoins et l'usage prévu), pas par son calendrier, et elle devrait commencer bien avant la fin.
  • « Toutes les exigences sont satisfaites, le système est donc validé. » Satisfaire les exigences montre que les exigences ont été tenues. Cela ne dit rien sur le fait qu'il s'agissait des bonnes exigences. EO-1 pourrait satisfaire exactement 1.6 et manquer pourtant N2 sous une nébulosité réelle.
  • Valider une exigence ou vérifier le système. Les termes s'appliquent aussi aux exigences elles-mêmes. Le Guide to Needs and Requirements de l'INCOSE distingue la vérification des exigences (l'énoncé est-il bien formé : nécessaire, non ambigu, vérifiable ?) et la validation des exigences (exprime-t-il le besoin dont il est issu ?) de la vérification et de la validation du système. Précisez ce que vous entendez. Le guide de rédaction des exigences explique comment rendre les énoncés vérifiables.
  • « La démonstration, c'est de la validation. » La démonstration d'une exigence est de la vérification. La démonstration d'un scénario opérationnel avec des utilisateurs, jugée par rapport à leurs besoins, est de la validation. Ce n'est pas la méthode qui en décide, c'est la référence.
  • « Une simulation est une validation. » Une simulation est une technique. Simuler le cycle de planification de 6.5 par rapport à 100 minutes vérifie 6.5. Simuler une saison de croissance par rapport à « des images exploitables deux fois par semaine » valide N2. Et le modèle de simulation lui-même a besoin de sa propre validation.
  • L'IV&V signifie « plus de V&V ». La vérification et validation indépendante est une V&V réalisée par une organisation séparée du développeur sur le plan de la direction, du budget et du jugement technique. Il s'agit de savoir qui la réalise, pas d'une troisième activité.
  • Compter les liens comme des résultats. Un besoin lié à un événement de validation est planifié pour la validation, pas validé. Un décompte de couverture vous dit ce qui est planifié ; seuls les résultats vous disent ce qui est démontré.

Comment Holarch enregistre chacune

Dans un projet LML, la vérification et la validation sont conservées dans le même modèle que les besoins et les exigences, avec les mêmes types d'éléments et de liens :

  • Les besoins sont des Statements (pas des Requirements), liés aux exigences qui les formalisent par traced to.
  • La planification de la vérification se trouve sur chaque Requirement : Méthode de vérification (Analysis, Demonstration, Inspection, Test, dans n'importe quelle combinaison), niveau et critères de réussite.
  • Les événements de vérification sont des Test Cases dans des Test Suites, liés aux exigences par verifies. Les analyses, inspections et démonstrations sont aussi des cas de test. Chaque exécution enregistre le testeur, la configuration, l'article d'essai et le fichier de preuve ; les tests en échec deviennent des Issues, et les cycles de test enregistrent chaque campagne.
  • Les événements de validation peuvent aussi être des Test Cases, dans une suite qui leur est propre (comme TS-3 ci-dessus), liés au besoin par verifies. Le schéma LML standard n'autorise verifies que vers des exigences ; le schéma du modèle EO-1 ajoute donc une cible, Test Case verifies Statement ; dans votre propre projet, ajoutez-la dans Schéma (ouvrez Test Case, + Relation) avant de créer les liens dans la Matrice de traçabilité. La RVTM et la Couverture de vérification ne comptent que les exigences ; les événements de validation ne modifient donc pas le chiffre « 11 exigences vérifiées sur 32 » ; la matrice les montre à côté des exigences.
  • Les mesures d'efficacité sont des Measures étiquetées MOE avec des valeurs de seuil et d'objectif. Une étude de Monte Carlo dans le Simulateur peut contrôler une sortie par rapport à une exigence ou à une Measure et enregistrer le résultat comme Test Case, et c'est ainsi qu'une analyse devient une preuve de vérification.
  • Les modifications rendent des liens suspects, y compris le lien vers un cas de test de vérification, comme pour TC-06.
  • La vérification du modèle est ce que fait Vérification → Contrôles du modèle : des règles sur l'ensemble du modèle, comme les exigences feuilles sans cas de test de vérification et les tests en échec sans Issue. Les diagrammes d'Action ont leurs propres contrôles avant l'exécution d'une simulation. Holarch n'a pas d'enregistrement distinct pour la validation des modèles ; conservez la comparaison avec les données d'essais ou de vol comme preuve du cas de test d'analyse qui s'appuie sur le modèle.

Le guide du Processus IS montre les deux branches du V. Avec le processus Cycle en V, la carte Liens de vérification associe chaque phase de la branche droite à la phase de la branche gauche qu'elle contrôle : la validation du système avec le concept d'opérations (« besoins validés »), la vérification du système avec les exigences système (« exigences vérifiées »), et les niveaux sous-système et unitaire en dessous.

Lisez la carte comme une couverture, dans l'esprit de la confusion ci-dessus. Un besoin compte comme validé dès qu'un cas de test lui est lié par verifies, ou dès qu'une exigence tracée à partir de lui a réussi ; N1 et N2 sont donc comptés bien que VAL-01 et VAL-02 n'aient pas été exécutés. La carte compte comme besoin chaque Statement tracé qui n'est pas une exigence ; dans la démonstration, cela ajoute une hypothèse (1.1 Reference Orbit) et trois règles opérationnelles (OR-1 à OR-3) à N1–N3, d'où le chiffre de 7. Les résultats de validation eux-mêmes se trouvent dans le Centre de test.

Les documents peuvent porter les plans : les modèles de documents comprennent un concept d'opérations, un plan de vérification et de validation, un plan d'essais, un rapport d'essais et un plan d'IV&V, avec des blocs VCRM et RVTM dynamiques qui se mettent à jour à partir du modèle.

L'essayer dans Holarch

  1. Créez le projet EO-1 : Gérer les projets → Fichiers de projet ▾ → Nouveau projet de démonstration → CubeSat (ingénierie système guidée), ou importez le modèle de référence EO-1.
  2. Appuyez sur ⌘K / Ctrl+K, tapez crop stress et ouvrez N1 Same-Day Crop Stress Alerts : ses relations montrent les exigences vers lesquelles il est tracé (traced to) et l'événement VAL qui le vérifie. Ajoutez un besoin à vous sous forme de Statement, par exemple avec Ajouter un élément ▸ dans un document d'exigences.
  3. Dans Vérification → Centre de test, ouvrez TS-3 Mission Validation. Pour une suite à vous, cliquez sur + Nouveau ▾ → Suite de tests…, puis sur + Cas de test pour chaque événement de validation, avec sa mise en place et son résultat attendu exprimés dans les termes des parties prenantes.
  4. Ouvrez Vérification → Matrice de traçabilité avec les besoins en lignes et les cas de test de validation en colonnes, et choisissez verified by : chaque besoin a son événement VAL. Cliquez sur une cellule vide pour ajouter un lien.
  5. Ouvrez Vérification → RVTM pour voir la vérification des exigences, et Planifier → Processus IS avec le Cycle en V pour voir les deux branches du V.

Les références complètes sont Vérification, Traçabilité, Processus IS et Contrôles du modèle.

Questions fréquentes

Laquelle vient en premier, la vérification ou la validation ?

La validation formelle du système vient généralement après la vérification du système, car elle nécessite un système qui fonctionne comme spécifié, dans son environnement prévu. Mais les activités de validation commencent en premier : les revues du concept et des exigences avec les parties prenantes ont lieu avant que toute vérification ne soit possible. Planifiez les deux dès le départ.

Une même activité peut-elle faire les deux ?

Oui, si elle est planifiée ainsi et jugée par rapport aux deux références. Une répétition des opérations de bout en bout peut vérifier 6.1 Contact Scheduling par rapport à son critère de 48 heures et, avec la participation de vrais opérateurs et clients, recueillir des preuves de validation pour N1. Consignez les deux verdicts séparément, car ils peuvent différer.

Qui réalise la validation ?

Le développeur la planifie et l'accompagne généralement, mais le jugement appartient aux parties prenantes : utilisateurs, opérateurs, client, parfois un organisme d'essais indépendant. Une validation sans parties prenantes est une supposition sur leurs besoins.

Que se passe-t-il quand la validation échoue alors que la vérification a réussi ?

Les exigences n'ont pas saisi le besoin. Tracez le besoin en échec vers ses exigences, trouvez celle qui manque ou qui est fausse, modifiez-la par la maîtrise des modifications, et suivez les liens suspects jusque dans la conception et la vérification. C'est l'échec le plus coûteux en ingénierie des systèmes, et c'est pourquoi la validation précoce est rentable.

Pour aller plus loin