Guida · Verifica
Verifica e validazione nell’ingegneria dei sistemi
Ascolta questa guida 29 min
La verifica dimostra che un sistema soddisfa i suoi requisiti; la validazione dimostra che soddisfa le esigenze degli stakeholder nell’uso previsto. Questa guida tratta le definizioni della ISO/IEC/IEEE 15288, il riferimento rispetto a cui ciascuna controlla, dove si svolgono entrambe nel ciclo di vita, i quattro metodi di verifica, le attività di validazione, la verifica e validazione dei modelli, la tracciabilità che sta dietro a entrambe e gli errori che le confondono, applicati a un CubeSat 6U.
In questa pagina
- La risposta breve
- Definizioni nella ISO/IEC/IEEE 15288
- Rispetto a che cosa controlla ciascuna
- Quando si svolge ciascuna nel ciclo di vita
- I quattro metodi di verifica
- Attività di validazione
- Verifica e validazione del modello
- La tracciabilità dietro a entrambe
- Evidenze di verifica nella pratica: TC-06
- Verifica e validazione a confronto
- Confusioni comuni
- Come Holarch registra ciascuna
- Domande frequenti
- Dove andare dopo
La risposta breve
La verifica chiede: abbiamo costruito il sistema nel modo giusto? Confronta il sistema con i suoi requisiti, enunciato per enunciato, e produce evidenze che ciascuno è soddisfatto. La validazione chiede: abbiamo costruito il sistema giusto? Confronta il sistema con ciò di cui hanno bisogno i suoi stakeholder e con il modo in cui lo useranno, e produce evidenze che il sistema svolge il compito per cui è stato acquistato.
Le due domande si somigliano e sono spesso affrontate dallo stesso team con le stesse attrezzature, ma possono dare risposte diverse. Un sistema può superare ogni requisito e deludere comunque i suoi utenti, perché un requisito mancava, era sbagliato o era scritto per un uso diverso da quello reale. Un sistema può anche servire bene i suoi utenti pur non soddisfacendo un requisito che si rivela irrilevante. L’ingegneria dei sistemi tiene distinte le due attività perché ciascuna individua errori che l’altra non vede.
La formula «costruire il prodotto nel modo giusto» contro «costruire il prodotto giusto» è di solito attribuita ai primi lavori di Barry Boehm sull’ingegneria del software, ed è rimasta il modo più breve per ricordare la differenza.
Definizioni nella ISO/IEC/IEEE 15288
La ISO/IEC/IEEE 15288, lo standard internazionale per i processi del ciclo di vita dei sistemi, tratta verifica e validazione come due processi tecnici separati: il processo di verifica (clausola 6.4.9) e il processo di validazione (clausola 6.4.11). L’integrazione precede la verifica, e la transizione si colloca tra le due: il sistema viene verificato così come è costruito, consegnato al suo ambiente operativo e poi validato lì.
- La verifica è la conferma, mediante evidenze oggettive, che i requisiti specificati sono stati soddisfatti. Il suo scopo nello standard è dimostrare che il sistema o l’elemento soddisfa i suoi requisiti e le sue caratteristiche, e segnalare qualsiasi anomalia riscontrata lungo il percorso.
- La validazione è la conferma, mediante evidenze oggettive, che i requisiti per uno specifico uso o applicazione previsti sono stati soddisfatti. Il suo scopo è dimostrare che il sistema, usato nel suo ambiente previsto, soddisfa le esigenze degli stakeholder e raggiunge i suoi obiettivi di business o di missione.
Entrambe le definizioni si fondano su evidenze oggettive: un risultato misurato, un rapporto di analisi, un verbale di ispezione o una dimostrazione osservata che qualcun altro potrebbe controllare. Un’opinione, un «sembrava a posto» e un test che nessuno ha messo per iscritto non sono evidenze. La differenza tra le due sta nel riferimento con cui ciascuna confronta.
L’INCOSE Systems Engineering Handbook (5ª edizione, sezioni 2.3.5.9 e 2.3.5.11) segue la stessa distinzione, e il NASA Systems Engineering Handbook (NASA/SP-2016-6105 Rev 2) assegna loro processi di realizzazione del prodotto separati: verifica del prodotto (sezione 5.3) e validazione del prodotto (sezione 5.4). Il manuale della NASA esprime chiaramente un punto utile: la verifica dimostra che il prodotto è stato costruito secondo la specifica; la validazione dimostra che la specifica, e quindi il prodotto, era quella giusta.
Rispetto a che cosa controlla ciascuna
Il modo più chiaro per distinguerle è chiedersi con che cosa si confrontano le evidenze.
- La verifica controlla rispetto ai requisiti. Il riferimento sono gli enunciati «shall» delle specifiche di sistema, sottosistema e componente. Sono scritti dal team di ingegneria, concordati con gli stakeholder e formulati in modo che un test, un’analisi, un’ispezione o una dimostrazione possa dare un esito superato o non superato. La ISO/IEC/IEEE 29148 include verificabile tra le caratteristiche che ogni requisito deve avere (clausola 5.2.5) proprio per questo motivo: un requisito che non si può verificare non può prendere parte alla verifica.
- La validazione controlla rispetto alle esigenze degli stakeholder e all’uso previsto. Il riferimento è ciò che utenti, operatori, clienti e altri stakeholder si aspettano, nei loro termini, insieme alle condizioni d’uso reali: gli scenari operativi, l’ambiente, le persone che gestiranno il sistema e le misure di efficacia che dicono che cosa significa per loro «buono». Le esigenze sono spesso qualitative, quindi la validazione si basa su scenari, simulazioni, prove sul campo e giudizio degli stakeholder oltre che sulle misure.
Il confronto tra esigenze e requisiti della guida alla tracciabilità lo dice in una riga: le esigenze si validano, i requisiti si verificano. Tutto il resto di questa guida ne discende.
Quando si svolge ciascuna nel ciclo di vita
Il modello a V
Il modello a V (Vee) rappresenta il ciclo di vita come una V. Il lato sinistro scende attraverso scomposizione e definizione: concetto operativo, requisiti di sistema, progetto di alto livello, progetto di dettaglio. L’implementazione sta in basso. Il lato destro risale attraverso integrazione e controlli, e ogni passo a destra risponde al passo di fronte:
| Lato destro | Controlla rispetto a (lato sinistro) | Tipo |
|---|---|---|
| Verifica delle unità | Progetto di dettaglio | Verifica |
| Verifica dei sottosistemi | Progetto di alto livello | Verifica |
| Verifica del sistema | Requisiti di sistema | Verifica |
| Validazione del sistema | Concetto operativo ed esigenze degli stakeholder | Validazione |
La coppia in alto è l’unica coppia di validazione, ed è per questo che la validazione viene spesso raffigurata come l’ultimo passo. La V mostra dove si producono le evidenze finali, non quando inizia il lavoro. Ogni attività di verifica e validazione è pianificata sul lato sinistro, contemporaneamente all’elemento che controlla: l’approccio di validazione con il concetto operativo, il metodo di verifica con ciascun requisito.
V&V incrementale e continua
Aspettare un sistema integrato prima di chiedersi se è quello giusto è il modo più costoso per scoprire che non lo è. La pratica distribuisce entrambe le attività lungo il ciclo di vita:
- Validazione precoce. Concetti, mock-up, prodotti campione e simulazioni vengono presentati agli stakeholder molto prima che esista l’hardware. Ogni revisione riduce il rischio che i requisiti codifichino l’esigenza sbagliata.
- Verifica a ogni livello. I componenti si verificano prima dell’integrazione, i sottosistemi prima del sistema. Un difetto trovato al banco costa molto meno di uno trovato nel test di sistema.
- V&V continua nello sviluppo iterativo. I team che consegnano per incrementi, come i team software che lavorano con l’integrazione continua, eseguono una verifica automatica a ogni build e validano ogni incremento con gli utenti. Le due domande restano le stesse; vengono poste molto più spesso.
I quattro metodi di verifica
La maggior parte degli standard e dei manuali usa gli stessi quattro metodi. La guida alla RVTM spiega come scegliere tra di essi; qui ciascuno è illustrato con una riga del CubeSat EO-1 usato in tutta questa guida, un veicolo spaziale 6U fittizio che riprende terreni agricoli in quattro bande spettrali da un’orbita a 500 km, con 32 requisiti nella sua specifica.
- Ispezione
- Esaminare l’elemento o la sua documentazione senza farlo funzionare. Il requisito 3.4 Bus Regulation di EO-1 (12 V entro il 2%) è verificato da TC-18 Bus Regulation Inspection, una revisione del progetto dell’unità di distribuzione dell’alimentazione e dei suoi dati di qualifica a gradino di carico. È stato superato: il caso peggiore è stato 11,81 V, entro 11,76–12,24 V.
- Analisi
- Calcolo, modellazione o simulazione, spesso alimentati da dati di test di livello inferiore. 1.7 Mission Lifetime (730 giorni in orbita) non si può testare a terra, quindi TC-16 Lifetime Reliability Analysis combina i tassi di guasto dei componenti, la dose di radiazione e il degrado della batteria. È stato superato con una probabilità di 0,86 di funzionare per 730 giorni, contro almeno 0,8.
- Dimostrazione
- Far funzionare l’elemento per mostrare che fa qualcosa, osservato ma non misurato con precisione. 6.1 Contact Scheduling (contatti prenotati con 48 ore di anticipo) va dimostrato da TC-20 Operations Rehearsal: 14 giorni di pianificazione dei contatti con la rete di terra partner. Non è ancora stato eseguito.
- Test
- Far funzionare l’elemento in condizioni controllate e misurare il risultato rispetto a un valore. 3.2 Battery Capacity (almeno 77 Wh a inizio vita) è verificato da TC-07 Battery Capacity Test, una scarica a C/2 a 20 °C. È stato superato con 78,3 Wh.
Tutti e quattro sono verifica. Una dimostrazione non è «un test più morbido» e un’analisi non è un’attività di validazione solo perché usa un modello: ciò che rende ciascuno di essi una verifica è che il criterio di superamento deriva da un requisito.
Attività di validazione
La validazione usa molte delle stesse tecniche, rivolte a un riferimento diverso. Le forme comuni sono:
- Scenari operativi. Far percorrere al sistema, o a un suo modello, il concetto operativo: una giornata nominale, una modalità degradata, un passaggio di consegne tra operatori. La domanda è se lo scenario ottiene ciò che lo stakeholder voleva, non se ogni passo rispetta il suo numero.
- Simulazione di missione. Eseguire il concetto operativo in una simulazione con ambienti e variabilità realistici, poi leggere i risultati rispetto alle misure di efficacia (MOE), le misure rivolte agli stakeholder di quanto bene la missione svolge il suo compito.
- Revisioni con gli stakeholder. Mostrare agli utenti concetti, prototipi, prodotti campione o interfacce e registrarne il giudizio. Precoci, economiche e spesso la prima occasione in cui emerge un’esigenza mancante.
- Prove operative e progetti pilota. Utenti reali, procedure reali, un ambiente rappresentativo. Spesso l’evidenza di validazione decisiva, e in molti programmi una valutazione e un test operativi formali da parte di un’organizzazione indipendente.
Validazione per EO-1
Il modello di EO-1 contiene tre esigenze degli stakeholder, ciascuna tracciata ai requisiti che la formalizzano, e una terza suite di test, TS-3 Mission Validation, con un evento di validazione per ogni esigenza. Entrambi fanno parte del modello di riferimento EO-1 (v1.0) e dei progetti demo creati in Holarch 2.2.1 o versioni successive.
| Esigenza | Requisiti (verificati) | Evento di validazione | Stato |
|---|---|---|---|
| N1 Same-Day Crop Stress Alerts | 6.2 Image Delivery (entro 6 ore dal downlink), 6.5 Planning Cycle Time (entro 100 minuti) | VAL-01 Customer Alert Pilot: passaggi registrati su tre aziende agricole pilota elaborati attraverso pianificazione, elaborazione e portale clienti, con gli agronomi delle aziende che usano gli avvisi nella loro routine quotidiana | Non eseguito |
| N2 Twice-Weekly Revisit | 1.6 Revisit Time (entro 72 ore), tramite 1.6.1 Ground Track Repeat e 1.6.2 Off-Nadir Imaging | VAL-02 Growing Season Revisit Simulation: una stagione di riprese sull’elenco degli obiettivi dei clienti con la traccia al suolo pianificata, il limite fuori nadir e la copertura nuvolosa storica | Non eseguito |
| N3 Field-Level Vegetation Maps | 1.2 Ground Sample Distance (4,5 m), 1.4 Spectral Bands (quattro bande, 450–900 nm) | VAL-03 Agronomist Map Review: gli agronomi esaminano mappe della vegetazione ricavate da immagini aeree ricampionate a 4,5 m nelle quattro bande di EO-1 | Superato: tutte le 12 mappe campione accettate |
Ogni riga mostra perché la validazione non è una ripetizione della verifica. 1.6 chiede una rivisitazione entro 72 ore, una proprietà dell’orbita e dei limiti di puntamento, e TC-13 Ground Track Repeat Analysis ha già mostrato una ripetizione di 3 giorni e 0,4 ore. Ma gli agricoltori hanno bisogno di immagini utilizzabili due volte alla settimana, e le nuvole non compaiono in 1.6. Solo una simulazione con statistiche sulla nuvolosità (VAL-02) può dire se il requisito, soddisfatto così come è scritto, risponde all’esigenza. In caso contrario, la correzione è un requisito nuovo o modificato, non un test migliore.
N1 è simile. 6.2 e 6.5 danno numeri alla catena di consegna, e l’analisi Monte Carlo di 6.5 (vedere la guida Monte Carlo) stima la probabilità di rispettare i 100 minuti a circa il 97,6%. Se un agronomo venga effettivamente a sapere di uno stress delle colture il giorno del passaggio, in una forma su cui può agire, è un’altra domanda, e VAL-01 la pone con utenti reali.
VAL-03 è stato eseguito per primo, prima di qualsiasi hardware di volo, perché richiede solo immagini campione e persone. Questa è validazione precoce: ha confermato che 4,5 m in quattro bande sono abbastanza dettagliati per mappe a livello di campo prima che il progetto della fotocamera fosse congelato. Due revisori hanno chiesto la sovrapposizione dei confini dei campi, una possibile nuova esigenza registrata con il risultato.
Verifica e validazione del modello
Nell’ingegneria dei sistemi basata su modelli, il modello stesso è un prodotto ingegneristico, e a esso si applicano le stesse due domande. La pratica della difesa e dell’aerospazio le ha definite per modelli e simulazioni da decenni (DoD Instruction 5000.61 su verifica, validazione e accreditamento; NASA-STD-7009 sulla credibilità di modelli e simulazioni):
- Verifica del modello: il modello è costruito correttamente? L’implementazione corrisponde alla propria specifica e alle regole di modellazione: nessuna durata mancante in un flusso simulato, nessuna funzione eseguita da nessuno, nessun requisito senza un evento di verifica, equazioni dimensionalmente coerenti, codice che calcola ciò che il suo autore intendeva.
- Validazione del modello: è il modello giusto per il suo scopo? Rappresenta il sistema reale con sufficiente fedeltà per le decisioni che supporterà? Lo si stabilisce confrontando il modello con la realtà: dati di test, dati di volo, un modello affidabile a maggiore fedeltà.
- L’accreditamento, nell’uso del DoD, è la decisione formale che un modello è accettabile per un uso specifico, sulla base delle sue evidenze di verifica e validazione.
EO-1 offre un caso chiaro. Il suo budget di potenza converte la potenza di picco misurata dei pannelli in potenza media sull’orbita con l’equazione EQ-1.3: media sull’orbita = picco × 0,62 (frazione illuminata) × 0,6 (efficienza del percorso di potenza). Verificare quell’equazione significa controllare l’aritmetica, le unità e i suoi collegamenti. Validarla significa chiedersi se 0,62 e 0,6 corrispondono all’orbita reale e alla catena di potenza reale, per esempio confrontando la previsione con la potenza media misurata sul flatsat durante un’orbita simulata. Il verdetto sul requisito 3.1 più avanti dipende interamente da quell’equazione, quindi una EQ-1.3 non validata renderebbe inconcludente anche un test perfetto.
La regola pratica: quando un’analisi o una simulazione è usata come evidenza di verifica, il suo modello ha bisogno di proprie evidenze di validazione, in proporzione a quanto la decisione si basa su di esso.
La tracciabilità dietro a entrambe
Verifica e validazione hanno bisogno ciascuna della propria catena di collegamenti:
- Esigenze → validazione. Ogni esigenza degli stakeholder è collegata all’attività di validazione che dimostrerà che è soddisfatta nell’uso previsto, e ai requisiti che la formalizzano.
- Requisiti → verifica. Ogni requisito è collegato al test, all’analisi, all’ispezione o alla dimostrazione che lo verifica, con un metodo, un livello e criteri di successo. La matrice di verifica dei requisiti è il resoconto di questa catena.
Insieme rispondono alle due domande di copertura che pone una commissione di revisione: ogni requisito è verificato, e ogni esigenza è validata? I collegamenti tra esigenze e requisiti uniscono le due catene, quindi una lacuna su un lato si può tracciare fino all’altro: un’esigenza i cui requisiti sono tutti superati ma la cui validazione fallisce indica un requisito mancante o sbagliato.
Nella matrice le due catene stanno una accanto all’altra: i requisiti sono verificati da casi di test TC, le esigenze sono validate da eventi VAL. La matrice mostra anche una lacuna di verifica: 6.5 Planning Cycle Time ha un metodo (analisi) ma ancora nessun evento di verifica nel modello. La guida Monte Carlo esegue quell’analisi; registrarne il risultato come caso di test chiuderebbe la riga.
Evidenze di verifica nella pratica: TC-06
TC-06 Solar Array Power Test di EO-1 mostra che cosa rende buona un’evidenza di verifica, e come smette di valere. La registrazione è completa: M. Chen l’ha eseguito sui pannelli di qualifica QM-1 e QM-2 con la revisione C del cablaggio, sotto il simulatore solare a grande area ad AM0 (1361 W/m², uniformità 1,4%), e ha allegato la curva I-V come tc06-array-iv-curve.csv. La potenza di picco è stata 75,1 W contro un risultato atteso di almeno 72 W. Superato.
Poi il requisito 3.1 Orbit Average Power è stato portato da 28 W a 30 W dopo la revisione preliminare del progetto. Il risultato del test non è cambiato, ma ciò che dimostra sì. Tramite EQ-1.3, 75,1 W di picco corrispondono a 27,9 W di media sull’orbita (75,1 × 0,62 × 0,6), sotto i 30 W; per dimostrare 30 W servirebbero circa 80,6 W di picco. Il collegamento da 3.1 a TC-06 viene quindi segnalato come sospetto e resta tale finché il risultato atteso di TC-06 non viene ricavato di nuovo dal nuovo requisito e il test non viene ripetuto o il progetto non cambia. La guida alla RVTM illustra la revisione, e la guida all’analisi d’impatto delle modifiche segue la stessa modifica attraverso il progetto.
Ne derivano tre lezioni sulle evidenze di verifica:
- Le evidenze sono legate a una configurazione e a una versione del requisito. Un esito superato registrato rispetto a 28 W non è un’evidenza per 30 W.
- Il criterio di superamento deve derivare dal requisito. Il limite di 72 W di TC-06 corrisponde a soli 26,8 W di media sull’orbita, quindi non dimostrava neppure i vecchi 28 W. Un test può superare il proprio criterio e tuttavia non verificare il suo requisito.
- Un’analisi nel ciclo richiede validazione. Il verdetto dipende dai due fattori di EQ-1.3, cioè la questione della validazione del modello della sezione precedente.
E nulla di tutto questo è validazione. Anche un risultato pulito di 30 W dimostrerebbe solo che i pannelli soddisfano 3.1. Se 30 W siano potenza sufficiente per riprendere 120 scene al giorno per i clienti agricoli è il tipo di domanda a cui rispondono gli eventi di validazione a livello di missione.
Verifica e validazione a confronto
| Verifica | Validazione | |
|---|---|---|
| Domanda | Abbiamo costruito il sistema nel modo giusto? | Abbiamo costruito il sistema giusto? |
| Controlla rispetto a | Requisiti e specifiche di progetto | Esigenze degli stakeholder, uso previsto, misure di efficacia |
| ISO/IEC/IEEE 15288 | Processo di verifica (6.4.9) | Processo di validazione (6.4.11) |
| Metodi tipici | Ispezione, analisi, dimostrazione, test | Scenari operativi, simulazione di missione, revisioni con gli stakeholder, prove operative, dati dal campo |
| Livelli | Componente, sottosistema, sistema | Principalmente il sistema nel suo ambiente operativo; validazione precoce su concetti e prototipi |
| Ambiente | Controllato: laboratorio, banco, simulatore | Rappresentativo dell’uso reale, con utenti reali dove possibile |
| Chi giudica | Il team di ingegneria rispetto a criteri scritti; il cliente al collaudo di accettazione | Stakeholder e utenti, spesso con un valutatore indipendente |
| Risultato | Superato o non superato per ogni requisito | Esigenza soddisfatta, parzialmente soddisfatta o non soddisfatta, spesso con esigenze nuove o modificate |
| Tracciabilità | Requisito → evento di verifica | Esigenza → evento di validazione |
| Documentazione abituale | Matrice di verifica dei requisiti, rapporti di test | Piano e rapporto di validazione, rapporto di valutazione operativa |
| Un fallimento significa | Il sistema non soddisfa un requisito: correggere il progetto o la realizzazione | I requisiti non hanno colto l’esigenza: correggere i requisiti, poi il progetto |
| Esempio EO-1 | TC-07: batteria da 78,3 Wh contro 77 Wh | VAL-03: gli agronomi accettano mappe a 4,5 m in quattro bande |
Confusioni comuni
- «La validazione è l’ultimo test.» I test a livello di sistema verso la fine sono di solito ancora verifica. La validazione è definita dal suo riferimento (esigenze e uso previsto), non dal momento in cui avviene, e dovrebbe iniziare molto prima della fine.
- «Tutti i requisiti sono superati, quindi il sistema è validato.» Superare i requisiti dimostra che i requisiti sono stati soddisfatti. Non dice nulla sul fatto che fossero i requisiti giusti. EO-1 potrebbe soddisfare esattamente 1.6 e mancare comunque N2 con la reale copertura nuvolosa.
- Validare un requisito o verificare il sistema. Questi termini si applicano anche ai requisiti stessi. L’INCOSE Guide to Needs and Requirements distingue la verifica del requisito (l’enunciato è ben formato: necessario, non ambiguo, verificabile?) e la validazione del requisito (esprime l’esigenza da cui deriva?) dalla verifica e dalla validazione del sistema. Precisare quale si intende. La guida alla scrittura dei requisiti spiega come rendere verificabili gli enunciati.
- «La dimostrazione è validazione.» La dimostrazione di un requisito è verifica. La dimostrazione di uno scenario operativo con gli utenti, giudicata rispetto alle loro esigenze, è validazione. Non lo decide il metodo; lo decide il riferimento.
- «Una simulazione è una validazione.» Una simulazione è una tecnica. Simulare il ciclo di pianificazione di 6.5 rispetto a 100 minuti verifica 6.5. Simulare una stagione di crescita rispetto a «immagini utilizzabili due volte alla settimana» valida N2. E il modello di simulazione stesso ha bisogno della propria validazione.
- IV&V significa «più V&V». La verifica e validazione indipendente è V&V svolta da un’organizzazione separata dallo sviluppatore per gestione, budget e giudizio tecnico. Riguarda chi la svolge, non una terza attività.
- Contare i collegamenti come risultati. Un’esigenza collegata a un evento di validazione è pianificata per la validazione, non validata. Un conteggio di copertura dice che cosa è pianificato; solo i risultati dicono che cosa è dimostrato.
Come Holarch registra ciascuna
In un progetto LML, verifica e validazione sono conservate nello stesso modello delle esigenze e dei requisiti, con gli stessi tipi di elementi e di collegamenti:
- Le esigenze sono Statements (non Requirements), collegate ai requisiti che le formalizzano con traced to.
- La pianificazione della verifica risiede in ogni Requirement: Metodo di verifica (Analysis, Demonstration, Inspection, Test, in qualsiasi combinazione), livello e criteri di successo.
- Gli eventi di verifica sono Test Cases in Test Suites, collegati ai requisiti con verifies. Anche analisi, ispezioni e dimostrazioni sono casi di test. Ogni esecuzione registra il tester, la configurazione, l’articolo di test e il file di evidenza; i test falliti diventano Issues, e i cicli di test salvano ogni campagna.
- Anche gli eventi di validazione possono essere Test Cases, in una suite propria (come TS-3 sopra), collegati all’esigenza con verifies. Lo schema LML standard consente verifies solo verso i requisiti, quindi lo schema del modello EO-1 aggiunge una destinazione, Test Case verifies Statement; nel proprio progetto, aggiungerla in Schema (aprire Test Case, + Relazione) prima di collegare nella Matrice di tracciabilità. La RVTM e la Copertura della verifica contano solo i requisiti, quindi gli eventi di validazione non cambiano il dato «11 requisiti verificati su 32»; la matrice li mostra accanto ai requisiti.
- Le misure di efficacia sono Measures etichettate MOE con valori di soglia e obiettivo. Uno studio Monte Carlo nel Simulatore può controllare un output rispetto a un requisito o a una Measure e registrare il risultato come Test Case: è così che un’analisi diventa evidenza di verifica.
- Le modifiche segnalano i collegamenti come sospetti, compreso il collegamento a un caso di test di verifica, come per TC-06.
- La verifica del modello è ciò che fa Verifica → Controlli del modello: regole sull’intero modello, come requisiti foglia senza un caso di test di verifica e test falliti senza una Issue. I diagrammi di Action hanno controlli propri prima dell’esecuzione di una simulazione. Holarch non ha una registrazione separata per la validazione del modello; conservare il confronto con dati di test o di volo come evidenza del caso di test di analisi che si basa sul modello.
La guida al Processo SE mostra entrambi i lati della V. Con il processo Modello a V, la scheda Collegamenti di verifica abbina ogni fase del lato destro alla fase del lato sinistro che controlla: la validazione del sistema con il concetto operativo («esigenze validate»), la verifica del sistema con i requisiti di sistema («requisiti verificati»), e i livelli di sottosistema e di unità sottostanti.
Leggere la scheda come copertura, nello spirito della confusione descritta sopra. Un’esigenza conta come validata non appena un caso di test le è collegato con verifies, o non appena un requisito tracciato da essa è stato superato, quindi N1 e N2 contano anche se VAL-01 e VAL-02 non sono stati eseguiti. La scheda conta come esigenza ogni Statement tracciato che non è un requisito; nella demo questo aggiunge un’ipotesi (1.1 Reference Orbit) e tre regole operative (da OR-1 a OR-3) a N1–N3, ed è per questo che mostra 7. I risultati di validazione veri e propri sono nel Centro test.
I documenti possono contenere i piani: i modelli di documento comprendono un Concept of Operations, un Verification and Validation Plan, un Test Plan, un Test Report e un IV&V Plan, con blocchi VCRM e RVTM dinamici che si aggiornano dal modello.
Provarlo in Holarch
- Creare il progetto EO-1: Gestisci progetti → File di progetto ▾ → Nuovo progetto demo → CubeSat (ingegneria dei sistemi guidata), oppure importare il modello di riferimento EO-1.
- Premere ⌘K / Ctrl+K, digitare
crop stresse aprire N1 Same-Day Crop Stress Alerts: le sue relazioni mostrano i requisiti a cui è traced to e l’evento VAL che la verifica. Aggiungere una propria esigenza come Statement, per esempio con Aggiungi elemento ▸ in un documento dei requisiti. - In Verifica → Centro test, aprire TS-3 Mission Validation. Per una propria suite, fare clic su + Nuovo ▾ → Suite di test…, poi su + Caso di test per ogni evento di validazione, con la sua preparazione e il risultato atteso nei termini degli stakeholder.
- Aprire Verifica → Matrice di tracciabilità con le esigenze nelle righe e i casi di test di validazione nelle colonne, e scegliere verified by: ogni esigenza ha il suo evento VAL. Fare clic su una cella vuota per aggiungere un collegamento.
- Aprire Verifica → RVTM per vedere la verifica dei requisiti, e Pianifica → Processo SE con il Modello a V per vedere entrambi i lati della V.
I riferimenti completi sono Verifica, Tracciabilità, Processo SE e Controlli del modello.
Domande frequenti
Viene prima la verifica o la validazione?
La validazione formale del sistema viene di solito dopo la verifica del sistema, perché richiede un sistema che funzioni come specificato, nel suo ambiente previsto. Ma le attività di validazione iniziano prima: le revisioni con gli stakeholder del concetto e dei requisiti avvengono prima che qualsiasi verifica sia possibile. Pianificare entrambe fin dall’inizio.
Una sola attività può fare entrambe?
Sì, se è pianificata così e giudicata rispetto a entrambi i riferimenti. Una prova generale delle operazioni end-to-end può verificare 6.1 Contact Scheduling rispetto al suo criterio di 48 ore e, con la partecipazione di operatori e clienti reali, raccogliere evidenze di validazione per N1. Registrare i due verdetti separatamente, perché possono differire.
Chi esegue la validazione?
Di solito lo sviluppatore la pianifica e la supporta, ma il giudizio spetta agli stakeholder: utenti, operatori, il cliente, a volte un’organizzazione di test indipendente. Una validazione senza stakeholder è un’ipotesi sulle loro esigenze.
Che cosa succede quando la validazione fallisce ma la verifica è superata?
I requisiti non hanno colto l’esigenza. Tracciare l’esigenza fallita fino ai suoi requisiti, trovare quello mancante o sbagliato, modificarlo tramite il controllo delle modifiche, e seguire i collegamenti sospetti nel progetto e nella verifica. È il fallimento più costoso nell’ingegneria dei sistemi, ed è per questo che la validazione precoce ripaga.
Dove andare dopo
- Matrice di verifica dei requisiti (RVTM): il passo pratico successivo, con colonne, scelta del metodo, aggregazione dello stato e una revisione della copertura a una milestone sullo stesso CubeSat.
- Come scrivere i requisiti: enunciati verificabili, la condizione preliminare per la verifica.
- Tracciabilità dei requisiti e impatto delle modifiche: esigenze, requisiti, collegamenti sospetti e la matrice.
- La verifica in Holarch: casi di test, esecuzioni con evidenze, cicli di test e la RVTM in un unico modello.