Leitfaden · Verifikation
Verifikation und Validierung im Systems Engineering
Diesen Leitfaden anhören (Audio auf Englisch) 29 min
Verifikation zeigt, dass ein System seine Anforderungen erfüllt; Validierung zeigt, dass es die Bedarfe der Stakeholder im vorgesehenen Einsatz erfüllt. Dieser Leitfaden behandelt die Definitionen in ISO/IEC/IEEE 15288, wogegen jede prüft, wo beide im Lebenszyklus stattfinden, die vier Verifikationsmethoden, Validierungsaktivitäten, Verifikation und Validierung von Modellen, die Nachverfolgbarkeit hinter beiden und die Fehler, die sie verwischen, durchgearbeitet an einem 6U-CubeSat.
Auf dieser Seite
- Die kurze Antwort
- Definitionen in ISO/IEC/IEEE 15288
- Wogegen jede prüft
- Wann jede im Lebenszyklus stattfindet
- Die vier Verifikationsmethoden
- Validierungsaktivitäten
- Modellverifikation und Modellvalidierung
- Die Nachverfolgbarkeit hinter beiden
- Verifikationsnachweise in der Praxis: TC-06
- Verifikation und Validierung im Vergleich
- Häufige Verwechslungen
- Wie Holarch beides festhält
- Häufig gestellte Fragen
- Wie es weitergeht
Die kurze Antwort
Verifikation fragt: Haben wir das System richtig gebaut? Sie vergleicht das System mit seinen Anforderungen, Aussage für Aussage, und erzeugt Nachweise, dass jede erfüllt ist. Validierung fragt: Haben wir das richtige System gebaut? Sie vergleicht das System mit dem, was seine Stakeholder brauchen und wie sie es verwenden werden, und erzeugt Nachweise, dass das System die Aufgabe erfüllt, für die es beschafft wurde.
Die beiden Fragen klingen ähnlich und werden oft vom selben Team mit derselben Ausrüstung bearbeitet, können aber unterschiedliche Antworten geben. Ein System kann jede Anforderung bestehen und trotzdem seine Nutzer enttäuschen, weil eine Anforderung fehlte, falsch war oder für einen anderen als den tatsächlichen Einsatz geschrieben wurde. Ein System kann seinen Nutzern auch gut dienen und dabei eine Anforderung verfehlen, die sich als unwichtig herausstellt. Das Systems Engineering hält die beiden getrennt, weil jede Fehler findet, die die andere nicht sehen kann.
Die Formulierung „building the product right“ gegenüber „building the right product“ wird meist Barry Boehms frühen Arbeiten zum Software Engineering zugeschrieben und ist bis heute der kürzeste Weg, sich den Unterschied zu merken.
Definitionen in ISO/IEC/IEEE 15288
ISO/IEC/IEEE 15288, die internationale Norm für Prozesse im Systemlebenszyklus, behandelt Verifikation und Validierung als zwei getrennte technische Prozesse: den Verification Process (Abschnitt 6.4.9) und den Validation Process (Abschnitt 6.4.11). Die Integration steht vor der Verifikation, und die Transition steht zwischen beiden: Das System wird im gebauten Zustand verifiziert, an seine Betriebsumgebung übergeben und dort validiert.
- Verifikation ist die Bestätigung durch objektive Nachweise, dass festgelegte Anforderungen erfüllt sind. Ihr Zweck in der Norm ist zu zeigen, dass das System oder Element seine Anforderungen und Merkmale erfüllt, und jede dabei gefundene Anomalie zu melden.
- Validierung ist die Bestätigung durch objektive Nachweise, dass die Anforderungen für einen bestimmten vorgesehenen Gebrauch oder eine bestimmte Anwendung erfüllt sind. Ihr Zweck ist zu zeigen, dass das System, in seiner vorgesehenen Umgebung eingesetzt, die Bedarfe der Stakeholder erfüllt und seine Geschäfts- oder Missionsziele erreicht.
Beide Definitionen stützen sich auf objektive Nachweise: ein Messergebnis, einen Analysebericht, ein Inspektionsprotokoll oder eine beobachtete Demonstration, die jemand anderes prüfen könnte. Meinungen, „sah gut aus“ und ein Test, den niemand aufgeschrieben hat, sind keine Nachweise. Der Unterschied zwischen beiden liegt in der Referenz, mit der jede vergleicht.
Das INCOSE Systems Engineering Handbook (5. Auflage, Abschnitte 2.3.5.9 und 2.3.5.11) folgt derselben Aufteilung, und das NASA Systems Engineering Handbook (NASA/SP-2016-6105 Rev 2) gibt ihnen getrennte Prozesse der Produktrealisierung: Produktverifikation (Abschnitt 5.3) und Produktvalidierung (Abschnitt 5.4). Das NASA-Handbuch formuliert einen nützlichen Punkt deutlich: Die Verifikation zeigt, dass das Produkt nach der Spezifikation gebaut wurde; die Validierung zeigt, dass die Spezifikation, und damit das Produkt, die richtige war.
Wogegen jede prüft
Am klarsten unterscheidet man sie, indem man fragt, womit der Nachweis verglichen wird.
- Verifikation prüft gegen Anforderungen. Die Referenz sind die „shall“-Aussagen der System-, Subsystem- und Komponentenspezifikationen. Sie werden vom Engineering-Team geschrieben, mit den Stakeholdern abgestimmt und so formuliert, dass ein Test, eine Analyse, Inspektion oder Demonstration ein Bestanden oder Nicht bestanden liefern kann. ISO/IEC/IEEE 29148 führt verifizierbar genau aus diesem Grund unter den Merkmalen, die jede Anforderung haben muss (Abschnitt 5.2.5): Eine Anforderung, die sich nicht verifizieren lässt, kann an der Verifikation überhaupt nicht teilnehmen.
- Validierung prüft gegen Stakeholder-Bedarfe und den vorgesehenen Einsatz. Die Referenz ist, was Nutzer, Betreiber, Kunden und andere Stakeholder in ihren eigenen Worten erwarten, zusammen mit den Bedingungen des realen Einsatzes: den Betriebsszenarien, der Umgebung, den Menschen, die das System betreiben werden, und den Measures of Effectiveness, die sagen, was „gut“ für sie bedeutet. Bedarfe sind oft qualitativ, daher stützt sich die Validierung neben Messungen auf Szenarien, Simulation, Erprobungen und das Urteil der Stakeholder.
Der Vergleich von Bedarfen und Anforderungen im Leitfaden zur Nachverfolgbarkeit fasst es in einer Zeile: Bedarfe werden validiert, Anforderungen werden verifiziert. Alles Weitere in diesem Leitfaden folgt daraus.
Wann jede im Lebenszyklus stattfindet
Das V
Das V-Modell zeichnet den Lebenszyklus als V. Die linke Seite führt abwärts durch Zerlegung und Definition: Betriebskonzept, Systemanforderungen, Grobentwurf, Feinentwurf. Die Implementierung liegt unten. Die rechte Seite führt aufwärts durch Integration und Prüfung, und jeder Schritt rechts antwortet dem gegenüberliegenden Schritt:
| Rechte Seite | Prüft gegen (linke Seite) | Art |
|---|---|---|
| Verifikation der Einheiten | Feinentwurf | Verifikation |
| Subsystemverifikation | Grobentwurf | Verifikation |
| Systemverifikation | Systemanforderungen | Verifikation |
| Systemvalidierung | Betriebskonzept und Stakeholder-Bedarfe | Validierung |
Das oberste Paar ist das einzige Validierungspaar, weshalb die Validierung oft als letzter Schritt dargestellt wird. Das V zeigt, wo der abschließende Nachweis entsteht, nicht, wann die Arbeit beginnt. Jede Verifikations- und Validierungsaktivität wird auf der linken Seite geplant, zur selben Zeit wie das Element, das sie prüft: der Validierungsansatz mit dem Betriebskonzept, die Verifikationsmethode mit jeder Anforderung.
Inkrementelle und kontinuierliche V&V
Auf ein integriertes System zu warten, bevor man fragt, ob es das richtige ist, ist der teuerste Weg zu erfahren, dass es das nicht ist. In der Praxis verteilen sich beide Aktivitäten über den Lebenszyklus:
- Frühe Validierung. Konzepte, Attrappen, Musterprodukte und Simulationen kommen vor die Stakeholder, lange bevor Hardware existiert. Jedes Review senkt das Risiko, dass die Anforderungen den falschen Bedarf festschreiben.
- Verifikation auf jeder Ebene. Komponenten werden vor der Integration verifiziert, Subsysteme vor dem System. Ein Mangel, der auf dem Prüfstand gefunden wird, kostet weit weniger als einer im Systemtest.
- Kontinuierliche V&V in der iterativen Entwicklung. Teams, die in Inkrementen liefern, etwa Softwareteams mit Continuous Integration, führen bei jedem Build automatisierte Verifikation aus und validieren jedes Inkrement mit Nutzern. Die beiden Fragen bleiben dieselben; sie werden nur viel öfter gestellt.
Die vier Verifikationsmethoden
Die meisten Normen und Handbücher verwenden dieselben vier Methoden. Der RVTM-Leitfaden erklärt, wie man zwischen ihnen wählt; hier wird jede mit einer Zeile aus dem CubeSat EO-1 gezeigt, der in diesem Leitfaden durchgehend verwendet wird, einem fiktiven 6U-Raumfahrzeug, das Ackerland in vier Spektralbändern aus einer 500-km-Umlaufbahn aufnimmt, mit 32 Anforderungen in seiner Spezifikation.
- Inspektion
- Das Element oder seine Aufzeichnungen untersuchen, ohne es zu betreiben. 3.4 Bus Regulation von EO-1 (12 V innerhalb von 2 %) wird durch TC-18 Bus Regulation Inspection verifiziert, eine Prüfung des Entwurfs der Power Distribution Unit und ihrer Lastsprungdaten aus der Qualifikation. Sie hat bestanden: Der ungünstigste Fall lag bei 11,81 V, innerhalb von 11,76–12,24 V.
- Analyse
- Berechnung, Modellierung oder Simulation, oft gespeist aus Testdaten niedrigerer Ebenen. 1.7 Mission Lifetime (730 Tage im Orbit) lässt sich am Boden nicht testen, daher kombiniert TC-16 Lifetime Reliability Analysis Ausfallraten der Teile, Strahlungsdosis und Batteriealterung. Sie hat bestanden, mit einer Wahrscheinlichkeit von 0,86, 730 Tage zu funktionieren, gegenüber mindestens 0,8.
- Demonstration
- Das Element betreiben, um zu zeigen, dass es etwas tut, beobachtet, aber nicht präzise gemessen. 6.1 Contact Scheduling (Kontakte 48 Stunden im Voraus gebucht) soll durch TC-20 Operations Rehearsal gezeigt werden: 14 Tage Kontaktplanung mit dem Partner-Bodenstationsnetz. Er wurde noch nicht ausgeführt.
- Test
- Das Element unter kontrollierten Bedingungen betreiben und das Ergebnis an einem Wert messen. 3.2 Battery Capacity (mindestens 77 Wh zu Lebensbeginn) wird durch TC-07 Battery Capacity Test verifiziert, eine Entladung mit C/2 bei 20 °C. Er hat mit 78,3 Wh bestanden.
Alle vier sind Verifikation. Eine Demonstration ist kein „weicherer Test“, und eine Analyse ist nicht schon deshalb eine Validierungsaktivität, weil sie ein Modell verwendet: Was jede von ihnen zur Verifikation macht, ist, dass das Bestehenskriterium aus einer Anforderung stammt.
Validierungsaktivitäten
Die Validierung verwendet viele derselben Techniken, gerichtet auf eine andere Referenz. Die gängigen Formen sind:
- Betriebsszenarien. Das System oder ein Modell davon durch das Betriebskonzept führen: ein normaler Tag, ein degradierter Modus, eine Übergabe zwischen Bedienern. Die Frage ist, ob das Szenario erreicht, was der Stakeholder wollte, nicht, ob jeder Schritt seine Zahl erfüllt.
- Missionssimulation. Das Betriebskonzept in einer Simulation mit realistischen Umgebungen und Streuung durchspielen und die Ergebnisse dann an den Measures of Effectiveness (MOEs) lesen, den auf die Stakeholder ausgerichteten Maßen dafür, wie gut die Mission ihre Aufgabe erfüllt.
- Stakeholder-Reviews. Nutzern Konzepte, Prototypen, Musterprodukte oder Oberflächen zeigen und ihr Urteil festhalten. Früh, günstig und oft das erste Mal, dass ein fehlender Bedarf zutage tritt.
- Betriebserprobungen und Pilotversuche. Echte Nutzer, echte Verfahren, eine repräsentative Umgebung. Oft der entscheidende Validierungsnachweis und in vielen Programmen ein formaler Operational Test and Evaluation durch eine unabhängige Organisation.
Validierung für EO-1
Das EO-1-Modell enthält drei Stakeholder-Bedarfe, jeweils zu den Anforderungen verfolgt, die sie formalisieren, und eine dritte Testsuite, TS-3 Mission Validation, mit einem Validierungsereignis pro Bedarf. Beides gehört zum EO-1-Referenzmodell (v1.0) und zu Demoprojekten, die in Holarch 2.2.1 oder später angelegt wurden.
| Bedarf | Anforderungen (verifiziert) | Validierungsereignis | Status |
|---|---|---|---|
| N1 Same-Day Crop Stress Alerts | 6.2 Image Delivery (innerhalb von 6 Stunden nach dem Downlink), 6.5 Planning Cycle Time (innerhalb von 100 Minuten) | VAL-01 Customer Alert Pilot: aufgezeichnete Überflüge über drei Pilotbetriebe, durch Planung, Verarbeitung und das Kundenportal geführt, wobei die Agronomen der Betriebe die Warnungen in ihrem Arbeitsalltag nutzen | Nicht ausgeführt |
| N2 Twice-Weekly Revisit | 1.6 Revisit Time (innerhalb von 72 Stunden), über 1.6.1 Ground Track Repeat und 1.6.2 Off-Nadir Imaging | VAL-02 Growing Season Revisit Simulation: eine Saison Aufnahmen über der Zielliste der Kunden mit der geplanten Bodenspur, der Off-Nadir-Grenze und historischer Bewölkung | Nicht ausgeführt |
| N3 Field-Level Vegetation Maps | 1.2 Ground Sample Distance (4,5 m), 1.4 Spectral Bands (vier Bänder, 450–900 nm) | VAL-03 Agronomist Map Review: Agronomen prüfen Vegetationskarten aus Luftbildern, auf 4,5 m in den vier EO-1-Bändern umgerechnet | Bestanden: alle 12 Musterkarten akzeptiert |
Jede Zeile zeigt, warum Validierung keine Wiederholung der Verifikation ist. 1.6 verlangt eine Wiederholung innerhalb von 72 Stunden, eine Eigenschaft der Umlaufbahn und der Ausrichtgrenzen, und TC-13 Ground Track Repeat Analysis hat bereits eine Wiederholung von 3 Tagen und 0,4 Stunden gezeigt. Aber Landwirte brauchen zweimal pro Woche brauchbare Bilder, und Wolken kommen in 1.6 nicht vor. Nur eine Simulation mit Wolkenstatistik (VAL-02) kann sagen, ob die Anforderung, wie geschrieben erfüllt, den Bedarf deckt. Wenn nicht, ist die Korrektur eine neue oder geänderte Anforderung, kein besserer Test.
N1 ist ähnlich. 6.2 und 6.5 versehen die Lieferkette mit Zahlen, und die Monte-Carlo-Analyse von 6.5 (siehe den Monte-Carlo-Leitfaden) beziffert die Wahrscheinlichkeit, 100 Minuten einzuhalten, auf etwa 97,6 %. Ob ein Agronom am Tag des Überflugs tatsächlich von Pflanzenstress erfährt, in einer Form, nach der er handeln kann, ist eine andere Frage, und VAL-01 stellt sie mit echten Nutzern.
VAL-03 lief zuerst, vor jeder Flughardware, weil es nur Musterbilder und Menschen braucht. Das ist frühe Validierung: Sie bestätigte, dass 4,5 m in vier Bändern für Karten auf Feldebene detailliert genug sind, bevor der Kameraentwurf eingefroren wurde. Zwei Prüfende wünschten Überlagerungen der Feldgrenzen, ein möglicher neuer Bedarf, der mit dem Ergebnis festgehalten wurde.
Modellverifikation und Modellvalidierung
Im Model-Based Systems Engineering ist das Modell selbst ein technisches Produkt, und dieselben beiden Fragen gelten dafür. Die Praxis in Verteidigung und Raumfahrt definiert sie für Modelle und Simulationen seit Jahrzehnten (DoD Instruction 5000.61 zu Verifikation, Validierung und Akkreditierung; NASA-STD-7009 zur Glaubwürdigkeit von Modellen und Simulationen):
- Modellverifikation: Ist das Modell richtig gebaut? Entspricht die Umsetzung ihrer eigenen Spezifikation und den Modellierungsregeln: keine fehlenden Dauern in einem simulierten Ablauf, keine Funktion, die niemand ausführt, keine Anforderung ohne verifizierendes Ereignis, dimensional konsistente Gleichungen, Code, der berechnet, was sein Autor beabsichtigt hat.
- Modellvalidierung: Ist es das richtige Modell für seinen Zweck? Bildet es das reale System für die Entscheidungen, die es stützen soll, genau genug ab? Das wird durch den Vergleich des Modells mit der Realität beantwortet: Testdaten, Flugdaten, ein vertrauenswürdiges Modell höherer Genauigkeit.
- Akkreditierung ist im Sprachgebrauch des DoD die formale Entscheidung, dass ein Modell für eine bestimmte Verwendung akzeptabel ist, gestützt auf seine Verifikations- und Validierungsnachweise.
EO-1 hat einen klaren Fall. Sein Leistungsbudget rechnet gemessene Spitzenleistung der Arrays mit der Gleichung EQ-1.3 in orbitgemittelte Leistung um: Orbitmittel = Spitze × 0,62 (besonnter Anteil) × 0,6 (Wirkungsgrad des Leistungspfads). Diese Gleichung zu verifizieren heißt, Arithmetik, Einheiten und ihre Links zu prüfen. Sie zu validieren heißt zu fragen, ob 0,62 und 0,6 der realen Umlaufbahn und der realen Leistungskette entsprechen, zum Beispiel durch Vergleich der Vorhersage mit der orbitgemittelten Leistung, die am Flatsat über einen simulierten Orbit gemessen wurde. Das Urteil über Anforderung 3.1 unten hängt vollständig von dieser Gleichung ab, sodass eine nicht validierte EQ-1.3 selbst einen perfekten Test ergebnislos machen würde.
Die Faustregel: Wenn eine Analyse oder Simulation als Verifikationsnachweis dient, braucht ihr Modell eigene Validierungsnachweise, im Verhältnis dazu, wie sehr die Entscheidung darauf beruht.
Die Nachverfolgbarkeit hinter beiden
Verifikation und Validierung brauchen jeweils ihre eigene Kette von Links:
- Bedarfe → Validierung. Jeder Stakeholder-Bedarf ist mit der Validierungsaktivität verknüpft, die zeigen wird, dass er im vorgesehenen Einsatz erfüllt ist, und mit den Anforderungen, die ihn formalisieren.
- Anforderungen → Verifikation. Jede Anforderung ist mit dem Test, der Analyse, Inspektion oder Demonstration verknüpft, die sie verifiziert, mit Methode, Stufe und Erfolgskriterien. Die Anforderungs-Verifikationsmatrix ist der Bericht dieser Kette.
Zusammen beantworten sie die beiden Abdeckungsfragen, die ein Review-Gremium stellt: Ist jede Anforderung verifiziert, und ist jeder Bedarf validiert? Die Links zwischen Bedarfen und Anforderungen verbinden die beiden Ketten, sodass sich eine Lücke auf einer Seite zur anderen zurückverfolgen lässt: Ein Bedarf, dessen Anforderungen alle bestehen, dessen Validierung aber fehlschlägt, weist auf eine fehlende oder falsche Anforderung hin.
In der Matrix stehen die beiden Ketten nebeneinander: Anforderungen werden durch TC-Testfälle verifiziert, Bedarfe durch VAL-Ereignisse validiert. Die Matrix zeigt auch eine Verifikationslücke: 6.5 Planning Cycle Time hat eine Methode (Analyse), aber im Modell noch kein verifizierendes Ereignis. Der Monte-Carlo-Leitfaden führt diese Analyse durch; ihr Ergebnis als Testfall festzuhalten würde die Zeile schließen.
Verifikationsnachweise in der Praxis: TC-06
TC-06 Solar Array Power Test von EO-1 zeigt, was einen Verifikationsnachweis gut macht und wie er aufhört zu zählen. Die Aufzeichnung ist vollständig: M. Chen hat ihn an den Array-Qualifikationspanels QM-1 und QM-2 mit Kabelbaumrevision C durchgeführt, unter dem großflächigen Sonnensimulator bei AM0 (1361 W/m², Gleichmäßigkeit 1,4 %), und die I-U-Kennlinie als tc06-array-iv-curve.csv angehängt. Die Spitzenleistung betrug 75,1 W gegenüber einem erwarteten Ergebnis von mindestens 72 W. Bestanden.
Dann wurde Anforderung 3.1 Orbit Average Power nach dem Preliminary Design Review von 28 W auf 30 W angehoben. Das Testergebnis änderte sich nicht, aber das, was es beweist. Über EQ-1.3 entsprechen 75,1 W Spitze 27,9 W Orbitmittel (75,1 × 0,62 × 0,6), unter 30 W; um 30 W zu zeigen, bräuchte es etwa 80,6 W Spitze. Der Link von 3.1 zu TC-06 wird daher als verdächtig markiert und bleibt verdächtig, bis das erwartete Ergebnis von TC-06 aus der neuen Anforderung neu abgeleitet und der Test erneut ausgeführt wird oder sich der Entwurf ändert. Der RVTM-Leitfaden geht die Prüfung durch, und der Leitfaden zur Änderungsauswirkungsanalyse verfolgt dieselbe Änderung durch den Entwurf.
Daraus ergeben sich drei Lehren für Verifikationsnachweise:
- Nachweise sind an eine Konfiguration und eine Anforderungsversion gebunden. Ein gegen 28 W festgehaltenes Bestehen ist kein Nachweis für 30 W.
- Das Bestehenskriterium muss aus der Anforderung stammen. Die Grenze von 72 W in TC-06 entspricht nur 26,8 W Orbitmittel, zeigte also nicht einmal die alten 28 W. Ein Test kann sein eigenes Kriterium bestehen und seine Anforderung trotzdem nicht verifizieren.
- Eine Analyse in der Kette braucht Validierung. Das Urteil hängt von den beiden Faktoren in EQ-1.3 ab, und das ist die Frage der Modellvalidierung aus dem vorigen Abschnitt.
Und nichts davon ist Validierung. Selbst ein sauberes Ergebnis von 30 W würde nur zeigen, dass die Arrays 3.1 erfüllen. Ob 30 W genug Leistung sind, um für Agrarkunden 120 Szenen pro Tag aufzunehmen, ist die Art von Frage, die die Validierungsereignisse auf Missionsebene beantworten.
Verifikation und Validierung im Vergleich
| Verifikation | Validierung | |
|---|---|---|
| Frage | Haben wir das System richtig gebaut? | Haben wir das richtige System gebaut? |
| Prüft gegen | Anforderungen und Entwurfsspezifikationen | Stakeholder-Bedarfe, vorgesehener Einsatz, Measures of Effectiveness |
| ISO/IEC/IEEE 15288 | Verification Process (6.4.9) | Validation Process (6.4.11) |
| Typische Methoden | Inspektion, Analyse, Demonstration, Test | Betriebsszenarien, Missionssimulation, Stakeholder-Reviews, Betriebserprobungen, Felddaten |
| Ebenen | Komponente, Subsystem, System | Hauptsächlich das System in seiner Betriebsumgebung; frühe Validierung an Konzepten und Prototypen |
| Umgebung | Kontrolliert: Labor, Prüfstand, Simulator | Repräsentativ für den realen Einsatz, möglichst mit echten Nutzern |
| Wer urteilt | Das Engineering-Team anhand schriftlicher Kriterien; der Kunde bei der Abnahme | Stakeholder und Nutzer, oft mit einem unabhängigen Bewerter |
| Ergebnis | Bestanden oder nicht bestanden pro Anforderung | Bedarf erfüllt, teilweise erfüllt oder nicht erfüllt, oft mit neuen oder geänderten Bedarfen |
| Nachverfolgbarkeit | Anforderung → Verifikationsereignis | Bedarf → Validierungsereignis |
| Übliche Aufzeichnung | Anforderungs-Verifikationsmatrix, Testberichte | Validierungsplan und -bericht, Bericht zur Betriebsbewertung |
| Ein Fehlschlag bedeutet | Das System erfüllt eine Anforderung nicht: Entwurf oder Bau korrigieren | Die Anforderungen haben den Bedarf nicht erfasst: die Anforderungen korrigieren, dann den Entwurf |
| EO-1-Beispiel | TC-07: Batterie 78,3 Wh gegenüber 77 Wh | VAL-03: Agronomen akzeptieren Karten mit 4,5 m in vier Bändern |
Häufige Verwechslungen
- „Validierung ist der letzte Test.“ Tests auf Systemebene gegen Ende sind meist noch Verifikation. Validierung ist durch ihre Referenz definiert (Bedarfe und vorgesehener Einsatz), nicht durch ihren Zeitpunkt, und sie sollte lange vor dem Ende beginnen.
- „Alle Anforderungen sind bestanden, also ist das System validiert.“ Bestandene Anforderungen zeigen, dass die Anforderungen erfüllt wurden. Sie sagen nichts darüber, ob es die richtigen Anforderungen waren. EO-1 könnte 1.6 exakt erfüllen und N2 bei realer Bewölkung trotzdem verfehlen.
- Eine Anforderung validieren oder das System verifizieren. Die Begriffe gelten auch für Anforderungen selbst. Der INCOSE Guide to Needs and Requirements unterscheidet Anforderungsverifikation (Ist die Aussage gut formuliert: notwendig, eindeutig, verifizierbar?) und Anforderungsvalidierung (Drückt sie den Bedarf aus, aus dem sie stammt?) von Systemverifikation und Systemvalidierung. Sagen Sie, welche Sie meinen. Der Leitfaden zum Schreiben von Anforderungen behandelt, wie man Aussagen verifizierbar macht.
- „Demonstration ist Validierung.“ Eine Demonstration einer Anforderung ist Verifikation. Eine Demonstration eines Betriebsszenarios mit Nutzern, beurteilt an ihren Bedarfen, ist Validierung. Nicht die Methode entscheidet, sondern die Referenz.
- „Eine Simulation ist eine Validierung.“ Eine Simulation ist eine Technik. Den Planungszyklus von 6.5 gegen 100 Minuten zu simulieren verifiziert 6.5. Eine Wachstumssaison gegen „brauchbare Bilder zweimal pro Woche“ zu simulieren validiert N2. Und das Simulationsmodell selbst braucht eine eigene Validierung.
- IV&V bedeutet „mehr V&V“. Independent Verification and Validation ist V&V, durchgeführt von einer Organisation, die in Management, Budget und technischem Urteil vom Entwickler getrennt ist. Es geht darum, wer sie durchführt, nicht um eine dritte Aktivität.
- Links als Ergebnisse zählen. Ein mit einem Validierungsereignis verknüpfter Bedarf ist für die Validierung geplant, nicht validiert. Eine Abdeckungszahl sagt Ihnen, was geplant ist; nur Ergebnisse sagen Ihnen, was gezeigt ist.
Wie Holarch beides festhält
In einem LML-Projekt werden Verifikation und Validierung im selben Modell wie die Bedarfe und Anforderungen gehalten, mit denselben Arten von Elementen und Links:
- Bedarfe sind Statements (keine Requirements), mit traced to mit den Anforderungen verknüpft, die sie formalisieren.
- Verifikationsplanung liegt an jedem Requirement: Verification Method (Analysis, Demonstration, Inspection, Test, in beliebiger Kombination), Stufe und Erfolgskriterien.
- Verifikationsereignisse sind Test Cases in Test Suites, mit verifies mit Anforderungen verknüpft. Analysen, Inspektionen und Demonstrationen sind ebenfalls Testfälle. Jeder Lauf hält Tester, Konfiguration, Prüfling und Nachweisdatei fest; fehlgeschlagene Tests werden zu Issues, und Testzyklen speichern jede Kampagne.
- Validierungsereignisse können ebenfalls Test Cases sein, in einer eigenen Suite (wie TS-3 oben), mit verifies mit dem Bedarf verknüpft. Das Standard-LML-Schema erlaubt verifies nur zu Anforderungen, daher fügt das Schema des EO-1-Modells ein Ziel hinzu, Test Case verifies Statement; fügen Sie es in Ihrem eigenen Projekt unter Schema hinzu (Test Case öffnen, + Beziehung), bevor Sie in der Nachverfolgbarkeitsmatrix verknüpfen. RVTM und Verifikationsabdeckung zählen nur Anforderungen, daher ändern Validierungsereignisse die Zahl „11 von 32 Anforderungen verifiziert“ nicht; die Matrix zeigt sie neben den Anforderungen.
- Measures of Effectiveness sind Measures mit dem Label MOE und Schwellen- und Zielwerten. Eine Monte-Carlo-Studie im Simulator kann eine Ausgabe gegen eine Anforderung oder ein Measure prüfen und das Ergebnis als Test Case festhalten; so wird eine Analyse zum Verifikationsnachweis.
- Änderungen markieren Links als verdächtig, einschließlich des Links zu einem verifizierenden Testfall, wie bei TC-06.
- Modellverifikation ist das, was Verifikation → Modellprüfungen tut: Regeln über das ganze Modell, etwa Blattanforderungen ohne verifizierenden Testfall und fehlgeschlagene Tests ohne Issue. Action-Diagramme haben eigene Prüfungen, bevor eine Simulation läuft. Holarch hat keinen eigenen Datensatz für die Modellvalidierung; bewahren Sie den Vergleich mit Test- oder Flugdaten als Nachweis des Analyse-Testfalls auf, der sich auf das Modell stützt.
Der Leitfaden zum SE-Prozess zeigt beide Seiten des V. Mit dem Prozess V-Modell stellt die Karte Verifikationsverknüpfungen jede Phase der rechten Seite der Phase der linken Seite gegenüber, die sie prüft: Systemvalidierung mit dem Betriebskonzept („needs validated“), Systemverifikation mit den Systemanforderungen („requirements verified“) und darunter die Ebenen Subsystem und Einheit.
Lesen Sie die Karte als Abdeckung, im Sinne der obigen Verwechslung. Ein Bedarf zählt als validiert, sobald ein Testfall mit verifies mit ihm verknüpft ist oder sobald eine daraus verfolgte Anforderung bestanden hat, sodass N1 und N2 zählen, obwohl VAL-01 und VAL-02 nicht ausgeführt wurden. Die Karte zählt jedes verfolgte Statement, das keine Anforderung ist, als Bedarf; in der Demo kommen so zu N1–N3 eine Annahme (1.1 Reference Orbit) und drei Betriebsregeln (OR-1 bis OR-3) hinzu, weshalb sie 7 zeigt. Die Validierungsergebnisse selbst stehen im Test Center.
Dokumente können die Pläne tragen: Die Dokumentvorlagen umfassen ein Betriebskonzept, einen Verifikations- und Validierungsplan, einen Testplan, einen Testbericht und einen IV&V-Plan, mit Live-Blöcken für VCRM und RVTM, die sich aus dem Modell aktualisieren.
In Holarch ausprobieren
- Legen Sie das Projekt EO-1 an: Projekte verwalten → Projektdateien ▾ → Neues Demoprojekt → CubeSat (Geführtes Systems Engineering), oder importieren Sie das EO-1-Referenzmodell.
- Drücken Sie ⌘K / Ctrl+K, tippen Sie
crop stressund öffnen Sie N1 Same-Day Crop Stress Alerts: Seine Beziehungen zeigen die Anforderungen, zu denen er verfolgt ist (traced to), und das VAL-Ereignis, das ihn verifiziert. Fügen Sie einen eigenen Bedarf als Statement hinzu, zum Beispiel mit Element hinzufügen ▸ in einem Anforderungsdokument. - Öffnen Sie unter Verifikation → Test Center die Suite TS-3 Mission Validation. Für eine eigene Suite klicken Sie auf + Neu ▾ → Test Suite… und dann für jedes Validierungsereignis auf + Testfall, mit Aufbau und erwartetem Ergebnis in den Begriffen der Stakeholder.
- Öffnen Sie Verifikation → Nachverfolgbarkeitsmatrix mit den Bedarfen in den Zeilen und den Validierungstestfällen in den Spalten und wählen Sie verified by: Jeder Bedarf hat sein VAL-Ereignis. Klicken Sie auf eine leere Zelle, um einen Link hinzuzufügen.
- Öffnen Sie Verifikation → RVTM, um die Verifikation der Anforderungen zu sehen, und Plan → SE-Prozess mit dem V-Modell, um beide Seiten des V zu sehen.
Die vollständigen Referenzen sind Verifikation, Nachverfolgbarkeit, SE-Prozess und Modellprüfungen.
Häufig gestellte Fragen
Was kommt zuerst, Verifikation oder Validierung?
Die formale Systemvalidierung kommt meist nach der Systemverifikation, weil sie ein System braucht, das wie spezifiziert in seiner vorgesehenen Umgebung funktioniert. Aber Validierungsaktivitäten beginnen zuerst: Stakeholder-Reviews des Konzepts und der Anforderungen finden statt, bevor überhaupt eine Verifikation möglich ist. Planen Sie beides zu Beginn.
Kann eine Aktivität beides leisten?
Ja, wenn sie so geplant und an beiden Referenzen beurteilt wird. Ein durchgängiger Betriebsprobelauf kann 6.1 Contact Scheduling gegen sein Kriterium von 48 Stunden verifizieren und, wenn echte Bediener und Kunden teilnehmen, Validierungsnachweise für N1 sammeln. Halten Sie die beiden Urteile getrennt fest, weil sie sich unterscheiden können.
Wer führt die Validierung durch?
Der Entwickler plant und unterstützt sie meist, aber das Urteil gehört den Stakeholdern: Nutzern, Betreibern, dem Kunden, manchmal einer unabhängigen Testorganisation. Validierung ohne Stakeholder ist eine Vermutung über ihre Bedarfe.
Was passiert, wenn die Validierung fehlschlägt, die Verifikation aber bestanden wurde?
Die Anforderungen haben den Bedarf nicht erfasst. Verfolgen Sie den fehlgeschlagenen Bedarf zu seinen Anforderungen, finden Sie die fehlende oder falsche, ändern Sie sie über die Änderungssteuerung und folgen Sie den verdächtigen Links in Entwurf und Verifikation. Das ist der teuerste Fehlschlag im Systems Engineering, und deshalb lohnt sich frühe Validierung.
Wie es weitergeht
- Anforderungs-Verifikationsmatrix (RVTM): der praktische nächste Schritt, mit Spalten, Methodenwahl, Statuszusammenfassung und einem Abdeckungs-Review zum Meilenstein am selben CubeSat.
- Anforderungen schreiben: verifizierbare Aussagen, die Voraussetzung für Verifikation.
- Anforderungsnachverfolgbarkeit und Änderungsauswirkung: Bedarfe, Anforderungen, verdächtige Links und die Matrix.
- Verifikation in Holarch: Testfälle, Läufe mit Nachweisen, Testzyklen und die RVTM in einem Modell.