Holarch

Leitfaden · Verifikation

Anforderungs-Verifikationsmatrix (RVTM): Spalten, Methoden und ein durchgearbeitetes Beispiel

Diesen Leitfaden anhören (Audio auf Englisch) 29 min

Eine Anforderungs-Verifikationsmatrix, kurz RVTM, listet jede Anforderung mit der Art ihrer Verifikation, dem Ereignis, das sie verifiziert, dem Ergebnis und dem Nachweis. Dieser Leitfaden behandelt die Spalten, die Wahl zwischen Inspektion, Analyse, Demonstration und Test, Planung und Ergebnisse, wie fehlgeschlagene und geänderte Ergebnisse erscheinen, und ein Abdeckungs-Review vor einem Meilenstein, durchgearbeitet an der RVTM eines 6U-CubeSats zur Erdbeobachtung.

Auf dieser Seite
  1. Was eine Anforderungs-Verifikationsmatrix ist
  2. Wer sie verwendet und wann
  3. Die Spalten
  4. Eine Verifikationsmethode wählen
  5. Planung und Ergebnisse
  6. Statuswerte und Zusammenfassung
  7. Aus dem Modell erzeugt halten
  8. Wie fehlgeschlagene und geänderte Ergebnisse erscheinen
    1. Ein fehlgeschlagenes Ergebnis
    2. Eine geänderte Anforderung
  9. Die Abdeckung vor einem Meilenstein prüfen
  10. Durchgearbeitetes Beispiel: die RVTM des CubeSats EO-1
    1. Der Plan
    2. Die Ergebnisse und die Testkampagnen
    3. Die Matrix lesen
    4. Eine geänderte Anforderung: 3.1 nach dem PDR
    5. Die verbleibenden Zeilen vor dem Review planen
  11. Eine Matrix pro Produkt in einer Produktlinie
  12. Häufige Fehler
  13. In Holarch ausprobieren
  14. Wie es weitergeht

Was eine Anforderungs-Verifikationsmatrix ist

Verifikation fragt, ob das System richtig gebaut wurde: Erfüllt es jede Anforderung, wie sie geschrieben ist? Die Anforderungs-Verifikationsmatrix ist der Ort, an dem diese Frage Anforderung für Anforderung beantwortet wird. Jede Zeile ist eine Anforderung. Die Spalten sagen, wie sie verifiziert wird, auf welcher Integrationsebene, durch welches Ereignis und was dieses Ereignis ergeben hat. Wie sich Verifikation von Validierung unterscheidet, die das System stattdessen gegen die Stakeholder-Bedarfe prüft, zeigt Verifikation und Validierung.

Dieselbe Tabelle hat mehrere Namen. RVTM (Requirements Verification Traceability Matrix) betont den Link von der Anforderung zum Test. VCRM (Verification Cross-Reference Matrix) ist in Verteidigungs- und Luftfahrtprogrammen verbreitet und meint oft die Planungshälfte: Anforderung, Methode und Stufe. Eine Verifikationsmatrix oder Konformitätsmatrix kann pro Zeile eine Konformitätsaussage für einen Kunden hinzufügen. Der Inhalt unterscheidet sich von Organisation zu Organisation ein wenig, die Idee ist aber dieselbe: eine Zeile pro Anforderung, keine ohne geplanten Weg, ihre Erfüllung zu zeigen.

ISO/IEC/IEEE 15288 beschreibt Verifikation als Prozess, der die Verifikationsmaßnahmen plant, bereitstellt, was sie brauchen, sie durchführt und die Ergebnisse festhält, und erwartet, dass jede Anforderung von mindestens einer Maßnahme abgedeckt ist. Die Matrix ist die übliche Aufzeichnung dieser Abdeckung. Das INCOSE Systems Engineering Handbook behandelt sie genauso: ein Arbeitswerkzeug während der Entwicklung und ein Liefergegenstand bei Reviews. Die Matrix ist das Verifikationsende der Anforderungsnachverfolgbarkeit: Wo die Nachverfolgbarkeit fragt, woher eine Anforderung kommt und was sie erfüllt, fragt die RVTM, was sie nachweist.

Das durchgehende Beispiel ist EO-1, ein fiktiver 6U-CubeSat, der Ackerland in vier Spektralbändern aus einer 500-km-Umlaufbahn aufnimmt. Seine Spezifikation hat 32 Anforderungen und 19 Verifikationsereignisse in zwei Testsuiten; eine dritte Suite enthält die Validierungsereignisse für seine Stakeholder-Bedarfe. Es ist dasselbe Projekt, dem der Rundgang durch das MBSE-Beispielprojekt von den Stakeholder-Bedarfen bis zu den Dokumenten folgt, sodass sich die Zeilen hier zu den Funktionen, Komponenten und Analysen zurückverfolgen lassen, die sie beantworten.

Wer sie verwendet und wann

  • Anforderungs-Reviews (zum Beispiel ein System Requirements Review). Die Prüfenden kontrollieren, dass jede Anforderung eine Methode und eine Stufe hat. Eine Anforderung, bei der niemand sagen kann, wie sie zu verifizieren ist, ist meist mehrdeutig oder nicht messbar, und das Review ist der günstigste Zeitpunkt, sie neu zu formulieren.
  • Entwurfs-Reviews. Die Matrix nennt jetzt Testfälle, Analysen und Inspektionen. Die Prüfenden suchen nach Anforderungen ohne Ereignis und nach Tests, die Einrichtungen oder Prüflinge brauchen, die niemand eingeplant hat.
  • Test Readiness Reviews. Vor Beginn einer Kampagne zeigt die Matrix, welche Anforderungen die Kampagne schließen wird und welche Prozeduren bereit sind.
  • Qualifikation. Die Qualifikation zeigt, dass der Entwurf seine Anforderungen erfüllt, oft mit Marge, an einem eigens dafür gebauten Prüfling. Die Matrix listet jedes Qualifikationsergebnis und seinen Bericht.
  • Abnahme. Die Abnahme zeigt, dass jede gelieferte Einheit wie entworfen gebaut wurde und funktioniert. Der Kunde zeichnet die Matrix Zeile für Zeile ab, mit beigefügten oder referenzierten Nachweisen.
  • Audits und Zertifizierung. Ein Auditor wählt Zeilen aus und verfolgt sie bis zum Nachweis. Eine Matrix, deren Nachweisspalte auf echte, versionierte Dateien zeigt, besteht das; eine, die ohne Version „siehe Testbericht“ sagt, nicht.

Die Spalten

Eine praxistaugliche Matrix hat diese Spalten. Manche Organisationen teilen oder benennen sie um; wenige lassen eine weg.

SpalteEnthältAusgefüllt
AnforderungKennung und Kurzname; die vollständige Aussage ist einen Klick entfernt, nicht eingefügtWenn die Anforderung geschrieben wird
MethodeInspektion, Analyse, Demonstration oder Test; bei Bedarf mehrereAnforderungsanalyse
StufeWo sie verifiziert wird: Komponente, Subsystem oder System (oder Einheit, Baugruppe, Segment)Anforderungsanalyse
ErfolgskriterienDas messbare Ergebnis, das als erfüllt gilt, mit BedingungenAnforderungsanalyse
VerifikationsereignisDer Testfall, die Analyse, Inspektion oder Demonstration, die sie durchführtEntwurf
StatusNicht verifiziert, geplant, nicht ausgeführt, bestanden oder fehlgeschlagenIntegration und Test
NachweisDer Bericht, die Datendatei oder der Datensatz, der das Ergebnis zeigt, mit Version sowie dem Build und Prüfling, auf dem es liefIntegration und Test

Die ersten vier Spalten sind der Plan. Die letzten drei sind die Ergebnisse. Die beiden Hälften getrennt zu halten ist wichtig, weil sie sich zu unterschiedlichen Zeiten und aus unterschiedlichen Gründen ändern (siehe Planung und Ergebnisse).

Eine Verifikationsmethode wählen

Es gibt vier Standardmethoden. Sie stehen hier von der günstigsten zur teuersten, was auch die übliche Rangfolge ist, wenn mehrere infrage kommen. Die Methode wird am besten gewählt, wenn die Anforderung geschrieben wird; der Leitfaden zum Schreiben von Anforderungen zeigt am Beispiel TC-06, warum.

Inspektion
Das Element oder seine Dokumentation untersuchen, ohne es zu betreiben: ein Maß messen, ein Etikett lesen, ein Zertifikat, eine Zeichnung oder eine Konfigurationseinstellung prüfen. Gut für physische Merkmale, Kennzeichnungen, Werkstoffe und alles, was als „shall have“ oder „shall be made of“ formuliert ist. Sie umfasst auch die Prüfung anderswo erstellter Aufzeichnungen: EO-1 verifiziert 3.4 Bus Regulation (12 V innerhalb von 2 %), indem der Qualifikationsbericht der Leistungsverteilungseinheit und ihre Lastsprungdaten inspiziert werden, statt den Test zu wiederholen.
Analyse
Zeigen, dass die Anforderung erfüllt ist, durch Berechnung, Modellierung oder Simulation, oft mit Testdaten aus niedrigeren Ebenen. Gut, wenn ein Test am realen Objekt unmöglich oder unsicher ist oder wenn die Analyse weit mehr Fälle abdeckt als jeder Test. 1.7 Mission Lifetime von EO-1 (730 Tage im Orbit) lässt sich nur durch eine Zuverlässigkeitsanalyse zeigen und 1.6.1 Ground Track Repeat durch Propagation der Umlaufbahn.
Demonstration
Das Element betreiben, um zu zeigen, dass es etwas tut, beobachtet, aber nicht für präzise Messungen instrumentiert. Gut für funktionale und betriebliche Anforderungen mit Ja-oder-Nein-Ergebnis: 6.1 Contact Scheduling von EO-1 (Kontakte 48 Stunden im Voraus gebucht) wird gezeigt, indem das Betriebsteam 14 Tage Probebetrieb durchläuft.
Test
Das Element unter kontrollierten Bedingungen betreiben und das Ergebnis an einer Zahl messen. Gut für Leistungsanforderungen mit Wert und Toleranz, etwa 2.1 Pointing Accuracy (innerhalb von 0,1 Grad vom Ziel). Ein Test liefert den stärksten Nachweis und kostet meist am meisten.

Einige Fragen, die die Wahl entscheiden:

  • Enthält die Anforderung eine Zahl? Dann braucht sie meist Test oder Analyse; eine Demonstration kann „within 0.1 degrees“ nicht zeigen.
  • Lässt sich die Bedingung reproduzieren? Zwei Jahre im Orbit oder ein Überflug mit 25 Grad Off-Nadir über einem echten Feld lassen sich nicht im Labor inszenieren. Diese gehen an die Analyse, gestützt durch einen Test an einem Punkt, den das Labor erreichen kann.
  • Auf welcher Ebene ist es sichtbar? Die Batteriekapazität lässt sich am Battery Pack testen (Komponentenebene); die Ausrichtgenauigkeit braucht das Lageregelungs-Subsystem; die Wiederholrate von 72 Stunden gibt es nur für die ganze Mission. Verifizieren Sie jede Anforderung auf der niedrigsten Ebene, auf der die Eigenschaft vollständig vorhanden ist.
  • Was akzeptiert der Kunde? Verträge legen die Methode für wichtige Anforderungen oft fest. Einigen Sie sich früh darauf, nicht erst bei der Abnahme.

Schreiben Sie die Erfolgskriterien zur selben Zeit. „Erfüllt die Anforderung“ ist kein Kriterium. „Fehler von höchstens 0,1 Grad bei jedem von 20 kommandierten Zielen“ ist eines: Jeder kann es ausführen und kommt zum selben Urteil.

Planung und Ergebnisse

Die Planungshälfte der Matrix wird während Anforderungsanalyse und Entwurf festgelegt. Sie beantwortet „Woran werden wir es erkennen?“ und sollte vollständig sein, lange bevor Hardware existiert. Eine Anforderung ohne Methode beim Anforderungs-Review ist ein Mangel im Anforderungssatz, keine Lücke im Testprogramm.

Die Ergebnishälfte wird während Integration und Test ausgefüllt. Sie ändert sich bei jedem Ereignis und ist nur zusammen mit dem Getesteten aussagekräftig: Build- oder Softwareversion, Seriennummer des Prüflings, Datum und Person. Ein Ergebnis ohne Build und Prüfling lässt sich nicht wiederholen oder auditieren, und es kann nicht sagen, welcher Build einen Fehler behoben hat.

Zwei Gewohnheiten halten die Hälften ehrlich:

  • Ein Ereignis pro Nachweiszeile. Ein Analysebericht, ein Inspektionsprotokoll und eine Demonstration sind Verifikationsereignisse wie ein Testfall. Geben Sie jedem einen eigenen Eintrag mit Ergebnis, damit die Matrix für jede Methode Nachweise zeigt und nicht nur für Tests.
  • Blätter verifizieren, Eltern zusammenfassen. Eine in Kinder zerlegte Elternanforderung ist verifiziert, wenn alle ihre Kinder es sind oder wenn sie ein eigenes Ereignis hat. Die Zusammenfassung vermeidet doppelte Tests für die Elternanforderung und zeigt sofort, welcher Zweig sie aufhält.

Statuswerte und Zusammenfassung

Fünf Statuswerte decken das Leben einer Zeile ab:

StatusBedeutungWas zu tun ist
Nicht verifiziertKeine Methode und kein EreignisPlanen oder die Anforderung infrage stellen
Nur geplantEine Methode ist festgelegt, noch kein Ereignis vorhandenTestfall, Analyse oder Inspektion schreiben
Nicht ausgeführtEreignisse existieren, keines hat ein ErgebnisEinplanen
BestandenEin Ereignis bestanden und keines fehlgeschlagenDen Nachweis mit Build und Prüfling aufbewahren
FehlgeschlagenEin Ereignis fehlgeschlagenIssue anlegen, beheben, erneut ausführen

Ein Verifikationsereignis hat eigene, feinere Zustände: nicht ausgeführt, in Bearbeitung, blockiert, fehlgeschlagen oder bestanden. Für die Matrix hat ein Ereignis in Bearbeitung oder blockiert noch kein Urteil, daher zählt seine Anforderung als nicht ausgeführt.

Bei einer Elternanforderung macht ein Fehlschlag irgendwo darunter sie fehlgeschlagen, und sie besteht nur, wenn jedes Kind besteht (oder ihr eigenes Ereignis). Andernfalls zeigt sie, wie weit ihr am wenigsten abgedeckter Zweig gekommen ist. Das Zählen der Zeilen nach Status liefert die eine Zahl, nach der die meisten Reviews zuerst fragen: wie viele Anforderungen von wie vielen verifiziert sind.

Aus dem Modell erzeugt halten

Die meisten Matrizen beginnen als Tabellenkalkulation, und die meisten Tabellenkalkulationen driften. Der Anforderungstext wird eingefügt und veraltet, wenn sich die Anforderung ändert. Der Teststatus wird nach jedem Lauf von Hand eingetippt, von wem auch immer, der daran denkt. Vor einem Review kursieren zwei Kopien, und niemand weiß sicher, welche der Kunde gesehen hat. Nichts davon ist Nachlässigkeit; eine Tabellenkalkulation ist eine Kopie, und Kopien laufen auseinander.

Die Alternative ist, den Inhalt der Matrix dort zu halten, wo er ohnehin liegt, und die Tabelle daraus zu erzeugen:

  • Methode, Stufe und Erfolgskriterien sind Attribute der Anforderung;
  • jedes Verifikationsereignis ist ein Element, das mit den Anforderungen verknüpft ist, die es verifiziert;
  • jedes Ergebnis wird mit Build, Prüfling und Nachweis am Ereignis festgehalten, wenn es läuft;
  • die Matrix ist eine Abfrage über diese Links, die bei jedem Öffnen oder Export neu aufgebaut wird.

Die Matrix kann dann nicht von den Anforderungen oder den Testaufzeichnungen abweichen, weil sie keine eigenen Daten hat. Eine exportierte Kopie für ein Review ist weiterhin eine Momentaufnahme, aber sie entsteht in Sekunden aus dem aktuellen Modell, statt von Hand gepflegt zu werden. Das ist einer der greifbarsten Vorteile, Anforderungen, Entwurf und Verifikation in einem Modell zu halten; die Seite Verifikationsfunktionen beschreibt, wie Holarch das macht.

Wie fehlgeschlagene und geänderte Ergebnisse erscheinen

Zwei Arten von Änderungen machen eine Zeile falsch, nachdem sie fertig aussah.

Ein fehlgeschlagenes Ergebnis

Ein Fehlschlag ist eine Information, keine Blamage, und die Matrix sollte ihn deutlich zeigen. Das fehlgeschlagene Ereignis bleibt fehlgeschlagen, bis es erneut ausgeführt wird; es wird nicht stillschweigend zurückgesetzt. Jeder Fehlschlag bekommt ein Issue (einen Problembericht oder Abweichungsbericht), das mit dem Ereignis und den von ihm verifizierten Anforderungen verknüpft ist, sodass die Matrixzeile zur Untersuchung führt. Wenn die Korrektur kommt, wird das Ereignis auf dem neuen Build erneut ausgeführt, und die Aufzeichnung behält beide Läufe: den Fehlschlag auf dem alten Build und das Bestehen auf dem neuen. Wer die Ergebnisse jeder Testkampagne als Momentaufnahme speichert (oft Testzyklus genannt), kann Kampagnen vergleichen und genau sehen, welche Zeilen sich geändert haben.

Eine geänderte Anforderung

Das leisere Problem ist eine Anforderung, die sich ändert, nachdem ihr Test bestanden wurde. Steigt eine Leistungsanforderung von 28 W auf 30 W, beweist das alte Bestehen nichts mehr über den neuen Wert, aber eine Statusspalte sagt weiterhin „bestanden“. Eine gute Matrix markiert den Link zwischen der geänderten Anforderung und ihrem verifizierenden Ereignis als verdächtig, bis jemand ihn prüft: Entweder deckt das Ereignis den neuen Wert bereits ab, oder die Prozedur muss sich ändern und das Ereignis erneut laufen. Dasselbe gilt, wenn sich etwas oberhalb der Anforderung ändert. Verdächtige Links im Allgemeinen behandelt der Abschnitt zu verdächtigen Links im Leitfaden zur Nachverfolgbarkeit; für die Verifikation ist die Regel kurz: Ein Bestehen, das vor der letzten Änderung der Anforderung festgehalten wurde, braucht eine Prüfung, bevor es bei einem Meilenstein zählt. Der Leitfaden zur Änderungsauswirkungsanalyse verfolgt dieselbe Änderung vom Änderungsantrag bis zum erneuten Test.

Die Abdeckung vor einem Meilenstein prüfen

Gehen Sie eine Woche vor einem Review die Matrix mit diesen Fragen durch:

  1. Nicht verifizierte Zeilen. Jede Anforderung sollte mindestens eine Methode haben. Zeilen ohne Methode haben entweder keinen Plan oder sind in ihrer Formulierung nicht verifizierbar.
  2. Nur geplante Zeilen. Für ein Entwurfs-Review sollte jede ein Ereignis haben oder einen Grund, warum noch keines existiert. Für die Abnahme sollte keine übrig bleiben.
  3. Fehlgeschlagene Zeilen. Jede braucht ein verknüpftes Issue mit Verantwortlichem und Plan. Ein Fehlschlag ohne Issue ist der häufigste Befund bei Test-Reviews.
  4. Verdächtige Zeilen. Jede braucht eine Entscheidung: noch gültig oder erneut ausführen.
  5. Plausibilität von Stufe und Methode. Suchen Sie nach Systemanforderungen, die nur durch einen Komponententest verifiziert werden, nach numerischen Anforderungen, die nur durch Demonstration verifiziert werden, und nach Ereignissen, deren Prozedur nicht misst, was die Anforderung aussagt.
  6. Nachweise. Prüfen Sie stichprobenartig einige bestandene Zeilen: Existiert der Nachweis, und passen Build und Prüfling zu dem, was geprüft wird?
  7. Verwaiste Ereignisse. Testfälle, die keine Anforderung verifizieren, kosten Geld und beweisen nichts in der Aufzeichnung. Verknüpfen Sie sie oder mustern Sie sie aus.

Halten Sie die Anzahl pro Status an jedem Meilenstein fest. Der Trend (nicht verifiziert sinkt, bestanden steigt, fehlgeschlagen schließt sich) sagt mehr über den Zustand des Programms als jede einzelne Momentaufnahme.

Durchgearbeitetes Beispiel: die RVTM des CubeSats EO-1

Das Beispiel ist das CubeSat-Demoprojekt EO-1 in Holarch, in dem die Anforderungen in SRS-001 EO-1 System Requirements Specification liegen, Verifikationsereignisse Test Cases in zwei Test Suites sind und jeder Testfall seine Anforderungen verifiziert (eine dritte Suite, TS-3 Mission Validation, validiert die Stakeholder-Bedarfe und bleibt außerhalb der RVTM). Für diesen Leitfaden wurde der Demo eine Änderung hinzugefügt, dieselbe, die der Änderungsschritt des MBSE-Beispiels vornimmt: Nach dem Preliminary Design Review wuchs die orbitgemittelte Last auf 26 W, daher wurde Anforderung 3.1 Orbit Average Power von 28 W auf 30 W angehoben.

Das Beispiel herunterladen: die Anforderungs-Verifikationsmatrix von EO-1 als Excel-Arbeitsmappe (.xlsx, 32 Zeilen) oder dieselbe Matrix als CSV. Beide sind Holarchs eigener RVTM-Export des unten gezeigten Projekts: Nummer und Name der Anforderung, Methode, Stufe, Erfolgskriterien, verifizierende Testfälle mit ihrem Status, eigener Status und zusammengefasster Status. Verwenden Sie sie als Vorlage für Ihre eigenen Spalten.

Der Plan

Eine Auswahl von Zeilen, eine für jede Methode und Stufe, mit den Erfolgskriterien, wie sie in der Spezifikation stehen:

#AnforderungMethodeStufeErfolgskriterien
1.2Ground Sample Distance: 4,5 m aus der 500-km-UmlaufbahnTestSystemMTF bei Nyquist von mindestens 0,12 am 4-m-Balkenziel
1.6.1Ground Track Repeat: alle 3 TageAnalyseSystemDie Orbitpropagation zeigt eine Wiederholung von 3 Tagen ± 1 Stunde
2.1Pointing Accuracy: innerhalb von 0,1 GradTestSubsystemFehler von höchstens 0,1 Grad bei jedem von 20 kommandierten Zielen
3.1Orbit Average Power: mindestens 30 W am Lebensende (vorher 28 W)TestSubsystemOrbitgemittelte Leistung am Lebensende, vorhergesagt aus der gemessenen Spitzenleistung
3.2Battery Capacity: mindestens 77 Wh zu LebensbeginnTestKomponenteGemessene Kapazität von mindestens 77 Wh bei C/2 und 20 °C
3.4Bus Regulation: 12 V innerhalb von 2 %InspektionKomponenteBus innerhalb von 11,76–12,24 V bei allen Lastsprüngen
6.1Contact Scheduling: 48 Stunden im VorausDemonstrationSystemKontakte 48 h im Voraus gebucht, an 14 aufeinanderfolgenden Tagen im Probebetrieb
6.5Planning Cycle Time: innerhalb von 100 MinutenAnalyseSystemEine Monte-Carlo-Simulation erreicht 100 Minuten mit einer Wahrscheinlichkeit von mindestens 90 %
2.5Safe Mode Recovery: „quickly … as appropriate“(keine)(keine)(keine)

Alle vier Methoden kommen vor, auf drei Stufen. Die Batteriekapazität wird am Pack allein getestet, weil die Eigenschaft dort vollständig vorhanden ist; die Ausrichtgenauigkeit braucht das Lageregelungs-Subsystem auf einem Luftlagertisch; die Bodenspurwiederholung ist eine Eigenschaft der Umlaufbahn und geht an die Analyse. 6.5 wird durch eine probabilistische Analyse des Betriebsablaufs verifiziert, die Art von Prüfung, die der Monte-Carlo-Leitfaden durchgeht. Das Kriterium von 3.1 ist eine Vorhersage aus einer Messung: Der Test misst die Spitzenleistung der Arrays, und eine Gleichung im Leistungsbudget macht daraus einen orbitgemittelten Wert. 2.5 hat keine Methode, weil sie in ihrer Formulierung nicht verifiziert werden kann.

Die Ergebnisse und die Testkampagnen

Die 19 Verifikationstestfälle liegen in zwei Suiten: TS-1 Spacecraft Qualification Tests (15 Testfälle, von optischen Prüfstandstests bis zu Analysen) und TS-2 Communications and Ground Tests (4). Eine dritte Suite, TS-3 Mission Validation, enthält VAL-01 bis VAL-03, die Stakeholder-Bedarfe statt Anforderungen verifizieren, daher lässt die RVTM sie weg (siehe Verifikation und Validierung). Jedes festgehaltene Ergebnis trägt den Tester, das Datum, den Build (Flugsoftwareversion) und den Prüfling (Hardware-Seriennummern) und, falls vorhanden, die Nachweisdatei.

TC-04 Pointing Accuracy Test ist fehlgeschlagen: Beim zweiten Lauf mit Flugsoftware 2.3.1 lagen drei von 20 Zielen außerhalb von 0,1 Grad, das größte bei 0,14 Grad, und Radreibung wird vermutet. Der Fehlschlag hat ein Issue, das mit dem Testfall und über ihn mit den Anforderungen 2.1 und 2.2 verknüpft ist. TC-09 Safe Mode Entry Test ist auf dieselbe Weise fehlgeschlagen (14 Sekunden statt 10) und hat ein eigenes Issue. Zwei Testfälle, TC-11 UHF Command Test und TC-17 Slew Time Analysis, sind in Bearbeitung; in der Matrix zählen sie als nicht ausgeführt, bis sie ein Urteil haben.

Die Flatsat-Kampagne lief zweimal, und die Ergebnisse jeder Kampagne wurden als Testzyklus gespeichert. Der Vergleich der beiden zeigt, was die zweite Kampagne geändert hat:

  • Flatsat Cycle 1: 5 von 9 bestanden. TC-03 und TC-06 wurden nicht ausgeführt; TC-04 (0,16 Grad bei 5 Zielen) und TC-09 (15 Sekunden) sind fehlgeschlagen.
  • Flatsat Cycle 2: 8 von 11 bestanden. TC-03 und TC-06 bestanden, die Analyse TC-13 kam hinzu und bestand, TC-14 kam hinzu, wurde aber nicht ausgeführt. TC-04 und TC-09 verbesserten sich (0,14 Grad bei 3 Zielen, 14 Sekunden), sind aber weiterhin fehlgeschlagen.

„Verbessert, aber weiterhin fehlgeschlagen“ ist genau das, was eine Statusspalte verbirgt und ein Zyklusvergleich bewahrt: Die Korrekturen zwischen den Kampagnen haben die Zahlen in die richtige Richtung bewegt, und keiner der beiden ist abgeschlossen.

Die Matrix lesen

Die Matrix wird aus den obigen Anforderungen und Testfällen erzeugt; nichts darin wurde in eine Tabelle getippt. Die Karten zählen die Zeilen nach zusammengefasstem Status, und die fünf Zahlen ergeben zusammen die 32 Anforderungen: 11 bestanden, 3 fehlgeschlagen, 12 nicht ausgeführt, 3 nur geplant, 3 nicht verifiziert. So liest sie ein Review-Gremium:

  • 11 von 32 verifiziert (34 %). Bestanden per Test (1.2, 3.2), per Analyse (1.6.1, 1.7) und per Inspektion (3.4). Noch keine Demonstration hat bestanden: Alle drei (5.4, 6.1, 6.2) warten auf die Probeläufe des Bodensegments in TS-2.
  • 2.1 und 2.2 sind über einen Test fehlgeschlagen. TC-04 verifiziert beide, also lässt ein Fehlschlag zwei Zeilen fehlschlagen. Bei genauerem Hinsehen hat 2.2 Pointing Stability ein zweites Problem: Ihr Kriterium ist die Drift über jede 40-s-Aufnahme, aber TC-04 misst nur den Ausrichtfehler an jedem Ziel. Selbst ein bestandener TC-04 würde nicht zeigen, dass 2.2 erfüllt ist. Das ist ein Befund zur Plausibilität der Methode: 2.2 braucht eine eigene Messung, oder die Prozedur von TC-04 muss die Drift aufzeichnen.
  • 4.3 ist fehlgeschlagen, über TC-09. Das Issue und eine Aufgabe, die Watchdog-Abfragerate zu erhöhen und TC-09 erneut auszuführen, sind festgehalten; die Zeile bleibt fehlgeschlagen, bis TC-09 mit der neuen Software besteht.
  • 1.6 Revisit Time wird zusammengefasst. Für sich ist sie nur geplant (Analyse, kein Ereignis), aber ihre beiden Kinder entscheiden: 1.6.1 bestanden, 1.6.2 Off-Nadir Imaging nicht ausgeführt, also zeigt 1.6 „nicht ausgeführt“. Ein eigener Test der Elternanforderung ist nicht nötig, sobald beide Kinder bestehen.
  • Nur geplant: 1.5, 4.4 und 6.5. Jede hat eine Methode und kein Ereignis. 4.4 Downlink Encryption hat außerdem weder Stufe noch Kriterien, ihr Plan ist also nicht fertig.
  • Nicht verifiziert: 2.5, 3.5 und 6.4. Keine Methode, kein Ereignis. Das sind auch die drei schwächsten Anforderungen der Spezifikation („quickly … as appropriate“, „warm enough (TBD)“, „user friendly and/or easy to use“). Lücken in der Matrix weisen eher auf Anforderungen hin, die neu formuliert werden müssen, als auf fehlende Tests.
  • 3.1 ist verdächtig. Siehe den nächsten Abschnitt.

Eine geänderte Anforderung: 3.1 nach dem PDR

TC-06 Solar Array Power Test hat bestanden: Das erwartete Ergebnis war mindestens 72 W Spitze, und die Arrays lieferten 75,1 W. Dann wurde 3.1 von 28 W auf 30 W angehoben. Die Statusspalten zeigen weiterhin „bestanden“, weil TC-06 tatsächlich bestanden hat. Das ⚠ hinter der Anforderung und hinter TC-06 sagt, dass das Bestehen älter ist als die Anforderung. Ein Klick darauf listet jeden Link von 3.1, den die Änderung verdächtig gemacht hat:

Für den Verifikationslink ist die Frage konkret: Zeigen 75,1 W gemessene Spitzenleistung noch 30 W im Orbitmittel? Das Leistungsbudget beantwortet sie. Seine Gleichung EQ-1.3 rechnet Spitzenleistung mit dem besonnten Anteil der Umlaufbahn (0,62) und dem Wirkungsgrad des Leistungspfads (0,6) in orbitgemittelte Leistung um:

SpitzenleistungOrbitmittel (× 0,62 × 0,6)Bedeutung
72,0 W26,8 WErwartetes Ergebnis von TC-06
75,1 W27,9 WGemessenes Ergebnis von TC-06
75,3 W28,0 WNötig für das alte 3.1
80,6 W30,0 WNötig für das neue 3.1

Das Bestehen lässt sich also nicht übernehmen: Um 30 W zu zeigen, bräuchten die Arrays etwa 80,6 W Spitze, und TC-06 hat 75,1 W an Qualifikationspanels zu Lebensbeginn gemessen, vor jeder Degradation bis zum Lebensende. Das Review fördert auch ein älteres Problem zutage, das die Änderung offengelegt hat: Die Schwelle von 72 W in TC-06 entspricht nur 26,8 W Orbitmittel, also war das erwartete Ergebnis des Tests selbst gegenüber 28 W nicht über das Leistungsbudget aus der Anforderung abgeleitet. Das richtige Vorgehen ist, den Link verdächtig zu lassen, ein Issue anzulegen, das erwartete Ergebnis von TC-06 aus der Gleichung zu überarbeiten (und mit dem Leistungsingenieur zu entscheiden, ob sich die Arrays oder die Marge ändern) und ihn dann erneut auszuführen. Die Verdachtsmarkierung bleibt, bis diese Entscheidung festgehalten ist, damit niemand das alte „Bestanden“ als Nachweis für 30 W liest.

Die exportierte Matrix enthält nur Verifikationsergebnisse, keine Verdachtsmarkierungen: In der heruntergeladenen Arbeitsmappe zeigt 3.1 „Bestanden“. Prüfen Sie die verdächtigen Zeilen im Modell, bevor Sie eine Kopie für einen Meilenstein exportieren.

Die verbleibenden Zeilen vor dem Review planen

Die Abdeckungsliste zeigt die 21 noch nicht verifizierten Zeilen (32 minus 11) mit den Bedienelementen, um ihren Plan fertigzustellen. Vor dem Critical Design Review ergibt sich daraus folgende Arbeit:

  1. 2.5, 3.5 und 6.4 so neu formulieren, dass sie verifizierbar sind, dann jeder eine Methode, Stufe und Kriterien geben.
  2. 4.4 eine Stufe und Kriterien geben und die Inspektion dafür anlegen; die Analysen für 1.5 und 6.5 anlegen.
  3. Die Fehlschläge schließen: TC-04 nach der Untersuchung der Räder, TC-09 nach der Watchdog-Änderung, mit eigener Driftmessung für 2.2.
  4. Über 3.1 entscheiden: TC-06 gegen 30 W überarbeiten und erneut ausführen.
  5. Die nicht ausgeführten Ereignisse einplanen, beginnend mit TC-19 Array Deployment Test und den vier Ereignissen in TS-2, die zusammen acht Anforderungen verifizieren.

Wer die Zahlen bei jedem Review festhält (hier 11 bestanden, 3 fehlgeschlagen, 12 nicht ausgeführt, 3 nur geplant, 3 nicht verifiziert), erhält den Trend, mit dem das nächste Review vergleicht.

Eine Matrix pro Produkt in einer Produktlinie

In diesem Leitfaden bedeutet „Build“, worauf ein Test lief: eine Softwareversion und die Seriennummern des Prüflings. Eine Produktlinie ist etwas anderes: mehrere Produkte, etwa EO-1 Flight und das günstigere EO-1 Lite, in einem Modell gehalten, jedes eine Produktkonfiguration. Ihre Anforderungen überschneiden sich, sind aber nicht gleich, und ein Bestehen bei einem Produkt verifiziert das andere nicht. EO-1 Lite fliegt das S-Band-Funkgerät, daher sagt der für EO-1 Flight bestandene X-Band-Linktest nichts darüber aus.

Die Matrix muss dann pro Produkt gelesen werden. Wählen Sie in Holarch eine Produktkonfiguration unter Anzeigen als ▾: Die RVTM zeigt nur die Anforderungen dieser Konfiguration und die für sie festgehaltenen Ergebnisse, „verifiziert“ bedeutet also verifiziert für dieses Produkt, und ihre Exporte nennen die Konfiguration. Alle Konfigurationen fügt pro Konfiguration eine Spalte mit dem zusammengefassten Status hinzu, mit „—“, wo eine Anforderung nicht dazugehört. Suite ausführen in einer Konfigurationsansicht hält die Ergebnisse als Ergebnisse dieser Konfiguration fest und füllt das Feld Konfiguration / Build mit dem Namen des Produkts; Build und Prüfling sollten trotzdem festgehalten werden. Produktlinien erfordern den Plan Individual oder Team; siehe Produktlinien: RVTM und den Leitfaden zum Product Line Engineering.

Häufige Fehler

  • Die Anforderung als Erfolgskriterium wiederholen. „Das ADCS richtet innerhalb von 0,1 Grad aus“ sagt nichts darüber, wie viele Ziele, unter welchen Bedingungen oder gegen welche Referenz.
  • Testschwellen, die nicht aus der Anforderung abgeleitet sind. Das erwartete Ergebnis eines Tests sollte über die verbindende Analyse aus der Anforderung kommen, was bei den 72 W von TC-06 nicht der Fall war. Prüfen Sie die Rechnung, wenn der Test geschrieben wird, nicht erst, wenn sich die Anforderung ändert.
  • Ein Test für mehrere Anforderungen, ohne jede zu messen. Einen Test zu teilen ist effizient, aber nur, wenn die Prozedur jede Größe aufzeichnet, die die verknüpften Anforderungen nennen.
  • Eltern direkt verifizieren. Einen Test für eine Elternanforderung zu schreiben, der nur die Tests ihrer Kinder wiederholt, verdoppelt die Arbeit und den Papierkram. Verifizieren Sie die Blätter und lassen Sie die Elternanforderung zusammenfassen.
  • Analyse ohne Nachweis. Eine Analyse ist ein Verifikationsereignis und braucht wie jeder Test einen Bericht, eine Version und ein Urteil.
  • Einen Test mit einem allgemeinen „related“-Link an eine Anforderung knüpfen. Die Matrix zählt nur Verifikationslinks; ein anders verknüpfter Test lässt die Anforderung unverifiziert aussehen.
  • Einen Fehlschlag auf „nicht ausgeführt“ zurücksetzen, um die Matrix aufzuräumen. Behalten Sie den Fehlschlag und sein Issue; die Historie ist das, wonach ein Auditor fragt.
  • Verdächtige Zeilen bei der Abnahme ignorieren. Ein Bestehen, das älter ist als die Anforderung, die es verifizieren soll, ist kein Nachweis für die aktuelle Anforderung.

In Holarch ausprobieren

  1. Legen Sie das Projekt EO-1 an: Projekte verwalten → Projektdateien ▾ → Neues Demoprojekt → CubeSat (Geführtes Systems Engineering). Oder beginnen Sie mit Ihren eigenen Anforderungen in einem Anforderungsdokument; siehe Anforderungen.
  2. Öffnen Sie Verifikation → Test Center. Legen Sie unter Verifikationsabdeckung die Methode jeder Anforderung mit A, D, I und T fest, wählen Sie unter Stufe… eine Stufe und fügen Sie mit + Kriterien Erfolgskriterien hinzu.
  3. Legen Sie Test Suites und Testfälle mit + Neu ▾ und + Testfall an und verknüpfen Sie jeden Testfall mit + in der Spalte Verifiziert mit seinen Anforderungen. Analysen, Inspektionen und Demonstrationen sind ebenfalls Testfälle.
  4. Halten Sie Ergebnisse mit den Statusschaltflächen fest oder gehen Sie eine Kampagne mit Suite ausführen durch, das für jeden Lauf den Tester, den Build (das Feld Konfiguration / Build), den Prüfling und die Nachweisdatei festhält. Klicken Sie nach einem Fehlschlag auf + Problem erstellen.
  5. Speichern Sie eine Kampagne mit Neuen Zyklus starten… und vergleichen Sie Kampagnen unter ⋯ → Testzyklen… der Suite.
  6. Öffnen Sie Verifikation → RVTM. Klicken Sie auf eine Statuskarte, um die Zeilen zu filtern. Um eine Verdachtsmarkierung zu sehen, ändern Sie den Text von Anforderung 3.1 und klicken Sie dann auf das ⚠ daneben.
  7. Klicken Sie auf Exportieren ▾ für Excel (.xlsx), CSV oder Word (.docx). Das oben herunterladbare Beispiel ist dieser Export.

Die vollständige Referenz steht unter Verifikation.

Wie es weitergeht