Verifikation
Verifikation
Planen Sie, wie jede Anforderung verifiziert wird, ordnen Sie Testfälle in Suiten, führen Sie Tests mit Schrittergebnissen und Nachweisen durch, speichern Sie Testzyklen und berichten Sie die Abdeckung in der RVTM.
Auf dieser Seite
- Überblick
- Konzepte
- So setzen Sie es ein
- Wann und warum
- Die Verifikation für jede Anforderung planen
- Test Suites und Testfälle erstellen
- Ein schrittweises Verfahren schreiben
- Weitere Wege, einen Testfall zu erstellen
- Tests ausführen und Ergebnisse erfassen
- Ergebnisse aus einem anderen Testsystem importieren
- Einen Testzyklus speichern
- Abdeckung berichten
- Durchgehendes Beispiel: die CubeSat-EO-1-Demo
- Tipps und bewährte Vorgehensweisen
- Häufige Fehler
- Zusammenhang mit anderen Funktionen
- Test Center
- RVTM
- Tastaturkürzel
- Meldungen
- Grenzen
- Verwandte Themen
Überblick
Verifikation beantwortet für jede Anforderung eine Frage: Welcher Nachweis zeigt, dass sie erfüllt ist?
Holarch hält alles zur Verifikation im selben Modell wie die Anforderungen:
- den Plan: Verifikationsmethode, Stufe und Erfolgskriterien
- die Testfälle, die den Plan umsetzen
- die Ergebnisse jeder Ausführung
- die resultierende Abdeckung
Weil all das in einem Modell liegt, ist der Abdeckungsbericht immer aktuell.
Die Gruppe Verifikation in der Navigationsleiste enthält:
| Seite | Zweck |
|---|---|
| RVTM | Die Requirements Verification Traceability Matrix: jede Anforderung mit ihrer Methode, Stufe, verifizierenden Testfällen, eigenem Ergebnis und aufsummiertem Ergebnis. |
| Test Center | Test Suites und Testfälle, schrittweise Verfahren, Testausführungen mit Nachweisen, Testzyklen und die Verifikationsabdeckung der Anforderungen. |
| Nachverfolgbarkeitsmatrix | Jede Beziehung als Raster, z. B. Anforderungen × Testfälle. Siehe Nachverfolgbarkeitsmatrix. |
| Modellprüfungen | Regelprüfungen des gesamten Modells, einschließlich nicht verifizierter Blatt-Anforderungen und fehlgeschlagener Tests ohne Issue. Siehe Modellprüfungen. |
Das Abzeichen in der Navigationsleiste an Verifikation zählt fehlgeschlagene Tests und Fehler der Modellprüfungen.
Konzepte
Attribute der Verifikationsplanung
Jedes Requirement hat drei Planungsattribute:
| Attribut | Werte | Bedeutung |
|---|---|---|
| Verification Method | Analyse, Demonstration, Inspektion, Test (beliebig kombinierbar) | Wie die Anforderung verifiziert wird. |
| Verifikationsstufe | Komponente, Subsystem, System | Die Integrationsstufe, auf der es verifiziert wird. |
| Erfolgskriterien | Text | Das messbare Ergebnis, das zeigt, dass die Anforderung erfüllt ist. |
Die Labels der Anforderung enthalten passende Labels der Verifikationsmethode (Analysis, Demonstration, Inspection, Test). Das Setzen des Attributs oder eines Labels aktualisiert das andere als Teil derselben Änderung, und ein einziges Rückgängigmachen nimmt beides zurück. Importierte Projekte, die Labels verwenden, verhalten sich daher genauso wie Projekte, die das Attribut verwenden.
Verification Requirements (LML 2.0)
Ein Verification Requirement ist ein Statement, das angibt, was gezeigt werden muss und wie, bevor eine Anforderung als erfüllt gilt. Es ist der Weg von LML 2.0, den Verifikationsplan in einem eigenen Element statt an der Anforderung zu führen. Es hat:
| Attribut | Bedeutung |
|---|---|
| Verification Method | Analyse, Demonstration, Inspektion, Test (beliebig kombinierbar; weitere Methoden im Schema hinzufügen). |
| Acceptance Criteria | Die Ergebnisse, die die Verifikation erreichen muss. |
| Nachweis | Die Art des zu sammelnden und zu übergebenden Nachweises, etwa ein Prüfbericht oder ein Inspektionsprotokoll. |
| Begründung | Warum diese Methode, diese Kriterien und dieser Nachweis gewählt wurden. |
Verknüpfen Sie es mit verifies mit der Anforderung (oder dem Asset), die es abdeckt, und mit traced to mit den Testfällen, die es umsetzen. Die RVTM zählt diese Testfälle dann als verifizierend für die Anforderung, übernimmt Methode und Abnahmekriterien vom Verification Requirement, wenn die Anforderung keine eigenen hat, und listet das Verification Requirement unter Verified By.
Beide Formen funktionieren nebeneinander: Ein Testfall, der eine Anforderung direkt verifiziert (die Form von LML 1.x), zählt genau wie bisher, und das Label Verification Requirement an einer Anforderung bleibt verfügbar.
Ein Testfall kann auch das Asset unter Test mit evaluates benennen (vom Asset aus gesehen: evaluated by).
Projekte, die vor diesen Ergänzungen erstellt wurden, behalten ihr Schema; Schema → Neue integrierte Elemente hinzufügen… fügt ihnen die Klasse Verification Requirement und die Relation evaluates hinzu.
Testfälle und Test Suites
Ein Test Case verifiziert Anforderungen über die Beziehung verifies (von der Anforderung aus gesehen: verified by). Ein Testfall hat:
- Beschreibung: das Verfahren.
- Set Up, Expected Result, Actual Result.
- Event Conditions (die Bedingungen, unter denen der Test läuft, etwa Umgebung, Modus oder simulierte Lasten) und Event Constraints (Grenzen für das Testereignis, etwa unabhängige Zeugen, Haltepunkte oder Stichprobenregeln). Der Ausführungsdialog zeigt sie, wenn sie ausgefüllt sind, und der CSV-Export der Suite hat für jedes eine Spalte.
- evaluates: das Asset unter Test.
- Status: Nicht ausgeführt, In Bearbeitung, Blockiert, Fehlgeschlagen oder Bestanden.
- Schritte: ein optionales nummeriertes Verfahren, jeder Schritt mit Action, Expected Result, Actual Result und Pass/Fail.
- Ausführungsnachweis, von jeder erfassten Ausführung geschrieben: Getestet von, Testdatum, Konfiguration (getesteter Build oder getestete Version), Test Article (Einheit oder Seriennummer) und Test Evidence (eine Datei).
- Ein Ausführungsprotokoll: jede erfasste Ausführung mit Datum, Status, Tester, Konfiguration, Prüfling, tatsächlichem Ergebnis, Name der Nachweisdatei und Schrittergebnissen.
Ein Testfall kann in untergeordnete Testfälle zerlegt werden. Der Status eines übergeordneten Testfalls wird aus seinen Blättern aufsummiert. Die erste zutreffende Regel gilt:
- Fehlgeschlagen, wenn ein Blatt fehlgeschlagen ist.
- Blockiert, wenn ein Blatt blockiert ist.
- Bestanden, wenn alle Blätter bestanden sind.
- Nicht ausgeführt, wenn kein Blatt ausgeführt wurde.
- Andernfalls In Bearbeitung.
Eine Test Suite ist ein Artifact mit dem Label Test Suite. Sie enthält ihre Testfälle über source of (oder referenced by in importierten Daten). Testfälle ohne Suite erscheinen unter Testfälle ohne Suite.
Verifikationsstatus von Anforderungen
Jede Anforderung erhält einen eigenen Status aus ihren verifizierenden Testfällen (denen, die sie direkt verifizieren, und denen, die von ihren Verification Requirements abgeleitet sind):
| Eigener Status | Regel |
|---|---|
| Fehlgeschlagen | Ein verifizierender Testfall ist fehlgeschlagen. |
| Bestanden | Ein verifizierender Testfall ist bestanden (und keiner fehlgeschlagen). |
| Nicht ausgeführt | Es gibt verifizierende Testfälle, keiner ist bestanden oder fehlgeschlagen. |
| Nur geplant | Kein Testfall, aber eine Verifikationsmethode ist festgelegt (an der Anforderung oder an einem ihrer Verification Requirements). |
| Nicht verifiziert | Kein Testfall und keine Verification Method. |
Der aufsummierte Status folgt der Zerlegung (decomposed by). Für eine übergeordnete Anforderung gilt:
- Sie ist Bestanden, wenn sie einen eigenen bestandenen Test hat oder wenn alle ihre untergeordneten Anforderungen Bestanden sind.
- Sie ist Fehlgeschlagen, wenn es irgendwo darunter einen Fehlschlag gibt.
- Andernfalls übernimmt sie ihren eigenen Status oder den Status ihres am wenigsten abgedeckten untergeordneten Elements, je nachdem, welcher weiter fortgeschritten ist. Die Reihenfolge ist Nicht verifiziert → Nur geplant → Nicht ausgeführt.
Verifiziert bedeutet immer Bestanden.
Testzyklen
Ein Testzyklus ist eine gespeicherte Momentaufnahme der Ergebnisse einer Suite: Status und tatsächliches Ergebnis jedes Blatt-Testfalls. Speichern Sie einen am Ende jeder Kampagne und setzen Sie die Suite dann für die nächste auf Nicht ausgeführt zurück. Sie können Zyklen miteinander oder mit den aktuellen Ergebnissen vergleichen und zu einem Zyklus zurückkehren.
So setzen Sie es ein
Wann und warum
Planen Sie die Verifikation, während Sie Anforderungen schreiben, nicht nachdem der Entwurf fertig ist. Wenn Sie Methode und Erfolgskriterien einer Anforderung nicht angeben können, ist die Anforderung in ihrer jetzigen Formulierung meist nicht verifizierbar.
Der übliche Ablauf:
- Anforderungsanalyse: Legen Sie an jeder Anforderung Verification Method, Level und Success Criteria fest.
- Entwurf: Schreiben Sie Testfälle und verknüpfen Sie sie mit den Anforderungen, die sie verifizieren. Auch Analyse-, Demonstrations- und Inspektionsprotokolle sind Testfälle.
- Integration und Test: Führen Sie die Testfälle aus und erfassen Sie Ergebnisse und Nachweise. Erstellen Sie Issues für Fehlschläge. Speichern Sie je Kampagne einen Testzyklus.
- Reviews und Abnahme: Berichten Sie die Abdeckung mit der RVTM.
Die Verifikation für jede Anforderung planen
Geben Sie jeder Anforderung eine Methode, eine Stufe und Erfolgskriterien. Das tun Sie in der Abdeckungskarte des Test Center.
- Öffnen Sie Verifikation → Test Center.
- Scrollen Sie zu Verifikationsabdeckung.
Sie sehen jede Anforderung, die noch nicht verifiziert ist.
- Klicken Sie in einer Zeile auf die Methodenschaltflächen, um die Methoden umzuschalten: A (Analyse), D (Demonstration), I (Inspektion), T (Test).
Die Anforderung wechselt von Nicht verifiziert zu Nur geplant.
- Wählen Sie die Stufe unter Stufe…: Komponente, Subsystem oder System.
- Klicken Sie auf + Kriterien.
- Geben Sie das messbare Ergebnis ein und klicken Sie auf Speichern.
Die Schaltfläche zeigt jetzt Kriterien ✓.
Sie können diese Attribute auch im Inspektor jeder Anforderung bearbeiten.
Test Suites und Testfälle erstellen
- Klicken Sie im Seitenkopf auf + Neu ▾ → Test Suite….
- Geben Sie eine Nummer (z. B.
TS-3), einen Name und eine Beschreibung ein. - Klicken Sie auf Erstellen.
Sie sehen eine neue Suite-Karte.
- Klicken Sie auf der Suite-Karte auf + Testfall.
- Benennen Sie unter Element erstellen den Testfall.
Der Testfall wird der Suite mit dem Status Nicht ausgeführt hinzugefügt.
- Klicken Sie in der Testfallzeile in der Spalte Verifiziert auf +.
- Wählen Sie die Anforderungen, die der Testfall verifiziert.
- Geben Sie in der Zeile das Expected Result ein.
- Schreiben Sie das Verfahren in die Beschreibung des Testfalls, im Inspektor oder in der Elementansicht.
Ein schrittweises Verfahren schreiben
Schritte sind optional. Ein Testfall ohne Schritte wird als Ganzes ausgeführt.
- Klicken Sie in der Testfallzeile auf + Schritte.
- Klicken Sie für jeden Schritt auf + Schritt hinzufügen.
- Füllen Sie für jeden Schritt Action und Expected Result aus.
- Sortieren Sie mit ↑ um, und entfernen Sie einen Schritt mit ×.
- Klicken Sie auf Anwenden.
Die Schaltfläche zeigt jetzt Schritte (N).
Weitere Wege, einen Testfall zu erstellen
- Aus der Abdeckungskarte: Klicken Sie unter Verifikationsabdeckung in einer Anforderungszeile auf + Testfall. Dies erstellt Verify <requirement name>, bereits mit der Anforderung verknüpft, unter Testfälle ohne Suite.
- Mit KI: Wählen Sie eine Anforderung in einem Dokument oder in ihrer Elementansicht aus. Wählen Sie ✦ KI ▾ → Testfall erzeugen…. Die KI entwirft Name, geordnete Schritte, Set-up, erwartetes Ergebnis und Methode. Prüfen Sie den Entwurf unter Testfall prüfen — <requirement> und klicken Sie dann auf Testfall erstellen. Siehe KI.
Tests ausführen und Ergebnisse erfassen
Der Ausführungsmodus führt Sie nacheinander durch die Tests und erfasst jedes Ergebnis mit seinem Nachweis.
- Optional: Um nur einige Tests auszuführen, klicken Sie auf einen Statusfilter wie Nicht ausgeführt (12). Nur Blatt-Testfälle mit diesem Status werden ausgeführt.
- Klicken Sie im Seitenkopf auf Suite ausführen.
Der Dialog Suite ausführen öffnet sich beim ersten Test mit Status Nicht ausgeführt.
- Füllen Sie die Sitzungsfelder einmal aus: Tester (standardmäßig Ihr Name), Konfiguration / Build und Test Article. Wählen Sie in einer Produktlinie in der Ansicht Alle Konfigurationen zuerst Ergebnisse erfassen für: die Konfiguration, auf der der Test lief, oder Keine Konfiguration. ✔ Bestanden, ✘ Fehlgeschlagen und Blockiert warten, bis Sie gewählt haben (Produktlinien).
- Lesen Sie Verfahren, Set Up, Schritte und Expected Result des Tests.
- Führen Sie den Test durch. Tragen Sie für jeden Schritt den tatsächlichen Wert ein und wählen Sie Bestanden/Fehlgeschlagen.
- Beschreiben Sie das Actual Result.
- Prüfen Sie Datum und Uhrzeit.
- Klicken Sie auf Nachweis anhängen…, um ein Protokoll, eine Datendatei oder ein Foto hinzuzufügen.
- Klicken Sie auf ✔ Bestanden, ✘ Fehlgeschlagen oder Blockiert.
Der Dialog wechselt zum nächsten Test. Um ohne Erfassen weiterzugehen, klicken Sie auf Überspringen. Um zurückzugehen, klicken Sie auf ‹ Zurück.
- Klicken Sie nach ✘ Fehlgeschlagen auf + Problem erstellen und dann auf Weiter ›.
Der Dialog meldet Erfasst. Erstellen Sie ein Problem, um den Fehlschlag zu verfolgen; es wird mit diesem Testfall und den von ihm verifizierten Anforderungen verknüpft.
- Wiederholen Sie die Schritte 4 bis 10 für jeden Test.
Am Ende zeigt Ausführung abgeschlossen eine Statusleiste mit den Anzahlen. Review ab Start kehrt zum ersten Test zurück.
Jedes erfasste Ergebnis lässt sich mit einem einzigen Rückgängigmachen zurücknehmen. Es bewirkt all dies:
- aktualisiert Status, Actual Result, Getestet von, Testdatum, Konfiguration, Test Article und Test Evidence des Testfalls
- speichert die Schrittergebnisse
- fügt dem Ausführungsprotokoll des Tests einen Eintrag hinzu
Um ein Ergebnis ohne Ausführungsmodus zu erfassen, klicken Sie in einer Testfallzeile auf den Status (zum Beispiel Nicht ausgeführt) und wählen den neuen, klicken dann auf den Text unter Actual Result und geben das Ergebnis ein. Enter oder F2 auf einem fokussierten Wert öffnet ihn ebenfalls; Escape lässt ihn unverändert.
Um einen Test erneut auszuführen, klicken Sie in seiner Zeile auf ↻ Erneut ausführen (angezeigt, sobald der Test ein Ergebnis hat). Der Ausführungsdialog öffnet sich nur für diesen Test, ohne ihn auf Nicht ausgeführt zurückzusetzen; das neue Ergebnis wird neben den früheren Ausführungen in sein Ausführungsprotokoll aufgenommen.
Ergebnisse aus einem anderen Testsystem importieren
Wenn Tests anderswo laufen, etwa auf einem automatisierten Prüfstand oder in einer CI-Pipeline, importieren Sie ihre Ergebnisse, statt sie einzutippen. Holarch liest JUnit-XML-Berichte (von den meisten Test-Runnern und CI-Systemen geschrieben), CSV-Dateien und Excel-Arbeitsmappen (.xlsx).
- Klicken Sie im Seitenkopf auf Ergebnisse importieren….
- Klicken Sie auf Datei auswählen… und wählen Sie die Ergebnisdatei.
- Wählen Sie, welche Testfälle zugeordnet werden: Testfälle zuordnen in (alle oder eine Suite) und Zuordnen nach (Nummer, dann Name, Nummer, Name oder Global ID).
- Prüfen Sie bei einer CSV- oder Excel-Datei die Spalten, die Holarch aus der Kopfzeile erraten hat: Spalte „Testfall“ und Spalte „Status“ sind erforderlich; die Spalten Actual Result, Datum, Tester, Konfiguration und Test Article sind optional.
- Optional: Füllen Sie Getestet von, Testdatum, Konfiguration / Build und Test Article für das aus, was die Datei auslässt.
- Prüfen Sie die Vorschau: jeden zugeordneten Testfall mit seiner Statusänderung sowie die Zeilen, die keinem Testfall oder mehreren Testfällen entsprechen oder übersprungen wurden.
- Klicken Sie auf N Ergebnisse erfassen.
Alle Ergebnisse werden erfasst, und ein einziges Rückgängigmachen nimmt alles zurück. Jedes aktualisiert Status, Getestet von, Testdatum, Konfiguration und Test Article des Testfalls und fügt seinem Ausführungsprotokoll einen Eintrag hinzu, der die Datei nennt. Es wird nichts erstellt.
- Statuswörter: pass, passed, ok und success erfassen Bestanden; fail, failed, failure und error erfassen Fehlgeschlagen; blocked, in progress und not run erfassen diese Status. Übersprungene Tests (JUnit
<skipped>oder skipped in der Statusspalte) bleiben unverändert. - Actual Result: Eine JUnit-Fehlermeldung oder die Spalte Actual Result wird zum Actual Result. Ohne eine solche bleibt das Actual Result, wie es war.
- Wiederholte Testfälle: Nennt eine Datei einen Testfall zweimal, gilt die spätere Zeile; die frühere wird als übersprungen aufgeführt.
- Übergeordnete Testfälle: Ein Testfall mit untergeordneten Testfällen wird nicht erfasst; sein Status wird aus seinen untergeordneten Testfällen aufsummiert.
Um Ergebnisse aus einer CI-Pipeline zu erfassen, ohne Holarch zu öffnen, senden Sie sie an die REST-API (POST …/test-results) oder lassen Sie einen KI-Client sie mit dem MCP-Tool record_test_results vorschlagen. Beide erfassen ein Ergebnis genauso wie Ergebnisse importieren…, einschließlich Eintrag im Ausführungsprotokoll (Testergebnisse).
Einen Testzyklus speichern
Speichern Sie einen Zyklus, wenn eine Testkampagne endet.
- Klicken Sie auf der Suite-Karte auf Neuen Zyklus starten… (oder ⋯ → Neuen Zyklus starten…).
- Benennen Sie unter Neuen Testzyklus starten den Zyklus (Standard Testzyklus N).
- Prüfen Sie Konfiguration / Build und Test Article. Beide beginnen mit dem Wert, der in der Ausführung am häufigsten erfasst wurde; sie erscheinen im Testbericht des Zyklus.
- Klicken Sie auf eine der Optionen:
- Erfassen und neu starten: speichert die Ergebnisse, setzt dann jeden Status in der Suite auf Nicht ausgeführt und leert die tatsächlichen Ergebnisse.
- Nur erfassen: speichert die Ergebnisse und behält sie an den Testfällen.
Ein Zyklus bewahrt für jeden Testfall Status, tatsächliches Ergebnis, Tester, Testdatum, Konfiguration, Test Article, Name der Nachweisdatei und Schrittergebnisse.
Um Zyklen später anzusehen, zu vergleichen, zurückzusetzen oder zu löschen, klicken Sie auf der Suite-Karte auf ⋯ → Testzyklen… (N). Für ein Lieferdokument klicken Sie auf ⋯ → Testbericht…: Es schreibt den Testbericht des Zyklus als Word, Excel, CSV oder Webseite (siehe Dokumenterstellung).
Abdeckung berichten
- Öffnen Sie Verifikation → RVTM.
Die erste Karte zeigt verifiziert / gesamt mit einem Fortschrittsbalken. Die anderen Karten zählen Fehlgeschlagen, Nicht ausgeführt, Nur geplant und Nicht verifiziert.
Die Nummern- und Anforderungsspalten bleiben sichtbar, während eine breite Tabelle seitwärts scrollt. Wo ein Status-Chip zum Einpassen gekürzt ist (in manchen Sprachen), zeigen Sie darauf, um den vollständigen Text zu sehen.
- Optional: Klicken Sie auf eine Karte, um nur diese Anforderungen aufzulisten.
- Klicken Sie auf Exportieren ▾.
- Wählen Sie Excel (.xlsx), CSV oder Word (.docx).
Durchgehendes Beispiel: die CubeSat-EO-1-Demo
Erstellen Sie das Demoprojekt mit Projekte verwalten → Projektdateien ▾ → Neues Demoprojekt und dann:
- Öffnen Sie Verifikation → RVTM.
Die erste Karte zeigt 11 / 32 Verifiziert (bestanden). Die anderen zeigen 3 Fehlgeschlagen, 12 Nicht ausgeführt, 3 Nur geplant und 3 Nicht verifiziert.
- Suchen Sie 1.6 Revisit Time.
Eigen ist Nur geplant: Die Methode ist Analyse, aber es gibt keinen eigenen Test. Status ist Nicht ausgeführt. Der Status wird aus den untergeordneten Anforderungen aufsummiert:
- 1.6.1 Ground Track Repeat ist durch TC-13 Bestanden.
- 1.6.2 Off-Nadir Imaging wird durch TC-14 verifiziert, das Nicht ausgeführt ist.
Die am wenigsten abgedeckte untergeordnete Anforderung ist Nicht ausgeführt, was weiter fortgeschritten ist als Nur geplant.
- Klicken Sie auf die Karte Fehlgeschlagen.
2.1 Pointing Accuracy und 2.2 Pointing Stability schlagen durch TC-04 Pointing Accuracy Test fehl. 4.3 schlägt durch TC-09 Safe Mode Entry Test fehl.
- Öffnen Sie Verifikation → Test Center.
Die Karten zeigen 22 Testfälle in 3 Suites. In TS-1 Spacecraft Qualification Tests zeigt die Zeile TC-04 J. Alvarez · 2026-10-02 10:15 · 📎 tc04-pointing-errors.csv und Issue: Test failure: Pointing Accuracy Test.
- Klicken Sie in der Zeile TC-04 auf Schritte (3).
Schritt 3 ist fehlgeschlagen mit 0.14 degrees on targets 7, 12 and 18.
- Klicken Sie an TS-1 auf ⋯ → Testzyklen… (2).
- Vergleichen Sie Flatsat Cycle 1 → Flatsat Cycle 2.
TC-03 und TC-06 wechselten von Nicht ausgeführt zu Bestanden. Geänderte Zeilen sind hervorgehoben.
Führen Sie TC-09 nach der Watchdog-Korrektur erneut aus:
- Klicken Sie auf den Filter Fehlgeschlagen (2) und dann auf Suite ausführen.
Die Ausführung öffnet sich bei TC-04.
- Klicken Sie auf Überspringen, um zu TC-09 zu gelangen.
- Geben Sie Flight software 2.3.2 als Konfiguration / Build ein.
- Geben Sie Safe mode in 8 seconds als Actual Result ein.
- Klicken Sie auf ✔ Bestanden.
- Öffnen Sie die RVTM erneut.
4.3 ist jetzt Bestanden, und die erste Karte zeigt 12 / 32.
Planen Sie zum Schluss eine nicht verifizierte Anforderung:
- Suchen Sie unter Verifikationsabdeckung 2.5 Safe Mode Recovery (Nicht verifiziert).
- Klicken Sie auf T, wählen Sie unter Stufe… System und fügen Sie Kriterien hinzu.
- Klicken Sie auf + Testfall, um ihren Test anzulegen.
Tipps und bewährte Vorgehensweisen
- Formulieren Sie Erfolgskriterien als messbare Zahlen mit Bedingungen, etwa Range ≥ 25 km in 3 of 3 flights at 20 °C. Wiederholen Sie nicht die Anforderung.
- Verifizieren Sie Blatt-Anforderungen und lassen Sie übergeordnete aufsummieren. Die Modellprüfung Requirement.10 markiert Blatt-Anforderungen ohne verifizierenden Testfall. Übergeordnete sind über ihre untergeordneten abgedeckt.
- Verwenden Sie einen Testfall je Verifikationsereignis, auch bei Analyse, Inspektion und Demonstration. Die RVTM zeigt dann Nachweise für jede Methode.
- Erfassen Sie bei jeder Ausführung die Konfiguration. Ändert sich ein Ergebnis zwischen Zyklen, zeigt das Ausführungsprotokoll, welcher Build es verursacht hat.
- Erstellen Sie für jeden Fehlschlag ein Issue. Die Modellprüfung TestCase.1 markiert fehlgeschlagene Testfälle ohne verknüpftes Issue.
Häufige Fehler
- Versuch, Bestanden an einem übergeordneten Testfall zu setzen. Übergeordnete zeigen den aufsummierten Status ihrer untergeordneten und lassen sich nicht setzen. Erfassen Sie Ergebnisse an den Blättern.
- Verknüpfen einer Anforderung mit ihrem Test über traced to statt verifies. Die Anforderung bleibt Nur geplant oder Nicht verifiziert. Verwenden Sie + in der Testfallzeile, das verifies erstellt.
- Ein Testfall, der nichts verifiziert. Er zählt im Test Center, aber nie in der RVTM.
Zusammenhang mit anderen Funktionen
- Gespeist von:
- Anforderungen und ihre Zerlegung (Anforderungen)
- Schnittstellenanforderungen an Conduits (Schnittstellen)
- Simulationsergebnisse, die eine Anforderung über ein Measure verifizieren können (Simulation)
- Speist:
- die RVTM und ihre Exporte
- Issues für Fehlschläge, die Sie als Aufgaben auf einem Kanban-Board planen können (Projektmanagement)
- Modellprüfungen (Requirement.10, TestCase.1)
- Statuskarten auf der Startseite und das Abzeichen Verifikation
- Baselines und Review-Pakete
- Nachverfolgbarkeitsmatrix: In Matrix öffnen auf der Abdeckungskarte öffnet Anforderungen × Testfälle nach verified by; ⋯ → Öffnen in ▸ Nachverfolgbarkeitsmatrix einer Suite öffnet ihre Hierarchie.
Test Center
Adresse: test-center; test-center?root=<id> klappt einen Testfall oder eine Suite aus, scrollt dorthin und wählt sie aus (verwendet von Öffnen in ▾ → Test Center an einem Testfall).
Seitenkopf
| Steuerelement | Action |
|---|---|
| Exportieren ▾ | RVTM (CSV), RVTM (Excel), RVTM (Word). |
| + Neu ▾ | Test Suite…, Testfall… (ein nicht zugeordneter Testfall). |
| Ergebnisse importieren… | Erfasst nach einer Vorschau Ergebnisse aus einer JUnit-XML-, CSV- oder Excel-Datei an den passenden Testfällen. Siehe Ergebnisse aus einem anderen Testsystem importieren. |
| Suite ausführen | Öffnet den Ausführungsmodus für jeden Blatt-Testfall (oder nur die zum Statusfilter passenden). Deaktiviert, wenn es keine Testfälle gibt. |
Statuskarten und Filter
- Testfälle: Anzahl der Blatt-Testfälle und Anzahl der Suites.
- Ausgeführt: Prozentsatz und Anzahl der Blätter, die nicht Nicht ausgeführt sind.
- Bestanden: Prozentsatz und Anzahl der bestandenen Blätter.
- Fehlgeschlagen: Anzahl der fehlgeschlagenen Blätter, mit der Anzahl der blockierten.
Unter den Karten:
- Eine Statusleiste.
- Die Filter Alle (N), Nicht ausgeführt, In Bearbeitung, Blockiert, Fehlgeschlagen und Bestanden, jeweils mit ihrer Anzahl. Klicken Sie erneut auf einen Filter, um ihn aufzuheben.
- Rechts die Sortierung der Suites: Nach Nummer, Nach Name oder Nach Änderungsdatum.
- Testfälle suchen: durchsucht Nummer, Name oder Beschreibung. Eine Suite, deren Name passt, zeigt alle ihre Testfälle.
Suite-Karte
Der Kopf zeigt ▾/▸ (Einklappen), den Link zur Suite, den Chip Test Suite, den aufsummierten Status, die Anzahl der Tests, die Anzahl der Zyklen, eine kleine Statusleiste und:
- + Testfall — einen Testfall in dieser Suite erstellen.
- Neuen Zyklus starten… — die Ergebnisse als Zyklus erfassen und die Suite zurücksetzen (siehe oben).
- ⋯ (Suite-Optionen). Die Einträge folgen dem Testablauf: ausführen und erfassen, berichten, öffnen, dann duplizieren und löschen.
| Element | Action |
|---|---|
| Zyklus ausführen… | Öffnet den Ausführungsmodus nur für die Testfälle dieser Suite, beginnend beim ersten, der Nicht ausgeführt ist. Deaktiviert, wenn die Suite keine Testfälle hat. |
| Neuen Zyklus starten… | Dasselbe wie die Schaltfläche der Karte: die Ergebnisse als Zyklus erfassen und dann die Suite zurücksetzen. |
| Testzyklen… (N) | Öffnet die Liste der Testzyklen. |
| Testbericht… | Öffnet Testbericht für den neuesten Zyklus: Wählen Sie den Zyklus (oder die aktuellen Ergebnisse) und das Format (standardmäßig Word), dann Exportieren. |
| Testfälle (Word)… | Schreibt ein Word-Dokument mit den Testfällen der Suite. |
| CSV exportieren | <suite>.csv: Number, Name (nach Tiefe eingerückt), Description, Set Up, Expected Result, Actual Result, Status, Status Roll-Up, Verifies. |
| JSON exportieren | <suite>.json: die Suite, ihre Testzyklen und der Testfallbaum mit verifizierten Anforderungen. |
| Als Dokument öffnen | Öffnet die Suite als Dokument. |
| Öffnen in ▸ | Elementansicht (die Elementansicht der Suite) oder Nachverfolgbarkeitsmatrix (die Matrix mit der Suite als Wurzel). |
| Duplizieren | Kopiert die Suite und ihre Testfälle (<suite> (Copy)) mit ihren verifies-Verknüpfungen, Status auf Nicht ausgeführt zurückgesetzt und tatsächliche Ergebnisse geleert. Hinweis: Dupliziert als <name>. |
| Löschen… | Test Suite löschen: löscht die Suite; aktivieren Sie Auch ihre N Testfälle löschen, um diese ebenfalls zu löschen. |
Testfalltabelle
| Spalte | Inhalt |
|---|---|
| Nummer | Testfallnummer. |
| Testfall und Verfahren | Name (Link zur Elementansicht) und Beschreibung; ▾/▸ für untergeordnete Testfälle. |
| Expected Result | Der Text (bis zu drei Zeilen; zum Bearbeiten in einem Feld darauf klicken) und + Schritte / Schritte (N). Übergeordnete zeigen —. |
| Actual Result | Der Text (zum Bearbeiten darauf klicken); darunter Tester und Datum der letzten Ausführung, mit Konfiguration und Prüfling beim Darüberfahren und einem 📎-Link zur Nachweisdatei. Ein fehlgeschlagener Test zeigt Issue: <issue> oder + Problem erstellen. |
| Status | Eine Status-Pille (Nicht ausgeführt, In Bearbeitung, Blockiert, Fehlgeschlagen, Bestanden); klicken Sie darauf, um einen anderen zu wählen. ↻ Erneut ausführen daneben, sobald der Test ein Ergebnis hat. Übergeordnete zeigen den aufsummierten Status. |
| Verifiziert | Die verifizierten Anforderungen, jeweils mit × („verifies“ entfernen, angezeigt, wenn Sie auf die Anforderung zeigen), und + (Eine Anforderung verknüpfen, die dieser Test verifiziert). |
Klicken Sie außerhalb ihrer Felder auf eine Zeile, um den Testfall im Inspektor anzuzeigen. Leere Suite: Diese Suite hat keine Testfälle. Fügen Sie mit + Testfall einen hinzu. Kein Treffer: Keine Testfälle passen zum Filter. Entfernen Sie den Filter, um alle zu sehen.
Dialog Testschritte
Titel: Testschritte – <test case>. Die Tabellenspalten:
- #
- Action (Platzhalter Ausführen)
- Expected Result (Erwarten)
- Actual Result (Beobachtet)
- Bestanden/Fehlgeschlagen (—, Bestanden, Fehlgeschlagen)
- ↑ (Nach oben) und × (Schritt entfernen)
Unter der Tabelle: + Schritt hinzufügen, Abbrechen und Anwenden. Leere Schritte werden beim Anwenden verworfen. Ohne Schritte zeigt der Dialog Noch keine Schritte. Ein Testfall ohne Schritte wird als Ganzes ausgeführt.
Dialog Suite ausführen
| Teil | Inhalt |
|---|---|
| Sitzung | Tester (Ihr Name), Konfiguration / Build (Build, Version oder Konfiguration), Test Article (Einheit oder Seriennummer), Stage (Development, Qualification, Acceptance, Integration, Operational) und Ereignis (zum Beispiel Thermal-Vakuum 1). Vorausgefüllt aus der letzten Ausführung des ersten Tests; Stage und Ereignis werden an jedem erfassten Test gespeichert. |
| Fortschritt | Test N von M, der Name der Suite und ein Fortschrittsbalken. |
| Heading | Testfall, aktueller Status und N-mal ausgeführt, zuletzt <date>. |
| Inhalt | Verfahren, Set Up, Schritte (Action, Expected, Actual, Bestanden/Fehlgeschlagen), Expected Result, Actual Result, Datum und Uhrzeit, Nachweis (Nachweis anhängen… und die Dateinamen oder Aktuell: <file> / Keine Datei). Sie können mehrere Dateien wählen: Die erste wird zum Nachweis des Tests, die anderen werden seiner Nachweisliste hinzugefügt. |
| Schaltflächen | ‹ Zurück, Überspringen, Blockiert, ✘ Fehlgeschlagen, ✔ Bestanden; Schließen unten. |
Testfälle (Word)
- Dateiname: Standard <suite> Test Cases.
- Attribute auswählen: Number, Description, Set Up, Expected Result, Actual Result, Status, Status Roll-Up, Verifies sowie jedes andere Attribut von Test Case (Tested By, Test Date, Configuration, Test Article, Test Evidence und benutzerdefinierte). Number, Description, Expected Result, Actual Result und Status sind standardmäßig aktiviert.
- Herunterladen: schreibt einen Titelabschnitt (Anzahl der Testfälle und Erstellungsdatum) und einen Abschnitt je Testfall.
Dialog Testzyklen
Titel: Testzyklen – <suite>.
- Zyklustabelle: Testzyklus, Gespeichert und Ergebnisse (kleine Statusleiste und N/M bestanden), mit Ansehen, Bericht… (der Testbericht des Zyklus), Zurücksetzen und Löschen in jeder Zeile.
- Zurücksetzen fragt Die in „<name>“ gespeicherten Status und Actual Results in die Testfälle zurückschreiben?
- Vergleichen: zwei Auswahlfelder (ein beliebiger Zyklus oder Aktuelle Ergebnisse) und eine Tabelle mit Testfall, Vor und Nach. Geänderte Zeilen sind hervorgehoben.
- Unten: Neuen Zyklus starten… und Schließen.
Ohne Zyklen zeigt der Dialog Noch keine Testzyklen. „Neuen Zyklus starten…“ erfasst die aktuellen Ergebnisse und setzt die Suite zurück.
Verifikationsabdeckung
Die letzte Karte auf der Seite. Damit planen Sie die Verifikation und finden Anforderungen, die noch Tests brauchen.
- Kopf: N von M Anforderungen durch einen bestandenen Test verifiziert (P %), mit In Matrix öffnen.
- Statusleiste und Filter: Nicht verifiziert (N) (Standard), Alle (N) und ein Filter je Status.
- Hinweis: Verifiziert = ein verifizierender Testfall ist bestanden. Eine übergeordnete Anforderung ist verifiziert, wenn sie einen eigenen bestandenen Test hat oder alle ihre untergeordneten Anforderungen verifiziert sind. Methodenschaltflächen: Analyse, Demonstration, Inspektion, Test.
Jede Zeile zeigt von links nach rechts:
- die Status-Pille (zeigen Sie darauf, um den eigenen Status zu sehen, wenn er abweicht)
- den Link zur Anforderung und die Anzahl der Tests
- die Methodenschaltflächen A D I T
- Stufe…
- + Kriterien oder Kriterien ✓, sobald Kriterien festgelegt sind
- + Testfall
Bis zu 300 Zeilen werden angezeigt, dann …und N weitere. Sind alle verifiziert, zeigt die Karte Jede Anforderung ist durch einen bestandenen Test verifiziert.
Nachweisdateien
Nachweis (n) unter einem Testfall öffnet seine Nachweisliste. Bewahren Sie jedes Protokoll, Foto und Datenblatt einer Ausführung beim Test auf.
- Dateien hinzufügen… hängt eine oder mehrere Dateien an, und ein einziges Rückgängigmachen nimmt alles zurück.
- Jede Datei ist ein Artifact mit dem Label Verification Evidence, das die Datei enthält und auf das der Testfall references.
- Herunterladen speichert eine Datei; Entfernen löscht ihr Artifact.
Unter dem Status zeigt ein Testfall seine Verification Stage und sein Verification Event, wenn festgelegt.
Problem erstellen
+ Problem erstellen erscheint bei einem fehlgeschlagenen Test, in der Zeile und im Ausführungsmodus. Es erstellt ein Issue:
- mit dem Namen Testfehlschlag: <test case> und dem Status Open
- mit einer Beschreibung, die das erwartete und das tatsächliche Ergebnis enthält
- verknüpft mit dem Testfall (causes oder related to) und mit jeder Anforderung, die der Test verifiziert
Der Hinweis lautet Problem <name> erstellt.
Ist das formale Programm aktiviert, zeigt ein fehlgeschlagener Test stattdessen Disposition…. Es erfasst eine Nichtkonformität und bei Bedarf einen Waiver. Siehe Formales Programm.
RVTM
Adresse: rvtm, mit rvtm?status=<status> und ?q=<text>.
Seitenkopf
| Steuerelement | Action |
|---|---|
| Exportieren ▾ | Excel (.xlsx) (RVTM.xlsx), CSV (RVTM.csv) oder Word (.docx) (Requirements Verification Traceability Matrix, ein Abschnitt je Anforderung mit ihrem Wortlaut). |
| Test Center | Öffnet das Test Center. |
Alle drei Exporte enthalten Requirement Number, Requirement, Verification Method, Verification Level, Success Criteria, Verified By (jeder Testfall mit seinem aufsummierten Status), Own Status, Status (aufsummiert), Verification Stage und Verification Event. Ist das formale Programm aktiviert, kommen Deviations and Waivers und Closure hinzu.
Karten
Verifiziert (bestanden) zeigt verifiziert / gesamt mit einem Fortschrittsbalken. Fehlgeschlagen, Nicht ausgeführt, Nur geplant und Nicht verifiziert zeigen Anzahlen.
Die RVTM listet die eigenen Anforderungen des Projekts. Anforderungen in einem Dokument mit dem Label Customer Specification werden bei ihren Zeilen und Summen ausgelassen; die Konformitätsmatrix bewertet sie, zusammen mit der Verifikation Ihrer Anforderungen, die sie beantworten.
Klicken Sie auf eine Karte, um die Tabelle zu filtern (Es werden nur diese angezeigt. Klicken, um alle anzuzeigen.). Klicken Sie auf den Chip Status: <status> ×, um den Filter aufzuheben.
Tabelle
| Spalte | Inhalt |
|---|---|
| # | Anforderungsnummer. |
| Anforderung | Name, mit Link zur Elementansicht. Ein ⚠ nach dem Namen bedeutet, dass eine der Verknüpfungen der Anforderung geprüft werden muss: Die Anforderung hat sich geändert oder das ihr vorgelagerte Element. |
| Methode | Verifikationsmethoden oder —. |
| Stufe | Verification Level oder —. |
| Verifiziert durch | Verifizierende Testfälle oder Kein Test. Ein ⚠ nach einem Testfall bedeutet, dass seine Verifikationsverknüpfung geprüft werden muss; der Tooltip zeigt, was sich wann geändert hat. |
| Stage | Verifikationsstufen der verifizierenden Testfälle oder —. |
| Nachweis | Anzahl der Nachweisdateien der Testfälle plus Berichte, die die Anforderung direkt verifizieren. Klicken Sie darauf, um einen Bericht hinzuzufügen, etwa eine Analyse. |
| Eigen | Eigener Status. |
| Status | Aufsummierter Status. |
| Deviation/Waiver | Nur formales Programm. Abweichungen und Waiver gegen die Anforderung mit ihrem Status oder Disposition… für ein fehlgeschlagenes Ergebnis. |
| Closure | Nur formales Programm. Abnehmen…, Geschlossen mit Name und Datum und Wieder öffnen oder Offen. Siehe Formales Programm. |
RVTM | VCRM schaltet die Tabelle um. Die VCRM (Verification Cross-Reference Matrix) ist die Planungsansicht: Die Spalten I, A, D und T markieren die Methoden (Inspektion, Analyse, Demonstration, Test), dann Level, Stage, Event, Verifiziert durch und Status.
Nach Nummer oder Name filtern grenzt die Zeilen ein. Klicken Sie auf eine Zeile (oder drücken Sie Enter), um die Anforderung im Inspektor anzuzeigen.
Zeigen Sie auf das ⚠ einer Anforderung, um zu sehen, welche Elemente sich seit der letzten Prüfung ihrer Verknüpfungen geändert haben. Klicken Sie darauf, um den Dialog Zu prüfende Verknüpfungen — <requirement> zu öffnen: jede zu prüfende Verknüpfung an beiden Enden der Anforderung, mit Vergleich und Als geprüft markieren…, und Offene zu prüfende Verknüpfungen für die gesamte Liste (Zu prüfende Verknüpfungen). Die Exporte lassen Verdachtsmarkierungen weg: Ihre Statusspalten enthalten nur Verifikationsergebnisse.
Tastaturkürzel
| Taste | Wo | Action |
|---|---|---|
| Enter / Space | RVTM-Zeile | Die Anforderung im Inspektor anzeigen |
| ↑ / ↓ | RVTM | Zwischen Zeilen wechseln |
| Esc | RVTM | Die Auswahl aufheben |
| ⌘K / Ctrl+K | Überall | Nach Aktionen wie RVTM exportieren (Excel) suchen |
Meldungen
| Nachricht | Bedeutung |
|---|---|
| Name oder Nummer ist erforderlich | Erstellen einer Suite ohne beides. |
| Nichts auszuführen: Keine Testfälle passen. Fügen Sie Testfälle hinzu oder entfernen Sie den Statusfilter. | Suite ausführen hat keinen Blatt-Testfall gefunden, der zum Filter passt. |
| Testzyklus gespeichert / Testzyklus gespeichert; Status auf „Nicht ausgeführt“ zurückgesetzt | Nur erfassen / Erfassen und neu starten. |
| Testfall <name> erstellt | + Testfall in der Abdeckungskarte. |
| <file> (nur Name: über 10 MB) | Die Nachweisdatei ist größer als die Grenze je Datei (10 MB im Tarif Free, gezählt als 10 × 1,048,576 Byte); nur ihr Name wird erfasst. |
| Dieses Projekt hat keine Anforderungen. Schreiben oder importieren Sie Anforderungen und verknüpfen Sie dann Testfälle mit „verified by“. | Die RVTM ist leer. |
| Keine Anforderung entspricht diesem Filter. Heben Sie den Filter auf, um alle Anforderungen anzuzeigen. | Der RVTM-Filter blendet jede Zeile aus. |
| Aktivieren Sie das Kästchen, um diesen Testfall zu erstellen. | Testfall erzeugen hat im KI-Entwurf eine Webadresse gefunden; bestätigen Sie sie vor dem Erstellen. |
Grenzen
- Nachweisdateien für Tests: 10 MB (10,485,760 Byte) je Datei im Tarif Free; 25 MB (26,214,400 Byte) in kostenpflichtigen Tarifen. Größere Dateien werden nur mit ihrem Namen erfasst. Nachweise zählen zum Speicher des Projekts (siehe Speicher und Grenzen).
- Die Abdeckungskarte zeigt die ersten 300 Anforderungen des aktuellen Filters.
- Je Testfall wird eine Nachweisdatei am Testfall aufbewahrt (die neueste); das Ausführungsprotokoll bewahrt den Namen der Nachweisdatei jeder Ausführung.
Verwandte Themen
- Leitfaden: Requirements Verification Matrix (RVTM): Spalten, Methoden und ein ausgearbeitetes Beispiel, die Methode hinter der RVTM.
- Schnittstellen — Schnittstellenanforderungen und ICDs.
- Budgets & TPMs — Measures, die die Leistung gegenüber Schwellenwerten verfolgen.
- Projektmanagement — Korrekturen für fehlgeschlagene Tests planen.
- Hilfe: Verifikation einrichten, Suite ausführen und die RVTM erstellen, RVTM, Test Center, Nachverfolgbarkeitsmatrix, Modellprüfungen, Simulieren und gegen eine Anforderung prüfen.