Holarch

Weryfikacja

Weryfikacja

Zaplanuj sposób weryfikacji każdego wymagania, uporządkuj przypadki testowe w zestawy, wykonuj testy z wynikami kroków i dowodami, zapisuj cykle testowe i raportuj pokrycie w RVTM.

Jak z niego korzystać →

Na tej stronie
  1. Przegląd
  2. Pojęcia
    1. Atrybuty planowania weryfikacji
    2. Elementy Verification Requirement (LML 2.0)
    3. Przypadki testowe i zestawy testów
    4. Status weryfikacji wymagania
    5. Cykle testów
  3. Jak z niego korzystać
    1. Kiedy i dlaczego
    2. Planowanie weryfikacji każdego wymagania
    3. Tworzenie zestawów testów i przypadków testowych
    4. Pisanie procedury krok po kroku
    5. Inne sposoby tworzenia przypadku testowego
    6. Wykonywanie testów i zapisywanie wyników
    7. Importowanie wyników z innego systemu testowego
    8. Zapisywanie cyklu testów
    9. Raportowanie pokrycia
    10. Przykład: demo CubeSat EO-1
    11. Wskazówki i dobre praktyki
    12. Typowe błędy
    13. Powiązania z innymi funkcjami
  4. Centrum testów
    1. Nagłówek strony
    2. Karty kondycji i filtry
    3. Karta zestawu
    4. Tabela przypadków testowych
    5. Okno Kroki testu
    6. Okno Uruchom zestaw
    7. Przypadki testowe (Word)
    8. Okno Cykle testów
    9. Pokrycie weryfikacją
    10. Pliki dowodów
    11. Utwórz Issue
  5. RVTM
    1. Nagłówek strony
    2. Karty
    3. Tabela
  6. Skróty
  7. Komunikaty
  8. Limity
  9. Powiązane

Przegląd

Weryfikacja odpowiada na jedno pytanie dla każdego wymagania: jakie dowody pokazują, że jest spełnione?

Holarch przechowuje wszystko, co dotyczy weryfikacji, w tym samym modelu co wymagania:

  • plan: metodę weryfikacji, poziom i kryteria sukcesu
  • przypadki testowe realizujące plan
  • wyniki każdego wykonania
  • wynikowe pokrycie

Ponieważ wszystko to znajduje się w jednym modelu, raport pokrycia jest zawsze aktualny.

Grupa Weryfikacja na pasku nawigacji zawiera:

StronaCel
RVTMMacierz identyfikowalności weryfikacji wymagań: każde wymaganie z metodą, poziomem, weryfikującymi przypadkami testowymi, własnym wynikiem i wynikiem zagregowanym.
Centrum testówZestawy testów i przypadki testowe, procedury krok po kroku, wykonania testów z dowodami, cykle testów i pokrycie weryfikacją wymagań.
Macierz identyfikowalnościDowolna relacja jako siatka, np. wymagania × przypadki testowe. Zobacz Macierz identyfikowalności.
Kontrole modeluKontrole reguł całego modelu, w tym niezweryfikowane wymagania-liście i nieudane testy bez elementu Issue. Zobacz Kontrole modelu.

Plakietka na pasku nawigacji przy Weryfikacja liczy nieudane testy i błędy kontroli modelu.

Pojęcia

Atrybuty planowania weryfikacji

Każdy element Requirement ma trzy atrybuty planowania:

AtrybutWartościZnaczenie
Verification MethodAnaliza, Demonstracja, Inspekcja, Test (dowolna kombinacja)Sposób weryfikacji wymagania.
Verification LevelComponent, Podsystem, SystemPoziom integracji, na którym jest weryfikowane.
Success CriteriaTekstMierzalny wynik, który pokazuje, że wymaganie jest spełnione.

Etykiety wymagania obejmują odpowiadające etykiety Verification Method (Analysis, Demonstration, Inspection, Test). Ustawienie atrybutu lub etykiety aktualizuje drugie w ramach tej samej zmiany, a jedno polecenie Cofnij wycofuje oba. Zaimportowane projekty, które używają etykiet, działają więc tak samo jak projekty używające atrybutu.

Elementy Verification Requirement (LML 2.0)

Verification Requirement to element Statement, który określa, co i jak trzeba wykazać, zanim wymaganie zostanie uznane za spełnione. To sposób LML 2.0 na przechowywanie planu weryfikacji we własnym elemencie zamiast w wymaganiu. Ma:

AtrybutZnaczenie
Verification MethodAnaliza, Demonstracja, Inspekcja, Test (dowolna kombinacja; więcej metod można dodać w schemacie).
Acceptance CriteriaWyniki, które weryfikacja musi osiągnąć.
DowódRodzaj zapisu do zebrania i przekazania, np. raport z testu lub protokół inspekcji.
UzasadnienieDlaczego wybrano tę metodę, te kryteria i te dowody.

Powiąż go relacją verifies z wymaganiem (lub elementem Asset), którego dotyczy, oraz relacją traced to z przypadkami testowymi, które go realizują. RVTM liczy wtedy te przypadki testowe jako weryfikujące wymaganie, pobiera metodę i kryteria akceptacji z elementu Verification Requirement, gdy wymaganie nie ma własnych, i wymienia Verification Requirement w kolumnie Verified By.

Obie formy działają równolegle: przypadek testowy, który weryfikuje wymaganie bezpośrednio (forma LML 1.x), liczy się dokładnie tak jak wcześniej, a etykieta Verification Requirement na wymaganiu pozostaje dostępna.

Przypadek testowy może też wskazywać testowany Asset relacją evaluates (od strony elementu Asset: evaluated by).

Projekty utworzone przed tymi zmianami zachowują swój schemat; Schemat → Dodaj nowe wbudowane… dodaje do nich klasę Verification Requirement i relację evaluates.

Przypadki testowe i zestawy testów

Test Case weryfikuje wymagania relacją verifies (od strony wymagania: verified by). Przypadek testowy ma:

  • Opis: procedurę.
  • Przygotowanie, Wynik oczekiwany, Wynik rzeczywisty.
  • Event Conditions (warunki, w których test jest wykonywany, np. środowisko, tryb lub symulowane obciążenia) i Event Constraints (ograniczenia zdarzenia testowego, np. niezależni świadkowie, punkty zatrzymania lub zasady próbkowania). Okno wykonania pokazuje je, gdy są wypełnione, a eksport CSV zestawu ma kolumnę dla każdego z nich.
  • evaluates: testowany Asset.
  • Status: Nie wykonano, W toku, Zablokowany, Niezaliczony lub Zaliczone.
  • Kroki: opcjonalna ponumerowana procedura, każdy krok z polami Action, Expected Result, Actual Result i Pass/Fail.
  • Dowody wykonania, zapisywane przy każdym zarejestrowanym wykonaniu: Testował(a), Data testu, Konfiguracja (testowana kompilacja lub wersja), Obiekt testu (egzemplarz lub numer seryjny) i Test Evidence (plik).
  • Dziennik wykonań: każde zarejestrowane wykonanie z datą, statusem, testerem, konfiguracją, obiektem, wynikiem rzeczywistym, nazwą pliku dowodu i wynikami kroków.

Przypadek testowy można zdekomponować na podrzędne przypadki testowe. Status rodzica jest agregowany z jego liści. Wygrywa pierwsza pasująca reguła:

  1. Niezaliczony, jeśli którykolwiek liść nie zaliczył.
  2. Zablokowany, jeśli którykolwiek liść jest zablokowany.
  3. Zaliczone, jeśli wszystkie liście zaliczyły.
  4. Nie wykonano, jeśli żaden liść nie był wykonany.
  5. W toku w pozostałych przypadkach.

Test Suite to element Artifact z etykietą Test Suite. Zawiera swoje przypadki testowe przez relację source of (lub referenced by w danych importowanych). Przypadki testowe spoza zestawów pojawiają się w obszarze Przypadki testowe bez zestawu.

Status weryfikacji wymagania

Każde wymaganie otrzymuje własny status z weryfikujących je przypadków testowych (weryfikujących je bezpośrednio oraz śledzonych od jego elementów Verification Requirement):

Własny statusReguła
NiezaliczoneWeryfikujący przypadek testowy zakończył się niepowodzeniem.
ZaliczoneWeryfikujący przypadek testowy został zaliczony (i żaden nie został niezaliczony).
Nie wykonanoIstnieją weryfikujące przypadki testowe, żaden nie został zaliczony ani niezaliczony.
Tylko planowaneBrak przypadku testowego, ale ustawiono Verification Method (w wymaganiu lub w jednym z jego elementów Verification Requirement).
NiezweryfikowaneBrak przypadku testowego i brak Verification Method.

Zagregowany status podąża za dekompozycją (decomposed by). Dla wymagania nadrzędnego:

  • Ma status Zaliczone, gdy ma własny zaliczony test lub gdy wszystkie jego wymagania podrzędne mają status Zaliczone.
  • Ma status Niezaliczony, gdy gdziekolwiek poniżej występuje niepowodzenie.
  • W pozostałych przypadkach przyjmuje własny status lub status najsłabiej pokrytego elementu podrzędnego, zależnie od tego, który jest dalej. Kolejność: Niezweryfikowane → Tylko planowane → Nie wykonano.

Zweryfikowane zawsze oznacza Zaliczone.

Cykle testów

Cykl testów to zapisana migawka wyników zestawu: status i wynik rzeczywisty każdego przypadku testowego-liścia. Zapisz go na końcu każdej kampanii, a następnie zresetuj zestaw do Nie wykonano przed kolejną. Cykle można porównywać ze sobą lub z bieżącymi wynikami oraz przywracać zestaw do stanu z cyklu.

Jak z niego korzystać

Kiedy i dlaczego

Planuj weryfikację podczas pisania wymagań, a nie po zbudowaniu projektu. Jeśli nie umiesz określić metody i kryteriów sukcesu wymagania, to w obecnym brzmieniu wymaganie zwykle nie jest weryfikowalne.

Typowy przebieg:

  1. Analiza wymagań: ustaw Verification Method, Level i Success Criteria w każdym wymaganiu.
  2. Projektowanie: napisz przypadki testowe i powiąż je z weryfikowanymi wymaganiami. Zapisy analiz, demonstracji i inspekcji też są przypadkami testowymi.
  3. Integracja i testy: wykonaj przypadki testowe i zapisz wyniki oraz dowody. Dla niepowodzeń zgłaszaj elementy Issue. Zapisuj cykl testów dla każdej kampanii.
  4. Przeglądy i odbiór: raportuj pokrycie za pomocą RVTM.

Planowanie weryfikacji każdego wymagania

Nadaj każdemu wymaganiu metodę, poziom i kryteria sukcesu. Zrób to na karcie pokrycia w Centrum testów.

  1. Otwórz Weryfikacja → Centrum testów.
  2. Przewiń do Pokrycie weryfikacją.

Widać każde wymaganie, które nie jest jeszcze zweryfikowane.

  1. W wierszu kliknij przyciski metod, aby je przełączać: A (Analysis), O (Demonstration), I (Inspection), T (Test).

Wymaganie przechodzi z Niezweryfikowane do Tylko planowane.

  1. Wybierz poziom w Poziom…: Component, Subsystem lub System.
  2. Kliknij + Kryteria.
  3. Wpisz mierzalny wynik i kliknij Zapisz.

Przycisk ma teraz etykietę Kryteria ✓.

Te atrybuty można też edytować w inspektorze dowolnego wymagania.

Tworzenie zestawów testów i przypadków testowych

  1. W nagłówku strony kliknij + Nowy ▾ → Zestaw testów….
  2. Wpisz Numer (np. TS-3), Nazwa i Opis.
  3. Kliknij Utwórz.

Pojawia się nowa karta zestawu.

  1. Na karcie zestawu kliknij + Przypadek testowy.
  2. W oknie Utwórz element nadaj nazwę przypadkowi testowemu.

Przypadek testowy zostaje dodany do zestawu ze statusem Nie wykonano.

  1. W wierszu przypadku testowego kliknij + w kolumnie Weryfikuje.
  2. Wybierz wymagania, które przypadek testowy weryfikuje.
  3. Wpisz Wynik oczekiwany w wierszu.
  4. Napisz procedurę w opisie przypadku testowego, w inspektorze lub w widoku elementu.

Pisanie procedury krok po kroku

Kroki są opcjonalne. Przypadek testowy bez kroków jest wykonywany w całości.

  1. W wierszu przypadku testowego kliknij + Kroki.
  2. Kliknij + Dodaj krok dla każdego kroku.
  3. Wypełnij pola Action i Wynik oczekiwany dla każdego kroku.
  4. Zmieniaj kolejność za pomocą ↑, a krok usuwaj za pomocą ×.
  5. Kliknij Zastosuj.

Przycisk ma teraz etykietę Kroki (N).

Inne sposoby tworzenia przypadku testowego

  • Z karty pokrycia: w obszarze Pokrycie weryfikacją kliknij + Przypadek testowy w wierszu wymagania. Tworzy Verify <requirement name>, od razu powiązany z wymaganiem, w obszarze Przypadki testowe bez zestawu.
  • Za pomocą AI: zaznacz wymaganie w dokumencie lub w jego widoku elementu. Wybierz ✦ AI ▾ → Generuj przypadek testowy…. AI przygotowuje projekt nazwy, uporządkowanych kroków, przygotowania, wyniku oczekiwanego i metody. Przejrzyj projekt w oknie Przejrzyj przypadek testowy — <requirement>, a następnie kliknij Utwórz przypadek testowy. Zobacz AI.

Wykonywanie testów i zapisywanie wyników

Tryb wykonywania prowadzi przez testy pojedynczo i zapisuje każdy wynik wraz z dowodami.

  1. Opcjonalnie: aby wykonać tylko niektóre testy, kliknij filtr statusu, np. Nie wykonano (12). Wykonywane są tylko przypadki testowe-liście z tym statusem.
  2. W nagłówku strony kliknij Uruchom zestaw.

Okno Uruchom zestaw otwiera się na pierwszym teście ze statusem Nie wykonano.

  1. Wypełnij raz pola sesji: Tester (domyślnie Twoje imię i nazwisko), Konfiguracja / kompilacja i Obiekt testu. W linii produktów wyświetlanej jako Wszystkie konfiguracje najpierw wybierz Zapisz wyniki dla: konfigurację, na której wykonano test, lub Brak konfiguracji. ✔ Zaliczony, ✘ Niezaliczony i Zablokowany czekają, aż dokonasz wyboru (Linie produktów).
  2. Przeczytaj Procedura, Przygotowanie, Kroki i Wynik oczekiwany testu.
  3. Przeprowadź test. Dla każdego kroku wpisz rzeczywistą wartość i wybierz Zaliczony/niezaliczony.
  4. Opisz Wynik rzeczywisty.
  5. Sprawdź Data i godzina.
  6. Kliknij Załącz dowód…, aby dodać dziennik, plik danych lub zdjęcie.
  7. Kliknij ✔ Zaliczony, ✘ Niezaliczony lub Zablokowany.

Okno przechodzi do następnego testu. Aby przejść dalej bez zapisywania, kliknij Pomiń. Aby wrócić, kliknij ‹ Wstecz.

  1. Po ✘ Niezaliczony kliknij + Utwórz Issue, a następnie Dalej ›.

Okno pokazuje Zapisano. Utwórz Issue, aby śledzić niepowodzenie; zostanie powiązany z tym przypadkiem testowym i wymaganiami, które on weryfikuje.

  1. Powtórz kroki od 4 do 10 dla każdego testu.

Na końcu Wykonanie zakończone pokazuje pasek statusu z licznikami. Przegląd od początku wraca do pierwszego testu.

Każdy zapisany wynik można cofnąć jednym poleceniem Cofnij. Wykonuje on wszystkie poniższe czynności:

  • aktualizuje Status, Actual Result, Tested By, Test Date, Configuration, Test Article i Test Evidence przypadku testowego
  • zapisuje wyniki kroków
  • dodaje wpis do dziennika wykonań testu

Aby zapisać wynik bez trybu wykonywania, kliknij status w wierszu przypadku testowego (np. Nie wykonano) i wybierz nowy, a następnie kliknij tekst Wynik rzeczywisty i wpisz wynik. Otwiera go też Enter lub F2 na wartości z fokusem; Escape pozostawia go bez zmian.

Aby ponownie wykonać test, kliknij ↻ Uruchom ponownie w jego wierszu (widoczne, gdy test ma wynik). Okno wykonania otwiera się tylko na tym teście, bez przywracania statusu Nie wykonano; nowy wynik zostaje dodany do dziennika wykonań obok wcześniejszych.

Importowanie wyników z innego systemu testowego

Gdy testy są wykonywane gdzie indziej, np. na zautomatyzowanym stanowisku testowym lub w potoku CI, zaimportuj ich wyniki zamiast je wpisywać. Holarch odczytuje raporty JUnit XML (zapisywane przez większość narzędzi uruchamiających testy i systemów CI), pliki CSV i skoroszyty Excel (.xlsx).

  1. W nagłówku strony kliknij Importuj wyniki….
  2. Kliknij Wybierz plik… i wybierz plik z wynikami.
  3. Wybierz, które przypadki testowe dopasować: Dopasuj przypadki testowe w (wszystkich lub jednym zestawie) i Dopasuj według (Numer, potem nazwa, Numer, Nazwa lub Globalny ID).
  4. W przypadku pliku CSV lub Excel sprawdź kolumny, które Holarch rozpoznał z nagłówka: Kolumna przypadku testowego i Kolumna statusu są wymagane; kolumny Wynik rzeczywisty, Data, Tester, Konfiguracja i Obiekt testu są opcjonalne.
  5. Opcjonalnie: wypełnij Testował(a), Data testu, Konfiguracja / kompilacja i Obiekt testu dla danych, których brakuje w pliku.
  6. Sprawdź podgląd: każdy dopasowany przypadek testowy ze zmianą statusu oraz wiersze, które nie pasują do żadnego przypadku testowego, pasują do kilku lub zostały pominięte.
  7. Kliknij Zapisz wyniki (N).

Wszystkie wyniki zostają zapisane, a jedno polecenie Cofnij wycofuje całość. Każdy z nich aktualizuje Status, Tested By, Test Date, Configuration i Test Article przypadku testowego oraz dodaje do jego dziennika wykonań wpis z nazwą pliku. Nic nie jest tworzone.

  • Słowa statusu: pass, passed, ok i success zapisują Zaliczone; fail, failed, failure i error zapisują Niezaliczony; blocked, in progress i not run zapisują te statusy. Testy pominięte (JUnit <skipped> lub skipped w kolumnie statusu) pozostają bez zmian.
  • Wynik rzeczywisty: komunikat o niepowodzeniu JUnit lub kolumna Actual Result staje się wynikiem rzeczywistym. Bez nich wynik rzeczywisty pozostaje bez zmian.
  • Powtórzone przypadki testowe: gdy plik wymienia przypadek testowy dwa razy, wygrywa późniejszy wiersz; wcześniejszy jest wymieniony jako pominięty.
  • Nadrzędne przypadki testowe: przypadek testowy z podrzędnymi przypadkami testowymi nie jest zapisywany; jego status jest agregowany z elementów podrzędnych.

Aby zapisywać wyniki z potoku CI bez otwierania Holarch, wysyłaj je do REST API (POST …/test-results) albo pozwól klientowi AI zaproponować je narzędziem MCP record_test_results. Oba sposoby zapisują wynik tak samo jak Importuj wyniki…, łącznie z wpisem w dzienniku wykonań (Wyniki testów).

Zapisywanie cyklu testów

Zapisz cykl po zakończeniu kampanii testowej.

  1. Na karcie zestawu kliknij Rozpocznij nowy cykl… (lub ⋯ → Rozpocznij nowy cykl…).
  2. W oknie Rozpocznij nowy cykl testowy nadaj nazwę cyklowi (domyślnie Test Cycle N).
  3. Sprawdź Konfiguracja / kompilacja i Obiekt testu. Oba pola zaczynają od wartości najczęściej zapisanej w wykonaniu; są drukowane w raporcie z testów cyklu.
  4. Kliknij jeden z przycisków:
    • Zapisz i rozpocznij nowy: zapisuje wyniki, a następnie ustawia każdy Status w zestawie na Nie wykonano i czyści wyniki rzeczywiste.
    • Tylko zapisz: zapisuje wyniki i zachowuje je w przypadkach testowych.

Cykl przechowuje dla każdego przypadku testowego status, wynik rzeczywisty, testera, datę testu, konfigurację, obiekt testu, nazwę pliku dowodu i wyniki kroków.

Aby później wyświetlać, porównywać, przywracać lub usuwać cykle, kliknij ⋯ → Cykle testów… (N) na karcie zestawu. Aby uzyskać dokument do przekazania, kliknij ⋯ → Raport z testów…: zapisuje on raport z testów cyklu jako dokument Word, Excel, CSV lub stronę internetową (zobacz Generowanie dokumentów).

Raportowanie pokrycia

  1. Otwórz Weryfikacja → RVTM.

Pierwsza karta pokazuje zweryfikowane / łącznie z paskiem postępu. Pozostałe karty liczą Niezaliczony, Nie wykonano, Tylko planowane i Niezweryfikowane.

Kolumny numeru i wymagania pozostają widoczne, gdy szeroka tabela jest przewijana w bok. Gdy etykieta statusu jest skrócona, aby się zmieścić (w niektórych językach), wskaż ją, aby zobaczyć pełny tekst.

  1. Opcjonalnie: kliknij kartę, aby wyświetlić tylko te wymagania.
  2. Kliknij Eksportuj ▾.
  3. Wybierz Excel (.xlsx), CSV lub Word (.docx).

Przykład: demo CubeSat EO-1

Utwórz projekt demonstracyjny poleceniem Zarządzaj projektami → Pliki projektów ▾ → Nowy projekt demonstracyjny, a następnie:

  1. Otwórz Weryfikacja → RVTM.

Pierwsza karta pokazuje 11 / 32 Zweryfikowane (pozytywnie). Pozostałe pokazują 3 Niezaliczony, 12 Nie wykonano, 3 Tylko planowane i 3 Niezweryfikowane.

  1. Znajdź 1.6 Revisit Time.

Własne ma wartość Tylko planowane: metodą jest Analysis, ale wymaganie nie ma własnego testu. Status ma wartość Nie wykonano. Status jest agregowany z elementów podrzędnych:

  • 1.6.1 Ground Track Repeat ma status Zaliczone dzięki TC-13.
  • 1.6.2 Off-Nadir Imaging jest weryfikowane przez TC-14, który ma status Nie wykonano.

Najsłabiej pokryty element podrzędny ma status Nie wykonano, który jest dalej niż Tylko planowane.

  1. Kliknij kartę Niezaliczony.

2.1 Pointing Accuracy i 2.2 Pointing Stability nie przechodzą z powodu TC-04 Pointing Accuracy Test. 4.3 nie przechodzi z powodu TC-09 Safe Mode Entry Test.

  1. Otwórz Weryfikacja → Centrum testów.

Karty pokazują 22 przypadki testowe w 3 zestawach. W TS-1 Spacecraft Qualification Tests wiersz TC-04 pokazuje J. Alvarez · 2026-10-02 10:15 · 📎 tc04-pointing-errors.csv oraz Issue: Test failure: Pointing Accuracy Test.

  1. W wierszu TC-04 kliknij Kroki (3).

Krok 3 nie przeszedł z wynikiem 0.14 degrees on targets 7, 12 and 18.

  1. W zestawie TS-1 kliknij ⋯ → Cykle testów… (2).
  2. Porównaj Flatsat Cycle 1 → Flatsat Cycle 2.

TC-03 i TC-06 zmieniły status z Nie wykonano na Zaliczone. Zmienione wiersze są wyróżnione.

Teraz wykonaj ponownie TC-09 po poprawce układu watchdog:

  1. Kliknij filtr Niezaliczony (2), a następnie Uruchom zestaw.

Wykonanie otwiera się na TC-04.

  1. Kliknij Pomiń, aby przejść do TC-09.
  2. Wpisz Flight software 2.3.2 w polu Konfiguracja / kompilacja.
  3. Wpisz Safe mode in 8 seconds w polu Wynik rzeczywisty.
  4. Kliknij ✔ Zaliczony.
  5. Otwórz ponownie RVTM.

4.3 ma teraz status Zaliczone, a pierwsza karta pokazuje 12 / 32.

Na koniec zaplanuj weryfikację niezweryfikowanego wymagania:

  1. W obszarze Pokrycie weryfikacją znajdź 2.5 Safe Mode Recovery (Niezweryfikowane).
  2. Kliknij T, wybierz System w Poziom… i dodaj kryteria.
  3. Kliknij + Przypadek testowy, aby rozpocząć jego test.

Wskazówki i dobre praktyki

  • Zapisuj kryteria sukcesu jako mierzalne liczby z warunkami, np. Range ≥ 25 km in 3 of 3 flights at 20 °C. Nie powtarzaj treści wymagania.
  • Weryfikuj wymagania-liście i pozwól, aby wymagania nadrzędne były agregowane. Kontrola modelu Requirement.10 oznacza wymagania-liście bez weryfikującego przypadku testowego. Wymagania nadrzędne są pokryte przez swoje elementy podrzędne.
  • Używaj jednego przypadku testowego na każde zdarzenie weryfikacyjne, także dla Analysis, Inspection i Demonstration. RVTM pokazuje wtedy dowody dla każdej metody.
  • Zapisuj konfigurację przy każdym wykonaniu. Gdy wynik zmienia się między cyklami, dziennik wykonań pokazuje, która kompilacja to spowodowała.
  • Zgłaszaj Issue dla każdego niepowodzenia. Kontrola modelu TestCase.1 oznacza nieudane przypadki testowe bez powiązanego elementu Issue.

Typowe błędy

  • Próba ustawienia Zaliczone w nadrzędnym przypadku testowym. Elementy nadrzędne pokazują zagregowany status swoich elementów podrzędnych i nie można go ustawić. Zapisuj wyniki w liściach.
  • Powiązanie wymagania z testem relacją traced to zamiast verifies. Wymaganie pozostaje w stanie Tylko planowane lub Niezweryfikowane. Użyj + w wierszu przypadku testowego, który tworzy relację verifies.
  • Przypadek testowy, który niczego nie weryfikuje. Liczy się w Centrum testów, ale nigdy w RVTM.

Powiązania z innymi funkcjami

  • Zasilane przez:
    • wymagania i ich dekompozycja (Wymagania)
    • wymagania interfejsowe w elementach Conduit (Interfejsy)
    • wyniki symulacji, które mogą weryfikować wymaganie przez element Measure (Symulacja)
  • Zasila:
    • RVTM i jego eksporty
    • elementy Issue dla niepowodzeń, które można planować jako zadania na tablicy Kanban (Zarządzanie projektem)
    • Kontrole modelu (Requirement.10, TestCase.1)
    • karty kondycji na stronie głównej i plakietka Weryfikacja
    • linie bazowe i pakiety przeglądu
  • Macierz identyfikowalności: Otwórz w macierzy na karcie pokrycia otwiera macierz wymagania × przypadki testowe według verified by; ⋯ → Otwórz w ▸ Macierz identyfikowalności zestawu otwiera jego hierarchię.

Centrum testów

Adres: test-center; test-center?root=<id> rozwija, przewija do i zaznacza przypadek testowy lub zestaw (używane przez Otwórz w ▾ → Centrum testów w przypadku testowym).

Element sterującyCzynność
Eksportuj ▾RVTM (CSV), RVTM (Excel), RVTM (Word).
+ Nowy ▾Zestaw testów…, Przypadek testowy… (przypadek testowy nieprzypisany do zestawu).
Importuj wyniki…Po podglądzie zapisuje wyniki z pliku JUnit XML, CSV lub Excel w dopasowanych przypadkach testowych. Zobacz Importowanie wyników z innego systemu testowego.
Uruchom zestawOtwiera tryb wykonywania dla każdego przypadku testowego-liścia (lub tylko tych, które pasują do filtra statusu). Wyłączone, gdy nie ma przypadków testowych.

Karty kondycji i filtry

  • Przypadki testowe: liczba przypadków testowych-liści i liczba zestawów.
  • Wykonane: odsetek i liczba liści o statusie innym niż Nie wykonano.
  • Zaliczone: odsetek i liczba zaliczonych liści.
  • Niezaliczone: liczba niezaliczonych liści oraz liczba zablokowanych.

Pod kartami:

  • Pasek statusu.
  • Filtry Wszystkie (N), Nie wykonano, W toku, Zablokowany, Niezaliczony i Zaliczone, każdy z licznikiem. Kliknij filtr ponownie, aby go wyczyścić.
  • Po prawej sortowanie zestawów: Według numeru, Według nazwy lub Według daty modyfikacji.
  • Szukaj przypadków testowych: dopasowuje numer, nazwę lub opis. Zestaw, którego nazwa pasuje, pokazuje wszystkie swoje przypadki testowe.

Karta zestawu

Nagłówek pokazuje ▾/▸ (zwijanie), łącze do zestawu, etykietę Zestaw testów, zagregowany status, liczbę testów, liczbę cykli, mini pasek statusu oraz:

  • + Przypadek testowy — tworzy przypadek testowy w tym zestawie.
  • Rozpocznij nowy cykl… — zapisuje wyniki jako cykl i resetuje zestaw (zobacz wyżej).
  • ⋯ (opcje zestawu). Pozycje odpowiadają przebiegowi pracy z testami: wykonanie i zapis, raport, otwieranie, a następnie duplikowanie i usuwanie.
ElementCzynność
Uruchom cykl…Otwiera tryb wykonywania tylko dla przypadków testowych tego zestawu, zaczynając od pierwszego o statusie Nie wykonano. Wyłączone, gdy zestaw nie ma przypadków testowych.
Rozpocznij nowy cykl…To samo co przycisk na karcie: zapisuje wyniki jako cykl, a następnie resetuje zestaw.
Cykle testów… (N)Otwiera listę cykli testów.
Raport z testów…Otwiera Raport z testów dla najnowszego cyklu: wybierz cykl (lub bieżące wyniki) i format (domyślnie Word), a następnie kliknij Eksportuj.
Przypadki testowe (Word)…Zapisuje dokument Word z przypadkami testowymi zestawu.
Eksportuj CSV<suite>.csv: Number, Name (z wcięciem według głębokości), Description, Set Up, Expected Result, Actual Result, Status, Status Roll-Up, Verifies.
Eksportuj JSON<suite>.json: zestaw, jego cykle testów i drzewo przypadków testowych wraz ze zweryfikowanymi wymaganiami.
Otwórz jako dokumentOtwiera zestaw jako dokument.
Otwórz w ▸Widok elementu (widok elementu zestawu) lub Macierz identyfikowalności (macierz z zestawem jako elementem głównym).
DuplikujKopiuje zestaw i jego przypadki testowe (<suite> (Copy)) wraz z powiązaniami verifies; statusy są przywracane do Nie wykonano, a wyniki rzeczywiste czyszczone. Powiadomienie: Zduplikowano jako <name>.
Usuń…Usuń zestaw testów: usuwa zestaw; zaznacz Usuń też jego przypadki testowe (N), aby usunąć także je.

Tabela przypadków testowych

KolumnaZawartość
NumerNumer przypadku testowego.
Przypadek testowy i proceduraNazwa (łącze do widoku elementu) i opis; ▾/▸ dla podrzędnych przypadków testowych.
Wynik oczekiwanyTekst (do trzech wierszy; kliknij go, aby edytować w polu) oraz + Kroki / Kroki (N). Elementy nadrzędne pokazują —.
Wynik rzeczywistyTekst (kliknij go, aby edytować); pod nim tester i data ostatniego wykonania, z konfiguracją i obiektem testu po wskazaniu oraz łączem 📎 do pliku dowodu. Nieudany test pokazuje Issue: <issue> lub + Utwórz Issue.
StatusEtykieta statusu (Nie wykonano, W toku, Zablokowany, Niezaliczony, Zaliczone); kliknij ją, aby wybrać inny. Obok niej ↻ Uruchom ponownie, gdy test ma już wynik. Elementy nadrzędne pokazują zagregowany status.
WeryfikujeWeryfikowane wymagania, każde z × (Usuń verifies, widoczne po wskazaniu wymagania), oraz + (Powiąż wymaganie, które weryfikuje ten test).

Kliknij wiersz poza jego polami, aby pokazać przypadek testowy w inspektorze. Pusty zestaw: Ten zestaw nie zawiera przypadków testowych. Dodaj przypadek za pomocą + Przypadek testowy. Brak dopasowań: Żaden przypadek testowy nie pasuje do filtra. Wyczyść filtr, aby zobaczyć wszystkie.

Okno Kroki testu

Tytuł: Kroki testu — <test case>. Kolumny tabeli:

  • #
  • Action (tekst zastępczy Wykonaj to)
  • Wynik oczekiwany (Oczekuj tego)
  • Wynik rzeczywisty (Zaobserwowane)
  • Zaliczony/niezaliczony (—, Pass, Fail)
  • ↑ (Przenieś w górę) i × (Usuń krok)

Pod tabelą: + Dodaj krok, Anuluj i Zastosuj. Puste kroki są pomijane po kliknięciu Zastosuj. Bez kroków okno pokazuje Brak kroków. Przypadek testowy bez kroków jest wykonywany w całości.

Okno Uruchom zestaw

CzęśćZawartość
SesjaTester (Imię i nazwisko), Konfiguracja / kompilacja (Kompilacja, wersja lub konfiguracja), Obiekt testu (Egzemplarz lub numer seryjny), Etap (Development, Qualification, Acceptance, Integration, Operational) i Zdarzenie (np. próżnia termiczna 1). Wypełniane wstępnie z ostatniego wykonania pierwszego testu; Etap i Zdarzenie są zapisywane w każdym zapisanym teście.
PostępTest N z M, nazwa zestawu i pasek postępu.
NagłówekPrzypadek testowy, bieżący status oraz wykonano N razy, ostatnio <date>.
TreśćProcedura, Przygotowanie, Kroki (Action, Expected, Actual, Pass/Fail), Wynik oczekiwany, Wynik rzeczywisty, Data i godzina, Dowody (Załącz dowód… i nazwy plików lub Bieżący: <file> / Brak pliku). Można wybrać kilka plików: pierwszy staje się dowodem testu, pozostałe są dodawane do jego listy dowodów.
Przyciski‹ Wstecz, Pomiń, Zablokowany, ✘ Niezaliczony, ✔ Zaliczony; na dole Zamknij.

Przypadki testowe (Word)

  • Nazwa pliku: domyślnie <suite> Test Cases.
  • Wybierz atrybuty: Numer, Opis, Przygotowanie, Wynik oczekiwany, Wynik rzeczywisty, Status, Agregacja statusu, Weryfikuje oraz każdy inny atrybut Test Case (Tested By, Test Date, Configuration, Test Article, Test Evidence i atrybuty niestandardowe). Numer, Opis, Wynik oczekiwany, Wynik rzeczywisty i Status są domyślnie zaznaczone.
  • Pobierz: zapisuje sekcję tytułową (liczba przypadków testowych i data wygenerowania) oraz po jednej sekcji na każdy przypadek testowy.

Okno Cykle testów

Tytuł: Cykle testów — <suite>.

  • Tabela cykli: Cykl testów, Zapisano i Wyniki (mini pasek statusu i zaliczone: N/M), z przyciskami Widok, Raport… (raport z testów cyklu), Przywróć i Usuń w każdym wierszu.
  • Przywróć pyta Zapisać statusy i rzeczywiste wyniki zapisane w “<name>” z powrotem w przypadkach testowych?
  • Porównaj: dwa selektory (dowolny cykl lub Bieżące wyniki) i tabela z kolumnami Test Case, Przed i Po. Zmienione wiersze są wyróżnione.
  • Na dole: Rozpocznij nowy cykl… i Zamknij.

Bez cykli okno pokazuje Brak cykli testowych. „Rozpocznij nowy cykl…” zapisuje bieżące wyniki i resetuje zestaw.

Pokrycie weryfikacją

Ostatnia karta na stronie. Służy do planowania weryfikacji i znajdowania wymagań, które wciąż potrzebują testów.

  • Nagłówek: Wymagania zweryfikowane przez zaliczony test: N z M (P%), z przyciskiem Otwórz w macierzy.
  • Pasek statusu i filtry: Niezweryfikowane (N) (domyślny), Wszystkie (N) i po jednym filtrze na każdy status.
  • Uwaga: Zweryfikowane = weryfikujący przypadek testowy zakończył się wynikiem Zaliczony. Wymaganie nadrzędne jest zweryfikowane, gdy ma własny zaliczony test lub gdy wszystkie jego wymagania podrzędne są zweryfikowane. Przyciski metod: Analiza, Demonstracja, Inspekcja, Test.

Każdy wiersz pokazuje, od lewej do prawej:

  • etykietę statusu (wskaż ją, aby zobaczyć własny status, gdy się różni)
  • łącze do wymagania i liczbę testów
  • przyciski metod A O I T
  • Poziom…
  • + Kryteria lub Kryteria ✓, gdy kryteria są ustawione
  • + Przypadek testowy

Wyświetlanych jest do 300 wierszy, a potem …i N więcej. Gdy wszystkie wymagania są zweryfikowane, karta pokazuje Każde wymaganie jest weryfikowane przez zaliczony test.

Pliki dowodów

Dowody (n) pod przypadkiem testowym otwiera jego listę dowodów. Przechowuj przy teście każdy dziennik, zdjęcie i arkusz danych z wykonania.

  • Dodaj pliki… załącza jeden lub więcej plików, a jedno polecenie Cofnij wycofuje całość.
  • Każdy plik to element Artifact z etykietą Verification Evidence, zawierający plik, do którego przypadek testowy ma relację references.
  • Pobierz zapisuje plik; Usuń usuwa jego Artifact.

Pod statusem przypadek testowy pokazuje swoje Verification Stage i Verification Event, gdy są ustawione.

Utwórz Issue

+ Utwórz Issue pojawia się przy nieudanym teście, w wierszu i w trybie wykonywania. Tworzy element Issue:

  • o nazwie Niepowodzenie testu: <test case>, ze statusem Open
  • z opisem zawierającym wynik oczekiwany i rzeczywisty
  • powiązany z przypadkiem testowym (causes lub related to) i z każdym wymaganiem weryfikowanym przez test

Powiadomienie brzmi Utworzono Issue <name>.

Gdy program formalny jest włączony, nieudany test pokazuje zamiast tego Rozstrzygnięcie…. Zapisuje ono niezgodność i w razie potrzeby zwolnienie. Zobacz Program formalny.

RVTM

Adres: rvtm, z rvtm?status=<status> i ?q=<text>.

Nagłówek strony

Element sterującyCzynność
Eksportuj ▾Excel (.xlsx) (RVTM.xlsx), CSV (RVTM.csv) lub Word (.docx) (Requirements Verification Traceability Matrix, po jednej sekcji na wymaganie wraz z jego treścią).
Centrum testówOtwiera Centrum testów.

Wszystkie trzy eksporty zawierają Requirement Number, Requirement, Verification Method, Verification Level, Success Criteria, Verified By (każdy przypadek testowy z jego zagregowanym statusem), Own Status, Status (zagregowany), Verification Stage i Verification Event. Gdy program formalny jest włączony, dochodzą Deviations and Waivers oraz Closure.

Karty

Zweryfikowane (pozytywnie) pokazuje zweryfikowane / łącznie z paskiem postępu. Niezaliczony, Nie wykonano, Tylko planowane i Niezweryfikowane pokazują liczby.

RVTM wymienia własne wymagania projektu. Wymagania w dokumencie z etykietą Customer Specification są pomijane w jego wierszach i sumach; ocenia je Macierz zgodności, wraz z weryfikacją Twoich wymagań, które na nie odpowiadają.

Kliknij kartę, aby filtrować tabelę (Wyświetlane są tylko te. Kliknij, aby pokazać wszystkie.). Kliknij etykietę Status: <status> ×, aby wyczyścić filtr.

Tabela

KolumnaZawartość
#Numer wymagania.
WymaganieNazwa z łączem do widoku elementu. Znak ⚠ po nazwie oznacza, że jedno z powiązań wymagania wymaga przeglądu: zmieniło się wymaganie lub element powyżej niego.
MetodaMetody weryfikacji lub —.
PoziomVerification Level lub —.
Weryfikowane przezWeryfikujące przypadki testowe lub Brak testu. Znak ⚠ po przypadku testowym oznacza, że jego powiązanie weryfikacyjne wymaga przeglądu; podpowiedź pokazuje, co się zmieniło i kiedy.
EtapEtapy weryfikacji weryfikujących przypadków testowych lub —.
DowódLiczba plików dowodów przypadków testowych oraz raportów, które weryfikują wymaganie bezpośrednio. Kliknij ją, aby dodać raport, np. analizę.
WłasneWłasny status.
StatusZagregowany status.
Odstępstwo/zwolnienieTylko program formalny. Odstępstwa i zwolnienia dotyczące wymagania wraz z ich statusem lub Rozstrzygnięcie… dla nieudanego wyniku.
ZamknięcieTylko program formalny. Podpisz…, Zamknięte z nazwiskiem i datą oraz Otwórz ponownie lub Otwarte. Zobacz Program formalny.

RVTM | VCRM przełącza tabelę. VCRM (macierz odsyłaczy weryfikacji) to widok planowania: kolumny I, A, D i T oznaczają metody (inspekcja, analiza, demonstracja, test), dalej są Level, Stage, Event, Verified by i Status.

Filtruj według numeru lub nazwy zawęża wiersze. Kliknij wiersz (lub naciśnij Enter), aby pokazać wymaganie w inspektorze.

Wskaż znak ⚠ wymagania, aby zobaczyć, które elementy zmieniły się od ostatniego przeglądu jego powiązań. Kliknij go, aby otworzyć okno Powiązania do przeglądu — <requirement>: każde powiązanie do przeglądu na dowolnym końcu wymagania, z przyciskami Różnice i Oznacz jako przejrzane…, oraz Otwórz Powiązania do przeglądu dla całej listy (Powiązania do przeglądu). Eksporty pomijają oznaczenia podejrzanych powiązań: ich kolumny statusu zawierają tylko wyniki weryfikacji.

Skróty

KlawiszGdzieCzynność
Enter / SpaceWiersz RVTMPokazuje wymaganie w inspektorze
↑ / ↓RVTMPrzechodzi między wierszami
EscRVTMWyczyszczenie zaznaczenia
⌘K / Ctrl+KWszędzieWyszukuje akcje, np. Eksportuj RVTM (Excel)

Komunikaty

WiadomośćZnaczenie
Wymagana jest nazwa lub numerTworzenie zestawu bez nazwy i bez numeru.
Nie ma czego uruchomić: żaden przypadek testowy nie pasuje. Dodaj przypadki testowe lub wyczyść filtr statusu.Uruchom zestaw nie znalazło przypadku testowego-liścia pasującego do filtra.
Zapisano cykl testów / Zapisano cykl testów; statusy przywrócono do: Nie wykonanoTylko zapisz / Zapisz i rozpocznij nowy.
Utworzono przypadek testowy <name>+ Przypadek testowy na karcie pokrycia.
<file> (tylko nazwa: ponad 10 MB)Plik dowodu jest większy niż limit na plik (10 MB w planie Free, liczone jako 10 × 1 048 576 bajtów); zapisywana jest tylko jego nazwa.
Ten projekt nie ma wymagań. Napisz lub zaimportuj wymagania, a następnie powiąż przypadki testowe relacją “verified by”.RVTM jest puste.
Żadne wymaganie nie pasuje do tego filtra. Wyczyść filtr, aby pokazać wszystkie wymagania.Filtr RVTM ukrywa wszystkie wiersze.
Zaznacz pole, aby utworzyć ten przypadek testowy.Generowanie przypadku testowego znalazło adres internetowy w wersji roboczej AI; potwierdź go przed utworzeniem.

Limity

  • Pliki dowodów testów: 10 MB (10 485 760 bajtów) na plik w planie Free; 25 MB (26 214 400 bajtów) w planach płatnych. Większe pliki są rejestrowane tylko z nazwy. Dowody wliczają się do miejsca projektu (zobacz Pamięć i limity).
  • Karta pokrycia pokazuje pierwsze 300 wymagań bieżącego filtra.
  • Przy przypadku testowym przechowywany jest jeden plik dowodu (najnowszy); dziennik przebiegów zachowuje nazwę pliku dowodu każdego przebiegu.