Holarch

Przewodnik · Weryfikacja

Macierz weryfikacji wymagań (RVTM): kolumny, metody i przykład krok po kroku

Posłuchaj tego przewodnika 29 min

Macierz weryfikacji wymagań, czyli RVTM, wymienia każde wymaganie ze sposobem jego weryfikacji, weryfikującym zdarzeniem, wynikiem i dowodem. Ten przewodnik omawia kolumny, wybór inspekcji, analizy, demonstracji lub testu, planowanie a wyniki, sposób pokazywania niezaliczonych i zmienionych wyników oraz przegląd pokrycia przed kamieniem milowym na przykładzie RVTM CubeSata 6U do obserwacji Ziemi.

Na tej stronie
  1. Czym jest macierz weryfikacji wymagań
  2. Kto jej używa i kiedy
  3. Kolumny
  4. Wybór metody weryfikacji
  5. Planowanie a wyniki
  6. Wartości statusu i sumowanie
  7. Generuj ją z modelu
  8. Jak widać niezaliczone i zmienione wyniki
    1. Niezaliczony wynik
    2. Zmienione wymaganie
  9. Przegląd pokrycia przed kamieniem milowym
  10. Przykład: RVTM CubeSata EO-1
    1. Plan
    2. Wyniki i kampanie testów
    3. Odczyt macierzy
    4. Zmienione wymaganie: 3.1 po PDR
    5. Planowanie pozostałych wierszy przed przeglądem
  11. Jedna macierz na produkt w linii produktów
  12. Typowe błędy
  13. Wypróbuj w Holarch
  14. Co dalej

Czym jest macierz weryfikacji wymagań

Weryfikacja pyta, czy system zbudowano poprawnie: czy spełnia każde wymaganie w jego brzmieniu? Macierz weryfikacji wymagań to miejsce, w którym odpowiada się na to pytanie wymaganie po wymaganiu. Każdy wiersz to jedno wymaganie. Kolumny mówią, jak zostanie zweryfikowane, na jakim poziomie integracji, przez jakie zdarzenie i co z tego zdarzenia wyniknęło. O tym, czym weryfikacja różni się od walidacji, która sprawdza system względem potrzeb interesariuszy, przeczytasz w przewodniku weryfikacja a walidacja.

Ta sama tabela występuje pod kilkoma nazwami. RVTM (requirements verification traceability matrix) akcentuje powiązanie wymagania z testem. VCRM (verification cross-reference matrix) jest powszechna w programach obronnych i lotniczo-kosmicznych i często oznacza połowę planistyczną: wymaganie, metodę i poziom. Macierz weryfikacji lub macierz zgodności może dodawać do każdego wiersza deklarację zgodności dla klienta. Zawartość nieco różni się między organizacjami, ale idea jest ta sama: jeden wiersz na wymaganie i nic bez zaplanowanego sposobu wykazania, że jest spełnione.

ISO/IEC/IEEE 15288 opisuje weryfikację jako proces, który planuje działania weryfikacyjne, przygotowuje to, czego potrzebują, wykonuje je i zapisuje wyniki, i oczekuje, że każde wymaganie będzie objęte co najmniej jednym działaniem. Macierz jest zwykłym zapisem tego pokrycia. INCOSE Systems Engineering Handbook traktuje ją tak samo: jako narzędzie robocze w trakcie rozwoju i produkt dostarczany na przeglądach. Macierz jest weryfikacyjnym końcem identyfikowalności wymagań: tam, gdzie identyfikowalność pyta, skąd wymaganie pochodzi i co je spełnia, RVTM pyta, co je dowodzi.

Przykładem w całym przewodniku jest EO-1, fikcyjny CubeSat 6U, który z orbity 500 km fotografuje pola uprawne w czterech pasmach spektralnych. Jego specyfikacja ma 32 wymagania i 19 zdarzeń weryfikacyjnych w dwóch zestawach testów; trzeci zestaw zawiera zdarzenia walidacyjne dla potrzeb interesariuszy. To ten sam projekt, który przykładowy projekt MBSE śledzi od potrzeb interesariuszy do dokumentów, więc opisane tu wiersze można prześledzić wstecz do funkcji, komponentów i analiz, które na nie odpowiadają.

Kto jej używa i kiedy

  • Przeglądy wymagań (na przykład przegląd wymagań systemowych). Recenzenci sprawdzają, czy każde wymaganie ma metodę i poziom. Wymaganie, o którym nikt nie umie powiedzieć, jak je zweryfikować, jest zwykle niejednoznaczne lub niemierzalne, a przegląd to najtańszy moment na jego przeredagowanie.
  • Przeglądy projektu. Macierz wymienia teraz przypadki testowe, analizy i inspekcje. Recenzenci szukają wymagań wciąż bez zdarzenia i testów wymagających obiektów badawczych lub egzemplarzy, których nikt nie zaplanował.
  • Przeglądy gotowości do testów. Przed rozpoczęciem kampanii macierz pokazuje, które wymagania kampania zamknie i które procedury są gotowe.
  • Kwalifikacja. Kwalifikacja pokazuje, że projekt spełnia swoje wymagania, często z zapasem, na egzemplarzu testowym zbudowanym w tym celu. Macierz wymienia każdy wynik kwalifikacji i jego raport.
  • Odbiór. Odbiór pokazuje, że każdy dostarczony egzemplarz został zbudowany i działa zgodnie z projektem. Klient zatwierdza odbiór na podstawie macierzy, wiersz po wierszu, z dołączonymi lub wskazanymi dowodami.
  • Audyty i certyfikacja. Audytor wybiera wiersze i podąża za nimi do dowodów. Macierz, której kolumna dowodów wskazuje rzeczywiste, wersjonowane pliki, to przetrwa; taka, która mówi „zob. raport z testu” bez wersji, nie przetrwa.

Kolumny

Praktyczna macierz ma następujące kolumny. Niektóre organizacje je dzielą lub inaczej nazywają; niewiele którąś pomija.

KolumnaZawieraWypełniana
WymaganieIdentyfikator i krótka nazwa; pełne stwierdzenie jest o jedno kliknięcie, a nie wklejonePrzy pisaniu wymagania
MetodaInspekcja, analiza, demonstracja lub test; w razie potrzeby więcej niż jednaAnaliza wymagań
PoziomGdzie jest weryfikowane: komponent, podsystem lub system (albo jednostka, zespół, segment)Analiza wymagań
Kryteria sukcesuMierzalny wynik, który uznaje się za spełnienie, z warunkamiAnaliza wymagań
Zdarzenie weryfikacyjnePrzypadek testowy, analiza, inspekcja lub demonstracja, która je wykonujeProjekt
StatusNiezweryfikowane, zaplanowane, niewykonane, zaliczone lub niezaliczoneIntegracja i testy
DowódRaport, plik danych lub zapis, który pokazuje wynik, z jego wersją oraz kompilacją i egzemplarzem testowym, na którym go uzyskanoIntegracja i testy

Pierwsze cztery kolumny to plan. Ostatnie trzy to wyniki. Rozdzielenie obu połówek ma znaczenie, bo zmieniają się w różnym czasie i z różnych powodów (zob. planowanie a wyniki).

Wybór metody weryfikacji

Istnieją cztery standardowe metody. Wymieniono je tu od najtańszej do najdroższej, co jest też zwykłą kolejnością preferencji, gdy pasuje więcej niż jedna. Metodę najlepiej wybrać przy pisaniu wymagania; przewodnik po pisaniu wymagań pokazuje dlaczego na przykładzie TC-06.

Inspekcja
Badanie elementu lub jego dokumentacji bez uruchamiania go: pomiar wymiaru, odczyt etykiety, sprawdzenie certyfikatu, rysunku lub ustawienia konfiguracji. Dobra dla cech fizycznych, oznaczeń, materiałów i wszystkiego, co sformułowano jako „shall have” lub „shall be made of”. Obejmuje też przegląd zapisów powstałych gdzie indziej: EO-1 weryfikuje 3.4 Bus Regulation (12 V z dokładnością 2%) przez inspekcję raportu kwalifikacyjnego jednostki dystrybucji zasilania i jej danych ze skoku obciążenia zamiast powtarzania testu.
Analiza
Wykazanie spełnienia wymagania przez obliczenia, modelowanie lub symulację, często z użyciem danych testowych z niższych poziomów. Dobra, gdy testowanie rzeczywistego obiektu jest niemożliwe lub niebezpieczne albo gdy analiza obejmuje znacznie więcej przypadków, niż mógłby jakikolwiek test. 1.7 Mission Lifetime EO-1 (730 dni na orbicie) można wykazać tylko analizą niezawodności, a 1.6.1 Ground Track Repeat przez propagację orbity.
Demonstracja
Uruchomienie elementu, aby pokazać, że coś robi, z obserwacją, ale bez oprzyrządowania do precyzyjnego pomiaru. Dobra dla wymagań funkcjonalnych i operacyjnych z wynikiem tak lub nie: 6.1 Contact Scheduling EO-1 (kontakty rezerwowane z 48-godzinnym wyprzedzeniem) wykazuje się, przeprowadzając zespół operacyjny przez 14 dni próby.
Test
Uruchomienie elementu w kontrolowanych warunkach i pomiar wyniku względem liczby. Dobry dla wymagań wydajnościowych z wartością i tolerancją, takich jak 2.1 Pointing Accuracy (z dokładnością 0,1 stopnia od celu). Test daje najsilniejszy dowód i zwykle najwięcej kosztuje.

Kilka pytań, które rozstrzygają wybór:

  • Czy wymaganie zawiera liczbę? Wtedy zwykle potrzebuje testu lub analizy; demonstracja nie wykaże „z dokładnością 0,1 stopnia”.
  • Czy warunek da się odtworzyć? Dwóch lat na orbicie ani przelotu 25 stopni od nadiru nad rzeczywistym polem nie da się zainscenizować w laboratorium. Takie wymagania trafiają do analizy, popartej testem w punkcie osiągalnym w laboratorium.
  • Na jakim poziomie to widać? Pojemność akumulatora można przetestować na pakiecie (poziom komponentu); dokładność celowania wymaga podsystemu orientacji; 72-godzinny czas powrotu istnieje tylko dla całej misji. Weryfikuj każde wymaganie na najniższym poziomie, na którym właściwość występuje w pełni.
  • Co zaakceptuje klient? Umowy często ustalają metodę dla kluczowych wymagań. Uzgodnij ją wcześnie, a nie przy odbiorze.

Jednocześnie zapisz kryteria sukcesu. „Spełnia wymaganie” nie jest kryterium. „Błąd najwyżej 0,1 stopnia dla każdego z 20 zadanych celów” jest: każdy może to wykonać i dojść do tego samego werdyktu.

Planowanie a wyniki

Połowa planistyczna macierzy jest ustalana w trakcie analizy wymagań i projektowania. Odpowiada na pytanie „skąd będziemy wiedzieć?” i powinna być kompletna na długo przed powstaniem jakiegokolwiek sprzętu. Wymaganie bez metody na przeglądzie wymagań to wada zbioru wymagań, a nie luka w programie testów.

Połowa wyników jest wypełniana w trakcie integracji i testów. Zmienia się przy każdym wykonaniu zdarzenia i ma sens tylko razem z tym, co testowano: kompilacją lub wersją oprogramowania, numerem seryjnym egzemplarza testowego, datą i osobą. Wyniku bez kompilacji i egzemplarza testowego nie da się powtórzyć ani poddać audytowi i nie powie on, która kompilacja naprawiła niepowodzenie.

Dwa nawyki utrzymują obie połówki w uczciwości:

  • Jedno zdarzenie na wiersz dowodu. Raport z analizy, zapis inspekcji i demonstracja to zdarzenia weryfikacyjne tak samo jak przypadek testowy. Nadaj każdemu własny wpis z wynikiem, aby macierz pokazywała dowody dla każdej metody, a nie tylko dla testów.
  • Weryfikuj liście, sumuj nadrzędne. Wymaganie nadrzędne zdekomponowane na podrzędne jest zweryfikowane, gdy zweryfikowane są wszystkie podrzędne albo gdy ma własne zdarzenie. Sumowanie pozwala uniknąć planowania zdublowanych testów dla wymagania nadrzędnego i od razu pokazuje, która gałąź je wstrzymuje.

Wartości statusu i sumowanie

Pięć wartości statusu obejmuje cały cykl życia wiersza:

StatusZnaczenieCo zrobić
NiezweryfikowaneBrak metody i zdarzeniaZaplanuj albo zakwestionuj wymaganie
Tylko planowaneMetoda jest ustalona, zdarzenie jeszcze nie istniejeNapisz przypadek testowy, analizę lub inspekcję
Nie wykonanoZdarzenia istnieją, żadne nie ma wynikuZaplanuj je w harmonogramie
ZaliczoneZdarzenie zaliczone i żadne niezaliczonePrzechowuj dowód z jego kompilacją i egzemplarzem testowym
NiezaliczoneZdarzenie niezaliczoneZgłoś problem, napraw, powtórz

Zdarzenie weryfikacyjne ma własne, drobniejsze stany: niewykonane, w toku, zablokowane, niezaliczone lub zaliczone. Dla macierzy zdarzenie w toku lub zablokowane nie ma jeszcze werdyktu, więc jego wymaganie liczy się jako niewykonane.

Wymaganie nadrzędne jest niezaliczone, jeśli niepowodzenie wystąpi gdziekolwiek poniżej, a zaliczone tylko wtedy, gdy zaliczone są wszystkie podrzędne (albo jego własne zdarzenie). W przeciwnym razie pokazuje, jak daleko doszła jego najsłabiej pokryta gałąź. Policzenie wierszy według statusu daje jedną liczbę, o którą większość przeglądów pyta najpierw: ile wymagań jest zweryfikowanych na ile.

Generuj ją z modelu

Większość macierzy zaczyna życie jako arkusz kalkulacyjny, a większość arkuszy się rozjeżdża. Tekst wymagania jest wklejany i dezaktualizuje się, gdy wymaganie się zmienia. Status testu jest wpisywany ręcznie po każdym wykonaniu przez tego, kto pamięta. Przed przeglądem krążą dwie kopie i nikt nie jest pewien, którą widział klient. Nic z tego nie wynika z niedbałości; arkusz to kopia, a kopie się rozchodzą.

Alternatywą jest trzymanie treści macierzy tam, gdzie już się znajduje, i generowanie z niej tabeli:

  • metoda, poziom i kryteria sukcesu są atrybutami wymagania;
  • każde zdarzenie weryfikacyjne jest elementem powiązanym z wymaganiami, które weryfikuje;
  • każdy wynik, z kompilacją, egzemplarzem testowym i dowodem, jest zapisywany przy zdarzeniu w chwili jego wykonania;
  • macierz jest zapytaniem po tych powiązaniach, budowanym od nowa przy każdym otwarciu lub eksporcie.

Macierz nie może wtedy przeczyć wymaganiom ani zapisom testów, bo nie ma własnych danych. Wyeksportowana kopia na przegląd nadal jest migawką, ale powstaje w kilka sekund z bieżącego modelu, a nie jest utrzymywana ręcznie. To jedna z najbardziej oczywistych korzyści z trzymania wymagań, projektu i weryfikacji w jednym modelu; strona funkcji weryfikacji opisuje, jak robi to Holarch.

Jak widać niezaliczone i zmienione wyniki

Dwa rodzaje zmian sprawiają, że wiersz staje się błędny, choć wyglądał na zamknięty.

Niezaliczony wynik

Niepowodzenie to informacja, a nie powód do wstydu, i macierz powinna pokazywać je wyraźnie. Niezaliczone zdarzenie pozostaje niezaliczone do ponownego wykonania; nie jest po cichu resetowane. Każde niepowodzenie dostaje problem (raport o problemie lub o niezgodności) powiązany ze zdarzeniem i weryfikowanymi przez nie wymaganiami, więc wiersz macierzy prowadzi do dochodzenia. Gdy pojawi się poprawka, zdarzenie jest powtarzane na nowej kompilacji, a zapis zachowuje oba wykonania: niepowodzenie na starej kompilacji i zaliczenie na nowej. Zapisywanie wyników każdej kampanii testów jako migawki (często nazywanej cyklem testów) pozwala porównywać kampanie i dokładnie widzieć, które wiersze się zmieniły.

Zmienione wymaganie

Cichszym problemem jest wymaganie, które zmienia się po zaliczeniu testu. Jeśli wymaganie dotyczące mocy rośnie z 28 W do 30 W, stare zaliczenie nie dowodzi już niczego o nowej wartości, ale kolumna statusu nadal będzie mówić „zaliczone”. Dobra macierz oznacza powiązanie między zmienionym wymaganiem a weryfikującym je zdarzeniem jako podejrzane, dopóki ktoś go nie przejrzy: albo zdarzenie już obejmuje nową wartość, albo trzeba zmienić procedurę i ponownie wykonać zdarzenie. To samo dotyczy zmiany czegoś powyżej wymagania w łańcuchu. Podejrzane powiązania ogólnie omawia sekcja przewodnika po identyfikowalności poświęcona podejrzanym powiązaniom; dla weryfikacji zasada jest krótka: zaliczenie zapisane przed ostatnią zmianą wymagania wymaga przeglądu, zanim zostanie uwzględnione przy kamieniu milowym. Przewodnik po analizie wpływu zmian śledzi tę samą zmianę od wniosku o zmianę do ponownego testu.

Przegląd pokrycia przed kamieniem milowym

Na tydzień przed przeglądem przejdź przez macierz z następującymi pytaniami:

  1. Wiersze niezweryfikowane. Każde wymaganie powinno mieć co najmniej metodę. Wiersze bez niej albo nie mają planu, albo w obecnym brzmieniu są nieweryfikowalne.
  2. Wiersze tylko planowane. Na przegląd projektu każdy powinien mieć zdarzenie albo powód, dla którego jeszcze go nie ma. Przy odbiorze nie powinien zostać żaden.
  3. Wiersze niezaliczone. Każdy potrzebuje powiązanego problemu z właścicielem i planem. Niepowodzenie bez problemu to najczęstsze ustalenie na przeglądach testów.
  4. Wiersze podejrzane. Każdy wymaga decyzji: nadal ważne albo do powtórzenia.
  5. Sensowność poziomu i metody. Szukaj wymagań poziomu systemu weryfikowanych tylko testem komponentu, wymagań liczbowych weryfikowanych tylko demonstracją i zdarzeń, których procedura nie mierzy tego, co mówi wymaganie.
  6. Dowody. Sprawdź wyrywkowo kilka zaliczonych wierszy: czy dowód istnieje i czy jego kompilacja i egzemplarz testowy odpowiadają temu, co jest przeglądane?
  7. Osierocone zdarzenia. Przypadki testowe, które nie weryfikują żadnego wymagania, kosztują pieniądze i w zapisie niczego nie dowodzą. Powiąż je albo wycofaj.

Zapisuj liczby dla każdego statusu przy każdym kamieniu milowym. Trend (spadek niezweryfikowanych, wzrost zaliczonych, zamykanie niezaliczonych) mówi o kondycji programu więcej niż jakakolwiek pojedyncza migawka.

Przykład: RVTM CubeSata EO-1

Przykładem jest projekt demonstracyjny CubeSat EO-1 w Holarch, w którym wymagania znajdują się w SRS-001 EO-1 System Requirements Specification, zdarzenia weryfikacyjne to Test Cases w dwóch zestawach testów, a każdy przypadek testowy weryfikuje swoje wymagania (trzeci zestaw, TS-3 Mission Validation, waliduje potrzeby interesariuszy i nie wchodzi do RVTM). Na potrzeby tego przewodnika dodano do demo jedną zmianę, tę samą, którą wprowadza krok zmiany w przykładzie MBSE: po przeglądzie projektu wstępnego średnie obciążenie na orbicie wzrosło do 26 W, więc wymaganie 3.1 Orbit Average Power podniesiono z 28 W do 30 W.

Pobierz przykład: macierz weryfikacji wymagań EO-1 jako skoroszyt Excela (.xlsx, 32 wiersze) albo tę samą macierz jako CSV. Oba pliki to eksport RVTM z Holarch dla pokazanego niżej projektu: numer i nazwa wymagania, metoda, poziom, kryteria sukcesu, weryfikujące przypadki testowe z ich statusem, status własny i status zbiorczy. Użyj ich jako szablonu dla własnych kolumn.

Plan

Wybór wierszy, po jednym dla każdej metody i poziomu, z kryteriami sukcesu w brzmieniu ze specyfikacji:

#WymaganieMetodaPoziomKryteria sukcesu
1.2Ground Sample Distance: 4,5 m z orbity 500 kmTestSystemMTF przy częstotliwości Nyquista co najmniej 0,12 na celu paskowym 4 m
1.6.1Ground Track Repeat: co 3 dniAnalizaSystemPropagacja orbity wykazuje powtórzenie co 3 dni ± 1 godzina
2.1Pointing Accuracy: z dokładnością 0,1 stopniaTestPodsystemBłąd najwyżej 0,1 stopnia dla każdego z 20 zadanych celów
3.1Orbit Average Power: co najmniej 30 W na końcu życia (było 28 W)TestPodsystemŚrednia moc na orbicie na końcu życia prognozowana na podstawie zmierzonej mocy szczytowej
3.2Battery Capacity: co najmniej 77 Wh na początku życiaTestKomponentZmierzona pojemność co najmniej 77 Wh przy C/2 i 20 °C
3.4Bus Regulation: 12 V z dokładnością 2%InspekcjaKomponentSzyna w zakresie 11,76–12,24 V przy wszystkich skokach obciążenia
6.1Contact Scheduling: z 48-godzinnym wyprzedzeniemDemonstracjaSystemKontakty rezerwowane z wyprzedzeniem 48 h przez 14 kolejnych dni próby
6.5Planning Cycle Time: w ciągu 100 minutAnalizaSystemSymulacja Monte Carlo osiąga 100 minut z prawdopodobieństwem co najmniej 90%
2.5Safe Mode Recovery: „quickly … as appropriate”(brak)(brak)(brak)

Występują wszystkie cztery metody na trzech poziomach. Pojemność akumulatora testuje się na samym pakiecie, bo tam właściwość występuje w pełni; dokładność celowania wymaga podsystemu orientacji na stole z łożyskiem powietrznym; powtarzalność śladu naziemnego jest właściwością orbity i trafia do analizy. 6.5 weryfikuje się probabilistyczną analizą harmonogramu operacji, czyli kontrolą tego rodzaju, jaką omawia przewodnik po Monte Carlo. Kryterium 3.1 to prognoza na podstawie pomiaru: test mierzy moc szczytową paneli, a równanie w budżecie mocy przelicza ją na wartość średnią na orbicie. 2.5 nie ma metody, ponieważ w obecnym brzmieniu nie da się go zweryfikować.

Wyniki i kampanie testów

19 weryfikacyjnych przypadków testowych znajduje się w dwóch zestawach: TS-1 Spacecraft Qualification Tests (15 przypadków testowych, od testów na ławie optycznej po analizy) i TS-2 Communications and Ground Tests (4). Trzeci zestaw, TS-3 Mission Validation, zawiera VAL-01 do VAL-03, które weryfikują potrzeby interesariuszy, a nie wymagania, więc RVTM je pomija (zob. weryfikacja a walidacja). Każdy zapisany wynik zawiera testera, datę, kompilację (wersję oprogramowania pokładowego), egzemplarz testowy (numery seryjne sprzętu) i, jeśli istnieje, plik dowodu.

TC-04 Pointing Accuracy Test nie został zaliczony: w drugim wykonaniu, z oprogramowaniem pokładowym 2.3.1, trzy z 20 celów znalazły się poza 0,1 stopnia, największe odchylenie wyniosło 0,14 stopnia, a podejrzewane jest tarcie w kołach reakcyjnych. Niepowodzenie ma problem powiązany z przypadkiem testowym, a przez niego z wymaganiami 2.1 i 2.2. TC-09 Safe Mode Entry Test nie został zaliczony w ten sam sposób (14 sekund wobec 10) i ma własny problem. Dwa przypadki testowe, TC-11 UHF Command Test i TC-17 Slew Time Analysis, są w toku; w macierzy liczą się jako niewykonane, dopóki nie mają werdyktu.

Kampanię na stanowisku flatsat przeprowadzono dwukrotnie, a wyniki każdej kampanii zapisano jako cykl testów. Porównanie obu pokazuje, co zmieniła druga kampania:

  • Flatsat Cycle 1: 5 z 9 zaliczonych. TC-03 i TC-06 nie zostały wykonane; TC-04 (0,16 stopnia dla 5 celów) i TC-09 (15 sekund) nie zostały zaliczone.
  • Flatsat Cycle 2: 8 z 11 zaliczonych. TC-03 i TC-06 zaliczone, analizę TC-13 dodano i zaliczono, TC-14 dodano, ale nie wykonano. TC-04 i TC-09 poprawiły się (0,14 stopnia dla 3 celów, 14 sekund), ale nadal nie zostały zaliczone.

„Poprawa, ale nadal niezaliczone” to dokładnie to, co ukrywa kolumna statusu, a zachowuje porównanie cykli: poprawki między kampaniami przesunęły liczby we właściwym kierunku, a żadne z nich nie jest zamknięte.

Odczyt macierzy

Macierz jest generowana z powyższych wymagań i przypadków testowych; nic w niej nie zostało wpisane do tabeli. Karty liczą wiersze według statusu zbiorczego, a pięć liczb sumuje się do 32 wymagań: 11 zaliczonych, 3 niezaliczone, 12 niewykonanych, 3 tylko zaplanowane, 3 niezweryfikowane. Odczytanie jej tak, jak zrobiłaby to komisja przeglądowa:

  • 11 z 32 zweryfikowanych (34%). Zaliczenia przez test (1.2, 3.2), przez analizę (1.6.1, 1.7) i przez inspekcję (3.4). Żadna demonstracja nie została jeszcze zaliczona: wszystkie trzy (5.4, 6.1, 6.2) czekają na próby segmentu naziemnego w TS-2.
  • 2.1 i 2.2 niezaliczone przez jeden test. TC-04 weryfikuje oba, więc jedno niepowodzenie oblewa dwa wiersze. Przy bliższym spojrzeniu 2.2 Pointing Stability ma drugi problem: jego kryterium to dryf w trakcie każdej 40-sekundowej rejestracji, a TC-04 mierzy tylko błąd celowania przy każdym celu. Nawet zaliczony TC-04 nie wykazałby, że 2.2 jest spełnione. To ustalenie dotyczące sensowności metody: 2.2 potrzebuje własnego pomiaru albo procedura TC-04 musi rejestrować dryf.
  • 4.3 niezaliczone przez TC-09. Problem i zadanie zwiększenia częstotliwości odpytywania przez układ watchdog oraz powtórzenia TC-09 są zapisane; wiersz pozostaje niezaliczony, dopóki TC-09 nie zostanie zaliczony na nowym oprogramowaniu.
  • 1.6 Revisit Time podlega sumowaniu. Samo jest tylko zaplanowane (analiza, brak zdarzenia), ale rozstrzygają o nim dwa wymagania podrzędne: 1.6.1 zaliczone, 1.6.2 Off-Nadir Imaging niewykonane, więc 1.6 pokazuje niewykonane. Gdy oba podrzędne zostaną zaliczone, osobny test wymagania nadrzędnego nie jest potrzebny.
  • Tylko planowane: 1.5, 4.4 i 6.5. Każde ma metodę i nie ma zdarzenia. 4.4 Downlink Encryption nie ma też ani poziomu, ani kryteriów, więc jego plan nie jest skończony.
  • Niezweryfikowane: 2.5, 3.5 i 6.4. Brak metody, brak zdarzenia. To także trzy najsłabsze wymagania w specyfikacji („quickly … as appropriate”, „warm enough (TBD)”, „user friendly and/or easy to use”). Luki w macierzy zwykle wskazują wymagania, które trzeba przeredagować, a nie brakujące testy.
  • 3.1 jest podejrzane. Zob. następną sekcję.

Zmienione wymaganie: 3.1 po PDR

TC-06 Solar Array Power Test został zaliczony: oczekiwany wynik to co najmniej 72 W mocy szczytowej, a panele dostarczyły 75,1 W. Potem 3.1 podniesiono z 28 W do 30 W. Kolumny statusu nadal pokazują zaliczenie, bo TC-06 rzeczywiście został zaliczony. Znak ⚠ za wymaganiem i za TC-06 mówi, że zaliczenie jest starsze niż wymaganie. Kliknięcie go wyświetla każde powiązanie od 3.1, które zmiana uczyniła podejrzanym:

Dla powiązania weryfikacyjnego pytanie jest konkretne: czy 75,1 W zmierzonej mocy szczytowej nadal wykazuje 30 W średnio na orbicie? Odpowiada na nie budżet mocy. Jego równanie EQ-1.3 przelicza moc szczytową na średnią moc na orbicie za pomocą udziału oświetlenia orbity (0,62) i sprawności toru zasilania (0,6):

Moc szczytowaŚrednio na orbicie (× 0,62 × 0,6)Co to jest
72,0 W26,8 WOczekiwany wynik TC-06
75,1 W27,9 WZmierzony wynik TC-06
75,3 W28,0 WPotrzebne dla starego 3.1
80,6 W30,0 WPotrzebne dla nowego 3.1

Zaliczenia nie można więc przenieść: aby wykazać 30 W, panele potrzebowałyby około 80,6 W mocy szczytowej, a TC-06 zmierzył 75,1 W na panelach kwalifikacyjnych na początku życia, przed jakąkolwiek degradacją na koniec życia. Przegląd ujawnia też starszy problem, który zmiana odsłoniła: próg 72 W w TC-06 odpowiada tylko 26,8 W średnio na orbicie, więc nawet wobec 28 W oczekiwany wynik testu nie był wyprowadzony z wymagania przez budżet mocy. Właściwy wynik to pozostawienie powiązania jako podejrzanego, zgłoszenie problemu, poprawienie oczekiwanego wyniku TC-06 na podstawie równania (i decyzja z inżynierem zasilania, czy zmieniają się panele, czy zapas), a następnie ponowne wykonanie testu. Znacznik podejrzanego powiązania pozostaje, dopóki ta decyzja nie zostanie zapisana, więc nikt nie odczyta starego „Passed” jako dowodu dla 30 W.

Wyeksportowana macierz zawiera tylko wyniki weryfikacji, bez oznaczeń podejrzanych powiązań: w pobranym skoroszycie 3.1 ma status Passed. Przejrzyj podejrzane wiersze w modelu, zanim wyeksportujesz kopię na kamień milowy.

Planowanie pozostałych wierszy przed przeglądem

Lista pokrycia pokazuje 21 wierszy, które nie są jeszcze zweryfikowane (32 minus 11), z elementami sterującymi do dokończenia ich planu. Przed krytycznym przeglądem projektu wyznacza ona następującą pracę:

  1. Przeredaguj 2.5, 3.5 i 6.4 tak, aby dały się zweryfikować, a następnie nadaj każdemu metodę, poziom i kryteria.
  2. Nadaj 4.4 poziom i kryteria i utwórz dla niego inspekcję; utwórz analizy dla 1.5 i 6.5.
  3. Zamknij niepowodzenia: TC-04 po zbadaniu kół reakcyjnych, TC-09 po zmianie układu watchdog, a dryf dla 2.2 zmierz osobno.
  4. Podejmij decyzję w sprawie 3.1: popraw TC-06 i wykonaj go ponownie względem 30 W.
  5. Zaplanuj niewykonane zdarzenia, zaczynając od TC-19 Array Deployment Test i czterech zdarzeń TS-2, które razem weryfikują osiem wymagań.

Zapisywanie liczb przy każdym przeglądzie (tutaj 11 zaliczonych, 3 niezaliczone, 12 niewykonanych, 3 tylko zaplanowane, 3 niezweryfikowane) daje trend, z którym porówna się następny przegląd.

Jedna macierz na produkt w linii produktów

W tym przewodniku „kompilacja” oznacza to, na czym wykonano test: wersję oprogramowania i numery seryjne egzemplarza testowego. Linia produktów to inna idea: kilka produktów, takich jak EO-1 Flight i tańszy EO-1 Lite, przechowywanych w jednym modelu, każdy jako konfiguracja produktu. Ich wymagania się pokrywają, ale nie są takie same, a zaliczenie w jednym produkcie nie weryfikuje drugiego. EO-1 Lite leci z radiem pasma S, więc test łącza w paśmie X zaliczony dla EO-1 Flight nic o nim nie mówi.

Macierz trzeba wtedy czytać dla każdego produktu osobno. W Holarch wybierz konfigurację produktu w Wyświetl jako ▾: RVTM pokazuje tylko wymagania tej konfiguracji i zapisane dla niej wyniki, więc „zweryfikowane” oznacza zweryfikowane dla tego produktu, a eksporty podają nazwę konfiguracji. Wszystkie konfiguracje dodaje po jednej kolumnie statusu zbiorczego na konfigurację, z „—” tam, gdzie wymaganie do niej nie należy. Uruchom zestaw w widoku konfiguracji zapisuje wyniki jako wyniki tej konfiguracji i wypełnia pole Konfiguracja / kompilacja nazwą produktu; kompilację i egzemplarz testowy nadal warto zapisać. Linie produktów wymagają planu Individual lub Team; zob. Linie produktów: RVTM oraz przewodnik po inżynierii linii produktów.

Typowe błędy

  • Powtarzanie wymagania jako kryterium sukcesu. „ADCS celuje z dokładnością 0,1 stopnia” nic nie mówi o liczbie celów, warunkach ani punkcie odniesienia.
  • Progi testów niewyprowadzone z wymagania. Oczekiwany wynik testu powinien wynikać z wymagania przez analizę, która je łączy, a w przypadku 72 W dla TC-06 tak nie było. Sprawdzaj obliczenia przy pisaniu testu, a nie przy zmianie wymagania.
  • Jeden test dla kilku wymagań bez pomiaru każdego z nich. Współdzielenie testu jest wydajne, ale tylko wtedy, gdy procedura rejestruje każdą wielkość podaną w powiązanych wymaganiach.
  • Bezpośrednia weryfikacja wymagań nadrzędnych. Pisanie testu dla wymagania nadrzędnego, który tylko powtarza testy podrzędnych, podwaja pracę i dokumentację. Weryfikuj liście i pozwól, by wymaganie nadrzędne podlegało sumowaniu.
  • Analiza bez dowodu. Analiza to zdarzenie weryfikacyjne i jak każdy test potrzebuje raportu, wersji i werdyktu.
  • Łączenie testu z wymaganiem ogólnym powiązaniem „related”. Macierz liczy tylko powiązania weryfikacyjne; test powiązany w inny sposób sprawia, że wymaganie wygląda na niezweryfikowane.
  • Resetowanie niepowodzenia do „niewykonane”, by uporządkować macierz. Zachowaj niepowodzenie i jego problem; o historię pyta audytor.
  • Pomijanie podejrzanych wierszy przy odbiorze. Zaliczenie starsze niż wymaganie, które rzekomo weryfikuje, nie jest dowodem dla bieżącego wymagania.

Wypróbuj w Holarch

  1. Utwórz projekt EO-1: Zarządzaj projektami → Pliki projektu ▾ → Nowy projekt demonstracyjny → CubeSat (inżynieria systemów z przewodnikiem). Albo zacznij od własnych wymagań w dokumencie wymagań; zob. Wymagania.
  2. Otwórz Weryfikacja → Centrum testów. W sekcji Pokrycie weryfikacją ustaw metodę każdego wymagania przyciskami A, O, I i T, wybierz poziom w Poziom… i dodaj kryteria sukcesu przyciskiem + Kryteria.
  3. Utwórz zestawy testów i przypadki testowe przyciskami + Nowy ▾ i + Przypadek testowy i powiąż każdy przypadek testowy z jego wymaganiami przyciskiem + w kolumnie Weryfikuje. Analizy, inspekcje i demonstracje też są przypadkami testowymi.
  4. Zapisuj wyniki przyciskami statusu albo przeprowadź kampanię poleceniem Uruchom zestaw, które dla każdego wykonania zapisuje testera, kompilację (pole Konfiguracja / kompilacja), egzemplarz testowy i plik dowodu. Po niepowodzeniu kliknij + Utwórz Issue.
  5. Zapisz kampanię poleceniem Rozpocznij nowy cykl… i porównuj kampanie w ⋯ → Cykle testów… zestawu.
  6. Otwórz Weryfikacja → RVTM. Kliknij kartę statusu, aby filtrować wiersze. Aby zobaczyć znacznik podejrzanego powiązania, zmień tekst wymagania 3.1, a następnie kliknij ⚠ obok niego.
  7. Kliknij Eksportuj ▾, aby wybrać Excel (.xlsx), CSV lub Word (.docx). Przykład do pobrania powyżej to właśnie taki eksport.

Pełny opis znajduje się w dokumentacji Weryfikacja.

Co dalej