Przewodnik · Weryfikacja
Weryfikacja a walidacja w inżynierii systemów
Posłuchaj tego przewodnika 29 min
Weryfikacja pokazuje, że system spełnia swoje wymagania; walidacja pokazuje, że spełnia potrzeby interesariuszy w zamierzonym użyciu. Ten przewodnik omawia definicje w ISO/IEC/IEEE 15288, to, względem czego każda z nich sprawdza, gdzie obie odbywają się w cyklu życia, cztery metody weryfikacji, działania walidacyjne, weryfikację i walidację modelu, identyfikowalność stojącą za obiema oraz błędy, które je zacierają, na przykładzie CubeSata 6U.
Na tej stronie
- Krótka odpowiedź
- Definicje w ISO/IEC/IEEE 15288
- Względem czego sprawdza każda z nich
- Kiedy każda z nich odbywa się w cyklu życia
- Cztery metody weryfikacji
- Działania walidacyjne
- Weryfikacja modelu i walidacja modelu
- Identyfikowalność stojąca za obiema
- Dowody weryfikacji w praktyce: TC-06
- Porównanie weryfikacji i walidacji
- Typowe nieporozumienia
- Jak Holarch zapisuje każdą z nich
- Najczęściej zadawane pytania
- Co dalej
Krótka odpowiedź
Weryfikacja pyta: czy zbudowaliśmy system dobrze? Porównuje system z jego wymaganiami, zdanie po zdaniu, i dostarcza dowodów, że każde z nich jest spełnione. Walidacja pyta: czy zbudowaliśmy właściwy system? Porównuje system z tym, czego potrzebują jego interesariusze i jak będą go używać, i dostarcza dowodów, że system wykonuje zadanie, do którego został kupiony.
Oba pytania brzmią podobnie i często zajmuje się nimi ten sam zespół z tym samym sprzętem, ale mogą dać różne odpowiedzi. System może spełnić każde wymaganie i mimo to zawieść użytkowników, bo jakiegoś wymagania brakowało, było błędne albo zapisano je dla innego użycia niż rzeczywiste. System może też dobrze służyć użytkownikom, nie spełniając wymagania, które okazuje się nieistotne. Inżynieria systemów rozdziela te dwie rzeczy, bo każda wychwytuje błędy, których druga nie widzi.
Sformułowanie „budować produkt dobrze” w odróżnieniu od „budować dobry produkt” przypisuje się zwykle wczesnym pracom Barry'ego Boehma z inżynierii oprogramowania i pozostaje ono najkrótszym sposobem na zapamiętanie różnicy.
Definicje w ISO/IEC/IEEE 15288
ISO/IEC/IEEE 15288, międzynarodowa norma procesów cyklu życia systemu, traktuje weryfikację i walidację jako dwa odrębne procesy techniczne: proces weryfikacji (punkt 6.4.9) i proces walidacji (punkt 6.4.11). Integracja następuje przed weryfikacją, a przekazanie między nimi: system jest weryfikowany w stanie zbudowanym, przekazywany do środowiska eksploatacji, a następnie tam walidowany.
- Weryfikacja to potwierdzenie, poprzez obiektywne dowody, że wyspecyfikowane wymagania zostały spełnione. Jej celem w normie jest wykazanie, że system lub element spełnia swoje wymagania i charakterystyki, oraz zgłoszenie każdej anomalii wykrytej po drodze.
- Walidacja to potwierdzenie, poprzez obiektywne dowody, że wymagania dotyczące konkretnego zamierzonego użycia lub zastosowania zostały spełnione. Jej celem jest wykazanie, że system używany w zamierzonym środowisku spełnia potrzeby interesariuszy i osiąga cele biznesowe lub cele misji.
Obie definicje opierają się na obiektywnych dowodach: zmierzonym wyniku, raporcie z analizy, protokole inspekcji lub zaobserwowanej demonstracji, które ktoś inny mógłby sprawdzić. Opinia, „wyglądało dobrze” i test, którego nikt nie zapisał, nie są dowodami. Różnica między nimi leży w punkcie odniesienia, z którym każda z nich porównuje.
INCOSE Systems Engineering Handbook (wydanie 5, sekcje 2.3.5.9 i 2.3.5.11) stosuje ten sam podział, a NASA Systems Engineering Handbook (NASA/SP-2016-6105 Rev 2) przypisuje im osobne procesy realizacji produktu: weryfikację produktu (sekcja 5.3) i walidację produktu (sekcja 5.4). Podręcznik NASA wprost formułuje przydatną myśl: weryfikacja pokazuje, że produkt zbudowano zgodnie ze specyfikacją; walidacja pokazuje, że specyfikacja, a więc i produkt, była właściwa.
Względem czego sprawdza każda z nich
Najprościej odróżnić je, pytając, z czym porównuje się dowody.
- Weryfikacja sprawdza względem wymagań. Punktem odniesienia są zdania „shall” specyfikacji systemu, podsystemów i komponentów. Pisze je zespół inżynierski, uzgadnia z interesariuszami i formułuje tak, by test, analiza, inspekcja lub demonstracja mogły dać wynik pozytywny lub negatywny. ISO/IEC/IEEE 29148 wymienia weryfikowalność wśród cech, które musi mieć każde wymaganie (punkt 5.2.5), właśnie z tego powodu: wymaganie, którego nie da się zweryfikować, w ogóle nie może brać udziału w weryfikacji.
- Walidacja sprawdza względem potrzeb interesariuszy i zamierzonego użycia. Punktem odniesienia jest to, czego oczekują użytkownicy, operatorzy, klienci i inni interesariusze, w ich własnych kategoriach, razem z warunkami rzeczywistego użycia: scenariuszami operacyjnymi, środowiskiem, ludźmi, którzy będą obsługiwać system, oraz miarami skuteczności, które mówią, co dla nich znaczy „dobrze”. Potrzeby są często jakościowe, więc walidacja opiera się na scenariuszach, symulacji, próbach i ocenie interesariuszy, a także na pomiarach.
Porównanie potrzeb i wymagań w przewodniku po identyfikowalności ujmuje to w jednym zdaniu: potrzeby się waliduje, wymagania się weryfikuje. Wszystko inne w tym przewodniku z tego wynika.
Kiedy każda z nich odbywa się w cyklu życia
Model V
Model V przedstawia cykl życia jako literę V. Lewa strona schodzi w dół przez dekompozycję i definiowanie: koncepcja operacji, wymagania systemowe, projekt wysokiego poziomu, projekt szczegółowy. Na dole znajduje się implementacja. Prawa strona wznosi się przez integrację i sprawdzanie, a każdy krok po prawej odpowiada krokowi naprzeciwko:
| Prawa strona | Sprawdza względem (lewa strona) | Rodzaj |
|---|---|---|
| Weryfikacja jednostek | Projekt szczegółowy | Weryfikacja |
| Weryfikacja podsystemów | Projekt wysokiego poziomu | Weryfikacja |
| Weryfikacja systemu | Wymagania systemowe | Weryfikacja |
| Walidacja systemu | Koncepcja operacji i potrzeby interesariuszy | Walidacja |
Górna para jest jedyną parą walidacyjną, dlatego walidację często przedstawia się jako ostatni krok. Model V pokazuje, gdzie powstają ostateczne dowody, a nie kiedy zaczyna się praca. Każde działanie weryfikacyjne i walidacyjne jest planowane po lewej stronie, w tym samym czasie co element, który sprawdza: podejście do walidacji razem z koncepcją operacji, metoda weryfikacji razem z każdym wymaganiem.
Przyrostowa i ciągła V&V
Czekanie na zintegrowany system, zanim zapyta się, czy jest właściwy, to najdroższy sposób, by dowiedzieć się, że nie jest. W praktyce oba działania rozkłada się na cały cykl życia:
- Wczesna walidacja. Koncepcje, makiety, przykładowe produkty i symulacje trafiają do interesariuszy na długo przed powstaniem sprzętu. Każdy przegląd zmniejsza ryzyko, że wymagania utrwalą niewłaściwą potrzebę.
- Weryfikacja na każdym poziomie. Komponenty weryfikuje się przed integracją, podsystemy przed systemem. Wada wykryta na stanowisku laboratoryjnym kosztuje znacznie mniej niż wykryta w teście systemu.
- Ciągła V&V w rozwoju iteracyjnym. Zespoły dostarczające przyrostowo, na przykład zespoły programistyczne pracujące z ciągłą integracją, uruchamiają automatyczną weryfikację przy każdej kompilacji i walidują każdy przyrost z użytkownikami. Oba pytania pozostają takie same; zadaje się je znacznie częściej.
Cztery metody weryfikacji
Większość norm i podręczników stosuje te same cztery metody. Przewodnik po RVTM wyjaśnia, jak między nimi wybierać; tutaj każda jest pokazana na wierszu z CubeSata EO-1 używanego w całym tym przewodniku, fikcyjnego statku kosmicznego 6U, który fotografuje pola uprawne w czterech pasmach spektralnych z orbity 500 km i ma 32 wymagania w specyfikacji.
- Inspekcja
- Badanie elementu lub jego dokumentacji bez uruchamiania go. 3.4 Bus Regulation w EO-1 (12 V z dokładnością do 2%) jest weryfikowane przez TC-18 Bus Regulation Inspection, przegląd projektu jednostki dystrybucji mocy i jej danych kwalifikacyjnych ze skoków obciążenia. Wynik pozytywny: najgorszy przypadek to 11,81 V, w zakresie 11,76–12,24 V.
- Analiza
- Obliczenia, modelowanie lub symulacja, często zasilane danymi z testów niższego poziomu. 1.7 Mission Lifetime (730 dni na orbicie) nie da się przetestować na Ziemi, więc TC-16 Lifetime Reliability Analysis łączy intensywności uszkodzeń części, dawkę promieniowania i degradację akumulatora. Wynik pozytywny z prawdopodobieństwem 0,86 działania przez 730 dni, wobec wymaganych co najmniej 0,8.
- Demonstracja
- Uruchomienie elementu, aby pokazać, że coś robi, z obserwacją, ale bez precyzyjnego pomiaru. 6.1 Contact Scheduling (kontakty rezerwowane z 48-godzinnym wyprzedzeniem) ma zostać pokazane przez TC-20 Operations Rehearsal: 14 dni planowania kontaktów z partnerską siecią stacji naziemnych. Jeszcze się nie odbyło.
- Test
- Uruchomienie elementu w kontrolowanych warunkach i zmierzenie wyniku względem wartości. 3.2 Battery Capacity (co najmniej 77 Wh na początku życia) jest weryfikowane przez TC-07 Battery Capacity Test, rozładowanie prądem C/2 w 20 °C. Wynik pozytywny: 78,3 Wh.
Wszystkie cztery to weryfikacja. Demonstracja nie jest „łagodniejszym testem”, a analiza nie jest działaniem walidacyjnym tylko dlatego, że używa modelu: to, co czyni każdą z nich weryfikacją, to kryterium zaliczenia pochodzące z wymagania.
Działania walidacyjne
Walidacja używa wielu tych samych technik, skierowanych na inny punkt odniesienia. Typowe formy to:
- Scenariusze operacyjne. Przeprowadzenie systemu lub jego modelu przez koncepcję operacji: typowy dzień, tryb z ograniczeniami, przekazanie między operatorami. Pytanie brzmi, czy scenariusz osiąga to, czego chciał interesariusz, a nie czy każdy krok spełnia swoją liczbę.
- Symulacja misji. Uruchomienie koncepcji operacyjnej w symulacji z realistycznymi środowiskami i zmiennością, a następnie odczytanie wyników względem miar skuteczności (MOE), czyli zorientowanych na interesariuszy miar tego, jak dobrze misja wykonuje swoje zadanie.
- Przeglądy z interesariuszami. Pokazywanie użytkownikom koncepcji, prototypów, przykładowych produktów lub interfejsów i zapisywanie ich ocen. Wcześnie, tanio i często po raz pierwszy wychodzi na jaw brakująca potrzeba.
- Próby operacyjne i pilotaże. Rzeczywiści użytkownicy, rzeczywiste procedury, reprezentatywne środowisko. Często decydujący dowód walidacyjny, a w wielu programach formalne testy i ocena operacyjna przeprowadzane przez niezależną organizację.
Walidacja dla EO-1
Model EO-1 zawiera trzy potrzeby interesariuszy, każdą powiązaną z wymaganiami, które ją formalizują, oraz trzeci zestaw testów, TS-3 Mission Validation, z jednym zdarzeniem walidacyjnym na potrzebę. Oba są częścią modelu referencyjnego EO-1 (v1.0) oraz projektów demonstracyjnych utworzonych w Holarch 2.2.1 lub nowszym.
| Potrzeba | Wymagania (weryfikowane) | Zdarzenie walidacyjne | Status |
|---|---|---|---|
| N1 Same-Day Crop Stress Alerts | 6.2 Image Delivery (w ciągu 6 godzin od transmisji), 6.5 Planning Cycle Time (w ciągu 100 minut) | VAL-01 Customer Alert Pilot: zarejestrowane przeloty nad trzema pilotażowymi gospodarstwami przeprowadzone przez planowanie, przetwarzanie i portal klienta, przy czym agronomowie gospodarstw korzystają z alertów w codziennej pracy | Nie wykonano |
| N2 Twice-Weekly Revisit | 1.6 Revisit Time (w ciągu 72 godzin), przez 1.6.1 Ground Track Repeat i 1.6.2 Off-Nadir Imaging | VAL-02 Growing Season Revisit Simulation: jeden sezon obrazowania listy celów klienta z planowanym śladem orbity, limitem odchylenia od nadiru i historycznym zachmurzeniem | Nie wykonano |
| N3 Field-Level Vegetation Maps | 1.2 Ground Sample Distance (4,5 m), 1.4 Spectral Bands (cztery pasma, 450–900 nm) | VAL-03 Agronomist Map Review: agronomowie przeglądają mapy wegetacji wykonane z obrazów lotniczych przepróbkowanych do 4,5 m w czterech pasmach EO-1 | Wynik pozytywny: zaakceptowano wszystkie 12 przykładowych map |
Każdy wiersz pokazuje, dlaczego walidacja nie jest powtórzeniem weryfikacji. 1.6 wymaga ponownego przelotu w ciągu 72 godzin, co jest właściwością orbity i limitów nakierowania, a TC-13 Ground Track Repeat Analysis wykazała już powtarzalność co 3 dni i 0,4 godziny. Ale rolnicy potrzebują użytecznych zdjęć dwa razy w tygodniu, a chmury nie występują w 1.6. Tylko symulacja ze statystyką zachmurzenia (VAL-02) może powiedzieć, czy wymaganie, spełnione w obecnym brzmieniu, zaspokaja potrzebę. Jeśli nie, rozwiązaniem jest nowe lub zmienione wymaganie, a nie lepszy test.
N1 jest podobna. 6.2 i 6.5 nadają liczby łańcuchowi dostarczania, a analiza Monte Carlo dla 6.5 (zobacz przewodnik po metodzie Monte Carlo) szacuje prawdopodobieństwo dotrzymania 100 minut na około 97,6%. To, czy agronom rzeczywiście dowie się o stresie upraw w dniu przelotu, w formie, na podstawie której może działać, to inne pytanie, i VAL-01 zadaje je rzeczywistym użytkownikom.
VAL-03 odbyło się jako pierwsze, przed powstaniem jakiegokolwiek sprzętu lotnego, bo potrzebuje tylko przykładowych zdjęć i ludzi. To wczesna walidacja: potwierdziła, że 4,5 m w czterech pasmach to wystarczająca szczegółowość dla map na poziomie pól, zanim projekt kamery został zamrożony. Dwóch recenzentów poprosiło o nakładki z granicami pól, co zapisano wraz z wynikiem jako możliwą nową potrzebę.
Weryfikacja modelu i walidacja modelu
W inżynierii systemów opartej na modelach sam model jest produktem inżynierskim i dotyczą go te same dwa pytania. Praktyka obronna i lotniczo-kosmiczna od dziesięcioleci definiuje je dla modeli i symulacji (DoD Instruction 5000.61 o weryfikacji, walidacji i akredytacji; NASA-STD-7009 o wiarygodności modeli i symulacji):
- Weryfikacja modelu: czy model jest zbudowany poprawnie? Czy implementacja odpowiada jego własnej specyfikacji i regułom modelowania: brak brakujących czasów trwania w symulowanym przepływie, brak funkcji, której nikt nie wykonuje, brak wymagania bez zdarzenia weryfikującego, równania spójne wymiarowo, kod obliczający to, co zamierzył autor.
- Walidacja modelu: czy to właściwy model do danego celu? Czy odwzorowuje rzeczywisty system wystarczająco dokładnie dla decyzji, które ma wspierać? Odpowiada się na to, porównując model z rzeczywistością: danymi z testów, danymi z lotu, zaufanym modelem o wyższej wierności.
- Akredytacja w rozumieniu DoD to formalna decyzja, że model jest akceptowalny do konkretnego zastosowania, na podstawie dowodów z jego weryfikacji i walidacji.
EO-1 ma wyraźny przypadek. Jego budżet mocy przelicza zmierzoną moc szczytową paneli na średnią moc na orbicie równaniem EQ-1.3: średnia na orbicie = moc szczytowa × 0,62 (oświetlona część orbity) × 0,6 (sprawność toru mocy). Weryfikacja tego równania oznacza sprawdzenie arytmetyki, jednostek i jego powiązań. Walidacja oznacza pytanie, czy 0,62 i 0,6 odpowiadają rzeczywistej orbicie i rzeczywistemu torowi mocy, na przykład przez porównanie prognozy ze średnią mocą na orbicie zmierzoną na flatsacie podczas symulowanej orbity. Werdykt w sprawie wymagania 3.1 poniżej zależy w całości od tego równania, więc niezwalidowane EQ-1.3 uczyniłoby nierozstrzygającym nawet doskonały test.
Praktyczna zasada: gdy analiza lub symulacja służy jako dowód weryfikacji, jej model potrzebuje własnych dowodów walidacji, proporcjonalnie do tego, jak bardzo opiera się na nim decyzja.
Identyfikowalność stojąca za obiema
Weryfikacja i walidacja potrzebują każda własnego łańcucha powiązań:
- Potrzeby → walidacja. Każda potrzeba interesariusza jest powiązana z działaniem walidacyjnym, które pokaże, że jest spełniona w zamierzonym użyciu, oraz z wymaganiami, które ją formalizują.
- Wymagania → weryfikacja. Każde wymaganie jest powiązane z testem, analizą, inspekcją lub demonstracją, które je weryfikują, z metodą, poziomem i kryteriami sukcesu. Macierz weryfikacji wymagań to raport z tego łańcucha.
Razem odpowiadają na dwa pytania o pokrycie, które zadaje komisja przeglądowa: czy każde wymaganie jest zweryfikowane i czy każda potrzeba jest zwalidowana? Powiązania między potrzebami a wymaganiami łączą oba łańcuchy, więc lukę po jednej stronie można prześledzić do drugiej: potrzeba, której wszystkie wymagania przechodzą, a walidacja się nie powiodła, wskazuje na brakujące lub błędne wymaganie.
W macierzy oba łańcuchy stoją obok siebie: wymagania są weryfikowane przez przypadki testowe TC, potrzeby są walidowane przez zdarzenia VAL. Macierz pokazuje też lukę weryfikacyjną: 6.5 Planning Cycle Time ma metodę (analiza), ale w modelu nie ma jeszcze zdarzenia weryfikującego. Przewodnik po metodzie Monte Carlo przeprowadza tę analizę; zapisanie jej wyniku jako przypadku testowego zamknęłoby ten wiersz.
Dowody weryfikacji w praktyce: TC-06
TC-06 Solar Array Power Test w EO-1 pokazuje, co czyni dowód weryfikacji dobrym i jak przestaje się on liczyć. Zapis jest kompletny: M. Chen przeprowadził go na panelach kwalifikacyjnych QM-1 i QM-2 z wiązką w rewizji C, pod wielkopowierzchniowym symulatorem słonecznym przy AM0 (1361 W/m², jednorodność 1,4%), i dołączył charakterystykę prądowo-napięciową jako tc06-array-iv-curve.csv. Moc szczytowa wyniosła 75,1 W wobec oczekiwanego wyniku co najmniej 72 W. Zaliczony.
Następnie po wstępnym przeglądzie projektu wymaganie 3.1 Orbit Average Power podniesiono z 28 W do 30 W. Wynik testu się nie zmienił, ale zmieniło się to, czego dowodzi. Według EQ-1.3 75,1 W mocy szczytowej to 27,9 W średnio na orbicie (75,1 × 0,62 × 0,6), poniżej 30 W; wykazanie 30 W wymagałoby około 80,6 W mocy szczytowej. Powiązanie od 3.1 do TC-06 jest więc oznaczone jako podejrzane i pozostaje podejrzane, dopóki oczekiwany wynik TC-06 nie zostanie wyprowadzony na nowo z nowego wymagania, a test powtórzony lub projekt zmieniony. Przewodnik po RVTM omawia ten przegląd, a przewodnik po analizie wpływu zmian śledzi tę samą zmianę przez projekt.
Wynikają z tego trzy lekcje dotyczące dowodów weryfikacji:
- Dowód jest powiązany z konfiguracją i wersją wymagania. Wynik pozytywny zapisany względem 28 W nie jest dowodem dla 30 W.
- Kryterium zaliczenia musi pochodzić z wymagania. Limit 72 W w TC-06 odpowiada tylko 26,8 W średnio na orbicie, więc nie wykazał nawet starych 28 W. Test może spełnić własne kryterium i mimo to nie zweryfikować swojego wymagania.
- Analiza w pętli wymaga walidacji. Werdykt zależy od dwóch współczynników EQ-1.3, czyli od kwestii walidacji modelu z poprzedniej sekcji.
A nic z tego nie jest walidacją. Nawet czysty wynik 30 W pokazałby tylko, że panele spełniają 3.1. To, czy 30 W to dość mocy, by fotografować 120 scen dziennie dla klientów rolniczych, jest pytaniem, na które odpowiadają zdarzenia walidacyjne na poziomie misji.
Porównanie weryfikacji i walidacji
| Weryfikacja | Walidacja | |
|---|---|---|
| Pytanie | Czy zbudowaliśmy system dobrze? | Czy zbudowaliśmy właściwy system? |
| Sprawdza względem | Wymagań i specyfikacji projektowych | Potrzeb interesariuszy, zamierzonego użycia, miar skuteczności |
| ISO/IEC/IEEE 15288 | Proces weryfikacji (6.4.9) | Proces walidacji (6.4.11) |
| Typowe metody | Inspekcja, analiza, demonstracja, test | Scenariusze operacyjne, symulacja misji, przeglądy z interesariuszami, próby operacyjne, dane z eksploatacji |
| Poziomy | Komponent, podsystem, system | Głównie system w środowisku operacyjnym; wczesna walidacja na koncepcjach i prototypach |
| Środowisko | Kontrolowane: laboratorium, stanowisko, symulator | Reprezentatywne dla rzeczywistego użycia, w miarę możliwości z rzeczywistymi użytkownikami |
| Kto ocenia | Zespół inżynierski według zapisanych kryteriów; klient przy odbiorze | Interesariusze i użytkownicy, często z niezależnym oceniającym |
| Wynik | Spełnia lub nie spełnia, dla każdego wymagania | Potrzeba spełniona, częściowo spełniona lub niespełniona, często z nowymi lub zmienionymi potrzebami |
| Identyfikowalność | Wymaganie → zdarzenie weryfikacyjne | Potrzeba → zdarzenie walidacyjne |
| Typowy zapis | Macierz weryfikacji wymagań, raporty z testów | Plan i raport walidacji, raport z oceny operacyjnej |
| Niepowodzenie oznacza | System nie spełnia wymagania: popraw projekt lub wykonanie | Wymagania nie uchwyciły potrzeby: popraw wymagania, a potem projekt |
| Przykład z EO-1 | TC-07: akumulator 78,3 Wh wobec 77 Wh | VAL-03: agronomowie akceptują czteropasmowe mapy 4,5 m |
Typowe nieporozumienia
- „Walidacja to ostatni test”. Testy na poziomie systemu pod koniec są zwykle nadal weryfikacją. Walidację definiuje jej punkt odniesienia (potrzeby i zamierzone użycie), a nie moment w czasie, i powinna się zacząć na długo przed końcem.
- „Wszystkie wymagania zaliczone, więc system jest zwalidowany”. Zaliczenie wymagań pokazuje, że wymagania zostały spełnione. Nie mówi nic o tym, czy były to właściwe wymagania. EO-1 mógłby dokładnie spełnić 1.6, a mimo to nie zaspokoić N2 przy rzeczywistym zachmurzeniu.
- Walidacja wymagania a weryfikacja systemu. Te słowa odnoszą się też do samych wymagań. INCOSE Guide to Needs and Requirements oddziela weryfikację wymagań (czy zdanie jest dobrze sformułowane: konieczne, jednoznaczne, weryfikowalne?) i walidację wymagań (czy wyraża potrzebę, z której wynika?) od weryfikacji i walidacji systemu. Mów, o które chodzi. Przewodnik po pisaniu wymagań opisuje, jak formułować weryfikowalne zdania.
- „Demonstracja to walidacja”. Demonstracja wymagania to weryfikacja. Demonstracja scenariusza operacyjnego z użytkownikami, oceniana względem ich potrzeb, to walidacja. Nie rozstrzyga o tym metoda, tylko punkt odniesienia.
- „Symulacja to walidacja”. Symulacja to technika. Symulacja cyklu planowania 6.5 względem 100 minut weryfikuje 6.5. Symulacja sezonu wegetacyjnego względem „użytecznych zdjęć dwa razy w tygodniu” waliduje N2. A sam model symulacyjny potrzebuje własnej walidacji.
- IV&V znaczy „więcej V&V”. Niezależna weryfikacja i walidacja to V&V przeprowadzana przez organizację oddzieloną od twórcy pod względem zarządzania, budżetu i osądu technicznego. Chodzi w niej o to, kto ją przeprowadza, a nie o trzecie działanie.
- Liczenie powiązań jako wyników. Potrzeba powiązana ze zdarzeniem walidacyjnym jest zaplanowana do walidacji, a nie zwalidowana. Liczba pokrycia mówi, co jest zaplanowane; tylko wyniki mówią, co zostało wykazane.
Jak Holarch zapisuje każdą z nich
W projekcie LML weryfikacja i walidacja są przechowywane w tym samym modelu co potrzeby i wymagania, z tymi samymi rodzajami elementów i powiązań:
- Potrzeby to Statements (nie Requirements), powiązane z formalizującymi je wymaganiami relacją traced to.
- Planowanie weryfikacji znajduje się w każdym Requirement: Metoda weryfikacji (Analysis, Demonstration, Inspection, Test, w dowolnym połączeniu), poziom i kryteria sukcesu.
- Zdarzenia weryfikacyjne to Test Cases w Test Suites, powiązane z wymaganiami relacją verifies. Analizy, inspekcje i demonstracje też są przypadkami testowymi. Każde wykonanie zapisuje testera, konfigurację, obiekt testu i plik dowodu; nieudane testy stają się Issues, a cykle testów zapisują każdą kampanię.
- Zdarzenia walidacyjne też mogą być Test Cases, we własnym zestawie (takim jak TS-3 powyżej), powiązane z potrzebą relacją verifies. Standardowy schemat LML dopuszcza verifies tylko w stronę wymagań, więc schemat modelu EO-1 dodaje jeden cel, Test Case verifies Statement; we własnym projekcie dodaj go w Schemat (otwórz Test Case, + Relacja) przed tworzeniem powiązań w Macierz identyfikowalności. RVTM i Pokrycie weryfikacją liczą tylko wymagania, więc zdarzenia walidacyjne nie zmieniają liczby „11 z 32 wymagań zweryfikowanych”; macierz pokazuje je obok wymagań.
- Miary skuteczności to Measures z etykietą MOE, z wartościami progowymi i docelowymi. Analiza Monte Carlo w Symulator może sprawdzić wynik względem wymagania lub Measure i zapisać rezultat jako Test Case; w ten sposób analiza staje się dowodem weryfikacji.
- Zmiany oznaczają powiązania jako podejrzane, łącznie z powiązaniem do weryfikującego przypadku testowego, jak w przypadku TC-06.
- Weryfikacja modelu to zadanie Weryfikacja → Kontrole modelu: reguły dla całego modelu, takie jak wymagania-liście bez weryfikującego przypadku testowego czy nieudane testy bez Issue. Diagramy Action mają własne kontrole przed uruchomieniem symulacji. Holarch nie ma osobnego zapisu dla walidacji modelu; przechowuj porównanie z danymi z testów lub lotu jako dowód w przypadku testowym analizy, który opiera się na modelu.
Przewodnik Proces SE pokazuje obie strony modelu V. Przy procesie Model V karta Powiązania weryfikacji łączy w pary każdą fazę z prawej strony z fazą z lewej strony, którą sprawdza: walidację systemu z koncepcją operacji („potrzeby zwalidowane”), weryfikację systemu z wymaganiami systemowymi („wymagania zweryfikowane”) oraz niższe poziomy podsystemów i jednostek.
Czytaj kartę jako pokrycie, w duchu opisanego wyżej nieporozumienia. Potrzeba liczy się jako zwalidowana, gdy tylko powiązano z nią przypadek testowy relacją verifies albo gdy zaliczone zostało wymaganie z niej wyprowadzone, więc N1 i N2 są liczone, choć VAL-01 i VAL-02 się nie odbyły. Karta liczy jako potrzebę każde powiązane Statement, które nie jest wymaganiem; w demo dodaje to do N1–N3 założenie (1.1 Reference Orbit) i trzy reguły operacyjne (OR-1 do OR-3), dlatego pokazuje 7. Same wyniki walidacji są w Centrum testów.
Plany mogą zawierać dokumenty: szablony dokumentów obejmują Concept of Operations, Verification and Validation Plan, Test Plan, Test Report i IV&V Plan, z aktywnymi blokami VCRM i RVTM, które aktualizują się na podstawie modelu.
Wypróbuj w Holarch
- Utwórz projekt EO-1: Zarządzaj projektami → Pliki projektu ▾ → Nowy projekt demonstracyjny → CubeSat (inżynieria systemów z przewodnikiem) albo zaimportuj model referencyjny EO-1.
- Naciśnij ⌘K / Ctrl+K, wpisz
crop stressi otwórz N1 Same-Day Crop Stress Alerts: jej relacje pokazują wymagania, z którymi jest powiązana (traced to), i zdarzenie VAL, które ją weryfikuje. Dodaj własną potrzebę jako Statement, na przykład poleceniem Dodaj element ▸ w dokumencie wymagań. - W Weryfikacja → Centrum testów otwórz TS-3 Mission Validation. Aby utworzyć własny zestaw, kliknij + Nowy ▾ → Zestaw testów…, a następnie + Przypadek testowy dla każdego zdarzenia walidacyjnego, z przygotowaniem i oczekiwanym wynikiem sformułowanymi w kategoriach interesariuszy.
- Otwórz Weryfikacja → Macierz identyfikowalności z potrzebami w wierszach i walidacyjnymi przypadkami testowymi w kolumnach i wybierz Verified by: każda potrzeba ma swoje zdarzenie VAL. Kliknij pustą komórkę, aby dodać powiązanie.
- Otwórz Weryfikacja → RVTM, aby zobaczyć weryfikację wymagań, oraz Plan → Proces SE z Model V, aby zobaczyć obie strony modelu V.
Pełna dokumentacja to Weryfikacja, Identyfikowalność, Proces SE i Kontrole modelu.
Najczęściej zadawane pytania
Co jest pierwsze: weryfikacja czy walidacja?
Formalna walidacja systemu następuje zwykle po weryfikacji systemu, bo wymaga systemu działającego zgodnie ze specyfikacją w zamierzonym środowisku. Ale działania walidacyjne zaczynają się wcześniej: przeglądy koncepcji i wymagań z interesariuszami odbywają się, zanim jakakolwiek weryfikacja jest możliwa. Zaplanuj obie na początku.
Czy jedno działanie może służyć obu?
Tak, jeśli zostanie tak zaplanowane i ocenione względem obu punktów odniesienia. Kompleksowa próba operacyjna może zweryfikować 6.1 Contact Scheduling względem kryterium 48 godzin, a przy udziale rzeczywistych operatorów i klientów zebrać dowody walidacyjne dla N1. Zapisz oba werdykty osobno, bo mogą się różnić.
Kto przeprowadza walidację?
Zwykle planuje ją i wspiera twórca systemu, ale ocena należy do interesariuszy: użytkowników, operatorów, klienta, czasem niezależnej organizacji testowej. Walidacja bez interesariuszy to zgadywanie ich potrzeb.
Co się dzieje, gdy walidacja się nie powiodła, a weryfikacja tak?
Wymagania nie uchwyciły potrzeby. Prześledź niespełnioną potrzebę do jej wymagań, znajdź brakujące lub błędne, zmień je w ramach kontroli zmian i podążaj za podejrzanymi powiązaniami do projektu i weryfikacji. To najkosztowniejsze niepowodzenie w inżynierii systemów i dlatego wczesna walidacja się opłaca.
Co dalej
- Macierz weryfikacji wymagań (RVTM): praktyczny następny krok, z kolumnami, wyborem metody, agregacją statusu i przeglądem pokrycia przy kamieniu milowym na tym samym CubeSacie.
- Jak pisać wymagania: weryfikowalne zdania, warunek wstępny weryfikacji.
- Identyfikowalność wymagań i wpływ zmian: potrzeby, wymagania, podejrzane powiązania i macierz.
- Weryfikacja w Holarch: przypadki testowe, wykonania z dowodami, cykle testów i RVTM w jednym modelu.