Посібник · Верифікація
Верифікація і валідація в системній інженерії
Прослухати цей посібник 29 хв
Верифікація показує, що система відповідає своїм вимогам; валідація показує, що вона задовольняє потреби зацікавлених сторін у передбаченому використанні. Цей посібник розглядає визначення в ISO/IEC/IEEE 15288, з чим звіряє кожна з них, де обидві відбуваються в життєвому циклі, чотири методи верифікації, заходи валідації, верифікацію й валідацію моделі, простежуваність, на якій тримаються обидві, і помилки, що їх змішують, — на прикладі 6U CubeSat.
На цій сторінці
- Коротка відповідь
- Визначення в ISO/IEC/IEEE 15288
- З чим звіряє кожна
- Коли кожна відбувається в життєвому циклі
- Чотири методи верифікації
- Заходи валідації
- Верифікація моделі й валідація моделі
- Простежуваність, на якій тримаються обидві
- Докази верифікації на практиці: TC-06
- Порівняння верифікації й валідації
- Поширені плутанини
- Як Holarch фіксує кожну
- Поширені запитання
- Куди далі
Коротка відповідь
Верифікація питає: чи правильно ми побудували систему? Вона порівнює систему з її вимогами, твердження за твердженням, і дає докази виконання кожної. Валідація питає: чи ту систему ми побудували? Вона порівнює систему з тим, що потрібно її зацікавленим сторонам і як вони її використовуватимуть, і дає докази того, що система виконує роботу, для якої її придбали.
Ці два запитання звучать схоже, і їх часто виконує та сама команда з тим самим обладнанням, але вони можуть давати різні відповіді. Система може пройти кожну вимогу й однаково підвести своїх користувачів, бо вимоги бракувало, вона була хибною або написаною для іншого використання, ніж реальне. Система може також добре служити користувачам і не виконувати вимоги, яка виявилася неважливою. Системна інженерія тримає їх окремо, бо кожна виявляє помилки, яких не бачить інша.
Формулювання «правильно будувати продукт» проти «будувати правильний продукт» зазвичай приписують ранній праці Баррі Бема з програмної інженерії, і воно залишається найкоротшим способом запам’ятати різницю.
Визначення в ISO/IEC/IEEE 15288
ISO/IEC/IEEE 15288, міжнародний стандарт процесів життєвого циклу систем, розглядає верифікацію й валідацію як два окремі технічні процеси: процес верифікації (пункт 6.4.9) і процес валідації (пункт 6.4.11). Інтеграція стоїть перед верифікацією, а передавання — між ними: систему верифікують у збудованому вигляді, передають в її робоче середовище, а потім валідують там.
- Верифікація — це підтвердження на основі об’єктивних доказів того, що встановлені вимоги виконано. Її мета в стандарті — показати, що система чи елемент відповідає своїм вимогам і характеристикам, і повідомити про будь-яку аномалію, виявлену дорогою.
- Валідація — це підтвердження на основі об’єктивних доказів того, що вимоги для конкретного передбаченого використання чи застосування виконано. Її мета — показати, що система, використовувана в передбаченому середовищі, задовольняє потреби зацікавлених сторін і досягає своїх бізнесових цілей або цілей місії.
Обидва визначення спираються на об’єктивні докази: виміряний результат, звіт про аналіз, протокол огляду або спостережувану демонстрацію, які хтось інший міг би перевірити. Думка, «начебто все гаразд» і тест, який ніхто не записав, доказами не є. Різниця між ними полягає в тому, з чим кожна порівнює.
INCOSE Systems Engineering Handbook (5-те видання, розділи 2.3.5.9 і 2.3.5.11) дотримується того самого поділу, а NASA Systems Engineering Handbook (NASA/SP-2016-6105 Rev 2) виділяє для них окремі процеси реалізації продукту: верифікацію продукту (розділ 5.3) і валідацію продукту (розділ 5.4). Посібник NASA прямо формулює корисну думку: верифікація показує, що продукт побудовано за специфікацією; валідація показує, що специфікація, а отже й продукт, були правильними.
З чим звіряє кожна
Найпростіший спосіб їх розрізнити — запитати, з чим порівнюються докази.
- Верифікація звіряє з вимогами. Еталоном є твердження «повинен» у специфікаціях системи, підсистем і компонентів. Їх пише інженерна команда, погоджує із зацікавленими сторонами й формулює так, щоб тест, аналіз, огляд або демонстрація могли дати результат «пройдено» чи «не пройдено». ISO/IEC/IEEE 29148 саме з цієї причини відносить верифіковуваність до характеристик, які має мати кожна вимога (пункт 5.2.5): вимогу, яку неможливо верифікувати, взагалі не можна включити до верифікації.
- Валідація звіряє з потребами зацікавлених сторін і передбаченим використанням. Еталоном є те, чого очікують користувачі, оператори, замовники та інші зацікавлені сторони, їхніми власними словами, разом з умовами реального використання: сценаріями експлуатації, середовищем, людьми, які експлуатуватимуть систему, і показниками ефективності, що визначають, що для них означає «добре». Потреби часто якісні, тож валідація спирається на сценарії, моделювання, випробування й судження зацікавлених сторін так само, як і на вимірювання.
Порівняння потреб і вимог у посібнику з простежуваності формулює це одним рядком: потреби валідують, вимоги верифікують. Усе інше в цьому посібнику випливає з цього.
Коли кожна відбувається в життєвому циклі
V-модель
V-модель зображує життєвий цикл у формі літери V. Ліва сторона йде вниз через декомпозицію й визначення: концепція експлуатації, системні вимоги, високорівневий проєкт, детальний проєкт. Реалізація розташована внизу. Права сторона йде вгору через інтеграцію й перевірку, і кожен крок праворуч відповідає кроку навпроти нього:
| Права сторона | Звіряє з (ліва сторона) | Вид |
|---|---|---|
| Верифікація модулів | Детальний проєкт | Верифікація |
| Верифікація підсистем | Високорівневий проєкт | Верифікація |
| Верифікація системи | Системні вимоги | Верифікація |
| Валідація системи | Концепція експлуатації й потреби зацікавлених сторін | Валідація |
Верхня пара — єдина пара валідації, тому валідацію часто зображують як останній крок. V-модель показує, де створюються остаточні докази, а не коли починається робота. Кожен захід верифікації й валідації планують на лівій стороні одночасно з елементом, який він перевіряє: підхід до валідації — разом із концепцією експлуатації, метод верифікації — разом із кожною вимогою.
Поетапна й безперервна V&V
Чекати на інтегровану систему, щоб запитати, чи вона та, що потрібна, — найдорожчий спосіб дізнатися, що ні. На практиці обидва заходи розподіляють по всьому життєвому циклу:
- Рання валідація. Концепції, макети, зразки продуктів і моделювання показують зацікавленим сторонам задовго до появи обладнання. Кожне рецензування знижує ризик того, що вимоги закодують не ту потребу.
- Верифікація на кожному рівні. Компоненти верифікують до інтеграції, підсистеми — до системи. Дефект, знайдений на стенді, коштує набагато менше, ніж знайдений під час випробувань системи.
- Безперервна V&V в ітеративній розробці. Команди, що постачають поетапно, як-от команди розробників ПЗ з безперервною інтеграцією, виконують автоматизовану верифікацію на кожній збірці й валідують кожен етап із користувачами. Запитання залишаються ті самі; їх ставлять набагато частіше.
Чотири методи верифікації
Більшість стандартів і посібників використовує ті самі чотири методи. Посібник з RVTM пояснює, як вибирати між ними; тут кожен показано на рядку з CubeSat EO-1, що проходить через увесь цей посібник, — вигаданого 6U космічного апарата, який знімає сільськогосподарські угіддя в чотирьох спектральних каналах з орбіти висотою 500 km і має 32 вимоги в специфікації.
- Огляд
- Огляд елемента або його записів без експлуатації. Вимогу EO-1 3.4 Bus Regulation (12 V у межах 2%) верифікує TC-18 Bus Regulation Inspection — рецензування проєкту блока розподілу живлення та його кваліфікаційних даних зі ступінчастої зміни навантаження. Її пройдено: найгірший випадок — 11.81 V, у межах 11.76–12.24 V.
- Аналіз
- Обчислення, моделювання або імітація, часто з даними випробувань нижчого рівня. 1.7 Mission Lifetime (730 днів на орбіті) неможливо перевірити на землі, тож TC-16 Lifetime Reliability Analysis поєднує інтенсивності відмов деталей, дозу радіації й деградацію акумулятора. Її пройдено з імовірністю роботи впродовж 730 днів 0.86 за вимоги щонайменше 0.8.
- Демонстрація
- Експлуатація елемента, щоб показати, що він щось робить, зі спостереженням, але без точного вимірювання. 6.1 Contact Scheduling (сеанси зв’язку бронюються за 48 годин) має показати TC-20 Operations Rehearsal: 14 днів планування сеансів із партнерською наземною мережею. Його ще не проведено.
- Випробування
- Експлуатація елемента в контрольованих умовах і вимірювання результату щодо значення. 3.2 Battery Capacity (щонайменше 77 Wh на початку строку служби) верифікує TC-07 Battery Capacity Test — розряд C/2 за 20 °C. Його пройдено з результатом 78.3 Wh.
Усі чотири — це верифікація. Демонстрація не є «м’якшим тестом», а аналіз не стає заходом валідації лише через те, що використовує модель: будь-який із них робить верифікацією те, що критерій проходження береться з вимоги.
Заходи валідації
Валідація використовує багато тих самих методів, спрямованих на інший еталон. Поширені форми:
- Сценарії експлуатації. Проведення системи або її моделі через концепцію експлуатації: звичайний день, деградований режим, передавання між операторами. Питання в тому, чи досягає сценарій того, чого хотіла зацікавлена сторона, а не чи відповідає кожен крок своєму числу.
- Моделювання місії. Запуск концепції експлуатації в імітації з реалістичним середовищем і варіаціями з подальшим читанням результатів щодо показників ефективності (MOE) — орієнтованих на зацікавлені сторони мір того, наскільки добре місія виконує своє завдання.
- Рецензування зацікавленими сторонами. Показ користувачам концепцій, прототипів, зразків продуктів або інтерфейсів і фіксація їхніх суджень. Рано, дешево й часто вперше виявляє відсутню потребу.
- Експлуатаційні випробування й пілоти. Реальні користувачі, реальні процедури, репрезентативне середовище. Часто вирішальний доказ валідації, а в багатьох програмах — формальні експлуатаційні випробування й оцінювання незалежною організацією.
Валідація для EO-1
Модель EO-1 містить три потреби зацікавлених сторін, кожну простежено до вимог, що її формалізують, і третій набір тестів, TS-3 Mission Validation, з однією подією валідації на кожну потребу. Обидва є частиною еталонної моделі EO-1 (v1.0) і демопроєктів, створених у Holarch 2.2.1 або новіших версіях.
| Потреба | Вимоги (верифіковані) | Подія валідації | Статус |
|---|---|---|---|
| N1 Same-Day Crop Stress Alerts | 6.2 Image Delivery (протягом 6 годин після низхідної передачі), 6.5 Planning Cycle Time (протягом 100 хвилин) | VAL-01 Customer Alert Pilot: записані прольоти над трьома пілотними фермами проходять планування, обробку й клієнтський портал, а агрономи ферм використовують сповіщення у своїй щоденній роботі | Не виконано |
| N2 Twice-Weekly Revisit | 1.6 Revisit Time (протягом 72 годин) через 1.6.1 Ground Track Repeat і 1.6.2 Off-Nadir Imaging | VAL-02 Growing Season Revisit Simulation: один сезон зйомки над списком цілей замовника із запланованою трасою, обмеженням відхилення від надиру й історичними даними про хмарність | Не виконано |
| N3 Field-Level Vegetation Maps | 1.2 Ground Sample Distance (4.5 m), 1.4 Spectral Bands (чотири канали, 450–900 nm) | VAL-03 Agronomist Map Review: агрономи рецензують карти рослинності, створені з аерознімків, перерахованих до 4.5 m у чотирьох каналах EO-1 | Пройдено: усі 12 зразків карт прийнято |
Кожен рядок показує, чому валідація не є повторенням верифікації. 1.6 вимагає повторного огляду протягом 72 годин — властивість орбіти й обмежень наведення, — і TC-13 Ground Track Repeat Analysis уже показав повторення за 3 дні й 0.4 години. Але фермерам потрібні придатні знімки двічі на тиждень, а хмари в 1.6 не згадано. Лише моделювання зі статистикою хмарності (VAL-02) може сказати, чи забезпечує вимога, виконана в нинішньому формулюванні, цю потребу. Якщо ні, виправлення — це нова або змінена вимога, а не кращий тест.
З N1 схожа ситуація. 6.2 і 6.5 задають числа для ланцюжка доставки, а аналіз Монте-Карло для 6.5 (див. посібник із методу Монте-Карло) оцінює ймовірність уміститися в 100 хвилин приблизно в 97.6%. Чи справді агроном дізнається про стрес посівів у день прольоту у формі, з якою можна працювати, — інше питання, і VAL-01 ставить його реальним користувачам.
VAL-03 провели першою, ще до появи будь-якого льотного обладнання, бо їй потрібні лише зразки знімків і люди. Це рання валідація: вона підтвердила, що 4.5 m у чотирьох каналах досить детально для карт на рівні полів, ще до того, як проєкт камери було зафіксовано. Двоє рецензентів попросили накладання меж полів — можливу нову потребу, зафіксовану разом із результатом.
Верифікація моделі й валідація моделі
У модельно-орієнтованій системній інженерії сама модель є інженерним продуктом, і до неї застосовуються ті самі два запитання. Оборонна й аерокосмічна практика визначає їх для моделей і симуляцій уже десятиліттями (DoD Instruction 5000.61 про верифікацію, валідацію й акредитацію; NASA-STD-7009 про достовірність моделей і симуляцій):
- Верифікація моделі: чи правильно побудовано модель? Чи відповідає реалізація власній специфікації й правилам моделювання: жодних пропущених тривалостей у змодельованому потоці, жодної функції, яку ніхто не виконує, жодної вимоги без верифікаційної події, рівняння узгоджені за розмірностями, код обчислює те, що задумав автор.
- Валідація моделі: чи це правильна модель для її призначення? Чи досить точно вона відтворює реальну систему для рішень, які підтримуватиме? Відповідь дає порівняння моделі з реальністю: даними випробувань, льотними даними, надійною моделлю вищої точності.
- Акредитація у практиці DoD — це формальне рішення про прийнятність моделі для конкретного використання на основі доказів її верифікації й валідації.
EO-1 має наочний випадок. Його бюджет живлення перетворює виміряну пікову потужність батарей на середньовиткову за рівнянням EQ-1.3: середня за виток = пікова × 0.62 (освітлена частка) × 0.6 (ККД тракту живлення). Верифікувати це рівняння означає перевірити арифметику, одиниці та його зв’язки. Валідувати його означає запитати, чи відповідають 0.62 і 0.6 реальній орбіті й реальному ланцюгу живлення, наприклад порівнявши прогноз із середньовитковою потужністю, виміряною на flatsat протягом змодельованого витка. Висновок щодо вимоги 3.1 нижче повністю залежить від цього рівняння, тож за невалідованого EQ-1.3 навіть ідеальний тест був би непереконливим.
Емпіричне правило: коли аналіз або симуляцію використовують як доказ верифікації, її модель потребує власних доказів валідації пропорційно тому, наскільки рішення на неї спирається.
Простежуваність, на якій тримаються обидві
Верифікація й валідація потребують кожна власного ланцюжка зв’язків:
- Потреби → валідація. Кожну потребу зацікавлених сторін пов’язано із заходом валідації, який покаже, що її задоволено в передбаченому використанні, і з вимогами, що її формалізують.
- Вимоги → верифікація. Кожну вимогу пов’язано з тестом, аналізом, оглядом або демонстрацією, що її верифікує, із методом, рівнем і критеріями успіху. Матриця верифікації вимог — це звіт за цим ланцюжком.
Разом вони відповідають на два запитання щодо покриття, які ставить рада з рецензування: чи верифіковано кожну вимогу і чи валідовано кожну потребу? Зв’язки між потребами й вимогами з’єднують два ланцюжки, тож прогалину з одного боку можна простежити до іншого: потреба, усі вимоги якої пройдено, але валідацію не пройдено, вказує на відсутню або хибну вимогу.
У матриці два ланцюжки стоять поруч: вимоги верифікують тестові випадки TC, потреби валідують події VAL. Матриця також показує прогалину верифікації: 6.5 Planning Cycle Time має метод (аналіз), але в моделі ще немає верифікаційної події. Посібник із методу Монте-Карло виконує цей аналіз; запис його результату як тестового випадку закрив би рядок.
Докази верифікації на практиці: TC-06
TC-06 Solar Array Power Test з EO-1 показує, що робить доказ верифікації добрим і як він перестає зараховуватися. Запис повний: M. Chen провів його на кваліфікаційних панелях батарей QM-1 і QM-2 з джгутом ревізії C під великоплощинним імітатором сонячного випромінювання за AM0 (1361 W/m², рівномірність 1.4%) і долучив вольт-амперну характеристику як tc06-array-iv-curve.csv. Пікова потужність становила 75.1 W за очікуваного результату щонайменше 72 W. Пройдено.
Потім вимогу 3.1 Orbit Average Power після попереднього рецензування проєкту підвищили з 28 W до 30 W. Результат тесту не змінився, але змінилося те, що він доводить. Через EQ-1.3 пікові 75.1 W — це 27.9 W у середньому за виток (75.1 × 0.62 × 0.6), менше за 30 W; щоб показати 30 W, знадобилося б близько 80.6 W пікової потужності. Тому зв’язок від 3.1 до TC-06 позначено як підозрілий, і він залишається підозрілим, доки очікуваний результат TC-06 не буде заново виведено з нової вимоги й тест не проведуть знову або не зміниться проєкт. Посібник з RVTM проводить через рецензування, а посібник з аналізу впливу змін простежує ту саму зміну через проєкт.
Звідси випливають три уроки щодо доказів верифікації:
- Докази прив’язані до конфігурації та версії вимоги. Проходження, зафіксоване щодо 28 W, не є доказом для 30 W.
- Критерій проходження має братися з вимоги. Межа TC-06 у 72 W відповідає лише 26.8 W у середньому за виток, тож вона не показувала навіть старих 28 W. Тест може пройти власний критерій і все одно не верифікувати свою вимогу.
- Аналіз у циклі потребує валідації. Висновок залежить від двох коефіцієнтів EQ-1.3, а це питання валідації моделі з попереднього розділу.
І ніщо з цього не є валідацією. Навіть чистий результат 30 W показав би лише, що батареї відповідають 3.1. Чи досить 30 W, щоб знімати 120 сцен на день для фермерів-замовників, — саме таке питання вирішують події валідації рівня місії.
Порівняння верифікації й валідації
| Верифікація | Валідація | |
|---|---|---|
| Запитання | Чи правильно ми побудували систему? | Чи ту систему ми побудували? |
| Звіряє з | Вимогами й проєктними специфікаціями | Потребами зацікавлених сторін, передбаченим використанням, показниками ефективності |
| ISO/IEC/IEEE 15288 | Процес верифікації (6.4.9) | Процес валідації (6.4.11) |
| Типові методи | Огляд, аналіз, демонстрація, тест | Сценарії експлуатації, моделювання місії, рецензування зацікавленими сторонами, експлуатаційні випробування, польові дані |
| Рівні | Компонент, підсистема, система | Переважно система в робочому середовищі; рання валідація на концепціях і прототипах |
| Середовище | Контрольоване: лабораторія, стенд, симулятор | Репрезентативне для реального використання, за можливості з реальними користувачами |
| Хто оцінює | Інженерна команда за записаними критеріями; замовник під час приймання | Зацікавлені сторони й користувачі, часто з незалежним оцінювачем |
| Результат | «Пройдено» чи «не пройдено» для кожної вимоги | Потребу задоволено, задоволено частково або не задоволено, часто з новими чи зміненими потребами |
| Простежуваність | Вимога → подія верифікації | Потреба → подія валідації |
| Звичайний запис | Матриця верифікації вимог, звіти про випробування | План і звіт валідації, звіт про експлуатаційне оцінювання |
| Невдача означає | Система не відповідає вимозі: виправте проєкт або виготовлення | Вимоги не охопили потребу: виправте вимоги, потім проєкт |
| Приклад з EO-1 | TC-07: акумулятор 78.3 Wh проти 77 Wh | VAL-03: агрономи приймають чотириканальні карти з роздільністю 4.5 m |
Поширені плутанини
- «Валідація — це останній тест». Тести системного рівня наприкінці зазвичай усе ще є верифікацією. Валідацію визначає її еталон (потреби й передбачене використання), а не час проведення, і починатися вона має задовго до кінця.
- «Усі вимоги пройдено, отже систему валідовано». Проходження вимог показує, що вимоги виконано. Воно нічого не каже про те, чи це були правильні вимоги. EO-1 могла б точно виконати 1.6 і все одно не задовольнити N2 за реальної хмарності.
- Валідація вимоги проти верифікації системи. Ці слова застосовуються й до самих вимог. INCOSE Guide to Needs and Requirements відокремлює верифікацію вимоги (чи добре сформульовано твердження: необхідне, однозначне, верифіковуване?) і валідацію вимоги (чи виражає воно потребу, з якої походить?) від верифікації й валідації системи. Уточнюйте, що саме ви маєте на увазі. Посібник із написання вимог описує, як робити твердження верифіковуваними.
- «Демонстрація — це валідація». Демонстрація вимоги — це верифікація. Демонстрація сценарію експлуатації з користувачами, оцінена щодо їхніх потреб, — це валідація. Вирішує не метод, а еталон.
- «Симуляція — це валідація». Симуляція — це метод. Симуляція циклу планування 6.5 щодо 100 хвилин верифікує 6.5. Симуляція сезону вегетації щодо «придатних знімків двічі на тиждень» валідує N2. А сама модель симуляції потребує власної валідації.
- IV&V означає «більше V&V». Незалежна верифікація й валідація — це V&V, яку виконує організація, відокремлена від розробника за керівництвом, бюджетом і технічним судженням. Ідеться про те, хто це робить, а не про третій захід.
- Підрахунок зв’язків як результатів. Потреба, пов’язана з подією валідації, запланована до валідації, а не валідована. Підрахунок покриття каже, що заплановано; лише результати кажуть, що показано.
Як Holarch фіксує кожну
У проєкті LML верифікацію й валідацію зберігають у тій самій моделі, що й потреби та вимоги, з тими самими видами елементів і зв’язків:
- Потреби — це Statements (не Requirements), пов’язані з вимогами, що їх формалізують, через traced to.
- Планування верифікації міститься в кожній Requirement: Метод верифікації (Аналіз, Демонстрація, Інспекція, Тест, у будь-якому поєднанні), рівень і критерії успіху.
- Події верифікації — це Test Cases у Test Suites, пов’язані з вимогами через verifies. Аналізи, огляди й демонстрації теж є тестовими випадками. Кожне виконання фіксує виконавця, конфігурацію, об’єкт випробування й файл доказів; невдалі тести стають Issues, а цикли тестування зберігають кожну кампанію.
- Події валідації також можуть бути Test Cases в окремому наборі (як-от TS-3 вище), пов’язаними з потребою через verifies. Стандартна схема LML дозволяє verifies лише до вимог, тож схема моделі EO-1 додає одну ціль, Test Case verifies Statement; у власному проєкті додайте її в Схема (відкрийте Test Case, + Відношення) перед створенням зв’язків у Матриця простежуваності. RVTM і Покриття верифікацією рахують лише вимоги, тож події валідації не змінюють показника «11 з 32 вимог верифіковано»; матриця показує їх поряд із вимогами.
- Показники ефективності — це Measures з міткою MOE, пороговими й цільовими значеннями. Дослідження Монте-Карло в Симулятор може перевірити вихід щодо вимоги або Measure і зафіксувати результат як Test Case — так аналіз стає доказом верифікації.
- Зміни позначають зв’язки як підозрілі, зокрема зв’язок із верифікаційним тестовим випадком, як у випадку TC-06.
- Верифікацію моделі виконує Верифікація → Перевірки моделі: правила для всієї моделі, як-от листові вимоги без верифікаційного тестового випадку й невдалі тести без Issue. Діаграми Action мають власні перевірки перед запуском симуляції. Holarch не має окремого запису для валідації моделі; зберігайте порівняння з даними випробувань або льотними даними як доказ того аналітичного тестового випадку, що спирається на модель.
Посібник «Процес SE» показує обидві сторони V. З процесом V-модель картка Зв’язки верифікації поєднує кожну фазу правої сторони з фазою лівої сторони, яку вона перевіряє: валідацію системи — з концепцією експлуатації («потреби валідовано»), верифікацію системи — із системними вимогами («вимоги верифіковано»), а також рівні підсистем і модулів нижче.
Читайте картку як покриття, у дусі наведеної вище плутанини. Потреба вважається валідованою, щойно з нею через verifies пов’язано тестовий випадок або щойно пройдено простежену від неї вимогу, тож N1 і N2 зараховуються, хоча VAL-01 і VAL-02 ще не виконано. Картка рахує потребою кожну простежену Statement, яка не є вимогою; у демо це додає до N1–N3 припущення (1.1 Reference Orbit) і три правила експлуатації (OR-1–OR-3), тому вона показує 7. Самі результати валідації — у Центрі тестування.
Плани можуть міститися в документах: шаблони документів включають концепцію експлуатації, план верифікації й валідації, план випробувань, звіт про випробування та план IV&V із живими блоками VCRM і RVTM, що оновлюються з моделі.
Спробуйте в Holarch
- Створіть проєкт EO-1: Керування проєктами → Файли проєкту ▾ → Новий демопроєкт → CubeSat (системна інженерія з посібником) або імпортуйте еталонну модель EO-1.
- Натисніть ⌘K / Ctrl+K, введіть
crop stressі відкрийте N1 Same-Day Crop Stress Alerts: її зв’язки показують вимоги, до яких її простежено (traced to), і подію VAL, що її верифікує. Додайте власну потребу як Statement, наприклад через Додати елемент ▸ у документі вимог. - У Верифікація → Центр тестування відкрийте TS-3 Mission Validation. Для власного набору натисніть + Створити ▾ → Набір тестів…, потім + Тестовий випадок для кожної події валідації з її підготовкою й очікуваним результатом у термінах зацікавлених сторін.
- Відкрийте Верифікація → Матриця простежуваності з потребами в рядках і тестовими випадками валідації в стовпцях і виберіть verified by: кожна потреба має свою подію VAL. Натисніть порожню клітинку, щоб додати зв’язок.
- Відкрийте Верифікація → RVTM, щоб побачити верифікацію вимог, і Планування → Процес SE з V-модель, щоб побачити обидві сторони V.
Повні довідники: Верифікація, Простежуваність, Процес SE і Перевірки моделі.
Поширені запитання
Що йде першим: верифікація чи валідація?
Формальна валідація системи зазвичай іде після верифікації системи, бо потребує системи, що працює за специфікацією, у передбаченому середовищі. Але заходи валідації починаються раніше: рецензування концепції й вимог зацікавленими сторонами відбувається ще до того, як верифікація стає можливою. Плануйте обидві на початку.
Чи може один захід виконувати обидві?
Так, якщо його так сплановано й оцінено щодо обох еталонів. Наскрізна репетиція експлуатації може верифікувати 6.1 Contact Scheduling щодо її критерію 48 годин і, за участі реальних операторів і замовників, зібрати докази валідації для N1. Фіксуйте два висновки окремо, бо вони можуть відрізнятися.
Хто виконує валідацію?
Зазвичай її планує й підтримує розробник, але оцінка належить зацікавленим сторонам: користувачам, операторам, замовнику, інколи незалежній випробувальній організації. Валідація без зацікавлених сторін — це здогадка про їхні потреби.
Що буває, коли валідація не пройдена, а верифікація пройдена?
Вимоги не охопили потребу. Простежте непройдену потребу до її вимог, знайдіть відсутню або хибну, змініть її через контроль змін і пройдіть підозрілими зв’язками в проєкт і верифікацію. Це найдорожча невдача в системній інженерії, і саме тому рання валідація окупається.
Куди далі
- Матриця верифікації вимог (RVTM): практичний наступний крок зі стовпцями, вибором методу, зведенням статусів і рецензуванням покриття на контрольній точці на тому самому CubeSat.
- Як писати вимоги: верифіковувані твердження — передумова верифікації.
- Простежуваність вимог і вплив змін: потреби, вимоги, підозрілі зв’язки й матриця.
- Верифікація в Holarch: тестові випадки, виконання з доказами, цикли тестування й RVTM в одній моделі.