Руководство · Верификация
Верификация и валидация в системной инженерии
Прослушать это руководство 29 мин
Верификация показывает, что система удовлетворяет своим требованиям; валидация показывает, что она отвечает потребностям заинтересованных сторон при предполагаемом использовании. Это руководство описывает определения в ISO/IEC/IEEE 15288, с чем сверяется каждая, где обе происходят в жизненном цикле, четыре метода верификации, действия по валидации, верификацию и валидацию моделей, прослеживаемость, на которой держатся обе, и ошибки, размывающие их, на примере CubeSat 6U.
На этой странице
- Короткий ответ
- Определения в ISO/IEC/IEEE 15288
- С чем сверяется каждая
- Когда каждая происходит в жизненном цикле
- Четыре метода верификации
- Действия по валидации
- Верификация и валидация моделей
- Прослеживаемость, на которой держатся обе
- Свидетельства верификации на практике: TC-06
- Сравнение верификации и валидации
- Частые путаницы
- Как Holarch фиксирует каждую
- Часто задаваемые вопросы
- Что дальше
Короткий ответ
Верификация спрашивает: правильно ли мы построили систему? Она сравнивает систему с её требованиями, утверждение за утверждением, и даёт свидетельства того, что каждое выполнено. Валидация спрашивает: ту ли систему мы построили? Она сравнивает систему с тем, что нужно её заинтересованным сторонам и как они будут её использовать, и даёт свидетельства того, что система делает работу, ради которой её приобрели.
Два вопроса звучат похоже, и их часто решает одна команда на одном оборудовании, но ответы могут различаться. Система может пройти все требования и всё равно подвести пользователей, потому что требование отсутствовало, было неверным или написано для иного использования, чем реальное. Система может и хорошо служить пользователям, не выполняя требование, которое оказалось неважным. Системная инженерия разделяет их, потому что каждая ловит ошибки, которых не видит другая.
Формулировку «строить продукт правильно» против «строить правильный продукт» обычно приписывают ранним работам Барри Боэма по программной инженерии, и она остаётся самым коротким способом запомнить разницу.
Определения в ISO/IEC/IEEE 15288
ISO/IEC/IEEE 15288, международный стандарт процессов жизненного цикла систем, рассматривает верификацию и валидацию как два отдельных технических процесса: процесс верификации (пункт 6.4.9) и процесс валидации (пункт 6.4.11). Интеграция стоит перед верификацией, а передача — между ними: система верифицируется в изготовленном виде, передаётся в свою среду эксплуатации и затем валидируется там.
- Верификация — подтверждение на основе объективных свидетельств того, что заданные требования выполнены. Её цель в стандарте — показать, что система или элемент удовлетворяет своим требованиям и характеристикам, и сообщить о любой аномалии, найденной по пути.
- Валидация — подтверждение на основе объективных свидетельств того, что требования для конкретного предполагаемого использования или применения выполнены. Её цель — показать, что система при использовании в предназначенной для неё среде удовлетворяет потребностям заинтересованных сторон и достигает своих бизнес-целей или целей миссии.
Оба определения опираются на объективные свидетельства: измеренный результат, отчёт об анализе, протокол осмотра или наблюдавшуюся демонстрацию, которые мог бы проверить кто-то другой. Мнение, «вроде выглядело нормально» и тест, который никто не записал, свидетельствами не являются. Разница между ними — в эталоне, с которым сверяется каждая.
INCOSE Systems Engineering Handbook (5-е издание, разделы 2.3.5.9 и 2.3.5.11) следует тому же разделению, а NASA Systems Engineering Handbook (NASA/SP-2016-6105 Rev 2) отводит им отдельные процессы реализации продукта: верификацию продукта (раздел 5.3) и валидацию продукта (раздел 5.4). Справочник NASA прямо делает полезное замечание: верификация показывает, что продукт построен по спецификации; валидация показывает, что спецификация, а значит и продукт, были правильными.
С чем сверяется каждая
Яснее всего их различить, спросив, с чем сравнивается свидетельство.
- Верификация сверяется с требованиями. Эталон — утверждения «shall» спецификаций системы, подсистем и компонентов. Их пишет инженерная команда, согласует с заинтересованными сторонами и формулирует так, чтобы тест, анализ, осмотр или демонстрация давали результат «пройдено» или «не пройдено». ISO/IEC/IEEE 29148 именно поэтому включает верифицируемость в характеристики, которыми должно обладать каждое требование (пункт 5.2.5): требование, которое нельзя верифицировать, вообще не может участвовать в верификации.
- Валидация сверяется с потребностями заинтересованных сторон и предполагаемым использованием. Эталон — то, чего ожидают пользователи, операторы, заказчики и другие заинтересованные стороны, в их собственных терминах, вместе с условиями реального использования: эксплуатационными сценариями, средой, людьми, которые будут работать с системой, и показателями эффективности, которые говорят, что для них значит «хорошо». Потребности часто качественные, поэтому валидация опирается не только на измерения, но и на сценарии, моделирование, испытания в эксплуатации и суждения заинтересованных сторон.
Сравнение потребностей и требований в руководстве по прослеживаемости выражает это одной строкой: потребности валидируются, требования верифицируются. Всё остальное в этом руководстве вытекает из этого.
Когда каждая происходит в жизненном цикле
V-модель
V-модель изображает жизненный цикл в виде буквы V. Левая сторона идёт вниз через декомпозицию и определение: концепция эксплуатации, системные требования, эскизный проект, детальный проект. Внизу — реализация. Правая сторона идёт вверх через интеграцию и проверку, и каждый шаг справа отвечает шагу напротив:
| Правая сторона | Сверяется с (левая сторона) | Вид |
|---|---|---|
| Верификация блоков | Детальный проект | Верификация |
| Верификация подсистем | Эскизный проект | Верификация |
| Верификация системы | Системные требования | Верификация |
| Валидация системы | Концепция эксплуатации и потребности заинтересованных сторон | Валидация |
Верхняя пара — единственная пара валидации, поэтому валидацию часто изображают последним шагом. V показывает, где получают итоговые свидетельства, а не когда начинается работа. Каждое действие верификации и валидации планируется на левой стороне одновременно с тем, что оно проверяет: подход к валидации — вместе с концепцией эксплуатации, метод верификации — вместе с каждым требованием.
Инкрементальная и непрерывная V&V
Ждать интегрированной системы, прежде чем спросить, та ли это система, — самый дорогой способ узнать, что не та. На практике обе деятельности распределяют по всему жизненному циклу:
- Ранняя валидация. Концепции, макеты, образцы продукции и модели показывают заинтересованным сторонам задолго до появления аппаратуры. Каждый просмотр снижает риск того, что требования закрепляют не ту потребность.
- Верификация на каждом уровне. Компоненты верифицируются до интеграции, подсистемы — до системы. Дефект, найденный на стенде, обходится гораздо дешевле найденного на системных испытаниях.
- Непрерывная V&V в итеративной разработке. Команды, поставляющие результат инкрементами, например команды ПО, работающие с непрерывной интеграцией, запускают автоматическую верификацию на каждой сборке и валидируют каждый инкремент с пользователями. Вопросы остаются теми же; их просто задают гораздо чаще.
Четыре метода верификации
Большинство стандартов и справочников используют одни и те же четыре метода. Руководство по RVTM объясняет, как выбирать между ними; здесь каждый показан на строке из CubeSat EO-1, который используется на протяжении всего руководства, — вымышленного аппарата 6U, снимающего сельхозугодья в четырёх спектральных каналах с орбиты 500 km, с 32 требованиями в спецификации.
- Осмотр
- Изучение объекта или его документации без приведения в действие. Требование EO-1 3.4 Bus Regulation (12 V в пределах 2%) верифицируется TC-18 Bus Regulation Inspection — проверкой проекта блока распределения питания и его квалификационных данных при ступенчатом изменении нагрузки. Пройдено: наихудший случай — 11,81 V, в пределах 11,76–12,24 V.
- Анализ
- Расчёт, моделирование или имитация, часто на основе данных испытаний нижнего уровня. 1.7 Mission Lifetime (730 суток на орбите) нельзя испытать на Земле, поэтому TC-16 Lifetime Reliability Analysis объединяет интенсивности отказов элементов, дозу радиации и деградацию батареи. Пройдено с вероятностью работы в течение 730 суток 0,86 при требуемой не менее 0,8.
- Демонстрация
- Приведение объекта в действие, чтобы показать, что он что-то делает, — с наблюдением, но без точного измерения. 6.1 Contact Scheduling (сеансы связи бронируются за 48 часов) предстоит показать в TC-20 Operations Rehearsal: 14 суток планирования сеансов связи с партнёрской наземной сетью. Ещё не проводилось.
- Test
- Приведение объекта в действие в контролируемых условиях и измерение результата относительно значения. 3.2 Battery Capacity (не менее 77 Wh в начале срока службы) верифицируется TC-07 Battery Capacity Test, разрядом током C/2 при 20 °C. Пройдено при 78,3 Wh.
Все четыре — это верификация. Демонстрация — не «облегчённый тест», а анализ не становится действием по валидации только потому, что использует модель: любой из них делает верификацией то, что критерий прохождения взят из требования.
Действия по валидации
Валидация использует многие из тех же приёмов, но направленные на другой эталон. Распространённые формы:
- Эксплуатационные сценарии. Проход системы или её модели через концепцию эксплуатации: штатный день, деградированный режим, передача смены между операторами. Вопрос в том, достигает ли сценарий того, чего хотела заинтересованная сторона, а не в том, выдерживает ли каждый шаг своё число.
- Моделирование миссии. Прогон концепции эксплуатации в моделировании с реалистичными условиями и разбросом и сверка результатов с показателями эффективности (MOE) — ориентированными на заинтересованные стороны мерами того, насколько хорошо миссия выполняет свою задачу.
- Просмотры с заинтересованными сторонами. Показ пользователям концепций, прототипов, образцов продукции или интерфейсов и запись их суждений. Рано, дёшево и часто впервые выявляет недостающую потребность.
- Опытная эксплуатация и пилотные проекты. Реальные пользователи, реальные процедуры, представительная среда. Часто это решающее свидетельство валидации, а во многих программах — формальные эксплуатационные испытания и оценка независимой организацией.
Валидация для EO-1
Модель EO-1 содержит три потребности заинтересованных сторон, каждая прослежена к формализующим её требованиям, и третий набор тестов, TS-3 Mission Validation, с одним событием валидации на каждую потребность. Оба входят в эталонную модель EO-1 (v1.0) и в демо-проекты, созданные в Holarch 2.2.1 или новее.
| Потребность | Требования (верифицируются) | Событие валидации | Статус |
|---|---|---|---|
| N1 Same-Day Crop Stress Alerts | 6.2 Image Delivery (в течение 6 часов после передачи на Землю), 6.5 Planning Cycle Time (в пределах 100 минут) | VAL-01 Customer Alert Pilot: записанные пролёты над тремя пилотными фермами проходят через планирование, обработку и клиентский портал, а агрономы ферм используют оповещения в повседневной работе | Не выполнялся |
| N2 Twice-Weekly Revisit | 1.6 Revisit Time (в пределах 72 часов), через 1.6.1 Ground Track Repeat и 1.6.2 Off-Nadir Imaging | VAL-02 Growing Season Revisit Simulation: один сезон съёмки по списку целей заказчика с плановой трассой, ограничением отклонения от надира и историческими данными об облачности | Не выполнялся |
| N3 Field-Level Vegetation Maps | 1.2 Ground Sample Distance (4,5 m), 1.4 Spectral Bands (четыре канала, 450–900 nm) | VAL-03 Agronomist Map Review: агрономы просматривают карты растительности, построенные по аэроснимкам, пересчитанным до 4,5 m в четырёх каналах EO-1 | Пройдено: все 12 образцов карт приняты |
Каждая строка показывает, почему валидация не повторяет верификацию. 1.6 требует повторного обзора в пределах 72 часов — это свойство орбиты и ограничений наведения, и TC-13 Ground Track Repeat Analysis уже показал повтор за 3 суток и 0,4 часа. Но фермерам нужны пригодные снимки дважды в неделю, а облака в 1.6 не фигурируют. Только моделирование со статистикой облачности (VAL-02) может сказать, обеспечивает ли требование, выполненное как написано, потребность. Если нет, исправление — новое или изменённое требование, а не лучший тест.
С N1 похоже. 6.2 и 6.5 задают числа для цепочки доставки, а анализ Монте-Карло для 6.5 (см. руководство по методу Монте-Карло) оценивает вероятность уложиться в 100 минут примерно в 97,6%. Узнаёт ли агроном на самом деле о стрессе посевов в день пролёта, в форме, по которой можно действовать, — другой вопрос, и VAL-01 задаёт его реальным пользователям.
VAL-03 прошло первым, ещё до появления лётной аппаратуры, потому что ему нужны только образцы снимков и люди. Это ранняя валидация: она подтвердила, что 4,5 m в четырёх каналах достаточно детально для карт на уровне полей, до того как проект камеры был заморожен. Два рецензента попросили наложение границ полей — возможная новая потребность, записанная вместе с результатом.
Верификация и валидация моделей
В модельно-ориентированной системной инженерии сама модель — инженерный продукт, и к ней применимы те же два вопроса. Оборонная и аэрокосмическая практика десятилетиями определяет их для моделей и симуляций (DoD Instruction 5000.61 о верификации, валидации и аккредитации; NASA-STD-7009 о достоверности моделей и симуляций):
- Верификация модели: правильно ли построена модель? Соответствует ли реализация её собственной спецификации и правилам моделирования: нет пропущенных длительностей в моделируемом потоке, нет функций, которые никто не выполняет, нет требований без верифицирующего события, уравнения размерностно согласованы, код вычисляет то, что задумал автор.
- Валидация модели: та ли это модель для своей цели? Достаточно ли близко она представляет реальную систему для решений, которые будет поддерживать? Ответ даёт сравнение модели с реальностью: данными испытаний, лётными данными, проверенной моделью более высокой точности.
- Аккредитация в терминологии DoD — формальное решение о том, что модель приемлема для конкретного использования, на основе свидетельств её верификации и валидации.
У EO-1 есть наглядный случай. Его бюджет мощности переводит измеренную пиковую мощность батареи в среднеорбитальную по уравнению EQ-1.3: среднее за орбиту = пик × 0,62 (доля освещённости) × 0,6 (КПД тракта питания). Верифицировать это уравнение значит проверить арифметику, единицы и его связи. Валидировать — спросить, соответствуют ли 0,62 и 0,6 реальной орбите и реальной цепи питания, например сравнив прогноз со среднеорбитальной мощностью, измеренной на плоском стенде (flatsat) в ходе имитации орбиты. Вердикт по требованию 3.1 ниже целиком зависит от этого уравнения, поэтому невалидированное EQ-1.3 сделало бы неубедительным даже безупречный тест.
Эмпирическое правило: когда анализ или моделирование используются как свидетельство верификации, его модели нужны собственные свидетельства валидации, соразмерные тому, насколько решение на неё опирается.
Прослеживаемость, на которой держатся обе
Верификации и валидации нужна каждой своя цепочка связей:
- Потребности → валидация. Каждая потребность заинтересованных сторон связана с действием по валидации, которое покажет её выполнение при предполагаемом использовании, и с требованиями, которые её формализуют.
- Требования → верификация. Каждое требование связано с тестом, анализом, осмотром или демонстрацией, которые его верифицируют, с методом, уровнем и критериями успеха. Матрица верификации требований — отчёт по этой цепочке.
Вместе они отвечают на два вопроса о покрытии, которые задаёт комиссия по рецензированию: верифицировано ли каждое требование и валидирована ли каждая потребность? Связи между потребностями и требованиями соединяют обе цепочки, так что пробел на одной стороне можно проследить к другой: потребность, все требования которой пройдены, а валидация не пройдена, указывает на отсутствующее или неверное требование.
В матрице обе цепочки стоят рядом: требования верифицируются тестовыми случаями TC, потребности валидируются событиями VAL. Матрица также показывает пробел в верификации: у 6.5 Planning Cycle Time есть метод (анализ), но в модели пока нет верифицирующего события. Руководство по методу Монте-Карло проводит этот анализ; запись его результата как тестового случая закрыла бы строку.
Свидетельства верификации на практике: TC-06
TC-06 Solar Array Power Test аппарата EO-1 показывает, что делает свидетельство верификации хорошим и как оно перестаёт засчитываться. Запись полная: M. Chen провёл тест на квалификационных панелях батареи QM-1 и QM-2 с жгутом ревизии C, под крупноформатным имитатором Солнца при AM0 (1361 W/m², неравномерность 1,4%), и приложил вольт-амперную характеристику в файле tc06-array-iv-curve.csv. Пиковая мощность составила 75,1 W при ожидаемом результате не менее 72 W. Пройдено.
Затем после предварительной защиты проекта требование 3.1 Orbit Average Power подняли с 28 W до 30 W. Результат теста не изменился, но изменилось то, что он доказывает. Через EQ-1.3 пик 75,1 W даёт 27,9 W в среднем за орбиту (75,1 × 0,62 × 0,6), ниже 30 W; чтобы показать 30 W, нужен пик около 80,6 W. Поэтому связь от 3.1 к TC-06 помечена как подозрительная и остаётся такой, пока ожидаемый результат TC-06 не будет заново выведен из нового требования и тест не будет проведён снова или не изменится проект. Руководство по RVTM разбирает это рецензирование, а руководство по анализу влияния изменений прослеживает то же изменение по проекту.
Отсюда три урока для свидетельств верификации:
- Свидетельство привязано к конфигурации и версии требования. Прохождение, записанное для 28 W, не является свидетельством для 30 W.
- Критерий прохождения должен браться из требования. Предел TC-06 в 72 W соответствует лишь 26,8 W в среднем за орбиту, так что он не показывал даже прежние 28 W. Тест может пройти собственный критерий и всё же не верифицировать своё требование.
- Анализу в цепочке нужна валидация. Вердикт зависит от двух коэффициентов EQ-1.3, а это вопрос валидации модели из предыдущего раздела.
И ничто из этого не является валидацией. Даже чистый результат 30 W показал бы лишь, что батареи удовлетворяют 3.1. Достаточно ли 30 W, чтобы снимать 120 сцен в день для фермеров-заказчиков, — вопрос такого рода, на который отвечают события валидации на уровне миссии.
Сравнение верификации и валидации
| Верификация | Валидация | |
|---|---|---|
| Вопрос | Правильно ли мы построили систему? | Ту ли систему мы построили? |
| Сверяется с | Требованиями и проектными спецификациями | Потребностями заинтересованных сторон, предполагаемым использованием, показателями эффективности |
| ISO/IEC/IEEE 15288 | Процесс верификации (6.4.9) | Процесс валидации (6.4.11) |
| Типичные методы | Осмотр, анализ, демонстрация, тест | Эксплуатационные сценарии, моделирование миссии, просмотры с заинтересованными сторонами, опытная эксплуатация, данные эксплуатации |
| Уровни | Компонент, подсистема, система | В основном система в среде эксплуатации; ранняя валидация на концепциях и прототипах |
| Среда | Контролируемая: лаборатория, стенд, имитатор | Представительная для реального использования, по возможности с реальными пользователями |
| Кто оценивает | Инженерная команда по записанным критериям; заказчик при приёмке | Заинтересованные стороны и пользователи, часто с независимым оценщиком |
| Результат | Пройдено или не пройдено по каждому требованию | Потребность выполнена, выполнена частично или не выполнена, часто с новыми или изменёнными потребностями |
| Прослеживаемость | Требование → событие верификации | Потребность → событие валидации |
| Обычный документ | Матрица верификации требований, протоколы испытаний | План и отчёт по валидации, отчёт об эксплуатационной оценке |
| Неудача означает | Система не удовлетворяет требованию: исправить проект или изготовление | Требования не отразили потребность: исправить требования, затем проект |
| Пример EO-1 | TC-07: батарея 78,3 Wh при 77 Wh | VAL-03: агрономы принимают четырёхканальные карты 4,5 m |
Частые путаницы
- «Валидация — это последний тест». Системные испытания ближе к концу обычно всё ещё являются верификацией. Валидацию определяет её эталон (потребности и предполагаемое использование), а не время проведения, и начинаться она должна задолго до конца.
- «Все требования пройдены, значит, система валидирована». Прохождение требований показывает, что требования выполнены. Оно ничего не говорит о том, были ли это правильные требования. EO-1 мог бы точно выполнить 1.6 и всё же не обеспечить N2 при реальной облачности.
- Валидация требования и верификация системы. Эти слова применяются и к самим требованиям. INCOSE Guide to Needs and Requirements отделяет верификацию требования (правильно ли сформулировано утверждение: необходимо, однозначно, верифицируемо?) и валидацию требования (выражает ли оно потребность, из которой возникло?) от верификации и валидации системы. Говорите, что именно имеете в виду. Руководство по написанию требований описывает, как делать утверждения верифицируемыми.
- «Демонстрация — это валидация». Демонстрация требования — это верификация. Демонстрация эксплуатационного сценария с пользователями, оцениваемая по их потребностям, — это валидация. Решает не метод, а эталон.
- «Моделирование — это валидация». Моделирование — это приём. Моделирование цикла планирования 6.5 относительно 100 минут верифицирует 6.5. Моделирование вегетационного сезона относительно «пригодных снимков дважды в неделю» валидирует N2. А самой имитационной модели нужна собственная валидация.
- IV&V означает «больше V&V». Независимая верификация и валидация — это V&V, выполняемая организацией, отделённой от разработчика по управлению, бюджету и техническому суждению. Речь о том, кто её выполняет, а не о третьей деятельности.
- Подсчёт связей вместо результатов. Потребность, связанная с событием валидации, запланирована к валидации, но не валидирована. Счёт покрытия говорит, что запланировано; только результаты говорят, что показано.
Как Holarch фиксирует каждую
В проекте LML верификация и валидация хранятся в той же модели, что и потребности и требования, с теми же видами элементов и связей:
- Потребности — это Statements (а не Requirements), связанные с формализующими их требованиями через traced to.
- Планирование верификации находится в каждом Requirement: Метод верификации (Analysis, Demonstration, Inspection, Test в любом сочетании), уровень и критерии успеха.
- События верификации — это Test Cases в Test Suites, связанные с требованиями через verifies. Анализы, осмотры и демонстрации тоже являются тестовыми случаями. Каждый прогон записывает испытателя, конфигурацию, объект испытаний и файл свидетельства; непройденные тесты становятся Issues, а циклы испытаний сохраняют каждую кампанию.
- События валидации тоже могут быть Test Cases, в собственном наборе (как TS-3 выше), связанные с потребностью через verifies. Стандартная схема LML допускает verifies только к требованиям, поэтому схема модели EO-1 добавляет одну цель, Test Case verifies Statement; в собственном проекте добавьте её в Схема (откройте Test Case, + Связь), прежде чем связывать в Матрица прослеживаемости. RVTM и Покрытие верификацией считают только требования, поэтому события валидации не меняют показатель «11 из 32 требований верифицировано»; матрица показывает их рядом с требованиями.
- Показатели эффективности — это Measures с меткой MOE, пороговыми и целевыми значениями. Анализ Монте-Карло в Симулятор может сверить выход с требованием или Measure и записать результат как Test Case — так анализ становится свидетельством верификации.
- Изменения помечают связи как подозрительные, включая связь с верифицирующим тестовым случаем, как в случае TC-06.
- Верификацию модели выполняет Верификация → Проверки модели: правила по всей модели, например листовые требования без верифицирующего тестового случая и непройденные тесты без Issue. У диаграмм Action есть собственные проверки перед запуском моделирования. Отдельной записи для валидации модели в Holarch нет; храните сравнение с данными испытаний или полёта как свидетельство тестового случая-анализа, который опирается на модель.
Руководство «Процесс SE» показывает обе стороны V. В процессе V-модель карточка Связи верификации сопоставляет каждую фазу правой стороны с фазой левой стороны, которую она проверяет: валидацию системы — с концепцией эксплуатации («потребности валидированы»), верификацию системы — с системными требованиями («требования верифицированы») и уровни подсистем и блоков ниже.
Читайте карточку как покрытие, в духе описанной выше путаницы. Потребность считается валидированной, как только с ней через verifies связан тестовый случай или как только пройдено прослеженное от неё требование, поэтому N1 и N2 засчитываются, хотя VAL-01 и VAL-02 не выполнялись. Карточка считает потребностью каждый прослеженный Statement, не являющийся требованием; в демо это добавляет к N1–N3 допущение (1.1 Reference Orbit) и три эксплуатационных правила (OR-1–OR-3), поэтому она показывает 7. Сами результаты валидации находятся в Центре тестирования.
Планы могут храниться в документах: шаблоны документов включают концепцию эксплуатации, план верификации и валидации, план испытаний, протокол испытаний и план IV&V с живыми блоками VCRM и RVTM, которые обновляются из модели.
Попробуйте в Holarch
- Создайте проект EO-1: Управление проектами → Файлы проекта ▾ → Новый демо-проект → CubeSat (пошаговая системная инженерия) или импортируйте эталонную модель EO-1.
- Нажмите ⌘K / Ctrl+K, введите
crop stressи откройте N1 Same-Day Crop Stress Alerts: её связи показывают требования, к которым она traced to, и событие VAL, которое её верифицирует. Добавьте собственную потребность как Statement, например через Добавить элемент ▸ в документе требований. - В Верификация → Центр тестирования откройте TS-3 Mission Validation. Для собственного набора нажмите + Создать ▾ → Набор тестов…, затем + Тестовый случай для каждого события валидации, с подготовкой и ожидаемым результатом в терминах заинтересованных сторон.
- Откройте Верификация → Матрица прослеживаемости с потребностями в строках и тестовыми случаями валидации в столбцах и выберите Верифицируется: у каждой потребности есть своё событие VAL. Нажмите на пустую ячейку, чтобы добавить связь.
- Откройте Верификация → RVTM, чтобы увидеть верификацию требований, и Планирование → Процесс SE с V-модель, чтобы увидеть обе стороны V.
Полные справочники: Верификация, Прослеживаемость, Процесс SE и Проверки модели.
Часто задаваемые вопросы
Что идёт первым, верификация или валидация?
Формальная валидация системы обычно идёт после верификации системы, потому что ей нужна система, работающая по спецификации, в предназначенной для неё среде. Но действия по валидации начинаются первыми: просмотры концепции и требований с заинтересованными сторонами проходят ещё до того, как возможна какая-либо верификация. Планируйте обе с самого начала.
Может ли одно действие выполнять обе?
Да, если так запланировано и оценивается по обоим эталонам. Сквозная репетиция эксплуатации может верифицировать 6.1 Contact Scheduling по критерию 48 часов и, при участии реальных операторов и заказчиков, собрать свидетельства валидации для N1. Записывайте оба вердикта отдельно, потому что они могут различаться.
Кто выполняет валидацию?
Обычно её планирует и обеспечивает разработчик, но суждение принадлежит заинтересованным сторонам: пользователям, операторам, заказчику, иногда независимой испытательной организации. Валидация без заинтересованных сторон — догадка об их потребностях.
Что происходит, когда валидация не пройдена, а верификация пройдена?
Требования не отразили потребность. Проследите непройденную потребность к её требованиям, найдите отсутствующее или неверное, измените его через управление изменениями и пройдите по подозрительным связям в проект и верификацию. Это самая дорогая неудача в системной инженерии, и именно поэтому ранняя валидация окупается.
Что дальше
- Матрица верификации требований (RVTM): практический следующий шаг — столбцы, выбор метода, сводка статусов и проверка покрытия к контрольной точке на том же CubeSat.
- Как писать требования: верифицируемые утверждения — предпосылка верификации.
- Прослеживаемость требований и влияние изменений: потребности, требования, подозрительные связи и матрица.
- Верификация в Holarch: тестовые случаи, прогоны со свидетельствами, циклы испытаний и RVTM в одной модели.