Holarch

Руководство · Верификация

Матрица верификации требований (RVTM): столбцы, методы и разобранный пример

Прослушать это руководство 29 мин

Матрица верификации требований, или RVTM, перечисляет каждое требование с тем, как оно будет верифицировано, событием, которое его верифицирует, результатом и доказательствами. В этом руководстве рассматриваются столбцы, выбор между осмотром, анализом, демонстрацией и испытанием, планирование и результаты, отображение неудачных и изменившихся результатов и рецензирование покрытия перед контрольной точкой — на примере RVTM спутника дистанционного зондирования Земли CubeSat формата 6U.

На этой странице
  1. Что такое матрица верификации требований
  2. Кто её использует и когда
  3. Столбцы
  4. Выбор метода верификации
  5. Планирование и результаты
  6. Значения статуса и свёртка
  7. Формируйте её из модели
  8. Как отображаются неудачные и изменившиеся результаты
    1. Неудачный результат
    2. Изменившееся требование
  9. Рецензирование покрытия перед контрольной точкой
  10. Рабочий пример: RVTM CubeSat EO-1
    1. План
    2. Результаты и испытательные кампании
    3. Чтение матрицы
    4. Изменившееся требование: 3.1 после PDR
    5. Планирование оставшихся строк перед рецензированием
  11. Одна матрица на продукт в линейке продуктов
  12. Типичные ошибки
  13. Попробуйте в Holarch
  14. Что дальше

Что такое матрица верификации требований

Верификация спрашивает, правильно ли построена система: соответствует ли она каждому требованию в его формулировке? Матрица верификации требований — место, где на этот вопрос отвечают требование за требованием. Каждая строка — одно требование. Столбцы говорят, как оно будет верифицировано, на каком уровне сборки, каким событием и что дало это событие. О том, чем верификация отличается от валидации, которая проверяет систему на соответствие потребностям заинтересованных сторон, см. верификация и валидация.

У одной и той же таблицы несколько названий. RVTM (requirements verification traceability matrix) подчёркивает связь от требования к тесту. VCRM (verification cross-reference matrix) распространена в оборонных и аэрокосмических программах и часто означает плановую половину: требование, метод и уровень. Матрица верификации или матрица соответствия может добавлять для заказчика заявление о соответствии в каждой строке. Содержание немного различается от организации к организации, но идея одна: одна строка на требование, и ничего без запланированного способа показать, что оно выполнено.

ISO/IEC/IEEE 15288 описывает верификацию как процесс, который планирует действия по верификации, готовит всё необходимое для них, выполняет их и записывает результаты, и ожидает, что каждое требование покрыто хотя бы одним действием. Матрица — обычная запись этого покрытия. Справочник INCOSE по системной инженерии рассматривает её так же: рабочий инструмент во время разработки и поставляемый материал на рецензиях. Матрица — верификационный конец прослеживаемости требований: если прослеживаемость спрашивает, откуда взялось требование и что его удовлетворяет, то RVTM спрашивает, что его доказывает.

Сквозной рабочий пример — EO-1, вымышленный CubeSat формата 6U, который снимает сельскохозяйственные угодья в четырёх спектральных каналах с орбиты 500 км. Его спецификация содержит 32 требования и 19 событий верификации в двух наборах тестов; третий набор содержит события валидации для потребностей заинтересованных сторон. Это тот же проект, который пошаговый пример проекта MBSE проходит от потребностей заинтересованных сторон до документов, поэтому строки здесь можно проследить назад до функций, компонентов и анализов, которые на них отвечают.

Кто её использует и когда

  • Рецензирование требований (например, рассмотрение требований к системе). Рецензенты проверяют, что у каждого требования есть метод и уровень. Требование, о котором никто не может сказать, как его верифицировать, обычно неоднозначно или неизмеримо, и рецензирование — самый дешёвый момент, чтобы его переписать.
  • Рецензирование проекта. Теперь матрица называет тестовые случаи, анализы и осмотры. Рецензенты ищут требования, у которых всё ещё нет события, и тесты, которым нужны стенды или изделия, которые никто не запланировал.
  • Рассмотрение готовности к испытаниям. Перед началом кампании матрица показывает, какие требования кампания закроет и какие методики готовы.
  • Квалификация. Квалификация показывает, что проект соответствует своим требованиям, часто с запасом, на испытательном изделии, изготовленном для этой цели. Матрица перечисляет каждый квалификационный результат и его отчёт.
  • Приёмка. Приёмка показывает, что каждый поставленный экземпляр изготовлен и работает в соответствии с проектом. Заказчик подписывает приёмку по матрице, строка за строкой, с приложенными доказательствами или ссылками на них.
  • Аудиты и сертификация. Аудитор выбирает строки и прослеживает их до доказательств. Матрица, столбец доказательств которой указывает на реальные файлы с версиями, это выдерживает; матрица, где написано «см. протокол испытаний» без версии, — нет.

Столбцы

В практической матрице есть следующие столбцы. Некоторые организации разделяют или переименовывают их; мало кто какой-либо опускает.

СтолбецСодержитЗаполняется
ТребованиеИдентификатор и краткое название; полная формулировка доступна одним щелчком, а не вставленаПри написании требования
МетодОсмотр, анализ, демонстрация или испытание; при необходимости несколькоПри анализе требований
УровеньГде проводится верификация: компонент, подсистема или система (или блок, сборка, сегмент)При анализе требований
Критерии успехаИзмеримый результат, который считается выполнением, с условиямиПри анализе требований
Событие верификацииТестовый случай, анализ, осмотр или демонстрация, которые её выполняютПроект
СтатусНе верифицировано, запланировано, не выполнялся, пройдено или не пройденоПри интеграции и испытаниях
ДоказательстваОтчёт, файл данных или запись, показывающие результат, с версией, а также сборкой и испытательным изделием, на которых проводилось испытаниеПри интеграции и испытаниях

Первые четыре столбца — это план. Последние три — результаты. Важно держать две половины раздельно, потому что они меняются в разное время и по разным причинам (см. планирование и результаты).

Выбор метода верификации

Существует четыре стандартных метода. Здесь они перечислены от самого дешёвого к самому дорогому, что также обычно является порядком предпочтения, когда подходит несколько. Метод лучше всего выбирать при написании требования; руководство по написанию требований показывает почему, на примере TC-06.

Осмотр
Изучение изделия или его документации без его работы: измерение размера, чтение маркировки, проверка сертификата, чертежа или параметра конфигурации. Подходит для физических особенностей, маркировки, материалов и всего, что сформулировано как «shall have» или «shall be made of». Сюда же относится рецензирование записей, созданных в другом месте: EO-1 верифицирует 3.4 Bus Regulation (12 V с точностью 2 %) осмотром квалификационного отчёта блока распределения питания и его данных скачков нагрузки вместо повторения испытания.
Анализ
Подтверждение того, что требование выполнено, с помощью расчёта, моделирования или симуляции, часто с использованием данных испытаний нижних уровней. Подходит, когда испытать реальное изделие невозможно или небезопасно или когда анализ охватывает гораздо больше случаев, чем могло бы любое испытание. 1.7 Mission Lifetime у EO-1 (730 дней на орбите) можно показать только анализом надёжности, а 1.6.1 Ground Track Repeat — расчётом движения по орбите.
Демонстрация
Работа изделия, показывающая, что оно что-то делает, с наблюдением, но без приборов для точного измерения. Подходит для функциональных и эксплуатационных требований с результатом «да или нет»: 6.1 Contact Scheduling у EO-1 (сеансы связи бронируются за 48 часов) показывается проведением команды эксплуатации через 14 дней репетиции.
Test
Работа изделия в контролируемых условиях с измерением результата и сравнением его с числом. Подходит для требований к характеристикам со значением и допуском, например 2.1 Pointing Accuracy (в пределах 0,1 градуса от цели). Испытание даёт самые сильные доказательства и обычно стоит дороже всего.

Несколько вопросов, которые определяют выбор:

  • Содержит ли требование число? Тогда ему обычно нужно испытание или анализ; демонстрация не может показать «в пределах 0,1 градуса».
  • Можно ли воспроизвести условие? Два года на орбите или пролёт над реальным полем с отклонением от надира 25 градусов в лаборатории не поставить. Такие требования отходят анализу, подкреплённому испытанием в точке, доступной лаборатории.
  • На каком уровне это свойство видно? Ёмкость батареи можно испытать на батарейном блоке (уровень компонента); точности наведения нужна подсистема ориентации; повторный обзор за 72 часа существует только для миссии в целом. Верифицируйте каждое требование на самом низком уровне, где свойство присутствует полностью.
  • Что примет заказчик? Контракты часто фиксируют метод для ключевых требований. Согласуйте его заранее, а не при приёмке.

Одновременно запишите критерии успеха. «Соответствует требованию» — не критерий. «Ошибка не более 0,1 градуса для каждой из 20 заданных целей» — критерий: любой может его применить и прийти к тому же вердикту.

Планирование и результаты

Плановая половина матрицы определяется при анализе требований и проектировании. Она отвечает на вопрос «как мы узнаем?» и должна быть готова задолго до появления любого оборудования. Требование без метода на рецензировании требований — дефект набора требований, а не пробел программы испытаний.

Половина результатов заполняется при интеграции и испытаниях. Она меняется при каждом выполнении события и имеет смысл только вместе с тем, что испытывалось: версией сборки или ПО, серийным номером испытательного изделия, датой и исполнителем. Результат без сборки и испытательного изделия нельзя повторить или проверить при аудите, и по нему нельзя понять, какая сборка устранила отказ.

Две привычки сохраняют обе половины честными:

  • Одно событие на строку доказательств. Отчёт об анализе, запись осмотра и демонстрация — такие же события верификации, как тестовый случай. Дайте каждому собственную запись с результатом, чтобы матрица показывала доказательства для каждого метода, а не только для испытаний.
  • Верифицируйте листья, сворачивайте родителей. Родительское требование, декомпозированное на дочерние, верифицировано, когда верифицированы все его потомки или когда у него есть собственное событие. Свёртка избавляет от планирования дублирующих тестов для родителя и сразу показывает, какая ветвь его задерживает.

Значения статуса и свёртка

Жизнь строки охватывают пять значений статуса:

СтатусЗначениеЧто делать
Не верифицированоНет ни метода, ни событияЗапланировать или поставить требование под вопрос
Только запланированоМетод задан, события ещё нетНаписать тестовый случай, анализ или осмотр
Не выполнялсяСобытия есть, ни у одного нет результатаВключить их в график
ПройденоСобытие пройдено, и ни одно не проваленоХранить доказательства вместе со сборкой и испытательным изделием
Не пройденоСобытие не пройденоЗарегистрировать проблему, исправить, выполнить повторно

У события верификации есть собственные, более детальные состояния: не выполнялся, в работе, заблокировано, не пройдено или пройдено. Для матрицы событие в работе или заблокированное ещё не имеет вердикта, поэтому его требование считается невыполнявшимся.

Для родительского требования отказ где угодно ниже делает его непройденным, а пройденным оно считается, только когда пройдены все потомки (или его собственное событие). В остальных случаях оно показывает, как далеко продвинулась его наименее покрытая ветвь. Подсчёт строк по статусам даёт то единственное число, которое большинство рецензий спрашивает первым: сколько требований верифицировано из скольких.

Формируйте её из модели

Большинство матриц начинают жизнь как электронная таблица, и большинство электронных таблиц расходятся с реальностью. Текст требования вставляется и устаревает, когда требование меняется. Статус испытаний вводится вручную после каждого прогона тем, кто вспомнит. Перед рецензированием ходят две копии, и никто не уверен, какую видел заказчик. Всё это не небрежность; электронная таблица — копия, а копии расходятся.

Альтернатива — хранить содержимое матрицы там, где оно уже живёт, и формировать таблицу из него:

  • метод, уровень и критерии успеха — атрибуты требования;
  • каждое событие верификации — элемент, связанный с требованиями, которые оно верифицирует;
  • каждый результат со сборкой, испытательным изделием и доказательствами записывается в событии при его выполнении;
  • матрица — это запрос по этим связям, который выполняется заново при каждом открытии или экспорте.

Тогда матрица не может расходиться с требованиями или записями испытаний, потому что у неё нет собственных данных. Экспортированная для рецензирования копия — по-прежнему снимок, но она создаётся за секунды из текущей модели, а не поддерживается вручную. Это одна из самых очевидных выгод хранения требований, проекта и верификации в одной модели; страница возможностей верификации описывает, как это делает Holarch.

Как отображаются неудачные и изменившиеся результаты

Два вида изменений делают строку неверной после того, как она казалась завершённой.

Неудачный результат

Отказ — это информация, а не повод для смущения, и матрица должна показывать его прямо. Непройденное событие остаётся непройденным, пока его не выполнят повторно; его не сбрасывают втихую. На каждый отказ заводится проблема (отчёт о проблеме или о несоответствии), связанная с событием и с требованиями, которые оно верифицирует, поэтому строка матрицы ведёт к расследованию. Когда появляется исправление, событие выполняется повторно на новой сборке, и запись сохраняет оба прогона: отказ на старой сборке и прохождение на новой. Сохранение результатов каждой испытательной кампании в виде снимка (часто называемого циклом испытаний) позволяет сравнивать кампании и точно видеть, какие строки изменились.

Изменившееся требование

Менее заметная проблема — требование, которое меняется после того, как его тест пройден. Если требование к мощности повышается с 28 W до 30 W, старое прохождение больше ничего не доказывает о новом значении, но столбец статуса по-прежнему будет показывать «пройдено». Хорошая матрица помечает связь между изменённым требованием и верифицирующим его событием как подозрительную, пока её кто-нибудь не рецензирует: либо событие уже покрывает новое значение, либо методику нужно изменить, а событие выполнить снова. То же относится к изменению чего-либо выше требования. Подозрительные связи в целом рассматриваются в разделе о подозрительных связях руководства по прослеживаемости; для верификации правило короткое: прохождение, записанное до последнего изменения требования, нужно рецензировать, прежде чем учитывать его на контрольной точке. Руководство по анализу влияния изменений прослеживает то же изменение от запроса на изменение до повторного испытания.

Рецензирование покрытия перед контрольной точкой

За неделю до рецензирования пройдите по матрице с такими вопросами:

  1. Неверифицированные строки. У каждого требования должен быть хотя бы метод. В строках без него либо не хватает плана, либо требование в текущей формулировке нельзя верифицировать.
  2. Только запланированные строки. К рецензированию проекта у каждой должно быть событие или причина, по которой его ещё нет. К приёмке таких не должно остаться.
  3. Непройденные строки. Каждой нужна связанная проблема с ответственным и планом. Отказ без проблемы — самое частое замечание на рецензированиях испытаний.
  4. Подозрительные строки. По каждой нужно решение: всё ещё действительна или требуется повторное выполнение.
  5. Разумность уровня и метода. Ищите требования системного уровня, верифицированные только испытанием компонента, числовые требования, верифицированные только демонстрацией, и события, методика которых не измеряет то, что формулирует требование.
  6. Доказательства. Выборочно проверьте несколько пройденных строк: существуют ли доказательства и совпадают ли их сборка и испытательное изделие с тем, что рецензируется?
  7. События-«сироты». Тестовые случаи, которые не верифицируют ни одного требования, стоят денег и ничего не доказывают в записи. Свяжите их или выведите из обращения.

Записывайте количество строк по статусам на каждой контрольной точке. Тенденция (неверифицированных меньше, пройденных больше, непройденные закрываются) говорит о состоянии программы больше, чем любой отдельный снимок.

Рабочий пример: RVTM CubeSat EO-1

Пример — демо-проект CubeSat EO-1 в Holarch, где требования хранятся в SRS-001 EO-1 System Requirements Specification, события верификации — это элементы Test Case в двух наборах тестов, а каждый тестовый случай верифицирует свои требования (третий набор, TS-3 Mission Validation, валидирует потребности заинтересованных сторон и в RVTM не входит). Для этого руководства в демо добавлено одно изменение, то же, что вносит шаг изменения в примере MBSE: после предварительного рассмотрения проекта средняя по орбите нагрузка выросла до 26 W, поэтому требование 3.1 Orbit Average Power было повышено с 28 W до 30 W.

Скачайте пример: матрица верификации требований EO-1 в виде книги Excel (.xlsx, 32 строки) или та же матрица в формате CSV. Оба файла — собственный экспорт RVTM из Holarch для проекта, показанного ниже: номер и название требования, метод, уровень, критерии успеха, верифицирующие тестовые случаи с их статусом, собственный статус и свёрнутый статус. Используйте их как шаблон для собственных столбцов.

План

Подборка строк, по одной на каждый метод и уровень, с критериями успеха в формулировке спецификации:

#ТребованиеМетодУровеньКритерии успеха
1.2Ground Sample Distance: 4,5 м с орбиты 500 кмTestСистемаMTF на частоте Найквиста не менее 0,12 на штриховой мире 4 м
1.6.1Ground Track Repeat: каждые 3 дняАнализСистемаРасчёт движения по орбите показывает повторение через 3 дня ± 1 час
2.1Pointing Accuracy: в пределах 0,1 градусаTestПодсистемаОшибка не более 0,1 градуса для каждой из 20 заданных целей
3.1Orbit Average Power: не менее 30 W в конце срока службы (было 28 W)TestПодсистемаСредняя по орбите мощность в конце срока службы, предсказанная по измеренной пиковой мощности
3.2Battery Capacity: не менее 77 Wh в начале срока службыTestКомпонентИзмеренная ёмкость не менее 77 Wh при C/2 и 20 °C
3.4Bus Regulation: 12 V с точностью 2 %ОсмотрКомпонентШина в пределах 11,76–12,24 V при всех скачках нагрузки
6.1Contact Scheduling: за 48 часовДемонстрацияСистемаСеансы связи бронируются за 48 ч в течение 14 дней подряд на репетиции
6.5Planning Cycle Time: в пределах 100 минутАнализСистемаСимуляция Монте-Карло укладывается в 100 минут с вероятностью не менее 90 %
2.5Safe Mode Recovery: «quickly … as appropriate»(нет)(нет)(нет)

Встречаются все четыре метода на трёх уровнях. Ёмкость батареи испытывается на одном батарейном блоке, потому что свойство полностью присутствует там; точности наведения нужна подсистема ориентации на аэростатическом столе; повторяемость наземной трассы — свойство орбиты и отходит анализу. 6.5 верифицируется вероятностным анализом графика операций — такой проверкой, которую разбирает руководство по методу Монте-Карло. Критерий 3.1 — прогноз на основе измерения: испытание измеряет пиковую мощность панелей, а уравнение в бюджете мощности превращает её в среднюю по орбите величину. У 2.5 нет метода, потому что в текущей формулировке его нельзя верифицировать.

Результаты и испытательные кампании

19 верификационных тестовых случаев находятся в двух наборах: TS-1 Spacecraft Qualification Tests (15 тестовых случаев, от испытаний на оптической скамье до анализов) и TS-2 Communications and Ground Tests (4). Третий набор, TS-3 Mission Validation, содержит VAL-01–VAL-03, которые проверяют потребности заинтересованных сторон, а не требования, поэтому RVTM их не включает (см. верификация и валидация). Каждый записанный результат содержит испытателя, дату, сборку (версию бортового ПО) и испытательное изделие (серийные номера оборудования), а также, если есть, файл доказательств.

TC-04 Pointing Accuracy Test не пройден: при втором прогоне с бортовым ПО 2.3.1 три из 20 целей оказались за пределами 0,1 градуса, наибольшее отклонение — 0,14 градуса; подозревается трение в маховиках. К отказу заведена проблема, связанная с тестовым случаем и через него — с требованиями 2.1 и 2.2. TC-09 Safe Mode Entry Test не пройден таким же образом (14 секунд против 10), и у него своя проблема. Два тестовых случая, TC-11 UHF Command Test и TC-17 Slew Time Analysis, в работе; в матрице они считаются невыполнявшимися, пока у них нет вердикта.

Кампания на стенде flatsat проводилась дважды, и результаты каждой кампании сохранены как цикл испытаний. Сравнение двух показывает, что изменила вторая кампания:

  • Flatsat Cycle 1: пройдено 5 из 9. TC-03 и TC-06 не выполнялись; TC-04 (0,16 градуса на 5 целях) и TC-09 (15 секунд) не пройдены.
  • Flatsat Cycle 2: пройдено 8 из 11. TC-03 и TC-06 пройдены, анализ TC-13 добавлен и пройден, TC-14 добавлен, но не выполнялся. TC-04 и TC-09 улучшились (0,14 градуса на 3 целях, 14 секунд), но всё ещё не пройдены.

«Улучшилось, но всё ещё не пройдено» — именно то, что скрывает столбец статуса и сохраняет сравнение циклов: исправления между кампаниями сдвинули числа в правильную сторону, но ни один отказ не закрыт.

Чтение матрицы

Матрица сформирована из приведённых выше требований и тестовых случаев; ничего в ней не вводилось в таблицу вручную. Карточки подсчитывают строки по свёрнутому статусу, и пять чисел в сумме дают 32 требования: 11 пройдено, 3 не пройдено, 12 не выполнялось, 3 только запланировано, 3 не верифицировано. Если читать её так, как это делала бы комиссия по рецензированию:

  • Верифицировано 11 из 32 (34 %). Пройдены испытанием (1.2, 3.2), анализом (1.6.1, 1.7) и осмотром (3.4). Ни одна демонстрация ещё не пройдена: все три (5.4, 6.1, 6.2) ждут репетиций наземного сегмента в TS-2.
  • 2.1 и 2.2 не пройдены из-за одного теста. TC-04 верифицирует оба, поэтому один отказ проваливает две строки. Если присмотреться, у 2.2 Pointing Stability есть вторая проблема: её критерий — дрейф за каждую 40-секундную съёмку, а TC-04 измеряет только ошибку наведения на каждую цель. Даже пройденный TC-04 не показал бы, что 2.2 выполнено. Это замечание о разумности метода: 2.2 нужно собственное измерение, или методика TC-04 должна записывать дрейф.
  • 4.3 не пройдено из-за TC-09. Проблема и задача повысить частоту опроса сторожевого таймера и повторить TC-09 записаны; строка остаётся непройденной, пока TC-09 не будет пройден на новом ПО.
  • 1.6 Revisit Time сворачивается. Само по себе оно только запланировано (анализ, события нет), но решают его два потомка: 1.6.1 пройдено, 1.6.2 Off-Nadir Imaging не выполнялось, поэтому 1.6 показывает «не выполнялся». Отдельное испытание родителя не нужно, когда оба потомка пройдены.
  • Только запланированы: 1.5, 4.4 и 6.5. У каждого есть метод и нет события. У 4.4 Downlink Encryption к тому же нет ни уровня, ни критериев, поэтому его план не закончен.
  • Не верифицированы: 2.5, 3.5 и 6.4. Нет метода, нет события. Это также три самых слабых требования спецификации («quickly … as appropriate», «warm enough (TBD)», «user friendly and/or easy to use»). Пробелы в матрице обычно указывают на требования, которые нужно переписать, а не на недостающие тесты.
  • 3.1 подозрительно. См. следующий раздел.

Изменившееся требование: 3.1 после PDR

TC-06 Solar Array Power Test пройден: ожидаемый результат — не менее 72 W пиковой мощности, и панели дали 75,1 W. Затем 3.1 повысили с 28 W до 30 W. Столбцы статуса по-прежнему показывают «пройдено», потому что TC-06 действительно был пройден. Знак ⚠ после требования и после TC-06 говорит, что прохождение старше требования. Щелчок по нему перечисляет все связи от 3.1, которые изменение сделало подозрительными:

Для связи верификации вопрос конкретен: показывает ли измеренная пиковая мощность 75,1 W по-прежнему 30 W в среднем по орбите? Ответ даёт бюджет мощности. Его уравнение EQ-1.3 переводит пиковую мощность в среднюю по орбите с учётом освещённой доли орбиты (0,62) и КПД тракта питания (0,6):

Пиковая мощностьСреднее по орбите (× 0,62 × 0,6)Что это
72,0 Вт26,8 ВтОжидаемый результат TC-06
75,1 Вт27,9 ВтИзмеренный результат TC-06
75,3 Вт28,0 ВтНужно для старого 3.1
80,6 Вт30,0 ВтНужно для нового 3.1

Значит, прохождение нельзя перенести: чтобы показать 30 W, панелям нужно около 80,6 W пиковой мощности, а TC-06 измерил 75,1 W на квалификационных панелях в начале срока службы, до какой-либо деградации к концу срока. Рецензирование выявляет и более старую проблему, которую обнажило изменение: порог TC-06 в 72 W соответствует лишь 26,8 W в среднем по орбите, так что даже для 28 W ожидаемый результат теста не был выведен из требования через бюджет мощности. Правильный итог — оставить связь подозрительной, зарегистрировать проблему, пересмотреть ожидаемый результат TC-06 по уравнению (и решить вместе с инженером по электропитанию, меняются ли панели или запас), затем выполнить тест повторно. Отметка подозрительности остаётся, пока это решение не записано, чтобы никто не принял старое «Пройдено» за доказательство для 30 W.

Экспортированная матрица содержит только результаты верификации, без пометок подозрительности: в скачанной книге 3.1 показано как «Пройдено». Рецензируйте подозрительные строки в модели, прежде чем экспортировать копию к контрольной точке.

Планирование оставшихся строк перед рецензированием

Список покрытия показывает 21 строку, которые ещё не верифицированы (32 минус 11), с элементами управления для завершения их плана. Перед критическим рассмотрением проекта он намечает следующую работу:

  1. Переписать 2.5, 3.5 и 6.4 так, чтобы их можно было верифицировать, затем дать каждому метод, уровень и критерии.
  2. Дать 4.4 уровень и критерии и создать для него осмотр; создать анализы для 1.5 и 6.5.
  3. Закрыть отказы: TC-04 после расследования маховиков, TC-09 после изменения сторожевого таймера, а дрейф для 2.2 измерить отдельно.
  4. Принять решение по 3.1: пересмотреть TC-06 и выполнить его повторно для 30 W.
  5. Включить в график невыполнявшиеся события, начиная с TC-19 Array Deployment Test и четырёх событий TS-2, которые вместе верифицируют восемь требований.

Запись количеств на каждом рецензировании (здесь 11 пройдено, 3 не пройдено, 12 не выполнялось, 3 только запланировано, 3 не верифицировано) даёт тенденцию, с которой будет сравнивать следующее рецензирование.

Одна матрица на продукт в линейке продуктов

В этом руководстве «сборка» означает то, на чём выполнялось испытание: версию ПО и серийные номера испытательного изделия. Линейка продуктов — другое понятие: несколько продуктов, например EO-1 Flight и более дешёвый EO-1 Lite, хранятся в одной модели, и каждый — это конфигурация продукта. Их требования пересекаются, но не совпадают, и прохождение на одном продукте не верифицирует другой. EO-1 Lite летает с радио S-диапазона, поэтому тест канала X-диапазона, пройденный для EO-1 Flight, ничего о нём не говорит.

Тогда матрицу нужно читать по продуктам. В Holarch выберите конфигурацию продукта в Просмотреть как ▾: RVTM показывает только требования этой конфигурации и записанные для неё результаты, поэтому «верифицировано» означает «верифицировано для этого продукта», а экспорт называет конфигурацию. Все конфигурации добавляет по одному столбцу свёрнутого статуса на конфигурацию, с «—» там, где требование в неё не входит. Выполнить набор в представлении конфигурации записывает результаты как результаты этой конфигурации и заполняет поле Конфигурация / сборка названием продукта; сборку и испытательное изделие всё равно стоит записывать. Для линеек продуктов нужен тариф Individual или Team; см. Линейки продуктов: RVTM и руководство по инженерии линеек продуктов.

Типичные ошибки

  • Повторение требования в качестве критерия успеха. «The ADCS points within 0.1 degrees» ничего не говорит о том, сколько целей, в каких условиях и относительно какого эталона.
  • Пороги испытаний, не выведенные из требования. Ожидаемый результат теста должен следовать из требования через связывающий их анализ, а 72 W для TC-06 так не получены. Проверяйте арифметику при написании теста, а не при изменении требования.
  • Один тест на несколько требований без измерения каждого. Общий тест эффективен, но только если методика записывает каждую величину, которую формулируют связанные требования.
  • Прямая верификация родителей. Тест для родительского требования, который лишь повторяет тесты его потомков, удваивает работу и документацию. Верифицируйте листья, а родитель пусть сворачивается.
  • Анализ без доказательств. Анализ — это событие верификации, и ему, как любому испытанию, нужны отчёт, версия и вердикт.
  • Связь теста с требованием общей связью «related». Матрица учитывает только связи верификации; тест, связанный иначе, оставляет требование неверифицированным на вид.
  • Сброс отказа на «не выполнялся» ради аккуратной матрицы. Сохраняйте отказ и его проблему; именно историю запрашивает аудитор.
  • Игнорирование подозрительных строк при приёмке. Прохождение, которое старше требования, которое оно якобы верифицирует, не является доказательством для текущего требования.

Попробуйте в Holarch

  1. Создайте проект EO-1: Управление проектами → Файлы проектов ▾ → Новый демо-проект → CubeSat (пошаговая системная инженерия). Или начните с собственных требований в документе требований; см. Требования.
  2. Откройте Верификация → Центр тестирования. В Покрытие верификацией задайте метод каждого требования кнопками A, Э, К и T, выберите уровень в Уровень… и добавьте критерии успеха кнопкой + Критерии.
  3. Создавайте наборы тестов и тестовые случаи кнопками + Создать ▾ и + Тестовый случай и связывайте каждый тестовый случай с его требованиями кнопкой + в столбце Верифицирует. Анализы, осмотры и демонстрации — тоже тестовые случаи.
  4. Записывайте результаты кнопками статуса или проходите кампанию с помощью Выполнить набор, который для каждого прогона записывает испытателя, сборку (поле Конфигурация / сборка), испытательное изделие и файл доказательств. После отказа нажмите + Создать Issue.
  5. Сохраните кампанию командой Начать новый цикл… и сравнивайте кампании в ⋯ → Циклы испытаний… набора.
  6. Откройте Верификация → RVTM. Щёлкните карточку статуса, чтобы отфильтровать строки. Чтобы увидеть отметку подозрительности, измените текст требования 3.1, затем щёлкните ⚠ рядом с ним.
  7. Нажмите Экспорт ▾ и выберите Excel (.xlsx), CSV или Word (.docx). Скачиваемый пример выше — это такой экспорт.

Полный справочник — в разделе Верификация.

Что дальше