Верификация
Верификация
Планирование верификации каждого требования, организация тестовых случаев в наборы, выполнение тестов с результатами шагов и свидетельствами, сохранение тестовых циклов и отчёт о покрытии в RVTM.
На этой странице
- Обзор
- Понятия
- Как использовать
- Когда и зачем
- Планирование верификации для каждого требования
- Создание наборов тестов и тестовых случаев
- Написание пошаговой процедуры
- Другие способы создать тестовый случай
- Выполнение тестов и запись результатов
- Импорт результатов из другой системы тестирования
- Сохранение цикла тестирования
- Отчёт о покрытии
- Рабочий пример: демо CubeSat EO-1
- Советы и рекомендации
- Типичные ошибки
- Связь с другими функциями
- Центр тестирования
- RVTM
- Сочетания клавиш
- Сообщения
- Ограничения
- Связанные материалы
Обзор
Верификация отвечает на один вопрос для каждого требования: какое свидетельство показывает, что оно выполнено?
Holarch хранит всё о верификации в той же модели, что и требования:
- план: метод верификации, уровень и критерии успеха
- тестовые случаи, которые реализуют план
- результаты каждого прогона
- итоговое покрытие
Поскольку всё это находится в одной модели, отчёт о покрытии всегда актуален.
Группа Верификация на боковой панели навигации содержит:
| Страница | Назначение |
|---|---|
| RVTM | Матрица прослеживаемости верификации требований: каждое требование с методом, уровнем, верифицирующими тестовыми случаями, собственным результатом и сведённым результатом. |
| Центр тестирования | Наборы тестов и тестовые случаи, пошаговые процедуры, прогоны тестов со свидетельствами, циклы тестирования и покрытие верификацией требований. |
| Матрица прослеживаемости | Любая связь в виде сетки, например требования × тестовые случаи. См. Матрица прослеживаемости. |
| Проверки модели | Проверки правил для всей модели, включая неверифицированные листовые требования и непройденные тесты без Issue. См. Проверки модели. |
Значок на пункте Верификация боковой панели считает непройденные тесты и ошибки проверок модели.
Понятия
Атрибуты планирования верификации
У каждого Requirement есть три атрибута планирования:
| Атрибут | Значения | Значение |
|---|---|---|
| Verification Method | Analysis, Demonstration, Inspection, Test (в любом сочетании) | Как верифицируется требование. |
| Verification Level | Component, Subsystem, System | Уровень сборки, на котором выполняется верификация. |
| Success Criteria | Текст | Измеримый результат, показывающий, что требование выполнено. |
Метки требования включают соответствующие метки Verification Method (Analysis, Demonstration, Inspection, Test). Задание атрибута или метки обновляет другое в рамках того же изменения, и одно нажатие “Отменить” отменяет и то и другое. Поэтому импортированные проекты, использующие метки, ведут себя так же, как проекты, использующие атрибут.
Verification Requirement (LML 2.0)
Verification Requirement — это Statement, в котором сказано, что и как нужно показать, прежде чем требование будет считаться выполненным. Это способ LML 2.0 хранить план верификации в отдельном элементе, а не в требовании. У него есть:
| Атрибут | Значение |
|---|---|
| Verification Method | Analysis, Demonstration, Inspection, Test (в любом сочетании; другие методы можно добавить в схеме). |
| Acceptance Criteria | Результаты, которых должна достичь верификация. |
| Доказательства | Вид записи, которую нужно собрать и передать, например протокол испытаний или акт инспекции. |
| Обоснование | Почему выбраны этот метод, эти критерии и эти свидетельства. |
Свяжите его через verifies с требованием (или активом), которое он охватывает, и через traced to — с тестовыми случаями, которые его реализуют. Тогда RVTM считает эти тестовые случаи верифицирующими требование, берёт метод и критерии приёмки из Verification Requirement, если у требования нет собственных, и перечисляет Verification Requirement в разделе Verified By.
Обе формы работают параллельно: тестовый случай, верифицирующий требование напрямую (форма LML 1.x), учитывается точно так же, как раньше, а метка Verification Requirement у требования остаётся доступной.
Тестовый случай может также указывать объект испытаний через evaluates (со стороны актива — evaluated by).
Проекты, созданные до этих дополнений, сохраняют свою схему; Схема → Добавить новые встроенные… добавляет в них класс Verification Requirement и связь evaluates.
Тестовые случаи и наборы тестов
Test Case верифицирует требования через связь verifies (со стороны требования — verified by). У тестового случая есть:
- Описание: процедура.
- Set Up, Expected Result, Actual Result.
- Event Conditions (условия, в которых выполняется тест, например окружающая среда, режим или имитируемые нагрузки) и Event Constraints (ограничения на событие испытания, например независимые свидетели, точки остановки или правила выборки). Диалог прогона показывает их, если они заполнены, а экспорт набора в CSV содержит столбец для каждого.
- evaluates: объект испытаний.
- Статус: Не выполнялся, Выполняется, Заблокировано, Не пройдено или Пройдено.
- Шаги: необязательная нумерованная процедура, каждый шаг с Action, Expected Result, Actual Result и Pass/Fail.
- Свидетельства прогона, записываемые каждым записанным прогоном: Tested By, Test Date, Configuration (тестируемая сборка или версия), Test Article (изделие или серийный номер) и Test Evidence (файл).
- Журнал прогонов: каждый записанный прогон с датой, статусом, тестировщиком, конфигурацией, изделием, фактическим результатом, именем файла свидетельства и результатами шагов.
Тестовый случай можно декомпозировать на дочерние тестовые случаи. Статус родителя сводится из его листьев. Действует первое подходящее правило:
- Не пройдено, если какой-либо лист не пройден.
- Заблокировано, если какой-либо лист заблокирован.
- Пройдено, если все листья пройдены.
- Не выполнялся, если ни один лист не выполнялся.
- Выполняется в остальных случаях.
Test Suite — это Artifact с меткой Test Suite. Он содержит свои тестовые случаи через source of (или referenced by в импортированных данных). Тестовые случаи, не входящие ни в один набор, показываются в разделе Тестовые случаи без набора.
Статус верификации требования
Каждое требование получает собственный статус от своих верифицирующих тестовых случаев (тех, что верифицируют его напрямую, и тех, что трассированы от его Verification Requirement):
| Собственный статус | Правило |
|---|---|
| Не пройдено | Верифицирующий тестовый случай не пройден. |
| Пройдено | Верифицирующий тестовый случай пройден (и ни один не провален). |
| Не выполнялся | Верифицирующие тестовые случаи есть, ни один не пройден и не провален. |
| Только запланировано | Тестового случая нет, но задан Verification Method (у требования или у одного из его Verification Requirement). |
| Не верифицировано | Нет ни тестового случая, ни Verification Method. |
Сведённый статус следует декомпозиции (decomposed by). Для родительского требования:
- Он Пройдено, если у требования есть собственный пройденный тест или если все его дочерние требования пройдены.
- Он Не пройдено, если где-либо ниже есть провал.
- Иначе он принимает собственный статус или статус наименее покрытого дочернего элемента — тот, что продвинулся дальше. Порядок: Не верифицировано → Только запланировано → Не выполнялся.
Верифицировано всегда означает “Пройдено”.
Циклы тестирования
Цикл тестирования — это сохранённый снимок результатов набора: статус и фактический результат каждого листового тестового случая. Сохраняйте его в конце каждой кампании, затем сбрасывайте набор в “Не выполнялся” для следующей. Циклы можно сравнивать друг с другом или с текущими результатами и возвращаться к циклу.
Как использовать
Когда и зачем
Планируйте верификацию во время написания требований, а не после того, как проект построен. Если вы не можете указать метод и критерии успеха требования, то в такой формулировке требование обычно не верифицируемо.
Обычный порядок:
- Анализ требований: задайте Verification Method, Level и Success Criteria для каждого требования.
- Проектирование: напишите тестовые случаи и свяжите их с требованиями, которые они верифицируют. Записи анализа, демонстрации и инспекции — тоже тестовые случаи.
- Интеграция и испытания: выполните тестовые случаи и запишите результаты и свидетельства. Создавайте Issue для провалов. Сохраняйте цикл тестирования для каждой кампании.
- Рецензирование и приёмка: отчитывайтесь о покрытии с помощью RVTM.
Планирование верификации для каждого требования
Задайте каждому требованию метод, уровень и критерии успеха. Делайте это в карточке покрытия Центра тестирования.
- Откройте Верификация → Центр тестирования.
- Прокрутите до Покрытие верификацией.
Вы увидите каждое ещё не верифицированное требование.
- В строке нажимайте кнопки методов, чтобы включать и выключать методы: A (анализ), D (демонстрация), I (инспекция), T (тест).
Требование переходит из Не верифицировано в Только запланировано.
- Выберите уровень в Уровень…: компонент, подсистема или система.
- Нажмите + Критерии.
- Введите измеримый результат и нажмите Сохранить.
Теперь на кнопке написано Критерии ✓.
Эти атрибуты можно также редактировать в инспекторе любого требования.
Создание наборов тестов и тестовых случаев
- В заголовке страницы нажмите + Создать ▾ → Набор тестов….
- Введите Номер (например,
TS-3), Имя и Описание. - Нажмите Создать.
Вы увидите новую карточку набора.
- На карточке набора нажмите + Тестовый случай.
- В диалоге Создать элемент назовите тестовый случай.
Тестовый случай добавляется в набор со статусом “Не выполнялся”.
- В строке тестового случая нажмите + в столбце Верифицирует.
- Выберите требования, которые верифицирует тестовый случай.
- Введите Ожидаемый результат в строке.
- Напишите процедуру в описании тестового случая — в инспекторе или в виде элемента.
Написание пошаговой процедуры
Шаги необязательны. Тестовый случай без шагов выполняется целиком.
- В строке тестового случая нажмите + Шаги.
- Нажмите + Добавить шаг для каждого шага.
- Заполните Action и Ожидаемый результат для каждого шага.
- Меняйте порядок кнопкой ↑, а шаг удаляйте кнопкой ×.
- Нажмите Применить.
Теперь на кнопке написано Шаги (N).
Другие способы создать тестовый случай
- Из карточки покрытия: в Покрытие верификацией нажмите + Тестовый случай в строке требования. Создаётся Verify <requirement name>, уже связанный с требованием, в разделе “Тестовые случаи без набора”.
- С помощью ИИ: выберите требование в документе или в его виде элемента. Выберите ✦ ИИ ▾ → Сгенерировать тестовый случай…. ИИ составляет черновик имени, упорядоченных шагов, подготовки, ожидаемого результата и метода. Проверьте черновик в Проверка тестового случая — <requirement>, затем нажмите Создать тестовый случай. См. ИИ.
Выполнение тестов и запись результатов
Режим прогона проводит вас по тестам по одному и записывает каждый результат с его свидетельствами.
- Необязательно: чтобы выполнить только некоторые тесты, щёлкните фильтр по статусу, например Не выполнялся (12). Выполняются только листовые тестовые случаи с этим статусом.
- В заголовке страницы нажмите Выполнить набор.
Диалог Выполнить набор открывается на первом тесте со статусом “Не выполнялся”.
- Один раз заполните поля сеанса: Тестировщик (по умолчанию ваше имя), Конфигурация / сборка и Объект испытаний. В линейке продуктов, просматриваемой как “Все конфигурации”, сначала выберите Записать результаты для: конфигурацию, на которой выполнялся тест, или Без конфигурации. ✔ Пройдено, ✘ Не пройдено и Заблокировано ждут вашего выбора (Линейки продуктов).
- Прочитайте Процедура, Set Up, Шаги и Ожидаемый результат теста.
- Выполните тест. Для каждого шага введите фактическое значение и выберите Пройдено/не пройдено.
- Опишите Фактический результат.
- Проверьте Дата и время.
- Нажмите Приложить подтверждение…, чтобы добавить журнал, файл данных или фотографию.
- Нажмите ✔ Пройдено, ✘ Не пройдено или Заблокировано.
Диалог переходит к следующему тесту. Чтобы перейти без записи, нажмите Пропустить. Чтобы вернуться, нажмите ‹ Назад.
- После ✘ Не пройдено нажмите + Создать Issue, затем Далее ›.
Диалог сообщает Записано. Создайте Issue, чтобы отслеживать провал; он связывается с этим тестовым случаем и требованиями, которые тот верифицирует.
- Повторите шаги 4–10 для каждого теста.
В конце Запуск завершён показывает полосу статусов с количеством. Рецензирование с начала возвращает к первому тесту.
Каждый записанный результат отменяется одним нажатием “Отменить”. Он делает всё следующее:
- обновляет Status, Actual Result, Tested By, Test Date, Configuration, Test Article и Test Evidence тестового случая
- сохраняет результаты шагов
- добавляет запись в журнал прогонов теста
Чтобы записать результат без режима прогона, щёлкните статус в строке тестового случая (например, Не выполнялся) и выберите новый, затем щёлкните текст Фактический результат и введите результат. Enter или F2 на значении в фокусе тоже открывает его; Escape оставляет его без изменений.
Чтобы выполнить тест снова, нажмите ↻ Повторить запуск в его строке (показывается, когда у теста есть результат). Диалог прогона открывается только на этом тесте, не возвращая его в “Не выполнялся”; новый результат добавляется в журнал прогонов рядом с прежними.
Импорт результатов из другой системы тестирования
Когда тесты выполняются в другом месте, например на автоматизированном стенде или в конвейере CI, импортируйте их результаты, а не вводите вручную. Holarch читает отчёты JUnit XML (их создают большинство средств запуска тестов и систем CI), файлы CSV и книги Excel (.xlsx).
- В заголовке страницы нажмите Импортировать результаты….
- Нажмите Выбрать файл… и выберите файл результатов.
- Выберите, с какими тестовыми случаями сопоставлять: Искать тестовые случаи в (во всех или в одном наборе) и Сопоставлять по (Номер, затем имя, Номер, Имя или Глобальный ID).
- Для файла CSV или Excel проверьте столбцы, которые Holarch определил по заголовку: Столбец тестового случая и Столбец статуса обязательны; столбцы Фактический результат, Дата, Тестировщик, Конфигурация и Объект испытаний необязательны.
- Необязательно: заполните Тестировщик, Дата теста, Конфигурация / сборка и Объект испытаний для того, чего нет в файле.
- Проверьте предпросмотр: каждый сопоставленный тестовый случай с изменением статуса и строки, которые не соответствуют ни одному тестовому случаю, соответствуют нескольким или были пропущены.
- Нажмите Записать результаты (N).
Все результаты записываются, и одно нажатие “Отменить” возвращает всё назад. Каждый обновляет Status, Tested By, Test Date, Configuration и Test Article тестового случая и добавляет в его журнал прогонов запись с именем файла. Ничего не создаётся.
- Слова статуса: pass, passed, ok и success записывают “Пройдено”; fail, failed, failure и error — “Не пройдено”; blocked, in progress и not run записывают соответствующие статусы. Пропущенные тесты (JUnit
<skipped>или skipped в столбце статуса) не меняются. - Фактический результат: сообщение об ошибке JUnit или столбец Actual Result становится Actual Result. Если его нет, Actual Result остаётся прежним.
- Повторяющиеся тестовые случаи: если файл называет тестовый случай дважды, побеждает более поздняя строка; более ранняя указывается как пропущенная.
- Родительские тестовые случаи: тестовый случай с дочерними тестовыми случаями не записывается; его статус сводится из дочерних.
Чтобы записывать результаты из конвейера CI, не открывая Holarch, отправляйте их в REST API (POST …/test-results) или позвольте клиенту ИИ предложить их с помощью инструмента MCP record_test_results. Оба способа записывают результат так же, как Импортировать результаты…, включая запись в журнале прогонов (Результаты тестов).
Сохранение цикла тестирования
Сохраняйте цикл по окончании кампании испытаний.
- На карточке набора нажмите Начать новый цикл… (или ⋯ → Начать новый цикл…).
- В диалоге Начать новый цикл тестирования дайте циклу имя (по умолчанию Test Cycle N).
- Проверьте Конфигурация / сборка и Объект испытаний. Оба поля изначально содержат значение, чаще всего записанное в прогоне; они печатаются в отчёте об испытаниях цикла.
- Нажмите одну из кнопок:
- Записать и начать новый: сохраняет результаты, затем устанавливает каждому Status в наборе “Не выполнялся” и очищает фактические результаты.
- Только записать: сохраняет результаты и оставляет их в тестовых случаях.
Цикл хранит статус, фактический результат, тестировщика, дату теста, конфигурацию, объект испытаний, имя файла подтверждения и результаты шагов каждого тестового случая.
Чтобы позже просмотреть, сравнить, вернуть или удалить циклы, нажмите ⋯ → Циклы тестирования… (N) на карточке набора. Для отчётного документа нажмите ⋯ → Отчёт об испытаниях…: он записывает отчёт об испытаниях цикла в Word, Excel, CSV или как веб-страницу (см. Генерация документов).
Отчёт о покрытии
- Откройте Верификация → RVTM.
Первая карточка показывает верифицировано / всего с индикатором выполнения. Остальные карточки считают Не пройдено, Не выполнялся, Только запланировано и Не верифицировано.
Столбцы номера и требования остаются видимыми при горизонтальной прокрутке широкой таблицы. Если метка статуса сокращена, чтобы поместиться (в некоторых языках), наведите на неё указатель, чтобы увидеть полный текст.
- Необязательно: щёлкните карточку, чтобы перечислить только эти требования.
- Нажмите Экспорт ▾.
- Выберите Excel (.xlsx), CSV или Word (.docx).
Рабочий пример: демо CubeSat EO-1
Создайте демо через Управление проектами → Файлы проекта ▾ → Новый демо-проект, затем:
- Откройте Верификация → RVTM.
Первая карточка показывает 11 / 32 Верифицировано (успешно). Остальные показывают 3 “Не пройдено”, 12 “Не выполнялся”, 3 “Только запланировано” и 3 “Не верифицировано”.
- Найдите 1.6 Revisit Time.
Собств. — Только запланировано: метод — Analysis, но собственного теста нет. Статус — Не выполнялся. Статус сводится из дочерних:
- 1.6.1 Ground Track Repeat пройдено по TC-13.
- 1.6.2 Off-Nadir Imaging верифицируется TC-14, который не выполнялся.
Наименее покрытый дочерний элемент — “Не выполнялся”, что дальше, чем “Только запланировано”.
- Щёлкните карточку Не пройдено.
2.1 Pointing Accuracy и 2.2 Pointing Stability не пройдены из-за TC-04 Pointing Accuracy Test. 4.3 не пройдено из-за TC-09 Safe Mode Entry Test.
- Откройте Верификация → Центр тестирования.
Карточки показывают 22 тестовых случая в 3 наборах. В TS-1 Spacecraft Qualification Tests строка TC-04 показывает J. Alvarez · 2026-10-02 10:15 · 📎 tc04-pointing-errors.csv и Issue: Test failure: Pointing Accuracy Test.
- В строке TC-04 нажмите Шаги (3).
Шаг 3 не пройден с результатом 0.14 degrees on targets 7, 12 and 18.
- В TS-1 нажмите ⋯ → Циклы тестирования… (2).
- Сравните Flatsat Cycle 1 → Flatsat Cycle 2.
TC-03 и TC-06 изменились с “Не выполнялся” на “Пройдено”. Изменённые строки выделены.
Теперь повторите TC-09 после исправления сторожевого таймера:
- Нажмите фильтр Не пройдено (2), затем Выполнить набор.
Прогон открывается на TC-04.
- Нажмите Пропустить, чтобы перейти к TC-09.
- Введите Flight software 2.3.2 в Конфигурация / сборка.
- Введите Safe mode in 8 seconds в Фактический результат.
- Нажмите ✔ Пройдено.
- Снова откройте RVTM.
4.3 теперь пройдено, а первая карточка показывает 12 / 32.
Наконец, спланируйте неверифицированное требование:
- В Покрытие верификацией найдите 2.5 Safe Mode Recovery (не верифицировано).
- Нажмите T, выберите Система в Уровень… и добавьте критерии.
- Нажмите + Тестовый случай, чтобы начать его тест.
Советы и рекомендации
- Записывайте критерии успеха как измеримые числа с условиями, например Range ≥ 25 km in 3 of 3 flights at 20 °C. Не повторяйте требование.
- Верифицируйте листовые требования, а родители пусть сводятся. Проверка модели Requirement.10 отмечает листовые требования без верифицирующего тестового случая. Родители покрываются через дочерние.
- Используйте один тестовый случай на каждое событие верификации, даже для Analysis, Inspection и Demonstration. Тогда RVTM показывает свидетельства для каждого метода.
- Записывайте конфигурацию при каждом прогоне. Когда результат меняется между циклами, журнал прогонов показывает, какая сборка это вызвала.
- Создавайте Issue для каждого провала. Проверка модели TestCase.1 отмечает непройденные тестовые случаи без связанного Issue.
Типичные ошибки
- Попытка задать “Пройдено” у родительского тестового случая. Родители показывают сведённый статус своих дочерних элементов, и задать его нельзя. Записывайте результаты в листьях.
- Связь требования с его тестом через traced to вместо verifies. Требование остаётся “Только запланировано” или “Не верифицировано”. Используйте + в строке тестового случая — так создаётся verifies.
- Тестовый случай, который ничего не верифицирует. Он учитывается в Центре тестирования, но никогда — в RVTM.
Связь с другими функциями
- Получает данные из:
- требования и их декомпозиция (Требования)
- требования к интерфейсам у Conduit (Интерфейсы)
- результаты моделирования, которые могут верифицировать требование через Measure (Моделирование)
- Передаёт данные в:
- RVTM и его экспорт
- Issue для провалов, которые можно планировать как задачи на доске Kanban (Управление проектом)
- Проверки модели (Requirement.10, TestCase.1)
- карточки состояния на Главной и значок раздела “Верификация”
- базовые линии и пакеты рецензирования
- Матрица прослеживаемости: Открыть в матрице на карточке покрытия открывает требования × тестовые случаи по verified by; ⋯ → Открыть в ▸ Матрица прослеживаемости у набора открывает его иерархию.
Центр тестирования
Адрес: test-center; test-center?root=<id> разворачивает, прокручивает до тестового случая или набора и выбирает его (используется командой Открыть в ▾ → Центр тестирования у тестового случая).
Заголовок страницы
| Элемент управления | Действие |
|---|---|
| Экспорт ▾ | RVTM (CSV), RVTM (Excel), RVTM (Word). |
| + Создать ▾ | Набор тестов…, Тестовый случай… (тестовый случай вне набора). |
| Импортировать результаты… | Записывает результаты из файла JUnit XML, CSV или Excel в соответствующие тестовые случаи после предпросмотра. См. Импорт результатов из другой системы тестирования. |
| Выполнить набор | Открывает режим прогона для каждого листового тестового случая (или только для соответствующих фильтру по статусу). Недоступно, если тестовых случаев нет. |
Карточки состояния и фильтры
- Тестовые случаи: число листовых тестовых случаев и число наборов.
- Выполнено: процент и число листьев со статусом, отличным от “Не выполнялся”.
- Пройдено: процент и число пройденных листьев.
- Не пройдено: число непройденных листьев и число заблокированных.
Под карточками:
- Полоса статусов.
- Фильтры Все (N), Не выполнялся, Выполняется, Заблокировано, Не пройдено и Пройдено, каждый с числом. Щёлкните фильтр ещё раз, чтобы сбросить его.
- Справа — сортировка наборов: По номеру, По имени или По дате изменения.
- Поиск тестовых случаев: ищет по номеру, имени или описанию. Набор, имя которого совпадает, показывает все свои тестовые случаи.
Карточка набора
Заголовок показывает ▾/▸ (свернуть), ссылку на набор, метку Набор тестов, сведённый статус, число тестов, число циклов, мини-полосу статусов и:
- + Тестовый случай — создать тестовый случай в этом наборе.
- Начать новый цикл… — записать результаты как цикл и сбросить набор (см. выше).
- ⋯ (параметры набора). Пункты следуют процессу тестирования: выполнить и записать, отчитаться, открыть, затем дублировать и удалить.
| Предмет | Действие |
|---|---|
| Выполнить цикл… | Открывает режим прогона только для тестовых случаев этого набора, начиная с первого со статусом “Не выполнялся”. Недоступно, если в наборе нет тестовых случаев. |
| Начать новый цикл… | То же, что кнопка на карточке: записать результаты как цикл, затем сбросить набор. |
| Циклы тестирования… (N) | Открывает список циклов тестирования. |
| Отчёт об испытаниях… | Открывает Отчёт об испытаниях по последнему циклу: выберите цикл (или текущие результаты) и формат (по умолчанию Word), затем нажмите Экспорт. |
| Тестовые случаи (Word)… | Записывает документ Word с тестовыми случаями набора. |
| Экспортировать CSV | <suite>.csv: Number, Name (с отступом по глубине), Description, Set Up, Expected Result, Actual Result, Status, Status Roll-Up, Verifies. |
| Экспортировать JSON | <suite>.json: набор, его циклы тестирования и дерево тестовых случаев с верифицируемыми требованиями. |
| Открыть как документ | Открывает набор как документ. |
| Открыть в ▸ | Представление элемента (вид элемента набора) или Матрица прослеживаемости (матрица с набором в качестве корня). |
| Дублировать | Копирует набор и его тестовые случаи (<suite> (Copy)) с их связями verifies, статусы сбрасываются в “Не выполнялся”, а фактические результаты очищаются. Уведомление: Дублировано как <name>. |
| Удалить… | Удалить набор тестов: удаляет набор; отметьте Также удалить его тестовые случаи (N), чтобы удалить и их. |
Таблица тестовых случаев
| Столбец | Содержимое |
|---|---|
| Номер | Номер тестового случая. |
| Тестовый случай и процедура | Имя (ссылка на вид элемента) и описание; ▾/▸ для дочерних тестовых случаев. |
| Ожидаемый результат | Текст (до трёх строк; щёлкните, чтобы редактировать в поле) и + Шаги / Шаги (N). Родители показывают —. |
| Фактический результат | Текст (щёлкните, чтобы редактировать); под ним — тестировщик и дата последнего прогона, с конфигурацией и объектом испытаний при наведении и ссылкой 📎 на файл подтверждения. Непройденный тест показывает Issue: <issue> или + Создать Issue. |
| Статус | Метка статуса (Не выполнялся, Выполняется, Заблокировано, Не пройдено, Пройдено); щёлкните, чтобы выбрать другой. ↻ Повторить запуск рядом с ней, когда у теста есть результат. Родители показывают сведённый статус. |
| Верифицирует | Верифицируемые требования, каждое с × (Убрать verifies, показывается при наведении на требование), и + (Связать требование, которое верифицирует этот тест). |
Щёлкните строку вне её полей, чтобы показать тестовый случай в инспекторе. Пустой набор: В этом наборе нет тестовых случаев. Добавьте один через + Тестовый случай. Нет совпадений: Ни один тестовый случай не соответствует фильтру. Очистите фильтр, чтобы увидеть все.
Диалог “Шаги теста”
Заголовок: Шаги теста — <test case>. Столбцы таблицы:
- #
- Action (заполнитель Сделайте это)
- Ожидаемый результат (Ожидайте это)
- Фактический результат (Наблюдалось)
- Пройдено/не пройдено (—, Пройдено, Не пройдено)
- ↑ (Переместить вверх) и × (Убрать шаг)
Под таблицей: + Добавить шаг, Отмена и Применить. Пустые шаги отбрасываются при применении. Без шагов диалог показывает Шагов пока нет. Тестовый случай без шагов выполняется целиком.
Диалог “Выполнить набор”
| Часть | Содержимое |
|---|---|
| Сеанс | Тестировщик (Ваше имя), Конфигурация / сборка (Сборка, версия или конфигурация), Объект испытаний (Изделие или серийный номер), Этап (Development, Qualification, Acceptance, Integration, Operational) и Событие (например, Thermal vacuum 1). Заполняется из последнего прогона первого теста; этап и событие сохраняются в каждом записанном вами тесте. |
| Ход выполнения | Тест N из M, имя набора и индикатор выполнения. |
| Heading | Тестовый случай, текущий статус и выполнялся N раз, последний раз <date>. |
| Основная часть | Процедура, Set Up, Шаги (Action, Expected, Actual, Pass/Fail), Ожидаемый результат, Фактический результат, Дата и время, Подтверждение (Приложить подтверждение… и имена файлов или Текущий: <file> / Нет файла). Можно выбрать несколько файлов: первый становится подтверждением теста, остальные добавляются в его список подтверждений. |
| Кнопки | ‹ Назад, Пропустить, Заблокировано, ✘ Не пройдено, ✔ Пройдено; Закрыть внизу. |
Тестовые случаи (Word)
- Имя файла: по умолчанию <suite> Test Cases.
- Выбрать атрибуты: Номер, Описание, Set Up, Expected Result, Actual Result, Status, Сводка статусов, Верифицирует, а также все остальные атрибуты Test Case (Tested By, Test Date, Configuration, Test Article, Test Evidence и пользовательские). Номер, описание, Expected Result, Actual Result и Status отмечены по умолчанию.
- Скачать: записывает титульный раздел (число тестовых случаев и дата создания) и по разделу на каждый тестовый случай.
Диалог “Циклы тестирования”
Заголовок: Циклы тестирования — <suite>.
- Таблица циклов: Цикл тестирования, Сохранено и Результаты (мини-полоса статусов и пройдено N/M), с Просмотр, Отчёт… (отчёт об испытаниях цикла), Вернуть и Удалить в каждой строке.
- Вернуть спрашивает Записать статусы и фактические результаты, сохранённые в “<name>”, обратно в тестовые случаи?
- Сравнение: два селектора (любой цикл или Текущие результаты) и таблица Тестовый случай, До и После. Изменённые строки выделены.
- Внизу: Начать новый цикл… и Закрыть.
Без циклов диалог показывает Циклов тестирования пока нет. “Начать новый цикл…” записывает текущие результаты и сбрасывает набор.
Покрытие верификацией
Последняя карточка на странице. Используйте её, чтобы планировать верификацию и находить требования, которым ещё нужны тесты.
- Заголовок: Требований, верифицированных пройденным тестом: N из M (P%), с Открыть в матрице.
- Полоса статусов и фильтры: Не верифицировано (N) (по умолчанию), Все (N) и по фильтру на каждый статус.
- Примечание: Верифицировано = верифицирующий тестовый случай пройден. Родительское требование верифицировано, если у него есть собственный пройденный тест или все его дочерние требования верифицированы. Кнопки методов: анализ, демонстрация, инспекция, тест.
Каждая строка показывает слева направо:
- метку статуса (наведите на неё указатель, чтобы увидеть собственный статус, если он отличается)
- ссылку на требование и число тестов
- кнопки методов A D I T
- Уровень…
- + Критерии или Критерии ✓, когда критерии заданы
- + Тестовый случай
Показывается до 300 строк, затем …и ещё N. Когда все верифицированы, карточка показывает Каждое требование верифицировано пройденным тестом.
Файлы свидетельств
Подтверждение (n) под тестовым случаем открывает его список подтверждений. Храните с тестом каждый журнал, фотографию и лист данных прогона.
- Добавить файлы… прикрепляет один или несколько файлов, и одно нажатие “Отменить” возвращает всё назад.
- Каждый файл — это Artifact с меткой Verification Evidence, содержащий файл, на который тестовый случай references.
- Скачать сохраняет файл; Убрать удаляет его Artifact.
Под статусом тестовый случай показывает свои Verification Stage и Verification Event, если они заданы.
Создание Issue
+ Создать Issue появляется у непройденного теста — в строке и в режиме прогона. Создаётся Issue:
- с именем Test failure: <test case> и статусом Open
- с описанием, содержащим ожидаемый и фактический результаты
- связанный с тестовым случаем (causes или related to) и с каждым требованием, которое верифицирует тест
Уведомление: Создан Issue <name>.
При включённой формальной программе непройденный тест показывает вместо этого Решение…. Оно записывает несоответствие и при необходимости разрешение на отступление. См. Формальная программа.
RVTM
Адрес: rvtm, с rvtm?status=<status> и ?q=<text>.
Заголовок страницы
| Элемент управления | Действие |
|---|---|
| Экспорт ▾ | Excel (.xlsx) (RVTM.xlsx), CSV (RVTM.csv) или Word (.docx) (Requirements Verification Traceability Matrix, по разделу на каждое требование с его формулировкой). |
| Центр тестирования | Открывает Центр тестирования. |
Все три экспорта содержат Requirement Number, Requirement, Verification Method, Verification Level, Success Criteria, Verified By (каждый тестовый случай со сведённым статусом), Own Status, Status (сведённый), Verification Stage и Verification Event. При включённой формальной программе добавляются Deviations and Waivers и Closure.
Карточки
Верифицировано (успешно) показывает верифицировано / всего с индикатором выполнения. Не пройдено, Не выполнялся, Только запланировано и Не верифицировано показывают количество.
RVTM перечисляет собственные требования проекта. Требования в документе с меткой Customer Specification не входят в его строки и итоги; их оценивает Матрица соответствия вместе с верификацией ваших требований, которые на них отвечают.
Щёлкните карточку, чтобы отфильтровать таблицу (Показаны только эти. Щёлкните, чтобы показать все.). Щёлкните чип Статус: <status> ×, чтобы сбросить фильтр.
Таблица
| Столбец | Содержимое |
|---|---|
| # | Номер требования. |
| Требование | Имя со ссылкой на вид элемента. ⚠ после имени означает, что одна из связей требования требует рецензирования: изменилось требование или элемент выше по цепочке. |
| Метод | Методы верификации или —. |
| Уровень | Verification Level или —. |
| Чем верифицируется | Верифицирующие тестовые случаи или Нет теста. ⚠ после тестового случая означает, что его связь верификации требует рецензирования; подсказка показывает, что и когда изменилось. |
| Этап | Этапы верификации верифицирующих тестовых случаев или —. |
| Доказательства | Число файлов подтверждений тестовых случаев плюс отчёты, которые верифицируют требование напрямую. Щёлкните, чтобы добавить отчёт, например анализ. |
| Собств. | Собственный статус. |
| Статус | Сведённый статус. |
| Отклонение/отступление | Только для формальной программы. Отклонения и разрешения на отступление по требованию с их статусом или Решение… для непройденного результата. |
| Закрытие | Только для формальной программы. Подписать…, Закрыто с именем и датой и Открыть снова или Открыто. См. Формальная программа. |
RVTM | VCRM переключает таблицу. VCRM (матрица перекрёстных ссылок верификации) — представление для планирования: столбцы I, A, D и T отмечают методы (инспекция, анализ, демонстрация, тест), затем Уровень, Этап, Событие, Verified by и Статус.
Фильтр по номеру или имени сужает строки. Щёлкните строку (или нажмите Enter), чтобы показать требование в инспекторе.
Наведите указатель на ⚠ у требования, чтобы увидеть, какие элементы изменились с последнего рецензирования его связей. Щёлкните его, чтобы открыть диалог Связи для рецензирования — <requirement>: каждая связь для рецензирования на любом конце требования с Сравнение и Отметить как проверенное…, а также Открытые связи для рецензирования для всего списка (Связи для рецензирования). Экспорт не включает флаги подозрения: его столбцы статуса содержат только результаты верификации.
Сочетания клавиш
| Клавиша | Где | Действие |
|---|---|---|
| Enter / Space | Строка RVTM | Показать требование в инспекторе |
| ↑ / ↓ | RVTM | Переход между строками |
| Esc | RVTM | Снять выделение |
| ⌘K / Ctrl+K | Везде | Поиск действий, например Экспортировать RVTM (Excel) |
Сообщения
| Сообщение | Значение |
|---|---|
| Требуется имя или номер | Создание набора без того и другого. |
| Нечего выполнять: нет подходящих тестовых случаев. Добавьте тестовые случаи или очистите фильтр по статусу. | “Выполнить набор” не нашёл листовых тестовых случаев, соответствующих фильтру. |
| Цикл тестирования сохранён / Цикл тестирования сохранён; статусы сброшены в “Не выполнялся” | Только записать / Записать и начать новый. |
| Создан тестовый случай <name> | + Тестовый случай в карточке покрытия. |
| <file> (только имя: больше 10 MB) | Файл подтверждения больше предела на файл (10 MB на тарифе Free, считается как 10 × 1 048 576 байт); записывается только его имя. |
| В этом проекте нет требований. Напишите или импортируйте требования, затем свяжите тестовые случаи через “verified by”. | RVTM пуст. |
| Ни одно требование не соответствует этому фильтру. Очистите фильтр, чтобы показать все требования. | Фильтр RVTM скрывает все строки. |
| Установите флажок, чтобы создать этот тестовый случай. | «Сгенерировать тестовый случай» нашёл в черновике ИИ веб-адрес; подтвердите его перед созданием. |
Ограничения
- Файлы свидетельств тестов: 10 МБ (10 485 760 байт) на файл в тарифе Free; 25 МБ (26 214 400 байт) в платных тарифах. Более крупные файлы записываются только по имени. Свидетельства учитываются в хранилище проекта (см. Хранилище и ограничения).
- Карточка покрытия показывает первые 300 требований текущего фильтра.
- В тестовом случае хранится один файл свидетельства (последний); журнал прогонов хранит имя файла свидетельства каждого прогона.
Связанные материалы
- Руководство: Матрица верификации требований (RVTM): столбцы, методы и разобранный пример — метод, на котором основана RVTM.
- Интерфейсы — требования к интерфейсам и ICD.
- Бюджеты и TPM — Measure, отслеживающие характеристики относительно пороговых значений.
- Управление проектом — планирование исправлений для не пройденных тестов.
- Справка: Настройка верификации, выполнение набора и формирование RVTM, RVTM, Центр тестирования, Матрица прослеживаемости, Проверки модели, Моделирование и проверка по требованию.