Верифікація
Верифікація
Плануйте, як верифікується кожна вимога, організовуйте тестові випадки в набори, виконуйте тести з результатами кроків і доказами, зберігайте цикли тестування та звітуйте про покриття в RVTM.
На цій сторінці
- Огляд
- Поняття
- Як користуватися
- Коли й навіщо
- Спланувати верифікацію для кожної вимоги
- Створити набори тестів і тестові випадки
- Написати покрокову процедуру
- Інші способи створити тестовий випадок
- Виконати тести й записати результати
- Імпортувати результати з іншої системи тестування
- Зберегти тестовий цикл
- Звітувати про покриття
- Робочий приклад: демопроєкт CubeSat EO-1
- Поради та добрі практики
- Типові помилки
- Як це пов’язано з іншими функціями
- Центр тестування
- RVTM
- Комбінації клавіш
- Повідомлення
- Обмеження
- Пов’язане
Огляд
Верифікація відповідає на одне питання для кожної вимоги: які докази показують, що її виконано?
Holarch зберігає все, що стосується верифікації, у тій самій моделі, що й вимоги:
- план: метод верифікації, рівень і критерії успіху
- тестові випадки, що виконують план
- результати кожного виконання
- підсумкове покриття
Оскільки все це живе в одній моделі, звіт про покриття завжди актуальний.
Група Верифікація на панелі навігації містить:
| Сторінка | Мета |
|---|---|
| RVTM | Матриця простежуваності верифікації вимог: кожна вимога з її методом, рівнем, тестовими випадками, що її верифікують, власним результатом і зведеним результатом. |
| Центр тестування | Набори тестів і тестові випадки, покрокові процедури, виконання тестів із доказами, тестові цикли та покриття вимог верифікацією. |
| Матриця простежуваності | Будь-який зв’язок у вигляді сітки, наприклад вимоги × тестові випадки. Див. Матриця простежуваності. |
| Перевірки моделі | Перевірки правил для всієї моделі, зокрема неверифікованих листкових вимог і невдалих тестів без Issue. Див. Перевірки моделі. |
Значок на панелі навігації біля Верифікація рахує невдалі тести й помилки перевірок моделі.
Поняття
Атрибути планування верифікації
Кожен Requirement має три атрибути планування:
| Атрибут | Значення | Значення |
|---|---|---|
| Verification Method | Analysis, Demonstration, Inspection, Test (будь-яке поєднання) | Як верифікується вимога. |
| Verification Level | Component, Subsystem, System | Рівень збирання, на якому її верифікують. |
| Success Criteria | Текст | Вимірюваний результат, що показує виконання вимоги. |
Мітки вимоги містять відповідні мітки Verification Method (Analysis, Demonstration, Inspection, Test). Задання атрибута або мітки оновлює інше в межах тієї самої зміни, і одне натискання “Відмінити” повертає назад і те, і інше. Тому імпортовані проєкти, що використовують мітки, поводяться так само, як проєкти, що використовують атрибут.
Verification Requirement (LML 2.0)
Verification Requirement — це Statement, що каже, що і як треба показати, перш ніж вимога вважатиметься виконаною. Це спосіб LML 2.0 зберігати план верифікації в окремому елементі, а не у вимозі. Він має:
| Атрибут | Значення |
|---|---|
| Verification Method | Analysis, Demonstration, Inspection, Test (будь-яке поєднання; інші методи додавайте в Схемі). |
| Acceptance Criteria | Результати, яких має досягти верифікація. |
| Докази | Вид запису, який треба зібрати й передати, як-от звіт про випробування чи протокол інспекції. |
| Обґрунтування | Чому вибрано цей метод, ці критерії й ці докази. |
Зв’яжіть його через verifies з вимогою (або активом), яку він охоплює, і через traced to з тестовими випадками, що його виконують. Тоді RVTM враховує ці тестові випадки як такі, що верифікують вимогу, бере метод і критерії приймання з Verification Requirement, коли вимога не має власних, і перелічує Verification Requirement у Verified By.
Обидві форми працюють пліч-о-пліч: тестовий випадок, що безпосередньо верифікує вимогу (форма LML 1.x), враховується так само, як раніше, а мітка Verification Requirement на вимозі залишається доступною.
Тестовий випадок також може назвати актив, що тестується, через evaluates (з боку активу: evaluated by).
Проєкти, створені до цих доповнень, зберігають свою схему; Схема → Додати нові вбудовані… додає до них клас Verification Requirement і відношення evaluates.
Тестові випадки й набори тестів
Test Case верифікує вимоги через зв’язок verifies (з боку вимоги: verified by). Тестовий випадок має:
- Опис: процедура.
- Set Up, Очікуваний результат, Фактичний результат.
- Event Conditions (умови, за яких виконується тест, як-от середовище, режим чи симульовані навантаження) і Event Constraints (обмеження на тестову подію, як-от незалежні свідки, точки зупинки чи правила вибірки). Діалог виконання показує їх, коли їх заповнено, а експорт набору в CSV має стовпець для кожного.
- evaluates: актив, що тестується.
- Status: Не виконано, In Progress, Заблоковано, Не пройдено або Пройдено.
- Кроки: необов’язкова нумерована процедура, кожен крок з Action, Expected Result, Actual Result і Pass/Fail.
- Докази виконання, які записує кожне записане виконання: Тестувальник, Дата тесту, Конфігурація (збірка чи версія, що тестується), Об’єкт випробування (одиниця або серійний номер) і Test Evidence (файл).
- Журнал виконань: кожне записане виконання з датою, статусом, тестувальником, конфігурацією, об’єктом, фактичним результатом, назвою файлу доказу й результатами кроків.
Тестовий випадок можна декомпонувати на дочірні тестові випадки. Статус батьківського зводиться з його листків. Перемагає перше правило, що спрацьовує:
- Не пройдено, якщо будь-який листок не пройдено.
- Заблоковано, якщо будь-який листок заблоковано.
- Пройдено, якщо всі листки пройдено.
- Не виконано, якщо жоден листок не виконувався.
- In Progress в інших випадках.
Test Suite — це Artifact з міткою Test Suite. Він містить свої тестові випадки через source of (або referenced by в імпортованих даних). Тестові випадки поза наборами з’являються в розділі Тестові випадки без набору.
Статус верифікації вимог
Кожна вимога отримує власний статус від тестових випадків, що її верифікують (тих, що верифікують її безпосередньо, і тих, що простежуються від її Verification Requirement):
| Власний статус | Правило |
|---|---|
| Не пройдено | Тестовий випадок, що верифікує, не пройшов. |
| Пройдено | Тестовий випадок, що верифікує, пройдено (і жоден не провалився). |
| Не виконано | Тестові випадки, що верифікують, існують, але жоден не пройдено й не провалено. |
| Лише заплановано | Немає тестового випадку, але задано Verification Method (у вимозі або в одному з її Verification Requirement). |
| Неверифіковано | Немає ні тестового випадку, ні Verification Method. |
Зведений статус іде за декомпозицією (decomposed by). Для батьківської вимоги:
- Вона Пройдено, коли має власний успішний тест або коли всі її дочірні вимоги мають статус «Пройдено».
- Вона Не пройдено, коли будь-де під нею є невдача.
- Інакше вона бере власний статус або статус своєї найменш покритої дочірньої вимоги — залежно від того, який просунувся далі. Порядок: Неверифіковано → Лише заплановано → Не виконано.
Verified завжди означає «Пройдено».
Цикли тестування
Тестовий цикл — збережений знімок результатів набору: статусу й фактичного результату кожного листкового тестового випадку. Зберігайте його наприкінці кожної кампанії, потім скидайте набір до «Не виконано» для наступної. Цикли можна порівнювати між собою або з поточними результатами й повертатися до циклу.
Як користуватися
Коли й навіщо
Плануйте верифікацію під час написання вимог, а не після побудови проєкту. Якщо ви не можете вказати метод і критерії успіху вимоги, то, як правило, вимога в такому формулюванні не піддається верифікації.
Звичайний процес:
- Аналіз вимог: задайте Verification Method, Level і Success Criteria для кожної вимоги.
- Проєктування: пишіть тестові випадки й пов’язуйте їх із вимогами, які вони верифікують. Записи аналізу, демонстрації та інспекції — це теж тестові випадки.
- Інтеграція й тестування: виконуйте тестові випадки й записуйте результати та докази. Створюйте Issue для невдач. Зберігайте тестовий цикл для кожної кампанії.
- Рецензування й приймання: звітуйте про покриття за допомогою RVTM.
Спланувати верифікацію для кожної вимоги
Задайте кожній вимозі метод, рівень і критерії успіху. Робіть це в картці покриття Центру тестування.
- Відкрийте Верифікація → Центр тестування.
- Прокрутіть до Покриття верифікацією.
Ви бачите кожну вимогу, яку ще не верифіковано.
- У рядку натискайте кнопки методів, щоб перемикати методи: A (Analysis), D (Demonstration), I (Inspection), T (Test).
Вимога переходить із Неверифіковано до Лише заплановано.
- Виберіть рівень у Рівень…: Component, Subsystem або System.
- Натисніть + Критерії.
- Введіть вимірюваний результат і натисніть Зберегти.
Тепер кнопка показує Критерії ✓.
Ці атрибути можна також редагувати в інспекторі будь-якої вимоги.
Створити набори тестів і тестові випадки
- У заголовку сторінки натисніть + Створити ▾ → Набір тестів….
- Введіть Number (наприклад,
TS-3), Name і Опис. - Натисніть Створити.
З’являється нова картка набору.
- На картці набору натисніть + Тестовий випадок.
- У Створити елемент назвіть тестовий випадок.
Тестовий випадок додається до набору зі статусом «Не виконано».
- У рядку тестового випадку натисніть + у стовпці Верифікує.
- Виберіть вимоги, які верифікує тестовий випадок.
- Введіть Очікуваний результат у рядку.
- Напишіть процедуру в описі тестового випадку, в інспекторі або в Поданні елемента.
Написати покрокову процедуру
Кроки необов’язкові. Тестовий випадок без кроків виконується цілком.
- У рядку тестового випадку натисніть + Кроки.
- Натисніть + Додати крок для кожного кроку.
- Заповніть Action і Очікуваний результат для кожного кроку.
- Змінюйте порядок через ↑, а вилучайте крок через ×.
- Натисніть Застосувати.
Тепер кнопка показує Кроки (N).
Інші способи створити тестовий випадок
- З картки покриття: у Покриття верифікацією натисніть + Тестовий випадок у рядку вимоги. Це створює Перевірити <requirement name>, уже пов’язаний із вимогою, у розділі «Тестові випадки без набору».
- За допомогою ШІ: виберіть вимогу в документі або в її Поданні елемента. Виберіть ✦ AI ▾ → Згенерувати тестовий випадок…. ШІ складає чернетку назви, упорядкованих кроків, налаштування, очікуваного результату й методу. Перегляньте чернетку в Перегляд тестового випадку — <requirement>, потім натисніть Створити тестовий випадок. Див. ШІ.
Виконати тести й записати результати
Режим виконання проводить вас через тести по одному й записує кожен результат із доказами.
- Необов’язково: щоб виконати лише деякі тести, клацніть фільтр статусу, наприклад Не виконано (12). Виконуються лише листкові тестові випадки з цим статусом.
- У заголовку сторінки натисніть Виконати набір.
Діалог Виконати набір відкривається на першому тесті зі статусом «Не виконано».
- Заповніть поля сеансу один раз: Тестувальник (типово ваше ім’я), Конфігурація / збірка і Об’єкт випробування. У лінійці продуктів, переглянутій як «Усі конфігурації», спочатку виберіть Записати результати для: конфігурацію, на якій виконувався тест, або Без конфігурації. ✔ Пройдено, ✘ Не пройдено і Заблоковано чекають, доки ви не виберете (Лінійки продуктів).
- Прочитайте Процедура, Set Up, Кроки і Очікуваний результат тесту.
- Виконайте тест. Для кожного кроку заповніть фактичне значення й виберіть Пройдено/не пройдено.
- Опишіть Фактичний результат.
- Перевірте Дата й час.
- Натисніть Додати доказ…, щоб додати журнал, файл даних або фото.
- Натисніть ✔ Пройдено, ✘ Не пройдено або Заблоковано.
Діалог переходить до наступного тесту. Щоб перейти без запису, натисніть Пропустити. Щоб повернутися, натисніть ‹ Назад.
- Після ✘ Не пройдено натисніть + Створити Issue, потім Далі ›.
Діалог повідомляє Записано. Створіть Issue, щоб відстежувати відмову; його буде пов’язано з цим тестовим випадком і вимогами, які він верифікує.
- Повторіть кроки 4–10 для кожного тесту.
Наприкінці Виконання завершено показує смугу статусів із кількостями. Перегляд від початку повертає до першого тесту.
Кожен записаний результат відміняється одним натисканням “Відмінити”. Він робить усе це:
- оновлює Status, Actual Result, Tested By, Test Date, Configuration, Test Article і Test Evidence тестового випадку
- зберігає результати кроків
- додає запис до журналу виконань тесту
Щоб записати результат без режиму виконання, клацніть статус у рядку тестового випадку (наприклад, Не виконано) і виберіть новий, потім клацніть текст Фактичний результат і введіть результат. Enter або F2 на значенні у фокусі теж відкриває його; Escape залишає його без змін.
Щоб виконати тест знову, натисніть ↻ Виконати знову в його рядку (показується, щойно тест має результат). Діалог виконання відкривається лише на цьому тесті, не скидаючи його до «Не виконано»; новий результат додається до журналу виконань поруч із попередніми.
Імпортувати результати з іншої системи тестування
Коли тести виконуються деінде, як-от на автоматизованому тестовому стенді чи в конвеєрі CI, імпортуйте їхні результати замість того, щоб вводити їх. Holarch читає звіти JUnit XML (їх записує більшість засобів запуску тестів і систем CI), файли CSV і книги Excel (.xlsx).
- У заголовку сторінки натисніть Імпортувати результати….
- Натисніть Вибрати файл… і виберіть файл результатів.
- Виберіть, які тестові випадки зіставляти: Зіставляти тестові випадки в (усі або один набір) і Зіставляти за (Номер, потім назва, Номер, Назва або Глобальний ID).
- Для файлу CSV чи Excel перевірте стовпці, які Holarch визначив за заголовком: Стовпець тестового випадку і Стовпець статусу обов’язкові; стовпці Фактичний результат, Дата, Тестувальник, Конфігурація і Об’єкт випробування необов’язкові.
- Необов’язково: заповніть Тестувальник, Дата тесту, Конфігурація / збірка і Об’єкт випробування для того, чого немає у файлі.
- Перевірте попередній перегляд: кожен зіставлений тестовий випадок зі зміною статусу та рядки, що не відповідають жодному тестовому випадку, відповідають кільком або були пропущені.
- Натисніть Записати N результатів.
Усі результати записуються, і одне натискання “Відмінити” повертає все назад. Кожен оновлює Status, Tested By, Test Date, Configuration і Test Article тестового випадку й додає до його журналу виконань запис із назвою файлу. Нічого не створюється.
- Слова статусу: pass, passed, ok і success записують «Пройдено»; fail, failed, failure і error записують «Не пройдено»; blocked, in progress і not run записують відповідні статуси. Пропущені тести (JUnit
<skipped>або skipped у стовпці статусу) залишаються без змін. - Фактичний результат: повідомлення про збій JUnit або стовпець Actual Result стає фактичним результатом. Без нього фактичний результат залишається як був.
- Повторені тестові випадки: коли файл називає тестовий випадок двічі, перемагає пізніший рядок; попередній перелічується як пропущений.
- Батьківські тестові випадки: тестовий випадок із дочірніми тестовими випадками не записується; його статус зводиться з дочірніх.
Щоб записувати результати з конвеєра CI без відкриття Holarch, надсилайте їх у REST API (POST …/test-results) або дозвольте клієнту ШІ запропонувати їх через інструмент MCP record_test_results. Обидва способи записують результат так само, як Імпортувати результати…, включно із записом у журналі виконань (Результати тестів).
Зберегти тестовий цикл
Зберігайте цикл, коли завершується тестова кампанія.
- На картці набору натисніть Почати новий цикл… (або ⋯ → Почати новий цикл…).
- У Почати новий тестовий цикл назвіть цикл (типово Тестовий цикл N).
- Перевірте Конфігурація / збірка і Об’єкт випробування. Обидва починаються зі значення, найчастіше записаного під час виконання; вони друкуються у Звіті про тестування циклу.
- Натисніть одне з:
- Записати й почати новий: зберігає результати, потім задає кожному Status у наборі значення «Не виконано» й очищує фактичні результати.
- Лише записати: зберігає результати й залишає їх у тестових випадках.
Цикл зберігає статус, фактичний результат, тестувальника, дату тесту, конфігурацію, об’єкт випробування, назву файлу доказу й результати кроків кожного тестового випадку.
Щоб пізніше переглядати, порівнювати, повертати чи видаляти цикли, натисніть ⋯ → Цикли тестування… (N) на картці набору. Для результату, що передається, натисніть ⋯ → Звіт про тестування…: він записує Звіт про тестування циклу у форматі Word, Excel, CSV або вебсторінки (див. Генерування документів).
Звітувати про покриття
- Відкрийте Верифікація → RVTM.
Перша картка показує verified / total зі смугою перебігу. Інші картки рахують Не пройдено, Не виконано, Лише заплановано і Неверифіковано.
Стовпці номера й вимоги залишаються видимими, коли широка таблиця прокручується вбік. Де мітку статусу скорочено, щоб вона вмістилася (у деяких мовах), наведіть на неї вказівник, щоб побачити повний текст.
- Необов’язково: клацніть картку, щоб перелічити лише ці вимоги.
- Натисніть Експорт ▾.
- Виберіть Excel (.xlsx), CSV або Word (.docx).
Робочий приклад: демопроєкт CubeSat EO-1
Створіть демонстраційний проєкт через Керувати проєктами → Файли проєкту ▾ → Новий демонстраційний проєкт, потім:
- Відкрийте Верифікація → RVTM.
Перша картка показує 11 / 32 Верифіковано (успішно). Інші показують 3 Не пройдено, 12 Не виконано, 3 Лише заплановано і 3 Неверифіковано.
- Знайдіть 1.6 Revisit Time.
Власні — Лише заплановано: метод — Analysis, але власного тесту немає. Статус — Не виконано. Статус зводиться з дочірніх елементів:
- 1.6.1 Ground Track Repeat пройдено завдяки TC-13.
- 1.6.2 Off-Nadir Imaging верифікує TC-14, який має статус «Не виконано».
Найменш покритий дочірній елемент має статус «Не виконано», що далі, ніж «Лише заплановано».
- Клацніть картку Не пройдено.
2.1 Pointing Accuracy і 2.2 Pointing Stability не пройдені через TC-04 Pointing Accuracy Test. 4.3 не пройдена через TC-09 Safe Mode Entry Test.
- Відкрийте Верифікація → Центр тестування.
Картки показують 22 тестові випадки в 3 наборах. У TS-1 Spacecraft Qualification Tests рядок TC-04 показує J. Alvarez · 2026-10-02 10:15 · 📎 tc04-pointing-errors.csv і Issue: Test failure: Pointing Accuracy Test.
- У рядку TC-04 натисніть Кроки (3).
Крок 3 не пройдено з 0.14 degrees on targets 7, 12 and 18.
- На TS-1 натисніть ⋯ → Цикли тестування… (2).
- Порівняйте Flatsat Cycle 1 → Flatsat Cycle 2.
TC-03 і TC-06 змінилися з «Не виконано» на «Пройдено». Змінені рядки підсвічено.
Тепер повторно виконайте TC-09 після виправлення сторожового таймера:
- Клацніть фільтр Не пройдено (2), потім Виконати набір.
Виконання відкривається на TC-04.
- Натисніть Пропустити, щоб дійти до TC-09.
- Введіть Flight software 2.3.2 як Конфігурація / збірка.
- Введіть Safe mode in 8 seconds як Фактичний результат.
- Натисніть ✔ Пройдено.
- Знову відкрийте RVTM.
4.3 тепер має статус «Пройдено», а перша картка показує 12 / 32.
Насамкінець сплануйте неверифіковану вимогу:
- У Покриття верифікацією знайдіть 2.5 Safe Mode Recovery (Неверифіковано).
- Натисніть T, виберіть System у Рівень… і додайте критерії.
- Натисніть + Тестовий випадок, щоб розпочати її тест.
Поради та добрі практики
- Пишіть критерії успіху як вимірювані числа з умовами, наприклад Range ≥ 25 km in 3 of 3 flights at 20 °C. Не повторюйте вимогу.
- Верифікуйте листкові вимоги, а батьківські нехай зводяться. Перевірка моделі Requirement.10 позначає листкові вимоги без тестового випадку, що їх верифікує. Батьківські покриваються через дочірні.
- Використовуйте один тестовий випадок на кожну подію верифікації, навіть для Analysis, Inspection і Demonstration. Тоді RVTM показує докази для кожного методу.
- Записуйте конфігурацію під час кожного виконання. Коли результат змінюється між циклами, журнал виконань показує, яка збірка це спричинила.
- Створюйте Issue для кожної невдачі. Перевірка моделі TestCase.1 позначає невдалі тестові випадки без пов’язаного Issue.
Типові помилки
- Спроба задати «Пройдено» батьківському тестовому випадку. Батьківські показують зведений статус своїх дочірніх, і його не можна задати. Записуйте результати на листках.
- Зв’язування вимоги з її тестом через traced to замість verifies. Вимога залишається «Лише заплановано» або «Неверифіковано». Використовуйте + у рядку тестового випадку, що створює verifies.
- Тестовий випадок, що нічого не верифікує. Він враховується в Центрі тестування, але ніколи в RVTM.
Як це пов’язано з іншими функціями
- Живиться від:
- вимоги та їхня декомпозиція (Вимоги)
- вимоги до інтерфейсів на Conduit (Інтерфейси)
- результати симуляції, які можуть верифікувати вимогу через Measure (Симуляція)
- Передає дані в:
- RVTM та її експорти
- Issue для невдач, які можна планувати як завдання на дошці Kanban (Управління проєктом)
- Перевірки моделі (Requirement.10, TestCase.1)
- Картки стану на Головній і значок «Верифікація»
- базові лінії й пакети рецензування
- Матриця простежуваності: Відкрити в матриці на картці покриття відкриває вимоги × тестові випадки за verified by; ⋯ → Open in ▸ Матриця простежуваності набору відкриває його ієрархію.
Центр тестування
Адреса: test-center; test-center?root=<id> розгортає, прокручує до тестового випадку чи набору й вибирає його (використовується Відкрити в ▾ → Центр тестування на тестовому випадку).
Заголовок сторінки
| Елемент керування | Дія |
|---|---|
| Експорт ▾ | RVTM (CSV), RVTM (Excel), RVTM (Word). |
| + Створити ▾ | Набір тестів…, Тестовий випадок… (тестовий випадок без призначення). |
| Імпортувати результати… | Записує результати з файлу JUnit XML, CSV або Excel у відповідні тестові випадки після попереднього перегляду. Див. Імпортувати результати з іншої системи тестування. |
| Виконати набір | Відкриває режим виконання для кожного листкового тестового випадку (або лише для тих, що відповідають фільтру статусу). Недоступно, коли тестових випадків немає. |
Картки стану й фільтри
- Тестові випадки: кількість листкових тестових випадків і кількість наборів.
- Виконано: відсоток і кількість листків, що не мають статусу «Не виконано».
- Пройдено: відсоток і кількість пройдених листків.
- Не пройдено: кількість непройдених листків із кількістю заблокованих.
Під картками:
- Смуга статусів.
- Фільтри Усі (N), Не виконано, In Progress, Заблоковано, Не пройдено і Пройдено, кожен зі своєю кількістю. Клацніть фільтр ще раз, щоб очистити його.
- Праворуч — сортування наборів: За номером, За назвою або За датою зміни.
- Шукати тестові випадки: шукає збіги за номером, назвою чи описом. Набір, назва якого збігається, показує всі свої тестові випадки.
Картка набору
Заголовок показує ▾/▸ (згортання), посилання на набір, мітку Test Suite, зведений статус, кількість тестів, кількість циклів, міні-смугу статусів і:
- + Тестовий випадок — створити тестовий випадок у цьому наборі.
- Почати новий цикл… — записати результати як цикл і скинути набір (див. вище).
- ⋯ (параметри набору). Пункти відповідають робочому процесу тестування: виконати й записати, звітувати, відкрити, потім дублювати й видалити.
| Елемент обміну | Дія |
|---|---|
| Виконати цикл… | Відкриває режим виконання лише для тестових випадків цього набору, починаючи з першого зі статусом «Не виконано». Вимкнено, коли набір не має тестових випадків. |
| Почати новий цикл… | Те саме, що кнопка картки: записати результати як цикл, потім скинути набір. |
| Цикли тестування… (N) | Відкриває список тестових циклів. |
| Звіт про тестування… | Відкриває Звіт про тестування для останнього циклу: виберіть цикл (або поточні результати) і формат (типово Word), потім Експортувати. |
| Тестові випадки (Word)… | Записує документ Word із тестовими випадками набору. |
| Експортувати CSV | <suite>.csv: Number, Name (з відступом за глибиною), Description, Set Up, Expected Result, Actual Result, Status, Status Roll-Up, Verifies. |
| Експортувати JSON | <suite>.json: набір, його тестові цикли й дерево тестових випадків із верифікованими вимогами. |
| Відкрити як документ | Відкриває набір як документ. |
| Відкрити в ▸ | Подання елемента (Подання елемента набору) або Матриця простежуваності (матриця з набором як коренем). |
| Дублювати | Копіює набір і його тестові випадки (<suite> (Copy)) з їхніми зв’язками verifies, статусами, скинутими до «Не виконано», і очищеними фактичними результатами. Сповіщення: Дубльовано як <name>. |
| Видалити… | Видалити набір тестів: видаляє набір; позначте Also delete its N test case(s), щоб видалити й їх. |
Таблиця тестових випадків
| Стовпець | Вміст |
|---|---|
| Номер | Номер тестового випадку. |
| Тестовий випадок і процедура | Назва (посилання на Подання елемента) й опис; ▾/▸ для дочірніх тестових випадків. |
| Очікуваний результат | Текст (до трьох рядків; клацніть, щоб редагувати в полі) і + Кроки / Кроки (N). Батьківські показують —. |
| Фактичний результат | Текст (клацніть, щоб редагувати); під ним — тестувальник і дата останнього виконання, з конфігурацією й об’єктом під час наведення та посиланням 📎 на файл доказу. Невдалий тест показує Issue: <issue> або + Створити Issue. |
| Статус | Мітка статусу (Не виконано, In Progress, Заблоковано, Не пройдено, Пройдено); клацніть її, щоб вибрати інший. ↻ Виконати знову поруч із нею, щойно тест має результат. Батьківські показують зведений статус. |
| Верифікує | Верифіковані вимоги, кожна з × (Вилучити verifies, показується, коли наводите вказівник на вимогу), і + (Пов’язати вимогу, яку верифікує цей тест). |
Клацніть рядок поза його полями, щоб показати тестовий випадок в інспекторі. Порожній набір: У цьому наборі немає тестових випадків. Додайте один через + Тестовий випадок. Немає збігів: Жоден тестовий випадок не відповідає фільтру. Очистьте фільтр, щоб побачити всі.
Діалог «Кроки тесту»
Заголовок: Кроки тесту — <test case>. Стовпці таблиці:
- #
- Action (заповнювач Зробити це)
- Очікуваний результат (Очікувати це)
- Фактичний результат (Спостережено)
- Пройдено/не пройдено (—, Pass, Fail)
- ↑ (Перемістити вгору) і × (Вилучити крок)
Під таблицею: + Додати крок, Скасувати і Застосувати. Порожні кроки відкидаються під час застосування. Без кроків діалог показує Кроків ще немає. Тестовий випадок без кроків виконується цілком.
Діалог «Виконати набір»
| Частина | Вміст |
|---|---|
| Сеанс | Тестувальник (Ваше ім’я), Конфігурація / збірка (Збірка, версія або конфігурація), Об’єкт випробування (Виріб або серійний номер), Етап (Development, Qualification, Acceptance, Integration, Operational) і Подія (наприклад, Thermal vacuum 1). Попередньо заповнюються з останнього виконання першого тесту; Етап і Подія зберігаються в кожному тесті, який ви записуєте. |
| Перебіг | Test N of M, назва набору й індикатор перебігу. |
| Heading | Тестовий випадок, поточний статус і run N times, last <date>. |
| Основна частина | Процедура, Set Up, Кроки (Action, Expected, Actual, Pass/Fail), Очікуваний результат, Фактичний результат, Дата й час, Докази (Додати доказ… і назви файлів або Поточний: <file> / Немає файлу). Можна вибрати кілька файлів: перший стає доказом тесту, інші додаються до його списку доказів. |
| Кнопки | ‹ Назад, Пропустити, Заблоковано, ✘ Не пройдено, ✔ Пройдено; Закрити внизу. |
Тестові випадки (Word)
- Ім’я файлу: типово <suite> Test Cases.
- Вибрати атрибути: Number, Description, Set Up, Expected Result, Actual Result, Status, Status Roll-Up, Verifies, плюс кожен інший атрибут Test Case (Tested By, Test Date, Configuration, Test Article, Test Evidence і власні). Number, Description, Expected Result, Actual Result і Status позначено типово.
- Завантажити: записує титульний розділ (кількість тестових випадків і дата створення) і по розділу на кожен тестовий випадок.
Діалог «Тестові цикли»
Заголовок: Цикли тестування — <suite>.
- Таблиця циклів: Тестовий цикл, Збережено і Результати (міні-смуга статусів і N/M passed), з Переглянути, Звіт… (Звіт про тестування циклу), Повернути і Видалити в кожному рядку.
- Повернути запитує Записати статуси та фактичні результати, збережені в “<name>”, назад у тестові випадки?
- Порівняти: два засоби вибору (будь-який цикл або Поточні результати) і таблиця Тестовий випадок, До і Після. Змінені рядки підсвічено.
- Унизу: Почати новий цикл… і Закрити.
Без циклів діалог показує Тестових циклів ще немає. «Почати новий цикл…» записує поточні результати та скидає набір.
Покриття верифікацією
Остання картка на сторінці. Використовуйте її, щоб планувати верифікацію й знаходити вимоги, яким досі потрібні тести.
- Заголовок: N of M requirements verified by a passing test (P%), з Відкрити в матриці.
- Смуга статусів і фільтри: Не верифіковано (N) (типово), Усі (N) і по фільтру на кожен статус.
- Примітка: Верифіковано = верифікаційний тестовий випадок пройдено. Батьківська вимога верифікована, якщо вона має власний успішний тест або всі її дочірні вимоги верифіковані. Кнопки методів: Analysis, Demonstration, Inspection, Test.
Кожен рядок показує зліва направо:
- мітку статусу (наведіть вказівник, щоб побачити власний статус, коли він відрізняється)
- посилання на вимогу й кількість тестів
- кнопки методів A D I T
- Рівень…
- + Критерії або Критерії ✓, щойно критерії задано
- + Тестовий випадок
Показується до 300 рядків, потім …і ще N. Коли всі верифіковано, картка показує Кожну вимогу верифіковано успішним тестом.
Файли доказів
Докази (n) під тестовим випадком відкриває його список доказів. Зберігайте кожен журнал, фото й аркуш даних виконання разом із тестом.
- Додати файли… вкладає один або кілька файлів, і одне натискання “Відмінити” повертає все назад.
- Кожен файл — це Artifact з міткою Verification Evidence, що містить файл і на який тестовий випадок references.
- Завантажити зберігає файл; Вилучити видаляє його Artifact.
Під статусом тестовий випадок показує свої Verification Stage і Verification Event, коли їх задано.
Створити Issue
+ Створити Issue з’являється на невдалому тесті, у рядку й у режимі виконання. Він створює Issue:
- з назвою Збій тесту: <test case> і статусом Open
- з описом, що містить очікуваний і фактичний результати
- пов’язаний із тестовим випадком (causes або related to) і з кожною вимогою, яку верифікує тест
Сповіщення: Створено Issue <name>.
З увімкненою формальною програмою невдалий тест натомість показує Рішення…. Воно записує невідповідність і, за потреби, поступку. Див. Формальна програма.
RVTM
Адреса: rvtm, з rvtm?status=<status> і ?q=<text>.
Заголовок сторінки
| Елемент керування | Дія |
|---|---|
| Експорт ▾ | Excel (.xlsx) (RVTM.xlsx), CSV (RVTM.csv) або Word (.docx) (Матриця простежуваності верифікації вимог (RVTM), по розділу на кожну вимогу з її формулюванням). |
| Центр тестування | Відкриває Центр тестування. |
Усі три експорти містять Requirement Number, Requirement, Verification Method, Verification Level, Success Criteria, Verified By (кожен тестовий випадок зі зведеним статусом), Own Status, Status (зведений), Verification Stage і Verification Event. З увімкненою формальною програмою вони додають Deviations and Waivers і Closure.
Картки
Верифіковано (успішно) показує verified / total зі смугою перебігу. Не пройдено, Не виконано, Лише заплановано і Неверифіковано показують кількості.
RVTM перелічує власні вимоги проєкту. Вимоги в документі з міткою Customer Specification не входять до її рядків і підсумків; їх оцінює Матриця відповідності разом із верифікацією ваших вимог, що на них відповідають.
Клацніть картку, щоб відфільтрувати таблицю (Показано лише ці. Клацніть, щоб показати всі.). Клацніть мітку Статус: <status> ×, щоб очистити фільтр.
Таблиця
| Стовпець | Вміст |
|---|---|
| # | Номер вимоги. |
| Вимога | Назва з посиланням на Подання елемента. ⚠ після назви означає, що один зі зв’язків вимоги потребує перевірки: змінилася вимога або елемент вище за нею. |
| Метод | Методи верифікації або —. |
| Рівень | Verification Level або —. |
| Верифікує | Тестові випадки, що верифікують, або No test. ⚠ після тестового випадку означає, що його зв’язок верифікації потребує перевірки; підказка показує, що змінилося і коли. |
| Етап | Етапи верифікації тестових випадків, що верифікують, або —. |
| Докази | Кількість файлів доказів тестових випадків плюс звіти, що безпосередньо верифікують вимогу. Клацніть, щоб додати звіт, наприклад аналіз. |
| Власні | Власний статус. |
| Статус | Зведений статус. |
| Відхилення/поступка | Лише у формальній програмі. Відхилення й поступки щодо вимоги з їхнім статусом або Рішення… для невдалого результату. |
| Закриття | Лише у формальній програмі. Підписати…, Closed з іменем і датою та Відкрити знову або Open. Див. Формальна програма. |
RVTM | VCRM перемикає таблицю. VCRM (матриця перехресних посилань верифікації) — подання для планування: стовпці I, A, D і T позначають методи (інспекція, аналіз, демонстрація, тест), потім Рівень, Етап, Подія, Verified by і Статус.
Фільтр за номером або назвою звужує рядки. Клацніть рядок (або натисніть Enter), щоб показати вимогу в інспекторі.
Наведіть вказівник на ⚠ вимоги, щоб побачити, які елементи змінилися відтоді, як її зв’язки востаннє перевіряли. Клацніть його, щоб відкрити діалог Зв’язки для перевірки — <requirement>: кожен зв’язок для перевірки на будь-якому кінці вимоги, з Порівняння і Позначити перевіреним…, та Відкрити Зв’язки для перевірки для всього списку (Зв’язки для перевірки). Експорти не містять позначок підозрілих зв’язків: їхні стовпці статусу містять лише результати верифікації.
Комбінації клавіш
| Клавіша | Де | Дія |
|---|---|---|
| Enter / Space | Рядок RVTM | Показати вимогу в інспекторі |
| ↑ / ↓ | RVTM | Переходити між рядками |
| Esc | RVTM | Очистити виділення |
| ⌘K / Ctrl+K | Будь-де | Пошук дій, як-от Експортувати RVTM (Excel) |
Повідомлення
| Повідомлення | Значення |
|---|---|
| Потрібна назва або номер | Створення набору без жодного з них. |
| Нічого виконувати: жоден тестовий випадок не відповідає. Додайте тестові випадки або очистьте фільтр статусу. | «Виконати набір» не знайшов листкового тестового випадку, що відповідає фільтру. |
| Цикл тестування збережено / Цикл тестування збережено; статуси скинуто до «Не виконано» | Лише записати / Записати й почати новий. |
| Створено тестовий випадок <name> | + Тестовий випадок у картці покриття. |
| <file> (лише назва: понад 10 MB) | Файл доказу більший за ліміт на файл (10 MB на тарифі Free, рахуючи як 10 × 1,048,576 байтів); записується лише його назва. |
| У цьому проєкті немає вимог. Напишіть або імпортуйте вимоги, потім зв’яжіть тестові випадки через “verified by”. | RVTM порожня. |
| Жодна вимога не відповідає цьому фільтру. Очистьте фільтр, щоб показати всі вимоги. | Фільтр RVTM приховує всі рядки. |
| Позначте поле, щоб створити цей тестовий випадок. | Згенерувати тестовий випадок знайшов вебадресу в чернетці ШІ; підтвердьте її перед створенням. |
Обмеження
- Файли доказів тестування: 10 МБ (10 485 760 байтів) на файл у тарифі Free; 25 МБ (26 214 400 байтів) у платних тарифах. Більші файли записуються лише за назвою. Докази враховуються в сховищі проєкту (див. Сховище й обмеження).
- Картка покриття показує перші 300 вимог поточного фільтра.
- Для кожного тестового випадку зберігається один файл доказів (останній); журнал запусків зберігає назву файлу доказів кожного запуску.
Пов’язане
- Посібник: Матриця верифікації вимог (RVTM): стовпці, методи й розібраний приклад — метод, на якому ґрунтується RVTM.
- Інтерфейси — вимоги до інтерфейсів і ICD.
- Бюджети й TPM — Measures, що відстежують показники відносно порогів.
- Керування проєктом — плануйте виправлення для невдалих тестів.
- Довідка: Налаштувати верифікацію, виконати набір і створити RVTM, RVTM, Центр тестування, Матриця простежуваності, Перевірки моделі, Симулювати й перевірити відносно вимоги.