Довідник
Рецепт: результати тестів через Claude
Переносьте результати з тестової системи в тестові випадки Holarch за допомогою скрипта REST для CI або за допомогою Claude, який виконує тести, пропонує результати на рецензування та повідомляє, що показує RVTM; налаштування, скрипт, розібраний приклад і усунення несправностей.
На цій сторінці
Огляд
Цей рецепт записує результати з автоматизованої тестової системи у відповідні тестові випадки Holarch, щоб RVTM показувала, які вимоги проходять. Він має дві частини:
- Результати з CI (REST API): скрипт читає звіт JUnit XML, який записує більшість засобів запуску тестів, і записує кожен результат у відповідний тестовий випадок: Status, Фактичний результат, Тестувальник, Дата тесту і запис журналу виконань.
- Результати через Claude (MCP): Claude Code запускає тести, зіставляє результати з тестовими випадками й пропонує результати для вашого перегляду в Holarch. Потім він читає RVTM і повідомляє, які вимоги досі не проходять.
Щоб імпортувати файл результатів вручну, використовуйте натомість Верифікація → Центр тестування → Імпортувати результати… (Імпорт результатів з іншої тестової системи). REST API і MCP записують результати так само: Тестувальник, Дата тесту і запис журналу виконань у кожному тестовому випадку.
Передумови
- Тариф з API і MCP: Individual або Team чи пробний період Individual. У тарифі Free вони також є в облікового запису з підтвердженою академічною адресою електронної пошти або в активній навчальній організації (Тарифи та обмеження).
- Проєкт Holarch із тестовими випадками, номери яких можуть називати тести, як-от TC-14. Потрібна роль редактора чи власника.
- Для скрипту: токен Читання й запис, обмежений проєктом (Налаштування облікового запису → Токени API → Новий токен, Створення токена), і Python 3.9 або новіший з пакетом
requests(python3 -m pip install requests). - Для частини з Claude: Claude Code, під’єднаний до Holarch з доступом Читати й пропонувати зміни (Під’єднати Holarch до Claude), у репозиторії, що містить тести.
- Засіб запуску тестів, що записує JUnit XML, як-от
pytest --junitxml=results.xml, або більшість тестових кроків CI.
Як користуватися
Коли й навіщо
Верифікація замикає цикл від вимоги до доказу. Коли тести запускаються автоматично, вводити їхні результати в Holarch вручну повільно й ризиковано. Використовуйте скрипт, коли результати мають потрапляти без перегляду, як-от нічні регресійні запуски. Використовуйте Claude, коли людина має побачити результати до їх записування, як-от під час кваліфікаційного запуску.
Указуйте тестовий випадок у кожному тесті
Скрипт і Claude зіставляють тест із тестовим випадком Holarch за номером тестового випадку в назві тесту.
- Указуйте номер у назві тесту:
test_TC_14_off_nadir_imagingу pytest абоTC-14 off-nadir imagingв інших засобах запуску. - Тримайте один тестовий випадок Holarch на тест. Тестовий випадок із дочірніми тестовими випадками бере свій статус від дочірніх; записуйте результати в дочірні.
Записування результатів із CI
Скрипт записує Passed або Failed у кожен зіставлений тестовий випадок одним запитом. Для невдачі він також записує повідомлення про помилку як Фактичний результат. Пропущені тести залишаються без змін.
# junit_to_holarch.py: record JUnit XML results on Holarch test cases.
# Usage: python3 junit_to_holarch.py results.xml
import os
import re
import sys
import xml.etree.ElementTree as ET
import requests
HOLARCH = os.environ.get("HOLARCH_URL", "https://app.holarch.app") + "/api/v1"
PROJECT = os.environ["HOLARCH_PROJECT"]
HEADERS = {"Authorization": "Bearer " + os.environ["HOLARCH_TOKEN"]}
NUMBER = re.compile(r"TC[-_ ](\d+)") # TC-14 or test_TC_14_…; change it to match your numbering
def holarch(method, path, **kw):
r = requests.request(method, HOLARCH + path, headers=HEADERS, timeout=60, **kw)
if r.status_code >= 400:
d = r.json()
raise SystemExit(f"Holarch answered {r.status_code} {d.get('code')}: {d.get('error')}")
return r.json()
results = []
for test in ET.parse(sys.argv[1]).getroot().iter("testcase"):
m = NUMBER.search(test.get("name", ""))
if not m or test.find("skipped") is not None:
continue
failure = test.find("failure")
if failure is None:
failure = test.find("error")
result = {"testCase": "TC-" + m.group(1), "status": "Passed" if failure is None else "Failed"}
if failure is not None:
result["actualResult"] = (failure.get("message") or failure.text or "Failed").strip()[:4000]
results.append(result)
answer = holarch("POST", f"/projects/{PROJECT}/test-results",
json={"source": os.path.basename(sys.argv[1]), "testedBy": "CI", "results": results})
for r in answer["recorded"]:
print(f"{r['number']} {r['name']}: {r['status']}")
for r in answer["skipped"]:
if r["code"] == "not-found":
print(f"{r['testCase']}: no test case with this number in Holarch")
else:
print(f"{r['testCase']}: not recorded ({r['reason']})")
- Задайте змінні середовища
HOLARCH_TOKEN(токен) іHOLARCH_PROJECT(id проєкту зGET /api/v1/projects). - Запустіть тести зі звітом JUnit, як-от
pytest --junitxml=results.xml. - Виконайте
python3 junit_to_holarch.py results.xml.Ви бачите один рядок на кожен записаний результат, як-от
TC-14 Off-Nadir Imaging Test: Passed. - У Holarch відкрийте Верифікація → RVTM.
Вимоги, які верифікують ці тестові випадки, показують новий статус.
Як це працює:
POST /api/v1/projects/<project>/test-resultsзаписує всі результати звіту однією зміною, як це робить Імпортувати результати…: Status, Фактичний результат для невдач, Тестувальник (тут CI; ім’я вашого облікового запису, якщо пропущено), Дата тесту (час запиту) і запис журналу виконань ізsource, що дорівнює назві файлу звіту (Результати тестів).testCaseназиває тестовий випадок за номером, як-отTC-14; id або назва теж працюють. Status тут приймає Passed або Failed; кінцева точка також приймає Blocked, In Progress і Not Run, а також слова тестових інструментів, як-от pass і fail.- Результат, який не вдається записати, наприклад номер, якого немає в Holarch, наводиться в
skippedз причиною; інші все одно записуються. - Зміна записується під вашим іменем, і її одразу бачить кожен, у кого відкрито проєкт.
У завданні CI запускайте скрипт як крок після тестів, з токеном як секретом. Наприклад, у GitHub Actions:
- name: Record results in Holarch
if: always()
env:
HOLARCH_TOKEN: ${{ secrets.HOLARCH_TOKEN }}
HOLARCH_PROJECT: ${{ vars.HOLARCH_PROJECT }}
run: |
python3 -m pip install requests
python3 junit_to_holarch.py results.xml
if: always() записує результати також тоді, коли тести не проходять, — саме тоді вони найважливіші.
Запуск тестів і пропонування результатів за допомогою Claude
- У репозиторії з тестами попросіть Claude Code, наприклад: "Запусти тести наведення зі звітом JUnit. Потім запропонуй їхні результати в проєкті Holarch CubeSat: задай Status і, для невдач, Actual Result у відповідних тестових випадках."
- Claude Code запускає тести. У Holarch він додає результати до пропозиції через
record_test_results(одна зміна на результат, з Status, Фактичний результат, Тестувальник і Дата тесту). Потім він надсилає пропозицію черезpropose_changes.Claude Code відповідає назвою пропозиції, запропонованими результатами й посиланням для її перегляду.
- У Holarch відкрийте ✦ ШІ ▾ → Переглянути “<title>”… або сповіщення під дзвіночком.
Діалогове вікно показує кожен тестовий випадок з його поточними й запропонованими значеннями.
- Зніміть позначки з результатів, яких не приймаєте, потім натисніть Застосувати вибране.
Результати записуються з вашим іменем в історії, кожен із записом журналу виконань, як з Імпортувати результати…, і одне натискання “Відмінити” повертає все назад.
- Запитайте Claude Code: "Які вимоги в проєкті CubeSat досі не проходять верифікацію?"
Claude Code читає RVTM через
get_matrix(matrixrvtm,statusFailed) і перелічує кожну вимогу з її тестовими випадками, що не проходять.
Claude Code також може працювати зі звітом, який уже записав ваш CI: долучіть results.xml або вкажіть на нього, замість того щоб просити запустити тести.
Робочий приклад: демопроєкт CubeSat EO-1
- Створіть демо через Керування проєктами → Файли проєктів ▾ → Новий демопроєкт.
У Верифікація → Центр тестування TC-14 Off-Nadir Imaging Test має стан Not Run, а TC-04 Pointing Accuracy Test — Failed.
- Запишіть звіт JUnit із двома тестами:
test_TC_14_off_nadir_imagingпройшов, аtest_TC_04_pointing_accuracyне пройшов із повідомленням 0.12 degrees on 2 of 20 targets. - Виконайте
python3 junit_to_holarch.py results.xml.Ви бачите
TC-14 Off-Nadir Imaging Test: PassedіTC-04 Pointing Accuracy Test: Failed. - Відкрийте Верифікація → RVTM.
1.6.2 Off-Nadir Imaging тепер показує Passed. 2.1 Pointing Accuracy досі не проходить, а Фактичний результат TC-04 показує 0.12 degrees on 2 of 20 targets.
- З Claude ті самі результати спершу надходять як пропозиція. Після Застосувати вибране RVTM показує те саме.
Поради
- Записуйте результати в найнижчі тестові випадки. Батьківські зводяться з дочірніх.
- Обмежте токен скрипту одним проєктом і відкличте його, коли конвеєр виведуть з використання.
- Тест, що називає номер, якого немає в Holarch, наводиться як "немає тестового випадку з цим номером". Виправте назву тесту або створіть тестовий випадок.
- Зберігайте тестовий цикл у Центрі тестування, коли кампанія завершується, щоб її результати зберігалися окремо від наступного запуску (Збереження тестового циклу).
Усунення несправностей
| Повідомлення або симптом | Причина й виправлення |
|---|---|
Holarch answered 401 token-invalid | Токен неправильний, відкликаний або прострочений. Створіть новий у Налаштування облікового запису → Токени API. |
Holarch answered 403 plan-api | Тариф облікового запису не включає API і MCP. Почніть пробний період Individual або виберіть тариф; після цього токен знову запрацює. |
Holarch answered 403 read-only-token | Скрипт записує результати. Створіть токен Читання й запис. |
Holarch answered 403 forbidden | Ваша роль у проєкті — читач або рецензент. Власник може зробити вас редактором. |
TC-14: not recorded (…) | Holarch не зміг записати цей результат, наприклад тому, що тестовий випадок заблоковано або він має дочірні тестові випадки. Причина пояснює, що саме; інші результати записано. |
TC-04: not recorded (… configuration control …) | Тестовий випадок перебуває під керуванням конфігурацією. Запишіть його результат у застосунку через запит на зміну. |
Holarch answered 429 rate-limited | Забагато запитів на хвилину. Зачекайте стільки секунд, скільки вказано в Retry-After, потім запустіть скрипт знову. |
| Тестовий випадок зберігає старий статус | Тестовий випадок із дочірніми показує зведений статус дочірніх. Запишіть результат у дочірній. |
| Claude Code не пропонує інструментів запису Holarch | З’єднання лише для читання. Виконайте /mcp, перепід’єднайте holarch з Читати й пропонувати зміни, потім почніть нову розмову. |