Справочник
Рецепт: результаты тестов через Claude
Перенос результатов из тестовой системы в тестовые случаи Holarch с помощью скрипта REST для CI или с помощью Claude, который запускает тесты, предлагает результаты на рецензирование и сообщает, что показывает RVTM; настройка, скрипт, разобранный пример и устранение неполадок.
На этой странице
Обзор
Этот рецепт записывает результаты автоматизированной системы тестирования в соответствующие тестовые случаи Holarch, чтобы RVTM показывала, какие требования проходят. В нём две части:
- Результаты из CI (REST API): скрипт читает отчёт JUnit XML, который пишет большинство средств запуска тестов, и записывает каждый результат в соответствующий тестовый случай: Status, Actual Result, Tested By, Test Date и запись в журнале прогонов.
- Результаты через Claude (MCP): Claude Code запускает тесты, сопоставляет результаты с тестовыми случаями и предлагает результаты для вашей проверки в Holarch. Затем он читает RVTM и сообщает, какие требования всё ещё не проходят.
Чтобы импортировать файл результатов вручную, используйте Верификация → Центр тестирования → Импортировать результаты… (Импорт результатов из другой системы тестирования). REST API и MCP записывают результаты так же: Tested By, Test Date и запись в журнале прогонов каждого тестового случая.
Предварительные требования
- Тариф с API и MCP: Individual или Team либо пробный период Individual. На тарифе Free они есть также у учётной записи с подтверждённым академическим адресом электронной почты или в активной учебной организации (Тарифы и ограничения).
- Проект Holarch с тестовыми случаями, номера которых могут указывать тесты, например TC-14. Вам нужна роль редактора или владельца.
- Для скрипта: токен Чтение и запись, ограниченный проектом (Настройки учётной записи → Токены API → Новый токен, Создание токена), и Python 3.9 или новее с пакетом
requests(python3 -m pip install requests). - Для части с Claude: Claude Code, подключённый к Holarch с доступом Чтение и предложение изменений (Подключение Holarch к Claude), в репозитории с тестами.
- Средство запуска тестов, которое пишет JUnit XML, например
pytest --junitxml=results.xml, или большинство шагов тестирования CI.
Как использовать
Когда и зачем
Верификация замыкает цикл от требования до свидетельства. Когда тесты запускаются автоматически, ввод их результатов в Holarch вручную медленный и чреват ошибками. Используйте скрипт, когда результаты должны попадать без проверки, например в ночных регрессионных прогонах. Используйте Claude, когда человек должен увидеть результаты до их записи, например при квалификационном прогоне.
Указание тестового случая в каждом тесте
Скрипт и Claude сопоставляют тест с тестовым случаем Holarch по номеру тестового случая в имени теста.
- Включите номер в имя теста:
test_TC_14_off_nadir_imagingв pytest илиTC-14 off-nadir imagingв других средствах запуска. - Держите по одному тестовому случаю Holarch на тест. Тестовый случай с дочерними тестовыми случаями берёт статус от них; записывайте результаты в дочерние.
Запись результатов из CI
Скрипт записывает Passed или Failed в каждый сопоставленный тестовый случай одним запросом. Для сбоя он также записывает сообщение об ошибке как Actual Result. Пропущенные тесты остаются без изменений.
# junit_to_holarch.py: record JUnit XML results on Holarch test cases.
# Usage: python3 junit_to_holarch.py results.xml
import os
import re
import sys
import xml.etree.ElementTree as ET
import requests
HOLARCH = os.environ.get("HOLARCH_URL", "https://app.holarch.app") + "/api/v1"
PROJECT = os.environ["HOLARCH_PROJECT"]
HEADERS = {"Authorization": "Bearer " + os.environ["HOLARCH_TOKEN"]}
NUMBER = re.compile(r"TC[-_ ](\d+)") # TC-14 or test_TC_14_…; change it to match your numbering
def holarch(method, path, **kw):
r = requests.request(method, HOLARCH + path, headers=HEADERS, timeout=60, **kw)
if r.status_code >= 400:
d = r.json()
raise SystemExit(f"Holarch answered {r.status_code} {d.get('code')}: {d.get('error')}")
return r.json()
results = []
for test in ET.parse(sys.argv[1]).getroot().iter("testcase"):
m = NUMBER.search(test.get("name", ""))
if not m or test.find("skipped") is not None:
continue
failure = test.find("failure")
if failure is None:
failure = test.find("error")
result = {"testCase": "TC-" + m.group(1), "status": "Passed" if failure is None else "Failed"}
if failure is not None:
result["actualResult"] = (failure.get("message") or failure.text or "Failed").strip()[:4000]
results.append(result)
answer = holarch("POST", f"/projects/{PROJECT}/test-results",
json={"source": os.path.basename(sys.argv[1]), "testedBy": "CI", "results": results})
for r in answer["recorded"]:
print(f"{r['number']} {r['name']}: {r['status']}")
for r in answer["skipped"]:
if r["code"] == "not-found":
print(f"{r['testCase']}: no test case with this number in Holarch")
else:
print(f"{r['testCase']}: not recorded ({r['reason']})")
- Задайте переменные окружения
HOLARCH_TOKEN(токен) иHOLARCH_PROJECT(id проекта изGET /api/v1/projects). - Запустите тесты с отчётом JUnit, например
pytest --junitxml=results.xml. - Выполните
python3 junit_to_holarch.py results.xml.Вы увидите по одной строке на записанный результат, например
TC-14 Off-Nadir Imaging Test: Passed. - В Holarch откройте Верификация → RVTM.
Требования, которые верифицируют эти тестовые случаи, показывают новый статус.
Как это работает:
POST /api/v1/projects/<project>/test-resultsзаписывает все результаты отчёта одним изменением, как это делает Импортировать результаты…: Status, Actual Result для сбоев, Tested By (здесь CI; имя вашей учётной записи, если не указано), Test Date (время запроса) и запись в журнале прогонов сsource, равным имени файла отчёта (Результаты тестов).testCaseуказывает тестовый случай по номеру, напримерTC-14; id или имя тоже подходят. Status здесь принимает Passed или Failed; конечная точка также принимает Blocked, In Progress и Not Run, а также слова инструментов тестирования, такие как pass и fail.- Результат, который нельзя записать, например номер, которого нет в Holarch, перечисляется в
skippedс причиной; остальные всё равно записываются. - Изменение записывается под вашим именем и сразу видно всем, у кого открыт проект.
В задании CI запускайте скрипт шагом после тестов, с токеном в качестве секрета. Например, в GitHub Actions:
- name: Record results in Holarch
if: always()
env:
HOLARCH_TOKEN: ${{ secrets.HOLARCH_TOKEN }}
HOLARCH_PROJECT: ${{ vars.HOLARCH_PROJECT }}
run: |
python3 -m pip install requests
python3 junit_to_holarch.py results.xml
if: always() записывает результаты и тогда, когда тесты не проходят, — именно тогда они важнее всего.
Запуск тестов и предложение результатов с помощью Claude
- В репозитории с тестами попросите Claude Code, например: “Run the pointing tests with a JUnit report. Then propose their results in the Holarch CubeSat project: set Status and, for failures, Actual Result on the matching test cases.”
- Claude Code запускает тесты. В Holarch он добавляет результаты в предложение с помощью
record_test_results(по одному изменению на результат, со Status, Actual Result, Tested By и Test Date). Затем он отправляет предложение с помощьюpropose_changes.Claude Code отвечает заголовком предложения, предлагаемыми результатами и ссылкой для рецензирования.
- В Holarch откройте ✦ ИИ ▾ → Рецензировать «<title>»… или уведомление под колокольчиком.
Диалог показывает каждый тестовый случай с текущими и предлагаемыми значениями.
- Снимите отметку с любого результата, который вы не принимаете, затем нажмите Применить выбранные.
Результаты записываются с вашим именем в истории, каждый с записью в журнале прогонов, как из Импортировать результаты…, и одно нажатие “Отменить” возвращает всё назад.
- Спросите Claude Code: “Which requirements in the CubeSat project still fail verification?”
Claude Code читает RVTM с помощью
get_matrix(matrixrvtm,statusFailed) и перечисляет каждое требование с его непройденными тестовыми случаями.
Claude Code может также работать с отчётом, который уже записал ваш CI: приложите results.xml или укажите на него вместо того, чтобы просить запустить тесты.
Рабочий пример: демо CubeSat EO-1
- Создайте демо-проект через Управление проектами → Файлы проекта ▾ → Новый демо-проект.
В Верификация → Центр тестирования TC-14 Off-Nadir Imaging Test имеет статус Not Run, а TC-04 Pointing Accuracy Test — Failed.
- Напишите отчёт JUnit с двумя тестами:
test_TC_14_off_nadir_imagingпройден, аtest_TC_04_pointing_accuracyне пройден с сообщением 0.12 degrees on 2 of 20 targets. - Выполните
python3 junit_to_holarch.py results.xml.Вы увидите
TC-14 Off-Nadir Imaging Test: PassedиTC-04 Pointing Accuracy Test: Failed. - Откройте Верификация → RVTM.
1.6.2 Off-Nadir Imaging теперь показывает Passed. 2.1 Pointing Accuracy по-прежнему не проходит, а Actual Result у TC-04 — 0.12 degrees on 2 of 20 targets.
- С Claude те же результаты сначала приходят в виде предложения. После Применить выбранные RVTM показывает то же самое.
Советы
- Записывайте результаты в самые нижние тестовые случаи. Родительские сворачиваются из дочерних.
- Ограничьте токен скрипта одним проектом и отзовите его, когда конвейер выводится из эксплуатации.
- Тест, указывающий номер, которого нет в Holarch, перечисляется как “no test case with this number”. Исправьте имя теста или создайте тестовый случай.
- Сохраняйте цикл испытаний в Центре тестирования по окончании кампании, чтобы его результаты хранились отдельно от следующего прогона (Сохранение цикла испытаний).
Устранение неполадок
| Сообщение или признак | Причина и исправление |
|---|---|
Holarch answered 401 token-invalid | Токен неверен, отозван или истёк. Создайте новый в разделе Настройки учётной записи → Токены API. |
Holarch answered 403 plan-api | Тариф учётной записи не включает API и MCP. Начните пробный период Individual или выберите тариф; после этого токен снова заработает. |
Holarch answered 403 read-only-token | Скрипт записывает результаты. Создайте токен Чтение и запись. |
Holarch answered 403 forbidden | Ваша роль в проекте — читатель или рецензент. Владелец может сделать вас редактором. |
TC-14: not recorded (…) | Holarch не смог записать этот результат, например потому, что тестовый случай заблокирован или у него есть дочерние тестовые случаи. Причина указывает, что именно; остальные результаты записываются. |
TC-04: not recorded (… configuration control …) | Тестовый случай находится под управлением конфигурацией. Запишите его результат в приложении через запрос на изменение. |
Holarch answered 429 rate-limited | Слишком много запросов в минуту. Подождите столько секунд, сколько указано в Retry-After, затем снова запустите скрипт. |
| Тестовый случай сохраняет старый статус | Тестовый случай с дочерними показывает свёрнутый статус своих дочерних. Запишите результат в дочерний. |
| Claude Code не предлагает инструменты записи Holarch | Подключение только для чтения. Выполните /mcp, переподключите holarch с доступом Чтение и предложение изменений, затем начните новую беседу. |