Holarch

Справочник

Рецепт: результаты тестов через Claude

Перенос результатов из тестовой системы в тестовые случаи Holarch с помощью скрипта REST для CI или с помощью Claude, который запускает тесты, предлагает результаты на рецензирование и сообщает, что показывает RVTM; настройка, скрипт, разобранный пример и устранение неполадок.

Как использовать →

На этой странице
  1. Обзор
  2. Предварительные требования
  3. Как использовать
    1. Когда и зачем
    2. Указание тестового случая в каждом тесте
    3. Запись результатов из CI
    4. Запуск тестов и предложение результатов с помощью Claude
    5. Рабочий пример: демо CubeSat EO-1
    6. Советы
  4. Устранение неполадок
  5. Связанные страницы

Обзор

Этот рецепт записывает результаты автоматизированной системы тестирования в соответствующие тестовые случаи Holarch, чтобы RVTM показывала, какие требования проходят. В нём две части:

  • Результаты из CI (REST API): скрипт читает отчёт JUnit XML, который пишет большинство средств запуска тестов, и записывает каждый результат в соответствующий тестовый случай: Status, Actual Result, Tested By, Test Date и запись в журнале прогонов.
  • Результаты через Claude (MCP): Claude Code запускает тесты, сопоставляет результаты с тестовыми случаями и предлагает результаты для вашей проверки в Holarch. Затем он читает RVTM и сообщает, какие требования всё ещё не проходят.

Чтобы импортировать файл результатов вручную, используйте Верификация → Центр тестирования → Импортировать результаты… (Импорт результатов из другой системы тестирования). REST API и MCP записывают результаты так же: Tested By, Test Date и запись в журнале прогонов каждого тестового случая.

Предварительные требования

  • Тариф с API и MCP: Individual или Team либо пробный период Individual. На тарифе Free они есть также у учётной записи с подтверждённым академическим адресом электронной почты или в активной учебной организации (Тарифы и ограничения).
  • Проект Holarch с тестовыми случаями, номера которых могут указывать тесты, например TC-14. Вам нужна роль редактора или владельца.
  • Для скрипта: токен Чтение и запись, ограниченный проектом (Настройки учётной записи → Токены API → Новый токен, Создание токена), и Python 3.9 или новее с пакетом requests (python3 -m pip install requests).
  • Для части с Claude: Claude Code, подключённый к Holarch с доступом Чтение и предложение изменений (Подключение Holarch к Claude), в репозитории с тестами.
  • Средство запуска тестов, которое пишет JUnit XML, например pytest --junitxml=results.xml, или большинство шагов тестирования CI.

Как использовать

Когда и зачем

Верификация замыкает цикл от требования до свидетельства. Когда тесты запускаются автоматически, ввод их результатов в Holarch вручную медленный и чреват ошибками. Используйте скрипт, когда результаты должны попадать без проверки, например в ночных регрессионных прогонах. Используйте Claude, когда человек должен увидеть результаты до их записи, например при квалификационном прогоне.

Указание тестового случая в каждом тесте

Скрипт и Claude сопоставляют тест с тестовым случаем Holarch по номеру тестового случая в имени теста.

  1. Включите номер в имя теста: test_TC_14_off_nadir_imaging в pytest или TC-14 off-nadir imaging в других средствах запуска.
  2. Держите по одному тестовому случаю Holarch на тест. Тестовый случай с дочерними тестовыми случаями берёт статус от них; записывайте результаты в дочерние.

Запись результатов из CI

Скрипт записывает Passed или Failed в каждый сопоставленный тестовый случай одним запросом. Для сбоя он также записывает сообщение об ошибке как Actual Result. Пропущенные тесты остаются без изменений.

# junit_to_holarch.py: record JUnit XML results on Holarch test cases.
# Usage: python3 junit_to_holarch.py results.xml
import os
import re
import sys
import xml.etree.ElementTree as ET

import requests

HOLARCH = os.environ.get("HOLARCH_URL", "https://app.holarch.app") + "/api/v1"
PROJECT = os.environ["HOLARCH_PROJECT"]
HEADERS = {"Authorization": "Bearer " + os.environ["HOLARCH_TOKEN"]}
NUMBER = re.compile(r"TC[-_ ](\d+)")  # TC-14 or test_TC_14_…; change it to match your numbering


def holarch(method, path, **kw):
    r = requests.request(method, HOLARCH + path, headers=HEADERS, timeout=60, **kw)
    if r.status_code >= 400:
        d = r.json()
        raise SystemExit(f"Holarch answered {r.status_code} {d.get('code')}: {d.get('error')}")
    return r.json()


results = []
for test in ET.parse(sys.argv[1]).getroot().iter("testcase"):
    m = NUMBER.search(test.get("name", ""))
    if not m or test.find("skipped") is not None:
        continue
    failure = test.find("failure")
    if failure is None:
        failure = test.find("error")
    result = {"testCase": "TC-" + m.group(1), "status": "Passed" if failure is None else "Failed"}
    if failure is not None:
        result["actualResult"] = (failure.get("message") or failure.text or "Failed").strip()[:4000]
    results.append(result)

answer = holarch("POST", f"/projects/{PROJECT}/test-results",
                 json={"source": os.path.basename(sys.argv[1]), "testedBy": "CI", "results": results})
for r in answer["recorded"]:
    print(f"{r['number']} {r['name']}: {r['status']}")
for r in answer["skipped"]:
    if r["code"] == "not-found":
        print(f"{r['testCase']}: no test case with this number in Holarch")
    else:
        print(f"{r['testCase']}: not recorded ({r['reason']})")
  1. Задайте переменные окружения HOLARCH_TOKEN (токен) и HOLARCH_PROJECT (id проекта из GET /api/v1/projects).
  2. Запустите тесты с отчётом JUnit, например pytest --junitxml=results.xml.
  3. Выполните python3 junit_to_holarch.py results.xml.

    Вы увидите по одной строке на записанный результат, например TC-14 Off-Nadir Imaging Test: Passed.

  4. В Holarch откройте Верификация → RVTM.

    Требования, которые верифицируют эти тестовые случаи, показывают новый статус.

Как это работает:

  • POST /api/v1/projects/<project>/test-results записывает все результаты отчёта одним изменением, как это делает Импортировать результаты…: Status, Actual Result для сбоев, Tested By (здесь CI; имя вашей учётной записи, если не указано), Test Date (время запроса) и запись в журнале прогонов с source, равным имени файла отчёта (Результаты тестов).
  • testCase указывает тестовый случай по номеру, например TC-14; id или имя тоже подходят. Status здесь принимает Passed или Failed; конечная точка также принимает Blocked, In Progress и Not Run, а также слова инструментов тестирования, такие как pass и fail.
  • Результат, который нельзя записать, например номер, которого нет в Holarch, перечисляется в skipped с причиной; остальные всё равно записываются.
  • Изменение записывается под вашим именем и сразу видно всем, у кого открыт проект.

В задании CI запускайте скрипт шагом после тестов, с токеном в качестве секрета. Например, в GitHub Actions:

      - name: Record results in Holarch
        if: always()
        env:
          HOLARCH_TOKEN: ${{ secrets.HOLARCH_TOKEN }}
          HOLARCH_PROJECT: ${{ vars.HOLARCH_PROJECT }}
        run: |
          python3 -m pip install requests
          python3 junit_to_holarch.py results.xml

if: always() записывает результаты и тогда, когда тесты не проходят, — именно тогда они важнее всего.

Запуск тестов и предложение результатов с помощью Claude

  1. В репозитории с тестами попросите Claude Code, например: “Run the pointing tests with a JUnit report. Then propose their results in the Holarch CubeSat project: set Status and, for failures, Actual Result on the matching test cases.”
  2. Claude Code запускает тесты. В Holarch он добавляет результаты в предложение с помощью record_test_results (по одному изменению на результат, со Status, Actual Result, Tested By и Test Date). Затем он отправляет предложение с помощью propose_changes.

    Claude Code отвечает заголовком предложения, предлагаемыми результатами и ссылкой для рецензирования.

  3. В Holarch откройте ✦ ИИ ▾ → Рецензировать «<title>»… или уведомление под колокольчиком.

    Диалог показывает каждый тестовый случай с текущими и предлагаемыми значениями.

  4. Снимите отметку с любого результата, который вы не принимаете, затем нажмите Применить выбранные.

    Результаты записываются с вашим именем в истории, каждый с записью в журнале прогонов, как из Импортировать результаты…, и одно нажатие “Отменить” возвращает всё назад.

  5. Спросите Claude Code: “Which requirements in the CubeSat project still fail verification?”

    Claude Code читает RVTM с помощью get_matrix (matrix rvtm, status Failed) и перечисляет каждое требование с его непройденными тестовыми случаями.

Claude Code может также работать с отчётом, который уже записал ваш CI: приложите results.xml или укажите на него вместо того, чтобы просить запустить тесты.

Рабочий пример: демо CubeSat EO-1

  1. Создайте демо-проект через Управление проектами → Файлы проекта ▾ → Новый демо-проект.

    В Верификация → Центр тестирования TC-14 Off-Nadir Imaging Test имеет статус Not Run, а TC-04 Pointing Accuracy Test — Failed.

  2. Напишите отчёт JUnit с двумя тестами: test_TC_14_off_nadir_imaging пройден, а test_TC_04_pointing_accuracy не пройден с сообщением 0.12 degrees on 2 of 20 targets.
  3. Выполните python3 junit_to_holarch.py results.xml.

    Вы увидите TC-14 Off-Nadir Imaging Test: Passed и TC-04 Pointing Accuracy Test: Failed.

  4. Откройте Верификация → RVTM.

    1.6.2 Off-Nadir Imaging теперь показывает Passed. 2.1 Pointing Accuracy по-прежнему не проходит, а Actual Result у TC-04 — 0.12 degrees on 2 of 20 targets.

  5. С Claude те же результаты сначала приходят в виде предложения. После Применить выбранные RVTM показывает то же самое.

Советы

  • Записывайте результаты в самые нижние тестовые случаи. Родительские сворачиваются из дочерних.
  • Ограничьте токен скрипта одним проектом и отзовите его, когда конвейер выводится из эксплуатации.
  • Тест, указывающий номер, которого нет в Holarch, перечисляется как “no test case with this number”. Исправьте имя теста или создайте тестовый случай.
  • Сохраняйте цикл испытаний в Центре тестирования по окончании кампании, чтобы его результаты хранились отдельно от следующего прогона (Сохранение цикла испытаний).

Устранение неполадок

Сообщение или признакПричина и исправление
Holarch answered 401 token-invalidТокен неверен, отозван или истёк. Создайте новый в разделе Настройки учётной записи → Токены API.
Holarch answered 403 plan-apiТариф учётной записи не включает API и MCP. Начните пробный период Individual или выберите тариф; после этого токен снова заработает.
Holarch answered 403 read-only-tokenСкрипт записывает результаты. Создайте токен Чтение и запись.
Holarch answered 403 forbiddenВаша роль в проекте — читатель или рецензент. Владелец может сделать вас редактором.
TC-14: not recorded (…)Holarch не смог записать этот результат, например потому, что тестовый случай заблокирован или у него есть дочерние тестовые случаи. Причина указывает, что именно; остальные результаты записываются.
TC-04: not recorded (… configuration control …)Тестовый случай находится под управлением конфигурацией. Запишите его результат в приложении через запрос на изменение.
Holarch answered 429 rate-limitedСлишком много запросов в минуту. Подождите столько секунд, сколько указано в Retry-After, затем снова запустите скрипт.
Тестовый случай сохраняет старый статусТестовый случай с дочерними показывает свёрнутый статус своих дочерних. Запишите результат в дочерний.
Claude Code не предлагает инструменты записи HolarchПодключение только для чтения. Выполните /mcp, переподключите holarch с доступом Чтение и предложение изменений, затем начните новую беседу.