Holarch

Довідник

Рецепт: результати тестів через Claude

Переносьте результати з тестової системи в тестові випадки Holarch за допомогою скрипта REST для CI або за допомогою Claude, який виконує тести, пропонує результати на рецензування та повідомляє, що показує RVTM; налаштування, скрипт, розібраний приклад і усунення несправностей.

Як цим користуватися →

На цій сторінці
  1. Огляд
  2. Передумови
  3. Як користуватися
    1. Коли й навіщо
    2. Указуйте тестовий випадок у кожному тесті
    3. Записування результатів із CI
    4. Запуск тестів і пропонування результатів за допомогою Claude
    5. Робочий приклад: демопроєкт CubeSat EO-1
    6. Поради
  4. Усунення несправностей
  5. Пов’язані сторінки

Огляд

Цей рецепт записує результати з автоматизованої тестової системи у відповідні тестові випадки Holarch, щоб RVTM показувала, які вимоги проходять. Він має дві частини:

  • Результати з CI (REST API): скрипт читає звіт JUnit XML, який записує більшість засобів запуску тестів, і записує кожен результат у відповідний тестовий випадок: Status, Фактичний результат, Тестувальник, Дата тесту і запис журналу виконань.
  • Результати через Claude (MCP): Claude Code запускає тести, зіставляє результати з тестовими випадками й пропонує результати для вашого перегляду в Holarch. Потім він читає RVTM і повідомляє, які вимоги досі не проходять.

Щоб імпортувати файл результатів вручну, використовуйте натомість Верифікація → Центр тестування → Імпортувати результати… (Імпорт результатів з іншої тестової системи). REST API і MCP записують результати так само: Тестувальник, Дата тесту і запис журналу виконань у кожному тестовому випадку.

Передумови

  • Тариф з API і MCP: Individual або Team чи пробний період Individual. У тарифі Free вони також є в облікового запису з підтвердженою академічною адресою електронної пошти або в активній навчальній організації (Тарифи та обмеження).
  • Проєкт Holarch із тестовими випадками, номери яких можуть називати тести, як-от TC-14. Потрібна роль редактора чи власника.
  • Для скрипту: токен Читання й запис, обмежений проєктом (Налаштування облікового запису → Токени API → Новий токен, Створення токена), і Python 3.9 або новіший з пакетом requests (python3 -m pip install requests).
  • Для частини з Claude: Claude Code, під’єднаний до Holarch з доступом Читати й пропонувати зміни (Під’єднати Holarch до Claude), у репозиторії, що містить тести.
  • Засіб запуску тестів, що записує JUnit XML, як-от pytest --junitxml=results.xml, або більшість тестових кроків CI.

Як користуватися

Коли й навіщо

Верифікація замикає цикл від вимоги до доказу. Коли тести запускаються автоматично, вводити їхні результати в Holarch вручну повільно й ризиковано. Використовуйте скрипт, коли результати мають потрапляти без перегляду, як-от нічні регресійні запуски. Використовуйте Claude, коли людина має побачити результати до їх записування, як-от під час кваліфікаційного запуску.

Указуйте тестовий випадок у кожному тесті

Скрипт і Claude зіставляють тест із тестовим випадком Holarch за номером тестового випадку в назві тесту.

  1. Указуйте номер у назві тесту: test_TC_14_off_nadir_imaging у pytest або TC-14 off-nadir imaging в інших засобах запуску.
  2. Тримайте один тестовий випадок Holarch на тест. Тестовий випадок із дочірніми тестовими випадками бере свій статус від дочірніх; записуйте результати в дочірні.

Записування результатів із CI

Скрипт записує Passed або Failed у кожен зіставлений тестовий випадок одним запитом. Для невдачі він також записує повідомлення про помилку як Фактичний результат. Пропущені тести залишаються без змін.

# junit_to_holarch.py: record JUnit XML results on Holarch test cases.
# Usage: python3 junit_to_holarch.py results.xml
import os
import re
import sys
import xml.etree.ElementTree as ET

import requests

HOLARCH = os.environ.get("HOLARCH_URL", "https://app.holarch.app") + "/api/v1"
PROJECT = os.environ["HOLARCH_PROJECT"]
HEADERS = {"Authorization": "Bearer " + os.environ["HOLARCH_TOKEN"]}
NUMBER = re.compile(r"TC[-_ ](\d+)")  # TC-14 or test_TC_14_…; change it to match your numbering


def holarch(method, path, **kw):
    r = requests.request(method, HOLARCH + path, headers=HEADERS, timeout=60, **kw)
    if r.status_code >= 400:
        d = r.json()
        raise SystemExit(f"Holarch answered {r.status_code} {d.get('code')}: {d.get('error')}")
    return r.json()


results = []
for test in ET.parse(sys.argv[1]).getroot().iter("testcase"):
    m = NUMBER.search(test.get("name", ""))
    if not m or test.find("skipped") is not None:
        continue
    failure = test.find("failure")
    if failure is None:
        failure = test.find("error")
    result = {"testCase": "TC-" + m.group(1), "status": "Passed" if failure is None else "Failed"}
    if failure is not None:
        result["actualResult"] = (failure.get("message") or failure.text or "Failed").strip()[:4000]
    results.append(result)

answer = holarch("POST", f"/projects/{PROJECT}/test-results",
                 json={"source": os.path.basename(sys.argv[1]), "testedBy": "CI", "results": results})
for r in answer["recorded"]:
    print(f"{r['number']} {r['name']}: {r['status']}")
for r in answer["skipped"]:
    if r["code"] == "not-found":
        print(f"{r['testCase']}: no test case with this number in Holarch")
    else:
        print(f"{r['testCase']}: not recorded ({r['reason']})")
  1. Задайте змінні середовища HOLARCH_TOKEN (токен) і HOLARCH_PROJECT (id проєкту з GET /api/v1/projects).
  2. Запустіть тести зі звітом JUnit, як-от pytest --junitxml=results.xml.
  3. Виконайте python3 junit_to_holarch.py results.xml.

    Ви бачите один рядок на кожен записаний результат, як-от TC-14 Off-Nadir Imaging Test: Passed.

  4. У Holarch відкрийте Верифікація → RVTM.

    Вимоги, які верифікують ці тестові випадки, показують новий статус.

Як це працює:

  • POST /api/v1/projects/<project>/test-results записує всі результати звіту однією зміною, як це робить Імпортувати результати…: Status, Фактичний результат для невдач, Тестувальник (тут CI; ім’я вашого облікового запису, якщо пропущено), Дата тесту (час запиту) і запис журналу виконань із source, що дорівнює назві файлу звіту (Результати тестів).
  • testCase називає тестовий випадок за номером, як-от TC-14; id або назва теж працюють. Status тут приймає Passed або Failed; кінцева точка також приймає Blocked, In Progress і Not Run, а також слова тестових інструментів, як-от pass і fail.
  • Результат, який не вдається записати, наприклад номер, якого немає в Holarch, наводиться в skipped з причиною; інші все одно записуються.
  • Зміна записується під вашим іменем, і її одразу бачить кожен, у кого відкрито проєкт.

У завданні CI запускайте скрипт як крок після тестів, з токеном як секретом. Наприклад, у GitHub Actions:

      - name: Record results in Holarch
        if: always()
        env:
          HOLARCH_TOKEN: ${{ secrets.HOLARCH_TOKEN }}
          HOLARCH_PROJECT: ${{ vars.HOLARCH_PROJECT }}
        run: |
          python3 -m pip install requests
          python3 junit_to_holarch.py results.xml

if: always() записує результати також тоді, коли тести не проходять, — саме тоді вони найважливіші.

Запуск тестів і пропонування результатів за допомогою Claude

  1. У репозиторії з тестами попросіть Claude Code, наприклад: "Запусти тести наведення зі звітом JUnit. Потім запропонуй їхні результати в проєкті Holarch CubeSat: задай Status і, для невдач, Actual Result у відповідних тестових випадках."
  2. Claude Code запускає тести. У Holarch він додає результати до пропозиції через record_test_results (одна зміна на результат, з Status, Фактичний результат, Тестувальник і Дата тесту). Потім він надсилає пропозицію через propose_changes.

    Claude Code відповідає назвою пропозиції, запропонованими результатами й посиланням для її перегляду.

  3. У Holarch відкрийте ✦ ШІ ▾ → Переглянути “<title>”… або сповіщення під дзвіночком.

    Діалогове вікно показує кожен тестовий випадок з його поточними й запропонованими значеннями.

  4. Зніміть позначки з результатів, яких не приймаєте, потім натисніть Застосувати вибране.

    Результати записуються з вашим іменем в історії, кожен із записом журналу виконань, як з Імпортувати результати…, і одне натискання “Відмінити” повертає все назад.

  5. Запитайте Claude Code: "Які вимоги в проєкті CubeSat досі не проходять верифікацію?"

    Claude Code читає RVTM через get_matrix (matrix rvtm, status Failed) і перелічує кожну вимогу з її тестовими випадками, що не проходять.

Claude Code також може працювати зі звітом, який уже записав ваш CI: долучіть results.xml або вкажіть на нього, замість того щоб просити запустити тести.

Робочий приклад: демопроєкт CubeSat EO-1

  1. Створіть демо через Керування проєктами → Файли проєктів ▾ → Новий демопроєкт.

    У Верифікація → Центр тестування TC-14 Off-Nadir Imaging Test має стан Not Run, а TC-04 Pointing Accuracy Test — Failed.

  2. Запишіть звіт JUnit із двома тестами: test_TC_14_off_nadir_imaging пройшов, а test_TC_04_pointing_accuracy не пройшов із повідомленням 0.12 degrees on 2 of 20 targets.
  3. Виконайте python3 junit_to_holarch.py results.xml.

    Ви бачите TC-14 Off-Nadir Imaging Test: Passed і TC-04 Pointing Accuracy Test: Failed.

  4. Відкрийте Верифікація → RVTM.

    1.6.2 Off-Nadir Imaging тепер показує Passed. 2.1 Pointing Accuracy досі не проходить, а Фактичний результат TC-04 показує 0.12 degrees on 2 of 20 targets.

  5. З Claude ті самі результати спершу надходять як пропозиція. Після Застосувати вибране RVTM показує те саме.

Поради

  • Записуйте результати в найнижчі тестові випадки. Батьківські зводяться з дочірніх.
  • Обмежте токен скрипту одним проєктом і відкличте його, коли конвеєр виведуть з використання.
  • Тест, що називає номер, якого немає в Holarch, наводиться як "немає тестового випадку з цим номером". Виправте назву тесту або створіть тестовий випадок.
  • Зберігайте тестовий цикл у Центрі тестування, коли кампанія завершується, щоб її результати зберігалися окремо від наступного запуску (Збереження тестового циклу).

Усунення несправностей

Повідомлення або симптомПричина й виправлення
Holarch answered 401 token-invalidТокен неправильний, відкликаний або прострочений. Створіть новий у Налаштування облікового запису → Токени API.
Holarch answered 403 plan-apiТариф облікового запису не включає API і MCP. Почніть пробний період Individual або виберіть тариф; після цього токен знову запрацює.
Holarch answered 403 read-only-tokenСкрипт записує результати. Створіть токен Читання й запис.
Holarch answered 403 forbiddenВаша роль у проєкті — читач або рецензент. Власник може зробити вас редактором.
TC-14: not recorded (…)Holarch не зміг записати цей результат, наприклад тому, що тестовий випадок заблоковано або він має дочірні тестові випадки. Причина пояснює, що саме; інші результати записано.
TC-04: not recorded (… configuration control …)Тестовий випадок перебуває під керуванням конфігурацією. Запишіть його результат у застосунку через запит на зміну.
Holarch answered 429 rate-limitedЗабагато запитів на хвилину. Зачекайте стільки секунд, скільки вказано в Retry-After, потім запустіть скрипт знову.
Тестовий випадок зберігає старий статусТестовий випадок із дочірніми показує зведений статус дочірніх. Запишіть результат у дочірній.
Claude Code не пропонує інструментів запису HolarchЗ’єднання лише для читання. Виконайте /mcp, перепід’єднайте holarch з Читати й пропонувати зміни, потім почніть нову розмову.