Holarch

Referencja

Przepis: wyniki testów przez Claude

Przenoś wyniki z systemu testowego do przypadków testowych Holarch za pomocą skryptu REST dla CI lub za pomocą Claude, który uruchamia testy, proponuje wyniki do przeglądu i informuje, co pokazuje RVTM; konfiguracja, skrypt, przykład krok po kroku i rozwiązywanie problemów.

Jak z niego korzystać →

Na tej stronie
  1. Przegląd
  2. Wymagania wstępne
  3. Jak z niego korzystać
    1. Kiedy i dlaczego
    2. Podawanie przypadku testowego w każdym teście
    3. Rejestrowanie wyników z CI
    4. Uruchamianie testów i proponowanie wyników za pomocą Claude
    5. Przykład: demo CubeSat EO-1
    6. Wskazówki
  4. Rozwiązywanie problemów
  5. Powiązane strony

Przegląd

Ten przepis rejestruje wyniki z automatycznego systemu testowego w odpowiadających im przypadkach testowych Holarch, dzięki czemu RVTM pokazuje, które wymagania są spełnione. Ma dwie części:

  • Wyniki z CI (REST API): skrypt odczytuje raport JUnit XML zapisywany przez większość narzędzi uruchamiających testy i rejestruje każdy wynik w odpowiadającym mu przypadku testowym: Status, Wynik rzeczywisty, Testował(a), Data testu i wpis w dzienniku przebiegów.
  • Wyniki przez Claude (MCP): Claude Code uruchamia testy, dopasowuje wyniki do przypadków testowych i proponuje je do przeglądu w Holarch. Następnie odczytuje RVTM i informuje, które wymagania nadal nie są spełnione.

Aby ręcznie zaimportować plik wyników, użyj zamiast tego Weryfikacja → Centrum testów → Importuj wyniki… (Importowanie wyników z innego systemu testowego). REST API i MCP rejestrują wyniki tak samo: Testował(a), Data testu i wpis w dzienniku przebiegów w każdym przypadku testowym.

Wymagania wstępne

  • Plan z API i MCP: Individual lub Team albo okres próbny Individual. W planie Free mają je też konta ze zweryfikowanym akademickim adresem e-mail lub w aktywnej organizacji zajęć (Plany i limity).
  • Projekt Holarch z przypadkami testowymi, których numery testy mogą podawać, np. TC-14. Potrzebna jest rola edytora lub właściciela.
  • Dla skryptu: token Odczyt i zapis ograniczony do projektu (Ustawienia konta → Tokeny API → Nowy token, Tworzenie tokenu) oraz Python 3.9 lub nowszy z pakietem requests (python3 -m pip install requests).
  • Dla części z Claude: Claude Code połączony z Holarch z dostępem Odczyt i proponowanie zmian (Podłączanie Holarch do Claude), w repozytorium zawierającym testy.
  • Narzędzie uruchamiające testy, które zapisuje JUnit XML, np. pytest --junitxml=results.xml, lub większość kroków testowych CI.

Jak z niego korzystać

Kiedy i dlaczego

Weryfikacja zamyka pętlę od wymagania do dowodu. Gdy testy działają automatycznie, wpisywanie ich wyników do Holarch jest powolne i podatne na błędy. Używaj skryptu, gdy wyniki mają trafiać bez przeglądu, np. przy nocnych przebiegach regresji. Używaj Claude, gdy człowiek powinien zobaczyć wyniki przed ich zarejestrowaniem, np. przy przebiegu kwalifikacyjnym.

Podawanie przypadku testowego w każdym teście

Skrypt i Claude dopasowują test do przypadku testowego Holarch według numeru przypadku testowego w nazwie testu.

  1. Umieść numer w nazwie testu: test_TC_14_off_nadir_imaging w pytest lub TC-14 off-nadir imaging w innych narzędziach.
  2. Utrzymuj jeden przypadek testowy Holarch na test. Przypadek testowy z podrzędnymi przypadkami testowymi bierze status od nich; rejestruj wyniki w przypadkach podrzędnych.

Rejestrowanie wyników z CI

Skrypt rejestruje Passed lub Failed w każdym dopasowanym przypadku testowym, w jednym żądaniu. Przy niepowodzeniu rejestruje też komunikat błędu jako Wynik rzeczywisty. Pominięte testy pozostają bez zmian.

# junit_to_holarch.py: record JUnit XML results on Holarch test cases.
# Usage: python3 junit_to_holarch.py results.xml
import os
import re
import sys
import xml.etree.ElementTree as ET

import requests

HOLARCH = os.environ.get("HOLARCH_URL", "https://app.holarch.app") + "/api/v1"
PROJECT = os.environ["HOLARCH_PROJECT"]
HEADERS = {"Authorization": "Bearer " + os.environ["HOLARCH_TOKEN"]}
NUMBER = re.compile(r"TC[-_ ](\d+)")  # TC-14 or test_TC_14_…; change it to match your numbering


def holarch(method, path, **kw):
    r = requests.request(method, HOLARCH + path, headers=HEADERS, timeout=60, **kw)
    if r.status_code >= 400:
        d = r.json()
        raise SystemExit(f"Holarch answered {r.status_code} {d.get('code')}: {d.get('error')}")
    return r.json()


results = []
for test in ET.parse(sys.argv[1]).getroot().iter("testcase"):
    m = NUMBER.search(test.get("name", ""))
    if not m or test.find("skipped") is not None:
        continue
    failure = test.find("failure")
    if failure is None:
        failure = test.find("error")
    result = {"testCase": "TC-" + m.group(1), "status": "Passed" if failure is None else "Failed"}
    if failure is not None:
        result["actualResult"] = (failure.get("message") or failure.text or "Failed").strip()[:4000]
    results.append(result)

answer = holarch("POST", f"/projects/{PROJECT}/test-results",
                 json={"source": os.path.basename(sys.argv[1]), "testedBy": "CI", "results": results})
for r in answer["recorded"]:
    print(f"{r['number']} {r['name']}: {r['status']}")
for r in answer["skipped"]:
    if r["code"] == "not-found":
        print(f"{r['testCase']}: no test case with this number in Holarch")
    else:
        print(f"{r['testCase']}: not recorded ({r['reason']})")
  1. Ustaw zmienne środowiskowe HOLARCH_TOKEN (token) i HOLARCH_PROJECT (id projektu z GET /api/v1/projects).
  2. Uruchom testy z raportem JUnit, np. pytest --junitxml=results.xml.
  3. Uruchom python3 junit_to_holarch.py results.xml.

    Pojawia się jeden wiersz na zarejestrowany wynik, np. TC-14 Off-Nadir Imaging Test: Passed.

  4. W Holarch otwórz Weryfikacja → RVTM.

    Wymagania weryfikowane przez te przypadki testowe pokazują nowy status.

Jak to działa:

  • POST /api/v1/projects/<project>/test-results rejestruje wszystkie wyniki raportu jako jedną zmianę, tak jak Importuj wyniki…: Status, Wynik rzeczywisty dla niepowodzeń, Testował(a) (tu CI; nazwa Twojego konta, gdy pominięto), Data testu (czas żądania) i wpis w dzienniku przebiegów z source ustawionym na nazwę pliku raportu (Wyniki testów).
  • testCase wskazuje przypadek testowy jego numerem, np. TC-14; działa też id lub nazwa. Status przyjmuje tu Passed lub Failed; punkt końcowy przyjmuje też Blocked, In Progress i Not Run oraz słowa narzędzi testowych, takie jak pass i fail.
  • Wynik, którego nie można zarejestrować, np. numer, którego Holarch nie ma, jest wymieniony w skipped z przyczyną; pozostałe są mimo to rejestrowane.
  • Zmiana jest rejestrowana pod Twoim nazwiskiem i od razu widoczna dla każdego, kto ma projekt otwarty.

W zadaniu CI uruchom skrypt jako krok po testach, z tokenem jako sekretem. Na przykład w GitHub Actions:

      - name: Record results in Holarch
        if: always()
        env:
          HOLARCH_TOKEN: ${{ secrets.HOLARCH_TOKEN }}
          HOLARCH_PROJECT: ${{ vars.HOLARCH_PROJECT }}
        run: |
          python3 -m pip install requests
          python3 junit_to_holarch.py results.xml

if: always() rejestruje wyniki także wtedy, gdy testy kończą się niepowodzeniem, czyli wtedy, gdy są najważniejsze.

Uruchamianie testów i proponowanie wyników za pomocą Claude

  1. W repozytorium zawierającym testy poproś Claude Code na przykład: “Uruchom testy pointing z raportem JUnit. Następnie zaproponuj ich wyniki w projekcie Holarch CubeSat: ustaw Status, a dla niepowodzeń Actual Result w odpowiadających im przypadkach testowych.”
  2. Claude Code uruchamia testy. W Holarch dodaje wyniki do propozycji za pomocą record_test_results (jedna zmiana na wynik, ze Status, Wynik rzeczywisty, Testował(a) i Data testu). Następnie wysyła propozycję za pomocą propose_changes.

    Claude Code odpowiada tytułem propozycji, proponowanymi wynikami i łączem do jej przeglądu.

  3. W Holarch otwórz ✦ AI ▾ → Przejrzyj “<title>”… albo powiadomienie pod dzwonkiem.

    Okno pokazuje każdy przypadek testowy z jego bieżącymi i proponowanymi wartościami.

  4. Odznacz każdy wynik, którego nie akceptujesz, a następnie kliknij Zastosuj zaznaczone.

    Wyniki zostają zarejestrowane z Twoim nazwiskiem w historii, każdy z wpisem w dzienniku przebiegów jak przy Importuj wyniki…, a jedno polecenie Cofnij wycofuje całość.

  5. Zapytaj Claude Code: “Które wymagania w projekcie CubeSat nadal nie przechodzą weryfikacji?”

    Claude Code odczytuje RVTM za pomocą get_matrix (matrix rvtm, status Failed) i wymienia każde wymaganie z jego nieudanymi przypadkami testowymi.

Claude Code może też pracować na raporcie już zapisanym przez CI: dołącz lub wskaż mu results.xml, zamiast prosić o uruchomienie testów.

Przykład: demo CubeSat EO-1

  1. Utwórz projekt demonstracyjny poleceniem Zarządzaj projektami → Pliki projektów ▾ → Nowy projekt demonstracyjny.

    W Weryfikacja → Centrum testów TC-14 Off-Nadir Imaging Test ma status Not Run, a TC-04 Pointing Accuracy Test status Failed.

  2. Zapisz raport JUnit z dwoma testami: test_TC_14_off_nadir_imaging zakończony powodzeniem i test_TC_04_pointing_accuracy zakończony niepowodzeniem z komunikatem 0.12 degrees on 2 of 20 targets.
  3. Uruchom python3 junit_to_holarch.py results.xml.

    Widać TC-14 Off-Nadir Imaging Test: Passed i TC-04 Pointing Accuracy Test: Failed.

  4. Otwórz Weryfikacja → RVTM.

    1.6.2 Off-Nadir Imaging pokazuje teraz Passed. 2.1 Pointing Accuracy nadal nie jest spełnione, a Wynik rzeczywisty TC-04 brzmi 0.12 degrees on 2 of 20 targets.

  5. Z Claude te same wyniki przychodzą najpierw jako propozycja. Po Zastosuj zaznaczone RVTM pokazuje to samo.

Wskazówki

  • Rejestruj wyniki w przypadkach testowych najniższego poziomu. Elementy nadrzędne agregują wyniki z podrzędnych.
  • Ogranicz token skryptu do jednego projektu i unieważnij go po wycofaniu potoku.
  • Test podający numer, którego Holarch nie ma, jest wymieniony jako “brak przypadku testowego o tym numerze”. Popraw nazwę testu lub utwórz przypadek testowy.
  • Po zakończeniu kampanii zapisz cykl testów w Centrum testów, aby jego wyniki były oddzielone od następnego przebiegu (Zapisywanie cyklu testów).

Rozwiązywanie problemów

Komunikat lub objawPrzyczyna i rozwiązanie
Holarch answered 401 token-invalidToken jest błędny, unieważniony lub wygasł. Utwórz nowy w Ustawienia konta → Tokeny API.
Holarch answered 403 plan-apiPlan konta nie obejmuje API i MCP. Rozpocznij okres próbny Individual lub wybierz plan; token znów zadziała.
Holarch answered 403 read-only-tokenSkrypt zapisuje wyniki. Utwórz token Odczyt i zapis.
Holarch answered 403 forbiddenTwoja rola w projekcie to czytelnik lub recenzent. Właściciel może uczynić Cię edytorem.
TC-14: not recorded (…)Holarch nie mógł zarejestrować tego wyniku, na przykład dlatego, że przypadek testowy jest zablokowany lub ma podrzędne przypadki testowe. Przyczyna to wskazuje; pozostałe wyniki są rejestrowane.
TC-04: not recorded (… configuration control …)Przypadek testowy podlega kontroli konfiguracji. Zarejestruj jego wynik w aplikacji przez wniosek o zmianę.
Holarch answered 429 rate-limitedZa dużo żądań na minutę. Odczekaj liczbę sekund podaną w Retry-After, a następnie uruchom skrypt ponownie.
Przypadek testowy zachowuje stary statusPrzypadek testowy z elementami podrzędnymi pokazuje zagregowany status swoich elementów podrzędnych. Zarejestruj wynik w elemencie podrzędnym.
Claude Code nie oferuje narzędzi zapisu HolarchPołączenie jest tylko do odczytu. Uruchom /mcp, połącz ponownie holarch z dostępem Odczyt i proponowanie zmian, a następnie rozpocznij nową rozmowę.