Referencja
Przepis: wyniki testów przez Claude
Przenoś wyniki z systemu testowego do przypadków testowych Holarch za pomocą skryptu REST dla CI lub za pomocą Claude, który uruchamia testy, proponuje wyniki do przeglądu i informuje, co pokazuje RVTM; konfiguracja, skrypt, przykład krok po kroku i rozwiązywanie problemów.
Na tej stronie
Przegląd
Ten przepis rejestruje wyniki z automatycznego systemu testowego w odpowiadających im przypadkach testowych Holarch, dzięki czemu RVTM pokazuje, które wymagania są spełnione. Ma dwie części:
- Wyniki z CI (REST API): skrypt odczytuje raport JUnit XML zapisywany przez większość narzędzi uruchamiających testy i rejestruje każdy wynik w odpowiadającym mu przypadku testowym: Status, Wynik rzeczywisty, Testował(a), Data testu i wpis w dzienniku przebiegów.
- Wyniki przez Claude (MCP): Claude Code uruchamia testy, dopasowuje wyniki do przypadków testowych i proponuje je do przeglądu w Holarch. Następnie odczytuje RVTM i informuje, które wymagania nadal nie są spełnione.
Aby ręcznie zaimportować plik wyników, użyj zamiast tego Weryfikacja → Centrum testów → Importuj wyniki… (Importowanie wyników z innego systemu testowego). REST API i MCP rejestrują wyniki tak samo: Testował(a), Data testu i wpis w dzienniku przebiegów w każdym przypadku testowym.
Wymagania wstępne
- Plan z API i MCP: Individual lub Team albo okres próbny Individual. W planie Free mają je też konta ze zweryfikowanym akademickim adresem e-mail lub w aktywnej organizacji zajęć (Plany i limity).
- Projekt Holarch z przypadkami testowymi, których numery testy mogą podawać, np. TC-14. Potrzebna jest rola edytora lub właściciela.
- Dla skryptu: token Odczyt i zapis ograniczony do projektu (Ustawienia konta → Tokeny API → Nowy token, Tworzenie tokenu) oraz Python 3.9 lub nowszy z pakietem
requests(python3 -m pip install requests). - Dla części z Claude: Claude Code połączony z Holarch z dostępem Odczyt i proponowanie zmian (Podłączanie Holarch do Claude), w repozytorium zawierającym testy.
- Narzędzie uruchamiające testy, które zapisuje JUnit XML, np.
pytest --junitxml=results.xml, lub większość kroków testowych CI.
Jak z niego korzystać
Kiedy i dlaczego
Weryfikacja zamyka pętlę od wymagania do dowodu. Gdy testy działają automatycznie, wpisywanie ich wyników do Holarch jest powolne i podatne na błędy. Używaj skryptu, gdy wyniki mają trafiać bez przeglądu, np. przy nocnych przebiegach regresji. Używaj Claude, gdy człowiek powinien zobaczyć wyniki przed ich zarejestrowaniem, np. przy przebiegu kwalifikacyjnym.
Podawanie przypadku testowego w każdym teście
Skrypt i Claude dopasowują test do przypadku testowego Holarch według numeru przypadku testowego w nazwie testu.
- Umieść numer w nazwie testu:
test_TC_14_off_nadir_imagingw pytest lubTC-14 off-nadir imagingw innych narzędziach. - Utrzymuj jeden przypadek testowy Holarch na test. Przypadek testowy z podrzędnymi przypadkami testowymi bierze status od nich; rejestruj wyniki w przypadkach podrzędnych.
Rejestrowanie wyników z CI
Skrypt rejestruje Passed lub Failed w każdym dopasowanym przypadku testowym, w jednym żądaniu. Przy niepowodzeniu rejestruje też komunikat błędu jako Wynik rzeczywisty. Pominięte testy pozostają bez zmian.
# junit_to_holarch.py: record JUnit XML results on Holarch test cases.
# Usage: python3 junit_to_holarch.py results.xml
import os
import re
import sys
import xml.etree.ElementTree as ET
import requests
HOLARCH = os.environ.get("HOLARCH_URL", "https://app.holarch.app") + "/api/v1"
PROJECT = os.environ["HOLARCH_PROJECT"]
HEADERS = {"Authorization": "Bearer " + os.environ["HOLARCH_TOKEN"]}
NUMBER = re.compile(r"TC[-_ ](\d+)") # TC-14 or test_TC_14_…; change it to match your numbering
def holarch(method, path, **kw):
r = requests.request(method, HOLARCH + path, headers=HEADERS, timeout=60, **kw)
if r.status_code >= 400:
d = r.json()
raise SystemExit(f"Holarch answered {r.status_code} {d.get('code')}: {d.get('error')}")
return r.json()
results = []
for test in ET.parse(sys.argv[1]).getroot().iter("testcase"):
m = NUMBER.search(test.get("name", ""))
if not m or test.find("skipped") is not None:
continue
failure = test.find("failure")
if failure is None:
failure = test.find("error")
result = {"testCase": "TC-" + m.group(1), "status": "Passed" if failure is None else "Failed"}
if failure is not None:
result["actualResult"] = (failure.get("message") or failure.text or "Failed").strip()[:4000]
results.append(result)
answer = holarch("POST", f"/projects/{PROJECT}/test-results",
json={"source": os.path.basename(sys.argv[1]), "testedBy": "CI", "results": results})
for r in answer["recorded"]:
print(f"{r['number']} {r['name']}: {r['status']}")
for r in answer["skipped"]:
if r["code"] == "not-found":
print(f"{r['testCase']}: no test case with this number in Holarch")
else:
print(f"{r['testCase']}: not recorded ({r['reason']})")
- Ustaw zmienne środowiskowe
HOLARCH_TOKEN(token) iHOLARCH_PROJECT(id projektu zGET /api/v1/projects). - Uruchom testy z raportem JUnit, np.
pytest --junitxml=results.xml. - Uruchom
python3 junit_to_holarch.py results.xml.Pojawia się jeden wiersz na zarejestrowany wynik, np.
TC-14 Off-Nadir Imaging Test: Passed. - W Holarch otwórz Weryfikacja → RVTM.
Wymagania weryfikowane przez te przypadki testowe pokazują nowy status.
Jak to działa:
POST /api/v1/projects/<project>/test-resultsrejestruje wszystkie wyniki raportu jako jedną zmianę, tak jak Importuj wyniki…: Status, Wynik rzeczywisty dla niepowodzeń, Testował(a) (tu CI; nazwa Twojego konta, gdy pominięto), Data testu (czas żądania) i wpis w dzienniku przebiegów zsourceustawionym na nazwę pliku raportu (Wyniki testów).testCasewskazuje przypadek testowy jego numerem, np.TC-14; działa też id lub nazwa. Status przyjmuje tu Passed lub Failed; punkt końcowy przyjmuje też Blocked, In Progress i Not Run oraz słowa narzędzi testowych, takie jak pass i fail.- Wynik, którego nie można zarejestrować, np. numer, którego Holarch nie ma, jest wymieniony w
skippedz przyczyną; pozostałe są mimo to rejestrowane. - Zmiana jest rejestrowana pod Twoim nazwiskiem i od razu widoczna dla każdego, kto ma projekt otwarty.
W zadaniu CI uruchom skrypt jako krok po testach, z tokenem jako sekretem. Na przykład w GitHub Actions:
- name: Record results in Holarch
if: always()
env:
HOLARCH_TOKEN: ${{ secrets.HOLARCH_TOKEN }}
HOLARCH_PROJECT: ${{ vars.HOLARCH_PROJECT }}
run: |
python3 -m pip install requests
python3 junit_to_holarch.py results.xml
if: always() rejestruje wyniki także wtedy, gdy testy kończą się niepowodzeniem, czyli wtedy, gdy są najważniejsze.
Uruchamianie testów i proponowanie wyników za pomocą Claude
- W repozytorium zawierającym testy poproś Claude Code na przykład: “Uruchom testy pointing z raportem JUnit. Następnie zaproponuj ich wyniki w projekcie Holarch CubeSat: ustaw Status, a dla niepowodzeń Actual Result w odpowiadających im przypadkach testowych.”
- Claude Code uruchamia testy. W Holarch dodaje wyniki do propozycji za pomocą
record_test_results(jedna zmiana na wynik, ze Status, Wynik rzeczywisty, Testował(a) i Data testu). Następnie wysyła propozycję za pomocąpropose_changes.Claude Code odpowiada tytułem propozycji, proponowanymi wynikami i łączem do jej przeglądu.
- W Holarch otwórz ✦ AI ▾ → Przejrzyj “<title>”… albo powiadomienie pod dzwonkiem.
Okno pokazuje każdy przypadek testowy z jego bieżącymi i proponowanymi wartościami.
- Odznacz każdy wynik, którego nie akceptujesz, a następnie kliknij Zastosuj zaznaczone.
Wyniki zostają zarejestrowane z Twoim nazwiskiem w historii, każdy z wpisem w dzienniku przebiegów jak przy Importuj wyniki…, a jedno polecenie Cofnij wycofuje całość.
- Zapytaj Claude Code: “Które wymagania w projekcie CubeSat nadal nie przechodzą weryfikacji?”
Claude Code odczytuje RVTM za pomocą
get_matrix(matrixrvtm,statusFailed) i wymienia każde wymaganie z jego nieudanymi przypadkami testowymi.
Claude Code może też pracować na raporcie już zapisanym przez CI: dołącz lub wskaż mu results.xml, zamiast prosić o uruchomienie testów.
Przykład: demo CubeSat EO-1
- Utwórz projekt demonstracyjny poleceniem Zarządzaj projektami → Pliki projektów ▾ → Nowy projekt demonstracyjny.
W Weryfikacja → Centrum testów TC-14 Off-Nadir Imaging Test ma status Not Run, a TC-04 Pointing Accuracy Test status Failed.
- Zapisz raport JUnit z dwoma testami:
test_TC_14_off_nadir_imagingzakończony powodzeniem itest_TC_04_pointing_accuracyzakończony niepowodzeniem z komunikatem 0.12 degrees on 2 of 20 targets. - Uruchom
python3 junit_to_holarch.py results.xml.Widać
TC-14 Off-Nadir Imaging Test: PassediTC-04 Pointing Accuracy Test: Failed. - Otwórz Weryfikacja → RVTM.
1.6.2 Off-Nadir Imaging pokazuje teraz Passed. 2.1 Pointing Accuracy nadal nie jest spełnione, a Wynik rzeczywisty TC-04 brzmi 0.12 degrees on 2 of 20 targets.
- Z Claude te same wyniki przychodzą najpierw jako propozycja. Po Zastosuj zaznaczone RVTM pokazuje to samo.
Wskazówki
- Rejestruj wyniki w przypadkach testowych najniższego poziomu. Elementy nadrzędne agregują wyniki z podrzędnych.
- Ogranicz token skryptu do jednego projektu i unieważnij go po wycofaniu potoku.
- Test podający numer, którego Holarch nie ma, jest wymieniony jako “brak przypadku testowego o tym numerze”. Popraw nazwę testu lub utwórz przypadek testowy.
- Po zakończeniu kampanii zapisz cykl testów w Centrum testów, aby jego wyniki były oddzielone od następnego przebiegu (Zapisywanie cyklu testów).
Rozwiązywanie problemów
| Komunikat lub objaw | Przyczyna i rozwiązanie |
|---|---|
Holarch answered 401 token-invalid | Token jest błędny, unieważniony lub wygasł. Utwórz nowy w Ustawienia konta → Tokeny API. |
Holarch answered 403 plan-api | Plan konta nie obejmuje API i MCP. Rozpocznij okres próbny Individual lub wybierz plan; token znów zadziała. |
Holarch answered 403 read-only-token | Skrypt zapisuje wyniki. Utwórz token Odczyt i zapis. |
Holarch answered 403 forbidden | Twoja rola w projekcie to czytelnik lub recenzent. Właściciel może uczynić Cię edytorem. |
TC-14: not recorded (…) | Holarch nie mógł zarejestrować tego wyniku, na przykład dlatego, że przypadek testowy jest zablokowany lub ma podrzędne przypadki testowe. Przyczyna to wskazuje; pozostałe wyniki są rejestrowane. |
TC-04: not recorded (… configuration control …) | Przypadek testowy podlega kontroli konfiguracji. Zarejestruj jego wynik w aplikacji przez wniosek o zmianę. |
Holarch answered 429 rate-limited | Za dużo żądań na minutę. Odczekaj liczbę sekund podaną w Retry-After, a następnie uruchom skrypt ponownie. |
| Przypadek testowy zachowuje stary status | Przypadek testowy z elementami podrzędnymi pokazuje zagregowany status swoich elementów podrzędnych. Zarejestruj wynik w elemencie podrzędnym. |
| Claude Code nie oferuje narzędzi zapisu Holarch | Połączenie jest tylko do odczytu. Uruchom /mcp, połącz ponownie holarch z dostępem Odczyt i proponowanie zmian, a następnie rozpocznij nową rozmowę. |