Referenz
Rezept: Testergebnisse über Claude
Übernehmen Sie Ergebnisse aus einem Testsystem in Holarch-Testfälle, mit einem REST-Skript für CI oder mit Claude, das die Tests ausführt, die Ergebnisse zur Prüfung vorschlägt und berichtet, was die RVTM zeigt; Einrichtung, ein Skript, ein durchgearbeitetes Beispiel und Fehlerbehebung.
Auf dieser Seite
Überblick
Dieses Rezept erfasst Ergebnisse aus einem automatisierten Testsystem an den passenden Holarch-Testfällen, damit die RVTM zeigt, welche Anforderungen bestehen. Es hat zwei Teile:
- Ergebnisse aus CI (REST-API): Ein Skript liest den JUnit-XML-Bericht, den die meisten Test-Runner schreiben, und erfasst jedes Ergebnis am passenden Testfall: Status, Actual Result, Getestet von, Testdatum und einen Eintrag im Ausführungsprotokoll.
- Ergebnisse über Claude (MCP): Claude Code führt die Tests aus, ordnet die Ergebnisse Testfällen zu und schlägt die Ergebnisse vor, damit Sie sie in Holarch prüfen. Dann liest es die RVTM und sagt Ihnen, welche Anforderungen noch nicht bestehen.
Um eine Ergebnisdatei von Hand zu importieren, verwenden Sie stattdessen Verifikation → Test Center → Ergebnisse importieren… (Ergebnisse aus einem anderen Testsystem importieren). Die REST-API und MCP erfassen Ergebnisse auf dieselbe Weise: Getestet von, Testdatum und ein Eintrag im Ausführungsprotokoll an jedem Testfall.
Voraussetzungen
- Ein Tarif mit API und MCP: Individual oder Team oder die Testphase Individual. Im Tarif Free hat auch ein Konto mit einer bestätigten akademischen E-Mail-Adresse oder in einer aktiven Kursorganisation sie (Tarife und Grenzen).
- Ein Holarch-Projekt mit Testfällen, deren Nummern die Tests nennen können, etwa TC-14. Sie brauchen die Rolle Bearbeiter oder Eigentümer.
- Für das Skript: ein Token mit Lesen und schreiben, beschränkt auf das Projekt (Kontoeinstellungen → API-Token → Neues Token, Ein Token erstellen), und Python 3.9 oder neuer mit dem Paket
requests(python3 -m pip install requests). - Für den Teil mit Claude: Claude Code, mit Holarch verbunden mit dem Zugriff Lesen und Änderungen vorschlagen (Holarch mit Claude verbinden), in dem Repository, das die Tests enthält.
- Ein Test-Runner, der JUnit-XML schreibt, etwa
pytest --junitxml=results.xmloder die meisten CI-Testschritte.
So setzen Sie es ein
Wann und warum
Die Verifikation schließt den Kreis von der Anforderung zum Nachweis. Wenn Tests automatisch laufen, ist das Eintippen ihrer Ergebnisse in Holarch langsam und fehleranfällig. Verwenden Sie das Skript, wenn Ergebnisse ohne Prüfung übernommen werden sollen, etwa bei nächtlichen Regressionsläufen. Verwenden Sie Claude, wenn eine Person die Ergebnisse sehen soll, bevor sie erfasst werden, etwa bei einem Qualifikationslauf.
Den Testfall in jedem Test benennen
Das Skript und Claude ordnen einen Test über die Testfallnummer im Namen des Tests einem Holarch-Testfall zu.
- Setzen Sie die Nummer in den Namen des Tests:
test_TC_14_off_nadir_imagingin pytest oderTC-14 off-nadir imagingin anderen Runnern. - Halten Sie einen Holarch-Testfall pro Test. Ein Testfall mit untergeordneten Testfällen übernimmt seinen Status von ihnen; erfassen Sie Ergebnisse an den untergeordneten.
Ergebnisse aus CI erfassen
Das Skript erfasst an jedem zugeordneten Testfall Passed oder Failed, in einer Anfrage. Bei einem Fehlschlag erfasst es außerdem die Fehlermeldung als Actual Result. Übersprungene Tests bleiben unverändert.
# junit_to_holarch.py: record JUnit XML results on Holarch test cases.
# Usage: python3 junit_to_holarch.py results.xml
import os
import re
import sys
import xml.etree.ElementTree as ET
import requests
HOLARCH = os.environ.get("HOLARCH_URL", "https://app.holarch.app") + "/api/v1"
PROJECT = os.environ["HOLARCH_PROJECT"]
HEADERS = {"Authorization": "Bearer " + os.environ["HOLARCH_TOKEN"]}
NUMBER = re.compile(r"TC[-_ ](\d+)") # TC-14 or test_TC_14_…; change it to match your numbering
def holarch(method, path, **kw):
r = requests.request(method, HOLARCH + path, headers=HEADERS, timeout=60, **kw)
if r.status_code >= 400:
d = r.json()
raise SystemExit(f"Holarch answered {r.status_code} {d.get('code')}: {d.get('error')}")
return r.json()
results = []
for test in ET.parse(sys.argv[1]).getroot().iter("testcase"):
m = NUMBER.search(test.get("name", ""))
if not m or test.find("skipped") is not None:
continue
failure = test.find("failure")
if failure is None:
failure = test.find("error")
result = {"testCase": "TC-" + m.group(1), "status": "Passed" if failure is None else "Failed"}
if failure is not None:
result["actualResult"] = (failure.get("message") or failure.text or "Failed").strip()[:4000]
results.append(result)
answer = holarch("POST", f"/projects/{PROJECT}/test-results",
json={"source": os.path.basename(sys.argv[1]), "testedBy": "CI", "results": results})
for r in answer["recorded"]:
print(f"{r['number']} {r['name']}: {r['status']}")
for r in answer["skipped"]:
if r["code"] == "not-found":
print(f"{r['testCase']}: no test case with this number in Holarch")
else:
print(f"{r['testCase']}: not recorded ({r['reason']})")
- Setzen Sie die Umgebungsvariablen
HOLARCH_TOKEN(das Token) undHOLARCH_PROJECT(die Projekt-ID ausGET /api/v1/projects). - Führen Sie Ihre Tests mit einem JUnit-Bericht aus, etwa
pytest --junitxml=results.xml. - Führen Sie
python3 junit_to_holarch.py results.xmlaus.Sie sehen eine Zeile pro erfasstem Ergebnis, etwa
TC-14 Off-Nadir Imaging Test: Passed. - Öffnen Sie in Holarch Verifikation → RVTM.
Die Anforderungen, die diese Testfälle verifizieren, zeigen den neuen Status.
So funktioniert es:
POST /api/v1/projects/<project>/test-resultserfasst alle Ergebnisse des Berichts als eine Änderung, wie es Ergebnisse importieren… tut: Status, Actual Result bei Fehlschlägen, Getestet von (hier CI; Ihr Kontoname, wenn ausgelassen), Testdatum (die Zeit der Anfrage) und einen Eintrag im Ausführungsprotokoll, dessensourceder Dateiname des Berichts ist (Testergebnisse).testCasebenennt den Testfall über seine Nummer, etwaTC-14; eine ID oder ein Name funktioniert ebenfalls. Status nimmt hier Passed oder Failed an; der Endpunkt nimmt außerdem Blocked, In Progress und Not Run sowie Wörter von Testwerkzeugen wie pass und fail an.- Ein Ergebnis, das nicht erfasst werden kann, etwa eine Nummer, die Holarch nicht hat, wird mit seinem Grund in
skippedaufgeführt; die anderen werden trotzdem erfasst. - Die Änderung wird unter Ihrem Namen erfasst und sofort von jedem gesehen, der das Projekt geöffnet hat.
Führen Sie das Skript in einem CI-Job als Schritt nach den Tests aus, mit dem Token als Secret. In GitHub Actions zum Beispiel:
- name: Record results in Holarch
if: always()
env:
HOLARCH_TOKEN: ${{ secrets.HOLARCH_TOKEN }}
HOLARCH_PROJECT: ${{ vars.HOLARCH_PROJECT }}
run: |
python3 -m pip install requests
python3 junit_to_holarch.py results.xml
if: always() erfasst die Ergebnisse auch, wenn Tests fehlschlagen, also gerade dann, wenn sie am wichtigsten sind.
Die Tests mit Claude ausführen und die Ergebnisse vorschlagen
- Fragen Sie Claude Code im Repository, das die Tests enthält, zum Beispiel: „Führe die Pointing-Tests mit einem JUnit-Bericht aus. Schlage dann ihre Ergebnisse im Holarch-CubeSat-Projekt vor: Setze Status und bei Fehlschlägen Actual Result an den passenden Testfällen.“
- Claude Code führt die Tests aus. In Holarch fügt es die Ergebnisse mit
record_test_resultseinem Vorschlag hinzu (eine Änderung pro Ergebnis, mit Status, Actual Result, Getestet von und Testdatum). Dann sendet es den Vorschlag mitpropose_changes.Claude Code antwortet mit dem Titel des Vorschlags, den vorgeschlagenen Ergebnissen und einem Link, um ihn zu prüfen.
- Öffnen Sie in Holarch ✦ KI ▾ → „<title>“ prüfen… oder die Benachrichtigung unter der Glocke.
Der Dialog zeigt jeden Testfall mit seinen aktuellen und vorgeschlagenen Werten.
- Entfernen Sie den Haken bei jedem Ergebnis, das Sie nicht akzeptieren, und klicken Sie dann auf Auswahl anwenden.
Die Ergebnisse werden mit Ihrem Namen im Verlauf erfasst, jedes mit einem Eintrag im Ausführungsprotokoll wie aus Ergebnisse importieren…, und ein einziges Rückgängigmachen nimmt alles zurück.
- Fragen Sie Claude Code: „Welche Anforderungen im CubeSat-Projekt bestehen die Verifikation noch nicht?“
Claude Code liest die RVTM mit
get_matrix(matrixrvtm,statusFailed) und listet jede Anforderung mit ihren fehlschlagenden Testfällen.
Claude Code kann auch mit einem Bericht arbeiten, den Ihr CI bereits geschrieben hat: Hängen Sie results.xml an oder verweisen Sie darauf, statt es die Tests ausführen zu lassen.
Durchgehendes Beispiel: die CubeSat-EO-1-Demo
- Erstellen Sie die Demo mit Projekte verwalten → Projektdateien ▾ → Neues Demoprojekt.
In Verifikation → Test Center ist TC-14 Off-Nadir Imaging Test Not Run und TC-04 Pointing Accuracy Test Failed.
- Schreiben Sie einen JUnit-Bericht mit zwei Tests:
test_TC_14_off_nadir_imagingbestanden undtest_TC_04_pointing_accuracyfehlgeschlagen mit der Meldung 0.12 degrees on 2 of 20 targets. - Führen Sie
python3 junit_to_holarch.py results.xmlaus.Sie sehen
TC-14 Off-Nadir Imaging Test: PassedundTC-04 Pointing Accuracy Test: Failed. - Öffnen Sie Verifikation → RVTM.
1.6.2 Off-Nadir Imaging zeigt jetzt Passed. 2.1 Pointing Accuracy besteht weiterhin nicht, und das Actual Result von TC-04 lautet 0.12 degrees on 2 of 20 targets.
- Mit Claude kommen dieselben Ergebnisse zuerst als Vorschlag an. Nach Auswahl anwenden zeigt die RVTM dasselbe.
Tipps
- Erfassen Sie Ergebnisse an den untersten Testfällen. Übergeordnete Testfälle übernehmen den Status ihrer untergeordneten.
- Beschränken Sie das Token des Skripts auf das eine Projekt und widerrufen Sie es, wenn die Pipeline außer Betrieb genommen wird.
- Ein Test, der eine Nummer nennt, die Holarch nicht hat, wird als „no test case with this number“ aufgeführt. Korrigieren Sie den Namen des Tests oder erstellen Sie den Testfall.
- Speichern Sie am Ende einer Kampagne einen Testzyklus im Test Center, damit seine Ergebnisse vom nächsten Lauf getrennt bleiben (Einen Testzyklus speichern).
Fehlerbehebung
| Meldung oder Symptom | Ursache und Behebung |
|---|---|
Holarch answered 401 token-invalid | Das Token ist falsch, widerrufen oder abgelaufen. Erstellen Sie ein neues unter Kontoeinstellungen → API-Token. |
Holarch answered 403 plan-api | Der Tarif des Kontos enthält API und MCP nicht. Beginnen Sie die Testphase Individual oder wählen Sie einen Tarif; das Token funktioniert dann wieder. |
Holarch answered 403 read-only-token | Das Skript schreibt Ergebnisse. Erstellen Sie ein Token mit Lesen und schreiben. |
Holarch answered 403 forbidden | Ihre Rolle im Projekt ist Betrachter oder Reviewer. Ein Eigentümer kann Sie zum Bearbeiter machen. |
TC-14: not recorded (…) | Holarch konnte dieses Ergebnis nicht erfassen, zum Beispiel weil der Testfall gesperrt ist oder untergeordnete Testfälle hat. Der Grund sagt, welches; die anderen Ergebnisse werden erfasst. |
TC-04: not recorded (… configuration control …) | Der Testfall unterliegt dem Konfigurationsmanagement. Erfassen Sie sein Ergebnis in der App über einen Änderungsantrag. |
Holarch answered 429 rate-limited | Zu viele Anfragen pro Minute. Warten Sie die Sekunden in Retry-After und führen Sie das Skript dann erneut aus. |
| Ein Testfall behält seinen alten Status | Ein Testfall mit untergeordneten Testfällen zeigt den zusammengefassten Status seiner untergeordneten. Erfassen Sie das Ergebnis an einem untergeordneten. |
| Claude Code bietet die Holarch-Schreibwerkzeuge nicht an | Die Verbindung hat nur Lesezugriff. Führen Sie /mcp aus, verbinden Sie holarch erneut mit Lesen und Änderungen vorschlagen und beginnen Sie dann ein neues Gespräch. |