Holarch

Referenz

Rezept: Testergebnisse über Claude

Übernehmen Sie Ergebnisse aus einem Testsystem in Holarch-Testfälle, mit einem REST-Skript für CI oder mit Claude, das die Tests ausführt, die Ergebnisse zur Prüfung vorschlägt und berichtet, was die RVTM zeigt; Einrichtung, ein Skript, ein durchgearbeitetes Beispiel und Fehlerbehebung.

So gehen Sie vor →

Auf dieser Seite
  1. Überblick
  2. Voraussetzungen
  3. So setzen Sie es ein
    1. Wann und warum
    2. Den Testfall in jedem Test benennen
    3. Ergebnisse aus CI erfassen
    4. Die Tests mit Claude ausführen und die Ergebnisse vorschlagen
    5. Durchgehendes Beispiel: die CubeSat-EO-1-Demo
    6. Tipps
  4. Fehlerbehebung
  5. Verwandte Seiten

Überblick

Dieses Rezept erfasst Ergebnisse aus einem automatisierten Testsystem an den passenden Holarch-Testfällen, damit die RVTM zeigt, welche Anforderungen bestehen. Es hat zwei Teile:

  • Ergebnisse aus CI (REST-API): Ein Skript liest den JUnit-XML-Bericht, den die meisten Test-Runner schreiben, und erfasst jedes Ergebnis am passenden Testfall: Status, Actual Result, Getestet von, Testdatum und einen Eintrag im Ausführungsprotokoll.
  • Ergebnisse über Claude (MCP): Claude Code führt die Tests aus, ordnet die Ergebnisse Testfällen zu und schlägt die Ergebnisse vor, damit Sie sie in Holarch prüfen. Dann liest es die RVTM und sagt Ihnen, welche Anforderungen noch nicht bestehen.

Um eine Ergebnisdatei von Hand zu importieren, verwenden Sie stattdessen Verifikation → Test Center → Ergebnisse importieren… (Ergebnisse aus einem anderen Testsystem importieren). Die REST-API und MCP erfassen Ergebnisse auf dieselbe Weise: Getestet von, Testdatum und ein Eintrag im Ausführungsprotokoll an jedem Testfall.

Voraussetzungen

  • Ein Tarif mit API und MCP: Individual oder Team oder die Testphase Individual. Im Tarif Free hat auch ein Konto mit einer bestätigten akademischen E-Mail-Adresse oder in einer aktiven Kursorganisation sie (Tarife und Grenzen).
  • Ein Holarch-Projekt mit Testfällen, deren Nummern die Tests nennen können, etwa TC-14. Sie brauchen die Rolle Bearbeiter oder Eigentümer.
  • Für das Skript: ein Token mit Lesen und schreiben, beschränkt auf das Projekt (Kontoeinstellungen → API-Token → Neues Token, Ein Token erstellen), und Python 3.9 oder neuer mit dem Paket requests (python3 -m pip install requests).
  • Für den Teil mit Claude: Claude Code, mit Holarch verbunden mit dem Zugriff Lesen und Änderungen vorschlagen (Holarch mit Claude verbinden), in dem Repository, das die Tests enthält.
  • Ein Test-Runner, der JUnit-XML schreibt, etwa pytest --junitxml=results.xml oder die meisten CI-Testschritte.

So setzen Sie es ein

Wann und warum

Die Verifikation schließt den Kreis von der Anforderung zum Nachweis. Wenn Tests automatisch laufen, ist das Eintippen ihrer Ergebnisse in Holarch langsam und fehleranfällig. Verwenden Sie das Skript, wenn Ergebnisse ohne Prüfung übernommen werden sollen, etwa bei nächtlichen Regressionsläufen. Verwenden Sie Claude, wenn eine Person die Ergebnisse sehen soll, bevor sie erfasst werden, etwa bei einem Qualifikationslauf.

Den Testfall in jedem Test benennen

Das Skript und Claude ordnen einen Test über die Testfallnummer im Namen des Tests einem Holarch-Testfall zu.

  1. Setzen Sie die Nummer in den Namen des Tests: test_TC_14_off_nadir_imaging in pytest oder TC-14 off-nadir imaging in anderen Runnern.
  2. Halten Sie einen Holarch-Testfall pro Test. Ein Testfall mit untergeordneten Testfällen übernimmt seinen Status von ihnen; erfassen Sie Ergebnisse an den untergeordneten.

Ergebnisse aus CI erfassen

Das Skript erfasst an jedem zugeordneten Testfall Passed oder Failed, in einer Anfrage. Bei einem Fehlschlag erfasst es außerdem die Fehlermeldung als Actual Result. Übersprungene Tests bleiben unverändert.

# junit_to_holarch.py: record JUnit XML results on Holarch test cases.
# Usage: python3 junit_to_holarch.py results.xml
import os
import re
import sys
import xml.etree.ElementTree as ET

import requests

HOLARCH = os.environ.get("HOLARCH_URL", "https://app.holarch.app") + "/api/v1"
PROJECT = os.environ["HOLARCH_PROJECT"]
HEADERS = {"Authorization": "Bearer " + os.environ["HOLARCH_TOKEN"]}
NUMBER = re.compile(r"TC[-_ ](\d+)")  # TC-14 or test_TC_14_…; change it to match your numbering


def holarch(method, path, **kw):
    r = requests.request(method, HOLARCH + path, headers=HEADERS, timeout=60, **kw)
    if r.status_code >= 400:
        d = r.json()
        raise SystemExit(f"Holarch answered {r.status_code} {d.get('code')}: {d.get('error')}")
    return r.json()


results = []
for test in ET.parse(sys.argv[1]).getroot().iter("testcase"):
    m = NUMBER.search(test.get("name", ""))
    if not m or test.find("skipped") is not None:
        continue
    failure = test.find("failure")
    if failure is None:
        failure = test.find("error")
    result = {"testCase": "TC-" + m.group(1), "status": "Passed" if failure is None else "Failed"}
    if failure is not None:
        result["actualResult"] = (failure.get("message") or failure.text or "Failed").strip()[:4000]
    results.append(result)

answer = holarch("POST", f"/projects/{PROJECT}/test-results",
                 json={"source": os.path.basename(sys.argv[1]), "testedBy": "CI", "results": results})
for r in answer["recorded"]:
    print(f"{r['number']} {r['name']}: {r['status']}")
for r in answer["skipped"]:
    if r["code"] == "not-found":
        print(f"{r['testCase']}: no test case with this number in Holarch")
    else:
        print(f"{r['testCase']}: not recorded ({r['reason']})")
  1. Setzen Sie die Umgebungsvariablen HOLARCH_TOKEN (das Token) und HOLARCH_PROJECT (die Projekt-ID aus GET /api/v1/projects).
  2. Führen Sie Ihre Tests mit einem JUnit-Bericht aus, etwa pytest --junitxml=results.xml.
  3. Führen Sie python3 junit_to_holarch.py results.xml aus.

    Sie sehen eine Zeile pro erfasstem Ergebnis, etwa TC-14 Off-Nadir Imaging Test: Passed.

  4. Öffnen Sie in Holarch Verifikation → RVTM.

    Die Anforderungen, die diese Testfälle verifizieren, zeigen den neuen Status.

So funktioniert es:

  • POST /api/v1/projects/<project>/test-results erfasst alle Ergebnisse des Berichts als eine Änderung, wie es Ergebnisse importieren… tut: Status, Actual Result bei Fehlschlägen, Getestet von (hier CI; Ihr Kontoname, wenn ausgelassen), Testdatum (die Zeit der Anfrage) und einen Eintrag im Ausführungsprotokoll, dessen source der Dateiname des Berichts ist (Testergebnisse).
  • testCase benennt den Testfall über seine Nummer, etwa TC-14; eine ID oder ein Name funktioniert ebenfalls. Status nimmt hier Passed oder Failed an; der Endpunkt nimmt außerdem Blocked, In Progress und Not Run sowie Wörter von Testwerkzeugen wie pass und fail an.
  • Ein Ergebnis, das nicht erfasst werden kann, etwa eine Nummer, die Holarch nicht hat, wird mit seinem Grund in skipped aufgeführt; die anderen werden trotzdem erfasst.
  • Die Änderung wird unter Ihrem Namen erfasst und sofort von jedem gesehen, der das Projekt geöffnet hat.

Führen Sie das Skript in einem CI-Job als Schritt nach den Tests aus, mit dem Token als Secret. In GitHub Actions zum Beispiel:

      - name: Record results in Holarch
        if: always()
        env:
          HOLARCH_TOKEN: ${{ secrets.HOLARCH_TOKEN }}
          HOLARCH_PROJECT: ${{ vars.HOLARCH_PROJECT }}
        run: |
          python3 -m pip install requests
          python3 junit_to_holarch.py results.xml

if: always() erfasst die Ergebnisse auch, wenn Tests fehlschlagen, also gerade dann, wenn sie am wichtigsten sind.

Die Tests mit Claude ausführen und die Ergebnisse vorschlagen

  1. Fragen Sie Claude Code im Repository, das die Tests enthält, zum Beispiel: „Führe die Pointing-Tests mit einem JUnit-Bericht aus. Schlage dann ihre Ergebnisse im Holarch-CubeSat-Projekt vor: Setze Status und bei Fehlschlägen Actual Result an den passenden Testfällen.“
  2. Claude Code führt die Tests aus. In Holarch fügt es die Ergebnisse mit record_test_results einem Vorschlag hinzu (eine Änderung pro Ergebnis, mit Status, Actual Result, Getestet von und Testdatum). Dann sendet es den Vorschlag mit propose_changes.

    Claude Code antwortet mit dem Titel des Vorschlags, den vorgeschlagenen Ergebnissen und einem Link, um ihn zu prüfen.

  3. Öffnen Sie in Holarch ✦ KI ▾ → „<title>“ prüfen… oder die Benachrichtigung unter der Glocke.

    Der Dialog zeigt jeden Testfall mit seinen aktuellen und vorgeschlagenen Werten.

  4. Entfernen Sie den Haken bei jedem Ergebnis, das Sie nicht akzeptieren, und klicken Sie dann auf Auswahl anwenden.

    Die Ergebnisse werden mit Ihrem Namen im Verlauf erfasst, jedes mit einem Eintrag im Ausführungsprotokoll wie aus Ergebnisse importieren…, und ein einziges Rückgängigmachen nimmt alles zurück.

  5. Fragen Sie Claude Code: „Welche Anforderungen im CubeSat-Projekt bestehen die Verifikation noch nicht?“

    Claude Code liest die RVTM mit get_matrix (matrix rvtm, status Failed) und listet jede Anforderung mit ihren fehlschlagenden Testfällen.

Claude Code kann auch mit einem Bericht arbeiten, den Ihr CI bereits geschrieben hat: Hängen Sie results.xml an oder verweisen Sie darauf, statt es die Tests ausführen zu lassen.

Durchgehendes Beispiel: die CubeSat-EO-1-Demo

  1. Erstellen Sie die Demo mit Projekte verwalten → Projektdateien ▾ → Neues Demoprojekt.

    In Verifikation → Test Center ist TC-14 Off-Nadir Imaging Test Not Run und TC-04 Pointing Accuracy Test Failed.

  2. Schreiben Sie einen JUnit-Bericht mit zwei Tests: test_TC_14_off_nadir_imaging bestanden und test_TC_04_pointing_accuracy fehlgeschlagen mit der Meldung 0.12 degrees on 2 of 20 targets.
  3. Führen Sie python3 junit_to_holarch.py results.xml aus.

    Sie sehen TC-14 Off-Nadir Imaging Test: Passed und TC-04 Pointing Accuracy Test: Failed.

  4. Öffnen Sie Verifikation → RVTM.

    1.6.2 Off-Nadir Imaging zeigt jetzt Passed. 2.1 Pointing Accuracy besteht weiterhin nicht, und das Actual Result von TC-04 lautet 0.12 degrees on 2 of 20 targets.

  5. Mit Claude kommen dieselben Ergebnisse zuerst als Vorschlag an. Nach Auswahl anwenden zeigt die RVTM dasselbe.

Tipps

  • Erfassen Sie Ergebnisse an den untersten Testfällen. Übergeordnete Testfälle übernehmen den Status ihrer untergeordneten.
  • Beschränken Sie das Token des Skripts auf das eine Projekt und widerrufen Sie es, wenn die Pipeline außer Betrieb genommen wird.
  • Ein Test, der eine Nummer nennt, die Holarch nicht hat, wird als „no test case with this number“ aufgeführt. Korrigieren Sie den Namen des Tests oder erstellen Sie den Testfall.
  • Speichern Sie am Ende einer Kampagne einen Testzyklus im Test Center, damit seine Ergebnisse vom nächsten Lauf getrennt bleiben (Einen Testzyklus speichern).

Fehlerbehebung

Meldung oder SymptomUrsache und Behebung
Holarch answered 401 token-invalidDas Token ist falsch, widerrufen oder abgelaufen. Erstellen Sie ein neues unter Kontoeinstellungen → API-Token.
Holarch answered 403 plan-apiDer Tarif des Kontos enthält API und MCP nicht. Beginnen Sie die Testphase Individual oder wählen Sie einen Tarif; das Token funktioniert dann wieder.
Holarch answered 403 read-only-tokenDas Skript schreibt Ergebnisse. Erstellen Sie ein Token mit Lesen und schreiben.
Holarch answered 403 forbiddenIhre Rolle im Projekt ist Betrachter oder Reviewer. Ein Eigentümer kann Sie zum Bearbeiter machen.
TC-14: not recorded (…)Holarch konnte dieses Ergebnis nicht erfassen, zum Beispiel weil der Testfall gesperrt ist oder untergeordnete Testfälle hat. Der Grund sagt, welches; die anderen Ergebnisse werden erfasst.
TC-04: not recorded (… configuration control …)Der Testfall unterliegt dem Konfigurationsmanagement. Erfassen Sie sein Ergebnis in der App über einen Änderungsantrag.
Holarch answered 429 rate-limitedZu viele Anfragen pro Minute. Warten Sie die Sekunden in Retry-After und führen Sie das Skript dann erneut aus.
Ein Testfall behält seinen alten StatusEin Testfall mit untergeordneten Testfällen zeigt den zusammengefassten Status seiner untergeordneten. Erfassen Sie das Ergebnis an einem untergeordneten.
Claude Code bietet die Holarch-Schreibwerkzeuge nicht anDie Verbindung hat nur Lesezugriff. Führen Sie /mcp aus, verbinden Sie holarch erneut mit Lesen und Änderungen vorschlagen und beginnen Sie dann ein neues Gespräch.