Holarch

Riferimento

Ricetta: risultati dei test tramite Claude

Portare i risultati di un sistema di test nei casi di test di Holarch, con uno script REST per la CI o con Claude, che esegue i test, propone i risultati per la revisione e riporta ciò che mostra la RVTM; configurazione, uno script, un esempio svolto e risoluzione dei problemi.

Come usarlo →

In questa pagina
  1. Panoramica
  2. Prerequisiti
  3. Come usarlo
    1. Quando e perché
    2. Indicare il caso di test in ogni test
    3. Registrare i risultati dalla CI
    4. Eseguire i test e proporre i risultati con Claude
    5. Esempio pratico: la demo CubeSat EO-1
    6. Suggerimenti
  4. Risoluzione dei problemi
  5. Pagine correlate

Panoramica

Questa ricetta registra i risultati di un sistema di test automatizzato sui casi di test corrispondenti di Holarch, così la RVTM mostra quali requisiti vengono superati. Si compone di due parti:

  • Risultati dalla CI (REST API): uno script legge il report JUnit XML che la maggior parte dei test runner scrive e registra ogni risultato sul caso di test corrispondente: Stato, Risultato effettivo, Testato da, Data del test e una voce nel log di esecuzione.
  • Risultati tramite Claude (MCP): Claude Code esegue i test, abbina i risultati ai casi di test e propone i risultati da esaminare in Holarch. Poi legge la RVTM e indica quali requisiti falliscono ancora.

Per importare a mano un file di risultati, usare invece Verifica → Centro test → Importa risultati… (Importare risultati da un altro sistema di test). La REST API e MCP registrano i risultati allo stesso modo: Testato da, Data del test e una voce nel log di esecuzione su ogni caso di test.

Prerequisiti

  • Un piano con l'API e MCP: Individual o Team, oppure la prova di Individual. Nel piano Free, li ha anche un account con un indirizzo email accademico verificato o in un'organizzazione di classe attiva (Piani e limiti).
  • Un progetto Holarch con casi di test i cui numeri i test possono indicare, come TC-14. Serve il ruolo di editor o proprietario.
  • Per lo script: un token Lettura e scrittura limitato al progetto (Impostazioni account → Token API → Nuovo token, Creare un token) e Python 3.9 o successivo con il pacchetto requests (python3 -m pip install requests).
  • Per la parte con Claude: Claude Code connesso a Holarch con accesso Lettura e proposta di modifiche (Connettere Holarch a Claude), nel repository che contiene i test.
  • Un test runner che scrive JUnit XML, come pytest --junitxml=results.xml, o la maggior parte dei passaggi di test della CI.

Come usarlo

Quando e perché

La verifica chiude il cerchio dal requisito all'evidenza. Quando i test vengono eseguiti automaticamente, digitarne i risultati in Holarch è lento e soggetto a errori. Usare lo script quando i risultati devono essere registrati senza revisione, come nelle esecuzioni notturne di regressione. Usare Claude quando una persona deve vedere i risultati prima che vengano registrati, come in un'esecuzione di qualifica.

Indicare il caso di test in ogni test

Lo script e Claude abbinano un test a un caso di test di Holarch tramite il numero del caso di test nel nome del test.

  1. Inserire il numero nel nome del test: test_TC_14_off_nadir_imaging in pytest, oppure TC-14 off-nadir imaging in altri runner.
  2. Mantenere un caso di test di Holarch per ogni test. Un caso di test con casi di test figli prende il suo stato dai figli; registrare i risultati sui figli.

Registrare i risultati dalla CI

Lo script registra Passed o Failed su ogni caso di test abbinato, in una sola richiesta. Per un fallimento registra anche il messaggio di errore come Risultato effettivo. I test saltati restano invariati.

# junit_to_holarch.py: record JUnit XML results on Holarch test cases.
# Usage: python3 junit_to_holarch.py results.xml
import os
import re
import sys
import xml.etree.ElementTree as ET

import requests

HOLARCH = os.environ.get("HOLARCH_URL", "https://app.holarch.app") + "/api/v1"
PROJECT = os.environ["HOLARCH_PROJECT"]
HEADERS = {"Authorization": "Bearer " + os.environ["HOLARCH_TOKEN"]}
NUMBER = re.compile(r"TC[-_ ](\d+)")  # TC-14 or test_TC_14_…; change it to match your numbering


def holarch(method, path, **kw):
    r = requests.request(method, HOLARCH + path, headers=HEADERS, timeout=60, **kw)
    if r.status_code >= 400:
        d = r.json()
        raise SystemExit(f"Holarch answered {r.status_code} {d.get('code')}: {d.get('error')}")
    return r.json()


results = []
for test in ET.parse(sys.argv[1]).getroot().iter("testcase"):
    m = NUMBER.search(test.get("name", ""))
    if not m or test.find("skipped") is not None:
        continue
    failure = test.find("failure")
    if failure is None:
        failure = test.find("error")
    result = {"testCase": "TC-" + m.group(1), "status": "Passed" if failure is None else "Failed"}
    if failure is not None:
        result["actualResult"] = (failure.get("message") or failure.text or "Failed").strip()[:4000]
    results.append(result)

answer = holarch("POST", f"/projects/{PROJECT}/test-results",
                 json={"source": os.path.basename(sys.argv[1]), "testedBy": "CI", "results": results})
for r in answer["recorded"]:
    print(f"{r['number']} {r['name']}: {r['status']}")
for r in answer["skipped"]:
    if r["code"] == "not-found":
        print(f"{r['testCase']}: no test case with this number in Holarch")
    else:
        print(f"{r['testCase']}: not recorded ({r['reason']})")
  1. Impostare le variabili d'ambiente HOLARCH_TOKEN (il token) e HOLARCH_PROJECT (l'id del progetto da GET /api/v1/projects).
  2. Eseguire i test con un report JUnit, come pytest --junitxml=results.xml.
  3. Eseguire python3 junit_to_holarch.py results.xml.

    Si vede una riga per ogni risultato registrato, come TC-14 Off-Nadir Imaging Test: Passed.

  4. In Holarch, aprire Verifica → RVTM.

    I requisiti verificati da quei casi di test mostrano il nuovo stato.

Come funziona:

  • POST /api/v1/projects/<project>/test-results registra tutti i risultati del report come un'unica modifica, come fa Importa risultati…: Stato, Risultato effettivo per i fallimenti, Testato da (qui CI; il nome del proprio account se omesso), Data del test (l'ora della richiesta) e una voce nel log di esecuzione con source impostato sul nome del file del report (Risultati dei test).
  • testCase indica il caso di test tramite il suo numero, come TC-14; funzionano anche un id o un nome. Stato accetta qui Passed o Failed; l'endpoint accetta anche Blocked, In Progress e Not Run, e parole degli strumenti di test come pass e fail.
  • Un risultato che non può essere registrato, come un numero che Holarch non ha, viene elencato in skipped con il suo motivo; gli altri vengono comunque registrati.
  • La modifica viene registrata con il proprio nome e vista subito da chiunque abbia il progetto aperto.

In un job di CI, eseguire lo script come passaggio dopo i test, con il token come secret. In GitHub Actions, per esempio:

      - name: Record results in Holarch
        if: always()
        env:
          HOLARCH_TOKEN: ${{ secrets.HOLARCH_TOKEN }}
          HOLARCH_PROJECT: ${{ vars.HOLARCH_PROJECT }}
        run: |
          python3 -m pip install requests
          python3 junit_to_holarch.py results.xml

if: always() registra i risultati anche quando i test falliscono, che è proprio quando contano di più.

Eseguire i test e proporre i risultati con Claude

  1. Nel repository che contiene i test, chiedere a Claude Code, per esempio: “Esegui i test di puntamento con un report JUnit. Poi proponi i loro risultati nel progetto Holarch CubeSat: imposta Status e, per i fallimenti, Actual Result sui casi di test corrispondenti.”
  2. Claude Code esegue i test. In Holarch aggiunge i risultati a una proposta con record_test_results (una modifica per risultato, con Stato, Risultato effettivo, Testato da e Data del test). Poi invia la proposta con propose_changes.

    Claude Code risponde con il titolo della proposta, i risultati che propone e un link per esaminarla.

  3. In Holarch, aprire ✦ IA ▾ → Rivedi “<title>”…, oppure la notifica sotto la campanella.

    La finestra di dialogo mostra ogni caso di test con i suoi valori attuali e proposti.

  4. Togliere la spunta da qualsiasi risultato non accettato, quindi fare clic su Applica selezionati.

    I risultati vengono registrati con il proprio nome nella cronologia, ciascuno con una voce nel log di esecuzione come da Importa risultati…, e un solo annullamento revoca tutto.

  5. Chiedere a Claude Code: “Quali requisiti del progetto CubeSat falliscono ancora la verifica?”

    Claude Code legge la RVTM con get_matrix (matrix rvtm, status Failed) ed elenca ogni requisito con i suoi casi di test falliti.

Claude Code può anche lavorare da un report già scritto dalla CI: allegare o indicargli results.xml invece di chiedergli di eseguire i test.

Esempio pratico: la demo CubeSat EO-1

  1. Creare la demo con Gestisci progetti → File di progetto ▾ → Nuovo progetto demo.

    In Verifica → Centro test, TC-14 Off-Nadir Imaging Test è Not Run e TC-04 Pointing Accuracy Test è Failed.

  2. Scrivere un report JUnit con due test: test_TC_14_off_nadir_imaging superato e test_TC_04_pointing_accuracy fallito con il messaggio 0.12 degrees on 2 of 20 targets.
  3. Eseguire python3 junit_to_holarch.py results.xml.

    Si vedono TC-14 Off-Nadir Imaging Test: Passed e TC-04 Pointing Accuracy Test: Failed.

  4. Aprire Verifica → RVTM.

    1.6.2 Off-Nadir Imaging ora mostra Passed. 2.1 Pointing Accuracy fallisce ancora e il Risultato effettivo di TC-04 riporta 0.12 degrees on 2 of 20 targets.

  5. Con Claude, gli stessi risultati arrivano prima come proposta. Dopo Applica selezionati, la RVTM mostra lo stesso.

Suggerimenti

  • Registrare i risultati sui casi di test di livello più basso. I padri aggregano i valori dai figli.
  • Mantenere il token dello script limitato a un solo progetto e revocarlo quando la pipeline viene dismessa.
  • Un test che indica un numero che Holarch non ha viene elencato come “nessun caso di test con questo numero”. Correggere il nome del test o creare il caso di test.
  • Salvare un ciclo di test nel Centro test al termine di una campagna, così i suoi risultati restano separati dall'esecuzione successiva (Salvare un ciclo di test).

Risoluzione dei problemi

Messaggio o sintomoCausa e soluzione
Holarch answered 401 token-invalidIl token è errato, revocato o scaduto. Crearne uno nuovo in Impostazioni account → Token API.
Holarch answered 403 plan-apiIl piano dell'account non include l'API e MCP. Avviare la prova di Individual o scegliere un piano; il token torna allora a funzionare.
Holarch answered 403 read-only-tokenLo script scrive risultati. Creare un token Lettura e scrittura.
Holarch answered 403 forbiddenIl proprio ruolo nel progetto è lettore o revisore. Un proprietario può renderlo editor.
TC-14: not recorded (…)Holarch non è riuscito a registrare quel risultato, per esempio perché il caso di test è bloccato o ha casi di test figli. Il motivo indica quale; gli altri risultati vengono registrati.
TC-04: not recorded (… configuration control …)Il caso di test è sotto controllo della configurazione. Registrarne il risultato nell'app tramite una richiesta di modifica.
Holarch answered 429 rate-limitedTroppe richieste al minuto. Attendere i secondi indicati in Retry-After, quindi eseguire di nuovo lo script.
Un caso di test mantiene il suo vecchio statoUn caso di test con figli mostra lo stato aggregato dei suoi figli. Registrare il risultato su un figlio.
Claude Code non offre gli strumenti di scrittura di HolarchLa connessione è di sola lettura. Eseguire /mcp, riconnettere holarch con Lettura e proposta di modifiche, quindi avviare una nuova conversazione.