Riferimento
Ricetta: risultati dei test tramite Claude
Portare i risultati di un sistema di test nei casi di test di Holarch, con uno script REST per la CI o con Claude, che esegue i test, propone i risultati per la revisione e riporta ciò che mostra la RVTM; configurazione, uno script, un esempio svolto e risoluzione dei problemi.
In questa pagina
Panoramica
Questa ricetta registra i risultati di un sistema di test automatizzato sui casi di test corrispondenti di Holarch, così la RVTM mostra quali requisiti vengono superati. Si compone di due parti:
- Risultati dalla CI (REST API): uno script legge il report JUnit XML che la maggior parte dei test runner scrive e registra ogni risultato sul caso di test corrispondente: Stato, Risultato effettivo, Testato da, Data del test e una voce nel log di esecuzione.
- Risultati tramite Claude (MCP): Claude Code esegue i test, abbina i risultati ai casi di test e propone i risultati da esaminare in Holarch. Poi legge la RVTM e indica quali requisiti falliscono ancora.
Per importare a mano un file di risultati, usare invece Verifica → Centro test → Importa risultati… (Importare risultati da un altro sistema di test). La REST API e MCP registrano i risultati allo stesso modo: Testato da, Data del test e una voce nel log di esecuzione su ogni caso di test.
Prerequisiti
- Un piano con l'API e MCP: Individual o Team, oppure la prova di Individual. Nel piano Free, li ha anche un account con un indirizzo email accademico verificato o in un'organizzazione di classe attiva (Piani e limiti).
- Un progetto Holarch con casi di test i cui numeri i test possono indicare, come TC-14. Serve il ruolo di editor o proprietario.
- Per lo script: un token Lettura e scrittura limitato al progetto (Impostazioni account → Token API → Nuovo token, Creare un token) e Python 3.9 o successivo con il pacchetto
requests(python3 -m pip install requests). - Per la parte con Claude: Claude Code connesso a Holarch con accesso Lettura e proposta di modifiche (Connettere Holarch a Claude), nel repository che contiene i test.
- Un test runner che scrive JUnit XML, come
pytest --junitxml=results.xml, o la maggior parte dei passaggi di test della CI.
Come usarlo
Quando e perché
La verifica chiude il cerchio dal requisito all'evidenza. Quando i test vengono eseguiti automaticamente, digitarne i risultati in Holarch è lento e soggetto a errori. Usare lo script quando i risultati devono essere registrati senza revisione, come nelle esecuzioni notturne di regressione. Usare Claude quando una persona deve vedere i risultati prima che vengano registrati, come in un'esecuzione di qualifica.
Indicare il caso di test in ogni test
Lo script e Claude abbinano un test a un caso di test di Holarch tramite il numero del caso di test nel nome del test.
- Inserire il numero nel nome del test:
test_TC_14_off_nadir_imagingin pytest, oppureTC-14 off-nadir imagingin altri runner. - Mantenere un caso di test di Holarch per ogni test. Un caso di test con casi di test figli prende il suo stato dai figli; registrare i risultati sui figli.
Registrare i risultati dalla CI
Lo script registra Passed o Failed su ogni caso di test abbinato, in una sola richiesta. Per un fallimento registra anche il messaggio di errore come Risultato effettivo. I test saltati restano invariati.
# junit_to_holarch.py: record JUnit XML results on Holarch test cases.
# Usage: python3 junit_to_holarch.py results.xml
import os
import re
import sys
import xml.etree.ElementTree as ET
import requests
HOLARCH = os.environ.get("HOLARCH_URL", "https://app.holarch.app") + "/api/v1"
PROJECT = os.environ["HOLARCH_PROJECT"]
HEADERS = {"Authorization": "Bearer " + os.environ["HOLARCH_TOKEN"]}
NUMBER = re.compile(r"TC[-_ ](\d+)") # TC-14 or test_TC_14_…; change it to match your numbering
def holarch(method, path, **kw):
r = requests.request(method, HOLARCH + path, headers=HEADERS, timeout=60, **kw)
if r.status_code >= 400:
d = r.json()
raise SystemExit(f"Holarch answered {r.status_code} {d.get('code')}: {d.get('error')}")
return r.json()
results = []
for test in ET.parse(sys.argv[1]).getroot().iter("testcase"):
m = NUMBER.search(test.get("name", ""))
if not m or test.find("skipped") is not None:
continue
failure = test.find("failure")
if failure is None:
failure = test.find("error")
result = {"testCase": "TC-" + m.group(1), "status": "Passed" if failure is None else "Failed"}
if failure is not None:
result["actualResult"] = (failure.get("message") or failure.text or "Failed").strip()[:4000]
results.append(result)
answer = holarch("POST", f"/projects/{PROJECT}/test-results",
json={"source": os.path.basename(sys.argv[1]), "testedBy": "CI", "results": results})
for r in answer["recorded"]:
print(f"{r['number']} {r['name']}: {r['status']}")
for r in answer["skipped"]:
if r["code"] == "not-found":
print(f"{r['testCase']}: no test case with this number in Holarch")
else:
print(f"{r['testCase']}: not recorded ({r['reason']})")
- Impostare le variabili d'ambiente
HOLARCH_TOKEN(il token) eHOLARCH_PROJECT(l'id del progetto daGET /api/v1/projects). - Eseguire i test con un report JUnit, come
pytest --junitxml=results.xml. - Eseguire
python3 junit_to_holarch.py results.xml.Si vede una riga per ogni risultato registrato, come
TC-14 Off-Nadir Imaging Test: Passed. - In Holarch, aprire Verifica → RVTM.
I requisiti verificati da quei casi di test mostrano il nuovo stato.
Come funziona:
POST /api/v1/projects/<project>/test-resultsregistra tutti i risultati del report come un'unica modifica, come fa Importa risultati…: Stato, Risultato effettivo per i fallimenti, Testato da (qui CI; il nome del proprio account se omesso), Data del test (l'ora della richiesta) e una voce nel log di esecuzione consourceimpostato sul nome del file del report (Risultati dei test).testCaseindica il caso di test tramite il suo numero, comeTC-14; funzionano anche un id o un nome. Stato accetta qui Passed o Failed; l'endpoint accetta anche Blocked, In Progress e Not Run, e parole degli strumenti di test come pass e fail.- Un risultato che non può essere registrato, come un numero che Holarch non ha, viene elencato in
skippedcon il suo motivo; gli altri vengono comunque registrati. - La modifica viene registrata con il proprio nome e vista subito da chiunque abbia il progetto aperto.
In un job di CI, eseguire lo script come passaggio dopo i test, con il token come secret. In GitHub Actions, per esempio:
- name: Record results in Holarch
if: always()
env:
HOLARCH_TOKEN: ${{ secrets.HOLARCH_TOKEN }}
HOLARCH_PROJECT: ${{ vars.HOLARCH_PROJECT }}
run: |
python3 -m pip install requests
python3 junit_to_holarch.py results.xml
if: always() registra i risultati anche quando i test falliscono, che è proprio quando contano di più.
Eseguire i test e proporre i risultati con Claude
- Nel repository che contiene i test, chiedere a Claude Code, per esempio: “Esegui i test di puntamento con un report JUnit. Poi proponi i loro risultati nel progetto Holarch CubeSat: imposta Status e, per i fallimenti, Actual Result sui casi di test corrispondenti.”
- Claude Code esegue i test. In Holarch aggiunge i risultati a una proposta con
record_test_results(una modifica per risultato, con Stato, Risultato effettivo, Testato da e Data del test). Poi invia la proposta conpropose_changes.Claude Code risponde con il titolo della proposta, i risultati che propone e un link per esaminarla.
- In Holarch, aprire ✦ IA ▾ → Rivedi “<title>”…, oppure la notifica sotto la campanella.
La finestra di dialogo mostra ogni caso di test con i suoi valori attuali e proposti.
- Togliere la spunta da qualsiasi risultato non accettato, quindi fare clic su Applica selezionati.
I risultati vengono registrati con il proprio nome nella cronologia, ciascuno con una voce nel log di esecuzione come da Importa risultati…, e un solo annullamento revoca tutto.
- Chiedere a Claude Code: “Quali requisiti del progetto CubeSat falliscono ancora la verifica?”
Claude Code legge la RVTM con
get_matrix(matrixrvtm,statusFailed) ed elenca ogni requisito con i suoi casi di test falliti.
Claude Code può anche lavorare da un report già scritto dalla CI: allegare o indicargli results.xml invece di chiedergli di eseguire i test.
Esempio pratico: la demo CubeSat EO-1
- Creare la demo con Gestisci progetti → File di progetto ▾ → Nuovo progetto demo.
In Verifica → Centro test, TC-14 Off-Nadir Imaging Test è Not Run e TC-04 Pointing Accuracy Test è Failed.
- Scrivere un report JUnit con due test:
test_TC_14_off_nadir_imagingsuperato etest_TC_04_pointing_accuracyfallito con il messaggio 0.12 degrees on 2 of 20 targets. - Eseguire
python3 junit_to_holarch.py results.xml.Si vedono
TC-14 Off-Nadir Imaging Test: PassedeTC-04 Pointing Accuracy Test: Failed. - Aprire Verifica → RVTM.
1.6.2 Off-Nadir Imaging ora mostra Passed. 2.1 Pointing Accuracy fallisce ancora e il Risultato effettivo di TC-04 riporta 0.12 degrees on 2 of 20 targets.
- Con Claude, gli stessi risultati arrivano prima come proposta. Dopo Applica selezionati, la RVTM mostra lo stesso.
Suggerimenti
- Registrare i risultati sui casi di test di livello più basso. I padri aggregano i valori dai figli.
- Mantenere il token dello script limitato a un solo progetto e revocarlo quando la pipeline viene dismessa.
- Un test che indica un numero che Holarch non ha viene elencato come “nessun caso di test con questo numero”. Correggere il nome del test o creare il caso di test.
- Salvare un ciclo di test nel Centro test al termine di una campagna, così i suoi risultati restano separati dall'esecuzione successiva (Salvare un ciclo di test).
Risoluzione dei problemi
| Messaggio o sintomo | Causa e soluzione |
|---|---|
Holarch answered 401 token-invalid | Il token è errato, revocato o scaduto. Crearne uno nuovo in Impostazioni account → Token API. |
Holarch answered 403 plan-api | Il piano dell'account non include l'API e MCP. Avviare la prova di Individual o scegliere un piano; il token torna allora a funzionare. |
Holarch answered 403 read-only-token | Lo script scrive risultati. Creare un token Lettura e scrittura. |
Holarch answered 403 forbidden | Il proprio ruolo nel progetto è lettore o revisore. Un proprietario può renderlo editor. |
TC-14: not recorded (…) | Holarch non è riuscito a registrare quel risultato, per esempio perché il caso di test è bloccato o ha casi di test figli. Il motivo indica quale; gli altri risultati vengono registrati. |
TC-04: not recorded (… configuration control …) | Il caso di test è sotto controllo della configurazione. Registrarne il risultato nell'app tramite una richiesta di modifica. |
Holarch answered 429 rate-limited | Troppe richieste al minuto. Attendere i secondi indicati in Retry-After, quindi eseguire di nuovo lo script. |
| Un caso di test mantiene il suo vecchio stato | Un caso di test con figli mostra lo stato aggregato dei suoi figli. Registrare il risultato su un figlio. |
| Claude Code non offre gli strumenti di scrittura di Holarch | La connessione è di sola lettura. Eseguire /mcp, riconnettere holarch con Lettura e proposta di modifiche, quindi avviare una nuova conversazione. |