Holarch

Référence

Recette : résultats de test via Claude

Importez les résultats d'un système de test dans les cas de test Holarch, avec un script REST pour la CI ou avec Claude, qui exécute les tests, propose les résultats pour examen et indique ce que montre la RVTM ; configuration, script, exemple complet et dépannage.

Utilisation →

Sur cette page
  1. Vue d'ensemble
  2. Prérequis
  3. Mode d'emploi
    1. Quand et pourquoi
    2. Nommer le cas de test dans chaque test
    3. Enregistrer les résultats de la CI
    4. Exécuter les tests et proposer les résultats avec Claude
    5. Exemple complet : la démo CubeSat EO-1
    6. Conseils
  4. Dépannage
  5. Pages associées

Vue d'ensemble

Cette recette enregistre les résultats d'un système de test automatisé sur les cas de test Holarch correspondants, pour que la RVTM indique quelles exigences réussissent. Elle comporte deux parties :

  • Résultats de la CI (API REST) : un script lit le rapport JUnit XML qu'écrivent la plupart des exécuteurs de tests et enregistre chaque résultat sur le cas de test correspondant : Statut, Résultat réel, Testé par, Date du test et une entrée du journal d'exécution.
  • Résultats par Claude (MCP) : Claude Code exécute les tests, fait correspondre les résultats aux cas de test et propose les résultats pour que vous les examiniez dans Holarch. Il lit ensuite la RVTM et vous indique quelles exigences échouent encore.

Pour importer un fichier de résultats à la main, utilisez plutôt Vérification → Centre de test → Importer des résultats… (Importer des résultats depuis un autre système de test). L'API REST et MCP enregistrent les résultats de la même façon : Testé par, Date du test et une entrée du journal d'exécution sur chaque cas de test.

Prérequis

  • Une offre avec l'API et MCP : Individual ou Team, ou l'essai Individual. Avec l'offre Free, un compte doté d'une adresse e-mail académique vérifiée ou appartenant à une organisation de cours active en dispose aussi (Offres et limites).
  • Un projet Holarch avec des cas de test dont les tests peuvent citer le numéro, comme TC-14. Vous avez besoin du rôle d'éditeur ou de propriétaire.
  • Pour le script : un jeton Lecture et écriture limité au projet (Paramètres du compte → Jetons API → Nouveau jeton, Créer un jeton), et Python 3.9 ou une version ultérieure avec le paquet requests (python3 -m pip install requests).
  • Pour la partie Claude : Claude Code connecté à Holarch avec l'accès Lire et proposer des modifications (Connecter Holarch à Claude), dans le dépôt qui contient les tests.
  • Un exécuteur de tests qui écrit du JUnit XML, comme pytest --junitxml=results.xml, ou la plupart des étapes de test de CI.

Mode d'emploi

Quand et pourquoi

La vérification boucle la boucle de l'exigence jusqu'à la preuve. Lorsque les tests s'exécutent automatiquement, saisir leurs résultats dans Holarch est lent et source d'erreurs. Utilisez le script lorsque les résultats doivent arriver sans revue, comme pour les tests de non-régression nocturnes. Utilisez Claude lorsqu'une personne doit voir les résultats avant leur enregistrement, comme pour une campagne de qualification.

Nommer le cas de test dans chaque test

Le script et Claude associent un test à un cas de test Holarch par le numéro du cas de test figurant dans le nom du test.

  1. Placez le numéro dans le nom du test : test_TC_14_off_nadir_imaging dans pytest, ou TC-14 off-nadir imaging dans les autres exécuteurs.
  2. Gardez un cas de test Holarch par test. Un cas de test qui a des cas de test enfants tire son statut de ses enfants ; enregistrez les résultats sur les enfants.

Enregistrer les résultats de la CI

Le script enregistre Passed ou Failed sur chaque cas de test associé, en une seule requête. Pour un échec, il enregistre aussi le message d'échec comme Résultat réel. Les tests ignorés restent inchangés.

# junit_to_holarch.py: record JUnit XML results on Holarch test cases.
# Usage: python3 junit_to_holarch.py results.xml
import os
import re
import sys
import xml.etree.ElementTree as ET

import requests

HOLARCH = os.environ.get("HOLARCH_URL", "https://app.holarch.app") + "/api/v1"
PROJECT = os.environ["HOLARCH_PROJECT"]
HEADERS = {"Authorization": "Bearer " + os.environ["HOLARCH_TOKEN"]}
NUMBER = re.compile(r"TC[-_ ](\d+)")  # TC-14 or test_TC_14_…; change it to match your numbering


def holarch(method, path, **kw):
    r = requests.request(method, HOLARCH + path, headers=HEADERS, timeout=60, **kw)
    if r.status_code >= 400:
        d = r.json()
        raise SystemExit(f"Holarch answered {r.status_code} {d.get('code')}: {d.get('error')}")
    return r.json()


results = []
for test in ET.parse(sys.argv[1]).getroot().iter("testcase"):
    m = NUMBER.search(test.get("name", ""))
    if not m or test.find("skipped") is not None:
        continue
    failure = test.find("failure")
    if failure is None:
        failure = test.find("error")
    result = {"testCase": "TC-" + m.group(1), "status": "Passed" if failure is None else "Failed"}
    if failure is not None:
        result["actualResult"] = (failure.get("message") or failure.text or "Failed").strip()[:4000]
    results.append(result)

answer = holarch("POST", f"/projects/{PROJECT}/test-results",
                 json={"source": os.path.basename(sys.argv[1]), "testedBy": "CI", "results": results})
for r in answer["recorded"]:
    print(f"{r['number']} {r['name']}: {r['status']}")
for r in answer["skipped"]:
    if r["code"] == "not-found":
        print(f"{r['testCase']}: no test case with this number in Holarch")
    else:
        print(f"{r['testCase']}: not recorded ({r['reason']})")
  1. Définissez les variables d'environnement HOLARCH_TOKEN (le jeton) et HOLARCH_PROJECT (l'id du projet obtenu avec GET /api/v1/projects).
  2. Exécutez vos tests avec un rapport JUnit, comme pytest --junitxml=results.xml.
  3. Exécutez python3 junit_to_holarch.py results.xml.

    Vous voyez une ligne par résultat enregistré, comme TC-14 Off-Nadir Imaging Test: Passed.

  4. Dans Holarch, ouvrez Vérification → RVTM.

    Les exigences que vérifient ces cas de test affichent le nouveau statut.

Fonctionnement :

  • POST /api/v1/projects/<project>/test-results enregistre tous les résultats du rapport en une seule modification, comme le fait Importer des résultats… : Statut, Résultat réel pour les échecs, Testé par (CI ici ; le nom de votre compte s'il est omis), Date du test (l'heure de la requête) et une entrée du journal d'exécution dont source est le nom de fichier du rapport (Résultats de test).
  • testCase désigne le cas de test par son numéro, comme TC-14 ; un id ou un nom fonctionne aussi. Statut accepte ici Passed ou Failed ; le point de terminaison accepte aussi Blocked, In Progress et Not Run, ainsi que les mots des outils de test comme pass et fail.
  • Un résultat qui ne peut pas être enregistré, comme un numéro que Holarch n'a pas, est listé dans skipped avec son motif ; les autres sont tout de même enregistrés.
  • La modification est enregistrée sous votre nom et visible aussitôt par toutes les personnes qui ont ouvert le projet.

Dans une tâche de CI, exécutez le script comme une étape après les tests, avec le jeton comme secret. Dans GitHub Actions, par exemple :

      - name: Record results in Holarch
        if: always()
        env:
          HOLARCH_TOKEN: ${{ secrets.HOLARCH_TOKEN }}
          HOLARCH_PROJECT: ${{ vars.HOLARCH_PROJECT }}
        run: |
          python3 -m pip install requests
          python3 junit_to_holarch.py results.xml

if: always() enregistre les résultats même lorsque les tests échouent, c'est-à-dire quand ils comptent le plus.

Exécuter les tests et proposer les résultats avec Claude

  1. Dans le dépôt qui contient les tests, demandez par exemple à Claude Code : « Exécute les tests de pointage avec un rapport JUnit. Propose ensuite leurs résultats dans le projet Holarch CubeSat : définis Status et, pour les échecs, Actual Result sur les cas de test correspondants. »
  2. Claude Code exécute les tests. Dans Holarch, il ajoute les résultats à une proposition avec record_test_results (une modification par résultat, avec Statut, Résultat réel, Testé par et Date du test). Il envoie ensuite la proposition avec propose_changes.

    Claude Code répond avec le titre de la proposition, les résultats qu'il propose et un lien pour l'examiner.

  3. Dans Holarch, ouvrez ✦ IA ▾ → Examiner « <title> »…, ou la notification sous la cloche.

    La boîte de dialogue affiche chaque cas de test avec ses valeurs actuelles et proposées.

  4. Décochez les résultats que vous n'acceptez pas, puis cliquez sur Appliquer la sélection.

    Les résultats sont enregistrés avec votre nom dans l'historique, chacun avec une entrée du journal d'exécution comme depuis Importer des résultats…, et une seule annulation défait le tout.

  5. Demandez à Claude Code : « Quelles exigences du projet CubeSat échouent encore à la vérification ? »

    Claude Code lit la RVTM avec get_matrix (matrix rvtm, status Failed) et liste chaque exigence avec ses cas de test en échec.

Claude Code peut aussi travailler à partir d'un rapport que votre CI a déjà écrit : joignez-lui results.xml ou indiquez-lui ce fichier au lieu de lui demander d'exécuter les tests.

Exemple complet : la démo CubeSat EO-1

  1. Créez la démonstration avec Gérer les projets → Fichiers de projet ▾ → Nouveau projet de démonstration.

    Dans Vérification → Centre de test, TC-14 Off-Nadir Imaging Test est à l'état Not Run et TC-04 Pointing Accuracy Test à l'état Failed.

  2. Écrivez un rapport JUnit avec deux tests : test_TC_14_off_nadir_imaging réussi, et test_TC_04_pointing_accuracy en échec avec le message 0.12 degrees on 2 of 20 targets.
  3. Exécutez python3 junit_to_holarch.py results.xml.

    Vous voyez TC-14 Off-Nadir Imaging Test: Passed et TC-04 Pointing Accuracy Test: Failed.

  4. Ouvrez Vérification → RVTM.

    1.6.2 Off-Nadir Imaging affiche maintenant Passed. 2.1 Pointing Accuracy échoue encore, et le Résultat réel de TC-04 indique 0.12 degrees on 2 of 20 targets.

  5. Avec Claude, les mêmes résultats arrivent d'abord sous forme de proposition. Après Appliquer la sélection, la RVTM affiche la même chose.

Conseils

  • Enregistrez les résultats sur les cas de test de plus bas niveau. Les parents sont agrégés à partir de leurs enfants.
  • Gardez le jeton du script limité au seul projet, et révoquez-le lorsque le pipeline est retiré.
  • Un test qui cite un numéro que Holarch n'a pas est listé avec « no test case with this number ». Corrigez le nom du test ou créez le cas de test.
  • Enregistrez un cycle de test dans le Centre de test à la fin d'une campagne, pour que ses résultats restent séparés de l'exécution suivante (Enregistrer un cycle de test).

Dépannage

Message ou symptômeCause et solution
Holarch answered 401 token-invalidLe jeton est erroné, révoqué ou expiré. Créez-en un nouveau sous Paramètres du compte → Jetons API.
Holarch answered 403 plan-apiL'offre du compte ne comprend pas l'API et MCP. Démarrez l'essai Individual ou choisissez une offre ; le jeton fonctionne alors de nouveau.
Holarch answered 403 read-only-tokenLe script écrit des résultats. Créez un jeton Lecture et écriture.
Holarch answered 403 forbiddenVotre rôle dans le projet est lecteur ou relecteur. Un propriétaire peut faire de vous un éditeur.
TC-14: not recorded (…)Holarch n'a pas pu enregistrer ce résultat, par exemple parce que le cas de test est verrouillé ou a des cas de test enfants. Le motif l'indique ; les autres résultats sont enregistrés.
TC-04: not recorded (… configuration control …)Le cas de test est sous contrôle de configuration. Enregistrez son résultat dans l'application par une demande de modification.
Holarch answered 429 rate-limitedTrop de requêtes par minute. Attendez le nombre de secondes indiqué dans Retry-After, puis exécutez de nouveau le script.
Un cas de test conserve son ancien statutUn cas de test qui a des enfants affiche le statut agrégé de ses enfants. Enregistrez le résultat sur un enfant.
Claude Code ne propose pas les outils d'écriture de HolarchLa connexion est en lecture seule. Exécutez /mcp, reconnectez holarch avec Lire et proposer des modifications, puis démarrez une nouvelle conversation.