Holarch

リファレンス

レシピ:Claude を通じたテスト結果

テストシステムの結果を Holarch のテストケースに取り込みます。CI 向けの REST スクリプトを使うか、Claude を使います。Claude はテストを実行し、結果をレビュー用に提案し、RVTM の内容を報告します。設定、スクリプト、具体例、トラブルシューティングを説明します。

使い方 →

このページの内容
  1. 概要
  2. 前提条件
  3. 使い方
    1. 使う場面と理由
    2. 各テストでテストケースを指定する
    3. CI から結果を記録する
    4. Claude でテストを実行し、結果を提案する
    5. 実例:CubeSat EO-1 のデモ
    6. ヒント
  4. トラブルシューティング
  5. 関連ページ

概要

このレシピは、自動テストシステムからの結果を対応する Holarch のテストケースに記録し、どの要求が合格しているかを RVTM に表示させます。2 つの部分があります:

  • CI からの結果(REST API):スクリプトが、ほとんどのテストランナーが書き出す JUnit XML レポートを読み、各結果を対応するテストケースに記録します:Status、実際の結果、テスト担当者、テスト日、および実行ログのエントリです。
  • Claude を通じた結果(MCP):Claude Code がテストを実行し、結果をテストケースに対応付け、Holarch でレビューするための結果を提案します。その後 RVTM を読み、まだ不合格の要求を伝えます。

結果ファイルを手動でインポートするには、代わりに検証 → テストセンター → 結果をインポート…を使います(ほかのテストシステムから結果をインポートする)。REST API と MCP も同じ方法で結果を記録します:各テストケースにテスト担当者、テスト日、実行ログのエントリです。

前提条件

  • API と MCP を含むプラン:Individual または Team、または Individual トライアル。Free プランでも、確認済みのアカデミックメールアドレスがあるアカウント、または有効なクラス組織内のアカウントは利用できます(プランと上限)。
  • テストが指定できる番号(TC-14 など)を持つテストケースのある Holarch プロジェクト。編集者またはオーナーのロールが必要です。
  • スクリプトには:プロジェクトに限定した読み取りと書き込みのトークン(アカウント設定 → API トークン → 新しいトークン、トークンを作成する)と、requests パッケージ(python3 -m pip install requests)を備えた Python 3.9 以降。
  • Claude の部分には:テストを含むリポジトリで、読み取りと変更の提案のアクセスで Holarch に接続した Claude Code(Holarch を Claude に接続する)。
  • pytest --junitxml=results.xml や、ほとんどの CI のテストステップなど、JUnit XML を書き出すテストランナー。

使い方

使う場面と理由

検証は、要求から証拠までのループを閉じます。テストが自動で実行される場合、その結果を Holarch に手入力するのは時間がかかり、誤りも起きやすくなります。夜間の回帰テストなど、結果をレビューなしで取り込むべき場合はスクリプトを使います。認定試験の実行など、記録の前に人が結果を確認すべき場合は Claude を使います。

各テストでテストケースを指定する

スクリプトと Claude は、テストの名前に含まれるテストケース番号で、テストを Holarch のテストケースに対応付けます。

  1. テストの名前に番号を入れます:pytest では test_TC_14_off_nadir_imaging、その他のランナーでは TC-14 off-nadir imaging です。
  2. 1 つのテストにつき 1 つの Holarch テストケースにします。子のテストケースを持つテストケースは、子からステータスを得ます。結果は子に記録します。

CI から結果を記録する

スクリプトは、対応する各テストケースに Passed または Failed を 1 回のリクエストで記録します。失敗の場合は、失敗メッセージも実際の結果として記録します。スキップされたテストは変更されません。

# junit_to_holarch.py: record JUnit XML results on Holarch test cases.
# Usage: python3 junit_to_holarch.py results.xml
import os
import re
import sys
import xml.etree.ElementTree as ET

import requests

HOLARCH = os.environ.get("HOLARCH_URL", "https://app.holarch.app") + "/api/v1"
PROJECT = os.environ["HOLARCH_PROJECT"]
HEADERS = {"Authorization": "Bearer " + os.environ["HOLARCH_TOKEN"]}
NUMBER = re.compile(r"TC[-_ ](\d+)")  # TC-14 or test_TC_14_…; change it to match your numbering


def holarch(method, path, **kw):
    r = requests.request(method, HOLARCH + path, headers=HEADERS, timeout=60, **kw)
    if r.status_code >= 400:
        d = r.json()
        raise SystemExit(f"Holarch answered {r.status_code} {d.get('code')}: {d.get('error')}")
    return r.json()


results = []
for test in ET.parse(sys.argv[1]).getroot().iter("testcase"):
    m = NUMBER.search(test.get("name", ""))
    if not m or test.find("skipped") is not None:
        continue
    failure = test.find("failure")
    if failure is None:
        failure = test.find("error")
    result = {"testCase": "TC-" + m.group(1), "status": "Passed" if failure is None else "Failed"}
    if failure is not None:
        result["actualResult"] = (failure.get("message") or failure.text or "Failed").strip()[:4000]
    results.append(result)

answer = holarch("POST", f"/projects/{PROJECT}/test-results",
                 json={"source": os.path.basename(sys.argv[1]), "testedBy": "CI", "results": results})
for r in answer["recorded"]:
    print(f"{r['number']} {r['name']}: {r['status']}")
for r in answer["skipped"]:
    if r["code"] == "not-found":
        print(f"{r['testCase']}: no test case with this number in Holarch")
    else:
        print(f"{r['testCase']}: not recorded ({r['reason']})")
  1. 環境変数 HOLARCH_TOKEN(トークン)と HOLARCH_PROJECT(GET /api/v1/projects で得たプロジェクト ID)を設定します。
  2. pytest --junitxml=results.xml などで、JUnit レポートを付けてテストを実行します。
  3. python3 junit_to_holarch.py results.xml を実行します。

    記録された結果ごとに 1 行が表示されます。たとえば TC-14 Off-Nadir Imaging Test: Passed です。

  4. Holarch で検証 → RVTMを開きます。

    それらのテストケースが検証する要求に、新しいステータスが表示されます。

仕組み:

  • POST /api/v1/projects/<project>/test-results は、結果をインポート…と同様に、レポートのすべての結果を 1 つの変更として記録します:Status、失敗の場合は実際の結果、テスト担当者(ここでは CI。省略するとあなたのアカウント名)、テスト日(リクエストの時刻)、および source をレポートのファイル名にした実行ログのエントリです(テスト結果)。
  • testCase はテストケースを番号(TC-14 など)で指定します。ID や名前でも機能します。ここではStatusに Passed または Failed を使います。エンドポイントは Blocked、In Progress、Not Run、および pass や fail などのテストツールの語も受け付けます。
  • Holarch にない番号など、記録できない結果は、その理由とともに skipped に一覧表示されます。その他の結果は記録されます。
  • 変更はあなたの名前で記録され、プロジェクトを開いている全員にすぐに表示されます。

CI ジョブでは、テストの後のステップとしてスクリプトを実行し、トークンはシークレットとして渡します。たとえば GitHub Actions では次のようにします:

      - name: Record results in Holarch
        if: always()
        env:
          HOLARCH_TOKEN: ${{ secrets.HOLARCH_TOKEN }}
          HOLARCH_PROJECT: ${{ vars.HOLARCH_PROJECT }}
        run: |
          python3 -m pip install requests
          python3 junit_to_holarch.py results.xml

if: always() により、テストが失敗したときにも結果が記録されます。結果が最も重要なのはそのときです。

Claude でテストを実行し、結果を提案する

  1. テストを含むリポジトリで、たとえば次のように Claude Code に依頼します:「JUnit レポートを付けて指向のテストを実行してください。その後、Holarch の CubeSat プロジェクトでその結果を提案してください:対応するテストケースに Status を設定し、失敗の場合は Actual Result も設定してください。」
  2. Claude Code がテストを実行します。Holarch では、record_test_results で結果を提案に追加し(結果ごとに 1 つの変更で、Status、実際の結果、テスト担当者、テスト日付き)、propose_changes で提案を送信します。

    Claude Code は、提案のタイトル、提案する結果、レビュー用のリンクで答えます。

  3. Holarch で ✦ AI ▾ → Review “<title>”…、またはベルの下の通知を開きます。

    ダイアログには、各テストケースが現在の値と提案された値とともに表示されます。

  4. 受け入れない結果のチェックを外してから、選択した項目を適用をクリックします。

    結果は、履歴にあなたの名前を付けて記録され、それぞれに結果をインポート…と同様の実行ログのエントリが付きます。1 回の元に戻すですべて取り消せます。

  5. Claude Code に「CubeSat プロジェクトで、まだ検証に不合格の要求はどれですか?」と質問します。

    Claude Code は get_matrix(matrix rvtm、status Failed)で RVTM を読み、各要求を不合格のテストケースとともに一覧表示します。

Claude Code は、CI がすでに書き出したレポートを使って作業することもできます:テストの実行を依頼する代わりに、results.xml を添付するか、その場所を示します。

実例:CubeSat EO-1 のデモ

  1. プロジェクトを管理 → プロジェクトファイル ▾ → 新しいデモプロジェクトでデモを作成します。

    検証 → テストセンターでは、TC-14 Off-Nadir Imaging Test が Not Run、TC-04 Pointing Accuracy Test が Failed です。

  2. 2 つのテストを含む JUnit レポートを書きます:test_TC_14_off_nadir_imaging は合格、test_TC_04_pointing_accuracy はメッセージ 0.12 degrees on 2 of 20 targets で不合格です。
  3. python3 junit_to_holarch.py results.xml を実行します。

    TC-14 Off-Nadir Imaging Test: Passed と TC-04 Pointing Accuracy Test: Failed が表示されます。

  4. 検証 → RVTMを開きます。

    1.6.2 Off-Nadir Imaging に Passed と表示されるようになります。2.1 Pointing Accuracy はまだ不合格で、TC-04 の実際の結果は 0.12 degrees on 2 of 20 targets です。

  5. Claude では、同じ結果がまず提案として届きます。選択した項目を適用の後、RVTM に同じ内容が表示されます。

ヒント

  • 結果は最も下位のテストケースに記録します。親は子から集計されます。
  • スクリプトのトークンは 1 つのプロジェクトに限定し、パイプラインを廃止するときに失効させます。
  • Holarch にない番号を指定したテストは、「この番号のテストケースはありません」として一覧表示されます。テストの名前を修正するか、テストケースを作成します。
  • キャンペーンが終わったらテストセンターでテストサイクルを保存し、その結果を次の実行と分けて保持します(テストサイクルを保存する)。

トラブルシューティング

メッセージまたは症状原因と対処
Holarch answered 401 token-invalidトークンが間違っている、失効している、または期限切れです。アカウント設定 → API トークンで新しいトークンを作成します。
Holarch answered 403 plan-apiアカウントのプランに API と MCP が含まれていません。Individual トライアルを開始するかプランを選択すると、トークンは再び機能します。
Holarch answered 403 read-only-tokenスクリプトは結果を書き込みます。読み取りと書き込みのトークンを作成します。
Holarch answered 403 forbiddenプロジェクトでのあなたのロールが閲覧者またはレビュー担当者です。オーナーはあなたを編集者にできます。
TC-14: not recorded (…)Holarch はその結果を記録できませんでした。たとえば、テストケースがロックされているか、子のテストケースを持っているためです。理由にどちらかが示されます。その他の結果は記録されます。
TC-04: not recorded (… configuration control …)テストケースは構成管理下にあります。アプリで変更要求を通じて結果を記録します。
Holarch answered 429 rate-limited1 分間のリクエストが多すぎます。Retry-After の秒数だけ待ってから、スクリプトをもう一度実行します。
テストケースが古いステータスのままになる子を持つテストケースには、子の集計されたステータスが表示されます。結果は子に記録します。
Claude Code が Holarch の書き込みツールを提示しない接続が読み取り専用です。/mcp を実行し、読み取りと変更の提案で holarch を再接続してから、新しい会話を始めます。