リファレンス
レシピ:Claude を通じたテスト結果
テストシステムの結果を Holarch のテストケースに取り込みます。CI 向けの REST スクリプトを使うか、Claude を使います。Claude はテストを実行し、結果をレビュー用に提案し、RVTM の内容を報告します。設定、スクリプト、具体例、トラブルシューティングを説明します。
このページの内容
概要
このレシピは、自動テストシステムからの結果を対応する Holarch のテストケースに記録し、どの要求が合格しているかを RVTM に表示させます。2 つの部分があります:
- CI からの結果(REST API):スクリプトが、ほとんどのテストランナーが書き出す JUnit XML レポートを読み、各結果を対応するテストケースに記録します:Status、実際の結果、テスト担当者、テスト日、および実行ログのエントリです。
- Claude を通じた結果(MCP):Claude Code がテストを実行し、結果をテストケースに対応付け、Holarch でレビューするための結果を提案します。その後 RVTM を読み、まだ不合格の要求を伝えます。
結果ファイルを手動でインポートするには、代わりに検証 → テストセンター → 結果をインポート…を使います(ほかのテストシステムから結果をインポートする)。REST API と MCP も同じ方法で結果を記録します:各テストケースにテスト担当者、テスト日、実行ログのエントリです。
前提条件
- API と MCP を含むプラン:Individual または Team、または Individual トライアル。Free プランでも、確認済みのアカデミックメールアドレスがあるアカウント、または有効なクラス組織内のアカウントは利用できます(プランと上限)。
- テストが指定できる番号(TC-14 など)を持つテストケースのある Holarch プロジェクト。編集者またはオーナーのロールが必要です。
- スクリプトには:プロジェクトに限定した読み取りと書き込みのトークン(アカウント設定 → API トークン → 新しいトークン、トークンを作成する)と、
requestsパッケージ(python3 -m pip install requests)を備えた Python 3.9 以降。 - Claude の部分には:テストを含むリポジトリで、読み取りと変更の提案のアクセスで Holarch に接続した Claude Code(Holarch を Claude に接続する)。
pytest --junitxml=results.xmlや、ほとんどの CI のテストステップなど、JUnit XML を書き出すテストランナー。
使い方
使う場面と理由
検証は、要求から証拠までのループを閉じます。テストが自動で実行される場合、その結果を Holarch に手入力するのは時間がかかり、誤りも起きやすくなります。夜間の回帰テストなど、結果をレビューなしで取り込むべき場合はスクリプトを使います。認定試験の実行など、記録の前に人が結果を確認すべき場合は Claude を使います。
各テストでテストケースを指定する
スクリプトと Claude は、テストの名前に含まれるテストケース番号で、テストを Holarch のテストケースに対応付けます。
- テストの名前に番号を入れます:pytest では
test_TC_14_off_nadir_imaging、その他のランナーではTC-14 off-nadir imagingです。 - 1 つのテストにつき 1 つの Holarch テストケースにします。子のテストケースを持つテストケースは、子からステータスを得ます。結果は子に記録します。
CI から結果を記録する
スクリプトは、対応する各テストケースに Passed または Failed を 1 回のリクエストで記録します。失敗の場合は、失敗メッセージも実際の結果として記録します。スキップされたテストは変更されません。
# junit_to_holarch.py: record JUnit XML results on Holarch test cases.
# Usage: python3 junit_to_holarch.py results.xml
import os
import re
import sys
import xml.etree.ElementTree as ET
import requests
HOLARCH = os.environ.get("HOLARCH_URL", "https://app.holarch.app") + "/api/v1"
PROJECT = os.environ["HOLARCH_PROJECT"]
HEADERS = {"Authorization": "Bearer " + os.environ["HOLARCH_TOKEN"]}
NUMBER = re.compile(r"TC[-_ ](\d+)") # TC-14 or test_TC_14_…; change it to match your numbering
def holarch(method, path, **kw):
r = requests.request(method, HOLARCH + path, headers=HEADERS, timeout=60, **kw)
if r.status_code >= 400:
d = r.json()
raise SystemExit(f"Holarch answered {r.status_code} {d.get('code')}: {d.get('error')}")
return r.json()
results = []
for test in ET.parse(sys.argv[1]).getroot().iter("testcase"):
m = NUMBER.search(test.get("name", ""))
if not m or test.find("skipped") is not None:
continue
failure = test.find("failure")
if failure is None:
failure = test.find("error")
result = {"testCase": "TC-" + m.group(1), "status": "Passed" if failure is None else "Failed"}
if failure is not None:
result["actualResult"] = (failure.get("message") or failure.text or "Failed").strip()[:4000]
results.append(result)
answer = holarch("POST", f"/projects/{PROJECT}/test-results",
json={"source": os.path.basename(sys.argv[1]), "testedBy": "CI", "results": results})
for r in answer["recorded"]:
print(f"{r['number']} {r['name']}: {r['status']}")
for r in answer["skipped"]:
if r["code"] == "not-found":
print(f"{r['testCase']}: no test case with this number in Holarch")
else:
print(f"{r['testCase']}: not recorded ({r['reason']})")
- 環境変数
HOLARCH_TOKEN(トークン)とHOLARCH_PROJECT(GET /api/v1/projectsで得たプロジェクト ID)を設定します。 pytest --junitxml=results.xmlなどで、JUnit レポートを付けてテストを実行します。python3 junit_to_holarch.py results.xmlを実行します。記録された結果ごとに 1 行が表示されます。たとえば
TC-14 Off-Nadir Imaging Test: Passedです。- Holarch で検証 → RVTMを開きます。
それらのテストケースが検証する要求に、新しいステータスが表示されます。
仕組み:
POST /api/v1/projects/<project>/test-resultsは、結果をインポート…と同様に、レポートのすべての結果を 1 つの変更として記録します:Status、失敗の場合は実際の結果、テスト担当者(ここでは CI。省略するとあなたのアカウント名)、テスト日(リクエストの時刻)、およびsourceをレポートのファイル名にした実行ログのエントリです(テスト結果)。testCaseはテストケースを番号(TC-14など)で指定します。ID や名前でも機能します。ここではStatusに Passed または Failed を使います。エンドポイントは Blocked、In Progress、Not Run、および pass や fail などのテストツールの語も受け付けます。- Holarch にない番号など、記録できない結果は、その理由とともに
skippedに一覧表示されます。その他の結果は記録されます。 - 変更はあなたの名前で記録され、プロジェクトを開いている全員にすぐに表示されます。
CI ジョブでは、テストの後のステップとしてスクリプトを実行し、トークンはシークレットとして渡します。たとえば GitHub Actions では次のようにします:
- name: Record results in Holarch
if: always()
env:
HOLARCH_TOKEN: ${{ secrets.HOLARCH_TOKEN }}
HOLARCH_PROJECT: ${{ vars.HOLARCH_PROJECT }}
run: |
python3 -m pip install requests
python3 junit_to_holarch.py results.xml
if: always() により、テストが失敗したときにも結果が記録されます。結果が最も重要なのはそのときです。
Claude でテストを実行し、結果を提案する
- テストを含むリポジトリで、たとえば次のように Claude Code に依頼します:「JUnit レポートを付けて指向のテストを実行してください。その後、Holarch の CubeSat プロジェクトでその結果を提案してください:対応するテストケースに Status を設定し、失敗の場合は Actual Result も設定してください。」
- Claude Code がテストを実行します。Holarch では、
record_test_resultsで結果を提案に追加し(結果ごとに 1 つの変更で、Status、実際の結果、テスト担当者、テスト日付き)、propose_changesで提案を送信します。Claude Code は、提案のタイトル、提案する結果、レビュー用のリンクで答えます。
- Holarch で ✦ AI ▾ → Review “<title>”…、またはベルの下の通知を開きます。
ダイアログには、各テストケースが現在の値と提案された値とともに表示されます。
- 受け入れない結果のチェックを外してから、選択した項目を適用をクリックします。
結果は、履歴にあなたの名前を付けて記録され、それぞれに結果をインポート…と同様の実行ログのエントリが付きます。1 回の元に戻すですべて取り消せます。
- Claude Code に「CubeSat プロジェクトで、まだ検証に不合格の要求はどれですか?」と質問します。
Claude Code は
get_matrix(matrixrvtm、statusFailed)で RVTM を読み、各要求を不合格のテストケースとともに一覧表示します。
Claude Code は、CI がすでに書き出したレポートを使って作業することもできます:テストの実行を依頼する代わりに、results.xml を添付するか、その場所を示します。
実例:CubeSat EO-1 のデモ
- プロジェクトを管理 → プロジェクトファイル ▾ → 新しいデモプロジェクトでデモを作成します。
検証 → テストセンターでは、TC-14 Off-Nadir Imaging Test が Not Run、TC-04 Pointing Accuracy Test が Failed です。
- 2 つのテストを含む JUnit レポートを書きます:
test_TC_14_off_nadir_imagingは合格、test_TC_04_pointing_accuracyはメッセージ 0.12 degrees on 2 of 20 targets で不合格です。 python3 junit_to_holarch.py results.xmlを実行します。TC-14 Off-Nadir Imaging Test: PassedとTC-04 Pointing Accuracy Test: Failedが表示されます。- 検証 → RVTMを開きます。
1.6.2 Off-Nadir Imaging に Passed と表示されるようになります。2.1 Pointing Accuracy はまだ不合格で、TC-04 の実際の結果は 0.12 degrees on 2 of 20 targets です。
- Claude では、同じ結果がまず提案として届きます。選択した項目を適用の後、RVTM に同じ内容が表示されます。
ヒント
- 結果は最も下位のテストケースに記録します。親は子から集計されます。
- スクリプトのトークンは 1 つのプロジェクトに限定し、パイプラインを廃止するときに失効させます。
- Holarch にない番号を指定したテストは、「この番号のテストケースはありません」として一覧表示されます。テストの名前を修正するか、テストケースを作成します。
- キャンペーンが終わったらテストセンターでテストサイクルを保存し、その結果を次の実行と分けて保持します(テストサイクルを保存する)。
トラブルシューティング
| メッセージまたは症状 | 原因と対処 |
|---|---|
Holarch answered 401 token-invalid | トークンが間違っている、失効している、または期限切れです。アカウント設定 → API トークンで新しいトークンを作成します。 |
Holarch answered 403 plan-api | アカウントのプランに API と MCP が含まれていません。Individual トライアルを開始するかプランを選択すると、トークンは再び機能します。 |
Holarch answered 403 read-only-token | スクリプトは結果を書き込みます。読み取りと書き込みのトークンを作成します。 |
Holarch answered 403 forbidden | プロジェクトでのあなたのロールが閲覧者またはレビュー担当者です。オーナーはあなたを編集者にできます。 |
TC-14: not recorded (…) | Holarch はその結果を記録できませんでした。たとえば、テストケースがロックされているか、子のテストケースを持っているためです。理由にどちらかが示されます。その他の結果は記録されます。 |
TC-04: not recorded (… configuration control …) | テストケースは構成管理下にあります。アプリで変更要求を通じて結果を記録します。 |
Holarch answered 429 rate-limited | 1 分間のリクエストが多すぎます。Retry-After の秒数だけ待ってから、スクリプトをもう一度実行します。 |
| テストケースが古いステータスのままになる | 子を持つテストケースには、子の集計されたステータスが表示されます。結果は子に記録します。 |
| Claude Code が Holarch の書き込みツールを提示しない | 接続が読み取り専用です。/mcp を実行し、読み取りと変更の提案で holarch を再接続してから、新しい会話を始めます。 |