संदर्भ
विधि: Claude के ज़रिए टेस्ट परिणाम
किसी टेस्ट सिस्टम के परिणाम Holarch टेस्ट केस में लाएं, CI के लिए REST स्क्रिप्ट से या Claude से, जो टेस्ट चलाता है, समीक्षा के लिए परिणाम प्रस्तावित करता है और बताता है कि RVTM क्या दिखाता है; सेटअप, स्क्रिप्ट, एक पूरा उदाहरण और समस्या निवारण।
इस पृष्ठ पर
अवलोकन
यह रेसिपी किसी स्वचालित टेस्ट सिस्टम के परिणाम मेल खाने वाले Holarch टेस्ट केस पर दर्ज करती है, ताकि RVTM दिखाए कि कौन-सी आवश्यकताएं पास होती हैं। इसके दो हिस्से हैं:
- CI से परिणाम (REST API): एक स्क्रिप्ट वह JUnit XML रिपोर्ट पढ़ती है जो अधिकांश टेस्ट रनर लिखते हैं और हर परिणाम मेल खाने वाले टेस्ट केस पर दर्ज करती है: स्थिति, वास्तविक परिणाम, टेस्ट करने वाला, टेस्ट तिथि और एक रन-लॉग प्रविष्टि।
- Claude के ज़रिए परिणाम (MCP): Claude Code टेस्ट चलाता है, परिणामों को टेस्ट केस से मिलाता है, और आपको Holarch में समीक्षा के लिए परिणाम प्रस्तावित करता है। फिर वह RVTM पढ़ता है और आपको बताता है कि कौन-सी आवश्यकताएं अब भी विफल हैं।
किसी परिणाम फ़ाइल को हाथ से आयात करने के लिए इसके बजाय सत्यापन → टेस्ट सेंटर → परिणाम आयात करें… का उपयोग करें (किसी अन्य टेस्ट सिस्टम से परिणाम आयात करें)। REST API और MCP परिणाम उसी तरह दर्ज करते हैं: हर टेस्ट केस पर टेस्ट करने वाला, टेस्ट तिथि और एक रन-लॉग प्रविष्टि।
पूर्वापेक्षाएं
- API और MCP वाला प्लान: Individual या Team, या Individual ट्रायल। Free प्लान पर सत्यापित शैक्षणिक ईमेल पते वाले या सक्रिय कक्षा संगठन के खाते के पास भी ये होते हैं (प्लान और सीमाएं)।
- टेस्ट केस वाला एक Holarch प्रोजेक्ट जिनके नंबर टेस्ट बता सकें, जैसे TC-14। आपको संपादक या स्वामी की भूमिका चाहिए।
- स्क्रिप्ट के लिए: प्रोजेक्ट तक सीमित एक पढ़ें और लिखें टोकन (खाता सेटिंग्स → API टोकन → नया टोकन, टोकन बनाएं), और
requestsपैकेज (python3 -m pip install requests) के साथ Python 3.9 या बाद का संस्करण। - Claude वाले हिस्से के लिए: टेस्ट रखने वाली रिपॉज़िटरी में, पढ़ें और परिवर्तन प्रस्तावित करें पहुँच के साथ Holarch से कनेक्ट किया गया Claude Code (Holarch को Claude से कनेक्ट करें)।
- JUnit XML लिखने वाला एक टेस्ट रनर, जैसे
pytest --junitxml=results.xml, या अधिकांश CI टेस्ट चरण।
इसका उपयोग कैसे करें
कब और क्यों
सत्यापन आवश्यकता से साक्ष्य तक चक्र पूरा करता है। जब टेस्ट अपने आप चलते हैं, तो उनके परिणाम Holarch में टाइप करना धीमा और गलतियों भरा होता है। स्क्रिप्ट का उपयोग तब करें जब परिणाम बिना समीक्षा के आने चाहिए, जैसे रात के रिग्रेशन रन। Claude का उपयोग तब करें जब परिणाम दर्ज होने से पहले किसी व्यक्ति को उन्हें देखना चाहिए, जैसे कोई क्वालिफ़िकेशन रन।
हर टेस्ट में टेस्ट केस का नाम दें
स्क्रिप्ट और Claude किसी टेस्ट को टेस्ट के नाम में मौजूद टेस्ट केस नंबर से Holarch टेस्ट केस से मिलाते हैं।
- नंबर को टेस्ट के नाम में रखें: pytest में
test_TC_14_off_nadir_imaging, या अन्य रनर मेंTC-14 off-nadir imaging। - हर टेस्ट के लिए एक Holarch टेस्ट केस रखें। चाइल्ड टेस्ट केस वाला टेस्ट केस अपनी स्थिति अपने चाइल्ड से लेता है; परिणाम चाइल्ड पर दर्ज करें।
CI से परिणाम दर्ज करें
स्क्रिप्ट हर मिलाए गए टेस्ट केस पर एक अनुरोध में Passed या Failed दर्ज करती है। विफलता के लिए यह विफलता संदेश को वास्तविक परिणाम के रूप में भी दर्ज करती है। छोड़े गए टेस्ट अपरिवर्तित रहते हैं।
# junit_to_holarch.py: record JUnit XML results on Holarch test cases.
# Usage: python3 junit_to_holarch.py results.xml
import os
import re
import sys
import xml.etree.ElementTree as ET
import requests
HOLARCH = os.environ.get("HOLARCH_URL", "https://app.holarch.app") + "/api/v1"
PROJECT = os.environ["HOLARCH_PROJECT"]
HEADERS = {"Authorization": "Bearer " + os.environ["HOLARCH_TOKEN"]}
NUMBER = re.compile(r"TC[-_ ](\d+)") # TC-14 or test_TC_14_…; change it to match your numbering
def holarch(method, path, **kw):
r = requests.request(method, HOLARCH + path, headers=HEADERS, timeout=60, **kw)
if r.status_code >= 400:
d = r.json()
raise SystemExit(f"Holarch answered {r.status_code} {d.get('code')}: {d.get('error')}")
return r.json()
results = []
for test in ET.parse(sys.argv[1]).getroot().iter("testcase"):
m = NUMBER.search(test.get("name", ""))
if not m or test.find("skipped") is not None:
continue
failure = test.find("failure")
if failure is None:
failure = test.find("error")
result = {"testCase": "TC-" + m.group(1), "status": "Passed" if failure is None else "Failed"}
if failure is not None:
result["actualResult"] = (failure.get("message") or failure.text or "Failed").strip()[:4000]
results.append(result)
answer = holarch("POST", f"/projects/{PROJECT}/test-results",
json={"source": os.path.basename(sys.argv[1]), "testedBy": "CI", "results": results})
for r in answer["recorded"]:
print(f"{r['number']} {r['name']}: {r['status']}")
for r in answer["skipped"]:
if r["code"] == "not-found":
print(f"{r['testCase']}: no test case with this number in Holarch")
else:
print(f"{r['testCase']}: not recorded ({r['reason']})")
- एनवायरनमेंट वेरिएबल
HOLARCH_TOKEN(टोकन) औरHOLARCH_PROJECT(GET /api/v1/projectsसे प्रोजेक्ट id) सेट करें। - अपने टेस्ट JUnit रिपोर्ट के साथ चलाएं, जैसे
pytest --junitxml=results.xml। python3 junit_to_holarch.py results.xmlचलाएं।आपको हर दर्ज परिणाम के लिए एक पंक्ति दिखती है, जैसे
TC-14 Off-Nadir Imaging Test: Passed।- Holarch में सत्यापन → RVTM खोलें।
वे टेस्ट केस जिन आवश्यकताओं को सत्यापित करते हैं वे नई स्थिति दिखाती हैं।
यह कैसे काम करता है:
POST /api/v1/projects/<project>/test-resultsरिपोर्ट के सभी परिणाम एक परिवर्तन के रूप में दर्ज करता है, जैसे परिणाम आयात करें… करता है: स्थिति, विफलताओं के लिए वास्तविक परिणाम, टेस्ट करने वाला (यहाँ CI; छोड़ दिए जाने पर आपके खाते का नाम), टेस्ट तिथि (अनुरोध का समय) और रिपोर्ट के फ़ाइल नाम पर सेटsourceके साथ एक रन-लॉग प्रविष्टि (टेस्ट परिणाम)।testCaseटेस्ट केस को उसके नंबर से बताता है, जैसेTC-14; id या नाम भी काम करता है। स्थिति यहाँ Passed या Failed लेती है; एंडपॉइंट Blocked, In Progress और Not Run, और pass और fail जैसे टेस्ट टूल के शब्द भी लेता है।- जो परिणाम दर्ज नहीं किया जा सकता, जैसे कोई ऐसा नंबर जो Holarch में नहीं है, वह अपने कारण के साथ
skippedमें सूचीबद्ध होता है; बाकी फिर भी दर्ज होते हैं। - परिवर्तन आपके नाम से दर्ज होता है और प्रोजेक्ट खोले हुए हर व्यक्ति को तुरंत दिखता है।
किसी CI जॉब में, स्क्रिप्ट को टेस्ट के बाद एक चरण के रूप में चलाएं, टोकन को secret के रूप में रखकर। उदाहरण के लिए GitHub Actions में:
- name: Record results in Holarch
if: always()
env:
HOLARCH_TOKEN: ${{ secrets.HOLARCH_TOKEN }}
HOLARCH_PROJECT: ${{ vars.HOLARCH_PROJECT }}
run: |
python3 -m pip install requests
python3 junit_to_holarch.py results.xml
if: always() टेस्ट विफल होने पर भी परिणाम दर्ज करता है, जो तब सबसे ज़्यादा मायने रखते हैं।
Claude से टेस्ट चलाएं और परिणाम प्रस्तावित करें
- टेस्ट रखने वाली रिपॉज़िटरी में Claude Code से उदाहरण के लिए पूछें: "pointing टेस्ट JUnit रिपोर्ट के साथ चलाएं। फिर Holarch CubeSat प्रोजेक्ट में उनके परिणाम प्रस्तावित करें: मेल खाने वाले टेस्ट केस पर Status और, विफलताओं के लिए, Actual Result सेट करें।"
- Claude Code टेस्ट चलाता है। Holarch में यह परिणामों को
record_test_resultsसे एक प्रस्ताव में जोड़ता है (हर परिणाम के लिए एक परिवर्तन, स्थिति, वास्तविक परिणाम, टेस्ट करने वाला और टेस्ट तिथि के साथ)। फिर यहpropose_changesसे प्रस्ताव भेजता है।Claude Code प्रस्ताव के शीर्षक, उसके द्वारा प्रस्तावित परिणामों और उसकी समीक्षा के लिंक के साथ उत्तर देता है।
- Holarch में ✦ AI ▾ → “<title>” की समीक्षा करें… खोलें, या घंटी के नीचे की सूचना।
डायलॉग हर टेस्ट केस को उसके वर्तमान और प्रस्तावित मानों के साथ दिखाता है।
- जो परिणाम आप स्वीकार नहीं करते उससे टिक हटाएं, फिर चयनित लागू करें पर क्लिक करें।
परिणाम इतिहास में आपके नाम के साथ दर्ज होते हैं, हर एक परिणाम आयात करें… की तरह एक रन-लॉग प्रविष्टि के साथ, और एक ही बार पूर्ववत करने से सब वापस हो जाता है।
- Claude Code से पूछें: "CubeSat प्रोजेक्ट की कौन-सी आवश्यकताएं अब भी सत्यापन में विफल हैं?"
Claude Code
get_matrix(matrixrvtm,statusFailed) से RVTM पढ़ता है और हर आवश्यकता को उसके विफल टेस्ट केस के साथ सूचीबद्ध करता है।
Claude Code उस रिपोर्ट से भी काम कर सकता है जो आपके CI ने पहले ही लिखी है: उससे टेस्ट चलाने के बजाय results.xml अटैच करें या उसकी ओर इशारा करें।
उदाहरण: CubeSat EO-1 डेमो
- प्रोजेक्ट प्रबंधित करें → प्रोजेक्ट फ़ाइलें ▾ → नया डेमो प्रोजेक्ट से डेमो बनाएं।
सत्यापन → टेस्ट सेंटर में TC-14 Off-Nadir Imaging Test Not Run है और TC-04 Pointing Accuracy Test Failed है।
- दो टेस्ट वाली एक JUnit रिपोर्ट लिखें:
test_TC_14_off_nadir_imagingपास हुआ, औरtest_TC_04_pointing_accuracyसंदेश 0.12 degrees on 2 of 20 targets के साथ विफल हुआ। python3 junit_to_holarch.py results.xmlचलाएं।आपको
TC-14 Off-Nadir Imaging Test: PassedऔरTC-04 Pointing Accuracy Test: Failedदिखते हैं।- सत्यापन → RVTM खोलें।
1.6.2 Off-Nadir Imaging अब Passed दिखाता है। 2.1 Pointing Accuracy अब भी विफल है, और TC-04 के वास्तविक परिणाम में 0.12 degrees on 2 of 20 targets लिखा है।
- Claude के साथ वही परिणाम पहले एक प्रस्ताव के रूप में आते हैं। चयनित लागू करें के बाद RVTM वही दिखाता है।
सुझाव
- परिणाम सबसे निचले टेस्ट केस पर दर्ज करें। पैरेंट अपने चाइल्ड से जुड़कर बनते हैं।
- स्क्रिप्ट के टोकन को एक प्रोजेक्ट तक सीमित रखें, और पाइपलाइन बंद होने पर उसे रद्द करें।
- ऐसा नंबर बताने वाला टेस्ट जो Holarch में नहीं है, "इस नंबर का कोई टेस्ट केस नहीं" के रूप में सूचीबद्ध होता है। टेस्ट का नाम ठीक करें या टेस्ट केस बनाएं।
- अभियान समाप्त होने पर टेस्ट सेंटर में एक टेस्ट चक्र सहेजें, ताकि उसके परिणाम अगले रन से अलग रखे जाएं (टेस्ट चक्र सहेजें)।
समस्या निवारण
| संदेश या लक्षण | कारण और समाधान |
|---|---|
Holarch answered 401 token-invalid | टोकन गलत, रद्द या समाप्त है। खाता सेटिंग्स → API टोकन के अंतर्गत एक नया बनाएं। |
Holarch answered 403 plan-api | खाते के प्लान में API और MCP शामिल नहीं हैं। Individual ट्रायल शुरू करें या कोई प्लान चुनें; तब टोकन फिर से काम करता है। |
Holarch answered 403 read-only-token | स्क्रिप्ट परिणाम लिखती है। एक पढ़ें और लिखें टोकन बनाएं। |
Holarch answered 403 forbidden | प्रोजेक्ट में आपकी भूमिका दर्शक या समीक्षक है। कोई स्वामी आपको संपादक बना सकता है। |
TC-14: not recorded (…) | Holarch वह परिणाम दर्ज नहीं कर सका, उदाहरण के लिए क्योंकि टेस्ट केस लॉक है या उसके चाइल्ड टेस्ट केस हैं। कारण बताता है कि कौन-सा; बाकी परिणाम दर्ज होते हैं। |
TC-04: not recorded (… configuration control …) | टेस्ट केस कॉन्फ़िगरेशन नियंत्रण में है। उसका परिणाम ऐप में एक परिवर्तन अनुरोध से दर्ज करें। |
Holarch answered 429 rate-limited | एक मिनट में बहुत अधिक अनुरोध। Retry-After में दिए सेकंड प्रतीक्षा करें, फिर स्क्रिप्ट फिर से चलाएं। |
| टेस्ट केस अपनी पुरानी स्थिति रखता है | चाइल्ड वाला टेस्ट केस अपने चाइल्ड की जुड़ी हुई स्थिति दिखाता है। परिणाम किसी चाइल्ड पर दर्ज करें। |
| Claude Code Holarch के लिखने वाले टूल नहीं देता | कनेक्शन केवल-पढ़ने वाला है। /mcp चलाएं, holarch को पढ़ें और परिवर्तन प्रस्तावित करें के साथ फिर से कनेक्ट करें, फिर नई बातचीत शुरू करें। |