הפניה
מתכון: תוצאות בדיקה דרך Claude
הבאת תוצאות ממערכת בדיקות למקרי בדיקה של Holarch, עם סקריפט REST ל-CI או עם Claude, שמריץ את הבדיקות, מציע את התוצאות לסקירה ומדווח מה ה-RVTM מראה; הגדרה, סקריפט, דוגמה מעובדת ופתרון בעיות.
בדף זה
סקירה כללית
המתכון הזה רושם תוצאות ממערכת בדיקות אוטומטית על מקרי הבדיקה התואמים ב-Holarch, כך שה-RVTM מציג אילו דרישות עוברות. יש לו שני חלקים:
- תוצאות מ-CI (REST API): סקריפט קורא את דוח ה-JUnit XML שרוב מריצי הבדיקות כותבים ורושם כל תוצאה על מקרה הבדיקה התואם: Status, תוצאה בפועל, נבדק על ידי, תאריך הבדיקה ורשומה ביומן הריצות.
- תוצאות דרך Claude (MCP): Claude Code מריץ את הבדיקות, מתאים את התוצאות למקרי הבדיקה ומציע את התוצאות לסקירה שלך ב-Holarch. אחר כך הוא קורא את ה-RVTM ומציין אילו דרישות עדיין נכשלות.
כדי לייבא קובץ תוצאות ידנית, משתמשים במקום זאת ב-אימות ← מרכז הבדיקות ← ייבוא תוצאות… (ייבוא תוצאות ממערכת בדיקות אחרת). ה-REST API ו-MCP רושמים תוצאות באותה דרך: נבדק על ידי, תאריך הבדיקה ורשומה ביומן הריצות בכל מקרה בדיקה.
דרישות מקדימות
- תוכנית עם ה-API ו-MCP: Individual או Team, או תקופת הניסיון של Individual. בתוכנית Free, גם לחשבון עם כתובת דוא״ל אקדמית מאומתת או בארגון כיתה פעיל יש אותם (תוכניות ומגבלות).
- פרויקט Holarch עם מקרי בדיקה שהבדיקות יכולות לציין את המספרים שלהם, כגון TC-14. נדרש תפקיד עורך או בעלים.
- לסקריפט: אסימון קריאה וכתיבה שמוגבל לפרויקט (הגדרות החשבון ← אסימוני API ← אסימון חדש, יצירת אסימון), ו-Python 3.9 ואילך עם החבילה
requests(python3 -m pip install requests). - לחלק של Claude: Claude Code מחובר ל-Holarch עם גישת קריאה והצעת שינויים (חיבור Holarch ל-Claude), במאגר שמכיל את הבדיקות.
- מריץ בדיקות שכותב JUnit XML, כגון
pytest --junitxml=results.xml, או רוב שלבי הבדיקה ב-CI.
איך להשתמש בה
מתי ולמה
אימות סוגר את המעגל מדרישה לראיה. כשבדיקות רצות אוטומטית, הקלדת התוצאות שלהן ב-Holarch איטית ומועדת לטעויות. משתמשים בסקריפט כשתוצאות צריכות להיכנס בלי סקירה, כגון הרצות רגרסיה ליליות. משתמשים ב-Claude כשאדם צריך לראות את התוצאות לפני שהן נרשמות, כגון הרצת הסמכה.
ציון מקרה הבדיקה בכל בדיקה
הסקריפט ו-Claude מתאימים בדיקה למקרה בדיקה ב-Holarch לפי מספר מקרה הבדיקה שבשם הבדיקה.
- שמים את המספר בשם הבדיקה:
test_TC_14_off_nadir_imagingב-pytest, אוTC-14 off-nadir imagingבמריצים אחרים. - שומרים מקרה בדיקה אחד ב-Holarch לכל בדיקה. מקרה בדיקה עם מקרי בדיקה צאצאים לוקח את הסטטוס שלו מהצאצאים; רושמים תוצאות על הצאצאים.
רישום תוצאות מ-CI
הסקריפט רושם Passed או Failed על כל מקרה בדיקה שהותאם, בבקשה אחת. בכישלון הוא רושם גם את הודעת הכישלון כ-תוצאה בפועל. בדיקות שדולגו נשארות ללא שינוי.
# junit_to_holarch.py: record JUnit XML results on Holarch test cases.
# Usage: python3 junit_to_holarch.py results.xml
import os
import re
import sys
import xml.etree.ElementTree as ET
import requests
HOLARCH = os.environ.get("HOLARCH_URL", "https://app.holarch.app") + "/api/v1"
PROJECT = os.environ["HOLARCH_PROJECT"]
HEADERS = {"Authorization": "Bearer " + os.environ["HOLARCH_TOKEN"]}
NUMBER = re.compile(r"TC[-_ ](\d+)") # TC-14 or test_TC_14_…; change it to match your numbering
def holarch(method, path, **kw):
r = requests.request(method, HOLARCH + path, headers=HEADERS, timeout=60, **kw)
if r.status_code >= 400:
d = r.json()
raise SystemExit(f"Holarch answered {r.status_code} {d.get('code')}: {d.get('error')}")
return r.json()
results = []
for test in ET.parse(sys.argv[1]).getroot().iter("testcase"):
m = NUMBER.search(test.get("name", ""))
if not m or test.find("skipped") is not None:
continue
failure = test.find("failure")
if failure is None:
failure = test.find("error")
result = {"testCase": "TC-" + m.group(1), "status": "Passed" if failure is None else "Failed"}
if failure is not None:
result["actualResult"] = (failure.get("message") or failure.text or "Failed").strip()[:4000]
results.append(result)
answer = holarch("POST", f"/projects/{PROJECT}/test-results",
json={"source": os.path.basename(sys.argv[1]), "testedBy": "CI", "results": results})
for r in answer["recorded"]:
print(f"{r['number']} {r['name']}: {r['status']}")
for r in answer["skipped"]:
if r["code"] == "not-found":
print(f"{r['testCase']}: no test case with this number in Holarch")
else:
print(f"{r['testCase']}: not recorded ({r['reason']})")
- יש להגדיר את משתני הסביבה
HOLARCH_TOKEN(האסימון) ו-HOLARCH_PROJECT(מזהה הפרויקט מ-GET /api/v1/projects). - מריצים את הבדיקות שלך עם דוח JUnit, כגון
pytest --junitxml=results.xml. - יש להריץ
python3 junit_to_holarch.py results.xml.מוצגת שורה אחת לכל תוצאה שנרשמה, כגון
TC-14 Off-Nadir Imaging Test: Passed. - ב-Holarch, יש לפתוח את אימות ← RVTM.
הדרישות שמקרי הבדיקה האלה מאמתים מציגות את הסטטוס החדש.
איך זה עובד:
POST /api/v1/projects/<project>/test-resultsרושם את כל התוצאות של הדוח כשינוי אחד, כמו ייבוא תוצאות…: Status, תוצאה בפועל לכישלונות, נבדק על ידי (CI כאן; שם החשבון שלך כשמושמט), תאריך הבדיקה (מועד הבקשה) ורשומה ביומן הריצות עםsourceשמוגדר לשם הקובץ של הדוח (תוצאות בדיקות).testCaseמציין את מקרה הבדיקה לפי המספר שלו, כגוןTC-14; גם מזהה או שם פועלים. Status מקבל כאן Passed או Failed; נקודת הקצה מקבלת גם Blocked, In Progress ו-Not Run, ומילים של כלי בדיקה כגון pass ו-fail.- תוצאה שאי אפשר לרשום, כגון מספר שאין ב-Holarch, מפורטת ב-
skippedעם הסיבה שלה; האחרות עדיין נרשמות. - השינוי נרשם תחת השם שלך ונראה מיד לכל מי שהפרויקט פתוח אצלו.
במשימת CI, מריצים את הסקריפט כשלב אחרי הבדיקות, עם האסימון כסוד. ב-GitHub Actions, למשל:
- name: Record results in Holarch
if: always()
env:
HOLARCH_TOKEN: ${{ secrets.HOLARCH_TOKEN }}
HOLARCH_PROJECT: ${{ vars.HOLARCH_PROJECT }}
run: |
python3 -m pip install requests
python3 junit_to_holarch.py results.xml
if: always() רושם את התוצאות גם כשבדיקות נכשלות, וזה בדיוק כשהן חשובות ביותר.
הרצת הבדיקות והצעת התוצאות עם Claude
- במאגר שמכיל את הבדיקות, אפשר לשאול את Claude Code, למשל: "הרץ את בדיקות ההצבעה עם דוח JUnit. אחר כך הצע את התוצאות שלהן בפרויקט CubeSat ב-Holarch: הגדר Status, ולכישלונות Actual Result, במקרי הבדיקה התואמים."
- Claude Code מריץ את הבדיקות. ב-Holarch הוא מוסיף את התוצאות להצעה עם
record_test_results(שינוי אחד לכל תוצאה, עם Status, תוצאה בפועל, נבדק על ידי ותאריך הבדיקה). אחר כך הוא שולח את ההצעה עםpropose_changes.Claude Code עונה עם הכותרת של ההצעה, התוצאות שהוא מציע וקישור לסקירה שלה.
- ב-Holarch, יש לפתוח את ✦ AI ▾ ← סקירת “<title>”…, או את ההתראה מתחת לפעמון.
תיבת הדו-שיח מציגה כל מקרה בדיקה עם הערכים הנוכחיים והמוצעים שלו.
- מבטלים את הסימון של כל תוצאה שאינה מתקבלת, ואז לוחצים על החלת הנבחרים.
התוצאות נרשמות עם השם שלך בהיסטוריה, כל אחת עם רשומה ביומן הריצות כמו מ-ייבוא תוצאות…, וביטול פעולה אחד מחזיר הכול לאחור.
- שואלים את Claude Code: "אילו דרישות בפרויקט CubeSat עדיין נכשלות באימות?"
Claude Code קורא את ה-RVTM עם
get_matrix(matrixrvtm,statusFailed) ומפרט כל דרישה עם מקרי הבדיקה הנכשלים שלה.
Claude Code יכול לעבוד גם מדוח שה-CI שלך כבר כתב: מצרפים את results.xml או מפנים אותו אליו במקום לבקש ממנו להריץ את הבדיקות.
דוגמה מעשית: הדגמת CubeSat EO-1
- יוצרים את ההדגמה עם ניהול פרויקטים ← קובצי פרויקט ▾ ← פרויקט הדגמה חדש.
באימות ← מרכז הבדיקות, TC-14 Off-Nadir Imaging Test הוא Not Run ו-TC-04 Pointing Accuracy Test הוא Failed.
- כותבים דוח JUnit עם שתי בדיקות:
test_TC_14_off_nadir_imagingעברה, ו-test_TC_04_pointing_accuracyנכשלה עם ההודעה 0.12 degrees on 2 of 20 targets. - יש להריץ
python3 junit_to_holarch.py results.xml.מוצגים
TC-14 Off-Nadir Imaging Test: Passedו-TC-04 Pointing Accuracy Test: Failed. - יש לפתוח את אימות ← RVTM.
1.6.2 Off-Nadir Imaging מציגה עכשיו Passed. 2.1 Pointing Accuracy עדיין נכשלת, וה-תוצאה בפועל של TC-04 היא 0.12 degrees on 2 of 20 targets.
- עם Claude, אותן תוצאות מגיעות קודם כהצעה. אחרי החלת הנבחרים, ה-RVTM מציג את אותו הדבר.
טיפים
- רושמים תוצאות על מקרי הבדיקה הנמוכים ביותר. הורים מצטברים מהצאצאים שלהם.
- כדאי להגביל את האסימון של הסקריפט לפרויקט האחד, ולבטל אותו כשמוציאים את הצינור משימוש.
- בדיקה שמציינת מספר שאין ב-Holarch מופיעה כ-"אין מקרה בדיקה עם המספר הזה". יש לתקן את שם הבדיקה או ליצור את מקרה הבדיקה.
- כשמערכה מסתיימת, שומרים מחזור בדיקה במרכז הבדיקות, כדי שהתוצאות שלה יישמרו בנפרד מההרצה הבאה (שמירת מחזור בדיקה).
פתרון בעיות
| הודעה או תסמין | סיבה ותיקון |
|---|---|
Holarch answered 401 token-invalid | האסימון שגוי, בוטל או שתוקפו פג. יש ליצור אסימון חדש תחת הגדרות החשבון ← אסימוני API. |
Holarch answered 403 plan-api | התוכנית של החשבון אינה כוללת את ה-API ו-MCP. יש להתחיל את תקופת הניסיון של Individual או לבחור תוכנית; האסימון יפעל אז שוב. |
Holarch answered 403 read-only-token | הסקריפט כותב תוצאות. יש ליצור אסימון קריאה וכתיבה. |
Holarch answered 403 forbidden | התפקיד שלך בפרויקט הוא צופה או מבקר. בעלים יכול להפוך אותך לעורך. |
TC-14: not recorded (…) | Holarch לא יכול היה לרשום את התוצאה הזו, למשל כי מקרה הבדיקה נעול או שיש לו מקרי בדיקה צאצאים. הסיבה מציינת מה מהם; שאר התוצאות נרשמות. |
TC-04: not recorded (… configuration control …) | מקרה הבדיקה נמצא תחת בקרת תצורה. יש לרשום את התוצאה שלו באפליקציה דרך בקשת שינוי. |
Holarch answered 429 rate-limited | יותר מדי בקשות בדקה. יש להמתין את מספר השניות שב-Retry-After, ואז להריץ את הסקריפט שוב. |
| מקרה בדיקה שומר על הסטטוס הישן שלו | מקרה בדיקה עם צאצאים מציג את הסטטוס המצטבר של הצאצאים שלו. יש לרשום את התוצאה על צאצא. |
| Claude Code אינו מציע את כלי הכתיבה של Holarch | החיבור הוא לקריאה בלבד. יש להריץ /mcp, לחבר מחדש את holarch עם קריאה והצעת שינויים, ואז להתחיל שיחה חדשה. |