Holarch

הפניה

מתכון: תוצאות בדיקה דרך Claude

הבאת תוצאות ממערכת בדיקות למקרי בדיקה של Holarch, עם סקריפט REST ל-CI או עם Claude, שמריץ את הבדיקות, מציע את התוצאות לסקירה ומדווח מה ה-RVTM מראה; הגדרה, סקריפט, דוגמה מעובדת ופתרון בעיות.

אופן השימוש ←

בדף זה
  1. סקירה כללית
  2. דרישות מקדימות
  3. איך להשתמש בה
    1. מתי ולמה
    2. ציון מקרה הבדיקה בכל בדיקה
    3. רישום תוצאות מ-CI
    4. הרצת הבדיקות והצעת התוצאות עם Claude
    5. דוגמה מעשית: הדגמת CubeSat EO-1
    6. טיפים
  4. פתרון בעיות
  5. דפים קשורים

סקירה כללית

המתכון הזה רושם תוצאות ממערכת בדיקות אוטומטית על מקרי הבדיקה התואמים ב-Holarch, כך שה-RVTM מציג אילו דרישות עוברות. יש לו שני חלקים:

  • תוצאות מ-CI (REST API): סקריפט קורא את דוח ה-JUnit XML שרוב מריצי הבדיקות כותבים ורושם כל תוצאה על מקרה הבדיקה התואם: Status, תוצאה בפועל, נבדק על ידי, תאריך הבדיקה ורשומה ביומן הריצות.
  • תוצאות דרך Claude (MCP): Claude Code מריץ את הבדיקות, מתאים את התוצאות למקרי הבדיקה ומציע את התוצאות לסקירה שלך ב-Holarch. אחר כך הוא קורא את ה-RVTM ומציין אילו דרישות עדיין נכשלות.

כדי לייבא קובץ תוצאות ידנית, משתמשים במקום זאת ב-אימות ← מרכז הבדיקות ← ייבוא תוצאות… (ייבוא תוצאות ממערכת בדיקות אחרת). ה-REST API ו-MCP רושמים תוצאות באותה דרך: נבדק על ידי, תאריך הבדיקה ורשומה ביומן הריצות בכל מקרה בדיקה.

דרישות מקדימות

  • תוכנית עם ה-API ו-MCP: Individual או Team, או תקופת הניסיון של Individual. בתוכנית Free, גם לחשבון עם כתובת דוא״ל אקדמית מאומתת או בארגון כיתה פעיל יש אותם (תוכניות ומגבלות).
  • פרויקט Holarch עם מקרי בדיקה שהבדיקות יכולות לציין את המספרים שלהם, כגון TC-14. נדרש תפקיד עורך או בעלים.
  • לסקריפט: אסימון קריאה וכתיבה שמוגבל לפרויקט (הגדרות החשבון ← אסימוני API ← אסימון חדש, יצירת אסימון), ו-Python 3.9 ואילך עם החבילה requests (python3 -m pip install requests).
  • לחלק של Claude: Claude Code מחובר ל-Holarch עם גישת קריאה והצעת שינויים (חיבור Holarch ל-Claude), במאגר שמכיל את הבדיקות.
  • מריץ בדיקות שכותב JUnit XML, כגון pytest --junitxml=results.xml, או רוב שלבי הבדיקה ב-CI.

איך להשתמש בה

מתי ולמה

אימות סוגר את המעגל מדרישה לראיה. כשבדיקות רצות אוטומטית, הקלדת התוצאות שלהן ב-Holarch איטית ומועדת לטעויות. משתמשים בסקריפט כשתוצאות צריכות להיכנס בלי סקירה, כגון הרצות רגרסיה ליליות. משתמשים ב-Claude כשאדם צריך לראות את התוצאות לפני שהן נרשמות, כגון הרצת הסמכה.

ציון מקרה הבדיקה בכל בדיקה

הסקריפט ו-Claude מתאימים בדיקה למקרה בדיקה ב-Holarch לפי מספר מקרה הבדיקה שבשם הבדיקה.

  1. שמים את המספר בשם הבדיקה: test_TC_14_off_nadir_imaging ב-pytest, או TC-14 off-nadir imaging במריצים אחרים.
  2. שומרים מקרה בדיקה אחד ב-Holarch לכל בדיקה. מקרה בדיקה עם מקרי בדיקה צאצאים לוקח את הסטטוס שלו מהצאצאים; רושמים תוצאות על הצאצאים.

רישום תוצאות מ-CI

הסקריפט רושם Passed או Failed על כל מקרה בדיקה שהותאם, בבקשה אחת. בכישלון הוא רושם גם את הודעת הכישלון כ-תוצאה בפועל. בדיקות שדולגו נשארות ללא שינוי.

# junit_to_holarch.py: record JUnit XML results on Holarch test cases.
# Usage: python3 junit_to_holarch.py results.xml
import os
import re
import sys
import xml.etree.ElementTree as ET

import requests

HOLARCH = os.environ.get("HOLARCH_URL", "https://app.holarch.app") + "/api/v1"
PROJECT = os.environ["HOLARCH_PROJECT"]
HEADERS = {"Authorization": "Bearer " + os.environ["HOLARCH_TOKEN"]}
NUMBER = re.compile(r"TC[-_ ](\d+)")  # TC-14 or test_TC_14_…; change it to match your numbering


def holarch(method, path, **kw):
    r = requests.request(method, HOLARCH + path, headers=HEADERS, timeout=60, **kw)
    if r.status_code >= 400:
        d = r.json()
        raise SystemExit(f"Holarch answered {r.status_code} {d.get('code')}: {d.get('error')}")
    return r.json()


results = []
for test in ET.parse(sys.argv[1]).getroot().iter("testcase"):
    m = NUMBER.search(test.get("name", ""))
    if not m or test.find("skipped") is not None:
        continue
    failure = test.find("failure")
    if failure is None:
        failure = test.find("error")
    result = {"testCase": "TC-" + m.group(1), "status": "Passed" if failure is None else "Failed"}
    if failure is not None:
        result["actualResult"] = (failure.get("message") or failure.text or "Failed").strip()[:4000]
    results.append(result)

answer = holarch("POST", f"/projects/{PROJECT}/test-results",
                 json={"source": os.path.basename(sys.argv[1]), "testedBy": "CI", "results": results})
for r in answer["recorded"]:
    print(f"{r['number']} {r['name']}: {r['status']}")
for r in answer["skipped"]:
    if r["code"] == "not-found":
        print(f"{r['testCase']}: no test case with this number in Holarch")
    else:
        print(f"{r['testCase']}: not recorded ({r['reason']})")
  1. יש להגדיר את משתני הסביבה HOLARCH_TOKEN (האסימון) ו-HOLARCH_PROJECT (מזהה הפרויקט מ-GET /api/v1/projects).
  2. מריצים את הבדיקות שלך עם דוח JUnit, כגון pytest --junitxml=results.xml.
  3. יש להריץ python3 junit_to_holarch.py results.xml.

    מוצגת שורה אחת לכל תוצאה שנרשמה, כגון TC-14 Off-Nadir Imaging Test: Passed.

  4. ב-Holarch, יש לפתוח את אימות ← RVTM.

    הדרישות שמקרי הבדיקה האלה מאמתים מציגות את הסטטוס החדש.

איך זה עובד:

  • POST /api/v1/projects/<project>/test-results רושם את כל התוצאות של הדוח כשינוי אחד, כמו ייבוא תוצאות…: Status, תוצאה בפועל לכישלונות, נבדק על ידי (CI כאן; שם החשבון שלך כשמושמט), תאריך הבדיקה (מועד הבקשה) ורשומה ביומן הריצות עם source שמוגדר לשם הקובץ של הדוח (תוצאות בדיקות).
  • testCase מציין את מקרה הבדיקה לפי המספר שלו, כגון TC-14; גם מזהה או שם פועלים. Status מקבל כאן Passed או Failed; נקודת הקצה מקבלת גם Blocked, In Progress ו-Not Run, ומילים של כלי בדיקה כגון pass ו-fail.
  • תוצאה שאי אפשר לרשום, כגון מספר שאין ב-Holarch, מפורטת ב-skipped עם הסיבה שלה; האחרות עדיין נרשמות.
  • השינוי נרשם תחת השם שלך ונראה מיד לכל מי שהפרויקט פתוח אצלו.

במשימת CI, מריצים את הסקריפט כשלב אחרי הבדיקות, עם האסימון כסוד. ב-GitHub Actions, למשל:

      - name: Record results in Holarch
        if: always()
        env:
          HOLARCH_TOKEN: ${{ secrets.HOLARCH_TOKEN }}
          HOLARCH_PROJECT: ${{ vars.HOLARCH_PROJECT }}
        run: |
          python3 -m pip install requests
          python3 junit_to_holarch.py results.xml

if: always() רושם את התוצאות גם כשבדיקות נכשלות, וזה בדיוק כשהן חשובות ביותר.

הרצת הבדיקות והצעת התוצאות עם Claude

  1. במאגר שמכיל את הבדיקות, אפשר לשאול את Claude Code, למשל: "הרץ את בדיקות ההצבעה עם דוח JUnit. אחר כך הצע את התוצאות שלהן בפרויקט CubeSat ב-Holarch: הגדר Status, ולכישלונות Actual Result, במקרי הבדיקה התואמים."
  2. Claude Code מריץ את הבדיקות. ב-Holarch הוא מוסיף את התוצאות להצעה עם record_test_results (שינוי אחד לכל תוצאה, עם Status, תוצאה בפועל, נבדק על ידי ותאריך הבדיקה). אחר כך הוא שולח את ההצעה עם propose_changes.

    Claude Code עונה עם הכותרת של ההצעה, התוצאות שהוא מציע וקישור לסקירה שלה.

  3. ב-Holarch, יש לפתוח את ✦ AI ▾ ← סקירת “<title>”…, או את ההתראה מתחת לפעמון.

    תיבת הדו-שיח מציגה כל מקרה בדיקה עם הערכים הנוכחיים והמוצעים שלו.

  4. מבטלים את הסימון של כל תוצאה שאינה מתקבלת, ואז לוחצים על החלת הנבחרים.

    התוצאות נרשמות עם השם שלך בהיסטוריה, כל אחת עם רשומה ביומן הריצות כמו מ-ייבוא תוצאות…, וביטול פעולה אחד מחזיר הכול לאחור.

  5. שואלים את Claude Code: "אילו דרישות בפרויקט CubeSat עדיין נכשלות באימות?"

    Claude Code קורא את ה-RVTM עם get_matrix (matrix rvtm, status Failed) ומפרט כל דרישה עם מקרי הבדיקה הנכשלים שלה.

Claude Code יכול לעבוד גם מדוח שה-CI שלך כבר כתב: מצרפים את results.xml או מפנים אותו אליו במקום לבקש ממנו להריץ את הבדיקות.

דוגמה מעשית: הדגמת CubeSat EO-1

  1. יוצרים את ההדגמה עם ניהול פרויקטים ← קובצי פרויקט ▾ ← פרויקט הדגמה חדש.

    באימות ← מרכז הבדיקות, TC-14 Off-Nadir Imaging Test הוא Not Run ו-TC-04 Pointing Accuracy Test הוא Failed.

  2. כותבים דוח JUnit עם שתי בדיקות: test_TC_14_off_nadir_imaging עברה, ו-test_TC_04_pointing_accuracy נכשלה עם ההודעה 0.12 degrees on 2 of 20 targets.
  3. יש להריץ python3 junit_to_holarch.py results.xml.

    מוצגים TC-14 Off-Nadir Imaging Test: Passed ו-TC-04 Pointing Accuracy Test: Failed.

  4. יש לפתוח את אימות ← RVTM.

    1.6.2 Off-Nadir Imaging מציגה עכשיו Passed. 2.1 Pointing Accuracy עדיין נכשלת, וה-תוצאה בפועל של TC-04 היא 0.12 degrees on 2 of 20 targets.

  5. עם Claude, אותן תוצאות מגיעות קודם כהצעה. אחרי החלת הנבחרים, ה-RVTM מציג את אותו הדבר.

טיפים

  • רושמים תוצאות על מקרי הבדיקה הנמוכים ביותר. הורים מצטברים מהצאצאים שלהם.
  • כדאי להגביל את האסימון של הסקריפט לפרויקט האחד, ולבטל אותו כשמוציאים את הצינור משימוש.
  • בדיקה שמציינת מספר שאין ב-Holarch מופיעה כ-"אין מקרה בדיקה עם המספר הזה". יש לתקן את שם הבדיקה או ליצור את מקרה הבדיקה.
  • כשמערכה מסתיימת, שומרים מחזור בדיקה במרכז הבדיקות, כדי שהתוצאות שלה יישמרו בנפרד מההרצה הבאה (שמירת מחזור בדיקה).

פתרון בעיות

הודעה או תסמיןסיבה ותיקון
Holarch answered 401 token-invalidהאסימון שגוי, בוטל או שתוקפו פג. יש ליצור אסימון חדש תחת הגדרות החשבון ← אסימוני API.
Holarch answered 403 plan-apiהתוכנית של החשבון אינה כוללת את ה-API ו-MCP. יש להתחיל את תקופת הניסיון של Individual או לבחור תוכנית; האסימון יפעל אז שוב.
Holarch answered 403 read-only-tokenהסקריפט כותב תוצאות. יש ליצור אסימון קריאה וכתיבה.
Holarch answered 403 forbiddenהתפקיד שלך בפרויקט הוא צופה או מבקר. בעלים יכול להפוך אותך לעורך.
TC-14: not recorded (…)Holarch לא יכול היה לרשום את התוצאה הזו, למשל כי מקרה הבדיקה נעול או שיש לו מקרי בדיקה צאצאים. הסיבה מציינת מה מהם; שאר התוצאות נרשמות.
TC-04: not recorded (… configuration control …)מקרה הבדיקה נמצא תחת בקרת תצורה. יש לרשום את התוצאה שלו באפליקציה דרך בקשת שינוי.
Holarch answered 429 rate-limitedיותר מדי בקשות בדקה. יש להמתין את מספר השניות שב-Retry-After, ואז להריץ את הסקריפט שוב.
מקרה בדיקה שומר על הסטטוס הישן שלומקרה בדיקה עם צאצאים מציג את הסטטוס המצטבר של הצאצאים שלו. יש לרשום את התוצאה על צאצא.
Claude Code אינו מציע את כלי הכתיבה של Holarchהחיבור הוא לקריאה בלבד. יש להריץ /mcp, לחבר מחדש את holarch עם קריאה והצעת שינויים, ואז להתחיל שיחה חדשה.