Holarch

Başvuru

Tarif: Claude aracılığıyla test sonuçları

Bir test sisteminden sonuçları Holarch test senaryolarına getirin: CI için bir REST betiğiyle ya da testleri çalıştıran, sonuçları inceleme için öneren ve RVTM'nin ne gösterdiğini bildiren Claude ile; kurulum, betik, çalışılmış bir örnek ve sorun giderme.

Nasıl kullanılır →

Bu sayfada
  1. Genel bakış
  2. Ön koşullar
  3. Nasıl kullanılır
    1. Ne zaman ve neden
    2. Her testte test senaryosunu adlandırma
    3. CI'dan sonuçları kaydetme
    4. Testleri çalıştırma ve sonuçları Claude ile önerme
    5. Uygulamalı örnek: CubeSat EO-1 demosu
    6. İpuçları
  4. Sorun giderme
  5. İlgili sayfalar

Genel bakış

Bu tarif, otomatik bir test sisteminden gelen sonuçları eşleşen Holarch test senaryolarına kaydeder, böylece RVTM hangi gereksinimlerin geçtiğini gösterir. İki bölümü vardır:

  • CI'dan sonuçlar (REST API): bir betik çoğu test çalıştırıcısının yazdığı JUnit XML raporunu okur ve her sonucu eşleşen test senaryosuna kaydeder: Durum, Gerçek sonuç, Test eden, Test tarihi ve bir çalıştırma günlüğü girdisi.
  • Claude aracılığıyla sonuçlar (MCP): Claude Code testleri çalıştırır, sonuçları test senaryolarıyla eşleştirir ve sonuçları Holarch'ta incelemeniz için önerir. Ardından RVTM'yi okur ve size hangi gereksinimlerin hâlâ başarısız olduğunu söyler.

Bir sonuç dosyasını elle içe aktarmak için bunun yerine Doğrulama → Test Merkezi → Sonuçları içe aktar… kullanın (Sonuçları başka bir test sisteminden içe aktarın). REST API ve MCP sonuçları aynı şekilde kaydeder: her test senaryosunda Test eden, Test tarihi ve bir çalıştırma günlüğü girdisi.

Ön koşullar

  • API ve MCP içeren bir plan: Individual veya Team ya da Individual denemesi. Free planında doğrulanmış bir akademik e-posta adresine sahip veya etkin bir sınıf kuruluşundaki bir hesapta da bulunur (Planlar ve sınırlar).
  • Numaralarını testlerin adlandırabildiği test senaryoları olan bir Holarch projesi, örneğin TC-14. Düzenleyici veya sahip rolüne ihtiyacınız vardır.
  • Betik için: projeyle sınırlı bir Okuma ve yazma belirteci (Hesap ayarları → API belirteçleri → Yeni belirteç, Belirteç oluşturma) ve requests paketiyle (python3 -m pip install requests) Python 3.9 veya sonrası.
  • Claude bölümü için: testleri içeren depoda, Okuma ve değişiklik önerme erişimiyle Holarch'a bağlı Claude Code (Holarch'ı Claude'a bağlama).
  • pytest --junitxml=results.xml veya çoğu CI test adımı gibi JUnit XML yazan bir test çalıştırıcısı.

Nasıl kullanılır

Ne zaman ve neden

Doğrulama, gereksinimden kanıta giden döngüyü kapatır. Testler otomatik çalıştığında sonuçlarını Holarch'a yazmak yavaştır ve hataya açıktır. Sonuçların inceleme olmadan girmesi gerektiğinde, örneğin gece çalışan regresyon çalıştırmalarında betiği kullanın. Sonuçlar kaydedilmeden önce bir kişinin onları görmesi gerektiğinde, örneğin bir yeterlilik çalıştırmasında Claude'u kullanın.

Her testte test senaryosunu adlandırma

Betik ve Claude bir testi, testin adındaki test senaryosu numarasıyla bir Holarch test senaryosuna eşleştirir.

  1. Numarayı testin adına koyun: pytest'te test_TC_14_off_nadir_imaging, diğer çalıştırıcılarda TC-14 off-nadir imaging.
  2. Her test için bir Holarch test senaryosu tutun. Alt test senaryoları olan bir test senaryosu durumunu alt öğelerinden alır; sonuçları alt öğelere kaydedin.

CI'dan sonuçları kaydetme

Betik eşleşen her test senaryosuna tek bir istekte Passed veya Failed kaydeder. Bir başarısızlık için hata iletisini de Gerçek sonuç olarak kaydeder. Atlanan testler değiştirilmez.

# junit_to_holarch.py: record JUnit XML results on Holarch test cases.
# Usage: python3 junit_to_holarch.py results.xml
import os
import re
import sys
import xml.etree.ElementTree as ET

import requests

HOLARCH = os.environ.get("HOLARCH_URL", "https://app.holarch.app") + "/api/v1"
PROJECT = os.environ["HOLARCH_PROJECT"]
HEADERS = {"Authorization": "Bearer " + os.environ["HOLARCH_TOKEN"]}
NUMBER = re.compile(r"TC[-_ ](\d+)")  # TC-14 or test_TC_14_…; change it to match your numbering


def holarch(method, path, **kw):
    r = requests.request(method, HOLARCH + path, headers=HEADERS, timeout=60, **kw)
    if r.status_code >= 400:
        d = r.json()
        raise SystemExit(f"Holarch answered {r.status_code} {d.get('code')}: {d.get('error')}")
    return r.json()


results = []
for test in ET.parse(sys.argv[1]).getroot().iter("testcase"):
    m = NUMBER.search(test.get("name", ""))
    if not m or test.find("skipped") is not None:
        continue
    failure = test.find("failure")
    if failure is None:
        failure = test.find("error")
    result = {"testCase": "TC-" + m.group(1), "status": "Passed" if failure is None else "Failed"}
    if failure is not None:
        result["actualResult"] = (failure.get("message") or failure.text or "Failed").strip()[:4000]
    results.append(result)

answer = holarch("POST", f"/projects/{PROJECT}/test-results",
                 json={"source": os.path.basename(sys.argv[1]), "testedBy": "CI", "results": results})
for r in answer["recorded"]:
    print(f"{r['number']} {r['name']}: {r['status']}")
for r in answer["skipped"]:
    if r["code"] == "not-found":
        print(f"{r['testCase']}: no test case with this number in Holarch")
    else:
        print(f"{r['testCase']}: not recorded ({r['reason']})")
  1. HOLARCH_TOKEN (belirteç) ve HOLARCH_PROJECT (GET /api/v1/projects içinden proje kimliği) ortam değişkenlerini ayarlayın.
  2. Testlerinizi bir JUnit raporuyla çalıştırın, örneğin pytest --junitxml=results.xml.
  3. python3 junit_to_holarch.py results.xml çalıştırın.

    Kaydedilen her sonuç için bir satır görürsünüz, örneğin TC-14 Off-Nadir Imaging Test: Passed.

  4. Holarch'ta Doğrulama → RVTM açın.

    Bu test senaryolarının doğruladığı gereksinimler yeni durumu gösterir.

Nasıl çalışır:

  • POST /api/v1/projects/<project>/test-results, raporun tüm sonuçlarını Sonuçları içe aktar… gibi tek bir değişiklik olarak kaydeder: Durum, başarısızlıklar için Gerçek sonuç, Test eden (burada CI; belirtilmezse hesap adınız), Test tarihi (isteğin zamanı) ve source değeri raporun dosya adı olan bir çalıştırma günlüğü girdisi (Test sonuçları).
  • testCase, test senaryosunu TC-14 gibi numarasıyla adlandırır; bir kimlik veya ad da çalışır. Durum burada Passed veya Failed alır; uç nokta ayrıca Blocked, In Progress ve Not Run ile pass ve fail gibi test araçlarının sözcüklerini de alır.
  • Kaydedilemeyen bir sonuç, örneğin Holarch'ta olmayan bir numara, nedeniyle birlikte skipped içinde listelenir; diğerleri yine kaydedilir.
  • Değişiklik sizin adınızla kaydedilir ve projeyi açık tutan herkes tarafından hemen görülür.

Bir CI işinde betiği testlerden sonra bir adım olarak, belirteç gizli bilgi olarak çalıştırın. Örneğin GitHub Actions'ta:

      - name: Record results in Holarch
        if: always()
        env:
          HOLARCH_TOKEN: ${{ secrets.HOLARCH_TOKEN }}
          HOLARCH_PROJECT: ${{ vars.HOLARCH_PROJECT }}
        run: |
          python3 -m pip install requests
          python3 junit_to_holarch.py results.xml

if: always() sonuçları testler başarısız olduğunda da kaydeder; bu, en çok önem taşıdıkları zamandır.

Testleri çalıştırma ve sonuçları Claude ile önerme

  1. Testleri içeren depoda Claude Code'a örneğin şunu sorun: “İşaretleme testlerini bir JUnit raporuyla çalıştır. Ardından sonuçlarını Holarch CubeSat projesinde öner: eşleşen test senaryolarında Status'u ve başarısızlıklar için Actual Result'u ayarla.”
  2. Claude Code testleri çalıştırır. Holarch'ta sonuçları record_test_results ile bir öneriye ekler (her sonuç için Durum, Gerçek sonuç, Test eden ve Test tarihi ile bir değişiklik). Ardından öneriyi propose_changes ile gönderir.

    Claude Code önerinin başlığı, önerdiği sonuçlar ve onu incelemek için bir bağlantıyla yanıt verir.

  3. Holarch'ta ✦ YZ ▾ → “<title>” incele… veya zil simgesinin altındaki bildirimi açın.

    İletişim kutusu her test senaryosunu geçerli ve önerilen değerleriyle gösterir.

  4. Kabul etmediğiniz her sonucun işaretini kaldırın, ardından Seçilenleri uygula seçeneğine tıklayın.

    Sonuçlar, geçmişte sizin adınızla, her biri Sonuçları içe aktar… ile olduğu gibi bir çalıştırma günlüğü girdisiyle kaydedilir ve tek bir Geri al ile hepsi geri alınır.

  5. Claude Code'a şunu sorun: “CubeSat projesinde hangi gereksinimler doğrulamada hâlâ başarısız?”

    Claude Code RVTM'yi get_matrix ile okur (matrix rvtm, status Failed) ve her gereksinimi başarısız test senaryolarıyla listeler.

Claude Code, CI'nızın zaten yazdığı bir rapordan da çalışabilir: testleri çalıştırmasını istemek yerine results.xml dosyasını ekleyin veya onu gösterin.

Uygulamalı örnek: CubeSat EO-1 demosu

  1. Demoyu Projeleri yönet → Proje dosyaları ▾ → Yeni demo proje ile oluşturun.

    Doğrulama → Test Merkezi içinde TC-14 Off-Nadir Imaging Test Not Run, TC-04 Pointing Accuracy Test ise Failed durumundadır.

  2. İki testli bir JUnit raporu yazın: test_TC_14_off_nadir_imaging geçti ve test_TC_04_pointing_accuracy 0.12 degrees on 2 of 20 targets iletisiyle başarısız oldu.
  3. python3 junit_to_holarch.py results.xml çalıştırın.

    TC-14 Off-Nadir Imaging Test: Passed ve TC-04 Pointing Accuracy Test: Failed görürsünüz.

  4. Doğrulama → RVTM'yi açın.

    1.6.2 Off-Nadir Imaging artık Passed gösterir. 2.1 Pointing Accuracy hâlâ başarısızdır ve TC-04'ün Gerçek sonuç değerinde 0.12 degrees on 2 of 20 targets yazar.

  5. Claude ile aynı sonuçlar önce bir öneri olarak gelir. Seçilenleri uygula sonrasında RVTM aynısını gösterir.

İpuçları

  • Sonuçları en alttaki test senaryolarına kaydedin. Üst öğeler alt öğelerinden toplanır.
  • Betiğin belirtecini tek projeyle sınırlı tutun ve işlem hattı kullanımdan kaldırıldığında onu iptal edin.
  • Holarch'ta olmayan bir numarayı adlandıran bir test “bu numaralı test senaryosu yok” olarak listelenir. Testin adını düzeltin veya test senaryosunu oluşturun.
  • Bir kampanya bittiğinde Test Merkezi'nde bir test döngüsü kaydedin, böylece sonuçları sonraki çalıştırmadan ayrı tutulur (Bir test döngüsü kaydedin).

Sorun giderme

İleti veya belirtiNeden ve çözüm
Holarch answered 401 token-invalidBelirteç yanlış, iptal edilmiş veya süresi dolmuş. Hesap ayarları → API belirteçleri altında yeni bir tane oluşturun.
Holarch answered 403 plan-apiHesabın planı API ve MCP'yi içermiyor. Individual denemesini başlatın veya bir plan seçin; belirteç ardından yeniden çalışır.
Holarch answered 403 read-only-tokenBetik sonuç yazar. Bir Okuma ve yazma belirteci oluşturun.
Holarch answered 403 forbiddenProjedeki rolünüz görüntüleyici veya inceleyici. Bir sahip sizi düzenleyici yapabilir.
TC-14: not recorded (…)Holarch bu sonucu kaydedemedi, örneğin test senaryosu kilitli olduğu veya alt test senaryoları olduğu için. Neden hangisi olduğunu söyler; diğer sonuçlar kaydedilir.
TC-04: not recorded (… configuration control …)Test senaryosu konfigürasyon kontrolü altında. Sonucunu uygulamada bir değişiklik talebiyle kaydedin.
Holarch answered 429 rate-limitedDakikada çok fazla istek. Retry-After içindeki saniye kadar bekleyin, ardından betiği yeniden çalıştırın.
Bir test senaryosu eski durumunu koruyorAlt öğeleri olan bir test senaryosu alt öğelerinin toplanmış durumunu gösterir. Sonucu bir alt öğeye kaydedin.
Claude Code Holarch yazma araçlarını sunmuyorBağlantı salt okunur. /mcp çalıştırın, holarch bağlantısını Okuma ve değişiklik önerme ile yeniden kurun, ardından yeni bir konuşma başlatın.