Başvuru
Tarif: Claude aracılığıyla test sonuçları
Bir test sisteminden sonuçları Holarch test senaryolarına getirin: CI için bir REST betiğiyle ya da testleri çalıştıran, sonuçları inceleme için öneren ve RVTM'nin ne gösterdiğini bildiren Claude ile; kurulum, betik, çalışılmış bir örnek ve sorun giderme.
Bu sayfada
Genel bakış
Bu tarif, otomatik bir test sisteminden gelen sonuçları eşleşen Holarch test senaryolarına kaydeder, böylece RVTM hangi gereksinimlerin geçtiğini gösterir. İki bölümü vardır:
- CI'dan sonuçlar (REST API): bir betik çoğu test çalıştırıcısının yazdığı JUnit XML raporunu okur ve her sonucu eşleşen test senaryosuna kaydeder: Durum, Gerçek sonuç, Test eden, Test tarihi ve bir çalıştırma günlüğü girdisi.
- Claude aracılığıyla sonuçlar (MCP): Claude Code testleri çalıştırır, sonuçları test senaryolarıyla eşleştirir ve sonuçları Holarch'ta incelemeniz için önerir. Ardından RVTM'yi okur ve size hangi gereksinimlerin hâlâ başarısız olduğunu söyler.
Bir sonuç dosyasını elle içe aktarmak için bunun yerine Doğrulama → Test Merkezi → Sonuçları içe aktar… kullanın (Sonuçları başka bir test sisteminden içe aktarın). REST API ve MCP sonuçları aynı şekilde kaydeder: her test senaryosunda Test eden, Test tarihi ve bir çalıştırma günlüğü girdisi.
Ön koşullar
- API ve MCP içeren bir plan: Individual veya Team ya da Individual denemesi. Free planında doğrulanmış bir akademik e-posta adresine sahip veya etkin bir sınıf kuruluşundaki bir hesapta da bulunur (Planlar ve sınırlar).
- Numaralarını testlerin adlandırabildiği test senaryoları olan bir Holarch projesi, örneğin TC-14. Düzenleyici veya sahip rolüne ihtiyacınız vardır.
- Betik için: projeyle sınırlı bir Okuma ve yazma belirteci (Hesap ayarları → API belirteçleri → Yeni belirteç, Belirteç oluşturma) ve
requestspaketiyle (python3 -m pip install requests) Python 3.9 veya sonrası. - Claude bölümü için: testleri içeren depoda, Okuma ve değişiklik önerme erişimiyle Holarch'a bağlı Claude Code (Holarch'ı Claude'a bağlama).
pytest --junitxml=results.xmlveya çoğu CI test adımı gibi JUnit XML yazan bir test çalıştırıcısı.
Nasıl kullanılır
Ne zaman ve neden
Doğrulama, gereksinimden kanıta giden döngüyü kapatır. Testler otomatik çalıştığında sonuçlarını Holarch'a yazmak yavaştır ve hataya açıktır. Sonuçların inceleme olmadan girmesi gerektiğinde, örneğin gece çalışan regresyon çalıştırmalarında betiği kullanın. Sonuçlar kaydedilmeden önce bir kişinin onları görmesi gerektiğinde, örneğin bir yeterlilik çalıştırmasında Claude'u kullanın.
Her testte test senaryosunu adlandırma
Betik ve Claude bir testi, testin adındaki test senaryosu numarasıyla bir Holarch test senaryosuna eşleştirir.
- Numarayı testin adına koyun: pytest'te
test_TC_14_off_nadir_imaging, diğer çalıştırıcılardaTC-14 off-nadir imaging. - Her test için bir Holarch test senaryosu tutun. Alt test senaryoları olan bir test senaryosu durumunu alt öğelerinden alır; sonuçları alt öğelere kaydedin.
CI'dan sonuçları kaydetme
Betik eşleşen her test senaryosuna tek bir istekte Passed veya Failed kaydeder. Bir başarısızlık için hata iletisini de Gerçek sonuç olarak kaydeder. Atlanan testler değiştirilmez.
# junit_to_holarch.py: record JUnit XML results on Holarch test cases.
# Usage: python3 junit_to_holarch.py results.xml
import os
import re
import sys
import xml.etree.ElementTree as ET
import requests
HOLARCH = os.environ.get("HOLARCH_URL", "https://app.holarch.app") + "/api/v1"
PROJECT = os.environ["HOLARCH_PROJECT"]
HEADERS = {"Authorization": "Bearer " + os.environ["HOLARCH_TOKEN"]}
NUMBER = re.compile(r"TC[-_ ](\d+)") # TC-14 or test_TC_14_…; change it to match your numbering
def holarch(method, path, **kw):
r = requests.request(method, HOLARCH + path, headers=HEADERS, timeout=60, **kw)
if r.status_code >= 400:
d = r.json()
raise SystemExit(f"Holarch answered {r.status_code} {d.get('code')}: {d.get('error')}")
return r.json()
results = []
for test in ET.parse(sys.argv[1]).getroot().iter("testcase"):
m = NUMBER.search(test.get("name", ""))
if not m or test.find("skipped") is not None:
continue
failure = test.find("failure")
if failure is None:
failure = test.find("error")
result = {"testCase": "TC-" + m.group(1), "status": "Passed" if failure is None else "Failed"}
if failure is not None:
result["actualResult"] = (failure.get("message") or failure.text or "Failed").strip()[:4000]
results.append(result)
answer = holarch("POST", f"/projects/{PROJECT}/test-results",
json={"source": os.path.basename(sys.argv[1]), "testedBy": "CI", "results": results})
for r in answer["recorded"]:
print(f"{r['number']} {r['name']}: {r['status']}")
for r in answer["skipped"]:
if r["code"] == "not-found":
print(f"{r['testCase']}: no test case with this number in Holarch")
else:
print(f"{r['testCase']}: not recorded ({r['reason']})")
HOLARCH_TOKEN(belirteç) veHOLARCH_PROJECT(GET /api/v1/projectsiçinden proje kimliği) ortam değişkenlerini ayarlayın.- Testlerinizi bir JUnit raporuyla çalıştırın, örneğin
pytest --junitxml=results.xml. python3 junit_to_holarch.py results.xmlçalıştırın.Kaydedilen her sonuç için bir satır görürsünüz, örneğin
TC-14 Off-Nadir Imaging Test: Passed.- Holarch'ta Doğrulama → RVTM açın.
Bu test senaryolarının doğruladığı gereksinimler yeni durumu gösterir.
Nasıl çalışır:
POST /api/v1/projects/<project>/test-results, raporun tüm sonuçlarını Sonuçları içe aktar… gibi tek bir değişiklik olarak kaydeder: Durum, başarısızlıklar için Gerçek sonuç, Test eden (burada CI; belirtilmezse hesap adınız), Test tarihi (isteğin zamanı) vesourcedeğeri raporun dosya adı olan bir çalıştırma günlüğü girdisi (Test sonuçları).testCase, test senaryosunuTC-14gibi numarasıyla adlandırır; bir kimlik veya ad da çalışır. Durum burada Passed veya Failed alır; uç nokta ayrıca Blocked, In Progress ve Not Run ile pass ve fail gibi test araçlarının sözcüklerini de alır.- Kaydedilemeyen bir sonuç, örneğin Holarch'ta olmayan bir numara, nedeniyle birlikte
skippediçinde listelenir; diğerleri yine kaydedilir. - Değişiklik sizin adınızla kaydedilir ve projeyi açık tutan herkes tarafından hemen görülür.
Bir CI işinde betiği testlerden sonra bir adım olarak, belirteç gizli bilgi olarak çalıştırın. Örneğin GitHub Actions'ta:
- name: Record results in Holarch
if: always()
env:
HOLARCH_TOKEN: ${{ secrets.HOLARCH_TOKEN }}
HOLARCH_PROJECT: ${{ vars.HOLARCH_PROJECT }}
run: |
python3 -m pip install requests
python3 junit_to_holarch.py results.xml
if: always() sonuçları testler başarısız olduğunda da kaydeder; bu, en çok önem taşıdıkları zamandır.
Testleri çalıştırma ve sonuçları Claude ile önerme
- Testleri içeren depoda Claude Code'a örneğin şunu sorun: “İşaretleme testlerini bir JUnit raporuyla çalıştır. Ardından sonuçlarını Holarch CubeSat projesinde öner: eşleşen test senaryolarında Status'u ve başarısızlıklar için Actual Result'u ayarla.”
- Claude Code testleri çalıştırır. Holarch'ta sonuçları
record_test_resultsile bir öneriye ekler (her sonuç için Durum, Gerçek sonuç, Test eden ve Test tarihi ile bir değişiklik). Ardından öneriyipropose_changesile gönderir.Claude Code önerinin başlığı, önerdiği sonuçlar ve onu incelemek için bir bağlantıyla yanıt verir.
- Holarch'ta ✦ YZ ▾ → “<title>” incele… veya zil simgesinin altındaki bildirimi açın.
İletişim kutusu her test senaryosunu geçerli ve önerilen değerleriyle gösterir.
- Kabul etmediğiniz her sonucun işaretini kaldırın, ardından Seçilenleri uygula seçeneğine tıklayın.
Sonuçlar, geçmişte sizin adınızla, her biri Sonuçları içe aktar… ile olduğu gibi bir çalıştırma günlüğü girdisiyle kaydedilir ve tek bir Geri al ile hepsi geri alınır.
- Claude Code'a şunu sorun: “CubeSat projesinde hangi gereksinimler doğrulamada hâlâ başarısız?”
Claude Code RVTM'yi
get_matrixile okur (matrixrvtm,statusFailed) ve her gereksinimi başarısız test senaryolarıyla listeler.
Claude Code, CI'nızın zaten yazdığı bir rapordan da çalışabilir: testleri çalıştırmasını istemek yerine results.xml dosyasını ekleyin veya onu gösterin.
Uygulamalı örnek: CubeSat EO-1 demosu
- Demoyu Projeleri yönet → Proje dosyaları ▾ → Yeni demo proje ile oluşturun.
Doğrulama → Test Merkezi içinde TC-14 Off-Nadir Imaging Test Not Run, TC-04 Pointing Accuracy Test ise Failed durumundadır.
- İki testli bir JUnit raporu yazın:
test_TC_14_off_nadir_imaginggeçti vetest_TC_04_pointing_accuracy0.12 degrees on 2 of 20 targets iletisiyle başarısız oldu. python3 junit_to_holarch.py results.xmlçalıştırın.TC-14 Off-Nadir Imaging Test: PassedveTC-04 Pointing Accuracy Test: Failedgörürsünüz.- Doğrulama → RVTM'yi açın.
1.6.2 Off-Nadir Imaging artık Passed gösterir. 2.1 Pointing Accuracy hâlâ başarısızdır ve TC-04'ün Gerçek sonuç değerinde 0.12 degrees on 2 of 20 targets yazar.
- Claude ile aynı sonuçlar önce bir öneri olarak gelir. Seçilenleri uygula sonrasında RVTM aynısını gösterir.
İpuçları
- Sonuçları en alttaki test senaryolarına kaydedin. Üst öğeler alt öğelerinden toplanır.
- Betiğin belirtecini tek projeyle sınırlı tutun ve işlem hattı kullanımdan kaldırıldığında onu iptal edin.
- Holarch'ta olmayan bir numarayı adlandıran bir test “bu numaralı test senaryosu yok” olarak listelenir. Testin adını düzeltin veya test senaryosunu oluşturun.
- Bir kampanya bittiğinde Test Merkezi'nde bir test döngüsü kaydedin, böylece sonuçları sonraki çalıştırmadan ayrı tutulur (Bir test döngüsü kaydedin).
Sorun giderme
| İleti veya belirti | Neden ve çözüm |
|---|---|
Holarch answered 401 token-invalid | Belirteç yanlış, iptal edilmiş veya süresi dolmuş. Hesap ayarları → API belirteçleri altında yeni bir tane oluşturun. |
Holarch answered 403 plan-api | Hesabın planı API ve MCP'yi içermiyor. Individual denemesini başlatın veya bir plan seçin; belirteç ardından yeniden çalışır. |
Holarch answered 403 read-only-token | Betik sonuç yazar. Bir Okuma ve yazma belirteci oluşturun. |
Holarch answered 403 forbidden | Projedeki rolünüz görüntüleyici veya inceleyici. Bir sahip sizi düzenleyici yapabilir. |
TC-14: not recorded (…) | Holarch bu sonucu kaydedemedi, örneğin test senaryosu kilitli olduğu veya alt test senaryoları olduğu için. Neden hangisi olduğunu söyler; diğer sonuçlar kaydedilir. |
TC-04: not recorded (… configuration control …) | Test senaryosu konfigürasyon kontrolü altında. Sonucunu uygulamada bir değişiklik talebiyle kaydedin. |
Holarch answered 429 rate-limited | Dakikada çok fazla istek. Retry-After içindeki saniye kadar bekleyin, ardından betiği yeniden çalıştırın. |
| Bir test senaryosu eski durumunu koruyor | Alt öğeleri olan bir test senaryosu alt öğelerinin toplanmış durumunu gösterir. Sonucu bir alt öğeye kaydedin. |
| Claude Code Holarch yazma araçlarını sunmuyor | Bağlantı salt okunur. /mcp çalıştırın, holarch bağlantısını Okuma ve değişiklik önerme ile yeniden kurun, ardından yeni bir konuşma başlatın. |