Holarch

검증

검증

각 요구사항의 검증 방법을 계획하고, 테스트 케이스를 스위트로 구성하고, 단계 결과와 증거로 테스트를 실행하고, 테스트 주기를 저장하고, RVTM에서 커버리지를 보고합니다.

사용 방법 →

이 페이지의 내용
  1. 개요
  2. 개념
    1. 검증 계획 속성
    2. Verification Requirement(LML 2.0)
    3. 테스트 케이스와 테스트 스위트
    4. 요구사항 검증 상태
    5. 테스트 주기
  3. 사용 방법
    1. 사용 시기와 이유
    2. 요구사항마다 검증 계획 세우기
    3. 테스트 스위트와 테스트 케이스 만들기
    4. 단계별 절차 작성
    5. 테스트 케이스를 만드는 다른 방법
    6. 테스트 실행과 결과 기록
    7. 다른 테스트 시스템에서 결과 가져오기
    8. 테스트 주기 저장
    9. 커버리지 보고
    10. 실습 예제: CubeSat EO-1 데모
    11. 팁과 모범 사례
    12. 흔한 실수
    13. 다른 기능과의 연결
  4. 테스트 센터
    1. 페이지 머리글
    2. 상태 카드와 필터
    3. 스위트 카드
    4. 테스트 케이스 표
    5. 테스트 단계 대화 상자
    6. 스위트 실행 대화 상자
    7. 테스트 케이스(Word)
    8. 테스트 주기 대화 상자
    9. 검증 커버리지
    10. 증거 파일
    11. Issue 만들기
  5. RVTM
    1. 페이지 머리글
    2. 카드
    3. 표
  6. 단축키
  7. 메시지
  8. 제한 사항
  9. 관련 항목

개요

검증은 모든 요구사항에 대해 한 가지 질문에 답합니다: 어떤 증거가 요구사항 충족을 보여 주는가?

Holarch는 검증에 관한 모든 것을 요구사항과 같은 모델에 보관합니다.

  • 계획: 검증 방법, 수준, 성공 기준
  • 계획을 수행하는 테스트 케이스
  • 각 실행의 결과
  • 그 결과로 나오는 커버리지

모두 한 모델에 있으므로 커버리지 보고서는 항상 최신입니다.

탐색 레일의 검증 그룹에는 다음이 있습니다.

페이지목적
RVTM요구사항 검증 추적성 매트릭스: 모든 요구사항과 그 방법, 수준, 검증하는 테스트 케이스, 자체 결과, 집계된 결과.
테스트 센터테스트 스위트와 테스트 케이스, 단계별 절차, 증거가 있는 테스트 실행, 테스트 주기, 요구사항 검증 커버리지.
추적성 매트릭스임의의 관계를 격자로 표시합니다. 예: 요구사항 × 테스트 케이스. 추적성 매트릭스를 참조하십시오.
모델 검사검증되지 않은 말단 요구사항, Issue가 없는 실패 테스트를 포함한 모델 전체의 규칙 검사입니다. 모델 검사를 참조하십시오.

검증의 레일 배지는 실패한 테스트와 모델 검사 오류를 셉니다.

개념

검증 계획 속성

모든 Requirement에는 계획 속성이 세 개 있습니다.

속성값의미
검증 방법분석, 시연, 검사, 시험(어떤 조합이든 가능)요구사항을 검증하는 방법.
검증 수준Component, 하위 시스템, System검증이 이루어지는 조립 수준.
성공 기준텍스트요구사항 충족을 보여 주는 측정 가능한 결과.

요구사항의 레이블에는 대응하는 검증 방법 레이블(Analysis, Demonstration, Inspection, Test)이 포함됩니다. 속성이나 레이블을 설정하면 같은 변경의 일부로 다른 쪽이 갱신되며, 실행 취소 한 번으로 둘 다 되돌립니다. 따라서 레이블을 쓰는 가져온 프로젝트도 속성을 쓰는 프로젝트와 똑같이 동작합니다.

Verification Requirement(LML 2.0)

Verification Requirement는 요구사항이 충족된 것으로 간주되기 전에 무엇을 어떻게 보여야 하는지 말하는 Statement입니다. 검증 계획을 요구사항이 아닌 별도 항목에 두는 LML 2.0 방식입니다. 다음이 있습니다.

속성의미
검증 방법분석, 시연, 검사, 시험(어떤 조합이든 가능. 스키마에서 방법을 더 추가할 수 있습니다).
Acceptance Criteria검증이 도달해야 하는 결과.
증거수집하여 넘길 기록의 종류. 예: 테스트 보고서, 검사 기록.
근거이 방법, 기준, 증거를 선택한 이유.

verifies로 그것이 다루는 요구사항(또는 Asset)에, traced to로 그것을 수행하는 테스트 케이스에 연결합니다. 그러면 RVTM은 그 테스트 케이스를 요구사항을 검증하는 것으로 세고, 요구사항에 자체 방법과 승인 기준이 없으면 Verification Requirement에서 가져오며, Verified By 아래에 Verification Requirement를 나열합니다.

두 형식은 나란히 동작합니다. 요구사항을 직접 검증하는 테스트 케이스(LML 1.x 형식)는 이전과 똑같이 계산되며, 요구사항의 Verification Requirement 레이블도 계속 사용할 수 있습니다.

테스트 케이스는 evaluates로 시험 대상 Asset을 지정할 수도 있습니다(Asset에서 보면 evaluated by).

이 추가 이전에 만든 프로젝트는 스키마를 유지합니다. Schema → Add New Built-ins…로 Verification Requirement 클래스와 evaluates 관계를 추가합니다.

테스트 케이스와 테스트 스위트

Test Case는 verifies 관계(요구사항에서 보면 verified by)로 요구사항을 검증합니다. 테스트 케이스에는 다음이 있습니다.

  • 설명: 절차.
  • Set Up, 예상 결과, 실제 결과.
  • Event Conditions(환경, 모드, 모의 부하 등 테스트가 실행되는 조건)와 Event Constraints(독립 입회인, 보류 지점, 표본 추출 규칙 등 테스트 이벤트에 대한 제약). 채워져 있으면 실행 대화 상자에 표시되며, 스위트 CSV 내보내기에 각각의 열이 있습니다.
  • evaluates: 시험 대상 Asset.
  • 상태: 실행 안 됨, In Progress, 차단됨, 실패 또는 통과.
  • 단계: 선택 사항인 번호 매긴 절차. 각 단계에 Action, Expected Result, Actual Result, Pass/Fail이 있습니다.
  • 기록된 각 실행이 쓰는 실행 증거: 테스트 수행자, 테스트 날짜, Configuration(시험 대상 빌드 또는 버전), Test Article(유닛 또는 일련번호), Test Evidence(파일).
  • 실행 로그: 날짜, 상태, 테스터, 구성, 시험 품목, 실제 결과, 증거 파일 이름, 단계 결과가 있는 모든 기록된 실행.

테스트 케이스는 자식 테스트 케이스로 분해할 수 있습니다. 상위 항목의 상태는 말단에서 집계됩니다. 처음 일치하는 규칙이 적용됩니다.

  1. 말단 중 하나라도 실패했으면 실패.
  2. 말단 중 하나라도 차단되었으면 차단됨.
  3. 모든 말단이 통과했으면 통과.
  4. 실행된 말단이 없으면 실행 안 됨.
  5. 그 밖에는 In Progress.

테스트 스위트는 Test Suite 레이블이 붙은 Artifact입니다. source of(가져온 데이터에서는 referenced by)로 테스트 케이스를 담습니다. 어느 스위트에도 없는 테스트 케이스는 스위트가 없는 테스트 케이스 아래에 나타납니다.

요구사항 검증 상태

각 요구사항은 검증하는 테스트 케이스(직접 검증하는 것과 Verification Requirement에서 추적되는 것)로부터 자체 상태를 받습니다.

자체 상태규칙
불합격검증하는 테스트 케이스가 실패했습니다.
합격검증하는 테스트 케이스가 통과함(실패한 것은 없음).
실행 안 됨검증하는 테스트 케이스가 있지만 통과하거나 실패한 것이 없음.
계획만테스트 케이스는 없지만 검증 방법이 설정됨(요구사항 또는 그 Verification Requirement 중 하나에).
미검증테스트 케이스도 Verification Method도 없습니다.

집계된 상태는 분해(decomposed by)를 따릅니다. 상위 요구사항의 경우:

  • 자체 통과 테스트가 있거나 모든 자식 요구사항이 통과이면 통과입니다.
  • 그 아래 어딘가에 실패가 있으면 실패입니다.
  • 그 밖에는 자체 상태와 가장 덜 다뤄진 자식의 상태 중 더 진행된 쪽을 취합니다. 순서는 Unverified → Planned-only → Not Run입니다.

Verified는 항상 통과를 뜻합니다.

테스트 주기

테스트 주기는 스위트 결과의 저장된 스냅샷입니다. 모든 말단 테스트 케이스의 상태와 실제 결과를 담습니다. 각 캠페인이 끝날 때 저장하고, 다음 캠페인을 위해 스위트를 실행 안 됨으로 재설정합니다. 주기끼리 또는 현재 결과와 비교할 수 있으며, 주기로 되돌릴 수 있습니다.

사용 방법

사용 시기와 이유

설계가 완성된 뒤가 아니라 요구사항을 작성하면서 검증을 계획합니다. 요구사항의 방법과 성공 기준을 말할 수 없다면, 그 요구사항은 대개 작성된 그대로는 검증할 수 없습니다.

일반적인 흐름:

  1. 요구사항 분석: 각 요구사항에 검증 방법, 수준, 성공 기준을 설정합니다.
  2. 설계: 테스트 케이스를 작성하고 그것이 검증하는 요구사항에 연결합니다. 분석, 시연, 검사 기록도 테스트 케이스입니다.
  3. 통합 및 시험: 테스트 케이스를 실행하고 결과와 증거를 기록합니다. 실패에 대해 Issue를 제기합니다. 캠페인마다 테스트 주기를 저장합니다.
  4. 검토와 인수: RVTM으로 커버리지를 보고합니다.

요구사항마다 검증 계획 세우기

각 요구사항에 방법, 수준, 성공 기준을 지정합니다. 테스트 센터의 커버리지 카드에서 합니다.

  1. 검증 → 테스트 센터를 엽니다.
  2. 검증 커버리지까지 스크롤합니다.

아직 검증되지 않은 모든 요구사항이 표시됩니다.

  1. 행에서 방법 버튼을 클릭하여 방법을 켜고 끕니다: A(분석), D(시연), I(검사), T(시험).

요구사항이 미검증에서 계획만으로 바뀝니다.

  1. 수준…에서 수준을 선택합니다: Component, Subsystem 또는 System.
  2. + 기준을 클릭합니다.
  3. 측정 가능한 결과를 입력하고 저장을 클릭합니다.

이제 버튼에 기준 ✓가 표시됩니다.

이 속성은 모든 요구사항의 속성 패널에서도 편집할 수 있습니다.

테스트 스위트와 테스트 케이스 만들기

  1. 페이지 머리글에서 + New ▾ → 테스트 스위트…를 클릭합니다.
  2. Number(예: TS-3), 이름, 설명을 입력합니다.
  3. 만들기를 클릭합니다.

새 스위트 카드가 표시됩니다.

  1. 스위트 카드에서 + 테스트 케이스를 클릭합니다.
  2. 항목 만들기에서 테스트 케이스의 이름을 지정합니다.

테스트 케이스가 실행 안 됨 상태로 스위트에 추가됩니다.

  1. 테스트 케이스 행에서 Verifies 열의 +를 클릭합니다.
  2. 테스트 케이스가 검증하는 요구사항을 고릅니다.
  3. 행에 예상 결과를 입력합니다.
  4. 속성 패널이나 항목 보기에서 테스트 케이스의 설명에 절차를 씁니다.

단계별 절차 작성

단계는 선택 사항입니다. 단계가 없는 테스트 케이스는 전체가 한 번에 실행됩니다.

  1. 테스트 케이스 행에서 + 단계를 클릭합니다.
  2. 단계마다 + 단계 추가를 클릭합니다.
  3. 각 단계의 Action과 예상 결과를 채웁니다.
  4. ↑로 순서를 바꾸고, ×로 단계를 제거합니다.
  5. 적용을 클릭합니다.

이제 버튼에 Steps (N)이 표시됩니다.

테스트 케이스를 만드는 다른 방법

  • 커버리지 카드에서: 검증 커버리지의 요구사항 행에서 + 테스트 케이스를 클릭합니다. 요구사항에 이미 연결된 Verify <requirement name>이 스위트가 없는 테스트 케이스 아래에 만들어집니다.
  • AI 사용: 문서나 항목 보기에서 요구사항을 선택합니다. ✦ AI ▾ → 테스트 케이스 생성…을 선택합니다. AI가 이름, 순서가 있는 단계, 준비 사항, 예상 결과, 방법의 초안을 작성합니다. 테스트 케이스 검토 — <requirement>에서 초안을 검토한 다음 테스트 케이스 만들기를 클릭합니다. AI를 참조하십시오.

테스트 실행과 결과 기록

실행 모드는 테스트를 하나씩 안내하며 각 결과를 증거와 함께 기록합니다.

  1. 선택 사항: 일부 테스트만 실행하려면 Not Run (12) 같은 상태 필터를 클릭합니다. 그 상태인 말단 테스트 케이스만 실행됩니다.
  2. 페이지 머리글에서 스위트 실행을 클릭합니다.

스위트 실행 대화 상자가 실행 안 됨인 첫 테스트에서 열립니다.

  1. 세션 필드를 한 번 채웁니다: 테스터(기본값은 내 이름), 구성 / 빌드, Test Article. 모든 구성으로 보는 제품 라인에서는 먼저 결과 기록 대상을 선택합니다: 테스트를 실행한 구성 또는 No configuration. 선택할 때까지 ✔ 통과, ✘ 실패, 차단됨은 대기합니다(제품 라인).
  2. 테스트의 절차, Set Up, 단계, 예상 결과를 읽습니다.
  3. 테스트를 수행합니다. 단계마다 실제 값을 채우고 통과/실패를 선택합니다.
  4. 실제 결과를 기술합니다.
  5. 날짜 및 시간을 확인합니다.
  6. 증거 첨부…를 클릭하여 로그, 데이터 파일 또는 사진을 추가합니다.
  7. ✔ 통과, ✘ 실패 또는 차단됨을 클릭합니다.

대화 상자가 다음 테스트로 넘어갑니다. 기록하지 않고 넘어가려면 건너뛰기를 클릭합니다. 돌아가려면 ‹ 이전을 클릭합니다.

  1. ✘ 실패 후에는 + Issue 만들기를 클릭한 다음 다음 ›을 클릭합니다.

대화 상자에 기록했습니다. 실패를 추적하려면 Issue를 만드십시오. 이 테스트 케이스와 그것이 검증하는 요구사항에 연결됩니다.가 표시됩니다.

  1. 테스트마다 4–10단계를 반복합니다.

끝나면 실행 완료에 개수가 담긴 상태 막대가 표시됩니다. 처음부터 검토는 첫 테스트로 돌아갑니다.

기록된 각 결과는 실행 취소 한 번으로 되돌릴 수 있습니다. 다음을 모두 수행합니다.

  • 테스트 케이스의 Status, Actual Result, Tested By, Test Date, Configuration, Test Article, Test Evidence 갱신
  • 단계 결과 저장
  • 테스트의 실행 로그에 항목 추가

실행 모드 없이 결과를 기록하려면 테스트 케이스 행의 상태(예: Not Run)를 클릭하여 새 상태를 고른 다음, 실제 결과 텍스트를 클릭하고 결과를 입력합니다. 포커스가 있는 값에서 Enter나 F2를 눌러도 열리며, Escape는 바꾸지 않고 둡니다.

테스트를 다시 실행하려면 그 행의 ↻ 다시 실행(테스트에 결과가 있으면 표시)을 클릭합니다. 실행 대화 상자가 그 테스트만으로 열리며, 실행 안 됨으로 되돌리지 않습니다. 새 결과는 이전 실행 옆의 실행 로그에 추가됩니다.

다른 테스트 시스템에서 결과 가져오기

자동 테스트 장비나 CI 파이프라인처럼 테스트가 다른 곳에서 실행되면 결과를 입력하지 말고 가져옵니다. Holarch는 JUnit XML 보고서(대부분의 테스트 러너와 CI 시스템이 작성), CSV 파일, Excel 통합 문서(.xlsx)를 읽습니다.

  1. 페이지 머리글에서 결과 가져오기…를 클릭합니다.
  2. 파일 선택…을 클릭하고 결과 파일을 고릅니다.
  3. 대응시킬 테스트 케이스를 선택합니다: 테스트 케이스를 찾을 위치(전체 또는 스위트 하나)와 대응 기준(Number, then name, Number, 이름 또는 전역 ID).
  4. CSV나 Excel 파일이면 Holarch가 머리글에서 추측한 열을 확인합니다. 테스트 케이스 열과 상태 열은 필수이고, 실제 결과, 날짜, 테스터, Configuration, Test Article 열은 선택 사항입니다.
  5. 선택 사항: 파일에 없는 값으로 테스트 수행자, 테스트 날짜, 구성 / 빌드, Test Article을 채웁니다.
  6. 미리 보기를 확인합니다: 대응된 각 테스트 케이스와 그 상태 변경, 그리고 어떤 테스트 케이스와도 대응되지 않거나, 여러 테스트 케이스와 대응되거나, 건너뛴 행.
  7. Record N Results를 클릭합니다.

모든 결과가 기록되며, 실행 취소 한 번으로 모두 되돌립니다. 각 결과는 테스트 케이스의 Status, Tested By, Test Date, Configuration, Test Article을 갱신하고, 파일 이름이 담긴 항목을 실행 로그에 추가합니다. 새로 만들어지는 것은 없습니다.

  • 상태 단어: pass, passed, ok, success는 통과로 기록하고, fail, failed, failure, error는 실패로 기록하며, blocked, in progress, not run은 해당 상태로 기록합니다. 건너뛴 테스트(JUnit <skipped> 또는 상태 열의 skipped)는 그대로 둡니다.
  • 실제 결과: JUnit 실패 메시지 또는 Actual Result 열이 실제 결과가 됩니다. 없으면 실제 결과는 그대로입니다.
  • 반복된 테스트 케이스: 파일에 테스트 케이스가 두 번 나오면 뒤의 행이 적용되고, 앞의 행은 건너뛴 것으로 나열됩니다.
  • 상위 테스트 케이스: 자식 테스트 케이스가 있는 테스트 케이스는 기록되지 않으며, 상태는 자식에서 집계됩니다.

Holarch를 열지 않고 CI 파이프라인에서 결과를 기록하려면 REST API(POST …/test-results)로 보내거나, AI 클라이언트가 MCP 도구 record_test_results로 제안하게 합니다. 둘 다 실행 로그 항목을 포함하여 결과 가져오기…와 같은 방식으로 결과를 기록합니다(테스트 결과).

테스트 주기 저장

테스트 캠페인이 끝나면 주기를 저장합니다.

  1. 스위트 카드에서 새 주기 시작…(또는 ⋯ → 새 주기 시작…)을 클릭합니다.
  2. 새 테스트 주기 시작에서 주기 이름을 지정합니다(기본값 테스트 주기 N).
  3. 구성 / 빌드와 Test Article을 확인합니다. 둘 다 실행에서 가장 자주 기록된 값으로 시작하며, 주기의 테스트 보고서에 인쇄됩니다.
  4. 다음 중 하나를 클릭합니다.
    • 기록 후 새로 시작: 결과를 저장한 다음 스위트의 모든 Status를 실행 안 됨으로 설정하고 실제 결과를 지웁니다.
    • 기록만: 결과를 저장하고 테스트 케이스에 그대로 둡니다.

주기에는 각 테스트 케이스의 상태, 실제 결과, 테스터, 테스트 날짜, 구성, 시험 품목, 증거 파일 이름, 단계 결과가 보관됩니다.

나중에 주기를 보거나, 비교하거나, 되돌리거나, 삭제하려면 스위트 카드에서 ⋯ → Test Cycles… (N)을 클릭합니다. 제출물이 필요하면 ⋯ → Test Report…를 클릭합니다. 주기의 테스트 보고서를 Word, Excel, CSV 또는 웹 페이지로 씁니다(문서 생성 참조).

커버리지 보고

  1. 검증 → RVTM을 엽니다.

첫 카드에는 진행 막대와 함께 검증됨 / 전체가 표시됩니다. 다른 카드는 실패, 실행 안 됨, 계획만, 미검증을 셉니다.

넓은 표를 옆으로 스크롤하는 동안 번호 열과 요구사항 열은 화면에 고정됩니다. 상태 칩이 맞추기 위해 줄여져 있으면(일부 언어), 포인터를 올려 전체 텍스트를 봅니다.

  1. 선택 사항: 카드를 클릭하면 그 요구사항만 나열됩니다.
  2. 내보내기 ▾를 클릭합니다.
  3. Excel(.xlsx), CSV 또는 Word(.docx)를 선택합니다.

실습 예제: CubeSat EO-1 데모

프로젝트 관리 → 프로젝트 파일 ▾ → 새 데모 프로젝트로 데모를 만든 다음:

  1. 검증 → RVTM을 엽니다.

첫 카드에는 11 / 32 검증됨(합격)이 표시됩니다. 다른 카드에는 실패 3, 실행 안 됨 12, 계획만 3, 미검증 3이 표시됩니다.

  1. 1.6 Revisit Time을 찾습니다.

자체는 Planned-only입니다. 방법은 Analysis이지만 자체 테스트가 없습니다. 상태는 Not Run입니다. 상태는 자식에서 집계됩니다.

  • 1.6.1 Ground Track Repeat는 TC-13으로 통과입니다.
  • 1.6.2 Off-Nadir Imaging은 TC-14로 검증되며, TC-14는 실행 안 됨입니다.

가장 덜 다뤄진 자식이 실행 안 됨이며, 이는 계획만보다 더 진행된 상태입니다.

  1. 실패 카드를 클릭합니다.

2.1 Pointing Accuracy와 2.2 Pointing Stability는 TC-04 Pointing Accuracy Test로 인해 실패합니다. 4.3은 TC-09 Safe Mode Entry Test로 인해 실패합니다.

  1. 검증 → 테스트 센터를 엽니다.

카드에는 스위트 3개에 테스트 케이스 22개가 표시됩니다. TS-1 Spacecraft Qualification Tests에서 TC-04 행에 J. Alvarez · 2026-10-02 10:15 · 📎 tc04-pointing-errors.csv와 Issue: Test failure: Pointing Accuracy Test가 표시됩니다.

  1. TC-04 행에서 Steps (3)을 클릭합니다.

3단계가 0.14 degrees on targets 7, 12 and 18.로 실패했습니다.

  1. TS-1에서 ⋯ → Test Cycles… (2)를 클릭합니다.
  2. Flatsat Cycle 1 → Flatsat Cycle 2를 비교합니다.

TC-03과 TC-06이 실행 안 됨에서 통과로 바뀌었습니다. 바뀐 행은 강조 표시됩니다.

이제 워치독 수정 후 TC-09를 다시 실행합니다.

  1. Failed (2) 필터를 클릭한 다음 스위트 실행을 클릭합니다.

실행이 TC-04에서 열립니다.

  1. 건너뛰기를 클릭하여 TC-09로 갑니다.
  2. 구성 / 빌드에 Flight software 2.3.2를 입력합니다.
  3. 실제 결과에 Safe mode in 8 seconds를 입력합니다.
  4. ✔ 통과를 클릭합니다.
  5. RVTM을 다시 엽니다.

4.3은 이제 통과이고, 첫 카드에는 12 / 32가 표시됩니다.

마지막으로 미검증 요구사항의 검증을 계획합니다.

  1. 검증 커버리지에서 2.5 Safe Mode Recovery(미검증)를 찾습니다.
  2. T를 클릭하고, 수준…에서 System을 선택하고, 기준을 추가합니다.
  3. + 테스트 케이스를 클릭하여 테스트를 시작합니다.

팁과 모범 사례

  • 성공 기준은 조건이 붙은 측정 가능한 숫자로 씁니다. 예: Range ≥ 25 km in 3 of 3 flights at 20 °C. 요구사항을 다시 쓰지 않습니다.
  • 말단 요구사항을 검증하고 상위 요구사항은 집계되게 합니다. 모델 검사 Requirement.10은 검증하는 테스트 케이스가 없는 말단 요구사항을 표시합니다. 상위 요구사항은 자식을 통해 다뤄집니다.
  • Analysis, Inspection, Demonstration이라도 검증 이벤트마다 테스트 케이스를 하나씩 사용합니다. 그러면 RVTM이 모든 방법에 대한 증거를 보여 줍니다.
  • 실행할 때마다 구성을 기록합니다. 주기 사이에 결과가 바뀌면 실행 로그가 어느 빌드 때문인지 보여 줍니다.
  • 실패마다 Issue를 제기합니다. 모델 검사 TestCase.1은 연결된 Issue가 없는 실패 테스트 케이스를 표시합니다.

흔한 실수

  • 상위 테스트 케이스를 통과로 설정하려고 함. 상위 항목은 자식에서 집계된 상태를 표시하며 설정할 수 없습니다. 말단에 결과를 기록합니다.
  • 요구사항을 verifies 대신 traced to로 테스트에 연결함. 요구사항이 계획만 또는 미검증으로 남습니다. 테스트 케이스 행의 +를 사용하면 verifies가 만들어집니다.
  • 아무것도 검증하지 않는 테스트 케이스. 테스트 센터에서는 계산되지만 RVTM에서는 절대 계산되지 않습니다.

다른 기능과의 연결

  • 값을 공급하는 것:
  • 출력:
    • RVTM과 그 내보내기
    • 실패에 대한 Issue. Kanban 보드에서 작업으로 계획할 수 있습니다(프로젝트 관리)
    • 모델 검사(Requirement.10, TestCase.1)
    • 홈 상태 카드와 검증 배지
    • 베이스라인과 검토 패키지
  • 추적성 매트릭스: 커버리지 카드의 매트릭스에서 열기는 verified by로 요구사항 × 테스트 케이스를 엽니다. 스위트의 ⋯ → Open in ▸ 추적성 매트릭스는 그 계층을 엽니다.

테스트 센터

주소: test-center. test-center?root=<id>는 테스트 케이스나 스위트를 펼치고, 그곳으로 스크롤하고, 선택합니다(테스트 케이스의 Open in ▾ → 테스트 센터가 사용).

컨트롤Action
내보내기 ▾RVTM (CSV), RVTM (Excel), RVTM (Word).
+ New ▾테스트 스위트…, 테스트 케이스…(할당되지 않은 테스트 케이스).
결과 가져오기…미리 보기 후 JUnit XML, CSV 또는 Excel 파일의 결과를 대응하는 테스트 케이스에 기록합니다. 다른 테스트 시스템에서 결과 가져오기를 참조하십시오.
스위트 실행모든 말단 테스트 케이스(또는 상태 필터와 일치하는 것만)에 대해 실행 모드를 엽니다. 테스트 케이스가 없으면 비활성화됩니다.

상태 카드와 필터

  • 테스트 케이스: 말단 테스트 케이스 수와 스위트 수.
  • Executed: 실행 안 됨이 아닌 말단의 백분율과 개수.
  • 통과: 통과한 말단의 백분율과 개수.
  • 실패: 실패한 말단 수와 차단된 수.

카드 아래:

  • 상태 막대.
  • 각각 개수가 표시된 필터 All (N), 실행 안 됨, In Progress, 차단됨, 실패, 통과. 필터를 다시 클릭하면 지워집니다.
  • 오른쪽에는 스위트 정렬: 번호순, 이름순 또는 수정 날짜순.
  • 테스트 케이스 검색: 번호, 이름 또는 설명과 일치시킵니다. 이름이 일치하는 스위트는 모든 테스트 케이스를 표시합니다.

스위트 카드

머리글에는 ▾/▸(접기), 스위트 링크, 테스트 스위트 칩, 집계된 상태, 테스트 수, 주기 수, 작은 상태 막대와 다음이 표시됩니다.

  • + 테스트 케이스 — 이 스위트에 테스트 케이스를 만듭니다.
  • 새 주기 시작… — 결과를 주기로 기록하고 스위트를 재설정합니다(위 참조).
  • ⋯(스위트 옵션). 항목은 테스트 작업 흐름을 따릅니다: 실행과 기록, 보고, 열기, 그다음 복제와 삭제.
아이템Action
Run Cycle…이 스위트의 테스트 케이스에 대해서만 실행 모드를 열며, 실행 안 됨인 첫 테스트에서 시작합니다. 스위트에 테스트 케이스가 없으면 꺼져 있습니다.
새 주기 시작…카드의 버튼과 같습니다. 결과를 주기로 기록한 다음 스위트를 재설정합니다.
Test Cycles… (N)테스트 주기 목록을 엽니다.
Test Report…최신 주기에 대해 Test Report를 엽니다. 주기(또는 현재 결과)와 형식(기본값 Word)을 선택한 다음 내보내기를 클릭합니다.
Test Cases (Word)…스위트의 테스트 케이스로 Word 문서를 씁니다.
CSV 내보내기<suite>.csv: Number, Name(깊이에 따라 들여쓰기), Description, Set Up, Expected Result, Actual Result, Status, Status Roll-Up, Verifies.
Export JSON<suite>.json: 스위트, 그 테스트 주기, 검증된 요구사항이 포함된 테스트 케이스 트리.
Open as Document스위트를 문서로 엽니다.
다음에서 열기 ▸Item View(스위트의 항목 보기) 또는 추적성 매트릭스(스위트를 루트로 한 매트릭스).
복제스위트와 그 테스트 케이스를 verifies 연결과 함께 복사하며(<suite> (Copy)), 상태는 실행 안 됨으로 재설정되고 실제 결과는 지워집니다. 알림: <name>(으)로 복제했습니다.
삭제…Delete Test Suite: 스위트를 삭제합니다. 테스트 케이스도 삭제하려면 Also delete its N test case(s)를 선택합니다.

테스트 케이스 표

열내용
번호테스트 케이스 번호.
테스트 케이스와 절차이름(항목 보기로 연결)과 설명. 자식 테스트 케이스는 ▾/▸.
예상 결과텍스트(최대 세 줄. 클릭하면 상자에서 편집)와 + 단계 / Steps (N). 상위 항목은 —를 표시합니다.
실제 결과텍스트(클릭하여 편집). 그 아래에 마지막 실행의 테스터와 날짜가 있으며, 포인터를 올리면 구성과 시험 품목이 표시되고, 증거 파일에 대한 📎 링크가 있습니다. 실패한 테스트에는 Issue: <issue> 또는 + Issue 만들기가 표시됩니다.
상태상태 표시(Not Run, In Progress, Blocked, Failed, Passed). 클릭하여 다른 상태를 고릅니다. 테스트에 결과가 있으면 옆에 ↻ 다시 실행이 있습니다. 상위 항목은 집계된 상태를 표시합니다.
Verifies검증된 요구사항. 각각에 ×(verifies 제거, 요구사항에 포인터를 올리면 표시)가 있고, +(이 테스트가 검증하는 요구사항 연결)가 있습니다.

행의 필드 밖을 클릭하면 속성 패널에 테스트 케이스가 표시됩니다. 빈 스위트: 이 스위트에 테스트 케이스가 없습니다. + 테스트 케이스로 추가하십시오. 일치 항목 없음: 필터와 일치하는 테스트 케이스가 없습니다. 모두 보려면 필터를 지우십시오.

테스트 단계 대화 상자

제목: 테스트 단계 — <test case>. 표의 열:

  • #
  • Action(자리 표시자 수행할 작업)
  • 예상 결과(예상 결과)
  • 실제 결과(관측값)
  • 통과/실패(—, Pass, Fail)
  • ↑(Move up)와 ×(Remove step)

표 아래: + 단계 추가, 취소, 적용. 빈 단계는 적용할 때 버려집니다. 단계가 없으면 대화 상자에 아직 단계가 없습니다. 단계가 없는 테스트 케이스는 전체를 한 번에 실행합니다.가 표시됩니다.

스위트 실행 대화 상자

구성 요소내용
세션테스터(이름), 구성 / 빌드(빌드, 버전 또는 구성), Test Article(유닛 또는 일련번호), 단계(Development, Qualification, Acceptance, Integration, Operational), 이벤트(예: 열진공 1). 첫 테스트의 마지막 실행에서 미리 채워지며, 단계와 이벤트는 기록하는 각 테스트에 저장됩니다.
진행Test N of M, 스위트 이름, 진행 막대.
Heading테스트 케이스, 현재 상태, run N times, last <date>.
본문절차, Set Up, 단계(Action, Expected, Actual, Pass/Fail), 예상 결과, 실제 결과, 날짜 및 시간, 증거(증거 첨부…와 파일 이름, 또는 현재: <file> / 파일 없음). 여러 파일을 고를 수 있으며, 첫 파일이 테스트의 증거가 되고 나머지는 증거 목록에 추가됩니다.
버튼‹ 이전, 건너뛰기, 차단됨, ✘ 실패, ✔ 통과, 아래쪽에 닫기.

테스트 케이스(Word)

  • 파일 이름: 기본값 <suite> Test Cases.
  • 속성 선택: Number, 설명, Set Up, 예상 결과, 실제 결과, 상태, 상태 집계, Verifies와 그 밖의 모든 Test Case 속성(Tested By, Test Date, Configuration, Test Article, Test Evidence, 사용자 정의 속성). Number, Description, Expected Result, Actual Result, Status가 기본으로 선택되어 있습니다.
  • 다운로드: 제목 섹션(테스트 케이스 수와 생성 날짜)과 테스트 케이스마다 섹션 하나를 씁니다.

테스트 주기 대화 상자

제목: Test Cycles — <suite>.

  • 주기 표: Test Cycle, 저장됨, 결과(작은 상태 막대와 N/M passed), 각 행에 View, 보고서…(주기의 테스트 보고서), 되돌리기, 삭제.
  • 되돌리기는 "<name>"에 저장된 상태와 실제 결과를 테스트 케이스에 다시 기록하시겠습니까?라고 묻습니다.
  • 비교: 선택기 두 개(아무 주기 또는 현재 결과)와 Test Case, 이전, 이후의 표. 바뀐 행은 강조 표시됩니다.
  • 아래쪽: 새 주기 시작…과 닫기.

주기가 없으면 대화 상자에 아직 테스트 주기가 없습니다. “새 주기 시작…”은 현재 결과를 기록하고 스위트를 초기화합니다.가 표시됩니다.

검증 커버리지

페이지의 마지막 카드입니다. 검증을 계획하고 아직 테스트가 필요한 요구사항을 찾는 데 사용합니다.

  • 머리글: 매트릭스에서 열기와 함께 요구사항 M개 중 N개가 통과한 테스트로 검증됨 (P%).
  • 상태 막대와 필터: Not verified (N)(기본값), All (N), 상태마다 필터 하나.
  • 메모: 검증됨 = 검증하는 테스트 케이스가 Passed입니다. 상위 요구사항은 자체 통과 테스트가 있거나 모든 하위 요구사항이 검증되면 검증됩니다. 방법 버튼: Analysis, Demonstration, Inspection, Test.

각 행에는 왼쪽에서 오른쪽으로 다음이 표시됩니다.

  • 상태 표시(자체 상태가 다르면 포인터를 올려 확인)
  • 요구사항 링크와 테스트 수
  • 방법 버튼 A D I T
  • 수준…
  • + 기준, 기준이 설정되면 기준 ✓
  • + 테스트 케이스

최대 300행이 표시되고, 그 이상은 …and N more로 표시됩니다. 모두 검증되면 카드에 모든 요구사항이 통과한 테스트로 검증되었습니다.가 표시됩니다.

증거 파일

테스트 케이스 아래의 Evidence (n)은 증거 목록을 엽니다. 실행에서 나온 모든 로그, 사진, 데이터 시트를 테스트와 함께 보관합니다.

  • 파일 추가…는 하나 이상의 파일을 첨부하며, 실행 취소 한 번으로 모두 되돌립니다.
  • 각 파일은 테스트 케이스가 references하는, 파일을 담은 Verification Evidence 레이블의 Artifact입니다.
  • 다운로드는 파일을 저장하고, 제거는 그 Artifact를 삭제합니다.

설정되어 있으면 테스트 케이스의 상태 아래에 Verification Stage와 Verification Event가 표시됩니다.

Issue 만들기

실패한 테스트의 행과 실행 모드에 + Issue 만들기가 나타납니다. 다음과 같은 Issue를 만듭니다.

  • 이름은 테스트 실패: <test case>, 상태는 Open
  • 설명에 예상 결과와 실제 결과가 담김
  • 테스트 케이스(causes 또는 related to)와 테스트가 검증하는 각 요구사항에 연결됨

알림에는 Issue <name>을(를) 만들었습니다가 표시됩니다.

공식 프로그램이 켜져 있으면 실패한 테스트에 대신 처리…가 표시됩니다. 부적합과, 필요하면 면제를 기록합니다. 공식 프로그램을 참조하십시오.

RVTM

주소: rvtm, rvtm?status=<status>와 ?q=<text> 사용.

페이지 머리글

컨트롤Action
내보내기 ▾Excel(.xlsx)(RVTM.xlsx), CSV(RVTM.csv) 또는 Word(.docx)(Requirements Verification Traceability Matrix, 요구사항마다 그 문장이 담긴 섹션 하나).
테스트 센터테스트 센터를 엽니다.

세 가지 내보내기 모두 Requirement Number, Requirement, Verification Method, Verification Level, Success Criteria, Verified By(각 테스트 케이스와 그 집계된 상태), Own Status, Status(집계), Verification Stage, Verification Event를 담습니다. 공식 프로그램이 켜져 있으면 Deviations and Waivers와 Closure가 추가됩니다.

카드

검증됨(합격)은 진행 막대와 함께 검증됨 / 전체를 표시합니다. 실패, 실행 안 됨, 계획만, 미검증은 개수를 표시합니다.

RVTM에는 프로젝트 자체의 요구사항이 나열됩니다. Customer Specification 레이블이 붙은 문서의 요구사항은 행과 합계에서 제외되며, 준수 매트릭스가 이를 그에 답하는 내 요구사항의 검증과 함께 평가합니다.

카드를 클릭하면 표가 필터링됩니다(이 항목만 표시 중입니다. 모두 표시하려면 클릭하십시오.). Status: <status> × 칩을 클릭하면 필터가 지워집니다.

표

열내용
#요구사항 번호.
요구사항이름. 항목 보기로 연결됩니다. 이름 뒤의 ⚠는 요구사항의 연결 중 하나가 검토가 필요함을 뜻합니다. 요구사항이 바뀌었거나 그 상류 항목이 바뀌었습니다.
방법검증 방법 또는 —.
수준Verification Level 또는 —.
검증검증하는 테스트 케이스 또는 No test. 테스트 케이스 뒤의 ⚠는 그 검증 연결이 검토가 필요함을 뜻하며, 도구 설명에 무엇이 언제 바뀌었는지 표시됩니다.
단계검증하는 테스트 케이스의 검증 단계 또는 —.
증거테스트 케이스의 증거 파일 수와 요구사항을 직접 검증하는 보고서 수. 클릭하면 분석 같은 보고서를 추가합니다.
자체자체 상태.
상태집계된 상태.
편차/면제공식 프로그램 전용. 요구사항에 대한 편차와 면제 및 그 상태, 또는 실패한 결과에 대한 처리….
종결공식 프로그램 전용. 서명 승인…, 이름과 날짜가 있는 Closed와 다시 열기, 또는 Open. 공식 프로그램을 참조하십시오.

RVTM | VCRM은 표를 전환합니다. VCRM(검증 교차 참조 매트릭스)은 계획 보기입니다. I, A, D, T 열이 방법(검사, 분석, 시연, 시험)을 표시하고, 이어서 수준, 단계, 이벤트, Verified by, 상태가 있습니다.

번호 또는 이름으로 필터링은 행을 좁힙니다. 행을 클릭하거나 Enter를 누르면 속성 패널에 요구사항이 표시됩니다.

요구사항의 ⚠에 포인터를 올리면 연결을 마지막으로 검토한 이후 어떤 항목이 바뀌었는지 보입니다. 클릭하면 검토할 연결 — <requirement> 대화 상자가 열립니다. 요구사항 양쪽 끝의 검토할 모든 연결이 차이, 검토됨으로 표시…와 함께 나열되며, 전체 목록을 여는 검토할 연결 열기가 있습니다(검토할 연결). 내보내기에는 의심 플래그가 빠집니다. 상태 열에는 검증 결과만 담깁니다.

단축키

키위치Action
Enter / SpaceRVTM 행속성 패널에 요구사항 표시
↑ / ↓RVTM행 사이 이동
EscRVTM선택 해제
⌘K / Ctrl+K어디서나Export RVTM (Excel) 같은 작업 검색

메시지

메시지의미
이름 또는 번호가 필요합니다둘 다 없이 스위트를 만들 때.
실행할 내용이 없습니다. 일치하는 테스트 케이스가 없습니다. 테스트 케이스를 추가하거나 상태 필터를 지우십시오.스위트 실행이 필터와 일치하는 말단 테스트 케이스를 찾지 못했습니다.
테스트 주기를 저장했습니다 / 테스트 주기를 저장했습니다. 상태가 Not Run으로 재설정되었습니다기록만 / 기록 후 새로 시작.
테스트 케이스 <name>을(를) 만들었습니다커버리지 카드의 + 테스트 케이스.
<file>(이름만: 10 MB 초과)증거 파일이 파일당 한도(Free 요금제에서 10 MB, 10 × 1,048,576바이트로 계산)보다 큽니다. 이름만 기록됩니다.
이 프로젝트에는 요구사항이 없습니다. 요구사항을 작성하거나 가져온 다음 "verified by"로 테스트 케이스를 연결하십시오.RVTM이 비어 있습니다.
이 필터와 일치하는 요구사항이 없습니다. 모든 요구사항을 표시하려면 필터를 지우십시오.RVTM 필터가 모든 행을 숨깁니다.
이 테스트 케이스를 만들려면 확인란을 선택하십시오.테스트 케이스 생성이 AI 초안에서 웹 주소를 발견했습니다. 만들기 전에 확인합니다.

제한 사항

  • 테스트 증거 파일: Free 요금제에서 파일당 10 MB(10,485,760바이트), 유료 요금제에서 25 MB(26,214,400바이트). 더 큰 파일은 이름만 기록됩니다. 증거는 프로젝트의 저장 공간에 포함됩니다(저장 공간과 한도 참조).
  • 커버리지 카드에는 현재 필터의 처음 300개 요구사항이 표시됩니다.
  • 테스트 케이스마다 증거 파일 하나(최신)가 테스트 케이스에 보관되며, 실행 로그에는 각 실행의 증거 파일 이름이 보관됩니다.