가이드 · 검증
시스템 엔지니어링의 검증과 확인
이 가이드 듣기(영어 오디오) 29분
검증은 시스템이 요구사항을 충족함을 보여 주고, 확인은 시스템이 의도된 사용에서 이해관계자의 니즈를 충족함을 보여 줍니다. 이 가이드는 ISO/IEC/IEEE 15288의 정의, 각각이 무엇에 대해 확인하는지, 수명 주기에서 둘이 일어나는 곳, 네 가지 검증 방법, 확인 활동, 모델 검증과 확인, 둘을 뒷받침하는 추적성, 그리고 둘을 흐리게 만드는 실수를 6U CubeSat으로 실습하며 다룹니다.
이 페이지의 내용
짧은 답
검증은 시스템을 올바르게 만들었는가?를 묻습니다. 시스템을 요구사항과 진술별로 비교하고, 각 요구사항이 충족된다는 증거를 만듭니다. 확인은 올바른 시스템을 만들었는가?를 묻습니다. 시스템을 이해관계자가 필요로 하는 것과 그들이 시스템을 사용할 방식과 비교하고, 시스템이 구매된 목적의 일을 해낸다는 증거를 만듭니다.
두 질문은 비슷하게 들리고 흔히 같은 팀이 같은 장비로 수행하지만, 서로 다른 답을 낼 수 있습니다. 시스템이 모든 요구사항을 통과하고도 사용자를 실망시킬 수 있습니다. 요구사항이 빠졌거나, 틀렸거나, 실제와 다른 사용을 위해 작성되었기 때문입니다. 반대로 시스템이 중요하지 않은 것으로 드러난 요구사항을 충족하지 못하면서도 사용자에게는 잘 쓰일 수 있습니다. 시스템 엔지니어링이 둘을 분리해 두는 것은 각각이 다른 쪽이 보지 못하는 실수를 잡기 때문입니다.
"제품을 올바르게 만들기"와 "올바른 제품을 만들기"라는 표현은 대개 Barry Boehm의 초기 소프트웨어 공학 연구에서 나온 것으로 여겨지며, 그 차이를 기억하는 가장 짧은 방법으로 남아 있습니다.
ISO/IEC/IEEE 15288의 정의
시스템 수명 주기 프로세스에 관한 국제 표준인 ISO/IEC/IEEE 15288은 검증과 확인을 별개의 두 기술 프로세스로 다룹니다. 검증 프로세스(6.4.9항)와 확인 프로세스(6.4.11항)입니다. 통합은 검증 앞에 있고, 전환은 둘 사이에 있습니다. 시스템은 만들어진 상태로 검증되고, 운용 환경으로 인계된 다음, 그곳에서 확인됩니다.
- 검증은 객관적 증거를 통해 명시된 요구사항이 충족되었음을 확인하는 것입니다. 표준에서 그 목적은 시스템이나 요소가 요구사항과 특성을 충족함을 보여 주고, 그 과정에서 발견한 이상을 보고하는 것입니다.
- 확인은 객관적 증거를 통해 특정한 의도된 사용이나 적용에 대한 요구사항이 충족되었음을 확인하는 것입니다. 그 목적은 시스템이 의도된 환경에서 사용될 때 이해관계자의 니즈를 충족하고 사업 또는 임무 목표를 달성함을 보여 주는 것입니다.
두 정의 모두 객관적 증거에 기반합니다. 측정된 결과, 분석 보고서, 검사 기록, 또는 다른 사람이 확인할 수 있는 관찰된 시연입니다. 의견, "괜찮아 보였다", 아무도 기록하지 않은 시험은 증거가 아닙니다. 둘의 차이는 각각이 비교하는 기준에 있습니다.
INCOSE Systems Engineering Handbook(5판, 2.3.5.9절과 2.3.5.11절)도 같은 구분을 따르며, NASA Systems Engineering Handbook(NASA/SP-2016-6105 Rev 2)은 둘에 별도의 제품 실현 프로세스를 둡니다. 제품 검증(5.3절)과 제품 확인(5.4절)입니다. NASA 핸드북은 유용한 점을 분명히 말합니다. 검증은 제품이 사양대로 만들어졌음을 보여 주고, 확인은 사양이, 따라서 제품이 올바른 것이었음을 보여 줍니다.
각각이 무엇에 대해 확인하는가
둘을 구별하는 가장 분명한 방법은 증거를 무엇과 비교하는지 묻는 것입니다.
- 검증은 요구사항에 대해 확인합니다. 기준은 시스템, 하위 시스템, 구성 요소 사양의 "shall" 진술입니다. 이는 엔지니어링 팀이 작성하고 이해관계자와 합의하며, 시험, 분석, 검사 또는 시연으로 합격이나 불합격을 낼 수 있게 표현됩니다. ISO/IEC/IEEE 29148이 모든 요구사항이 가져야 할 특성 중 하나로 검증 가능성을 꼽는 것(5.2.5항)도 바로 이 때문입니다. 검증할 수 없는 요구사항은 검증에 아예 참여할 수 없습니다.
- 확인은 이해관계자 니즈와 의도된 사용에 대해 확인합니다. 기준은 사용자, 운영자, 고객, 기타 이해관계자가 자신의 언어로 기대하는 것과 실제 사용 조건입니다. 운용 시나리오, 환경, 시스템을 운영할 사람, 그리고 그들에게 "좋음"이 무엇인지 말해 주는 효과도 척도입니다. 니즈는 흔히 정성적이므로, 확인은 측정뿐 아니라 시나리오, 시뮬레이션, 시험 운용, 이해관계자의 판단에도 기댑니다.
추적성 가이드의 니즈와 요구사항 비교는 이를 한 줄로 말합니다. 니즈는 확인되고, 요구사항은 검증됩니다. 이 가이드의 나머지는 모두 여기서 나옵니다.
수명 주기에서 각각이 일어나는 시점
V 모델
V 모델은 수명 주기를 V자로 그립니다. 왼쪽은 분해와 정의를 거쳐 내려갑니다. 운용 개념, 시스템 요구사항, 상위 수준 설계, 상세 설계입니다. 구현이 맨 아래에 있습니다. 오른쪽은 통합과 확인을 거쳐 올라가며, 오른쪽의 각 단계는 맞은편 단계에 응답합니다.
| 오른쪽 | 확인 대상(왼쪽) | 종류 |
|---|---|---|
| 유닛 검증 | 상세 설계 | 검증 |
| 하위 시스템 검증 | 상위 수준 설계 | 검증 |
| 시스템 검증 | 시스템 요구사항 | 검증 |
| 시스템 확인 | 운용 개념과 이해관계자 니즈 | 확인 |
맨 위의 쌍만이 확인 쌍이며, 그래서 확인은 흔히 마지막 단계로 그려집니다. V는 최종 증거가 만들어지는 곳을 보여 줄 뿐, 작업이 시작되는 시점을 보여 주지 않습니다. 각 검증 및 확인 활동은 왼쪽에서, 그것이 확인하는 항목과 같은 시점에 계획됩니다. 확인 접근 방식은 운용 개념과 함께, 검증 방법은 각 요구사항과 함께입니다.
점진적이고 지속적인 V&V
통합된 시스템을 기다렸다가 그것이 올바른 시스템인지 묻는 것은 그렇지 않다는 사실을 알게 되는 가장 비싼 방법입니다. 실무에서는 두 활동을 수명 주기 전반에 걸쳐 펼칩니다.
- 조기 확인. 개념, 모형, 샘플 제품, 시뮬레이션을 하드웨어가 존재하기 훨씬 전에 이해관계자 앞에 내놓습니다. 검토할 때마다 요구사항이 잘못된 니즈를 담을 위험이 줄어듭니다.
- 모든 수준에서의 검증. 구성 요소는 통합 전에, 하위 시스템은 시스템 전에 검증합니다. 작업대에서 발견한 결함은 시스템 시험에서 발견한 결함보다 훨씬 적은 비용이 듭니다.
- 반복 개발에서의 지속적 V&V. 지속적 통합을 하는 소프트웨어 팀처럼 점진적으로 인도하는 팀은 빌드마다 자동 검증을 실행하고 각 증분을 사용자와 함께 확인합니다. 두 질문은 같으며, 훨씬 자주 물을 뿐입니다.
네 가지 검증 방법
대부분의 표준과 핸드북은 같은 네 가지 방법을 씁니다. RVTM 가이드는 그중에서 고르는 방법을 설명합니다. 여기서는 각 방법을 이 가이드 전체에서 쓰는 EO-1 CubeSat의 행 하나로 보여 줍니다. EO-1은 고도 500 km 궤도에서 농경지를 네 개의 분광 밴드로 촬영하는 가상의 6U 위성으로, 사양서에 요구사항 32개가 있습니다.
- 검사
- 항목을 작동시키지 않고 항목이나 그 기록을 살펴봅니다. EO-1의 3.4 Bus Regulation(12 V, 2% 이내)은 전력 분배 장치의 설계와 인증 부하 단계 데이터를 검토하는 TC-18 Bus Regulation Inspection으로 검증됩니다. 합격했습니다. 최악의 경우는 11.81 V로 11.76–12.24 V 안에 있었습니다.
- 분석
- 계산, 모델링 또는 시뮬레이션으로, 흔히 하위 수준의 시험 데이터를 입력으로 씁니다. 1.7 Mission Lifetime(궤도상 730일)은 지상에서 시험할 수 없으므로, TC-16 Lifetime Reliability Analysis가 부품 고장률, 방사선 선량, 배터리 열화를 결합합니다. 최소 0.8에 대해 730일 동안 작동할 확률 0.86으로 합격했습니다.
- 시연
- 항목을 작동시켜 무언가를 한다는 것을 보이며, 관찰은 하지만 정밀하게 측정하지는 않습니다. 6.1 Contact Scheduling(48시간 전에 교신 예약)은 협력 지상국 네트워크와 14일간 교신 일정을 잡는 TC-20 Operations Rehearsal로 보일 예정입니다. 아직 실행되지 않았습니다.
- 시험
- 통제된 조건에서 항목을 작동시키고 결과를 값과 비교해 측정합니다. 3.2 Battery Capacity(수명 초기 77 Wh 이상)는 20 °C에서 C/2로 방전하는 TC-07 Battery Capacity Test로 검증됩니다. 78.3 Wh로 합격했습니다.
네 가지 모두 검증입니다. 시연은 "더 느슨한 시험"이 아니고, 분석은 모델을 쓴다고 해서 확인 활동이 되는 것이 아닙니다. 그중 무엇이든 검증으로 만드는 것은 합격 기준이 요구사항에서 나온다는 점입니다.
확인 활동
확인은 같은 기법의 상당수를 쓰지만 다른 기준을 겨냥합니다. 흔한 형태는 다음과 같습니다.
- 운용 시나리오. 시스템이나 그 모델을 운용 개념에 따라 진행해 봅니다. 정상적인 하루, 성능 저하 모드, 운영자 간 인계입니다. 질문은 각 단계가 수치를 충족하는지가 아니라 시나리오가 이해관계자가 원한 것을 달성하는지입니다.
- 임무 시뮬레이션. 현실적인 환경과 변동을 넣은 시뮬레이션에서 운용 개념을 실행하고, 그 결과를 효과도 척도(MOE), 즉 임무가 일을 얼마나 잘 해내는지에 대한 이해관계자 관점의 척도와 대조해 읽습니다.
- 이해관계자 검토. 사용자에게 개념, 시제품, 샘플 제품 또는 인터페이스를 보여 주고 그 판단을 기록합니다. 일찍, 저렴하게 할 수 있으며, 빠진 니즈가 처음 드러나는 때인 경우가 많습니다.
- 운용 시험과 시범 운영. 실제 사용자, 실제 절차, 대표적인 환경입니다. 흔히 결정적인 확인 증거이며, 많은 프로그램에서는 독립 조직이 수행하는 공식 운용 시험 평가입니다.
EO-1의 확인
EO-1 모델에는 이해관계자 니즈 세 개가 있으며, 각각 이를 공식화하는 요구사항으로 추적됩니다. 또한 세 번째 테스트 스위트 TS-3 Mission Validation에 니즈마다 확인 활동이 하나씩 있습니다. 둘 다 EO-1 참조 모델(v1.0)과 Holarch 2.2.1 이상에서 만든 데모 프로젝트에 포함되어 있습니다.
| 니즈 | 요구사항(검증) | 확인 활동 | 상태 |
|---|---|---|---|
| N1 Same-Day Crop Stress Alerts | 6.2 Image Delivery(다운링크 후 6시간 이내), 6.5 Planning Cycle Time(100분 이내) | VAL-01 Customer Alert Pilot: 시범 농장 세 곳 위의 기록된 패스를 계획, 처리, 고객 포털까지 거쳐 실행하고, 농장 농업 전문가가 일상 업무에서 경보를 사용함 | 미실행 |
| N2 Twice-Weekly Revisit | 1.6 Revisit Time(72시간 이내), 1.6.1 Ground Track Repeat와 1.6.2 Off-Nadir Imaging을 통해 | VAL-02 Growing Season Revisit Simulation: 계획된 지상 궤적, 천저 외 한계, 과거 구름량으로 고객 목표 목록에 대해 한 시즌의 촬영을 시뮬레이션함 | 미실행 |
| N3 Field-Level Vegetation Maps | 1.2 Ground Sample Distance(4.5 m), 1.4 Spectral Bands(네 개 밴드, 450–900 nm) | VAL-03 Agronomist Map Review: 농업 전문가가 항공 영상을 EO-1의 네 밴드에서 4.5 m로 재표본화해 만든 식생 지도를 검토함 | 합격: 샘플 지도 12개 모두 승인됨 |
각 행은 확인이 검증의 반복이 아닌 이유를 보여 줍니다. 1.6은 궤도와 지향 한계의 특성인 72시간 이내 재방문을 요구하며, TC-13 Ground Track Repeat Analysis는 이미 3일 0.4시간의 반복을 보였습니다. 하지만 농민에게 필요한 것은 일주일에 두 번 쓸 수 있는 영상이며, 1.6에는 구름이 나오지 않습니다. 구름 통계를 넣은 시뮬레이션(VAL-02)만이 작성된 대로 충족된 요구사항이 니즈를 전달하는지 말할 수 있습니다. 그렇지 않다면 해결책은 더 나은 시험이 아니라 새롭거나 바뀐 요구사항입니다.
N1도 비슷합니다. 6.2와 6.5는 전달 사슬에 수치를 부여하고, 6.5의 Monte Carlo 분석(Monte Carlo 가이드 참조)은 100분을 충족할 확률을 약 97.6%로 봅니다. 농업 전문가가 실제로 위성 통과 당일에 작물 스트레스를 행동할 수 있는 형태로 알게 되는지는 다른 질문이며, VAL-01이 실제 사용자와 함께 이를 묻습니다.
VAL-03은 샘플 영상과 사람만 있으면 되므로 비행 하드웨어보다 먼저 실행되었습니다. 이것이 조기 확인입니다. 카메라 설계가 동결되기 전에 네 밴드의 4.5 m가 필지 수준 지도에 충분히 상세하다는 것을 확인했습니다. 검토자 두 명이 필지 경계 오버레이를 요청했으며, 이는 가능한 새 니즈로 결과와 함께 기록되었습니다.
모델 검증과 모델 확인
모델 기반 시스템 엔지니어링에서는 모델 자체가 엔지니어링 산출물이며, 같은 두 질문이 모델에도 적용됩니다. 국방 및 항공우주 실무는 수십 년 동안 모델과 시뮬레이션에 대해 이를 정의해 왔습니다(검증, 확인, 인정에 관한 DoD Instruction 5000.61, 모델과 시뮬레이션의 신뢰성에 관한 NASA-STD-7009).
- 모델 검증: 모델이 올바르게 만들어졌는가? 구현이 자체 명세와 모델링 규칙에 맞는가? 시뮬레이션 흐름에 빠진 소요 시간이 없고, 아무도 수행하지 않는 기능이 없고, 검증 활동이 없는 요구사항이 없고, 방정식의 차원이 일관되고, 코드가 작성자가 의도한 것을 계산하는지입니다.
- 모델 확인: 목적에 맞는 올바른 모델인가? 모델이 뒷받침할 결정에 충분할 만큼 실제 시스템을 가깝게 나타내는가? 이는 모델을 현실과 비교해 답합니다. 시험 데이터, 비행 데이터, 신뢰할 수 있는 더 높은 충실도의 모델입니다.
- 인정(accreditation)은 DoD 용법에서 검증 및 확인 증거에 근거해 모델이 특정 용도에 사용할 수 있다고 내리는 공식 결정입니다.
EO-1에 분명한 사례가 있습니다. 전력 예산은 방정식 EQ-1.3으로 측정된 어레이 최대 전력을 궤도 평균 전력으로 바꿉니다. 궤도 평균 = 최대 × 0.62(일조 비율) × 0.6(전력 경로 효율). 이 방정식을 검증한다는 것은 계산, 단위, 연결을 확인하는 것입니다. 확인한다는 것은 0.62와 0.6이 실제 궤도와 실제 전력 체인에 맞는지 묻는 것이며, 예를 들어 예측을 모의 궤도를 거치며 flatsat에서 측정한 궤도 평균 전력과 비교합니다. 아래의 요구사항 3.1에 대한 판정은 전적으로 그 방정식에 달려 있으므로, 확인되지 않은 EQ-1.3은 완벽한 시험조차 결론이 나지 않게 만들 것입니다.
경험칙: 분석이나 시뮬레이션을 검증 증거로 쓸 때는 결정이 그것에 의존하는 정도에 비례해 그 모델에 자체 확인 증거가 필요합니다.
둘을 뒷받침하는 추적성
검증과 확인에는 각각 자체 연결 사슬이 필요합니다.
- 니즈 → 확인. 각 이해관계자 니즈는 의도된 사용에서 충족됨을 보여 줄 확인 활동과, 이를 공식화하는 요구사항에 연결됩니다.
- 요구사항 → 검증. 각 요구사항은 방법, 수준, 성공 기준과 함께 이를 검증하는 시험, 분석, 검사 또는 시연에 연결됩니다. 요구사항 검증 매트릭스가 이 사슬의 보고서입니다.
둘이 함께 검토 위원회가 묻는 두 가지 커버리지 질문에 답합니다. 모든 요구사항이 검증되었는가, 그리고 모든 니즈가 확인되었는가? 니즈와 요구사항 사이의 연결이 두 사슬을 이어 주므로, 한쪽의 공백을 다른 쪽까지 추적할 수 있습니다. 요구사항은 모두 합격했는데 확인이 실패한 니즈는 빠졌거나 틀린 요구사항을 가리킵니다.
매트릭스에서 두 사슬이 나란히 놓입니다. 요구사항은 TC 테스트 케이스로 검증되고, 니즈는 VAL 활동으로 확인됩니다. 매트릭스는 검증 공백도 보여 줍니다. 6.5 Planning Cycle Time에는 방법(분석)은 있지만 모델에 아직 검증 활동이 없습니다. Monte Carlo 가이드가 그 분석을 실행하며, 그 결과를 테스트 케이스로 기록하면 이 행이 종결됩니다.
실제 검증 증거: TC-06
EO-1의 TC-06 Solar Array Power Test는 무엇이 검증 증거를 좋게 만드는지, 그리고 증거가 어떻게 효력을 잃는지 보여 줍니다. 기록은 완전합니다. M. Chen이 하네스 개정 C로 어레이 인증 패널 QM-1과 QM-2에 대해, AM0(1361 W/m², 균일도 1.4%)의 대면적 태양 시뮬레이터 아래에서 시험을 실행하고 I-V 곡선을 tc06-array-iv-curve.csv로 첨부했습니다. 최대 전력은 예상 결과 72 W 이상에 대해 75.1 W였습니다. 합격입니다.
그 후 예비 설계 검토를 거쳐 요구사항 3.1 Orbit Average Power가 28 W에서 30 W로 올라갔습니다. 시험 결과는 바뀌지 않았지만 그것이 증명하는 바는 바뀌었습니다. EQ-1.3을 거치면 최대 75.1 W는 궤도 평균 27.9 W(75.1 × 0.62 × 0.6)로 30 W에 못 미칩니다. 30 W를 보이려면 최대 약 80.6 W가 필요합니다. 따라서 3.1에서 TC-06으로의 연결은 의심 상태로 표시되며, TC-06의 예상 결과를 새 요구사항에서 다시 도출하고 시험을 다시 실행하거나 설계를 바꿀 때까지 의심 상태로 남습니다. RVTM 가이드가 그 검토를 설명하고, 변경 영향 분석 가이드는 같은 변경을 설계 전반에서 따라갑니다.
여기서 검증 증거에 대한 세 가지 교훈이 나옵니다.
- 증거는 구성과 요구사항 버전에 묶여 있습니다. 28 W에 대해 기록된 합격은 30 W에 대한 증거가 아닙니다.
- 합격 기준은 요구사항에서 나와야 합니다. TC-06의 72 W 한계는 궤도 평균 26.8 W에 불과하므로 이전의 28 W조차 보여 주지 못했습니다. 시험은 자체 기준을 통과하고도 요구사항을 검증하지 못할 수 있습니다.
- 고리 안의 분석에는 확인이 필요합니다. 판정은 EQ-1.3의 두 계수에 달려 있으며, 이것이 앞 섹션의 모델 확인 질문입니다.
그리고 이 중 어느 것도 확인이 아닙니다. 깔끔한 30 W 결과라도 어레이가 3.1을 충족한다는 것만 보여 줄 것입니다. 30 W가 농장 고객을 위해 하루 120장면을 촬영하기에 충분한 전력인지는 임무 수준의 확인 활동이 답하는 종류의 질문입니다.
검증과 확인 비교
| 검증 | 확인 | |
|---|---|---|
| 질문 | 시스템을 올바르게 만들었는가? | 올바른 시스템을 만들었는가? |
| 확인 기준 | 요구사항과 설계 명세 | 이해관계자 니즈, 의도된 사용, 효과도 척도 |
| ISO/IEC/IEEE 15288 | 검증 프로세스(6.4.9) | 확인 프로세스(6.4.11) |
| 일반적인 방법 | 검사, 분석, 시연, 시험 | 운용 시나리오, 임무 시뮬레이션, 이해관계자 검토, 운용 시험, 현장 데이터 |
| 수준 | 구성 요소, 하위 시스템, 시스템 | 주로 운용 환경의 시스템. 개념과 시제품에 대한 조기 확인 |
| 환경 | 통제된 환경: 실험실, 작업대, 시뮬레이터 | 실제 사용을 대표하는 환경, 가능하면 실제 사용자와 함께 |
| 판정자 | 작성된 기준에 따라 엔지니어링 팀. 인수 시점에는 고객 | 이해관계자와 사용자, 흔히 독립 평가자와 함께 |
| 결과 | 요구사항별 합격 또는 불합격 | 니즈 충족, 부분 충족 또는 미충족. 흔히 새롭거나 바뀐 니즈와 함께 |
| 추적성 | 요구사항 → 검증 활동 | 니즈 → 확인 활동 |
| 일반적인 기록 | 요구사항 검증 매트릭스, 시험 보고서 | 확인 계획과 보고서, 운용 평가 보고서 |
| 실패의 의미 | 시스템이 요구사항을 충족하지 않음: 설계나 제작을 수정 | 요구사항이 니즈를 담지 못함: 요구사항을 수정한 다음 설계를 수정 |
| EO-1 예 | TC-07: 77 Wh에 대해 배터리 78.3 Wh | VAL-03: 농업 전문가가 4.5 m 4밴드 지도를 승인 |
흔한 혼동
- "확인은 마지막 시험이다." 막바지의 시스템 수준 시험은 대개 여전히 검증입니다. 확인은 시점이 아니라 기준(니즈와 의도된 사용)으로 정의되며, 끝나기 훨씬 전에 시작해야 합니다.
- "모든 요구사항이 합격했으니 시스템은 확인되었다." 요구사항 합격은 요구사항이 충족되었음을 보여 줄 뿐, 그것이 올바른 요구사항이었는지는 아무것도 말하지 않습니다. EO-1은 1.6을 정확히 충족하고도 실제 구름량 아래에서 N2를 놓칠 수 있습니다.
- 요구사항 확인과 시스템 검증. 이 용어들은 요구사항 자체에도 적용됩니다. INCOSE Guide to Needs and Requirements는 요구사항 검증(진술이 잘 구성되었는가: 필요하고, 모호하지 않고, 검증 가능한가?)과 요구사항 확인(그것이 나온 니즈를 표현하는가?)을 시스템 검증 및 시스템 확인과 구분합니다. 어느 것을 뜻하는지 밝히십시오. 요구사항 작성 가이드가 진술을 검증 가능하게 만드는 방법을 다룹니다.
- "시연은 확인이다." 요구사항에 대한 시연은 검증입니다. 사용자와 함께 운용 시나리오를 시연하고 그들의 니즈에 비추어 판단하는 것은 확인입니다. 방법이 아니라 기준이 이를 결정합니다.
- "시뮬레이션은 확인이다." 시뮬레이션은 기법입니다. 6.5의 계획 주기를 100분에 대해 시뮬레이션하면 6.5를 검증합니다. 생육 시즌을 "일주일에 두 번 쓸 수 있는 영상"에 대해 시뮬레이션하면 N2를 확인합니다. 그리고 시뮬레이션 모델 자체에도 자체 확인이 필요합니다.
- IV&V는 "더 많은 V&V"를 뜻한다. 독립 검증 및 확인은 관리, 예산, 기술적 판단 면에서 개발자와 분리된 조직이 수행하는 V&V입니다. 누가 하느냐의 문제이지, 세 번째 활동이 아닙니다.
- 연결을 결과로 세기. 확인 활동에 연결된 니즈는 확인이 계획된 것이지 확인된 것이 아닙니다. 커버리지 수는 무엇이 계획되었는지 알려 주고, 무엇이 입증되었는지는 결과만 알려 줍니다.
Holarch가 각각을 기록하는 방법
LML 프로젝트에서 검증과 확인은 니즈 및 요구사항과 같은 모델에, 같은 종류의 항목과 연결로 보관됩니다.
- 니즈는 (Requirement가 아니라) Statement이며, traced to로 이를 공식화하는 요구사항에 연결됩니다.
- 검증 계획은 각 Requirement에 있습니다. Verification Method(Analysis, Demonstration, Inspection, Test를 어떤 조합으로든), 수준, 성공 기준입니다.
- 검증 활동은 Test Suite 안의 Test Case이며, verifies로 요구사항에 연결됩니다. 분석, 검사, 시연도 테스트 케이스입니다. 실행마다 시험자, 구성, 시험품, 증거 파일이 기록되고, 불합격한 시험은 Issue가 되며, 테스트 주기가 각 캠페인을 저장합니다.
- 확인 활동도 자체 스위트(위의 TS-3 같은)에 있는 Test Case일 수 있으며, verifies로 니즈에 연결됩니다. 표준 LML 스키마는 verifies를 요구사항 쪽으로만 허용하므로, EO-1 모델의 스키마는 대상 하나, Test Case verifies Statement를 추가합니다. 자체 프로젝트에서는 추적성 매트릭스에서 연결하기 전에 스키마에서(Test Case를 열고 + 관계) 이를 추가하십시오. RVTM과 검증 커버리지는 요구사항만 세므로, 확인 활동은 "32개 요구사항 중 11개 검증" 수치를 바꾸지 않습니다. 매트릭스는 이를 요구사항 옆에 보여 줍니다.
- 효과도 척도는 임계값과 목표값이 있는, MOE 레이블이 붙은 Measure입니다. 시뮬레이터의 Monte Carlo 연구는 출력을 요구사항이나 Measure와 대조하고 결과를 Test Case로 기록할 수 있으며, 이렇게 분석이 검증 증거가 됩니다.
- 변경은 TC-06의 경우처럼 검증 테스트 케이스로의 연결을 포함해 연결을 의심 상태로 표시합니다.
- 모델 검증은 검증 → 모델 검사가 하는 일입니다. 검증 테스트 케이스가 없는 말단 요구사항, Issue가 없는 불합격 시험 같은 모델 전체에 대한 규칙입니다. Action 다이어그램에는 시뮬레이션 실행 전의 자체 검사가 있습니다. Holarch에는 모델 확인을 위한 별도 기록이 없습니다. 시험 데이터나 비행 데이터와의 비교는 그 모델에 의존하는 분석 테스트 케이스의 증거로 보관하십시오.
SE 프로세스 가이드는 V의 양쪽을 모두 보여 줍니다. V 모델 프로세스에서 검증 연결 카드는 오른쪽의 각 단계를 그것이 확인하는 왼쪽 단계와 짝짓습니다. 시스템 확인은 운용 개념과("확인된 니즈"), 시스템 검증은 시스템 요구사항과("검증된 요구사항"), 그리고 그 아래의 하위 시스템 및 유닛 수준입니다.
위의 혼동을 염두에 두고 카드를 커버리지로 읽으십시오. 니즈는 테스트 케이스가 verifies로 연결되거나, 그로부터 추적된 요구사항이 합격하면 확인된 것으로 셉니다. 그래서 VAL-01과 VAL-02가 실행되지 않았는데도 N1과 N2가 셈에 들어갑니다. 카드는 요구사항이 아닌 추적된 모든 Statement를 니즈로 셉니다. 데모에서는 N1–N3에 가정 하나(1.1 Reference Orbit)와 운용 규칙 세 개(OR-1~OR-3)가 더해지므로 7이 표시됩니다. 확인 결과 자체는 테스트 센터에 있습니다.
문서가 계획을 담을 수 있습니다. 문서 템플릿에는 운용 개념서, 검증 및 확인 계획서, 시험 계획서, 시험 보고서, IV&V 계획서가 있으며, 모델에서 업데이트되는 실시간 VCRM 및 RVTM 블록이 포함됩니다.
Holarch에서 해 보기
- EO-1 프로젝트를 만듭니다. 프로젝트 관리 → 프로젝트 파일 ▾ → 새 데모 프로젝트 → CubeSat(안내형 시스템 엔지니어링), 또는 EO-1 참조 모델을 가져옵니다.
- ⌘K / Ctrl+K를 누르고
crop stress를 입력한 다음 N1 Same-Day Crop Stress Alerts를 엽니다. 그 관계에 traced to된 요구사항과 이를 검증하는 VAL 활동이 나옵니다. 자체 니즈를 Statement로 추가하십시오. 예를 들어 요구사항 문서에서 항목 추가 ▸를 사용합니다. - 검증 → 테스트 센터에서 TS-3 Mission Validation을 엽니다. 자체 스위트를 만들려면 + 새로 만들기 ▾ → 테스트 스위트…를 클릭한 다음, 확인 활동마다 + 테스트 케이스를 클릭하고 준비 사항과 예상 결과를 이해관계자의 언어로 적습니다.
- 행에 니즈, 열에 확인 테스트 케이스를 두고 검증 → 추적성 매트릭스를 열어 verified by를 선택합니다. 각 니즈에 VAL 활동이 있습니다. 빈 셀을 클릭하면 연결이 추가됩니다.
- 요구사항 검증은 검증 → RVTM을 열어 보고, V의 양쪽은 V 모델로 계획 → SE 프로세스를 열어 봅니다.
전체 참조는 검증, 추적성, SE 프로세스, 모델 검사입니다.
자주 묻는 질문
검증과 확인 중 무엇이 먼저입니까?
공식 시스템 확인은 대개 시스템 검증 후에 옵니다. 의도된 환경에서 명세대로 작동하는 시스템이 필요하기 때문입니다. 하지만 확인 활동은 먼저 시작됩니다. 개념과 요구사항에 대한 이해관계자 검토는 어떤 검증도 가능하기 전에 이루어집니다. 처음부터 둘 다 계획하십시오.
하나의 활동으로 둘 다 할 수 있습니까?
그렇게 계획하고 두 기준 모두에 비추어 판단한다면 가능합니다. 처음부터 끝까지의 운용 리허설은 6.1 Contact Scheduling을 48시간 기준에 대해 검증하는 동시에, 실제 운영자와 고객이 참여하면 N1에 대한 확인 증거를 모을 수 있습니다. 두 판정은 다를 수 있으므로 따로 기록하십시오.
확인은 누가 수행합니까?
대개 개발자가 계획하고 지원하지만, 판단은 이해관계자의 몫입니다. 사용자, 운영자, 고객, 때로는 독립 시험 조직입니다. 이해관계자 없는 확인은 그들의 니즈에 대한 추측입니다.
검증은 합격했는데 확인이 실패하면 어떻게 됩니까?
요구사항이 니즈를 담지 못한 것입니다. 실패한 니즈를 요구사항까지 추적하여 빠졌거나 틀린 요구사항을 찾고, 변경 통제를 거쳐 바꾸고, 의심 연결을 따라 설계와 검증으로 갑니다. 이는 시스템 엔지니어링에서 가장 비싼 실패이며, 그래서 조기 확인이 이득입니다.
다음에 읽을 내용
- 요구사항 검증 매트릭스(RVTM): 실용적인 다음 단계로, 같은 CubeSat으로 열, 방법 선택, 상태 합산, 마일스톤 커버리지 검토를 다룹니다.
- 요구사항 작성법: 검증의 전제 조건인 검증 가능한 진술.
- 요구사항 추적성과 변경 영향: 니즈, 요구사항, 의심 연결, 매트릭스.
- Holarch의 검증: 하나의 모델에서 테스트 케이스, 증거가 있는 실행, 테스트 주기, RVTM.