Holarch

Kılavuz · Doğrulama

Sistem mühendisliğinde doğrulama ve geçerleme

Bu kılavuzu dinleyin 29 dk

Doğrulama, bir sistemin gereksinimlerini karşıladığını gösterir; geçerleme ise amaçlanan kullanımında paydaşların ihtiyaçlarını karşıladığını gösterir. Bu kılavuz ISO/IEC/IEEE 15288'deki tanımları, her birinin neye göre denetlediğini, ikisinin de yaşam döngüsünde nerede gerçekleştiğini, dört doğrulama yöntemini, geçerleme etkinliklerini, model doğrulama ve geçerlemesini, ikisinin ardındaki izlenebilirliği ve ikisini birbirine karıştıran hataları 6U'luk bir CubeSat üzerinde çözümlü olarak ele alır.

Bu sayfada
  1. Kısa yanıt
  2. ISO/IEC/IEEE 15288'deki tanımlar
  3. Her birinin neye göre denetlediği
  4. Her birinin yaşam döngüsünde ne zaman gerçekleştiği
    1. V modeli
    2. Artımlı ve sürekli V&V
  5. Dört doğrulama yöntemi
  6. Geçerleme etkinlikleri
    1. EO-1 için geçerleme
  7. Model doğrulama ve model geçerleme
  8. İkisinin ardındaki izlenebilirlik
  9. Uygulamada doğrulama kanıtı: TC-06
  10. Doğrulama ve geçerlemenin karşılaştırması
  11. Yaygın karışıklıklar
  12. Holarch her birini nasıl kaydeder
    1. Holarch'ta deneyin
  13. Sıkça sorulan sorular
    1. Önce hangisi gelir, doğrulama mı geçerleme mi?
    2. Tek bir etkinlik ikisini birden yapabilir mi?
    3. Geçerlemeyi kim yapar?
    4. Doğrulama geçtiği hâlde geçerleme başarısız olursa ne olur?
  14. Sonra nereye gidilir

Kısa yanıt

Doğrulama şunu sorar: sistemi doğru mu ürettik? Sistemi gereksinimleriyle ifade ifade karşılaştırır ve her birinin karşılandığına dair kanıt üretir. Geçerleme şunu sorar: doğru sistemi mi ürettik? Sistemi paydaşlarının neye ihtiyaç duyduğu ve onu nasıl kullanacaklarıyla karşılaştırır ve sistemin satın alındığı işi yaptığına dair kanıt üretir.

İki soru birbirine benzer ve çoğu zaman aynı ekip tarafından aynı ekipmanla yürütülür, ancak farklı yanıtlar verebilir. Bir sistem her gereksinimi geçip yine de kullanıcılarını hayal kırıklığına uğratabilir, çünkü bir gereksinim eksik, yanlış veya gerçek kullanımdan farklı bir kullanım için yazılmıştır. Bir sistem, önemsiz olduğu ortaya çıkan bir gereksinimi karşılamazken kullanıcılarına iyi hizmet de edebilir. Sistem mühendisliği ikisini ayrı tutar, çünkü her biri diğerinin göremediği hataları yakalar.

“Ürünü doğru üretmek” ile “doğru ürünü üretmek” ifadesi genellikle Barry Boehm'in yazılım mühendisliği üzerine ilk çalışmalarına atfedilir ve farkı hatırlamanın en kısa yolu olmaya devam etmektedir.

ISO/IEC/IEEE 15288'deki tanımlar

Sistem yaşam döngüsü süreçlerine ilişkin uluslararası standart ISO/IEC/IEEE 15288, doğrulama ve geçerlemeyi iki ayrı teknik süreç olarak ele alır: Doğrulama süreci (madde 6.4.9) ve Geçerleme süreci (madde 6.4.11). Entegrasyon doğrulamadan önce gelir, geçiş ise ikisinin arasındadır: sistem üretildiği hâliyle doğrulanır, işletim ortamına teslim edilir ve orada geçerlenir.

  • Doğrulama, belirtilen gereksinimlerin yerine getirildiğinin nesnel kanıt yoluyla teyit edilmesidir. Standarttaki amacı, sistemin veya öğenin gereksinimlerini ve özelliklerini karşıladığını göstermek ve bu sırada bulunan her anomaliyi raporlamaktır.
  • Geçerleme, belirli bir amaçlanan kullanım veya uygulama için gereksinimlerin yerine getirildiğinin nesnel kanıt yoluyla teyit edilmesidir. Amacı, sistemin amaçlanan ortamında kullanıldığında paydaşların ihtiyaçlarını karşıladığını ve iş veya görev hedeflerine ulaştığını göstermektir.

Her iki tanım da nesnel kanıta dayanır: ölçülmüş bir sonuç, bir analiz raporu, bir muayene kaydı veya başka birinin denetleyebileceği gözlemlenmiş bir gösterim. Görüş, “iyi görünüyordu” ve kimsenin yazıya dökmediği bir test kanıt değildir. İkisi arasındaki fark, her birinin karşılaştırma yaptığı referanstadır.

INCOSE Systems Engineering Handbook (5. baskı, bölüm 2.3.5.9 ve 2.3.5.11) aynı ayrımı izler ve NASA Systems Engineering Handbook (NASA/SP-2016-6105 Rev 2) bunlara ayrı ürün gerçekleştirme süreçleri verir: ürün doğrulama (bölüm 5.3) ve ürün geçerleme (bölüm 5.4). NASA'nın el kitabı yararlı bir noktayı açıkça ortaya koyar: doğrulama ürünün spesifikasyona göre üretildiğini gösterir; geçerleme ise spesifikasyonun ve dolayısıyla ürünün doğru olduğunu gösterir.

Her birinin neye göre denetlediği

Onları ayırt etmenin en açık yolu, kanıtın neyle karşılaştırıldığını sormaktır.

  • Doğrulama gereksinimlere göre denetler. Referans, sistem, alt sistem ve bileşen spesifikasyonlarının “shall” ifadeleridir. Bunlar mühendislik ekibi tarafından yazılır, paydaşlarla üzerinde anlaşılır ve bir testin, analizin, muayenenin veya gösterimin geçti ya da kaldı sonucu verebileceği şekilde ifade edilir. ISO/IEC/IEEE 29148, tam da bu nedenle doğrulanabilir olmayı her gereksinimin sahip olması gereken özellikler arasında sayar (madde 5.2.5): doğrulanamayan bir gereksinim doğrulamaya hiç katılamaz.
  • Geçerleme paydaş ihtiyaçlarına ve amaçlanan kullanıma göre denetler. Referans, kullanıcıların, operatörlerin, müşterilerin ve diğer paydaşların kendi terimleriyle beklentileri ile gerçek kullanımın koşullarıdır: operasyonel senaryolar, ortam, sistemi işletecek kişiler ve onlar için “iyi”nin ne anlama geldiğini söyleyen etkinlik ölçüleri. İhtiyaçlar çoğu zaman niteldir; bu yüzden geçerleme ölçümün yanı sıra senaryolara, simülasyona, denemelere ve paydaş yargısına dayanır.

İzlenebilirlik kılavuzunun ihtiyaçlar ve gereksinimler karşılaştırması bunu tek bir satırda söyler: ihtiyaçlar geçerlenir, gereksinimler doğrulanır. Bu kılavuzdaki her şey bundan çıkar.

Her birinin yaşam döngüsünde ne zaman gerçekleştiği

V modeli

V modeli yaşam döngüsünü bir V olarak çizer. Sol taraf ayrıştırma ve tanımlama yoluyla aşağı iner: operasyon konsepti, sistem gereksinimleri, üst düzey tasarım, ayrıntılı tasarım. Gerçekleştirme en alttadır. Sağ taraf entegrasyon ve denetim yoluyla yukarı çıkar ve sağdaki her adım karşısındaki adıma hesap verir:

Sağ tarafKarşılaştırıldığı (sol taraf)Tür
Birim doğrulamaAyrıntılı tasarımDoğrulama
Alt sistem doğrulamaÜst düzey tasarımDoğrulama
Sistem doğrulamaSistem gereksinimleriDoğrulama
Sistem geçerlemeOperasyon konsepti ve paydaş ihtiyaçlarıGeçerleme

En üstteki çift tek geçerleme çiftidir; geçerlemenin çoğu zaman son adım olarak düşünülmesinin nedeni budur. V, nihai kanıtın nerede üretildiğini gösterir, işin ne zaman başladığını değil. Her doğrulama ve geçerleme etkinliği sol tarafta, denetlediği öğeyle aynı anda planlanır: geçerleme yaklaşımı operasyon konseptiyle, doğrulama yöntemi her gereksinimle.

Artımlı ve sürekli V&V

Doğru sistem olup olmadığını sormak için entegre bir sistemi beklemek, öyle olmadığını öğrenmenin en pahalı yoludur. Uygulamada iki etkinlik de yaşam döngüsü boyunca yayılır:

  • Erken geçerleme. Konseptler, maketler, örnek ürünler ve simülasyonlar donanım var olmadan çok önce paydaşların önüne konur. Her inceleme, gereksinimlerin yanlış bir ihtiyacı kodlama riskini azaltır.
  • Her düzeyde doğrulama. Bileşenler entegrasyondan, alt sistemler sistemden önce doğrulanır. Tezgâhta bulunan bir kusur, sistem testinde bulunandan çok daha ucuza mal olur.
  • Yinelemeli geliştirmede sürekli V&V. Sürekli entegrasyonla çalışan yazılım ekipleri gibi artımlar hâlinde teslim yapan ekipler her derlemede otomatik doğrulama yürütür ve her artımı kullanıcılarla geçerler. İki soru aynı kalır; yalnızca çok daha sık sorulur.

Dört doğrulama yöntemi

Çoğu standart ve el kitabı aynı dört yöntemi kullanır. RVTM kılavuzu bunlar arasında nasıl seçim yapılacağını açıklar; burada her biri, bu kılavuz boyunca kullanılan EO-1 CubeSat'inden bir satırla gösterilir: 500 km'lik bir yörüngeden tarım arazilerini dört spektral bantta görüntüleyen, spesifikasyonunda 32 gereksinim bulunan kurgusal, 6U'luk bir uzay aracı.

Muayene
Öğeyi çalıştırmadan onu veya kayıtlarını incelemek. EO-1'in 3.4 Bus Regulation gereksinimi (%2 içinde 12 V), güç dağıtım ünitesinin tasarımının ve yeterlilik yük adımı verilerinin incelenmesi olan TC-18 Bus Regulation Inspection ile doğrulanır. Geçti: en kötü durum 11.76–12.24 V içinde, 11.81 V idi.
Analiz
Hesaplama, modelleme veya simülasyon; çoğu zaman alt düzey test verileriyle beslenir. 1.7 Mission Lifetime (yörüngede 730 gün) yerde test edilemez; bu yüzden TC-16 Lifetime Reliability Analysis parça arıza oranlarını, radyasyon dozunu ve batarya kapasite kaybını birleştirir. En az 0.8'e karşı 730 gün çalışma olasılığı 0.86 ile geçti.
Gösterim
Öğenin bir şey yaptığını göstermek için onu çalıştırmak; gözlemlenir ama tam olarak ölçülmez. 6.1 Contact Scheduling (temasların 48 saat önceden ayarlanması), TC-20 Operations Rehearsal ile gösterilecektir: ortak yer ağıyla 14 günlük temas zamanlaması. Henüz yürütülmedi.
Test
Öğeyi denetimli koşullarda çalıştırmak ve sonucu bir değerle karşılaştırarak ölçmek. 3.2 Battery Capacity (ömür başında en az 77 Wh), 20 °C'de C/2 deşarjı olan TC-07 Battery Capacity Test ile doğrulanır. 78.3 Wh ile geçti.

Dördü de doğrulamadır. Bir gösterim “daha yumuşak bir test” değildir ve bir analiz yalnızca bir model kullandığı için bir geçerleme etkinliği olmaz: herhangi birini doğrulama yapan şey, geçme ölçütünün bir gereksinimden gelmesidir.

Geçerleme etkinlikleri

Geçerleme aynı tekniklerin çoğunu farklı bir referansa yönelterek kullanır. Yaygın biçimleri şunlardır:

  • Operasyonel senaryolar. Sistemi veya bir modelini operasyon konsepti boyunca yürütmek: olağan bir gün, bozulmuş bir mod, operatörler arasında bir devir. Soru, her adımın sayısını karşılayıp karşılamadığı değil, senaryonun paydaşın istediğine ulaşıp ulaşmadığıdır.
  • Görev simülasyonu. Operasyonel konsepti gerçekçi ortamlar ve değişkenlikle bir simülasyonda çalıştırmak, ardından sonuçları etkinlik ölçülerine (MOE), yani görevin işini ne kadar iyi yaptığını paydaşın bakış açısından gösteren ölçülere göre okumak.
  • Paydaş incelemeleri. Kullanıcılara konseptleri, prototipleri, örnek ürünleri veya arayüzleri göstermek ve yargılarını kaydetmek. Erken, ucuz ve eksik bir ihtiyacın çoğu zaman ilk kez ortaya çıktığı yer.
  • Operasyonel denemeler ve pilot uygulamalar. Gerçek kullanıcılar, gerçek prosedürler, temsili bir ortam. Çoğu zaman belirleyici geçerleme kanıtıdır ve birçok programda bağımsız bir kuruluşun yürüttüğü resmî bir operasyonel test ve değerlendirmedir.

EO-1 için geçerleme

EO-1 modeli, her biri onu resmîleştiren gereksinimlere izlenen üç paydaş ihtiyacı ve her ihtiyaç için bir geçerleme olayı içeren üçüncü bir test paketi, TS-3 Mission Validation, barındırır. İkisi de EO-1 referans modelinin (v1.0) ve Holarch 2.2.1 veya sonrasında oluşturulan demo projelerin parçasıdır.

İhtiyaçGereksinimler (doğrulanan)Geçerleme olayıDurum
N1 Same-Day Crop Stress Alerts6.2 Image Delivery (aşağı bağlantıdan sonra 6 saat içinde), 6.5 Planning Cycle Time (100 dakika içinde)VAL-01 Customer Alert Pilot: üç pilot çiftlik üzerinden kaydedilmiş geçişler planlama, işleme ve müşteri portalından geçirilir; çiftlik ziraat mühendisleri uyarıları günlük işlerinde kullanırÇalıştırılmadı
N2 Twice-Weekly Revisit1.6 Revisit Time (72 saat içinde), 1.6.1 Ground Track Repeat ve 1.6.2 Off-Nadir Imaging üzerindenVAL-02 Growing Season Revisit Simulation: planlanan yer izi, nadir dışı sınır ve geçmiş bulut örtüsüyle müşteri hedef listesi üzerinde bir sezonluk görüntülemeÇalıştırılmadı
N3 Field-Level Vegetation Maps1.2 Ground Sample Distance (4.5 m), 1.4 Spectral Bands (dört bant, 450–900 nm)VAL-03 Agronomist Map Review: ziraat mühendisleri, dört EO-1 bandında 4.5 m'ye yeniden örneklenmiş hava görüntülerinden yapılan bitki örtüsü haritalarını incelerGeçti: 12 örnek haritanın tümü kabul edildi

Her satır geçerlemenin neden doğrulamanın tekrarı olmadığını gösterir. 1.6, yörüngenin ve yönlendirme sınırlarının bir özelliği olan 72 saat içinde yeniden ziyaret ister ve TC-13 Ground Track Repeat Analysis 3 gün 0.4 saatlik bir tekrar olduğunu zaten göstermiştir. Ancak çiftçilerin haftada iki kez kullanılabilir görüntüye ihtiyacı vardır ve bulutlar 1.6'da yer almaz. Yalnızca bulut istatistikleriyle yapılan bir simülasyon (VAL-02), yazıldığı gibi karşılanan gereksinimin ihtiyacı karşılayıp karşılamadığını söyleyebilir. Karşılamıyorsa çözüm daha iyi bir test değil, yeni veya değiştirilmiş bir gereksinimdir.

N1 de benzerdir. 6.2 ve 6.5 teslim zincirine sayılar koyar ve 6.5'in Monte Carlo analizi (bkz. Monte Carlo kılavuzu) 100 dakikayı karşılama olasılığını yaklaşık %97.6 olarak belirler. Bir ziraat mühendisinin ekin stresini geçiş günü, harekete geçebileceği bir biçimde gerçekten öğrenip öğrenmediği ise farklı bir sorudur ve VAL-01 bunu gerçek kullanıcılarla sorar.

VAL-03, herhangi bir uçuş donanımından önce ilk olarak yürütüldü, çünkü yalnızca örnek görüntülere ve insanlara ihtiyaç duyar. Bu erken geçerlemedir: kamera tasarımı dondurulmadan önce dört bantta 4.5 m'nin tarla düzeyindeki haritalar için yeterince ayrıntılı olduğunu teyit etti. İki inceleyici tarla sınırı katmanları istedi; olası yeni bir ihtiyaç olarak sonuçla birlikte kaydedildi.

Model doğrulama ve model geçerleme

Model tabanlı sistem mühendisliğinde modelin kendisi bir mühendislik ürünüdür ve aynı iki soru ona da uygulanır. Savunma ve havacılık uygulaması bunları modeller ve simülasyonlar için onlarca yıldır tanımlamıştır (doğrulama, geçerleme ve akreditasyon üzerine DoD Instruction 5000.61; modellerin ve simülasyonların güvenilirliği üzerine NASA-STD-7009):

  • Model doğrulama: model doğru oluşturulmuş mu? Gerçekleştirim kendi spesifikasyonuna ve modelleme kurallarına uyuyor mu: simüle edilen bir akışta eksik süre yok, kimsenin gerçekleştirmediği işlev yok, doğrulama olayı olmayan gereksinim yok, denklemler boyut bakımından tutarlı, kod yazarının amaçladığını hesaplıyor.
  • Model geçerleme: amacı için doğru model mi? Destekleyeceği kararlar için gerçek sistemi yeterince yakın temsil ediyor mu? Bu, model gerçeklikle karşılaştırılarak yanıtlanır: test verileri, uçuş verileri, güvenilir ve daha yüksek doğruluklu bir model.
  • Akreditasyon, DoD kullanımında, bir modelin doğrulama ve geçerleme kanıtına dayanarak belirli bir kullanım için kabul edilebilir olduğuna dair resmî karardır.

EO-1'de açık bir örnek vardır. Güç bütçesi, ölçülen tepe dizi gücünü EQ-1.3 denklemiyle yörünge ortalaması güce dönüştürür: yörünge ortalaması = tepe × 0.62 (güneşli kısım) × 0.6 (güç yolu verimi). Bu denklemi doğrulamak aritmetiği, birimleri ve bağlantılarını denetlemek demektir. Geçerlemek ise 0.62 ve 0.6'nın gerçek yörüngeye ve gerçek güç zincirine uyup uymadığını sormak demektir; örneğin tahmini, simüle edilmiş bir yörünge boyunca flatsat üzerinde ölçülen yörünge ortalaması güçle karşılaştırarak. Aşağıdaki 3.1 gereksinimine ilişkin hüküm tamamen bu denkleme bağlıdır; dolayısıyla geçerlenmemiş bir EQ-1.3 kusursuz bir testi bile sonuçsuz bırakır.

Temel kural: bir analiz veya simülasyon doğrulama kanıtı olarak kullanıldığında, modelinin de kararın ona ne kadar dayandığıyla orantılı olarak kendi geçerleme kanıtına ihtiyacı vardır.

İkisinin ardındaki izlenebilirlik

Doğrulama ve geçerlemenin her birinin kendi bağlantı zincirine ihtiyacı vardır:

  • İhtiyaçlar → geçerleme. Her paydaş ihtiyacı, amaçlanan kullanımda karşılandığını gösterecek geçerleme etkinliğine ve onu resmîleştiren gereksinimlere bağlanır.
  • Gereksinimler → doğrulama. Her gereksinim, onu doğrulayan teste, analize, muayeneye veya gösterime bir yöntem, bir düzey ve başarı ölçütleriyle bağlanır. Gereksinim doğrulama matrisi bu zincirin raporudur.

Birlikte, bir inceleme kurulunun sorduğu iki kapsam sorusunu yanıtlarlar: her gereksinim doğrulandı mı ve her ihtiyaç geçerlendi mi? İhtiyaçlar ile gereksinimler arasındaki bağlantılar iki zinciri birbirine bağlar; böylece bir taraftaki boşluk diğerine izlenebilir: gereksinimlerinin tümü geçtiği hâlde geçerlemesi başarısız olan bir ihtiyaç, eksik veya yanlış bir gereksinime işaret eder.

Matriste iki zincir yan yana durur: gereksinimler TC test senaryolarıyla doğrulanır, ihtiyaçlar VAL olaylarıyla geçerlenir. Matris bir doğrulama boşluğunu da gösterir: 6.5 Planning Cycle Time'ın bir yöntemi (analiz) vardır ama modelde henüz doğrulayan bir olayı yoktur. Monte Carlo kılavuzu bu analizi yürütür; sonucunu bir test senaryosu olarak kaydetmek satırı kapatır.

Uygulamada doğrulama kanıtı: TC-06

EO-1'in TC-06 Solar Array Power Test'i, doğrulama kanıtını neyin iyi kıldığını ve nasıl geçerliliğini yitirdiğini gösterir. Kayıt eksiksizdir: M. Chen testi C revizyonlu kablo demetiyle QM-1 ve QM-2 dizi yeterlilik panelleri üzerinde, AM0'da (1361 W/m², tekdüzelik %1.4) geniş alanlı güneş simülatörü altında yürüttü ve I-V eğrisini tc06-array-iv-curve.csv olarak ekledi. Tepe güç, en az 72 W'lık beklenen sonuca karşı 75.1 W idi. Başarılı.

Ardından 3.1 Orbit Average Power gereksinimi ön tasarım incelemesinden sonra 28 W'tan 30 W'a yükseltildi. Test sonucu değişmedi, ama kanıtladığı şey değişti. EQ-1.3 üzerinden 75.1 W tepe güç, 30 W'ın altında, 27.9 W yörünge ortalamasıdır (75.1 × 0.62 × 0.6); 30 W'ı göstermek yaklaşık 80.6 W tepe güç gerektirir. Bu yüzden 3.1'den TC-06'ya uzanan bağlantı şüpheli olarak işaretlenir ve TC-06'nın beklenen sonucu yeni gereksinimden yeniden türetilip test yeniden yürütülene veya tasarım değişene kadar şüpheli kalır. RVTM kılavuzu incelemeyi adım adım anlatır; değişiklik etki analizi kılavuzu da aynı değişikliği tasarım boyunca izler.

Bundan doğrulama kanıtı için üç ders çıkar:

  1. Kanıt bir konfigürasyona ve bir gereksinim sürümüne bağlıdır. 28 W'a göre kaydedilmiş bir başarı, 30 W için kanıt değildir.
  2. Geçme ölçütü gereksinimden gelmelidir. TC-06'nın 72 W sınırı yalnızca 26.8 W yörünge ortalamasına karşılık gelir; yani eski 28 W'ı bile göstermedi. Bir test kendi ölçütünü geçip yine de gereksinimini doğrulayamayabilir.
  3. Döngüdeki analiz geçerleme gerektirir. Hüküm EQ-1.3'ün iki çarpanına bağlıdır; bu da önceki bölümdeki model geçerleme sorusudur.

Ve bunların hiçbiri geçerleme değildir. Temiz bir 30 W sonucu bile yalnızca dizilerin 3.1'i karşıladığını gösterirdi. Çiftlik müşterileri için günde 120 sahne görüntülemeye 30 W'ın yetip yetmediği, görev düzeyindeki geçerleme olaylarının yanıtladığı türden bir sorudur.

Doğrulama ve geçerlemenin karşılaştırması

DoğrulamaGeçerleme
SoruSistemi doğru mu ürettik?Doğru sistemi mi ürettik?
KarşılaştırıldığıGereksinimler ve tasarım spesifikasyonlarıPaydaş ihtiyaçları, amaçlanan kullanım, etkinlik ölçüleri
ISO/IEC/IEEE 15288Doğrulama süreci (6.4.9)Geçerleme süreci (6.4.11)
Tipik yöntemlerMuayene, analiz, gösterim, testOperasyonel senaryolar, görev simülasyonu, paydaş incelemeleri, operasyonel denemeler, saha verileri
DüzeylerBileşen, alt sistem, sistemEsas olarak operasyonel ortamındaki sistem; konseptler ve prototipler üzerinde erken geçerleme
OrtamDenetimli: laboratuvar, tezgâh, simülatörGerçek kullanımı temsil eden, mümkün olduğunda gerçek kullanıcılarla
Kim değerlendirirYazılı ölçütlere göre mühendislik ekibi; kabulde müşteriPaydaşlar ve kullanıcılar, çoğu zaman bağımsız bir değerlendiriciyle
SonuçGereksinim başına geçti veya kaldıİhtiyaç karşılandı, kısmen karşılandı veya karşılanmadı; çoğu zaman yeni veya değişen ihtiyaçlarla
İzlenebilirlikGereksinim → doğrulama olayıİhtiyaç → geçerleme olayı
Olağan kayıtGereksinim doğrulama matrisi, test raporlarıGeçerleme planı ve raporu, operasyonel değerlendirme raporu
Bir başarısızlığın anlamıSistem bir gereksinimi karşılamıyor: tasarımı veya üretimi düzeltinGereksinimler ihtiyacı yakalamadı: önce gereksinimleri, sonra tasarımı düzeltin
EO-1 örneğiTC-07: 77 Wh'e karşı 78.3 Wh bataryaVAL-03: ziraat mühendisleri dört bantlı 4.5 m haritaları kabul ediyor

Yaygın karışıklıklar

  • “Geçerleme son testtir.” Sona yakın sistem düzeyi testler genellikle hâlâ doğrulamadır. Geçerleme zamanlamasıyla değil, referansıyla (ihtiyaçlar ve amaçlanan kullanım) tanımlanır ve sondan çok önce başlamalıdır.
  • “Tüm gereksinimler geçti, o hâlde sistem geçerlendi.” Gereksinimlerin geçmesi, gereksinimlerin karşılandığını gösterir. Doğru gereksinimler olup olmadıkları hakkında hiçbir şey söylemez. EO-1, 1.6'yı tam olarak karşılayıp gerçek bulut örtüsü altında yine de N2'yi ıskalayabilir.
  • Bir gereksinimi geçerlemek ile sistemi doğrulamak. Bu sözcükler gereksinimlerin kendilerine de uygulanır. INCOSE Guide to Needs and Requirements, gereksinim doğrulamayı (ifade iyi biçimlendirilmiş mi: gerekli, belirsizlikten uzak, doğrulanabilir mi?) ve gereksinim geçerlemeyi (geldiği ihtiyacı ifade ediyor mu?) sistem doğrulama ve sistem geçerlemeden ayırır. Hangisini kastettiğinizi belirtin. Gereksinim yazma kılavuzu ifadelerin doğrulanabilir kılınmasını ele alır.
  • “Gösterim geçerlemedir.” Bir gereksinimin gösterimi doğrulamadır. Kullanıcılarla, onların ihtiyaçlarına göre değerlendirilen bir operasyonel senaryonun gösterimi geçerlemedir. Buna yöntem değil, referans karar verir.
  • “Bir simülasyon bir geçerlemedir.” Simülasyon bir tekniktir. 6.5'in planlama döngüsünü 100 dakikaya karşı simüle etmek 6.5'i doğrular. Bir büyüme sezonunu “haftada iki kez kullanılabilir görüntü”ye karşı simüle etmek N2'yi geçerler. Simülasyon modelinin kendisinin de kendi geçerlemesine ihtiyacı vardır.
  • IV&V “daha fazla V&V” demektir. Bağımsız doğrulama ve geçerleme, yönetim, bütçe ve teknik yargı bakımından geliştiriciden ayrı bir kuruluşun yürüttüğü V&V'dir. Üçüncü bir etkinlik değil, işi kimin yaptığıyla ilgilidir.
  • Bağlantıları sonuç olarak saymak. Bir geçerleme olayına bağlanmış bir ihtiyaç geçerleme için planlanmıştır, geçerlenmiş değildir. Bir kapsam sayısı neyin planlandığını söyler; neyin gösterildiğini yalnızca sonuçlar söyler.

Holarch her birini nasıl kaydeder

Bir LML projesinde doğrulama ve geçerleme, ihtiyaçlar ve gereksinimlerle aynı modelde, aynı öğe ve bağlantı türleriyle tutulur:

  • İhtiyaçlar Statement'tır (Requirement değil) ve onları resmîleştiren gereksinimlere traced to ile bağlanır.
  • Doğrulama planlaması her Requirement üzerinde bulunur: Doğrulama yöntemi (Analysis, Demonstration, Inspection, Test, herhangi bir bileşimde), düzey ve başarı ölçütleri.
  • Doğrulama olayları Test Suite'lerdeki Test Case'lerdir ve gereksinimlere verifies ile bağlanır. Analizler, muayeneler ve gösterimler de test senaryosudur. Her çalıştırma testi yapanı, konfigürasyonu, test ürününü ve kanıt dosyasını kaydeder; başarısız testler Issue olur ve test döngüleri her kampanyayı saklar.
  • Geçerleme olayları da kendi paketlerinde (yukarıdaki TS-3 gibi) Test Case olabilir ve ihtiyaca verifies ile bağlanır. Standart LML şeması verifies ilişkisine yalnızca gereksinimlere doğru izin verir; bu yüzden EO-1 modelinin şeması bir hedef ekler: Test Case verifies Statement. Kendi projenizde bunu İzlenebilirlik Matrisi'nde bağlamadan önce Şema içinde ekleyin (Test Case'i açın, + İlişki). RVTM ve Doğrulama kapsamı yalnızca gereksinimleri sayar; bu yüzden geçerleme olayları “32 gereksinimden 11'i doğrulandı” rakamını değiştirmez; matris onları gereksinimlerin yanında gösterir.
  • Etkinlik ölçüleri, eşik ve hedef değerleri olan, MOE etiketli Measure'lardır. Simülatör'deki bir Monte Carlo çalışması bir çıktıyı bir gereksinime veya bir Measure'a göre denetleyip sonucu bir Test Case olarak kaydedebilir; bir analiz doğrulama kanıtına bu şekilde dönüşür.
  • Değişiklikler, TC-06'da olduğu gibi doğrulayan bir test senaryosuna giden bağlantı dahil, bağlantıları şüpheli olarak işaretler.
  • Model doğrulama, Doğrulama → Model denetimleri'nin yaptığı şeydir: doğrulayan test senaryosu olmayan yaprak gereksinimler ve Issue'su olmayan başarısız testler gibi modelin tamamı üzerinde kurallar. Action diyagramlarının bir simülasyon çalışmadan önce kendi denetimleri vardır. Holarch'ta model geçerleme için ayrı bir kayıt yoktur; test veya uçuş verileriyle karşılaştırmayı, modele dayanan analiz test senaryosunun kanıtı olarak saklayın.

SE Süreci rehberi V'nin iki tarafını da gösterir. V modeli süreciyle Doğrulama bağlantıları kartı sağ taraftaki her aşamayı denetlediği sol taraftaki aşamayla eşleştirir: sistem geçerlemeyi operasyon konseptiyle (“ihtiyaçlar geçerlendi”), sistem doğrulamayı sistem gereksinimleriyle (“gereksinimler doğrulandı”) ve aşağıdaki alt sistem ve birim düzeylerini.

Kartı, yukarıdaki karışıklığın ışığında bir kapsam olarak okuyun. Bir ihtiyaç, ona verifies ile bir test senaryosu bağlandığında veya ondan izlenen bir gereksinim geçtiğinde geçerlenmiş sayılır; bu yüzden VAL-01 ve VAL-02 çalıştırılmamış olsa da N1 ve N2 sayılır. Kart, izlenen ve gereksinim olmayan her Statement'ı bir ihtiyaç olarak sayar; demoda bu, N1–N3'e bir varsayım (1.1 Reference Orbit) ve üç operasyonel kural (OR-1 ile OR-3) ekler; 7 göstermesinin nedeni budur. Geçerleme sonuçlarının kendisi Test Merkezi'ndedir.

Belgeler planları taşıyabilir: belge şablonları arasında modelden güncellenen canlı VCRM ve RVTM bloklarıyla bir Concept of Operations, bir Verification and Validation Plan, bir Test Plan, bir Test Report ve bir IV&V Plan bulunur.

Holarch'ta deneyin

  1. EO-1 projesini oluşturun: Projeleri yönet → Proje dosyaları ▾ → Yeni demo proje → CubeSat (Rehberli sistem mühendisliği) veya EO-1 referans modelini içe aktarın.
  2. ⌘K / Ctrl+K tuşlarına basın, crop stress yazın ve N1 Same-Day Crop Stress Alerts öğesini açın: ilişkileri, traced to ile bağlı olduğu gereksinimleri ve onu doğrulayan VAL olayını gösterir. Kendi ihtiyacınızı bir Statement olarak ekleyin; örneğin bir gereksinim belgesinde Öğe ekle ▸ ile.
  3. Doğrulama → Test Merkezi içinde TS-3 Mission Validation paketini açın. Kendi paketiniz için + Yeni ▾ → Test paketi…, ardından her geçerleme olayı için kurulumu ve paydaş terimleriyle beklenen sonucuyla + Test senaryosu düğmesine tıklayın.
  4. Doğrulama → İzlenebilirlik Matrisi öğesini satırlarda ihtiyaçlar, sütunlarda geçerleme test senaryolarıyla açın ve Doğrulayan seçeneğini belirleyin: her ihtiyacın kendi VAL olayı vardır. Bağlantı eklemek için boş bir hücreye tıklayın.
  5. Gereksinim doğrulamayı görmek için Doğrulama → RVTM öğesini, V'nin iki tarafını görmek için V modeli ile Plan → SE Süreci öğesini açın.

Tam başvurular: Doğrulama, İzlenebilirlik, SE Süreci ve Model denetimleri.

Sıkça sorulan sorular

Önce hangisi gelir, doğrulama mı geçerleme mi?

Resmî sistem geçerlemesi genellikle sistem doğrulamasından sonra gelir, çünkü amaçlanan ortamında belirtildiği gibi çalışan bir sisteme ihtiyaç duyar. Ancak geçerleme etkinlikleri önce başlar: konseptin ve gereksinimlerin paydaş incelemeleri, herhangi bir doğrulama mümkün olmadan önce yapılır. İkisini de başta planlayın.

Tek bir etkinlik ikisini birden yapabilir mi?

Evet, öyle planlanmışsa ve iki referansa göre de değerlendiriliyorsa. Uçtan uca bir operasyon provası 6.1 Contact Scheduling'i 48 saatlik ölçütüne göre doğrulayabilir ve gerçek operatörlerle müşterilerin katılımıyla N1 için geçerleme kanıtı toplayabilir. İki hükmü ayrı ayrı kaydedin, çünkü farklı olabilirler.

Geçerlemeyi kim yapar?

Geliştirici genellikle onu planlar ve destekler, ancak değerlendirme paydaşlara aittir: kullanıcılar, operatörler, müşteri, bazen bağımsız bir test kuruluşu. Paydaşlar olmadan yapılan geçerleme, onların ihtiyaçları hakkında bir tahmindir.

Doğrulama geçtiği hâlde geçerleme başarısız olursa ne olur?

Gereksinimler ihtiyacı yakalamamıştır. Başarısız olan ihtiyacı gereksinimlerine izleyin, eksik veya yanlış olanı bulun, değişiklik kontrolü yoluyla değiştirin ve şüpheli bağlantıları tasarıma ve doğrulamaya kadar izleyin. Bu, sistem mühendisliğindeki en pahalı başarısızlıktır; erken geçerlemenin karşılığını vermesinin nedeni de budur.

Sonra nereye gidilir