Holarch

מדריך · אימות

אימות לעומת תיקוף בהנדסת מערכות

האזנה למדריך 29 דק׳

אימות מראה שמערכת עומדת בדרישות שלה; תיקוף מראה שהיא עונה על צורכי בעלי העניין בשימוש המיועד שלה. המדריך הזה מכסה את ההגדרות ב-ISO/IEC/IEEE 15288, מול מה כל אחד מהם בודק, היכן שניהם מתרחשים במחזור החיים, את ארבע שיטות האימות, פעילויות תיקוף, אימות ותיקוף של מודלים, את העקיבות שמאחורי שניהם, ואת הטעויות שמטשטשות ביניהם, על דוגמה של CubeSat בגודל 6U.

בדף זה
  1. התשובה הקצרה
  2. הגדרות ב-ISO/IEC/IEEE 15288
  3. מול מה כל אחד בודק
  4. מתי כל אחד מתרחש במחזור החיים
    1. מודל ה-V
    2. V&V מדורג ורציף
  5. ארבע שיטות האימות
  6. פעילויות תיקוף
    1. תיקוף עבור EO-1
  7. אימות מודל ותיקוף מודל
  8. העקיבות שמאחורי שניהם
  9. ראיות אימות בפועל: TC-06
  10. השוואה בין אימות לתיקוף
  11. בלבולים נפוצים
  12. איך Holarch מתעד כל אחד
    1. לנסות ב-Holarch
  13. שאלות נפוצות
    1. מה קודם, אימות או תיקוף?
    2. האם פעילות אחת יכולה לעשות את שניהם?
    3. מי מבצע תיקוף?
    4. מה קורה כשהתיקוף נכשל אבל האימות עבר?
  14. לאן ממשיכים

התשובה הקצרה

אימות שואל: האם בנינו את המערכת נכון? הוא משווה את המערכת לדרישות שלה, הצהרה אחר הצהרה, ומפיק ראיות שכל אחת מהן מתקיימת. תיקוף שואל: האם בנינו את המערכת הנכונה? הוא משווה את המערכת למה שבעלי העניין שלה צריכים ולאופן שבו ישתמשו בה, ומפיק ראיות שהמערכת עושה את העבודה שלשמה נרכשה.

שתי השאלות נשמעות דומות ולעיתים קרובות מבוצעות על ידי אותו צוות עם אותו ציוד, אבל הן יכולות לתת תשובות שונות. מערכת יכולה לעבור כל דרישה ועדיין להכשיל את המשתמשים שלה, כי דרישה הייתה חסרה, שגויה או נכתבה לשימוש אחר מהשימוש האמיתי. מערכת יכולה גם לשרת את המשתמשים שלה היטב ובכל זאת להיכשל בדרישה שמתבררת כלא חשובה. הנדסת מערכות מפרידה בין השניים כי כל אחד מהם תופס טעויות שהאחר אינו יכול לראות.

הניסוח “לבנות את המוצר נכון” מול “לבנות את המוצר הנכון” מיוחס בדרך כלל לעבודתו המוקדמת של Barry Boehm על הנדסת תוכנה, והוא נשאר הדרך הקצרה ביותר לזכור את ההבדל.

הגדרות ב-ISO/IEC/IEEE 15288

ISO/IEC/IEEE 15288, התקן הבינלאומי לתהליכי מחזור החיים של מערכות, מתייחס לאימות ולתיקוף כשני תהליכים טכניים נפרדים: תהליך האימות (סעיף 6.4.9) ותהליך התיקוף (סעיף 6.4.11). השילוב נמצא לפני האימות, והמעבר נמצא בין השניים: המערכת מאומתת כפי שנבנתה, נמסרת לסביבת ההפעלה שלה, ואז מתוקפת שם.

  • אימות הוא אישור, באמצעות ראיות אובייקטיביות, שדרישות מוגדרות התמלאו. המטרה שלו בתקן היא להראות שהמערכת או הרכיב עומדים בדרישות ובמאפיינים שלהם, ולדווח על כל חריגה שנמצאה בדרך.
  • תיקוף הוא אישור, באמצעות ראיות אובייקטיביות, שהדרישות לשימוש או ליישום מיועד מסוים התמלאו. המטרה שלו היא להראות שהמערכת, כשהיא בשימוש בסביבה המיועדת לה, עונה על צורכי בעלי העניין ומשיגה את יעדי העסק או המשימה שלה.

שתי ההגדרות נשענות על ראיות אובייקטיביות: תוצאה מדודה, דוח ניתוח, רישום בחינה או הדגמה שנצפתה, שמישהו אחר יכול לבדוק. דעה, “זה נראה בסדר” ובדיקה שאיש לא תיעד אינן ראיות. ההבדל בין השניים טמון בנקודת הייחוס שכל אחד מהם משווה אליה.

ה-INCOSE Systems Engineering Handbook (מהדורה 5, סעיפים 2.3.5.9 ו-2.3.5.11) הולך לפי אותה חלוקה, וה-NASA Systems Engineering Handbook ‏(NASA/SP-2016-6105 Rev 2) נותן להם תהליכי מימוש מוצר נפרדים: אימות מוצר (סעיף 5.3) ותיקוף מוצר (סעיף 5.4). המדריך של NASA אומר דבר מועיל בפשטות: אימות מראה שהמוצר נבנה לפי המפרט; תיקוף מראה שהמפרט, ולכן גם המוצר, היו הנכונים.

מול מה כל אחד בודק

הדרך הברורה ביותר להבחין ביניהם היא לשאול למה משווים את הראיות.

  • אימות בודק מול דרישות. נקודת הייחוס היא הצהרות ה-“shall” של מפרטי המערכת, תת-המערכות והרכיבים. הן נכתבות על ידי הצוות ההנדסי, מוסכמות עם בעלי העניין, ומנוסחות כך שבדיקה, ניתוח, בחינה או הדגמה יכולים לתת עובר או נכשל. ISO/IEC/IEEE 29148 מונה ניתנת לאימות בין המאפיינים שכל דרישה חייבת שיהיו לה (סעיף 5.2.5) בדיוק מהסיבה הזו: דרישה שאי אפשר לאמת אינה יכולה להשתתף באימות כלל.
  • תיקוף בודק מול צורכי בעלי העניין והשימוש המיועד. נקודת הייחוס היא מה שמשתמשים, מפעילים, לקוחות ובעלי עניין אחרים מצפים לו, במונחים שלהם, יחד עם תנאי השימוש האמיתי: תרחישי התפעול, הסביבה, האנשים שיפעילו את המערכת ומדדי האפקטיביות שאומרים מה פירוש “טוב” מבחינתם. צרכים הם לעיתים קרובות איכותניים, ולכן תיקוף נשען על תרחישים, סימולציה, ניסויים ושיקול הדעת של בעלי העניין, ולא רק על מדידה.

ההשוואה בין צרכים לדרישות במדריך לעקיבות מסכמת זאת בשורה אחת: צרכים מתוקפים, דרישות מאומתות. כל השאר במדריך הזה נובע מכך.

מתי כל אחד מתרחש במחזור החיים

מודל ה-V

מודל ה-Vee מצייר את מחזור החיים כ-V. הצד השמאלי יורד דרך פירוק והגדרה: קונספט התפעול, דרישות המערכת, תכן ברמה גבוהה, תכן מפורט. המימוש נמצא בתחתית. הצד הימני עולה דרך שילוב ובדיקה, וכל שלב מימין עונה לשלב שמולו:

צד ימיןבודק מול (צד שמאל)סוג
אימות יחידהתכן מפורטאימות
אימות תת-מערכתתכן ברמה גבוההאימות
אימות מערכתדרישות המערכתאימות
תיקוף מערכתקונספט התפעול וצורכי בעלי הענייןתיקוף

הזוג העליון הוא זוג התיקוף היחיד, ולכן התיקוף מצויר לעיתים קרובות כשלב האחרון. ה-V מראה היכן מופקות הראיות הסופיות, לא מתי העבודה מתחילה. כל פעילות אימות ותיקוף מתוכננת בצד השמאלי, באותו זמן כמו הפריט שהיא בודקת: גישת התיקוף עם קונספט התפעול, שיטת האימות עם כל דרישה.

V&V מדורג ורציף

לחכות למערכת משולבת לפני ששואלים אם היא הנכונה היא הדרך היקרה ביותר לגלות שהיא לא. בפועל שתי הפעילויות פרוסות לאורך מחזור החיים:

  • תיקוף מוקדם. קונספטים, דגמים, מוצרים לדוגמה וסימולציות מוצגים לבעלי העניין הרבה לפני שקיימת חומרה. כל סקירה מורידה את הסיכון שהדרישות מקודדות את הצורך הלא נכון.
  • אימות בכל רמה. רכיבים מאומתים לפני השילוב, תת-מערכות לפני המערכת. פגם שנמצא על שולחן העבודה עולה הרבה פחות מפגם שנמצא בבדיקת המערכת.
  • V&V רציף בפיתוח איטרטיבי. צוותים שמספקים במנות, כמו צוותי תוכנה שעובדים עם אינטגרציה רציפה, מריצים אימות אוטומטי בכל build ומתקפים כל מנה עם משתמשים. שתי השאלות נשארות אותן שאלות; הן נשאלות לעיתים קרובות הרבה יותר.

ארבע שיטות האימות

רוב התקנים והמדריכים משתמשים באותן ארבע שיטות. המדריך ל-RVTM מסביר איך לבחור ביניהן; כאן כל אחת מוצגת עם שורה מה-CubeSat ‏EO-1 שמשמש לאורך המדריך הזה, חללית בדיונית בגודל 6U שמצלמת שטחים חקלאיים בארבעה פסים ספקטרליים ממסלול בגובה 500 km, עם 32 דרישות במפרט שלה.

בחינה
בחינת הפריט או הרישומים שלו בלי להפעיל אותו. 3.4 Bus Regulation של EO-1 ‏(12 V בטווח של 2%) מאומתת על ידי TC-18 Bus Regulation Inspection, סקירה של התכן של יחידת חלוקת ההספק ושל נתוני מדרגות העומס מבדיקות הכשירות שלה. היא עברה: המקרה הגרוע ביותר היה 11.81 V, בתוך 11.76–12.24 V.
ניתוח
חישוב, מידול או סימולציה, לעיתים קרובות על בסיס נתוני בדיקה מרמה נמוכה יותר. את 1.7 Mission Lifetime ‏(730 ימים במסלול) אי אפשר לבדוק על הקרקע, ולכן TC-16 Lifetime Reliability Analysis משלב שיעורי כשל של חלקים, מנת קרינה ודעיכת סוללה. הוא עבר עם הסתברות של 0.86 לפעולה במשך 730 ימים, מול 0.8 לפחות.
הדגמה
הפעלת הפריט כדי להראות שהוא עושה משהו, בתצפית אך בלי מדידה מדויקת. 6.1 Contact Scheduling (קשרים שמוזמנים 48 שעות מראש) אמורה להיות מוצגת על ידי TC-20 Operations Rehearsal: ‏14 ימים של תזמון קשרים עם רשת הקרקע של השותפים. היא עדיין לא בוצעה.
Test
הפעלת הפריט בתנאים מבוקרים ומדידת התוצאה מול ערך. 3.2 Battery Capacity ‏(77 Wh לפחות בתחילת החיים) מאומתת על ידי TC-07 Battery Capacity Test, פריקה ב-C/2 בטמפרטורה של 20 °C. היא עברה עם 78.3 Wh.

כל הארבע הן אימות. הדגמה אינה “בדיקה רכה יותר”, וניתוח אינו פעילות תיקוף רק משום שהוא משתמש במודל: מה שהופך כל אחת מהן לאימות הוא שקריטריון המעבר מגיע מדרישה.

פעילויות תיקוף

תיקוף משתמש ברבות מאותן טכניקות, אבל מכוון לנקודת ייחוס אחרת. הצורות הנפוצות הן:

  • תרחישי תפעול. הולכת המערכת, או מודל שלה, דרך קונספט התפעול: יום רגיל, מצב פגוע, העברה בין מפעילים. השאלה היא אם התרחיש משיג את מה שבעל העניין רצה, לא אם כל שלב עומד במספר שלו.
  • סימולציית משימה. הרצת קונספט התפעול בסימולציה עם סביבות ושונות מציאותיות, ואז קריאת התוצאות מול מדדי אפקטיביות (MOEs), המדדים שפונים לבעלי העניין ומראים עד כמה המשימה עושה את עבודתה היטב.
  • סקירות עם בעלי עניין. הצגת קונספטים, אבות טיפוס, מוצרים לדוגמה או ממשקים למשתמשים ותיעוד שיקול הדעת שלהם. מוקדם, זול, ולעיתים קרובות הפעם הראשונה שצורך חסר עולה על פני השטח.
  • ניסויים מבצעיים ופיילוטים. משתמשים אמיתיים, נהלים אמיתיים, סביבה מייצגת. לעיתים קרובות ראיות התיקוף המכריעות, ובתוכניות רבות ניסוי והערכה מבצעיים רשמיים על ידי ארגון בלתי תלוי.

תיקוף עבור EO-1

מודל EO-1 מכיל שלושה צורכי בעלי עניין, שכל אחד מהם ניתן לעקיבה אל הדרישות שממסדות אותו, וחבילת בדיקות שלישית, TS-3 Mission Validation, עם אירוע תיקוף אחד לכל צורך. שניהם חלק ממודל הייחוס EO-1 ‏(v1.0) ומפרויקטי הדגמה שנוצרו ב-Holarch 2.2.1 ואילך.

צורךדרישות (מאומתות)אירוע תיקוףמצב
N1 Same-Day Crop Stress Alerts6.2 Image Delivery (בתוך 6 שעות מהשידור למטה), 6.5 Planning Cycle Time (בתוך 100 דקות)VAL-01 Customer Alert Pilot: מעברים מוקלטים מעל שלוש חוות פיילוט שמורצים דרך התכנון, העיבוד ופורטל הלקוחות, כשהאגרונומים של החוות משתמשים בהתראות בשגרה היומית שלהםלא הורץ
N2 Twice-Weekly Revisit1.6 Revisit Time (בתוך 72 שעות), דרך 1.6.1 Ground Track Repeat ו-1.6.2 Off-Nadir ImagingVAL-02 Growing Season Revisit Simulation: עונה אחת של צילום מעל רשימת המטרות של הלקוחות עם מסלול הקרקע המתוכנן, מגבלת ה-off-nadir וכיסוי העננים ההיסטורילא הורץ
N3 Field-Level Vegetation Maps1.2 Ground Sample Distance ‏(4.5 m), ‏1.4 Spectral Bands (ארבעה פסים, 450–900 nm)VAL-03 Agronomist Map Review: אגרונומים סוקרים מפות צמחייה שנוצרו מצילומים מוטסים שנדגמו מחדש ל-4.5 m בארבעת הפסים של EO-1עבר: כל 12 המפות לדוגמה התקבלו

כל שורה מראה מדוע תיקוף אינו חזרה על אימות. 1.6 מבקשת ביקור חוזר בתוך 72 שעות, תכונה של המסלול ושל מגבלות ההצבעה, ו-TC-13 Ground Track Repeat Analysis כבר הראה חזרה של 3 ימים ו-0.4 שעות. אבל חקלאים צריכים צילומים שמישים פעמיים בשבוע, ועננים אינם מופיעים ב-1.6. רק סימולציה עם סטטיסטיקת עננים (VAL-02) יכולה לומר אם הדרישה, כשהיא מתקיימת כפי שנכתבה, מספקת את הצורך. אם לא, התיקון הוא דרישה חדשה או משונה, לא בדיקה טובה יותר.

N1 דומה. 6.2 ו-6.5 נותנות מספרים לשרשרת המסירה, וניתוח מונטה קרלו של 6.5 (ראו המדריך למונטה קרלו) מעריך את ההסתברות לעמוד ב-100 דקות בכ-97.6%. האם אגרונום אכן לומד על עקת גידולים ביום המעבר, בצורה שהוא יכול לפעול לפיה, היא שאלה אחרת, ו-VAL-01 שואל אותה עם משתמשים אמיתיים.

VAL-03 רץ ראשון, לפני כל חומרת טיסה, כי הוא צריך רק צילומים לדוגמה ואנשים. זה תיקוף מוקדם: הוא אישר ש-4.5 m בארבעה פסים מפורטים מספיק למפות ברמת השדה לפני שתכן המצלמה הוקפא. שני סוקרים ביקשו שכבות של גבולות שדות, צורך חדש אפשרי שתועד עם התוצאה.

אימות מודל ותיקוף מודל

בהנדסת מערכות מבוססת מודלים, המודל עצמו הוא תוצר הנדסי, ואותן שתי שאלות חלות עליו. הפרקטיקה בתעשיות הביטחון והתעופה והחלל הגדירה אותן למודלים ולסימולציות כבר עשרות שנים (DoD Instruction 5000.61 על אימות, תיקוף והסמכה; NASA-STD-7009 על אמינות מודלים וסימולציות):

  • אימות מודל: האם המודל בנוי נכון? האם המימוש תואם את המפרט שלו ואת כללי המידול: אין משכי זמן חסרים בזרימה מדומה, אין פונקציה שאיש אינו מבצע, אין דרישה בלי אירוע מאמת, המשוואות עקביות מבחינת ממדים, והקוד מחשב את מה שהכותב שלו התכוון.
  • תיקוף מודל: האם זה המודל הנכון למטרה שלו? האם הוא מייצג את המערכת האמיתית מקרוב מספיק עבור ההחלטות שהוא יתמוך בהן? על כך עונים בהשוואת המודל למציאות: נתוני בדיקה, נתוני טיסה, מודל אמין בנאמנות גבוהה יותר.
  • הסמכה, בשימוש של DoD, היא ההחלטה הרשמית שמודל מתאים לשימוש מסוים, על סמך ראיות האימות והתיקוף שלו.

ל-EO-1 יש מקרה ברור. תקציב ההספק שלו ממיר הספק מערך מרבי שנמדד להספק ממוצע למסלול במשוואה EQ-1.3: ממוצע למסלול = שיא × 0.62 (החלק המואר) × 0.6 (נצילות מסלול ההספק). אימות המשוואה הזו פירושו לבדוק את החשבון, את היחידות ואת הקישורים שלה. תיקוף שלה פירושו לשאול אם 0.62 ו-0.6 תואמים את המסלול האמיתי ואת שרשרת ההספק האמיתית, למשל בהשוואת התחזית להספק הממוצע למסלול שנמדד על ה-flatsat לאורך מסלול מדומה. הפסיקה על דרישה 3.1 בהמשך תלויה כולה במשוואה הזו, ולכן EQ-1.3 שלא תוקפה הייתה הופכת גם בדיקה מושלמת ללא חד-משמעית.

כלל האצבע: כשניתוח או סימולציה משמשים כראיית אימות, המודל שלהם צריך ראיות תיקוף משלו, ביחס למידה שבה ההחלטה נשענת עליו.

העקיבות שמאחורי שניהם

לאימות ולתיקוף כל אחד צריך שרשרת קישורים משלו:

  • צרכים ← תיקוף. כל צורך של בעל עניין מקושר לפעילות התיקוף שתראה שהוא מתקיים בשימוש המיועד, ולדרישות שממסדות אותו.
  • דרישות ← אימות. כל דרישה מקושרת לבדיקה, לניתוח, לבחינה או להדגמה שמאמתים אותה, עם שיטה, רמה וקריטריוני הצלחה. מטריצת אימות הדרישות היא הדוח של השרשרת הזו.

יחד הן עונות על שתי שאלות הכיסוי שוועדת סקירה שואלת: האם כל דרישה מאומתת, והאם כל צורך מתוקף? הקישורים בין צרכים לדרישות מחברים את שתי השרשראות, כך שאפשר לעקוב אחר פער בצד אחד אל הצד השני: צורך שכל הדרישות שלו עוברות אבל התיקוף שלו נכשל מצביע על דרישה חסרה או שגויה.

במטריצה שתי השרשראות נמצאות זו לצד זו: דרישות מאומתות על ידי מקרי בדיקה TC, צרכים מתוקפים על ידי אירועי VAL. המטריצה גם מראה פער אימות: ל-6.5 Planning Cycle Time יש שיטה (ניתוח) אבל עדיין אין במודל אירוע מאמת. המדריך למונטה קרלו מריץ את הניתוח הזה; תיעוד התוצאה שלו כמקרה בדיקה יסגור את השורה.

ראיות אימות בפועל: TC-06

TC-06 Solar Array Power Test של EO-1 מראה מה הופך ראיית אימות לטובה, ואיך היא מפסיקה להיחשב. הרישום שלם: M. Chen הריץ אותה על פאנלי ההכשרה של המערך QM-1 ו-QM-2 עם רתמה בגרסה C, תחת מדמה השמש בשטח גדול ב-AM0 ‏(1361 W/m², אחידות 1.4%), וצירף את עקומת ה-I-V כ-tc06-array-iv-curve.csv. ההספק המרבי היה 75.1 W מול תוצאה צפויה של 72 W לפחות. עבר.

אחר כך דרישה 3.1 Orbit Average Power הועלתה מ-28 W ל-30 W אחרי סקירת התכן המקדמית. תוצאת הבדיקה לא השתנתה, אבל מה שהיא מוכיחה השתנה. דרך EQ-1.3, שיא של 75.1 W הוא ממוצע למסלול של 27.9 W ‏(75.1 × 0.62 × 0.6), מתחת ל-30 W; כדי להראות 30 W יידרש שיא של כ-80.6 W. לכן הקישור מ-3.1 אל TC-06 מסומן כחשוד ונשאר חשוד עד שהתוצאה הצפויה של TC-06 נגזרת מחדש מהדרישה החדשה והבדיקה מורצת שוב, או שהתכן משתנה. המדריך ל-RVTM עובר על הסקירה, והמדריך לניתוח השפעת שינויים עוקב אחרי אותו שינוי לאורך התכן.

שלושה לקחים לראיות אימות עולים מכך:

  1. ראיות קשורות לתצורה ולגרסה של דרישה. מעבר שתועד מול 28 W אינו ראיה ל-30 W.
  2. קריטריון המעבר חייב לנבוע מהדרישה. המגבלה של 72 W ב-TC-06 מתאימה לממוצע למסלול של 26.8 W בלבד, ולכן היא לא הראתה אפילו את 28 W הישנים. בדיקה יכולה לעבור את הקריטריון שלה ובכל זאת לא לאמת את הדרישה שלה.
  3. ניתוח בתוך הלולאה צריך תיקוף. הפסיקה תלויה בשני הגורמים של EQ-1.3, וזו שאלת תיקוף המודל מהסעיף הקודם.

ושום דבר מזה אינו תיקוף. גם תוצאה נקייה של 30 W הייתה מראה רק שהמערכים עומדים ב-3.1. האם 30 W הם הספק מספיק כדי לצלם 120 סצנות ביום עבור לקוחות חקלאיים היא סוג השאלה שאירועי התיקוף ברמת המשימה עונים עליה.

השוואה בין אימות לתיקוף

אימותתיקוף
שאלההאם בנינו את המערכת נכון?האם בנינו את המערכת הנכונה?
בודק מולדרישות ומפרטי תכןצורכי בעלי עניין, שימוש מיועד, מדדי אפקטיביות
ISO/IEC/IEEE 15288תהליך האימות (6.4.9)תהליך התיקוף (6.4.11)
שיטות אופייניותבחינה, ניתוח, הדגמה, בדיקהתרחישי תפעול, סימולציית משימה, סקירות עם בעלי עניין, ניסויים מבצעיים, נתוני שטח
רמותרכיב, תת-מערכת, מערכתבעיקר המערכת בסביבת ההפעלה שלה; תיקוף מוקדם על קונספטים ואבות טיפוס
סביבהמבוקרת: מעבדה, שולחן עבודה, מדמהמייצגת את השימוש האמיתי, עם משתמשים אמיתיים היכן שאפשר
מי שופטהצוות ההנדסי מול קריטריונים כתובים; הלקוח בקבלהבעלי עניין ומשתמשים, לעיתים קרובות עם מעריך בלתי תלוי
תוצאהעובר או נכשל לכל דרישההצורך מתקיים, מתקיים חלקית או אינו מתקיים, לעיתים קרובות עם צרכים חדשים או משונים
עקיבותדרישה ← אירוע אימותצורך ← אירוע תיקוף
תיעוד מקובלמטריצת אימות דרישות, דוחות בדיקהתוכנית ודוח תיקוף, דוח הערכה מבצעית
כשל פירושוהמערכת אינה עומדת בדרישה: יש לתקן את התכן או את הבנייההדרישות לא לכדו את הצורך: יש לתקן את הדרישות, ואחר כך את התכן
דוגמה מ-EO-1TC-07: סוללה של 78.3 Wh מול 77 WhVAL-03: אגרונומים מקבלים מפות של 4.5 m בארבעה פסים

בלבולים נפוצים

  • “תיקוף הוא הבדיקה האחרונה.” בדיקות ברמת המערכת לקראת הסוף הן בדרך כלל עדיין אימות. תיקוף מוגדר לפי נקודת הייחוס שלו (צרכים ושימוש מיועד), לא לפי העיתוי שלו, והוא צריך להתחיל הרבה לפני הסוף.
  • “כל הדרישות עברו, ולכן המערכת מתוקפת.” מעבר בדרישות מראה שהדרישות התקיימו. הוא אינו אומר דבר על כך שהן היו הדרישות הנכונות. EO-1 יכול לעמוד ב-1.6 בדיוק ועדיין להחטיא את N2 תחת כיסוי עננים אמיתי.
  • תיקוף דרישה מול אימות המערכת. המונחים חלים גם על הדרישות עצמן. ה-INCOSE Guide to Needs and Requirements מפריד בין אימות דרישה (האם ההצהרה מנוסחת היטב: נחוצה, חד-משמעית, ניתנת לאימות?) ותיקוף דרישה (האם היא מבטאת את הצורך שממנו הגיעה?) לבין אימות מערכת ותיקוף מערכת. יש לומר לאיזה מהם הכוונה. המדריך לכתיבת דרישות מסביר איך להפוך הצהרות לניתנות לאימות.
  • “הדגמה היא תיקוף.” הדגמה של דרישה היא אימות. הדגמה של תרחיש תפעול עם משתמשים, שנשפטת מול הצרכים שלהם, היא תיקוף. השיטה אינה מכריעה; נקודת הייחוס מכריעה.
  • “סימולציה היא תיקוף.” סימולציה היא טכניקה. סימולציה של מחזור התכנון של 6.5 מול 100 דקות מאמתת את 6.5. סימולציה של עונת גידול מול “צילומים שמישים פעמיים בשבוע” מתקפת את N2. ומודל הסימולציה עצמו צריך תיקוף משלו.
  • IV&V פירושו “יותר V&V”. אימות ותיקוף בלתי תלויים הם V&V שמבוצע על ידי ארגון נפרד מהמפתח מבחינת ניהול, תקציב ושיקול דעת טכני. העניין הוא מי מבצע, לא פעילות שלישית.
  • ספירת קישורים כתוצאות. צורך שמקושר לאירוע תיקוף מתוכנן לתיקוף, לא מתוקף. ספירת כיסוי אומרת מה מתוכנן; רק תוצאות אומרות מה הוצג.

איך Holarch מתעד כל אחד

בפרויקט LML, אימות ותיקוף נשמרים באותו מודל כמו הצרכים והדרישות, עם אותם סוגי פריטים וקישורים:

  • צרכים הם Statements (לא Requirements), שמקושרים לדרישות שממסדות אותם ב-traced to.
  • תכנון האימות נמצא על כל Requirement: שיטת אימות (Analysis, ‏Demonstration, ‏Inspection, ‏Test, בכל צירוף), רמה וקריטריוני הצלחה.
  • אירועי אימות הם Test Cases ב-Test Suites, שמקושרים לדרישות ב-verifies. גם ניתוחים, בחינות והדגמות הם מקרי בדיקה. כל הרצה מתעדת את הבודק, התצורה, פריט הבדיקה וקובץ הראיות; בדיקות שנכשלו הופכות ל-Issues, ומחזורי בדיקה שומרים כל מערכה.
  • אירועי תיקוף יכולים להיות גם הם Test Cases, בחבילה משלהם (כמו TS-3 שלמעלה), שמקושרים לצורך ב-verifies. סכמת LML הסטנדרטית מתירה verifies רק כלפי דרישות, ולכן הסכמה של מודל EO-1 מוסיפה יעד אחד, Test Case verifies Statement; בפרויקט שלכם, יש להוסיף אותו ב-סכמה (לפתוח את Test Case, ‏+ קשר) לפני הקישור ב-מטריצת עקיבות. ה-RVTM ו-כיסוי אימות סופרים דרישות בלבד, ולכן אירועי תיקוף אינם משנים את הנתון “11 מתוך 32 דרישות מאומתות”; המטריצה מציגה אותם לצד הדרישות.
  • מדדי אפקטיביות הם Measures עם התווית MOE וערכי סף ויעד. מחקר מונטה קרלו ב-סימולטור יכול לבדוק פלט מול דרישה או Measure ולתעד את התוצאה כ-Test Case, וכך ניתוח הופך לראיית אימות.
  • שינויים מסמנים קישורים כחשודים, כולל הקישור למקרה בדיקה מאמת, כמו ב-TC-06.
  • אימות מודל הוא מה ש-אימות ← בדיקות המודל עושה: כללים על המודל כולו, כמו דרישות עלה בלי מקרה בדיקה מאמת ובדיקות שנכשלו בלי Issue. לדיאגרמות Action יש בדיקות משלהן לפני שסימולציה רצה. ב-Holarch אין רישום נפרד לתיקוף מודל; יש לשמור את ההשוואה לנתוני בדיקה או טיסה כראיה של מקרה בדיקת הניתוח שנשען על המודל.

המדריך לתהליך הנדסת המערכות מציג את שני הצדדים של ה-V. עם התהליך מודל V, הכרטיס קישורי אימות מצמיד כל שלב בצד הימני לשלב בצד השמאלי שהוא בודק: תיקוף המערכת עם קונספט התפעול (“צרכים מתוקפים”), אימות המערכת עם דרישות המערכת (“דרישות מאומתות”), ורמות תת-המערכת והיחידה מתחת.

יש לקרוא את הכרטיס ככיסוי, ברוח הבלבול שתואר למעלה. צורך נחשב מתוקף ברגע שמקרה בדיקה מקושר אליו ב-verifies, או ברגע שדרישה שנגזרה ממנו עברה, ולכן N1 ו-N2 נספרים אף ש-VAL-01 ו-VAL-02 לא הורצו. הכרטיס סופר כל Statement מקושר שאינו דרישה כצורך; בהדגמה זה מוסיף הנחה (1.1 Reference Orbit) ושלושה כללי תפעול (OR-1 עד OR-3) ל-N1–N3, ולכן הוא מציג 7. תוצאות התיקוף עצמן נמצאות במרכז הבדיקות.

מסמכים יכולים לשאת את התוכניות: תבניות המסמכים כוללות Concept of Operations, ‏Verification and Validation Plan, ‏Test Plan, ‏Test Report ו-IV&V Plan, עם בלוקים חיים של VCRM ו-RVTM שמתעדכנים מהמודל.

לנסות ב-Holarch

  1. יוצרים את פרויקט EO-1: ניהול פרויקטים ← קובצי פרויקט ▾ ← פרויקט הדגמה חדש ← CubeSat (הנדסת מערכות מודרכת), או מייבאים את מודל הייחוס EO-1.
  2. יש ללחוץ על ⌘K / Ctrl+K, להקליד crop stress ולפתוח את N1 Same-Day Crop Stress Alerts: הקשרים שלו מראים את הדרישות שהוא traced to אליהן ואת אירוע ה-VAL שמאמת אותו. אפשר להוסיף צורך משלכם כ-Statement, למשל עם הוספת פריט ▸ במסמך דרישות.
  3. ב-אימות ← מרכז הבדיקות, יש לפתוח את TS-3 Mission Validation. לחבילה משלכם, יש ללחוץ על + חדש ▾ ← חבילת בדיקות…, ואז על + Test Case לכל אירוע תיקוף, עם ההכנה והתוצאה הצפויה שלו במונחים של בעלי העניין.
  4. יש לפתוח את אימות ← מטריצת עקיבות עם הצרכים בשורות ומקרי בדיקת התיקוף בעמודות, ולבחור מאומת על ידי: לכל צורך יש את אירוע ה-VAL שלו. לחיצה על תא ריק מוסיפה קישור.
  5. יש לפתוח את אימות ← RVTM כדי לראות את אימות הדרישות, ואת תכנון ← תהליך הנדסת מערכות עם מודל V כדי לראות את שני הצדדים של ה-V.

העיון המלא נמצא באימות, עקיבות, תהליך הנדסת מערכות ובדיקות המודל.

שאלות נפוצות

מה קודם, אימות או תיקוף?

תיקוף מערכת רשמי מגיע בדרך כלל אחרי אימות המערכת, כי הוא צריך מערכת שפועלת לפי המפרט, בסביבה המיועדת לה. אבל פעילויות התיקוף מתחילות קודם: סקירות של הקונספט והדרישות עם בעלי העניין מתקיימות לפני שאימות כלשהו אפשרי. יש לתכנן את שניהם בהתחלה.

האם פעילות אחת יכולה לעשות את שניהם?

כן, אם היא מתוכננת כך ונשפטת מול שתי נקודות הייחוס. חזרה כללית על התפעול מקצה לקצה יכולה לאמת את 6.1 Contact Scheduling מול הקריטריון של 48 שעות, ובהשתתפות מפעילים ולקוחות אמיתיים גם לאסוף ראיות תיקוף ל-N1. יש לתעד את שתי הפסיקות בנפרד, כי הן יכולות להיות שונות.

מי מבצע תיקוף?

המפתח בדרך כלל מתכנן ותומך, אבל שיקול הדעת שייך לבעלי העניין: משתמשים, מפעילים, הלקוח, ולפעמים ארגון בדיקות בלתי תלוי. תיקוף בלי בעלי עניין הוא ניחוש לגבי הצרכים שלהם.

מה קורה כשהתיקוף נכשל אבל האימות עבר?

הדרישות לא לכדו את הצורך. יש לעקוב מהצורך שנכשל אל הדרישות שלו, למצוא את החסרה או השגויה, לשנות אותה דרך בקרת שינויים, ולעקוב אחרי הקישורים החשודים אל התכן והאימות. זה הכשל היקר ביותר בהנדסת מערכות, ולכן תיקוף מוקדם משתלם.

לאן ממשיכים