איך אנחנו בודקים
איך אנחנו בודקים את Holarch
הבדיקות שכל גרסה עוברת לפני שהיא מגיעה אליכם, איך גרסה מגיעה לשירות המתארח, איך הראיות מתפרסמות, ומה הבדיקות האלה אינן מראות.
כל גרסה
כל גרסה נבנית בעותק נקי של קוד המקור, לעולם לא בעותק עבודה. אחר כך ה-build עובר דרך שער השחרור: מערכת קבועה של בדיקות אוטומטיות. בדיקה שנכשלת עוצרת את השחרור. הסיבה מתוקנת, והבדיקות שנכשלו רצות שוב לפני שהשחרור ממשיך.
- Build לשחרור: האפליקציה נבנית לשחרור, והקוד הבנוי נבדק מול מדיניות אבטחת התוכן של העמוד.
- Build של מנוע השפה: מנוע השפה המהודר נבנה מחדש מקוד המקור שלו, והתוצאה חייבת להתאים ל-build שמשוחרר.
- בדיקות הגנה של המנוע: קלטים עמוקים, ארוכים, רחבים, מעגליים וחורגים ממגבלות על כל פעולה של המנוע, עם מגבלות על זמן התגובה והזיכרון, ובדיקה שהזמן גדל ביחס לגודל הקלט.
- ביקורת תלויות: התלויות של צד שלישי במנוע נבדקות מול התראות אבטחה ידועות, רישיונות ומקורות.
- Lint להזרקה: lint מכשיל את השחרור בכל מקום בקוד שמכניס HTML או מריץ טקסט כקוד, אלא אם המקום הזה נסקר ותועד כבטוח.
- קבצים של צד שלישי: כל קובץ של צד שלישי שמשוחרר עם האפליקציה חייב להתאים ל-checksum המתועד שלו.
- ביצועים: זמני האפליקציה הבנויה נמדדים על פרויקט גדול שנוצר אוטומטית, בדפדפן ובשרת, מול מגבלות קבועות.
- בדיקות עשן: האפליקציה הבנויה נפתחת ומשמשת בדפדפן אמיתי, Safari, גם כאפליקציה שולחנית וגם במצב שרת, כפי שהשירות המתארח מריץ אותה.
- בדיקות של מה שהשתנה: חבילות בדיקות הדפדפן לכל תחום שהגרסה משנה, בשני המצבים היכן שלתחום יש את שניהם, ובדיקות ה-Python של כל מודול שרת שהשתנה.
בדיקות דפדפן מפעילות את האפליקציה כפי שאדם עושה: הן לוחצות, גוררות ומקלידות בעמוד, ואז בודקות את המודל ואת המסך.
מהשחרור לשירות המתארח
- קודם staging: כל גרסה רצה על שירות staging נפרד לפני production. סביבת ה-production מקבלת רק build שרץ ב-staging.
- גיבוי לפני שינויים במסד הנתונים: לפני שגרסה משנה את מסד הנתונים, נשמר עותק שלו.
- בדיקות תקינות: אחרי המעבר, השירות חייב להשיב שהוא תקין ולדווח על הגרסה ששוחררה.
- חזרה לאחור: הגרסה הקודמת נשמרת. אם הגרסה החדשה נכשלת בבדיקת התקינות, השירות חוזר לגרסה הקודמת.
גיבויי השירות המתארח נבדקים בשחזור בכל שבוע; ראו יעדי שירות.
מנוע השפה
ה-Holarch Language Engine מנתח, פותר ובודק טקסט SysML v2 ו-KerML. מלבד בדיקות השחרור, הוא נמדד לפי תוכנית קבלה כתובה. קריטריוני הקבלה נכתבו לפני שנמדדו תוצאות כלשהן; שינוי מאוחר של קריטריון הוא גרסה חדשה וממוספרת של השיטה, שמתועדת עם הסיבה לה, ותוצאות קודמות שומרות את הגרסה שלפיה נמדדו. תוצאה שפורסמה לעולם אינה נערכת; תיקון הוא הרצה חדשה שנוקבת בהרצה שהיא מחליפה.
- מודלים לדוגמה: המנוע נבדק מול מודלי הדוגמה של SysML v2 במאגר השחרורים הרשמי של Object Management Group (מערכי ההדרכה, הדוגמאות והתיקוף), מקובעים לשחרור מסוים.
- בדיקה דיפרנציאלית: התוצאות של המנוע על המודלים האלה מושוות למימוש הפיילוט של OMG: האם כל מודל מתקבל, ולאיזה רכיב כל שם נקשר. כל אי-הסכמה נחקרת בנפרד ומסווגת כבאג במנוע, כיכולת שפה שאינה נתמכת, כשגיאה בדוגמה או כהבדל בפיילוט.
- עמידות: מערכים גדולים של קלטים פגומים, כמו סוגריים מסולסלים חסרים, הצהרות קטועות, imports שבורים, מעגלים, תווים לא חוקיים וטעויות הקלדה נפוצות, בודקים שהמנוע לעולם אינו קורס, נותן את אותה תשובה אחרי שהפגם מתוקן, וממשיך לבדוק את שאר המודל.
- קנה מידה: מודלים גדולים מאוד שנוצרו אוטומטית מודדים את זמן התגובה של עריכות, את הזמן לנתח מודל שלם, את צריכת הזיכרון, ואיך הזמן גדל עם גודל המודל.
- Fuzzing: נקודות הכניסה של הבקשות, ה-lexer וה-parser של המנוע עוברות בדיקות fuzz.
- מקרי בדיקה: הבדיקות של המנוע עצמו נכתבות מתוך טקסט המפרט, וכל אחת מתויגת בסעיף שהיא בודקת.
התוצאות, כולל הכשלים, עם גרסת המנוע, גרסת השיטה והפגמים הידועים: תוצאות הבדיקה של מנוע השפה. מה התמיכה בשפה מכסה כיום, והפערים הידועים שלה: כיסוי שפת SysML v2.
ראיות פומביות: מודל הייחוס EO-1
מודל הייחוס EO-1 הוא מודל שלם של CubeSat שנבנה ב-Holarch, מהצרכים ועד ראיות מאומתות. קובץ הפרויקט והייצואים שלו זמינים להורדה בחינם, כך שכל אחד יכול לפתוח את המודל ולבדוק בעצמו את העקיבות שלו.
מחזור אימות פורמלי על מודל EO-1 עוקב אחרי שינוי דרישה אחד דרך תוכנית פורמלית: בדיקה חוזרת שנכשלה, אי-התאמה והוויתור עליה, סיכוני בטיחות ואופני כשל, אישור סופי, סקירה וקו הבסיס החדש.
גודל הפרויקט
מגבלות הפריטים של כל תוכנית נשענות על בדיקת עומס של השירות המתארח. מגבלות שנבדקו מתאר את הבדיקה, רף המעבר שלה, התוצאות שלה ומה היא לא מדדה.
מה הבדיקות האלה אינן מראות
- אלה הבדיקות של Holarch עצמו. זו אינה הסמכה, ולשירות המתארח אין הסמכות אבטחה; ראו הסמכות.
- תוצאות המנוע מדווחות על מה שהבדיקות של Holarch מצאו במודלים שהן הריצו. ה-Object Management Group לא סקר אותן ולא אישר אותן.
- מתוכננת סקירה בלתי תלויה של שיטת הבדיקה.
- בדיקות מקטינות את הסיכוי לפגם; הן אינן שוללות אותו. אפשר לדווח על בעיה דרך שליחת משוב באפליקציה או בכתובת [email protected].