Holarch Language Engine
תוצאות הבדיקה של Language Engine
תוצאות מדודות של המנוע שמאחורי פרויקטי SysML v2 של Holarch: איך התשובות שלו משתוות למימוש הפיילוט של OMG על מודלי הדוגמה הרשמיים, איך הוא מטפל בטקסט פגום, וכמה הוא מהיר על מודלים גדולים. קריטריונים שלא מולאו מפורטים לצד אלה שמולאו.
מעבר אל: ההרצה הזו · סיכום · זיכרון סשן · מה הראיות תומכות · מודלי דוגמה · אימות אבחונים · קישור שמות · טקסט פגום · מהירות וזיכרון · עדיין לא נתמך · שחזור התוצאות · הרצות קודמות · מה התוצאות האלה אינן מראות
ההרצה הזו
- מנוע: Holarch Language Engine 2.1 (גרסה 2.1.1, build 37168cc). Holarch מגיע עם גרסה 2.1.2, שמוסיפה דיווחי התקדמות לסרגל ההתקדמות של המארח ובודקת שרשראות ארוכות מאוד של ייבואים או התמחויות שעצרו גרסאות קודמות; על מודלי הדוגמה, המודלים המחוללים וקורפוס הבדיקות של ההרצה הזו היא נותנת את אותן תשובות כמו 2.1.1, ולכן הנתונים בדף הזה, שנמדדו על 2.1.1, לא נמדדו שוב. הניתוח הקר שלה של המודלים המחוללים הגדולים ארך כ-3 % יותר במדידה מחוץ להרצות הרשמיות. מנוע 2.1 מוסיף שונות (variability), מילות מפתח מוגדרות משתמש, טריגרים ואפקטים של מעברים, סימולציה (תוסף ברישוי נפרד, שלא נמדד כאן) וזיכרון נמוך יותר לאורך סשן עריכה.
- שיטה: גרסה 10 של תוכנית הקבלה הכתובה. הקריטריונים נקבעו לפני שנמדדו התוצאות הראשונות. כל שינוי מאוחר יותר בשיטה מתועד עם הסיבה שלו, ותוצאות קודמות שומרות על השיטה שלפיה נמדדו. גרסאות 8 עד 10 מוציאות את השונות, מילות המפתח המוגדרות משתמש והטריגרים והאפקטים של מעברים מרשימת המבנים שאינם נתמכים, כל אחד כשיצא; הקריטריונים והשערים לא השתנו.
- מודלי דוגמה: ערכות האימון, הדוגמאות והאימות של מאגר השחרורים של SysML v2 של OMG, שחרור 2026-08 (commit fb97b754): 252 קבצים, 14,957 שורות. המודלים נשלפים ממאגר OMG בכל הרצה ואינם מועתקים ל-Holarch.
- ייחוס: מימוש הפיילוט של OMG, גרסה 0.62.0, שהורץ כקופסה שחורה.
- מודלים גדולים: מודלים מחוללים של 10,000 עד 250,000 שורות עם ייבואים עמוקים, הפניות בין חבילות ושרשראות התמחות ארוכות.
כל נתון בדף הזה מגיע מההרצות הרשמיות המפורטות להלן. הרצה שפורסמה לעולם אינה נערכת. תיקון הוא הרצה חדשה שמציינת את ההרצה שהיא מחליפה.
סקירה פנימית מסמן כל סיווג וסקירה בדף הזה: סוגי אי-ההתאמות, המרשם, הסקירה של כל שגיאת מנוע וקטגוריות הקישור. הם נעשו על ידי Holarch מול טקסט המפרט. עדיין אין סקירה חיצונית; התווית נשארת עד שתהיה.
| גרסת Holarch | גרסת המנוע | build של המנוע | שיטה | הרצות רשמיות |
|---|---|---|---|---|
| 2.21.0 (מגיע עם מנוע 2.1.2) | 2.1.1 | 37168cc | 10 | 2.1.1-37168cc79-1 (כל מדד, גם אפיון זיכרון הסשן; הנתונים בדף הזה) |
| 2.17.1 | 2.0.1 | d8cf5c8 | 7 | 2.0.1-d8cf5c835-1 (מהירות וזיכרון, זיכרון סשן) |
| 2.15.1 | 2.0.0 | dd4fb10; 91f058a מדווח 2.0.0 | 6 | 1.0.0-dd4fb10f5-1 (כל מדד), 2.0.0-91f058a75-1 (כל מדד, על ה-build שמדווח 2.0.0; גם אפיון זיכרון הסשן) |
| 2.15.0 | 1.0.0 | e6bb924 | 5 | 1.0.0-e6bb92459-1 (מהירות וזיכרון, כיסוי בדיקות) |
| 2.14.0 | 1.0.0 | 0c983e2 | 6 | 1.0.0-0c983e2e8-1 (מהירות וזיכרון, להשוואה) |
| 2.13.1 | 1.0.0 | d3f5d4b | 5 | 1.0.0-d3f5d4b5d-2 (מודלי דוגמה), 1.0.0-d3f5d4b5d-1 (מדדים אחרים) |
| 2.12.0 | 1.0.0 | 8a6bf7b | 5 | 1.0.0-8a6bf7b76-2 (מודלי דוגמה), 1.0.0-8a6bf7b76-1 (מדדים אחרים) |
| 2.11.0 | 1.0.0 | c184e57 | 3, נקראה לפי 4 | 1.0.0-c184e57e6-1 |
סיכום
על מודל מחולל של 10,000 שורות, מנוע 2.1.1 מנתח את המודל כולו ב-150 ms ובודק אותו שוב אחרי עריכה ב-1.3 עד 6.8 ms (אחוזון 95). בסיס המנוע, עם הספרייה הסטנדרטית טעונה: 17 MiB; ניתוח של המודל כולו מוסיף כ-29 MiB לכל 10,000 שורות, וסשן עריכה שלם כ-33 MiB לכל 10,000 שורות. כל הקריטריונים מולאו, כולל זיכרון המנוע לאורך סשן עריכה מלא ב-100,000 וב-250,000 שורות, שמנועים קודמים לא עמדו בו. נבדק עם מודלים מחוללים של עד 250,000 שורות: מהירות וזיכרון בכל גודל.
הזיכרון מוצג לכל 10,000 שורות מעל בסיס המנוע, הזיכרון של המנוע עם הספרייה הסטנדרטית טעונה ומודל ריק. הקריטריונים חלים על הסך הכולל.
| מדד | קריטריון | מנוע 2.1.1 | מולא |
|---|---|---|---|
| מודלי דוגמה: קריסות וחריגות זמן | אסור אף אחד | אין | כן |
| מודלי דוגמה: התאמה בקבלה, לאחר סיווג | לפחות 98 % מהקבצים בהיקף שהוערך | 252 מתוך 252 סקירה פנימית | כן |
| מודלי דוגמה: קבלות שגויות | אסור אף אחד | אין | כן |
| מודלי דוגמה: כל שגיאת מנוע נסקרה אחת אחת | כולן נסקרו | 44 מתוך 44 סקירה פנימית | כן |
| קישור שמות | לפחות 99.5 % מהקישורים המזווגים תואמים | 4,904 מתוך 4,908 | כן |
| טקסט פגום | שבעה קריטריונים, להלן | כל השבעה מולאו | כן |
| עריכות, כל הגדלים | שינוי ערך בתוך 12 ms, עריכות אחרות בתוך 60 ms (25 ו-150 ms ב-250,000 שורות) | כולן בטווח | כן |
| ניתוח קר, 100,000 שורות | מדווח, אינו יעד מאז גרסת שיטה 4 (היעד הקודם: בתוך 0.6 s) | 1.43 s | היעד הקודם לא מולא |
| ניתוח קר, 250,000 שורות | מדווח, אינו יעד מאז גרסת שיטה 4 (היעד הקודם: בתוך 1.2 s) | 3.73 s | היעד הקודם לא מולא |
| התקדמות מוצגת במהלך ניתוח ארוך | סרגל התקדמות לכל ניתוח שעשוי להימשך יותר מ-3 שניות (גרסת שיטה 4) | מוצג, עם השלבים של המנוע; נבדק בבדיקת ההתקדמות של Holarch | כן |
| זיכרון המנוע, ניתוח קר, 100,000 שורות | בתוך 512 MiB | 28 MiB לכל 10,000 שורות מעל הבסיס | כן |
| זיכרון המנוע, ניתוח קר, 250,000 שורות | בתוך 1 GiB | 28 MiB לכל 10,000 שורות מעל הבסיס | כן |
| זיכרון המנוע, סשן עריכה מלא, 100,000 שורות | בתוך 512 MiB (גרסת שיטה 6) | 33 MiB לכל 10,000 שורות מעל הבסיס | כן |
| זיכרון המנוע, סשן עריכה מלא, 250,000 שורות | בתוך 1 GiB (גרסת שיטה 6) | 33 MiB לכל 10,000 שורות מעל הבסיס | כן |
| גדילה עם גודל המודל | ניתוח קר ב-250,000 שורות לכל היותר פי 40 מאשר ב-10,000 | פי 24.9 | כן |
| אותה בקשה, אותה תשובה | כל תשובה זהה בשני תהליכים חדשים | 1,211 מתוך 1,211 | כן |
זיכרון סשן: הקריטריון מולא
מולא: זיכרון המנוע לאורך סשן עריכה מלא ב-100,000 וב-250,000 שורות. מנועים עד 2.0.1 לא עמדו בו ב-250,000 שורות (וגם 2.0.0 לא ב-100,000 שורות); מנוע 2.1.1 צריך כ-33 MiB לכל 10,000 שורות מעל הבסיס לאורך הסשן כולו, בתוך 512 MiB ב-100,000 שורות ובתוך 1 GiB ב-250,000 שורות.
- מה השתנה. המדפיס והשוואת הטקסט כבר אינם בונים עותק מלא של המסמך בזיכרון (מנוע 2.0.1), וטבלאות השמות, מטמון הניתוח, עץ התחביר ומיקומי המקור של המנוע תופסים פחות מקום (מנוע 2.1.1).
- הדפסת מודל שלם, השלב הגדול ביותר בעבר, צריכה כעת כ-40 MiB לכל 10,000 שורות מעל הבסיס בריצה מקורית, פחות מניתוח המודל מחדש מאפס לצד סשן פתוח (כ-54 MiB לכל 10,000 שורות): זיכרון לאורך סשן ארוך.
- בדפדפן הזיכרון של המנוע לעולם אינו מתכווץ, ולכן worker שומר על הגודל של הרגע הגדול ביותר שלו עד שהוא מסתיים; Holarch מסיים ומפעיל מחדש worker מנוע לא פעיל שמחזיק הרבה יותר זיכרון ממה שהוא משתמש בו.
מה הראיות תומכות
באילו שימושים התוצאות האלה תומכות, והיכן הראיות נעצרות. “לא הוכח” פירושו שאין בדף הזה ראיות לכך לכאן או לכאן.
| שימוש | נתמך על ידי | הוכח | לא הוכח |
|---|---|---|---|
| סיוע בעורך (ניתוח תוך כדי הקלדה) | זמני עריכה, טקסט פגום, מודלי דוגמה, זיכרון סשן | ניתוח מחדש אחרי עריכה בתוך הקריטריונים עד 250,000 שורות, בריצה מקורית וב-Safari; טקסט פגום מטופל בכל שבעת הקריטריונים; הזיכרון מתייצב במהלך עריכה ארוכה; הזיכרון לאורך סשן עריכה מלא בתוך הקריטריונים עד 250,000 שורות | זמנים במחשבים איטיים מהמחשב המודד (הונח מרווח של פי 4, לא נמדד); דפדפנים אחרים מלבד Safari |
| בדיקה באצווה וב-CI (מודלים שלמים) | מודלי דוגמה, אימות אבחונים, ניתוח קר, אותה בקשה אותה תשובה | אין קריסות או חריגות זמן; 252 מתוך 252 קובצי דוגמה תואמים לאחר סיווג סקירה פנימית; כל שגיאת מנוע נסקרה; תשובות זהות בתהליכים חדשים; הניתוח הקר גדל בהתאם לגודל המודל | מודלים גדולים שנכתבו בידי אנשים או בכלים אחרים (נמדדו רק מודלים מחוללים והדוגמאות של OMG); שילוב CI |
| טרנספורמציית מודל (הדפסת מודל כטקסט, כתיבת טקסט בחזרה למודל) | סשן עריכה מלא, זיכרון סשן | כל שלב עונה בכל גודל מודל; הזיכרון בתוך הקריטריונים להדפסת מודל שלם עד 250,000 שורות, בריצה מקורית | האם הדפסה וכתיבה בחזרה נותנות את אותו מודל (אינו חלק מהמדדים האלה); המרה מ-SysML v1 |
| דפדפן (WebAssembly) | זמנים ב-Safari, זיכרון סשן ב-Safari | הפעלה, ניתוח קר ועריכות ב-Safari עד 250,000 שורות | Chrome, Firefox ו-Edge; דפדפנים בנייד; זיכרון סשן ב-Safari עבור המנוע הזה (נמדד עבור 2.0.1 עד 250,000 שורות) |
| מקורי ושרת | כל מדד בדף הזה (הקריטריונים הם לריצה מקורית) | על Mac עם Apple silicon | מערכות הפעלה ומעבדים אחרים; מודלים רבים בבת אחת בתהליך אחד; סשנים ארוכים בשרת על פני פרויקטים רבים |
| שימוש באמינות גבוהה (החלטות קריטיות לבטיחות או למשימה, ראיות להסמכה) | אין לבדן | שום דבר מעבר לשימושים שלמעלה | סקירה חיצונית; הסמכה או הכשרה מכל סוג; כיסוי מלא של כללי האימות של המפרט; ביצוע פעולות ומכונות מצבים (תוסף הסימולציה לא נמדד כאן) |
מודלי דוגמה
כל ערכה של מודלי דוגמה מנותחת יחד, כפרויקט אחד, כי הדוגמאות מייבאות חבילות זו מזו. מימוש הפיילוט מקבל את אותם קבצים בסשן אחד. לכל קובץ, שתי התשובות מושוות: האם יש בקובץ שגיאות או לא, ולאיזה רכיב כל שם מקושר.
התאמה בקבלה
| ספירה | מה נספר | מנוע 2.1.1 |
|---|---|---|
| גולמי | כל קובץ; התאמה בשאלה אם יש בקובץ שגיאות, ללא סיווג | 242 מתוך 252 |
| היקף שהוערך | הקבצים שנותרו אחרי הוצאת אלה שאי-ההתאמה שלהם נובעת ממבנה ברשימת הלא-נתמכים | 252 מתוך 252 (אף אחד לא הוצא) |
| מסווג | התאמה בתוך ההיקף שהוערך, כשאי-התאמה נספרת כהתאמה רק כשהמפרט מראה שהמנוע צודק | 252 מתוך 252 סקירה פנימית |
- מולא: כל קובץ תואם לפיילוט, 10 מהם דרך המרשם שלהלן. שונות, מילות מפתח מוגדרות משתמש וטריגרים ואפקטים של מעברים נתמכים כעת, כך שאף קובץ אינו יוצא מההיקף שהוערך (11 קבצים יצאו במנוע 2.0.0); 10 קבצים נוספים מתקבלים ללא שגיאות לעומת מנוע 2.0.0, ואין כעת שגיאות באף קובץ ש-2.0.0 קיבל.
- קבלות שגויות: 0. אף קובץ שהפיילוט דוחה אינו מתקבל על ידי המנוע.
- קריסות וחריגות זמן: אין.
כללי סיווג סקירה פנימית. כל אי-התאמה לפיילוט נחקרת בנפרד ומתועדת באחד מהסוגים האלה לפני הרצה, לעולם לא במהלכה:
- שגיאת דוגמה: המנוע צודק והדוגמה אינה תקינה, עם סעיף המפרט שמראה זאת. לדוגמה: חשבון שמחבר אורך למסה. נספר כהתאמה.
- שגיאת פיילוט: המנוע צודק והתשובה של הפיילוט סותרת סעיף מפרט מצוטט. נספר כהתאמה.
- מבנה לא נתמך: אי-ההתאמה נובעת ממבנה ברשימה שפרסם המנוע של מבנים לא נתמכים (להלן). הקובץ יוצא מההיקף שהוערך. כשהמבנה יוצא, הוא יורד מהרשימה והקובץ נמדד שוב.
- פגם במנוע: באג ידוע במנוע. לעולם אינו נספר כהתאמה.
מרשם אי-ההתאמות שהמפרט מכריע סקירה פנימית
עשר אי-התאמות נספרות כהתאמה כי המפרט מראה שהמנוע צודק. כל אחת מהן מפורטת כאן. מצב הסקירה: פנימית פירושה שנסקרה מול המפרט על ידי Holarch; מתוכננת סקירה חיצונית של אלה ושל מקרים נוספים.
| מזהה | קובץ | סוג | סעיף | ראיה | סקירה |
|---|---|---|---|---|---|
| R1 | Calculation Definitions (training) | שגיאת דוגמה | SysML 9.8.2 | הספק ואיבר בממד של מהירות שולבו בסכום אחד | פנימית |
| R2 | Calculation Usages-2 (training) | שגיאת דוגמה | SysML 9.8.2 | גדלים מממדים שונים שולבו בביטוי אחד | פנימית |
| R3 | Dynamics (examples) | שגיאת דוגמה | SysML 9.8.2 | גדלים מממדים שונים שולבו בביטוי אחד | פנימית |
| R4 | Turbojet Stage Analysis (examples) | שגיאת דוגמה | SysML 9.8.2 | גדלים מממדים שונים שולבו בביטוי אחד | פנימית |
| R5 | SimpleQuadcopter (examples) | שגיאת דוגמה | SysML 9.8.2 | אורך קושר לערך חסר ממד | פנימית |
| R6 | VehicleGeometryAndCoordinateFrames (examples) | שגיאת דוגמה | SysML 9.8.2 | מספר פשוט נוסף לאורך | פנימית |
| R7 | 15_12 Compound Value Type (validation) | שגיאת דוגמה | SysML 9.8.2 | גדלים מממדים שונים שולבו בביטוי אחד | פנימית |
| R8 | AnalysisIndividualExample (examples) | שגיאת דוגמה | SysML 9.8.2 | מהירות קושרה למאפיין של צריכת דלק | פנימית |
| R9 | 13a Model Containment (validation) | שגיאת פיילוט | KerML 8.2.3.5.3 | שני רכיבים מיובאים שונים חולקים שם במרחב שמות אחד; שם נפתר לחברות אחת לכל היותר, והפיילוט בוחר אחת | פנימית |
| R10 | SysML v2 Spec Annex A SimpleVehicleModel (examples) | שגיאת פיילוט | KerML 8.2.3.5.3 | כמה ייבואים מביאים רכיבים בעלי שם אחד (כמו ב-R9); ההגדרות מחדש וקצוות המחברים שמשתמשים בהם נובעים מכך. המודל גם קושר מהירות לאורך, שגיאת דוגמה | פנימית |
אימות אבחונים סקירה פנימית
התאמה בקבלה אומרת רק אם שני הכלים דוחים קובץ. כדי לבדוק מדוע המנוע דוחה קובץ, כל שגיאה שהוא מדווח על מודלי הדוגמה, מחוץ לשורות עם מבנה לא נתמך, נסקרה אחת אחת: הקוד שלה, המיקום שלה, הכלל שהיא מחילה, סעיף המפרט, האם היא השגיאה הראשונה של בעיה (ראשית) או תוצאה של שגיאה אחרת (שרשרת), והכרעה.
| הכרעה | משמעות | מנוע 2.1.1 |
|---|---|---|
| מאושרת | המפרט תומך בשגיאה | 42 |
| פגם במנוע | שגיאה שגויה | 0 |
| שנויה במחלוקת | המפרט אינו מכריע במקרה | 2 |
| פער ידוע | השגיאה נובעת ממבנה ברשימת הלא-נתמכים | 0 |
| סה״כ | 44 שגיאות ב-10 קבצים (22 ראשיות, 22 שרשרת) |
- אין פגמים במנוע. אף שגיאה אינה נופלת על מבנה שהמנוע אינו תומך בו: 40 השגיאות של מנוע 2.0.0 שנבעו משונות, ממילות מפתח מוגדרות משתמש ומאפקטים של מעברים נעלמו.
- אותו קוד בכל מקום. שם שנפתר לכמה רכיבים מיובאים מדווח כדו-משמעי בביטויים וגם בהפניות; גרסאות build קודמות דיווחו עליו כלא נפתר בביטויים.
- פרשנות אחת. כשייבואים מביאים שני רכיבים בעלי שם אחד ואחד מהם מתמחה מהשני, התיאור של המפרט והכלל הפורמלי שלו שונים. המנוע פועל לפי הכלל הפורמלי ומדווח על השם כדו-משמעי. הפיילוט מקבל שמות כאלה ללא אבחון.
- שנויות במחלוקת: שתי השגיאות השנויות במחלוקת קושרות גודל למאפיין שהטיפוס שלו מספר ממשי פשוט: אף אילוץ של המפרט אינו הופך את הקישור ללא תקין, אבל הוא אינו יכול להתקיים לפי המשמעות של ספריית הגדלים.
קישור שמות
לכל שם במודל, שני הכלים מדווחים על הרכיב שאליו הוא מקושר. קישורים ששני הכלים מדווחים עבור אותו שם מזווגים ומושווים. נתון ההתאמה הוא בין הקישורים המזווגים בלבד; הוא אינו אומר דבר על הקישורים שרק כלי אחד מדווח, שממוינים לקטגוריות להלן.
- 4,904 מתוך 4,908 קישורים מזווגים תואמים.
- קישורים שרק כלי אחד מדווח: 1,639 מהמנוע ו-601 מהפיילוט.
4 אי-ההתאמות המזווגות סקירה פנימית
| קישורים | היכן | סיבה | סוג |
|---|---|---|---|
| 3 | PartTest (examples) | השם של הפיילוט ליעד נושא את השם הקצר שלו; אותו רכיב | זהות רכיב או נרמול שונים |
| 1 | ActionTest (examples) | פעולת send ללא מטען: הפיילוט יוצר מאפיין מטען משלו שמגדיר מחדש את זה של הספרייה; אותו מאפיין דרך הגדרה מחדש | זהות רכיב או נרמול שונים |
3 אי-ההתאמות של מנוע 2.0.0 על ה-accept וה-effect של מעבר נעלמו: המנוע מקשר כעת את ה-accepter וה-effect של המעבר עצמו, כפי שהפיילוט עושה.
קישורים שרק כלי אחד מדווח סקירה פנימית
ממוינים לפי כללים שבוחנים כל קישור, את היעד שלו ואת השורה שבה הוא נמצא:
| קטגוריה | המנוע בלבד | הפיילוט בלבד |
|---|---|---|
| זהות רכיב או נרמול שונים | 1,243 | 370 |
| מרומז נוסף (המנוע מקשר, הפיילוט אינו מציג קשר) | 396 | – |
| חסר (הפיילוט מקשר, המנוע לא) | – | 231 |
| מבנה לא נתמך | 0 | 0 |
| סטייה בפיילוט | 0 נמצאו | 0 נמצאו |
| סה״כ | 1,639 | 601 |
- זהות רכיב או נרמול שונים נובעים בעיקר מההשוואה, לא מהמנוע: שמות בקצוות של מחברים, זרימות ורצפים ובביטויים, שהפיילוט מציג כמאפיינים בבעלות ולא כקשרים; יעדים בחמש חבילות ספרייה שההשוואה אינה יכולה לתת להן שם בצד של הפיילוט; קבצים שהוזנו לפיילוט בסדר אלפביתי בהשוואת הקישורים, כשבסדר תלויות 217 קישורים נוספים מזדווגים; שמות קצרים, יציאות מצומדות, בעלים ללא שם ומאפיינים מרומזים שהפיילוט נותן להם שם אחר.
- מרומז נוסף ו-חסר הם מה שהכללים משאירים. מדגם מראה שרשראות דרך קצוות ממשק, יציאות מצומדות בהגדרות ומטא-נתונים; הם עדיין לא נסקרו אחד אחד.
- תיקון ההשוואה משנה את המדד, ולכן הוא דורש גרסת שיטה חדשה.
טקסט פגום
המודלים נפגמים בכוונה, מוטציה אחת בכל פעם: סוגריים מסולסלים שהוסרו או נוספו, הצהרות קטועות, ייבואים שבורים, הפניות מעגליות, תווים לא תקינים, שינויי אסימונים אקראיים וטעויות הקלדה נפוצות כגון נקודה-פסיק חסרה או מילת מפתח באיות שגוי. הקלטים הם מודלי הבדיקה של המנוע עצמו, מודל מחולל ומודלי הדוגמה.
| בדיקה | קריטריון | תוצאה | מולא |
|---|---|---|---|
| קריסות וחריגות זמן מעל 10 s | אסור אף אחד | אין | כן |
| קלטים פגומים | לפחות 10,000 | 10,044 | כן |
| התשובה אחרי כל עריכה שווה לניתוח חדש | כולם | 10,044 מתוך 10,044 | כן |
| תיקון הנזק מחזיר את התשובה המקורית | כולם | 9,830 מתוך 9,830 | כן |
| מוטציה אחת נותנת לכל היותר 3 שגיאות תחביר חדשות | לפחות 99 % מהמקרים | 100.0 % | כן |
| שגיאת התחביר הראשונה מצביעה לתוך ההצהרה הפגומה או מיד אחריה | לפחות 95 % מהמקרים | 99.7 % מתוך 7,163 | כן |
| הצהרות מחוץ לנזק עדיין נבדקות באותו אופן | לפחות 99 % | 99.5 % מתוך 55,225 | כן |
מהירות וזיכרון
הקריטריונים מתייחסים לגרסה המקורית של המנוע. ב-Holarch המנוע רץ כ-WebAssembly בדפדפן, שהוא איטי יותר; הקריטריונים מביאים זאת בחשבון, וגם מחשבים איטיים יותר, בפקטור 8 לעריכות ולניתוח. גרסת ה-WebAssembly נמדדת גם ב-Safari (להלן).
בסיס המנוע, עם הספרייה הסטנדרטית טעונה: 17 MiB. נתוני הזיכרון שלהלן הם לכל 10,000 שורות מעל הבסיס הזה: השיא פחות הבסיס, חלקי גודל המודל ביחידות של 10,000 שורות. הקריטריונים חלים על הסך הכולל.
עריכות
כל סוג עריכה מוחל 200 פעמים, אחרי 20 עריכות חימום, בסשן עריכה אחד, כפי שהעורך של Holarch שולח אותן. הטבלה מציגה את אחוזון 95: 95 מתוך 100 עריכות היו מהירות כך או מהר יותר.
| גודל המודל | שינוי ערך | שינוי שם של הגדרה | שינוי ייבוא | שינוי טיפוס-על | מולא |
|---|---|---|---|---|---|
| 10,038 שורות | 1.3 | 6.8 | 2.1 | 2.2 | כן |
| 50,013 שורות | 3.9 | 19.4 | 4.9 | 4.7 | כן |
| 100,033 שורות | 7.7 | 34.6 | 8.6 | 8.5 | כן |
| 250,011 שורות | 22.7 | 90.8 | 24.0 | 24.9 | כן |
קריטריונים: שינוי ערך בתוך 12 ms (25 ms ב-250,000 שורות); שינוי שם, ייבוא או טיפוס-על בתוך 60 ms (150 ms ב-250,000 שורות).
ניתוח מודל שלם
ניתוח קר: תהליך חדש עם הספרייה הסטנדרטית טעונה מנתח את המודל כולו מאפס, החציון של 5 הרצות. זיכרון המנוע הוא השיא של המנוע במהלך הניתוח הזה, לכל 10,000 שורות מעל הבסיס. זיכרון ה-WebAssembly של אותו ניתוח מוצג לעיון, לכל 10,000 שורות כולל זיכרון ההפעלה של המנוע עצמו.
| גודל המודל | ניתוח קר | זיכרון המנוע, ניתוח קר | זיכרון WebAssembly, ניתוח קר |
|---|---|---|---|
| 10,038 שורות | 150 ms | 29 MiB לכל 10,000 שורות | 38 MiB לכל 10,000 שורות |
| 50,013 שורות | 711 ms | 28 MiB לכל 10,000 שורות | 29 MiB לכל 10,000 שורות |
| 100,033 שורות | 1.43 s | 28 MiB לכל 10,000 שורות | 28 MiB לכל 10,000 שורות |
| 250,011 שורות | 3.73 s | 28 MiB לכל 10,000 שורות | 26 MiB לכל 10,000 שורות |
- ניתוח קר לפי גרסת שיטה 3: היעד לא מולא. היעד היה 0.6 s ב-100,000 שורות ו-1.2 s ב-250,000 שורות; ניתוח ראשון של מודל גדול מאוד אורך 1.43 s ו-3.73 s. עבודה אחרת רצה על המחשב המודד במהלך ההרצה הזו, ולכן הזמנים האלה עשויים להיות גבוהים בכמה אחוזים; נתוני הזיכרון אינם תלויים בכך.
- ניתוח קר לפי גרסת שיטה 4: מדווח, אינו יעד. קריטריון ההתקדמות מולא. Holarch מציג סרגל התקדמות לכל ניתוח שעשוי להימשך יותר מ-3 שניות: הוא מופיע שנייה אחת לתוך ניתוח ארוך, מציין את השלב (הפעלת המנוע, טעינת הספרייה הסטנדרטית, ניתוח המודל) ונשאר עד שהניתוח מסתיים. סרגל ההתקדמות הוא האופן שבו האפליקציה מטפלת בניתוח ראשון ארוך; הוא אינו טענה לגבי מהירות המנוע.
- מולא: העריכות אחרי הניתוח הראשון הזה עומדות בקריטריונים שלהן בכל גודל.
- מולא: זיכרון המנוע בניתוח קר בתוך 512 MiB ב-100,000 שורות ובתוך 1 GiB ב-250,000 שורות.
- מולא: הזמן גדל בהתאם לגודל המודל. ניתוח קר ב-250,000 שורות אורך פי 24.9 מאשר ב-10,000 שורות, עבור מודל גדול פי 25 (קריטריון: לכל היותר 40).
סשן עריכה שלם
גרסת שיטה 6, שנקראת לפי גרסה 7 מאז מנוע 2.0.1: כלי המדידה שומר את רשומות המודל כטקסט, כפי ש-Holarch עושה. תהליך חדש אחד מריץ סקריפט קבוע: הניתוח הראשון, רשומות הרכיבים של המודל, בדיקה ראשונה של המודל, 60 עריכות (20 שינויי ערך, 20 שינויי ייבוא ו-20 שינויי טיפוס-על, כל אחד מנותח שוב), הדפסת המודל כטקסט, כתיבת הטקסט הערוך בחזרה למודל, וחישוב ערכי המודל. הנתון הוא זיכרון המנוע הגדול ביותר בכל נקודה בסשן.
| גודל המודל | מנוע 2.1.1 | מנוע 2.0.1 | מולא ב-2.1.1 |
|---|---|---|---|
| 10,038 שורות | 35 MiB לכל 10,000 שורות | 51 MiB לכל 10,000 שורות | מדווח |
| 50,013 שורות | 33 MiB לכל 10,000 שורות | 49 MiB לכל 10,000 שורות | מדווח |
| 100,033 שורות | 33 MiB לכל 10,000 שורות | 49 MiB לכל 10,000 שורות | כן (קריטריון: בתוך 512 MiB) |
| 250,011 שורות | 33 MiB לכל 10,000 שורות | 50 MiB לכל 10,000 שורות | כן (קריטריון: בתוך 1 GiB) |
- מולא ב-100,000 וב-250,000 שורות. הקריטריונים הם אלה של הניתוח הקר: בתוך 512 MiB ב-100,000 שורות ובתוך 1 GiB ב-250,000 שורות, הזיכרון שדפדפן מתיר למופע WebAssembly עם מרווח. ב-WebAssembly הזיכרון של המנוע לעולם אינו מתכווץ, ולכן הרגע הגדול ביותר של סשן קובע את גודלו. מנוע 2.0.1 עמד בקריטריון ב-100,000 שורות ולא ב-250,000; מנוע 2.0.0 לא עמד באף אחד מהם (122 MiB לכל 10,000 שורות לפי גרסת שיטה 6).
- הרגעים הגדולים ביותר הם הבדיקה הראשונה והחישוב של המודל, כל אחד גדול בערך כמו כתיבת הטקסט בחזרה למודל; הדפסת המודל כבר אינה השלב הגדול ביותר.
זיכרון לאורך סשן ארוך
מדווח, אינו קריטריון. אפיון של התוצאה שלמעלה, בריצה מקורית, על מנוע 2.1.1 (הרצה 2.1.1-37168cc79-1). סשן אחד לכל גודל מודל: פתיחת המודל ובדיקתו; עריכות בשני מעברים על כל אתר עריכה (שינויי ערך, ייבוא וטיפוס-על, כל אחד מנותח שוב), ואז עריכות ערך שממשיכות לכתוב מספרים חדשים; עשרה ניתוחים ועשר בדיקות של המודל שלא השתנה, וניתוח מאפס לצד הסשן הפתוח; הדפסת חבילה אחת, ואז המודל כולו; כתיבת הטקסט בחזרה למודל; חישוב; ואז סגירה ופתיחה מחדש שלוש פעמים.
| גודל המודל | עריכת המודל הפתוח | השלב הגדול ביותר: ניתוח מחדש מאפס לצד הסשן הפתוח | הדפסת המודל כולו | נותר אחרי הסגירה |
|---|---|---|---|---|
| 10,038 שורות | 27 MiB | 55 MiB | 41 MiB | 1.5 MiB |
| 50,013 שורות | 26 MiB | 54 MiB | 40 MiB | 0.6 MiB |
| 100,033 שורות | 26 MiB | 54 MiB | 40 MiB | 0.5 MiB |
| 250,011 שורות | 26 MiB | 54 MiB | 40 MiB | 0.4 MiB |
- העריכה מתייצבת. הזיכרון עולה בכ-5 MiB לכל 10,000 שורות בזמן שעריכות מגיעות להצהרות שלא נערכו קודם, ואז נשאר קבוע.
- ניתוח חוזר אינו שומר דבר. עשרה ניתוחים ועשר בדיקות של מודל שלא השתנה משאירים את הזיכרון במקומו.
- השלב הגדול ביותר הוא ניתוח של המודל כולו מאפס בזמן שהסשן נשאר פתוח, מה שמחזיק שני עותקים של הניתוח בבת אחת; עורך ששומר סשן אחד אינו צריך אותו.
- הדפסת המודל כולו צריכה כ-40 MiB לכל 10,000 שורות מעל הבסיס (מנוע 2.0.1: 53 עד 55; מנוע 2.0.0: 129 עד 131).
- הסגירה מחזירה זיכרון. שארית קטנה נשארת ואינה גדלה לאורך שלושה מחזורי פתיחה מחדש.
- ב-Safari האפיון הזה לא הורץ על מנוע 2.1.1; נתוני הסשן האחרונים ב-Safari הם של מנוע 2.0.1, בחבילת הראיות.
WebAssembly, נמדד ב-Safari
גרסת ה-WebAssembly של מנוע 2.1.1, ב-worker המנוע של Holarch עצמו, על אותם מודלים מחוללים. ההפעלה היא שליפת המנוע והפעלתו וטעינת הספרייה הסטנדרטית; ניתוח קר הוא החציון של 3 workers חדשים; העריכות הן 200 לכל סוג אחרי 20 עריכות חימום, בסשן אחד, כמו למעלה. כל גודל מודל רץ בדף משלו. שינויי שם נמדדים רק בגרסה המקורית. הנתונים האלה מדווחים, אינם קריטריונים.
| גודל המודל | הפעלת המנוע, Safari | ניתוח קר, Safari | ניתוח קר, מקורי | שינוי ערך, p95, Safari / מקורי | שינוי ייבוא, p95, Safari / מקורי | שינוי טיפוס-על, p95, Safari / מקורי |
|---|---|---|---|---|---|---|
| 10,038 שורות | 143 ms | 215 ms | 150 ms | 3 / 1.3 ms | 4 / 2.1 ms | 4 / 2.2 ms |
| 50,013 שורות | 152 ms | 867 ms | 711 ms | 12 / 3.9 ms | 10 / 4.9 ms | 10 / 4.7 ms |
| 100,033 שורות | 144 ms | 1.63 s | 1.43 s | 20 / 7.7 ms | 20 / 8.6 ms | 20 / 8.5 ms |
| 250,011 שורות | 175 ms | 4.44 s | 3.73 s | 53 / 22.7 ms | 50 / 24.0 ms | 49 / 24.9 ms |
עדיין לא נתמך
המבנים האלה מופיעים ברשימה שפרסם המנוע של מבנים לא נתמכים. קבצים של מודלי הדוגמה שאינם תואמים לפיילוט בגללם יוצאים מההיקף שהוערך; אין כאלה בהרצה הזו.
- ייצוגים טקסטואליים בשפות אחרות נשמרים כטקסט ואינם נבדקים.
שונות, מילות מפתח מוגדרות משתמש ואפקטים של מעברים שנכתבים כ-accept או כ-action ירדו מהרשימה בגרסאות שיטה 8 עד 10, כל אחד כשיצא. לכל כלל דקדוק של הסימון הטקסטואלי יש לפחות בדיקה אחת שמנתחת אותו ובודקת את התוצאה. הרשימה המלאה של מה שעובד ב-Holarch, עם המגבלות: כיסוי שפת SysML v2.
שחזור התוצאות
את התוצאות אפשר לשחזר באופן עצמאי: חבילת הראיות (zip, SHA-256 5d9821f7dac3fd0b2bc49a8defe416ac01f515834d65d3182891a9f8d20e59ae) מכילה את מה שנדרש כדי לחזור על כל הרצה על אותו build של המנוע.
- מדריך שחזור בן עמוד אחד,
REPRODUCE.md: הפקודות המדויקות, התלויות, הקלטים עם סיכומי הביקורת שלהם, התוצאות הצפויות וזמני הריצה. - שיטת הבדיקה, עם כל גרסת שיטה (1 עד 10) והסיבה שלה.
- טבלאות הסיווג: רשימת המבנים הלא נתמכים, כל אי-התאמה מסווגת עם הסוג והסעיף שלה, המרשם שלמעלה, הסקירה של כל שגיאת מנוע וקטגוריות הקישור.
- הסיכום והתוצאות הקריאות למכונה של כל הרצה עבור מנוע 2.1.1 (כל מדד ואפיון זיכרון הסשן), מנוע 2.0.1 (מהירות וזיכרון, זיכרון סשן), Holarch 2.15.1 (שתי גרסאות ה-build של הקוד של מנוע 2.0.0), 2.14.0 (מהירות וזיכרון), 2.13.1 ו-2.12.0, וזמני ה-WebAssembly וזיכרון הסשן שנמדדו ב-Safari.
- המחולל של המודלים הגדולים, דטרמיניסטי לכל seed, וסקריפטי המדידה וההשוואה.
- סיכום ביקורת של כל קובץ.
היא אינה מכילה את המנוע או את הקבצים של OMG. הסקריפטים שולפים את מודלי הדוגמה ואת מימוש הפיילוט מהמקורות הציבוריים שלהם ב-commit המקובע ובסיכום הביקורת של החבילה. המנוע להרצה חוזרת מגיע עם גרסת הערכה של המנוע.
הרצות קודמות
הרצות רשמיות קודמות נשארות כפי שנמדדו, כל אחת לפי גרסת השיטה שלה. לפי שיטות 1 עד 3, ניתוח קר בתוך 0.6 s ב-100,000 שורות היה יעד; אף הרצה לא עמדה בו. שיטה 4 מדווחת עליו ללא יעד. שיא הזיכרון לפני גרסת שיטה 3 היה שיא הזיכרון התושב של תהליך המדידה, שסופר גם זיכרון שהמקצה שומר לשימוש חוזר; הוא אינו בר השוואה לנתון ערימת המנוע. ההרצות של Holarch 2.15.0 ו-2.14.0 מדדו מהירות וזיכרון בלבד; הזמנים בהרצה של 2.15.0 גבוהים בכרבע מאלה של גרסאות ה-build שלפניה ואחריה, ונמדדו בזמן שעבודה אחרת רצה על אותו מחשב.
| Build | גרסת המנוע | גרסת Holarch | שיטה | קבלה, גולמי | קבלה, מסווג (סקירה פנימית) | קישור שמות | ניתוח קר, 100,000 שורות | שיא זיכרון, 100,000 שורות |
|---|---|---|---|---|---|---|---|---|
| 37168cc | 2.1.1 | 2.21.0 (מגיע עם מנוע 2.1.2) | 10 | 242 מתוך 252 | 252 מתוך 252 | 4,904 מתוך 4,908 | 1.43 s | 302 MiB בערימת המנוע |
| d8cf5c8 | 2.0.1 | 2.17.1 | 7 | לא נמדד | לא נמדד | לא נמדד | 1.23 s | 362 MiB בערימת המנוע |
| 91f058a | 2.0.0 | 2.15.1 (אותו קוד מנוע כמו dd4fb10) | 6 | 232 מתוך 252 | 241 מתוך 241 | 4,879 מתוך 4,886 | 1.35 s | 362 MiB בערימת המנוע |
| dd4fb10 | 1.0.0 | 2.15.1 | 6 | 232 מתוך 252 | 241 מתוך 241 | 4,879 מתוך 4,886 | 1.28 s | 362 MiB בערימת המנוע |
| e6bb924 | 1.0.0 | 2.15.0 | 5 | לא נמדד | לא נמדד | לא נמדד | 1.57 s | 362 MiB בערימת המנוע |
| 0c983e2 | 1.0.0 | 2.14.0 | 6 | לא נמדד | לא נמדד | לא נמדד | 1.37 s | 362 MiB בערימת המנוע |
| d3f5d4b | 1.0.0 | 2.13.1, 2.13.2 | 5 | 231 מתוך 252 | 240 מתוך 242 | 4,851 מתוך 4,860 | 1.24 s | 362 MiB בערימת המנוע |
| 8a6bf7b | 1.0.0 | 2.12.0 | 5 | 220 מתוך 252 | 229 מתוך 242 | 4,753 מתוך 4,768 | 1.21 s | 362 MiB בערימת המנוע |
| 6eec2b7 | 1.0.0 | – | 5 | 231 מתוך 252 | 240 מתוך 240 (סיווג לפני סקירת השגיאות) | 4,851 מתוך 4,860 | 1.20 s | 362 MiB בערימת המנוע |
| c184e57 | 1.0.0 | 2.11.0 | 3 | 220 מתוך 252 | 228 מתוך 228 | 4,753 מתוך 4,768 | 1.31 s | 361 MiB בערימת המנוע |
| bfa03c7 | 1.0.0 | – | 2 | 220 מתוך 252 | 228 מתוך 228 | 4,753 מתוך 4,768 | 1.35 s | 972 MiB לתהליך |
| 1cada39 | 1.0.0 | – | 2 | 216 מתוך 252 | 224 מתוך 228 | 4,737 מתוך 4,752 | 4.24 s | 1,022 MiB לתהליך |
| fd20280 | 1.0.0 | – | 1 | 145 מתוך 252 | לא סווג (שיטה 1) | 4,326 מתוך 4,373 | 2.41 s | 1,535 MiB לתהליך |
מה התוצאות האלה אינן מראות
- אלה המדידות של Holarch עצמו על המודלים שעליהם הן רצו. הן אינן הסמכה. Object Management Group לא סקר אותן ולא אישר אותן.
- מימוש הפיילוט ומודלי הדוגמה אינם המפרט. כשהם והמנוע שונים, הסיווג שלמעלה אומר באיזה צד המפרט תומך, ומדוע.
- כל סיווג וסקירה בדף הזה הם סקירה פנימית. מתוכננת סקירה חיצונית של מדגם ממקרי הבדיקה של המנוע מול המפרט.
- סימולציה של פעולות ומכונות מצבים, תוסף הסימולציה שברישוי נפרד, אינה נמדדת כאן.
- ההמרה של מודלי SysML v1 ל-SysML v2 אינה נמדדת כאן. עבור בעלי רישיון למנוע היא תוסף ההגירה, ברישוי נפרד.