גבולות שנבדקו
כמה גדול פרויקט ש-Holarch מסוגל לטפל בו
הפרויקטים הגדולים ביותר ש-Holarch נבדק איתם, זיכרון הדפדפן וזמני הפתיחה שהם צריכים, ובדיקת העומס של השירות המתארח שעליה מבוססת מגבלת הפריטים של כל תוכנית.
ביצועים
נמדד עם פרויקטים שנוצרו אוטומטית בשתי שפות המידול; נתוני הדפדפן ב-Safari על Mac. כל טבלה מציינת את גרסת Holarch שבה נמדדה.
- אפליקציית שולחן העבודה (Holarch שמותקן במחשב שלכם): נבדק עד 700,000 פריטים לפרויקט ב-LML ו-400,000 ב-SysML v2 (מעבר ל-250,000 פריטים).
- השירות המתארח (app.holarch.app): עד 50,000 פריטים לפרויקט; לתוכניות גדולות יותר מקשרים פרויקטים עם קישורים בין פרויקטים, מפת התוכנית וספריות (מגבלות התוכניות).
- שרת Holarch באירוח עצמי (Enterprise): נבדק עד 400,000 פריטים לפרויקט, ב-LML וב-SysML v2. פרויקט נשאר מתחת ל-1 GB של זיכרון שרת נוסף עד כ-330,000 פריטי LML ומעבר ל-400,000 פריטי SysML v2 (שרת באירוח עצמי מעבר ל-250,000 פריטים).
השירות המתארח: זיכרון שרת
זיכרון השרת שפרויקט צריך כשהוא פתוח, מעבר למה שהשרת משתמש בלעדיו, לכל 10,000 פריטים. נבדק עד 50,000 פריטים לפרויקט, המגבלה של השירות המתארח.
| שפה | לכל 10,000 פריטים | הפרויקט הגדול ביותר שנבדק |
|---|---|---|
| LML | כ-17 MB | 50,000 פריטים |
| SysML v2 | 4–8 MB | 50,000 פריטים |
- הנתונים הם הזיכרון הנוסף של פרויקט פתוח, לא הזיכרון של השרת כולו. הבסיס, שרת שהופעל זה עתה אחרי כניסה אחת, הוא כ-130 MB.
- הזיכרון שהכרטיסייה של פרויקט צריכה בדפדפן מופיע בהמשך (זיכרון הדפדפן).
זיכרון הדפדפן
דף Holarch משתמש בכ-100 MB כשאין פרויקט פתוח. זה הבסיס. הנתונים שלהלן הם הזיכרון שכרטיסיית הדפדפן צריכה מעבר לבסיס לכל 10,000 פריטים בפרויקט, בנקודה הגבוהה ביותר בזמן פתיחת הפרויקט.
| שפה | שירות מתארח | מותקן במחשב שלכם |
|---|---|---|
| LML | 40–60 MB | 50–70 MB |
| SysML v2 | 100–155 MB | 70–80 MB |
- הנתון משתנה לפי גודל הפרויקט. כדאי לתכנן לפי הנתון הגבוה.
- עריכה מוסיפה מעט: אחרי 100 עריכות, הכרטיסייה של פרויקט LML לא השתמשה ביותר זיכרון מאשר לפניהן. בזמן שהעריכות נשמרות, היא עשויה להזדקק לזמן קצר לעד כ-0.6 GB נוספים.
- הזיכרון שיש לתכנן לכל גודל פרויקט: דרישות מערכת.
זמני פתיחה
מהלחיצה ועד שהדף מוכן לשימוש. פרויקט SysML v2 מריץ אחר כך את בדיקת המודל הראשונה שלו ברקע בזמן שעובדים; הנתון השני הוא הזמן עד שהבדיקה מסתיימת.
| פריטים | LML, מתארח | LML, מותקן | SysML v2, מתארח | SysML v2, מותקן |
|---|---|---|---|---|
| 50,000 | כשנייה אחת | כשנייה אחת | כ-2 שניות; בדיקה 4 שניות | לא נמדד |
| 100,000 | — | כשנייה אחת | — | כ-2 שניות; בדיקה 5 שניות |
| 150,000 | — | לא נמדד | — | לא נמדד |
| 200,000 | — | כ-2 שניות | — | לא נמדד |
| 250,000 | — | לא נמדד | — | כ-6 שניות; בדיקה 14 שניות |
- הזמנים במתארח נמדדו מול שרת בדיקה. חיבור רשת איטי מוסיף את זמן ההורדה של הפרויקט.
- — : מעבר למגבלה של השירות המתארח, 50,000 פריטים לפרויקט.
- אישור עריכות ועבודה של אנשים רבים בו-זמנית בשירות המתארח: ראו תוצאות בדיקת העומס.
- המהירות והזיכרון של מנוע השפה SysML v2 בפני עצמו: ראו תוצאות הבדיקה של Language Engine.
מעבר ל-250,000 פריטים, מותקן במחשב שלכם
Holarch 2.30.0 פתח פרויקטים שנוצרו אוטומטית של 400,000 ו-700,000 פריטי LML ומודל SysML v2 של 400,000 פריטים ב-Safari, ביצע עריכה אחת, שמר אותה וסגר את הפרויקט. דבר לא נכשל.
| פרויקט | פתיחה | סיום העבודה ברקע | זיכרון הדפדפן לכל 10,000 פריטים, בזמן פתיחה |
|---|---|---|---|
| LML, 400,000 פריטים | כ-4 שניות | 16 שניות | כ-105 MB |
| LML, 700,000 פריטים | כ-6 שניות | 21 שניות | כ-130 MB |
| SysML v2, 400,000 פריטים | כ-3 שניות | 19 שניות | כ-85 MB |
- בגדלים האלה, הזיכרון של המחשב שלכם קובע את המגבלה.
- הדף עלול להפסיק להגיב לכמה שניות בזמן שפרויקט LML בגודל כזה נפתח ובזמן שהעריכה הראשונה שלו נשמרת.
שרת באירוח עצמי מעבר ל-250,000 פריטים
שרת Holarch שמריץ את Holarch 2.30.0 נבדק עם פרויקטים שנוצרו אוטומטית של 250,000 ו-400,000 פריטי LML, שלושה קשרים לכל פריט, ומודל SysML v2 של 400,000 פריטים. כל פרויקט עבר את עומס העבודה הזה:
- שמירת הפרויקט כולו בשרת, פתיחתו ופתיחתו שוב.
- הבעלים עורכים מ-10 דפים בו-זמנית במשך 60 שניות, כשכל דף מבצע עריכה אחת בשנייה ופותח מחדש את הפרויקט כל 15 שניות.
- דחיסה של היסטוריית השינויים.
- מחיקת הפרויקט.
כל שלב עבר: אין שגיאות שרת ואין עריכות שנדחו.
| פרויקט | לכל 10,000 פריטים, השלב הגבוה ביותר | מתחת ל-1 GB | אישור עריכה p95 |
|---|---|---|---|
| LML, 250,000 פריטים | כ-31 MB | כן | 30 ms |
| LML, 400,000 פריטים | כ-30 MB | לא, החל מכ-330,000 פריטים | 60 ms |
| SysML v2, 400,000 פריטים | כ-21 MB | כן | 34 ms |
- הנתונים האלה הם זיכרון השרת הנוסף שהפרויקט צריך, מעבר למה שהשרת משתמש בלעדיו. הם אינם הזיכרון של השרת כולו.
- שמירה של פרויקט שלם מוגבלת כברירת מחדל ל-192 MB של נתוני פרויקט, כ-340,000 פריטי LML או 430,000 פריטי SysML v2. שרת באירוח עצמי יכול להעלות את המגבלה; ההרצות של 400,000 פריטים עשו זאת.
- אלה גדלים שנבדקו תחת עומס העבודה הזה, לא התחייבות לכל מודל. טקסטים ארוכים ודיאגרמות רבות לא היו חלק מהבדיקה הזו.
1.1.6 → 2.15.1
Holarch 1.1.6 הוא הגרסה הראשונה שנמדדה בבדיקות הפרויקטים הגדולים האלה. אותן בדיקות רצו ללא שינוי על 1.1.6 ועל 2.15.1, עם אותם פרויקטי LML שנוצרו אוטומטית, על אותו מחשב ועם אותן מגבלות שרת.
| מדד | Holarch 1.1.6 | Holarch 2.15.1 |
|---|---|---|
| זיכרון לכל 10,000 פריטים, יצירה, פתיחה, 200 עריכות וגרסה | 220–250 MB | 40–55 MB מ-20,000 פריטים ומעלה (80–110 MB ב-5,000–10,000) |
| אותו דבר, עם גרסה שנכתבת בזמן שהבעלים עורכים | הזיכרון אזל ב-25,000 פריטים | 45–67 MB |
| בסיס: השרת אחרי כניסה אחת | כ-125 MB | כ-130 MB |
| כתיבת גרסה של פרויקט של 25,000 פריטים | 7.5 שניות | 0.4 שניות |
| הפרויקט הגדול ביותר שנבדק | 25,000 פריטים | 115,000 פריטים, הגדול ביותר ששמירה אחת של 64 MB מכילה |
| שלב | פריטים | Holarch 1.1.6 | Holarch 2.15.1 |
|---|---|---|---|
| בית | 25,000 / 50,000 | 36 s / 149 s | 0.7 s / 1.6 s |
| דף בדיקות המודל | 25,000 / 50,000 | 66 s / 297 s | 0.4 s / 0.7 s |
| מטריצת עקיבות (דרישות × מקרי בדיקה) | 10,000 | 47 שניות | 0.2 שניות |
| מטריצת עקיבות לאימות דרישות | 10,000 | 31 שניות | 0.1 שניות |
| פתיחת מסמך של 2,000 דרישות | 5,000 / 10,000 / 25,000 | 0.6 s / 0.6 s / 0.8 s | 0.5 s / 0.5 s / 0.5 s* |
| שמירה אחרי עריכה אחת | 5,000 / 10,000 / 25,000 / 50,000 | 0.2 s / 0.5 s / 30 s / 152 s | 0.15 s / 0.3 s / 0.8 s / 1.6 s* |
| בדיקת איכות של 2,000 דרישות | 10,000 | 30 שניות | 3.2 שניות |
| הפרויקט הגדול ביותר שעבר את כל השלבים | — | 50,000 פריטים, כשהדף לא מגיב יותר מ-2 דקות בכל פעם | 100,000 פריטים; בית 3.2 שניות, מטריצה 0.3 שניות |
- * נמדד ב-2.16.1, שהאיצה את שני השלבים האלה לעומת 2.15.1. שאר הנתונים נמדדו ב-2.15.1.
- ב-1.1.6 מטריצת העקיבות עצרה את הדף ליותר מ-2 דקות ב-25,000 פריטים, ולכן שם היא לא נמדדה בגדלים גדולים יותר. ב-2.15.1 היא נפתחת בפחות מ-0.3 שניות בכל גודל עד 100,000 פריטים.
רף המעבר
השירות המתארח עובר בדיקת עומס שבה כמה אנשים פותחים ועורכים פרויקט אחד בו-זמנית. גודל פרויקט עובר כשהשירות עומד בכל תנאי בתרחיש הזה:
- השרת דחס זה עתה את היסטוריית השינויים של הפרויקט. פתיחת פרויקט עולה הכי הרבה במצב הזה.
- 10 אנשים פותחים את הפרויקט באותו רגע.
- אותם 10 אנשים עורכים אותו אחר כך במשך 60 שניות, כל אחד עריכה אחת בשנייה.
- אישור עריכה: 95 % מהעריכות מאושרות על ידי השרת בתוך 1.5 שניות (p95 ≤ 1.5 s).
- אין כשלים: אין שגיאות שרת.
מערך הבדיקה
- תוכנת השרת של הייצור, על מערך בדיקה איטי יותר מהשירות המתארח, כך שהתוצאות שמרניות.
- מגבלות המשאבים וההגדרות של השירות המתארח.
- מסד הנתונים ואחסון הקבצים רצו על אותו מחשב, לא דרך רשת. שרת חדש הופעל לכל הרצה.
- פרויקטי LML שנוצרו אוטומטית: 40 % דרישות במפרטים, 20 % פונקציות, 15 % רכיבים, 15 % מקרי בדיקה, 5 % סיכונים והשאר קלטים ופלטים, עם שלושה קשרים לכל פריט.
תוצאות
| פריטים | נתונים שנשלחו לכל פתיחה | משך 10 הפתיחות | אישור עריכה p95 | תוצאה |
|---|---|---|---|---|
| 50,000 | 27.2 MB | 3.7 שניות | 1.49 שניות | עבר |
| 50,000 (הרצה שנייה) | 27.2 MB | 3.6 שניות | 1.08 שניות | עבר |
- באף הרצה לא הייתה שגיאת שרת.
- העריכה הטיפוסית (p50) אושרה בכ-30 ms בכל הרצה. העריכות האיטיות ממתינות מאחורי התגובות הגדולות של הפתיחות הבו-זמניות.
מגבלות התוכניות
| תוכנית | פריטים לפרויקט |
|---|---|
| Free / אקדמי | 1,000 (2,000 בארגון כיתה פעיל) |
| Individual | 5,000 |
| Team | 50,000 |
- השירות המתארח (app.holarch.app) מכיל עד 50,000 פריטים לפרויקט בכל תוכנית; לתוכניות גדולות יותר מקשרים פרויקטים. אפליקציית שולחן העבודה (Holarch שמותקן במחשב שלכם) נבדקה עד 700,000 פריטים לפרויקט ב-LML ו-400,000 ב-SysML v2.
- שמירה של פרויקט שלם, כמו ייבוא קובץ פרויקט, יכולה להיות לכל היותר 192 MB של נתוני פרויקט. פרויקט עם טקסטים ארוכים יכול להגיע לגודל הזה לפני מגבלת הפריטים.
- מה נחשב כפריט: ראו תמחור.
- זיכרון המחשב שפרויקט בכל גודל צריך בדפדפן: ראו דרישות מערכת.
הלוך-חזור: מה כל פורמט החלפה שומר
כל מודל יוצא בכל פורמט רלוונטי ויובא שוב לפרויקט חדש עם אפשרויות ברירת המחדל. אחר כך כל רכיב של המקור נספר כנשמר, כהומר או כנשמט. נמדד ב-Holarch 2.21.0, זהה בשירות המתארח ובהתקנה במחשב שלכם.
- נשמר: נמצא שוב ללא שינוי. פריט שומר על המחלקה, השם, המספר, התיאור והתוויות שלו; קשר שומר על הסוג, שני הקצוות והמאפיינים שלו; ערך מאפיין, תצוגה שמורה או תיאור מעוצב זהים לקודם.
- הומר: נמצא שוב עם הבדל, למשל Statement שחוזר כ-Requirement, מספר או תווית שחסרים, או מאפיין קשר שחוזר עם ערך ברירת המחדל שלו.
- נשמט: אינו בפרויקט החדש, כי לפורמט אין מקום בשבילו או שאחד מהקצוות שלו נשמט.
| פורמט | פריטים | קשרים | ערכי מאפיינים | תצוגות שמורות | מסמכים | תיאורים מעוצבים |
|---|---|---|---|---|---|---|
| קובץ פרויקט של Holarch (.json) | 407 / 0 / 0 | 915 / 0 / 0 | 979 / 0 / 0 | 83 / 0 / 0 | 3 / 0 / 0 | 5 / 0 / 0 |
| גיבוי וחבילת פרויקט של Holarch (.holarch)* | 424 / 0 / 0 | 949 / 0 / 0 | 1,104 / 0 / 0 | 84 / 0 / 0 | 3 / 0 / 0 | 5 / 0 / 0 |
| UML/SysML XMI, עם נתוני Holarch | 317 / 0 / 90 | 631 / 0 / 284 | 672 / 0 / 307 | 0 / 3 / 80 | 0 / 0 / 3 | 5 / 0 / 0 |
| UML/SysML XMI, SysML רגיל | 83 / 234 / 90 | 548 / 95 / 272 | 138 / 38 / 803 | 0 / 3 / 80 | 0 / 0 / 3 | 0 / 5 / 0 |
| Papyrus (.uml) | 317 / 0 / 90 | 631 / 0 / 284 | 672 / 0 / 307 | 0 / 3 / 80 | 0 / 0 / 3 | 5 / 0 / 0 |
| ReqIF | 407 / 0 / 0 | 879 / 21 / 15 | 979 / 0 / 0 | 0 / 0 / 83 | 3 / 0 / 0 | 5 / 0 / 0 |
| CSV, כל מאפיין, תוויות וקשרים | 393 / 14 / 0 | 810 / 96 / 9 | 979 / 0 / 0 | 0 / 0 / 83 | 3 / 0 / 0 | 5 / 0 / 0 |
| עותק SysML v2, ואחריו עותק LML | 348 / 41 / 18 | 703 / 56 / 156 | 857 / 33 / 89 | 26 / 7 / 50 | 3 / 0 / 0 | 0 / 5 / 0 |
* נמדד ב-Holarch 2.33.0 על הדגמת CubeSat EO-1 הנוכחית (424 פריטים, 949 קשרים, 1,104 ערכי מאפיינים, 84 תצוגות שמורות, 3 מסמכים, 5 תיאורים מעוצבים); דבר לא הומר או נשמט.
- קובץ פרויקט וחבילת פרויקט: הפרויקט כולו, כולל בית, תרשימים, לוח המחוונים של התוכנית והגדרות הפרויקט.
- XMI ו-Papyrus עם נתוני Holarch: כל פריט שיש לו רכיב ב-SysML חוזר ללא שינוי, עם מחלקת ה-LML, המספר, התוויות והמאפיינים שלו. 90 הפריטים שנשמטו הם משימות, מסמכים, סיכונים, בעיות, פריטי לוח זמנים, סיכוני בטיחות ופריטים אחרים שאין להם רכיב ב-SysML; רוב הקשרים שנשמטו מתחברים אליהם. גם מאפייני קשרים כמו Trigger ו-Amount חוזרים. דיאגרמות מלבד זרימות של דיאגרמות Action אינן חלק מ-XMI.
- XMI ללא נתוני Holarch: SysML 1.6 רגיל. Statements חוזרים כ-Requirements, ומספרי LML, תוויות ומאפייני LML אינם בקובץ.
- ReqIF: כל פריט, ערך מאפיין, תווית ומבנה המסמך חוזרים, וקשרים שומרים על המאפיינים שלהם. הריבוי של פירוק אינו נכתב, כי ReqIF מחזיק את הפירוק כמבנה המסמך. התוספות של ההדגמה לסכמה (למשל Equation שמקיים Requirement) מדולגות בפרויקט חדש, שיש לו את הסכמה התקנית.
- CSV: כל פריט וכל ערך מאפיין חוזרים. בטבלה אין מקום למאפייני קשרים, ולכן הם חוזרים עם ערכי ברירת המחדל שלהם, ותוויות שאין בפרויקט החדש מושמטות.
- עותק SysML v2 וחזרה: המרה עם דוח, לא פורמט החלפה. Measures ומספרי Asset אינם חוזרים, וגם חלק מהעקיבויות.
| פורמט | Hybrid Car, 708 רכיבים | Hybrid Car, נתוני Holarch | Battery Pack, 62 רכיבים |
|---|---|---|---|
| קובץ פרויקט של Holarch (.json) | 708 / 0 / 0 | הכול נשמר | 62 / 0 / 0 |
| טקסט SysML v2 (.sysml) | 708 / 0 / 0 | לא בקובץ | 62 / 0 / 0 |
| SysML v2 JSON | 708 / 0 / 0, מזהי הרכיבים נשמרו | לא בקובץ | 62 / 0 / 0, מזהי הרכיבים נשמרו |
| עותק LML, ואחריו עותק SysML v2 | 22 / 184 / 502 | 21 מתוך 27 פריטים נשמרו | 6 / 21 / 35 |
- טקסט SysML v2 ו-JSON: כל רכיב מודל חוזר ללא שינוי. סטטוס דרישות, תוצאות אימות, סיכונים, מסמכים ונתוני Holarch אחרים עוברים רק בקובץ הפרויקט.
- עותק LML וחזרה: המודל נבנה מחדש מעותק ה-LML, ולכן רצפים, ייבואים, מטא-נתונים ורוב הטיפוס אינם חוזרים.
חזרה על הבדיקה: יוצרים את ההדגמה מפרויקט הדגמה חדש, מייצאים אותה באחד הפורמטים, מייבאים את הקובץ לפרויקט חדש עם אפשרויות ברירת המחדל ומשווים את שני הפרויקטים במסד הנתונים.
מה לא נמדד
- פרויקטי SysML v2, פרויקטים עם דיאגרמות רבות ותיאורים ארוכים בטקסט עשיר.
- כמה פרויקטים גדולים בשימוש באותו רגע.
שאלות על מודל בגודל שלכם: צרו קשר.