Holarch Language Engine
نتائج اختبار Language Engine
النتائج المقيسة للمحرك الذي تقوم عليه مشاريع SysML v2 في Holarch: كيف تقارن إجاباته بالتنفيذ التجريبي من OMG على نماذج الأمثلة الرسمية، وكيف يتعامل مع النص التالف، ومدى سرعته على النماذج الكبيرة. والمعايير غير المستوفاة مدرجة مع المستوفاة.
انتقل إلى: هذا التشغيل · الملخص · ذاكرة الجلسة · ما تدعمه الأدلة · نماذج الأمثلة · التحقق من التشخيصات · ربط الأسماء · النص التالف · السرعة والذاكرة · غير مدعوم بعد · إعادة إنتاج النتائج · التشغيلات السابقة · ما لا تبيّنه هذه النتائج
هذا التشغيل
- المحرك: Holarch Language Engine 2.1 (الإصدار 2.1.1، البناء 37168cc). يشحن Holarch الإصدار 2.1.2، الذي يضيف تقارير التقدم لشريط التقدم لدى المضيف ويفحص سلاسل الاستيراد أو التخصيص الطويلة جدًا التي كانت توقف الإصدارات السابقة؛ وعلى نماذج الأمثلة والنماذج المولّدة ومجموعة الاختبار في هذا التشغيل يعطي الإجابات نفسها التي يعطيها 2.1.1، لذا لم تُقس الأرقام في هذه الصفحة، المقيسة على 2.1.1، مرة أخرى. واستغرق تحليله البارد للنماذج المولّدة الكبيرة نحو 3 % أطول في قياس خارج التشغيلات الرسمية. ويضيف المحرك 2.1 التنوعية (variability)، والكلمات المفتاحية التي يعرّفها المستخدم، ومحفزات الانتقالات وتأثيراتها، والمحاكاة (إضافة مرخصة على حدة، لا تُقاس هنا)، وذاكرة أقل على امتداد جلسة التحرير.
- المنهجية: الإصدار 10 من خطة القبول المكتوبة. وُضعت المعايير قبل قياس النتائج الأولى. ويُسجَّل كل تغيير لاحق في المنهجية مع سببه، وتحتفظ النتائج السابقة بالمنهجية التي قيست بها. وتزيل الإصدارات 8 إلى 10 التنوعية والكلمات المفتاحية التي يعرّفها المستخدم ومحفزات الانتقالات وتأثيراتها من قائمة البنى غير المدعومة كلما شُحن أحدها؛ والمعايير والبوابات بلا تغيير.
- نماذج الأمثلة: مجموعات التدريب والأمثلة والتحقق في مستودع إصدارات SysML v2 لدى OMG، الإصدار 2026-08 (الإيداع fb97b754): 252 ملفًا، و14,957 سطرًا. وتُجلب النماذج من مستودع OMG في كل تشغيل ولا تُنسخ إلى Holarch.
- المرجع: التنفيذ التجريبي من OMG، الإصدار 0.62.0، مشغَّلًا صندوقًا أسود.
- النماذج الكبيرة: نماذج مولّدة من 10,000 إلى 250,000 سطر، باستيرادات عميقة ومراجع عبر الحزم وسلاسل تخصيص طويلة.
كل رقم في هذه الصفحة مأخوذ من التشغيلات الرسمية المذكورة أدناه. ولا يُعدَّل التشغيل المنشور أبدًا. والتصحيح تشغيل جديد يسمّي التشغيل الذي يحل محله.
يميّز مراجعة داخلية كل تصنيف ومراجعة في هذه الصفحة: فئات الاختلافات، والسجل، ومراجعة كل خطأ من أخطاء المحرك، وفئات الربط. وقد أجراها Holarch مقابل نص المواصفة. ولا توجد مراجعة خارجية بعد؛ ويبقى الوسم إلى أن توجد.
| إصدار Holarch | إصدار المحرك | بناء المحرك | الطريقة | التشغيلات الرسمية |
|---|---|---|---|---|
| 2.21.0 (يشحن المحرك 2.1.2) | 2.1.1 | 37168cc | 10 | 2.1.1-37168cc79-1 (كل المقاييس، وكذلك توصيف ذاكرة الجلسة؛ الأرقام في هذه الصفحة) |
| 2.17.1 | 2.0.1 | d8cf5c8 | 7 | 2.0.1-d8cf5c835-1 (السرعة والذاكرة، ذاكرة الجلسة) |
| 2.15.1 | 2.0.0 | dd4fb10؛ ويبلّغ 91f058a عن 2.0.0 | 6 | 1.0.0-dd4fb10f5-1 (كل المقاييس)، 2.0.0-91f058a75-1 (كل المقاييس، على البناء الذي يبلّغ عن 2.0.0؛ وكذلك توصيف ذاكرة الجلسة) |
| 2.15.0 | 1.0.0 | e6bb924 | 5 | 1.0.0-e6bb92459-1 (السرعة والذاكرة، تغطية الاختبارات) |
| 2.14.0 | 1.0.0 | 0c983e2 | 6 | 1.0.0-0c983e2e8-1 (السرعة والذاكرة، للمقارنة) |
| 2.13.1 | 1.0.0 | d3f5d4b | 5 | 1.0.0-d3f5d4b5d-2 (نماذج الأمثلة)، 1.0.0-d3f5d4b5d-1 (المقاييس الأخرى) |
| 2.12.0 | 1.0.0 | 8a6bf7b | 5 | 1.0.0-8a6bf7b76-2 (نماذج الأمثلة)، 1.0.0-8a6bf7b76-1 (المقاييس الأخرى) |
| 2.11.0 | 1.0.0 | c184e57 | 3، مقروءًا وفق 4 | 1.0.0-c184e57e6-1 |
الملخص
على نموذج مولّد من 10,000 سطر، يحلل المحرك 2.1.1 النموذج كاملًا في 150 ms ويعيد فحصه بعد تعديل في 1.3 إلى 6.8 ms (المئين 95). قاعدة المحرك، مع تحميل المكتبة القياسية: 17 MiB؛ ويضيف تحليل النموذج كاملًا نحو 29 MiB لكل 10,000 سطر، وجلسة التحرير كاملة نحو 33 MiB لكل 10,000 سطر. وكل المعايير مستوفاة، بما فيها ذاكرة المحرك على امتداد جلسة تحرير كاملة عند 100,000 و250,000 سطر، التي لم تستوفها المحركات السابقة. اختُبر بنماذج مولّدة تصل إلى 250,000 سطر: السرعة والذاكرة عند كل حجم.
تُعرض الذاكرة لكل 10,000 سطر فوق قاعدة المحرك، أي ذاكرة المحرك مع تحميل المكتبة القياسية ونموذج فارغ. وتنطبق المعايير على المجموع.
| المقياس | المعيار | المحرك 2.1.1 | مستوفى |
|---|---|---|---|
| نماذج الأمثلة: الأعطال وانتهاء المهلة | غير مسموح بأي منها | لا شيء | نعم |
| نماذج الأمثلة: التوافق في القبول، بعد التصنيف | 98 % على الأقل من الملفات في النطاق المقيَّم | 252 من 252 مراجعة داخلية | نعم |
| نماذج الأمثلة: القبول الخاطئ | غير مسموح بأي منها | لا شيء | نعم |
| نماذج الأمثلة: مراجعة كل خطأ من أخطاء المحرك واحدًا واحدًا | مراجعة الكل | 44 من 44 مراجعة داخلية | نعم |
| ربط الأسماء | توافق 99.5 % على الأقل من الربطات المزدوجة | 4,904 من 4,908 | نعم |
| النص التالف | سبعة معايير، أدناه | استيفاء المعايير السبعة كلها | نعم |
| التعديلات، كل الأحجام | تغيير القيمة خلال 12 ms، والتعديلات الأخرى خلال 60 ms (25 و150 ms عند 250,000 سطر) | الكل ضمن الحد | نعم |
| التحليل البارد، 100,000 سطر | مُبلَّغ عنه، وليس هدفًا منذ الإصدار 4 من المنهجية (الهدف السابق: خلال 0.6 s) | 1.43 s | الهدف السابق غير مستوفى |
| التحليل البارد، 250,000 سطر | مُبلَّغ عنه، وليس هدفًا منذ الإصدار 4 من المنهجية (الهدف السابق: خلال 1.2 s) | 3.73 s | الهدف السابق غير مستوفى |
| عرض التقدم أثناء التحليل الطويل | شريط تقدم لأي تحليل قد يستغرق أكثر من 3 ثوانٍ (الإصدار 4 من المنهجية) | معروض، مع مراحل المحرك؛ ويفحصه اختبار التقدم في Holarch | نعم |
| ذاكرة المحرك، التحليل البارد، 100,000 سطر | ضمن 512 MiB | 28 MiB لكل 10,000 سطر فوق القاعدة | نعم |
| ذاكرة المحرك، التحليل البارد، 250,000 سطر | ضمن 1 GiB | 28 MiB لكل 10,000 سطر فوق القاعدة | نعم |
| ذاكرة المحرك، جلسة تحرير كاملة، 100,000 سطر | ضمن 512 MiB (الإصدار 6 من المنهجية) | 33 MiB لكل 10,000 سطر فوق القاعدة | نعم |
| ذاكرة المحرك، جلسة تحرير كاملة، 250,000 سطر | ضمن 1 GiB (الإصدار 6 من المنهجية) | 33 MiB لكل 10,000 سطر فوق القاعدة | نعم |
| النمو مع حجم النموذج | التحليل البارد عند 250,000 سطر لا يتجاوز 40 ضعف زمنه عند 10,000 | 24.9 ضعفًا | نعم |
| الطلب نفسه، الإجابة نفسها | كل إجابة متطابقة في عمليتين جديدتين | 1,211 من 1,211 | نعم |
ذاكرة الجلسة: المعيار مستوفى
مستوفى: ذاكرة المحرك على امتداد جلسة تحرير كاملة عند 100,000 و250,000 سطر. لم تستوفه المحركات حتى 2.0.1 عند 250,000 سطر (ولا 2.0.0 عند 100,000 سطر)؛ ويحتاج المحرك 2.1.1 إلى نحو 33 MiB لكل 10,000 سطر فوق القاعدة على امتداد الجلسة كلها، ضمن 512 MiB عند 100,000 سطر وضمن 1 GiB عند 250,000 سطر.
- ما الذي تغيّر. لم يعد الطابع وأداة مقارنة النصوص يبنيان نسخة كاملة من المستند في الذاكرة (المحرك 2.0.1)، وصارت جداول الأسماء في المحرك وذاكرة التحليل المؤقتة وشجرة الصياغة ومواضع المصدر تشغل مساحة أقل (المحرك 2.1.1).
- طباعة نموذج كامل، وهي أكبر خطوة سابقًا، تحتاج الآن إلى نحو 40 MiB لكل 10,000 سطر فوق القاعدة في البناء الأصلي، أي أقل من إعادة تحليل النموذج من البداية بجوار جلسة مفتوحة (نحو 54 MiB لكل 10,000 سطر): الذاكرة على امتداد جلسة طويلة.
- في المتصفح لا تتقلص ذاكرة المحرك أبدًا، فيحتفظ العامل بحجم أكبر لحظة لديه إلى أن يُنهى؛ ويُنهي Holarch عامل المحرك الخامل الذي يحتفظ بذاكرة تفوق ما يستخدمه بكثير ويعيد تشغيله.
ما تدعمه الأدلة
أي الاستخدامات تدعمها هذه النتائج، وأين تتوقف الأدلة. وتعني «غير ثابت» أن هذه الصفحة لا تملك دليلًا عليه في أي اتجاه.
| الاستخدام | مدعوم بـ | ثابت | غير ثابت |
|---|---|---|---|
| مساعدة المحرر (التحليل أثناء الكتابة) | توقيتات التعديل، والنص التالف، ونماذج الأمثلة، وذاكرة الجلسة | إعادة التحليل بعد التعديل ضمن المعايير حتى 250,000 سطر، في البناء الأصلي وفي Safari؛ ومعالجة النص التالف وفق المعايير السبعة كلها؛ واستقرار الذاكرة أثناء التحرير الطويل؛ والذاكرة على امتداد جلسة تحرير كاملة ضمن المعايير حتى 250,000 سطر | التوقيتات على حواسيب أبطأ من حاسوب القياس (يُفترض هامش 4 أضعاف، ولا يُقاس)؛ والمتصفحات غير Safari |
| الفحص الدفعي وفي CI (نماذج كاملة) | نماذج الأمثلة، والتحقق من التشخيصات، والتحليل البارد، والطلب نفسه والإجابة نفسها | لا أعطال ولا انتهاء مهلة؛ وتوافق 252 من 252 ملف أمثلة بعد التصنيف مراجعة داخلية؛ ومراجعة كل خطأ من أخطاء المحرك؛ وإجابات متطابقة في عمليات جديدة؛ ونمو التحليل البارد بما يتناسب مع حجم النموذج | النماذج الكبيرة التي يكتبها أشخاص أو أدوات أخرى (لم تُقس إلا النماذج المولّدة وأمثلة OMG)؛ والتكامل مع CI |
| تحويل النماذج (طباعة نموذج نصًا، وكتابة النص مجددًا في النموذج) | جلسة تحرير كاملة، وذاكرة الجلسة | كل خطوة تجيب عند كل حجم نموذج؛ والذاكرة ضمن المعايير لطباعة النموذج كاملًا حتى 250,000 سطر، في البناء الأصلي | هل تعطي الطباعة والكتابة مجددًا النموذج نفسه (ليس ضمن هذه المقاييس)؛ والتحويل من SysML v1 |
| المتصفح (WebAssembly) | توقيتات Safari، وذاكرة الجلسة في Safari | بدء التشغيل والتحليل البارد والتعديلات في Safari حتى 250,000 سطر | Chrome وFirefox وEdge؛ ومتصفحات الهواتف؛ وذاكرة الجلسة في Safari لهذا المحرك (قيست للإصدار 2.0.1 حتى 250,000 سطر) |
| البناء الأصلي والخادم | كل مقياس في هذه الصفحة (المعايير للبناء الأصلي) | على جهاز Mac بمعالج Apple silicon | أنظمة التشغيل والمعالجات الأخرى؛ ونماذج كثيرة في وقت واحد في عملية واحدة؛ وجلسات خادم طويلة التشغيل عبر مشاريع كثيرة |
| الاستخدام عالي الضمان (قرارات حرجة للسلامة أو للمهمة، وأدلة الاعتماد) | لا شيء بمفرده | لا شيء غير الاستخدامات أعلاه | مراجعة خارجية؛ واعتماد أو تأهيل من أي نوع؛ وتغطية كاملة لقواعد التحقق في المواصفة؛ وتنفيذ الأفعال وآلات الحالة (إضافة المحاكاة لا تُقاس هنا) |
نماذج الأمثلة
تُحلَّل كل مجموعة من نماذج الأمثلة معًا، مشروعًا واحدًا، لأن الأمثلة تستورد حزمًا من بعضها. ويتلقى التنفيذ التجريبي الملفات نفسها في جلسة واحدة. ولكل ملف، تُقارن الإجابتان: هل في الملف أخطاء أم لا، وبأي عنصر يرتبط كل اسم.
التوافق في القبول
| العدّ | ما يعدّه | المحرك 2.1.1 |
|---|---|---|
| خام | كل ملف؛ التوافق على ما إذا كان في الملف أخطاء، بلا تصنيف | 242 من 252 |
| النطاق المقيَّم | الملفات المتبقية بعد استبعاد تلك التي ينشأ اختلافها من بنية في قائمة غير المدعوم | 252 من 252 (لم يُستبعد شيء) |
| بعد التصنيف | التوافق داخل النطاق المقيَّم، مع عدّ الاختلاف توافقًا فقط حيث تبيّن المواصفة أن المحرك محق | 252 من 252 مراجعة داخلية |
- مستوفى: كل ملف يتوافق مع التنفيذ التجريبي، 10 منها عبر السجل أدناه. التنوعية والكلمات المفتاحية التي يعرّفها المستخدم ومحفزات الانتقالات وتأثيراتها مدعومة الآن، فلا يغادر أي ملف النطاق المقيَّم (غادره 11 ملفًا مع المحرك 2.0.0)؛ ويُقبل 10 ملفات أخرى بلا أخطاء مقارنة بالمحرك 2.0.0، ولا يحتوي أي ملف قبِله 2.0.0 على أخطاء الآن.
- القبول الخاطئ: 0. لا يقبل المحرك أي ملف يرفضه التنفيذ التجريبي.
- الأعطال وانتهاء المهلة: لا شيء.
قواعد التصنيف مراجعة داخلية. يُحقَّق في كل اختلاف مع التنفيذ التجريبي على حدة، ويُسجَّل بإحدى هذه الفئات قبل التشغيل، ولا يُسجَّل أبدًا أثناءه:
- خطأ في المثال: المحرك محق والمثال غير صالح، مع بند المواصفة الذي يبيّن ذلك. مثال: عملية حسابية تجمع طولًا مع كتلة. يُعدّ توافقًا.
- خطأ في التنفيذ التجريبي: المحرك محق وإجابة التنفيذ التجريبي تناقض بندًا مذكورًا من المواصفة. يُعدّ توافقًا.
- بنية غير مدعومة: ينشأ الاختلاف من بنية في القائمة المنشورة للبنى التي لا يدعمها المحرك (أدناه). ويغادر الملف النطاق المقيَّم. وحين تُشحن البنية، تغادر القائمة ويُقاس الملف من جديد.
- عيب في المحرك: خلل معروف في المحرك. لا يُعدّ توافقًا أبدًا.
سجل الاختلافات التي تحسمها المواصفة مراجعة داخلية
تُعدّ عشرة اختلافات توافقًا لأن المواصفة تبيّن أن المحرك محق. وكل منها مدرج هنا. حالة المراجعة: داخلية تعني أن Holarch راجعها مقابل المواصفة؛ ومراجعة خارجية لهذه الحالات وغيرها مخطط لها.
| المعرّف | الملف | الفئة | البند | الدليل | المراجعة |
|---|---|---|---|---|---|
| R1 | Calculation Definitions (التدريب) | خطأ في المثال | SysML 9.8.2 | قدرة وحدّ بأبعاد السرعة مجموعان في مجموع واحد | داخلية |
| R2 | Calculation Usages-2 (التدريب) | خطأ في المثال | SysML 9.8.2 | كميات بأبعاد مختلفة مجموعة في تعبير واحد | داخلية |
| R3 | Dynamics (الأمثلة) | خطأ في المثال | SysML 9.8.2 | كميات بأبعاد مختلفة مجموعة في تعبير واحد | داخلية |
| R4 | Turbojet Stage Analysis (الأمثلة) | خطأ في المثال | SysML 9.8.2 | كميات بأبعاد مختلفة مجموعة في تعبير واحد | داخلية |
| R5 | SimpleQuadcopter (الأمثلة) | خطأ في المثال | SysML 9.8.2 | طول مربوط بقيمة بلا أبعاد | داخلية |
| R6 | VehicleGeometryAndCoordinateFrames (الأمثلة) | خطأ في المثال | SysML 9.8.2 | عدد مجرد مضاف إلى طول | داخلية |
| R7 | 15_12 Compound Value Type (التحقق) | خطأ في المثال | SysML 9.8.2 | كميات بأبعاد مختلفة مجموعة في تعبير واحد | داخلية |
| R8 | AnalysisIndividualExample (الأمثلة) | خطأ في المثال | SysML 9.8.2 | سرعة مربوطة بخاصية اقتصاد الوقود | داخلية |
| R9 | 13a Model Containment (التحقق) | خطأ في التنفيذ التجريبي | KerML 8.2.3.5.3 | عنصران مستوردان مختلفان يشتركان في اسم واحد في نطاق أسماء واحد؛ والاسم يُحل إلى عضوية واحدة على الأكثر، والتنفيذ التجريبي يختار إحداهما | داخلية |
| R10 | SysML v2 Spec Annex A SimpleVehicleModel (الأمثلة) | خطأ في التنفيذ التجريبي | KerML 8.2.3.5.3 | عدة استيرادات تجلب عناصر باسم واحد (كما في R9)؛ وإعادات التعريف وأطراف الموصلات التي تستخدمها تترتب على ذلك. ويربط النموذج أيضًا سرعة بطول، وهو خطأ في المثال | داخلية |
التحقق من التشخيصات مراجعة داخلية
التوافق في القبول يبيّن فقط ما إذا كانت الأداتان ترفضان ملفًا. وللتحقق من سبب رفض المحرك لملف، روجع كل خطأ يبلّغ عنه في نماذج الأمثلة، خارج الأسطر التي فيها بنية غير مدعومة، واحدًا واحدًا: رمزه، وموضعه، والقاعدة التي يطبقها، وبند المواصفة، وهل هو الخطأ الأول في مشكلة (أساسي) أم نتيجة لخطأ آخر (متتابع)، والحكم فيه.
| البتّ | المعنى | المحرك 2.1.1 |
|---|---|---|
| مؤكَّد | المواصفة تدعم الخطأ | 42 |
| عيب في المحرك | خطأ زائف | 0 |
| متنازع عليه | المواصفة لا تحسم الحالة | 2 |
| ثغرة معروفة | ينشأ الخطأ من بنية في قائمة غير المدعوم | 0 |
| المجموع | 44 خطأً في 10 ملفات (22 أساسيًا، و22 متتابعًا) |
- لا عيوب في المحرك. لا يقع أي خطأ على بنية لا يدعمها المحرك: الأخطاء الأربعون للمحرك 2.0.0 التي نشأت من التنوعية والكلمات المفتاحية التي يعرّفها المستخدم وتأثيرات الانتقالات اختفت.
- الرمز نفسه في كل مكان. الاسم الذي يُحل إلى عدة عناصر مستوردة يُبلَّغ عنه بأنه ملتبس في التعبيرات كما في المراجع؛ وكانت البناءات السابقة تبلّغ عنه بأنه غير محلول في التعبيرات.
- تفسير واحد. حيث تجلب الاستيرادات عنصرين باسم واحد ويخصّص أحدهما الآخر، يختلف وصف المواصفة عن قاعدتها الصورية. ويتبع المحرك القاعدة الصورية ويبلّغ عن الاسم بأنه ملتبس. ويقبل التنفيذ التجريبي هذه الأسماء بلا تشخيص.
- متنازع عليه: الخطآن المتنازع عليهما يربطان كمية بخاصية نوعها عدد حقيقي مجرد: لا يجعل أي قيد في المواصفة هذا الربط غير صالح، لكنه لا يمكن أن يصح وفق معنى مكتبة الكميات.
ربط الأسماء
لكل اسم في النموذج، تبلّغ الأداتان عن العنصر الذي يرتبط به. والربطات التي تبلّغ عنها الأداتان للاسم نفسه تُقرن وتُقارن. ورقم التوافق يخص الربطات المقترنة فقط؛ ولا يقول شيئًا عن الربطات التي تبلّغ عنها أداة واحدة فقط، والتي تُفرز في فئات أدناه.
- 4,904 من 4,908 من الربطات المقترنة متوافقة.
- الربطات التي تبلّغ عنها أداة واحدة فقط: 1,639 من المحرك و601 من التنفيذ التجريبي.
الاختلافات الأربعة المقترنة مراجعة داخلية
| الربطات | الموضع | السبب | الفئة |
|---|---|---|---|
| 3 | PartTest (الأمثلة) | اسم الهدف لدى التنفيذ التجريبي يحمل اسمه المختصر؛ والعنصر نفسه | اختلاف هوية العنصر أو التطبيع |
| 1 | ActionTest (الأمثلة) | فعل إرسال بلا حمولة: ينشئ التنفيذ التجريبي خاصية حمولة خاصة به تعيد تعريف خاصية المكتبة؛ والخاصية نفسها بإعادة التعريف | اختلاف هوية العنصر أو التطبيع |
اختفت اختلافات المحرك 2.0.0 الثلاثة على قبول الانتقال وتأثيره: يربط المحرك الآن مُستقبِل الانتقال وتأثيره الخاصين به، كما يفعل التنفيذ التجريبي.
الربطات التي تبلّغ عنها أداة واحدة فقط مراجعة داخلية
مفروزة بقواعد تنظر في كل ربط وهدفه والسطر الذي هو فيه:
| الفئة | المحرك فقط | التنفيذ التجريبي فقط |
|---|---|---|
| اختلاف هوية العنصر أو التطبيع | 1,243 | 370 |
| ضمني زائد (المحرك يربط، والتنفيذ التجريبي لا يُظهر علاقة) | 396 | – |
| مفقود (التنفيذ التجريبي يربط، والمحرك لا يربط) | – | 231 |
| بنية غير مدعومة | 0 | 0 |
| تباين في التنفيذ التجريبي | لم يُعثر على شيء | لم يُعثر على شيء |
| المجموع | 1,639 | 601 |
- اختلاف هوية العنصر أو التطبيع مصدره في الغالب المقارنة لا المحرك: أسماء في أطراف الموصلات والتدفقات والتعاقبات وفي التعبيرات، يُظهرها التنفيذ التجريبي خصائصَ مملوكة لا علاقات؛ وأهداف في خمس حزم مكتبية لا تستطيع المقارنة تسميتها في جانب التنفيذ التجريبي؛ وملفات غُذّي بها التنفيذ التجريبي بترتيب أبجدي في مقارنة الربط، حيث تقترن 217 ربطًا إضافيًا بترتيب الاعتماديات؛ وأسماء مختصرة، ومنافذ مترافقة، ومالكون بلا أسماء، وخصائص ضمنية يسمّيها التنفيذ التجريبي بطريقة مختلفة.
- الضمني الزائد والمفقود هما ما تتركه القواعد. وتُظهر عينة سلاسل عبر أطراف الواجهات، ومنافذ مترافقة في التعريفات، وبيانات وصفية؛ ولم تُراجع بعد واحدًا واحدًا.
- تصحيح المقارنة يغيّر المقياس، لذا يحتاج إلى إصدار جديد من المنهجية.
النص التالف
تُتلف النماذج عمدًا، طفرة واحدة في كل مرة: أقواس معقوفة محذوفة أو زائدة، وتصريحات مقطوعة، واستيرادات معطوبة، ومراجع دائرية، وأحرف غير صالحة، وتغييرات عشوائية في الرموز اللفظية، وأخطاء كتابة شائعة مثل فاصلة منقوطة مفقودة أو كلمة مفتاحية بتهجئة خاطئة. والمدخلات هي نماذج الاختبار الخاصة بالمحرك، ونموذج مولّد، ونماذج الأمثلة.
| الفحص | المعيار | النتيجة | مستوفى |
|---|---|---|---|
| الأعطال وانتهاء المهلة بعد أكثر من 10 s | غير مسموح بأي منها | لا شيء | نعم |
| المدخلات التالفة | 10,000 على الأقل | 10,044 | نعم |
| الإجابة بعد كل تعديل تساوي تحليلًا جديدًا | الكل | 10,044 من 10,044 | نعم |
| إصلاح التلف يعيد الإجابة الأصلية | الكل | 9,830 من 9,830 | نعم |
| الطفرة الواحدة تعطي 3 أخطاء صياغة جديدة على الأكثر | 99 % من الحالات على الأقل | 100.0 % | نعم |
| أول خطأ صياغة يشير إلى داخل التصريح التالف أو بعده مباشرة | 95 % من الحالات على الأقل | 99.7 % من 7,163 | نعم |
| التصريحات خارج موضع التلف تُفحص كما كانت | 99 % على الأقل | 99.5 % من 55,225 | نعم |
السرعة والذاكرة
المعايير للبناء الأصلي للمحرك. وفي Holarch يعمل المحرك بتقنية WebAssembly في المتصفح، وهي أبطأ؛ وتراعي المعايير ذلك وتراعي الحواسيب الأبطأ بمعامل 8 للتعديلات والتحليل. ويُقاس بناء WebAssembly أيضًا في Safari (أدناه).
قاعدة المحرك، مع تحميل المكتبة القياسية: 17 MiB. أرقام الذاكرة أدناه لكل 10,000 سطر فوق هذه القاعدة: الذروة ناقص القاعدة، مقسومة على حجم النموذج بوحدات من 10,000 سطر. وتنطبق المعايير على المجموع.
التعديلات
يُطبَّق كل نوع تعديل 200 مرة، بعد 20 تعديلًا تمهيديًا، في جلسة تحرير واحدة، بالطريقة التي يرسلها بها محرر Holarch. ويعرض الجدول المئين 95: كان 95 من كل 100 تعديل بهذه السرعة أو أسرع.
| حجم النموذج | تغيير قيمة | إعادة تسمية تعريف | تغيير استيراد | تغيير نوع أعلى | مستوفى |
|---|---|---|---|---|---|
| 10,038 سطرًا | 1.3 | 6.8 | 2.1 | 2.2 | نعم |
| 50,013 سطرًا | 3.9 | 19.4 | 4.9 | 4.7 | نعم |
| 100,033 سطرًا | 7.7 | 34.6 | 8.6 | 8.5 | نعم |
| 250,011 سطرًا | 22.7 | 90.8 | 24.0 | 24.9 | نعم |
المعايير: تغيير القيمة خلال 12 ms (25 ms عند 250,000 سطر)؛ وإعادة التسمية أو تغيير الاستيراد أو النوع الأعلى خلال 60 ms (150 ms عند 250,000 سطر).
تحليل نموذج كامل
التحليل البارد: عملية جديدة مع تحميل المكتبة القياسية تحلل النموذج كاملًا من لا شيء، والوسيط من 5 تشغيلات. وذاكرة المحرك هي ذروة المحرك أثناء ذلك التحليل، لكل 10,000 سطر فوق القاعدة. وتُعرض ذاكرة WebAssembly للتحليل نفسه للمرجعية، لكل 10,000 سطر شاملة ذاكرة بدء تشغيل المحرك نفسه.
| حجم النموذج | التحليل البارد | ذاكرة المحرك، التحليل البارد | ذاكرة WebAssembly، التحليل البارد |
|---|---|---|---|
| 10,038 سطرًا | 150 ms | 29 MiB لكل 10,000 سطر | 38 MiB لكل 10,000 سطر |
| 50,013 سطرًا | 711 ms | 28 MiB لكل 10,000 سطر | 29 MiB لكل 10,000 سطر |
| 100,033 سطرًا | 1.43 s | 28 MiB لكل 10,000 سطر | 28 MiB لكل 10,000 سطر |
| 250,011 سطرًا | 3.73 s | 28 MiB لكل 10,000 سطر | 26 MiB لكل 10,000 سطر |
- التحليل البارد وفق الإصدار 3 من المنهجية: الهدف غير مستوفى. كان الهدف 0.6 s عند 100,000 سطر و1.2 s عند 250,000 سطر؛ ويستغرق التحليل الأول لنموذج كبير جدًا 1.43 s و3.73 s. وجرى عمل آخر على حاسوب القياس أثناء هذا التشغيل، لذا قد تكون هذه الأزمنة أعلى ببضعة في المئة؛ ولا تتأثر أرقام الذاكرة بذلك.
- التحليل البارد وفق الإصدار 4 من المنهجية: مُبلَّغ عنه، وليس هدفًا. ومعيار التقدم مستوفى. يعرض Holarch شريط تقدم لأي تحليل قد يستغرق أكثر من 3 ثوانٍ: يظهر بعد ثانية من بدء التحليل الطويل، ويسمّي المرحلة (بدء المحرك، تحميل المكتبة القياسية، تحليل النموذج)، ويبقى حتى ينتهي التحليل. وشريط التقدم هو طريقة التطبيق في التعامل مع التحليل الأول الطويل؛ وليس ادعاءً بشأن سرعة المحرك.
- مستوفى: التعديلات بعد ذلك التحليل الأول ضمن معاييرها عند كل حجم.
- مستوفى: ذاكرة المحرك في التحليل البارد ضمن 512 MiB عند 100,000 سطر وضمن 1 GiB عند 250,000 سطر.
- مستوفى: ينمو الزمن بما يتناسب مع حجم النموذج. يستغرق التحليل البارد عند 250,000 سطر 24.9 ضعف زمنه عند 10,000 سطر، لنموذج أكبر بـ 25 ضعفًا (المعيار: 40 على الأكثر).
جلسة تحرير كاملة
الإصدار 6 من المنهجية، مقروءًا وفق الإصدار 7 منذ المحرك 2.0.1: تحتفظ أداة القياس بسجلات النموذج نصًا، كما يفعل Holarch. وتشغّل عملية جديدة واحدة نصًا برمجيًا ثابتًا: التحليل الأول، وسجلات عناصر النموذج، وفحصًا أول للنموذج، و60 تعديلًا (20 تغيير قيمة، و20 تغيير استيراد، و20 تغيير نوع أعلى، يُعاد تحليل كل منها)، وطباعة النموذج نصًا، وكتابة النص المعدَّل مجددًا في النموذج، وتقييم قيم النموذج. والرقم هو أكبر ذاكرة للمحرك في أي نقطة من الجلسة.
| حجم النموذج | المحرك 2.1.1 | المحرك 2.0.1 | مستوفى في 2.1.1 |
|---|---|---|---|
| 10,038 سطرًا | 35 MiB لكل 10,000 سطر | 51 MiB لكل 10,000 سطر | مُبلَّغ عنه |
| 50,013 سطرًا | 33 MiB لكل 10,000 سطر | 49 MiB لكل 10,000 سطر | مُبلَّغ عنه |
| 100,033 سطرًا | 33 MiB لكل 10,000 سطر | 49 MiB لكل 10,000 سطر | نعم (المعيار: ضمن 512 MiB) |
| 250,011 سطرًا | 33 MiB لكل 10,000 سطر | 50 MiB لكل 10,000 سطر | نعم (المعيار: ضمن 1 GiB) |
- مستوفى عند 100,000 و250,000 سطر. المعايير هي معايير التحليل البارد: ضمن 512 MiB عند 100,000 سطر وضمن 1 GiB عند 250,000 سطر، وهي الذاكرة التي يسمح بها المتصفح لنسخة WebAssembly مع هامش. وفي WebAssembly لا تتقلص ذاكرة المحرك أبدًا، فأكبر لحظة في الجلسة تحدد حجمها. واستوفى المحرك 2.0.1 المعيار عند 100,000 سطر ولم يستوفه عند 250,000؛ ولم يستوف المحرك 2.0.0 أيًا منهما (122 MiB لكل 10,000 سطر وفق الإصدار 6 من المنهجية).
- أكبر اللحظات هي الفحص الأول للنموذج وتقييمه، وكل منهما يقارب في حجمه كتابة النص مجددًا في النموذج؛ ولم تعد طباعة النموذج أكبر خطوة.
الذاكرة على امتداد جلسة طويلة
مُبلَّغ عنه، وليس معيارًا. توصيف للنتيجة أعلاه، في البناء الأصلي، على المحرك 2.1.1 (التشغيل 2.1.1-37168cc79-1). جلسة واحدة لكل حجم نموذج: فتح النموذج وفحصه؛ وتعديلات في مرورين على كل موضع تعديل (تغييرات القيمة والاستيراد والنوع الأعلى، يُعاد تحليل كل منها)، ثم تعديلات قيم تواصل كتابة أرقام جديدة؛ وعشرة تحليلات وعشرة فحوص للنموذج دون تغيير، وتحليل من البداية بجوار الجلسة المفتوحة؛ وطباعة حزمة واحدة، ثم النموذج كاملًا؛ وكتابة النص مجددًا في النموذج؛ والتقييم؛ ثم الإغلاق وإعادة الفتح ثلاث مرات.
| حجم النموذج | تحرير النموذج المفتوح | أكبر خطوة: التحليل من البداية مجددًا بجوار الجلسة المفتوحة | طباعة النموذج كاملًا | المتبقي بعد الإغلاق |
|---|---|---|---|---|
| 10,038 سطرًا | 27 MiB | 55 MiB | 41 MiB | 1.5 MiB |
| 50,013 سطرًا | 26 MiB | 54 MiB | 40 MiB | 0.6 MiB |
| 100,033 سطرًا | 26 MiB | 54 MiB | 40 MiB | 0.5 MiB |
| 250,011 سطرًا | 26 MiB | 54 MiB | 40 MiB | 0.4 MiB |
- التحرير يستقر. ترتفع الذاكرة بنحو 5 MiB لكل 10,000 سطر ما دامت التعديلات تبلغ تصريحات لم تُعدَّل من قبل، ثم تبقى ثابتة.
- التحليل المتكرر لا يحتفظ بشيء. عشرة تحليلات وعشرة فحوص لنموذج دون تغيير تترك الذاكرة حيث كانت.
- أكبر خطوة هي تحليل النموذج كاملًا من البداية بينما تبقى الجلسة مفتوحة، وهو ما يحتفظ بنسختين من التحليل في آن واحد؛ والمحرر الذي يحتفظ بجلسة واحدة لا يحتاج إليه.
- طباعة النموذج كاملًا تحتاج إلى نحو 40 MiB لكل 10,000 سطر فوق القاعدة (المحرك 2.0.1: من 53 إلى 55؛ والمحرك 2.0.0: من 129 إلى 131).
- الإغلاق يعيد الذاكرة. يبقى متبقٍّ صغير لا ينمو على امتداد ثلاث دورات إعادة فتح.
- في Safari لم يُشغَّل هذا التوصيف على المحرك 2.1.1؛ وآخر أرقام جلسة Safari هي أرقام المحرك 2.0.1، في حزمة الأدلة.
WebAssembly، مقيسًا في Safari
بناء WebAssembly للمحرك 2.1.1، في عامل المحرك الخاص بـ Holarch، على النماذج المولّدة نفسها. بدء التشغيل هو جلب المحرك وبدؤه وتحميل المكتبة القياسية؛ والتحليل البارد هو الوسيط من 3 عمال جدد؛ والتعديلات 200 لكل نوع بعد 20 تعديلًا تمهيديًا، في جلسة واحدة، كما سبق. وشُغّل كل حجم نموذج في صفحته الخاصة. وتُقاس إعادات التسمية في البناء الأصلي فقط. وهذه الأرقام مُبلَّغ عنها، وليست معايير.
| حجم النموذج | بدء تشغيل المحرك، Safari | التحليل البارد، Safari | التحليل البارد، البناء الأصلي | تغيير قيمة، p95، Safari / الأصلي | تغيير استيراد، p95، Safari / الأصلي | تغيير نوع أعلى، p95، Safari / الأصلي |
|---|---|---|---|---|---|---|
| 10,038 سطرًا | 143 ms | 215 ms | 150 ms | 3 / 1.3 ms | 4 / 2.1 ms | 4 / 2.2 ms |
| 50,013 سطرًا | 152 ms | 867 ms | 711 ms | 12 / 3.9 ms | 10 / 4.9 ms | 10 / 4.7 ms |
| 100,033 سطرًا | 144 ms | 1.63 s | 1.43 s | 20 / 7.7 ms | 20 / 8.6 ms | 20 / 8.5 ms |
| 250,011 سطرًا | 175 ms | 4.44 s | 3.73 s | 53 / 22.7 ms | 50 / 24.0 ms | 49 / 24.9 ms |
غير مدعوم بعد
هذه البنى مدرجة في القائمة المنشورة للبنى التي لا يدعمها المحرك. وملفات نماذج الأمثلة التي تختلف مع التنفيذ التجريبي بسببها تغادر النطاق المقيَّم؛ ولا يوجد منها شيء في هذا التشغيل.
- التمثيلات النصية بلغات أخرى تُحفظ نصًا ولا تُفحص.
غادرت التنوعية والكلمات المفتاحية التي يعرّفها المستخدم وتأثيرات الانتقالات المكتوبة بـ accept أو action القائمة في الإصدارات 8 إلى 10 من المنهجية، كلما شُحن أحدها. ولكل قاعدة إنتاج في قواعد الترميز النصي اختبار واحد على الأقل يحللها ويفحص النتيجة. والقائمة الكاملة لما يعمل في Holarch، مع حدوده: تغطية لغة SysML v2.
إعادة إنتاج النتائج
النتائج قابلة لإعادة الإنتاج بصورة مستقلة: تحتوي حزمة الأدلة (zip، SHA-256 5d9821f7dac3fd0b2bc49a8defe416ac01f515834d65d3182891a9f8d20e59ae) على ما يلزم لتكرار كل تشغيل على بناء المحرك نفسه.
- دليل إعادة إنتاج من صفحة واحدة،
REPRODUCE.md: الأوامر الدقيقة، والاعتماديات، والمدخلات مع مجاميع تحققها، والنتائج المتوقعة، وأزمنة التشغيل. - منهجية الاختبار، مع كل إصدار من المنهجية (1 إلى 10) وسببه.
- جداول التصنيف: قائمة البنى غير المدعومة، وكل اختلاف مصنَّف مع فئته وبنده، والسجل أعلاه، ومراجعة كل خطأ من أخطاء المحرك، وفئات الربط.
- ملخص كل تشغيل ونتائجه المقروءة آليًا للمحرك 2.1.1 (كل المقاييس وتوصيف ذاكرة الجلسة)، والمحرك 2.0.1 (السرعة والذاكرة، ذاكرة الجلسة)، وHolarch 2.15.1 (البناءان كلاهما لشيفرة المحرك 2.0.0)، و2.14.0 (السرعة والذاكرة)، و2.13.1 و2.12.0، وتوقيتات WebAssembly وذاكرة الجلسة المقيسة في Safari.
- مولّد النماذج الكبيرة، الحتمي لكل بذرة (seed)، ونصوص القياس والمقارنة البرمجية.
- مجموع تحقق لكل ملف.
لا تحتوي على المحرك ولا على ملفات OMG. وتجلب النصوص البرمجية نماذج الأمثلة والتنفيذ التجريبي من مصادرهما العامة عند الإيداع المثبّت ومجموع تحقق الحزمة. ويأتي المحرك اللازم لتكرار التشغيل مع تقييم المحرك.
التشغيلات السابقة
تبقى التشغيلات الرسمية السابقة كما قيست، كل منها وفق إصدار منهجيته. ووفق المنهجيات 1 إلى 3، كان التحليل البارد خلال 0.6 s عند 100,000 سطر هدفًا؛ ولم يستوفه أي تشغيل. وتبلّغ المنهجية 4 عنه بلا هدف. وكانت ذروة الذاكرة قبل الإصدار 3 من المنهجية هي ذروة الذاكرة المقيمة لعملية القياس، التي تحتسب أيضًا الذاكرة التي يحتفظ بها المخصِّص لإعادة الاستخدام؛ وهي غير قابلة للمقارنة برقم كومة المحرك. وقاست تشغيلات Holarch 2.15.0 و2.14.0 السرعة والذاكرة فقط؛ وأزمنة تشغيل 2.15.0 أعلى بنحو الربع من أزمنة البناءات قبله وبعده، إذ قيست بينما كان عمل آخر يجري على الحاسوب نفسه.
| البناء | إصدار المحرك | إصدار Holarch | الطريقة | القبول، خام | القبول، بعد التصنيف (مراجعة داخلية) | ربط الأسماء | التحليل البارد، 100,000 سطر | ذروة الذاكرة، 100,000 سطر |
|---|---|---|---|---|---|---|---|---|
| 37168cc | 2.1.1 | 2.21.0 (يشحن المحرك 2.1.2) | 10 | 242 من 252 | 252 من 252 | 4,904 من 4,908 | 1.43 s | 302 MiB كومة المحرك |
| d8cf5c8 | 2.0.1 | 2.17.1 | 7 | لم يُقس | لم يُقس | لم يُقس | 1.23 s | 362 MiB كومة المحرك |
| 91f058a | 2.0.0 | 2.15.1 (شيفرة المحرك نفسها في dd4fb10) | 6 | 232 من 252 | 241 من 241 | 4,879 من 4,886 | 1.35 s | 362 MiB كومة المحرك |
| dd4fb10 | 1.0.0 | 2.15.1 | 6 | 232 من 252 | 241 من 241 | 4,879 من 4,886 | 1.28 s | 362 MiB كومة المحرك |
| e6bb924 | 1.0.0 | 2.15.0 | 5 | لم يُقس | لم يُقس | لم يُقس | 1.57 s | 362 MiB كومة المحرك |
| 0c983e2 | 1.0.0 | 2.14.0 | 6 | لم يُقس | لم يُقس | لم يُقس | 1.37 s | 362 MiB كومة المحرك |
| d3f5d4b | 1.0.0 | 2.13.1, 2.13.2 | 5 | 231 من 252 | 240 من 242 | 4,851 من 4,860 | 1.24 s | 362 MiB كومة المحرك |
| 8a6bf7b | 1.0.0 | 2.12.0 | 5 | 220 من 252 | 229 من 242 | 4,753 من 4,768 | 1.21 s | 362 MiB كومة المحرك |
| 6eec2b7 | 1.0.0 | – | 5 | 231 من 252 | 240 من 240 (التصنيف قبل مراجعة الأخطاء) | 4,851 من 4,860 | 1.20 s | 362 MiB كومة المحرك |
| c184e57 | 1.0.0 | 2.11.0 | 3 | 220 من 252 | 228 من 228 | 4,753 من 4,768 | 1.31 s | 361 MiB كومة المحرك |
| bfa03c7 | 1.0.0 | – | 2 | 220 من 252 | 228 من 228 | 4,753 من 4,768 | 1.35 s | 972 MiB للعملية |
| 1cada39 | 1.0.0 | – | 2 | 216 من 252 | 224 من 228 | 4,737 من 4,752 | 4.24 s | 1,022 MiB للعملية |
| fd20280 | 1.0.0 | – | 1 | 145 من 252 | غير مصنَّف (المنهجية 1) | 4,326 من 4,373 | 2.41 s | 1,535 MiB للعملية |
ما لا تبيّنه هذه النتائج
- هذه قياسات Holarch الخاصة للنماذج التي أُجريت عليها. وليست اعتمادًا. ولم تراجعها Object Management Group ولم تؤيدها.
- التنفيذ التجريبي ونماذج الأمثلة ليست هي المواصفة. وحيث يختلفان عن المحرك، يبيّن التصنيف أعلاه أي جانب تدعمه المواصفة، ولماذا.
- كل تصنيف ومراجعة في هذه الصفحة مراجعة داخلية. ومراجعة خارجية لعينة من حالات اختبار المحرك مقابل المواصفة مخطط لها.
- محاكاة الأفعال وآلات الحالة، أي إضافة المحاكاة المرخصة على حدة، لا تُقاس هنا.
- تحويل نماذج SysML v1 إلى SysML v2 لا يُقاس هنا. وهو لمرخّصي المحرك إضافة الترحيل، المرخصة على حدة.