كيف نختبر
كيف نختبر Holarch
الفحوص التي يجتازها كل إصدار قبل أن يصل إليك، وكيف يصل الإصدار إلى الخدمة المستضافة، وكيف تُنشر الأدلة للعموم، وما لا يبيّنه هذا الاختبار.
كل إصدار
يُبنى كل إصدار في نسخة نظيفة من المصدر، ولا يُبنى أبدًا في نسخة عمل. ثم يمر البناء عبر بوابة الإصدار: مجموعة ثابتة من الفحوص الآلية. والفحص الفاشل يوقف الإصدار. فيُصلح السبب، وتُعاد الفحوص الفاشلة قبل أن يمضي الإصدار.
- بناء الإصدار: يُبنى التطبيق للإصدار، وتُفحص الشيفرة المبنية مقابل سياسة أمان المحتوى في الصفحة.
- بناء محرك اللغة: يُعاد بناء محرك اللغة المترجَم من مصدره، ويجب أن تطابق النتيجة البناء الذي يُشحن.
- اختبارات حماية المحرك: مدخلات عميقة وطويلة وعريضة ودورية ومتجاوزة للحدود على كل عملية من عمليات المحرك، مع حدود لزمن الاستجابة والذاكرة، وفحص أن الزمن ينمو بما يتناسب مع حجم المدخل.
- تدقيق الاعتماديات: تُفحص اعتماديات المحرك من الجهات الخارجية بحثًا عن تنبيهات أمنية معروفة، وتُفحص تراخيصها ومصادرها.
- فحص الحقن: يُفشل فاحص آلي الإصدار عند أي موضع في الشيفرة يُدرج HTML أو يشغّل نصًا بوصفه شيفرة، ما لم يكن ذلك الموضع قد رُوجع وسُجّل آمنًا.
- ملفات الجهات الخارجية: يجب أن يطابق كل ملف من جهة خارجية يُشحن مع التطبيق المجموع الاختباري المسجَّل له.
- الأداء: يُقاس زمن التطبيق المبني على مشروع كبير مولَّد، في المتصفح وعلى الخادم، مقابل حدود ثابتة.
- اختبارات الدخان: يُفتح التطبيق المبني ويُستخدم في متصفح حقيقي، Safari، بوصفه تطبيق سطح المكتب وفي وضع الخادم كليهما، على النحو الذي تشغّله به الخدمة المستضافة.
- اختبارات ما تغيّر: مجموعات اختبارات المتصفح لكل مجال يغيّره الإصدار، في الوضعين كليهما حيث يكون للمجال الوضعان، واختبارات Python لكل وحدة خادم متغيرة.
تقود اختبارات المتصفح التطبيق كما يفعل الإنسان: تنقر وتسحب وتكتب في الصفحة، ثم تفحص النموذج والشاشة.
من الإصدار إلى الخدمة المستضافة
- التجهيز أولًا: يعمل كل إصدار على خدمة تجهيز منفصلة قبل الإنتاج. ولا يقبل الإنتاج إلا بناءً عمل على بيئة التجهيز.
- نسخة احتياطية قبل تغييرات قاعدة البيانات: قبل أن يغيّر الإصدار قاعدة البيانات، تُحفظ نسخة منها.
- فحوص السلامة: بعد التبديل، يجب أن تستجيب الخدمة بأنها سليمة وأن تبلّغ عن الإصدار المنشور.
- التراجع: يُحتفظ بالإصدار السابق. فإن أخفق الإصدار الجديد في فحص سلامته، تعود الخدمة إلى الإصدار السابق.
تُختبر استعادة النسخ الاحتياطية للخدمة المستضافة كل أسبوع؛ راجع أهداف الخدمة.
محرك اللغة
يحلّل Holarch Language Engine نص SysML v2 وKerML ويحل أسماءه ويفحصه. وإلى جانب فحوص الإصدار، يُقاس وفق خطة قبول مكتوبة. وقد دُوّنت معايير القبول قبل قياس أي نتائج؛ وأي تغيير لاحق في معيار يمثل إصدارًا جديدًا مرقّمًا من الطريقة، يُسجَّل مع سببه، وتحتفظ النتائج السابقة بالإصدار الذي قيست وفقه. ولا تُعدَّل أي نتيجة منشورة أبدًا؛ فالتصحيح تشغيل جديد يسمّي التشغيل الذي يحل محله.
- النماذج المثالية: يُختبر المحرك على نماذج SysML v2 المثالية في مستودع الإصدارات الرسمي لدى Object Management Group (مجموعات التدريب والأمثلة والمصادقة)، مثبَّتةً على إصدار محدد.
- الاختبار التفاضلي: تُقارن نتائج المحرك على تلك النماذج بالتنفيذ التجريبي لدى OMG: هل يُقبل كل نموذج، وبأي عنصر يرتبط كل اسم. ويُحقَّق في كل اختلاف على حدة ويُصنَّف خطأً في المحرك، أو ميزة لغوية غير مدعومة، أو خطأً في المثال، أو اختلافًا في التنفيذ التجريبي.
- المتانة: مجموعات كبيرة من المدخلات التالفة، مثل الأقواس المفقودة، والإعلانات المقطوعة، وعمليات الاستيراد المعطوبة، والدورات، والأحرف غير الصالحة، وأخطاء الكتابة الشائعة، تتحقق من أن المحرك لا يتعطل أبدًا، ويعطي الإجابة نفسها بعد إصلاح التلف، ويواصل فحص بقية النموذج.
- الحجم: تقيس نماذج مولَّدة كبيرة جدًا زمن الاستجابة للتعديلات، والزمن اللازم لتحليل نموذج كامل، واستخدام الذاكرة، وكيف ينمو الزمن مع حجم النموذج.
- اختبار التشويش: تُختبر نقاط الدخول في المحرك للطلبات والمحلل المعجمي والمحلل اللغوي باختبار التشويش.
- حالات الاختبار: تُكتب اختبارات المحرك الخاصة من نص المواصفة، وتُوسم كل منها بالبند الذي تفحصه.
النتائج، بما فيها الإخفاقات، مع إصدار المحرك، وإصدار الطريقة، والعيوب المعروفة: نتائج اختبار محرك اللغة. وما يغطيه دعم اللغة اليوم، وثغراته المعروفة: تغطية لغة SysML v2.
أدلة عامة: النموذج المرجعي EO-1
النموذج المرجعي EO-1 نموذج كامل لقمر CubeSat مبني في Holarch، من الاحتياجات إلى الأدلة المتحقق منها. وملف مشروعه وتصديراته متاحة مجانًا للتنزيل، فيستطيع أي شخص فتح النموذج وفحص تتبعه بنفسه.
تتابع دورة تحقق رسمية على نموذج EO-1 تغيير متطلب واحد عبر برنامج رسمي: إعادة اختبار فاشلة، وعدم مطابقة وإعفاؤها، والمخاطر على السلامة وأنماط الأعطال، والاعتماد، والمراجعة، وخط الأساس الجديد.
حجم المشروع
تستند حدود العناصر في كل خطة إلى اختبار حِمل للخدمة المستضافة. وتصف صفحة الحدود المختبَرة الاختبار، ومعيار نجاحه، ونتائجه، وما لم يقسه.
ما لا يبيّنه هذا الاختبار
- هذا هو الاختبار الخاص بـ Holarch. وليس شهادة، ولا تحمل الخدمة المستضافة أي شهادات أمنية؛ راجع الشهادات.
- تعرض نتائج المحرك ما وجدته اختبارات Holarch على النماذج التي شُغّلت عليها. ولم تراجعها Object Management Group ولم تؤيدها.
- مراجعة مستقلة لطريقة الاختبار مخطط لها.
- يقلل الاختبار احتمال وجود عيب؛ لكنه لا يستبعده. أبلغ عن مشكلة عبر «إرسال ملاحظات» في التطبيق أو على [email protected].