हम कैसे परीक्षण करते हैं
हम Holarch का परीक्षण कैसे करते हैं
वे जांचें जो हर रिलीज़ आप तक पहुँचने से पहले पास करती है, रिलीज़ होस्टेड सेवा तक कैसे पहुँचती है, साक्ष्य कैसे सार्वजनिक किया जाता है, और यह परीक्षण क्या नहीं दिखाता।
हर रिलीज़
हर रिलीज़ स्रोत की एक साफ़ प्रति में बनाई जाती है, कभी कार्यशील प्रति में नहीं। फिर बिल्ड रिलीज़ गेट से गुज़रता है: स्वचालित जांचों का एक निश्चित सेट। एक भी जांच विफल होने पर रिलीज़ रुक जाती है। कारण ठीक किया जाता है, और रिलीज़ आगे बढ़ने से पहले विफल जांचें फिर से चलती हैं।
- रिलीज़ बिल्ड: ऐप रिलीज़ के लिए बनाया जाता है, और बने हुए कोड को पेज की कंटेंट सिक्योरिटी पॉलिसी के सापेक्ष जांचा जाता है।
- भाषा इंजन बिल्ड: कंपाइल किया गया भाषा इंजन उसके स्रोत से फिर से बनाया जाता है, और परिणाम उस बिल्ड से मेल खाना चाहिए जो शिप होता है।
- इंजन सुरक्षा टेस्ट: हर इंजन ऑपरेशन पर गहरे, लंबे, चौड़े, चक्रीय और सीमा से अधिक इनपुट, प्रतिक्रिया समय और मेमोरी की सीमाओं के साथ, और यह जांच कि समय इनपुट के आकार के अनुपात में बढ़ता है।
- डिपेंडेंसी ऑडिट: इंजन की तृतीय-पक्ष डिपेंडेंसी को ज्ञात सुरक्षा सलाहों, लाइसेंस और स्रोतों के लिए जांचा जाता है।
- इंजेक्शन लिंट: एक लिंट रिलीज़ को विफल कर देता है अगर कोड में कोई ऐसी जगह हो जो HTML डालती है या टेक्स्ट को कोड के रूप में चलाती है, जब तक उस जगह की समीक्षा करके उसे सुरक्षित दर्ज न किया गया हो।
- तृतीय-पक्ष फ़ाइलें: ऐप के साथ शिप होने वाली हर तृतीय-पक्ष फ़ाइल उसके दर्ज चेकसम से मेल खानी चाहिए।
- प्रदर्शन: बने हुए ऐप का समय एक बड़े जनरेट किए गए प्रोजेक्ट पर, ब्राउज़र में और सर्वर पर, निश्चित सीमाओं के सापेक्ष मापा जाता है।
- स्मोक टेस्ट: बने हुए ऐप को एक वास्तविक ब्राउज़र, Safari, में खोला और उपयोग किया जाता है, डेस्कटॉप ऐप के रूप में और सर्वर मोड में भी, जैसे होस्टेड सेवा इसे चलाती है।
- बदली हुई चीज़ों के टेस्ट: रिलीज़ जिन क्षेत्रों को बदलती है उन सबके ब्राउज़र टेस्ट सुइट, जहाँ क्षेत्र में दोनों मोड हों वहाँ दोनों मोड में, और हर बदले हुए सर्वर मॉड्यूल के Python टेस्ट।
ब्राउज़र टेस्ट ऐप को वैसे ही चलाते हैं जैसे कोई व्यक्ति चलाता है: वे पेज में क्लिक, ड्रैग और टाइप करते हैं, फिर मॉडल और स्क्रीन की जांच करते हैं।
रिलीज़ से होस्टेड सेवा तक
- पहले स्टेजिंग: हर रिलीज़ प्रोडक्शन से पहले एक अलग स्टेजिंग सेवा पर चलती है। प्रोडक्शन केवल वही बिल्ड स्वीकार करता है जो स्टेजिंग पर चल चुका हो।
- डेटाबेस परिवर्तनों से पहले बैकअप: किसी रिलीज़ के डेटाबेस बदलने से पहले डेटाबेस की एक प्रति सहेजी जाती है।
- स्वास्थ्य जांच: स्विच के बाद सेवा को स्वस्थ के रूप में उत्तर देना और रिलीज़ किया गया संस्करण बताना चाहिए।
- रोलबैक: पिछला संस्करण रखा जाता है। अगर नया संस्करण अपनी स्वास्थ्य जांच में विफल होता है, तो सेवा पिछले संस्करण पर लौट जाती है।
होस्टेड सेवा के बैकअप का हर सप्ताह रिस्टोर-टेस्ट होता है; देखें सेवा लक्ष्य।
Language Engine
Holarch Language Engine SysML v2 और KerML टेक्स्ट को पार्स, रिज़ॉल्व और जांचता है। रिलीज़ जांचों के अलावा, इसे एक लिखित स्वीकृति योजना के तहत मापा जाता है। स्वीकृति मानदंड कोई भी परिणाम मापे जाने से पहले लिखे गए थे; किसी मानदंड में बाद का परिवर्तन विधि का एक नया, क्रमांकित संस्करण होता है, जो अपने कारण के साथ दर्ज होता है, और पहले के परिणाम उसी संस्करण के साथ रहते हैं जिसके तहत वे मापे गए थे। प्रकाशित परिणाम कभी संपादित नहीं होता; सुधार एक नया रन होता है जो उस रन का नाम बताता है जिसे वह बदलता है।
- उदाहरण मॉडल: इंजन का परीक्षण Object Management Group के आधिकारिक रिलीज़ रिपॉज़िटरी (training, examples और validation सेट) के SysML v2 उदाहरण मॉडलों पर होता है, जो एक विशिष्ट रिलीज़ पर स्थिर रखे जाते हैं।
- डिफ़रेंशियल टेस्टिंग: उन मॉडलों पर इंजन के परिणामों की तुलना OMG के पायलट कार्यान्वयन से की जाती है: क्या हर मॉडल स्वीकार होता है, और हर नाम किस तत्व से जुड़ता है। हर असहमति की अलग से जांच होती है और उसे इंजन बग, असमर्थित भाषा सुविधा, उदाहरण में त्रुटि, या पायलट में अंतर के रूप में वर्गीकृत किया जाता है।
- मज़बूती: क्षतिग्रस्त इनपुट के बड़े सेट, जैसे छूटे हुए ब्रेस, अधूरी घोषणाएं, टूटे इंपोर्ट, चक्र, अमान्य अक्षर और टाइपिंग की आम ग़लतियां, यह जांचते हैं कि इंजन कभी क्रैश नहीं होता, क्षति ठीक होने के बाद वही उत्तर देता है, और मॉडल के बाकी हिस्से की जांच जारी रखता है।
- पैमाना: बहुत बड़े जनरेट किए गए मॉडल संपादनों का प्रतिक्रिया समय, पूरे मॉडल के विश्लेषण का समय, मेमोरी उपयोग, और मॉडल के आकार के साथ समय कैसे बढ़ता है, यह मापते हैं।
- फ़ज़िंग: इंजन के अनुरोध, लेक्सर और पार्सर एंट्री पॉइंट का फ़ज़-टेस्ट होता है।
- टेस्ट केस: इंजन के अपने टेस्ट विनिर्देश के पाठ से लिखे जाते हैं, और हर एक पर उस खंड का टैग होता है जिसकी वह जांच करता है।
परिणाम, विफलताओं सहित, इंजन संस्करण, विधि के संस्करण और ज्ञात दोषों के साथ: Language Engine परीक्षण परिणाम। भाषा समर्थन आज क्या कवर करता है, और उसकी ज्ञात कमियां: SysML v2 भाषा कवरेज।
सार्वजनिक साक्ष्य: EO-1 संदर्भ मॉडल
EO-1 संदर्भ मॉडल Holarch में बनाया गया एक CubeSat का पूरा मॉडल है, ज़रूरतों से सत्यापित साक्ष्य तक। इसकी प्रोजेक्ट फ़ाइल और निर्यात निःशुल्क डाउनलोड किए जा सकते हैं, ताकि कोई भी मॉडल खोलकर उसकी ट्रेसेबिलिटी स्वयं जांच सके।
EO-1 मॉडल पर एक औपचारिक सत्यापन चक्र आवश्यकता के एक परिवर्तन को एक औपचारिक कार्यक्रम से होकर देखता है: एक विफल पुनः-टेस्ट, एक गैर-अनुरूपता और उसकी छूट, ख़तरे और विफलता मोड, साइन-ऑफ़, समीक्षा और नई बेसलाइन।
प्रोजेक्ट का आकार
हर प्लान की आइटम सीमाएं होस्टेड सेवा के एक लोड टेस्ट पर आधारित हैं। परीक्षित सीमाएं टेस्ट, उसके पास मानदंड, उसके परिणाम और उसने क्या नहीं मापा, इसका वर्णन करता है।
यह परीक्षण क्या नहीं दिखाता
- यह Holarch का अपना परीक्षण है। यह कोई प्रमाणन नहीं है, और होस्टेड सेवा के पास कोई सुरक्षा प्रमाणन नहीं है; देखें प्रमाणन।
- इंजन परिणाम बताते हैं कि Holarch के टेस्ट ने उन मॉडलों पर क्या पाया जिन पर वे चले। Object Management Group ने उनकी समीक्षा या समर्थन नहीं किया है।
- परीक्षण विधि की एक स्वतंत्र समीक्षा नियोजित है।
- परीक्षण दोष की संभावना घटाता है; उसे पूरी तरह ख़त्म नहीं करता। समस्या की रिपोर्ट ऐप में प्रतिक्रिया भेजें से या [email protected] पर करें।