परीक्षित सीमाएं
Holarch कितना बड़ा प्रोजेक्ट संभालता है
सबसे बड़े प्रोजेक्ट जिनके साथ Holarch का परीक्षण होता है, उन्हें चाहिए ब्राउज़र मेमोरी और खुलने का समय, और होस्टेड सेवा का लोड टेस्ट जो हर प्लान की आइटम सीमा का आधार है।
Performance
दोनों मॉडलिंग भाषाओं में जनरेट किए गए प्रोजेक्ट से मापा गया; ब्राउज़र आंकड़े Mac पर Safari में। हर तालिका उस Holarch संस्करण का नाम बताती है जिस पर माप लिया गया।
- डेस्कटॉप ऐप (आपके कंप्यूटर पर इंस्टॉल Holarch): LML में प्रति प्रोजेक्ट 700,000 आइटम और SysML v2 में 400,000 तक परीक्षित (250,000 आइटम से आगे)।
- होस्टेड सेवा (app.holarch.app): प्रति प्रोजेक्ट 50,000 आइटम तक; बड़े कार्यक्रमों के लिए cross-project links, Program Map और लाइब्रेरी से प्रोजेक्ट जोड़ें (प्लान सीमाएं)।
- सेल्फ़-होस्टेड Holarch सर्वर (Enterprise): LML और SysML v2 में प्रति प्रोजेक्ट 400,000 आइटम तक परीक्षित। एक प्रोजेक्ट लगभग 330,000 LML आइटम तक और 400,000 SysML v2 आइटम से आगे भी 1 GB से कम अतिरिक्त सर्वर मेमोरी में रहता है (250,000 आइटम से आगे सेल्फ़-होस्टेड सर्वर)।
होस्टेड सेवा: सर्वर मेमोरी
खुले रहने के दौरान किसी प्रोजेक्ट को चाहिए सर्वर मेमोरी, उसके बिना सर्वर के उपयोग से ऊपर, हर 10,000 आइटम के लिए। प्रति प्रोजेक्ट 50,000 आइटम तक परीक्षित, जो होस्टेड सेवा की सीमा है।
| भाषा | प्रति 10,000 आइटम | परीक्षित सबसे बड़ा प्रोजेक्ट |
|---|---|---|
| LML | लगभग 17 MB | 50,000 आइटम |
| SysML v2 | 4–8 MB | 50,000 आइटम |
- आंकड़े किसी खुले प्रोजेक्ट की अतिरिक्त मेमोरी हैं, पूरे सर्वर की मेमोरी नहीं। आधार, यानी एक साइन-इन के बाद नया शुरू किया गया सर्वर, लगभग 130 MB है।
- किसी प्रोजेक्ट के टैब को आपके ब्राउज़र में चाहिए मेमोरी नीचे है (ब्राउज़र मेमोरी)।
ब्राउज़र मेमोरी
बिना कोई प्रोजेक्ट खोले Holarch पेज लगभग 100 MB उपयोग करता है। यह आधार है। नीचे के आंकड़े वह मेमोरी हैं जो ब्राउज़र टैब को आधार के ऊपर प्रोजेक्ट के हर 10,000 आइटम के लिए चाहिए, प्रोजेक्ट खुलने के दौरान उच्चतम बिंदु पर।
| भाषा | होस्टेड सेवा | आपके कंप्यूटर पर इंस्टॉल |
|---|---|---|
| LML | 40–60 MB | 50–70 MB |
| SysML v2 | 100–155 MB | 70–80 MB |
- आंकड़ा प्रोजेक्ट के आकार के साथ बदलता है। अधिक आंकड़े के अनुसार योजना बनाएं।
- संपादन से बहुत कम बढ़ता है: 100 संपादनों के बाद, एक LML प्रोजेक्ट का टैब उनसे पहले से अधिक मेमोरी उपयोग नहीं करता था। संपादन सहेजे जाते समय, उसे थोड़े समय के लिए लगभग 0.6 GB तक अधिक की ज़रूरत हो सकती है।
- हर प्रोजेक्ट आकार के लिए योजना में रखने योग्य मेमोरी: सिस्टम आवश्यकताएं।
खुलने का समय
क्लिक से लेकर पेज के उपयोग के लिए तैयार होने तक। इसके बाद SysML v2 प्रोजेक्ट आपके काम करते समय पृष्ठभूमि में अपनी पहली मॉडल जांच चलाता है; दूसरा आंकड़ा उस जांच के पूरा होने तक का समय है।
| आइटम | LML, होस्टेड | LML, इंस्टॉल | SysML v2, होस्टेड | SysML v2, इंस्टॉल |
|---|---|---|---|---|
| 50,000 | लगभग 1 s | लगभग 1 s | लगभग 2 s; जांच 4 s | मापा नहीं गया |
| 100,000 | — | लगभग 1 s | — | लगभग 2 s; जांच 5 s |
| 150,000 | — | मापा नहीं गया | — | मापा नहीं गया |
| 200,000 | — | लगभग 2 s | — | मापा नहीं गया |
| 250,000 | — | मापा नहीं गया | — | लगभग 6 s; जांच 14 s |
- होस्टेड समय एक टेस्ट सर्वर के विरुद्ध मापे गए। धीमा नेटवर्क कनेक्शन प्रोजेक्ट डाउनलोड करने का समय जोड़ता है।
- — : होस्टेड सेवा की प्रति प्रोजेक्ट 50,000 आइटम की सीमा से ऊपर।
- होस्टेड सेवा पर संपादन की पुष्टि और एक साथ काम करने वाले कई लोग: लोड टेस्ट परिणाम देखें।
- अपने आप में SysML v2 भाषा इंजन की गति और मेमोरी: Language Engine टेस्ट परिणाम देखें।
250,000 आइटम से आगे, आपके कंप्यूटर पर इंस्टॉल
Holarch 2.30.0 ने Safari में 400,000 और 700,000 LML आइटम के जनरेट किए गए प्रोजेक्ट और 400,000 आइटम का एक SysML v2 मॉडल खोला, एक संपादन किया, उसे सहेजा और प्रोजेक्ट बंद किया। कुछ भी विफल नहीं हुआ।
| प्रोजेक्ट | खोलना | पृष्ठभूमि का काम पूरा | खुलने के दौरान प्रति 10,000 आइटम ब्राउज़र मेमोरी |
|---|---|---|---|
| LML, 400,000 आइटम | लगभग 4 s | 16 s | लगभग 105 MB |
| LML, 700,000 आइटम | लगभग 6 s | 21 s | लगभग 130 MB |
| SysML v2, 400,000 आइटम | लगभग 3 s | 19 s | लगभग 85 MB |
- इन आकारों पर आपके कंप्यूटर की मेमोरी सीमा तय करती है।
- इतने बड़े LML प्रोजेक्ट के खुलने के दौरान और उसके पहले संपादन के सहेजे जाते समय पेज कुछ सेकंड के लिए प्रतिक्रिया देना बंद कर सकता है।
250,000 आइटम से आगे सेल्फ़-होस्टेड सर्वर
Holarch 2.30.0 चलाने वाले एक Holarch सर्वर का परीक्षण 250,000 और 400,000 LML आइटम के जनरेट किए गए प्रोजेक्ट, प्रति आइटम तीन संबंधों के साथ, और 400,000 आइटम के एक SysML v2 मॉडल से किया गया। हर प्रोजेक्ट इस वर्कलोड से गुज़रा:
- पूरा प्रोजेक्ट सर्वर पर सहेजें, उसे खोलें और फिर से खोलें।
- स्वामी 60 सेकंड तक एक साथ 10 पेजों से संपादन करता है, हर पेज प्रति सेकंड एक संपादन करता है और हर 15 सेकंड में प्रोजेक्ट फिर से खोलता है।
- परिवर्तन इतिहास का एक compaction।
- प्रोजेक्ट हटाएं।
हर चरण पास हुआ: कोई सर्वर त्रुटि नहीं और कोई अस्वीकृत संपादन नहीं।
| प्रोजेक्ट | प्रति 10,000 आइटम, सबसे ऊंचा चरण | 1 GB से कम | संपादन पुष्टि p95 |
|---|---|---|---|
| LML, 250,000 आइटम | लगभग 31 MB | हाँ | 30 ms |
| LML, 400,000 आइटम | लगभग 30 MB | नहीं, लगभग 330,000 आइटम से | 60 ms |
| SysML v2, 400,000 आइटम | लगभग 21 MB | हाँ | 34 ms |
- ये आंकड़े वह अतिरिक्त सर्वर मेमोरी हैं जो प्रोजेक्ट को चाहिए, उसके बिना सर्वर के उपयोग से ऊपर। ये पूरे सर्वर की मेमोरी नहीं हैं।
- पूरे प्रोजेक्ट का एक सेव डिफ़ॉल्ट रूप से 192 MB प्रोजेक्ट डेटा तक सीमित है, लगभग 340,000 LML आइटम या 430,000 SysML v2 आइटम। सेल्फ़-होस्टेड सर्वर यह सीमा बढ़ा सकता है; 400,000-आइटम रन में ऐसा किया गया।
- ये इस वर्कलोड के तहत परीक्षित आकार हैं, हर मॉडल की गारंटी नहीं। लंबे टेक्स्ट और कई आरेख इस परीक्षण का हिस्सा नहीं थे।
1.1.6 → 2.15.1
Holarch 1.1.6 इन बड़े-प्रोजेक्ट परीक्षणों से मापा गया पहला संस्करण है। वही परीक्षण 1.1.6 और 2.15.1 पर बिना बदले चले, उन्हीं जनरेट किए गए LML प्रोजेक्ट के साथ, उसी कंप्यूटर पर और उन्हीं सर्वर सीमाओं के साथ।
| माप | Holarch 1.1.6 | Holarch 2.15.1 |
|---|---|---|
| प्रति 10,000 आइटम मेमोरी, बनाना, खोलना, 200 संपादन और एक संस्करण | 220–250 MB | 20,000 आइटम और उससे ऊपर 40–55 MB (5,000–10,000 पर 80–110 MB) |
| वही, स्वामी के संपादन के दौरान एक संस्करण लिखे जाने के साथ | 25,000 आइटम पर मेमोरी समाप्त हो गई | 45–67 MB |
| आधार: एक साइन-इन के बाद सर्वर | लगभग 125 MB | लगभग 130 MB |
| 25,000-आइटम प्रोजेक्ट का एक संस्करण लिखना | 7.5 s | 0.4 s |
| परीक्षित सबसे बड़ा प्रोजेक्ट | 25,000 आइटम | 115,000 आइटम, 64 MB का एक सेव जितना रख सकता है उसमें सबसे बड़ा |
| चरण | आइटम | Holarch 1.1.6 | Holarch 2.15.1 |
|---|---|---|---|
| होम | 25,000 / 50,000 | 36 s / 149 s | 0.7 s / 1.6 s |
| मॉडल जांच पेज | 25,000 / 50,000 | 66 s / 297 s | 0.4 s / 0.7 s |
| ट्रेसेबिलिटी मैट्रिक्स (आवश्यकताएं × टेस्ट केस) | 10,000 | 47 s | 0.2 s |
| आवश्यकता सत्यापन ट्रेसेबिलिटी मैट्रिक्स | 10,000 | 31 s | 0.1 s |
| 2,000 आवश्यकताओं का एक दस्तावेज़ खोलना | 5,000 / 10,000 / 25,000 | 0.6 s / 0.6 s / 0.8 s | 0.5 s / 0.5 s / 0.5 s* |
| एक संपादन के बाद सहेजना | 5,000 / 10,000 / 25,000 / 50,000 | 0.2 s / 0.5 s / 30 s / 152 s | 0.15 s / 0.3 s / 0.8 s / 1.6 s* |
| 2,000 आवश्यकताओं की आवश्यकता गुणवत्ता जांच | 10,000 | 30 s | 3.2 s |
| हर चरण से गुज़रा सबसे बड़ा प्रोजेक्ट | — | 50,000 आइटम, पेज एक बार में 2 मिनट से अधिक के लिए प्रतिक्रियाहीन | 100,000 आइटम; होम 3.2 s, मैट्रिक्स 0.3 s |
- * 2.16.1 पर मापा गया, जिसने ये दो चरण 2.15.1 से तेज़ कर दिए। अन्य आंकड़े 2.15.1 पर मापे गए।
- 1.1.6 में ट्रेसेबिलिटी मैट्रिक्स ने 25,000 आइटम पर पेज को 2 मिनट से अधिक के लिए रोक दिया, इसलिए वहाँ बड़े आकारों पर इसे मापा नहीं गया। 2.15.1 में यह 100,000 आइटम तक हर आकार पर 0.3 s से कम में खुलता है।
पास होने का मानदंड
होस्टेड सेवा का लोड टेस्ट कई लोगों द्वारा एक साथ एक प्रोजेक्ट खोलने और संपादित करने के साथ किया जाता है। कोई प्रोजेक्ट आकार तब पास होता है जब सेवा इस परिदृश्य की हर शर्त पूरी करती है:
- सर्वर ने अभी-अभी प्रोजेक्ट के परिवर्तन इतिहास का compaction किया है। इस स्थिति में प्रोजेक्ट खोलना सबसे महंगा होता है।
- 10 लोग एक ही क्षण में प्रोजेक्ट खोलते हैं।
- फिर वही 10 लोग 60 सेकंड तक उसे संपादित करते हैं, हर एक प्रति सेकंड एक संपादन करता है।
- संपादन पुष्टि: 95 % संपादनों की पुष्टि सर्वर 1.5 सेकंड के भीतर करता है (p95 ≤ 1.5 s)।
- कोई विफलता नहीं: कोई सर्वर त्रुटि नहीं।
परीक्षण व्यवस्था
- उत्पादन सर्वर सॉफ़्टवेयर, एक ऐसी परीक्षण व्यवस्था पर जो होस्टेड सेवा से धीमी है, इसलिए परिणाम रूढ़िवादी हैं।
- होस्टेड सेवा की संसाधन सीमाएं और सेटिंग्स।
- डेटाबेस और फ़ाइल स्टोरेज उसी कंप्यूटर पर चले, नेटवर्क पर नहीं। हर रन के लिए एक नया सर्वर शुरू किया गया।
- जनरेट किए गए LML प्रोजेक्ट: विनिर्देशों में 40 % आवश्यकताएं, 20 % फ़ंक्शन, 15 % कंपोनेंट, 15 % टेस्ट केस, 5 % जोखिम और बाकी इनपुट और आउटपुट, प्रति आइटम तीन संबंधों के साथ।
परिणाम
| आइटम | हर बार खोलने पर भेजा गया डेटा | 10 बार खोलने में लगा समय | संपादन पुष्टि p95 | परिणाम |
|---|---|---|---|---|
| 50,000 | 27.2 MB | 3.7 s | 1.49 s | Pass |
| 50,000 (दूसरा रन) | 27.2 MB | 3.6 s | 1.08 s | Pass |
- किसी भी रन में सर्वर त्रुटि नहीं हुई।
- सामान्य संपादन (p50) की पुष्टि हर रन में लगभग 30 ms में हुई। धीमे संपादन एक साथ खोलने की बड़ी प्रतिक्रियाओं के पीछे प्रतीक्षा करते हैं।
प्लान सीमाएं
| प्लान | प्रति प्रोजेक्ट आइटम |
|---|---|
| Free / शैक्षणिक | 1,000 (सक्रिय कक्षा संगठन में 2,000) |
| Individual | 5,000 |
| Team | 50,000 |
- होस्टेड सेवा (app.holarch.app) हर प्लान पर प्रति प्रोजेक्ट 50,000 आइटम तक रखती है; बड़े कार्यक्रमों के लिए प्रोजेक्ट लिंक करें। डेस्कटॉप ऐप (आपके कंप्यूटर पर इंस्टॉल Holarch) LML में प्रति प्रोजेक्ट 700,000 आइटम और SysML v2 में 400,000 तक परीक्षित है।
- पूरे प्रोजेक्ट का एक सेव, जैसे प्रोजेक्ट फ़ाइल आयात करना, अधिकतम 192 MB प्रोजेक्ट डेटा का हो सकता है। लंबे टेक्स्ट वाला प्रोजेक्ट आइटम सीमा से पहले इस आकार तक पहुंच सकता है।
- आइटम के रूप में क्या गिना जाता है: मूल्य देखें।
- हर आकार के प्रोजेक्ट को ब्राउज़र में चाहिए कंप्यूटर मेमोरी: सिस्टम आवश्यकताएं देखें।
Round trips: हर विनिमय फ़ॉर्मेट क्या रखता है
हर मॉडल को लागू होने वाले हर फ़ॉर्मेट में निर्यात किया गया और डिफ़ॉल्ट विकल्पों के साथ एक नए प्रोजेक्ट में फिर से आयात किया गया। फिर मूल के हर एलिमेंट को रखा गया, रूपांतरित या हटाया गया के रूप में गिना गया। Holarch 2.21.0 में मापा गया, होस्टेड सेवा में और आपके कंप्यूटर पर इंस्टॉल दोनों में समान।
- रखा गया: बिना बदले फिर से मिला। आइटम अपनी क्लास, नाम, संख्या, विवरण और लेबल रखता है; संबंध अपना प्रकार, अपने दो सिरे और अपने attributes रखता है; attribute मान, सहेजा गया व्यू या फ़ॉर्मेट किया गया विवरण पहले जैसा ही है।
- रूपांतरित: किसी अंतर के साथ फिर से मिला, उदाहरण के लिए एक Statement जो Requirement के रूप में वापस आता है, गायब संख्या या लेबल, या संबंध attribute जो अपने डिफ़ॉल्ट मान के साथ वापस आता है।
- हटाया गया: नए प्रोजेक्ट में नहीं, क्योंकि फ़ॉर्मेट में उसके लिए कोई जगह नहीं है या उसका एक सिरा हटा दिया गया।
| फ़ॉर्मेट | आइटम | संबंध | Attribute मान | सहेजे गए व्यू | दस्तावेज़ | फ़ॉर्मेट किए गए विवरण |
|---|---|---|---|---|---|---|
| Holarch प्रोजेक्ट फ़ाइल (.json) | 407 / 0 / 0 | 915 / 0 / 0 | 979 / 0 / 0 | 83 / 0 / 0 | 3 / 0 / 0 | 5 / 0 / 0 |
| Holarch बैकअप और प्रोजेक्ट पैकेज (.holarch)* | 424 / 0 / 0 | 949 / 0 / 0 | 1,104 / 0 / 0 | 84 / 0 / 0 | 3 / 0 / 0 | 5 / 0 / 0 |
| UML/SysML XMI, Holarch डेटा के साथ | 317 / 0 / 90 | 631 / 0 / 284 | 672 / 0 / 307 | 0 / 3 / 80 | 0 / 0 / 3 | 5 / 0 / 0 |
| UML/SysML XMI, साधारण SysML | 83 / 234 / 90 | 548 / 95 / 272 | 138 / 38 / 803 | 0 / 3 / 80 | 0 / 0 / 3 | 0 / 5 / 0 |
| Papyrus (.uml) | 317 / 0 / 90 | 631 / 0 / 284 | 672 / 0 / 307 | 0 / 3 / 80 | 0 / 0 / 3 | 5 / 0 / 0 |
| ReqIF | 407 / 0 / 0 | 879 / 21 / 15 | 979 / 0 / 0 | 0 / 0 / 83 | 3 / 0 / 0 | 5 / 0 / 0 |
| CSV, हर attribute, लेबल और संबंध | 393 / 14 / 0 | 810 / 96 / 9 | 979 / 0 / 0 | 0 / 0 / 83 | 3 / 0 / 0 | 5 / 0 / 0 |
| SysML v2 कॉपी, फिर LML कॉपी | 348 / 41 / 18 | 703 / 56 / 156 | 857 / 33 / 89 | 26 / 7 / 50 | 3 / 0 / 0 | 0 / 5 / 0 |
* Holarch 2.33.0 में वर्तमान CubeSat EO-1 डेमो (424 आइटम, 949 संबंध, 1,104 attribute मान, 84 सहेजे गए व्यू, 3 दस्तावेज़, 5 फ़ॉर्मेट किए गए विवरण) पर मापा गया; कुछ भी रूपांतरित या हटाया नहीं गया।
- प्रोजेक्ट फ़ाइल और प्रोजेक्ट पैकेज: पूरा प्रोजेक्ट, होम, चार्ट, प्रोग्राम डैशबोर्ड और प्रोजेक्ट सेटिंग्स सहित।
- Holarch डेटा के साथ XMI और Papyrus: हर वह आइटम जिसके लिए SysML में एक एलिमेंट है, अपनी LML क्लास, संख्या, लेबल और attributes के साथ बिना बदले वापस आता है। हटाए गए 90 आइटम कार्य, दस्तावेज़, जोखिम, समस्याएं, शेड्यूल आइटम, ख़तरे और अन्य आइटम हैं जिनके लिए SysML में कोई एलिमेंट नहीं है; अधिकांश हटाए गए संबंध उन्हीं से जुड़ते हैं। Trigger और Amount जैसे संबंध attributes भी वापस आते हैं। action diagram flows के अलावा अन्य आरेख XMI का हिस्सा नहीं हैं।
- Holarch डेटा के बिना XMI: साधारण SysML 1.6। Statements, Requirements के रूप में वापस आते हैं, और LML संख्याएं, लेबल और LML attributes फ़ाइल में नहीं होते।
- ReqIF: हर आइटम, attribute मान, लेबल और दस्तावेज़ संरचना वापस आते हैं, और संबंध अपने attributes रखते हैं। decomposition की multiplicity नहीं लिखी जाती, क्योंकि ReqIF decomposition को दस्तावेज़ संरचना के रूप में रखता है। डेमो के अपने schema जोड़ (उदाहरण के लिए, एक Equation जो किसी Requirement को satisfy करता है) नए प्रोजेक्ट में छोड़ दिए जाते हैं, जिसमें मानक schema होता है।
- CSV: हर आइटम और attribute मान वापस आता है। तालिका में संबंध attributes के लिए जगह नहीं होती, इसलिए वे अपने डिफ़ॉल्ट मानों के साथ वापस आते हैं, और जो लेबल नए प्रोजेक्ट में नहीं हैं वे छोड़ दिए जाते हैं।
- SysML v2 कॉपी और वापस: रिपोर्ट के साथ एक रूपांतरण, विनिमय फ़ॉर्मेट नहीं। Measures और Asset संख्याएं वापस नहीं आतीं, न ही कुछ traces।
| फ़ॉर्मेट | Hybrid Car, 708 एलिमेंट | Hybrid Car, Holarch डेटा | Battery Pack, 62 एलिमेंट |
|---|---|---|---|
| Holarch प्रोजेक्ट फ़ाइल (.json) | 708 / 0 / 0 | सभी रखे गए | 62 / 0 / 0 |
| SysML v2 टेक्स्ट (.sysml) | 708 / 0 / 0 | फ़ाइल में नहीं | 62 / 0 / 0 |
| SysML v2 JSON | 708 / 0 / 0, एलिमेंट id रखी गईं | फ़ाइल में नहीं | 62 / 0 / 0, एलिमेंट id रखी गईं |
| LML कॉपी, फिर SysML v2 कॉपी | 22 / 184 / 502 | 27 में से 21 आइटम रखे गए | 6 / 21 / 35 |
- SysML v2 टेक्स्ट और JSON: हर मॉडल एलिमेंट बिना बदले वापस आता है। आवश्यकता स्थिति, सत्यापन परिणाम, जोखिम, दस्तावेज़ और अन्य Holarch डेटा केवल प्रोजेक्ट फ़ाइल में जाते हैं।
- LML कॉपी और वापस: मॉडल LML कॉपी से फिर से बनाया जाता है, इसलिए successions, imports, metadata और अधिकांश typing वापस नहीं आते।
परीक्षण दोहराएं: नया डेमो प्रोजेक्ट से डेमो बनाएं, उसे किसी एक फ़ॉर्मेट में निर्यात करें, फ़ाइल को डिफ़ॉल्ट विकल्पों के साथ नए प्रोजेक्ट में आयात करें और डेटाबेस में दोनों प्रोजेक्ट की तुलना करें।
क्या मापा नहीं गया
- SysML v2 प्रोजेक्ट, कई आरेखों वाले प्रोजेक्ट, और लंबे rich-text विवरण।
- एक ही क्षण में उपयोग में कई बड़े प्रोजेक्ट।
आपके आकार के मॉडल के बारे में प्रश्न: हमसे संपर्क करें।