Test edilen sınırlar
Holarch ne kadar büyük bir projeyle başa çıkar
Holarch'ın test edildiği en büyük projeler, bunların ihtiyaç duyduğu tarayıcı belleği ve açılış süreleri ile her planın öğe sınırının dayandığı barındırılan hizmet yük testi.
Performans
Her iki modelleme dilinde üretilmiş projelerle ölçülmüştür; tarayıcı değerleri bir Mac üzerinde Safari'dedir. Her tablo, ölçüldüğü Holarch sürümünü belirtir.
- Masaüstü uygulaması (bilgisayarınıza kurulu Holarch): LML'de proje başına 700.000 öğeye, SysML v2'de 400.000 öğeye kadar test edildi (250.000 öğenin ötesinde).
- Barındırılan hizmet (app.holarch.app): proje başına 50.000 öğeye kadar; daha büyük programlar için projeleri projeler arası bağlantılar, Program Haritası ve kitaplıklarla bağlayın (Plan sınırları).
- Kendi sunucunuzda barındırılan Holarch sunucusu (Enterprise): LML ve SysML v2'de proje başına 400.000 öğeye kadar test edildi. Bir proje, yaklaşık 330.000 LML öğesine kadar ve 400.000 SysML v2 öğesinin ötesinde 1 GB'ın altında ek sunucu belleği kullanır (250.000 öğenin ötesinde kendi sunucunuz).
Barındırılan hizmet: sunucu belleği
Bir projenin açıkken, sunucunun onsuz kullandığının üzerinde ihtiyaç duyduğu sunucu belleği, her 10.000 öğe için. Barındırılan hizmetin sınırı olan proje başına 50.000 öğeye kadar test edildi.
| Dil | 10.000 öğe başına | Test edilen en büyük proje |
|---|---|---|
| LML | yaklaşık 17 MB | 50.000 öğe |
| SysML v2 | 4–8 MB | 50.000 öğe |
- Değerler, sunucunun tamamının belleği değil, açık bir projenin ek belleğidir. Temel değer, bir oturum açmadan sonra yeni başlatılmış bir sunucu için yaklaşık 130 MB'dır.
- Bir projenin sekmesinin tarayıcınızda ihtiyaç duyduğu bellek aşağıdadır (Tarayıcı belleği).
Tarayıcı belleği
Holarch sayfası, açık proje yokken yaklaşık 100 MB kullanır. Bu temel değerdir. Aşağıdaki değerler, proje açılırken en yüksek noktada, tarayıcı sekmesinin projedeki her 10.000 öğe için temel değerin üzerinde ihtiyaç duyduğu bellektir.
| Dil | Barındırılan hizmet | Bilgisayarınıza kurulu |
|---|---|---|
| LML | 40–60 MB | 50–70 MB |
| SysML v2 | 100–155 MB | 70–80 MB |
- Değer proje boyutuna göre değişir. Yüksek değere göre planlayın.
- Düzenleme çok az ekler: 100 düzenlemeden sonra bir LML projesinin sekmesi öncekinden fazla bellek kullanmadı. Düzenlemeler kaydedilirken kısa bir süre yaklaşık 0,6 GB'a kadar fazladan bellek gerekebilir.
- Her proje boyutu için planlanacak bellek: Sistem gereksinimleri.
Açılış süreleri
Tıklamadan sayfanın kullanıma hazır olmasına kadar. Bir SysML v2 projesi ardından siz çalışırken ilk model denetimini arka planda çalıştırır; ikinci değer bu denetimin tamamlanmasına kadar geçen süredir.
| Öğeler | LML, barındırılan | LML, kurulu | SysML v2, barındırılan | SysML v2, kurulu |
|---|---|---|---|---|
| 50,000 | yaklaşık 1 sn | yaklaşık 1 sn | yaklaşık 2 sn; denetim 4 sn | ölçülmedi |
| 100,000 | — | yaklaşık 1 sn | — | yaklaşık 2 sn; denetim 5 sn |
| 150,000 | — | ölçülmedi | — | ölçülmedi |
| 200,000 | — | yaklaşık 2 sn | — | ölçülmedi |
| 250,000 | — | ölçülmedi | — | yaklaşık 6 sn; denetim 14 sn |
- Barındırılan süreler bir test sunucusuna karşı ölçüldü. Yavaş bir ağ bağlantısı, projeyi indirme süresini ekler.
- — : barındırılan hizmetin proje başına 50.000 öğe sınırının üzerinde.
- Barındırılan hizmette düzenleme onayı ve aynı anda çalışan çok sayıda kişi: bkz. Yük testi sonuçları.
- SysML v2 dil motorunun tek başına hızı ve belleği: bkz. Language Engine test sonuçları.
Bilgisayarınıza kurulu, 250.000 öğenin ötesinde
Holarch 2.30.0, Safari'de 400.000 ve 700.000 LML öğelik üretilmiş projeleri ve 400.000 öğelik bir SysML v2 modelini açtı, bir düzenleme yaptı, kaydetti ve projeyi kapattı. Hiçbir şey başarısız olmadı.
| Proje | Açılış | Arka plan işi tamamlandı | Açılış sırasında 10.000 öğe başına tarayıcı belleği |
|---|---|---|---|
| LML, 400.000 öğe | yaklaşık 4 sn | 16 sn | yaklaşık 105 MB |
| LML, 700.000 öğe | yaklaşık 6 sn | 21 sn | yaklaşık 130 MB |
| SysML v2, 400.000 öğe | yaklaşık 3 sn | 19 sn | yaklaşık 85 MB |
- Bu boyutlarda sınırı bilgisayarınızın belleği belirler.
- Bu büyüklükte bir LML projesi açılırken ve ilk düzenlemesi kaydedilirken sayfa birkaç saniye yanıt vermeyebilir.
250.000 öğenin ötesinde kendi sunucunuz
Holarch 2.30.0 çalıştıran bir Holarch sunucusu, öğe başına üç ilişkiyle 250.000 ve 400.000 LML öğelik üretilmiş projelerle ve 400.000 öğelik bir SysML v2 modeliyle test edildi. Her proje şu iş yükünden geçti:
- Projenin tamamını sunucuya kaydetme, açma ve yeniden açma.
- Sahip, 60 saniye boyunca aynı anda 10 sayfadan düzenleme yapar; her sayfa saniyede bir düzenleme yapar ve projeyi her 15 saniyede bir yeniden açar.
- Değişiklik geçmişinin sıkıştırılması.
- Projeyi silme.
Her aşama başarılı oldu: sunucu hatası yok ve reddedilen düzenleme yok.
| Proje | 10.000 öğe başına, en yüksek aşama | 1 GB'ın altında | Düzenleme onayı p95 |
|---|---|---|---|
| LML, 250.000 öğe | yaklaşık 31 MB | evet | 30 ms |
| LML, 400.000 öğe | yaklaşık 30 MB | hayır, yaklaşık 330.000 öğeden itibaren | 60 ms |
| SysML v2, 400.000 öğe | yaklaşık 21 MB | evet | 34 ms |
- Bu değerler, projenin sunucunun onsuz kullandığının üzerinde ihtiyaç duyduğu ek sunucu belleğidir. Sunucunun tamamının belleği değildir.
- Projenin tamamının kaydı varsayılan olarak 192 MB proje verisiyle sınırlıdır; bu yaklaşık 340.000 LML öğesi veya 430.000 SysML v2 öğesidir. Kendi sunucunuz bu sınırı yükseltebilir; 400.000 öğelik çalıştırmalar bunu yaptı.
- Bunlar bu iş yükü altında test edilen boyutlardır, her model için bir garanti değildir. Uzun metinler ve çok sayıda diyagram bu testin parçası değildi.
1.1.6 → 2.15.1
Holarch 1.1.6, bu büyük proje testleriyle ölçülen ilk sürümdür. Aynı testler 1.1.6'da ve 2.15.1'de, aynı üretilmiş LML projeleriyle, aynı bilgisayarda ve aynı sunucu sınırlarıyla değiştirilmeden çalıştı.
| Ölçüm | Holarch 1.1.6 | Holarch 2.15.1 |
|---|---|---|
| 10.000 öğe başına bellek; oluşturma, açma, 200 düzenleme ve bir sürüm | 220–250 MB | 20.000 öğeden itibaren 40–55 MB (5.000–10.000'de 80–110 MB) |
| Aynısı, sahip düzenleme yaparken bir sürüm yazılarak | 25.000 öğede belleği tükendi | 45–67 MB |
| Temel değer: bir oturum açmadan sonra sunucu | yaklaşık 125 MB | yaklaşık 130 MB |
| 25.000 öğelik bir projenin sürümünü yazma | 7,5 sn | 0,4 sn |
| Test edilen en büyük proje | 25.000 öğe | 115.000 öğe, 64 MB'lık tek bir kaydın alabildiği en büyük boyut |
| Adım | Öğeler | Holarch 1.1.6 | Holarch 2.15.1 |
|---|---|---|---|
| Ana sayfa | 25,000 / 50,000 | 36 sn / 149 sn | 0,7 sn / 1,6 sn |
| Model denetimleri sayfası | 25,000 / 50,000 | 66 sn / 297 sn | 0,4 sn / 0,7 sn |
| İzlenebilirlik matrisi (gereksinimler × test senaryoları) | 10,000 | 47 sn | 0,2 sn |
| Gereksinim doğrulama izlenebilirlik matrisi | 10,000 | 31 sn | 0,1 sn |
| 2.000 gereksinimlik bir belgeyi açma | 5,000 / 10,000 / 25,000 | 0,6 sn / 0,6 sn / 0,8 sn | 0,5 sn / 0,5 sn / 0,5 sn* |
| Bir düzenlemeden sonra kaydetme | 5,000 / 10,000 / 25,000 / 50,000 | 0,2 sn / 0,5 sn / 30 sn / 152 sn | 0,15 sn / 0,3 sn / 0,8 sn / 1,6 sn* |
| 2.000 gereksinimin kalite denetimi | 10,000 | 30 sn | 3,2 sn |
| Her adımdan geçirilen en büyük proje | — | 50.000 öğe; sayfa her seferinde 2 dakikadan uzun süre yanıt vermiyor | 100.000 öğe; Ana sayfa 3,2 sn, matris 0,3 sn |
- * Bu iki adımı 2.15.1'dekinden daha hızlı hâle getiren 2.16.1'de ölçüldü. Diğer değerler 2.15.1'de ölçüldü.
- 1.1.6'da izlenebilirlik matrisi 25.000 öğede sayfayı 2 dakikadan uzun süre durdurdu; bu yüzden orada daha büyük boyutlarda ölçülmedi. 2.15.1'de 100.000 öğeye kadar her boyutta 0,3 saniyenin altında açılır.
Geçme ölçütü
Barındırılan hizmet, birden fazla kişinin aynı anda tek bir projeyi açıp düzenlediği yük testlerinden geçirilir. Hizmet bu senaryodaki her koşulu karşıladığında bir proje boyutu başarılı sayılır:
- Sunucu projenin değişiklik geçmişini yeni sıkıştırmıştır. Bir projeyi açmak en çok bu durumda maliyetlidir.
- 10 kişi projeyi aynı anda açar.
- Aynı 10 kişi ardından projeyi 60 saniye boyunca, her biri saniyede bir düzenleme yaparak düzenler.
- Düzenleme onayı: düzenlemelerin %95'i sunucu tarafından 1,5 saniye içinde onaylanır (p95 ≤ 1,5 sn).
- Hata yok: sunucu hatası yok.
Test kurulumu
- Barındırılan hizmetten daha yavaş bir test kurulumunda üretim sunucu yazılımı; bu yüzden sonuçlar ihtiyatlıdır.
- Barındırılan hizmetin kaynak sınırları ve ayarları.
- Veritabanı ve dosya depolama bir ağ üzerinden değil, aynı bilgisayarda çalıştı. Her çalıştırma için yeni bir sunucu başlatıldı.
- Üretilmiş LML projeleri: öğe başına üç ilişkiyle %40 belirtimlerdeki gereksinimler, %20 işlevler, %15 bileşenler, %15 test senaryoları, %5 riskler ve geri kalanı girdiler ve çıktılar.
Sonuçlar
| Öğeler | Açılış başına gönderilen veri | 10 açılışın süresi | Düzenleme onayı p95 | Sonuç |
|---|---|---|---|---|
| 50,000 | 27,2 MB | 3,7 sn | 1,49 sn | Başarılı |
| 50.000 (ikinci çalıştırma) | 27,2 MB | 3,6 sn | 1,08 sn | Başarılı |
- Hiçbir çalıştırmada sunucu hatası olmadı.
- Tipik düzenleme (p50) her çalıştırmada yaklaşık 30 ms içinde onaylandı. Yavaş düzenlemeler, eşzamanlı açılışların büyük yanıtlarının arkasında bekler.
Plan sınırları
| Plan | Proje başına öğe |
|---|---|
| Free / Akademik | 1.000 (etkin bir sınıf kuruluşunda 2.000) |
| Individual | 5,000 |
| Team | 50,000 |
- Barındırılan hizmet (app.holarch.app) her planda proje başına 50.000 öğeye kadar tutar; daha büyük programlar için projeleri bağlayın. Masaüstü uygulaması (bilgisayarınıza kurulu Holarch) LML'de proje başına 700.000, SysML v2'de 400.000 öğeye kadar test edilmiştir.
- Bir proje dosyasını içe aktarmak gibi projenin tamamının kaydı en fazla 192 MB proje verisi olabilir. Uzun metinleri olan bir proje bu boyuta öğe sınırından önce ulaşabilir.
- Neyin öğe sayıldığı: bkz. Fiyatlandırma.
- Her boyuttaki bir projenin tarayıcıda ihtiyaç duyduğu bilgisayar belleği: bkz. Sistem gereksinimleri.
Gidiş-dönüşler: her alışveriş biçimi neyi korur
Her model, uygulanabilen her biçimde dışa aktarıldı ve varsayılan seçeneklerle yeni bir projeye yeniden içe aktarıldı. Ardından özgün modelin her öğesi korundu, dönüştürüldü veya kaybedildi olarak sayıldı. Holarch 2.21.0'da ölçüldü; barındırılan hizmette ve bilgisayarınıza kurulu olarak aynıdır.
- Korundu: değişmeden yeniden bulundu. Bir öğe sınıfını, adını, numarasını, açıklamasını ve etiketlerini korur; bir ilişki türünü, iki ucunu ve özniteliklerini korur; bir öznitelik değeri, kaydedilmiş bir görünüm veya biçimlendirilmiş bir açıklama öncekiyle aynıdır.
- Dönüştürüldü: bir farkla yeniden bulundu; örneğin Requirement olarak geri gelen bir Statement, eksik bir numara veya etiket ya da varsayılan değeriyle geri gelen bir ilişki özniteliği.
- Kaybedildi: yeni projede yok; çünkü biçimde onun için yer yok veya uçlarından biri kaybedildi.
| Biçim | Öğeler | İlişkiler | Öznitelik değerleri | Kaydedilmiş görünümler | Belgeler | Biçimlendirilmiş açıklamalar |
|---|---|---|---|---|---|---|
| Holarch proje dosyası (.json) | 407 / 0 / 0 | 915 / 0 / 0 | 979 / 0 / 0 | 83 / 0 / 0 | 3 / 0 / 0 | 5 / 0 / 0 |
| Holarch yedeği ve proje paketi (.holarch)* | 424 / 0 / 0 | 949 / 0 / 0 | 1,104 / 0 / 0 | 84 / 0 / 0 | 3 / 0 / 0 | 5 / 0 / 0 |
| Holarch verileriyle UML/SysML XMI | 317 / 0 / 90 | 631 / 0 / 284 | 672 / 0 / 307 | 0 / 3 / 80 | 0 / 0 / 3 | 5 / 0 / 0 |
| UML/SysML XMI, düz SysML | 83 / 234 / 90 | 548 / 95 / 272 | 138 / 38 / 803 | 0 / 3 / 80 | 0 / 0 / 3 | 0 / 5 / 0 |
| Papyrus (.uml) | 317 / 0 / 90 | 631 / 0 / 284 | 672 / 0 / 307 | 0 / 3 / 80 | 0 / 0 / 3 | 5 / 0 / 0 |
| ReqIF | 407 / 0 / 0 | 879 / 21 / 15 | 979 / 0 / 0 | 0 / 0 / 83 | 3 / 0 / 0 | 5 / 0 / 0 |
| CSV; her öznitelik, etiketler ve ilişkiler | 393 / 14 / 0 | 810 / 96 / 9 | 979 / 0 / 0 | 0 / 0 / 83 | 3 / 0 / 0 | 5 / 0 / 0 |
| SysML v2 kopyası, ardından LML kopyası | 348 / 41 / 18 | 703 / 56 / 156 | 857 / 33 / 89 | 26 / 7 / 50 | 3 / 0 / 0 | 0 / 5 / 0 |
* Holarch 2.33.0'da güncel CubeSat EO-1 demosunda ölçüldü (424 öğe, 949 ilişki, 1.104 öznitelik değeri, 84 kaydedilmiş görünüm, 3 belge, 5 biçimlendirilmiş açıklama); hiçbir şey dönüştürülmedi veya kaybedilmedi.
- Proje dosyası ve proje paketi: Ana sayfa, Grafikler, program panosu ve proje ayarları dahil projenin tamamı.
- Holarch verileriyle XMI ve Papyrus: SysML'de karşılığı olan her öğe LML sınıfı, numarası, etiketleri ve öznitelikleriyle değişmeden geri gelir. Kaybedilen 90 öğe görevler, belgeler, riskler, sorunlar, takvim öğeleri, tehlikeler ve SysML'de karşılığı olmayan diğer öğelerdir; kaybedilen ilişkilerin çoğu bunlara bağlanır. Trigger ve Amount gibi ilişki öznitelikleri de geri gelir. Action Diyagramı akışları dışındaki diyagramlar XMI'ın parçası değildir.
- Holarch verileri olmadan XMI: düz SysML 1.6. Statement'lar Requirement olarak geri gelir; LML numaraları, etiketler ve LML öznitelikleri dosyada yoktur.
- ReqIF: her öğe, öznitelik değeri, etiket ve belge yapısı geri gelir; ilişkiler özniteliklerini korur. Bir ayrıştırmanın çokluğu yazılmaz, çünkü ReqIF ayrıştırmayı belge yapısı olarak tutar. Demonun kendi şema eklemeleri (örneğin bir Requirement'ı karşılayan bir Equation), standart şemaya sahip yeni bir projede atlanır.
- CSV: her öğe ve öznitelik değeri geri gelir. Bir tabloda ilişki öznitelikleri için yer yoktur, bu yüzden bunlar varsayılan değerleriyle geri gelir; yeni projede olmayan etiketler dışarıda bırakılır.
- SysML v2 kopyası ve geri dönüş: bir alışveriş biçimi değil, raporlu bir dönüştürme. Measure'lar ve Asset numaraları geri gelmez, bazı izler de gelmez.
| Biçim | Hybrid Car, 708 öğe | Hybrid Car, Holarch verileri | Battery Pack, 62 öğe |
|---|---|---|---|
| Holarch proje dosyası (.json) | 708 / 0 / 0 | hepsi korundu | 62 / 0 / 0 |
| SysML v2 metni (.sysml) | 708 / 0 / 0 | dosyada yok | 62 / 0 / 0 |
| SysML v2 JSON | 708 / 0 / 0, öğe kimlikleri korundu | dosyada yok | 62 / 0 / 0, öğe kimlikleri korundu |
| LML kopyası, ardından SysML v2 kopyası | 22 / 184 / 502 | 27 öğeden 21'i korundu | 6 / 21 / 35 |
- SysML v2 metni ve JSON: her model öğesi değişmeden geri gelir. Gereksinim durumu, doğrulama sonuçları, riskler, belgeler ve diğer Holarch verileri yalnızca proje dosyasında taşınır.
- LML kopyası ve geri dönüş: model LML kopyasından yeniden oluşturulur; bu yüzden ardışıklıklar, içe aktarmalar, metadata ve tiplemenin çoğu geri gelmez.
Testi tekrarlayın: demoyu Yeni demo proje'den oluşturun, biçimlerden birinde dışa aktarın, dosyayı varsayılan seçeneklerle yeni bir projeye içe aktarın ve iki projeyi Veritabanı'nda karşılaştırın.
Neler ölçülmedi
- SysML v2 projeleri, çok sayıda diyagramı olan projeler ve uzun zengin metin açıklamaları.
- Aynı anda kullanılan birden fazla büyük proje.
Sizin boyutunuzdaki bir model hakkında sorular: bizimle iletişime geçin.