Holarch Language Engine
Language Engine test sonuçları
Holarch'ın SysML v2 projelerinin arkasındaki motorun ölçülen sonuçları: yanıtlarının resmî örnek modellerde OMG'nin pilot uygulamasıyla nasıl karşılaştırıldığı, hasarlı metni nasıl ele aldığı ve büyük modellerde ne kadar hızlı olduğu. Karşılanmayan ölçütler, karşılananlarla birlikte listelenir.
Şuraya git: Bu çalıştırma · Özet · Oturum belleği · Kanıtların desteklediği · Örnek modeller · Tanılama geçerlemesi · Ad bağlama · Hasarlı metin · Hız ve bellek · Henüz desteklenmeyenler · Sonuçları yeniden üretme · Önceki çalıştırmalar · Bu sonuçların göstermedikleri
Bu çalıştırma
- Motor: Holarch Language Engine 2.1 (sürüm 2.1.1, derleme 37168cc). Holarch, ana bilgisayarın ilerleme çubuğu için ilerleme bildirimleri ekleyen ve önceki sürümleri durduran çok uzun içe aktarma veya özelleştirme zincirlerini denetleyen 2.1.2 sürümünü dağıtır; bu çalıştırmanın örnek modellerinde, üretilmiş modellerinde ve test derleminde 2.1.1 ile aynı yanıtları verir, bu nedenle bu sayfadaki 2.1.1 üzerinde ölçülen değerler yeniden ölçülmedi. Resmî çalıştırmalar dışındaki bir ölçümde büyük üretilmiş modellerin soğuk analizi yaklaşık %3 daha uzun sürdü. Motor 2.1; değişkenlik, kullanıcı tanımlı anahtar sözcükler, geçiş tetikleyicileri ve etkileri, simülasyon (ayrıca lisanslanan, burada ölçülmeyen bir eklenti) ve bir düzenleme oturumu boyunca daha düşük bellek kullanımı ekler.
- Yöntem: yazılı kabul planının 10. sürümü. Ölçütler, ilk sonuçlar ölçülmeden önce belirlendi. Yöntemdeki sonraki her değişiklik gerekçesiyle kaydedilir ve önceki sonuçlar ölçüldükleri yöntemi korur. 8 ile 10. sürümler değişkenliği, kullanıcı tanımlı anahtar sözcükleri ve geçiş tetikleyicileri ile etkilerini, her biri yayımlandıkça desteklenmeyen yapılar listesinden çıkarır; ölçütler ve kapılar değişmedi.
- Örnek modeller: OMG'nin SysML v2 sürüm deposunun eğitim, örnek ve geçerleme kümeleri, sürüm 2026-08 (commit fb97b754): 252 dosya, 14.957 satır. Modeller her çalıştırma için OMG'nin deposundan alınır ve Holarch'a kopyalanmaz.
- Referans: OMG'nin pilot uygulaması, sürüm 0.62.0, kara kutu olarak çalıştırıldı.
- Büyük modeller: derin içe aktarmalar, paketler arası başvurular ve uzun özelleştirme zincirleri içeren, 10.000 ile 250.000 satır arasında üretilmiş modeller.
Bu sayfadaki her değer, aşağıda adı geçen resmî çalıştırmalardan gelir. Yayımlanmış bir çalıştırma hiçbir zaman düzenlenmez. Bir düzeltme, yerini aldığı çalıştırmayı adlandıran yeni bir çalıştırmadır.
Dahili inceleme bu sayfadaki her sınıflandırmayı ve incelemeyi işaretler: uyuşmazlık sınıfları, kayıt, her motor hatasının incelenmesi ve bağlama kategorileri. Bunlar Holarch tarafından belirtim metnine göre yapıldı. Henüz dış inceleme yoktur; etiket, bir dış inceleme yapılana kadar kalır.
| Holarch sürümü | Motor sürümü | Motor derlemesi | Yöntem | Resmî çalıştırmalar |
|---|---|---|---|---|
| 2.21.0 (motor 2.1.2'yi dağıtır) | 2.1.1 | 37168cc | 10 | 2.1.1-37168cc79-1 (her ölçüm, oturum belleği nitelendirmesi de dahil; bu sayfadaki değerler) |
| 2.17.1 | 2.0.1 | d8cf5c8 | 7 | 2.0.1-d8cf5c835-1 (hız ve bellek, oturum belleği) |
| 2.15.1 | 2.0.0 | dd4fb10; 91f058a 2.0.0 bildirir | 6 | 1.0.0-dd4fb10f5-1 (her ölçüm), 2.0.0-91f058a75-1 (2.0.0 bildiren derleme üzerinde her ölçüm; oturum belleği nitelendirmesi de dahil) |
| 2.15.0 | 1.0.0 | e6bb924 | 5 | 1.0.0-e6bb92459-1 (hız ve bellek, test kapsamı) |
| 2.14.0 | 1.0.0 | 0c983e2 | 6 | 1.0.0-0c983e2e8-1 (hız ve bellek, karşılaştırma için) |
| 2.13.1 | 1.0.0 | d3f5d4b | 5 | 1.0.0-d3f5d4b5d-2 (örnek modeller), 1.0.0-d3f5d4b5d-1 (diğer ölçümler) |
| 2.12.0 | 1.0.0 | 8a6bf7b | 5 | 1.0.0-8a6bf7b76-2 (örnek modeller), 1.0.0-8a6bf7b76-1 (diğer ölçümler) |
| 2.11.0 | 1.0.0 | c184e57 | 3, 4 altında okundu | 1.0.0-c184e57e6-1 |
Özet
Üretilmiş 10.000 satırlık bir modelde motor 2.1.1, modelin tamamını 150 ms'de analiz eder ve bir düzenlemeden sonra 1,3 ile 6,8 ms'de (95. yüzdelik) yeniden denetler. Motor tabanı, standart kitaplık yüklüyken: 17 MiB; tüm model analizi 10.000 satır başına yaklaşık 29 MiB, tüm bir düzenleme oturumu ise 10.000 satır başına yaklaşık 33 MiB ekler. Önceki motorların karşılamadığı, 100.000 ve 250.000 satırda tam bir düzenleme oturumu boyunca motor belleği dahil her ölçüt karşılanmıştır. 250.000 satıra kadar üretilmiş modellerle test edildi: her boyutta hız ve bellek.
Bellek, motor tabanının (standart kitaplık yüklü ve model boşken motorun belleği) üzerinde 10.000 satır başına gösterilir. Ölçütler toplama uygulanır.
| Ölçüm | Ölçüt | Motor 2.1.1 | Karşılandı |
|---|---|---|---|
| Örnek modeller: çökmeler ve zaman aşımları | Hiçbirine izin verilmez | Yok | Evet |
| Örnek modeller: kabul uyumu, sınıflandırılmış | Değerlendirilen kapsamdaki dosyaların en az %98'i | 252 dosyadan 252'si Dahili inceleme | Evet |
| Örnek modeller: yanlış kabuller | Hiçbirine izin verilmez | Yok | Evet |
| Örnek modeller: her motor hatası tek tek incelendi | Tümü incelendi | 44'ten 44'ü Dahili inceleme | Evet |
| Ad bağlama | Eşleştirilmiş bağlamaların en az %99,5'i uyumlu | 4.908'den 4.904'ü | Evet |
| Hasarlı metin | Yedi ölçüt, aşağıda | Yedisi de karşılandı | Evet |
| Düzenlemeler, tüm boyutlar | Değer değişikliği 12 ms içinde, diğer düzenlemeler 60 ms içinde (250.000 satırda 25 ve 150 ms) | Tümü sınır içinde | Evet |
| Soğuk analiz, 100.000 satır | Bildirilir; yöntem sürümü 4'ten beri hedef değil (önceki hedef: 0,6 s içinde) | 1,43 s | Önceki hedef karşılanmadı |
| Soğuk analiz, 250.000 satır | Bildirilir; yöntem sürümü 4'ten beri hedef değil (önceki hedef: 1,2 s içinde) | 3,73 s | Önceki hedef karşılanmadı |
| Uzun analiz sırasında ilerleme gösterilir | 3 saniyeden uzun sürebilecek her analiz için bir ilerleme çubuğu (yöntem sürümü 4) | Motorun aşamalarıyla gösterilir; Holarch'ın ilerleme testiyle denetlenir | Evet |
| Motor belleği, soğuk analiz, 100.000 satır | 512 MiB içinde | Tabanın üzerinde 10.000 satır başına 28 MiB | Evet |
| Motor belleği, soğuk analiz, 250.000 satır | 1 GiB içinde | Tabanın üzerinde 10.000 satır başına 28 MiB | Evet |
| Motor belleği, tam düzenleme oturumu, 100.000 satır | 512 MiB içinde (yöntem sürümü 6) | Tabanın üzerinde 10.000 satır başına 33 MiB | Evet |
| Motor belleği, tam düzenleme oturumu, 250.000 satır | 1 GiB içinde (yöntem sürümü 6) | Tabanın üzerinde 10.000 satır başına 33 MiB | Evet |
| Model boyutuyla büyüme | 250.000 satırdaki soğuk analiz, 10.000 satırdakinin en fazla 40 katı | 24,9 kat | Evet |
| Aynı istek, aynı yanıt | İki yeni süreçte her yanıt aynı | 1.211'den 1.211'i | Evet |
Oturum belleği: ölçüt karşılandı
Karşılandı: 100.000 ve 250.000 satırda tam bir düzenleme oturumu boyunca motor belleği. 2.0.1'e kadarki motorlar bunu 250.000 satırda karşılamadı (2.0.0 100.000 satırda da karşılamadı); motor 2.1.1, oturum boyunca tabanın üzerinde 10.000 satır başına yaklaşık 33 MiB gerektirir; bu, 100.000 satırda 512 MiB, 250.000 satırda 1 GiB sınırı içindedir.
- Neler değişti. Yazdırıcı ve metin karşılaştırıcısı artık belgenin bellekte tam bir kopyasını oluşturmuyor (motor 2.0.1) ve motorun ad tabloları, analiz önbelleği, sözdizimi ağacı ve kaynak konumları daha az yer kaplıyor (motor 2.1.1).
- Bir modelin tamamını yazdırmak, önceden en büyük adım olan bu işlem, artık yerel olarak tabanın üzerinde 10.000 satır başına yaklaşık 40 MiB gerektirir; bu, açık bir oturumun yanında modeli sıfırdan yeniden analiz etmekten (10.000 satır başına yaklaşık 54 MiB) daha azdır: uzun bir oturum boyunca bellek.
- Tarayıcıda motorun belleği hiçbir zaman küçülmez; bu nedenle bir worker, sonlandırılana kadar en büyük anının boyutunu korur. Holarch, kullandığından çok daha fazla bellek tutan boşta bir motor worker'ını sonlandırıp yeniden başlatır.
Kanıtların desteklediği
Bu sonuçların hangi kullanımları desteklediği ve kanıtların nerede bittiği. “Belirlenmedi”, bu sayfada konuya ilişkin ne lehte ne aleyhte kanıt bulunmadığı anlamına gelir.
| Kullanım | Dayanak | Belirlendi | Belirlenmedi |
|---|---|---|---|
| Düzenleyici yardımı (yazarken analiz) | Düzenleme süreleri, hasarlı metin, örnek modeller, oturum belleği | 250.000 satıra kadar, yerel olarak ve Safari'de, ölçütler içinde düzenleme sonrası yeniden analiz; hasarlı metin yedi ölçütün tamamında ele alındı; uzun düzenlemede bellek sabitlenir; 250.000 satıra kadar tam bir düzenleme oturumu boyunca bellek ölçütler içinde | Ölçüm yapılan bilgisayardan daha yavaş bilgisayarlardaki süreler (4 katlık bir pay varsayıldı, ölçülmedi); Safari dışındaki tarayıcılar |
| Toplu ve CI denetimi (tüm modeller) | Örnek modeller, tanılama geçerlemesi, soğuk analiz, aynı istek aynı yanıt | Çökme veya zaman aşımı yok; sınıflandırmadan sonra 252 örnek dosyanın 252'si uyumlu Dahili inceleme; her motor hatası incelendi; yeni süreçlerde aynı yanıtlar; soğuk analiz model boyutuyla orantılı büyür | İnsanlar veya başka araçlar tarafından yazılmış büyük modeller (yalnızca üretilmiş modeller ve OMG'nin örnekleri ölçüldü); bir CI entegrasyonu |
| Model dönüşümü (bir modeli metin olarak yazdırma, metni modele geri yazma) | Tam düzenleme oturumu, oturum belleği | Her adım her model boyutunda yanıt verir; yerel olarak 250.000 satıra kadar tüm modeli yazdırmada bellek ölçütler içinde | Yazdırma ve geri yazmanın aynı modeli verip vermediği (bu ölçümlerin parçası değil); SysML v1'den dönüştürme |
| Tarayıcı (WebAssembly) | Safari süreleri, Safari'de oturum belleği | Safari'de 250.000 satıra kadar başlatma, soğuk analiz ve düzenlemeler | Chrome, Firefox ve Edge; mobil tarayıcılar; bu motor için Safari'de oturum belleği (2.0.1 için 250.000 satıra kadar ölçüldü) |
| Yerel ve sunucu | Bu sayfadaki her ölçüm (ölçütler yereldir) | Apple silicon Mac üzerinde | Diğer işletim sistemleri ve işlemciler; tek bir süreçte aynı anda çok sayıda model; birçok proje üzerinde uzun süre çalışan sunucu oturumları |
| Yüksek güvence gerektiren kullanım (emniyet veya görev açısından kritik kararlar, sertifikasyon kanıtı) | Tek başına hiçbiri | Yukarıdaki kullanımların ötesinde hiçbir şey | Bir dış inceleme; herhangi bir türde sertifikasyon veya yeterlilik; belirtimin geçerleme kurallarının tam kapsamı; eylemlerin ve durum makinelerinin yürütülmesi (simülasyon eklentisi burada ölçülmedi) |
Örnek modeller
Örnekler birbirlerinden paket içe aktardığı için her örnek model kümesi tek bir proje olarak birlikte analiz edilir. Pilot uygulama aynı dosyaları tek bir oturumda alır. Her dosya için iki yanıt karşılaştırılır: dosyada hata var mı yok mu ve her ad hangi öğeye bağlanıyor.
Kabul uyumu
| Sayım | Neyi sayar | Motor 2.1.1 |
|---|---|---|
| Ham | Her dosya; sınıflandırma olmadan, dosyada hata olup olmadığı konusunda uyum | 252'den 242'si |
| Değerlendirilen kapsam | Uyuşmazlığı desteklenmeyenler listesindeki bir yapıdan kaynaklanan dosyalar çıkarıldıktan sonra kalan dosyalar | 252'den 252'si (hiçbiri çıkarılmadı) |
| Sınıflandırılmış | Değerlendirilen kapsamdaki uyum; bir uyuşmazlık yalnızca belirtim motorun haklı olduğunu gösterdiğinde uyum sayılır | 252 dosyadan 252'si Dahili inceleme |
- Karşılandı: her dosya pilotla uyumludur, bunlardan 10'u aşağıdaki kayıt aracılığıyla. Değişkenlik, kullanıcı tanımlı anahtar sözcükler ve geçiş tetikleyicileri ile etkileri artık desteklendiğinden hiçbir dosya değerlendirilen kapsamın dışında kalmaz (motor 2.0.0 için 11 dosya kalıyordu); motor 2.0.0'a göre 10 dosya daha hatasız kabul edilir ve 2.0.0'ın kabul ettiği hiçbir dosyada artık hata yoktur.
- Yanlış kabuller: 0. Pilotun reddettiği hiçbir dosya motor tarafından kabul edilmez.
- Çökmeler ve zaman aşımları: yok.
Sınıflandırma kuralları Dahili inceleme. Pilotla her uyuşmazlık kendi başına incelenir ve bir çalıştırmadan önce, hiçbir zaman çalıştırma sırasında değil, şu sınıflardan biriyle kaydedilir:
- Örnek hatası: motor haklıdır ve örnek geçersizdir; bunu gösteren belirtim maddesi belirtilir. Örnek: bir uzunluğu bir kütleye ekleyen aritmetik. Uyum sayılır.
- Pilot hatası: motor haklıdır ve pilotun yanıtı alıntılanan bir belirtim maddesiyle çelişir. Uyum sayılır.
- Desteklenmeyen yapı: uyuşmazlık, motorun yayımlanmış desteklenmeyen yapılar listesindeki (aşağıda) bir yapıdan kaynaklanır. Dosya değerlendirilen kapsamın dışında kalır. Yapı yayımlandığında listeden çıkar ve dosya yeniden ölçülür.
- Motor kusuru: motorda bilinen bir hata. Hiçbir zaman uyum sayılmaz.
Belirtimin çözüme kavuşturduğu uyuşmazlıkların kaydı Dahili inceleme
On uyuşmazlık, belirtim motorun haklı olduğunu gösterdiği için uyum sayılır. Her biri burada listelenir. İnceleme durumu: dahili, Holarch tarafından belirtime göre incelendi anlamına gelir; bunların ve diğer durumların dış incelemesi planlanmaktadır.
| Kimlik | Dosya | Sınıf | Madde | Kanıt | İnceleme |
|---|---|---|---|---|---|
| R1 | Calculation Definitions (eğitim) | Örnek hatası | SysML 9.8.2 | Bir güç ve hız boyutlu bir terim tek bir toplamda birleştirilmiş | Dahili |
| R2 | Calculation Usages-2 (eğitim) | Örnek hatası | SysML 9.8.2 | Farklı boyutlardaki nicelikler tek bir ifadede birleştirilmiş | Dahili |
| R3 | Dynamics (örnekler) | Örnek hatası | SysML 9.8.2 | Farklı boyutlardaki nicelikler tek bir ifadede birleştirilmiş | Dahili |
| R4 | Turbojet Stage Analysis (örnekler) | Örnek hatası | SysML 9.8.2 | Farklı boyutlardaki nicelikler tek bir ifadede birleştirilmiş | Dahili |
| R5 | SimpleQuadcopter (örnekler) | Örnek hatası | SysML 9.8.2 | Bir uzunluk boyutsuz bir değere bağlanmış | Dahili |
| R6 | VehicleGeometryAndCoordinateFrames (örnekler) | Örnek hatası | SysML 9.8.2 | Bir uzunluğa düz bir sayı eklenmiş | Dahili |
| R7 | 15_12 Compound Value Type (geçerleme) | Örnek hatası | SysML 9.8.2 | Farklı boyutlardaki nicelikler tek bir ifadede birleştirilmiş | Dahili |
| R8 | AnalysisIndividualExample (örnekler) | Örnek hatası | SysML 9.8.2 | Bir hız, bir yakıt ekonomisi özelliğine bağlanmış | Dahili |
| R9 | 13a Model Containment (geçerleme) | Pilot hatası | KerML 8.2.3.5.3 | İçe aktarılan iki farklı öğe bir ad alanında aynı adı paylaşıyor; bir ad en fazla bir üyeliğe çözümlenir ve pilot birini seçer | Dahili |
| R10 | SysML v2 Spec Annex A SimpleVehicleModel (örnekler) | Pilot hatası | KerML 8.2.3.5.3 | Birkaç içe aktarma aynı ada sahip öğeler getiriyor (R9'daki gibi); bunları kullanan yeniden tanımlamalar ve bağlayıcı uçları bundan kaynaklanıyor. Model ayrıca bir hızı bir uzunluğa bağlıyor; bu bir örnek hatasıdır | Dahili |
Tanılama geçerlemesi Dahili inceleme
Kabul uyumu yalnızca iki aracın da bir dosyayı reddedip reddetmediğini söyler. Motorun bir dosyayı neden reddettiğini denetlemek için, desteklenmeyen bir yapı içeren satırlar dışında örnek modellerde bildirdiği her hata tek tek incelendi: kodu, konumu, uyguladığı kural, belirtim maddesi, bir sorunun ilk hatası mı (birincil) yoksa başka bir hatanın sonucu mu (zincirleme) olduğu ve bir karar.
| Karar | Anlamı | Motor 2.1.1 |
|---|---|---|
| Doğrulandı | Belirtim hatayı destekliyor | 42 |
| Motor kusuru | Yanlış bir hata | 0 |
| Tartışmalı | Belirtim durumu çözüme kavuşturmuyor | 2 |
| Bilinen eksiklik | Hata, desteklenmeyenler listesindeki bir yapıdan kaynaklanıyor | 0 |
| Toplam | 10 dosyada 44 hata (22 birincil, 22 zincirleme) |
- Motor kusuru yok. Hiçbir hata motorun desteklemediği bir yapıya denk gelmiyor: motor 2.0.0'ın değişkenlik, kullanıcı tanımlı anahtar sözcükler ve geçiş etkilerinden kaynaklanan 40 hatası ortadan kalktı.
- Her yerde aynı kod. Birkaç içe aktarılmış öğeye çözümlenen bir ad, başvurularda olduğu gibi ifadelerde de belirsiz olarak bildirilir; önceki derlemeler bunu ifadelerde çözümlenmemiş olarak bildiriyordu.
- Tek bir yorum. İçe aktarmaların aynı ada sahip iki öğe getirdiği ve bunlardan birinin diğerini özelleştirdiği durumlarda belirtimin açıklaması ile biçimsel kuralı farklıdır. Motor biçimsel kurala uyar ve adı belirsiz olarak bildirir. Pilot bu tür adları tanılama olmadan kabul eder.
- Tartışmalı: tartışmalı 2 hata, bir niceliği düz bir gerçel sayı türündeki bir özelliğe bağlıyor: belirtimin hiçbir kısıtı bu bağlamayı geçersiz kılmaz, ancak nicelik kitaplığının anlamına göre bağlama geçerli olamaz.
Ad bağlama
Bir modeldeki her ad için iki araç da adın bağlandığı öğeyi bildirir. İki aracın aynı ad için bildirdiği bağlamalar eşleştirilir ve karşılaştırılır. Uyum değeri yalnızca eşleştirilmiş bağlamalar arasındadır; yalnızca bir aracın bildirdiği ve aşağıda kategorilere ayrılan bağlamalar hakkında bir şey söylemez.
- 4.908 eşleştirilmiş bağlamadan 4.904'ü uyumlu.
- Yalnızca bir aracın bildirdiği bağlamalar: motordan 1.639, pilottan 601.
Eşleştirilmiş 4 uyuşmazlık Dahili inceleme
| Bağlamalar | Yer | Neden | Sınıf |
|---|---|---|---|
| 3 | PartTest (örnekler) | Pilotun hedef için kullandığı ad kısa adını taşıyor; aynı öğe | Farklı öğe kimliği veya normalleştirme |
| 1 | ActionTest (örnekler) | Yükü olmayan bir gönderme eylemi: pilot, kitaplığınkini yeniden tanımlayan kendi yük özelliğini oluşturuyor; yeniden tanımlama yoluyla aynı özellik | Farklı öğe kimliği veya normalleştirme |
Motor 2.0.0'ın bir geçişin kabul ve etkisi üzerindeki 3 uyuşmazlığı ortadan kalktı: motor artık pilot gibi geçişin kendi kabul edicisini ve etkisini bağlıyor.
Yalnızca bir aracın bildirdiği bağlamalar Dahili inceleme
Her bağlamaya, hedefine ve bulunduğu satıra bakan kurallara göre sıralanmıştır:
| Kategori | Yalnızca motor | Yalnızca pilot |
|---|---|---|
| Farklı öğe kimliği veya normalleştirme | 1,243 | 370 |
| Fazladan örtük (motor bağlıyor, pilot ilişki göstermiyor) | 396 | – |
| Eksik (pilot bağlıyor, motor bağlamıyor) | – | 231 |
| Desteklenmeyen yapı | 0 | 0 |
| Pilot tutarsızlığı | 0 bulundu | 0 bulundu |
| Toplam | 1,639 | 601 |
- Farklı öğe kimliği veya normalleştirme çoğunlukla motordan değil karşılaştırmadan kaynaklanır: bağlayıcı, akış ve ardışıklık uçlarındaki ve ifadelerdeki adlar (pilot bunları ilişki yerine sahip olunan özellikler olarak gösterir); karşılaştırmanın pilot tarafında adlandıramadığı beş kitaplık paketindeki hedefler; bağlama karşılaştırmasında pilota alfabetik sırayla verilen dosyalar (bağımlılık sırasıyla 217 bağlama daha eşleşir); pilotun farklı adlandırdığı kısa adlar, eşlenik portlar, adsız sahipler ve örtük özellikler.
- Fazladan örtük ve eksik, kuralların geride bıraktıklarıdır. Bir örneklem, arayüz uçları üzerinden zincirler, tanımlardaki eşlenik portlar ve meta veriler gösteriyor; bunlar henüz tek tek incelenmedi.
- Karşılaştırmayı düzeltmek ölçümü değiştirir, bu nedenle yeni bir yöntem sürümü gerektirir.
Hasarlı metin
Modeller bilerek, her seferinde bir mutasyonla hasara uğratılır: kaldırılmış veya fazladan süslü parantezler, yarıda kesilmiş bildirimler, bozuk içe aktarmalar, döngüsel başvurular, geçersiz karakterler, rastgele belirteç değişiklikleri ve eksik noktalı virgül ya da yanlış yazılmış anahtar sözcük gibi yaygın yazım hataları. Girdiler, motorun kendi test modelleri, üretilmiş bir model ve örnek modellerdir.
| Denetim | Ölçüt | Sonuç | Karşılandı |
|---|---|---|---|
| Çökmeler ve 10 s'yi aşan zaman aşımları | Hiçbirine izin verilmez | Yok | Evet |
| Hasarlı girdiler | En az 10.000 | 10,044 | Evet |
| Her düzenlemeden sonraki yanıt, yeni bir analize eşit | Tümü | 10.044'ten 10.044'ü | Evet |
| Hasarın onarılması özgün yanıtı geri getirir | Tümü | 9.830'dan 9.830'u | Evet |
| Bir mutasyon en fazla 3 yeni sözdizimi hatası verir | Durumların en az %99'u | 100.0 % | Evet |
| İlk sözdizimi hatası hasarlı bildirimin içini veya hemen sonrasını gösterir | Durumların en az %95'i | 7.163'ün %99,7'si | Evet |
| Hasar dışındaki bildirimler yine aynı şekilde denetlenir | En az %99 | 55.225'in %99,5'i | Evet |
Hız ve bellek
Ölçütler motorun yerel derlemesi içindir. Holarch'ta motor tarayıcıda WebAssembly olarak çalışır ve bu daha yavaştır; ölçütler bunu ve daha yavaş bilgisayarları düzenlemeler ve analiz için 8 katlık bir payla hesaba katar. WebAssembly derlemesi Safari'de de ölçülür (aşağıda).
Motor tabanı, standart kitaplık yüklüyken: 17 MiB. Aşağıdaki bellek değerleri bu tabanın üzerinde 10.000 satır başınadır: tepe değer eksi taban, modelin 10.000 satırlık birimler cinsinden boyutuna bölünür. Ölçütler toplama uygulanır.
Düzenlemeler
Her düzenleme türü, 20 ısınma düzenlemesinden sonra tek bir düzenleme oturumunda, Holarch'ın düzenleyicisinin gönderdiği şekilde 200 kez uygulanır. Tablo 95. yüzdeliği gösterir: 100 düzenlemeden 95'i bu kadar veya daha hızlıydı.
| Model boyutu | Bir değeri değiştirme | Bir tanımı yeniden adlandırma | Bir içe aktarmayı değiştirme | Bir üst türü değiştirme | Karşılandı |
|---|---|---|---|---|---|
| 10.038 satır | 1.3 | 6.8 | 2.1 | 2.2 | Evet |
| 50.013 satır | 3.9 | 19.4 | 4.9 | 4.7 | Evet |
| 100.033 satır | 7.7 | 34.6 | 8.6 | 8.5 | Evet |
| 250.011 satır | 22.7 | 90.8 | 24.0 | 24.9 | Evet |
Ölçütler: değer değişikliği 12 ms içinde (250.000 satırda 25 ms); yeniden adlandırma, içe aktarma veya üst tür değişikliği 60 ms içinde (250.000 satırda 150 ms).
Bir modelin tamamını analiz etme
Soğuk analiz: standart kitaplığın yüklü olduğu yeni bir süreç, modelin tamamını sıfırdan analiz eder; 5 çalıştırmanın ortancası. Motor belleği, motorun bu analiz sırasındaki tepe değeridir; tabanın üzerinde 10.000 satır başına. Aynı analizin WebAssembly belleği, motorun kendi başlatma belleği dahil 10.000 satır başına, referans olarak gösterilir.
| Model boyutu | Soğuk analiz | Motor belleği, soğuk analiz | WebAssembly belleği, soğuk analiz |
|---|---|---|---|
| 10.038 satır | 150 ms | 10.000 satır başına 29 MiB | 10.000 satır başına 38 MiB |
| 50.013 satır | 711 ms | 10.000 satır başına 28 MiB | 10.000 satır başına 29 MiB |
| 100.033 satır | 1,43 s | 10.000 satır başına 28 MiB | 10.000 satır başına 28 MiB |
| 250.011 satır | 3,73 s | 10.000 satır başına 28 MiB | 10.000 satır başına 26 MiB |
- Yöntem sürümü 3 kapsamında soğuk analiz: hedef karşılanmadı. Hedef 100.000 satırda 0,6 s ve 250.000 satırda 1,2 s idi; çok büyük bir modelin ilk analizi 1,43 s ve 3,73 s sürer. Bu çalıştırma sırasında ölçüm bilgisayarında başka işler çalıştı, bu nedenle bu süreler yüzde birkaç fazla görünebilir; bellek değerleri bundan etkilenmez.
- Yöntem sürümü 4 kapsamında soğuk analiz: bildirilir, hedef değildir. İlerleme ölçütü karşılandı. Holarch, 3 saniyeden uzun sürebilecek her analiz için bir ilerleme çubuğu gösterir: uzun bir analizin birinci saniyesinde görünür, aşamayı adlandırır (motoru başlatma, standart kitaplığı yükleme, modeli analiz etme) ve analiz bitene kadar kalır. İlerleme çubuğu, uygulamanın uzun bir ilk analizi ele alma biçimidir; motorun hızı hakkında bir iddia değildir.
- Karşılandı: bu ilk analizden sonraki düzenlemeler her boyutta ölçütleri içindedir.
- Karşılandı: soğuk analizin motor belleği 100.000 satırda 512 MiB, 250.000 satırda 1 GiB içinde.
- Karşılandı: süre model boyutuyla orantılı büyür. 250.000 satırdaki soğuk analiz, 25 kat büyük bir model için 10.000 satırdakinin 24,9 katı sürer (ölçüt: en fazla 40).
Tüm bir düzenleme oturumu
Yöntem sürümü 6, motor 2.0.1'den beri sürüm 7 kapsamında okunur: ölçüm aracı, Holarch'ın yaptığı gibi modelin kayıtlarını metin olarak tutar. Yeni bir süreç sabit bir betik çalıştırır: ilk analiz, modelin öğe kayıtları, modelin ilk denetimi, 60 düzenleme (her biri yeniden analiz edilen 20 değer değişikliği, 20 içe aktarma değişikliği ve 20 üst tür değişikliği), modelin metin olarak yazdırılması, düzenlenen metnin modele geri yazılması ve modelin değerlerinin değerlendirilmesi. Değer, oturumun herhangi bir anındaki en büyük motor belleğidir.
| Model boyutu | Motor 2.1.1 | Motor 2.0.1 | 2.1.1'de karşılandı |
|---|---|---|---|
| 10.038 satır | 10.000 satır başına 35 MiB | 10.000 satır başına 51 MiB | Bildirilir |
| 50.013 satır | 10.000 satır başına 33 MiB | 10.000 satır başına 49 MiB | Bildirilir |
| 100.033 satır | 10.000 satır başına 33 MiB | 10.000 satır başına 49 MiB | Evet (ölçüt: 512 MiB içinde) |
| 250.011 satır | 10.000 satır başına 33 MiB | 10.000 satır başına 50 MiB | Evet (ölçüt: 1 GiB içinde) |
- 100.000 ve 250.000 satırda karşılandı. Ölçütler soğuk analizinkilerdir: 100.000 satırda 512 MiB, 250.000 satırda 1 GiB içinde; bu, bir tarayıcının bir WebAssembly örneğine bir pay bırakarak izin verdiği bellektir. WebAssembly'de motorun belleği hiçbir zaman küçülmez, bu nedenle bir oturumun en büyük anı boyutunu belirler. Motor 2.0.1 ölçütü 100.000 satırda karşıladı, 250.000 satırda karşılamadı; motor 2.0.0 hiçbirini karşılamadı (yöntem sürümü 6 kapsamında 10.000 satır başına 122 MiB).
- En büyük anlar, modelin ilk denetimi ve değerlendirilmesidir; her biri yaklaşık olarak metnin modele geri yazılması kadar büyüktür. Modelin yazdırılması artık en büyük adım değildir.
Uzun bir oturum boyunca bellek
Bildirilir, ölçüt değildir. Yukarıdaki sonucun yerel olarak, motor 2.1.1 üzerinde bir nitelendirmesi (çalıştırma 2.1.1-37168cc79-1). Her model boyutu için bir oturum: modeli açma ve denetleme; her düzenleme yeri üzerinden iki geçişte düzenlemeler (her biri yeniden analiz edilen değer, içe aktarma ve üst tür değişiklikleri), ardından sürekli yeni sayılar yazan değer düzenlemeleri; değişmemiş modelin on analizi ve on denetimi ve açık oturumun yanında sıfırdan bir analiz; bir paketin, ardından modelin tamamının yazdırılması; metnin modele geri yazılması; değerlendirme; ardından üç kez kapatıp yeniden açma.
| Model boyutu | Açık modeli düzenleme | En büyük adım: açık oturumun yanında sıfırdan yeniden analiz | Modelin tamamını yazdırma | Kapattıktan sonra kalan |
|---|---|---|---|---|
| 10.038 satır | 27 MiB | 55 MiB | 41 MiB | 1,5 MiB |
| 50.013 satır | 26 MiB | 54 MiB | 40 MiB | 0,6 MiB |
| 100.033 satır | 26 MiB | 54 MiB | 40 MiB | 0,5 MiB |
| 250.011 satır | 26 MiB | 54 MiB | 40 MiB | 0,4 MiB |
- Düzenleme sabitlenir. Düzenlemeler daha önce düzenlenmemiş bildirimlere ulaştıkça bellek 10.000 satır başına yaklaşık 5 MiB artar, ardından sabit kalır.
- Tekrarlanan analiz hiçbir şey biriktirmez. Değişmemiş bir modelin on analizi ve on denetimi belleği olduğu yerde bırakır.
- En büyük adım, oturum açık kalırken modelin tamamının sıfırdan analiz edilmesidir; bu, analizin iki kopyasını aynı anda tutar. Tek bir oturum tutan bir düzenleyicinin buna ihtiyacı yoktur.
- Modelin tamamını yazdırmak, tabanın üzerinde 10.000 satır başına yaklaşık 40 MiB gerektirir (motor 2.0.1: 53 ile 55; motor 2.0.0: 129 ile 131).
- Kapatmak belleği geri verir. Küçük bir kalıntı kalır ve üç yeniden açma döngüsü boyunca büyümez.
- Safari'de bu nitelendirme motor 2.1.1 üzerinde çalıştırılmadı; Safari oturumu için son değerler, kanıt paketindeki motor 2.0.1 değerleridir.
WebAssembly, Safari'de ölçüldü
Motor 2.1.1'in WebAssembly derlemesi, Holarch'ın kendi motor worker'ında, aynı üretilmiş modeller üzerinde. Başlatma, motorun alınıp başlatılması ve standart kitaplığın yüklenmesidir; soğuk analiz 3 yeni worker'ın ortancasıdır; düzenlemeler, yukarıdaki gibi tek bir oturumda 20 ısınma düzenlemesinden sonra tür başına 200 adettir. Her model boyutu kendi sayfasında çalıştı. Yeniden adlandırmalar yalnızca yerel derlemede ölçülür. Bu değerler bildirilir, ölçüt değildir.
| Model boyutu | Motor başlatma, Safari | Soğuk analiz, Safari | Soğuk analiz, yerel | Değer değiştirme, p95, Safari / yerel | İçe aktarma değiştirme, p95, Safari / yerel | Üst tür değiştirme, p95, Safari / yerel |
|---|---|---|---|---|---|---|
| 10.038 satır | 143 ms | 215 ms | 150 ms | 3 / 1,3 ms | 4 / 2,1 ms | 4 / 2,2 ms |
| 50.013 satır | 152 ms | 867 ms | 711 ms | 12 / 3,9 ms | 10 / 4,9 ms | 10 / 4,7 ms |
| 100.033 satır | 144 ms | 1,63 s | 1,43 s | 20 / 7,7 ms | 20 / 8,6 ms | 20 / 8,5 ms |
| 250.011 satır | 175 ms | 4,44 s | 3,73 s | 53 / 22,7 ms | 50 / 24,0 ms | 49 / 24,9 ms |
Henüz desteklenmeyenler
Bu yapılar, motorun yayımlanmış desteklenmeyen yapılar listesindedir. Örnek modellerden bu yapılar nedeniyle pilotla uyuşmayan dosyalar değerlendirilen kapsamın dışında kalır; bu çalıştırmada hiç yok.
- Diğer dillerdeki metinsel gösterimler metin olarak korunur ve denetlenmez.
Değişkenlik, kullanıcı tanımlı anahtar sözcükler ve accept ya da action olarak yazılan geçiş etkileri, her biri yayımlandıkça yöntem sürümleri 8 ile 10'da listeden çıktı. Metinsel gösterimin her dilbilgisi kuralı, onu ayrıştıran ve sonucu denetleyen en az bir teste sahiptir. Holarch'ta çalışanların sınırlarıyla birlikte tam listesi: SysML v2 dil kapsamı.
Sonuçları yeniden üretme
Sonuçlar bağımsız olarak yeniden üretilebilir: kanıt paketi (zip, SHA-256 5d9821f7dac3fd0b2bc49a8defe416ac01f515834d65d3182891a9f8d20e59ae), her çalıştırmayı aynı motor derlemesi üzerinde tekrarlamak için gerekenleri içerir.
- Tek sayfalık bir yeniden üretme kılavuzu,
REPRODUCE.md: tam komutlar, bağımlılıklar, sağlama toplamlarıyla girdiler, beklenen sonuçlar ve çalışma süreleri. - Her yöntem sürümüyle (1 ile 10) ve gerekçesiyle test yöntemi.
- Sınıflandırma tabloları: desteklenmeyen yapılar listesi, sınıfı ve maddesiyle her sınıflandırılmış uyuşmazlık, yukarıdaki kayıt, her motor hatasının incelemesi ve bağlama kategorileri.
- Motor 2.1.1 (her ölçüm ve oturum belleği nitelendirmesi), motor 2.0.1 (hız ve bellek, oturum belleği), Holarch 2.15.1 (motor 2.0.0 kodunun iki derlemesi), 2.14.0 (hız ve bellek), 2.13.1 ve 2.12.0 için her çalıştırmanın özeti ve makine tarafından okunabilir sonuçları ile Safari'de ölçülen WebAssembly süreleri ve oturum belleği.
- Tohum başına deterministik büyük model üreteci ve ölçüm ile karşılaştırma betikleri.
- Her dosyanın sağlama toplamı.
Paket motoru veya OMG'nin dosyalarını içermez. Betikler örnek modelleri ve pilot uygulamayı, sabitlenmiş commit ve paket sağlama toplamıyla genel kaynaklarından alır. Tekrar çalıştırma için motor bir motor değerlendirmesiyle gelir.
Önceki çalıştırmalar
Önceki resmî çalıştırmalar, her biri kendi yöntem sürümü kapsamında, ölçüldükleri gibi kalır. Yöntem 1 ile 3 kapsamında 100.000 satırda 0,6 s içinde soğuk analiz bir hedefti; hiçbir çalıştırma bunu karşılamadı. Yöntem 4 bunu hedef olmadan bildirir. Yöntem sürümü 3'ten önceki tepe bellek, ölçüm sürecinin tepe yerleşik belleğiydi; bu, ayırıcının yeniden kullanım için tuttuğu belleği de sayar ve motor yığın değeriyle karşılaştırılamaz. Holarch 2.15.0 ve 2.14.0 çalıştırmaları yalnızca hız ve belleği ölçtü; 2.15.0 çalıştırmasının süreleri, aynı bilgisayarda başka işler çalışırken ölçüldüğü için önceki ve sonraki derlemelerinkinden yaklaşık dörtte bir daha yüksektir.
| Derleme | Motor sürümü | Holarch sürümü | Yöntem | Kabul, ham | Kabul, sınıflandırılmış (dahili inceleme) | Ad bağlama | Soğuk analiz, 100.000 satır | Tepe bellek, 100.000 satır |
|---|---|---|---|---|---|---|---|---|
| 37168cc | 2.1.1 | 2.21.0 (motor 2.1.2'yi dağıtır) | 10 | 252'den 242'si | 252'den 252'si | 4.908'den 4.904'ü | 1,43 s | 302 MiB motor yığını |
| d8cf5c8 | 2.0.1 | 2.17.1 | 7 | Ölçülmedi | Ölçülmedi | Ölçülmedi | 1,23 s | 362 MiB motor yığını |
| 91f058a | 2.0.0 | 2.15.1 (dd4fb10 ile aynı motor kodu) | 6 | 252'den 232'si | 241'den 241'i | 4.886'dan 4.879'u | 1,35 s | 362 MiB motor yığını |
| dd4fb10 | 1.0.0 | 2.15.1 | 6 | 252'den 232'si | 241'den 241'i | 4.886'dan 4.879'u | 1,28 s | 362 MiB motor yığını |
| e6bb924 | 1.0.0 | 2.15.0 | 5 | Ölçülmedi | Ölçülmedi | Ölçülmedi | 1,57 s | 362 MiB motor yığını |
| 0c983e2 | 1.0.0 | 2.14.0 | 6 | Ölçülmedi | Ölçülmedi | Ölçülmedi | 1,37 s | 362 MiB motor yığını |
| d3f5d4b | 1.0.0 | 2.13.1, 2.13.2 | 5 | 252'den 231'i | 242'den 240'ı | 4.860'tan 4.851'i | 1,24 s | 362 MiB motor yığını |
| 8a6bf7b | 1.0.0 | 2.12.0 | 5 | 252'den 220'si | 242'den 229'u | 4.768'den 4.753'ü | 1,21 s | 362 MiB motor yığını |
| 6eec2b7 | 1.0.0 | – | 5 | 252'den 231'i | 240'tan 240'ı (hata incelemesinden önceki sınıflandırma) | 4.860'tan 4.851'i | 1,20 s | 362 MiB motor yığını |
| c184e57 | 1.0.0 | 2.11.0 | 3 | 252'den 220'si | 228'den 228'i | 4.768'den 4.753'ü | 1,31 s | 361 MiB motor yığını |
| bfa03c7 | 1.0.0 | – | 2 | 252'den 220'si | 228'den 228'i | 4.768'den 4.753'ü | 1,35 s | 972 MiB süreç |
| 1cada39 | 1.0.0 | – | 2 | 252'den 216'sı | 228'den 224'ü | 4.752'den 4.737'si | 4,24 s | 1.022 MiB süreç |
| fd20280 | 1.0.0 | – | 1 | 252'den 145'i | Sınıflandırılmadı (yöntem 1) | 4.373'ten 4.326'sı | 2,41 s | 1.535 MiB süreç |
Bu sonuçların göstermedikleri
- Bunlar Holarch'ın, üzerinde çalıştırıldıkları modellere ilişkin kendi ölçümleridir. Bir sertifikasyon değildir. Object Management Group bunları incelememiş veya onaylamamıştır.
- Pilot uygulama ve örnek modeller belirtimin kendisi değildir. Bunlarla motorun farklı olduğu durumlarda yukarıdaki sınıflandırma, belirtimin hangi tarafı desteklediğini ve nedenini belirtir.
- Bu sayfadaki her sınıflandırma ve inceleme dahili bir incelemedir. Motorun test senaryolarından bir örneklemin belirtime göre dış incelemesi planlanmaktadır.
- Ayrıca lisanslanan simülasyon eklentisi olan eylemlerin ve durum makinelerinin simülasyonu burada ölçülmedi.
- SysML v1 modellerinin SysML v2'ye dönüştürülmesi burada ölçülmedi. Motor lisans sahipleri için bu, ayrıca lisanslanan geçiş eklentisidir.
Motoru kendi modelleriniz üzerinde deneyin.
Değerlendirme 60 gün boyunca ücretsizdir.