Nasıl test ediyoruz
Holarch'ı nasıl test ediyoruz
Her sürümün size ulaşmadan önce geçtiği denetimler, bir sürümün barındırılan hizmete nasıl ulaştığı, kanıtların nasıl kamuya açıldığı ve bu testlerin neyi göstermediği.
Her sürüm
Her sürüm, hiçbir zaman bir çalışma kopyasında değil, kaynak kodun temiz bir kopyasında derlenir. Derleme ardından sürüm kapısından geçer: sabit bir otomatik denetimler kümesi. Başarısız bir denetim sürümü durdurur. Neden giderilir ve sürüm ilerlemeden önce başarısız denetimler yeniden çalıştırılır.
- Sürüm derlemesi: uygulama yayın için derlenir ve derlenen kod sayfanın içerik güvenliği politikasına göre denetlenir.
- Dil motoru derlemesi: derlenmiş dil motoru kaynağından yeniden derlenir ve sonuç, dağıtılan derlemeyle eşleşmelidir.
- Motor koruma testleri: her motor işlemi üzerinde derin, uzun, geniş, döngüsel ve sınırı aşan girdiler; yanıt süresi ve bellek sınırlarıyla ve sürenin girdinin boyutuyla orantılı arttığının denetimiyle.
- Bağımlılık denetimi: motorun üçüncü taraf bağımlılıkları bilinen güvenlik bildirimleri, lisanslar ve kaynaklar açısından denetlenir.
- Enjeksiyon lint'i: bir lint, koddaki HTML ekleyen veya metni kod olarak çalıştıran her yerde, o yer incelenip güvenli olarak kaydedilmediyse sürümü başarısız kılar.
- Üçüncü taraf dosyalar: uygulamayla birlikte dağıtılan her üçüncü taraf dosya kayıtlı sağlama toplamıyla eşleşmelidir.
- Performans: derlenen uygulamanın süreleri, büyük, üretilmiş bir proje üzerinde, tarayıcıda ve sunucuda sabit sınırlara göre ölçülür.
- Duman testleri: derlenen uygulama gerçek bir tarayıcıda, Safari'de, hem masaüstü uygulaması olarak hem de barındırılan hizmetin çalıştırdığı gibi sunucu modunda açılır ve kullanılır.
- Değişenlerin testleri: sürümün değiştirdiği her alan için tarayıcı test takımları, alanda iki mod da varsa her iki modda, ve değişen her sunucu modülünün Python testleri.
Tarayıcı testleri uygulamayı bir insanın kullandığı gibi kullanır: sayfada tıklar, sürükler ve yazar, ardından modeli ve ekranı denetler.
Sürümden barındırılan hizmete
- Önce hazırlık ortamı: her sürüm üretimden önce ayrı bir hazırlık hizmetinde çalışır. Üretim yalnızca hazırlık ortamında çalışmış bir derlemeyi kabul eder.
- Veritabanı değişikliklerinden önce yedekleme: bir sürüm veritabanını değiştirmeden önce veritabanının bir kopyası kaydedilir.
- Sağlık denetimleri: geçişten sonra hizmet sağlıklı olarak yanıt vermeli ve yayımlanan sürümü bildirmelidir.
- Geri dönüş: önceki sürüm saklanır. Yeni sürüm sağlık denetiminde başarısız olursa hizmet önceki sürüme geri döner.
Barındırılan hizmetin yedekleri her hafta geri yükleme testinden geçirilir; bkz. Hizmet hedefleri.
Dil motoru
Holarch Language Engine, SysML v2 ve KerML metnini ayrıştırır, çözümler ve denetler. Sürüm denetimlerinin yanı sıra yazılı bir kabul planına göre ölçülür. Kabul ölçütleri herhangi bir sonuç ölçülmeden önce yazıya döküldü; bir ölçütün sonradan değişmesi, yöntemin nedeniyle birlikte kaydedilen yeni, numaralı bir sürümüdür ve önceki sonuçlar ölçüldükleri sürümü korur. Yayımlanan bir sonuç asla düzenlenmez; bir düzeltme, yerini aldığı çalıştırmayı adlandıran yeni bir çalıştırmadır.
- Örnek modeller: motor, Object Management Group'un resmî sürüm deposundaki SysML v2 örnek modellerine (eğitim, örnek ve geçerleme kümeleri) karşı, belirli bir sürüme sabitlenmiş olarak test edilir.
- Farklılık testi: motorun bu modellerdeki sonuçları OMG'nin pilot uygulamasıyla karşılaştırılır: her modelin kabul edilip edilmediği ve her adın hangi öğeye bağlandığı. Her uyuşmazlık ayrı ayrı incelenir ve bir motor hatası, desteklenmeyen bir dil özelliği, örnekteki bir hata veya pilottaki bir fark olarak sınıflandırılır.
- Sağlamlık: eksik süslü parantezler, yarıda kesilmiş bildirimler, bozuk içe aktarmalar, döngüler, geçersiz karakterler ve yaygın yazım hataları gibi büyük hasarlı girdi kümeleri, motorun asla çökmediğini, hasar giderildikten sonra aynı yanıtı verdiğini ve modelin geri kalanını denetlemeye devam ettiğini denetler.
- Ölçek: çok büyük üretilmiş modeller düzenlemelerin yanıt süresini, bir modelin tamamını analiz etme süresini, bellek kullanımını ve sürenin model boyutuyla nasıl arttığını ölçer.
- Fuzzing: motorun istek, sözcük çözümleyici ve ayrıştırıcı giriş noktaları fuzz testinden geçirilir.
- Test senaryoları: motorun kendi testleri spesifikasyon metninden yazılır ve her biri denetlediği maddeyle etiketlenir.
Başarısızlıklar dahil sonuçlar, motor sürümü, yöntemin sürümü ve bilinen kusurlarla: Language Engine test sonuçları. Dil desteğinin bugün neleri kapsadığı ve bilinen eksikleri: SysML v2 dil kapsamı.
Kamuya açık kanıt: EO-1 referans modeli
EO-1 referans modeli, Holarch'ta ihtiyaçlardan doğrulanmış kanıtlara kadar oluşturulmuş eksiksiz bir CubeSat modelidir. Proje dosyası ve dışa aktarımları ücretsiz indirilebilir; böylece herkes modeli açıp izlenebilirliğini kendisi denetleyebilir.
EO-1 modelinde resmî bir doğrulama döngüsü, tek bir gereksinim değişikliğini resmî bir program boyunca izler: başarısız bir yeniden test, bir uygunsuzluk ve muafiyeti, tehlikeler ve arıza modları, imzalama, inceleme ve yeni temel çizgi.
Proje boyutu
Her planın öğe sınırları, barındırılan hizmetin bir yük testine dayanır. Test edilmiş sınırlar testi, geçme çıtasını, sonuçlarını ve neyi ölçmediğini anlatır.
Bu testlerin göstermedikleri
- Bu, Holarch'ın kendi testidir. Bir sertifika değildir ve barındırılan hizmetin güvenlik sertifikası yoktur; bkz. Sertifikalar.
- Motor sonuçları, Holarch'ın testlerinin çalıştırdıkları modellerde bulduklarını bildirir. Object Management Group bunları incelememiş veya onaylamamıştır.
- Test yönteminin bağımsız bir incelemesi planlanmaktadır.
- Testler bir kusur olasılığını azaltır; onu ortadan kaldırmaz. Bir sorunu uygulamadaki Geri bildirim gönder ile veya [email protected] adresine bildirin.