Jak testujemy
Jak testujemy Holarch
Kontrole, przez które przechodzi każde wydanie, zanim do ciebie trafi, sposób, w jaki wydanie trafia do usługi hostowanej, jak dowody są upubliczniane i czego te testy nie pokazują.
Każde wydanie
Każde wydanie jest budowane w czystej kopii kodu źródłowego, nigdy w kopii roboczej. Kompilacja przechodzi następnie przez bramkę wydania: stały zestaw automatycznych kontroli. Nieudana kontrola zatrzymuje wydanie. Przyczyna zostaje usunięta, a nieudane kontrole są uruchamiane ponownie, zanim wydanie pójdzie dalej.
- Kompilacja wydania: aplikacja jest budowana do wydania, a zbudowany kod jest sprawdzany pod kątem zgodności z polityką bezpieczeństwa treści strony.
- Kompilacja silnika języka: skompilowany silnik języka jest budowany od nowa ze źródeł, a wynik musi być identyczny z kompilacją, która jest dostarczana.
- Testy zabezpieczeń silnika: głębokie, długie, szerokie, cykliczne i przekraczające limity dane wejściowe dla każdej operacji silnika, z limitami czasu odpowiedzi i pamięci, oraz kontrola, czy czas rośnie proporcjonalnie do rozmiaru danych wejściowych.
- Audyt zależności: zależności silnika od zewnętrznych bibliotek są sprawdzane pod kątem znanych ostrzeżeń bezpieczeństwa, licencji i źródeł.
- Lint wstrzyknięć: lint blokuje wydanie w przypadku każdego miejsca w kodzie, które wstawia HTML lub wykonuje tekst jako kod, chyba że to miejsce zostało przejrzane i zapisane jako bezpieczne.
- Pliki zewnętrzne: każdy plik zewnętrzny dostarczany z aplikacją musi zgadzać się z zapisaną sumą kontrolną.
- Wydajność: czas działania zbudowanej aplikacji jest mierzony na dużym wygenerowanym projekcie, w przeglądarce i na serwerze, względem stałych limitów.
- Testy dymne: zbudowana aplikacja jest otwierana i używana w prawdziwej przeglądarce, Safari, zarówno jako aplikacja desktopowa, jak i w trybie serwera, tak jak uruchamia ją usługa hostowana.
- Testy tego, co się zmieniło: zestawy testów przeglądarkowych dla każdego obszaru zmienianego przez wydanie, w obu trybach, jeśli obszar ma oba, oraz testy Pythona każdego zmienionego modułu serwera.
Testy przeglądarkowe obsługują aplikację tak jak człowiek: klikają, przeciągają i piszą na stronie, a następnie sprawdzają model i ekran.
Od wydania do usługi hostowanej
- Najpierw środowisko przejściowe: każde wydanie działa w osobnej usłudze przejściowej przed produkcją. Produkcja przyjmuje tylko kompilację, która działała w środowisku przejściowym.
- Kopia zapasowa przed zmianami bazy danych: zanim wydanie zmieni bazę danych, zapisywana jest jej kopia.
- Kontrole stanu: po przełączeniu usługa musi odpowiadać jako sprawna i zgłaszać wydaną wersję.
- Wycofanie: poprzednia wersja jest zachowywana. Jeśli nowa wersja nie przejdzie kontroli stanu, usługa wraca do poprzedniej wersji.
Kopie zapasowe usługi hostowanej są co tydzień testowane przez odtworzenie; zobacz Cele usługi.
Language Engine
Holarch Language Engine parsuje, rozwiązuje i sprawdza tekst SysML v2 i KerML. Oprócz kontroli wydania jest mierzony według pisemnego planu odbioru. Kryteria odbioru zapisano, zanim zmierzono jakiekolwiek wyniki; późniejsza zmiana kryterium to nowa, numerowana wersja metody, zapisana wraz z uzasadnieniem, a wcześniejsze wyniki zachowują wersję, według której zostały zmierzone. Opublikowany wynik nigdy nie jest edytowany; korekta to nowy przebieg, który wskazuje przebieg zastępowany.
- Przykładowe modele: silnik jest testowany na przykładowych modelach SysML v2 z oficjalnego repozytorium wydań Object Management Group (zestawy szkoleniowe, przykładowe i walidacyjne), przypiętych do konkretnego wydania.
- Testy różnicowe: wyniki silnika na tych modelach są porównywane z implementacją pilotażową OMG: czy każdy model jest akceptowany i z którym elementem wiąże się każda nazwa. Każda rozbieżność jest badana osobno i klasyfikowana jako błąd silnika, nieobsługiwana funkcja języka, błąd w przykładzie lub różnica w implementacji pilotażowej.
- Odporność: duże zbiory uszkodzonych danych wejściowych, takich jak brakujące nawiasy klamrowe, urwane deklaracje, zepsute importy, cykle, niedozwolone znaki i typowe literówki, sprawdzają, czy silnik nigdy się nie zawiesza, daje tę samą odpowiedź po naprawieniu uszkodzenia i nadal sprawdza resztę modelu.
- Skala: bardzo duże wygenerowane modele mierzą czas odpowiedzi na edycje, czas analizy całego modelu, zużycie pamięci i to, jak czas rośnie wraz z rozmiarem modelu.
- Fuzzing: punkty wejścia żądań, leksera i parsera silnika są testowane fuzzingiem.
- Przypadki testowe: własne testy silnika są pisane na podstawie tekstu specyfikacji, a każdy jest oznaczony punktem, który sprawdza.
Wyniki, łącznie z niepowodzeniami, z wersją silnika, wersją metody i znanymi defektami: Wyniki testów Language Engine. Co dziś obejmuje obsługa języka i jakie ma znane luki: Pokrycie języka SysML v2.
Dowody publiczne: model referencyjny EO-1
Model referencyjny EO-1 to kompletny model CubeSata zbudowany w Holarch, od potrzeb do zweryfikowanych dowodów. Jego plik projektu i eksporty można bezpłatnie pobrać, więc każdy może otworzyć model i samodzielnie sprawdzić jego identyfikowalność.
Formalny cykl weryfikacji na modelu EO-1 śledzi jedną zmianę wymagania w formalnym programie: nieudany ponowny test, niezgodność i jej zwolnienie, zagrożenia i rodzaje uszkodzeń, zatwierdzenie, przegląd i nową linię bazową.
Rozmiar projektu
Limity elementów w każdym planie opierają się na teście obciążeniowym usługi hostowanej. Przetestowane limity opisuje test, jego próg zaliczenia, wyniki i to, czego nie mierzył.
Czego te testy nie pokazują
- To własne testy Holarch. Nie są certyfikacją, a usługa hostowana nie ma certyfikatów bezpieczeństwa; zobacz Certyfikaty.
- Wyniki silnika podają to, co testy Holarch wykazały na modelach, na których je uruchomiono. Object Management Group ich nie przejrzała ani nie poparła.
- Planowany jest niezależny przegląd metody testowania.
- Testy zmniejszają prawdopodobieństwo defektu; nie wykluczają go. Zgłoś problem poleceniem Wyślij opinię w aplikacji lub pod adresem [email protected].