Wie wir testen
So testen wir Holarch
Die Prüfungen, die jede Version durchläuft, bevor sie Sie erreicht, wie eine Version in den gehosteten Dienst gelangt, wie die Nachweise veröffentlicht werden und was diese Tests nicht zeigen.
Jede Version
Jede Version wird in einer sauberen Kopie des Quellcodes gebaut, nie in einer Arbeitskopie. Der Build durchläuft dann das Release-Gate: einen festen Satz automatisierter Prüfungen. Eine fehlgeschlagene Prüfung hält die Version an. Die Ursache wird behoben, und die fehlgeschlagenen Prüfungen laufen erneut, bevor die Version weitergeht.
- Release-Build: Die App wird für die Veröffentlichung gebaut, und der gebaute Code wird gegen die Content Security Policy der Seite geprüft.
- Build der Language Engine: Die kompilierte Language Engine wird aus ihrem Quellcode neu gebaut, und das Ergebnis muss mit dem ausgelieferten Build übereinstimmen.
- Schutztests der Engine: tiefe, lange, breite, zyklische und grenzüberschreitende Eingaben bei jeder Engine-Operation, mit Grenzen für Antwortzeit und Speicher und einer Prüfung, dass die Zeit im Verhältnis zur Größe der Eingabe wächst.
- Abhängigkeitsprüfung: Die Drittanbieter-Abhängigkeiten der Engine werden auf bekannte Sicherheitshinweise, Lizenzen und Herkunft geprüft.
- Injection-Lint: Ein Lint lässt die Version an jeder Stelle im Code scheitern, die HTML einfügt oder Text als Code ausführt, sofern diese Stelle nicht geprüft und als sicher festgehalten wurde.
- Dateien von Drittanbietern: Jede mit der App ausgelieferte Datei eines Drittanbieters muss ihrer hinterlegten Prüfsumme entsprechen.
- Leistung: Die gebaute App wird an einem großen generierten Projekt im Browser und auf dem Server gegen feste Grenzen gemessen.
- Smoke-Tests: Die gebaute App wird in einem echten Browser, Safari, geöffnet und benutzt, sowohl als Desktop-App als auch im Servermodus, so wie der gehostete Dienst sie betreibt.
- Tests der Änderungen: die Browser-Testsuiten für jeden Bereich, den die Version ändert, in beiden Modi, wo der Bereich beide hat, und die Python-Tests jedes geänderten Servermoduls.
Browser-Tests bedienen die App so, wie ein Mensch es tut: Sie klicken, ziehen und tippen auf der Seite und prüfen dann das Modell und den Bildschirm.
Von der Version zum gehosteten Dienst
- Zuerst Staging: Jede Version läuft vor der Produktion auf einem separaten Staging-Dienst. Die Produktion akzeptiert nur einen Build, der auf Staging gelaufen ist.
- Sicherung vor Datenbankänderungen: Bevor eine Version die Datenbank ändert, wird eine Kopie der Datenbank gespeichert.
- Integritätsprüfungen: Nach der Umstellung muss der Dienst als funktionsfähig antworten und die veröffentlichte Version melden.
- Rollback: Die vorherige Version wird aufbewahrt. Besteht die neue Version ihre Integritätsprüfung nicht, kehrt der Dienst zur vorherigen Version zurück.
Die Sicherungen des gehosteten Dienstes werden jede Woche durch eine Wiederherstellung getestet; siehe Serviceziele.
Die Language Engine
Die Holarch Language Engine parst, löst auf und prüft SysML-v2- und KerML-Text. Neben den Release-Prüfungen wird sie nach einem schriftlichen Abnahmeplan gemessen. Die Abnahmekriterien wurden schriftlich festgelegt, bevor irgendwelche Ergebnisse gemessen wurden; eine spätere Änderung eines Kriteriums ist eine neue, nummerierte Version der Methode, die mit ihrer Begründung festgehalten wird, und frühere Ergebnisse behalten die Version, unter der sie gemessen wurden. Ein veröffentlichtes Ergebnis wird nie bearbeitet; eine Korrektur ist ein neuer Lauf, der den Lauf nennt, den er ersetzt.
- Beispielmodelle: Die Engine wird gegen die SysML-v2-Beispielmodelle im offiziellen Release-Repository der Object Management Group getestet (die Sätze training, examples und validation), festgelegt auf ein bestimmtes Release.
- Differenzielles Testen: Die Ergebnisse der Engine auf diesen Modellen werden mit der Pilotimplementierung der OMG verglichen: ob jedes Modell akzeptiert wird und an welches Element jeder Name gebunden wird. Jede Abweichung wird einzeln untersucht und als Engine-Fehler, nicht unterstütztes Sprachmerkmal, Fehler im Beispiel oder Abweichung im Pilot eingeordnet.
- Robustheit: Große Mengen beschädigter Eingaben, etwa fehlende Klammern, abgeschnittene Deklarationen, defekte Importe, Zyklen, ungültige Zeichen und häufige Tippfehler, prüfen, dass die Engine nie abstürzt, nach der Reparatur des Schadens dieselbe Antwort gibt und den Rest des Modells weiter prüft.
- Skalierung: Sehr große generierte Modelle messen die Antwortzeit von Bearbeitungen, die Zeit zur Analyse eines ganzen Modells, den Speicherverbrauch und wie die Zeit mit der Modellgröße wächst.
- Fuzzing: Die Einstiegspunkte der Engine für Anfragen, Lexer und Parser werden mit Fuzzing getestet.
- Testfälle: Die eigenen Tests der Engine werden aus dem Text der Spezifikation geschrieben, und jeder ist mit der Klausel gekennzeichnet, die er prüft.
Die Ergebnisse, Fehlschläge eingeschlossen, mit der Engine-Version, der Version der Methode und den bekannten Mängeln: Testergebnisse der Language Engine. Was die Sprachunterstützung heute abdeckt und ihre bekannten Lücken: Sprachabdeckung von SysML v2.
Öffentlicher Nachweis: das EO-1-Referenzmodell
Das EO-1-Referenzmodell ist ein vollständiges, in Holarch erstelltes Modell eines CubeSat, von den Bedarfen bis zu verifizierten Nachweisen. Projektdatei und Exporte stehen kostenlos zum Download bereit, sodass jeder das Modell öffnen und seine Nachverfolgbarkeit selbst prüfen kann.
Ein formaler Verifikationszyklus am EO-1-Modell verfolgt eine Anforderungsänderung durch ein formales Programm: ein fehlgeschlagener Nachtest, eine Nichtkonformität und ihr Waiver, Gefährdungen und Fehlerarten, Freigabe, Review und die neue Baseline.
Projektgröße
Die Elementgrenzen jedes Plans beruhen auf einem Lasttest des gehosteten Dienstes. Getestete Grenzen beschreibt den Test, seine Bestehensschwelle, seine Ergebnisse und was er nicht gemessen hat.
Was diese Tests nicht zeigen
- Dies sind Holarchs eigene Tests. Sie sind keine Zertifizierung, und der gehostete Dienst hat keine Sicherheitszertifizierungen; siehe Zertifizierungen.
- Die Engine-Ergebnisse geben wieder, was Holarchs Tests auf den getesteten Modellen gefunden haben. Die Object Management Group hat sie weder geprüft noch befürwortet.
- Eine unabhängige Prüfung der Testmethode ist geplant.
- Tests senken die Wahrscheinlichkeit eines Fehlers; sie schließen ihn nicht aus. Melden Sie ein Problem über „Feedback senden“ in der App oder an [email protected].