Come testiamo
Come testiamo Holarch
I controlli che ogni versione supera prima di arrivare agli utenti, come una versione arriva al servizio in hosting, come le evidenze vengono rese pubbliche e che cosa questi test non dimostrano.
Ogni versione
Ogni versione viene compilata in una copia pulita del codice sorgente, mai in una copia di lavoro. La build passa poi attraverso il gate di rilascio: un insieme fisso di controlli automatici. Un controllo non superato blocca il rilascio. La causa viene corretta, e i controlli non superati vengono rieseguiti prima che il rilascio prosegua.
- Build di rilascio: l’app viene compilata per il rilascio, e il codice compilato viene controllato rispetto alla content security policy della pagina.
- Build del motore del linguaggio: il motore del linguaggio compilato viene ricostruito dal suo sorgente, e il risultato deve corrispondere alla build distribuita.
- Test di protezione del motore: input profondi, lunghi, ampi, ciclici e oltre i limiti su ogni operazione del motore, con limiti sul tempo di risposta e sulla memoria, e un controllo che il tempo cresca in proporzione alla dimensione dell’input.
- Audit delle dipendenze: le dipendenze di terze parti del motore vengono controllate per avvisi di sicurezza noti, licenze e provenienza.
- Lint contro le iniezioni: un lint blocca il rilascio per qualsiasi punto del codice che inserisce HTML o esegue testo come codice, a meno che quel punto non sia stato esaminato e registrato come sicuro.
- File di terze parti: ogni file di terze parti distribuito con l’app deve corrispondere al checksum registrato.
- Prestazioni: l’app compilata viene cronometrata su un grande progetto generato, nel browser e sul server, rispetto a limiti fissi.
- Smoke test: l’app compilata viene aperta e usata in un browser reale, Safari, sia come app desktop sia in modalità server, nel modo in cui la esegue il servizio in hosting.
- Test di ciò che è cambiato: le suite di test nel browser per ogni area modificata dalla versione, in entrambe le modalità dove l’area le prevede, e i test Python di ogni modulo server modificato.
I test nel browser usano l’app come farebbe una persona: fanno clic, trascinano e digitano nella pagina, poi controllano il modello e lo schermo.
Dal rilascio al servizio in hosting
- Prima lo staging: ogni versione viene eseguita su un servizio di staging separato prima della produzione. La produzione accetta solo una build che è stata eseguita in staging.
- Backup prima delle modifiche al database: prima che una versione modifichi il database, ne viene salvata una copia.
- Controlli di integrità: dopo il passaggio, il servizio deve rispondere come integro e riportare la versione rilasciata.
- Rollback: la versione precedente viene conservata. Se la nuova versione non supera il controllo di integrità, il servizio torna alla versione precedente.
Il ripristino dei backup del servizio in hosting viene testato ogni settimana; vedere Obiettivi di servizio.
Il Language Engine
L’Holarch Language Engine analizza, risolve e controlla testo SysML v2 e KerML. Oltre ai controlli di rilascio, viene misurato secondo un piano di accettazione scritto. I criteri di accettazione sono stati messi per iscritto prima di misurare qualsiasi risultato; una modifica successiva di un criterio costituisce una nuova versione numerata del metodo, registrata con il suo motivo, e i risultati precedenti mantengono la versione con cui sono stati misurati. Un risultato pubblicato non viene mai modificato; una correzione è una nuova esecuzione che indica quella che sostituisce.
- Modelli di esempio: il motore viene testato sui modelli di esempio SysML v2 del repository ufficiale dei rilasci dell’Object Management Group (gli insiemi training, examples e validation), fissati a una versione specifica.
- Test differenziali: i risultati del motore su quei modelli vengono confrontati con l’implementazione pilota dell’OMG: se ogni modello è accettato e a quale elemento si lega ogni nome. Ogni discordanza viene analizzata singolarmente e classificata come difetto del motore, funzionalità del linguaggio non supportata, errore nell’esempio o differenza nell’implementazione pilota.
- Robustezza: ampi insiemi di input danneggiati, come parentesi graffe mancanti, dichiarazioni troncate, import non validi, cicli, caratteri non validi ed errori di battitura comuni, verificano che il motore non si blocchi mai, dia la stessa risposta dopo la riparazione del danno e continui a controllare il resto del modello.
- Scala: modelli generati molto grandi misurano il tempo di risposta alle modifiche, il tempo di analisi di un intero modello, l’uso di memoria e come il tempo cresce con la dimensione del modello.
- Fuzzing: i punti di ingresso di richieste, lexer e parser del motore vengono sottoposti a fuzz testing.
- Casi di test: i test del motore sono scritti a partire dal testo della specifica, e ciascuno è contrassegnato con la clausola che controlla.
I risultati, fallimenti compresi, con la versione del motore, la versione del metodo e i difetti noti: Risultati dei test del Language Engine. Che cosa copre oggi il supporto del linguaggio, e le sue lacune note: Copertura del linguaggio SysML v2.
Evidenze pubbliche: il modello di riferimento EO-1
Il modello di riferimento EO-1 è un modello completo di un CubeSat costruito in Holarch, dalle esigenze alle evidenze verificate. Il file di progetto e le esportazioni si possono scaricare gratuitamente, quindi chiunque può aprire il modello e controllarne da sé la tracciabilità.
Un ciclo di verifica formale sul modello EO-1 segue la modifica di un requisito attraverso un programma formale: un nuovo test non superato, una non conformità e la relativa concessione, pericoli e modi di guasto, approvazione, revisione e la nuova baseline.
Dimensioni del progetto
I limiti di elementi di ogni piano si basano su un test di carico del servizio in hosting. Limiti testati descrive il test, la sua soglia di superamento, i risultati e che cosa non ha misurato.
Che cosa questi test non dimostrano
- Questi sono test propri di Holarch. Non sono una certificazione, e il servizio in hosting non possiede certificazioni di sicurezza; vedere Certificazioni.
- I risultati del motore riportano ciò che i test di Holarch hanno trovato sui modelli eseguiti. L’Object Management Group non li ha esaminati né approvati.
- È prevista una revisione indipendente del metodo di test.
- I test riducono la probabilità di un difetto; non la escludono. Segnalare un problema con Invia feedback nell’app o a [email protected].