Como testamos
Como testamos o Holarch
As checagens pelas quais cada versão passa antes de chegar até você, como uma versão chega ao serviço hospedado, como as evidências são tornadas públicas e o que esses testes não mostram.
Cada versão
Cada versão é construída em uma cópia limpa do código-fonte, nunca em uma cópia de trabalho. Em seguida, o build passa pelo gate de liberação: um conjunto fixo de checagens automatizadas. Uma checagem que falha interrompe a liberação. A causa é corrigida, e as checagens que falharam são executadas de novo antes de a liberação prosseguir.
- Build de liberação: o app é construído para liberação, e o código construído é checado em relação à política de segurança de conteúdo da página.
- Build do engine de linguagem: o engine de linguagem compilado é reconstruído a partir do código-fonte, e o resultado deve corresponder ao build distribuído.
- Testes de proteção do engine: entradas profundas, longas, largas, cíclicas e acima dos limites em cada operação do engine, com limites de tempo de resposta e de memória, e uma checagem de que o tempo cresce na proporção do tamanho da entrada.
- Auditoria de dependências: as dependências de terceiros do engine são checadas quanto a alertas de segurança conhecidos, licenças e origens.
- Lint de injeção: um lint reprova a liberação em qualquer ponto do código que insira HTML ou execute texto como código, a menos que esse ponto tenha sido revisado e registrado como seguro.
- Arquivos de terceiros: cada arquivo de terceiros distribuído com o app deve corresponder ao seu checksum registrado.
- Desempenho: o app construído é cronometrado em um grande projeto gerado, no navegador e no servidor, em relação a limites fixos.
- Testes de fumaça: o app construído é aberto e usado em um navegador real, o Safari, tanto como app desktop quanto no modo servidor, do jeito que o serviço hospedado o executa.
- Testes do que mudou: as suítes de testes de navegador de cada área que a versão altera, nos dois modos quando a área tem ambos, e os testes em Python de cada módulo de servidor alterado.
Os testes de navegador operam o app como uma pessoa faz: clicam, arrastam e digitam na página e, depois, checam o modelo e a tela.
Da liberação ao serviço hospedado
- Staging primeiro: cada versão roda em um serviço de staging separado antes da produção. A produção aceita apenas um build que já rodou em staging.
- Backup antes de mudanças no banco de dados: antes que uma versão altere o banco de dados, uma cópia dele é salva.
- Checagens de saúde: após a troca, o serviço deve responder como saudável e informar a versão liberada.
- Rollback: a versão anterior é mantida. Se a nova versão falhar na checagem de saúde, o serviço volta para a versão anterior.
Os backups do serviço hospedado passam por teste de restauração toda semana; consulte Metas de serviço.
O Language Engine
O Holarch Language Engine faz o parsing, resolve e checa texto SysML v2 e KerML. Além das checagens de liberação, ele é medido segundo um plano de aceitação escrito. Os critérios de aceitação foram registrados por escrito antes de qualquer resultado ser medido; uma alteração posterior de um critério é uma nova versão numerada do método, registrada com seu motivo, e os resultados anteriores mantêm a versão sob a qual foram medidos. Um resultado publicado nunca é editado; uma correção é uma nova execução que indica qual ela substitui.
- Modelos de exemplo: o engine é testado com os modelos de exemplo SysML v2 do repositório oficial de releases do Object Management Group (os conjuntos de treinamento, exemplos e validação), fixados em uma release específica.
- Testes diferenciais: os resultados do engine nesses modelos são comparados com a implementação piloto do OMG: se cada modelo é aceito e a qual elemento cada nome se vincula. Cada divergência é investigada individualmente e classificada como bug do engine, recurso da linguagem não suportado, erro no exemplo ou diferença no piloto.
- Robustez: grandes conjuntos de entradas danificadas, como chaves faltando, declarações cortadas, imports quebrados, ciclos, caracteres inválidos e erros comuns de digitação, checam que o engine nunca trava, dá a mesma resposta depois que o dano é reparado e continua checando o resto do modelo.
- Escala: modelos gerados muito grandes medem o tempo de resposta das edições, o tempo para analisar um modelo inteiro, o uso de memória e como o tempo cresce com o tamanho do modelo.
- Fuzzing: os pontos de entrada de requisição, lexer e parser do engine passam por testes de fuzzing.
- Casos de teste: os testes próprios do engine são escritos a partir do texto da especificação, e cada um é marcado com a cláusula que checa.
Os resultados, incluindo as falhas, com a versão do engine, a versão do método e os defeitos conhecidos: resultados de testes do Language Engine. O que o suporte à linguagem cobre hoje e suas lacunas conhecidas: cobertura da linguagem SysML v2.
Evidência pública: o modelo de referência EO-1
O modelo de referência EO-1 é um modelo completo de um CubeSat construído no Holarch, das necessidades à evidência verificada. O arquivo de projeto e as exportações podem ser baixados gratuitamente, para que qualquer pessoa abra o modelo e cheque a rastreabilidade por conta própria.
Um ciclo de verificação formal no modelo EO-1 acompanha uma mudança de requisito por um programa formal: um reteste reprovado, uma não conformidade e sua dispensa, perigos e modos de falha, aprovação final, revisão e a nova linha de base.
Tamanho do projeto
Os limites de itens de cada plano se baseiam em um teste de carga do serviço hospedado. Limites testados descreve o teste, seu critério de aprovação, seus resultados e o que ele não mediu.
O que esses testes não mostram
- Estes são os testes do próprio Holarch. Não são uma certificação, e o serviço hospedado não possui certificações de segurança; consulte Certificações.
- Os resultados do engine relatam o que os testes do Holarch encontraram nos modelos em que foram executados. O Object Management Group não os revisou nem endossou.
- Está planejada uma revisão independente do método de teste.
- Os testes reduzem a chance de um defeito; não o descartam. Relate um problema com Enviar feedback no app ou em [email protected].