Cómo probamos
Cómo probamos Holarch
Las comprobaciones que supera cada versión antes de llegar a usted, cómo llega una versión al servicio alojado, cómo se hacen públicas las pruebas y lo que estas pruebas no demuestran.
Cada versión
Cada versión se compila en una copia limpia del código fuente, nunca en una copia de trabajo. Después, la compilación pasa por la puerta de publicación: un conjunto fijo de comprobaciones automáticas. Una comprobación fallida detiene la publicación. Se corrige la causa y las comprobaciones fallidas se vuelven a ejecutar antes de que la publicación continúe.
- Compilación de publicación: la aplicación se compila para su publicación y el código compilado se comprueba frente a la política de seguridad de contenido de la página.
- Compilación del motor de lenguaje: el motor de lenguaje compilado se vuelve a compilar a partir de su código fuente, y el resultado debe coincidir con la compilación que se distribuye.
- Pruebas de protección del motor: entradas profundas, largas, anchas, cíclicas y por encima de los límites en cada operación del motor, con límites de tiempo de respuesta y de memoria, y una comprobación de que el tiempo crece en proporción al tamaño de la entrada.
- Auditoría de dependencias: se comprueban las dependencias de terceros del motor en busca de avisos de seguridad conocidos, y se revisan sus licencias y orígenes.
- Lint de inyección: un lint hace fallar la publicación ante cualquier lugar del código que inserte HTML o ejecute texto como código, salvo que ese lugar se haya revisado y registrado como seguro.
- Archivos de terceros: cada archivo de terceros que se distribuye con la aplicación debe coincidir con su suma de comprobación registrada.
- Rendimiento: se mide el tiempo de la aplicación compilada con un proyecto generado de gran tamaño, en el navegador y en el servidor, frente a límites fijos.
- Pruebas de humo: la aplicación compilada se abre y se usa en un navegador real, Safari, tanto como aplicación de escritorio como en modo servidor, que es como la ejecuta el servicio alojado.
- Pruebas de lo que cambió: los conjuntos de pruebas de navegador de cada área que cambia la versión, en ambos modos cuando el área tiene los dos, y las pruebas de Python de cada módulo de servidor modificado.
Las pruebas de navegador manejan la aplicación como lo hace una persona: hacen clic, arrastran y escriben en la página, y después comprueban el modelo y la pantalla.
De la publicación al servicio alojado
- Primero staging: cada versión se ejecuta en un servicio de staging independiente antes de producción. Producción solo acepta una compilación que se haya ejecutado en staging.
- Copia de seguridad antes de cambios en la base de datos: antes de que una versión cambie la base de datos, se guarda una copia de esta.
- Comprobaciones de estado: tras el cambio, el servicio debe responder que está en buen estado e indicar la versión publicada.
- Reversión: se conserva la versión anterior. Si la nueva versión no supera su comprobación de estado, el servicio vuelve a la versión anterior.
Las copias de seguridad del servicio alojado se prueban restaurándolas cada semana; consulte Objetivos de servicio.
El Language Engine
El Holarch Language Engine analiza, resuelve y comprueba texto SysML v2 y KerML. Además de las comprobaciones de publicación, se mide según un plan de aceptación por escrito. Los criterios de aceptación se pusieron por escrito antes de medir ningún resultado; un cambio posterior de un criterio es una versión nueva y numerada del método, registrada con su motivo, y los resultados anteriores conservan la versión con la que se midieron. Un resultado publicado nunca se edita; una corrección es una nueva ejecución que indica a cuál sustituye.
- Modelos de ejemplo: el motor se prueba con los modelos de ejemplo de SysML v2 del repositorio oficial de publicaciones del Object Management Group (los conjuntos de formación, ejemplos y validación), fijados a una publicación concreta.
- Pruebas diferenciales: los resultados del motor en esos modelos se comparan con la implementación piloto del OMG: si cada modelo se acepta y a qué elemento se vincula cada nombre. Cada discrepancia se investiga por separado y se clasifica como error del motor, característica del lenguaje no compatible, error en el ejemplo o diferencia en la implementación piloto.
- Robustez: grandes conjuntos de entradas dañadas, como llaves que faltan, declaraciones cortadas, importaciones rotas, ciclos, caracteres no válidos y errores de escritura habituales, comprueban que el motor nunca se bloquea, da la misma respuesta una vez reparado el daño y sigue comprobando el resto del modelo.
- Escala: modelos generados muy grandes miden el tiempo de respuesta de las ediciones, el tiempo de análisis de un modelo completo, el uso de memoria y cómo crece el tiempo con el tamaño del modelo.
- Fuzzing: los puntos de entrada de solicitudes, analizador léxico y analizador sintáctico del motor se someten a pruebas de fuzzing.
- Casos de prueba: las pruebas propias del motor se redactan a partir del texto de la especificación, y cada una se etiqueta con la cláusula que comprueba.
Los resultados, incluidos los fallos, con la versión del motor, la versión del método y los defectos conocidos: resultados de las pruebas del Language Engine. Lo que cubre hoy la compatibilidad con el lenguaje y sus carencias conocidas: cobertura del lenguaje SysML v2.
Pruebas públicas: el modelo de referencia EO-1
El modelo de referencia EO-1 es un modelo completo de un CubeSat creado en Holarch, desde las necesidades hasta la evidencia verificada. Su archivo de proyecto y sus exportaciones se descargan gratis, de modo que cualquiera puede abrir el modelo y comprobar por sí mismo su trazabilidad.
Un ciclo de verificación formal en el modelo EO-1 sigue un cambio de requisito a través de un programa formal: una nueva prueba fallida, una no conformidad y su exención, peligros y modos de fallo, aprobación, revisión y la nueva línea base.
Tamaño de proyecto
Los límites de elementos de cada plan se basan en una prueba de carga del servicio alojado. Límites probados describe la prueba, su criterio de aprobación, sus resultados y lo que no midió.
Lo que estas pruebas no demuestran
- Estas son pruebas propias de Holarch. No son una certificación, y el servicio alojado no tiene certificaciones de seguridad; consulte Certificaciones.
- Los resultados del motor recogen lo que encontraron las pruebas de Holarch en los modelos con los que se ejecutaron. El Object Management Group no los ha revisado ni respaldado.
- Está prevista una revisión independiente del método de prueba.
- Las pruebas reducen la probabilidad de un defecto; no la descartan. Informe de un problema con Enviar comentarios en la aplicación o en [email protected].