Holarch Language Engine
Resultados de las pruebas del Language Engine
Resultados medidos del motor que hay detrás de los proyectos SysML v2 de Holarch: cómo se comparan sus respuestas con las de la implementación piloto del OMG en los modelos de ejemplo oficiales, cómo trata el texto dañado y lo rápido que es con modelos grandes. Los criterios que no se cumplen se enumeran junto con los que sí.
Ir a: Esta ejecución · Resumen · Memoria de sesión · Lo que respaldan las pruebas · Modelos de ejemplo · Validación de diagnósticos · Vinculación de nombres · Texto dañado · Velocidad y memoria · Todavía no compatible · Reproducir los resultados · Ejecuciones anteriores · Lo que estos resultados no demuestran
Esta ejecución
- Motor: Holarch Language Engine 2.1 (versión 2.1.1, compilación 37168cc). Holarch distribuye la versión 2.1.2, que añade informes de progreso para la barra de progreso del anfitrión y comprueba cadenas muy largas de importaciones o especializaciones que detenían a versiones anteriores; en los modelos de ejemplo, los modelos generados y el corpus de pruebas de esta ejecución da las mismas respuestas que la 2.1.1, por lo que las cifras de esta página, medidas en la 2.1.1, no se volvieron a medir. Su análisis en frío de los modelos generados grandes tardó alrededor de un 3 % más en una medición fuera de las ejecuciones oficiales. El motor 2.1 añade variabilidad, palabras clave definidas por el usuario, disparadores y efectos de transición, simulación (un complemento con licencia aparte, no medido aquí) y menor uso de memoria a lo largo de una sesión de edición.
- Método: versión 10 del plan de aceptación escrito. Los criterios se fijaron antes de medir los primeros resultados. Cada cambio posterior del método se registra con su motivo, y los resultados anteriores conservan el método con el que se midieron. Las versiones 8 a 10 retiran de la lista de construcciones no compatibles la variabilidad, las palabras clave definidas por el usuario y los disparadores y efectos de transición, a medida que se publicó cada una; los criterios y las puertas no cambian.
- Modelos de ejemplo: los conjuntos de formación, ejemplos y validación del repositorio de publicaciones de SysML v2 del OMG, publicación 2026-08 (commit fb97b754): 252 archivos, 14.957 líneas. Los modelos se obtienen del repositorio del OMG en cada ejecución y no se copian en Holarch.
- Referencia: la implementación piloto del OMG, versión 0.62.0, ejecutada como caja negra.
- Modelos grandes: modelos generados de 10.000 a 250.000 líneas con importaciones profundas, referencias entre paquetes y cadenas de especialización largas.
Todas las cifras de esta página proceden de las ejecuciones oficiales indicadas a continuación. Una ejecución publicada nunca se edita. Una corrección es una nueva ejecución que indica a cuál sustituye.
Revisión interna marca cada clasificación y revisión de esta página: las clases de discrepancias, el registro, la revisión de cada error del motor y las categorías de vinculación. Las realizó Holarch frente al texto de la especificación. Todavía no existe ninguna revisión externa; la etiqueta se mantiene hasta que la haya.
| Versión de Holarch | Versión del motor | Compilación del motor | Método | Ejecuciones oficiales |
|---|---|---|---|---|
| 2.21.0 (distribuye el motor 2.1.2) | 2.1.1 | 37168cc | 10 | 2.1.1-37168cc79-1 (todas las medidas, también la caracterización de la memoria de sesión; las cifras de esta página) |
| 2.17.1 | 2.0.1 | d8cf5c8 | 7 | 2.0.1-d8cf5c835-1 (velocidad y memoria, memoria de sesión) |
| 2.15.1 | 2.0.0 | dd4fb10; 91f058a indica 2.0.0 | 6 | 1.0.0-dd4fb10f5-1 (todas las medidas), 2.0.0-91f058a75-1 (todas las medidas, en la compilación que indica 2.0.0; también la caracterización de la memoria de sesión) |
| 2.15.0 | 1.0.0 | e6bb924 | 5 | 1.0.0-e6bb92459-1 (velocidad y memoria, cobertura de pruebas) |
| 2.14.0 | 1.0.0 | 0c983e2 | 6 | 1.0.0-0c983e2e8-1 (velocidad y memoria, para comparar) |
| 2.13.1 | 1.0.0 | d3f5d4b | 5 | 1.0.0-d3f5d4b5d-2 (modelos de ejemplo), 1.0.0-d3f5d4b5d-1 (otras medidas) |
| 2.12.0 | 1.0.0 | 8a6bf7b | 5 | 1.0.0-8a6bf7b76-2 (modelos de ejemplo), 1.0.0-8a6bf7b76-1 (otras medidas) |
| 2.11.0 | 1.0.0 | c184e57 | 3, leído según la 4 | 1.0.0-c184e57e6-1 |
Resumen
En un modelo generado de 10.000 líneas, el motor 2.1.1 analiza el modelo completo en 150 ms y lo vuelve a comprobar tras una edición en 1,3 a 6,8 ms (percentil 95). Base del motor, con la biblioteca estándar cargada: 17 MiB; un análisis del modelo completo añade unos 29 MiB por cada 10.000 líneas, y una sesión de edición completa unos 33 MiB por cada 10.000 líneas. Se cumplen todos los criterios, incluida la memoria del motor a lo largo de una sesión de edición completa con 100.000 y 250.000 líneas, que los motores anteriores no cumplían. Probado con modelos generados de hasta 250.000 líneas: velocidad y memoria en todos los tamaños.
La memoria se muestra por cada 10.000 líneas por encima de la base del motor, que es la memoria del motor con la biblioteca estándar cargada y un modelo vacío. Los criterios se aplican al total.
| Medida | Criterio | Motor 2.1.1 | Cumplido |
|---|---|---|---|
| Modelos de ejemplo: fallos y tiempos agotados | No se permite ninguno | Ninguno | Sí |
| Modelos de ejemplo: concordancia en la aceptación, clasificada | Al menos el 98 % de los archivos del ámbito evaluado | 252 de 252 Revisión interna | Sí |
| Modelos de ejemplo: aceptaciones falsas | No se permite ninguno | Ninguno | Sí |
| Modelos de ejemplo: cada error del motor revisado uno por uno | Todos revisados | 44 de 44 Revisión interna | Sí |
| Vinculación de nombres | Al menos el 99,5 % de las vinculaciones emparejadas coinciden | 4904 de 4908 | Sí |
| Texto dañado | Siete criterios, a continuación | Se cumplen los siete | Sí |
| Ediciones, todos los tamaños | Cambio de valor en 12 ms, otras ediciones en 60 ms (25 y 150 ms con 250.000 líneas) | Todas dentro del límite | Sí |
| Análisis en frío, 100.000 líneas | Se informa, no es un objetivo desde la versión 4 del método (objetivo anterior: en 0,6 s) | 1,43 s | Objetivo anterior no cumplido |
| Análisis en frío, 250.000 líneas | Se informa, no es un objetivo desde la versión 4 del método (objetivo anterior: en 1,2 s) | 3,73 s | Objetivo anterior no cumplido |
| Progreso mostrado durante un análisis largo | Una barra de progreso para cualquier análisis que pueda tardar más de 3 segundos (versión 4 del método) | Se muestra, con las fases del motor; lo comprueba la prueba de progreso de Holarch | Sí |
| Memoria del motor, análisis en frío, 100.000 líneas | Dentro de 512 MiB | 28 MiB por cada 10.000 líneas por encima de la base | Sí |
| Memoria del motor, análisis en frío, 250.000 líneas | Dentro de 1 GiB | 28 MiB por cada 10.000 líneas por encima de la base | Sí |
| Memoria del motor, sesión de edición completa, 100.000 líneas | Dentro de 512 MiB (versión 6 del método) | 33 MiB por cada 10.000 líneas por encima de la base | Sí |
| Memoria del motor, sesión de edición completa, 250.000 líneas | Dentro de 1 GiB (versión 6 del método) | 33 MiB por cada 10.000 líneas por encima de la base | Sí |
| Crecimiento con el tamaño del modelo | Análisis en frío con 250.000 líneas como máximo 40 veces el de 10.000 | 24,9 veces | Sí |
| Misma solicitud, misma respuesta | Todas las respuestas idénticas en dos procesos nuevos | 1211 de 1211 | Sí |
Memoria de sesión: criterio cumplido
Cumplido: memoria del motor a lo largo de una sesión de edición completa con 100.000 y 250.000 líneas. Los motores hasta la 2.0.1 no lo cumplían con 250.000 líneas (y la 2.0.0 tampoco con 100.000 líneas); el motor 2.1.1 necesita unos 33 MiB por cada 10.000 líneas por encima de la base a lo largo de toda la sesión, dentro de 512 MiB con 100.000 líneas y dentro de 1 GiB con 250.000 líneas.
- Qué cambió. El generador de texto y el comparador de texto ya no construyen una copia completa del documento en memoria (motor 2.0.1), y las tablas de nombres, la caché de análisis, el árbol sintáctico y las posiciones de origen del motor ocupan menos espacio (motor 2.1.1).
- Imprimir un modelo completo, antes el paso más grande, necesita ahora unos 40 MiB por cada 10.000 líneas por encima de la base en ejecución nativa, menos que volver a analizar el modelo desde cero junto a una sesión abierta (unos 54 MiB por cada 10.000 líneas): memoria a lo largo de una sesión larga.
- En el navegador, la memoria del motor nunca se reduce, de modo que un worker mantiene el tamaño de su momento de mayor uso hasta que se termina; Holarch termina y reinicia un worker del motor inactivo que retiene mucha más memoria de la que usa.
Lo que respaldan las pruebas
Qué usos respaldan estos resultados y dónde terminan las pruebas. «No establecido» significa que esta página no tiene pruebas en ningún sentido.
| Uso | Respaldado por | Establecido | No establecido |
|---|---|---|---|
| Asistencia en el editor (análisis mientras se escribe) | Tiempos de edición, texto dañado, modelos de ejemplo, memoria de sesión | Nuevo análisis tras una edición dentro de los criterios hasta 250.000 líneas, en ejecución nativa y en Safari; texto dañado tratado según los siete criterios; la memoria se estabiliza durante una edición larga; memoria a lo largo de una sesión de edición completa dentro de los criterios hasta 250.000 líneas | Tiempos en equipos más lentos que el de medición (se supone un margen de 4 veces, no medido); navegadores distintos de Safari |
| Comprobación por lotes y en CI (modelos completos) | Modelos de ejemplo, validación de diagnósticos, análisis en frío, misma solicitud y misma respuesta | Sin fallos ni tiempos agotados; 252 de 252 archivos de ejemplo concuerdan tras la clasificación Revisión interna; todos los errores del motor revisados; respuestas idénticas en procesos nuevos; el análisis en frío crece en proporción al tamaño del modelo | Modelos grandes escritos por personas o por otras herramientas (solo se midieron modelos generados y los ejemplos del OMG); una integración en CI |
| Transformación de modelos (imprimir un modelo como texto, escribir el texto de vuelta en el modelo) | Sesión de edición completa, memoria de sesión | Cada paso responde en todos los tamaños de modelo; memoria dentro de los criterios para la impresión del modelo completo hasta 250.000 líneas, en ejecución nativa | Si imprimir y volver a escribir dan el mismo modelo (no forma parte de estas medidas); conversión desde SysML v1 |
| Navegador (WebAssembly) | Tiempos en Safari, memoria de sesión en Safari | Inicio, análisis en frío y ediciones en Safari hasta 250.000 líneas | Chrome, Firefox y Edge; navegadores móviles; memoria de sesión en Safari para este motor (medida para la 2.0.1 hasta 250.000 líneas) |
| Nativo y servidor | Todas las medidas de esta página (los criterios son nativos) | En un Mac con Apple silicon | Otros sistemas operativos y procesadores; muchos modelos a la vez en un mismo proceso; sesiones de servidor de larga duración con muchos proyectos |
| Uso de alta garantía (decisiones críticas para la seguridad o para la misión, evidencias de certificación) | Ninguno por sí solo | Nada más allá de los usos anteriores | Una revisión externa; certificación o cualificación de cualquier tipo; cobertura completa de las reglas de validación de la especificación; ejecución de acciones y máquinas de estados (el complemento de simulación no se mide aquí) |
Modelos de ejemplo
Cada conjunto de modelos de ejemplo se analiza en conjunto, como un solo proyecto, porque los ejemplos importan paquetes unos de otros. La implementación piloto recibe los mismos archivos en una sola sesión. Para cada archivo se comparan las dos respuestas: si el archivo tiene errores o no, y a qué elemento se vincula cada nombre.
Concordancia en la aceptación
| Recuento | Qué cuenta | Motor 2.1.1 |
|---|---|---|
| Bruto | Todos los archivos; concordancia sobre si el archivo tiene errores, sin clasificación | 242 de 252 |
| Ámbito evaluado | Archivos restantes tras excluir aquellos cuya discrepancia procede de una construcción de la lista de no compatibles | 252 de 252 (ninguno excluido) |
| Clasificado | Concordancia dentro del ámbito evaluado, contando una discrepancia como concordancia solo cuando la especificación muestra que el motor tiene razón | 252 de 252 Revisión interna |
- Cumplido: todos los archivos concuerdan con la implementación piloto, 10 de ellos a través del registro siguiente. La variabilidad, las palabras clave definidas por el usuario y los disparadores y efectos de transición ya son compatibles, de modo que ningún archivo sale del ámbito evaluado (11 archivos salían con el motor 2.0.0); se aceptan sin errores 10 archivos más que con el motor 2.0.0, y ningún archivo que la 2.0.0 aceptaba tiene ahora errores.
- Aceptaciones falsas: 0. El motor no acepta ningún archivo que la implementación piloto rechace.
- Fallos y tiempos agotados: ninguno.
Reglas de clasificación Revisión interna. Cada discrepancia con la implementación piloto se investiga por separado y se registra con una de estas clases antes de una ejecución, nunca durante ella:
- Error del ejemplo: el motor tiene razón y el ejemplo no es válido, con la cláusula de la especificación que lo demuestra. Ejemplo: aritmética que suma una longitud a una masa. Cuenta como concordancia.
- Error del piloto: el motor tiene razón y la respuesta del piloto contradice una cláusula citada de la especificación. Cuenta como concordancia.
- Construcción no compatible: la discrepancia procede de una construcción de la lista publicada de construcciones no compatibles del motor (más abajo). El archivo sale del ámbito evaluado. Cuando la construcción se publica, sale de la lista y el archivo se vuelve a medir.
- Defecto del motor: un error conocido del motor. Nunca cuenta como concordancia.
Registro de discrepancias que resuelve la especificación Revisión interna
Diez discrepancias cuentan como concordancia porque la especificación muestra que el motor tiene razón. Cada una se enumera aquí. Estado de la revisión: interna significa revisada por Holarch frente a la especificación; está prevista una revisión externa de estos y otros casos.
| Id | Archivo | Clase | Cláusula | Evidencia | Revisión |
|---|---|---|---|---|---|
| R1 | Calculation Definitions (training) | Error del ejemplo | SysML 9.8.2 | Una potencia y un término con dimensión de velocidad combinados en una misma suma | Interna |
| R2 | Calculation Usages-2 (training) | Error del ejemplo | SysML 9.8.2 | Magnitudes de distintas dimensiones combinadas en una misma expresión | Interna |
| R3 | Dynamics (examples) | Error del ejemplo | SysML 9.8.2 | Magnitudes de distintas dimensiones combinadas en una misma expresión | Interna |
| R4 | Turbojet Stage Analysis (examples) | Error del ejemplo | SysML 9.8.2 | Magnitudes de distintas dimensiones combinadas en una misma expresión | Interna |
| R5 | SimpleQuadcopter (examples) | Error del ejemplo | SysML 9.8.2 | Una longitud vinculada a un valor adimensional | Interna |
| R6 | VehicleGeometryAndCoordinateFrames (examples) | Error del ejemplo | SysML 9.8.2 | Un número simple sumado a una longitud | Interna |
| R7 | 15_12 Compound Value Type (validation) | Error del ejemplo | SysML 9.8.2 | Magnitudes de distintas dimensiones combinadas en una misma expresión | Interna |
| R8 | AnalysisIndividualExample (examples) | Error del ejemplo | SysML 9.8.2 | Una velocidad vinculada a una característica de consumo de combustible | Interna |
| R9 | 13a Model Containment (validation) | Error del piloto | KerML 8.2.3.5.3 | Dos elementos importados distintos comparten nombre en un mismo espacio de nombres; un nombre se resuelve como máximo a una pertenencia, y el piloto elige una | Interna |
| R10 | SysML v2 Spec Annex A SimpleVehicleModel (examples) | Error del piloto | KerML 8.2.3.5.3 | Varias importaciones traen elementos con un mismo nombre (como en R9); de ello se derivan las redefiniciones y los extremos de conector que los usan. El modelo también vincula una velocidad a una longitud, un error del ejemplo | Interna |
Validación de diagnósticos Revisión interna
La concordancia en la aceptación solo indica si ambas herramientas rechazan un archivo. Para comprobar por qué lo rechaza el motor, se revisó uno por uno cada error que notifica en los modelos de ejemplo, fuera de las líneas con una construcción no compatible: su código, su posición, la regla que aplica, la cláusula de la especificación, si es el primer error de un problema (primario) o una consecuencia de otro error (cascada), y una disposición.
| Disposición | Significado | Motor 2.1.1 |
|---|---|---|
| Confirmado | La especificación respalda el error | 42 |
| Defecto del motor | Un error falso | 0 |
| Discutido | La especificación no resuelve el caso | 2 |
| Carencia conocida | El error procede de una construcción de la lista de no compatibles | 0 |
| Total | 44 errores en 10 archivos (22 primarios, 22 en cascada) |
- Ningún defecto del motor. Ningún error recae en una construcción que el motor no admita: han desaparecido los 40 errores del motor 2.0.0 que procedían de la variabilidad, las palabras clave definidas por el usuario y los efectos de transición.
- El mismo código en todas partes. Un nombre que se resuelve a varios elementos importados se notifica como ambiguo tanto en expresiones como en referencias; las compilaciones anteriores lo notificaban como sin resolver en las expresiones.
- Una interpretación. Cuando las importaciones traen dos elementos con un mismo nombre y uno de ellos especializa al otro, la descripción de la especificación y su regla formal difieren. El motor sigue la regla formal y notifica el nombre como ambiguo. El piloto acepta esos nombres sin ningún diagnóstico.
- Discutidos: los 2 errores discutidos vinculan una magnitud a una característica tipada por un número real simple: ninguna restricción de la especificación invalida la vinculación, pero no puede cumplirse con el significado de la biblioteca de magnitudes.
Vinculación de nombres
Para cada nombre de un modelo, ambas herramientas indican el elemento al que se vincula. Las vinculaciones que ambas herramientas indican para el mismo nombre se emparejan y se comparan. La cifra de concordancia se refiere solo a las vinculaciones emparejadas; no dice nada de las vinculaciones que solo indica una de las herramientas, que se clasifican en categorías más abajo.
- 4904 de 4908 vinculaciones emparejadas concuerdan.
- Vinculaciones que solo indica una herramienta: 1639 del motor y 601 del piloto.
Las 4 discrepancias emparejadas Revisión interna
| Vinculaciones | Dónde | Causa | Clase |
|---|---|---|---|
| 3 | PartTest (examples) | El nombre que da el piloto al destino lleva su nombre corto; es el mismo elemento | Identidad o normalización distinta del elemento |
| 1 | ActionTest (examples) | Una acción de envío sin carga útil: el piloto crea su propia característica de carga útil que redefine la de la biblioteca; es la misma característica por redefinición | Identidad o normalización distinta del elemento |
Han desaparecido las 3 discrepancias del motor 2.0.0 sobre la aceptación y el efecto de una transición: el motor vincula ahora el propio aceptador y el propio efecto de la transición, como hace el piloto.
Vinculaciones que solo indica una herramienta Revisión interna
Clasificadas mediante reglas que examinan cada vinculación, su destino y la línea en la que se encuentra:
| Categoría | Solo el motor | Solo el piloto |
|---|---|---|
| Identidad o normalización distinta del elemento | 1,243 | 370 |
| Implícita adicional (el motor vincula, el piloto no muestra ninguna relación) | 396 | – |
| Ausente (el piloto vincula, el motor no) | – | 231 |
| Construcción no compatible | 0 | 0 |
| Discrepancia del piloto | 0 encontradas | 0 encontradas |
| Total | 1,639 | 601 |
- La identidad o normalización distinta del elemento se debe sobre todo a la comparación, no al motor: nombres en extremos de conectores, flujos y sucesiones y en expresiones, que el piloto muestra como características contenidas en lugar de relaciones; destinos en cinco paquetes de la biblioteca que la comparación no puede nombrar en el lado del piloto; archivos pasados al piloto en orden alfabético en la comparación de vinculaciones, donde 217 vinculaciones más se emparejan en orden de dependencias; nombres cortos, puertos conjugados, propietarios sin nombre y características implícitas que el piloto nombra de otra forma.
- Implícita adicional y ausente son lo que dejan las reglas. Una muestra revela cadenas a través de extremos de interfaz, puertos conjugados en definiciones y metadatos; todavía no se han revisado uno por uno.
- Corregir la comparación cambia la medida, por lo que requiere una nueva versión del método.
Texto dañado
Los modelos se dañan a propósito, una mutación cada vez: llaves eliminadas o sobrantes, declaraciones cortadas, importaciones rotas, referencias circulares, caracteres no válidos, cambios aleatorios de tokens y errores de escritura habituales, como un punto y coma que falta o una palabra clave mal escrita. Las entradas son los propios modelos de prueba del motor, un modelo generado y los modelos de ejemplo.
| Comprobación | Criterio | Resultado | Cumplido |
|---|---|---|---|
| Fallos y tiempos agotados de más de 10 s | No se permite ninguno | Ninguno | Sí |
| Entradas dañadas | Al menos 10.000 | 10,044 | Sí |
| La respuesta tras cada edición es igual a la de un análisis nuevo | Todas | 10.044 de 10.044 | Sí |
| Reparar el daño devuelve la respuesta original | Todas | 9830 de 9830 | Sí |
| Una mutación produce como máximo 3 errores de sintaxis nuevos | Al menos el 99 % de los casos | 100.0 % | Sí |
| El primer error de sintaxis apunta dentro de la declaración dañada o justo después | Al menos el 95 % de los casos | 99,7 % de 7163 | Sí |
| Las declaraciones fuera del daño se siguen comprobando igual | Al menos el 99 % | 99,5 % de 55.225 | Sí |
Velocidad y memoria
Los criterios se refieren a la compilación nativa del motor. En Holarch, el motor se ejecuta como WebAssembly en el navegador, que es más lento; los criterios lo tienen en cuenta, y también los equipos más lentos, con un factor de 8 para las ediciones y el análisis. La compilación WebAssembly también se mide en Safari (más abajo).
Base del motor, con la biblioteca estándar cargada: 17 MiB. Las cifras de memoria siguientes son por cada 10.000 líneas por encima de esta base: el pico menos la base, dividido entre el tamaño del modelo en unidades de 10.000 líneas. Los criterios se aplican al total.
Ediciones
Cada tipo de edición se aplica 200 veces, tras 20 ediciones de calentamiento, en una sola sesión de edición, tal como las envía el editor de Holarch. La tabla muestra el percentil 95: 95 de cada 100 ediciones fueron así de rápidas o más.
| Tamaño del modelo | Cambiar un valor | Cambiar el nombre de una definición | Cambiar una importación | Cambiar un supertipo | Cumplido |
|---|---|---|---|---|---|
| 10.038 líneas | 1.3 | 6.8 | 2.1 | 2.2 | Sí |
| 50.013 líneas | 3.9 | 19.4 | 4.9 | 4.7 | Sí |
| 100.033 líneas | 7.7 | 34.6 | 8.6 | 8.5 | Sí |
| 250.011 líneas | 22.7 | 90.8 | 24.0 | 24.9 | Sí |
Criterios: un cambio de valor en 12 ms (25 ms con 250.000 líneas); un cambio de nombre, de importación o de supertipo en 60 ms (150 ms con 250.000 líneas).
Análisis de un modelo completo
Análisis en frío: un proceso nuevo con la biblioteca estándar cargada analiza el modelo completo desde cero; se da la mediana de 5 ejecuciones. La memoria del motor es el pico del motor durante ese análisis, por cada 10.000 líneas por encima de la base. La memoria WebAssembly del mismo análisis se muestra como referencia, por cada 10.000 líneas e incluida la memoria de inicio del propio motor.
| Tamaño del modelo | Análisis en frío | Memoria del motor, análisis en frío | Memoria WebAssembly, análisis en frío |
|---|---|---|---|
| 10.038 líneas | 150 ms | 29 MiB por cada 10.000 líneas | 38 MiB por cada 10.000 líneas |
| 50.013 líneas | 711 ms | 28 MiB por cada 10.000 líneas | 29 MiB por cada 10.000 líneas |
| 100.033 líneas | 1,43 s | 28 MiB por cada 10.000 líneas | 28 MiB por cada 10.000 líneas |
| 250.011 líneas | 3,73 s | 28 MiB por cada 10.000 líneas | 26 MiB por cada 10.000 líneas |
- Análisis en frío según la versión 3 del método: objetivo no cumplido. El objetivo era 0,6 s con 100.000 líneas y 1,2 s con 250.000 líneas; un primer análisis de un modelo muy grande tarda 1,43 s y 3,73 s. Durante esta ejecución se realizaron otros trabajos en el equipo de medición, por lo que estos tiempos pueden ser unos pocos puntos porcentuales más altos; las cifras de memoria no dependen de ello.
- Análisis en frío según la versión 4 del método: se informa, no es un objetivo. El criterio de progreso se cumple. Holarch muestra una barra de progreso para cualquier análisis que pueda tardar más de 3 segundos: aparece al cabo de un segundo de un análisis largo, indica la fase (inicio del motor, carga de la biblioteca estándar, análisis del modelo) y permanece hasta que termina el análisis. La barra de progreso es la forma en que la aplicación gestiona un primer análisis largo; no es una afirmación sobre la velocidad del motor.
- Cumplido: las ediciones posteriores a ese primer análisis están dentro de sus criterios en todos los tamaños.
- Cumplido: memoria del motor de un análisis en frío dentro de 512 MiB con 100.000 líneas y dentro de 1 GiB con 250.000 líneas.
- Cumplido: el tiempo crece en proporción al tamaño del modelo. El análisis en frío con 250.000 líneas tarda 24,9 veces más que con 10.000 líneas, para un modelo 25 veces mayor (criterio: como máximo 40).
Una sesión de edición completa
Versión 6 del método, leída según la versión 7 desde el motor 2.0.1: la herramienta de medición conserva los registros del modelo como texto, igual que Holarch. Un proceso nuevo ejecuta un script fijo: el primer análisis, los registros de elementos del modelo, una primera comprobación del modelo, 60 ediciones (20 cambios de valor, 20 cambios de importación y 20 cambios de supertipo, cada uno analizado de nuevo), la impresión del modelo como texto, la escritura del texto editado de vuelta en el modelo y la evaluación de los valores del modelo. La cifra es la mayor memoria del motor en cualquier momento de la sesión.
| Tamaño del modelo | Motor 2.1.1 | Motor 2.0.1 | Cumplido en la 2.1.1 |
|---|---|---|---|
| 10.038 líneas | 35 MiB por cada 10.000 líneas | 51 MiB por cada 10.000 líneas | Se informa |
| 50.013 líneas | 33 MiB por cada 10.000 líneas | 49 MiB por cada 10.000 líneas | Se informa |
| 100.033 líneas | 33 MiB por cada 10.000 líneas | 49 MiB por cada 10.000 líneas | Sí (criterio: dentro de 512 MiB) |
| 250.011 líneas | 33 MiB por cada 10.000 líneas | 50 MiB por cada 10.000 líneas | Sí (criterio: dentro de 1 GiB) |
- Cumplido con 100.000 y 250.000 líneas. Los criterios son los del análisis en frío: dentro de 512 MiB con 100.000 líneas y dentro de 1 GiB con 250.000 líneas, la memoria que un navegador permite a una instancia de WebAssembly, con margen. En WebAssembly la memoria del motor nunca se reduce, así que el momento de mayor uso de una sesión determina su tamaño. El motor 2.0.1 cumplía el criterio con 100.000 líneas y no con 250.000; el motor 2.0.0 no cumplía ninguno (122 MiB por cada 10.000 líneas según la versión 6 del método).
- Los momentos de mayor uso son la primera comprobación y la evaluación del modelo, cada uno aproximadamente igual que escribir el texto de vuelta en el modelo; imprimir el modelo ya no es el paso más grande.
Memoria a lo largo de una sesión larga
Se informa, no es un criterio. Una caracterización del resultado anterior, en ejecución nativa, con el motor 2.1.1 (ejecución 2.1.1-37168cc79-1). Una sesión por tamaño de modelo: abrir el modelo y comprobarlo; ediciones en dos pasadas sobre cada punto de edición (cambios de valor, de importación y de supertipo, cada uno analizado de nuevo), y después ediciones de valor que siguen escribiendo números nuevos; diez análisis y diez comprobaciones del modelo sin cambios, y un análisis desde cero junto a la sesión abierta; imprimir un paquete y después el modelo completo; escribir el texto de vuelta en el modelo; evaluación; y después cerrar y volver a abrir tres veces.
| Tamaño del modelo | Edición del modelo abierto | Paso más grande: volver a analizar desde cero junto a la sesión abierta | Impresión del modelo completo | Restante tras cerrar |
|---|---|---|---|---|
| 10.038 líneas | 27 MiB | 55 MiB | 41 MiB | 1,5 MiB |
| 50.013 líneas | 26 MiB | 54 MiB | 40 MiB | 0,6 MiB |
| 100.033 líneas | 26 MiB | 54 MiB | 40 MiB | 0,5 MiB |
| 250.011 líneas | 26 MiB | 54 MiB | 40 MiB | 0,4 MiB |
- La edición se estabiliza. La memoria sube unos 5 MiB por cada 10.000 líneas mientras las ediciones alcanzan declaraciones que no se habían editado antes, y después se mantiene estable.
- El análisis repetido no retiene nada. Diez análisis y diez comprobaciones de un modelo sin cambios dejan la memoria donde estaba.
- El paso más grande es un análisis del modelo completo desde cero mientras la sesión sigue abierta, que mantiene dos copias del análisis a la vez; un editor que conserva una sola sesión no lo necesita.
- Imprimir el modelo completo necesita unos 40 MiB por cada 10.000 líneas por encima de la base (motor 2.0.1: de 53 a 55; motor 2.0.0: de 129 a 131).
- Cerrar devuelve la memoria. Queda un pequeño resto que no crece a lo largo de tres ciclos de reapertura.
- En Safari, esta caracterización no se ejecutó con el motor 2.1.1; las últimas cifras de sesión en Safari son las del motor 2.0.1, en el paquete de pruebas.
WebAssembly, medido en Safari
La compilación WebAssembly del motor 2.1.1, en el propio worker del motor de Holarch, con los mismos modelos generados. El inicio consiste en obtener e iniciar el motor y cargar la biblioteca estándar; el análisis en frío es la mediana de 3 workers nuevos; las ediciones son 200 por tipo tras 20 ediciones de calentamiento, en una sola sesión, como antes. Cada tamaño de modelo se ejecutó en su propia página. Los cambios de nombre solo se miden en la compilación nativa. Estas cifras se informan, no son criterios.
| Tamaño del modelo | Inicio del motor, Safari | Análisis en frío, Safari | Análisis en frío, nativo | Cambiar un valor, p95, Safari / nativo | Cambiar una importación, p95, Safari / nativo | Cambiar un supertipo, p95, Safari / nativo |
|---|---|---|---|---|---|---|
| 10.038 líneas | 143 ms | 215 ms | 150 ms | 3 / 1,3 ms | 4 / 2,1 ms | 4 / 2,2 ms |
| 50.013 líneas | 152 ms | 867 ms | 711 ms | 12 / 3,9 ms | 10 / 4,9 ms | 10 / 4,7 ms |
| 100.033 líneas | 144 ms | 1,63 s | 1,43 s | 20 / 7,7 ms | 20 / 8,6 ms | 20 / 8,5 ms |
| 250.011 líneas | 175 ms | 4,44 s | 3,73 s | 53 / 22,7 ms | 50 / 24,0 ms | 49 / 24,9 ms |
Todavía no compatible
Estas construcciones están en la lista publicada de construcciones no compatibles del motor. Los archivos de los modelos de ejemplo que discrepan del piloto por su causa salen del ámbito evaluado; ninguno en esta ejecución.
- Las representaciones textuales en otros lenguajes se conservan como texto y no se comprueban.
La variabilidad, las palabras clave definidas por el usuario y los efectos de transición escritos como accept o action salieron de la lista en las versiones 8 a 10 del método, a medida que se publicó cada una. Cada producción gramatical de la notación textual tiene al menos una prueba que la analiza y comprueba el resultado. La lista completa de lo que funciona en Holarch, con sus límites: cobertura del lenguaje SysML v2.
Reproducir los resultados
Los resultados pueden reproducirse de forma independiente: el paquete de pruebas (zip, SHA-256 5d9821f7dac3fd0b2bc49a8defe416ac01f515834d65d3182891a9f8d20e59ae) contiene lo necesario para repetir cada ejecución con la misma compilación del motor.
- Una guía de reproducción de una página,
REPRODUCE.md: los comandos exactos, las dependencias, las entradas con sus sumas de comprobación, los resultados esperados y los tiempos de ejecución. - El método de prueba, con cada versión del método (1 a 10) y su motivo.
- Las tablas de clasificación: la lista de construcciones no compatibles, cada discrepancia clasificada con su clase y su cláusula, el registro anterior, la revisión de cada error del motor y las categorías de vinculación.
- El resumen y los resultados legibles por máquina de cada ejecución para el motor 2.1.1 (todas las medidas y la caracterización de la memoria de sesión), el motor 2.0.1 (velocidad y memoria, memoria de sesión), Holarch 2.15.1 (ambas compilaciones del código del motor 2.0.0), 2.14.0 (velocidad y memoria), 2.13.1 y 2.12.0, y los tiempos y la memoria de sesión de WebAssembly medidos en Safari.
- El generador de los modelos grandes, determinista para cada semilla, y los scripts de medición y comparación.
- Una suma de comprobación de cada archivo.
No contiene el motor ni los archivos del OMG. Los scripts obtienen los modelos de ejemplo y la implementación piloto de sus fuentes públicas, en el commit y con la suma de comprobación de paquete fijados. El motor para repetir una ejecución se proporciona con una evaluación del motor.
Ejecuciones anteriores
Las ejecuciones oficiales anteriores se mantienen tal como se midieron, cada una según su propia versión del método. Con los métodos 1 a 3, un análisis en frío en 0,6 s con 100.000 líneas era un objetivo; ninguna ejecución lo cumplió. El método 4 lo informa sin objetivo. El pico de memoria antes de la versión 3 del método era el pico de memoria residente del proceso de medición, que también cuenta la memoria que el asignador reserva para reutilizar; no es comparable con la cifra del heap del motor. Las ejecuciones de Holarch 2.15.0 y 2.14.0 solo midieron velocidad y memoria; los tiempos de la ejecución de 2.15.0 son alrededor de una cuarta parte más altos que los de las compilaciones anterior y posterior, medidos mientras se realizaban otros trabajos en el mismo equipo.
| Compilación | Versión del motor | Versión de Holarch | Método | Aceptación, en bruto | Aceptación, clasificada (revisión interna) | Vinculación de nombres | Análisis en frío, 100.000 líneas | Pico de memoria, 100.000 líneas |
|---|---|---|---|---|---|---|---|---|
| 37168cc | 2.1.1 | 2.21.0 (distribuye el motor 2.1.2) | 10 | 242 de 252 | 252 de 252 | 4904 de 4908 | 1,43 s | 302 MiB de heap del motor |
| d8cf5c8 | 2.0.1 | 2.17.1 | 7 | No medido | No medido | No medido | 1,23 s | 362 MiB de heap del motor |
| 91f058a | 2.0.0 | 2.15.1 (mismo código del motor que dd4fb10) | 6 | 232 de 252 | 241 de 241 | 4879 de 4886 | 1,35 s | 362 MiB de heap del motor |
| dd4fb10 | 1.0.0 | 2.15.1 | 6 | 232 de 252 | 241 de 241 | 4879 de 4886 | 1,28 s | 362 MiB de heap del motor |
| e6bb924 | 1.0.0 | 2.15.0 | 5 | No medido | No medido | No medido | 1,57 s | 362 MiB de heap del motor |
| 0c983e2 | 1.0.0 | 2.14.0 | 6 | No medido | No medido | No medido | 1,37 s | 362 MiB de heap del motor |
| d3f5d4b | 1.0.0 | 2.13.1, 2.13.2 | 5 | 231 de 252 | 240 de 242 | 4851 de 4860 | 1,24 s | 362 MiB de heap del motor |
| 8a6bf7b | 1.0.0 | 2.12.0 | 5 | 220 de 252 | 229 de 242 | 4753 de 4768 | 1,21 s | 362 MiB de heap del motor |
| 6eec2b7 | 1.0.0 | – | 5 | 231 de 252 | 240 de 240 (clasificación anterior a la revisión de errores) | 4851 de 4860 | 1,20 s | 362 MiB de heap del motor |
| c184e57 | 1.0.0 | 2.11.0 | 3 | 220 de 252 | 228 de 228 | 4753 de 4768 | 1,31 s | 361 MiB de heap del motor |
| bfa03c7 | 1.0.0 | – | 2 | 220 de 252 | 228 de 228 | 4753 de 4768 | 1,35 s | 972 MiB del proceso |
| 1cada39 | 1.0.0 | – | 2 | 216 de 252 | 224 de 228 | 4737 de 4752 | 4,24 s | 1022 MiB del proceso |
| fd20280 | 1.0.0 | – | 1 | 145 de 252 | Sin clasificar (método 1) | 4326 de 4373 | 2,41 s | 1535 MiB del proceso |
Lo que estos resultados no demuestran
- Son mediciones propias de Holarch sobre los modelos con los que se ejecutaron. No son una certificación. El Object Management Group no las ha revisado ni respaldado.
- La implementación piloto y los modelos de ejemplo no son la especificación. Cuando difieren del motor, la clasificación anterior indica a qué lado da la razón la especificación, y por qué.
- Todas las clasificaciones y revisiones de esta página son revisiones internas. Está prevista una revisión externa de una muestra de los casos de prueba del motor frente a la especificación.
- La simulación de acciones y máquinas de estados, el complemento de simulación con licencia aparte, no se mide aquí.
- La conversión de modelos SysML v1 a SysML v2 no se mide aquí. Para los licenciatarios del motor, es el complemento de migración, con licencia aparte.
Pruebe el motor con sus propios modelos.
La evaluación es gratuita durante 60 días.