Límites probados
Qué tamaño de proyecto admite Holarch
Los proyectos más grandes con los que se prueba Holarch, la memoria del navegador y los tiempos de apertura que necesitan, y la prueba de carga del servicio alojado en la que se basa el límite de elementos de cada plan.
Rendimiento
Medido con proyectos generados en ambos lenguajes de modelado; cifras del navegador en Safari en un Mac. Cada tabla indica la versión de Holarch en la que se midió.
- Aplicación de escritorio (Holarch instalado en su equipo): probada hasta 700.000 elementos por proyecto en LML y 400.000 en SysML v2 (Más de 250.000 elementos).
- Servicio alojado (app.holarch.app): hasta 50.000 elementos por proyecto; vincule proyectos para programas más grandes con vínculos entre proyectos, el Program Map y bibliotecas (Límites de los planes).
- Servidor Holarch autoalojado (Enterprise): probado hasta 400.000 elementos por proyecto, en LML y SysML v2. Un proyecto se mantiene por debajo de 1 GB de memoria adicional del servidor hasta unos 330.000 elementos LML y por encima de 400.000 elementos SysML v2 (Servidor autoalojado con más de 250.000 elementos).
Servicio alojado: memoria del servidor
La memoria del servidor que necesita un proyecto mientras está abierto, por encima de la que usa el servidor sin él, por cada 10.000 elementos. Probado hasta 50.000 elementos por proyecto, el límite del servicio alojado.
| Lenguaje | Por cada 10.000 elementos | Mayor proyecto probado |
|---|---|---|
| LML | unos 17 MB | 50.000 elementos |
| SysML v2 | 4–8 MB | 50.000 elementos |
- Las cifras son la memoria adicional de un proyecto abierto, no la memoria de todo el servidor. La base, un servidor recién iniciado tras un inicio de sesión, es de unos 130 MB.
- La memoria que necesita la pestaña de un proyecto en su navegador figura más abajo (Memoria del navegador).
Memoria del navegador
La página de Holarch usa unos 100 MB sin ningún proyecto abierto. Esa es la base. Las cifras siguientes son la memoria que necesita la pestaña del navegador por encima de la base por cada 10.000 elementos del proyecto, en el punto más alto mientras se abre el proyecto.
| Lenguaje | Servicio alojado | Instalado en su equipo |
|---|---|---|
| LML | 40–60 MB | 50–70 MB |
| SysML v2 | 100–155 MB | 70–80 MB |
- La cifra varía con el tamaño del proyecto. Planifique con la cifra más alta.
- Editar añade poco: tras 100 ediciones, la pestaña de un proyecto LML no usaba más memoria que antes. Mientras se guardan las ediciones, puede necesitar brevemente hasta unos 0,6 GB más.
- La memoria que hay que prever para cada tamaño de proyecto: Requisitos del sistema.
Tiempos de apertura
Desde el clic hasta que la página está lista para usarse. Un proyecto SysML v2 ejecuta después su primera comprobación del modelo en segundo plano mientras usted trabaja; la segunda cifra es el tiempo hasta que termina esa comprobación.
| Elementos | LML, alojado | LML, instalado | SysML v2, alojado | SysML v2, instalado |
|---|---|---|---|---|
| 50,000 | unos 1 s | unos 1 s | unos 2 s; comprobación 4 s | no medido |
| 100,000 | — | unos 1 s | — | unos 2 s; comprobación 5 s |
| 150,000 | — | no medido | — | no medido |
| 200,000 | — | unos 2 s | — | no medido |
| 250,000 | — | no medido | — | unos 6 s; comprobación 14 s |
- Los tiempos alojados se midieron con un servidor de pruebas. Una conexión de red lenta añade el tiempo de descarga del proyecto.
- — : por encima del límite del servicio alojado de 50.000 elementos por proyecto.
- Confirmación de ediciones y muchas personas trabajando a la vez en el servicio alojado: consulte Resultados de la prueba de carga.
- Velocidad y memoria del motor de lenguaje SysML v2 por sí solo: consulte Resultados de las pruebas del Language Engine.
Más de 250.000 elementos, instalado en su equipo
Holarch 2.30.0 abrió en Safari proyectos generados de 400.000 y 700.000 elementos LML y un modelo SysML v2 de 400.000 elementos, hizo una edición, la guardó y cerró el proyecto. No falló nada.
| Proyecto | Apertura | Trabajo en segundo plano terminado | Memoria del navegador por cada 10.000 elementos, durante la apertura |
|---|---|---|---|
| LML, 400.000 elementos | unos 4 s | 16 s | unos 105 MB |
| LML, 700.000 elementos | unos 6 s | 21 s | unos 130 MB |
| SysML v2, 400.000 elementos | unos 3 s | 19 s | unos 85 MB |
- Con estos tamaños, la memoria de su equipo marca el límite.
- La página puede dejar de responder unos segundos mientras se abre un proyecto LML tan grande y mientras se guarda su primera edición.
Servidor autoalojado con más de 250.000 elementos
Se probó un servidor Holarch con Holarch 2.30.0 con proyectos generados de 250.000 y 400.000 elementos LML, con tres relaciones por elemento, y un modelo SysML v2 de 400.000 elementos. Cada proyecto pasó por esta carga de trabajo:
- Guardar todo el proyecto en el servidor, abrirlo y volver a abrirlo.
- El propietario edita desde 10 páginas a la vez durante 60 segundos; cada página hace una edición por segundo y vuelve a abrir el proyecto cada 15 segundos.
- Una compactación del historial de cambios.
- Eliminar el proyecto.
Todas las fases se superaron: sin errores del servidor ni ediciones rechazadas.
| Proyecto | Por cada 10.000 elementos, fase más alta | Por debajo de 1 GB | Confirmación de ediciones p95 |
|---|---|---|---|
| LML, 250.000 elementos | unos 31 MB | sí | 30 ms |
| LML, 400.000 elementos | unos 30 MB | no, a partir de unos 330.000 elementos | 60 ms |
| SysML v2, 400.000 elementos | unos 21 MB | sí | 34 ms |
- Estas cifras son la memoria adicional del servidor que necesita el proyecto, por encima de la que usa el servidor sin él. No son la memoria de todo el servidor.
- Un guardado del proyecto completo está limitado de forma predeterminada a 192 MB de datos del proyecto, unos 340.000 elementos LML o 430.000 elementos SysML v2. Un servidor autoalojado puede aumentar el límite; las ejecuciones de 400.000 elementos lo hicieron.
- Son tamaños probados con esta carga de trabajo, no una garantía para todos los modelos. Los textos largos y los muchos diagramas no formaron parte de esta prueba.
1.1.6 → 2.15.1
Holarch 1.1.6 es la primera versión medida con estas pruebas de proyectos grandes. Las mismas pruebas se ejecutaron sin cambios en 1.1.6 y en 2.15.1, con los mismos proyectos LML generados, en el mismo equipo y con los mismos límites del servidor.
| Medida | Holarch 1.1.6 | Holarch 2.15.1 |
|---|---|---|
| Memoria por cada 10.000 elementos: crear, abrir, 200 ediciones y una versión | 220–250 MB | 40–55 MB a partir de 20.000 elementos (80–110 MB con 5000–10.000) |
| Lo mismo, con una versión escrita mientras el propietario edita | se quedó sin memoria con 25.000 elementos | 45–67 MB |
| Base: el servidor tras un inicio de sesión | unos 125 MB | unos 130 MB |
| Escribir una versión de un proyecto de 25.000 elementos | 7,5 s | 0,4 s |
| Mayor proyecto probado | 25.000 elementos | 115.000 elementos, el máximo que admite un guardado de 64 MB |
| Paso | Elementos | Holarch 1.1.6 | Holarch 2.15.1 |
|---|---|---|---|
| Inicio | 25,000 / 50,000 | 36 s / 149 s | 0,7 s / 1,6 s |
| Página de comprobaciones del modelo | 25,000 / 50,000 | 66 s / 297 s | 0,4 s / 0,7 s |
| Matriz de trazabilidad (requisitos × casos de prueba) | 10,000 | 47 s | 0,2 s |
| Matriz de trazabilidad de verificación de requisitos | 10,000 | 31 s | 0,1 s |
| Abrir un documento de 2000 requisitos | 5,000 / 10,000 / 25,000 | 0,6 s / 0,6 s / 0,8 s | 0,5 s / 0,5 s / 0,5 s* |
| Guardar tras una edición | 5,000 / 10,000 / 25,000 / 50,000 | 0,2 s / 0,5 s / 30 s / 152 s | 0,15 s / 0,3 s / 0,8 s / 1,6 s* |
| Comprobación de calidad de 2000 requisitos | 10,000 | 30 s | 3,2 s |
| Mayor proyecto que pasó por todos los pasos | — | 50.000 elementos, con la página sin responder durante más de 2 minutos seguidos | 100.000 elementos; Inicio 3,2 s, matriz 0,3 s |
- * Medido en 2.16.1, que hizo estos dos pasos más rápidos que en 2.15.1. Las demás cifras se midieron en 2.15.1.
- En 1.1.6, la matriz de trazabilidad detenía la página durante más de 2 minutos con 25.000 elementos, así que no se midió con tamaños mayores. En 2.15.1 se abre en menos de 0,3 s con cualquier tamaño hasta 100.000 elementos.
El criterio de aprobación
El servicio alojado se somete a pruebas de carga con varias personas abriendo y editando un mismo proyecto a la vez. Un tamaño de proyecto se aprueba cuando el servicio cumple todas las condiciones de este escenario:
- El servidor acaba de compactar el historial de cambios del proyecto. Abrir un proyecto es lo más costoso en este estado.
- 10 personas abren el proyecto en el mismo momento.
- Las mismas 10 personas lo editan después durante 60 segundos, cada una con una edición por segundo.
- Confirmación de ediciones: el servidor confirma el 95 % de las ediciones en 1,5 segundos (p95 ≤ 1,5 s).
- Sin fallos: ningún error del servidor.
Configuración de la prueba
- El software de servidor de producción, en una configuración de prueba más lenta que el servicio alojado, así que los resultados son conservadores.
- Los límites de recursos y los ajustes del servicio alojado.
- La base de datos y el almacenamiento de archivos se ejecutaron en el mismo equipo, no a través de una red. Se inició un servidor nuevo para cada ejecución.
- Proyectos LML generados: 40 % de requisitos en especificaciones, 20 % de funciones, 15 % de componentes, 15 % de casos de prueba, 5 % de riesgos y el resto entradas y salidas, con tres relaciones por elemento.
Resultados
| Elementos | Datos enviados por apertura | Duración de las 10 aperturas | Confirmación de ediciones p95 | Resultado |
|---|---|---|---|---|
| 50,000 | 27,2 MB | 3,7 s | 1,49 s | Aprobado |
| 50.000 (segunda ejecución) | 27,2 MB | 3,6 s | 1,08 s | Aprobado |
- Ninguna ejecución tuvo errores del servidor.
- La edición típica (p50) se confirmó en unos 30 ms en todas las ejecuciones. Las ediciones lentas esperan detrás de las respuestas grandes de las aperturas simultáneas.
Límites de los planes
| Plan | Elementos por proyecto |
|---|---|
| Free / Academic | 1000 (2000 en una organización de clase activa) |
| Individual | 5,000 |
| Team | 50,000 |
- El servicio alojado (app.holarch.app) admite hasta 50.000 elementos por proyecto en todos los planes; vincule proyectos para programas más grandes. La aplicación de escritorio (Holarch instalado en su equipo) está probada hasta 700.000 elementos por proyecto en LML y 400.000 en SysML v2.
- Un guardado del proyecto completo, como la importación de un archivo de proyecto, puede tener como máximo 192 MB de datos del proyecto. Un proyecto con textos largos puede alcanzar este tamaño antes que el límite de elementos.
- Qué cuenta como elemento: consulte Precios.
- La memoria del equipo que necesita en el navegador un proyecto de cada tamaño: consulte Requisitos del sistema.
Viajes de ida y vuelta: qué conserva cada formato de intercambio
Cada modelo se exportó en todos los formatos aplicables y se volvió a importar en un proyecto nuevo con las opciones predeterminadas. Después se contó cada elemento del original como conservado, transformado u omitido. Medido en Holarch 2.21.0, igual en el servicio alojado y con Holarch instalado en su equipo.
- Conservado: se encontró de nuevo sin cambios. Un elemento conserva su clase, nombre, número, descripción y etiquetas; una relación conserva su tipo, sus dos extremos y sus atributos; un valor de atributo, una vista guardada o una descripción con formato es igual que antes.
- Transformado: se encontró de nuevo con una diferencia, por ejemplo un Statement que vuelve como Requirement, un número o una etiqueta que falta, o un atributo de relación que vuelve con su valor predeterminado.
- Omitido: no está en el proyecto nuevo, porque el formato no tiene lugar para ello o porque se omitió uno de sus extremos.
| Formato | Elementos | Relaciones | Valores de atributos | Vistas guardadas | Documentos | Descripciones con formato |
|---|---|---|---|---|---|---|
| Archivo de proyecto de Holarch (.json) | 407 / 0 / 0 | 915 / 0 / 0 | 979 / 0 / 0 | 83 / 0 / 0 | 3 / 0 / 0 | 5 / 0 / 0 |
| Copia de seguridad y paquete de proyecto de Holarch (.holarch)* | 424 / 0 / 0 | 949 / 0 / 0 | 1,104 / 0 / 0 | 84 / 0 / 0 | 3 / 0 / 0 | 5 / 0 / 0 |
| XMI de UML/SysML, con datos de Holarch | 317 / 0 / 90 | 631 / 0 / 284 | 672 / 0 / 307 | 0 / 3 / 80 | 0 / 0 / 3 | 5 / 0 / 0 |
| XMI de UML/SysML, SysML sin más | 83 / 234 / 90 | 548 / 95 / 272 | 138 / 38 / 803 | 0 / 3 / 80 | 0 / 0 / 3 | 0 / 5 / 0 |
| Papyrus (.uml) | 317 / 0 / 90 | 631 / 0 / 284 | 672 / 0 / 307 | 0 / 3 / 80 | 0 / 0 / 3 | 5 / 0 / 0 |
| ReqIF | 407 / 0 / 0 | 879 / 21 / 15 | 979 / 0 / 0 | 0 / 0 / 83 | 3 / 0 / 0 | 5 / 0 / 0 |
| CSV, todos los atributos, etiquetas y relaciones | 393 / 14 / 0 | 810 / 96 / 9 | 979 / 0 / 0 | 0 / 0 / 83 | 3 / 0 / 0 | 5 / 0 / 0 |
| Copia SysML v2 y después copia LML | 348 / 41 / 18 | 703 / 56 / 156 | 857 / 33 / 89 | 26 / 7 / 50 | 3 / 0 / 0 | 0 / 5 / 0 |
* Medido en Holarch 2.33.0 con la demostración CubeSat EO-1 actual (424 elementos, 949 relaciones, 1104 valores de atributos, 84 vistas guardadas, 3 documentos, 5 descripciones con formato); no se transformó ni se omitió nada.
- Archivo de proyecto y paquete de proyecto: el proyecto completo, incluidos Inicio, Gráficos, el panel del programa y los ajustes del proyecto.
- XMI y Papyrus con datos de Holarch: todos los elementos para los que SysML tiene un elemento vuelven sin cambios, con su clase LML, número, etiquetas y atributos. Los 90 elementos omitidos son tareas, documentos, riesgos, incidencias, elementos del calendario, peligros y otros elementos para los que SysML no tiene elemento; la mayoría de las relaciones omitidas conectan con ellos. También vuelven atributos de relación como Trigger y Amount. Los diagramas distintos de los flujos de los diagramas de acción no forman parte de XMI.
- XMI sin datos de Holarch: SysML 1.6 sin más. Los Statements vuelven como Requirements, y los números, las etiquetas y los atributos de LML no están en el archivo.
- ReqIF: vuelven todos los elementos, valores de atributos, etiquetas y la estructura del documento, y las relaciones conservan sus atributos. La multiplicidad de una descomposición no se escribe, porque ReqIF guarda la descomposición como estructura del documento. Las adiciones propias del esquema de la demostración (por ejemplo, una Equation que satisface un Requirement) se omiten en un proyecto nuevo, que tiene el esquema estándar.
- CSV: vuelven todos los elementos y valores de atributos. Una tabla no tiene lugar para los atributos de relación, así que vuelven con sus valores predeterminados, y se omiten las etiquetas que el proyecto nuevo no tiene.
- Copia SysML v2 y vuelta: una conversión con informe, no un formato de intercambio. No vuelven los Measures ni los números de Asset, ni algunas trazas.
| Formato | Hybrid Car, 708 elementos | Hybrid Car, datos de Holarch | Battery Pack, 62 elementos |
|---|---|---|---|
| Archivo de proyecto de Holarch (.json) | 708 / 0 / 0 | todo conservado | 62 / 0 / 0 |
| Texto SysML v2 (.sysml) | 708 / 0 / 0 | no está en el archivo | 62 / 0 / 0 |
| JSON de SysML v2 | 708 / 0 / 0, id. de elementos conservados | no está en el archivo | 62 / 0 / 0, id. de elementos conservados |
| Copia LML y después copia SysML v2 | 22 / 184 / 502 | 21 de 27 elementos conservados | 6 / 21 / 35 |
- Texto y JSON de SysML v2: todos los elementos del modelo vuelven sin cambios. El estado de los requisitos, los resultados de verificación, los riesgos, los documentos y otros datos de Holarch solo viajan en el archivo de proyecto.
- Copia LML y vuelta: el modelo se reconstruye a partir de la copia LML, así que no vuelven las sucesiones, las importaciones, los metadatos ni la mayor parte del tipado.
Repita la prueba: cree la demostración desde Nuevo proyecto de demostración, expórtela en uno de los formatos, importe el archivo en un proyecto nuevo con las opciones predeterminadas y compare los dos proyectos en la Base de datos.
Qué no se midió
- Proyectos SysML v2, proyectos con muchos diagramas y descripciones largas en texto enriquecido.
- Varios proyectos grandes en uso en el mismo momento.
Preguntas sobre un modelo de su tamaño: contáctenos.