Limites testados
Qual o tamanho de projeto que o Holarch suporta
Os maiores projetos com que o Holarch é testado, a memória do navegador e os tempos de abertura de que precisam, e o teste de carga do serviço hospedado por trás do limite de itens de cada plano.
Desempenho
Medido com projetos gerados nas duas linguagens de modelagem; números do navegador no Safari em um Mac. Cada tabela indica a versão do Holarch em que foi medida.
- Aplicativo de desktop (Holarch instalado no seu computador): testado até 700.000 itens por projeto em LML e 400.000 em SysML v2 (Acima de 250.000 itens).
- Serviço hospedado (app.holarch.app): até 50.000 itens por projeto; vincule projetos para programas maiores com vínculos entre projetos, o Mapa do programa e bibliotecas (Limites dos planos).
- Servidor Holarch auto-hospedado (Enterprise): testado até 400.000 itens por projeto, em LML e SysML v2. Um projeto fica abaixo de 1 GB de memória adicional do servidor até cerca de 330.000 itens LML e acima de 400.000 itens SysML v2 (Servidor auto-hospedado acima de 250.000 itens).
Serviço hospedado: memória do servidor
A memória do servidor de que um projeto precisa enquanto está aberto, além do que o servidor usa sem ele, para cada 10.000 itens. Testado até 50.000 itens por projeto, o limite do serviço hospedado.
| Idioma | Por 10.000 itens | Maior projeto testado |
|---|---|---|
| LML | cerca de 17 MB | 50.000 itens |
| SysML v2 | 4–8 MB | 50.000 itens |
- Os números são a memória adicional de um projeto aberto, não a memória do servidor inteiro. A base, um servidor recém-iniciado após um login, é de cerca de 130 MB.
- A memória de que a aba de um projeto precisa no seu navegador está abaixo (Memória do navegador).
Memória do navegador
A página do Holarch usa cerca de 100 MB sem nenhum projeto aberto. Essa é a base. Os números abaixo são a memória de que a aba do navegador precisa além da base para cada 10.000 itens do projeto, no ponto mais alto enquanto o projeto abre.
| Idioma | Serviço hospedado | Instalado no seu computador |
|---|---|---|
| LML | 40–60 MB | 50–70 MB |
| SysML v2 | 100–155 MB | 70–80 MB |
- O número varia com o tamanho do projeto. Planeje com o número mais alto.
- Editar acrescenta pouco: após 100 edições, a aba de um projeto LML não usava mais memória do que antes delas. Enquanto as edições são salvas, ela pode precisar brevemente de até cerca de 0,6 GB a mais.
- A memória a prever para cada tamanho de projeto: Requisitos do sistema.
Tempos de abertura
Do clique até a página estar pronta para uso. Um projeto SysML v2 então executa sua primeira checagem do modelo em segundo plano enquanto você trabalha; o segundo número é o tempo até essa checagem terminar.
| Itens | LML, hospedado | LML, instalado | SysML v2, hospedado | SysML v2, instalado |
|---|---|---|---|---|
| 50,000 | cerca de 1 s | cerca de 1 s | cerca de 2 s; checagem 4 s | não medido |
| 100,000 | — | cerca de 1 s | — | cerca de 2 s; checagem 5 s |
| 150,000 | — | não medido | — | não medido |
| 200,000 | — | cerca de 2 s | — | não medido |
| 250,000 | — | não medido | — | cerca de 6 s; checagem 14 s |
- Os tempos hospedados foram medidos com um servidor de teste. Uma conexão de rede lenta acrescenta o tempo de download do projeto.
- — : acima do limite do serviço hospedado de 50.000 itens por projeto.
- Confirmação de edições e muitas pessoas trabalhando ao mesmo tempo no serviço hospedado: veja Resultados dos testes de carga.
- Velocidade e memória do motor de linguagem SysML v2 isoladamente: veja Resultados dos testes do Language Engine.
Acima de 250.000 itens, instalado no seu computador
O Holarch 2.30.0 abriu no Safari projetos gerados de 400.000 e 700.000 itens LML e um modelo SysML v2 de 400.000 itens, fez uma edição, salvou-a e fechou o projeto. Nada falhou.
| Projeto | Abertura | Trabalho em segundo plano concluído | Memória do navegador por 10.000 itens, durante a abertura |
|---|---|---|---|
| LML, 400.000 itens | cerca de 4 s | 16 s | cerca de 105 MB |
| LML, 700.000 itens | cerca de 6 s | 21 s | cerca de 130 MB |
| SysML v2, 400.000 itens | cerca de 3 s | 19 s | cerca de 85 MB |
- Nesses tamanhos, a memória do seu computador define o limite.
- A página pode parar de responder por alguns segundos enquanto um projeto LML tão grande abre e enquanto sua primeira edição é salva.
Servidor auto-hospedado acima de 250.000 itens
Um servidor Holarch com o Holarch 2.30.0 foi testado com projetos gerados de 250.000 e 400.000 itens LML, com três relacionamentos por item, e um modelo SysML v2 de 400.000 itens. Cada projeto passou por esta carga de trabalho:
- Salvar o projeto inteiro no servidor, abri-lo e abri-lo de novo.
- O proprietário edita a partir de 10 páginas ao mesmo tempo por 60 segundos, cada página fazendo uma edição por segundo e reabrindo o projeto a cada 15 segundos.
- Uma compactação do histórico de mudanças.
- Excluir o projeto.
Todas as fases passaram: nenhum erro de servidor e nenhuma edição rejeitada.
| Projeto | Por 10.000 itens, fase mais alta | Abaixo de 1 GB | Confirmação de edições p95 |
|---|---|---|---|
| LML, 250.000 itens | cerca de 31 MB | sim | 30 ms |
| LML, 400.000 itens | cerca de 30 MB | não, a partir de cerca de 330.000 itens | 60 ms |
| SysML v2, 400.000 itens | cerca de 21 MB | sim | 34 ms |
- Estes números são a memória adicional do servidor de que o projeto precisa, além do que o servidor usa sem ele. Não são a memória do servidor inteiro.
- Um salvamento do projeto inteiro é limitado por padrão a 192 MB de dados do projeto, cerca de 340.000 itens LML ou 430.000 itens SysML v2. Um servidor auto-hospedado pode elevar o limite; as execuções de 400.000 itens fizeram isso.
- Estes são tamanhos testados sob esta carga de trabalho, não uma garantia para todo modelo. Textos longos e muitos diagramas não fizeram parte deste teste.
1.1.6 → 2.15.1
O Holarch 1.1.6 é a primeira versão medida com estes testes de projetos grandes. Os mesmos testes rodaram sem alterações no 1.1.6 e no 2.15.1, com os mesmos projetos LML gerados, no mesmo computador e com os mesmos limites de servidor.
| Medida | Holarch 1.1.6 | Holarch 2.15.1 |
|---|---|---|
| Memória por 10.000 itens: criar, abrir, 200 edições e uma versão | 220–250 MB | 40–55 MB a partir de 20.000 itens (80–110 MB com 5.000–10.000) |
| O mesmo, com uma versão gravada enquanto o proprietário edita | ficou sem memória com 25.000 itens | 45–67 MB |
| Base: o servidor após um login | cerca de 125 MB | cerca de 130 MB |
| Gravar uma versão de um projeto de 25.000 itens | 7,5 s | 0,4 s |
| Maior projeto testado | 25.000 itens | 115.000 itens, o máximo que um salvamento de 64 MB comporta |
| Etapa | Itens | Holarch 1.1.6 | Holarch 2.15.1 |
|---|---|---|---|
| Início | 25,000 / 50,000 | 36 s / 149 s | 0,7 s / 1,6 s |
| Página de checagens do modelo | 25,000 / 50,000 | 66 s / 297 s | 0,4 s / 0,7 s |
| Matriz de rastreabilidade (requisitos × casos de teste) | 10,000 | 47 s | 0,2 s |
| Matriz de rastreabilidade de verificação de requisitos | 10,000 | 31 s | 0,1 s |
| Abrir um documento de 2.000 requisitos | 5,000 / 10,000 / 25,000 | 0,6 s / 0,6 s / 0,8 s | 0,5 s / 0,5 s / 0,5 s* |
| Salvar após uma edição | 5,000 / 10,000 / 25,000 / 50,000 | 0,2 s / 0,5 s / 30 s / 152 s | 0,15 s / 0,3 s / 0,8 s / 1,6 s* |
| Checagem de qualidade de 2.000 requisitos | 10,000 | 30 s | 3,2 s |
| Maior projeto que passou por todas as etapas | — | 50.000 itens, com a página sem responder por mais de 2 minutos de cada vez | 100.000 itens; Início 3,2 s, matriz 0,3 s |
- * Medido na 2.16.1, que tornou estas duas etapas mais rápidas que na 2.15.1. Os outros números foram medidos na 2.15.1.
- Na 1.1.6, a matriz de rastreabilidade travava a página por mais de 2 minutos com 25.000 itens, então não foi medida em tamanhos maiores nessa versão. Na 2.15.1, ela abre em menos de 0,3 s em todos os tamanhos até 100.000 itens.
O critério de aprovação
O serviço hospedado é testado sob carga com várias pessoas abrindo e editando um projeto ao mesmo tempo. Um tamanho de projeto é aprovado quando o serviço atende a todas as condições deste cenário:
- O servidor acabou de compactar o histórico de mudanças do projeto. Abrir um projeto custa mais nesse estado.
- 10 pessoas abrem o projeto no mesmo instante.
- As mesmas 10 pessoas então o editam por 60 segundos, cada uma fazendo uma edição por segundo.
- Confirmação de edições: 95 % das edições são confirmadas pelo servidor em até 1,5 segundo (p95 ≤ 1,5 s).
- Nenhuma falha: nenhum erro de servidor.
Configuração do teste
- O software de servidor de produção, em uma configuração de teste mais lenta que o serviço hospedado, de modo que os resultados são conservadores.
- Os limites de recursos e as configurações do serviço hospedado.
- O banco de dados e o armazenamento de arquivos rodaram no mesmo computador, não por uma rede. Um servidor novo foi iniciado para cada execução.
- Projetos LML gerados: 40 % requisitos em especificações, 20 % funções, 15 % componentes, 15 % casos de teste, 5 % riscos e o restante entradas e saídas, com três relacionamentos por item.
Resultados
| Itens | Dados enviados por abertura | Duração das 10 aberturas | Confirmação de edições p95 | Resultado |
|---|---|---|---|---|
| 50,000 | 27,2 MB | 3,7 s | 1,49 s | Aprovado |
| 50.000 (segunda execução) | 27,2 MB | 3,6 s | 1,08 s | Aprovado |
- Nenhuma execução teve erro de servidor.
- A edição típica (p50) foi confirmada em cerca de 30 ms em todas as execuções. As edições lentas esperam atrás das respostas grandes das aberturas simultâneas.
Limites dos planos
| Plano | Itens por projeto |
|---|---|
| Free / Acadêmico | 1.000 (2.000 em uma organização de turma ativa) |
| Individual | 5,000 |
| Team | 50,000 |
- O serviço hospedado (app.holarch.app) comporta até 50.000 itens por projeto em todos os planos; vincule projetos para programas maiores. O aplicativo de desktop (Holarch instalado no seu computador) é testado até 700.000 itens por projeto em LML e 400.000 em SysML v2.
- Um salvamento do projeto inteiro, como a importação de um arquivo de projeto, pode ter no máximo 192 MB de dados do projeto. Um projeto com textos longos pode chegar a esse tamanho antes do limite de itens.
- O que conta como item: veja Preços.
- A memória do computador de que um projeto de cada tamanho precisa no navegador: veja Requisitos do sistema.
Ciclos de ida e volta: o que cada formato de intercâmbio mantém
Cada modelo foi exportado em todos os formatos aplicáveis e importado de novo em um novo projeto com as opções padrão. Cada elemento do original foi então contado como mantido, transformado ou descartado. Medido no Holarch 2.21.0, igual no serviço hospedado e instalado no seu computador.
- Mantido: encontrado de novo sem alterações. Um item mantém sua classe, nome, número, descrição e rótulos; um relacionamento mantém seu tipo, suas duas extremidades e seus atributos; um valor de atributo, uma visão salva ou uma descrição formatada é igual ao de antes.
- Transformado: encontrado de novo com uma diferença, por exemplo um Statement que volta como Requirement, um número ou um rótulo que falta, ou um atributo de relacionamento que volta com seu valor padrão.
- Descartado: ausente do novo projeto, porque o formato não tem lugar para ele ou uma de suas extremidades foi descartada.
| Formato | Itens | Relacionamentos | Valores de atributos | Visões salvas | Documentos | Descrições formatadas |
|---|---|---|---|---|---|---|
| Arquivo de projeto do Holarch (.json) | 407 / 0 / 0 | 915 / 0 / 0 | 979 / 0 / 0 | 83 / 0 / 0 | 3 / 0 / 0 | 5 / 0 / 0 |
| Backup e pacote de projeto do Holarch (.holarch)* | 424 / 0 / 0 | 949 / 0 / 0 | 1,104 / 0 / 0 | 84 / 0 / 0 | 3 / 0 / 0 | 5 / 0 / 0 |
| XMI UML/SysML, com dados do Holarch | 317 / 0 / 90 | 631 / 0 / 284 | 672 / 0 / 307 | 0 / 3 / 80 | 0 / 0 / 3 | 5 / 0 / 0 |
| XMI UML/SysML, SysML simples | 83 / 234 / 90 | 548 / 95 / 272 | 138 / 38 / 803 | 0 / 3 / 80 | 0 / 0 / 3 | 0 / 5 / 0 |
| Papyrus (.uml) | 317 / 0 / 90 | 631 / 0 / 284 | 672 / 0 / 307 | 0 / 3 / 80 | 0 / 0 / 3 | 5 / 0 / 0 |
| ReqIF | 407 / 0 / 0 | 879 / 21 / 15 | 979 / 0 / 0 | 0 / 0 / 83 | 3 / 0 / 0 | 5 / 0 / 0 |
| CSV, todos os atributos, rótulos e relacionamentos | 393 / 14 / 0 | 810 / 96 / 9 | 979 / 0 / 0 | 0 / 0 / 83 | 3 / 0 / 0 | 5 / 0 / 0 |
| Cópia SysML v2, depois cópia LML | 348 / 41 / 18 | 703 / 56 / 156 | 857 / 33 / 89 | 26 / 7 / 50 | 3 / 0 / 0 | 0 / 5 / 0 |
* Medido no Holarch 2.33.0 sobre o demo CubeSat EO-1 atual (424 itens, 949 relacionamentos, 1.104 valores de atributos, 84 visões salvas, 3 documentos, 5 descrições formatadas); nada foi transformado nem descartado.
- Arquivo de projeto e pacote de projeto: o projeto inteiro, incluindo Início, Gráficos, o painel do programa e os ajustes do projeto.
- XMI e Papyrus com dados do Holarch: todo item para o qual o SysML tem um elemento volta sem alterações, com sua classe LML, número, rótulos e atributos. Os 90 itens descartados são tarefas, documentos, riscos, problemas, itens de cronograma, perigos e outros itens para os quais o SysML não tem elemento; a maioria dos relacionamentos descartados se conecta a eles. Atributos de relacionamentos como Trigger e Amount também voltam. Diagramas que não sejam os fluxos dos diagramas de Action não fazem parte do XMI.
- XMI sem dados do Holarch: SysML 1.6 simples. Os Statements voltam como Requirements, e os números LML, os rótulos e os atributos LML não estão no arquivo.
- ReqIF: todos os itens, valores de atributos, rótulos e a estrutura do documento voltam, e os relacionamentos mantêm seus atributos. A multiplicidade de uma decomposição não é gravada, porque o ReqIF guarda a decomposição como a estrutura do documento. Os acréscimos ao esquema próprios do demo (por exemplo, uma Equation que satisfaz um Requirement) são ignorados em um novo projeto, que tem o esquema padrão.
- CSV: todos os itens e valores de atributos voltam. Uma tabela não tem lugar para atributos de relacionamentos, então eles voltam com seus valores padrão, e os rótulos que o novo projeto não tem ficam de fora.
- Cópia SysML v2 e volta: uma conversão com relatório, não um formato de intercâmbio. Measures e números de Asset não voltam, nem alguns rastros.
| Formato | Hybrid Car, 708 elementos | Hybrid Car, dados do Holarch | Battery Pack, 62 elementos |
|---|---|---|---|
| Arquivo de projeto do Holarch (.json) | 708 / 0 / 0 | todos mantidos | 62 / 0 / 0 |
| Texto SysML v2 (.sysml) | 708 / 0 / 0 | não está no arquivo | 62 / 0 / 0 |
| SysML v2 JSON | 708 / 0 / 0, ids dos elementos mantidos | não está no arquivo | 62 / 0 / 0, ids dos elementos mantidos |
| Cópia LML, depois cópia SysML v2 | 22 / 184 / 502 | 21 de 27 itens mantidos | 6 / 21 / 35 |
- Texto e JSON SysML v2: todos os elementos do modelo voltam sem alterações. Status de requisitos, resultados de verificação, riscos, documentos e outros dados do Holarch só trafegam no arquivo de projeto.
- Cópia LML e volta: o modelo é reconstruído a partir da cópia LML, então sucessões, importações, metadados e a maior parte da tipagem não voltam.
Repita o teste: crie o demo em Novo projeto de demonstração, exporte-o em um dos formatos, importe o arquivo em um novo projeto com as opções padrão e compare os dois projetos no Banco de dados.
O que não foi medido
- Projetos SysML v2, projetos com muitos diagramas e descrições longas em rich text.
- Vários projetos grandes em uso no mesmo instante.
Dúvidas sobre um modelo do seu tamanho: entre em contato conosco.