Проверенные пределы
Насколько большой проект выдерживает Holarch
Самые большие проекты, на которых проверяется Holarch, нужные им память браузера и время открытия, а также нагрузочный тест облачного сервиса, на котором основано ограничение по элементам для каждого тарифа.
Характеристика
Измерено на сгенерированных проектах на обоих языках моделирования; данные браузера — в Safari на Mac. В каждой таблице указана версия Holarch, на которой проводилось измерение.
- Настольное приложение (Holarch, установленный на вашем компьютере): проверено до 700 000 элементов на проект в LML и 400 000 в SysML v2 (Более 250 000 элементов).
- Облачный сервис (app.holarch.app): до 50 000 элементов на проект; для более крупных программ связывайте проекты с помощью межпроектных связей, Карты программы и библиотек (Ограничения тарифов).
- Собственный сервер Holarch (Enterprise): проверено до 400 000 элементов на проект в LML и SysML v2. Проект занимает менее 1 GB дополнительной памяти сервера примерно до 330 000 элементов LML и свыше 400 000 элементов SysML v2 (Собственный сервер: более 250 000 элементов).
Облачный сервис: память сервера
Память сервера, которая нужна открытому проекту сверх того, что сервер использует без него, на каждые 10 000 элементов. Проверено до 50 000 элементов на проект — ограничения облачного сервиса.
| Язык | На 10 000 элементов | Самый большой проверенный проект |
|---|---|---|
| LML | около 17 MB | 50 000 элементов |
| SysML v2 | 4–8 MB | 50 000 элементов |
- Данные — это дополнительная память открытого проекта, а не память всего сервера. Базовый уровень — только что запущенный сервер после одного входа — составляет около 130 MB.
- Память, которая нужна вкладке проекта в вашем браузере, указана ниже (Память браузера).
Память браузера
Страница Holarch без открытого проекта использует около 100 MB. Это базовый уровень. Ниже приведена память, которая нужна вкладке браузера сверх базового уровня на каждые 10 000 элементов проекта, в пиковый момент при открытии проекта.
| Язык | Облачный сервис | Установлен на вашем компьютере |
|---|---|---|
| LML | 40–60 MB | 50–70 MB |
| SysML v2 | 100–155 MB | 70–80 MB |
- Значение зависит от размера проекта. Ориентируйтесь на большее значение.
- Редактирование добавляет немного: после 100 правок вкладка проекта LML использовала не больше памяти, чем до них. Во время сохранения правок ей может кратковременно понадобиться ещё до 0,6 GB.
- Сколько памяти закладывать для каждого размера проекта: Системные требования.
Время открытия
От щелчка до готовности страницы к работе. Затем проект SysML v2 выполняет первую проверку модели в фоне, пока вы работаете; второе значение — время до завершения этой проверки.
| Элементы | LML, облако | LML, установлен | SysML v2, облако | SysML v2, установлен |
|---|---|---|---|---|
| 50,000 | около 1 с | около 1 с | около 2 с; проверка 4 с | не измерялось |
| 100,000 | — | около 1 с | — | около 2 с; проверка 5 с |
| 150,000 | — | не измерялось | — | не измерялось |
| 200,000 | — | около 2 с | — | не измерялось |
| 250,000 | — | не измерялось | — | около 6 с; проверка 14 с |
- Время для облака измерялось на тестовом сервере. При медленном сетевом подключении добавляется время загрузки проекта.
- — : сверх ограничения облачного сервиса в 50 000 элементов на проект.
- Подтверждение правок и одновременная работа многих людей в облачном сервисе: см. Результаты нагрузочного теста.
- Скорость и память языкового движка SysML v2 отдельно: см. Результаты тестов Language Engine.
Более 250 000 элементов, установка на вашем компьютере
Holarch 2.30.0 открыл в Safari сгенерированные проекты из 400 000 и 700 000 элементов LML и модель SysML v2 из 400 000 элементов, внёс одну правку, сохранил её и закрыл проект. Сбоев не было.
| Проект | Открытие | Фоновая работа завершена | Память браузера на 10 000 элементов при открытии |
|---|---|---|---|
| LML, 400 000 элементов | около 4 с | 16 с | около 105 MB |
| LML, 700 000 элементов | около 6 с | 21 с | около 130 MB |
| SysML v2, 400 000 элементов | около 3 с | 19 с | около 85 MB |
- При таких размерах предел задаёт память вашего компьютера.
- Пока открывается такой большой проект LML и пока сохраняется его первая правка, страница может на несколько секунд перестать отвечать.
Собственный сервер: более 250 000 элементов
Сервер Holarch с Holarch 2.30.0 проверялся на сгенерированных проектах из 250 000 и 400 000 элементов LML, по три связи на элемент, и на модели SysML v2 из 400 000 элементов. Каждый проект прошёл такую нагрузку:
- Сохранить весь проект на сервер, открыть его и открыть ещё раз.
- Владелец 60 секунд редактирует с 10 страниц одновременно; каждая страница вносит одну правку в секунду и повторно открывает проект каждые 15 секунд.
- Уплотнение истории изменений.
- Удалить проект.
Все фазы пройдены: ни ошибок сервера, ни отклонённых правок.
| Проект | На 10 000 элементов, самая тяжёлая фаза | Менее 1 GB | Подтверждение правки, p95 |
|---|---|---|---|
| LML, 250 000 элементов | около 31 MB | да | 30 мс |
| LML, 400 000 элементов | около 30 MB | нет, начиная примерно с 330 000 элементов | 60 мс |
| SysML v2, 400 000 элементов | около 21 MB | да | 34 мс |
- Эти значения — дополнительная память сервера, нужная проекту, сверх того, что сервер использует без него. Это не память всего сервера.
- Сохранение всего проекта по умолчанию ограничено 192 MB данных проекта — это примерно 340 000 элементов LML или 430 000 элементов SysML v2. Собственный сервер может повысить этот предел; в прогонах с 400 000 элементов он был повышен.
- Это проверенные размеры при данной нагрузке, а не гарантия для любой модели. Длинные тексты и большое число диаграмм в этот тест не входили.
1.1.6 → 2.15.1
Holarch 1.1.6 — первая версия, измеренная этими тестами больших проектов. Те же тесты без изменений выполнялись на 1.1.6 и на 2.15.1, с теми же сгенерированными проектами LML, на том же компьютере и с теми же пределами сервера.
| Измерение | Holarch 1.1.6 | Holarch 2.15.1 |
|---|---|---|
| Память на 10 000 элементов: создание, открытие, 200 правок и версия | 220–250 MB | 40–55 MB начиная с 20 000 элементов (80–110 MB при 5 000–10 000) |
| То же, с записью версии во время редактирования владельцем | нехватка памяти при 25 000 элементов | 45–67 MB |
| Базовый уровень: сервер после одного входа | около 125 MB | около 130 MB |
| Запись версии проекта из 25 000 элементов | 7,5 с | 0,4 с |
| Самый большой проверенный проект | 25 000 элементов | 115 000 элементов — наибольший объём, который вмещает одно сохранение в 64 MB |
| Шаг | Элементы | Holarch 1.1.6 | Holarch 2.15.1 |
|---|---|---|---|
| Главная | 25,000 / 50,000 | 36 с / 149 с | 0,7 с / 1,6 с |
| Страница проверок модели | 25,000 / 50,000 | 66 с / 297 с | 0,4 с / 0,7 с |
| Матрица прослеживаемости (требования × тестовые случаи) | 10,000 | 47 с | 0,2 с |
| Матрица прослеживаемости верификации требований | 10,000 | 31 с | 0,1 с |
| Открытие документа из 2 000 требований | 5,000 / 10,000 / 25,000 | 0,6 с / 0,6 с / 0,8 с | 0,5 с / 0,5 с / 0,5 с* |
| Сохранение после одной правки | 5,000 / 10,000 / 25,000 / 50,000 | 0,2 с / 0,5 с / 30 с / 152 с | 0,15 с / 0,3 с / 0,8 с / 1,6 с* |
| Проверка качества 2 000 требований | 10,000 | 30 с | 3,2 с |
| Самый большой проект, прошедший все шаги | — | 50 000 элементов, страница не отвечала более 2 минут подряд | 100 000 элементов; Главная 3,2 с, матрица 0,3 с |
- * Измерено на 2.16.1, где эти два шага стали быстрее, чем в 2.15.1. Остальные значения измерены на 2.15.1.
- В 1.1.6 матрица прослеживаемости останавливала страницу более чем на 2 минуты при 25 000 элементов, поэтому на больших размерах её там не измеряли. В 2.15.1 она открывается менее чем за 0,3 с на любом размере до 100 000 элементов.
Критерий прохождения
Облачный сервис проходит нагрузочное тестирование, при котором несколько человек одновременно открывают и редактируют один проект. Размер проекта считается пройденным, если сервис выполняет все условия этого сценария:
- Сервер только что уплотнил историю изменений проекта. В этом состоянии открытие проекта обходится дороже всего.
- 10 человек открывают проект в один и тот же момент.
- Затем те же 10 человек редактируют его 60 секунд, каждый — по одной правке в секунду.
- Подтверждение правок: 95 % правок подтверждаются сервером в пределах 1,5 секунды (p95 ≤ 1,5 с).
- Без сбоев: ни одной ошибки сервера.
Тестовая конфигурация
- Серверное ПО рабочей среды на тестовой конфигурации, которая медленнее облачного сервиса, поэтому результаты консервативны.
- Пределы ресурсов и настройки облачного сервиса.
- База данных и файловое хранилище работали на том же компьютере, а не по сети. Для каждого прогона запускался новый сервер.
- Сгенерированные проекты LML: 40 % требований в спецификациях, 20 % функций, 15 % компонентов, 15 % тестовых случаев, 5 % рисков, остальное — входы и выходы, по три связи на элемент.
Результаты
| Элементы | Данные на одно открытие | 10 открытий заняли | Подтверждение правки, p95 | Результат |
|---|---|---|---|---|
| 50,000 | 27,2 MB | 3,7 с | 1,49 с | Пройдено |
| 50 000 (второй прогон) | 27,2 MB | 3,6 с | 1,08 с | Пройдено |
- Ни в одном прогоне не было ошибок сервера.
- Типичная правка (p50) подтверждалась примерно за 30 мс в каждом прогоне. Медленные правки ждут за большими ответами одновременных открытий.
Ограничения тарифов
| Тариф | Элементов на проект |
|---|---|
| Free / Academic | 1 000 (2 000 в активной организации-классе) |
| Individual | 5,000 |
| Team | 50,000 |
- Облачный сервис (app.holarch.app) вмещает до 50 000 элементов на проект в любом тарифе; для более крупных программ связывайте проекты. Настольное приложение (Holarch, установленный на вашем компьютере) проверено до 700 000 элементов на проект в LML и 400 000 в SysML v2.
- Сохранение всего проекта, например импорт файла проекта, может содержать не более 192 MB данных проекта. Проект с длинными текстами может достичь этого размера раньше ограничения по элементам.
- Что считается элементом: см. Цены.
- Сколько памяти компьютера нужно в браузере проекту каждого размера: см. Системные требования.
Круговой обмен: что сохраняет каждый формат обмена
Каждая модель экспортировалась во все применимые форматы и снова импортировалась в новый проект с параметрами по умолчанию. Затем каждый элемент оригинала учитывался как сохранённый, преобразованный или потерянный. Измерено в Holarch 2.21.0, одинаково в облачном сервисе и в установке на вашем компьютере.
- Сохранён: найден снова без изменений. Элемент сохраняет класс, имя, номер, описание и метки; связь сохраняет тип, оба конца и атрибуты; значение атрибута, сохранённое представление или форматированное описание такие же, как раньше.
- Преобразован: найден снова с отличием, например Statement, вернувшийся как Requirement, отсутствующий номер или метка либо атрибут связи, вернувшийся со значением по умолчанию.
- Потерян: отсутствует в новом проекте, потому что в формате для него нет места или был потерян один из его концов.
| Формат | Элементы | Связи | Значения атрибутов | Сохранённые представления | Документы | Форматированные описания |
|---|---|---|---|---|---|---|
| Файл проекта Holarch (.json) | 407 / 0 / 0 | 915 / 0 / 0 | 979 / 0 / 0 | 83 / 0 / 0 | 3 / 0 / 0 | 5 / 0 / 0 |
| Резервная копия и пакет проекта Holarch (.holarch)* | 424 / 0 / 0 | 949 / 0 / 0 | 1,104 / 0 / 0 | 84 / 0 / 0 | 3 / 0 / 0 | 5 / 0 / 0 |
| UML/SysML XMI с данными Holarch | 317 / 0 / 90 | 631 / 0 / 284 | 672 / 0 / 307 | 0 / 3 / 80 | 0 / 0 / 3 | 5 / 0 / 0 |
| UML/SysML XMI, чистый SysML | 83 / 234 / 90 | 548 / 95 / 272 | 138 / 38 / 803 | 0 / 3 / 80 | 0 / 0 / 3 | 0 / 5 / 0 |
| Papyrus (.uml) | 317 / 0 / 90 | 631 / 0 / 284 | 672 / 0 / 307 | 0 / 3 / 80 | 0 / 0 / 3 | 5 / 0 / 0 |
| ReqIF | 407 / 0 / 0 | 879 / 21 / 15 | 979 / 0 / 0 | 0 / 0 / 83 | 3 / 0 / 0 | 5 / 0 / 0 |
| CSV, все атрибуты, метки и связи | 393 / 14 / 0 | 810 / 96 / 9 | 979 / 0 / 0 | 0 / 0 / 83 | 3 / 0 / 0 | 5 / 0 / 0 |
| Копия SysML v2, затем копия LML | 348 / 41 / 18 | 703 / 56 / 156 | 857 / 33 / 89 | 26 / 7 / 50 | 3 / 0 / 0 | 0 / 5 / 0 |
* Измерено в Holarch 2.33.0 на текущем демо CubeSat EO-1 (424 элемента, 949 связей, 1 104 значения атрибутов, 84 сохранённых представления, 3 документа, 5 форматированных описаний); ничего не было преобразовано или потеряно.
- Файл проекта и пакет проекта: весь проект, включая Главную, Графики, панель программы и настройки проекта.
- XMI и Papyrus с данными Holarch: каждый элемент, для которого в SysML есть элемент, возвращается без изменений, со своим классом LML, номером, метками и атрибутами. 90 потерянных элементов — это задачи, документы, риски, проблемы, элементы расписания, опасности и другие элементы, для которых в SysML нет элемента; большинство потерянных связей соединяется с ними. Атрибуты связей, такие как Trigger и Amount, тоже возвращаются. Диаграммы, кроме потоков диаграмм Action, в XMI не входят.
- XMI без данных Holarch: чистый SysML 1.6. Statement возвращаются как Requirement, а номеров, меток и атрибутов LML в файле нет.
- ReqIF: возвращаются все элементы, значения атрибутов, метки и структура документа, а связи сохраняют свои атрибуты. Кратность декомпозиции не записывается, потому что ReqIF хранит декомпозицию как структуру документа. Собственные дополнения схемы в демо (например, Equation, которое удовлетворяет Requirement) в новом проекте со стандартной схемой пропускаются.
- CSV: возвращаются все элементы и значения атрибутов. В таблице нет места для атрибутов связей, поэтому они возвращаются со значениями по умолчанию, а метки, которых нет в новом проекте, опускаются.
- Копия SysML v2 и обратно: преобразование с отчётом, а не формат обмена. Не возвращаются Measure, номера Asset и часть трассировок.
| Формат | Hybrid Car, 708 элементов | Hybrid Car, данные Holarch | Battery Pack, 62 элемента |
|---|---|---|---|
| Файл проекта Holarch (.json) | 708 / 0 / 0 | всё сохранено | 62 / 0 / 0 |
| Текст SysML v2 (.sysml) | 708 / 0 / 0 | нет в файле | 62 / 0 / 0 |
| SysML v2 JSON | 708 / 0 / 0, идентификаторы элементов сохранены | нет в файле | 62 / 0 / 0, идентификаторы элементов сохранены |
| Копия LML, затем копия SysML v2 | 22 / 184 / 502 | сохранено 21 из 27 элементов | 6 / 21 / 35 |
- Текст SysML v2 и JSON: каждый элемент модели возвращается без изменений. Статус требований, результаты верификации, риски, документы и другие данные Holarch переносятся только в файле проекта.
- Копия LML и обратно: модель перестраивается из копии LML, поэтому последования, импорты, метаданные и большая часть типизации не возвращаются.
Повторите тест: создайте демо через Новый демо-проект, экспортируйте его в одном из форматов, импортируйте файл в новый проект с параметрами по умолчанию и сравните два проекта в Базе данных.
Что не измерялось
- Проекты SysML v2, проекты с большим числом диаграмм и длинные форматированные описания.
- Несколько больших проектов, используемых одновременно.
Вопросы о модели вашего размера: свяжитесь с нами.