Перевірені межі
Наскільки великий проєкт обробляє Holarch
Найбільші проєкти, з якими тестується Holarch, потрібні їм пам’ять браузера й час відкриття, а також навантажувальне тестування хостингового сервісу, на якому ґрунтується ліміт елементів кожного тарифу.
Характеристики
Виміряно на згенерованих проєктах обома мовами моделювання; показники браузера — у Safari на Mac. Кожна таблиця вказує версію Holarch, на якій проводили вимірювання.
- Настільний застосунок (Holarch, установлений на вашому комп’ютері): перевірено до 700 000 елементів на проєкт у LML і 400 000 у SysML v2 (Понад 250 000 елементів).
- Хостинговий сервіс (app.holarch.app): до 50 000 елементів на проєкт; для більших програм пов’язуйте проєкти за допомогою міжпроєктних зв’язків, Карти програми та бібліотек (Ліміти тарифів).
- Власний сервер Holarch (Enterprise): перевірено до 400 000 елементів на проєкт у LML і SysML v2. Проєкт потребує менше 1 GB додаткової пам’яті сервера приблизно до 330 000 елементів LML і понад 400 000 елементів SysML v2 (Власний сервер понад 250 000 елементів).
Хостинговий сервіс: пам’ять сервера
Пам’ять сервера, потрібна проєкту, поки він відкритий, понад ту, яку сервер використовує без нього, на кожні 10 000 елементів. Перевірено до 50 000 елементів на проєкт — ліміту хостингового сервісу.
| Мова | На 10 000 елементів | Найбільший перевірений проєкт |
|---|---|---|
| LML | близько 17 MB | 50 000 елементів |
| SysML v2 | 4–8 MB | 50 000 елементів |
- Показники — це додаткова пам’ять відкритого проєкту, а не пам’ять усього сервера. Базова пам’ять щойно запущеного сервера після одного входу становить близько 130 MB.
- Пам’ять, потрібну вкладці проєкту у вашому браузері, наведено нижче (Пам’ять браузера).
Пам’ять браузера
Сторінка Holarch використовує близько 100 MB без відкритого проєкту. Це базова пам’ять. Показники нижче — це пам’ять, потрібна вкладці браузера понад базову на кожні 10 000 елементів проєкту, у найвищій точці під час відкриття проєкту.
| Мова | Хостинговий сервіс | Установлено на вашому комп’ютері |
|---|---|---|
| LML | 40–60 MB | 50–70 MB |
| SysML v2 | 100–155 MB | 70–80 MB |
- Показник змінюється залежно від розміру проєкту. Плануйте з більшим показником.
- Редагування додає мало: після 100 змін вкладка проєкту LML використовувала не більше пам’яті, ніж до них. Під час збереження змін їй може ненадовго знадобитися приблизно до 0,6 GB більше.
- Пам’ять, яку слід передбачити для кожного розміру проєкту: Системні вимоги.
Час відкриття
Від натискання до готовності сторінки до роботи. Потім проєкт SysML v2 виконує першу перевірку моделі у фоновому режимі, поки ви працюєте; другий показник — час до завершення цієї перевірки.
| Елементи | LML, хостинг | LML, установлено | SysML v2, хостинг | SysML v2, установлено |
|---|---|---|---|---|
| 50,000 | близько 1 с | близько 1 с | близько 2 с; перевірка 4 с | не вимірювалося |
| 100,000 | — | близько 1 с | — | близько 2 с; перевірка 5 с |
| 150,000 | — | не вимірювалося | — | не вимірювалося |
| 200,000 | — | близько 2 с | — | не вимірювалося |
| 250,000 | — | не вимірювалося | — | близько 6 с; перевірка 14 с |
- Час для хостингу виміряно на тестовому сервері. Повільне мережеве з’єднання додає час на завантаження проєкту.
- — : понад ліміт хостингового сервісу в 50 000 елементів на проєкт.
- Підтвердження змін і одночасну роботу багатьох людей на хостинговому сервісі див. у розділі Результати навантажувального тестування.
- Швидкість і пам’ять мовного рушія SysML v2 окремо див. у розділі Результати тестування Language Engine.
Понад 250 000 елементів, установлено на вашому комп’ютері
Holarch 2.30.0 відкрив у Safari згенеровані проєкти з 400 000 і 700 000 елементів LML та модель SysML v2 з 400 000 елементів, вніс одну зміну, зберіг її й закрив проєкт. Жодних збоїв.
| Проєкт | Відкриття | Фонову роботу завершено | Пам’ять браузера на 10 000 елементів під час відкриття |
|---|---|---|---|
| LML, 400 000 елементів | близько 4 с | 16 с | близько 105 MB |
| LML, 700 000 елементів | близько 6 с | 21 с | близько 130 MB |
| SysML v2, 400 000 елементів | близько 3 с | 19 с | близько 85 MB |
- За таких розмірів межу задає пам’ять вашого комп’ютера.
- Сторінка може на кілька секунд перестати відповідати, поки відкривається такий великий проєкт LML і поки зберігається його перша зміна.
Самостійно розміщений сервер понад 250 000 елементів
Сервер Holarch з Holarch 2.30.0 протестовано на згенерованих проєктах з 250 000 і 400 000 елементів LML, по три зв’язки на елемент, і на моделі SysML v2 з 400 000 елементів. Кожен проєкт пройшов таке навантаження:
- Зберегти весь проєкт на сервері, відкрити його й відкрити знову.
- Власник редагує з 10 сторінок одночасно протягом 60 секунд; кожна сторінка вносить одну зміну за секунду й повторно відкриває проєкт кожні 15 секунд.
- Ущільнення історії змін.
- Видалити проєкт.
Кожна фаза пройшла: жодних помилок сервера й жодних відхилених змін.
| Проєкт | На 10 000 елементів, найвища фаза | Менше 1 GB | Підтвердження змін, p95 |
|---|---|---|---|
| LML, 250 000 елементів | близько 31 MB | так | 30 мс |
| LML, 400 000 елементів | близько 30 MB | ні, приблизно від 330 000 елементів | 60 мс |
| SysML v2, 400 000 елементів | близько 21 MB | так | 34 мс |
- Ці показники — це додаткова пам’ять сервера, потрібна проєкту, понад ту, яку сервер використовує без нього. Це не пам’ять усього сервера.
- Збереження всього проєкту за замовчуванням обмежено 192 MB даних проєкту — це приблизно 340 000 елементів LML або 430 000 елементів SysML v2. Самостійно розміщений сервер може підвищити ліміт; прогони з 400 000 елементів так і робили.
- Це перевірені розміри за цього навантаження, а не гарантія для кожної моделі. Довгі тексти й велика кількість діаграм не входили в цей тест.
1.1.6 → 2.15.1
Holarch 1.1.6 — перша версія, виміряна цими тестами великих проєктів. Ті самі тести без змін виконано на 1.1.6 і на 2.15.1, з тими самими згенерованими проєктами LML, на тому самому комп’ютері та з тими самими лімітами сервера.
| Вимірювання | Holarch 1.1.6 | Holarch 2.15.1 |
|---|---|---|
| Пам’ять на 10 000 елементів: створення, відкриття, 200 змін і версія | 220–250 MB | 40–55 MB від 20 000 елементів (80–110 MB за 5 000–10 000) |
| Те саме, з версією, що записується, поки власник редагує | забракло пам’яті за 25 000 елементів | 45–67 MB |
| Базова: сервер після одного входу | близько 125 MB | близько 130 MB |
| Запис версії проєкту з 25 000 елементів | 7,5 с | 0,4 с |
| Найбільший перевірений проєкт | 25 000 елементів | 115 000 елементів — найбільше, що вміщує одне збереження в 64 MB |
| Крок | Елементи | Holarch 1.1.6 | Holarch 2.15.1 |
|---|---|---|---|
| Головна | 25,000 / 50,000 | 36 с / 149 с | 0,7 с / 1,6 с |
| Сторінка перевірок моделі | 25,000 / 50,000 | 66 с / 297 с | 0,4 с / 0,7 с |
| Матриця простежуваності (вимоги × тестові випадки) | 10,000 | 47 с | 0,2 с |
| Матриця простежуваності верифікації вимог | 10,000 | 31 с | 0,1 с |
| Відкриття документа з 2 000 вимог | 5,000 / 10,000 / 25,000 | 0,6 с / 0,6 с / 0,8 с | 0,5 с / 0,5 с / 0,5 с* |
| Збереження після однієї зміни | 5,000 / 10,000 / 25,000 / 50,000 | 0,2 с / 0,5 с / 30 с / 152 с | 0,15 с / 0,3 с / 0,8 с / 1,6 с* |
| Перевірка якості 2 000 вимог | 10,000 | 30 с | 3,2 с |
| Найбільший проєкт, що пройшов усі кроки | — | 50 000 елементів, сторінка щоразу не відповідала понад 2 хвилини | 100 000 елементів; Головна 3,2 с, матриця 0,3 с |
- * Виміряно на 2.16.1, де ці два кроки стали швидшими, ніж у 2.15.1. Інші показники виміряно на 2.15.1.
- У 1.1.6 матриця простежуваності зупиняла сторінку більш ніж на 2 хвилини за 25 000 елементів, тому за більших розмірів її там не вимірювали. У 2.15.1 вона відкривається менш ніж за 0,3 с за будь-якого розміру до 100 000 елементів.
Планка проходження
Хостинговий сервіс проходить навантажувальне тестування, коли кілька людей одночасно відкривають і редагують один проєкт. Розмір проєкту проходить, коли сервіс виконує кожну умову цього сценарію:
- Сервер щойно ущільнив історію змін проєкту. У такому стані відкриття проєкту найвитратніше.
- 10 людей відкривають проєкт в один момент.
- Ті самі 10 людей потім редагують його протягом 60 секунд, кожен вносить одну зміну за секунду.
- Підтвердження змін: 95 % змін сервер підтверджує протягом 1,5 секунди (p95 ≤ 1,5 с).
- Без збоїв: жодних помилок сервера.
Тестове середовище
- Робоче серверне програмне забезпечення на тестовому середовищі, повільнішому за хостинговий сервіс, тож результати консервативні.
- Обмеження ресурсів і налаштування хостингового сервісу.
- База даних і файлове сховище працювали на тому самому комп’ютері, а не через мережу. Для кожного прогону запускався новий сервер.
- Згенеровані проєкти LML: 40 % вимог у специфікаціях, 20 % функцій, 15 % компонентів, 15 % тестових випадків, 5 % ризиків, а решта — входи й виходи, по три зв’язки на елемент.
Результати
| Елементи | Дані, надіслані на одне відкриття | 10 відкриттів зайняли | Підтвердження змін, p95 | Результат |
|---|---|---|---|---|
| 50,000 | 27,2 MB | 3,7 с | 1,49 с | Пройдено |
| 50 000 (другий прогін) | 27,2 MB | 3,6 с | 1,08 с | Пройдено |
- Жоден прогін не мав помилок сервера.
- Типову зміну (p50) у кожному прогоні підтверджено приблизно за 30 мс. Повільні зміни чекають за великими відповідями на одночасні відкриття.
Ліміти тарифів
| Тариф | Елементів на проєкт |
|---|---|
| Free / Academic | 1 000 (2 000 в активній навчальній організації) |
| Individual | 5,000 |
| Team | 50,000 |
- Хостинговий сервіс (app.holarch.app) вміщує до 50 000 елементів на проєкт на кожному тарифі; для більших програм пов’язуйте проєкти. Настільний застосунок (Holarch, установлений на вашому комп’ютері) перевірено до 700 000 елементів на проєкт у LML і 400 000 у SysML v2.
- Збереження всього проєкту, як-от імпорт файлу проєкту, може містити щонайбільше 192 MB даних проєкту. Проєкт із довгими текстами може досягти цього розміру раніше, ніж ліміту елементів.
- Що вважається елементом: див. Ціни.
- Пам’ять комп’ютера, потрібну в браузері проєкту кожного розміру, див. у розділі Системні вимоги.
Цикли туди й назад: що зберігає кожен формат обміну
Кожну модель експортовано в кожному відповідному форматі й знову імпортовано в новий проєкт з параметрами за замовчуванням. Потім кожен елемент оригіналу пораховано як збережений, перетворений або втрачений. Виміряно в Holarch 2.21.0, однаково на хостинговому сервісі та в установленому на вашому комп’ютері застосунку.
- Збережено: знайдено знову без змін. Елемент зберігає клас, назву, номер, опис і мітки; зв’язок зберігає тип, обидва кінці й атрибути; значення атрибута, збережене подання чи форматований опис такі самі, як раніше.
- Перетворено: знайдено знову з відмінністю, наприклад Statement, що повертається як Requirement, відсутній номер чи мітка або атрибут зв’язку, що повертається зі значенням за замовчуванням.
- Втрачено: немає в новому проєкті, бо формат не має для цього місця або один із кінців втрачено.
| Формат | Елементи | Зв’язки | Значення атрибутів | Збережені подання | Документи | Форматовані описи |
|---|---|---|---|---|---|---|
| Файл проєкту Holarch (.json) | 407 / 0 / 0 | 915 / 0 / 0 | 979 / 0 / 0 | 83 / 0 / 0 | 3 / 0 / 0 | 5 / 0 / 0 |
| Резервна копія та пакет проєкту Holarch (.holarch)* | 424 / 0 / 0 | 949 / 0 / 0 | 1,104 / 0 / 0 | 84 / 0 / 0 | 3 / 0 / 0 | 5 / 0 / 0 |
| UML/SysML XMI з даними Holarch | 317 / 0 / 90 | 631 / 0 / 284 | 672 / 0 / 307 | 0 / 3 / 80 | 0 / 0 / 3 | 5 / 0 / 0 |
| UML/SysML XMI, чистий SysML | 83 / 234 / 90 | 548 / 95 / 272 | 138 / 38 / 803 | 0 / 3 / 80 | 0 / 0 / 3 | 0 / 5 / 0 |
| Papyrus (.uml) | 317 / 0 / 90 | 631 / 0 / 284 | 672 / 0 / 307 | 0 / 3 / 80 | 0 / 0 / 3 | 5 / 0 / 0 |
| ReqIF | 407 / 0 / 0 | 879 / 21 / 15 | 979 / 0 / 0 | 0 / 0 / 83 | 3 / 0 / 0 | 5 / 0 / 0 |
| CSV, усі атрибути, мітки та зв’язки | 393 / 14 / 0 | 810 / 96 / 9 | 979 / 0 / 0 | 0 / 0 / 83 | 3 / 0 / 0 | 5 / 0 / 0 |
| Копія SysML v2, потім копія LML | 348 / 41 / 18 | 703 / 56 / 156 | 857 / 33 / 89 | 26 / 7 / 50 | 3 / 0 / 0 | 0 / 5 / 0 |
* Виміряно в Holarch 2.33.0 на поточному демо CubeSat EO-1 (424 елементи, 949 зв’язків, 1 104 значення атрибутів, 84 збережені подання, 3 документи, 5 форматованих описів); нічого не перетворено й не втрачено.
- Файл проєкту та пакет проєкту: увесь проєкт, зокрема Головна, графіки, панель програми та налаштування проєкту.
- XMI і Papyrus з даними Holarch: кожен елемент, для якого в SysML є відповідник, повертається без змін, з його класом LML, номером, мітками й атрибутами. 90 втрачених елементів — це завдання, документи, ризики, проблеми, елементи розкладу, небезпеки та інші елементи, для яких у SysML немає відповідника; більшість втрачених зв’язків пов’язані з ними. Атрибути зв’язків, як-от Trigger і Amount, також повертаються. Діаграми, крім потоків діаграм Action, не входять до XMI.
- XMI без даних Holarch: чистий SysML 1.6. Statement повертаються як Requirement, а номерів, міток і атрибутів LML у файлі немає.
- ReqIF: повертаються всі елементи, значення атрибутів, мітки та структура документа, а зв’язки зберігають свої атрибути. Кратність декомпозиції не записується, бо ReqIF зберігає декомпозицію як структуру документа. Власні доповнення схеми в демо (наприклад, Equation, що задовольняє Requirement) пропускаються в новому проєкті, який має стандартну схему.
- CSV: повертаються всі елементи й значення атрибутів. Таблиця не має місця для атрибутів зв’язків, тож вони повертаються зі значеннями за замовчуванням, а мітки, яких немає в новому проєкті, пропускаються.
- Копія SysML v2 і назад: перетворення зі звітом, а не формат обміну. Measure і номери Asset не повертаються, як і деякі простеження.
| Формат | Hybrid Car, 708 елементів | Hybrid Car, дані Holarch | Battery Pack, 62 елементи |
|---|---|---|---|
| Файл проєкту Holarch (.json) | 708 / 0 / 0 | усі збережено | 62 / 0 / 0 |
| Текст SysML v2 (.sysml) | 708 / 0 / 0 | немає у файлі | 62 / 0 / 0 |
| SysML v2 JSON | 708 / 0 / 0, ідентифікатори елементів збережено | немає у файлі | 62 / 0 / 0, ідентифікатори елементів збережено |
| Копія LML, потім копія SysML v2 | 22 / 184 / 502 | Збережено 21 з 27 елементів | 6 / 21 / 35 |
- Текст і JSON SysML v2: кожен елемент моделі повертається без змін. Статус вимог, результати верифікації, ризики, документи та інші дані Holarch передаються лише у файлі проєкту.
- Копія LML і назад: модель відбудовується з копії LML, тож послідовності, імпорти, метадані й більша частина типізації не повертаються.
Повторіть тест: створіть демо через Новий демопроєкт, експортуйте його в одному з форматів, імпортуйте файл у новий проєкт з параметрами за замовчуванням і порівняйте два проєкти в Базі даних.
Що не вимірювалося
- Проєкти SysML v2, проєкти з великою кількістю діаграм і довгі описи з форматованим текстом.
- Кілька великих проєктів, що використовуються одночасно.
Запитання щодо моделі вашого розміру: зв’яжіться з нами.