Holarch Language Engine
Результати тестування Language Engine
Виміряні результати рушія, на якому працюють проєкти SysML v2 у Holarch: як його відповіді порівнюються з пілотною реалізацією OMG на офіційних прикладах моделей, як він обробляє пошкоджений текст і наскільки швидкий на великих моделях. Невиконані критерії перелічено разом із виконаними.
Перейти до: Цей прогін · Підсумок · Пам’ять сеансу · Що підтверджують докази · Приклади моделей · Валідація діагностики · Зв’язування імен · Пошкоджений текст · Швидкість і пам’ять · Ще не підтримується · Відтворення результатів · Попередні прогони · Чого ці результати не показують
Цей прогін
- Рушій: Holarch Language Engine 2.1 (версія 2.1.1, збірка 37168cc). Holarch постачає версію 2.1.2, яка додає звіти про перебіг для індикатора виконання хоста й обробляє дуже довгі ланцюжки імпортів або спеціалізацій, на яких зупинялися попередні версії; на прикладах моделей, згенерованих моделях і тестовому корпусі цього прогону вона дає ті самі відповіді, що й 2.1.1, тож показники на цій сторінці, виміряні на 2.1.1, повторно не вимірювали. Її холодний аналіз великих згенерованих моделей тривав приблизно на 3 % довше у вимірюванні поза офіційними прогонами. Рушій 2.1 додає варіативність, ключові слова користувача, тригери й ефекти переходів, симуляцію (окремо ліцензоване доповнення, тут не вимірюється) і менше споживання пам’яті протягом сеансу редагування.
- Метод: версія 10 письмового плану приймання. Критерії записали до вимірювання перших результатів. Кожну пізнішу зміну методу записано з причиною, а попередні результати зберігають метод, за яким їх виміряли. Версії з 8 до 10 вилучають варіативність, ключові слова користувача та тригери й ефекти переходів зі списку непідтримуваних конструкцій у міру випуску кожної з них; критерії й контрольні пороги не змінено.
- Приклади моделей: набори training, examples і validation з репозиторію випусків SysML v2 від OMG, випуск 2026-08 (коміт fb97b754): 252 файли, 14,957 рядків. Моделі завантажуються з репозиторію OMG для кожного прогону й не копіюються в Holarch.
- Еталон: пілотна реалізація OMG, версія 0.62.0, запущена як чорна скринька.
- Великі моделі: згенеровані моделі від 10,000 до 250,000 рядків із глибокими імпортами, посиланнями між пакетами й довгими ланцюжками спеціалізацій.
Кожен показник на цій сторінці взято з офіційних прогонів, названих нижче. Опублікований прогін ніколи не редагується. Виправлення — це новий прогін, що називає той, який він замінює.
Внутрішня рецензія позначає кожну класифікацію й рецензію на цій сторінці: класи розбіжностей, реєстр, рецензію кожної помилки рушія та категорії зв’язування. Їх виконав Holarch за текстом специфікації. Зовнішньої рецензії поки немає; позначка залишається, доки вона не з’явиться.
| Випуск Holarch | Версія рушія | Збірка рушія | Метод | Офіційні прогони |
|---|---|---|---|---|
| 2.21.0 (постачає рушій 2.1.2) | 2.1.1 | 37168cc | 10 | 2.1.1-37168cc79-1 (усі вимірювання, також характеристика пам’яті сеансу; показники на цій сторінці) |
| 2.17.1 | 2.0.1 | d8cf5c8 | 7 | 2.0.1-d8cf5c835-1 (швидкість і пам’ять, пам’ять сеансу) |
| 2.15.1 | 2.0.0 | dd4fb10; 91f058a повідомляє 2.0.0 | 6 | 1.0.0-dd4fb10f5-1 (усі вимірювання), 2.0.0-91f058a75-1 (усі вимірювання на збірці, що повідомляє 2.0.0; також характеристика пам’яті сеансу) |
| 2.15.0 | 1.0.0 | e6bb924 | 5 | 1.0.0-e6bb92459-1 (швидкість і пам’ять, покриття тестами) |
| 2.14.0 | 1.0.0 | 0c983e2 | 6 | 1.0.0-0c983e2e8-1 (швидкість і пам’ять, для порівняння) |
| 2.13.1 | 1.0.0 | d3f5d4b | 5 | 1.0.0-d3f5d4b5d-2 (приклади моделей), 1.0.0-d3f5d4b5d-1 (інші вимірювання) |
| 2.12.0 | 1.0.0 | 8a6bf7b | 5 | 1.0.0-8a6bf7b76-2 (приклади моделей), 1.0.0-8a6bf7b76-1 (інші вимірювання) |
| 2.11.0 | 1.0.0 | c184e57 | 3, прочитано за 4 | 1.0.0-c184e57e6-1 |
Підсумок
На згенерованій моделі з 10,000 рядків рушій 2.1.1 аналізує всю модель за 150 ms і повторно перевіряє її після редагування за 1.3–6.8 ms (95-й процентиль). База рушія із завантаженою стандартною бібліотекою: 17 MiB; аналіз усієї моделі додає приблизно 29 MiB на 10,000 рядків, а весь сеанс редагування — приблизно 33 MiB на 10,000 рядків. Усі критерії виконано, зокрема пам’ять рушія протягом повного сеансу редагування на 100,000 і 250,000 рядків, якої попередні рушії не досягали. Перевірено на згенерованих моделях до 250,000 рядків: швидкість і пам’ять для кожного розміру.
Пам’ять показано на 10,000 рядків понад базу рушія, тобто пам’ять рушія із завантаженою стандартною бібліотекою й порожньою моделлю. Критерії застосовуються до загальної суми.
| Вимірювання | Критерій | Рушій 2.1.1 | Виконано |
|---|---|---|---|
| Приклади моделей: аварійні завершення й перевищення часу | Не допускаються | Немає | Так |
| Приклади моделей: збіг щодо приймання, з класифікацією | Щонайменше 98 % файлів в оцінюваній області | 252 з 252 Внутрішня рецензія | Так |
| Приклади моделей: хибні приймання | Не допускаються | Немає | Так |
| Приклади моделей: кожну помилку рушія розглянуто окремо | Усі розглянуто | 44 з 44 Внутрішня рецензія | Так |
| Зв’язування імен | Щонайменше 99.5 % парних зв’язувань збігаються | 4,904 з 4,908 | Так |
| Пошкоджений текст | Сім критеріїв, нижче | Усі сім виконано | Так |
| Редагування, усі розміри | Зміна значення до 12 ms, інші редагування до 60 ms (25 і 150 ms на 250,000 рядків) | Усі в межах | Так |
| Холодний аналіз, 100,000 рядків | Повідомляється, не є ціллю з версії методу 4 (попередня ціль: до 0.6 s) | 1.43 s | Попередню ціль не досягнуто |
| Холодний аналіз, 250,000 рядків | Повідомляється, не є ціллю з версії методу 4 (попередня ціль: до 1.2 s) | 3.73 s | Попередню ціль не досягнуто |
| Перебіг показується під час довгого аналізу | Індикатор виконання для будь-якого аналізу, що може тривати понад 3 секунди (версія методу 4) | Показується з етапами рушія; перевірено тестом перебігу Holarch | Так |
| Пам’ять рушія, холодний аналіз, 100,000 рядків | До 512 MiB | 28 MiB на 10,000 рядків понад базу | Так |
| Пам’ять рушія, холодний аналіз, 250,000 рядків | До 1 GiB | 28 MiB на 10,000 рядків понад базу | Так |
| Пам’ять рушія, повний сеанс редагування, 100,000 рядків | До 512 MiB (версія методу 6) | 33 MiB на 10,000 рядків понад базу | Так |
| Пам’ять рушія, повний сеанс редагування, 250,000 рядків | До 1 GiB (версія методу 6) | 33 MiB на 10,000 рядків понад базу | Так |
| Зростання з розміром моделі | Холодний аналіз на 250,000 рядків не більш ніж у 40 разів довший, ніж на 10,000 | У 24.9 раза | Так |
| Той самий запит — та сама відповідь | Кожна відповідь ідентична у двох нових процесах | 1,211 з 1,211 | Так |
Пам’ять сеансу: критерій виконано
Виконано: пам’ять рушія протягом повного сеансу редагування на 100,000 і 250,000 рядків. Рушії до 2.0.1 включно не виконували його на 250,000 рядків (2.0.0 — і на 100,000 рядків); рушію 2.1.1 потрібно приблизно 33 MiB на 10,000 рядків понад базу протягом усього сеансу, тобто до 512 MiB на 100,000 рядків і до 1 GiB на 250,000 рядків.
- Що змінилося. Друк тексту й порівняння тексту більше не будують повну копію документа в пам’яті (рушій 2.0.1), а таблиці імен рушія, кеш аналізу, синтаксичне дерево й позиції у вихідному тексті займають менше місця (рушій 2.1.1).
- Друк усієї моделі, раніше найбільший крок, тепер потребує в нативній збірці приблизно 40 MiB на 10,000 рядків понад базу, менше, ніж повторний аналіз моделі з нуля поруч із відкритим сеансом (приблизно 54 MiB на 10,000 рядків): пам’ять протягом довгого сеансу.
- У браузері пам’ять рушія ніколи не зменшується, тож worker зберігає розмір свого найбільшого моменту, доки його не завершать; Holarch завершує й перезапускає неактивний worker рушія, який утримує значно більше пам’яті, ніж використовує.
Що підтверджують докази
Які застосування підтверджують ці результати і де докази закінчуються. «Не встановлено» означає, що ця сторінка не має доказів ні за, ні проти.
| Використання | Підтверджено | Встановлено | Не встановлено |
|---|---|---|---|
| Допомога в редакторі (аналіз під час введення) | Час редагувань, пошкоджений текст, приклади моделей, пам’ять сеансу | Повторний аналіз після редагування в межах критеріїв до 250,000 рядків, у нативній збірці та в Safari; пошкоджений текст обробляється за всіма сімома критеріями; пам’ять стабілізується під час тривалого редагування; пам’ять протягом повного сеансу редагування в межах критеріїв до 250,000 рядків | Час на комп’ютерах, повільніших за вимірювальний (припускається запас у 4 рази, не виміряно); браузери, крім Safari |
| Пакетна перевірка й перевірка в CI (цілі моделі) | Приклади моделей, валідація діагностики, холодний аналіз, той самий запит — та сама відповідь | Без аварійних завершень і перевищень часу; 252 з 252 файлів прикладів збігаються після класифікації Внутрішня рецензія; кожну помилку рушія розглянуто; ідентичні відповіді в нових процесах; холодний аналіз зростає пропорційно розміру моделі | Великі моделі, написані людьми або іншими інструментами (вимірювали лише згенеровані моделі й приклади OMG); інтеграція з CI |
| Перетворення моделі (друк моделі як тексту, запис тексту назад у модель) | Повний сеанс редагування, пам’ять сеансу | Кожен крок відповідає на моделях будь-якого розміру; пам’ять у межах критеріїв для друку всієї моделі до 250,000 рядків, у нативній збірці | Чи дають друк і зворотний запис ту саму модель (не входить до цих вимірювань); перетворення з SysML v1 |
| Браузер (WebAssembly) | Час у Safari, пам’ять сеансу в Safari | Запуск, холодний аналіз і редагування в Safari до 250,000 рядків | Chrome, Firefox і Edge; мобільні браузери; пам’ять сеансу в Safari для цього рушія (для 2.0.1 виміряно до 250,000 рядків) |
| Нативна збірка й сервер | Кожне вимірювання на цій сторінці (критерії стосуються нативної збірки) | На Mac з Apple silicon | Інші операційні системи й процесори; багато моделей одночасно в одному процесі; тривалі серверні сеанси з багатьма проєктами |
| Застосування з високими вимогами до надійності (рішення, критичні для безпеки чи місії, докази для сертифікації) | Саме по собі — нічого | Нічого понад наведені вище застосування | Зовнішня рецензія; сертифікація чи кваліфікація будь-якого виду; повне охоплення правил валідації специфікації; виконання дій і автоматів станів (доповнення симуляції тут не вимірюється) |
Приклади моделей
Кожен набір прикладів моделей аналізується разом, як один проєкт, бо приклади імпортують пакети один з одного. Пілотна реалізація отримує ті самі файли в одному сеансі. Для кожного файлу дві відповіді порівнюються: чи має файл помилки та з яким елементом пов’язується кожне ім’я.
Збіг щодо приймання
| Підрахунок | Що він рахує | Рушій 2.1.1 |
|---|---|---|
| Без обробки | Кожен файл; збіг щодо того, чи має файл помилки, без класифікації | 242 з 252 |
| Оцінювана область | Файли, що залишаються після вилучення тих, розбіжність у яких походить від конструкції зі списку непідтримуваних | 252 з 252 (жоден не вилучено) |
| З класифікацією | Збіг в оцінюваній області, де розбіжність зараховується як збіг лише тоді, коли специфікація показує, що рушій правий | 252 з 252 Внутрішня рецензія |
- Виконано: кожен файл збігається з пілотною реалізацією, 10 з них — через реєстр нижче. Варіативність, ключові слова користувача та тригери й ефекти переходів тепер підтримуються, тож жоден файл не залишає оцінювану область (для рушія 2.0.0 таких було 11); ще 10 файлів приймаються без помилок порівняно з рушієм 2.0.0, і жоден файл, який приймав 2.0.0, тепер не має помилок.
- Хибні приймання: 0. Рушій не приймає жодного файлу, який відхиляє пілотна реалізація.
- Аварійні завершення й перевищення часу: немає.
Правила класифікації Внутрішня рецензія. Кожну розбіжність із пілотною реалізацією досліджують окремо й записують з одним із цих класів до прогону, ніколи під час нього:
- Помилка прикладу: рушій правий, а приклад некоректний, із пунктом специфікації, що це показує. Приклад: арифметика, яка додає довжину до маси. Зараховується як збіг.
- Помилка пілотної реалізації: рушій правий, а відповідь пілотної реалізації суперечить наведеному пункту специфікації. Зараховується як збіг.
- Непідтримувана конструкція: розбіжність походить від конструкції з опублікованого списку непідтримуваних конструкцій рушія (нижче). Файл залишає оцінювану область. Коли конструкцію випускають, вона зникає зі списку, і файл вимірюють знову.
- Дефект рушія: відома помилка в рушії. Ніколи не зараховується як збіг.
Реєстр розбіжностей, які вирішує специфікація Внутрішня рецензія
Десять розбіжностей зараховуються як збіг, бо специфікація показує, що рушій правий. Кожну з них перелічено тут. Стан рецензування: внутрішнє означає, що Holarch перевірив за специфікацією; зовнішню рецензію цих та інших випадків заплановано.
| Id | Файл | Клас | Пункт | Докази | Рецензування |
|---|---|---|---|---|---|
| R1 | Calculation Definitions (training) | Помилка прикладу | SysML 9.8.2 | Потужність і член із розмірністю швидкості об’єднано в одній сумі | Внутрішня |
| R2 | Calculation Usages-2 (training) | Помилка прикладу | SysML 9.8.2 | Величини різних розмірностей об’єднано в одному виразі | Внутрішня |
| R3 | Dynamics (examples) | Помилка прикладу | SysML 9.8.2 | Величини різних розмірностей об’єднано в одному виразі | Внутрішня |
| R4 | Turbojet Stage Analysis (examples) | Помилка прикладу | SysML 9.8.2 | Величини різних розмірностей об’єднано в одному виразі | Внутрішня |
| R5 | SimpleQuadcopter (examples) | Помилка прикладу | SysML 9.8.2 | Довжину зв’язано з безрозмірним значенням | Внутрішня |
| R6 | VehicleGeometryAndCoordinateFrames (examples) | Помилка прикладу | SysML 9.8.2 | Звичайне число додано до довжини | Внутрішня |
| R7 | 15_12 Compound Value Type (validation) | Помилка прикладу | SysML 9.8.2 | Величини різних розмірностей об’єднано в одному виразі | Внутрішня |
| R8 | AnalysisIndividualExample (examples) | Помилка прикладу | SysML 9.8.2 | Швидкість зв’язано з властивістю витрати пального | Внутрішня |
| R9 | 13a Model Containment (validation) | Помилка пілотної реалізації | KerML 8.2.3.5.3 | Два різні імпортовані елементи мають однакове ім’я в одному просторі імен; ім’я розв’язується щонайбільше в одне членство, а пілотна реалізація вибирає одне | Внутрішня |
| R10 | SysML v2 Spec Annex A SimpleVehicleModel (examples) | Помилка пілотної реалізації | KerML 8.2.3.5.3 | Кілька імпортів приносять елементи з однаковим ім’ям (як у R9); з цього випливають перевизначення й кінці з’єднувачів, що їх використовують. Модель також зв’язує швидкість із довжиною, що є помилкою прикладу | Внутрішня |
Валідація діагностики Внутрішня рецензія
Збіг щодо приймання показує лише, чи обидва інструменти відхиляють файл. Щоб перевірити, чому рушій його відхиляє, кожну помилку, яку він повідомляє на прикладах моделей поза рядками з непідтримуваною конструкцією, розглянули окремо: її код, позицію, правило, яке вона застосовує, пункт специфікації, чи це перша помилка проблеми (первинна), чи наслідок іншої помилки (каскадна), і рішення.
| Рішення | Значення | Рушій 2.1.1 |
|---|---|---|
| Підтверджено | Специфікація підтверджує помилку | 42 |
| Дефект рушія | Хибна помилка | 0 |
| Спірне | Специфікація не вирішує цей випадок | 2 |
| Відома прогалина | Помилка походить від конструкції зі списку непідтримуваних | 0 |
| Усього | 44 помилки в 10 файлах (22 первинні, 22 каскадні) |
- Жодних дефектів рушія. Жодна помилка не припадає на конструкцію, яку рушій не підтримує: 40 помилок рушія 2.0.0, що походили від варіативності, ключових слів користувача й ефектів переходів, зникли.
- Той самий код усюди. Ім’я, що розв’язується в кілька імпортованих елементів, повідомляється як неоднозначне і у виразах, і в посиланнях; попередні збірки повідомляли його у виразах як нерозв’язане.
- Одне тлумачення. Коли імпорти приносять два елементи з однаковим ім’ям і один із них спеціалізує інший, опис у специфікації та її формальне правило розходяться. Рушій дотримується формального правила й повідомляє ім’я як неоднозначне. Пілотна реалізація приймає такі імена без діагностики.
- Спірне: 2 спірні помилки зв’язують величину з властивістю, типізованою звичайним дійсним числом: жодне обмеження специфікації не робить зв’язування недійсним, але воно не може виконуватися за змістом бібліотеки величин.
Зв’язування імен
Для кожного імені в моделі обидва інструменти повідомляють елемент, з яким воно пов’язується. Зв’язування, які обидва інструменти повідомляють для того самого імені, утворюють пари й порівнюються. Показник збігу стосується лише парних зв’язувань; він нічого не каже про зв’язування, які повідомляє лише один інструмент, — їх розподілено за категоріями нижче.
- 4,904 з 4,908 парних зв’язувань збігаються.
- Зв’язування, які повідомляє лише один інструмент: 1,639 від рушія та 601 від пілотної реалізації.
4 парні розбіжності Внутрішня рецензія
| Зв’язування | Де | Причина | Клас |
|---|---|---|---|
| 3 | PartTest (examples) | Ім’я цілі в пілотній реалізації містить її коротке ім’я; той самий елемент | Інша ідентичність елемента або нормалізація |
| 1 | ActionTest (examples) | Дія надсилання без корисного навантаження: пілотна реалізація створює власну властивість навантаження, що перевизначає бібліотечну; та сама властивість через перевизначення | Інша ідентичність елемента або нормалізація |
3 розбіжності рушія 2.0.0 щодо accept та effect переходу зникли: тепер рушій, як і пілотна реалізація, зв’язує власні accepter та effect переходу.
Зв’язування, які повідомляє лише один інструмент Внутрішня рецензія
Розподілено за правилами, що враховують кожне зв’язування, його ціль і рядок, у якому воно міститься:
| Категорія | Лише рушій | Лише пілотна реалізація |
|---|---|---|
| Інша ідентичність елемента або нормалізація | 1,243 | 370 |
| Зайві неявні (рушій зв’язує, пілотна реалізація не показує зв’язку) | 396 | – |
| Відсутні (пілотна реалізація зв’язує, рушій — ні) | – | 231 |
| Непідтримувана конструкція | 0 | 0 |
| Розбіжність у пілотній реалізації | Не знайдено | Не знайдено |
| Усього | 1,639 | 601 |
- Інша ідентичність елемента або нормалізація стосується здебільшого порівняння, а не рушія: імена в кінцях з’єднувачів, потоків і послідовностей та у виразах, які пілотна реалізація показує як власні властивості, а не як зв’язки; цілі в п’яти бібліотечних пакетах, які порівняння не може назвати з боку пілотної реалізації; файли, подані пілотній реалізації в алфавітному порядку під час порівняння зв’язувань, де в порядку залежностей утворюється ще 217 пар; короткі імена, спряжені порти, безіменні власники й неявні властивості, які пілотна реалізація називає інакше.
- Зайві неявні та відсутні — це те, що залишається після правил. Вибірка показує ланцюжки через кінці інтерфейсів, спряжені порти у визначеннях і метадані; їх ще не розглянули окремо.
- Виправлення порівняння змінює вимірювання, тож воно потребує нової версії методу.
Пошкоджений текст
Моделі навмисно пошкоджують, по одній мутації за раз: вилучені або зайві фігурні дужки, обірвані оголошення, зламані імпорти, циклічні посилання, неприпустимі символи, випадкові зміни токенів і поширені помилки введення, як-от пропущена крапка з комою чи неправильно написане ключове слово. Вхідні дані — власні тестові моделі рушія, згенерована модель і приклади моделей.
| Перевірка | Критерій | Результат | Виконано |
|---|---|---|---|
| Аварійні завершення й перевищення часу понад 10 s | Не допускаються | Немає | Так |
| Пошкоджені вхідні дані | Щонайменше 10,000 | 10,044 | Так |
| Відповідь після кожного редагування дорівнює новому аналізу | Усі | 10,044 з 10,044 | Так |
| Виправлення пошкодження повертає початкову відповідь | Усі | 9,830 з 9,830 | Так |
| Одна мутація дає щонайбільше 3 нові синтаксичні помилки | Щонайменше 99 % випадків | 100.0 % | Так |
| Перша синтаксична помилка вказує всередину пошкодженого оголошення або одразу після нього | Щонайменше 95 % випадків | 99.7 % із 7,163 | Так |
| Оголошення поза пошкодженням і далі перевіряються однаково | Щонайменше 99 % | 99.5 % із 55,225 | Так |
Швидкість і пам’ять
Критерії стосуються нативної збірки рушія. У Holarch рушій працює як WebAssembly в браузері, що повільніше; критерії враховують це й повільніші комп’ютери з коефіцієнтом 8 для редагувань і аналізу. Збірку WebAssembly також вимірюють у Safari (нижче).
База рушія із завантаженою стандартною бібліотекою: 17 MiB. Показники пам’яті нижче наведено на 10,000 рядків понад цю базу: пік мінус база, поділений на розмір моделі в одиницях по 10,000 рядків. Критерії застосовуються до загальної суми.
Редагування
Кожен тип редагування застосовують 200 разів після 20 розігрівальних редагувань в одному сеансі редагування, так, як їх надсилає редактор Holarch. У таблиці наведено 95-й процентиль: 95 зі 100 редагувань були такими ж швидкими або швидшими.
| Розмір моделі | Зміна значення | Перейменування визначення | Зміна імпорту | Зміна супертипу | Виконано |
|---|---|---|---|---|---|
| 10,038 рядків | 1.3 | 6.8 | 2.1 | 2.2 | Так |
| 50,013 рядків | 3.9 | 19.4 | 4.9 | 4.7 | Так |
| 100,033 рядки | 7.7 | 34.6 | 8.6 | 8.5 | Так |
| 250,011 рядків | 22.7 | 90.8 | 24.0 | 24.9 | Так |
Критерії: зміна значення до 12 ms (25 ms на 250,000 рядків); перейменування, зміна імпорту чи супертипу до 60 ms (150 ms на 250,000 рядків).
Аналіз усієї моделі
Холодний аналіз: новий процес із завантаженою стандартною бібліотекою аналізує всю модель з нуля, медіана 5 прогонів. Пам’ять рушія — це пік рушія під час цього аналізу на 10,000 рядків понад базу. Пам’ять WebAssembly для того самого аналізу наведено для довідки, на 10,000 рядків разом із власною пам’яттю запуску рушія.
| Розмір моделі | Холодний аналіз | Пам’ять рушія, холодний аналіз | Пам’ять WebAssembly, холодний аналіз |
|---|---|---|---|
| 10,038 рядків | 150 ms | 29 MiB на 10,000 рядків | 38 MiB на 10,000 рядків |
| 50,013 рядків | 711 ms | 28 MiB на 10,000 рядків | 29 MiB на 10,000 рядків |
| 100,033 рядки | 1.43 s | 28 MiB на 10,000 рядків | 28 MiB на 10,000 рядків |
| 250,011 рядків | 3.73 s | 28 MiB на 10,000 рядків | 26 MiB на 10,000 рядків |
- Холодний аналіз за версією методу 3: ціль не досягнуто. Ціллю було 0.6 s на 100,000 рядків і 1.2 s на 250,000 рядків; перший аналіз дуже великої моделі триває 1.43 s і 3.73 s. Під час цього прогону на вимірювальному комп’ютері виконувалася інша робота, тож ці значення можуть бути на кілька відсотків завищеними; показники пам’яті від цього не залежать.
- Холодний аналіз за версією методу 4: повідомляється, не є ціллю. Критерій перебігу виконано. Holarch показує індикатор виконання для будь-якого аналізу, що може тривати понад 3 секунди: він з’являється через секунду після початку довгого аналізу, називає етап (запуск рушія, завантаження стандартної бібліотеки, аналіз моделі) і залишається, доки аналіз не завершиться. Індикатор виконання — це спосіб, у який застосунок обробляє довгий перший аналіз; він не є твердженням про швидкість рушія.
- Виконано: редагування після першого аналізу вкладаються у свої критерії на кожному розмірі.
- Виконано: пам’ять рушія під час холодного аналізу до 512 MiB на 100,000 рядків і до 1 GiB на 250,000 рядків.
- Виконано: час зростає пропорційно розміру моделі. Холодний аналіз на 250,000 рядків триває у 24.9 раза довше, ніж на 10,000 рядків, для моделі, у 25 разів більшої (критерій: щонайбільше 40).
Увесь сеанс редагування
Версія методу 6, з рушія 2.0.1 прочитана за версією 7: вимірювальний інструмент зберігає записи моделі як текст, як і Holarch. Один новий процес виконує фіксований сценарій: перший аналіз, записи елементів моделі, перша перевірка моделі, 60 редагувань (20 змін значень, 20 змін імпортів і 20 змін супертипів, кожне з повторним аналізом), друк моделі як тексту, запис відредагованого тексту назад у модель та обчислення значень моделі. Показник — найбільша пам’ять рушія в будь-який момент сеансу.
| Розмір моделі | Рушій 2.1.1 | Рушій 2.0.1 | Виконано в 2.1.1 |
|---|---|---|---|
| 10,038 рядків | 35 MiB на 10,000 рядків | 51 MiB на 10,000 рядків | Повідомляється |
| 50,013 рядків | 33 MiB на 10,000 рядків | 49 MiB на 10,000 рядків | Повідомляється |
| 100,033 рядки | 33 MiB на 10,000 рядків | 49 MiB на 10,000 рядків | Так (критерій: до 512 MiB) |
| 250,011 рядків | 33 MiB на 10,000 рядків | 50 MiB на 10,000 рядків | Так (критерій: до 1 GiB) |
- Виконано на 100,000 і 250,000 рядків. Критерії такі самі, як для холодного аналізу: до 512 MiB на 100,000 рядків і до 1 GiB на 250,000 рядків — пам’ять, яку браузер дозволяє екземпляру WebAssembly, із запасом. У WebAssembly пам’ять рушія ніколи не зменшується, тож найбільший момент сеансу визначає його розмір. Рушій 2.0.1 виконав критерій на 100,000 рядків, але не на 250,000; рушій 2.0.0 не виконав жодного (122 MiB на 10,000 рядків за версією методу 6).
- Найбільші моменти — перша перевірка й обчислення моделі, кожен приблизно такий самий, як запис тексту назад у модель; друк моделі більше не є найбільшим кроком.
Пам’ять протягом довгого сеансу
Повідомляється, не є критерієм. Характеристика наведеного вище результату, нативно, на рушії 2.1.1 (прогін 2.1.1-37168cc79-1). Один сеанс на кожен розмір моделі: відкрити модель і перевірити її; редагування у два проходи по кожному місцю редагування (зміни значень, імпортів і супертипів, кожне з повторним аналізом), потім редагування значень, що постійно записують нові числа; десять аналізів і десять перевірок незміненої моделі та аналіз з нуля поруч із відкритим сеансом; друк одного пакета, потім усієї моделі; запис тексту назад у модель; обчислення; потім тричі закрити й відкрити знову.
| Розмір моделі | Редагування відкритої моделі | Найбільший крок: повторний аналіз з нуля поруч із відкритим сеансом | Друк усієї моделі | Залишається після закриття |
|---|---|---|---|---|
| 10,038 рядків | 27 MiB | 55 MiB | 41 MiB | 1.5 MiB |
| 50,013 рядків | 26 MiB | 54 MiB | 40 MiB | 0.6 MiB |
| 100,033 рядки | 26 MiB | 54 MiB | 40 MiB | 0.5 MiB |
| 250,011 рядків | 26 MiB | 54 MiB | 40 MiB | 0.4 MiB |
- Редагування стабілізується. Пам’ять зростає приблизно на 5 MiB на 10,000 рядків, поки редагування сягають оголошень, які раніше не редагувалися, а потім залишається незмінною.
- Повторний аналіз нічого не накопичує. Десять аналізів і десять перевірок незміненої моделі залишають пам’ять на тому самому рівні.
- Найбільший крок — аналіз усієї моделі з нуля, поки сеанс залишається відкритим, що одночасно утримує дві копії аналізу; редактору, який зберігає один сеанс, він не потрібен.
- Друк усієї моделі потребує приблизно 40 MiB на 10,000 рядків понад базу (рушій 2.0.1: від 53 до 55; рушій 2.0.0: від 129 до 131).
- Закриття повертає пам’ять. Невеликий залишок зберігається й не зростає протягом трьох циклів повторного відкриття.
- У Safari цю характеристику на рушії 2.1.1 не вимірювали; останні показники сеансу в Safari належать рушію 2.0.1 і містяться в пакеті доказів.
WebAssembly, виміряно в Safari
Збірка WebAssembly рушія 2.1.1 у власному worker рушія Holarch на тих самих згенерованих моделях. Запуск — це отримання й запуск рушія та завантаження стандартної бібліотеки; холодний аналіз — медіана 3 нових worker; редагування — 200 на тип після 20 розігрівальних, в одному сеансі, як вище. Кожен розмір моделі запускався на окремій сторінці. Перейменування вимірюються лише в нативній збірці. Ці показники повідомляються, вони не є критеріями.
| Розмір моделі | Запуск рушія, Safari | Холодний аналіз, Safari | Холодний аналіз, нативно | Зміна значення, p95, Safari / нативно | Зміна імпорту, p95, Safari / нативно | Зміна супертипу, p95, Safari / нативно |
|---|---|---|---|---|---|---|
| 10,038 рядків | 143 ms | 215 ms | 150 ms | 3 / 1.3 ms | 4 / 2.1 ms | 4 / 2.2 ms |
| 50,013 рядків | 152 ms | 867 ms | 711 ms | 12 / 3.9 ms | 10 / 4.9 ms | 10 / 4.7 ms |
| 100,033 рядки | 144 ms | 1.63 s | 1.43 s | 20 / 7.7 ms | 20 / 8.6 ms | 20 / 8.5 ms |
| 250,011 рядків | 175 ms | 4.44 s | 3.73 s | 53 / 22.7 ms | 50 / 24.0 ms | 49 / 24.9 ms |
Ще не підтримується
Ці конструкції є в опублікованому списку непідтримуваних конструкцій рушія. Файли прикладів моделей, які через них розходяться з пілотною реалізацією, залишають оцінювану область; у цьому прогоні таких немає.
- Текстові подання іншими мовами зберігаються як текст і не перевіряються.
Варіативність, ключові слова користувача й ефекти переходів, записані як accept або action, зникли зі списку у версіях методу з 8 до 10 у міру випуску кожної з них. Для кожного правила граматики текстової нотації є щонайменше один тест, який його розбирає й перевіряє результат. Повний перелік того, що працює в Holarch, з обмеженнями: Охоплення мови SysML v2.
Відтворення результатів
Результати можна незалежно відтворити: пакет доказів (zip, SHA-256 5d9821f7dac3fd0b2bc49a8defe416ac01f515834d65d3182891a9f8d20e59ae) містить усе потрібне, щоб повторити кожен прогін на тій самій збірці рушія.
- Односторінковий посібник з відтворення,
REPRODUCE.md: точні команди, залежності, вхідні дані з контрольними сумами, очікувані результати й тривалість прогонів. - Метод тестування з кожною версією методу (від 1 до 10) і її причиною.
- Таблиці класифікації: список непідтримуваних конструкцій, кожна класифікована розбіжність із її класом і пунктом, наведений вище реєстр, рецензія кожної помилки рушія та категорії зв’язування.
- Підсумок і машинозчитувані результати кожного прогону для рушія 2.1.1 (усі вимірювання й характеристика пам’яті сеансу), рушія 2.0.1 (швидкість і пам’ять, пам’ять сеансу), Holarch 2.15.1 (обидві збірки коду рушія 2.0.0), 2.14.0 (швидкість і пам’ять), 2.13.1 і 2.12.0, а також час WebAssembly й пам’ять сеансу, виміряні в Safari.
- Генератор великих моделей, детермінований для кожного seed, а також скрипти вимірювання й порівняння.
- Контрольна сума кожного файлу.
Він не містить рушія чи файлів OMG. Скрипти завантажують приклади моделей і пілотну реалізацію з їхніх публічних джерел за закріпленим комітом і контрольною сумою пакета. Рушій для повторного прогону надається з ознайомлювальною версією рушія.
Попередні прогони
Попередні офіційні прогони залишаються такими, як їх виміряли, кожен за власною версією методу. За методами від 1 до 3 холодний аналіз до 0.6 s на 100,000 рядків був ціллю; жоден прогін її не досяг. Метод 4 повідомляє його без цілі. До версії методу 3 пікова пам’ять була піковою резидентною пам’яттю вимірювального процесу, яка враховує й пам’ять, що її аллокатор зберігає для повторного використання; її не можна порівнювати з показником купи рушія. Прогони Holarch 2.15.0 і 2.14.0 вимірювали лише швидкість і пам’ять; час прогону 2.15.0 приблизно на чверть більший, ніж у збірок до і після нього, бо його вимірювали, коли на тому самому комп’ютері виконувалася інша робота.
| Збірка | Версія рушія | Випуск Holarch | Метод | Приймання, без обробки | Приймання, з класифікацією (внутрішня рецензія) | Зв’язування імен | Холодний аналіз, 100,000 рядків | Пікова пам’ять, 100,000 рядків |
|---|---|---|---|---|---|---|---|---|
| 37168cc | 2.1.1 | 2.21.0 (постачає рушій 2.1.2) | 10 | 242 з 252 | 252 з 252 | 4,904 з 4,908 | 1.43 s | 302 MiB купи рушія |
| d8cf5c8 | 2.0.1 | 2.17.1 | 7 | Не вимірювалося | Не вимірювалося | Не вимірювалося | 1.23 s | 362 MiB купи рушія |
| 91f058a | 2.0.0 | 2.15.1 (той самий код рушія, що й dd4fb10) | 6 | 232 з 252 | 241 з 241 | 4,879 з 4,886 | 1.35 s | 362 MiB купи рушія |
| dd4fb10 | 1.0.0 | 2.15.1 | 6 | 232 з 252 | 241 з 241 | 4,879 з 4,886 | 1.28 s | 362 MiB купи рушія |
| e6bb924 | 1.0.0 | 2.15.0 | 5 | Не вимірювалося | Не вимірювалося | Не вимірювалося | 1.57 s | 362 MiB купи рушія |
| 0c983e2 | 1.0.0 | 2.14.0 | 6 | Не вимірювалося | Не вимірювалося | Не вимірювалося | 1.37 s | 362 MiB купи рушія |
| d3f5d4b | 1.0.0 | 2.13.1, 2.13.2 | 5 | 231 з 252 | 240 з 242 | 4,851 з 4,860 | 1.24 s | 362 MiB купи рушія |
| 8a6bf7b | 1.0.0 | 2.12.0 | 5 | 220 з 252 | 229 з 242 | 4,753 з 4,768 | 1.21 s | 362 MiB купи рушія |
| 6eec2b7 | 1.0.0 | – | 5 | 231 з 252 | 240 з 240 (класифікація до рецензії помилок) | 4,851 з 4,860 | 1.20 s | 362 MiB купи рушія |
| c184e57 | 1.0.0 | 2.11.0 | 3 | 220 з 252 | 228 з 228 | 4,753 з 4,768 | 1.31 s | 361 MiB купи рушія |
| bfa03c7 | 1.0.0 | – | 2 | 220 з 252 | 228 з 228 | 4,753 з 4,768 | 1.35 s | 972 MiB процесу |
| 1cada39 | 1.0.0 | – | 2 | 216 з 252 | 224 з 228 | 4,737 з 4,752 | 4.24 s | 1,022 MiB процесу |
| fd20280 | 1.0.0 | – | 1 | 145 з 252 | Не класифіковано (метод 1) | 4,326 з 4,373 | 2.41 s | 1,535 MiB процесу |
Чого ці результати не показують
- Це власні вимірювання Holarch на моделях, на яких їх запускали. Вони не є сертифікацією. Object Management Group не рецензувала й не схвалювала їх.
- Пілотна реалізація та приклади моделей не є специфікацією. Там, де вони й рушій розходяться, наведена вище класифікація вказує, яку сторону підтримує специфікація і чому.
- Кожна класифікація й рецензія на цій сторінці є внутрішньою рецензією. Заплановано зовнішню рецензію вибірки тестових випадків рушія за специфікацією.
- Симуляцію дій і автоматів станів, окремо ліцензоване доповнення симуляції, тут не вимірюють.
- Перетворення моделей SysML v1 на SysML v2 тут не вимірюють. Для ліцензіатів рушія це доповнення для міграції, що ліцензується окремо.
Випробуйте рушій на власних моделях.
Ознайомлювальна версія безкоштовна протягом 60 днів.