Holarch Language Engine
Результаты тестирования Language Engine
Измеренные результаты движка, на котором работают проекты SysML v2 в Holarch: как его ответы соотносятся с пилотной реализацией OMG на официальных примерах моделей, как он справляется с повреждённым текстом и насколько быстр на больших моделях. Невыполненные критерии перечислены вместе с выполненными.
Перейти к: Этот прогон · Сводка · Память сеанса · Что подтверждают свидетельства · Примеры моделей · Валидация диагностики · Привязка имён · Повреждённый текст · Скорость и память · Пока не поддерживается · Воспроизведение результатов · Прежние прогоны · Чего эти результаты не показывают
Этот прогон
- Движок: Holarch Language Engine 2.1 (версия 2.1.1, сборка 37168cc). Holarch поставляет версию 2.1.2, которая добавляет отчёты о ходе выполнения для индикатора прогресса хоста и проверяет очень длинные цепочки импортов или специализаций, на которых останавливались прежние версии; на примерах моделей, сгенерированных моделях и тестовом корпусе этого прогона она даёт те же ответы, что и 2.1.1, поэтому показатели на этой странице, измеренные на 2.1.1, повторно не измерялись. Её холодный анализ больших сгенерированных моделей в измерении вне официальных прогонов занял примерно на 3 % больше времени. Движок 2.1 добавляет вариативность, пользовательские ключевые слова, триггеры и эффекты переходов, моделирование (отдельно лицензируемое дополнение, здесь не измеряется) и меньшее потребление памяти в ходе сеанса редактирования.
- Методика: версия 10 письменного плана приёмки. Критерии были установлены до измерения первых результатов. Каждое последующее изменение методики записывается с причиной, а прежние результаты сохраняют методику, по которой они измерены. Версии 8–10 убирают из списка неподдерживаемых конструкций вариативность, пользовательские ключевые слова и триггеры и эффекты переходов по мере выпуска каждой; критерии и пороги не изменились.
- Примеры моделей: наборы training, examples и validation репозитория выпусков SysML v2 OMG, выпуск 2026-08 (коммит fb97b754): 252 файла, 14 957 строк. Модели загружаются из репозитория OMG для каждого прогона и не копируются в Holarch.
- Эталон: пилотная реализация OMG, версия 0.62.0, запускаемая как чёрный ящик.
- Большие модели: сгенерированные модели от 10 000 до 250 000 строк с глубокими импортами, ссылками между пакетами и длинными цепочками специализаций.
Каждый показатель на этой странице взят из перечисленных ниже официальных прогонов. Опубликованный прогон никогда не редактируется. Исправление — это новый прогон, который называет заменяемый.
Внутренняя проверка помечает каждую классификацию и проверку на этой странице: классы расхождений, реестр, проверку каждой ошибки движка и категории привязки. Их выполнил Holarch по тексту спецификации. Внешней проверки пока нет; метка остаётся, пока она не появится.
| Выпуск Holarch | Версия движка | Сборка движка | Метод | Официальные прогоны |
|---|---|---|---|---|
| 2.21.0 (поставляет движок 2.1.2) | 2.1.1 | 37168cc | 10 | 2.1.1-37168cc79-1 (все измерения, также характеристика памяти сеанса; показатели на этой странице) |
| 2.17.1 | 2.0.1 | d8cf5c8 | 7 | 2.0.1-d8cf5c835-1 (скорость и память, память сеанса) |
| 2.15.1 | 2.0.0 | dd4fb10; 91f058a сообщает 2.0.0 | 6 | 1.0.0-dd4fb10f5-1 (все измерения), 2.0.0-91f058a75-1 (все измерения, на сборке, которая сообщает 2.0.0; также характеристика памяти сеанса) |
| 2.15.0 | 1.0.0 | e6bb924 | 5 | 1.0.0-e6bb92459-1 (скорость и память, покрытие тестами) |
| 2.14.0 | 1.0.0 | 0c983e2 | 6 | 1.0.0-0c983e2e8-1 (скорость и память, для сравнения) |
| 2.13.1 | 1.0.0 | d3f5d4b | 5 | 1.0.0-d3f5d4b5d-2 (примеры моделей), 1.0.0-d3f5d4b5d-1 (прочие измерения) |
| 2.12.0 | 1.0.0 | 8a6bf7b | 5 | 1.0.0-8a6bf7b76-2 (примеры моделей), 1.0.0-8a6bf7b76-1 (прочие измерения) |
| 2.11.0 | 1.0.0 | c184e57 | 3, прочитано по версии 4 | 1.0.0-c184e57e6-1 |
Сводка
На сгенерированной модели из 10 000 строк движок 2.1.1 анализирует всю модель за 150 ms и перепроверяет её после правки за 1,3–6,8 ms (95-й процентиль). База движка с загруженной стандартной библиотекой: 17 MiB; анализ всей модели добавляет около 29 MiB на 10 000 строк, а весь сеанс редактирования — около 33 MiB на 10 000 строк. Все критерии выполнены, включая память движка за полный сеанс редактирования при 100 000 и 250 000 строк, которую прежние движки не выдерживали. Проверено на сгенерированных моделях до 250 000 строк: скорость и память на каждом размере.
Память показана на 10 000 строк сверх базы движка — памяти движка с загруженной стандартной библиотекой и пустой моделью. Критерии относятся к общему объёму.
| Измерение | Критерий | Движок 2.1.1 | Выполнено |
|---|---|---|---|
| Примеры моделей: сбои и превышения времени | Не допускаются | Нет | Да |
| Примеры моделей: согласие в принятии, с классификацией | Не менее 98 % файлов в оцениваемом охвате | 252 из 252 Внутренняя проверка | Да |
| Примеры моделей: ложные принятия | Не допускаются | Нет | Да |
| Примеры моделей: каждая ошибка движка проверена по отдельности | Все проверены | 44 из 44 Внутренняя проверка | Да |
| Привязка имён | Не менее 99,5 % парных привязок совпадают | 4904 из 4908 | Да |
| Повреждённый текст | Семь критериев, ниже | Все семь выполнены | Да |
| Правки, все размеры | Изменение значения — в пределах 12 ms, прочие правки — в пределах 60 ms (25 и 150 ms при 250 000 строк) | Все в пределах | Да |
| Холодный анализ, 100 000 строк | Сообщается, не является целью начиная с версии методики 4 (прежняя цель: в пределах 0,6 s) | 1,43 s | Прежняя цель не достигнута |
| Холодный анализ, 250 000 строк | Сообщается, не является целью начиная с версии методики 4 (прежняя цель: в пределах 1,2 s) | 3,73 s | Прежняя цель не достигнута |
| Отображение хода длительного анализа | Индикатор прогресса для любого анализа, который может занять более 3 секунд (версия методики 4) | Отображается, с этапами движка; проверяется тестом прогресса Holarch | Да |
| Память движка, холодный анализ, 100 000 строк | В пределах 512 MiB | 28 MiB на 10 000 строк сверх базы | Да |
| Память движка, холодный анализ, 250 000 строк | В пределах 1 GiB | 28 MiB на 10 000 строк сверх базы | Да |
| Память движка, полный сеанс редактирования, 100 000 строк | В пределах 512 MiB (версия методики 6) | 33 MiB на 10 000 строк сверх базы | Да |
| Память движка, полный сеанс редактирования, 250 000 строк | В пределах 1 GiB (версия методики 6) | 33 MiB на 10 000 строк сверх базы | Да |
| Рост с размером модели | Холодный анализ при 250 000 строк не более чем в 40 раз дольше, чем при 10 000 | В 24,9 раза | Да |
| Один запрос — один ответ | Каждый ответ идентичен в двух новых процессах | 1211 из 1211 | Да |
Память сеанса: критерий выполнен
Выполнено: память движка за полный сеанс редактирования при 100 000 и 250 000 строк. Движки до 2.0.1 не выдерживали этот критерий при 250 000 строк (2.0.0 — и при 100 000 строк); движку 2.1.1 требуется около 33 MiB на 10 000 строк сверх базы за весь сеанс, в пределах 512 MiB при 100 000 строк и в пределах 1 GiB при 250 000 строк.
- Что изменилось. Вывод текста и сравнение текстов больше не строят полную копию документа в памяти (движок 2.0.1), а таблицы имён, кэш анализа, синтаксическое дерево и позиции в исходном коде занимают меньше места (движок 2.1.1).
- Вывод всей модели в текст, прежде самый крупный шаг, теперь требует нативно около 40 MiB на 10 000 строк сверх базы — меньше, чем повторный анализ модели с нуля рядом с открытым сеансом (около 54 MiB на 10 000 строк): память за длительный сеанс.
- В браузере память движка никогда не уменьшается, поэтому worker сохраняет размер своего пикового момента, пока его не завершат; Holarch завершает и перезапускает простаивающий worker движка, который удерживает гораздо больше памяти, чем использует.
Что подтверждают свидетельства
Какие способы использования подтверждают эти результаты и где свидетельства заканчиваются. «Не установлено» означает, что на этой странице нет свидетельств ни за, ни против.
| Использование | Чем подтверждается | Установлено | Не установлено |
|---|---|---|---|
| Помощь в редакторе (анализ при вводе) | Время правок, повреждённый текст, примеры моделей, память сеанса | Повторный анализ после правки в пределах критериев до 250 000 строк, нативно и в Safari; повреждённый текст обрабатывается по всем семи критериям; память стабилизируется при длительном редактировании; память за полный сеанс редактирования в пределах критериев до 250 000 строк | Время на компьютерах медленнее измерительного (запас в 4 раза предполагается, а не измерен); браузеры, кроме Safari |
| Пакетная проверка и проверка в CI (целые модели) | Примеры моделей, валидация диагностики, холодный анализ, один запрос — один ответ | Без сбоев и превышений времени; 252 из 252 файлов примеров совпадают после классификации Внутренняя проверка; каждая ошибка движка проверена; идентичные ответы в новых процессах; холодный анализ растёт соразмерно размеру модели | Большие модели, написанные людьми или другими инструментами (измерялись только сгенерированные модели и примеры OMG); интеграция с CI |
| Преобразование модели (вывод модели в текст, запись текста обратно в модель) | Полный сеанс редактирования, память сеанса | Каждый шаг отвечает на любом размере модели; память в пределах критериев при выводе всей модели до 250 000 строк, нативно | Дают ли вывод и обратная запись ту же модель (не входит в эти измерения); преобразование из SysML v1 |
| Браузер (WebAssembly) | Время в Safari, память сеанса в Safari | Запуск, холодный анализ и правки в Safari до 250 000 строк | Chrome, Firefox и Edge; мобильные браузеры; память сеанса в Safari для этого движка (для 2.0.1 измерена до 250 000 строк) |
| Нативно и на сервере | Все измерения на этой странице (критерии нативные) | На Mac с Apple silicon | Другие операционные системы и процессоры; много моделей одновременно в одном процессе; длительные серверные сеансы по многим проектам |
| Использование с высокими требованиями к надёжности (решения, критичные для безопасности или миссии, свидетельства для сертификации) | Само по себе ничем | Ничего сверх перечисленных выше способов | Внешняя проверка; сертификация или квалификация любого рода; полное покрытие правил валидации спецификации; исполнение действий и машин состояний (дополнение моделирования здесь не измеряется) |
Примеры моделей
Каждый набор примеров моделей анализируется целиком, как один проект, потому что примеры импортируют пакеты друг из друга. Пилотная реализация получает те же файлы в одном сеансе. Для каждого файла сравниваются два ответа: есть ли в файле ошибки и к какому элементу привязывается каждое имя.
Согласие в принятии
| Счёт | Что считается | Движок 2.1.1 |
|---|---|---|
| Без обработки | Каждый файл; согласие в том, есть ли в файле ошибки, без классификации | 242 из 252 |
| Оцениваемый охват | Файлы, оставшиеся после исключения тех, чьё расхождение вызвано конструкцией из списка неподдерживаемых | 252 из 252 (ничего не исключено) |
| С классификацией | Согласие в оцениваемом охвате, где расхождение считается согласием, только если спецификация показывает правоту движка | 252 из 252 Внутренняя проверка |
- Выполнено: каждый файл совпадает с пилотной реализацией, 10 из них — через реестр ниже. Вариативность, пользовательские ключевые слова и триггеры и эффекты переходов теперь поддерживаются, поэтому ни один файл не выходит из оцениваемого охвата (для движка 2.0.0 выходили 11 файлов); на 10 файлов больше принимается без ошибок, чем движком 2.0.0, и ни в одном файле, принятом 2.0.0, теперь нет ошибок.
- Ложные принятия: 0. Ни один файл, который пилотная реализация отклоняет, движок не принимает.
- Сбои и превышения времени: нет.
Правила классификации Внутренняя проверка. Каждое расхождение с пилотной реализацией исследуется отдельно и записывается с одним из этих классов до прогона, никогда во время него:
- Ошибка примера: движок прав, а пример недопустим, с пунктом спецификации, который это показывает. Пример: арифметика, складывающая длину с массой. Считается согласием.
- Ошибка пилотной реализации: движок прав, а ответ пилотной реализации противоречит цитируемому пункту спецификации. Считается согласием.
- Неподдерживаемая конструкция: расхождение вызвано конструкцией из опубликованного списка неподдерживаемых конструкций движка (ниже). Файл выходит из оцениваемого охвата. Когда конструкция выпускается, она уходит из списка, и файл измеряется снова.
- Дефект движка: известная ошибка в движке. Никогда не считается согласием.
Реестр расхождений, которые разрешает спецификация Внутренняя проверка
Десять расхождений считаются согласием, потому что спецификация показывает правоту движка. Каждое из них перечислено здесь. Статус проверки: внутренняя означает, что Holarch проверил по спецификации; внешняя проверка этих и других случаев запланирована.
| Id | Файл | Класс | Пункт | Доказательства | Рецензирование |
|---|---|---|---|---|---|
| R1 | Calculation Definitions (training) | Ошибка примера | SysML 9.8.2 | Член с размерностью мощности и член с размерностью скорости объединены в одну сумму | Внутренняя |
| R2 | Calculation Usages-2 (training) | Ошибка примера | SysML 9.8.2 | Величины разной размерности объединены в одном выражении | Внутренняя |
| R3 | Dynamics (examples) | Ошибка примера | SysML 9.8.2 | Величины разной размерности объединены в одном выражении | Внутренняя |
| R4 | Turbojet Stage Analysis (examples) | Ошибка примера | SysML 9.8.2 | Величины разной размерности объединены в одном выражении | Внутренняя |
| R5 | SimpleQuadcopter (examples) | Ошибка примера | SysML 9.8.2 | Длина связана с безразмерным значением | Внутренняя |
| R6 | VehicleGeometryAndCoordinateFrames (examples) | Ошибка примера | SysML 9.8.2 | К длине прибавлено простое число | Внутренняя |
| R7 | 15_12 Compound Value Type (validation) | Ошибка примера | SysML 9.8.2 | Величины разной размерности объединены в одном выражении | Внутренняя |
| R8 | AnalysisIndividualExample (examples) | Ошибка примера | SysML 9.8.2 | Скорость связана с признаком расхода топлива | Внутренняя |
| R9 | 13a Model Containment (validation) | Ошибка пилотной реализации | KerML 8.2.3.5.3 | Два разных импортированных элемента имеют одно имя в одном пространстве имён; имя разрешается не более чем в одно членство, а пилотная реализация выбирает одно | Внутренняя |
| R10 | SysML v2 Spec Annex A SimpleVehicleModel (examples) | Ошибка пилотной реализации | KerML 8.2.3.5.3 | Несколько импортов приносят элементы с одним именем (как в R9); из этого следуют использующие их переопределения и концы соединителей. Модель также связывает скорость с длиной — ошибка примера | Внутренняя |
Валидация диагностики Внутренняя проверка
Согласие в принятии говорит лишь о том, отклоняют ли файл оба инструмента. Чтобы проверить, почему движок отклоняет файл, каждая ошибка, о которой он сообщает на примерах моделей вне строк с неподдерживаемой конструкцией, проверена по отдельности: её код, позиция, применяемое правило, пункт спецификации, является ли она первой ошибкой проблемы (первичной) или следствием другой ошибки (каскадной), и решение по ней.
| Решение | Значение | Движок 2.1.1 |
|---|---|---|
| Подтверждена | Спецификация подтверждает ошибку | 42 |
| Дефект движка | Ложная ошибка | 0 |
| Спорная | Спецификация не разрешает случай | 2 |
| Известный пробел | Ошибка вызвана конструкцией из списка неподдерживаемых | 0 |
| Итого | 44 ошибки в 10 файлах (22 первичные, 22 каскадные) |
- Дефектов движка нет. Ни одна ошибка не приходится на конструкцию, которую движок не поддерживает: 40 ошибок движка 2.0.0, вызванных вариативностью, пользовательскими ключевыми словами и эффектами переходов, исчезли.
- Везде один и тот же код. Имя, которое разрешается в несколько импортированных элементов, сообщается как неоднозначное и в выражениях, и в ссылках; прежние сборки сообщали о нём в выражениях как о неразрешённом.
- Одна интерпретация. Где импорты приносят два элемента с одним именем и один из них специализирует другой, описание спецификации и её формальное правило расходятся. Движок следует формальному правилу и сообщает имя как неоднозначное. Пилотная реализация принимает такие имена без диагностики.
- Спорные: 2 спорные ошибки связывают величину с признаком, типизированным простым вещественным числом: ни одно ограничение спецификации не делает такую связь недопустимой, но в смысле библиотеки величин она не может выполняться.
Привязка имён
Для каждого имени в модели оба инструмента сообщают элемент, к которому оно привязано. Привязки, о которых оба инструмента сообщают для одного имени, объединяются в пары и сравниваются. Показатель согласия считается только среди парных привязок; он ничего не говорит о привязках, о которых сообщает только один инструмент, — они распределены по категориям ниже.
- 4904 из 4908 парных привязок совпадают.
- Привязки, о которых сообщает только один инструмент: 1639 от движка и 601 от пилотной реализации.
4 парных расхождения Внутренняя проверка
| Привязки | Где | Причина | Класс |
|---|---|---|---|
| 3 | PartTest (examples) | Имя цели у пилотной реализации содержит её краткое имя; элемент тот же | Иная идентичность элемента или нормализация |
| 1 | ActionTest (examples) | Действие send без полезной нагрузки: пилотная реализация создаёт собственный признак полезной нагрузки, который переопределяет библиотечный; признак тот же через переопределение | Иная идентичность элемента или нормализация |
3 расхождения движка 2.0.0 по accept и effect перехода исчезли: теперь движок привязывает собственные accepter и effect перехода, как и пилотная реализация.
Привязки, о которых сообщает только один инструмент Внутренняя проверка
Распределены по правилам, которые смотрят на каждую привязку, её цель и строку, где она находится:
| Категория | Только движок | Только пилотная реализация |
|---|---|---|
| Иная идентичность элемента или нормализация | 1,243 | 370 |
| Лишние неявные (движок привязывает, пилотная реализация не показывает связи) | 396 | – |
| Отсутствующие (пилотная реализация привязывает, движок нет) | – | 231 |
| Неподдерживаемая конструкция | 0 | 0 |
| Несоответствие пилотной реализации | Найдено 0 | Найдено 0 |
| Итого | 1,639 | 601 |
- Иная идентичность элемента или нормализация — в основном вопрос сравнения, а не движка: имена в концах соединителей, потоков и последовательностей и в выражениях, которые пилотная реализация показывает как собственные признаки, а не связи; цели в пяти библиотечных пакетах, которые сравнение не может назвать на стороне пилотной реализации; файлы, переданные пилотной реализации в алфавитном порядке при сравнении привязок, где в порядке зависимостей объединяются в пары ещё 217 привязок; краткие имена, сопряжённые порты, безымянные владельцы и неявные признаки, которые пилотная реализация называет иначе.
- Лишние неявные и отсутствующие — то, что остаётся после правил. Выборка показывает цепочки через концы интерфейсов, сопряжённые порты в определениях и метаданные; по отдельности они пока не проверены.
- Исправление сравнения меняет измерение, поэтому для него нужна новая версия методики.
Повреждённый текст
Модели намеренно повреждаются, по одной мутации за раз: удалённые или лишние скобки, оборванные объявления, сломанные импорты, циклические ссылки, недопустимые символы, случайные изменения токенов и типичные опечатки, например пропущенная точка с запятой или неправильно написанное ключевое слово. Входные данные — собственные тестовые модели движка, сгенерированная модель и примеры моделей.
| Проверка | Критерий | Результат | Выполнено |
|---|---|---|---|
| Сбои и превышения времени более 10 s | Не допускаются | Нет | Да |
| Повреждённые входные данные | Не менее 10 000 | 10,044 | Да |
| Ответ после каждой правки совпадает с новым анализом | Все | 10 044 из 10 044 | Да |
| Устранение повреждения возвращает исходный ответ | Все | 9830 из 9830 | Да |
| Одна мутация даёт не более 3 новых синтаксических ошибок | Не менее 99 % случаев | 100.0 % | Да |
| Первая синтаксическая ошибка указывает внутрь повреждённого объявления или сразу после него | Не менее 95 % случаев | 99,7 % из 7163 | Да |
| Объявления вне повреждения по-прежнему проверяются так же | Не менее 99 % | 99,5 % из 55 225 | Да |
Скорость и память
Критерии относятся к нативной сборке движка. В Holarch движок работает в браузере как WebAssembly, что медленнее; критерии учитывают это и более медленные компьютеры с коэффициентом 8 для правок и анализа. Сборка WebAssembly также измеряется в Safari (ниже).
База движка с загруженной стандартной библиотекой: 17 MiB. Показатели памяти ниже даны на 10 000 строк сверх этой базы: пик минус база, делённые на размер модели в единицах по 10 000 строк. Критерии относятся к общему объёму.
Правки
Каждый тип правки применяется 200 раз после 20 разогревающих правок в одном сеансе редактирования, так, как их отправляет редактор Holarch. Таблица показывает 95-й процентиль: 95 из 100 правок выполнились так же быстро или быстрее.
| Размер модели | Изменение значения | Переименование определения | Изменение импорта | Изменение супертипа | Выполнено |
|---|---|---|---|---|---|
| 10 038 строк | 1.3 | 6.8 | 2.1 | 2.2 | Да |
| 50 013 строк | 3.9 | 19.4 | 4.9 | 4.7 | Да |
| 100 033 строки | 7.7 | 34.6 | 8.6 | 8.5 | Да |
| 250 011 строк | 22.7 | 90.8 | 24.0 | 24.9 | Да |
Критерии: изменение значения — в пределах 12 ms (25 ms при 250 000 строк); переименование, изменение импорта или супертипа — в пределах 60 ms (150 ms при 250 000 строк).
Анализ всей модели
Холодный анализ: новый процесс с загруженной стандартной библиотекой анализирует всю модель с нуля, медиана 5 прогонов. Память движка — пик движка во время этого анализа на 10 000 строк сверх базы. Память WebAssembly того же анализа показана для справки, на 10 000 строк с учётом собственной памяти запуска движка.
| Размер модели | Холодный анализ | Память движка, холодный анализ | Память WebAssembly, холодный анализ |
|---|---|---|---|
| 10 038 строк | 150 ms | 29 MiB на 10 000 строк | 38 MiB на 10 000 строк |
| 50 013 строк | 711 ms | 28 MiB на 10 000 строк | 29 MiB на 10 000 строк |
| 100 033 строки | 1,43 s | 28 MiB на 10 000 строк | 28 MiB на 10 000 строк |
| 250 011 строк | 3,73 s | 28 MiB на 10 000 строк | 26 MiB на 10 000 строк |
- Холодный анализ по версии методики 3: цель не достигнута. Целью было 0,6 s при 100 000 строк и 1,2 s при 250 000 строк; первый анализ очень большой модели занимает 1,43 s и 3,73 s. Во время этого прогона на измерительном компьютере выполнялась другая работа, поэтому эти значения могут быть завышены на несколько процентов; на показатели памяти это не влияет.
- Холодный анализ по версии методики 4: сообщается, не является целью. Критерий отображения хода выполнен. Holarch показывает индикатор прогресса для любого анализа, который может занять более 3 секунд: он появляется через секунду после начала длительного анализа, называет этап (запуск движка, загрузка стандартной библиотеки, анализ модели) и остаётся до завершения анализа. Индикатор прогресса — это то, как приложение справляется с длительным первым анализом; это не утверждение о скорости движка.
- Выполнено: правки после первого анализа укладываются в свои критерии на каждом размере.
- Выполнено: память движка при холодном анализе в пределах 512 MiB при 100 000 строк и в пределах 1 GiB при 250 000 строк.
- Выполнено: время растёт соразмерно размеру модели. Холодный анализ при 250 000 строк занимает в 24,9 раза больше времени, чем при 10 000 строк, для модели в 25 раз больше (критерий: не более 40).
Полный сеанс редактирования
Версия методики 6, начиная с движка 2.0.1 читается по версии 7: измерительный инструмент хранит записи модели как текст, как и Holarch. Один новый процесс выполняет фиксированный сценарий: первый анализ, записи элементов модели, первая проверка модели, 60 правок (20 изменений значений, 20 изменений импортов и 20 изменений супертипов, каждая с повторным анализом), вывод модели в текст, запись отредактированного текста обратно в модель и вычисление значений модели. Показатель — наибольшая память движка в любой точке сеанса.
| Размер модели | Движок 2.1.1 | Движок 2.0.1 | Выполнено в 2.1.1 |
|---|---|---|---|
| 10 038 строк | 35 MiB на 10 000 строк | 51 MiB на 10 000 строк | Сообщается |
| 50 013 строк | 33 MiB на 10 000 строк | 49 MiB на 10 000 строк | Сообщается |
| 100 033 строки | 33 MiB на 10 000 строк | 49 MiB на 10 000 строк | Да (критерий: в пределах 512 MiB) |
| 250 011 строк | 33 MiB на 10 000 строк | 50 MiB на 10 000 строк | Да (критерий: в пределах 1 GiB) |
- Выполнено при 100 000 и 250 000 строк. Критерии те же, что и для холодного анализа: в пределах 512 MiB при 100 000 строк и в пределах 1 GiB при 250 000 строк — память, которую браузер позволяет экземпляру WebAssembly, с запасом. В WebAssembly память движка никогда не уменьшается, поэтому размер сеанса задаёт его пиковый момент. Движок 2.0.1 выполнял критерий при 100 000 строк и не выполнял при 250 000; движок 2.0.0 не выполнял ни того, ни другого (122 MiB на 10 000 строк по версии методики 6).
- Пиковые моменты — первая проверка и вычисление модели, каждый примерно такого же размера, как запись текста обратно в модель; вывод модели в текст больше не является самым крупным шагом.
Память за длительный сеанс
Сообщается, не критерий. Характеристика приведённого выше результата, нативно, на движке 2.1.1 (прогон 2.1.1-37168cc79-1). Один сеанс на каждый размер модели: открыть модель и проверить её; правки в два прохода по всем местам правки (изменения значений, импортов и супертипов, каждое с повторным анализом), затем правки значений, которые продолжают записывать новые числа; десять анализов и десять проверок неизменённой модели и анализ с нуля рядом с открытым сеансом; вывод в текст одного пакета, затем всей модели; запись текста обратно в модель; вычисление; затем трижды закрыть и снова открыть.
| Размер модели | Редактирование открытой модели | Самый крупный шаг: повторный анализ с нуля рядом с открытым сеансом | Вывод всей модели в текст | Остаток после закрытия |
|---|---|---|---|---|
| 10 038 строк | 27 MiB | 55 MiB | 41 MiB | 1,5 MiB |
| 50 013 строк | 26 MiB | 54 MiB | 40 MiB | 0,6 MiB |
| 100 033 строки | 26 MiB | 54 MiB | 40 MiB | 0,5 MiB |
| 250 011 строк | 26 MiB | 54 MiB | 40 MiB | 0,4 MiB |
- Редактирование выходит на плато. Память растёт примерно на 5 MiB на 10 000 строк, пока правки затрагивают ещё не редактированные объявления, затем остаётся ровной.
- Повторный анализ ничего не накапливает. Десять анализов и десять проверок неизменённой модели оставляют память на прежнем уровне.
- Самый крупный шаг — анализ всей модели с нуля при открытом сеансе, при котором одновременно хранятся две копии анализа; редактору, который держит один сеанс, это не нужно.
- Вывод всей модели в текст требует около 40 MiB на 10 000 строк сверх базы (движок 2.0.1: от 53 до 55; движок 2.0.0: от 129 до 131).
- Закрытие возвращает память. Остаётся небольшой остаток, который не растёт за три цикла повторного открытия.
- В Safari эта характеристика на движке 2.1.1 не снималась; последние показатели сеанса в Safari относятся к движку 2.0.1 и находятся в пакете свидетельств.
WebAssembly, измерено в Safari
Сборка WebAssembly движка 2.1.1 в собственном worker движка Holarch на тех же сгенерированных моделях. Запуск — это загрузка и старт движка и загрузка стандартной библиотеки; холодный анализ — медиана 3 новых worker-ов; правки — по 200 на тип после 20 разогревающих правок в одном сеансе, как выше. Каждый размер модели выполнялся на отдельной странице. Переименования измеряются только в нативной сборке. Эти показатели сообщаются, а не являются критериями.
| Размер модели | Запуск движка, Safari | Холодный анализ, Safari | Холодный анализ, нативно | Изменение значения, p95, Safari / нативно | Изменение импорта, p95, Safari / нативно | Изменение супертипа, p95, Safari / нативно |
|---|---|---|---|---|---|---|
| 10 038 строк | 143 ms | 215 ms | 150 ms | 3 / 1,3 ms | 4 / 2,1 ms | 4 / 2,2 ms |
| 50 013 строк | 152 ms | 867 ms | 711 ms | 12 / 3,9 ms | 10 / 4,9 ms | 10 / 4,7 ms |
| 100 033 строки | 144 ms | 1,63 s | 1,43 s | 20 / 7,7 ms | 20 / 8,6 ms | 20 / 8,5 ms |
| 250 011 строк | 175 ms | 4,44 s | 3,73 s | 53 / 22,7 ms | 50 / 24,0 ms | 49 / 24,9 ms |
Пока не поддерживается
Эти конструкции входят в опубликованный список неподдерживаемых конструкций движка. Файлы примеров моделей, расходящиеся с пилотной реализацией из-за них, выходят из оцениваемого охвата; в этом прогоне таких нет.
- Текстовые представления на других языках сохраняются как текст и не проверяются.
Вариативность, пользовательские ключевые слова и эффекты переходов, записанные как accept или action, ушли из списка в версиях методики 8–10 по мере выпуска каждой. Для каждого правила грамматики текстовой нотации есть хотя бы один тест, который разбирает его и проверяет результат. Полный список того, что работает в Holarch, с ограничениями: покрытие языка SysML v2.
Воспроизведение результатов
Результаты независимо воспроизводимы: пакет свидетельств (zip, SHA-256 5d9821f7dac3fd0b2bc49a8defe416ac01f515834d65d3182891a9f8d20e59ae) содержит всё необходимое, чтобы повторить каждый прогон на той же сборке движка.
- Одностраничное руководство по воспроизведению,
REPRODUCE.md: точные команды, зависимости, входные данные с контрольными суммами, ожидаемые результаты и время выполнения. - Методика тестирования со всеми версиями методики (с 1 по 10) и их причинами.
- Таблицы классификации: список неподдерживаемых конструкций, каждое классифицированное расхождение с его классом и пунктом, приведённый выше реестр, проверка каждой ошибки движка и категории привязки.
- Сводка и машиночитаемые результаты каждого прогона для движка 2.1.1 (все измерения и характеристика памяти сеанса), движка 2.0.1 (скорость и память, память сеанса), Holarch 2.15.1 (обе сборки кода движка 2.0.0), 2.14.0 (скорость и память), 2.13.1 и 2.12.0, а также время WebAssembly и память сеанса, измеренные в Safari.
- Генератор больших моделей, детерминированный для каждого seed, и скрипты измерения и сравнения.
- Контрольная сумма каждого файла.
Он не содержит ни движка, ни файлов OMG. Скрипты загружают примеры моделей и пилотную реализацию из их публичных источников по закреплённому коммиту и контрольной сумме пакета. Движок для повторного прогона предоставляется вместе с ознакомительной версией движка.
Прежние прогоны
Прежние официальные прогоны остаются в том виде, в каком были измерены, каждый по своей версии методики. По методикам 1–3 холодный анализ в пределах 0,6 s при 100 000 строк был целью; ни один прогон её не достиг. Методика 4 сообщает его без цели. Пиковая память до версии методики 3 была пиковой резидентной памятью измерительного процесса, которая учитывает и память, удерживаемую аллокатором для повторного использования; она несопоставима с показателем кучи движка. Прогоны Holarch 2.15.0 и 2.14.0 измеряли только скорость и память; время прогона 2.15.0 примерно на четверть выше, чем у сборок до и после него, — оно измерялось, пока на том же компьютере выполнялась другая работа.
| Сборка | Версия движка | Выпуск Holarch | Метод | Принятие, без обработки | Принятие, с классификацией (внутренняя проверка) | Привязка имён | Холодный анализ, 100 000 строк | Пиковая память, 100 000 строк |
|---|---|---|---|---|---|---|---|---|
| 37168cc | 2.1.1 | 2.21.0 (поставляет движок 2.1.2) | 10 | 242 из 252 | 252 из 252 | 4904 из 4908 | 1,43 s | 302 MiB кучи движка |
| d8cf5c8 | 2.0.1 | 2.17.1 | 7 | Не измерялось | Не измерялось | Не измерялось | 1,23 s | 362 MiB кучи движка |
| 91f058a | 2.0.0 | 2.15.1 (тот же код движка, что и dd4fb10) | 6 | 232 из 252 | 241 из 241 | 4879 из 4886 | 1,35 s | 362 MiB кучи движка |
| dd4fb10 | 1.0.0 | 2.15.1 | 6 | 232 из 252 | 241 из 241 | 4879 из 4886 | 1,28 s | 362 MiB кучи движка |
| e6bb924 | 1.0.0 | 2.15.0 | 5 | Не измерялось | Не измерялось | Не измерялось | 1,57 s | 362 MiB кучи движка |
| 0c983e2 | 1.0.0 | 2.14.0 | 6 | Не измерялось | Не измерялось | Не измерялось | 1,37 s | 362 MiB кучи движка |
| d3f5d4b | 1.0.0 | 2.13.1, 2.13.2 | 5 | 231 из 252 | 240 из 242 | 4851 из 4860 | 1,24 s | 362 MiB кучи движка |
| 8a6bf7b | 1.0.0 | 2.12.0 | 5 | 220 из 252 | 229 из 242 | 4753 из 4768 | 1,21 s | 362 MiB кучи движка |
| 6eec2b7 | 1.0.0 | – | 5 | 231 из 252 | 240 из 240 (классификация до проверки ошибок) | 4851 из 4860 | 1,20 s | 362 MiB кучи движка |
| c184e57 | 1.0.0 | 2.11.0 | 3 | 220 из 252 | 228 из 228 | 4753 из 4768 | 1,31 s | 361 MiB кучи движка |
| bfa03c7 | 1.0.0 | – | 2 | 220 из 252 | 228 из 228 | 4753 из 4768 | 1,35 s | 972 MiB процесса |
| 1cada39 | 1.0.0 | – | 2 | 216 из 252 | 224 из 228 | 4737 из 4752 | 4,24 s | 1022 MiB процесса |
| fd20280 | 1.0.0 | – | 1 | 145 из 252 | Без классификации (методика 1) | 4326 из 4373 | 2,41 s | 1535 MiB процесса |
Чего эти результаты не показывают
- Это собственные измерения Holarch на тех моделях, на которых они проводились. Это не сертификация. Object Management Group их не проверяла и не одобряла.
- Пилотная реализация и примеры моделей — не спецификация. Где они расходятся с движком, приведённая выше классификация указывает, какую сторону поддерживает спецификация и почему.
- Вся классификация и все проверки на этой странице — внутренние. Запланирована внешняя проверка выборки тестовых случаев движка на соответствие спецификации.
- Симуляция действий и машин состояний — отдельно лицензируемое дополнение симуляции — здесь не измеряется.
- Преобразование моделей SysML v1 в SysML v2 здесь не измеряется. Для лицензиатов движка это дополнение миграции, лицензируемое отдельно.
Попробуйте движок на собственных моделях.
Ознакомительный период бесплатный, 60 дней.