跳转到:本次运行 · 摘要 · 会话内存 · 证据支持的结论 · 示例模型 · 诊断验证 · 名称绑定 · 损坏的文本 · 速度和内存 · 尚不支持的内容 · 复现结果 · 早期运行 · 这些结果不能说明的内容
本次运行
- 引擎:Holarch Language Engine 2.1(版本 2.1.1,构建 37168cc)。Holarch 发布的是 2.1.2 版,该版本为宿主的进度条增加了进度报告,并能检查曾使早期版本停止的超长导入链或特化链;在本次运行的示例模型、生成模型和测试语料上,它给出的应答与 2.1.1 相同,因此本页在 2.1.1 上测得的数据没有重新测量。在官方运行之外的一次测量中,它对大型生成模型的冷分析耗时约增加 3 %。引擎 2.1 增加了可变性、用户定义的关键字、转换的触发器和效果、仿真(单独许可的附加组件,此处未测量),并降低了整个编辑会话期间的内存。
- 方法:书面验收计划第 10 版。准则在测量首批结果之前就已写定。之后的每次方法变更都记录了理由,早先的结果保留其测量时所依据的方法。第 8 至 10 版在可变性、用户定义的关键字以及转换的触发器和效果分别发布后,将其从不支持的构造列表中移除;准则和关口不变。
- 示例模型:OMG SysML v2 发布仓库 2026-08 版(提交 fb97b754)中的 training、examples 和 validation 集:252 个文件,14,957 行。每次运行都从 OMG 的仓库获取这些模型,它们不会被复制到 Holarch 中。
- 参考:OMG 的试点实现,版本 0.62.0,作为黑盒运行。
- 大型模型:10,000 到 250,000 行的生成模型,具有深层导入、跨包引用和长特化链。
本页的每个数据都来自下列官方运行。已发布的运行绝不修改。更正是一次新的运行,并注明它所取代的那次运行。
内部审查标记本页上的每项分类和审查:分歧的分类、登记册、对每个引擎错误的审查以及绑定类别。它们由 Holarch 依据规范文本完成。目前尚无外部审查;在有外部审查之前,此标签将一直保留。
| Holarch 版本 | 引擎版本 | 引擎构建 | 方法 | 官方运行 |
|---|---|---|---|---|
| 2.21.0(发布引擎 2.1.2) | 2.1.1 | 37168cc | 10 | 2.1.1-37168cc79-1(所有测量项,包括会话内存特性分析;即本页的数据) |
| 2.17.1 | 2.0.1 | d8cf5c8 | 7 | 2.0.1-d8cf5c835-1(速度和内存、会话内存) |
| 2.15.1 | 2.0.0 | dd4fb10;91f058a 报告为 2.0.0 | 6 | 1.0.0-dd4fb10f5-1(所有测量项),2.0.0-91f058a75-1(所有测量项,基于报告为 2.0.0 的构建;包括会话内存特性分析) |
| 2.15.0 | 1.0.0 | e6bb924 | 5 | 1.0.0-e6bb92459-1(速度和内存、测试覆盖率) |
| 2.14.0 | 1.0.0 | 0c983e2 | 6 | 1.0.0-0c983e2e8-1(速度和内存,用于比较) |
| 2.13.1 | 1.0.0 | d3f5d4b | 5 | 1.0.0-d3f5d4b5d-2(示例模型),1.0.0-d3f5d4b5d-1(其他测量项) |
| 2.12.0 | 1.0.0 | 8a6bf7b | 5 | 1.0.0-8a6bf7b76-2(示例模型),1.0.0-8a6bf7b76-1(其他测量项) |
| 2.11.0 | 1.0.0 | c184e57 | 3,按 4 解读 | 1.0.0-c184e57e6-1 |
摘要
在一个 10,000 行的生成模型上,引擎 2.1.1 分析整个模型用时 150 ms,编辑后重新检查用时 1.3 到 6.8 ms(第 95 百分位)。引擎基础内存(已加载标准库):17 MiB;整个模型的分析每 10,000 行约增加 29 MiB,整个编辑会话每 10,000 行约增加 33 MiB。所有准则均已满足,包括在 100,000 行和 250,000 行时整个编辑会话的引擎内存,早期引擎未能满足这一点。已使用最多 250,000 行的生成模型进行测试:各规模下的速度和内存。
上方的内存按引擎基础内存之上每 10,000 行显示,引擎基础内存是已加载标准库且模型为空时引擎的内存。准则适用于总量。
| 指标 | 标准 | 引擎 2.1.1 | 是否满足 |
|---|---|---|---|
| 示例模型:崩溃和超时 | 不允许出现 | 无 | 是 |
| 示例模型:接受结果一致性(已分类) | 评估范围内至少 98 % 的文件 | 252 个中的 252 个 内部审查 | 是 |
| 示例模型:错误接受 | 不允许出现 | 无 | 是 |
| 示例模型:逐一审查每个引擎错误 | 全部审查 | 44 个中的 44 个 内部审查 | 是 |
| 名称绑定 | 至少 99.5 % 的配对绑定一致 | 4,908 个中的 4,904 个 | 是 |
| 损坏的文本 | 七项准则,见下文 | 七项全部满足 | 是 |
| 编辑,所有规模 | 值更改在 12 ms 内,其他编辑在 60 ms 内(250,000 行时分别为 25 ms 和 150 ms) | 全部在限值内 | 是 |
| 冷分析,100,000 行 | 仅报告,自方法第 4 版起不再作为目标(之前的目标:0.6 s 内) | 1.43 s | 未满足之前的目标 |
| 冷分析,250,000 行 | 仅报告,自方法第 4 版起不再作为目标(之前的目标:1.2 s 内) | 3.73 s | 未满足之前的目标 |
| 长时间分析期间显示进度 | 任何可能超过 3 秒的分析都显示进度条(方法第 4 版) | 已显示,并附有引擎的各阶段;由 Holarch 的进度测试检查 | 是 |
| 引擎内存,冷分析,100,000 行 | 512 MiB 以内 | 基础内存之上每 10,000 行 28 MiB | 是 |
| 引擎内存,冷分析,250,000 行 | 1 GiB 以内 | 基础内存之上每 10,000 行 28 MiB | 是 |
| 引擎内存,完整编辑会话,100,000 行 | 512 MiB 以内(方法第 6 版) | 基础内存之上每 10,000 行 33 MiB | 是 |
| 引擎内存,完整编辑会话,250,000 行 | 1 GiB 以内(方法第 6 版) | 基础内存之上每 10,000 行 33 MiB | 是 |
| 随模型规模的增长 | 250,000 行时的冷分析最多为 10,000 行时的 40 倍 | 24.9 倍 | 是 |
| 相同请求,相同应答 | 在两个全新进程中每个应答都完全相同 | 1,211 个中的 1,211 个 | 是 |
会话内存:准则已满足
已满足:在 100,000 行和 250,000 行时整个编辑会话的引擎内存。2.0.1 及之前的引擎在 250,000 行时未满足该准则(2.0.0 在 100,000 行时也未满足);引擎 2.1.1 在整个会话中需要基础内存之上每 10,000 行约 33 MiB,在 100,000 行时不超过 512 MiB,在 250,000 行时不超过 1 GiB。
- 变化之处。打印器和文本比较不再在内存中构建文档的完整副本(引擎 2.0.1),引擎的名称表、分析缓存、语法树和源位置占用的空间更少(引擎 2.1.1)。
- 打印整个模型以前是最大的一步,现在原生环境下需要基础内存之上每 10,000 行约 40 MiB,少于在已打开会话旁从头重新分析模型所需的内存(每 10,000 行约 54 MiB):长会话期间的内存。
- 在浏览器中,引擎的内存从不缩减,因此 worker 会一直保持其峰值时的大小,直到被结束;Holarch 会结束并重启占用内存远多于实际使用量的空闲引擎 worker。
证据支持的结论
这些结果支持哪些用途,以及证据止于何处。“未确立”表示本页没有任何正反两方面的证据。
| 用途 | 依据 | 已确立 | 未确立 |
|---|---|---|---|
| 编辑器辅助(输入时分析) | 编辑耗时、损坏的文本、示例模型、会话内存 | 在原生环境和 Safari 中,最多 250,000 行时编辑后的重新分析均在准则范围内;损坏的文本在全部七项准则中均得到处理;长时间编辑期间内存趋于平稳;最多 250,000 行时整个编辑会话的内存在准则范围内 | 在比测量所用计算机更慢的计算机上的耗时(假定留有 4 倍余量,未经测量);Safari 以外的浏览器 |
| 批量和 CI 检查(整个模型) | 示例模型、诊断验证、冷分析、相同请求相同应答 | 无崩溃或超时;分类后 252 个示例文件中 252 个一致 内部审查;每个引擎错误都经过审查;在全新进程中应答完全相同;冷分析随模型规模成比例增长 | 由人或其他工具编写的大型模型(仅测量了生成模型和 OMG 的示例);CI 集成 |
| 模型转换(将模型打印为文本,将文本写回模型) | 完整编辑会话、会话内存 | 每个步骤在每种模型规模上都能应答;在原生环境下,最多 250,000 行时整个模型打印的内存在准则范围内 | 打印和写回是否得到相同的模型(不属于这些测量项);从 SysML v1 的转换 |
| 浏览器 (WebAssembly) | Safari 耗时、Safari 中的会话内存 | Safari 中最多 250,000 行的启动、冷分析和编辑 | Chrome、Firefox 和 Edge;移动浏览器;此引擎在 Safari 中的会话内存(已对 2.0.1 测量至 250,000 行) |
| 原生和服务器 | 本页的每个测量项(准则针对原生环境) | 在 Apple 芯片 Mac 上 | 其他操作系统和处理器;在一个进程中同时处理多个模型;涵盖多个项目的长时间运行的服务器会话 |
| 高保证用途(安全关键或任务关键决策、认证证据) | 单凭这些结果不足以支持 | 除上述用途外无 | 外部审查;任何形式的认证或鉴定;对规范验证规则的完整覆盖;动作和状态机的执行(仿真附加组件未在此测量) |
示例模型
每组示例模型作为一个项目一起分析,因为这些示例会相互导入包。试点实现在一个会话中获得相同的文件。对每个文件比较两个应答:文件是否有错误,以及每个名称绑定到哪个元素。
接受结果一致性
| 计数 | 计数内容 | 引擎 2.1.1 |
|---|---|---|
| 原始 | 每个文件;就文件是否有错误是否一致,不作分类 | 252 个中的 242 个 |
| 评估范围 | 排除分歧源于不支持列表中构造的文件后剩余的文件 | 252 个中的 252 个(无排除) |
| 已分类 | 评估范围内的一致性,只有在规范表明引擎正确的情况下,才将分歧计为一致 | 252 个中的 252 个 内部审查 |
- 已满足:每个文件都与试点实现一致,其中 10 个通过下方的登记册判定。现已支持可变性、用户定义的关键字以及转换的触发器和效果,因此没有文件被排除在评估范围之外(引擎 2.0.0 时有 11 个文件被排除);与引擎 2.0.0 相比,又多了 10 个文件被无错误地接受,且 2.0.0 接受的文件现在都没有错误。
- 错误接受:0。试点实现拒绝的文件均未被引擎接受。
- 崩溃和超时:无。
分类规则 内部审查。与试点实现的每处分歧都单独调查,并在运行之前(而非运行期间)记录为以下类别之一:
- 示例错误:引擎正确而示例无效,并附有证明这一点的规范条款。例如:将长度与质量相加的算术运算。计为一致。
- 试点错误:引擎正确,而试点实现的应答与所引用的规范条款相矛盾。计为一致。
- 不支持的构造:分歧源于引擎已公布的不支持构造列表中的构造(见下文)。该文件被排除在评估范围之外。当该构造发布后,它会从列表中移除,该文件也会被重新测量。
- 引擎缺陷:引擎中的已知缺陷。从不计为一致。
由规范判定的分歧登记册 内部审查
有十处分歧计为一致,因为规范表明引擎是正确的。每一处都列在这里。审查状态:“内部”表示已由 Holarch 依据规范进行审查;计划对这些情况及其他情况进行外部审查。
| Id | 文件 | 类别 | 条款 | 证据 | 评审 |
|---|---|---|---|---|---|
| R1 | Calculation Definitions (training) | 示例错误 | SysML 9.8.2 | 功率项与速度量纲项在同一个求和中组合 | 内部 |
| R2 | Calculation Usages-2 (training) | 示例错误 | SysML 9.8.2 | 不同量纲的量在同一个表达式中组合 | 内部 |
| R3 | Dynamics (examples) | 示例错误 | SysML 9.8.2 | 不同量纲的量在同一个表达式中组合 | 内部 |
| R4 | Turbojet Stage Analysis (examples) | 示例错误 | SysML 9.8.2 | 不同量纲的量在同一个表达式中组合 | 内部 |
| R5 | SimpleQuadcopter (examples) | 示例错误 | SysML 9.8.2 | 长度被绑定到无量纲值 | 内部 |
| R6 | VehicleGeometryAndCoordinateFrames (examples) | 示例错误 | SysML 9.8.2 | 纯数字与长度相加 | 内部 |
| R7 | 15_12 Compound Value Type (validation) | 示例错误 | SysML 9.8.2 | 不同量纲的量在同一个表达式中组合 | 内部 |
| R8 | AnalysisIndividualExample (examples) | 示例错误 | SysML 9.8.2 | 速度被绑定到燃油经济性特性 | 内部 |
| R9 | 13a Model Containment (validation) | 试点错误 | KerML 8.2.3.5.3 | 两个不同的导入元素在一个命名空间中同名;一个名称最多解析为一个成员关系,而试点实现从中任选一个 | 内部 |
| R10 | SysML v2 Spec Annex A SimpleVehicleModel (examples) | 试点错误 | KerML 8.2.3.5.3 | 多个导入引入了同名元素(与 R9 相同);使用它们的重定义和连接器端由此而来。该模型还将速度绑定到长度,这是一个示例错误 | 内部 |
诊断验证 内部审查
接受结果一致性只说明两个工具是否都拒绝某个文件。为了检查引擎拒绝文件的原因,对它在示例模型上报告的每个错误(含不支持构造的行除外)都进行了逐一审查:其代码、位置、所应用的规则、规范条款、它是某个问题的第一个错误(主错误)还是另一错误的后果(连锁错误),以及处置结论。
| 处置 | 含义 | 引擎 2.1.1 |
|---|---|---|
| 已确认 | 规范支持该错误 | 42 |
| 引擎缺陷 | 误报的错误 | 0 |
| 有争议 | 规范未能判定该情况 | 2 |
| 已知缺口 | 该错误源于不支持列表中的构造 | 0 |
| 总计 | 10 个文件中的 44 个错误(22 个主错误,22 个连锁错误) |
- 没有引擎缺陷。没有错误落在引擎不支持的构造上:引擎 2.0.0 中来自可变性、用户定义的关键字和转换效果的 40 个错误都已消失。
- 处处使用相同的代码。解析为多个导入元素的名称,在表达式和引用中都报告为有歧义;早期构建在表达式中将其报告为未解析。
- 一种解释。当导入引入两个同名元素且其中一个特化另一个时,规范的描述与其形式化规则不一致。引擎遵循形式化规则,将该名称报告为有歧义。试点实现接受此类名称且不给出诊断。
- 有争议:2 个有争议的错误将一个量绑定到以纯实数为类型的特性:规范中没有任何约束使该绑定无效,但按照量库的含义,该绑定不能成立。
名称绑定
对于模型中的每个名称,两个工具都会报告它所绑定的元素。两个工具针对同一名称报告的绑定会配对并比较。一致性数据仅针对配对的绑定;它不涉及只有一个工具报告的绑定,这些绑定在下文分类整理。
- 4,908 个中的 4,904 个配对绑定一致。
- 只有一个工具报告的绑定:引擎 1,639 个,试点实现 601 个。
4 处配对分歧 内部审查
| 绑定 | 位置 | 原因 | 类别 |
|---|---|---|---|
| 3 | PartTest (examples) | 试点实现对目标的命名带有其短名称;是同一元素 | 元素标识或规范化方式不同 |
| 1 | ActionTest (examples) | 一个没有有效载荷的发送动作:试点实现创建了自己的有效载荷特性,重定义库中的特性;通过重定义为同一特性 | 元素标识或规范化方式不同 |
引擎 2.0.0 在转换的 accept 和 effect 上的 3 处分歧已消失:引擎现在与试点实现一样,绑定转换自身的接受器和效果。
只有一个工具报告的绑定 内部审查
按照查看每个绑定、其目标及其所在行的规则进行分类:
| 类别 | 仅引擎 | 仅试点实现 |
|---|---|---|
| 元素标识或规范化方式不同 | 1,243 | 370 |
| 额外的隐式绑定(引擎绑定,试点实现未显示关系) | 396 | – |
| 缺失(试点实现绑定,引擎未绑定) | – | 231 |
| 不支持的构造 | 0 | 0 |
| 试点实现差异 | 发现 0 个 | 发现 0 个 |
| 总计 | 1,639 | 601 |
- 元素标识或规范化方式不同主要源于比较方法,而不是引擎:连接器端、流端、后继端以及表达式中的名称,试点实现将其显示为拥有的特性而不是关系;五个库包中的目标,比较方法无法在试点实现一侧为其命名;在绑定比较中按字母顺序提供给试点实现的文件,若按依赖顺序则还有 217 个绑定可以配对;短名称、共轭端口、未命名的所有者以及试点实现命名方式不同的隐式特性。
- 额外的隐式绑定和缺失是规则分类后剩下的部分。抽样显示其中有经过接口端的链、定义中的共轭端口以及元数据;它们尚未逐一审查。
- 修正比较方法会改变测量结果,因此需要新的方法版本。
损坏的文本
模型被有意损坏,每次一种变异:删除或多余的花括号、被截断的声明、损坏的导入、循环引用、无效字符、随机的令牌更改,以及常见的输入错误,例如缺少分号或关键字拼写错误。输入为引擎自身的测试模型、一个生成模型和示例模型。
| 检查 | 标准 | 结果 | 是否满足 |
|---|---|---|---|
| 崩溃和超过 10 秒的超时 | 不允许出现 | 无 | 是 |
| 损坏的输入 | 至少 10,000 个 | 10,044 | 是 |
| 每次编辑后的应答与全新分析相同 | 全部 | 10,044 个中的 10,044 个 | 是 |
| 修复损坏后得到原始应答 | 全部 | 9,830 个中的 9,830 个 | 是 |
| 一次变异最多产生 3 个新的语法错误 | 至少 99 % 的情况 | 100.0 % | 是 |
| 第一个语法错误指向损坏的声明内部或紧随其后 | 至少 95 % 的情况 | 7,163 个中的 99.7 % | 是 |
| 损坏范围之外的声明仍以相同方式检查 | 至少 99 % | 55,225 个中的 99.5 % | 是 |
速度和内存
这些准则针对引擎的原生构建。在 Holarch 中,引擎以 WebAssembly 形式在浏览器中运行,速度较慢;准则为此以及为较慢的计算机,对编辑和分析留出了 8 倍的余量。WebAssembly 构建也在 Safari 中进行了测量(见下文)。
引擎基础内存(已加载标准库):17 MiB。下方的内存数据为该基础内存之上每 10,000 行的内存:峰值减去基础内存,再除以以 10,000 行为单位的模型规模。准则适用于总量。
编辑
每种编辑类型在一个编辑会话中,经过 20 次预热编辑后应用 200 次,方式与 Holarch 编辑器发送编辑的方式相同。表中显示第 95 百分位:100 次编辑中有 95 次达到或快于此速度。
| 模型规模 | 更改值 | 重命名定义 | 更改导入 | 更改超类型 | 是否满足 |
|---|---|---|---|---|---|
| 10,038 行 | 1.3 | 6.8 | 2.1 | 2.2 | 是 |
| 50,013 行 | 3.9 | 19.4 | 4.9 | 4.7 | 是 |
| 100,033 行 | 7.7 | 34.6 | 8.6 | 8.5 | 是 |
| 250,011 行 | 22.7 | 90.8 | 24.0 | 24.9 | 是 |
准则:值更改在 12 ms 内(250,000 行时为 25 ms);重命名、导入或超类型更改在 60 ms 内(250,000 行时为 150 ms)。
分析整个模型
冷分析:一个已加载标准库的全新进程从零开始分析整个模型,取 5 次运行的中位数。引擎内存是该分析期间引擎的峰值,按基础内存之上每 10,000 行计。同一分析的 WebAssembly 内存仅供参考,按每 10,000 行计,包括引擎自身的启动内存。
| 模型规模 | 冷分析 | 引擎内存,冷分析 | WebAssembly 内存,冷分析 |
|---|---|---|---|
| 10,038 行 | 150 ms | 每 10,000 行 29 MiB | 每 10,000 行 38 MiB |
| 50,013 行 | 711 ms | 每 10,000 行 28 MiB | 每 10,000 行 29 MiB |
| 100,033 行 | 1.43 s | 每 10,000 行 28 MiB | 每 10,000 行 28 MiB |
| 250,011 行 | 3.73 s | 每 10,000 行 28 MiB | 每 10,000 行 26 MiB |
- 按方法第 3 版的冷分析:未达到目标。目标为 100,000 行时 0.6 s、250,000 行时 1.2 s;对超大型模型的首次分析分别需要 1.43 s 和 3.73 s。本次运行期间测量计算机上还在运行其他工作,因此这些时间可能偏高几个百分点;内存数据不受此影响。
- 按方法第 4 版的冷分析:仅报告,不作为目标。进度准则已满足。对于任何可能超过 3 秒的分析,Holarch 都会显示进度条:它在长时间分析开始一秒后出现,显示当前阶段(启动引擎、加载标准库、分析模型),并一直保留到分析完成。进度条是应用处理较长首次分析的方式,并不代表对引擎速度的任何声明。
- 已满足:首次分析之后的编辑在每种规模下都在其准则范围内。
- 已满足:冷分析的引擎内存在 100,000 行时不超过 512 MiB,在 250,000 行时不超过 1 GiB。
- 已满足:时间随模型规模成比例增长。对于大 25 倍的模型,250,000 行时的冷分析耗时是 10,000 行时的 24.9 倍(准则:最多 40 倍)。
整个编辑会话
方法第 6 版,自引擎 2.0.1 起按第 7 版解读:测量工具像 Holarch 一样以文本形式保存模型的记录。一个全新进程运行固定脚本:首次分析、模型的元素记录、模型的首次检查、60 次编辑(20 次值更改、20 次导入更改和 20 次超类型更改,每次都重新分析)、将模型打印为文本、将编辑后的文本写回模型,以及计算模型的值。该数据是会话中任一时刻的最大引擎内存。
| 模型规模 | 引擎 2.1.1 | 引擎 2.0.1 | 在 2.1.1 中满足 |
|---|---|---|---|
| 10,038 行 | 每 10,000 行 35 MiB | 每 10,000 行 51 MiB | 仅报告 |
| 50,013 行 | 每 10,000 行 33 MiB | 每 10,000 行 49 MiB | 仅报告 |
| 100,033 行 | 每 10,000 行 33 MiB | 每 10,000 行 49 MiB | 是(准则:512 MiB 以内) |
| 250,011 行 | 每 10,000 行 33 MiB | 每 10,000 行 50 MiB | 是(准则:1 GiB 以内) |
- 在 100,000 行和 250,000 行时均已满足。准则与冷分析相同:100,000 行时 512 MiB 以内,250,000 行时 1 GiB 以内,即浏览器允许一个 WebAssembly 实例使用的内存并留有余量。在 WebAssembly 中,引擎的内存从不缩减,因此会话中的峰值时刻决定其大小。引擎 2.0.1 在 100,000 行时满足该准则,在 250,000 行时未满足;引擎 2.0.0 两者均未满足(按方法第 6 版为每 10,000 行 122 MiB)。
- 峰值时刻是模型的首次检查和计算,两者都与将文本写回模型的规模大致相当;打印模型不再是最大的一步。
长会话期间的内存
仅报告,不作为准则。这是对上述结果的特性分析,在原生环境、引擎 2.1.1 上进行(运行 2.1.1-37168cc79-1)。每种模型规模一个会话:打开模型并检查;对每个编辑点分两轮编辑(值、导入和超类型更改,每次都重新分析),然后持续写入新数字的值编辑;对未更改的模型进行十次分析和十次检查,并在已打开的会话旁从头进行一次分析;打印一个包,然后打印整个模型;将文本写回模型;计算;然后关闭并重新打开三次。
| 模型规模 | 编辑已打开的模型 | 最大的一步:在已打开的会话旁从头重新分析 | 打印整个模型 | 关闭后剩余 |
|---|---|---|---|---|
| 10,038 行 | 27 MiB | 55 MiB | 41 MiB | 1.5 MiB |
| 50,013 行 | 26 MiB | 54 MiB | 40 MiB | 0.6 MiB |
| 100,033 行 | 26 MiB | 54 MiB | 40 MiB | 0.5 MiB |
| 250,011 行 | 26 MiB | 54 MiB | 40 MiB | 0.4 MiB |
- 编辑趋于平稳。当编辑涉及之前未编辑过的声明时,内存每 10,000 行约增加 5 MiB,之后保持平稳。
- 重复分析不会累积内存。对未更改的模型进行十次分析和十次检查后,内存保持不变。
- 最大的一步是在会话保持打开时从头分析整个模型,此时会同时保存两份分析结果;只保持一个会话的编辑器不需要这一步。
- 打印整个模型需要基础内存之上每 10,000 行约 40 MiB(引擎 2.0.1:53 到 55;引擎 2.0.0:129 到 131)。
- 关闭会释放内存。会有少量剩余,且在三次重新打开的循环中不会增长。
- 在 Safari 中,此特性分析未在引擎 2.1.1 上运行;最近的 Safari 会话数据是引擎 2.0.1 的,见证据包。
WebAssembly,在 Safari 中测量
引擎 2.1.1 的 WebAssembly 构建,在 Holarch 自己的引擎 worker 中,使用相同的生成模型。启动包括获取并启动引擎和加载标准库;冷分析为 3 个全新 worker 的中位数;编辑与上文相同,在一个会话中,经过 20 次预热编辑后每种类型 200 次。每种模型规模在各自的页面中运行。重命名仅在原生构建中测量。这些数据仅报告,不作为准则。
| 模型规模 | 引擎启动,Safari | 冷分析,Safari | 冷分析,原生 | 更改值,p95,Safari / 原生 | 更改导入,p95,Safari / 原生 | 更改超类型,p95,Safari / 原生 |
|---|---|---|---|---|---|---|
| 10,038 行 | 143 ms | 215 ms | 150 ms | 3 / 1.3 ms | 4 / 2.1 ms | 4 / 2.2 ms |
| 50,013 行 | 152 ms | 867 ms | 711 ms | 12 / 3.9 ms | 10 / 4.9 ms | 10 / 4.7 ms |
| 100,033 行 | 144 ms | 1.63 s | 1.43 s | 20 / 7.7 ms | 20 / 8.6 ms | 20 / 8.5 ms |
| 250,011 行 | 175 ms | 4.44 s | 3.73 s | 53 / 22.7 ms | 50 / 24.0 ms | 49 / 24.9 ms |
尚不支持的内容
这些构造列在引擎已公布的不支持构造列表中。示例模型中因这些构造而与试点实现不一致的文件会被排除在评估范围之外;本次运行中没有此类文件。
- 其他语言的文本表示以文本形式保留,不进行检查。
可变性、用户定义的关键字以及以 accept 或 action 编写的转换效果,在方法第 8 至 10 版中随各自发布而移出列表。文本表示法的每条语法产生式都至少有一个测试对其进行解析并检查结果。Holarch 中可用内容的完整列表及其限制:SysML v2 语言覆盖范围。
复现结果
这些结果可以独立复现:证据包(zip,SHA-256 5d9821f7dac3fd0b2bc49a8defe416ac01f515834d65d3182891a9f8d20e59ae)包含在同一引擎构建上重复每次运行所需的内容。
- 一页复现指南
REPRODUCE.md:确切的命令、依赖项、带校验和的输入、预期结果和运行时间。 - 测试方法,包括每个方法版本(1 至 10)及其理由。
- 分类表:不支持构造列表、每处已分类的分歧及其类别和条款、上方的登记册、对每个引擎错误的审查以及绑定类别。
- 每次运行的摘要和机器可读结果,涵盖引擎 2.1.1(所有测量项和会话内存特性分析)、引擎 2.0.1(速度和内存、会话内存)、Holarch 2.15.1(引擎 2.0.0 代码的两个构建)、2.14.0(速度和内存)、2.13.1 和 2.12.0,以及在 Safari 中测量的 WebAssembly 耗时和会话内存。
- 大型模型的生成器(对每个种子是确定性的),以及测量和比较脚本。
- 每个文件的校验和。
它不包含引擎或 OMG 的文件。脚本会按固定的提交和包校验和从公开来源获取示例模型和试点实现。用于重复运行的引擎随引擎评估提供。
早期运行
早期的官方运行保持其测量时的原样,各自依据自己的方法版本。在方法第 1 至 3 版中,100,000 行时 0.6 s 内完成冷分析是一个目标;没有任何运行达到该目标。方法第 4 版报告该数据但不设目标。方法第 3 版之前的峰值内存是测量进程的峰值常驻内存,其中还包括分配器为重用而保留的内存;它与引擎堆数据不可比。Holarch 2.15.0 和 2.14.0 的运行只测量了速度和内存;2.15.0 运行的时间比其前后构建高出约四分之一,测量时同一计算机上还在运行其他工作。
| 构建 | 引擎版本 | Holarch 版本 | 方法 | 接受结果,原始 | 接受结果,已分类(内部审查) | 名称绑定 | 冷分析,100,000 行 | 峰值内存,100,000 行 |
|---|---|---|---|---|---|---|---|---|
| 37168cc | 2.1.1 | 2.21.0(发布引擎 2.1.2) | 10 | 252 个中的 242 个 | 252 个中的 252 个 | 4,908 个中的 4,904 个 | 1.43 s | 引擎堆 302 MiB |
| d8cf5c8 | 2.0.1 | 2.17.1 | 7 | 未测量 | 未测量 | 未测量 | 1.23 s | 引擎堆 362 MiB |
| 91f058a | 2.0.0 | 2.15.1(引擎代码与 dd4fb10 相同) | 6 | 252 个中的 232 个 | 241 个中的 241 个 | 4,886 个中的 4,879 个 | 1.35 s | 引擎堆 362 MiB |
| dd4fb10 | 1.0.0 | 2.15.1 | 6 | 252 个中的 232 个 | 241 个中的 241 个 | 4,886 个中的 4,879 个 | 1.28 s | 引擎堆 362 MiB |
| e6bb924 | 1.0.0 | 2.15.0 | 5 | 未测量 | 未测量 | 未测量 | 1.57 s | 引擎堆 362 MiB |
| 0c983e2 | 1.0.0 | 2.14.0 | 6 | 未测量 | 未测量 | 未测量 | 1.37 s | 引擎堆 362 MiB |
| d3f5d4b | 1.0.0 | 2.13.1, 2.13.2 | 5 | 252 个中的 231 个 | 242 个中的 240 个 | 4,860 个中的 4,851 个 | 1.24 s | 引擎堆 362 MiB |
| 8a6bf7b | 1.0.0 | 2.12.0 | 5 | 252 个中的 220 个 | 242 个中的 229 个 | 4,768 个中的 4,753 个 | 1.21 s | 引擎堆 362 MiB |
| 6eec2b7 | 1.0.0 | – | 5 | 252 个中的 231 个 | 240 个中的 240 个(错误审查之前的分类) | 4,860 个中的 4,851 个 | 1.20 s | 引擎堆 362 MiB |
| c184e57 | 1.0.0 | 2.11.0 | 3 | 252 个中的 220 个 | 228 个中的 228 个 | 4,768 个中的 4,753 个 | 1.31 s | 引擎堆 361 MiB |
| bfa03c7 | 1.0.0 | – | 2 | 252 个中的 220 个 | 228 个中的 228 个 | 4,768 个中的 4,753 个 | 1.35 s | 进程 972 MiB |
| 1cada39 | 1.0.0 | – | 2 | 252 个中的 216 个 | 228 个中的 224 个 | 4,752 个中的 4,737 个 | 4.24 s | 进程 1,022 MiB |
| fd20280 | 1.0.0 | – | 1 | 252 个中的 145 个 | 未分类(方法第 1 版) | 4,373 个中的 4,326 个 | 2.41 s | 进程 1,535 MiB |
这些结果不能说明的内容
- 这些是 Holarch 对其所运行的模型进行的自有测量。它们不是认证。Object Management Group 未审查或认可这些结果。
- 试点实现和示例模型并不是规范。当它们与引擎不一致时,上文的分类说明了规范支持哪一方以及原因。
- 本页上的每项分类和审查都是内部审查。计划由外部依据规范对引擎测试用例的样本进行审查。
- 动作和状态机的仿真(单独许可的仿真附加组件)未在此测量。
- 从 SysML v1 模型到 SysML v2 的转换未在此测量。对于引擎被许可方,它属于迁移附加组件,单独许可。