已测试的上限
Holarch 能处理多大的项目
Holarch 测试过的最大项目、这些项目所需的浏览器内存和打开时间,以及决定各方案条目上限的托管服务负载测试。
性能
使用两种建模语言的生成项目进行测量;浏览器数据在 Mac 上的 Safari 中测得。每个表格均注明测量所用的 Holarch 版本。
- 桌面应用(安装在您计算机上的 Holarch):每个项目在 LML 中测试到 700,000 个条目,在 SysML v2 中测试到 400,000 个条目(超过 250,000 个条目)。
- 托管服务(app.holarch.app):每个项目最多 50,000 个条目;更大的项目群可通过跨项目关联、项目群地图和库将多个项目关联起来(方案上限)。
- 自托管 Holarch 服务器(Enterprise):每个项目测试到 400,000 个条目,LML 和 SysML v2 均是如此。LML 项目在约 330,000 个条目以内、SysML v2 项目在超过 400,000 个条目时,额外占用的服务器内存仍低于 1 GB(超过 250,000 个条目的自托管服务器)。
托管服务:服务器内存
项目打开期间,在服务器未打开该项目时的用量之上,每 10,000 个条目所需的服务器内存。每个项目测试到 50,000 个条目,即托管服务的上限。
| 语言 | 每 10,000 个条目 | 测试过的最大项目 |
|---|---|---|
| LML | 约 17 MB | 50,000 个条目 |
| SysML v2 | 4–8 MB | 50,000 个条目 |
- 这些数据是打开一个项目额外占用的内存,而不是整个服务器的内存。基准为刚启动并完成一次登录的服务器,约 130 MB。
- 项目标签页在浏览器中所需的内存见下文(浏览器内存)。
浏览器内存
未打开项目时,Holarch 页面约占用 100 MB,这是基准。下表数据是项目打开过程中的峰值时刻,浏览器标签页在基准之上每 10,000 个条目所需的内存。
| 语言 | 托管服务 | 安装在您的计算机上 |
|---|---|---|
| LML | 40–60 MB | 50–70 MB |
| SysML v2 | 100–155 MB | 70–80 MB |
- 数值随项目规模变化。按较高的数值规划。
- 编辑几乎不增加内存:进行 100 次编辑后,LML 项目标签页的内存并未高于编辑前。保存编辑期间,可能短暂额外需要约 0.6 GB。
- 各项目规模应规划的内存:系统要求。
打开时间
从点击到页面可以使用的时间。SysML v2 项目随后会在您工作时于后台运行首次模型检查;第二个数值是该检查完成所需的时间。
| 条目 | LML,托管 | LML,本地安装 | SysML v2,托管 | SysML v2,本地安装 |
|---|---|---|---|---|
| 50,000 | 约 1 秒 | 约 1 秒 | 约 2 秒;检查 4 秒 | 未测量 |
| 100,000 | — | 约 1 秒 | — | 约 2 秒;检查 5 秒 |
| 150,000 | — | 未测量 | — | 未测量 |
| 200,000 | — | 约 2 秒 | — | 未测量 |
| 250,000 | — | 未测量 | — | 约 6 秒;检查 14 秒 |
- 托管时间是针对测试服务器测得的。网络连接较慢时,还需加上下载项目的时间。
- — :超过托管服务每个项目 50,000 个条目的上限。
- 托管服务上的编辑确认以及多人同时工作:见负载测试结果。
- SysML v2 语言引擎本身的速度和内存:见Language Engine 测试结果。
超过 250,000 个条目,安装在您的计算机上
Holarch 2.30.0 在 Safari 中打开了 400,000 和 700,000 个 LML 条目的生成项目以及一个 400,000 个条目的 SysML v2 模型,进行了一次编辑、保存后关闭项目。全部成功,没有失败。
| 项目 | 打开 | 后台工作完成 | 打开时每 10,000 个条目的浏览器内存 |
|---|---|---|---|
| LML,400,000 个条目 | 约 4 秒 | 16 秒 | 约 105 MB |
| LML,700,000 个条目 | 约 6 秒 | 21 秒 | 约 130 MB |
| SysML v2,400,000 个条目 | 约 3 秒 | 19 秒 | 约 85 MB |
- 在这种规模下,上限取决于您计算机的内存。
- 如此大的 LML 项目在打开时以及保存首次编辑时,页面可能会有几秒钟无响应。
超过 250,000 个条目的自托管服务器
在运行 Holarch 2.30.0 的 Holarch 服务器上,使用 250,000 和 400,000 个 LML 条目(每个条目三个关系)的生成项目以及一个 400,000 个条目的 SysML v2 模型进行了测试。每个项目都经过以下工作负载:
- 将整个项目保存到服务器,打开,然后再次打开。
- 所有者在 60 秒内同时从 10 个页面进行编辑,每个页面每秒进行一次编辑,并每 15 秒重新打开一次项目。
- 压缩一次变更历史。
- 删除项目。
所有阶段均通过:没有服务器错误,也没有被拒绝的编辑。
| 项目 | 每 10,000 个条目,最高阶段 | 低于 1 GB | 编辑确认 p95 |
|---|---|---|---|
| LML,250,000 个条目 | 约 31 MB | 是 | 30 毫秒 |
| LML,400,000 个条目 | 约 30 MB | 否,自约 330,000 个条目起 | 60 毫秒 |
| SysML v2,400,000 个条目 | 约 21 MB | 是 | 34 毫秒 |
- 这些数据是项目在服务器未打开它时的用量之上额外需要的服务器内存,而不是整个服务器的内存。
- 默认情况下,一次整项目保存的项目数据上限为 192 MB,约合 340,000 个 LML 条目或 430,000 个 SysML v2 条目。自托管服务器可以提高该上限;400,000 个条目的测试运行即提高了上限。
- 这些是在该工作负载下测试过的规模,并不保证适用于每个模型。长文本和大量图不在本次测试范围内。
1.1.6 → 2.15.1
Holarch 1.1.6 是首个用这些大项目测试测量的版本。相同的测试在 1.1.6 和 2.15.1 上原样运行,使用相同的生成 LML 项目、同一台计算机和相同的服务器上限。
| 指标 | Holarch 1.1.6 | Holarch 2.15.1 |
|---|---|---|
| 每 10,000 个条目的内存:创建、打开、200 次编辑和一个版本 | 220–250 MB | 自 20,000 个条目起 40–55 MB(5,000–10,000 个条目时 80–110 MB) |
| 同上,并在所有者编辑时写入一个版本 | 在 25,000 个条目时内存耗尽 | 45–67 MB |
| 基准:完成一次登录后的服务器 | 约 125 MB | 约 130 MB |
| 写入一个 25,000 个条目项目的版本 | 7.5 秒 | 0.4 秒 |
| 测试过的最大项目 | 25,000 个条目 | 115,000 个条目,即一次 64 MB 保存所能容纳的最大规模 |
| 步骤 | 条目 | Holarch 1.1.6 | Holarch 2.15.1 |
|---|---|---|---|
| 主页 | 25,000 / 50,000 | 36 秒 / 149 秒 | 0.7 秒 / 1.6 秒 |
| 模型检查页面 | 25,000 / 50,000 | 66 秒 / 297 秒 | 0.4 秒 / 0.7 秒 |
| 可追溯性矩阵(需求 × 测试用例) | 10,000 | 47 秒 | 0.2 秒 |
| 需求验证可追溯性矩阵 | 10,000 | 31 秒 | 0.1 秒 |
| 打开包含 2,000 条需求的文档 | 5,000 / 10,000 / 25,000 | 0.6 秒 / 0.6 秒 / 0.8 秒 | 0.5 秒 / 0.5 秒 / 0.5 秒* |
| 一次编辑后保存 | 5,000 / 10,000 / 25,000 / 50,000 | 0.2 秒 / 0.5 秒 / 30 秒 / 152 秒 | 0.15 秒 / 0.3 秒 / 0.8 秒 / 1.6 秒* |
| 对 2,000 条需求进行需求质量检查 | 10,000 | 30 秒 | 3.2 秒 |
| 完成全部步骤的最大项目 | — | 50,000 个条目,页面每次无响应超过 2 分钟 | 100,000 个条目;主页 3.2 秒,矩阵 0.3 秒 |
- * 在 2.16.1 上测得,该版本使这两个步骤比 2.15.1 更快。其他数据在 2.15.1 上测得。
- 在 1.1.6 中,可追溯性矩阵在 25,000 个条目时会使页面停顿超过 2 分钟,因此未在更大规模下测量。在 2.15.1 中,直到 100,000 个条目的每种规模下,它都能在 0.3 秒内打开。
通过标准
托管服务的负载测试由多人同时打开并编辑同一个项目。当服务满足以下场景中的每项条件时,该项目规模即为通过:
- 服务器刚刚压缩了项目的变更历史。此状态下打开项目的开销最大。
- 10 个人在同一时刻打开项目。
- 随后这 10 个人编辑项目 60 秒,每人每秒进行一次编辑。
- 编辑确认:95% 的编辑在 1.5 秒内得到服务器确认(p95 ≤ 1.5 秒)。
- 无失败:没有服务器错误。
测试环境
- 使用生产环境的服务器软件,运行在比托管服务更慢的测试环境上,因此结果偏保守。
- 采用托管服务的资源上限和设置。
- 数据库和文件存储运行在同一台计算机上,而不是通过网络访问。每次运行都启动一个全新的服务器。
- 生成的 LML 项目:40% 为规范中的需求,20% 为功能,15% 为组件,15% 为测试用例,5% 为风险,其余为输入和输出,每个条目三个关系。
结果
| 条目 | 每次打开发送的数据 | 10 次打开用时 | 编辑确认 p95 | 结果 |
|---|---|---|---|---|
| 50,000 | 27.2 MB | 3.7 秒 | 1.49 秒 | 通过 |
| 50,000(第二次运行) | 27.2 MB | 3.6 秒 | 1.08 秒 | 通过 |
- 所有运行均没有服务器错误。
- 在每次运行中,典型编辑(p50)都在约 30 毫秒内得到确认。较慢的编辑是在等待同时打开所产生的大量响应。
方案上限
| 方案 | 每个项目的条目数 |
|---|---|
| Free / Academic | 1,000(活跃的班级组织中为 2,000) |
| Individual | 5,000 |
| Team | 50,000 |
- 托管服务(app.holarch.app)在每个方案中每个项目最多容纳 50,000 个条目;更大的项目群可将多个项目关联起来。桌面应用(安装在您计算机上的 Holarch)每个项目在 LML 中测试到 700,000 个条目,在 SysML v2 中测试到 400,000 个条目。
- 一次整项目保存(例如导入项目文件)的项目数据最多为 192 MB。包含长文本的项目可能在达到条目上限之前就达到此大小。
- 条目的计数方式:见价格。
- 各规模项目在浏览器中所需的计算机内存:见系统要求。
往返测试:各交换格式保留哪些内容
每个模型都以所有适用的格式导出,再使用默认选项导入到一个新项目中。然后将原始模型的每个元素计为保留、变换或丢弃。在 Holarch 2.21.0 中测得,托管服务与本地安装结果相同。
- 保留:原样找回。条目保留其类、名称、编号、描述和标签;关系保留其类型、两端和属性;属性值、已保存的视图或带格式的描述与之前相同。
- 变换:找回但有差异,例如 Statement 返回时变为 Requirement、缺少编号或标签,或关系属性返回时为默认值。
- 丢弃:不在新项目中,因为格式中没有对应位置,或者其一端已被丢弃。
| 格式 | 条目 | 关系 | 属性值 | 已保存的视图 | 文档 | 带格式的描述 |
|---|---|---|---|---|---|---|
| Holarch 项目文件(.json) | 407 / 0 / 0 | 915 / 0 / 0 | 979 / 0 / 0 | 83 / 0 / 0 | 3 / 0 / 0 | 5 / 0 / 0 |
| Holarch 备份和项目包(.holarch)* | 424 / 0 / 0 | 949 / 0 / 0 | 1,104 / 0 / 0 | 84 / 0 / 0 | 3 / 0 / 0 | 5 / 0 / 0 |
| UML/SysML XMI,含 Holarch 数据 | 317 / 0 / 90 | 631 / 0 / 284 | 672 / 0 / 307 | 0 / 3 / 80 | 0 / 0 / 3 | 5 / 0 / 0 |
| UML/SysML XMI,纯 SysML | 83 / 234 / 90 | 548 / 95 / 272 | 138 / 38 / 803 | 0 / 3 / 80 | 0 / 0 / 3 | 0 / 5 / 0 |
| Papyrus(.uml) | 317 / 0 / 90 | 631 / 0 / 284 | 672 / 0 / 307 | 0 / 3 / 80 | 0 / 0 / 3 | 5 / 0 / 0 |
| ReqIF | 407 / 0 / 0 | 879 / 21 / 15 | 979 / 0 / 0 | 0 / 0 / 83 | 3 / 0 / 0 | 5 / 0 / 0 |
| CSV,所有属性、标签和关系 | 393 / 14 / 0 | 810 / 96 / 9 | 979 / 0 / 0 | 0 / 0 / 83 | 3 / 0 / 0 | 5 / 0 / 0 |
| 先转为 SysML v2 副本,再转为 LML 副本 | 348 / 41 / 18 | 703 / 56 / 156 | 857 / 33 / 89 | 26 / 7 / 50 | 3 / 0 / 0 | 0 / 5 / 0 |
* 在 Holarch 2.33.0 中基于当前的 CubeSat EO-1 演示测得(424 个条目、949 个关系、1,104 个属性值、84 个已保存的视图、3 个文档、5 个带格式的描述);没有任何内容被变换或丢弃。
- 项目文件和项目包:整个项目,包括主页、图表、项目群仪表板和项目设置。
- 含 Holarch 数据的 XMI 和 Papyrus:SysML 中有对应元素的每个条目都原样返回,并带有其 LML 类、编号、标签和属性。被丢弃的 90 个条目是任务、文档、风险、问题、进度条目、危险源以及 SysML 中没有对应元素的其他条目;大多数被丢弃的关系都与它们相连。Trigger 和 Amount 等关系属性也会返回。除 Action 图的流程外,其他图不属于 XMI 的内容。
- 不含 Holarch 数据的 XMI:纯 SysML 1.6。Statement 返回时变为 Requirement,文件中不包含 LML 编号、标签和 LML 属性。
- ReqIF:每个条目、属性值、标签以及文档结构都会返回,关系保留其属性。分解的多重性不会写入,因为 ReqIF 以文档结构保存分解。演示项目自身的架构扩展(例如满足某个 Requirement 的 Equation)在新项目中会被跳过,因为新项目使用标准架构。
- CSV:每个条目和属性值都会返回。表格中没有关系属性的位置,因此它们返回时为默认值;新项目中没有的标签会被省略。
- SysML v2 副本及转回:这是附带报告的转换,而不是交换格式。Measure 和 Asset 编号不会返回,部分追溯关系也不会返回。
| 格式 | Hybrid Car,708 个元素 | Hybrid Car,Holarch 数据 | Battery Pack,62 个元素 |
|---|---|---|---|
| Holarch 项目文件(.json) | 708 / 0 / 0 | 全部保留 | 62 / 0 / 0 |
| SysML v2 文本(.sysml) | 708 / 0 / 0 | 不在文件中 | 62 / 0 / 0 |
| SysML v2 JSON | 708 / 0 / 0,元素 ID 保留 | 不在文件中 | 62 / 0 / 0,元素 ID 保留 |
| 先转为 LML 副本,再转为 SysML v2 副本 | 22 / 184 / 502 | 27 个条目中保留 21 个 | 6 / 21 / 35 |
- SysML v2 文本和 JSON:每个模型元素都原样返回。需求状态、验证结果、风险、文档和其他 Holarch 数据只随项目文件一起传递。
- LML 副本及转回:模型根据 LML 副本重建,因此 succession、import、元数据和大部分类型定义不会返回。
重复此测试:通过新建演示项目创建演示,以其中一种格式导出,使用默认选项将文件导入新项目,然后在数据库中比较两个项目。
未测量的内容
- SysML v2 项目、包含大量图的项目,以及较长的富文本描述。
- 多个大型项目同时使用的情况。
关于您这种规模模型的问题:联系我们。