测试方法
我们如何测试 Holarch
每个版本在交付给您之前要通过的检查、版本如何进入托管服务、证据如何公开,以及这些测试不能说明的内容。
每个版本
每个版本都在源代码的干净副本中构建,绝不在工作副本中构建。构建随后进入发布关口:一组固定的自动检查。任何检查失败都会中止发布。修复原因后,失败的检查会重新运行,然后发布才继续进行。
- 发布构建:为发布构建应用,并根据页面的内容安全策略检查构建出的代码。
- 语言引擎构建:编译后的语言引擎从源代码重新构建,结果必须与发布的构建一致。
- 引擎防护测试:在每个引擎操作上使用深层、超长、超宽、循环和超出限制的输入,限制响应时间和内存,并检查时间是否随输入规模成比例增长。
- 依赖项审计:检查引擎的第三方依赖项是否存在已知安全公告,并检查其许可证和来源。
- 注入检查:代码中任何插入 HTML 或将文本作为代码运行的位置都会使检查失败并中止发布,除非该位置已经过审查并记录为安全。
- 第三方文件:随应用发布的每个第三方文件都必须与其记录的校验和一致。
- 性能:在一个大型生成项目上,分别在浏览器和服务器中对构建出的应用计时,并与固定限值比较。
- 冒烟测试:在真实浏览器 Safari 中打开并使用构建出的应用,分别以桌面应用和服务器模式运行,与托管服务的运行方式相同。
- 针对变更的测试:运行该版本所变更的每个领域的浏览器测试套件(该领域有两种模式时,两种模式都运行),以及每个变更的服务器模块的 Python 测试。
浏览器测试像人一样操作应用:在页面中点击、拖动和输入,然后检查模型和屏幕。
从发布到托管服务
- 先预发布:每个版本在进入生产环境之前都先在独立的预发布服务上运行。生产环境只接受已在预发布环境运行过的构建。
- 数据库更改前备份:在版本更改数据库之前,先保存数据库的副本。
- 健康检查:切换后,服务必须报告健康状态并报告已发布的版本。
- 回滚:保留上一个版本。如果新版本未通过健康检查,服务将回退到上一个版本。
托管服务的备份每周进行恢复测试;请参阅服务目标。
Language Engine
Holarch Language Engine 用于解析、解析引用并检查 SysML v2 和 KerML 文本。除发布检查外,它还按照一份书面验收计划进行测量。验收准则在测量任何结果之前就已写定;之后对某项准则的更改会成为方法的一个新的编号版本,并记录其理由,而早先的结果保留其测量时所依据的版本。已发布的结果绝不修改;更正是一次新的运行,并注明它所取代的那次运行。
- 示例模型:使用 Object Management Group 官方发布仓库中的 SysML v2 示例模型(training、examples 和 validation 集)测试引擎,并固定到特定版本。
- 差分测试:将引擎在这些模型上的结果与 OMG 的试点实现进行比较:每个模型是否被接受,以及每个名称绑定到哪个元素。每处分歧都单独调查,并归类为引擎缺陷、不支持的语言特性、示例中的错误或试点实现中的差异。
- 健壮性:使用大量损坏的输入,例如缺失的花括号、被截断的声明、损坏的导入、循环、无效字符和常见的输入错误,检查引擎从不崩溃、在损坏修复后给出相同的答案,并继续检查模型的其余部分。
- 规模:使用超大型生成模型测量编辑的响应时间、分析整个模型的时间、内存使用量,以及时间如何随模型规模增长。
- 模糊测试:对引擎的请求、词法分析器和语法分析器入口点进行模糊测试。
- 测试用例:引擎自身的测试依据规范文本编写,每个测试都标注了其所检查的条款。
包含失败在内的结果,以及引擎版本、方法版本和已知缺陷:Language Engine 测试结果。语言支持目前涵盖的内容及其已知缺口:SysML v2 语言覆盖范围。
公开证据:EO-1 参考模型
EO-1 参考模型是在 Holarch 中构建的一个完整的 CubeSat 模型,从需要一直到经过验证的证据。其项目文件和导出文件可免费下载,任何人都可以打开模型并自行检查其可追溯性。
EO-1 模型上的正式验证周期跟随一项需求变更走完正式项目流程:重新测试失败、不合格项及其让步、危险源和失效模式、签核、评审以及新的基线。
项目规模
每个方案的条目上限基于对托管服务的负载测试。已测试的上限介绍了该测试、通过标准、结果以及未测量的内容。
测试不能说明的内容
- 这是 Holarch 自己的测试。它不是认证,托管服务也不持有任何安全认证;请参阅认证。
- 引擎结果报告的是 Holarch 的测试在其所运行的模型上的发现。Object Management Group 未审查或认可这些结果。
- 计划对测试方法进行独立审查。
- 测试降低了出现缺陷的可能性,但不能排除缺陷。请通过应用中的“发送反馈”或 [email protected] 报告问题。