验证
验证
规划每条需求的验证方式,将测试用例组织到套件中,运行带有步骤结果和证据的测试,保存测试周期,并在 RVTM 中报告覆盖情况。
本页内容
概述
验证为每条需求回答一个问题:有什么证据表明它已被满足?
Holarch 将与验证有关的一切都保存在与需求相同的模型中:
- 计划:验证方法、级别和成功标准
- 执行该计划的测试用例
- 每次运行的结果
- 由此得出的覆盖率
由于这一切都在同一个模型中,覆盖率报告始终是最新的。
导航栏中的验证组包含:
| 页面 | 用途 |
|---|---|
| RVTM | 需求验证可追溯性矩阵:每条需求及其方法、级别、验证它的测试用例、自身结果和汇总结果。 |
| 测试中心 | 测试套件和测试用例、分步过程、带证据的测试运行、测试周期,以及需求验证覆盖率。 |
| 可追溯性矩阵 | 以网格形式显示任意关系,例如需求 × 测试用例。参见可追溯性矩阵。 |
| 模型检查 | 对整个模型的规则检查,包括未验证的叶需求和没有 Issue 的失败测试。参见模型检查。 |
验证上的导航栏徽标统计失败的测试和模型检查错误。
概念
验证规划属性
每个 Requirement 都有三个规划属性:
| 属性 | 值 | 含义 |
|---|---|---|
| 验证方法 | 分析、演示、检验、测试(任意组合) | 如何验证该需求。 |
| 验证级别 | Component、子系统、System | 进行验证的装配级别。 |
| 成功标准 | 文本 | 表明需求已满足的可度量结果。 |
需求的标签包含对应的验证方法标签(Analysis、Demonstration、Inspection、Test)。设置该属性或某个标签会作为同一更改的一部分更新另一方,一次撤销即可将两者一并撤回。因此,使用标签的导入项目与使用该属性的项目行为相同。
Verification Requirement(LML 2.0)
Verification Requirement 是一种 Statement,说明在一条需求被视为满足之前必须证明什么以及如何证明。这是 LML 2.0 将验证计划保存在单独条目中、而不是放在需求上的方式。它具有:
| 属性 | 含义 |
|---|---|
| 验证方法 | 分析、演示、检验、测试(任意组合;可在架构中添加更多方法)。 |
| 验收标准 | 验证必须达到的结果。 |
| 证据 | 要收集和移交的记录类型,例如测试报告或检验记录。 |
| 理由 | 选择此方法、这些标准和此证据的理由。 |
用 verifies 将其关联到它所覆盖的需求(或资产),并用 traced to 关联到执行它的测试用例。RVTM 随后将这些测试用例计为验证该需求的测试用例;当需求自身没有方法和验收标准时,从 Verification Requirement 中获取;并在 Verified By 下列出该 Verification Requirement。
两种形式可以并存:直接验证需求的测试用例(LML 1.x 形式)的计数方式与以前完全相同,需求上的 Verification Requirement 标签也仍然可用。
测试用例还可以用 evaluates 指明被测资产(从资产一侧看:evaluated by)。
在这些新增内容之前创建的项目保留其原有架构;架构 → 添加新的内置项…会为它们添加 Verification Requirement 类和 evaluates 关系。
测试用例和测试套件
Test Case 通过 verifies 关系验证需求(从需求一侧看:verified by)。测试用例具有:
- 描述:过程。
- 设置、预期结果、实际结果。
- Event Conditions(测试运行时所处的条件,例如环境、模式或模拟负载)和 Event Constraints(对测试事件的限制,例如独立见证人、停止点或抽样规则)。填写后,运行对话框会显示它们,套件 CSV 导出中每一项都有一列。
- evaluates:被测资产。
- 状态:未运行、In Progress、已阻塞、未通过或通过。
- Steps:可选的编号过程,每个步骤都有 Action、Expected Result、Actual Result 和 Pass/Fail。
- 运行证据,由每次记录的运行写入:测试人、测试日期、配置(被测的版本或构建)、被测件(单元或序列号)和 Test Evidence(一个文件)。
- 运行日志:每次记录的运行,包含日期、状态、测试人、配置、被测件、实际结果、证据文件名和步骤结果。
测试用例可以分解为子测试用例。父项的状态由其叶节点汇总得出。第一条匹配的规则生效:
- 任何叶节点未通过时为未通过。
- 任何叶节点被阻塞时为已阻塞。
- 所有叶节点都通过时为通过。
- 没有叶节点运行时为未运行。
- 其他情况为 In Progress。
测试套件是带有 Test Suite 标签的 Artifact。它通过 source of(导入数据中为 referenced by)包含其测试用例。不属于任何套件的测试用例显示在不属于任何套件的测试用例下。
需求验证状态
每条需求根据验证它的测试用例(直接验证它的测试用例,以及从其 Verification Requirement 追溯到的测试用例)获得一个自身状态:
| 自身状态 | 规则 |
|---|---|
| 未通过 | 某个验证测试用例未通过。 |
| 通过 | 有一个验证它的测试用例通过(且没有未通过的)。 |
| 未运行 | 存在验证它的测试用例,但没有通过或未通过的。 |
| 仅已计划 | 没有测试用例,但设置了验证方法(在需求或其某个 Verification Requirement 上)。 |
| 未验证 | 没有测试用例,也没有验证方法。 |
汇总状态遵循分解(decomposed by)。对于父需求:
- 当它有自己通过的测试,或其所有子需求都为“通过”时,它为通过。
- 当其下方任何地方存在失败时,它为未通过。
- 否则,它取自身状态或覆盖最少的子项的状态中更靠后的那个。顺序为 未验证 → 仅已计划 → 未运行。
Verified 始终表示“通过”。
测试周期
测试周期是套件结果的已保存快照:每个叶测试用例的状态和实际结果。在每个测试活动结束时保存一个,然后将套件重置为“未运行”以进行下一轮。您可以将周期相互比较或与当前结果比较,也可以恢复到某个周期。
如何使用
何时使用及原因
在编写需求时就规划验证,而不是在设计完成之后。如果您说不出一条需求的方法和成功标准,那么这条需求按其写法通常是不可验证的。
通常的流程:
- 需求分析:在每条需求上设置 Verification Method、Level 和 Success Criteria。
- 设计:编写测试用例,并将其关联到它们所验证的需求。分析、演示和检验记录也是测试用例。
- 集成和测试:运行测试用例,记录结果和证据。为失败创建 Issue。每个测试活动保存一个测试周期。
- 评审和验收:用 RVTM 报告覆盖率。
为每条需求规划验证
为每条需求指定方法、级别和成功标准。在测试中心的覆盖率卡片中完成此操作。
- 打开验证 → 测试中心。
- 滚动到验证覆盖率。
您会看到每一条尚未验证的需求。
- 在某一行上,点击方法按钮以切换方法:A(分析)、D(演示)、I(检验)、T(测试)。
该需求从未验证变为仅已计划。
- 在级别…中选择级别:Component、Subsystem 或 System。
- 点击+ 标准。
- 输入可度量的结果并点击保存。
按钮现在显示为标准 ✓。
您也可以在任何需求的属性面板中编辑这些属性。
创建测试套件和测试用例
- 在页面标题中,点击+ 新建 ▾ → 测试套件…。
- 输入Number(例如
TS-3)、名称和描述。 - 点击创建。
您会看到一张新的套件卡片。
- 在套件卡片上,点击+ 测试用例。
- 在创建条目中为测试用例命名。
测试用例以“未运行”状态添加到套件中。
- 在测试用例行中,点击验证列中的 +。
- 选择该测试用例验证的需求。
- 在该行中输入预期结果。
- 在属性面板或条目视图中,将过程写入测试用例的描述。
编写分步过程
步骤是可选的。没有步骤的测试用例作为一个整体运行。
- 在测试用例行中,点击+ 步骤。
- 为每个步骤点击+ 添加步骤。
- 为每个步骤填写 Action 和预期结果。
- 用 ↑ 重新排序,用 × 移除步骤。
- 点击应用。
按钮现在显示为 Steps (N)。
创建测试用例的其他方式
- 从覆盖率卡片:在验证覆盖率中,点击需求行上的+ 测试用例。它会在“不属于任何套件的测试用例”下创建 Verify <requirement name>,并已关联到该需求。
- 使用 AI:在文档或条目视图中选择一条需求。选择✦ AI ▾ → 生成测试用例…。AI 会起草名称、有序步骤、设置、预期结果和方法。在 Review Test Case — <requirement> 中审阅草稿,然后点击创建测试用例。参见AI。
运行测试并记录结果
运行模式逐个引导您完成测试,并记录每个结果及其证据。
- 可选:要只运行部分测试,请点击状态筛选,例如 Not Run (12)。只运行具有该状态的叶测试用例。
- 在页面标题中,点击运行套件。
运行套件对话框在第一个“未运行”的测试上打开。
- 会话字段只需填写一次:测试人(默认为您的姓名)、配置 / 版本和被测件。在以“所有配置”查看的产品线中,先选择记录结果:测试所运行的配置,或 No configuration。在您做出选择之前,✔ 通过、✘ 未通过和已阻塞不可用(产品线)。
- 阅读测试的过程、设置、Steps和预期结果。
- 执行测试。对于每个步骤,填写实际值并选择通过/未通过。
- 描述实际结果。
- 检查日期和时间。
- 点击附加证据…添加日志、数据文件或照片。
- 点击✔ 通过、✘ 未通过或已阻塞。
对话框会转到下一个测试。要不记录就移动,请点击跳过。要返回,请点击‹ Previous。
- 在✘ 未通过之后,点击+ 创建 Issue,然后点击Next ›。
对话框显示Recorded. Create an Issue to track the failure; it is linked to this test case and the requirements it verifies.
- 对每个测试重复第 4 到第 10 步。
结束时,运行完成显示一个带有数量的状态条。从头评审返回第一个测试。
每个记录的结果都可通过一次撤销撤回。它会完成以下所有操作:
- 更新测试用例的 Status、Actual Result、Tested By、Test Date、Configuration、Test Article 和 Test Evidence
- 保存步骤结果
- 在测试的运行日志中添加一条记录
要在不使用运行模式的情况下记录结果,请点击测试用例行中的状态(例如未运行)并选择新状态,然后点击实际结果文本并输入结果。在获得焦点的值上按 Enter 或 F2 也会打开它;按 Escape 保持不变。
要再次运行测试,请点击其所在行中的↻ 重新运行(测试有结果后显示)。运行对话框只针对该测试打开,不会将其重置为“未运行”;新结果会添加到其运行日志中,位于先前的运行旁边。
从其他测试系统导入结果
当测试在其他地方运行时(例如自动化测试台或 CI 流水线),请导入其结果,而不是手动输入。Holarch 可读取 JUnit XML 报告(大多数测试运行器和 CI 系统都会生成)、CSV 文件和 Excel 工作簿(.xlsx)。
- 在页面标题中,点击导入结果…。
- 点击选择文件…并选择结果文件。
- 选择要匹配的测试用例:在以下位置匹配测试用例(全部或某个套件)和匹配依据(Number, then name、Number、名称或全局 ID)。
- 对于 CSV 或 Excel 文件,检查 Holarch 根据标题猜测的列:测试用例列和状态列是必需的;实际结果、日期、测试人、配置和被测件列是可选的。
- 可选:为文件中缺少的内容填写测试人、测试日期、配置 / 版本和被测件。
- 检查预览:每个匹配的测试用例及其状态变化,以及没有匹配任何测试用例、匹配多个测试用例或被跳过的行。
- 点击 Record N Results。
所有结果都会被记录,一次撤销即可全部撤回。每个结果都会更新测试用例的 Status、Tested By、Test Date、Configuration 和 Test Article,并在其运行日志中添加一条注明该文件的记录。不会创建任何内容。
- 状态词:pass、passed、ok 和 success 记录为“通过”;fail、failed、failure 和 error 记录为“未通过”;blocked、in progress 和 not run 记录为相应的状态。跳过的测试(JUnit
<skipped>,或状态列中为 skipped)保持不变。 - 实际结果:JUnit 失败消息或“实际结果”列会成为实际结果。没有时,实际结果保持原样。
- 重复的测试用例:当文件两次提到同一个测试用例时,以后面的行为准;前面的行列为已跳过。
- 父测试用例:有子测试用例的测试用例不会被记录;其状态由其子项汇总得出。
要在不打开 Holarch 的情况下从 CI 流水线记录结果,请将结果发送到 REST API(POST …/test-results),或让 AI 客户端通过 MCP 工具 record_test_results 提议结果。两者记录结果的方式都与导入结果…相同,包括运行日志记录(测试结果)。
保存测试周期
在测试活动结束时保存一个周期。
- 在套件卡片上,点击开始新周期…(或⋯ → 开始新周期…)。
- 在开始新的测试周期中为周期命名(默认为 Test Cycle N)。
- 检查配置 / 版本和被测件。两者的初始值都是该轮运行中最常记录的值;它们会打印在该周期的测试报告中。
- 点击以下之一:
- 记录并开始新周期:保存结果,然后将套件中的每个状态设为“未运行”并清除实际结果。
- 仅记录:保存结果,并将其保留在测试用例上。
周期保存每个测试用例的状态、实际结果、测试人、测试日期、配置、被测件、证据文件名和步骤结果。
要在之后查看、比较、恢复或删除周期,请点击套件卡片上的⋯ → Test Cycles… (N)。要生成交付物,请点击⋯ → Test Report…:它会将周期的测试报告写成 Word、Excel、CSV 或网页(参见文档生成)。
报告覆盖率
- 打开验证 → RVTM。
第一张卡片显示 已验证 / 总数 和进度条。其他卡片统计未通过、未运行、仅已计划和未验证的数量。
宽表横向滚动时,编号列和需求列保持可见。状态标签被缩短以适应宽度时(在某些语言中),指向它即可查看完整文本。
- 可选:点击一张卡片,只列出这些需求。
- 点击导出 ▾。
- 选择 Excel (.xlsx)、CSV 或 Word (.docx)。
实例:CubeSat EO-1 演示
用管理项目 → 项目文件 ▾ → 新建演示项目创建演示项目,然后:
- 打开验证 → RVTM。
第一张卡片显示 11 / 32 已验证(通过)。其他卡片显示 3 个未通过、12 个未运行、3 个仅已计划和 3 个未验证。
- 找到 1.6 Revisit Time。
自身为仅已计划:方法为 Analysis,但它自己没有测试。状态为未运行。该状态由其子项汇总得出:
- 1.6.1 Ground Track Repeat 由 TC-13 验证为通过。
- 1.6.2 Off-Nadir Imaging 由 TC-14 验证,TC-14 为未运行。
覆盖最少的子项为“未运行”,比“仅已计划”更靠后。
- 点击未通过卡片。
2.1 Pointing Accuracy 和 2.2 Pointing Stability 因 TC-04 Pointing Accuracy Test 而未通过。4.3 因 TC-09 Safe Mode Entry Test 而未通过。
- 打开验证 → 测试中心。
卡片显示 3 个套件中有 22 个测试用例。在 TS-1 Spacecraft Qualification Tests 中,TC-04 行显示 J. Alvarez · 2026-10-02 10:15 · 📎 tc04-pointing-errors.csv 和 Issue: Test failure: Pointing Accuracy Test。
- 在 TC-04 行中,点击 Steps (3)。
第 3 步未通过,结果为 0.14 degrees on targets 7, 12 and 18.
- 在 TS-1 上,点击⋯ → Test Cycles… (2)。
- 比较 Flatsat Cycle 1 → Flatsat Cycle 2。
TC-03 和 TC-06 从“未运行”变为“通过”。已更改的行会突出显示。
现在在看门狗修复之后重新运行 TC-09:
- 点击 Failed (2) 筛选,然后点击运行套件。
运行在 TC-04 上打开。
- 点击跳过,转到 TC-09。
- 输入 Flight software 2.3.2 作为配置 / 版本。
- 输入 Safe mode in 8 seconds 作为实际结果。
- 点击✔ 通过。
- 再次打开 RVTM。
4.3 现在为通过,第一张卡片显示 12 / 32。
最后,为一条未验证的需求制定计划:
- 在验证覆盖率中,找到 2.5 Safe Mode Recovery(未验证)。
- 点击 T,在级别…中选择 System,并添加标准。
- 点击+ 测试用例开始为其编写测试。
提示和良好做法
- 将成功标准写成带条件的可度量数字,例如 Range ≥ 25 km in 3 of 3 flights at 20 °C。不要重述需求。
- 验证叶需求,让父需求自动汇总。模型检查 Requirement.10 会标记没有验证测试用例的叶需求。父需求通过其子需求得到覆盖。
- 每个验证事件使用一个测试用例,即使是分析、检验和演示也是如此。这样 RVTM 就会为每种方法显示证据。
- 每次运行都记录配置。当结果在两个周期之间发生变化时,运行日志会显示是哪个构建导致的。
- 为每次失败创建 Issue。模型检查 TestCase.1 会标记没有关联 Issue 的未通过测试用例。
常见错误
- 试图在父测试用例上设置“通过”。父项显示其子项的汇总状态,不能设置。请在叶节点上记录结果。
- 用 traced to 而不是 verifies 将需求关联到其测试。该需求会保持“仅已计划”或“未验证”。请使用测试用例行中的 +,它会创建 verifies。
- 不验证任何内容的测试用例。它会计入测试中心,但永远不会计入 RVTM。
与其他功能的关联方式
- 数据来源:
- 输出到:
- RVTM 及其导出
- 针对失败的 Issue,您可以将其作为任务安排在看板上(项目管理)
- 模型检查(Requirement.10、TestCase.1)
- 主页健康状况卡片和“验证”徽标
- 基线和评审包
- 可追溯性矩阵:覆盖率卡片上的在矩阵中打开会按 verified by 打开需求 × 测试用例;套件的⋯ → Open in ▸ 可追溯性矩阵会打开其层次结构。
测试中心
地址:test-center;test-center?root=<id> 会展开、滚动到并选中一个测试用例或套件(由测试用例上的打开方式 ▾ → 测试中心使用)。
页面标题区
| 控件 | Action |
|---|---|
| 导出 ▾ | RVTM(CSV)、RVTM(Excel)、RVTM(Word)。 |
| + 新建 ▾ | 测试套件…、测试用例…(未分配的测试用例)。 |
| 导入结果… | 在预览之后,将 JUnit XML、CSV 或 Excel 文件中的结果记录到匹配的测试用例上。参见从其他测试系统导入结果。 |
| 运行套件 | 为每个叶测试用例(或仅为与状态筛选匹配的测试用例)打开运行模式。没有测试用例时禁用。 |
健康状况卡片和筛选
- 测试用例:叶测试用例的数量,以及套件的数量。
- 已执行:不是“未运行”的叶节点的百分比和数量。
- 通过:已通过叶节点的百分比和数量。
- 未通过:未通过叶节点的数量,以及被阻塞的数量。
卡片下方:
- 一个状态条。
- 筛选 All (N)、未运行、In Progress、已阻塞、未通过和通过,每个都带有数量。再次点击某个筛选即可清除它。
- 右侧是套件排序:按编号、按名称或按修改日期。
- 搜索测试用例:匹配编号、名称或描述。名称匹配的套件会显示其所有测试用例。
套件卡片
标题显示 ▾/▸(折叠)、套件链接、测试套件标签、汇总状态、测试数、周期数、一个迷你状态条,以及:
- + 测试用例:在此套件中创建测试用例。
- 开始新周期…:将结果记录为一个周期并重置套件(见上文)。
- ⋯(套件选项)。各项按测试工作流排列:运行和记录、报告、打开,然后是创建副本和删除。
| 项 | Action |
|---|---|
| Run Cycle… | 仅为此套件的测试用例打开运行模式,从第一个“未运行”的测试用例开始。套件没有测试用例时不可用。 |
| 开始新周期… | 与卡片上的按钮相同:将结果记录为一个周期,然后重置套件。 |
| Test Cycles… (N) | 打开测试周期列表。 |
| Test Report… | 在最新的周期上打开 Test Report:选择周期(或当前结果)和格式(默认为 Word),然后点击导出。 |
| Test Cases (Word)… | 写出包含套件测试用例的 Word 文档。 |
| 导出 CSV | <suite>.csv:Number、Name(按深度缩进)、Description、Set Up、Expected Result、Actual Result、Status、Status Roll-Up、Verifies。 |
| Export JSON | <suite>.json:套件、其测试周期,以及带有已验证需求的测试用例树。 |
| Open as Document | 以文档形式打开套件。 |
| 打开方式 ▸ | 条目视图(套件的条目视图)或可追溯性矩阵(以套件为根的矩阵)。 |
| 创建副本 | 复制套件及其测试用例(<suite> (Copy)),包括其 verifies 关联,状态重置为“未运行”,实际结果被清除。提示消息:Duplicated as <name>。 |
| 删除… | Delete Test Suite:删除套件;勾选 Also delete its N test case(s) 可同时删除其测试用例。 |
测试用例表
| 列 | 内容 |
|---|---|
| 编号 | 测试用例编号。 |
| 测试用例和过程 | 名称(链接到条目视图)和描述;子测试用例有 ▾/▸。 |
| 预期结果 | 文本(最多三行;点击即可在框中编辑),以及+ 步骤 / Steps (N)。父项显示 —。 |
| 实际结果 | 文本(点击即可编辑);其下方是上次运行的测试人和日期,悬停时显示配置和被测件,并有指向证据文件的 📎 链接。未通过的测试显示 Issue: <issue> 或+ 创建 Issue。 |
| 状态 | 一个状态标签(Not Run、In Progress、Blocked、Failed、Passed);点击它可选择其他状态。测试有结果后,旁边会显示↻ 重新运行。父项显示汇总状态。 |
| 验证 | 已验证的需求,每个都带有 ×(Remove verifies,指向需求时显示),以及 +(Link a requirement this test verifies)。 |
点击一行中字段以外的位置,即可在属性面板中显示该测试用例。套件为空时:This suite has no test cases. Add one with + Test Case.没有匹配项时:No test cases match the filter. Clear the filter to see all.
测试步骤对话框
标题:Test Steps — <test case>。表的列:
- #
- Action(占位文字 Do this)
- 预期结果(Expect this)
- 实际结果(Observed)
- 通过/未通过(—、Pass、Fail)
- ↑(Move up)和 ×(Remove step)
表下方:+ 添加步骤、取消和应用。应用时会丢弃空步骤。没有步骤时,对话框显示 No steps yet. A test case without steps is run as a whole.
运行套件对话框
| 组成部分 | 内容 |
|---|---|
| 会话 | 测试人(Your name)、配置 / 版本(Build, version or configuration)、被测件(Unit or serial number)、阶段(Development、Qualification、Acceptance、Integration、Operational)和事件(例如 Thermal vacuum 1)。根据第一个测试的上次运行预先填写;阶段和事件会保存在您记录的每个测试上。 |
| 进度 | Test N of M、套件名称和进度条。 |
| Heading | 测试用例、当前状态,以及 run N times, last <date>。 |
| 正文 | 过程、设置、Steps(Action、Expected、Actual、Pass/Fail)、预期结果、实际结果、日期和时间、证据(附加证据…和文件名,或 Current: <file> / No file)。您可以选择多个文件:第一个成为该测试的证据,其他文件添加到其证据列表中。 |
| 按钮 | ‹ Previous、跳过、已阻塞、✘ 未通过、✔ 通过;底部为关闭。 |
测试用例(Word)
- 文件名:默认为 <suite> Test Cases。
- 选择属性:Number、描述、设置、预期结果、实际结果、状态、状态汇总、验证,以及其他所有 Test Case 属性(Tested By、Test Date、Configuration、Test Article、Test Evidence 和自定义属性)。Number、Description、Expected Result、Actual Result 和 Status 默认勾选。
- 下载:写出一个标题章节(测试用例数量和生成日期),以及每个测试用例一个章节。
测试周期对话框
标题:Test Cycles — <suite>。
- 周期表:测试周期、已保存和结果(迷你状态条和 N/M passed),每行都有 View、报告…(该周期的测试报告)、Revert 和删除。
- Revert 会询问 Write the statuses and actual results saved in “<name>” back to the test cases?
- 比较:两个选择器(任意周期或当前结果),以及一个列出Test Case、之前和之后的表。已更改的行会突出显示。
- 底部:开始新周期…和关闭。
没有周期时,对话框显示 No test cycles yet. “Start New Cycle…” records the current results and resets the suite.
验证覆盖率
页面上的最后一张卡片。用它规划验证,并找出仍需要测试的需求。
- 标题:N of M requirements verified by a passing test (P%),并带有在矩阵中打开。
- 状态条和筛选:Not verified (N)(默认)、All (N),以及每个状态一个筛选。
- 说明:Verified = a verifying test case Passed. A parent requirement is verified when it has its own passing test or all of its child requirements are verified. Method buttons: Analysis, Demonstration, Inspection, Test.
每一行从左到右显示:
- 状态标签(当自身状态不同时,指向它即可查看自身状态)
- 需求链接和测试数量
- 方法按钮 A D I T
- 级别…
- + 标准,或设置标准后显示 标准 ✓
- + 测试用例
最多显示 300 行,之后显示 …and N more。全部都已验证时,卡片显示 Every requirement is verified by a passing test.
证据文件
测试用例下的 Evidence (n) 会打开其证据列表。将一次运行的每个日志、照片和数据表都与该测试保存在一起。
- 添加文件…会附加一个或多个文件,一次撤销即可全部撤回。
- 每个文件都是一个带有 Verification Evidence 标签、包含该文件的 Artifact,测试用例 references 它。
- 下载保存文件;移除删除其 Artifact。
设置后,测试用例会在状态下方显示其 Verification Stage 和 Verification Event。
创建 Issue
+ 创建 Issue 出现在未通过的测试上,位于行中和运行模式中。它会创建一个 Issue:
- 名为 Test failure: <test case>,状态为 Open
- 描述中包含预期结果和实际结果
- 关联到该测试用例(causes 或 related to)以及该测试验证的每条需求
提示消息为 Created issue <name>。
开启正式项目群时,未通过的测试改为显示处置…。它会记录不符合项,并在需要时记录让步。参见正式项目群。
RVTM
地址:rvtm,以及 rvtm?status=<status> 和 ?q=<text>。
页面标题区
| 控件 | Action |
|---|---|
| 导出 ▾ | Excel (.xlsx)(RVTM.xlsx)、CSV(RVTM.csv)或 Word (.docx)(Requirements Verification Traceability Matrix,每条需求一个章节,包含其陈述)。 |
| 测试中心 | 打开测试中心。 |
三种导出都包含 Requirement Number、Requirement、Verification Method、Verification Level、Success Criteria、Verified By(每个测试用例及其汇总状态)、Own Status、Status(汇总)、Verification Stage 和 Verification Event。开启正式项目群时,还会增加 Deviations and Waivers 和 Closure。
卡片
已验证(通过)显示 已验证 / 总数 和进度条。未通过、未运行、仅已计划和未验证显示数量。
RVTM 列出项目自身的需求。带有 Customer Specification 标签的文档中的需求不计入其行和总数;符合性矩阵会对它们进行评估,并给出响应它们的您的需求的验证情况。
点击卡片可筛选表(Showing only these. Click to show all.)。点击标签 Status: <status> × 即可清除筛选。
表格
| 列 | 内容 |
|---|---|
| # | 需求编号。 |
| 需求 | 名称,链接到条目视图。名称后的 ⚠ 表示该需求的某个关联需要审查:需求本身已更改,或其上游条目已更改。 |
| 方法 | 验证方法,或 —。 |
| 级别 | Verification Level,或 —。 |
| Verified by | 验证它的测试用例,或 No test。测试用例后的 ⚠ 表示其验证关联需要审查;工具提示显示更改了什么以及何时更改。 |
| 阶段 | 验证它的测试用例的验证阶段,或 —。 |
| 证据 | 测试用例的证据文件数量,加上直接验证该需求的报告数量。点击它可添加报告,例如分析报告。 |
| 自身 | 自身状态。 |
| 状态 | 汇总状态。 |
| Deviation/Waiver | 仅正式项目群。针对该需求的偏离和让步及其状态,或针对未通过结果的处置…。 |
| Closure | 仅正式项目群。签核…、带有姓名和日期的 Closed 以及重新打开,或 Open。参见正式项目群。 |
RVTM | VCRM 切换表格。VCRM(验证交叉引用矩阵)是规划视图:I、A、D 和 T 列标记方法(检验、分析、演示、测试),然后是 Level、Stage、Event、Verified by 和 Status。
按编号或名称筛选可缩小行的范围。点击一行(或按 Enter)即可在属性面板中显示该需求。
指向需求的 ⚠ 即可查看自上次审查其关联以来哪些条目发生了更改。点击它可打开待审查的关联 — <requirement>对话框:需求任一端每个待审查的关联,带有差异和标记为已评审…,以及用于查看完整列表的打开待审查的关联(待审查的关联)。导出内容不包含可疑标志:其状态列只包含验证结果。
快捷键
| 按键 | 位置 | Action |
|---|---|---|
| Enter / Space | RVTM 行 | 在属性面板中显示该需求 |
| ↑ / ↓ | RVTM | 在行之间移动 |
| Esc | RVTM | 清除选择 |
| ⌘K / Ctrl+K | 任何位置 | 搜索操作,例如 Export RVTM (Excel) |
消息
| 留言 | 含义 |
|---|---|
| Name or number is required(名称或编号是必需的) | 创建既没有名称也没有编号的套件。 |
| Nothing to run: no test cases match. Add test cases or clear the status filter.(没有可运行的内容:没有匹配的测试用例。请添加测试用例或清除状态筛选。) | 运行套件没有找到与筛选匹配的叶测试用例。 |
| Test cycle saved / Test cycle saved; statuses reset to Not Run | 仅记录 / 记录并开始新周期。 |
| Created test case <name>(已创建测试用例 <name>) | 覆盖率卡片中的+ 测试用例。 |
| <file> (name only: over 10 MB) | 证据文件大于单文件限制(Free 方案为 10 MB,按 10 × 1,048,576 字节计算);只记录其名称。 |
| This project has no requirements. Write or import requirements, then link test cases with “verified by”.(此项目没有需求。请编写或导入需求,然后用“verified by”关联测试用例。) | RVTM 为空。 |
| No requirement matches this filter. Clear the filter to show every requirement.(没有与此筛选匹配的需求。请清除筛选以显示每条需求。) | RVTM 筛选隐藏了所有行。 |
| 勾选此框以创建该测试用例。 | “生成测试用例”在 AI 草稿中发现了网址;请在创建之前确认。 |
限制
- 测试证据文件:Free 方案每个文件 10 MB(10,485,760 字节);付费方案为 25 MB(26,214,400 字节)。更大的文件只记录名称。证据计入项目的存储空间(参见存储和限制)。
- 覆盖率卡片显示当前筛选的前 300 条需求。
- 每个测试用例在其上保留一个证据文件(最新的);运行日志保留每次运行的证据文件名。
相关内容
- 指南:需求验证矩阵(RVTM):列、方法和实例,介绍 RVTM 背后的方法。
- 接口:接口需求和 ICD。
- 预算与 TPM:对照阈值跟踪性能的 Measure。
- 项目管理:为失败的测试规划修复。
- 帮助:设置验证、运行套件并生成 RVTM、RVTM、测试中心、可追溯性矩阵、模型检查、仿真并对照需求检查。