Holarch

验证

验证

规划每条需求的验证方式,将测试用例组织到套件中,运行带有步骤结果和证据的测试,保存测试周期,并在 RVTM 中报告覆盖情况。

使用方法 →

本页内容
  1. 概述
  2. 概念
    1. 验证规划属性
    2. Verification Requirement(LML 2.0)
    3. 测试用例和测试套件
    4. 需求验证状态
    5. 测试周期
  3. 如何使用
    1. 何时使用及原因
    2. 为每条需求规划验证
    3. 创建测试套件和测试用例
    4. 编写分步过程
    5. 创建测试用例的其他方式
    6. 运行测试并记录结果
    7. 从其他测试系统导入结果
    8. 保存测试周期
    9. 报告覆盖率
    10. 实例:CubeSat EO-1 演示
    11. 提示和良好做法
    12. 常见错误
    13. 与其他功能的关联方式
  4. 测试中心
    1. 页面标题区
    2. 健康状况卡片和筛选
    3. 套件卡片
    4. 测试用例表
    5. 测试步骤对话框
    6. 运行套件对话框
    7. 测试用例(Word)
    8. 测试周期对话框
    9. 验证覆盖率
    10. 证据文件
    11. 创建 Issue
  5. RVTM
    1. 页面标题区
    2. 卡片
    3. 表格
  6. 快捷键
  7. 消息
  8. 限制
  9. 相关内容

概述

验证为每条需求回答一个问题:有什么证据表明它已被满足?

Holarch 将与验证有关的一切都保存在与需求相同的模型中:

  • 计划:验证方法、级别和成功标准
  • 执行该计划的测试用例
  • 每次运行的结果
  • 由此得出的覆盖率

由于这一切都在同一个模型中,覆盖率报告始终是最新的。

导航栏中的验证组包含:

页面用途
RVTM需求验证可追溯性矩阵:每条需求及其方法、级别、验证它的测试用例、自身结果和汇总结果。
测试中心测试套件和测试用例、分步过程、带证据的测试运行、测试周期,以及需求验证覆盖率。
可追溯性矩阵以网格形式显示任意关系,例如需求 × 测试用例。参见可追溯性矩阵。
模型检查对整个模型的规则检查,包括未验证的叶需求和没有 Issue 的失败测试。参见模型检查。

验证上的导航栏徽标统计失败的测试和模型检查错误。

概念

验证规划属性

每个 Requirement 都有三个规划属性:

属性值含义
验证方法分析、演示、检验、测试(任意组合)如何验证该需求。
验证级别Component、子系统、System进行验证的装配级别。
成功标准文本表明需求已满足的可度量结果。

需求的标签包含对应的验证方法标签(Analysis、Demonstration、Inspection、Test)。设置该属性或某个标签会作为同一更改的一部分更新另一方,一次撤销即可将两者一并撤回。因此,使用标签的导入项目与使用该属性的项目行为相同。

Verification Requirement(LML 2.0)

Verification Requirement 是一种 Statement,说明在一条需求被视为满足之前必须证明什么以及如何证明。这是 LML 2.0 将验证计划保存在单独条目中、而不是放在需求上的方式。它具有:

属性含义
验证方法分析、演示、检验、测试(任意组合;可在架构中添加更多方法)。
验收标准验证必须达到的结果。
证据要收集和移交的记录类型,例如测试报告或检验记录。
理由选择此方法、这些标准和此证据的理由。

用 verifies 将其关联到它所覆盖的需求(或资产),并用 traced to 关联到执行它的测试用例。RVTM 随后将这些测试用例计为验证该需求的测试用例;当需求自身没有方法和验收标准时,从 Verification Requirement 中获取;并在 Verified By 下列出该 Verification Requirement。

两种形式可以并存:直接验证需求的测试用例(LML 1.x 形式)的计数方式与以前完全相同,需求上的 Verification Requirement 标签也仍然可用。

测试用例还可以用 evaluates 指明被测资产(从资产一侧看:evaluated by)。

在这些新增内容之前创建的项目保留其原有架构;架构 → 添加新的内置项…会为它们添加 Verification Requirement 类和 evaluates 关系。

测试用例和测试套件

Test Case 通过 verifies 关系验证需求(从需求一侧看:verified by)。测试用例具有:

  • 描述:过程。
  • 设置、预期结果、实际结果。
  • Event Conditions(测试运行时所处的条件,例如环境、模式或模拟负载)和 Event Constraints(对测试事件的限制,例如独立见证人、停止点或抽样规则)。填写后,运行对话框会显示它们,套件 CSV 导出中每一项都有一列。
  • evaluates:被测资产。
  • 状态:未运行、In Progress、已阻塞、未通过或通过。
  • Steps:可选的编号过程,每个步骤都有 Action、Expected Result、Actual Result 和 Pass/Fail。
  • 运行证据,由每次记录的运行写入:测试人、测试日期、配置(被测的版本或构建)、被测件(单元或序列号)和 Test Evidence(一个文件)。
  • 运行日志:每次记录的运行,包含日期、状态、测试人、配置、被测件、实际结果、证据文件名和步骤结果。

测试用例可以分解为子测试用例。父项的状态由其叶节点汇总得出。第一条匹配的规则生效:

  1. 任何叶节点未通过时为未通过。
  2. 任何叶节点被阻塞时为已阻塞。
  3. 所有叶节点都通过时为通过。
  4. 没有叶节点运行时为未运行。
  5. 其他情况为 In Progress。

测试套件是带有 Test Suite 标签的 Artifact。它通过 source of(导入数据中为 referenced by)包含其测试用例。不属于任何套件的测试用例显示在不属于任何套件的测试用例下。

需求验证状态

每条需求根据验证它的测试用例(直接验证它的测试用例,以及从其 Verification Requirement 追溯到的测试用例)获得一个自身状态:

自身状态规则
未通过某个验证测试用例未通过。
通过有一个验证它的测试用例通过(且没有未通过的)。
未运行存在验证它的测试用例,但没有通过或未通过的。
仅已计划没有测试用例,但设置了验证方法(在需求或其某个 Verification Requirement 上)。
未验证没有测试用例,也没有验证方法。

汇总状态遵循分解(decomposed by)。对于父需求:

  • 当它有自己通过的测试,或其所有子需求都为“通过”时,它为通过。
  • 当其下方任何地方存在失败时,它为未通过。
  • 否则,它取自身状态或覆盖最少的子项的状态中更靠后的那个。顺序为 未验证 → 仅已计划 → 未运行。

Verified 始终表示“通过”。

测试周期

测试周期是套件结果的已保存快照:每个叶测试用例的状态和实际结果。在每个测试活动结束时保存一个,然后将套件重置为“未运行”以进行下一轮。您可以将周期相互比较或与当前结果比较,也可以恢复到某个周期。

如何使用

何时使用及原因

在编写需求时就规划验证,而不是在设计完成之后。如果您说不出一条需求的方法和成功标准,那么这条需求按其写法通常是不可验证的。

通常的流程:

  1. 需求分析:在每条需求上设置 Verification Method、Level 和 Success Criteria。
  2. 设计:编写测试用例,并将其关联到它们所验证的需求。分析、演示和检验记录也是测试用例。
  3. 集成和测试:运行测试用例,记录结果和证据。为失败创建 Issue。每个测试活动保存一个测试周期。
  4. 评审和验收:用 RVTM 报告覆盖率。

为每条需求规划验证

为每条需求指定方法、级别和成功标准。在测试中心的覆盖率卡片中完成此操作。

  1. 打开验证 → 测试中心。
  2. 滚动到验证覆盖率。

您会看到每一条尚未验证的需求。

  1. 在某一行上,点击方法按钮以切换方法:A(分析)、D(演示)、I(检验)、T(测试)。

该需求从未验证变为仅已计划。

  1. 在级别…中选择级别:Component、Subsystem 或 System。
  2. 点击+ 标准。
  3. 输入可度量的结果并点击保存。

按钮现在显示为标准 ✓。

您也可以在任何需求的属性面板中编辑这些属性。

创建测试套件和测试用例

  1. 在页面标题中,点击+ 新建 ▾ → 测试套件…。
  2. 输入Number(例如 TS-3)、名称和描述。
  3. 点击创建。

您会看到一张新的套件卡片。

  1. 在套件卡片上,点击+ 测试用例。
  2. 在创建条目中为测试用例命名。

测试用例以“未运行”状态添加到套件中。

  1. 在测试用例行中,点击验证列中的 +。
  2. 选择该测试用例验证的需求。
  3. 在该行中输入预期结果。
  4. 在属性面板或条目视图中,将过程写入测试用例的描述。

编写分步过程

步骤是可选的。没有步骤的测试用例作为一个整体运行。

  1. 在测试用例行中,点击+ 步骤。
  2. 为每个步骤点击+ 添加步骤。
  3. 为每个步骤填写 Action 和预期结果。
  4. 用 ↑ 重新排序,用 × 移除步骤。
  5. 点击应用。

按钮现在显示为 Steps (N)。

创建测试用例的其他方式

  • 从覆盖率卡片:在验证覆盖率中,点击需求行上的+ 测试用例。它会在“不属于任何套件的测试用例”下创建 Verify <requirement name>,并已关联到该需求。
  • 使用 AI:在文档或条目视图中选择一条需求。选择✦ AI ▾ → 生成测试用例…。AI 会起草名称、有序步骤、设置、预期结果和方法。在 Review Test Case — <requirement> 中审阅草稿,然后点击创建测试用例。参见AI。

运行测试并记录结果

运行模式逐个引导您完成测试,并记录每个结果及其证据。

  1. 可选:要只运行部分测试,请点击状态筛选,例如 Not Run (12)。只运行具有该状态的叶测试用例。
  2. 在页面标题中,点击运行套件。

运行套件对话框在第一个“未运行”的测试上打开。

  1. 会话字段只需填写一次:测试人(默认为您的姓名)、配置 / 版本和被测件。在以“所有配置”查看的产品线中,先选择记录结果:测试所运行的配置,或 No configuration。在您做出选择之前,✔ 通过、✘ 未通过和已阻塞不可用(产品线)。
  2. 阅读测试的过程、设置、Steps和预期结果。
  3. 执行测试。对于每个步骤,填写实际值并选择通过/未通过。
  4. 描述实际结果。
  5. 检查日期和时间。
  6. 点击附加证据…添加日志、数据文件或照片。
  7. 点击✔ 通过、✘ 未通过或已阻塞。

对话框会转到下一个测试。要不记录就移动,请点击跳过。要返回,请点击‹ Previous。

  1. 在✘ 未通过之后,点击+ 创建 Issue,然后点击Next ›。

对话框显示Recorded. Create an Issue to track the failure; it is linked to this test case and the requirements it verifies.

  1. 对每个测试重复第 4 到第 10 步。

结束时,运行完成显示一个带有数量的状态条。从头评审返回第一个测试。

每个记录的结果都可通过一次撤销撤回。它会完成以下所有操作:

  • 更新测试用例的 Status、Actual Result、Tested By、Test Date、Configuration、Test Article 和 Test Evidence
  • 保存步骤结果
  • 在测试的运行日志中添加一条记录

要在不使用运行模式的情况下记录结果,请点击测试用例行中的状态(例如未运行)并选择新状态,然后点击实际结果文本并输入结果。在获得焦点的值上按 Enter 或 F2 也会打开它;按 Escape 保持不变。

要再次运行测试,请点击其所在行中的↻ 重新运行(测试有结果后显示)。运行对话框只针对该测试打开,不会将其重置为“未运行”;新结果会添加到其运行日志中,位于先前的运行旁边。

从其他测试系统导入结果

当测试在其他地方运行时(例如自动化测试台或 CI 流水线),请导入其结果,而不是手动输入。Holarch 可读取 JUnit XML 报告(大多数测试运行器和 CI 系统都会生成)、CSV 文件和 Excel 工作簿(.xlsx)。

  1. 在页面标题中,点击导入结果…。
  2. 点击选择文件…并选择结果文件。
  3. 选择要匹配的测试用例:在以下位置匹配测试用例(全部或某个套件)和匹配依据(Number, then name、Number、名称或全局 ID)。
  4. 对于 CSV 或 Excel 文件,检查 Holarch 根据标题猜测的列:测试用例列和状态列是必需的;实际结果、日期、测试人、配置和被测件列是可选的。
  5. 可选:为文件中缺少的内容填写测试人、测试日期、配置 / 版本和被测件。
  6. 检查预览:每个匹配的测试用例及其状态变化,以及没有匹配任何测试用例、匹配多个测试用例或被跳过的行。
  7. 点击 Record N Results。

所有结果都会被记录,一次撤销即可全部撤回。每个结果都会更新测试用例的 Status、Tested By、Test Date、Configuration 和 Test Article,并在其运行日志中添加一条注明该文件的记录。不会创建任何内容。

  • 状态词:pass、passed、ok 和 success 记录为“通过”;fail、failed、failure 和 error 记录为“未通过”;blocked、in progress 和 not run 记录为相应的状态。跳过的测试(JUnit <skipped>,或状态列中为 skipped)保持不变。
  • 实际结果:JUnit 失败消息或“实际结果”列会成为实际结果。没有时,实际结果保持原样。
  • 重复的测试用例:当文件两次提到同一个测试用例时,以后面的行为准;前面的行列为已跳过。
  • 父测试用例:有子测试用例的测试用例不会被记录;其状态由其子项汇总得出。

要在不打开 Holarch 的情况下从 CI 流水线记录结果,请将结果发送到 REST API(POST …/test-results),或让 AI 客户端通过 MCP 工具 record_test_results 提议结果。两者记录结果的方式都与导入结果…相同,包括运行日志记录(测试结果)。

保存测试周期

在测试活动结束时保存一个周期。

  1. 在套件卡片上,点击开始新周期…(或⋯ → 开始新周期…)。
  2. 在开始新的测试周期中为周期命名(默认为 Test Cycle N)。
  3. 检查配置 / 版本和被测件。两者的初始值都是该轮运行中最常记录的值;它们会打印在该周期的测试报告中。
  4. 点击以下之一:
    • 记录并开始新周期:保存结果,然后将套件中的每个状态设为“未运行”并清除实际结果。
    • 仅记录:保存结果,并将其保留在测试用例上。

周期保存每个测试用例的状态、实际结果、测试人、测试日期、配置、被测件、证据文件名和步骤结果。

要在之后查看、比较、恢复或删除周期,请点击套件卡片上的⋯ → Test Cycles… (N)。要生成交付物,请点击⋯ → Test Report…:它会将周期的测试报告写成 Word、Excel、CSV 或网页(参见文档生成)。

报告覆盖率

  1. 打开验证 → RVTM。

第一张卡片显示 已验证 / 总数 和进度条。其他卡片统计未通过、未运行、仅已计划和未验证的数量。

宽表横向滚动时,编号列和需求列保持可见。状态标签被缩短以适应宽度时(在某些语言中),指向它即可查看完整文本。

  1. 可选:点击一张卡片,只列出这些需求。
  2. 点击导出 ▾。
  3. 选择 Excel (.xlsx)、CSV 或 Word (.docx)。

实例:CubeSat EO-1 演示

用管理项目 → 项目文件 ▾ → 新建演示项目创建演示项目,然后:

  1. 打开验证 → RVTM。

第一张卡片显示 11 / 32 已验证(通过)。其他卡片显示 3 个未通过、12 个未运行、3 个仅已计划和 3 个未验证。

  1. 找到 1.6 Revisit Time。

自身为仅已计划:方法为 Analysis,但它自己没有测试。状态为未运行。该状态由其子项汇总得出:

  • 1.6.1 Ground Track Repeat 由 TC-13 验证为通过。
  • 1.6.2 Off-Nadir Imaging 由 TC-14 验证,TC-14 为未运行。

覆盖最少的子项为“未运行”,比“仅已计划”更靠后。

  1. 点击未通过卡片。

2.1 Pointing Accuracy 和 2.2 Pointing Stability 因 TC-04 Pointing Accuracy Test 而未通过。4.3 因 TC-09 Safe Mode Entry Test 而未通过。

  1. 打开验证 → 测试中心。

卡片显示 3 个套件中有 22 个测试用例。在 TS-1 Spacecraft Qualification Tests 中,TC-04 行显示 J. Alvarez · 2026-10-02 10:15 · 📎 tc04-pointing-errors.csv 和 Issue: Test failure: Pointing Accuracy Test。

  1. 在 TC-04 行中,点击 Steps (3)。

第 3 步未通过,结果为 0.14 degrees on targets 7, 12 and 18.

  1. 在 TS-1 上,点击⋯ → Test Cycles… (2)。
  2. 比较 Flatsat Cycle 1 → Flatsat Cycle 2。

TC-03 和 TC-06 从“未运行”变为“通过”。已更改的行会突出显示。

现在在看门狗修复之后重新运行 TC-09:

  1. 点击 Failed (2) 筛选,然后点击运行套件。

运行在 TC-04 上打开。

  1. 点击跳过,转到 TC-09。
  2. 输入 Flight software 2.3.2 作为配置 / 版本。
  3. 输入 Safe mode in 8 seconds 作为实际结果。
  4. 点击✔ 通过。
  5. 再次打开 RVTM。

4.3 现在为通过,第一张卡片显示 12 / 32。

最后,为一条未验证的需求制定计划:

  1. 在验证覆盖率中,找到 2.5 Safe Mode Recovery(未验证)。
  2. 点击 T,在级别…中选择 System,并添加标准。
  3. 点击+ 测试用例开始为其编写测试。

提示和良好做法

  • 将成功标准写成带条件的可度量数字,例如 Range ≥ 25 km in 3 of 3 flights at 20 °C。不要重述需求。
  • 验证叶需求,让父需求自动汇总。模型检查 Requirement.10 会标记没有验证测试用例的叶需求。父需求通过其子需求得到覆盖。
  • 每个验证事件使用一个测试用例,即使是分析、检验和演示也是如此。这样 RVTM 就会为每种方法显示证据。
  • 每次运行都记录配置。当结果在两个周期之间发生变化时,运行日志会显示是哪个构建导致的。
  • 为每次失败创建 Issue。模型检查 TestCase.1 会标记没有关联 Issue 的未通过测试用例。

常见错误

  • 试图在父测试用例上设置“通过”。父项显示其子项的汇总状态,不能设置。请在叶节点上记录结果。
  • 用 traced to 而不是 verifies 将需求关联到其测试。该需求会保持“仅已计划”或“未验证”。请使用测试用例行中的 +,它会创建 verifies。
  • 不验证任何内容的测试用例。它会计入测试中心,但永远不会计入 RVTM。

与其他功能的关联方式

  • 数据来源:
    • 需求及其分解(需求)
    • Conduit 上的接口需求(接口)
    • 仿真结果,可通过 Measure 验证需求(仿真)
  • 输出到:
    • RVTM 及其导出
    • 针对失败的 Issue,您可以将其作为任务安排在看板上(项目管理)
    • 模型检查(Requirement.10、TestCase.1)
    • 主页健康状况卡片和“验证”徽标
    • 基线和评审包
  • 可追溯性矩阵:覆盖率卡片上的在矩阵中打开会按 verified by 打开需求 × 测试用例;套件的⋯ → Open in ▸ 可追溯性矩阵会打开其层次结构。

测试中心

地址:test-center;test-center?root=<id> 会展开、滚动到并选中一个测试用例或套件(由测试用例上的打开方式 ▾ → 测试中心使用)。

控件Action
导出 ▾RVTM(CSV)、RVTM(Excel)、RVTM(Word)。
+ 新建 ▾测试套件…、测试用例…(未分配的测试用例)。
导入结果…在预览之后,将 JUnit XML、CSV 或 Excel 文件中的结果记录到匹配的测试用例上。参见从其他测试系统导入结果。
运行套件为每个叶测试用例(或仅为与状态筛选匹配的测试用例)打开运行模式。没有测试用例时禁用。

健康状况卡片和筛选

  • 测试用例:叶测试用例的数量,以及套件的数量。
  • 已执行:不是“未运行”的叶节点的百分比和数量。
  • 通过:已通过叶节点的百分比和数量。
  • 未通过:未通过叶节点的数量,以及被阻塞的数量。

卡片下方:

  • 一个状态条。
  • 筛选 All (N)、未运行、In Progress、已阻塞、未通过和通过,每个都带有数量。再次点击某个筛选即可清除它。
  • 右侧是套件排序:按编号、按名称或按修改日期。
  • 搜索测试用例:匹配编号、名称或描述。名称匹配的套件会显示其所有测试用例。

套件卡片

标题显示 ▾/▸(折叠)、套件链接、测试套件标签、汇总状态、测试数、周期数、一个迷你状态条,以及:

  • + 测试用例:在此套件中创建测试用例。
  • 开始新周期…:将结果记录为一个周期并重置套件(见上文)。
  • ⋯(套件选项)。各项按测试工作流排列:运行和记录、报告、打开,然后是创建副本和删除。
项Action
Run Cycle…仅为此套件的测试用例打开运行模式,从第一个“未运行”的测试用例开始。套件没有测试用例时不可用。
开始新周期…与卡片上的按钮相同:将结果记录为一个周期,然后重置套件。
Test Cycles… (N)打开测试周期列表。
Test Report…在最新的周期上打开 Test Report:选择周期(或当前结果)和格式(默认为 Word),然后点击导出。
Test Cases (Word)…写出包含套件测试用例的 Word 文档。
导出 CSV<suite>.csv:Number、Name(按深度缩进)、Description、Set Up、Expected Result、Actual Result、Status、Status Roll-Up、Verifies。
Export JSON<suite>.json:套件、其测试周期,以及带有已验证需求的测试用例树。
Open as Document以文档形式打开套件。
打开方式 ▸条目视图(套件的条目视图)或可追溯性矩阵(以套件为根的矩阵)。
创建副本复制套件及其测试用例(<suite> (Copy)),包括其 verifies 关联,状态重置为“未运行”,实际结果被清除。提示消息:Duplicated as <name>。
删除…Delete Test Suite:删除套件;勾选 Also delete its N test case(s) 可同时删除其测试用例。

测试用例表

列内容
编号测试用例编号。
测试用例和过程名称(链接到条目视图)和描述;子测试用例有 ▾/▸。
预期结果文本(最多三行;点击即可在框中编辑),以及+ 步骤 / Steps (N)。父项显示 —。
实际结果文本(点击即可编辑);其下方是上次运行的测试人和日期,悬停时显示配置和被测件,并有指向证据文件的 📎 链接。未通过的测试显示 Issue: <issue> 或+ 创建 Issue。
状态一个状态标签(Not Run、In Progress、Blocked、Failed、Passed);点击它可选择其他状态。测试有结果后,旁边会显示↻ 重新运行。父项显示汇总状态。
验证已验证的需求,每个都带有 ×(Remove verifies,指向需求时显示),以及 +(Link a requirement this test verifies)。

点击一行中字段以外的位置,即可在属性面板中显示该测试用例。套件为空时:This suite has no test cases. Add one with + Test Case.没有匹配项时:No test cases match the filter. Clear the filter to see all.

测试步骤对话框

标题:Test Steps — <test case>。表的列:

  • #
  • Action(占位文字 Do this)
  • 预期结果(Expect this)
  • 实际结果(Observed)
  • 通过/未通过(—、Pass、Fail)
  • ↑(Move up)和 ×(Remove step)

表下方:+ 添加步骤、取消和应用。应用时会丢弃空步骤。没有步骤时,对话框显示 No steps yet. A test case without steps is run as a whole.

运行套件对话框

组成部分内容
会话测试人(Your name)、配置 / 版本(Build, version or configuration)、被测件(Unit or serial number)、阶段(Development、Qualification、Acceptance、Integration、Operational)和事件(例如 Thermal vacuum 1)。根据第一个测试的上次运行预先填写;阶段和事件会保存在您记录的每个测试上。
进度Test N of M、套件名称和进度条。
Heading测试用例、当前状态,以及 run N times, last <date>。
正文过程、设置、Steps(Action、Expected、Actual、Pass/Fail)、预期结果、实际结果、日期和时间、证据(附加证据…和文件名,或 Current: <file> / No file)。您可以选择多个文件:第一个成为该测试的证据,其他文件添加到其证据列表中。
按钮‹ Previous、跳过、已阻塞、✘ 未通过、✔ 通过;底部为关闭。

测试用例(Word)

  • 文件名:默认为 <suite> Test Cases。
  • 选择属性:Number、描述、设置、预期结果、实际结果、状态、状态汇总、验证,以及其他所有 Test Case 属性(Tested By、Test Date、Configuration、Test Article、Test Evidence 和自定义属性)。Number、Description、Expected Result、Actual Result 和 Status 默认勾选。
  • 下载:写出一个标题章节(测试用例数量和生成日期),以及每个测试用例一个章节。

测试周期对话框

标题:Test Cycles — <suite>。

  • 周期表:测试周期、已保存和结果(迷你状态条和 N/M passed),每行都有 View、报告…(该周期的测试报告)、Revert 和删除。
  • Revert 会询问 Write the statuses and actual results saved in “<name>” back to the test cases?
  • 比较:两个选择器(任意周期或当前结果),以及一个列出Test Case、之前和之后的表。已更改的行会突出显示。
  • 底部:开始新周期…和关闭。

没有周期时,对话框显示 No test cycles yet. “Start New Cycle…” records the current results and resets the suite.

验证覆盖率

页面上的最后一张卡片。用它规划验证,并找出仍需要测试的需求。

  • 标题:N of M requirements verified by a passing test (P%),并带有在矩阵中打开。
  • 状态条和筛选:Not verified (N)(默认)、All (N),以及每个状态一个筛选。
  • 说明:Verified = a verifying test case Passed. A parent requirement is verified when it has its own passing test or all of its child requirements are verified. Method buttons: Analysis, Demonstration, Inspection, Test.

每一行从左到右显示:

  • 状态标签(当自身状态不同时,指向它即可查看自身状态)
  • 需求链接和测试数量
  • 方法按钮 A D I T
  • 级别…
  • + 标准,或设置标准后显示 标准 ✓
  • + 测试用例

最多显示 300 行,之后显示 …and N more。全部都已验证时,卡片显示 Every requirement is verified by a passing test.

证据文件

测试用例下的 Evidence (n) 会打开其证据列表。将一次运行的每个日志、照片和数据表都与该测试保存在一起。

  • 添加文件…会附加一个或多个文件,一次撤销即可全部撤回。
  • 每个文件都是一个带有 Verification Evidence 标签、包含该文件的 Artifact,测试用例 references 它。
  • 下载保存文件;移除删除其 Artifact。

设置后,测试用例会在状态下方显示其 Verification Stage 和 Verification Event。

创建 Issue

+ 创建 Issue 出现在未通过的测试上,位于行中和运行模式中。它会创建一个 Issue:

  • 名为 Test failure: <test case>,状态为 Open
  • 描述中包含预期结果和实际结果
  • 关联到该测试用例(causes 或 related to)以及该测试验证的每条需求

提示消息为 Created issue <name>。

开启正式项目群时,未通过的测试改为显示处置…。它会记录不符合项,并在需要时记录让步。参见正式项目群。

RVTM

地址:rvtm,以及 rvtm?status=<status> 和 ?q=<text>。

页面标题区

控件Action
导出 ▾Excel (.xlsx)(RVTM.xlsx)、CSV(RVTM.csv)或 Word (.docx)(Requirements Verification Traceability Matrix,每条需求一个章节,包含其陈述)。
测试中心打开测试中心。

三种导出都包含 Requirement Number、Requirement、Verification Method、Verification Level、Success Criteria、Verified By(每个测试用例及其汇总状态)、Own Status、Status(汇总)、Verification Stage 和 Verification Event。开启正式项目群时,还会增加 Deviations and Waivers 和 Closure。

卡片

已验证(通过)显示 已验证 / 总数 和进度条。未通过、未运行、仅已计划和未验证显示数量。

RVTM 列出项目自身的需求。带有 Customer Specification 标签的文档中的需求不计入其行和总数;符合性矩阵会对它们进行评估,并给出响应它们的您的需求的验证情况。

点击卡片可筛选表(Showing only these. Click to show all.)。点击标签 Status: <status> × 即可清除筛选。

表格

列内容
#需求编号。
需求名称,链接到条目视图。名称后的 ⚠ 表示该需求的某个关联需要审查:需求本身已更改,或其上游条目已更改。
方法验证方法,或 —。
级别Verification Level,或 —。
Verified by验证它的测试用例,或 No test。测试用例后的 ⚠ 表示其验证关联需要审查;工具提示显示更改了什么以及何时更改。
阶段验证它的测试用例的验证阶段,或 —。
证据测试用例的证据文件数量,加上直接验证该需求的报告数量。点击它可添加报告,例如分析报告。
自身自身状态。
状态汇总状态。
Deviation/Waiver仅正式项目群。针对该需求的偏离和让步及其状态,或针对未通过结果的处置…。
Closure仅正式项目群。签核…、带有姓名和日期的 Closed 以及重新打开,或 Open。参见正式项目群。

RVTM | VCRM 切换表格。VCRM(验证交叉引用矩阵)是规划视图:I、A、D 和 T 列标记方法(检验、分析、演示、测试),然后是 Level、Stage、Event、Verified by 和 Status。

按编号或名称筛选可缩小行的范围。点击一行(或按 Enter)即可在属性面板中显示该需求。

指向需求的 ⚠ 即可查看自上次审查其关联以来哪些条目发生了更改。点击它可打开待审查的关联 — <requirement>对话框:需求任一端每个待审查的关联,带有差异和标记为已评审…,以及用于查看完整列表的打开待审查的关联(待审查的关联)。导出内容不包含可疑标志:其状态列只包含验证结果。

快捷键

按键位置Action
Enter / SpaceRVTM 行在属性面板中显示该需求
↑ / ↓RVTM在行之间移动
EscRVTM清除选择
⌘K / Ctrl+K任何位置搜索操作,例如 Export RVTM (Excel)

消息

留言含义
Name or number is required(名称或编号是必需的)创建既没有名称也没有编号的套件。
Nothing to run: no test cases match. Add test cases or clear the status filter.(没有可运行的内容:没有匹配的测试用例。请添加测试用例或清除状态筛选。)运行套件没有找到与筛选匹配的叶测试用例。
Test cycle saved / Test cycle saved; statuses reset to Not Run仅记录 / 记录并开始新周期。
Created test case <name>(已创建测试用例 <name>)覆盖率卡片中的+ 测试用例。
<file> (name only: over 10 MB)证据文件大于单文件限制(Free 方案为 10 MB,按 10 × 1,048,576 字节计算);只记录其名称。
This project has no requirements. Write or import requirements, then link test cases with “verified by”.(此项目没有需求。请编写或导入需求,然后用“verified by”关联测试用例。)RVTM 为空。
No requirement matches this filter. Clear the filter to show every requirement.(没有与此筛选匹配的需求。请清除筛选以显示每条需求。)RVTM 筛选隐藏了所有行。
勾选此框以创建该测试用例。“生成测试用例”在 AI 草稿中发现了网址;请在创建之前确认。

限制

  • 测试证据文件:Free 方案每个文件 10 MB(10,485,760 字节);付费方案为 25 MB(26,214,400 字节)。更大的文件只记录名称。证据计入项目的存储空间(参见存储和限制)。
  • 覆盖率卡片显示当前筛选的前 300 条需求。
  • 每个测试用例在其上保留一个证据文件(最新的);运行日志保留每次运行的证据文件名。