Holarch

指南 · 验证

系统工程中的验证与确认

收听本指南(英文音频) 29 分钟

验证表明系统满足其需求;确认表明系统在预期用途中满足利益相关者的需要。本指南介绍 ISO/IEC/IEEE 15288 中的定义、两者各自对照什么进行检查、两者在生命周期中的位置、四种验证方法、确认活动、模型验证与确认、两者背后的可追溯性,以及混淆两者的常见错误,并以一颗 6U CubeSat 为例进行演示。

本页内容
  1. 简短的回答
  2. ISO/IEC/IEEE 15288 中的定义
  3. 各自对照什么进行检查
  4. 各自在生命周期中何时进行
    1. V 模型
    2. 增量式和持续的 V&V
  5. 四种验证方法
  6. 确认活动
    1. EO-1 的确认
  7. 模型验证与模型确认
  8. 两者背后的可追溯性
  9. 实践中的验证证据:TC-06
  10. 验证与确认的比较
  11. 常见的混淆
  12. Holarch 如何记录两者
    1. 在 Holarch 中试用
  13. 常见问题
    1. 验证和确认哪个先进行?
    2. 一项活动能同时完成两者吗?
    3. 由谁进行确认?
    4. 验证通过但确认失败时会怎样?
  14. 后续阅读

简短的回答

验证问的是:我们是否正确地构建了系统?它将系统与其需求逐条比较,并产生每条需求都已满足的证据。确认问的是:我们是否构建了正确的系统?它将系统与利益相关者的需要以及他们将如何使用系统进行比较,并产生系统能够完成其被采购用途的证据。

这两个问题听起来很像,而且常常由同一个团队用同样的设备进行,但它们可能给出不同的答案。一个系统可以通过每一条需求,却仍然辜负其用户,因为某条需求缺失、错误,或是针对与实际用途不同的用途编写的。一个系统也可能很好地服务于用户,却未能满足一条事后证明并不重要的需求。系统工程将两者分开,是因为每一个都能发现另一个看不到的错误。

“正确地构建产品”与“构建正确的产品”这一说法通常被归功于 Barry Boehm 在软件工程方面的早期工作,它至今仍是记住两者区别的最简短的方式。

ISO/IEC/IEEE 15288 中的定义

ISO/IEC/IEEE 15288 是系统生命周期过程的国际标准,它将验证和确认视为两个独立的技术过程:验证过程(第 6.4.9 条)和确认过程(第 6.4.11 条)。集成位于验证之前,移交位于两者之间:系统在构建完成后接受验证,移交到其运行环境,然后在那里接受确认。

  • 验证是通过客观证据确认规定的需求已得到满足。它在标准中的目的是表明系统或元素满足其需求和特性,并报告在此过程中发现的任何异常。
  • 确认是通过客观证据确认针对特定预期用途或应用的需求已得到满足。它的目的是表明系统在其预期环境中使用时,满足利益相关者的需要,并实现其业务目标或任务目标。

两个定义都建立在客观证据之上:其他人能够核查的测量结果、分析报告、检查记录或经观察的演示。意见、“看起来没问题”以及没人记录下来的测试都不是证据。两者的区别在于各自对照的基准。

INCOSE《系统工程手册》(第 5 版,第 2.3.5.9 节和第 2.3.5.11 节)遵循同样的划分,《NASA 系统工程手册》(NASA/SP-2016-6105 Rev 2) 则为两者分别设立了产品实现过程:产品验证(第 5.3 节)和产品确认(第 5.4 节)。NASA 手册直白地指出了一个有用的观点:验证表明产品是按规格说明构建的;确认表明规格说明以及因此而来的产品是正确的。

各自对照什么进行检查

区分两者最清楚的方法,是问证据是与什么进行比较的。

  • 验证对照需求进行检查。基准是系统、子系统和组件规格说明中的“shall”陈述。它们由工程团队编写,与利益相关者达成一致,其措辞使测试、分析、检查或演示能够给出通过或不通过的结论。ISO/IEC/IEEE 29148 将可验证列为每条需求必须具备的特性之一(第 5.2.5 条),正是出于这个原因:无法验证的需求根本无法参与验证。
  • 确认对照利益相关者需要和预期用途进行检查。基准是用户、操作人员、客户和其他利益相关者以他们自己的语言表达的期望,再加上实际使用的条件:运行场景、环境、将要操作系统的人员,以及说明对他们而言何为“好”的效能度量。需要往往是定性的,因此确认除了测量之外,还依赖于场景、仿真、试用和利益相关者的判断。

可追溯性指南中对需要与需求的比较用一句话概括了这一点:需要被确认,需求被验证。本指南的其余内容都由此而来。

各自在生命周期中何时进行

V 模型

V 模型将生命周期画成一个 V 字。左侧向下经过分解和定义:运行概念、系统需求、概要设计、详细设计。实现位于底部。右侧向上经过集成和检查,右侧的每一步都与其对面的步骤相对应:

右侧对照(左侧)检查类型
单元验证详细设计验证
子系统验证概要设计验证
系统验证系统需求验证
系统确认运行概念和利益相关者需要确认

最上面的一对是唯一的确认对,这就是确认常被描绘为最后一步的原因。V 模型显示的是最终证据在何处产生,而不是工作何时开始。每项验证和确认活动都是在左侧、与其所检查的条目同时规划的:确认方法与运行概念同时规划,验证方法与每条需求同时规划。

增量式和持续的 V&V

等到系统集成完毕才去问它是不是正确的系统,是发现它不正确的最昂贵的方式。实践中会将两类活动分布在整个生命周期中:

  • 早期确认。在硬件出现之前很久,就将概念、实物模型、样品和仿真展示给利益相关者。每一次评审都会降低需求编码了错误需要的风险。
  • 在每个层级进行验证。组件在集成之前验证,子系统在系统之前验证。在试验台上发现的缺陷,成本远低于在系统测试中发现的缺陷。
  • 迭代开发中的持续 V&V。以增量方式交付的团队(例如采用持续集成的软件团队)会在每次构建时运行自动化验证,并与用户一起确认每个增量。两个问题保持不变;只是被问得频繁得多。

四种验证方法

大多数标准和手册使用同样的四种方法。RVTM 指南解释了如何在它们之间进行选择;这里每种方法都配有本指南通篇使用的 EO-1 CubeSat 中的一行示例。EO-1 是一颗虚构的 6U 航天器,在 500 km 轨道上以四个光谱波段为农田成像,其规格说明中有 32 条需求。

检查
在不运行产品的情况下检查产品或其记录。EO-1 的 3.4 Bus Regulation(12 V,误差在 2% 以内)由 TC-18 Bus Regulation Inspection 验证,即评审配电单元的设计及其鉴定负载阶跃数据。它已通过:最坏情况为 11.81 V,在 11.76–12.24 V 范围内。
分析
计算、建模或仿真,通常以较低层级的测试数据为输入。1.7 Mission Lifetime(在轨 730 天)无法在地面测试,因此 TC-16 Lifetime Reliability Analysis 综合了零件失效率、辐射剂量和电池衰减。它已通过:运行 730 天的概率为 0.86,要求至少为 0.8。
演示
运行产品以表明它能做某件事,有人观察,但不进行精确测量。6.1 Contact Scheduling(提前 48 小时预订通信弧段)将由 TC-20 Operations Rehearsal 来表明:与合作地面网络进行 14 天的通信弧段调度。它尚未运行。
测试
在受控条件下运行产品,并对照一个数值测量结果。3.2 Battery Capacity(寿命初期至少 77 Wh)由 TC-07 Battery Capacity Test 验证,即在 20 °C 下以 C/2 放电。它以 78.3 Wh 通过。

四种方法都属于验证。演示并不是“较宽松的测试”,分析也不会仅仅因为使用了模型就成为确认活动:使其中任何一种成为验证的,是通过准则来自一条需求。

确认活动

确认使用许多相同的技术,但针对的基准不同。常见的形式有:

  • 运行场景。让系统或其模型走一遍运行概念:正常的一天、降级模式、操作人员之间的交接。问题在于该场景是否实现了利益相关者想要的结果,而不在于每一步是否达到其数值。
  • 任务仿真。在具有真实环境和变化的仿真中运行运行概念,然后对照效能度量 (MOE) 解读结果;效能度量是面向利益相关者的、衡量任务完成其工作好坏的度量。
  • 利益相关者评审。向用户展示概念、原型、样品或界面,并记录他们的判断。这种方式早、成本低,而且常常是缺失的需要第一次浮出水面的时候。
  • 运行试用和试点。真实的用户、真实的规程、有代表性的环境。这往往是决定性的确认证据,在许多项目中还会由独立机构进行正式的作战试验与鉴定。

EO-1 的确认

EO-1 模型包含三项利益相关者需要,每项都追溯到将其形式化的需求,还有第三个测试套件 TS-3 Mission Validation,每项需要对应一个确认事件。两者都是 EO-1 参考模型 (v1.0) 的一部分,也包含在 Holarch 2.2.1 或更高版本中创建的演示项目中。

需要需求(已验证)确认事件状态
N1 Same-Day Crop Stress Alerts6.2 Image Delivery(下行后 6 小时内)、6.5 Planning Cycle Time(100 分钟内)VAL-01 Customer Alert Pilot:将三个试点农场上空的已记录过境数据依次经过规划、处理和客户门户,由农场的农艺师在日常工作中使用这些警报未运行
N2 Twice-Weekly Revisit1.6 Revisit Time(72 小时内),通过 1.6.1 Ground Track Repeat 和 1.6.2 Off-Nadir ImagingVAL-02 Growing Season Revisit Simulation:使用计划的地面轨迹、偏离星下点限值和历史云量,对客户目标清单进行一个季节的成像仿真未运行
N3 Field-Level Vegetation Maps1.2 Ground Sample Distance (4.5 m)、1.4 Spectral Bands(四个波段,450–900 nm)VAL-03 Agronomist Map Review:农艺师评审由航空影像重采样到 4.5 m、采用 EO-1 四个波段制作的植被图已通过:全部 12 张样图均被接受

每一行都说明了为什么确认不是验证的重复。1.6 要求在 72 小时内重访,这是轨道和指向限值的属性,而 TC-13 Ground Track Repeat Analysis 已经表明重复周期为 3 天 0.4 小时。但农民需要的是每周两次可用的影像,而云在 1.6 中并未出现。只有带有云量统计的仿真 (VAL-02) 才能说明,按原文得到满足的需求是否能满足这项需要。如果不能,修正办法是新增或更改需求,而不是改进测试。

N1 的情况类似。6.2 和 6.5 为交付链给出了数值,而 6.5 的蒙特卡罗分析(参见蒙特卡罗指南)得出满足 100 分钟的概率约为 97.6%。农艺师是否真的能在卫星过境当天以可据以采取行动的形式了解作物胁迫,则是另一个问题,VAL-01 与真实用户一起回答这个问题。

VAL-03 最先进行,早于任何飞行硬件,因为它只需要样本影像和人员。这就是早期确认:它在相机设计冻结之前就确认了四个波段 4.5 m 的分辨率足以制作田块级地图。两位评审人员要求叠加田块边界,这可能是一项新的需要,已随结果一起记录。

模型验证与模型确认

在基于模型的系统工程中,模型本身就是一项工程产品,同样的两个问题也适用于它。国防和航空航天领域几十年来一直为模型和仿真定义这两个问题(关于验证、确认和认可的 DoD Instruction 5000.61;关于模型和仿真可信度的 NASA-STD-7009):

  • 模型验证:模型是否被正确地构建?其实现是否符合它自己的规格说明和建模规则:仿真流程中没有缺失的持续时间,没有无人执行的功能,没有缺少验证事件的需求,方程的量纲一致,代码计算的是作者想要计算的内容。
  • 模型确认:对于其用途来说,它是不是正确的模型?对于它所支持的决策而言,它是否足够贴近地表示了真实系统?这要通过将模型与现实进行比较来回答:测试数据、飞行数据、一个可信的更高保真度模型。
  • 在 DoD 的用法中,认可是根据模型的验证和确认证据,正式决定某个模型可用于特定用途。

EO-1 有一个清楚的案例。它的功率预算用方程 EQ-1.3 将实测的阵列峰值功率换算为轨道平均功率:轨道平均值 = 峰值 × 0.62(光照比例)× 0.6(电源路径效率)。验证该方程意味着检查算术、单位及其关联。确认该方程则意味着询问 0.62 和 0.6 是否与真实的轨道和真实的电源链相符,例如在平台星上通过模拟轨道测量轨道平均功率,并与预测值比较。下文对需求 3.1 的结论完全取决于这个方程,因此未经确认的 EQ-1.3 会使即使完美的测试也无法得出结论。

经验法则:当一项分析或仿真被用作验证证据时,它的模型需要有自己的确认证据,其程度与决策对它的依赖程度相称。

两者背后的可追溯性

验证和确认各自需要自己的关联链:

  • 需要 → 确认。每项利益相关者需要都关联到将表明它在预期用途中得到满足的确认活动,以及将其形式化的需求。
  • 需求 → 验证。每条需求都关联到验证它的测试、分析、检查或演示,并带有方法、层级和成功准则。需求验证矩阵就是这条链的报告。

两者共同回答评审委员会提出的两个覆盖问题:每条需求都已验证了吗?每项需要都已确认了吗?需要与需求之间的关联将两条链连接起来,因此一侧的缺口可以追溯到另一侧:如果某项需要的需求全部通过,但其确认失败,就说明存在缺失或错误的需求。

在矩阵中,两条链并排显示:需求由 TC 测试用例验证,需要由 VAL 事件确认。矩阵还显示了一个验证缺口:6.5 Planning Cycle Time 有方法(分析),但模型中尚无验证事件。蒙特卡罗指南执行了该分析;将其结果记录为测试用例即可关闭这一行。

实践中的验证证据:TC-06

EO-1 的 TC-06 Solar Array Power Test 展示了什么样的验证证据是好的,以及它如何失去效力。记录是完整的:M. Chen 在大面积太阳模拟器下、在 AM0 条件(1361 W/m²,均匀度 1.4%)下,对阵列鉴定面板 QM-1 和 QM-2(线束版本 C)执行了该测试,并附上了 I-V 曲线文件 tc06-array-iv-curve.csv。峰值功率为 75.1 W,预期结果为至少 72 W。通过。

随后,在初步设计评审之后,需求 3.1 Orbit Average Power 从 28 W 提高到 30 W。测试结果没有变,但它所证明的内容变了。按 EQ-1.3,75.1 W 峰值对应 27.9 W 轨道平均值 (75.1 × 0.62 × 0.6),低于 30 W;要表明 30 W 需要约 80.6 W 峰值。因此,从 3.1 到 TC-06 的关联被标记为可疑,并一直保持可疑,直到根据新需求重新推导 TC-06 的预期结果并重新运行测试,或者设计发生变化。RVTM 指南逐步介绍了这次评审,变更影响分析指南则在整个设计中跟踪了同一项变更。

由此得出关于验证证据的三点经验:

  1. 证据与某个配置和某个需求版本绑定。对照 28 W 记录的通过结果不能作为 30 W 的证据。
  2. 通过准则必须来自需求。TC-06 的 72 W 限值仅对应 26.8 W 的轨道平均值,因此它甚至没有表明旧的 28 W。一项测试可以通过它自己的准则,却仍然无法验证其需求。
  3. 回路中的分析需要确认。结论取决于 EQ-1.3 的两个系数,这就是上一节中的模型确认问题。

而这些都不是确认。即使得到一个干净的 30 W 结果,也只能表明阵列满足 3.1。30 W 的功率是否足以每天为农场客户拍摄 120 个场景,正是任务级确认事件所要回答的那类问题。

验证与确认的比较

验证确认
问题我们是否正确地构建了系统?我们是否构建了正确的系统?
对照对象需求和设计规格说明利益相关者需要、预期用途、效能度量
ISO/IEC/IEEE 15288验证过程 (6.4.9)确认过程 (6.4.11)
典型方法检查、分析、演示、测试运行场景、任务仿真、利益相关者评审、运行试用、现场数据
层级组件、子系统、系统主要是处于运行环境中的系统;早期确认针对概念和原型
环境受控的:实验室、试验台、模拟器代表真实使用情况,尽可能有真实用户参与
由谁判断工程团队对照书面准则判断;验收时由客户判断利益相关者和用户,通常还有独立的评估方
结果每条需求通过或不通过需要已满足、部分满足或未满足,常常伴随新的或变更的需要
可追溯性需求 → 验证事件需要 → 确认事件
常见记录需求验证矩阵、测试报告确认计划和报告、运行评估报告
失败意味着系统未满足某条需求:修正设计或制造需求没有反映出需要:先修正需求,再修正设计
EO-1 示例TC-07:电池 78.3 Wh,要求 77 WhVAL-03:农艺师接受 4.5 m 四波段地图

常见的混淆

  • “确认就是最后一次测试。”临近结束时的系统级测试通常仍然是验证。确认由其基准(需要和预期用途)定义,而不是由时间定义,而且它应当在结束之前很久就开始。
  • “所有需求都通过了,所以系统已经确认。”通过需求表明需求得到了满足。它并不能说明这些需求是否正确。EO-1 可以完全满足 1.6,却仍在真实云量下无法满足 N2。
  • 确认需求与验证系统。这些词也适用于需求本身。INCOSE《需要与需求指南》将需求验证(陈述是否格式良好:必要、无歧义、可验证?)和需求确认(它是否表达了其来源的需要?)与系统验证和系统确认区分开来。要说明您指的是哪一种。需求编写指南介绍了如何使陈述可验证。
  • “演示就是确认。”对需求的演示是验证。与用户一起对运行场景进行演示,并对照他们的需要进行判断,才是确认。决定性质的不是方法,而是基准。
  • “仿真就是确认。”仿真是一种技术。对照 100 分钟仿真 6.5 的规划周期,是在验证 6.5。对照“每周两次可用影像”仿真一个生长季,是在确认 N2。而仿真模型本身也需要自己的确认。
  • IV&V 意味着“更多的 V&V”。独立验证与确认是由在管理、预算和技术判断上都独立于开发方的组织执行的 V&V。它关乎由谁来做,而不是第三种活动。
  • 把关联当作结果来计数。关联到确认事件的需要是已计划确认,而不是已确认。覆盖计数告诉您计划了什么;只有结果才能告诉您表明了什么。

Holarch 如何记录两者

在 LML 项目中,验证和确认与需要和需求保存在同一个模型中,使用相同种类的条目和关联:

  • 需要是 Statement(不是 Requirement),用 traced to 关联到将其形式化的需求。
  • 验证规划位于每条 Requirement 上:Verification Method(Analysis、Demonstration、Inspection、Test,可任意组合)、层级和成功准则。
  • 验证事件是 Test Suite 中的 Test Case,用 verifies 关联到需求。分析、检查和演示也是测试用例。每次运行都会记录测试人员、配置、试验件和证据文件;未通过的测试会成为 Issue,测试周期会保存每次测试活动。
  • 确认事件同样可以是 Test Case,放在单独的套件中(例如上面的 TS-3),用 verifies 关联到需要。标准 LML 架构只允许 verifies 指向需求,因此 EO-1 模型的架构增加了一个目标:Test Case verifies Statement;在您自己的项目中,先在架构中添加它(打开 Test Case,+ 关系),然后再在可追溯性矩阵中建立关联。RVTM 和验证覆盖率只统计需求,因此确认事件不会改变“32 条需求中已验证 11 条”这一数字;矩阵会将它们显示在需求旁边。
  • 效能度量是标记为 MOE、带有阈值和目标值的 Measure。仿真器中的蒙特卡罗研究可以对照某条需求或某个 Measure 检查输出,并将结果记录为 Test Case,分析就是这样成为验证证据的。
  • 变更会将关联标记为可疑,包括到验证测试用例的关联,就像 TC-06 那样。
  • 模型验证就是验证 → 模型检查所做的事:针对整个模型的规则,例如没有验证测试用例的叶需求,以及没有 Issue 的未通过测试。Action 图在仿真运行之前有自己的检查。Holarch 没有单独的模型确认记录;应将与测试数据或飞行数据的比较作为依赖该模型的分析测试用例的证据保存。

SE 流程指南显示 V 模型的两侧。使用 Vee model 流程时,Verification links 卡片将右侧的每个阶段与其所检查的左侧阶段配对:系统确认对应运行概念(“needs validated”,需要已确认),系统验证对应系统需求(“requirements verified”,需求已验证),以及下面的子系统和单元层级。

本着上面那条混淆的精神,应将这张卡片理解为覆盖情况。一旦有测试用例用 verifies 关联到某项需要,或者从它追溯出的某条需求已通过,该需要就被计为已确认,因此尽管 VAL-01 和 VAL-02 尚未运行,N1 和 N2 仍被计入。这张卡片将每个被追溯的、不是需求的 Statement 都计为需要;在演示项目中,这会在 N1–N3 之外再加上一项假设 (1.1 Reference Orbit) 和三条运行规则(OR-1 到 OR-3),所以它显示为 7。确认结果本身在测试中心中。

文档可以承载这些计划:文档模板包括运行概念、验证与确认计划、测试计划、测试报告和 IV&V 计划,其中的实时 VCRM 和 RVTM 块会根据模型更新。

在 Holarch 中试用

  1. 创建 EO-1 项目:管理项目 → 项目文件 ▾ → 新建演示项目 → CubeSat(引导式系统工程),或导入 EO-1 参考模型。
  2. 按 ⌘K / Ctrl+K,输入 crop stress,然后打开 N1 Same-Day Crop Stress Alerts:它的关系显示它 traced to 的需求以及验证它的 VAL 事件。将您自己的一项需要添加为 Statement,例如在需求文档中使用添加条目 ▸。
  3. 在验证 → 测试中心中,打开 TS-3 Mission Validation。要建立您自己的套件,请点击+ 新建 ▾ → 测试套件…,然后为每个确认事件点击+ 测试用例,并以利益相关者的语言写明其准备条件和预期结果。
  4. 打开验证 → 可追溯性矩阵,以需要为行、以确认测试用例为列,并选择 verified by:每项需要都有其 VAL 事件。点击空单元格即可添加关联。
  5. 打开验证 → RVTM 查看需求验证情况,打开计划 → SE 流程并选择 Vee model 查看 V 模型的两侧。

完整参考见验证、可追溯性、SE 流程和模型检查。

常见问题

验证和确认哪个先进行?

正式的系统确认通常在系统验证之后进行,因为它需要一个按规格运行、处于预期环境中的系统。但确认活动开始得更早:对概念和需求的利益相关者评审,发生在任何验证成为可能之前。在开始时就规划两者。

一项活动能同时完成两者吗?

可以,前提是按这种方式规划,并对照两种基准进行判断。一次端到端的运行演练可以对照 48 小时准则验证 6.1 Contact Scheduling,并且在真实的操作人员和客户参与的情况下,为 N1 收集确认证据。应分别记录两个结论,因为它们可能不同。

由谁进行确认?

通常由开发方规划和支持,但判断权属于利益相关者:用户、操作人员、客户,有时还有独立的测试机构。没有利益相关者参与的确认,只是对他们需要的猜测。

验证通过但确认失败时会怎样?

需求没有反映出需要。将失败的需要追溯到其需求,找出缺失或错误的那一条,通过变更控制更改它,并沿着可疑关联进入设计和验证。这是系统工程中代价最高的失败,也正是早期确认值得投入的原因。

后续阅读