Holarch

指南 · 分析

系统工程中的蒙特卡洛仿真:从点估计到概率

收听本指南(英文音频) 19 分钟

系统工程中的蒙特卡洛仿真以结果的分布取代单一的最佳猜测。本指南介绍如何选择输入分布、运行足够的样本、解读百分位数和满足需求的概率、相关性以及常见错误,并以一颗小型对地观测卫星的成像过境为例。

本页内容
  1. 为什么点估计会误导人
  2. 将不确定的输入表示为分布
  3. 运行大量样本
  4. 解读结果
  5. 运行多少次才够
  6. 相关性及其影响
  7. 常见错误
  8. 实例:EO-1 成像过境
    1. 点估计
    2. 蒙特卡洛结果
    3. 加入相关性的同一示例
  9. 在 Holarch 中试用
  10. 后续阅读

为什么点估计会误导人

大多数工程估计都以单个数字给出:集成活动需要 14 周,有效载荷功耗 38 W,地面站处理一次过境需要 45 分钟。每个数字通常是最可能值,而把最可能值相加得到的总数,并不能说明它被超出的频率有多高,原因有二。

  • 偏斜的输入。实际任务的持续时间很少是对称的。一项最可能耗时 6 分钟的任务可以在 4 分钟内完成,但出问题时也可能需要 9 分钟。这类任务的平均值高于其最可能值,平均值之和也高于最可能值之和。
  • 汇合偏差。在并行路径汇合的地方,工作要等待最慢的那条路径。多条不确定路径的最大值的期望大于它们期望值的最大值,因为任何一条路径延迟都会拖延整体。

同样的道理也适用于预算。用标称值建立的质量或功率预算掩盖了多个条目同时偏高的可能性,用标称持续时间建立的时间线掩盖了关键路径拖长的可能性。单个数字无法说明它成立的可能性有多大。分布则可以。

蒙特卡洛仿真是得到这种分布的最简单方法:将每个不确定的输入描述为一个概率分布,为每个输入抽取一个值,计算结果,并重复多次。结果的集合近似于输出的分布,从中可以读出平均值、百分位数和满足需求的概率。按 ISO/IEC/IEEE 15288 的术语,它是系统分析过程的一种工具,其结果常常作为通过分析进行验证的证据,而分析验证是需求验证矩阵中的四种方法之一。

将不确定的输入表示为分布

分布表达了您对某个输入所了解的情况。选择与您掌握的信息相符的最简单分布;三种形状就能覆盖大多数系统工程工作。示例来自下文实例中的卫星成像过境。

分布参数适用情况示例
均匀分布最小值和最大值知道边界,且没有任何值比其他值更可能根据场景内容,编码并存储一个图像条带需要 20 到 40 秒
三角分布最小值、最可能值、最大值专家能给出范围和最可能值,通常偏向较长的一侧发送成像计划需要 4 到 9 分钟,最可能为 6 分钟
正态分布平均值和标准差许多微小的独立效应相加,或实测数据呈对称分布处理图像产品需要 45 分钟,标准差为 10
  • 当您只知道边界时,均匀分布是诚实的,但它赋予极端值与中间值同样的权重。
  • 三角分布是工程师三点估计的常用选择。其平均值为(最小值 + 最可能值 + 最大值)/ 3,因此较长的上尾会使平均值高于最可能值:4、6 和 9 分钟得出的平均值为 6.33。
  • 正态分布的尾部没有边界。对于持续时间、质量以及其他不能为负的量,应使标准差相对于平均值保持较小,或者使用有下界的分布。
  • 其他形状有其特定用途:对数正态分布用于由多个因子相乘得到的量,指数分布用于随机事件之间的时间,威布尔分布用于失效时间,贝塔分布用于 0 到 1 之间的比例。

不确定的才让它变化,其余保持固定。每个输入都在变化的模型更难评审,还会掩盖真正驱动结果的少数几个输入。

运行大量样本

一次蒙特卡洛运行就是一种可能的结果:每个不确定的输入从其分布中获得一个随机值,每个决策按其概率抽取,模型像对待真实情况一样计算结果。一项研究以独立抽样重复这一过程数百或数千次。两条实用规则:

  • 当结果要作为证据时,固定随机种子。相同的种子会重现相同的运行,因此评审者可以重复该研究,任何单次运行都可以重放,以查看其中发生了什么。
  • 将模型逻辑保留在模型中。带概率的分支、带次数的循环和资源限制都应放在仿真所运行的同一个流程中,而不是放在一个与设计逐渐脱节的单独电子表格中。该流程通常是功能分析中的运行场景,再加上持续时间。

解读结果

一项研究会产生一份结果列表,每次运行一个结果。可以从四个方面解读它。

  • 直方图。结果的形状:大多数运行落在哪里,分布是否偏斜,尾部有多长。
  • 平均值和标准差。有用的摘要,平均值的置信区间会随着运行次数增加而缩小。仅凭平均值无法说明风险。
  • 百分位数。P50 是中位数:一半的运行在其以下完成。P90 或 P95 是承诺值:在 90% 或 95% 的情况下能达到的结果。进度和预算常常以 P80 或 P90 而不是平均值作出承诺。
  • 满足需求的概率。满足某个阈值的运行所占的比例,例如“总时间不超过 100 分钟”。从累积概率曲线(S 曲线)上读取,该曲线对每个值 x 绘出结果不超过 x 的运行所占的比例。附带概率表述的需求(“在至少 90% 的情况下”)可以直接对照这个数字进行检查。

裕度也可以用同样的方式解读:阈值与平均值之差是平均意义上的裕度;阈值与 P90 或 P95 值之差是在您承诺的置信度下所拥有的裕度。

运行多少次才够

蒙特卡洛结果本身也是一个估计,其精度随运行次数的平方根增长。对于由 N 次运行估计出的概率 p,标准误差约为 √(p(1 − p) / N)。在接近 0% 或 100% 时,简单的 ±2 倍标准误差区间效果不佳,因此表中使用 Wilson 区间,它始终保持在 0 到 100% 之内。

运行次数 (N)满足阈值的运行 (p ≈ 97.6%)标准误差95% 区间
100981.5 个百分点93.0% 到 99.4%
2001951.1 个百分点94.3% 到 98.9%
1,0009760.5 个百分点96.5% 到 98.4%
2,0001,9510.3 个百分点96.8% 到 98.1%
10,0009,7560.15 个百分点97.2% 到 97.8%

实用的检验标准是:当您据以做决定的那个数字的置信区间不再跨越决策线时,研究的运行次数就足够了。在下面的示例中,需求要求 90%;即使只运行 100 次,区间也保持在 90% 以上,因此结论很早就能确定。如果估计值是 91%,区间为 88% 到 94%,就需要更多次运行。平均值很快就会稳定;尾部的百分位数(P95、P99)和较小的失效概率则需要多得多的运行次数,因为只有少数运行会落在那里。

相关性及其影响

独立抽取每个输入,就等于假定较长的下行传输对之后的处理毫无影响。这常常是错误的:较大的数据量会让两者都变慢,航天器温度较低会拖慢多个预热步骤,较重的结构需要较重的机构。具有共同原因的输入是相关的。

正相关不会改变总和的平均值,但会扩大离散程度:高值同时出现,低值也同时出现,而不是相互抵消。尾部向外移动,承诺所依据的 P90 或 P95 值也随之移动。因此,忽略真实存在的正相关会低估风险。

处理方法:

  • 明确地对共同原因建模:每次运行抽取一次数据量,并由它推导出两个持续时间。
  • 从一个共享的随机数中抽取相关的输入,使它们在每次运行中同步变化。
  • 至少分别进行一次独立研究和一次完全相关研究,并报告两者:真实情况介于两者之间。

常见错误

错误为何会误导替代做法
虚假的精度根据猜测的输入范围报告“P(满足) = 97.56%”,暗示了输入并不具备的确定性按输入能支撑的精度取整,给出置信区间,并说明范围的来源
实际上并不独立的“独立”输入忽略了共同原因,离散程度过窄,尾部过短对共同原因建模,或用一次独立研究和一次相关研究框定结果
忽略尾部只报告平均值,掩盖了需求未能满足的频率报告 P50 和 P90 或 P95,以及满足每个阈值的概率
对偏斜的量使用对称范围围绕最可能值的正态分布去掉了较长的上尾当超支大于节余时,使用三角分布或对数正态分布
运行次数太少用另一个种子重复研究时,结论就会改变增加运行次数,直到区间不再跨越决策线
模型与设计不一致流程的电子表格副本与真实的顺序、并行路径和决策逐渐脱节对保存在模型中的流程进行仿真,使设计变更能传递到分析中

实例:EO-1 成像过境

EO-1 是一颗为农田成像的 6U CubeSat,是 MBSE 示例项目中的虚构任务。其系统需求规格说明包含一条通过分析验证的时间需求:

6.5 Planning Cycle Time。任务应在 100 分钟内完成每个规划周期,从目标列表上行到产品交付。

6.5 的验证计划写道:对成像过境进行蒙特卡洛仿真,以至少 90% 的概率满足 100 分钟。度量 MOE-7 Planning Cycle Time specifies 该需求,阈值为 100 分钟,目标值为 80 分钟。

运行时间线是动作 OPS Run Nominal Imaging Pass。地面站发送成像计划,航天器解码并加载,然后在相机预热的同时转向第一个目标。它对四个目标成像,每个目标是一个先拍摄再编码的条带。如果有地面联络在视野内(75% 的过境),就传输数据;否则将数据保留到下一次过境。最后,电池在光照下充电,同时地面接收下行数据并处理图像产品。

Action在流程中的位置持续时间最可能值(分钟)平均值(分钟)
OPS.1 Transmit Imaging Plan开始三角分布,4 到 9 分钟,峰值 666.33
OPS.2 Receive Imaging Plan然后固定,1 分钟11
OPS.3 Load Command Schedule然后固定,2 分钟22
OPS.4 Rotate to Target与 OPS.5 并行正态分布,平均值 3,标准差 0.5 分钟33
OPS.5 Prepare Camera与 OPS.4 并行固定,5 分钟55
OPS.6 Capture Image Strip循环,4 个目标正态分布,平均值 40,标准差 6 秒每个目标 0.67每个目标 0.67
OPS.7 Encode and Store Image循环,4 个目标均匀分布,20 到 40 秒每个目标 0.50每个目标 0.50
OPS.8 Transmit Image Data联络在视野内 (75%)正态分布,平均值 8,标准差 1.5 分钟88
OPS.9 Hold Data Onboard无联络 (25%)固定,1 分钟11
OPS.10 Recharge Battery in Sunlight与 OPS.11 和 OPS.12 并行固定,35 分钟3535
OPS.11 Receive Downlink然后执行 OPS.12固定,9 分钟99
OPS.12 Process Image Products在 OPS.11 之后正态分布,平均值 45,标准差 10 分钟4545

点估计

  • 最可能值,取可能性更大的联络分支:6 + 1 + 2 + max(3, 5) + 4 × (0.67 + 0.50) + 8 + max(35, 9 + 45) = 80.7 分钟。对照 100 分钟的阈值,这看起来有将近 20 分钟的裕度。
  • 平均值,按概率对两个分支加权 (0.75 × 8 + 0.25 × 1 = 6.25):6.33 + 1 + 2 + 5 + 4.67 + 6.25 + max(35, 54) = 79.25 分钟。

两个数字都表明过境可以从容完成。但两者都没有说明完不成的频率,而需求问的恰恰是这一点。

蒙特卡洛结果

对同一流程的研究在每次运行中抽取每个持续时间和联络决策,并让并行路径相互竞争。表中给出了在 Python 中单独计算的一百万次运行的核对结果,以及下方屏幕截图所示的 2,000 次运行的 Holarch 研究。两者使用不同的随机数生成器,因此存在抽样误差的差异(对于 2,000 次运行,平均值约 0.25 分钟,P95 约 0.5 分钟,概率约 0.35 个百分点)。

输出Python,1,000,000 次运行Holarch,2,000 次运行,种子 2026
平均总时间79.35 分钟79.35 分钟
标准差10.35 分钟10.16 分钟
P5 / P50 / P9562.4 / 79.3 / 96.6 分钟62.4 / 79.4 / 96.0 分钟
P9092.8 分钟92.4 分钟
P(总时间 ≤ 80 分钟),MOE-7 目标值52.7%52.4%
P(总时间 ≤ 100 分钟),需求 6.597.6%97.8%(2,000 次中 1,955 次;95% 区间为 97.0% 到 98.3%)

这些数字说明:

  • 需求通过。约 97.6% 的过境在 100 分钟内完成,远高于要求的 90%,2,000 次运行得出的区间也大幅高于 90%。
  • 裕度比看起来小。平均值上的裕度约为 20.6 分钟,但 P95 值约为 96.6 分钟,因此在 95% 置信度下只剩约 3.4 分钟。大约每四十次过境中就有一次超出阈值。在几乎所有这些运行中,OPS.12 Process Image Products 都用了一个多小时(平均 67 分钟,而其平均值为 45 分钟),其中 95% 的运行还经过了联络分支,增加了 8 分钟的下行传输。
  • 目标值能否达到全凭运气。MOE-7 的 80 分钟目标值几乎正好位于中位数:只有大约一半的过境能够达到。80.7 分钟的最可能估计完全掩盖了这一点。
  • 这里的汇合偏差很小。79.35 分钟的平均值只比平均值估计高 0.1 分钟,因为地面链路(OPS.11 和 OPS.12,平均 54 分钟)只在约 3% 的运行中短于 35 分钟的充电时间。在并行路径长度更接近的流程中,这一差距会扩大。

这项研究还指出了着力点。OPS.12 Process Image Products 承担了大部分离散(标准差 10 分钟,而联络决策约贡献 3 分钟,其余所有步骤贡献 1 分钟),因此缩短处理时间会使尾部移动;加快航天器步骤的作用不大。

加入相关性的同一示例

下行传输和处理都取决于过境产生了多少图像数据:数据越多,传输和处理都越长。每次运行从一个共享的随机数中抽取 OPS.8 和 OPS.12(对同一个标准正态 z,分别为 8 + 1.5z 和 45 + 10z 分钟),使较长的下行传输伴随较长的处理,这样两个分布都保持不变,结果如下:

输出独立 (Python / Holarch)OPS.8 和 OPS.12 相关 (Python / Holarch)
平均值79.35 / 79.35 分钟79.35 / 79.04 分钟
标准差10.35 / 10.16 分钟11.35 / 11.44 分钟
P9596.6 / 96.0 分钟98.5 / 99.0 分钟
P(总时间 ≤ 100 分钟)97.6% / 97.8%96.1% / 96.2%

平均值不变,离散程度增加约十分之一。P95 值向外移动约两分钟,使 95% 置信度下的裕度从约 3.4 分钟降至约 1.5 分钟。需求在 90% 下仍然通过,但更严格的承诺,例如在 95% 的过境中不超过 100 分钟,现在就处于临界状态。对于按 P95 作出的承诺,以相关情形作为规划依据更为稳妥。

下载示例:Excel 工作簿格式的 EO-1 成像过境不确定性研究(输入及其分布、带百分位数和 P(满足) 的独立结果和相关结果,以及运行次数表),或 CSV 格式的同一数据:成像过境输入和分布以及蒙特卡洛结果、百分位数和 P(满足)。可将其用作报告您自己研究的模板。

在 Holarch 中试用

在 Holarch 中,蒙特卡洛在模型的动作流程上运行:描述该运行过程的同一张 Action 图就是被仿真的模型。每个 Action 的 Duration(持续时间)可以是一个固定数字,也可以是带单位的分布,例如 =triang.dist(4, 9, 6) 分钟(最小值、最大值、峰值)、=norm.dist(40, 6) 秒或 =uniform.dist(20, 40) 秒。共有十种分布可用,其中包括贝塔分布、对数正态分布、指数分布和威布尔分布。详细信息参见仿真。

以 Action 图表示的成像过境,隐藏了 I/O 和资源:循环运行四次,OR 决定是否联络,最后的并行等待充电和地面处理中较慢的那一个。
  1. 通过管理项目 → 项目文件 ▾ → 新建演示项目 → CubeSat(引导式系统工程)创建 CubeSat 项目。其中已包含带有表中持续时间的 OPS Run Nominal Imaging Pass、需求 6.5 和度量 MOE-7。
  2. 打开该动作的 Action 图,选择▶ 仿真 ▾ → 蒙特卡洛。将运行设为 2000,随机种子设为 2026,改变固定持续时间设为无(演示项目默认对固定持续时间增加 ±10%;这里的研究保持它们固定),然后按▶ 运行蒙特卡洛。
  3. 在分布标签页上阅读统计、持续时间分布和累积概率(S 曲线)。在 S 曲线的 x 字段中输入 100,即可读取 P(X ≤ 100 min)。
种子为 2026 的 2,000 次运行的持续时间分布和 S 曲线。读数给出在 100 分钟内完成的概率。
  1. 打开驱动因素标签页,查看在所有运行中哪些动作占用了时间,以及出现了哪些分支组合。
  2. 点击对照需求检查…并选择度量 MOE-7 Planning Cycle Time。它会填入准则(≤ 100 分钟,来自其阈值和改进方向)和需求 6.5;保留 90% 的所需概率。表格给出 P(满足) 及其置信区间、裕度和结论。将使用切换为目标值,可检查 80 分钟的目标值,其结果约为 52%,未通过。
需求检查:P(满足) 远高于所需的 90%,因此结果为 Pass。
  1. 记录结果…会预览更改:MOE-7 的 Projected Value 变为平均值,验证 6.5 的 Test Case 获得状态 Passed 和结果文本。将它们作为一个撤销步骤应用。

Holarch 的持续时间编辑器独立抽取每个分布。上文的相关性比较使用了由脚本钩子驱动的持续时间,这些钩子每次运行读取一个共享值,而持续时间编辑器尚不提供这一功能。要在您自己的模型中框定相关性的影响,可将独立研究与在工具之外完成的完全相关计算进行比较。过境期间的电池能量也会被仿真:Battery Charge 资源的最小值和最终值是需求检查接受的蒙特卡洛输出。带应急余量和裕度的质量与功率预算保存在预算和 TPM 中,同样的思路也适用于权衡研究中的不确定值:在输入范围内就会翻转的排名还不能算作决定。

后续阅读

  • 仿真:离散事件和蒙特卡洛运行、各个面板以及需求检查。
  • 预算和 TPM:带应急余量的汇总、分配、裕度和性能度量。
  • Action 图:仿真所读取的流程、构造、资源和脚本。