指南 · 分析
系统工程中的蒙特卡洛仿真:从点估计到概率
收听本指南(英文音频) 19 分钟
系统工程中的蒙特卡洛仿真以结果的分布取代单一的最佳猜测。本指南介绍如何选择输入分布、运行足够的样本、解读百分位数和满足需求的概率、相关性以及常见错误,并以一颗小型对地观测卫星的成像过境为例。
本页内容
为什么点估计会误导人
大多数工程估计都以单个数字给出:集成活动需要 14 周,有效载荷功耗 38 W,地面站处理一次过境需要 45 分钟。每个数字通常是最可能值,而把最可能值相加得到的总数,并不能说明它被超出的频率有多高,原因有二。
- 偏斜的输入。实际任务的持续时间很少是对称的。一项最可能耗时 6 分钟的任务可以在 4 分钟内完成,但出问题时也可能需要 9 分钟。这类任务的平均值高于其最可能值,平均值之和也高于最可能值之和。
- 汇合偏差。在并行路径汇合的地方,工作要等待最慢的那条路径。多条不确定路径的最大值的期望大于它们期望值的最大值,因为任何一条路径延迟都会拖延整体。
同样的道理也适用于预算。用标称值建立的质量或功率预算掩盖了多个条目同时偏高的可能性,用标称持续时间建立的时间线掩盖了关键路径拖长的可能性。单个数字无法说明它成立的可能性有多大。分布则可以。
蒙特卡洛仿真是得到这种分布的最简单方法:将每个不确定的输入描述为一个概率分布,为每个输入抽取一个值,计算结果,并重复多次。结果的集合近似于输出的分布,从中可以读出平均值、百分位数和满足需求的概率。按 ISO/IEC/IEEE 15288 的术语,它是系统分析过程的一种工具,其结果常常作为通过分析进行验证的证据,而分析验证是需求验证矩阵中的四种方法之一。
将不确定的输入表示为分布
分布表达了您对某个输入所了解的情况。选择与您掌握的信息相符的最简单分布;三种形状就能覆盖大多数系统工程工作。示例来自下文实例中的卫星成像过境。
| 分布 | 参数 | 适用情况 | 示例 |
|---|---|---|---|
| 均匀分布 | 最小值和最大值 | 知道边界,且没有任何值比其他值更可能 | 根据场景内容,编码并存储一个图像条带需要 20 到 40 秒 |
| 三角分布 | 最小值、最可能值、最大值 | 专家能给出范围和最可能值,通常偏向较长的一侧 | 发送成像计划需要 4 到 9 分钟,最可能为 6 分钟 |
| 正态分布 | 平均值和标准差 | 许多微小的独立效应相加,或实测数据呈对称分布 | 处理图像产品需要 45 分钟,标准差为 10 |
- 当您只知道边界时,均匀分布是诚实的,但它赋予极端值与中间值同样的权重。
- 三角分布是工程师三点估计的常用选择。其平均值为(最小值 + 最可能值 + 最大值)/ 3,因此较长的上尾会使平均值高于最可能值:4、6 和 9 分钟得出的平均值为 6.33。
- 正态分布的尾部没有边界。对于持续时间、质量以及其他不能为负的量,应使标准差相对于平均值保持较小,或者使用有下界的分布。
- 其他形状有其特定用途:对数正态分布用于由多个因子相乘得到的量,指数分布用于随机事件之间的时间,威布尔分布用于失效时间,贝塔分布用于 0 到 1 之间的比例。
不确定的才让它变化,其余保持固定。每个输入都在变化的模型更难评审,还会掩盖真正驱动结果的少数几个输入。
运行大量样本
一次蒙特卡洛运行就是一种可能的结果:每个不确定的输入从其分布中获得一个随机值,每个决策按其概率抽取,模型像对待真实情况一样计算结果。一项研究以独立抽样重复这一过程数百或数千次。两条实用规则:
- 当结果要作为证据时,固定随机种子。相同的种子会重现相同的运行,因此评审者可以重复该研究,任何单次运行都可以重放,以查看其中发生了什么。
- 将模型逻辑保留在模型中。带概率的分支、带次数的循环和资源限制都应放在仿真所运行的同一个流程中,而不是放在一个与设计逐渐脱节的单独电子表格中。该流程通常是功能分析中的运行场景,再加上持续时间。
解读结果
一项研究会产生一份结果列表,每次运行一个结果。可以从四个方面解读它。
- 直方图。结果的形状:大多数运行落在哪里,分布是否偏斜,尾部有多长。
- 平均值和标准差。有用的摘要,平均值的置信区间会随着运行次数增加而缩小。仅凭平均值无法说明风险。
- 百分位数。P50 是中位数:一半的运行在其以下完成。P90 或 P95 是承诺值:在 90% 或 95% 的情况下能达到的结果。进度和预算常常以 P80 或 P90 而不是平均值作出承诺。
- 满足需求的概率。满足某个阈值的运行所占的比例,例如“总时间不超过 100 分钟”。从累积概率曲线(S 曲线)上读取,该曲线对每个值 x 绘出结果不超过 x 的运行所占的比例。附带概率表述的需求(“在至少 90% 的情况下”)可以直接对照这个数字进行检查。
裕度也可以用同样的方式解读:阈值与平均值之差是平均意义上的裕度;阈值与 P90 或 P95 值之差是在您承诺的置信度下所拥有的裕度。
运行多少次才够
蒙特卡洛结果本身也是一个估计,其精度随运行次数的平方根增长。对于由 N 次运行估计出的概率 p,标准误差约为 √(p(1 − p) / N)。在接近 0% 或 100% 时,简单的 ±2 倍标准误差区间效果不佳,因此表中使用 Wilson 区间,它始终保持在 0 到 100% 之内。
| 运行次数 (N) | 满足阈值的运行 (p ≈ 97.6%) | 标准误差 | 95% 区间 |
|---|---|---|---|
| 100 | 98 | 1.5 个百分点 | 93.0% 到 99.4% |
| 200 | 195 | 1.1 个百分点 | 94.3% 到 98.9% |
| 1,000 | 976 | 0.5 个百分点 | 96.5% 到 98.4% |
| 2,000 | 1,951 | 0.3 个百分点 | 96.8% 到 98.1% |
| 10,000 | 9,756 | 0.15 个百分点 | 97.2% 到 97.8% |
实用的检验标准是:当您据以做决定的那个数字的置信区间不再跨越决策线时,研究的运行次数就足够了。在下面的示例中,需求要求 90%;即使只运行 100 次,区间也保持在 90% 以上,因此结论很早就能确定。如果估计值是 91%,区间为 88% 到 94%,就需要更多次运行。平均值很快就会稳定;尾部的百分位数(P95、P99)和较小的失效概率则需要多得多的运行次数,因为只有少数运行会落在那里。
相关性及其影响
独立抽取每个输入,就等于假定较长的下行传输对之后的处理毫无影响。这常常是错误的:较大的数据量会让两者都变慢,航天器温度较低会拖慢多个预热步骤,较重的结构需要较重的机构。具有共同原因的输入是相关的。
正相关不会改变总和的平均值,但会扩大离散程度:高值同时出现,低值也同时出现,而不是相互抵消。尾部向外移动,承诺所依据的 P90 或 P95 值也随之移动。因此,忽略真实存在的正相关会低估风险。
处理方法:
- 明确地对共同原因建模:每次运行抽取一次数据量,并由它推导出两个持续时间。
- 从一个共享的随机数中抽取相关的输入,使它们在每次运行中同步变化。
- 至少分别进行一次独立研究和一次完全相关研究,并报告两者:真实情况介于两者之间。
常见错误
| 错误 | 为何会误导 | 替代做法 |
|---|---|---|
| 虚假的精度 | 根据猜测的输入范围报告“P(满足) = 97.56%”,暗示了输入并不具备的确定性 | 按输入能支撑的精度取整,给出置信区间,并说明范围的来源 |
| 实际上并不独立的“独立”输入 | 忽略了共同原因,离散程度过窄,尾部过短 | 对共同原因建模,或用一次独立研究和一次相关研究框定结果 |
| 忽略尾部 | 只报告平均值,掩盖了需求未能满足的频率 | 报告 P50 和 P90 或 P95,以及满足每个阈值的概率 |
| 对偏斜的量使用对称范围 | 围绕最可能值的正态分布去掉了较长的上尾 | 当超支大于节余时,使用三角分布或对数正态分布 |
| 运行次数太少 | 用另一个种子重复研究时,结论就会改变 | 增加运行次数,直到区间不再跨越决策线 |
| 模型与设计不一致 | 流程的电子表格副本与真实的顺序、并行路径和决策逐渐脱节 | 对保存在模型中的流程进行仿真,使设计变更能传递到分析中 |
实例:EO-1 成像过境
EO-1 是一颗为农田成像的 6U CubeSat,是 MBSE 示例项目中的虚构任务。其系统需求规格说明包含一条通过分析验证的时间需求:
6.5 Planning Cycle Time。任务应在 100 分钟内完成每个规划周期,从目标列表上行到产品交付。
6.5 的验证计划写道:对成像过境进行蒙特卡洛仿真,以至少 90% 的概率满足 100 分钟。度量 MOE-7 Planning Cycle Time specifies 该需求,阈值为 100 分钟,目标值为 80 分钟。
运行时间线是动作 OPS Run Nominal Imaging Pass。地面站发送成像计划,航天器解码并加载,然后在相机预热的同时转向第一个目标。它对四个目标成像,每个目标是一个先拍摄再编码的条带。如果有地面联络在视野内(75% 的过境),就传输数据;否则将数据保留到下一次过境。最后,电池在光照下充电,同时地面接收下行数据并处理图像产品。
| Action | 在流程中的位置 | 持续时间 | 最可能值(分钟) | 平均值(分钟) |
|---|---|---|---|---|
| OPS.1 Transmit Imaging Plan | 开始 | 三角分布,4 到 9 分钟,峰值 6 | 6 | 6.33 |
| OPS.2 Receive Imaging Plan | 然后 | 固定,1 分钟 | 1 | 1 |
| OPS.3 Load Command Schedule | 然后 | 固定,2 分钟 | 2 | 2 |
| OPS.4 Rotate to Target | 与 OPS.5 并行 | 正态分布,平均值 3,标准差 0.5 分钟 | 3 | 3 |
| OPS.5 Prepare Camera | 与 OPS.4 并行 | 固定,5 分钟 | 5 | 5 |
| OPS.6 Capture Image Strip | 循环,4 个目标 | 正态分布,平均值 40,标准差 6 秒 | 每个目标 0.67 | 每个目标 0.67 |
| OPS.7 Encode and Store Image | 循环,4 个目标 | 均匀分布,20 到 40 秒 | 每个目标 0.50 | 每个目标 0.50 |
| OPS.8 Transmit Image Data | 联络在视野内 (75%) | 正态分布,平均值 8,标准差 1.5 分钟 | 8 | 8 |
| OPS.9 Hold Data Onboard | 无联络 (25%) | 固定,1 分钟 | 1 | 1 |
| OPS.10 Recharge Battery in Sunlight | 与 OPS.11 和 OPS.12 并行 | 固定,35 分钟 | 35 | 35 |
| OPS.11 Receive Downlink | 然后执行 OPS.12 | 固定,9 分钟 | 9 | 9 |
| OPS.12 Process Image Products | 在 OPS.11 之后 | 正态分布,平均值 45,标准差 10 分钟 | 45 | 45 |
点估计
- 最可能值,取可能性更大的联络分支:6 + 1 + 2 + max(3, 5) + 4 × (0.67 + 0.50) + 8 + max(35, 9 + 45) = 80.7 分钟。对照 100 分钟的阈值,这看起来有将近 20 分钟的裕度。
- 平均值,按概率对两个分支加权 (0.75 × 8 + 0.25 × 1 = 6.25):6.33 + 1 + 2 + 5 + 4.67 + 6.25 + max(35, 54) = 79.25 分钟。
两个数字都表明过境可以从容完成。但两者都没有说明完不成的频率,而需求问的恰恰是这一点。
蒙特卡洛结果
对同一流程的研究在每次运行中抽取每个持续时间和联络决策,并让并行路径相互竞争。表中给出了在 Python 中单独计算的一百万次运行的核对结果,以及下方屏幕截图所示的 2,000 次运行的 Holarch 研究。两者使用不同的随机数生成器,因此存在抽样误差的差异(对于 2,000 次运行,平均值约 0.25 分钟,P95 约 0.5 分钟,概率约 0.35 个百分点)。
| 输出 | Python,1,000,000 次运行 | Holarch,2,000 次运行,种子 2026 |
|---|---|---|
| 平均总时间 | 79.35 分钟 | 79.35 分钟 |
| 标准差 | 10.35 分钟 | 10.16 分钟 |
| P5 / P50 / P95 | 62.4 / 79.3 / 96.6 分钟 | 62.4 / 79.4 / 96.0 分钟 |
| P90 | 92.8 分钟 | 92.4 分钟 |
| P(总时间 ≤ 80 分钟),MOE-7 目标值 | 52.7% | 52.4% |
| P(总时间 ≤ 100 分钟),需求 6.5 | 97.6% | 97.8%(2,000 次中 1,955 次;95% 区间为 97.0% 到 98.3%) |
这些数字说明:
- 需求通过。约 97.6% 的过境在 100 分钟内完成,远高于要求的 90%,2,000 次运行得出的区间也大幅高于 90%。
- 裕度比看起来小。平均值上的裕度约为 20.6 分钟,但 P95 值约为 96.6 分钟,因此在 95% 置信度下只剩约 3.4 分钟。大约每四十次过境中就有一次超出阈值。在几乎所有这些运行中,OPS.12 Process Image Products 都用了一个多小时(平均 67 分钟,而其平均值为 45 分钟),其中 95% 的运行还经过了联络分支,增加了 8 分钟的下行传输。
- 目标值能否达到全凭运气。MOE-7 的 80 分钟目标值几乎正好位于中位数:只有大约一半的过境能够达到。80.7 分钟的最可能估计完全掩盖了这一点。
- 这里的汇合偏差很小。79.35 分钟的平均值只比平均值估计高 0.1 分钟,因为地面链路(OPS.11 和 OPS.12,平均 54 分钟)只在约 3% 的运行中短于 35 分钟的充电时间。在并行路径长度更接近的流程中,这一差距会扩大。
这项研究还指出了着力点。OPS.12 Process Image Products 承担了大部分离散(标准差 10 分钟,而联络决策约贡献 3 分钟,其余所有步骤贡献 1 分钟),因此缩短处理时间会使尾部移动;加快航天器步骤的作用不大。
加入相关性的同一示例
下行传输和处理都取决于过境产生了多少图像数据:数据越多,传输和处理都越长。每次运行从一个共享的随机数中抽取 OPS.8 和 OPS.12(对同一个标准正态 z,分别为 8 + 1.5z 和 45 + 10z 分钟),使较长的下行传输伴随较长的处理,这样两个分布都保持不变,结果如下:
| 输出 | 独立 (Python / Holarch) | OPS.8 和 OPS.12 相关 (Python / Holarch) |
|---|---|---|
| 平均值 | 79.35 / 79.35 分钟 | 79.35 / 79.04 分钟 |
| 标准差 | 10.35 / 10.16 分钟 | 11.35 / 11.44 分钟 |
| P95 | 96.6 / 96.0 分钟 | 98.5 / 99.0 分钟 |
| P(总时间 ≤ 100 分钟) | 97.6% / 97.8% | 96.1% / 96.2% |
平均值不变,离散程度增加约十分之一。P95 值向外移动约两分钟,使 95% 置信度下的裕度从约 3.4 分钟降至约 1.5 分钟。需求在 90% 下仍然通过,但更严格的承诺,例如在 95% 的过境中不超过 100 分钟,现在就处于临界状态。对于按 P95 作出的承诺,以相关情形作为规划依据更为稳妥。
下载示例:Excel 工作簿格式的 EO-1 成像过境不确定性研究(输入及其分布、带百分位数和 P(满足) 的独立结果和相关结果,以及运行次数表),或 CSV 格式的同一数据:成像过境输入和分布以及蒙特卡洛结果、百分位数和 P(满足)。可将其用作报告您自己研究的模板。
在 Holarch 中试用
在 Holarch 中,蒙特卡洛在模型的动作流程上运行:描述该运行过程的同一张 Action 图就是被仿真的模型。每个 Action 的 Duration(持续时间)可以是一个固定数字,也可以是带单位的分布,例如 =triang.dist(4, 9, 6) 分钟(最小值、最大值、峰值)、=norm.dist(40, 6) 秒或 =uniform.dist(20, 40) 秒。共有十种分布可用,其中包括贝塔分布、对数正态分布、指数分布和威布尔分布。详细信息参见仿真。
- 通过管理项目 → 项目文件 ▾ → 新建演示项目 → CubeSat(引导式系统工程)创建 CubeSat 项目。其中已包含带有表中持续时间的 OPS Run Nominal Imaging Pass、需求 6.5 和度量 MOE-7。
- 打开该动作的 Action 图,选择▶ 仿真 ▾ → 蒙特卡洛。将运行设为 2000,随机种子设为 2026,改变固定持续时间设为无(演示项目默认对固定持续时间增加 ±10%;这里的研究保持它们固定),然后按▶ 运行蒙特卡洛。
- 在分布标签页上阅读统计、持续时间分布和累积概率(S 曲线)。在 S 曲线的 x 字段中输入 100,即可读取 P(X ≤ 100 min)。
- 打开驱动因素标签页,查看在所有运行中哪些动作占用了时间,以及出现了哪些分支组合。
- 点击对照需求检查…并选择度量 MOE-7 Planning Cycle Time。它会填入准则(≤ 100 分钟,来自其阈值和改进方向)和需求 6.5;保留 90% 的所需概率。表格给出 P(满足) 及其置信区间、裕度和结论。将使用切换为目标值,可检查 80 分钟的目标值,其结果约为 52%,未通过。
- 记录结果…会预览更改:MOE-7 的 Projected Value 变为平均值,验证 6.5 的 Test Case 获得状态 Passed 和结果文本。将它们作为一个撤销步骤应用。
Holarch 的持续时间编辑器独立抽取每个分布。上文的相关性比较使用了由脚本钩子驱动的持续时间,这些钩子每次运行读取一个共享值,而持续时间编辑器尚不提供这一功能。要在您自己的模型中框定相关性的影响,可将独立研究与在工具之外完成的完全相关计算进行比较。过境期间的电池能量也会被仿真:Battery Charge 资源的最小值和最终值是需求检查接受的蒙特卡洛输出。带应急余量和裕度的质量与功率预算保存在预算和 TPM 中,同样的思路也适用于权衡研究中的不确定值:在输入范围内就会翻转的排名还不能算作决定。