Holarch

Посібник · Аналіз

Симуляція Monte Carlo в системній інженерії: від точкових оцінок до ймовірностей

Прослухати цей посібник 19 хв

Симуляція Monte Carlo в системній інженерії замінює одне найкраще припущення розподілом результатів. Цей посібник охоплює вибір вхідних розподілів, виконання достатньої кількості вибірок, читання процентилів і ймовірності виконання вимоги, кореляцію та типові помилки — на прикладі прольоту знімання малого супутника спостереження Землі.

На цій сторінці
  1. Чому точкові оцінки вводять в оману
  2. Невизначені вхідні дані як розподіли
  3. Виконання багатьох вибірок
  4. Читання результатів
  5. Скільки прогонів достатньо
  6. Кореляція та її вплив
  7. Типові помилки
  8. Практичний приклад: проліт знімання EO-1
    1. Точкові оцінки
    2. Результат Monte Carlo
    3. Той самий приклад із кореляцією
  9. Спробуйте в Holarch
  10. Куди далі

Чому точкові оцінки вводять в оману

Більшість інженерних оцінок подають одним числом: кампанія інтеграції триває 14 тижнів, корисне навантаження споживає 38 W, наземна станція обробляє проліт за 45 хвилин. Кожне число зазвичай — найімовірніше значення, а сума найімовірніших значень дає підсумок, який нічого не каже про те, як часто його буде перевищено, із двох причин.

  • Асиметричні вхідні дані. Реальні тривалості завдань рідко симетричні. Завдання, яке найімовірніше триває 6 хвилин, може завершитися за 4, але може тривати й 9, коли щось піде не так. Середнє такого завдання лежить вище за його найімовірніше значення, а сума середніх — вище за суму найімовірніших значень.
  • Зміщення злиття. Там, де паралельні шляхи сходяться, робота чекає на найповільніший. Очікуваний максимум кількох невизначених шляхів більший за максимум їхніх очікуваних значень, бо будь-який шлях, що запізнюється, затримує все.

Те саме стосується бюджетів. Бюджет маси чи потужності, побудований із номінальних значень, приховує ймовірність того, що кілька позицій одночасно виявляться завеликими, а графік, побудований із номінальних тривалостей, приховує ймовірність того, що критичний шлях затягнеться. Одне число не може сказати, наскільки ймовірно, що воно справдиться. Розподіл може.

Симуляція Monte Carlo — найпростіший спосіб отримати такий розподіл: опишіть кожну невизначену вхідну величину як імовірнісний розподіл, виберіть по одному значенню для кожної, обчисліть результат і повторіть багато разів. Сукупність результатів наближає розподіл вихідної величини, і з неї ви зчитуєте середні, процентилі та ймовірність виконання вимоги. У термінах ISO/IEC/IEEE 15288 це інструмент процесу системного аналізу, а його результат часто є доказом для верифікації аналізом — одного з чотирьох методів у матриці верифікації вимог.

Невизначені вхідні дані як розподіли

Розподіл виражає те, що ви знаєте про вхідну величину. Вибирайте найпростіший, що відповідає наявній інформації; три форми покривають більшість роботи в системній інженерії. Приклади взято з прольоту знімання супутника, розібраного нижче.

РозподілПараметриКоли використовуватиПриклад
РівномірнийМінімум і максимумВи знаєте межі, і ніщо не робить одне значення ймовірнішим за іншеКодування та збереження однієї смуги зображення триває від 20 до 40 секунд залежно від вмісту сцени
ТрикутнийМінімум, найімовірніше, максимумЕксперти можуть назвати діапазон і найімовірніше значення, часто зміщене в бік довшогоНадсилання плану знімання триває від 4 до 9 хвилин, найімовірніше 6
НормальнийСереднє та стандартне відхиленняБагато малих незалежних ефектів додаються, або виміряні дані показують симетричний розкидОбробка продуктів зображення триває 45 хвилин зі стандартним відхиленням 10
  • Рівномірний розподіл чесний, коли ви знаєте лише межі, але він надає крайнім значенням таку саму вагу, як і середнім.
  • Трикутний розподіл — звичайний вибір для трьохточкових оцінок від інженерів. Його середнє дорівнює (мін + найімовірніше + макс) / 3, тож довгий верхній хвіст зсуває середнє вище за найімовірніше значення: 4, 6 і 9 хвилин дають середнє 6.33.
  • Нормальний розподіл має необмежені хвости. Для тривалостей, мас та інших величин, які не можуть бути від’ємними, тримайте стандартне відхилення малим відносно середнього або використовуйте розподіл з нижньою межею.
  • Інші форми мають конкретні застосування: логнормальний — для величин, що є добутком чинників, експоненційний — для часу між випадковими подіями, Вейбулла — для часу до відмови, бета — для часток між 0 і 1.

Тримайте фіксованим те, що не є невизначеним. Модель, у якій змінюються всі вхідні дані, важче рецензувати, і вона приховує ті кілька вхідних величин, що визначають результат.

Виконання багатьох вибірок

Один прогін Monte Carlo — це один можливий результат: кожна невизначена вхідна величина отримує випадкове значення зі свого розподілу, кожне рішення вибирається з його ймовірністю, і модель обчислює результат так, ніби це реальний випадок. Дослідження повторює це сотні або тисячі разів з незалежними вибірками. Два практичні правила:

  • Фіксуйте початкове значення генератора випадкових чисел, коли результат стає доказом. Те саме початкове значення відтворює ті самі прогони, тож рецензент може повторити дослідження, а будь-який окремий прогін можна відтворити, щоб побачити, що в ньому сталося.
  • Тримайте логіку моделі в моделі. Розгалуження з імовірностями, цикли з кількістю повторень і обмеження ресурсів належать до того самого потоку, який виконує симуляція, а не до окремої електронної таблиці, що розходиться з проєктом. Потік зазвичай — це експлуатаційний сценарій із функціонального аналізу з доданими тривалостями.

Читання результатів

Дослідження дає список результатів, по одному на прогін. Читайте його чотирма способами.

  • Гістограма. Форма результатів: куди потрапляє більшість прогонів, чи асиметричний розподіл і наскільки довгі хвости.
  • Середнє та стандартне відхилення. Корисні підсумки з довірчим інтервалом для середнього, який звужується з додаванням прогонів. Саме лише середнє нічого не каже про ризик.
  • Процентилі. P50 — медіана: половина прогонів завершується нижче неї. P90 або P95 — значення для зобов’язань: результат, якого ви досягаєте у 90% або 95% випадків. Графіки та бюджети часто фіксують на рівні P80 або P90, а не середнього.
  • Імовірність виконання вимоги. Частка прогонів, що відповідають порогу, наприклад «загальний час не більше 100 хвилин». Її зчитують із кривої кумулятивної ймовірності (S-кривої), яка для кожного значення x показує частку прогонів із результатом не більше x. Вимогу, сформульовану з імовірністю («щонайменше у 90% випадків»), перевіряють безпосередньо за цим числом.

Запас можна читати так само: різниця між порогом і середнім — це запас у середньому; різниця між порогом і значенням P90 або P95 — це запас, який ви маєте за рівня довіри, на який берете зобов’язання.

Скільки прогонів достатньо

Результат Monte Carlo сам є оцінкою, і його точність зростає пропорційно квадратному кореню з кількості прогонів. Для ймовірності p, оціненої з N прогонів, стандартна похибка становить приблизно √(p(1 − p) / N). Поблизу 0% або 100% простий інтервал ±2 стандартні похибки поганий, тому в таблиці використано інтервал Вілсона, який лишається в межах від 0 до 100%.

Прогони (N)Прогони, що відповідають порогу (p ≈ 97.6%)Стандартна похибка95% інтервал
100981.5 відсоткового пунктувід 93.0% до 99.4%
2001951.1 відсоткового пунктувід 94.3% до 98.9%
1,0009760.5 відсоткового пунктувід 96.5% до 98.4%
2,0001,9510.3 відсоткового пунктувід 96.8% до 98.1%
10,0009,7560.15 відсоткового пунктувід 97.2% до 97.8%

Практична перевірка: у дослідженні достатньо прогонів, коли довірчий інтервал числа, за яким ви ухвалюєте рішення, більше не перетинає лінію рішення. У прикладі нижче вимога передбачає 90%; навіть 100 прогонів дають інтервал, що лишається вище 90%, тож висновок визначається рано. Якби оцінка становила 91% з інтервалом від 88% до 94%, знадобилося б більше прогонів. Середні стабілізуються швидко; процентилі в хвостах (P95, P99) і малі ймовірності відмови потребують значно більше прогонів, бо туди потрапляє лише кілька прогонів.

Кореляція та її вплив

Незалежний вибір кожної вхідної величини передбачає, що довга низхідна передача нічого не каже про подальшу обробку. Часто це не так: великий обсяг даних уповільнює обидві, холодний космічний апарат уповільнює кілька кроків прогрівання, важка конструкція потребує важчого механізму. Вхідні величини зі спільною причиною корельовані.

Позитивна кореляція не змінює середнього суми, але розширює розкид: високі значення збігаються з високими, а низькі з низькими, замість того щоб компенсувати одне одного. Хвости відсуваються, а разом із ними й значення P90 чи P95, на якому ґрунтується зобов’язання. Тому ігнорування реальної позитивної кореляції применшує ризик.

Способи впоратися з цим:

  • Моделюйте спільну причину явно: вибирайте обсяг даних один раз на прогін і виводьте з нього обидві тривалості.
  • Вибирайте корельовані вхідні величини зі спільного випадкового числа, щоб вони змінювалися разом від прогону до прогону.
  • Щонайменше виконайте дослідження один раз незалежно й один раз з повною кореляцією та наведіть обидва результати: істина лежить між ними.

Типові помилки

ПомилкаЧому вводить в омануНатомість
Хибна точністьПовідомлення «P(meet) = 97.56%» на основі вгаданих діапазонів вхідних даних передбачає впевненість, якої вхідні дані не маютьОкруглюйте до того, що підтримують вхідні дані, наводьте довірчий інтервал і вказуйте, звідки взято діапазони
Начебто незалежні вхідні величиниСпільні причини ігноруються, розкид надто вузький, а хвости надто короткіМоделюйте спільну причину або обмежте результат незалежним і корельованим дослідженнями
Ігнорування хвостівПовідомлення лише середнього приховує, як часто вимога не виконуєтьсяНаводьте P50 і P90 або P95, а також імовірність виконання кожного порогу
Симетричні діапазони для асиметричних величинНормальний розподіл навколо найімовірнішого значення прибирає довгий верхній хвістВикористовуйте трикутну або логнормальну форму, коли перевищення більші за недовиконання
Замало прогонівВисновок змінюється, коли дослідження повторюють з іншим початковим значеннямДодавайте прогони, доки інтервал не перестане перетинати лінію рішення
Модель, що відрізняється від проєктуКопія потоку в електронній таблиці розходиться з реальною послідовністю, її паралельними шляхами та рішеннямиСимулюйте потік, що зберігається в моделі, щоб зміна проєкту доходила до аналізу

Практичний приклад: проліт знімання EO-1

EO-1 — це 6U CubeSat, що знімає сільськогосподарські угіддя, вигадана місія прикладу проєкту MBSE. Його специфікація системних вимог містить вимогу до часу, яку верифікують аналізом:

6.5 Planning Cycle Time. Місія повинна завершувати кожен цикл планування, від передавання списку цілей на борт до доставки продукту, протягом 100 хвилин.

План верифікації для 6.5 звучить так: симуляція Monte Carlo прольоту знімання вкладається в 100 хвилин з імовірністю щонайменше 90%. Measure MOE-7 Planning Cycle Time specifies цю вимогу з пороговим значенням 100 хвилин і цільовим 80 хвилин.

Експлуатаційний графік — це дія OPS Run Nominal Imaging Pass. Наземна станція надсилає план знімання, космічний апарат декодує та завантажує його, а потім розвертається до першої цілі, поки прогрівається камера. Він знімає чотири цілі, кожна — смуга, яку знімають і потім кодують. Якщо в зоні видимості є наземний контакт (75% прольотів), апарат передає дані; інакше зберігає їх до наступного прольоту. Насамкінець акумулятор заряджається на сонці, поки Земля приймає низхідну передачу й обробляє продукти зображення.

ДіяМісце в потоціТривалістьНайімовірніше (хв)Середнє (хв)
OPS.1 Transmit Imaging PlanПочатокТрикутний, від 4 до 9 хвилин, пік 666.33
OPS.2 Receive Imaging PlanДаліФіксовано, 1 хвилина11
OPS.3 Load Command ScheduleДаліФіксовано, 2 хвилини22
OPS.4 Rotate to TargetПаралельно з OPS.5Нормальний, середнє 3, стандартне відхилення 0.5 хвилини33
OPS.5 Prepare CameraПаралельно з OPS.4Фіксовано, 5 хвилин55
OPS.6 Capture Image StripЦикл, 4 ціліНормальний, середнє 40, стандартне відхилення 6 секунд0.67 на ціль0.67 на ціль
OPS.7 Encode and Store ImageЦикл, 4 ціліРівномірний, від 20 до 40 секунд0.50 на ціль0.50 на ціль
OPS.8 Transmit Image DataКонтакт у зоні видимості (75%)Нормальний, середнє 8, стандартне відхилення 1.5 хвилини88
OPS.9 Hold Data OnboardНемає контакту (25%)Фіксовано, 1 хвилина11
OPS.10 Recharge Battery in SunlightПаралельно з OPS.11 і OPS.12Фіксовано, 35 хвилин3535
OPS.11 Receive DownlinkДалі OPS.12Фіксовано, 9 хвилин99
OPS.12 Process Image ProductsПісля OPS.11Нормальний, середнє 45, стандартне відхилення 10 хвилин4545

Точкові оцінки

  • Найімовірніші значення, з імовірнішою гілкою контакту: 6 + 1 + 2 + max(3, 5) + 4 × (0.67 + 0.50) + 8 + max(35, 9 + 45) = 80.7 хвилини. Відносно порогу 100 хвилин це схоже на майже 20 хвилин запасу.
  • Середні значення, з урахуванням імовірностей обох гілок (0.75 × 8 + 0.25 × 1 = 6.25): 6.33 + 1 + 2 + 5 + 4.67 + 6.25 + max(35, 54) = 79.25 хвилини.

Обидва числа кажуть, що проліт вкладається із запасом. Жодне не каже, як часто він не вкладається, а вимога питає саме про це.

Результат Monte Carlo

Дослідження того самого потоку в кожному прогоні вибирає кожну тривалість і рішення про контакт і дає паралельним шляхам змагатися. У таблиці наведено перевірку на мільйон прогонів, обчислену окремо в Python, і дослідження Holarch на 2,000 прогонів, показане на знімках екрана нижче. Вони використовують різні генератори випадкових чисел, тож відрізняються на похибку вибірки (для 2,000 прогонів близько 0.25 хвилини для середнього, 0.5 хвилини для P95 і 0.35 відсоткового пункту для ймовірності).

Вихідна величинаPython, 1,000,000 прогонівHolarch, 2,000 прогонів, зерно 2026
Середній загальний час79.35 хвилини79.35 хвилини
Стандартне відхилення10.35 хвилини10.16 хвилини
P5 / P50 / P9562.4 / 79.3 / 96.6 хвилини62.4 / 79.4 / 96.0 хвилини
P9092.8 хвилини92.4 хвилини
P(загалом ≤ 80 хвилин), цільове значення MOE-752.7%52.4%
P(загалом ≤ 100 хвилин), вимога 6.597.6%97.8% (1,955 з 2,000; 95% інтервал від 97.0% до 98.3%)

Що кажуть числа:

  • Вимогу виконано. Близько 97.6% прольотів завершуються протягом 100 хвилин, значно більше за потрібні 90%, а інтервал за 2,000 прогонів лишається вище 90% з великим запасом.
  • Запас менший, ніж здається. Запас за середнім становить близько 20.6 хвилини, але значення P95 — близько 96.6 хвилини, тож за довіри 95% лишається лише близько 3.4 хвилини. Приблизно один проліт із сорока не вкладається в поріг. Майже в усіх таких прогонах OPS.12 Process Image Products тривала понад годину (у середньому 67 хвилин при її середньому 45), а в 95% з них гілка контакту додавала 8-хвилинну низхідну передачу.
  • Цільове значення — підкидання монети. Цільові 80 хвилин MOE-7 майже точно збігаються з медіаною: їх досягають лише приблизно в половині прольотів. Найімовірніша оцінка 80.7 хвилини повністю це приховує.
  • Зміщення злиття тут мале. Середнє 79.35 хвилини лише на 0.1 хвилини перевищує оцінку за середніми значеннями, бо наземний ланцюг (OPS.11 і OPS.12, середнє 54 хвилини) коротший за 35-хвилинне заряджання лише приблизно в 3% прогонів. У потоці, де паралельні шляхи ближчі за довжиною, розрив зростає.

Дослідження також вказує на важіль. OPS.12 Process Image Products дає більшу частину розкиду (стандартне відхилення 10 хвилин проти близько 3 хвилин від рішення про контакт і 1 хвилини від усього іншого), тож скорочення часу обробки зсуває хвіст; пришвидшення кроків космічного апарата дає мало.

Той самий приклад із кореляцією

І низхідна передача, і обробка залежать від того, скільки даних зображень дав проліт: більше даних — довша передача й довша обробка. Якщо вибирати OPS.8 і OPS.12 з одного спільного випадкового числа на прогін (8 + 1.5z і 45 + 10z хвилин для того самого стандартного нормального z), тож довга низхідна передача супроводжується довгою обробкою, обидва розподіли лишаються такими, як були, а результат такий:

Вихідна величинаНезалежно (Python / Holarch)OPS.8 і OPS.12 корельовані (Python / Holarch)
Середнє79.35 / 79.35 хвилини79.35 / 79.04 хвилини
Стандартне відхилення10.35 / 10.16 хвилини11.35 / 11.44 хвилини
P9596.6 / 96.0 хвилини98.5 / 99.0 хвилини
P(загалом ≤ 100 хвилин)97.6% / 97.8%96.1% / 96.2%

Середнє не змінюється, а розкид зростає приблизно на десяту частину. Значення P95 зсувається приблизно на дві хвилини, що скорочує запас за довіри 95% з близько 3.4 хвилини до близько 1.5. Вимога за 90% і далі виконується, але суворіше зобов’язання, як-от 100 хвилин у 95% прольотів, тепер було б на межі. Для зобов’язання на рівні P95 безпечніше планувати за корельованим випадком.

Завантажте приклад: дослідження невизначеності прольоту знімання EO-1 як книгу Excel (вхідні величини з розподілами, незалежні й корельовані результати з процентилями та P(meet), а також таблиця кількості прогонів) або ті самі дані у CSV: вхідні величини та розподіли прольоту знімання і результати Monte Carlo, процентилі та P(meet). Використовуйте його як шаблон для звіту про власне дослідження.

Спробуйте в Holarch

У Holarch Monte Carlo виконується на потоці дій моделі: та сама діаграма Action, що описує операцію, і є моделлю, яку симулюють. Тривалість кожної Action — фіксоване число або розподіл з одиницею, як-от =triang.dist(4, 9, 6) хвилин (мінімум, максимум, пік), =norm.dist(40, 6) секунд або =uniform.dist(20, 40) секунд. Доступно десять розподілів, серед них бета, логнормальний, експоненційний і Вейбулла. Подробиці див. у розділі Симуляція.

Проліт знімання як діаграма Action із прихованими I/O і ресурсами: цикл виконується чотири рази, OR вирішує щодо контакту, а остання паралельна гілка чекає на повільніше із заряджання та наземної обробки.
  1. Створіть проєкт CubeSat через Керування проєктами → Файли проєкту ▾ → Новий демопроєкт → CubeSat (Guided systems engineering). Він уже містить OPS Run Nominal Imaging Pass з тривалостями з таблиці, вимогу 6.5 і Measure MOE-7.
  2. Відкрийте діаграму Action цієї дії та виберіть ▶ Симулювати ▾ → Монте-Карло. Задайте Прогони 2000, Випадкове зерно 2026, а Варіювати фіксовані тривалості — Немає (демо за замовчуванням додає ±10% до фіксованих тривалостей; дослідження тут лишає їх фіксованими) і натисніть ▶ Запустити Монте-Карло.
  3. Прочитайте Статистика, Розподіл тривалості і Кумулятивна ймовірність (S-крива) на вкладці Розподіл. Введіть 100 у поле x S-кривої, щоб прочитати P(X ≤ 100 min).
Розподіл тривалості та S-крива для 2,000 прогонів із зерном 2026. Показник дає ймовірність завершення протягом 100 хвилин.
  1. Відкрийте вкладку Чинники, щоб побачити, які дії забирають час у всіх прогонах і які комбінації гілок траплялися.
  2. Клацніть Перевірити на відповідність Requirement… і виберіть Measure MOE-7 Planning Cycle Time. Це заповнює критерій (≤ 100 хвилин, з її порогового значення та напрямку покращення) і вимогу 6.5; лишіть потрібну ймовірність 90%. Таблиця дає P(meet) з довірчим інтервалом, запас і висновок. Перемкніть Використати на Мета, щоб перевірити цільові 80 хвилин, які не виконуються з результатом близько 52%.
Перевірка вимоги: P(meet) значно вище за потрібні 90%, тож результат — «Пройдено».
  1. Записати результат… показує попередній перегляд змін: Projected Value для MOE-7 стає середнім, а Test Case, який verifies 6.5, отримує статус «Пройдено» і текст результату. Застосуйте їх як один крок відміни.

Редактор тривалості Holarch вибирає кожен розподіл незалежно. Корельоване порівняння вище використовувало тривалості, керовані скриптовими хуками, що читають одне спільне значення на прогін, — цього редактор тривалості поки не пропонує. Щоб обмежити вплив кореляції у власній моделі, порівняйте незалежне дослідження з повністю корельованим розрахунком, зробленим поза інструментом. Енергію акумулятора протягом прольоту теж симулюють: мінімальна й кінцева кількість ресурсу Battery Charge — це вихідні величини Monte Carlo, які приймає перевірка вимоги. Бюджети маси та потужності з резервами й запасами ведуться в розділі Бюджети й TPM, а той самий підхід застосовується до невизначених значень в аналізі компромісів: рейтинг, що перевертається в межах діапазонів вхідних даних, ще не є рішенням.

Куди далі

  • Симуляція: прогони Discrete Event і Monte Carlo, панелі та перевірка вимоги.
  • Бюджети й TPM: підсумовування з резервами, виділення, запаси та показники продуктивності.
  • Діаграми Action: потік, конструкції, ресурси та скрипти, які читає симуляція.