Посібник · Аналіз
Симуляція Monte Carlo в системній інженерії: від точкових оцінок до ймовірностей
Прослухати цей посібник 19 хв
Симуляція Monte Carlo в системній інженерії замінює одне найкраще припущення розподілом результатів. Цей посібник охоплює вибір вхідних розподілів, виконання достатньої кількості вибірок, читання процентилів і ймовірності виконання вимоги, кореляцію та типові помилки — на прикладі прольоту знімання малого супутника спостереження Землі.
На цій сторінці
Чому точкові оцінки вводять в оману
Більшість інженерних оцінок подають одним числом: кампанія інтеграції триває 14 тижнів, корисне навантаження споживає 38 W, наземна станція обробляє проліт за 45 хвилин. Кожне число зазвичай — найімовірніше значення, а сума найімовірніших значень дає підсумок, який нічого не каже про те, як часто його буде перевищено, із двох причин.
- Асиметричні вхідні дані. Реальні тривалості завдань рідко симетричні. Завдання, яке найімовірніше триває 6 хвилин, може завершитися за 4, але може тривати й 9, коли щось піде не так. Середнє такого завдання лежить вище за його найімовірніше значення, а сума середніх — вище за суму найімовірніших значень.
- Зміщення злиття. Там, де паралельні шляхи сходяться, робота чекає на найповільніший. Очікуваний максимум кількох невизначених шляхів більший за максимум їхніх очікуваних значень, бо будь-який шлях, що запізнюється, затримує все.
Те саме стосується бюджетів. Бюджет маси чи потужності, побудований із номінальних значень, приховує ймовірність того, що кілька позицій одночасно виявляться завеликими, а графік, побудований із номінальних тривалостей, приховує ймовірність того, що критичний шлях затягнеться. Одне число не може сказати, наскільки ймовірно, що воно справдиться. Розподіл може.
Симуляція Monte Carlo — найпростіший спосіб отримати такий розподіл: опишіть кожну невизначену вхідну величину як імовірнісний розподіл, виберіть по одному значенню для кожної, обчисліть результат і повторіть багато разів. Сукупність результатів наближає розподіл вихідної величини, і з неї ви зчитуєте середні, процентилі та ймовірність виконання вимоги. У термінах ISO/IEC/IEEE 15288 це інструмент процесу системного аналізу, а його результат часто є доказом для верифікації аналізом — одного з чотирьох методів у матриці верифікації вимог.
Невизначені вхідні дані як розподіли
Розподіл виражає те, що ви знаєте про вхідну величину. Вибирайте найпростіший, що відповідає наявній інформації; три форми покривають більшість роботи в системній інженерії. Приклади взято з прольоту знімання супутника, розібраного нижче.
| Розподіл | Параметри | Коли використовувати | Приклад |
|---|---|---|---|
| Рівномірний | Мінімум і максимум | Ви знаєте межі, і ніщо не робить одне значення ймовірнішим за інше | Кодування та збереження однієї смуги зображення триває від 20 до 40 секунд залежно від вмісту сцени |
| Трикутний | Мінімум, найімовірніше, максимум | Експерти можуть назвати діапазон і найімовірніше значення, часто зміщене в бік довшого | Надсилання плану знімання триває від 4 до 9 хвилин, найімовірніше 6 |
| Нормальний | Середнє та стандартне відхилення | Багато малих незалежних ефектів додаються, або виміряні дані показують симетричний розкид | Обробка продуктів зображення триває 45 хвилин зі стандартним відхиленням 10 |
- Рівномірний розподіл чесний, коли ви знаєте лише межі, але він надає крайнім значенням таку саму вагу, як і середнім.
- Трикутний розподіл — звичайний вибір для трьохточкових оцінок від інженерів. Його середнє дорівнює (мін + найімовірніше + макс) / 3, тож довгий верхній хвіст зсуває середнє вище за найімовірніше значення: 4, 6 і 9 хвилин дають середнє 6.33.
- Нормальний розподіл має необмежені хвости. Для тривалостей, мас та інших величин, які не можуть бути від’ємними, тримайте стандартне відхилення малим відносно середнього або використовуйте розподіл з нижньою межею.
- Інші форми мають конкретні застосування: логнормальний — для величин, що є добутком чинників, експоненційний — для часу між випадковими подіями, Вейбулла — для часу до відмови, бета — для часток між 0 і 1.
Тримайте фіксованим те, що не є невизначеним. Модель, у якій змінюються всі вхідні дані, важче рецензувати, і вона приховує ті кілька вхідних величин, що визначають результат.
Виконання багатьох вибірок
Один прогін Monte Carlo — це один можливий результат: кожна невизначена вхідна величина отримує випадкове значення зі свого розподілу, кожне рішення вибирається з його ймовірністю, і модель обчислює результат так, ніби це реальний випадок. Дослідження повторює це сотні або тисячі разів з незалежними вибірками. Два практичні правила:
- Фіксуйте початкове значення генератора випадкових чисел, коли результат стає доказом. Те саме початкове значення відтворює ті самі прогони, тож рецензент може повторити дослідження, а будь-який окремий прогін можна відтворити, щоб побачити, що в ньому сталося.
- Тримайте логіку моделі в моделі. Розгалуження з імовірностями, цикли з кількістю повторень і обмеження ресурсів належать до того самого потоку, який виконує симуляція, а не до окремої електронної таблиці, що розходиться з проєктом. Потік зазвичай — це експлуатаційний сценарій із функціонального аналізу з доданими тривалостями.
Читання результатів
Дослідження дає список результатів, по одному на прогін. Читайте його чотирма способами.
- Гістограма. Форма результатів: куди потрапляє більшість прогонів, чи асиметричний розподіл і наскільки довгі хвости.
- Середнє та стандартне відхилення. Корисні підсумки з довірчим інтервалом для середнього, який звужується з додаванням прогонів. Саме лише середнє нічого не каже про ризик.
- Процентилі. P50 — медіана: половина прогонів завершується нижче неї. P90 або P95 — значення для зобов’язань: результат, якого ви досягаєте у 90% або 95% випадків. Графіки та бюджети часто фіксують на рівні P80 або P90, а не середнього.
- Імовірність виконання вимоги. Частка прогонів, що відповідають порогу, наприклад «загальний час не більше 100 хвилин». Її зчитують із кривої кумулятивної ймовірності (S-кривої), яка для кожного значення x показує частку прогонів із результатом не більше x. Вимогу, сформульовану з імовірністю («щонайменше у 90% випадків»), перевіряють безпосередньо за цим числом.
Запас можна читати так само: різниця між порогом і середнім — це запас у середньому; різниця між порогом і значенням P90 або P95 — це запас, який ви маєте за рівня довіри, на який берете зобов’язання.
Скільки прогонів достатньо
Результат Monte Carlo сам є оцінкою, і його точність зростає пропорційно квадратному кореню з кількості прогонів. Для ймовірності p, оціненої з N прогонів, стандартна похибка становить приблизно √(p(1 − p) / N). Поблизу 0% або 100% простий інтервал ±2 стандартні похибки поганий, тому в таблиці використано інтервал Вілсона, який лишається в межах від 0 до 100%.
| Прогони (N) | Прогони, що відповідають порогу (p ≈ 97.6%) | Стандартна похибка | 95% інтервал |
|---|---|---|---|
| 100 | 98 | 1.5 відсоткового пункту | від 93.0% до 99.4% |
| 200 | 195 | 1.1 відсоткового пункту | від 94.3% до 98.9% |
| 1,000 | 976 | 0.5 відсоткового пункту | від 96.5% до 98.4% |
| 2,000 | 1,951 | 0.3 відсоткового пункту | від 96.8% до 98.1% |
| 10,000 | 9,756 | 0.15 відсоткового пункту | від 97.2% до 97.8% |
Практична перевірка: у дослідженні достатньо прогонів, коли довірчий інтервал числа, за яким ви ухвалюєте рішення, більше не перетинає лінію рішення. У прикладі нижче вимога передбачає 90%; навіть 100 прогонів дають інтервал, що лишається вище 90%, тож висновок визначається рано. Якби оцінка становила 91% з інтервалом від 88% до 94%, знадобилося б більше прогонів. Середні стабілізуються швидко; процентилі в хвостах (P95, P99) і малі ймовірності відмови потребують значно більше прогонів, бо туди потрапляє лише кілька прогонів.
Кореляція та її вплив
Незалежний вибір кожної вхідної величини передбачає, що довга низхідна передача нічого не каже про подальшу обробку. Часто це не так: великий обсяг даних уповільнює обидві, холодний космічний апарат уповільнює кілька кроків прогрівання, важка конструкція потребує важчого механізму. Вхідні величини зі спільною причиною корельовані.
Позитивна кореляція не змінює середнього суми, але розширює розкид: високі значення збігаються з високими, а низькі з низькими, замість того щоб компенсувати одне одного. Хвости відсуваються, а разом із ними й значення P90 чи P95, на якому ґрунтується зобов’язання. Тому ігнорування реальної позитивної кореляції применшує ризик.
Способи впоратися з цим:
- Моделюйте спільну причину явно: вибирайте обсяг даних один раз на прогін і виводьте з нього обидві тривалості.
- Вибирайте корельовані вхідні величини зі спільного випадкового числа, щоб вони змінювалися разом від прогону до прогону.
- Щонайменше виконайте дослідження один раз незалежно й один раз з повною кореляцією та наведіть обидва результати: істина лежить між ними.
Типові помилки
| Помилка | Чому вводить в оману | Натомість |
|---|---|---|
| Хибна точність | Повідомлення «P(meet) = 97.56%» на основі вгаданих діапазонів вхідних даних передбачає впевненість, якої вхідні дані не мають | Округлюйте до того, що підтримують вхідні дані, наводьте довірчий інтервал і вказуйте, звідки взято діапазони |
| Начебто незалежні вхідні величини | Спільні причини ігноруються, розкид надто вузький, а хвости надто короткі | Моделюйте спільну причину або обмежте результат незалежним і корельованим дослідженнями |
| Ігнорування хвостів | Повідомлення лише середнього приховує, як часто вимога не виконується | Наводьте P50 і P90 або P95, а також імовірність виконання кожного порогу |
| Симетричні діапазони для асиметричних величин | Нормальний розподіл навколо найімовірнішого значення прибирає довгий верхній хвіст | Використовуйте трикутну або логнормальну форму, коли перевищення більші за недовиконання |
| Замало прогонів | Висновок змінюється, коли дослідження повторюють з іншим початковим значенням | Додавайте прогони, доки інтервал не перестане перетинати лінію рішення |
| Модель, що відрізняється від проєкту | Копія потоку в електронній таблиці розходиться з реальною послідовністю, її паралельними шляхами та рішеннями | Симулюйте потік, що зберігається в моделі, щоб зміна проєкту доходила до аналізу |
Практичний приклад: проліт знімання EO-1
EO-1 — це 6U CubeSat, що знімає сільськогосподарські угіддя, вигадана місія прикладу проєкту MBSE. Його специфікація системних вимог містить вимогу до часу, яку верифікують аналізом:
6.5 Planning Cycle Time. Місія повинна завершувати кожен цикл планування, від передавання списку цілей на борт до доставки продукту, протягом 100 хвилин.
План верифікації для 6.5 звучить так: симуляція Monte Carlo прольоту знімання вкладається в 100 хвилин з імовірністю щонайменше 90%. Measure MOE-7 Planning Cycle Time specifies цю вимогу з пороговим значенням 100 хвилин і цільовим 80 хвилин.
Експлуатаційний графік — це дія OPS Run Nominal Imaging Pass. Наземна станція надсилає план знімання, космічний апарат декодує та завантажує його, а потім розвертається до першої цілі, поки прогрівається камера. Він знімає чотири цілі, кожна — смуга, яку знімають і потім кодують. Якщо в зоні видимості є наземний контакт (75% прольотів), апарат передає дані; інакше зберігає їх до наступного прольоту. Насамкінець акумулятор заряджається на сонці, поки Земля приймає низхідну передачу й обробляє продукти зображення.
| Дія | Місце в потоці | Тривалість | Найімовірніше (хв) | Середнє (хв) |
|---|---|---|---|---|
| OPS.1 Transmit Imaging Plan | Початок | Трикутний, від 4 до 9 хвилин, пік 6 | 6 | 6.33 |
| OPS.2 Receive Imaging Plan | Далі | Фіксовано, 1 хвилина | 1 | 1 |
| OPS.3 Load Command Schedule | Далі | Фіксовано, 2 хвилини | 2 | 2 |
| OPS.4 Rotate to Target | Паралельно з OPS.5 | Нормальний, середнє 3, стандартне відхилення 0.5 хвилини | 3 | 3 |
| OPS.5 Prepare Camera | Паралельно з OPS.4 | Фіксовано, 5 хвилин | 5 | 5 |
| OPS.6 Capture Image Strip | Цикл, 4 цілі | Нормальний, середнє 40, стандартне відхилення 6 секунд | 0.67 на ціль | 0.67 на ціль |
| OPS.7 Encode and Store Image | Цикл, 4 цілі | Рівномірний, від 20 до 40 секунд | 0.50 на ціль | 0.50 на ціль |
| OPS.8 Transmit Image Data | Контакт у зоні видимості (75%) | Нормальний, середнє 8, стандартне відхилення 1.5 хвилини | 8 | 8 |
| OPS.9 Hold Data Onboard | Немає контакту (25%) | Фіксовано, 1 хвилина | 1 | 1 |
| OPS.10 Recharge Battery in Sunlight | Паралельно з OPS.11 і OPS.12 | Фіксовано, 35 хвилин | 35 | 35 |
| OPS.11 Receive Downlink | Далі OPS.12 | Фіксовано, 9 хвилин | 9 | 9 |
| OPS.12 Process Image Products | Після OPS.11 | Нормальний, середнє 45, стандартне відхилення 10 хвилин | 45 | 45 |
Точкові оцінки
- Найімовірніші значення, з імовірнішою гілкою контакту: 6 + 1 + 2 + max(3, 5) + 4 × (0.67 + 0.50) + 8 + max(35, 9 + 45) = 80.7 хвилини. Відносно порогу 100 хвилин це схоже на майже 20 хвилин запасу.
- Середні значення, з урахуванням імовірностей обох гілок (0.75 × 8 + 0.25 × 1 = 6.25): 6.33 + 1 + 2 + 5 + 4.67 + 6.25 + max(35, 54) = 79.25 хвилини.
Обидва числа кажуть, що проліт вкладається із запасом. Жодне не каже, як часто він не вкладається, а вимога питає саме про це.
Результат Monte Carlo
Дослідження того самого потоку в кожному прогоні вибирає кожну тривалість і рішення про контакт і дає паралельним шляхам змагатися. У таблиці наведено перевірку на мільйон прогонів, обчислену окремо в Python, і дослідження Holarch на 2,000 прогонів, показане на знімках екрана нижче. Вони використовують різні генератори випадкових чисел, тож відрізняються на похибку вибірки (для 2,000 прогонів близько 0.25 хвилини для середнього, 0.5 хвилини для P95 і 0.35 відсоткового пункту для ймовірності).
| Вихідна величина | Python, 1,000,000 прогонів | Holarch, 2,000 прогонів, зерно 2026 |
|---|---|---|
| Середній загальний час | 79.35 хвилини | 79.35 хвилини |
| Стандартне відхилення | 10.35 хвилини | 10.16 хвилини |
| P5 / P50 / P95 | 62.4 / 79.3 / 96.6 хвилини | 62.4 / 79.4 / 96.0 хвилини |
| P90 | 92.8 хвилини | 92.4 хвилини |
| P(загалом ≤ 80 хвилин), цільове значення MOE-7 | 52.7% | 52.4% |
| P(загалом ≤ 100 хвилин), вимога 6.5 | 97.6% | 97.8% (1,955 з 2,000; 95% інтервал від 97.0% до 98.3%) |
Що кажуть числа:
- Вимогу виконано. Близько 97.6% прольотів завершуються протягом 100 хвилин, значно більше за потрібні 90%, а інтервал за 2,000 прогонів лишається вище 90% з великим запасом.
- Запас менший, ніж здається. Запас за середнім становить близько 20.6 хвилини, але значення P95 — близько 96.6 хвилини, тож за довіри 95% лишається лише близько 3.4 хвилини. Приблизно один проліт із сорока не вкладається в поріг. Майже в усіх таких прогонах OPS.12 Process Image Products тривала понад годину (у середньому 67 хвилин при її середньому 45), а в 95% з них гілка контакту додавала 8-хвилинну низхідну передачу.
- Цільове значення — підкидання монети. Цільові 80 хвилин MOE-7 майже точно збігаються з медіаною: їх досягають лише приблизно в половині прольотів. Найімовірніша оцінка 80.7 хвилини повністю це приховує.
- Зміщення злиття тут мале. Середнє 79.35 хвилини лише на 0.1 хвилини перевищує оцінку за середніми значеннями, бо наземний ланцюг (OPS.11 і OPS.12, середнє 54 хвилини) коротший за 35-хвилинне заряджання лише приблизно в 3% прогонів. У потоці, де паралельні шляхи ближчі за довжиною, розрив зростає.
Дослідження також вказує на важіль. OPS.12 Process Image Products дає більшу частину розкиду (стандартне відхилення 10 хвилин проти близько 3 хвилин від рішення про контакт і 1 хвилини від усього іншого), тож скорочення часу обробки зсуває хвіст; пришвидшення кроків космічного апарата дає мало.
Той самий приклад із кореляцією
І низхідна передача, і обробка залежать від того, скільки даних зображень дав проліт: більше даних — довша передача й довша обробка. Якщо вибирати OPS.8 і OPS.12 з одного спільного випадкового числа на прогін (8 + 1.5z і 45 + 10z хвилин для того самого стандартного нормального z), тож довга низхідна передача супроводжується довгою обробкою, обидва розподіли лишаються такими, як були, а результат такий:
| Вихідна величина | Незалежно (Python / Holarch) | OPS.8 і OPS.12 корельовані (Python / Holarch) |
|---|---|---|
| Середнє | 79.35 / 79.35 хвилини | 79.35 / 79.04 хвилини |
| Стандартне відхилення | 10.35 / 10.16 хвилини | 11.35 / 11.44 хвилини |
| P95 | 96.6 / 96.0 хвилини | 98.5 / 99.0 хвилини |
| P(загалом ≤ 100 хвилин) | 97.6% / 97.8% | 96.1% / 96.2% |
Середнє не змінюється, а розкид зростає приблизно на десяту частину. Значення P95 зсувається приблизно на дві хвилини, що скорочує запас за довіри 95% з близько 3.4 хвилини до близько 1.5. Вимога за 90% і далі виконується, але суворіше зобов’язання, як-от 100 хвилин у 95% прольотів, тепер було б на межі. Для зобов’язання на рівні P95 безпечніше планувати за корельованим випадком.
Завантажте приклад: дослідження невизначеності прольоту знімання EO-1 як книгу Excel (вхідні величини з розподілами, незалежні й корельовані результати з процентилями та P(meet), а також таблиця кількості прогонів) або ті самі дані у CSV: вхідні величини та розподіли прольоту знімання і результати Monte Carlo, процентилі та P(meet). Використовуйте його як шаблон для звіту про власне дослідження.
Спробуйте в Holarch
У Holarch Monte Carlo виконується на потоці дій моделі: та сама діаграма Action, що описує операцію, і є моделлю, яку симулюють. Тривалість кожної Action — фіксоване число або розподіл з одиницею, як-от =triang.dist(4, 9, 6) хвилин (мінімум, максимум, пік), =norm.dist(40, 6) секунд або =uniform.dist(20, 40) секунд. Доступно десять розподілів, серед них бета, логнормальний, експоненційний і Вейбулла. Подробиці див. у розділі Симуляція.
- Створіть проєкт CubeSat через Керування проєктами → Файли проєкту ▾ → Новий демопроєкт → CubeSat (Guided systems engineering). Він уже містить OPS Run Nominal Imaging Pass з тривалостями з таблиці, вимогу 6.5 і Measure MOE-7.
- Відкрийте діаграму Action цієї дії та виберіть ▶ Симулювати ▾ → Монте-Карло. Задайте Прогони 2000, Випадкове зерно 2026, а Варіювати фіксовані тривалості — Немає (демо за замовчуванням додає ±10% до фіксованих тривалостей; дослідження тут лишає їх фіксованими) і натисніть ▶ Запустити Монте-Карло.
- Прочитайте Статистика, Розподіл тривалості і Кумулятивна ймовірність (S-крива) на вкладці Розподіл. Введіть 100 у поле x S-кривої, щоб прочитати P(X ≤ 100 min).
- Відкрийте вкладку Чинники, щоб побачити, які дії забирають час у всіх прогонах і які комбінації гілок траплялися.
- Клацніть Перевірити на відповідність Requirement… і виберіть Measure MOE-7 Planning Cycle Time. Це заповнює критерій (≤ 100 хвилин, з її порогового значення та напрямку покращення) і вимогу 6.5; лишіть потрібну ймовірність 90%. Таблиця дає P(meet) з довірчим інтервалом, запас і висновок. Перемкніть Використати на Мета, щоб перевірити цільові 80 хвилин, які не виконуються з результатом близько 52%.
- Записати результат… показує попередній перегляд змін: Projected Value для MOE-7 стає середнім, а Test Case, який verifies 6.5, отримує статус «Пройдено» і текст результату. Застосуйте їх як один крок відміни.
Редактор тривалості Holarch вибирає кожен розподіл незалежно. Корельоване порівняння вище використовувало тривалості, керовані скриптовими хуками, що читають одне спільне значення на прогін, — цього редактор тривалості поки не пропонує. Щоб обмежити вплив кореляції у власній моделі, порівняйте незалежне дослідження з повністю корельованим розрахунком, зробленим поза інструментом. Енергію акумулятора протягом прольоту теж симулюють: мінімальна й кінцева кількість ресурсу Battery Charge — це вихідні величини Monte Carlo, які приймає перевірка вимоги. Бюджети маси та потужності з резервами й запасами ведуться в розділі Бюджети й TPM, а той самий підхід застосовується до невизначених значень в аналізі компромісів: рейтинг, що перевертається в межах діапазонів вхідних даних, ще не є рішенням.
Куди далі
- Симуляція: прогони Discrete Event і Monte Carlo, панелі та перевірка вимоги.
- Бюджети й TPM: підсумовування з резервами, виділення, запаси та показники продуктивності.
- Діаграми Action: потік, конструкції, ресурси та скрипти, які читає симуляція.