Руководство · Анализ
Моделирование Монте-Карло в системной инженерии: от точечных оценок к вероятностям
Прослушать это руководство 19 мин
Моделирование Монте-Карло в системной инженерии заменяет единственную лучшую догадку распределением результатов. В этом руководстве рассматриваются выбор входных распределений, достаточное число выборок, чтение процентилей и вероятности выполнения требования, корреляция и типичные ошибки — на примере сеанса съёмки небольшого спутника наблюдения Земли.
На этой странице
Почему точечные оценки вводят в заблуждение
Большинство инженерных оценок даются одним числом: интеграционная кампания длится 14 недель, полезная нагрузка потребляет 38 Вт, наземная станция обрабатывает сеанс за 45 минут. Каждое такое число обычно является наиболее вероятным значением, а сумма наиболее вероятных значений ничего не говорит о том, как часто она будет превышена, по двум причинам.
- Асимметричные входы. Реальные длительности задач редко симметричны. Задача, которая скорее всего займёт 6 минут, может завершиться за 4, но может занять и 9, если что-то пойдёт не так. Среднее такой задачи лежит выше её наиболее вероятного значения, а сумма средних — выше суммы наиболее вероятных значений.
- Смещение при слиянии. Там, где сходятся параллельные пути, работа ждёт самого медленного. Ожидаемый максимум нескольких неопределённых путей больше максимума их ожидаемых значений, потому что любой запаздывающий путь задерживает всё.
То же относится к бюджетам. Бюджет массы или мощности, собранный из номинальных значений, скрывает вероятность того, что несколько позиций одновременно окажутся выше, а график из номинальных длительностей скрывает вероятность того, что критический путь затянется. Одно число не может сказать, насколько вероятно, что оно выдержит. Распределение может.
Моделирование Монте-Карло — самый простой способ получить такое распределение: описать каждый неопределённый вход распределением вероятностей, выбрать по одному значению для каждого входа, вычислить результат и повторить много раз. Совокупность результатов приближает распределение выхода, и по ней определяют средние, процентили и вероятность выполнения требования. В терминах ISO/IEC/IEEE 15288 это инструмент процесса системного анализа, а его результат часто служит доказательством для верификации анализом — одного из четырёх методов в матрице верификации требований.
Неопределённые входы как распределения
Распределение выражает то, что вы знаете о входе. Выбирайте самое простое, соответствующее имеющейся информации; три формы покрывают большую часть работы в системной инженерии. Примеры взяты из сеанса съёмки спутника, разобранного ниже.
| Распределение | Параметры | Когда применять | Пример |
|---|---|---|---|
| Равномерное | Минимум и максимум | Известны границы, и ничто не делает одно значение предпочтительнее другого | Кодирование и запись одной полосы снимка занимает от 20 до 40 секунд в зависимости от содержания сцены |
| Треугольное | Минимум, наиболее вероятное, максимум | Эксперты могут назвать диапазон и наиболее вероятное значение, часто смещённое к длинной стороне | Отправка плана съёмки занимает от 4 до 9 минут, наиболее вероятно 6 |
| Нормальное | Среднее и стандартное отклонение | Складывается много мелких независимых эффектов, или измеренные данные показывают симметричный разброс | Обработка продуктов съёмки занимает 45 минут со стандартным отклонением 10 |
- Равномерное распределение честно, когда известны только границы, но оно придаёт крайним значениям такой же вес, как середине.
- Треугольное распределение — обычный выбор для трёхточечных оценок инженеров. Его среднее равно (минимум + наиболее вероятное + максимум) / 3, поэтому длинный верхний хвост сдвигает среднее выше наиболее вероятного значения: 4, 6 и 9 минут дают среднее 6,33.
- У нормального распределения неограниченные хвосты. Для длительностей, масс и других величин, которые не могут быть отрицательными, держите стандартное отклонение малым относительно среднего или используйте распределение с нижней границей.
- У других форм свои области применения: логнормальное — для величин, являющихся произведением факторов, экспоненциальное — для времени между случайными событиями, распределение Вейбулла — для времени до отказа, бета-распределение — для долей от 0 до 1.
Оставляйте постоянным то, что не является неопределённым. Модель, в которой меняется каждый вход, труднее рецензировать, и она скрывает те немногие входы, которые определяют результат.
Множество выборок
Один прогон Монте-Карло — это один возможный исход: каждый неопределённый вход получает случайное значение из своего распределения, каждое решение разыгрывается со своей вероятностью, и модель вычисляет результат так, будто это реальный случай. Исследование повторяет это сотни или тысячи раз с независимыми выборками. Два практических правила:
- Фиксируйте начальное значение генератора случайных чисел, когда результат становится доказательством. Одно и то же начальное значение воспроизводит те же прогоны, поэтому рецензент может повторить исследование, а любой отдельный прогон можно воспроизвести и посмотреть, что в нём произошло.
- Держите логику модели в модели. Ветвления с вероятностями, циклы с числом повторений и ограничения ресурсов относятся к тому же потоку, который выполняет симуляция, а не к отдельной электронной таблице, которая расходится с проектом. Поток обычно — это операционный сценарий из функционального анализа с добавленными длительностями.
Чтение результатов
Исследование даёт список исходов, по одному на прогон. Читайте его четырьмя способами.
- Гистограмма. Форма исходов: куда попадает большинство прогонов, асимметрично ли распределение и насколько длинны хвосты.
- Среднее и стандартное отклонение. Полезные сводные показатели с доверительным интервалом для среднего, который сужается по мере добавления прогонов. Одно лишь среднее ничего не говорит о риске.
- Процентили. P50 — медиана: половина прогонов завершается ниже неё. P90 или P95 — значение для обязательств: исход, который выдерживается в 90 % или 95 % случаев. Графики и бюджеты часто утверждают по P80 или P90, а не по среднему.
- Вероятность выполнения требования. Доля прогонов, удовлетворяющих порогу, например «общее время не более 100 минут». Её читают по кривой накопленной вероятности (S-кривой), которая для каждого значения x показывает долю прогонов с исходом не более x. Требование, сформулированное с вероятностью («не менее чем в 90 % случаев»), проверяется непосредственно по этому числу.
Так же читается и запас: разница между порогом и средним — это запас в среднем; разница между порогом и значением P90 или P95 — это запас при том уровне доверия, на который вы берёте обязательство.
Сколько прогонов достаточно
Результат Монте-Карло сам является оценкой, и его точность растёт пропорционально квадратному корню из числа прогонов. Для вероятности p, оценённой по N прогонам, стандартная ошибка примерно равна √(p(1 − p) / N). Вблизи 0 % или 100 % простой интервал ±2 стандартные ошибки работает плохо, поэтому в таблице используется интервал Уилсона, который остаётся в пределах от 0 до 100 %.
| Прогоны (N) | Прогоны, удовлетворяющие порогу (p ≈ 97,6 %) | Стандартная ошибка | 95%-й интервал |
|---|---|---|---|
| 100 | 98 | 1,5 процентного пункта | от 93,0 % до 99,4 % |
| 200 | 195 | 1,1 процентного пункта | от 94,3 % до 98,9 % |
| 1,000 | 976 | 0,5 процентного пункта | от 96,5 % до 98,4 % |
| 2,000 | 1,951 | 0,3 процентного пункта | от 96,8 % до 98,1 % |
| 10,000 | 9,756 | 0,15 процентного пункта | от 97,2 % до 97,8 % |
Практическая проверка: прогонов достаточно, когда доверительный интервал числа, по которому принимается решение, больше не пересекает линию решения. В примере ниже требование задаёт 90 %; даже 100 прогонов дают интервал, который остаётся выше 90 %, поэтому вердикт определяется рано. Если бы оценка была 91 % с интервалом от 88 % до 94 %, понадобилось бы больше прогонов. Средние устанавливаются быстро; процентили в хвостах (P95, P99) и малые вероятности отказа требуют гораздо больше прогонов, потому что туда попадает лишь немного прогонов.
Корреляция и её влияние
Независимая выборка каждого входа предполагает, что долгая передача данных на Землю ничего не говорит о последующей обработке. Часто это не так: большой объём данных замедляет и то и другое, холодный аппарат замедляет несколько шагов прогрева, тяжёлая конструкция требует более тяжёлого механизма. Входы с общей причиной коррелированы.
Положительная корреляция не меняет среднее суммы, но увеличивает разброс: высокие значения приходят вместе и низкие тоже, вместо того чтобы компенсировать друг друга. Хвосты отодвигаются, а вместе с ними и значение P90 или P95, на котором основано обязательство. Поэтому игнорирование реальной положительной корреляции занижает риск.
Способы учесть её:
- Смоделировать общую причину явно: выбирать объём данных один раз за прогон и выводить из него обе длительности.
- Выбирать коррелированные входы по общему случайному числу, чтобы они менялись согласованно от прогона к прогону.
- Как минимум выполнить исследование один раз с независимыми и один раз с полностью коррелированными входами и привести оба результата: истина лежит между ними.
Типичные ошибки
| Ошибка | Почему вводит в заблуждение | Вместо этого |
|---|---|---|
| Ложная точность | Сообщение «P(meet) = 97,56 %» по угаданным диапазонам входов предполагает уверенность, которой у входов нет | Округлять до точности, которую позволяют входы, приводить доверительный интервал и указывать, откуда взяты диапазоны |
| Мнимо независимые входы | Общие причины игнорируются, разброс слишком узок, а хвосты слишком коротки | Смоделировать общую причину или ограничить результат с двух сторон независимым и коррелированным исследованием |
| Игнорирование хвостов | Сообщение только среднего скрывает, как часто требование не выполняется | Приводить P50 и P90 или P95, а также вероятность выполнения каждого порога |
| Симметричные диапазоны для асимметричных величин | Нормальное распределение вокруг наиболее вероятного значения убирает длинный верхний хвост | Использовать треугольную или логнормальную форму, когда перерасход больше экономии |
| Слишком мало прогонов | Вердикт меняется, если повторить исследование с другим начальным значением | Добавлять прогоны, пока интервал не перестанет пересекать линию решения |
| Модель, отличающаяся от проекта | Копия потока в электронной таблице расходится с реальной последовательностью, её параллельными путями и решениями | Симулировать поток, хранящийся в модели, чтобы изменение проекта доходило до анализа |
Разобранный пример: сеанс съёмки EO-1
EO-1 — это CubeSat формата 6U, снимающий сельхозугодья, вымышленная миссия примера проекта MBSE. Его спецификация системных требований содержит требование по времени, которое верифицируется анализом:
6.5 Planning Cycle Time. Миссия должна завершать каждый цикл планирования, от передачи на борт списка целей до доставки продукта, в течение 100 минут.
План верификации для 6.5 гласит: моделирование Монте-Карло сеанса съёмки укладывается в 100 минут с вероятностью не менее 90 %. Measure MOE-7 Planning Cycle Time специфицирует требование с порогом 100 минут и целевым значением 80 минут.
Операционный график — это действие OPS Run Nominal Imaging Pass. Наземная станция отправляет план съёмки, аппарат декодирует и загружает его, затем разворачивается к первой цели, пока прогревается камера. Он снимает четыре цели, каждая — полоса, которая захватывается и затем кодируется. Если наземный контакт в зоне видимости (75 % сеансов), аппарат передаёт данные; иначе хранит их до следующего сеанса. Наконец, батарея заряжается на солнце, пока Земля принимает данные и обрабатывает продукты съёмки.
| Действие | Место в потоке | Длительность | Наиболее вероятное (мин) | Среднее (мин) |
|---|---|---|---|---|
| OPS.1 Transmit Imaging Plan | Начало | Треугольное, от 4 до 9 минут, пик 6 | 6 | 6.33 |
| OPS.2 Receive Imaging Plan | Затем | Фиксированная, 1 минута | 1 | 1 |
| OPS.3 Load Command Schedule | Затем | Фиксированная, 2 минуты | 2 | 2 |
| OPS.4 Rotate to Target | Параллельно с OPS.5 | Нормальное, среднее 3, стандартное отклонение 0,5 минуты | 3 | 3 |
| OPS.5 Prepare Camera | Параллельно с OPS.4 | Фиксированная, 5 минут | 5 | 5 |
| OPS.6 Capture Image Strip | Цикл, 4 цели | Нормальное, среднее 40, стандартное отклонение 6 секунд | 0,67 на цель | 0,67 на цель |
| OPS.7 Encode and Store Image | Цикл, 4 цели | Равномерное, от 20 до 40 секунд | 0,50 на цель | 0,50 на цель |
| OPS.8 Transmit Image Data | Контакт в зоне видимости (75 %) | Нормальное, среднее 8, стандартное отклонение 1,5 минуты | 8 | 8 |
| OPS.9 Hold Data Onboard | Нет контакта (25 %) | Фиксированная, 1 минута | 1 | 1 |
| OPS.10 Recharge Battery in Sunlight | Параллельно с OPS.11 и OPS.12 | Фиксированная, 35 минут | 35 | 35 |
| OPS.11 Receive Downlink | Затем OPS.12 | Фиксированная, 9 минут | 9 | 9 |
| OPS.12 Process Image Products | После OPS.11 | Нормальное, среднее 45, стандартное отклонение 10 минут | 45 | 45 |
Точечные оценки
- Наиболее вероятные значения с более вероятной ветвью контакта: 6 + 1 + 2 + max(3, 5) + 4 × (0,67 + 0,50) + 8 + max(35, 9 + 45) = 80,7 минуты. По сравнению с порогом 100 минут это выглядит как почти 20 минут запаса.
- Средние значения с ветвями, взвешенными по их вероятности (0,75 × 8 + 0,25 × 1 = 6,25): 6,33 + 1 + 2 + 5 + 4,67 + 6,25 + max(35, 54) = 79,25 минуты.
Оба числа говорят, что сеанс укладывается с запасом. Ни одно не говорит, как часто он не укладывается, а требование спрашивает именно об этом.
Результат Монте-Карло
Исследование того же потока в каждом прогоне разыгрывает все длительности и решение о контакте и позволяет параллельным путям соревноваться. В таблице приведены проверка на миллионе прогонов, рассчитанная отдельно на Python, и исследование Holarch на 2000 прогонов, показанное на снимках экрана ниже. Они используют разные генераторы случайных чисел, поэтому различаются на ошибку выборки (для 2000 прогонов около 0,25 минуты для среднего, 0,5 минуты для P95 и 0,35 процентного пункта для вероятности).
| Выход | Python, 1 000 000 прогонов | Holarch, 2000 прогонов, начальное значение 2026 |
|---|---|---|
| Среднее общее время | 79,35 минуты | 79,35 минуты |
| Стандартное отклонение | 10,35 минуты | 10,16 минуты |
| P5 / P50 / P95 | 62,4 / 79,3 / 96,6 минуты | 62,4 / 79,4 / 96,0 минуты |
| P90 | 92,8 минуты | 92,4 минуты |
| P(общее ≤ 80 минут), целевое значение MOE-7 | 52.7% | 52.4% |
| P(общее ≤ 100 минут), требование 6.5 | 97.6% | 97,8 % (1955 из 2000; 95%-й интервал от 97,0 % до 98,3 %) |
Что говорят числа:
- Требование выполняется. Около 97,6 % сеансов завершаются за 100 минут, что значительно выше требуемых 90 %, а интервал по 2000 прогонам остаётся выше 90 % с большим запасом.
- Запас меньше, чем кажется. Запас по среднему около 20,6 минуты, но значение P95 около 96,6 минуты, так что при доверии 95 % остаётся лишь около 3,4 минуты. Примерно один сеанс из сорока не укладывается в порог. Почти во всех таких прогонах OPS.12 Process Image Products занимала больше часа (в среднем 67 минут при её среднем 45), а в 95 % из них ветвь контакта добавляла 8-минутную передачу данных.
- Целевое значение — как подброшенная монета. 80-минутная цель MOE-7 лежит почти точно на медиане: она достигается лишь примерно в половине сеансов. Наиболее вероятная оценка 80,7 минуты полностью это скрывает.
- Смещение при слиянии здесь невелико. Среднее 79,35 минуты лишь на 0,1 минуты выше оценки по средним значениям, потому что наземная цепочка (OPS.11 и OPS.12, в среднем 54 минуты) короче 35-минутной зарядки лишь примерно в 3 % прогонов. В потоке, где параллельные пути ближе по длительности, разрыв растёт.
Исследование также указывает на рычаг. На OPS.12 Process Image Products приходится большая часть разброса (стандартное отклонение 10 минут против около 3 минут от решения о контакте и 1 минуты от всего остального), поэтому сокращение времени обработки сдвигает хвост; ускорение шагов на борту мало что даёт.
Тот же пример с корреляцией
И передача данных, и обработка зависят от того, сколько данных снимков дал сеанс: больше данных — дольше передача и дольше обработка. Если выбирать OPS.8 и OPS.12 по одному общему случайному числу за прогон (8 + 1,5z и 45 + 10z минут для одного и того же стандартного нормального z), чтобы долгая передача сопровождалась долгой обработкой, оба распределения сохраняются, а результат такой:
| Выход | Независимые (Python / Holarch) | OPS.8 и OPS.12 коррелированы (Python / Holarch) |
|---|---|---|
| Среднее | 79,35 / 79,35 минуты | 79,35 / 79,04 минуты |
| Стандартное отклонение | 10,35 / 10,16 минуты | 11,35 / 11,44 минуты |
| P95 | 96,6 / 96,0 минуты | 98,5 / 99,0 минуты |
| P(общее ≤ 100 минут) | 97.6% / 97.8% | 96.1% / 96.2% |
Среднее не меняется, а разброс растёт примерно на десятую часть. Значение P95 сдвигается примерно на две минуты, что сокращает запас при доверии 95 % примерно с 3,4 до 1,5 минуты. Требование по-прежнему выполняется при 90 %, но более строгое обязательство, например 100 минут в 95 % сеансов, теперь было бы на грани. Для обязательства по P95 безопаснее планировать по коррелированному случаю.
Скачайте пример: исследование неопределённости сеанса съёмки EO-1 в виде книги Excel (входы с распределениями, независимые и коррелированные результаты с процентилями и P(meet) и таблица числа прогонов) или те же данные в CSV: входы сеанса съёмки и распределения и результаты Монте-Карло, процентили и P(meet). Используйте его как шаблон для отчёта о собственном исследовании.
Попробуйте в Holarch
В Holarch метод Монте-Карло работает на потоке действий модели: та же диаграмма Action, которая описывает операцию, и есть симулируемая модель. Длительность каждого Action — фиксированное число или распределение с единицей измерения, например =triang.dist(4, 9, 6) минут (минимум, максимум, пик), =norm.dist(40, 6) секунд или =uniform.dist(20, 40) секунд. Доступно десять распределений, среди них бета, логнормальное, экспоненциальное и Вейбулла. Подробнее см. Симуляция.
- Создайте проект CubeSat через Управление проектами → Файлы проекта ▾ → Новый демо-проект → CubeSat (пошаговая системная инженерия). Он уже содержит OPS Run Nominal Imaging Pass с длительностями из таблицы, требование 6.5 и Measure MOE-7.
- Откройте диаграмму Action этого действия и выберите ▶ Симуляция ▾ → Монте-Карло. Задайте Прогоны 2000, Начальное значение генератора 2026 и Варьировать фиксированные длительности — Нет (демо по умолчанию добавляет ±10 % к фиксированным длительностям; здесь они остаются фиксированными) и нажмите ▶ Выполнить Монте-Карло.
- Прочитайте Статистика, Распределение длительности и Кумулятивная вероятность (S-кривая) на вкладке Распределение. Введите 100 в поле x S-кривой, чтобы прочитать P(X ≤ 100 min).
- Откройте вкладку Факторы, чтобы увидеть, какие действия занимают время во всех прогонах и какие комбинации ветвей встречались.
- Нажмите Проверить по требованию… и выберите Measure MOE-7 Planning Cycle Time. Это заполнит критерий (≤ 100 минут, по её порогу и направлению улучшения) и требование 6.5; оставьте требуемую вероятность 90 %. Таблица показывает P(meet) с доверительным интервалом, запас и вердикт. Переключите Использовать на Цель, чтобы проверить 80-минутное целевое значение, которое не выполняется примерно при 52 %.
- Записать результат… показывает изменения для предварительного просмотра: Projected Value у MOE-7 становится средним, а Test Case, который верифицирует 6.5, получает статус «Пройдено» и текст результата. Примените их как один шаг отмены.
Редактор длительности Holarch выбирает каждое распределение независимо. Для коррелированного сравнения выше использовались длительности, управляемые скриптовыми хуками, которые читают одно общее значение за прогон; редактор длительности этого пока не предлагает. Чтобы ограничить влияние корреляции с двух сторон в собственной модели, сравните независимое исследование с полностью коррелированным расчётом вне инструмента. Энергия батареи за сеанс тоже моделируется: минимальное и конечное количество ресурса Battery Charge — это выходы Монте-Карло, которые принимает проверка по требованию. Бюджеты массы и мощности с резервами и запасами ведутся в бюджетах и TPM, и тот же подход относится к неопределённым значениям в анализе компромиссов: ранжирование, которое меняется в пределах диапазонов входов, ещё не решение.
Что дальше
- Симуляция: дискретно-событийные прогоны и прогоны Монте-Карло, панели и проверка по требованию.
- Бюджеты и TPM: сводки с резервами, распределения, запасы и показатели эффективности.
- Диаграммы Action: поток, конструкции, ресурсы и скрипты, которые читает симуляция.