Holarch

Guida · Analisi

Simulazione Monte Carlo nell’ingegneria dei sistemi: dalle stime puntuali alle probabilità

Ascolta questa guida 19 min

Nell’ingegneria dei sistemi la simulazione Monte Carlo sostituisce un’unica stima migliore con una distribuzione di esiti. Questa guida tratta la scelta delle distribuzioni degli input, l’esecuzione di un numero sufficiente di campioni, la lettura dei percentili e della probabilità di soddisfare un requisito, la correlazione e gli errori più comuni, con un esempio svolto sul passaggio di ripresa di un piccolo satellite di osservazione della Terra.

In questa pagina
  1. Perché le stime puntuali ingannano
  2. Input incerti come distribuzioni
  3. Eseguire molti campioni
  4. Leggere i risultati
  5. Quante esecuzioni bastano
  6. La correlazione e il suo effetto
  7. Errori comuni
  8. Esempio svolto: il passaggio di ripresa di EO-1
    1. Le stime puntuali
    2. Il risultato Monte Carlo
    3. Lo stesso esempio con correlazione
  9. Provarlo in Holarch
  10. Dove andare dopo

Perché le stime puntuali ingannano

La maggior parte delle stime ingegneristiche viene data come un unico numero: la campagna di integrazione dura 14 settimane, il payload assorbe 38 W, la stazione di terra elabora un passaggio in 45 minuti. Ciascun numero è di solito il valore più probabile, e sommare valori più probabili dà un totale che non dice nulla su quanto spesso venga superato, per due motivi.

  • Input asimmetrici. Le durate reali delle attività sono raramente simmetriche. Un’attività che molto probabilmente richiede 6 minuti può finire in 4, ma può anche richiederne 9 quando qualcosa va storto. La media di un’attività del genere è superiore al suo valore più probabile, e la somma delle medie è superiore alla somma dei valori più probabili.
  • Bias di convergenza. Dove percorsi paralleli si ricongiungono, il lavoro attende il più lento. Il massimo atteso di diversi percorsi incerti è maggiore del massimo dei loro valori attesi, perché qualsiasi percorso in ritardo ritarda l’insieme.

Lo stesso vale per i budget. Un budget di massa o di potenza costruito su valori nominali nasconde la possibilità che diverse voci risultino alte contemporaneamente, e una tempistica costruita su durate nominali nasconde la possibilità che il percorso critico si allunghi. Un singolo numero non può dire con quale probabilità reggerà. Una distribuzione sì.

La simulazione Monte Carlo è il modo più semplice per ottenere quella distribuzione: descrivere ogni input incerto come una distribuzione di probabilità, estrarre un valore per ogni input, calcolare il risultato e ripetere molte volte. L’insieme dei risultati approssima la distribuzione dell’output, e da esso si leggono medie, percentili e la probabilità di soddisfare un requisito. Nei termini della ISO/IEC/IEEE 15288 è uno strumento del processo di analisi del sistema, e il suo risultato è spesso l’evidenza per la verifica per analisi, uno dei quattro metodi di una matrice di verifica dei requisiti.

Input incerti come distribuzioni

Una distribuzione esprime ciò che si sa di un input. Scegliere la più semplice che corrisponde alle informazioni disponibili; tre forme coprono la maggior parte del lavoro di ingegneria dei sistemi. Gli esempi provengono dal passaggio di ripresa del satellite sviluppato più avanti.

DistribuzioneParametriQuando usarlaEsempio
UniformeMinimo e massimoSi conoscono i limiti e nulla favorisce un valore rispetto a un altroCodificare e memorizzare una striscia di immagine richiede da 20 a 40 secondi, a seconda del contenuto della scena
TriangolareMinimo, più probabile, massimoGli esperti sanno indicare un intervallo e un valore più probabile, spesso spostato verso il lato lungoL’invio del piano di ripresa richiede da 4 a 9 minuti, molto probabilmente 6
NormaleMedia e deviazione standardMolti piccoli effetti indipendenti si sommano, oppure i dati misurati mostrano una dispersione simmetricaL’elaborazione dei prodotti d’immagine richiede 45 minuti con una deviazione standard di 10
  • Una distribuzione uniforme è onesta quando si conoscono solo i limiti, ma dà agli estremi lo stesso peso del centro.
  • Una distribuzione triangolare è la scelta abituale per le stime a tre punti fornite dagli ingegneri. La sua media è (min + più probabile + max) / 3, quindi una lunga coda superiore sposta la media sopra il valore più probabile: 4, 6 e 9 minuti danno una media di 6,33.
  • Una distribuzione normale ha code illimitate. Per durate, masse e altre grandezze che non possono essere negative, mantenere la deviazione standard piccola rispetto alla media, oppure usare una distribuzione con un limite inferiore.
  • Altre forme hanno usi specifici: lognormale per grandezze che sono il prodotto di fattori, esponenziale per i tempi tra eventi casuali, Weibull per i tempi di guasto, beta per frazioni tra 0 e 1.

Mantenere fisso ciò che non è incerto. Un modello in cui ogni input varia è più difficile da rivedere e nasconde i pochi input che determinano il risultato.

Eseguire molti campioni

Un’esecuzione Monte Carlo è un possibile esito: ogni input incerto riceve un valore casuale dalla sua distribuzione, ogni decisione viene estratta con la sua probabilità, e il modello calcola il risultato come se quello fosse il caso reale. Uno studio ripete questo centinaia o migliaia di volte con estrazioni indipendenti. Due regole pratiche:

  • Fissare il seme casuale quando il risultato diventa evidenza. Lo stesso seme riproduce le stesse esecuzioni, così un revisore può ripetere lo studio e qualsiasi singola esecuzione può essere rigiocata per vedere che cosa vi è accaduto.
  • Mantenere la logica del modello nel modello. Diramazioni con probabilità, cicli con conteggi e limiti di risorse appartengono allo stesso flusso eseguito dalla simulazione, non a un foglio di calcolo separato che si discosta dal progetto. Il flusso è di solito lo scenario operativo dell’analisi funzionale, con l’aggiunta delle durate.

Leggere i risultati

Uno studio produce un elenco di esiti, uno per esecuzione. Leggerlo in quattro modi.

  • Istogramma. La forma degli esiti: dove cade la maggior parte delle esecuzioni, se la distribuzione è asimmetrica e quanto sono lunghe le code.
  • Media e deviazione standard. Riepiloghi utili, con un intervallo di confidenza sulla media che si restringe man mano che si aggiungono esecuzioni. La media da sola non dice nulla sul rischio.
  • Percentili. P50 è la mediana: metà delle esecuzioni termina al di sotto. P90 o P95 è un valore di impegno: l’esito che si rispetta nel 90% o nel 95% dei casi. Tempistiche e budget vengono spesso impegnati a P80 o P90 anziché alla media.
  • Probabilità di soddisfare un requisito. La quota di esecuzioni che rispettano una soglia, per esempio «tempo totale al massimo 100 minuti». Si legge dalla curva di probabilità cumulativa (la curva a S), che riporta, per ogni valore x, la quota di esecuzioni con un esito al massimo pari a x. Un requisito espresso con una probabilità («in almeno il 90% dei casi») si verifica direttamente rispetto a questo numero.

Il margine si può leggere allo stesso modo: la differenza tra la soglia e la media è il margine in media; la differenza tra la soglia e il valore P90 o P95 è il margine disponibile al livello di confidenza a cui ci si impegna.

Quante esecuzioni bastano

Un risultato Monte Carlo è esso stesso una stima, e la sua precisione cresce con la radice quadrata del numero di esecuzioni. Per una probabilità p stimata da N esecuzioni, l’errore standard è circa √(p(1 − p) / N). Vicino allo 0% o al 100% il semplice intervallo di ±2 errori standard è poco affidabile, quindi la tabella usa l’intervallo di Wilson, che resta tra 0 e 100%.

Esecuzioni (N)Esecuzioni che rispettano la soglia (p ≈ 97,6%)Errore standardIntervallo al 95%
100981,5 punti percentualidal 93,0% al 99,4%
2001951,1 punti percentualidal 94,3% al 98,9%
1,0009760,5 punti percentualidal 96,5% al 98,4%
2,0001,9510,3 punti percentualidal 96,8% al 98,1%
10,0009,7560,15 punti percentualidal 97,2% al 97,8%

Il test pratico: lo studio ha abbastanza esecuzioni quando l’intervallo di confidenza del numero su cui si decide non attraversa più la linea di decisione. Nell’esempio seguente il requisito chiede il 90%; anche 100 esecuzioni danno un intervallo che resta sopra il 90%, quindi il verdetto è stabilito presto. Se la stima fosse stata del 91% con un intervallo dall’88% al 94%, sarebbero servite più esecuzioni. Le medie si stabilizzano rapidamente; i percentili nelle code (P95, P99) e le piccole probabilità di guasto richiedono molte più esecuzioni, perché solo poche esecuzioni vi ricadono.

La correlazione e il suo effetto

Estrarre ogni input in modo indipendente presuppone che un downlink lungo non dica nulla sull’elaborazione che segue. Spesso è falso: un grande volume di dati rallenta entrambi, un veicolo freddo rallenta diverse fasi di riscaldamento, una struttura pesante richiede un meccanismo più pesante. Gli input che condividono una causa sono correlati.

Una correlazione positiva non cambia la media di una somma, ma ne allarga la dispersione: i valori alti si presentano insieme e quelli bassi insieme, invece di compensarsi. Le code si allontanano, e con esse il valore P90 o P95 su cui poggia un impegno. Ignorare una correlazione positiva reale porta quindi a sottostimare il rischio.

Modi per gestirla:

  • Modellare esplicitamente la causa comune: estrarre il volume di dati una volta per esecuzione e derivarne entrambe le durate.
  • Estrarre gli input correlati da un numero casuale condiviso, così che si muovano insieme esecuzione per esecuzione.
  • Come minimo, eseguire lo studio una volta con input indipendenti e una volta completamente correlati, e riportare entrambi i risultati: la verità sta nel mezzo.

Errori comuni

ErrorePerché ingannaInvece
Falsa precisioneRiportare «P(meet) = 97,56%» partendo da intervalli di input stimati a occhio suggerisce una certezza che gli input non hannoArrotondare a ciò che gli input consentono, indicare l’intervallo di confidenza e dichiarare da dove provengono gli intervalli
Input considerati indipendenti che non lo sonoLe cause comuni vengono ignorate, la dispersione è troppo stretta e le code troppo corteModellare la causa comune, oppure delimitare il risultato con uno studio indipendente e uno correlato
Ignorare le codeRiportare solo la media nasconde quanto spesso il requisito non viene soddisfattoRiportare P50 e P90 o P95, e la probabilità di rispettare ciascuna soglia
Intervalli simmetrici per grandezze asimmetricheUna distribuzione normale attorno al valore più probabile elimina la lunga coda superioreUsare una forma triangolare o lognormale quando gli sforamenti sono maggiori dei risparmi
Troppo poche esecuzioniIl verdetto cambia quando lo studio viene ripetuto con un altro semeAggiungere esecuzioni finché l’intervallo non attraversa più la linea di decisione
Un modello diverso dal progettoUna copia del flusso in un foglio di calcolo si discosta dalla sequenza reale, dai suoi percorsi paralleli e dalle sue decisioniSimulare il flusso conservato nel modello, così che una modifica di progetto raggiunga l’analisi

Esempio svolto: il passaggio di ripresa di EO-1

EO-1 è un CubeSat 6U che riprende terreni agricoli, la missione fittizia del progetto MBSE di esempio. La sua specifica dei requisiti di sistema contiene un requisito temporale verificato per analisi:

6.5 Planning Cycle Time. The mission shall complete each planning cycle, from target list uplink to product delivery, within 100 minutes.

Il piano di verifica di 6.5 recita: una simulazione Monte Carlo del passaggio di ripresa rispetta i 100 minuti con una probabilità di almeno il 90%. La Measure MOE-7 Planning Cycle Time specifica il requisito, con una soglia di 100 minuti e un obiettivo di 80 minuti.

La tempistica operativa è l’azione OPS Run Nominal Imaging Pass. La stazione di terra invia il piano di ripresa, il veicolo lo decodifica e lo carica, poi si orienta verso il primo bersaglio mentre la fotocamera si riscalda. Riprende quattro bersagli, ciascuno una striscia che viene acquisita e poi codificata. Se è in vista un contatto con la stazione di terra (75% dei passaggi), trasmette i dati; altrimenti li conserva per il passaggio successivo. Infine la batteria si ricarica alla luce del sole mentre la stazione di terra riceve il downlink ed elabora i prodotti d’immagine.

AzionePosizione nel flussoDurataPiù probabile (min)Media (min)
OPS.1 Transmit Imaging PlanInizioTriangolare, da 4 a 9 minuti, picco 666.33
OPS.2 Receive Imaging PlanPoiFissa, 1 minuto11
OPS.3 Load Command SchedulePoiFissa, 2 minuti22
OPS.4 Rotate to TargetIn parallelo con OPS.5Normale, media 3, deviazione standard 0,5 minuti33
OPS.5 Prepare CameraIn parallelo con OPS.4Fissa, 5 minuti55
OPS.6 Capture Image StripCiclo, 4 bersagliNormale, media 40, deviazione standard 6 secondi0,67 per bersaglio0,67 per bersaglio
OPS.7 Encode and Store ImageCiclo, 4 bersagliUniforme, da 20 a 40 secondi0,50 per bersaglio0,50 per bersaglio
OPS.8 Transmit Image DataContatto in vista (75%)Normale, media 8, deviazione standard 1,5 minuti88
OPS.9 Hold Data OnboardNessun contatto (25%)Fissa, 1 minuto11
OPS.10 Recharge Battery in SunlightIn parallelo con OPS.11 e OPS.12Fissa, 35 minuti3535
OPS.11 Receive DownlinkPoi OPS.12Fissa, 9 minuti99
OPS.12 Process Image ProductsDopo OPS.11Normale, media 45, deviazione standard 10 minuti4545

Le stime puntuali

  • Valori più probabili, prendendo il ramo di contatto più probabile: 6 + 1 + 2 + max(3, 5) + 4 × (0,67 + 0,50) + 8 + max(35, 9 + 45) = 80,7 minuti. Rispetto alla soglia di 100 minuti sembra un margine di quasi 20 minuti.
  • Valori medi, pesando i due rami con la loro probabilità (0,75 × 8 + 0,25 × 1 = 6,25): 6,33 + 1 + 2 + 5 + 4,67 + 6,25 + max(35, 54) = 79,25 minuti.

Entrambi i numeri dicono che il passaggio rientra comodamente. Nessuno dei due dice quanto spesso non rientri, ed è esattamente ciò che chiede il requisito.

Il risultato Monte Carlo

Uno studio dello stesso flusso estrae ogni durata e la decisione sul contatto in ogni esecuzione, e lascia che i percorsi paralleli competano. La tabella riporta una verifica da un milione di esecuzioni calcolata separatamente in Python e lo studio Holarch da 2.000 esecuzioni mostrato nelle schermate seguenti. Usano generatori di numeri casuali diversi, quindi differiscono per l’errore di campionamento (per 2.000 esecuzioni circa 0,25 minuti sulla media, 0,5 minuti su P95 e 0,35 punti percentuali su una probabilità).

OutputPython, 1.000.000 di esecuzioniHolarch, 2.000 esecuzioni, seme 2026
Tempo totale medio79,35 minuti79,35 minuti
Deviazione standard10,35 minuti10,16 minuti
P5 / P50 / P9562,4 / 79,3 / 96,6 minuti62,4 / 79,4 / 96,0 minuti
P9092,8 minuti92,4 minuti
P(totale ≤ 80 minuti), l’obiettivo di MOE-752.7%52.4%
P(totale ≤ 100 minuti), requisito 6.597.6%97,8% (1.955 su 2.000; intervallo al 95% dal 97,0% al 98,3%)

Che cosa dicono i numeri:

  • Il requisito è soddisfatto. Circa il 97,6% dei passaggi termina entro 100 minuti, ben al di sopra del 90% richiesto, e l’intervallo calcolato su 2.000 esecuzioni resta sopra il 90% con ampio margine.
  • Il margine è più piccolo di quanto sembri. Il margine sulla media è di circa 20,6 minuti, ma il valore P95 è di circa 96,6 minuti, quindi con una confidenza del 95% restano solo circa 3,4 minuti. Circa un passaggio su quaranta supera la soglia. In quasi tutte quelle esecuzioni OPS.12 Process Image Products ha richiesto più di un’ora (67 minuti in media, rispetto alla sua media di 45), e nel 95% di esse il ramo di contatto ha aggiunto il downlink di 8 minuti.
  • L’obiettivo è un lancio di moneta. L’obiettivo di 80 minuti di MOE-7 si trova quasi esattamente sulla mediana: viene raggiunto solo in circa metà dei passaggi. La stima più probabile di 80,7 minuti lo nasconde completamente.
  • Qui il bias di convergenza è piccolo. La media di 79,35 minuti supera di soli 0,1 minuti la stima sui valori medi, perché la catena di terra (OPS.11 e OPS.12, media 54 minuti) è più breve della ricarica di 35 minuti solo in circa il 3% delle esecuzioni. In un flusso i cui percorsi paralleli hanno lunghezze più simili, il divario cresce.

Lo studio indica anche la leva su cui agire. OPS.12 Process Image Products porta la maggior parte della dispersione (una deviazione standard di 10 minuti, rispetto a circa 3 minuti dovuti alla decisione sul contatto e 1 minuto da tutto il resto), quindi ridurre il tempo di elaborazione sposta la coda; accelerare le fasi del veicolo serve a poco.

Lo stesso esempio con correlazione

Il downlink e l’elaborazione dipendono entrambi da quanti dati d’immagine ha prodotto il passaggio: più dati significano una trasmissione più lunga e un’elaborazione più lunga. Estraendo OPS.8 e OPS.12 da un unico numero casuale condiviso per esecuzione (8 + 1,5z e 45 + 10z minuti per la stessa normale standard z), così che a un downlink lungo corrisponda un’elaborazione lunga, entrambe le distribuzioni restano invariate e si ottiene:

OutputIndipendenti (Python / Holarch)OPS.8 e OPS.12 correlati (Python / Holarch)
Media79,35 / 79,35 minuti79,35 / 79,04 minuti
Deviazione standard10,35 / 10,16 minuti11,35 / 11,44 minuti
P9596,6 / 96,0 minuti98,5 / 99,0 minuti
P(totale ≤ 100 minuti)97.6% / 97.8%96.1% / 96.2%

La media non cambia e la dispersione cresce di circa un decimo. Il valore P95 si sposta in avanti di circa due minuti, il che riduce il margine con confidenza del 95% da circa 3,4 minuti a circa 1,5. Il requisito è ancora soddisfatto al 90%, ma un impegno più stringente, come 100 minuti nel 95% dei passaggi, sarebbe ora al limite. Per un impegno a P95, il caso correlato è quello più sicuro su cui pianificare.

Scaricare l’esempio: lo studio di incertezza del passaggio di ripresa di EO-1 come cartella di lavoro Excel (input con le loro distribuzioni, i risultati indipendenti e correlati con percentili e P(meet), e la tabella del numero di esecuzioni), oppure gli stessi dati in CSV: input e distribuzioni del passaggio di ripresa e risultati Monte Carlo, percentili e P(meet). Usarlo come modello per documentare il proprio studio.

Provarlo in Holarch

In Holarch, la simulazione Monte Carlo viene eseguita sul flusso di azioni del modello: lo stesso Diagramma di Action che descrive l’operazione è il modello che viene simulato. La Durata di ogni Action è un numero fisso o una distribuzione con un’unità, come =triang.dist(4, 9, 6) minuti (minimo, massimo, picco), =norm.dist(40, 6) secondi o =uniform.dist(20, 40) secondi. Sono disponibili dieci distribuzioni, tra cui beta, lognormale, esponenziale e Weibull. Per i dettagli vedere Simulazione.

Il passaggio di ripresa come Diagramma di Action, con I/O e risorse nascosti: il ciclo viene eseguito quattro volte, l’OR decide il contatto e l’ultimo parallelo attende il più lento tra la ricarica e l’elaborazione a terra.
  1. Creare il progetto CubeSat con Gestisci progetti → File di progetto ▾ → Nuovo progetto demo → CubeSat (ingegneria dei sistemi guidata). Contiene già OPS Run Nominal Imaging Pass con le durate della tabella, il requisito 6.5 e la Measure MOE-7.
  2. Aprire il Diagramma di Action dell’azione e scegliere ▶ Simula ▾ → Monte Carlo. Impostare Esecuzioni su 2000, Seed casuale su 2026 e Varia le durate fisse su Nessuna (per impostazione predefinita la demo aggiunge ±10% alle durate fisse; lo studio qui le mantiene fisse), poi premere ▶ Esegui Monte Carlo.
  3. Leggere Statistiche, Distribuzione delle durate e Probabilità cumulativa (curva S) nella scheda Distribuzione. Inserire 100 nel campo x della curva S per leggere P(X ≤ 100 min).
Distribuzione delle durate e curva S per 2.000 esecuzioni con seme 2026. La lettura indica la probabilità di terminare entro 100 minuti.
  1. Aprire la scheda Fattori determinanti per vedere quali azioni occupano il tempo nell’insieme delle esecuzioni e quali combinazioni di rami si sono verificate.
  2. Fare clic su Verifica rispetto a un requisito… e scegliere la Measure MOE-7 Planning Cycle Time. Vengono compilati il criterio (≤ 100 minuti, dalla sua soglia e dal verso di miglioramento) e il requisito 6.5; mantenere la probabilità richiesta del 90%. La tabella riporta P(meet) con il suo intervallo di confidenza, il margine e il verdetto. Impostare Usa su Obiettivo per verificare l’obiettivo di 80 minuti, che non è soddisfatto con circa il 52%.
La verifica rispetto al requisito: P(meet) è ben al di sopra del 90% richiesto, quindi il risultato è Superato.
  1. Registra risultato… mostra un’anteprima delle modifiche: il Valore previsto di MOE-7 diventa la media, e un Test Case che verifica 6.5 riceve lo stato Superato e il testo del risultato. Applicarle come un unico passo di annullamento.

L’editor della Durata di Holarch estrae ogni distribuzione in modo indipendente. Il confronto correlato qui sopra ha usato Durate guidate da hook di script che leggono un valore condiviso per esecuzione, cosa che l’editor della Durata non offre ancora. Per delimitare la correlazione nel proprio modello, confrontare lo studio indipendente con un calcolo completamente correlato eseguito al di fuori dello strumento. Anche l’energia della batteria durante il passaggio viene simulata: la quantità minima e quella finale della risorsa Battery Charge sono output Monte Carlo accettati dalla verifica rispetto al requisito. I budget di massa e di potenza con contingenze e margini sono gestiti in Budget e TPM, e lo stesso ragionamento vale per i valori incerti in uno studio di trade-off: una classifica che si inverte all’interno degli intervalli degli input non è ancora una decisione.

Dove andare dopo

  • Simulazione: esecuzioni a eventi discreti e Monte Carlo, i pannelli e la verifica rispetto al requisito.
  • Budget e TPM: aggregazioni con contingenze, allocazioni, margini e misure di prestazione.
  • Diagrammi di Action: il flusso, i costrutti, le risorse e gli script che una simulazione legge.