P. Carlo Cacciabue - POLIsmanettoni...Annex 13 and in the ICAO Accident/Incident Reporting Manual (ICAO Doc 9156) High speed taxiway collision, major turbulence injuries MAJOR INCIDENT

Page 1

POLITECNICO DI MILANO Anno accademico 2011- 12

Modulo 4 – STA: Safety Management System – Part II P. Carlo Cacciabue

Corso di Laurea in Ingegneria Aerospaziale

“Il Safety Management System e metodologia ARMS”

Docente:

P. Carlo Cacciabue

Page 2



Safety Management System I. SMS come approccio proattivo

II. piani strategici di ICAO, CE e EASA

III. SMS come sistema di gestione della sicurezza composto da:

un insieme coordinato di processi

coinvolge tutti i livelli dell'organizzazione (top management a tutti i livelli)

continuamente alimentato dalle figure chiave della prima linea

CONCETTI DI BASE

Il Safety Management System è la forma più completa ed integrata dell’approccio alla sicurezza messo in atto in un’organizzazione nei confronti della prevenzione, gestione e contenimento di occorrenze negative, eventi di pericolo, non-conformità e incidenti che si possono verificare nella vita e nei processi produttivi di un sistema.

Page 3



Componenti principali di SMS

I. la politica di sicurezza e gli obiettivi istituzionali;

II. l’analisi e la gestione del rischio;

III. la valutazione dei pericoli e della sicurezza reale;

IV. la promozione della sicurezza in seno all’organizzazione.

CONCETTI DI BASE

L’analisi dei rischi e la valutazione reale dei pericoli sono le attività costitutive del SMS.

Le politiche e gli obiettivi definiti dal management e la promozione della sicurezza forniscono il quadro di riferimento, nonché il sostegno e la garanzia che le attività operative di base di sicurezza e di gestione del rischio possano essere condotte in modo efficace ed indipendente

Page 4



Aviation Risk Management Solutions - ARMS

• Un gruppo di lavoro di esperti del dominio industriale aeronautico ed accademico è stato attivato nel 2007 per sviluppare una nuova e migliore metodologia per la valutazione di rischio operativa.

• L’obbiettivo primario del gruppo era di sviluppare una metodologia per le compagnie aeree ma di fatto questa è completamente applicabile ad altre organizzazioni aeronautiche.

• La metodologia prodotta definisce un processo generale per la valutazione operativa di rischio.

Page 5



Aviation Risk Management Solutions - ARMS

• Il processo di valutazione comincia con la classificazione di rischio di evento (“Event Risk Classification” - ERC), che è la revisione degli eventi realmente accaduti e pertanto rappresenta l’analisi retrospettiva dei pericoli incontrati e del relativo rischio potenzialmente corso.

• Il passo seguente è analisi di dati per identificare i problemi di sicurezza correnti e prevedibili. Questi sono dunque valutati dettagliatamente con la metodologia di analisi predittiva denominata “Safety Issue Risk Assessment” - SIRA.

• Il processo intero si accerta che tutte le azioni necessarie di sicurezza siano identificate, genera un registro per la valutazione continua dei rischi e delle azioni di controllo, attraverso le barriere di sicurezza, e fornisce una funzione di controllo di prestazioni di sicurezza. SIRA e ERC sono strumenti di base per lo sviluppo di un accurato "Safety Management System” (SMS)

Page 6



• 5 livelli di severità

in ARMS sono 4.

• Inclusione delle barriere consequenziali/mitigative di eventi conseguenza e barriere consequenziali di gravità dell’occorrenza

in ARMS si considerano solo barriere orientate alla mitigazione degli eventi conseguenza e nessuna barriera consequenziale

ARMS – Modificato ed adattato

Page 7



Processo di valutazione del Rischio

Page 8



Event Risk Classification (ERC)

L'obiettivo principale di ERC è di fungere da prima selezione di tutti i dati ricevuti di sicurezza ed identificare quando un’azione urgente fosse necessaria.

La tecnica ERC si basa su due domande fondamentali: 1. Se questo evento fosse evoluto in un incidente o inconveniente grave, quale

sarebbe stato il risultato più credibile?

2. Quale sarebbe potuta essere l'efficacia delle barriere restanti fra questo evento ed il risultato di incidente più credibile?

Page 9




Typical accident occurrences/scenarios

Loss of control, mid air collision, uncontrollable fire on board, explosions, total structural failure of the aircraft, collision with terrain

ACCIDENT An occurrence in which: a) a person is fatally or seriously injured or b) the aircraft sustains damage or structural failure which would normally require major repair or replacement, or c) the aircraft is missing or is completely inaccessible.

Engine failure, fires, Terrain and obstacle clearance incidents, Flight control and stability problems, Take-off and landing incidents, Flight crew incapacitation, Decompression, ecc.

SERIOUS INCIDENT An incident involving circumstances indicating that an accident nearly occurred.N.B. Examples of serious incidents can be found in Attachment D of ICAO Annex 13 and in the ICAO Accident/Incident Reporting Manual (ICAO Doc 9156)

High speed taxiway collision, major turbulence injuries

MAJOR INCIDENT An incident associated with the operation of an aircraft, which safety of aircraft may have been compromised, having led to a near collision between aircraft with ground or obstacles (i.e. safety margins not respected which is not the result of an ATC instruction)

Pushback accident, minor weather damage SIGNIFICANT INCIDENT An incident involving circumstances indicating that an accident, a serious or major incident could have occurred, if the risk had not been managed within safety margins, or if another aircraft had been in the vicinity.

Any event which could not escalate into an accident, even if it may have operational consequences (e.g. diversion, delay, individual sickness)

OCCURRENCE WITH NO SAFETY EFFECT An incident which has no safety significance. N.B. This appears to be a contradiction with the ICAO definition of an incident: An occurrence, other than an accident, associated with the operation of an aircraft which affects or could affect the safety of operation.

Page 10




Typical accident scenarios If this event had escalated into an accident outcome, what would have been the most credible outcome?


ACCIDENTLoss of aircraft or multple fatalities

High speed taxiway collision, severe turbulence injuries MAJOR INCIDENT1 or 2 fatalities, multipleserious injuries, major damage to aicraft

Pushback accident, minor weather damage SIGNIFICANT INCIDENTMajor injuries, mino damages to aicraft


OCCURRENCE WITH NO SAFETY EFFECTNo potential damage or injury could occur

Page 11



Domanda 1: Se questo evento fosse evoluto in un incidente o inconveniente grave, quale sarebbe stato il risultato più credibile?

Si provi ad estendere l'evento in un risultato di incidente. Se fosse virtualmente impossibile che l'evento si possa intensificare in un incidente, allora ci si posiziona nella riga inferiore, a valore 1 di ERC.

Se si può immaginare uno scenario credibile di occorrenza/incidente (anche se improbabile!), allora il piano d'azione più credibile deve essere considerato e si giudichi la relativa conseguenza tipica, selezionando la riga corrispondente nella tabella. Gli scenari tipici di incidente elencati a destra della tabella possono essere di aiuto.


Page 12



Domanda 2: Quale sarebbe potuta essere l'efficacia delle barriere restanti fra questo evento ed il risultato di incidente più credibile?

Per accedere “al margine di sicurezza” restante, si consideri sia il numero che la robustezza delle barriere restanti fra questo evento ed il piano d'azione di incidente in domanda 1, ivi comprese le barriere consequenziali.

Barriere già venute a mancare sono ignorate. Soltanto le barriera che hanno funzionato e tutte le barriere successive ancora in grado di intervenire e controllare l’evoluzione dell’occorrenza o mitigare le conseguenze sono considerate.


Page 13




Analizzare immediatamente ed agire di conseguenza

Studiare o effettuare ulteriore valutazione di rischio

Usare per il miglioramento continuo dell’informazione

Effective Limited Minimal Non effective

50 102 502 2500 Catastrofico

10 21 101 500 Maggiore

2 4 20 100 Minore

Trascurabile

What was the effectiveness of the "consequencial barriers" between this event and the most credible

accident scenario?

1

Page 14



Per la scelta della colonna della matrice:

Sia scelta la colonna di destra estrema, se l'unica cosa che separa l'evento da un incidente è fortuna pura o abilità eccezionale.

La 3a colonna è scelta se alcune barriere esistono ma la loro efficacia è considerate “minima”. Ad esempio un annuncio di GPWS poco prima di collisione con il terreno (CFIT).

La 2a colonna è selezionata se l'efficacia delle barriere fosse “limitata”. Tipicamente, questa è una situazione anormale, più difficile da controllare, ma con ancora un margine di sicurezza restante considerevole - per esempio. un errore moderato nel loadsheet o caricamento contro piccoli problemi di rotazione al decollo.

La colonna di sinistra estrema si applica se il margine di sicurezza fosse “efficace”, tipicamente consistendo di parecchie buone barriere - per esempio. passeggero che fuma nella toilette contro l'incidente di incendio in volo.


Page 15







Typical accident scenarios If this event had escalated into an accident outcome, what would have been the most credible outcome? Effective Limited Minimal Non

effectiveLoss of control, mid air collision, uncontrollable fire on board, explosions, total structural failure of the aircraft, collision with terrain

ACCIDENTLoss of aircraft or multple fatalities 50 102 502 2500 Catastrofico

High speed taxiway collision, severe turbulence injuries MAJOR INCIDENT1 or 2 fatalities, multipleserious injuries, major damage to aicraft 10 21 101 500 Maggiore

Pushback accident, minor weather damage SIGNIFICANT INCIDENTMajor injuries, mino damages to aicraft 2 4 20 100 Minore


OCCURRENCE WITH NO SAFETY EFFECTNo potential damage or injury could occur Trascurabile


accident scenario?

1

Page 16







1 2

Typical accident scenarios If this event had escalated into an accident outcome, what would have been the most credible outcome? Effective Limited Minimal Non

effectiveLoss of control, mid air collision, uncontrollable fire on board, explosions, total structural failure of the aircraft, collision with terrain

ACCIDENTLoss of aircraft or multple fatalities 50 102 502 2500 Catastrofico

High speed taxiway collision, severe turbulence injuries MAJOR INCIDENT1 or 2 fatalities, multipleserious injuries, major damage to aicraft 10 21 101 500 Maggiore

Pushback accident, minor weather damage SIGNIFICANT INCIDENTMajor injuries, mino damages to aicraft 2 4 20 100 Minore


OCCURRENCE WITH NO SAFETY EFFECTNo potential damage or injury could occur Trascurabile


accident scenario?

1

Fase 1: domanda 1 Fase 2: domanda 2

Page 17



ERC - Risk Index

Effective Limited Minimal Non effective

50 102 502 2500 Catastrofico

10 21 101 500 Maggiore

2 4 20 100 Minore

Trascurabile1

Page 18



ERC MATRIX

2500

500

502

100

101

102

20

21

50

4

10

2

1

If the only thing separating the event from an accident was luck or exceptional skill

If the effectiveness of the barrier was limited: i.e. moderate error in loadsheet or loading vs slight rotation problem

If the saftey margin was effective typically consisting of several good barrier Investigate

immediately and take action. Can be considered a Safety Issue

Investigate or carry out further Risk Assessment

Use for continuous improvement (flows into the database)

If some barriers were still in place but their total effectiveness was minimal GPWS just before imminent CFIT

Catastrophic Accident Loss of aircraft or multiple fatalities (3 or more)

Major Accident 1 or 2 fatalities, multiple serious injuries, major damage to the aircraft

Minor injuries or damage

Minor injuries, minor damage to the aircraft

No accident outcome No potential damage or injury could occur

Page 19



2500

500

502

100

101

102

20

21

50

4

10

2

1

What was the effectiveness of the remaining barriers between this event and the most credible accident scenario?

Effective Limited Minimal Not effective

If this event had escalated into an accident outcome, what would have been the most credible outcome?

Catastrophic Accident

Loss of aircraft or multiple fatalities (3 or more)

Major Accident

1 or 2 fatalities, multiple serious injuries, major damage to the aircraft

Minor injuries or damage

Minor injuries, minor damage to the aircraft

No accident outcome

No potential damage or injury could occur

Typical accident scenarios


High speed taxiway collision, major turbolence injuries

Pushback accident, minor weather damage

Any event whcih could not escalate into an accident, even if it may have operational consequences


Page 20



Reported ground event per type

0

5

10

15

20

25

30

35

40

EVENT TYPE 1 EVENT TYPE 2 EVENT TYPE 3 EVENT TYPE 4 EVENT TYPE 5

Event Type

0

500

1000

1500

2000

2500

3000

3500

N° EVENTI RATE ERC Risk Index

ERC Risk Index

EVENT TYPE 1 650

EVENT TYPE 2 325

EVENT TYPE 3 3200

EVENT TYPE 4 1200

EVENT TYPE 5 1670

N° EVENTI

EVENT TYPE 1 37

EVENT TYPE 2 18

EVENT TYPE 3 23

EVENT TYPE 4 7

EVENT TYPE 5 12

ERC - Risk Index

Page 21



ERC - Risk Index

Page 22



Scenario: Wrong take off weight Considerable less than actual weight inserted on FMS resulting in aircraft difficult to rotate. Rejected take off. Runway long and dry. Daytime CAVOK, OAT 25°C. AIRBUS 320 Worst probable outcome: Runway over-run

Aircraft could end up of the runway and catch fire. Major damage.

Safety barriers in place at the time of occurrence: • Pilots training, SOP

• Environmental conditions:

• day time, clear weather

• Dry runway, Long runway

•Aircraft technical status:

• auto brakes, new tires

•Effective engine reverse

Page 23



2500

500

502

100

101

102

20

21

50

4

10

2

1

Major Accident

1 or 2 fatalities, multiple serious injuries, major damage to the aircraft

If the effectiveness of the barrier was limited: i.e. moderate error in loadsheet or loading vs rotation problem

YELLOW REQUIRED ACTION

Page 24



Safety Issue Risk Assessment (SIRA)

Il processo SIRA modificato applica una formula dove il rischio si basa su 5 fattori.

1. Frequenza/probabilità di cosiddetto evento iniziatore/innescante

2. Efficacia delle barriere causali per la prevenzione dell’evento iniziatore (Prevenzione – Fase 1 di Safety Management)

3. Efficacia delle barriere causali per la prevenzione di eventi conseguenza dell’evento iniziatore ed il recupero della situazione (Recupero – Fase 2 di Safety Management)

4. Efficacia delle barriere consequenziali per il contenimento delle conseguenza dell’incidente (Contenimento – Fase 3 di Safety Management)

5. Severità dell’occorrenza/incidente più probabile

Page 25




Page 26




1. Una volta che il problema di sicurezza è stato definito, l'analista deve generare gli scenari applicabili in caso di incidente.

2. L'evento innescante può avere varie origini (alcuni esempi sono forniti nella figura).

3. Il primo passo è una valutazione dell'esposizione a questo evento con la generazione di uno stato operativo indesiderabile (“Undesirable Operational State” - UOS) è definito come: “La fase in uno scenario di incidente raggiunta dall’evoluzione degli eventi tale da rendere l'incidente evitabile soltanto con le misure di recupero di successo.

Il processo SIRA modificato segue il seguente percorso

Page 27




4. I fattori 2, 3 e 4 della formula di SIRA sono valutazioni circa l'efficacia delle barriere di prevenzione, recupero e contenimento.

5. Per concludere, il 5° fattore è la severità del risultato di incidente, in conformità con la scala di ERC.

Livelli inaccettabili del rischio: · Stop · Improve Livelli tollerabili del rischio: · Secure · Monitor · Accept

Page 28



Stop: La parte interessata delle operazioni (per esempio. la destinazione, il tipo di velivolo, la procedura) deve essere interrotta immediatamente fino ad effettuare una misura accettabile di riduzione di rischio.

Improve: La questione deve essere attivare il gruppo di azione di sicurezza (“Safety Action Group” - SAG) e viene monitorata dal management. Le misure di riduzione di rischio devono essere identificate ed iniziate all'interno di una struttura in un arco di tempo definito.

Secure: Il livello di rischio e la relativa tendenza deve essere controllato continuamente (almeno al livello di gruppo di azione di sicurezza) per impedire l'escalation al livello inaccettabile.

Monitor: Il problema è seguito regolarmente con la prassi di analisi della base di dati ed il controllo dei valori di SIRA per tutti i problemi di sicurezza nel registro di rischio.

Accept: Nessuna azione specifica è richiesta poiché il rischio è in conformità al livello accettabile.


Page 29




Page 30



Safety Issue Risk Assessment (SIRA) 3.1 Triggering event 3.2 Undesirable Operational State 3.3 Accident Outcome 3.4 Consequences Limitation

Describe the barriers

4.1 To avoid the UOS 4.2 To recover situation before the Accident

4.2 To contain Accident consequences

Risk Assessment

The estimated frequency of the triggering event (per

flight sectors) is:

The barriers will fail in AVOIDING the UOS...

The barriers will fail in RECOVERING the situation before

the ACCIDENT...

The barriers will fail in CONTAINING the consequences of the ACCIDENT Accident severity

About every 100 sectors Once in 100 times Once in 100 times Practically always Maggiore

1.E-02 1.E-02 1.E-02 1.E+00

UOS frequency: Mean Accident frequency:

1.E-04 1.E-06

Result 1.E-01

6.1 Resulting risk class Monitor 1.E-01Monitor

Difference with tolerability limit Consequence

1.E-02 Accept

1.E-01 Monitor

1.E+00 Secure

1.E+01 Improve

1.E+02 Stop

The accident severity would be...

Tolerability limit Short definition

Catastrofico 1.E-09 3 fatalities or more

Pericoloso 1.E-07 Serious injuries

Maggiore 1.E-05 Major injuries

Minore 1.E-03 Minor injuries

Trascurabile 1.E+00 Negligible

Page 31



Esempio Applicazione SIRA

The Safety Issue:

• Incidente in decollo dovuto a problemi di connessione dei controlli del volo tra i sistemi del FP e NFP

• Errori o inappropriate manutenzioni

Applicazioni:

• SIRA originale

• SIRA modificato

Page 32



SIRA: Originale The Safety Issue:

• Incidente in decollo dovuto a problemi di connessione dei controlli del volo tra i sistemi del FP e NFP - Errori o inappropriate manutenzioni

Minacce:

• Errore manutenzione: scambio dei sistemi di monitoraggio/controllo piloti Probabilità di occorrenza di tale errore (EJ): 10-5

UOS:

• Taking off with an aircraft with the problems of cross-connection

Barriere Causali pre-Evento Iniziatore /UOS:

1. Qualità della manutenzione e dei controlli del lavoro fatto dal capo squadra Si assume che tale barriera abbia una frequenza di insuccesso pari a 1/100

2. SOP del pre-flight dei piloti Si assume che tale barriera abbia una frequenza di insuccesso pari a 1/100

Page 33



SIRA: Originale

Barriere Causali post-Evento Iniziatore /UOS:

1. Nessuna

Incidente conseguente :LOC in flight – Severità/Gravità

• Catastrofico

Page 34



1 Safety Issue title:

2 Define/scope the SI:

Description of Hazard(s)

Description of Scenario

A/C types

Locations

Time period under study

Other

Maintenance hangar/workshop

Next 12 months

SAFETY ISSUE RISK ASSESSMENT (SIRA) TOOLAccident (at takeoff) due to cross-connected flight controls of the Pilot Flying (PF).

Maintenance error where flight control wires are cross-connected on one or both sides.

The accident scenario is total loss of the aircraft due to handling problems after lift-off (Loss Of Control, LOC).

AB Fly-by-wire

Page 35



3

3.1 Triggering event 3.2 Undesirable Operational State 3.3 Accident Outcome

Maintenance error whereboth command andmonitoring channels arecross-connected.

Taking off with anaircraft with theabove maintenanceerror

Loss Of Control (LOC) at takeoff after liftoff

4 Describe the barriers

4.1 To avoid the UOS 4.2 To recover before the Accident

The maintenance team issupposed to make an operational check after the maintenance task.

This barrier could fail eitherbecause the check is omitted ornot done carefully enough (“itmoves” is not enough, the direction needs to be correct). Estimated conservative failure rate is: 1/100 times. During taxi-out, the pilotsmake a flight controls check. This may fail for the same reasons as for the maintenance team. The estimated failure rate is the same 1/100.

The Recovery Barrier consists oftwo things: 1. either only one side isaffected and by luck the Pilot NotFlying (PNF) side; or 2. the PF manages to control the aircraft despite the cross-connection.

This is deemed very difficult and subject to wind effects just after lift-off.

Analysis of potential Accident Scenario

Page 36



5 Risk Assessment


flight sectors) is:



the ACCIDENT...The accident severity would be...

About every 100000 sectors Once in 10 000 times Practically always Catastrophic

1,E-05 1,E-04 1,E+00


1,E-09 1,E-09

6 Result 1,E+00

6.1 Resulting risk class Secure 1,E+00

Comments on actions:

Secure

Page 37







A/C types

Locations


Other

3

3.1 Triggering event 3.2 Undesirable Operational State 3.3 Accident Outcome


Taking off with anaircraft with theabove maintenanceerror

Loss Of Control (LOC) at takeoff after liftoff

4 Describe the barriers

4.1 To avoid the UOS 4.2 To recover before the Accident





5 Risk Assessment


flight sectors) is:



the ACCIDENT...The accident severity would be...

About every 100000 sectors Once in 10 000 times Practically always Catastrophic

1,E-05 1,E-04 1,E+00

UOS frequency: Mean Accident frequency: Stop

1,E-09 1,E-09 Improve

6 Result 1,E+00 Secure

6.1 Resulting risk class Secure 1,E+00 Monitor

Comments on actions: Accept

SAFETY ISSUE RISK ASSESSMENT (SIRA) TOOLAccident (at takeoff) due to cross-connected flight controls of the Pilot Flying (PF).



AB Fly-by-wire


Next 12 months


Secure

Page 38



SIRA: Rivisitato





A/C types

Locations


Other

SIRA RevisitedAccident (at takeoff) due to cross-connected flight controls of the Pilot Flying (PF).



AB Fly-by-wire


Next 12 months

Page 39




3.1 Triggering event 3.2 Undesirable Operational State 3.3 Accident Outcome 3.4 Consequences Limitation


Loss Of Control (LOC) at takeoff after liftoff None

Describe the barriers

4.1 To avoid the UOS 4.2 To recover situation before the Accident

4.2 To contain Accident consequences





None

Taking off with an aircraft with theabove maintenance error

Page 40



5 Risk Assessment


flight sectors) is:



the ACCIDENT...

The barriers will fail in CONTAINING the consequences of the ACCIDENT

Accident severity

About every 100000 sectors Once in 10 000 times Practically always Practically always Catastrofico

1,E-05 1,E-04 1,E+00 1,E+00


1,E-09 1,E-09

6 Result 1,E+00

6.1 Resulting risk class Secure 1,E+00Secure

SIRA: Rivisitato

Page 41



Grazie per la Vostra attenzione

Documents

P. Carlo Cacciabue - POLIsmanettoni...Annex 13 and in the ICAO Accident/Incident Reporting Manual (ICAO Doc 9156) High speed taxiway collision, major turbulence injuries MAJOR INCIDENT