Airworthiness Analysis

Question 

How many Approvals do Airworthiness oversee?

1000

12501400

Question 

How many Approvals do Airworthiness oversee?

1000

12501400

Question 

How many Q‐Pulse events did we complete in 2015?

4045             5250            7400

Question 

How many Q‐Pulse events did we complete in 2015?

4045 5250            7400

Airworthiness Workload

Aircraft AuditPt MG

Airworthiness manages approximately 1400 approvals located not only within the UK, but also all around the world. This includes 125 overseas approvals on behalf of EASA in such locations as Singapore, Australia and China and 130 approvals on behalf of the UK Military. Airworthiness also manages 260 approvals due to the recently created Bi‐lateral agreements with the United States (FAA) and Canada (TCCA) and the soon to be completed agreement with Brazil. Beyond just approval oversight AW carries out over 1,000 SAFA inspections, 250 ACAMs, 200 CofAs &permits, Certification/design, MOR and training/consultation.

1400 Approvals (Overview)

UK Pt 145 Maintenance 357

UK Pt MG Continuing Airworthiness 214

UK Pt 21G production 176

UK Pt 147 Training Organisations  65

Overseas Approvals (CAAi) 125

Military (CAAi) 130

UK BCAR 77

FAA and TCCA 252

4045 Q‐Pulse Inspections/Reviews

UK Pt 145 Maintenance 1049

UK Pt MG Continuing Airworthiness 374

UK Pt 21G production 406

UK Pt 147 Training Organisations  417

Overseas Approvals (CAAI) 493

Military 208

UK BCAR 97

FAA and TCCA 373

Average 138Hrs/Approval

Average 48 Hrs/Approval

Average 35 Hrs/Approval

23Hrs/Approval

This diagram demonstrates that the average base‐line hours (Combination of Complexity/Performance) as planned for each approval, allocates our Resource proportionally.

Airworthiness Workload•FAA/TCCA/BCAR approvals not included.• Initials not included• Baseline hours cover all activity scheduled & Unscheduled

Workload Overview

Aircraft AuditPt MG

These pie charts show the percentage of time our field force (not including SAFA) within AW spend for each activity. We now have a forward looking forecast and using metric’s the ability to measure what we actually achieved. With the dynamic nature of our operational workload and the limitation of job time recording, a mismatch between actual and forecast  would be expected. Additionally the time periods for these charts also differ, but despite this, the data gives us a real insight into our workload;Oversight (Green) – The Forecast is higher than the actual, limitations of job time recording (metric’s) as a results the 5 minutes used here and there relating to oversight  tend not to get recorded correctly and get swept up into the Management Other (Bucket). Not all unscheduled tasks, which mostly consist of projects/working groups have their own metric’s code, so again they are swept up into the Management Other (Bucket).  Overall confidence in our job time recording and forecasting is fairly high, especially within the context of known limitations. All of these activities except Management and Unscheduled are directly funded via charges/contracts. Airworthiness forecasted 78% directly funded  activity and achieved 73%. 

45%

5%19%

8%

23%

51%

6%11%

11%

21%

Forecast Nov‐15 to Nov‐16

Oversight

Actual (Metric’s) Apr‐15 to Jan‐16

OversightOversightCAAi CAAi

Unscheduled Unscheduled

Management Management

Aircraft Aircraft

Findings Analysis 2015

08/07/2016 9

Question 

In 2014 AW raised 4414 findings, how many findings did we raise 

in 2015?

5,002          4,047           3497          

Question 

In 2014 AW raised 4414 findings, how many findings did we raise 

in 2015?

5,002          4,047           3497          

2015 Findings Overview

Pt 145

Aircraft Audit

4375 4414

3497

0

500

1000

1500

2000

2500

3000

3500

4000

4500

5000

2013 2014 2015

AW Findings Raised3497 findings were raised by Airworthiness in 2015. At first glance it would appear that the number of findings raised in 2013 & 2014 is almost identical. Further investigation has revealed that 2013 did not contain a complete set of data, due to the phased introduction of Q‐Pulse within Airworthiness that year. 2013 & 2014 contained general aviation data, with 2015 being the first year this data has been completely separated, which helps to explain the drop off in the number of findings raised. 

Warning‐Management Information  can lead to incorrect conclusions without the narrative/intelligence that gives the necessary context.

Including GA

Including GA

AW only

2015 Level 1 Findings

Pt 145

Aircraft Audit

0

2

4

6

8

10

12

14

16

18

2013 2014 2015

Level 1 Findings Raised

4 UK Pt MG

2 UK Pt 147

2 Aircraft Survey 1 UK Pt 145

2015

9 level 1 findings were raised by Airworthiness during 2015. All level 1 findings have been individually reviewed, as trending is difficult for such a small set of data. 

2 level 1 findings against Pt 147 training schools, regarding examination irregularities has identified  that might be prevalent across the sector. 

AW AW AW

GAU

GAUGAU Nil

Safety Severity

Aircraft Audit

7%

46%

47%

High Moderate Low

Safety Severity adds greater granularity to findings beyond just recording the level. High Safety severity has a direct link to safety, Moderate has a potential link to safety and Low has no link to Safety. 

2015

Are more Moderate/high Safety Severity findings raised against the               Corporate jet Sector?

Safety Severity

Aircraft Audit

7%

46%

47%

High Moderate Low

Safety Severity adds greater granularity to findings beyond just recording the level. High Safety severity has a direct link to safety, Moderate has a potential link to safety and Low has no link to Safety. 

2015

(26%) (3%)

(71%)

(Corporate jet Sector%)

Are more Moderate/high Safety Severity findings raised against the               Corporate jet Sector?

Safety Severity

Pt 145

Aircraft AuditPt MG0

200

400

600

800

1000

1200

1400

UK Pt MG UK Pt 21G UK Pt 147 UK Pt 145 ACAM OverseasPt 145

HighModerateLow

357 OrgsAV‐ 3.3

94 OrgsAV‐ 3.4

66 OrgsAV‐ 1.4

177 OrgsAV‐ 2.6

214 OrgsAV‐ 2.1 AV‐ 1.1

Very few  high safety severity findings were raised against Part21G production or Part 147 Training  organisations, these findings can be difficult to directly link to safety.  All AW Findings

Root Cause

Pt 145

Aircraft AuditPt MG

Correct Root Cause identification and resolution leads to longer term improvements, with fewer repeat findings 

Process and Documentation are still recorded as the top 2 Root causes. This is possibly due to the symptom being identified rather than the Root Cause. Significantly Competence or capability, might add weight to the perception that there is an industry skills shortage   

Closure Performance

Pt 145

Aircraft AuditPt MG

0100200300400500

Jan Feb Mar Apr May Jun Jul Aug Sep Oct Nov Dec

1st Response accepted Rejected late late/Rejected

Closure Performance is a  Q‐Pulse drop down menu that records whether a finding has occurred before (repeat finding) and the quality of the organisation’s first response. This was limited to the organisation’s first response for a very good reason! If it wasn’t measured at a single point in time, then the data would be lost (as the status of the performance field got updated, eventually all findings would end up accepted).  For 2015 76% of findings responses were accepted first time, 12% rejected, 8% late and 4% late/rejected.  Rejecting an organisation’s response should be seen as evidence that the CAA is ensuring that the Root Cause has been correctly identified and fully addressed.  It also allows us to measure the effectiveness of the Organisation quality system.

All UK Pt145 ‐Maintenance

Pt 145

Aircraft AuditPt MG

0

20

40

60

80

100

120

140

160

180

HighModeratelow

Corporate Jet Sector

145.A.65(b&c) Main issues relate to; the independence of the Quality system and audit programme, the content of the plan, the completion of the plan, the scope of the audits and procedures . 

145.A.25 With Low S/S findings removed Facilities is number 3, Issues with suitability of facilities/ environment for safe completion of maintenance IAW the requirements of the approved data.

145.A.40(b) Main issues relate to; Tool control,  which is backed up by MOR data 

1

23

4

UK Pt MG – Airworthiness management

Pt 145

Aircraft AuditPt MG

0

10

20

30

40

50

60

70

80

HighModeratelow

2

1

3

M.A.712(a&b) Main issues relate to; the independence/effectiveness of the Quality system and audit programme, the content of the plan, the completion of the plan, the scope of the audits and procedures . 

M.A.302 Main Issues relate to; the control ,review  and content of  the maintenance programme.

M.A.708(b)Main issues relate to; the management of continuing airworthiness tasks, including mass & balance, maintenance programmes, Airworthiness Directives and modifications. Although overall management is an issue, no trend exists for any particular element.

Corporate Jet Sector

4

ACAM – Aircraft inspections

Pt 145

Aircraft AuditPt MG

0

5

10

15

20

25

B.6Defect

Management

B.4Markings  &Placards

C.1MaintenanceProgramme

C.4Records

B.1Documents

B.5Operationalrequirements

C.3Repairs

D.4Tail

D.3AirworthinessDirectives

HighModeratelow

Corporate Jet Sector

1

2 Flight Manual

3

M.A.403 & M.A.301(2) Main issues relate to the correct recording and deferral of defects, damage and unserviceable Components. Heavily featured in all D category findings (Fuselage, wings, tail, cabin, LG).

M.A.302 Main Issues relate to; the control ,review  and content of  the maintenance programme.

M.A.305 & M.A.306 Main Issues relate to; the control ,review  and content of  the CAW records system including the tech log.

4

Summary Overview 

37%

35%

Part 145

Quality System

Tools

Facilities

Requirements

Obligations

Defect Management

Records

Maintenance Programme

Maintenance Programmes Exposition

Part 21 Part M Part 147 ACAM

Quality System

Quality System

Quality System

CAW Management Personnel

Top 3 findings with Low Safety Severity findings removed