Critical Critical AppraisalAppraisal

What is the EBD Process?

Dr. Shahram Yazdani 77

Medicine is a science of Medicine is a science of uncertainty and an art of uncertainty and an art of

probabilityprobabilitySir William OslerSir William Osler

Crude Induction-Deduction

Large amount of observations in a controlled condition

Proposing a theory

Deduction

Other observations

P<0.05 is Ideal !!

Where It comes from?

But What does it mean?

Medical evidence increasing at epidemic rates: we all need EBP skills to keep up-to-date

Bastian, Glasziou, Chalmers (2010) 75 Trials and 11Systematic Reviews a Day: How Will We Ever Keep Up? PLoS Med 7(9)

Medical evidence increasing at epidemic rates: we all need EBP skills to keep up-to-date

MEDLINE 20102,000 articles / day

Bastian, Glasziou, Chalmers (2010) 75 Trials and 11Systematic Reviews a Day: How Will We Ever Keep Up? PLoS Med 7(9)

About 1/3 of worthwhile evidence is

eventually refuted or attenuated

About 10% of published evidence

is worth reading

About 1/2 of relevant evidence is

not implemented

Best Evidences

•In Best Journals !!•That’s Easy!!

در علم مقاالت

.....پزشکی

CATCritical Appraisal Tools

• Formalized guidelines for the critical appraisal

• The highest level of evidence for an intervention is considered to be a systematic review of a number of high-quality randomized controlled trials (RCTs)

•Level of Evidence

• systematic review• Confirmed RCT• Unconfirmed RCT• Cohort studies• Case-Control observational studies• Case Series• Case Report• Expert Opinion

Searching Searching for critical appraisal checklists randomized controlled trials .

About 54,900 results (0.26 seconds)About 54,900 results (0.26 seconds)

JADAD ScaleCASPPEDro

RAMboCONSORT

http://www.phru.nhs.uk/Pages/PHD/resources.htm

Five steps in EBMFive steps in EBM

1. Formulate an answerable question2. Track down the best evidence 3. Critically appraise the evidence for:

– Relevance– Validity– Impact (size of the benefit)– Applicability

4. Integrate with clinical expertise and patient values

5. Evaluate our effectiveness and efficiency – keep a record; improve the process

GATE: a Graphic Appraisal Tool for Epidemiology

1 picture, 2 formulas &

3 acronyms

A picture: the GATE frame

the shape of every epidemiological study

©

Participants

Exposure Group Comparison Group

OutcomesTime

P

E C

O

T

The PECOT acronym: the 5 parts of every epidemiological study

All epidemiological studies can be hung on the GATE frame

P

E C

OT

P

E

C

O

T

Recruitment

Allocation

Maintenance

Measurement of outcomes

blind or

objective

The RAMMbo* acronym: assessing study bias

* Paul Glasziou

37

P

E C

OT

P

E

C

O

T

* Paul Glasziou

The 2nd acronym = RAMBO* : assessing non random error (i.e. bias)

Recruitment

Allocation

Maintenance

Blind or

Objective outcomes measurement

37

38

P

E C

OT

P

E

C

O

T

3rd appraisal task: assess the degree of bias by applying the RAMBO acronym

Recruitment

Allocation

Maintenance

Blind or

Objective outcomes measurement

39

RAMBO

E C

OT

were Recruitment processes appropriate to study goals?P

• Study setting & eligibility criteria well described?e.g. Recruit random/representative sample OR consecutive eligibles OR volunteers from advertisements• Participants representative of eligibles?• Prognostic/risk profile appropriate to study question?

P

Study setting

Eligible people

40

EG CG

OT

RCT: Allocate randomly by investigators (e.g drugs)

EG CG

OT

Cohort: Allocate by measurement (e.g. smoking)

RAMBO: A is for Allocation

were EG & CG similar at baseline?

Was Allocation to EG & CG

successful?

41

RAMBO

EG CG

OT

were Participants Maintained as allocated?

did most participants remain in allocated groups (EG & CG)

P

Participants &/or investigators blind to exposure (and comparison exposure)?

Compliance high & similar in EG & CG?Contamination low & similar in EG & CG?Co-interventions low & similar in EG & CG?

Completeness of follow-up high & similar in EG & CG?

42

RAMBO

EG CG

OT

Were outcomes measuredBlind or Objectively?

P

If outcome measurements not Objective (eg. automated or definitive) were investigators Blind to exposure (and comparison exposure)

Bias% تصادفات 95در

جاده ای مقصر ماشینهای شخصی

هستند!

اهداف و طراحیآیا هدف تحقیق به وضوح بیان شده ؟•

آیا نحوه ی طراحی تحقیق برای این کار مناسب •

بوده ؟

آیا طراحی به درستی انجام شده ؟•

نمونه

آیا نمونه با دقت انتخاب شده ؟•آیا نمونه معرف جمعیت مورد بررسی ؟•آیا تعداد نمونه به درستی محاسبه شده ؟•

عوامل تاثیر گذار غیر قابل کنترل آیا محققین تاثیر سوگیری ، شانس و عوامل •

مغشوش کننده بر روی نتایج را در نظر گرفته اند؟

آیا بیماران مورد درمانهای دیگری نیز قرار •گرفته بودند یا بیماری دیگری نیز داشتند ؟

گروه کنترل

 

آیا نیاز به گروه کنترل بوده؟

آیا گروه کنترل در نظر گرفته شده ؟

آیا گروه کنترل به درستی انتخاب شده؟

کورسازی و تصادفی کردنآیا نمونه ها به صورت تصادفی در گروههای مختلف •

تقسیم شده؟

آیا تصادفی کردن به دقت اجرا شده؟•

آیا تصادفی کردن به صورت کور بود؟•

آیا درمان کور یا دوسو کور بود؟•

اندازه گیری و تست های آماری

آیا چیزهایی که مورد اندازه گیری قرار گرفتند •ارتباط کلینیکی با موضوع داشته اند ؟

آیا اندازه گیری ها بادقت و درستی انجام شده •بودند؟

برای اندازه گیری و یا تشخیص Gold Standardآیا یک •وجود داشته؟

آیا جزئیات به دست آمده از تستهای آماری مورد •استفاده قرار گرفته اند ؟

آیا تستها مناسب بوده اند ؟•آیا تجزیه و تحلیل آماری انجام شده در مورد درمان •

به صورت کور انجام شده؟

تکمیل مطالعه و مشکالت پیش بینی نشده

از دست رفته قابل قبول بوده؟Follow-upآیا تعداد موارد •

آیا تالش الزم برای بازیافت موارد از دست رفته صورت •

گرفته؟

مجموعه اطالعات تا چه میزان کامل بوده؟•

آیا متدولوژی در حین مطالعه در پاسخ به شرایط پیش •

بینی نشده تغییر یافته ؟

آیا محققین مشکالت را پذیرفته و برای حل آنها تالش •

کرده اند؟

یافته ها

یافته های مطالعه چه بوده اند ؟•

آیا تحقیق به اهداف خود رسیده؟•

نویسندگان چه استنتاجی داشته اند ؟•

تفسیر

آیا محققین نتایج به دست آمده را به درستی تفسیر •نموده اند ؟

آیا محققین تالش کردند تا کمبود اطالعات راجبران کنند ؟•آیا محققین استنتاجهای غیر قابل دفاعی داشتند ؟•

اشتباه در تفسیر •آیا اطالعات مهمی مورد چشم پوشی یا غفلت قرار •

گرفته بودند؟آیا از اطالعات غیر قابل اطمینان استنتاج خاصی به دست •

آمده است؟

قابلیت تعمیم

آیا استنتاج های به عمل آمده، قابلیت •تعمیم به گروه گسترده تری از بیماران

را دارند ؟

آیا استناج به دست آمده برای بیماران •من مناسب است؟