Evaluarea Performantelor Unui Test-prof. Dr. c. Vulpoi

METODOLOGIA METODOLOGIA CERCETARIICERCETARIIevaluarea evaluarea performantelor performantelor unui testunui test

Carmen VulpoiCarmen Vulpoi

Probabilities can make Probabilities can make nonstatisticians nervous. But nonstatisticians nervous. But this approach really just boils this approach really just boils down to knowing your patient, down to knowing your patient, gathering a little data and gathering a little data and establishing an opinion of the establishing an opinion of the likelihood of a given outcome likelihood of a given outcome

Donald R. WooleverDonald R. Woolever,, The art and science of clinical decision making The art and science of clinical decision making, Family , Family Practice Management, 2009Practice Management, 2009

Arta deciziei cliniceArta deciziei clinice

1.1. Determina probabilitateaDetermina probabilitatea care sunt sansele ca pacientul sa aiba boala?care sunt sansele ca pacientul sa aiba boala?

2.2. Colecteaza datele pentru evaluarea Colecteaza datele pentru evaluarea ulterioaraulterioara Istoric, ex clinicIstoric, ex clinic

3.3. Acutalizeaza posibilitatea – inclusiv Acutalizeaza posibilitatea – inclusiv probabilitatea pre-testprobabilitatea pre-test Apoi colecteaza si interpreteaza cu atentie Apoi colecteaza si interpreteaza cu atentie

dateledatele4.4. Considera o interventie daca pacientul se Considera o interventie daca pacientul se

include in criteriiinclude in criterii daca o face, tine cont de contextul pacientuluidaca o face, tine cont de contextul pacientului daca nu ai suficiente informatii ia in consideratie daca nu ai suficiente informatii ia in consideratie

si alte optiunisi alte optiuni Date noiDate noi Rabdare!Rabdare!

Donald R. WooleverDonald R. Woolever,, The art and science of clinical decision making The art and science of clinical decision making, Family Practice Management, 2009, Family Practice Management, 2009

Adresabilitate Adresabilitate

Cercetarea stiintifica implica o Cercetarea stiintifica implica o populatie heterogena:populatie heterogena: ““producatorul”producatorul”

CercetatorulCercetatorul Designerul studiuluiDesignerul studiului

““consumatorul”consumatorul” TeoreticianulTeoreticianul PracticianulPracticianul

““publicul”publicul” PacientulPacientul

Cercetarea bibliograficaCercetarea bibliografica Faza pregatitoareFaza pregatitoare

Literatura de referintaLiteratura de referinta TratateTratate Reviste de anverguraReviste de anvergura

Precizarea obiectului studiuluiPrecizarea obiectului studiului Definirea obiectivelorDefinirea obiectivelor Definirea ipotezei de lucruDefinirea ipotezei de lucru

Elaborarea planului de studiuElaborarea planului de studiu Factorii ce vor fi studiatiFactorii ce vor fi studiati Modul de studiu al acestor factori (selectia)Modul de studiu al acestor factori (selectia)

Prezentarea rezultatelorPrezentarea rezultatelor Noua evaluare a literaturiiNoua evaluare a literaturii Includerea la discutii a datelor relevante pentru Includerea la discutii a datelor relevante pentru

sbiectul cercetatsbiectul cercetat

Variabile Variabile

Variabila = orice calitate, Variabila = orice calitate, caracteristica, element constitutiv al caracteristica, element constitutiv al unei persoane sau al unui lucru care unei persoane sau al unui lucru care poate fi masuratpoate fi masurat Prin definitie, supusa schimbarilorPrin definitie, supusa schimbarilor

Redus la baza, orice act medical este Redus la baza, orice act medical este un studiu al relatiei intre variabileun studiu al relatiei intre variabile

Scale utilizate pentru variabileScale utilizate pentru variabile- nominale -- nominale -

Simboluri care definesc fiecare Simboluri care definesc fiecare masuratoare ce nu pot fi ordonate masuratoare ce nu pot fi ordonate unul peste altulunul peste altul Fiecare masuratoare trebuie sa intre intr-Fiecare masuratoare trebuie sa intre intr-

o singura categorieo singura categorie In cadrul unei categorii membrii sunt In cadrul unei categorii membrii sunt

considerati echivalenticonsiderati echivalenti ExempleExemple

Grupa sanguinaGrupa sanguina Culoarea ochilor, sex, rasaCuloarea ochilor, sex, rasa

A

Scale utilizate pentru variabileScale utilizate pentru variabile- ordinale -- ordinale -

Incadreaza fiecare masuratoare la un Incadreaza fiecare masuratoare la un numar limitat de categorii care sunt numar limitat de categorii care sunt ordonate in functie de gradordonate in functie de grad Diferentele dintre categorii nu sunt Diferentele dintre categorii nu sunt

neaparat egale sau masurabileneaparat egale sau masurabile Diferenta intre categoria 1 si 2 nu e neaparat Diferenta intre categoria 1 si 2 nu e neaparat

egala cu cea dintre 3 si 4egala cu cea dintre 3 si 4 ExempleExemple

Starea pacientului – vindecat, ameliorat, Starea pacientului – vindecat, ameliorat, stationar, agravat (agravat e “mai stationar, agravat (agravat e “mai bolnav” ca stationar, dar nu se stie cu cit)bolnav” ca stationar, dar nu se stie cu cit)

Stadiile in cancerStadiile in cancer

A

Scale utilizate pentru variabileScale utilizate pentru variabile- intervale -- intervale -

Incadreaza fiecare masuratoare la un Incadreaza fiecare masuratoare la un numar nelimitat de categorii numar nelimitat de categorii distantate in mod egaldistantate in mod egal Nu are un real punct 0 (0 nu inseamna o Nu are un real punct 0 (0 nu inseamna o

adevaata absenta a variabilei masurate)adevaata absenta a variabilei masurate) Se poate sti exact cu cit este mai mare Se poate sti exact cu cit este mai mare

sau mai mica fiecare categoriesau mai mica fiecare categorie ExempleExemple

Temperatura (0Temperatura (0ooC este temperatura la C este temperatura la care ingheata apa, dar nu inseamna care ingheata apa, dar nu inseamna absenta temperaturii)absenta temperaturii)

A

Scale utilizate pentru variabileScale utilizate pentru variabile- proportie -- proportie -

Pe o scala continua, masuratoarea Pe o scala continua, masuratoarea incepe la un 0 real si are intervale incepe la un 0 real si are intervale egaleegale

ExempleExemple InaltimeInaltime Temperatura in grade KelvinTemperatura in grade Kelvin Timp Timp

A

Tipuri de variabileTipuri de variabile

Legea de baza a biologiei este variabilitateaLegea de baza a biologiei este variabilitatea Multitudinea observatiilor poate trasa liniile Multitudinea observatiilor poate trasa liniile

generale care trebuie incluse in generale care trebuie incluse in intervalul intervalul de confidentade confidenta Indice de dispersie a unor variabile sub forma Indice de dispersie a unor variabile sub forma

unui interval unui interval in care variabila poate fi situata cu un risc in care variabila poate fi situata cu un risc

cunoscutcunoscut Interval de confidenta 95% - risc de 5%Interval de confidenta 95% - risc de 5%

Variabilele trebuie definite de la inceputul Variabilele trebuie definite de la inceputul studiuluistudiului

B

Tipuri de variabileTipuri de variabileVariabile calitative Variabile calitative

NemasurabileNemasurabile FiniteFinite Calculul mediei nu are sensCalculul mediei nu are sens

Nominale (categoriale)Nominale (categoriale) Categorii ce nu pot fi ordonate Categorii ce nu pot fi ordonate

culoarea ochilorculoarea ochilor

Ordinale (de rang)Ordinale (de rang) Ordonate dupa anumite un criteriu dar fara unitati de Ordonate dupa anumite un criteriu dar fara unitati de

masuramasura Starea dupa tratament (vindecat, ameliorat, stationar, Starea dupa tratament (vindecat, ameliorat, stationar,

inrautatit)inrautatit)

DihotomialeDihotomiale Da/nu Da/nu

Prezenta sau nu a unui factor de riscPrezenta sau nu a unui factor de risc

B

Tipuri de variabileTipuri de variabile

Variabile cantitative (pot fi masurate)Variabile cantitative (pot fi masurate) ContinueContinue

Pot lua o infinitate de valoriPot lua o infinitate de valori Media are intotdeauna o semnificatieMedia are intotdeauna o semnificatie

GlicemiaGlicemia

Discontinue (discrete)Discontinue (discrete) Numere intregiNumere intregi Media nu are intotdeauna semnificatieMedia nu are intotdeauna semnificatie

Scor ApgarScor Apgar

Este posibila transformare variabilelor Este posibila transformare variabilelor cantitative in calitative (varsta in grupe de cantitative in calitative (varsta in grupe de varsta)varsta) Dar se pierd informatiiDar se pierd informatii

B

Baza variatiilorBaza variatiilor

Fluctuatiile intre Fluctuatiile intre diverse masuratori diverse masuratori reflecta efectele reflecta efectele

combinate ale mai combinate ale mai multor fenomenemultor fenomene

Interpretarea depinde Interpretarea depinde de capacitatea de capacitatea clinicianului de a clinicianului de a recunoaste recunoaste sursa variatiei sursa variatiei importanta sa pentru importanta sa pentru

diagnostic si tratamentdiagnostic si tratament

C

Variatii biologice sau de masurare

Baza variatiilorBaza variatiilor Variatii biologice adevarateVariatii biologice adevarate

Determinate de o serie de factori necunoscuti care duc la Determinate de o serie de factori necunoscuti care duc la mici variatii intimplatoaremici variatii intimplatoare

Variatiile intimplatoare pot fi pozitive sau negativeVariatiile intimplatoare pot fi pozitive sau negative Exemplu – TA la acelasi pacient in conditii teoretic identiceExemplu – TA la acelasi pacient in conditii teoretic identice

Variatii asociate masurarii in conditii diferiteVariatii asociate masurarii in conditii diferite Variatii determinate de masurarea in conditii diferiteVariatii determinate de masurarea in conditii diferite Vriatii sistematice (nu intimplatoare)Vriatii sistematice (nu intimplatoare)

Ex – TA in momente diferite ale zilei sau conditii diferite Ex – TA in momente diferite ale zilei sau conditii diferite (orto/clinistatism)(orto/clinistatism)

Variatii ale sistemului de masurareVariatii ale sistemului de masurare Atribuite metodei de masurareAtribuite metodei de masurare Intimplatoare - legea hazarduluiIntimplatoare - legea hazardului Sistematica – eroare a sistemulkui de masurare (constant Sistematica – eroare a sistemulkui de masurare (constant

valoare mai mare sau mai mica)valoare mai mare sau mai mica) Ex – pentru un acelasi esantion de urina masurarea repetata Ex – pentru un acelasi esantion de urina masurarea repetata

a pH cu aceelasi aparat de catre acelasi chimist in conditii a pH cu aceelasi aparat de catre acelasi chimist in conditii teoretic ideale nu va da valori identiceteoretic ideale nu va da valori identice

C

Variatii intra-pacientVariatii intra-pacient

Pot rezulta din cauza Pot rezulta din cauza variatiilor reale, intimplatoare ale unui variatiilor reale, intimplatoare ale unui

parametru parametru unor modificari patologice ale statusului unor modificari patologice ale statusului

pacientuluipacientului Medicul trebuie sa identifice cauza Medicul trebuie sa identifice cauza

deoarece interventia trebuie sa deoarece interventia trebuie sa apara numai cind aceasta e apara numai cind aceasta e patologicapatologica

D

Variatii inter-pacientVariatii inter-pacient Atribuabile Atribuabile

diferentelor inerente intre pacientidiferentelor inerente intre pacienti conditiilor diferite de masurareconditiilor diferite de masurare erorilor de masuratoareerorilor de masuratoare unei conditii patologiceunei conditii patologice

Medicul e interesat de aceste diferente Medicul e interesat de aceste diferente deoarece majoritatea intrebarilor legate de deoarece majoritatea intrebarilor legate de un pacient pornesc de la informatiile un pacient pornesc de la informatiile obtinute de la un grup de subiecti cu obtinute de la un grup de subiecti cu probleme similareprobleme similare Scade mai tare TAd la pacienti care primesc Scade mai tare TAd la pacienti care primesc

medicamentul A fata de B?medicamentul A fata de B? Cit de modificati sunt d-dimerii la dl Lazarescu Cit de modificati sunt d-dimerii la dl Lazarescu

fata de paceinti care nu au trombembolism?fata de paceinti care nu au trombembolism?

E

de ce e necesara biostatisticade ce e necesara biostatistica

Prin efectuarea unui test, Prin efectuarea unui test, clinicianul se straduieste clinicianul se straduieste sa clasifice starea sa clasifice starea realareala dar dar necunoscutanecunoscuta a unui a unui subiect de observatie subiect de observatie cu ajutorul unui instrument cu ajutorul unui instrument

imperfectimperfect

DISTINGEREA NORMALULUI DE DISTINGEREA NORMALULUI DE ANORMAL ANORMAL

strategia diagnosticastrategia diagnostica

Examen clinicExamen clinic AnamnezaAnamneza ImagisticaImagistica ProceduriProceduri Examene de laboratorExamene de laborator

Un test diagnostic se bazeaza pe Un test diagnostic se bazeaza pe presupunerea ca indivizii bolnavi presupunerea ca indivizii bolnavi si sanatosi pot fi diferentiati cusi sanatosi pot fi diferentiati cu acurateteacuratete reproductibilitatereproductibilitate

Informatia clinica primita

TIPURI DE DATETIPURI DE DATE

CALITATIVE – Anamneza (descriptive)CALITATIVE – Anamneza (descriptive)

NUMERICE – Investigatii laboratorNUMERICE – Investigatii laborator

GRAFICE – Biosemnale (ECG, EEG…)GRAFICE – Biosemnale (ECG, EEG…)

SUNETE - FonocardiogramaSUNETE - Fonocardiograma

IMAGINI STATICE - Radiografii, RMNIMAGINI STATICE - Radiografii, RMN

IMAGINI DINAMICE – filmIMAGINI DINAMICE – film

Tipuri de cunostinteTipuri de cunostinte

aa) ) ExpliciteExplicite FormalizabileFormalizabile Se pot transmite usorSe pot transmite usor

bb) ) Tacite (skill)Tacite (skill) Experienta proprieExperienta proprie Greu de transmisGreu de transmis TrainingTraining

Relatia Relatia “cunostinte” – “cunostinte” –

“diagnostic/tratament”“diagnostic/tratament”

INFERENTA LOGICA INFERENTA LOGICA Medicina ‘clasica’ Medicina ‘clasica’ (rationamentul (rationamentul

medical)medical)

INFERENTA STATISTICAINFERENTA STATISTICA Medicina bazata pe doveziMedicina bazata pe dovezi

INFERENTA = Operaţie logică de trecere de la un enunţ la altul si în care ultimul enunţ este dedus din primul.

medicina „clasică”, deductivă medicina „clasică”, deductivă Opinion-Based MedicineOpinion-Based Medicine – OBM – OBM

bazată pe bazată pe bagajul de cunoştinţe acumulat din bagajul de cunoştinţe acumulat din

studiile şi experienţa personlăstudiile şi experienţa personlă tradiţionala tradiţionala ars medicaears medicae (arta medicală) (arta medicală) intuiţia personală a clinicianului. intuiţia personală a clinicianului.

Medicina clasicaMedicina clasica

susţine că medicina trebuie să se susţine că medicina trebuie să se concentreze pe concentreze pe obiectivitate, obiectivitate, dovezi, dovezi, meta-analiză, meta-analiză,

folosirea metodică, algoritmică, folosirea metodică, algoritmică, a totalităţii ramurilor medicinii a totalităţii ramurilor medicinii

epidemiologie, genetică, bio-statistică, informatică epidemiologie, genetică, bio-statistică, informatică medicală, medicină explorativă şi de laborator medicală, medicină explorativă şi de laborator promptă, precisă şi de calitatepromptă, precisă şi de calitate

considerând raportul cost – eficienţăconsiderând raportul cost – eficienţă sub un control de calitate riguros şi permanent, sub un control de calitate riguros şi permanent,

medicul consultat fiind medicul consultat fiind factorul frontal al factorul frontal al unui larg grup de specialişti, cu care se unui larg grup de specialişti, cu care se găseşte în interreacţiegăseşte în interreacţie

Medicina bazata pe dovezi Medicina bazata pe dovezi (MBD)(MBD)

1975, Ministerul Sănătăţii Canadian a 1975, Ministerul Sănătăţii Canadian a mobilizat o grupă de specialişti, (The mobilizat o grupă de specialişti, (The Canadian Task Force) cu menireaCanadian Task Force) cu menirea să compună directive ştiinţifice şi unitare de să compună directive ştiinţifice şi unitare de

examinare sanitară periodică a populaţiei. examinare sanitară periodică a populaţiei. Suzanne Fletcher & David Sackett au Suzanne Fletcher & David Sackett au

creat "nivele de evidenţă" (levels of creat "nivele de evidenţă" (levels of evidence) evidence) destinate să folosească ca "grade de destinate să folosească ca "grade de

recomandare" (Grades of recommendations), recomandare" (Grades of recommendations), criterii de acţiune în cadrul respectivelor directivecriterii de acţiune în cadrul respectivelor directive

ISTORICISTORIC

Practica medicinii bazate pe evidenţăPractica medicinii bazate pe evidenţă Identificarea problemei Identificarea problemei

sau a zonei de dubiu, de sau a zonei de dubiu, de lipsă de certitudinelipsă de certitudine

De pus numai întrebări De pus numai întrebări relevante, concentrate pe relevante, concentrate pe subiect, coerente, într-un subiect, coerente, într-un limbaj clar şi pe înţeles,limbaj clar şi pe înţeles, la care pacientul poate la care pacientul poate

să răspundăsă răspundă De selectat resursele cele De selectat resursele cele

mai potrivite de cercetaremai potrivite de cercetare E.g. de evitat pescuitul E.g. de evitat pescuitul

(“fishing”)(“fishing”) comandarea unei comandarea unei

infinităţi de examene de infinităţi de examene de laborator în speranţa că laborator în speranţa că va apare un rezultat va apare un rezultat pozitivpozitiv

De cercetat şi identificat De cercetat şi identificat fondul de evidenţă fondul de evidenţă dovezile, fapteledovezile, faptele

Aprecierea Aprecierea importanţei clinice a importanţei clinice a

faptelor, a evidenţei faptelor, a evidenţei aplicabilităţii clinice a aplicabilităţii clinice a

evidenţei evidenţei De acţionat şi de aplicat De acţionat şi de aplicat

evidenţaevidenţa De apreciat avantajele De apreciat avantajele

efortului depusefortului depus De adunat, de De adunat, de

conspectat şi de notat conspectat şi de notat activitatea activitatea pentru a o folosi în viitorpentru a o folosi în viitor

Obiectul metodologiei Obiectul metodologiei cercetarii stiintifice medicalecercetarii stiintifice medicale

““Productia cunostintelor Productia cunostintelor [explicite]” = [explicite]” = cercetarecercetare

Metode de cercetareMetode de cercetare ObservationaleObservationale

ancheteanchete trialuri clinicetrialuri clinice

ExperimentaleExperimentale studii de laborator - specificestudii de laborator - specifice

TTeoretice – modelare/simulareeoretice – modelare/simulare

CICLUL ACTIVITATII CICLUL ACTIVITATII MEDICALEMEDICALE

MedicPacient

tratament diagnostic

date

cunostinte

Etapele activitatii de Etapele activitatii de cercetarecercetare

Stabilirea obiectivelorStabilirea obiectivelor DocumentareDocumentare Organizarea cercetariiOrganizarea cercetarii

Studii cliniceStudii clinice Studii de laboratorStudii de laborator Cercetarea teoretica, formalizarea Cercetarea teoretica, formalizarea

cunostintelorcunostintelor Prelucrarea datelorPrelucrarea datelor Prezentarea rezultatelorPrezentarea rezultatelor

Puncte de vederePuncte de vedere

al pacientuluial pacientuluiameliorarea starii de ameliorarea starii de sanatate sanatate

calitatea cea mai importanta calitatea cea mai importanta a unui test diagnostic a unui test diagnostic

eficacitatea (in sensul utilitatii) eficacitatea (in sensul utilitatii) precizia (gradul de exactitate) precizia (gradul de exactitate)

diagnosticare gresita(fals diagnosticare gresita(fals pozitiv)pozitiv)

nediagnosticarea(fals negativ)nediagnosticarea(fals negativ)

caracterul inofensivcaracterul inofensiv

Puncte de vederePuncte de vedereal mediculuial mediculuicel putin aceleasi motive ca cel putin aceleasi motive ca si pacientul pentru ca un test si pacientul pentru ca un test sa fie eficace si inofensivsa fie eficace si inofensiv

Interpretarea testului - Interpretarea testului - confirmare si modificarea confirmare si modificarea atitudinii terapeuticeatitudinii terapeutice

test pozitiv conduce la test pozitiv conduce la aplicarea unui tratamentaplicarea unui tratament

pozitivitatea testului creste pozitivitatea testului creste probabilitatea ca boala sa existe – probabilitatea ca boala sa existe – valoare predictiva pozitivavaloare predictiva pozitiva

test negativ impiedica medicul test negativ impiedica medicul sa trateze o afectiune potential sa trateze o afectiune potential severa – valoare predictiva severa – valoare predictiva negativanegativa

Puncte de vederePuncte de vedereal mediculuial mediculuiDaca un test nou poate sa Daca un test nou poate sa inlocuiasca unul mai vechiinlocuiasca unul mai vechi

! standarde de referinta: ! standarde de referinta: un nou test este comparat cu un nou test este comparat cu

unul invechit si mai putin sensibil unul invechit si mai putin sensibil (mai multe falsuri negative)(mai multe falsuri negative)

numarul mai crescut de numarul mai crescut de pacienti diagnosticati cu noul pacienti diagnosticati cu noul test vor fi considerati fiind test vor fi considerati fiind drept falsi pozitivi,drept falsi pozitivi,

Limitele oricarei proceduri Limitele oricarei proceduri de diagnosticde diagnostic

o eroare de diagnostic poate o eroare de diagnostic poate avea repercusiuni financiare avea repercusiuni financiare si legalesi legale

Puncte de Puncte de vederevedere

al societatiial societatiiInocuitateaInocuitatea

guvernul trebuie sa guvernul trebuie sa garanteze securitatea garanteze securitatea cetatenilor in toate cetatenilor in toate domeniiledomeniile

Consecintele economiceConsecintele economiceanaliza cost - eficacitate analiza cost - eficacitate

TIPURI DE STUDII CLINICETIPURI DE STUDII CLINICE

- Studiul starii de sStudiul starii de sănătateănătate a a populatieipopulatiei

- Studiul serviciilor de sanatateStudiul serviciilor de sanatate- Evaluarea unui procedeu diagnosticEvaluarea unui procedeu diagnostic- Evaluarea unei abordări terapeuticeEvaluarea unei abordări terapeutice- Cercetarea unor factori de risc Cercetarea unor factori de risc

şi/sau prognosticişi/sau prognostici

Tipuri de teste diagnosticeTipuri de teste diagnostice

Testul ideal da intotdeauna raspunsul Testul ideal da intotdeauna raspunsul corectcorect

Un bun test diagnosticUn bun test diagnostic distinge individul afectat de boala de cel distinge individul afectat de boala de cel

neafectatneafectat esteeste

nenocivnenociv rapidrapid simplusimplu nedurerosnedureros de increderede incredere ieftinieftin

Distingerea normalului de Distingerea normalului de anormalanormal

Surse de Surse de nesiguranta/variabilitatenesiguranta/variabilitate

Instrument de masura: imprecizia analiticaInstrument de masura: imprecizia analitica acelasi test acelasi test aplicat aceluiasi pacient aplicat aceluiasi pacient

sa dea acelasi rezultatsa dea acelasi rezultat Variabilitatea subiectuluiVariabilitatea subiectului

intraindividuala intraindividuala regresia catre medie - fluctuatii fiziologiceregresia catre medie - fluctuatii fiziologice

interindividualainterindividuala Variabilitatea interpretarii examenului:Variabilitatea interpretarii examenului:

Intraindividuala/interindividuala Intraindividuala/interindividuala coeficient de concordanta kcoeficient de concordanta k

Validitatea intrinseca a testului (Sn, Sp, Validitatea intrinseca a testului (Sn, Sp, LR).LR).

Prevalenta bolii (probabilitatea pretest)Prevalenta bolii (probabilitatea pretest)

Stabilirea diagnosticuluiStabilirea diagnosticului Validitatea unei proceduri de diagnostic inseamna Validitatea unei proceduri de diagnostic inseamna

capacitatea acesteia de a identifica subiectii atinsi capacitatea acesteia de a identifica subiectii atinsi de boala si subiectii sanatoside boala si subiectii sanatosi

Stabilirea unui diagnostic este un Stabilirea unui diagnostic este un proces imperfectproces imperfect exprimat mai degraba in termeni de probabilitate, decat de exprimat mai degraba in termeni de probabilitate, decat de

certitudinecertitudine

Probabilitatea de a fi atinsi Probabilitatea de a fi atinsi de o boala nu este deci de o boala nu este deci fixa, ci legata de testul fixa, ci legata de testul diagnosticdiagnostic inainte de test, este vorba de inainte de test, este vorba de

probabilitatea "a priori" (pre-probabilitatea "a priori" (pre-test probability) test probability)

prevalenta; prevalenta; dupa test, este vorba de dupa test, este vorba de

probabilitatea "a posteriori" probabilitatea "a posteriori" (post-test probability)(post-test probability)

valoarea predictiva a testuluivaloarea predictiva a testului

Un test diagnostic nu Un test diagnostic nu va avea sensva avea sens decat daca rezultatul decat daca rezultatul

este este capabil sa modifice capabil sa modifice probabilitatea boliiprobabilitatea bolii

sa reduca sa reduca probabilitatea la un probabilitatea la un astfel de nivel, incat astfel de nivel, incat tratamentul sa nu se tratamentul sa nu se mai faca, mai faca,

sa o creasca pana la sa o creasca pana la nivelul la care nivelul la care tratamentul sa fie tratamentul sa fie legitim.legitim.

Tipuri de teste diagnosticeTipuri de teste diagnostice

Teste calitativeTeste calitative Prezenta sau Prezenta sau

absenta unui semn absenta unui semn sau simptomsau simptom

Fractura la RXFractura la RX

Teste cantitativeTeste cantitative Peste sau sub o Peste sau sub o

valoare limita valoare limita ((valoare critica/ de valoare critica/ de referintareferinta) ) considerata un considerata un criteriu pozitivcriteriu pozitiv

glicemieglicemie

Alegerea unui Alegerea unui criteriu pozitivcriteriu pozitiv

1.1. Distributie Distributie gaussianagaussiana

2.2. Metoda percentilelorMetoda percentilelor3.3. ““Agreata cultural”Agreata cultural”4.4. Metoda terapeuticaMetoda terapeutica5.5. Metoda factorilor de Metoda factorilor de

riscrisc6.6. Metoda diagnostica Metoda diagnostica

sau a valorii sau a valorii predictivepredictive

Distingerea normalului de Distingerea normalului de anormalanormal

Curba GaussianaCurba Gaussiana

68%68%

95%95%

99%99%

-1-1 +1+1--1.961.96

--2.582.58

+1.96+1.96

+2.58+2.58

L = media L = media ± 2 deviatii ± 2 deviatii standard*standard*

* atentie la subgrupuri* atentie la subgrupuri

Tipuri de teste Tipuri de teste diagnosticediagnostice


Avantaje – simplitateaAvantaje – simplitatea DezavantajeDezavantaje

Cel mai frecvent distributie bimodala Cel mai frecvent distributie bimodala limitele normale nu includ obligatoriu 95% din limitele normale nu includ obligatoriu 95% din valorivalori

Teste multiple cresc sansa ca un pacient sa fie Teste multiple cresc sansa ca un pacient sa fie in afara valoriui normale macar odatain afara valoriui normale macar odata

DEFINITIA BOLII NU ESTE BIOLOGICADEFINITIA BOLII NU ESTE BIOLOGICA Limitele fiind determinate la o populatie fara Limitele fiind determinate la o populatie fara

boala, un pacient poate fi diferit comparativ cu boala, un pacient poate fi diferit comparativ cu populatia normala dar nu neaparat bolnavpopulatia normala dar nu neaparat bolnav

Pacientul poate apartine unui subgrup cu alte Pacientul poate apartine unui subgrup cu alte valori normalevalori normale

Schimbarile variabilelor unui test pot fi Schimbarile variabilelor unui test pot fi anormale chiar daca ramin in limite normaleanormale chiar daca ramin in limite normale

68%68%

95%95%

99%99%

-1-1 +1+1--1.961.96

--2.582.58

+1.96+1.96

+2.58+2.58


Ideal – rarFenilketonuria – fenilalaninafenilalanina serica










“descentrat”Diagnostic foarte dificil










Dificil pentru rezultatele aflate la suprapunere


Cel mai frecvent distributie bimodala Cel mai frecvent distributie bimodala limitele normale nu include obligatoriu 95% din limitele normale nu include obligatoriu 95% din valorivalori

Teste multiple cresc sansa ca un pacient sa fie Teste multiple cresc sansa ca un pacient sa fie in afara valorii normale macar odatain afara valorii normale macar odata





Curba GaussianaCurba GaussianaTipuri de teste Tipuri de teste diagnosticediagnostice

e.g.e.g.““baterie de screening” de 20 de testebaterie de screening” de 20 de testeDaca Daca se utilizeaza un singur model de distributie Gaussianase utilizeaza un singur model de distributie Gaussianasi testele sunt independente unul de altulsi testele sunt independente unul de altul

1 sansa din 20 sa aiba un test anormal pentru fiecare 1 sansa din 20 sa aiba un test anormal pentru fiecare testtestLa 20 teste 1- (0.95)20 = 0.64 sanse sa aiba macar La 20 teste 1- (0.95)20 = 0.64 sanse sa aiba macar un rezultat anormalun rezultat anormal

Sindromul UliseSindromul Ulise

Sindromul UliseSindromul Ulise Invingător în razboiul Invingător în razboiul

troian, Ulise porneşte troian, Ulise porneşte spre casă (Itaca) spre casă (Itaca) cale de 1-2 săptămâni, în cale de 1-2 săptămâni, în

condiţiile de navigare de condiţiile de navigare de atunciatunci

datorită unor aventuri datorită unor aventuri fatidice, acest drum a fatidice, acest drum a durat 10 anidurat 10 ani

Sindromul descrie efectele unor Sindromul descrie efectele unor investigaţii intensive şi prelungite venite investigaţii intensive şi prelungite venite ca urmare a unui rezultat de laborator ca urmare a unui rezultat de laborator fals-pozitiv sau interpretat greşit cu fals-pozitiv sau interpretat greşit cu ocazia unor analize de rutină. ocazia unor analize de rutină.


Cel mai frecvent distributie bimodala Cel mai frecvent distributie bimodala limitele limitele normale nu include obligatoriu 95% din valorinormale nu include obligatoriu 95% din valori

Teste multiple cresc sansa ca un pacient sa fie in Teste multiple cresc sansa ca un pacient sa fie in afara valorii normale macar odataafara valorii normale macar odata

DEFINITIA BOLII NU ESTE BIOLOGICADEFINITIA BOLII NU ESTE BIOLOGICA Limitele fiind determinate la o populatie fara boala, Limitele fiind determinate la o populatie fara boala,

un pacient poate fi diferit comparativ cu populatia un pacient poate fi diferit comparativ cu populatia normala dar nu neaparat bolnavnormala dar nu neaparat bolnav

Pacientul poate apartine unui subgrup cu alte valori Pacientul poate apartine unui subgrup cu alte valori normalenormale

Schimbarile variabilelor unui test pot fi anormale Schimbarile variabilelor unui test pot fi anormale chiar daca ramin in limite normalechiar daca ramin in limite normale

Glicemie normala 60-106 mg/dl. O scadere de la 105 Glicemie normala 60-106 mg/dl. O scadere de la 105 la 55 ar putea fi anormalala 55 ar putea fi anormala

Curba GaussianaCurba GaussianaTipuri de teste Tipuri de teste diagnosticediagnostice

Metoda percentilelorMetoda percentilelor

Daca se doreste doar limita Daca se doreste doar limita superioara – 5% superioare superioara – 5% superioare considerat anormalconsiderat anormal

Daca se doresc limite superioare si Daca se doresc limite superioare si inferioare – 2,5%inferioare – 2,5%

AvantajeAvantaje SimplitateSimplitate AplicabilitateAplicabilitate

Dezavantaje – ca la GaussDezavantaje – ca la Gauss


Agreata culturalAgreata culturalTipuri de teste Tipuri de teste diagnosticediagnostice

Agreata culturalAgreata cultural

AvantajeAvantaje N-are: N-are:

confunda confunda medicina cu medicina cu modamoda


Metoda terapeuticaMetoda terapeutica

Valorile sub sau peste care pacientul Valorile sub sau peste care pacientul va fi tratatva fi tratat Schimbat progresiv Schimbat progresiv

e.g. valorile normale ale TAe.g. valorile normale ale TA AvantajeAvantaje

Include numai subiectii care vor fi tratatiInclude numai subiectii care vor fi tratati DezavantajeDezavantaje

Necesita un clinician care sa fie la Necesita un clinician care sa fie la curent cu toate noutatile terapeuticecurent cu toate noutatile terapeutice


Metoda factorilor de riscMetoda factorilor de risc

Factor genetic, de mediu, Factor genetic, de mediu, comportamental, comportamental, demografic, fiziologic demografic, fiziologic care are o ascoiere cauzala care are o ascoiere cauzala

sau statistic semnificativa sau statistic semnificativa cu o anumita maladiecu o anumita maladie

AvantajeAvantaje In general usor de masuratIn general usor de masurat Faciliteaza medicina Faciliteaza medicina

preventivapreventiva DezavantajeDezavantaje

Valoare predictiva scazutaValoare predictiva scazuta


Cancer Cancer pulmonapulmonarr

Fara Fara cancer cancer pulmonarpulmonar

totaltotal

FumatoriFumatori 100100 33,23333,233 33,33333,333

NefumatoNefumatoriri

00 66,66766,667 66,66766,667

totaltotal 100100 99.90099.900 100,00100,0000

Studiu ipotetic Studiu ipotetic Prevalenta cancerului Prevalenta cancerului

pulmonar 100/100,000pulmonar 100/100,000 33,3% din populatie 33,3% din populatie

fumatorifumatori Ar insemna ca toti Ar insemna ca toti

fumatorii fac cancer fumatorii fac cancer pulmonarpulmonar 99,7% nu fac99,7% nu fac

Metoda diagnostica Metoda diagnostica sau metoda valorii predictivesau metoda valorii predictive

Bazata pe probabilitartea bolii pornind de la Bazata pe probabilitartea bolii pornind de la standardul de aurstandardul de aur

Alegerea valorilor pentru un test depinde daca Alegerea valorilor pentru un test depinde daca e e mai raumai rau pentru pacient ca pentru pacient ca sa fie eronat sa fie eronat considerat bolnavconsiderat bolnav sau sau sa i se ignore boalasa i se ignore boala Daca consecintele ignorarii pot fi graveDaca consecintele ignorarii pot fi grave

Se va alege valoarea pozitivitatii criteriului astfel incit Se va alege valoarea pozitivitatii criteriului astfel incit sa sa minimalizeze procentajul de fals negativminimalizeze procentajul de fals negativ

eg mixedemul congenitaleg mixedemul congenital Daca o valoare fals pozitiva poate duce la un Daca o valoare fals pozitiva poate duce la un

tratament riscant tratament riscant eg chimioterapie cateterizare cardiacaeg chimioterapie cateterizare cardiaca

Se alege un criteriu care Se alege un criteriu care sa minimalizeze rata de fals pozitivsa minimalizeze rata de fals pozitiv


Metoda diagnostica Metoda diagnostica sau metoda valorii predictivesau metoda valorii predictive


Sensibilitate si specificitate Sensibilitate si specificitate egaleegale

v w x y z

Test negativ Test pozitiv

Adevarat pozitiv

Fals pozitiv

Fals negativ

Adevarat negativ

Sensibilitate crescuta, Sensibilitate crescuta, specificitate scazutaspecificitate scazuta

Specificitate crescuta, Specificitate crescuta, sensibilitate scazutasensibilitate scazuta

Fals negativ = 0

Fals pozitiv = 0

Metoda valorii predictiveMetoda valorii predictive AvantajeAvantaje

Valorile variabilelor testului pot urma orice Valorile variabilelor testului pot urma orice distributiedistributie

Frecventa bolii este bazata pe date clinice Frecventa bolii este bazata pe date clinice concrete si e deci estimata realisticconcrete si e deci estimata realistic

Tine cont de distributia variabilelor testului atit in Tine cont de distributia variabilelor testului atit in populatia bolnava cir si in cea sanatoasapopulatia bolnava cir si in cea sanatoasa

Se adreseaza nevoilor medicului si pacientului Se adreseaza nevoilor medicului si pacientului punind in balanta beneficiile potentiale ale punind in balanta beneficiile potentiale ale tratamentului si implicatiile sale (nediagnosticarea tratamentului si implicatiile sale (nediagnosticarea sau etichetare gresita)sau etichetare gresita)

Dezavantaje Dezavantaje Necesita stapinirea de catre clinician a prevalentei Necesita stapinirea de catre clinician a prevalentei

bolii, valoarea predictiva pozitiva si negativa, bolii, valoarea predictiva pozitiva si negativa, determinareaa performantelor testuluideterminareaa performantelor testului

Descrierea performantelor Descrierea performantelor unui testunui test

STANDARDUL DE AURSTANDARDUL DE AUR LimiteLimite

Frecvent e metoda cea mai riscanta, dificila dpdv tehnic, Frecvent e metoda cea mai riscanta, dificila dpdv tehnic, impracticabilimpracticabil

Biopsie cerebrala pentru AlzheimerBiopsie cerebrala pentru Alzheimer Pentru unele boli nu exista standard de aurPentru unele boli nu exista standard de aur

Angina pectoralaAngina pectorala Compararea cu standardul de aur poate duce la Compararea cu standardul de aur poate duce la

concluzii eronate spunind ca noul test e mai rau concluzii eronate spunind ca noul test e mai rau cind de fapt e mai buncind de fapt e mai bun Daca testul cel nou detecteaza cu o acuratete mai mare Daca testul cel nou detecteaza cu o acuratete mai mare

pacientii vor fi considerati gresit fals pozitivpacientii vor fi considerati gresit fals pozitiv Daca e negativ la mai multi subiecti care nu au boala va Daca e negativ la mai multi subiecti care nu au boala va

fi considerat in mod eronat fals negativfi considerat in mod eronat fals negativ

Reprezentare grafica sau in Reprezentare grafica sau in tabele a rezultatelor unui testtabele a rezultatelor unui test

Adevarat pozitiv Adevarat pozitiv Pacienti identificati corect ca avind Pacienti identificati corect ca avind

boalaboala Fals pozitivFals pozitiv

Pacienti sanatosi considerati bolnaviPacienti sanatosi considerati bolnavi Adevarat negativAdevarat negativ

Pacienti sanatosi corect identificatiPacienti sanatosi corect identificati Fals negativFals negativ

Pacienti care au boala fals etichetati Pacienti care au boala fals etichetati drept sanatosidrept sanatosi

Reprezentare grafica sau in Reprezentare grafica sau in tabele a rezultatelor unui testtabele a rezultatelor unui test

AP

FN

AN

FP

Test negativTest negativ Test pozitivTest pozitiv

Sensibilitate si specificitateSensibilitate si specificitate

Dg.corectDg.corect Dg.incorectDg.incorect

Test Test ++

aa bb a+ba+b

Test -Test - cc dd c+dc+d

totaltotal a+ca+c b+db+d NN

sensibilitatesensibilitate

probabilitatea de a avea un test pozitiv probabilitatea de a avea un test pozitiv (anormal) atunci când subiectul prezinta (anormal) atunci când subiectul prezinta afectiunea investigataafectiunea investigata capacitatea de a recunoaste capacitatea de a recunoaste maximum de subiecti maximum de subiecti

atinsiatinsi

SENSIBILITATE = AP/ bolnavi (AP+FN)SENSIBILITATE = AP/ bolnavi (AP+FN) importanta atunci când importanta atunci când

ignorarea diagnosticului este gravaignorarea diagnosticului este grava eliminarea afectiunii este importanta eliminarea afectiunii este importanta maladia este rara (depistare)maladia este rara (depistare)

)(. FNAPcorectdg

AP

)(. FNAPcorectdg

AP

Dg. Dg. corectcorect

Dg, Dg, incorecincorectt

Test +Test + aa bb a+ba+b



LESLES

Prevalenta (Sn) %

ANA 98 Anti-AND dc 70 Anti-Sm 30

specificitatespecificitate

probabilitatea de a avea un test negativ – probabilitatea de a avea un test negativ – normal – când subiectul nu prezinta afectiuneanormal – când subiectul nu prezinta afectiunea

capacitatea de a recunoaste capacitatea de a recunoaste doar pacientii doar pacientii atinsiatinsi (deci de a nu atribui boala unui subiect (deci de a nu atribui boala unui subiect care nu o prezinta),care nu o prezinta),

SPECIFICITATE = AN/ sanatosi (AN+FP)SPECIFICITATE = AN/ sanatosi (AN+FP) importanta atunci când trebuie confirmat un importanta atunci când trebuie confirmat un

diagnosticdiagnostic

)(. FNAPcorectdg

AP

)(. FNAPcorectdg

AP

Dg. Dg. corectcorect

Dg, Dg, incorecincorectt

Test +Test + aa bb a+ba+b



Boala prezenta Boala absenta

Test pozitiv

a b

Test negativ

c d

Total a+c b+d

sensibilitate=a/(a+c)

fals pozitiv=b/(b+d)

specificitate=d/(b+d)

fals negativ=c/(a+c

)

Valoare predictiva pozitivaValoare predictiva pozitiva - probabilitte - probabilitte postestpostest

probabilitatea de a avea maladia atunci când testul este probabilitatea de a avea maladia atunci când testul este pozitiv – anormalpozitiv – anormal Proportia de subiecti bonavi intre cei cu test pozitivProportia de subiecti bonavi intre cei cu test pozitiv

VALOARE PREDICTIVA POZITIVA = AP/ test+ (AP+FP)VALOARE PREDICTIVA POZITIVA = AP/ test+ (AP+FP)

Valoare predictiva negativaValoare predictiva negativa probabilitatea de a nu avea maladia când testul este probabilitatea de a nu avea maladia când testul este negativ – normalnegativ – normal

Proportia de indivizi sanatosi intre cei cu test negativProportia de indivizi sanatosi intre cei cu test negativ

VALOARE PREDICTIVA NEGATIVA = AN / test- VALOARE PREDICTIVA NEGATIVA = AN / test- (AN+FN)(AN+FN) Acuratete Acuratete

concordanta testului cu diagnosticul finalconcordanta testului cu diagnosticul final

ACURATETE = concordante (AP + AN)/ total ACURATETE = concordante (AP + AN)/ total (AP+FP+AN+FN)(AP+FP+AN+FN)

Receiver Operator Receiver Operator CharacteristicCharacteristic

Ideal pentru un Ideal pentru un clinician ar fi un test clinician ar fi un test care sa aiba care sa aiba atât sensibilitatea cât atât sensibilitatea cât

si specificitatea si specificitatea foarte inalte foarte inalte

Acest lucru nu este Acest lucru nu este intotdeauna posibilintotdeauna posibil ceea ce ar impune ceea ce ar impune

gasirea unui punct gasirea unui punct "de compromis", in "de compromis", in care care raportul raportul specificitate / specificitate / sensibilitate sa fie sensibilitate sa fie optimoptim. .

Receiver Operator Receiver Operator CharacteristicCharacteristic

Relatia specificitate / sensibilitate Relatia specificitate / sensibilitate poate fi exprimata prin trasarea poate fi exprimata prin trasarea curbei ROCcurbei ROC (Receiver Operator (Receiver Operator Characteristic), Characteristic), in care pe abscisa se pune in care pe abscisa se pune nivelul fals pozitiv (1-specificitate) nivelul fals pozitiv (1-specificitate) iar pe ordonata iar pe ordonata nivelul adevarat pozitiv (sensibilitatea)nivelul adevarat pozitiv (sensibilitatea)

Prin stabilirea celor doua Prin stabilirea celor doua determinate pentru mai multe determinate pentru mai multe situatii se poate trasa o curbasituatii se poate trasa o curba

1-specificitate

sen

sib

ilit

ate

Curba ROCCurba ROC

Reprezentare Reprezentare grafica a grafica a relatiei dintre relatiei dintre sensibilitate si sensibilitate si specificitate in specificitate in cazul unui testcazul unui test

Metoda Metoda simpla de simpla de aplicare a aplicare a metodei metodei valorii valorii predicitve predicitve pentru a pentru a alege un alege un criteriu criteriu pozitivpozitiv

ROC analysis este parte din teoria detectiei ROC analysis este parte din teoria detectiei semnalelor ("Signal Dectection Therory") semnalelor ("Signal Dectection Therory") dezvoltata in al doilea Razboi Mondial pt dezvoltata in al doilea Razboi Mondial pt analiza semanalelor radaranaliza semanalelor radar

Operatorul radar trebuia sa decida daca ceea Operatorul radar trebuia sa decida daca ceea ce e pe ecran e un dusman, un prieten sau ce e pe ecran e un dusman, un prieten sau doar zgomot de fonddoar zgomot de fond capacitatea sa a fost denumita Receiver capacitatea sa a fost denumita Receiver

Operating CharacteristicsOperating Characteristics Abia in anii 70 teoria detectiei semnalului a Abia in anii 70 teoria detectiei semnalului a

fost considerata utila pentru interpretarea fost considerata utila pentru interpretarea testelor medicale testelor medicale

Curba ROCCurba ROC

In cazul unor determinari cantitative (e.g. In cazul unor determinari cantitative (e.g. glicemia in diagnosticarea diabetului zaharat) glicemia in diagnosticarea diabetului zaharat) se pot inscrie valori numerice diferite;se pot inscrie valori numerice diferite;

când este vorba de un test calitativ (e.g. când este vorba de un test calitativ (e.g. mamografia in diagnosticul cancerului mamar) mamografia in diagnosticul cancerului mamar) se poate realiza o scala cuprinzând mai multe se poate realiza o scala cuprinzând mai multe

categorii. categorii. un exemplu de scala in acest caz un exemplu de scala in acest caz

probabil normal (“imposibil”)probabil normal (“imposibil”) posibil normal (“neverosimil”)posibil normal (“neverosimil”) echivoc (“indoielnic”)echivoc (“indoielnic”) posibil anormalposibil anormal probabil anormalprobabil anormal

sigursigur

Curba ROCCurba ROC

0

0,2

0,4

0,6

0,8

1

0 0,5 11-specificitate

sens

ibili

tate

Curba ROCCurba ROC

Cancer mamarCancer mamarRadiology" 1988, 167: 353-58Radiology" 1988, 167: 353-58

Cancer prezent

Cancer absent

Mamografie pozitiva

AP a FP b

Mamografie negativa

FN c AN d

Total a + b c + d

RP = real pozitiv

FP = fals pozitiv

FN = fals negativ

RN = real negativ

Cancer prezent Cancer absent

Mamografie pozitiva

47 6

Mamografie negativa

72 275

Total 119 281

sensibilitate 47/119 = 0,40

specificitate 6/281 = 0,02

a= (0,40;0,02)

MAMOGRAFIEpozitiva, in caz de suspiciune mare de cancer, negativa, in caz de suspiciune mijlocie sau mica

MAMOGRAFIEpozitiva, in caz de suspiciune mare sau mijlocie de cancer, negativa, in caz de suspiciune mica


Mamografie pozitiva

104 123

Mamografie negativa

15 158

Total 119 281



b= (0,87;0,44)

MAMOGRAFIEpozitiva, in caz de suspiciune mare, mijlocie sau mica (rarefieri radiografice)negativa, in caz de suspiciune cu opacitate radiografica sau suspiciune minima


Mamografie pozitiva

113 160

Mamografie negativa

6 121

Total 119 281



c= (0,94;0,57)

MAMOGRAFIEpozitiva, in caz de suspiciune mare, mijlocie sau mica (opacitate radiografica)negativa in caz de suspiciune minima


Mamografie pozitiva

116 202

Mamografie negativa

3 79

Total 119 281



d= (0,97;0,72)

0

0,5

1

a)a) suspiciune mare de suspiciune mare de existenta a unui carcinom;existenta a unui carcinom;

(0,4;0,02)(0,4;0,02)b)b) suspiciune mare sau suspiciune mare sau

mijlocie de existenta a unui mijlocie de existenta a unui carcinom;carcinom;

(0,87;0,44)(0,87;0,44)c)c) suspiciune mare, mijlocie suspiciune mare, mijlocie

sau mica cu rarefieri sau mica cu rarefieri radiografice de existenta a radiografice de existenta a unui carcinom;unui carcinom;

(0,94;0,57)(0,94;0,57)d)d) suspiciune mare, mijlocie suspiciune mare, mijlocie

sau mica (opacitate sau mica (opacitate radiografica) de existenta a radiografica) de existenta a unui carcinom.unui carcinom.

(0,97;0,72)(0,97;0,72)

Curba ROCCurba ROC

Trasarea curbei ROC – Trasarea curbei ROC – setarea criteriului de setarea criteriului de pozitivitatepozitivitate Cind implicatiile FP si FN Cind implicatiile FP si FN

sunt egale - cit mai aproape sunt egale - cit mai aproape de coltul din stinga sus (x)de coltul din stinga sus (x)

Cind FP este in mod special Cind FP este in mod special indezirabil – cit mai departe indezirabil – cit mai departe in stg (z)in stg (z)

FN in mod special indezirabil FN in mod special indezirabil – in coltul din dreapta sus – in coltul din dreapta sus (creste sensibilitatea, scade (creste sensibilitatea, scade specificitatea (w, v)specificitatea (w, v)

0

0,2

0,4

0,6

0,8

1

0 0,5 11-specificitate

sens

ibili

tate

x

z

w v

Aria de sub curba ROCAria de sub curba ROC

Aria masoara capacitatea de discriminare – Aria masoara capacitatea de discriminare – capacitatea testului de a clasifica pacientii capacitatea testului de a clasifica pacientii cu / fara boalacu / fara boala E.g. – pacienti deja clasificati. Luam unul bolnav E.g. – pacienti deja clasificati. Luam unul bolnav

si unul sanatos (randomic). Pacientul cu testul si unul sanatos (randomic). Pacientul cu testul cel mai anormal ar trebui sa fie din grupul celor cel mai anormal ar trebui sa fie din grupul celor bolnavi. bolnavi.

Aria de sub curba reprezinta procentajul Aria de sub curba reprezinta procentajul perechilor luate randomizat pentru care perechilor luate randomizat pentru care acest fapt e adevarat (adica testul clasifica acest fapt e adevarat (adica testul clasifica corect cei doi pacienti din perechea corect cei doi pacienti din perechea randomizata) randomizata)

Interpretarea punctiei cu ac Interpretarea punctiei cu ac subtiresubtire

1. Frotiu inadecvat 1. Frotiu inadecvat - fara elemente celulare - fara elemente celulare tiroidienetiroidiene

2. 2. Frotiu benignFrotiu benign;;a. rare tireocite a. rare tireocite b. multiple tireocite normale, grupate in cuiburi b. multiple tireocite normale, grupate in cuiburi c. frotiu c. frotiu ””bogat celularbogat celular””

3. 3. Frotiu tip Frotiu tip ““tiroiditatiroidita”” cu tireocite normale, cu tireocite normale, limfocite abundente si celule Hurtlelimfocite abundente si celule Hurtle

4. 4. Frotiu suspectFrotiu suspect cu placarde de tireocite cu cu placarde de tireocite cu nucleu voluminos, hipercromatic, nuclei liberinucleu voluminos, hipercromatic, nuclei liberi

5. 5. Frotiu malignFrotiu malign cu numeroase celule ce intrunesc cu numeroase celule ce intrunesc criteriile clasice de malignitatecriteriile clasice de malignitate

Rezultatul citologic si Rezultatul citologic si anatomopatologicanatomopatologic

SENSIBILITATE =AP/(malign)AP+FN =31/41 = SENSIBILITATE =AP/(malign)AP+FN =31/41 = 75,6%75,6%

SPECIFICITATE =AN/(benign)AN+FP =32/34 = SPECIFICITATE =AN/(benign)AN+FP =32/34 = 94,1%94,1%

VALOARE PREDICTIVA POZITIVA =AP/(FNAB VALOARE PREDICTIVA POZITIVA =AP/(FNAB mg)AP+FP =31/33 = 93,9%mg)AP+FP =31/33 = 93,9%

VALOARE PREDICTIVA NEGATIVA =AN/(FNAB VALOARE PREDICTIVA NEGATIVA =AN/(FNAB bg)AN+FN =32/42= 76,2%bg)AN+FN =32/42= 76,2%Anatomo-Anatomo-

patologicpatologicCitologicCitologic

benignbenign maligmalignn

benignbenign 3232 22

malignmalign 1010 3131

FNAB – calcularea curbei ROCFNAB – calcularea curbei ROC

malign

benign

FNAB pozitiva 11 1

FNAB negativa 30 33sensibilitate = 11/41 = 0,27sensibilitate = 11/41 = 0,27

1- specificitate = 1 - 33/34 = 0,021- specificitate = 1 - 33/34 = 0,02

- suspiciune inalta (5) -- suspiciune inalta (5) -

malign benign

FNAB pozitiva

31 2

FNAB negativa

10 32

sensibilitate = 31/41 = 0,76sensibilitate = 31/41 = 0,761- specificitate = 1- 32/34 = 0,061- specificitate = 1- 32/34 = 0,06

- suspiciune inalta si medie (4+5)-- suspiciune inalta si medie (4+5)-

malign

benign

FNAB pozitiva 35 4

FNAB negativa 6 30sensibilitate = 35/41 = 0,85sensibilitate = 35/41 = 0,85

1- specificitate = 1 - 30/34 = 0,121- specificitate = 1 - 30/34 = 0,12

-suspiciune inalta, medie si minora-suspiciune inalta, medie si minora(3+4+5)(3+4+5)

-suspiciune inalta, medie si minora-suspiciune inalta, medie si minora(3+4+5)(3+4+5)

malign

benign

FNAB pozitiva 37 10

FNAB negativa 4 24

sensibilitate = 37/41 = 0,90sensibilitate = 37/41 = 0,901- specificitate = 1 - 24/34 = 0,291- specificitate = 1 - 24/34 = 0,29

FNAB – curba ROCFNAB – curba ROC

0

0,1

0,2

0,3

0,4

0,5

0,6

0,7

0,8

0,9

1

0 0,2 0,4 0,6 0,8 1

nivel fals pozitiv (1-specificitate)

nive

l ade

vara

t poz

itiv

(sen

sibi

litat

e)

FNB

PROBLEMA SPECIFICA INTERPRETARII PROBLEMA SPECIFICA INTERPRETARII TESTULUITESTULUI

Experienta cercetatoruluiExperienta cercetatorului capacitatea medicului poate evolua in cursul unui capacitatea medicului poate evolua in cursul unui

studiu de evaluare a testelor - procentul de studiu de evaluare a testelor - procentul de rezultate false (fals pozitive sau fals negative), in rezultate false (fals pozitive sau fals negative), in raport cu standardul de referinta, risca sa fie mai raport cu standardul de referinta, risca sa fie mai ridicatridicat

Omogenitatea in interpretareOmogenitatea in interpretare ideal este ca acelasi observator sa interpreteze ideal este ca acelasi observator sa interpreteze

toate examinarile toate examinarile daca sunt implicati mai multi observatori in daca sunt implicati mai multi observatori in

studiu, ei trebuie sa aiba aceeasi experientastudiu, ei trebuie sa aiba aceeasi experienta ObiectivitateObiectivitate

interpretarea testului trebuie sa fie independenta interpretarea testului trebuie sa fie independenta de interpretarea testului de referintade interpretarea testului de referinta

REPRODUCTIBILITATEAREPRODUCTIBILITATEA Capacitatea unui instrument de a furniza o masuratoare Capacitatea unui instrument de a furniza o masuratoare

identica in mod repetatidentica in mod repetat concordanta rezultatelor mai multor masuratori, efectuate de concordanta rezultatelor mai multor masuratori, efectuate de

diferiti observatori, poate fi mai mult sau mai putin ridicata.diferiti observatori, poate fi mai mult sau mai putin ridicata. Reproductibilitatea depinde de Reproductibilitatea depinde de

calitatile reale ale testului (sensibilitate, specificitate), calitatile reale ale testului (sensibilitate, specificitate), interpretareinterpretare

Cuantificarea - indicele kappa (K): evalueaza Cuantificarea - indicele kappa (K): evalueaza reproductibilitatea observata in raport cu concordanta reproductibilitatea observata in raport cu concordanta legata de hazardlegata de hazard O = acord observatO = acord observat

K = (0-E) / (1-E)K = (0-E) / (1-E)K = 1 pentru o concordanta perfecta.K = 1 pentru o concordanta perfecta.K = 0 cand nu exista concordanta decat sub efectul hazardului.K = 0 cand nu exista concordanta decat sub efectul hazardului.

Valorile negative ale K sunt posibile. Ele indica atunci Valorile negative ale K sunt posibile. Ele indica atunci ca exista mai putine sanse de acord decat doar cel ca exista mai putine sanse de acord decat doar cel observat sub efectul sansei.observat sub efectul sansei.EXACTITATEAEXACTITATEA

Capacitatea de a furniza o masuratoare exacta a unui Capacitatea de a furniza o masuratoare exacta a unui fenomenfenomen proportia rezultatelor corecte, pozitive sau negativeproportia rezultatelor corecte, pozitive sau negative

Evaluarea reproductibilitatiiEvaluarea reproductibilitatii

Enumerarea surselor Enumerarea surselor potentiale de eroarepotentiale de eroare Pozitia pacientului la o Pozitia pacientului la o

radiografieradiografie Momentul zilei (T, G)Momentul zilei (T, G) Conditii de masurare a Conditii de masurare a

TATA Clasificarea surselor Clasificarea surselor

in ordine in ordine descrescatoaredescrescatoare

Masurarea Masurarea importantei variatiilor importantei variatiilor si incercarea de a le si incercarea de a le reduce la maximreduce la maxim Variatii inter-Variatii inter-

investigatoriinvestigatori Variatii intra-Variatii intra-

investigatorinvestigator Variatii intra-pacientVariatii intra-pacient

Variatii interobservatorVariatii interobservator

VV11-V-V22 * (mL) * (mL) VV11-V-V33 * (mL) * (mL) VV33-V-V22* (mL)* (mL)

media ± DSmedia ± DS 3,71 ± 3,953,71 ± 3,95 3,83 ± 3,453,83 ± 3,45 2,3 ± 2,272,3 ± 2,27

medianamediana 2.912.91 2.012.01 1.41.4

maximmaxim 13,4913,49 14,414,4 9,019,01

minimminim 0,010,01 0,030,03 0,140,14

pp 0,750,75 0,850,85 0,930,93

VV11 = volumele gasite de ex.1 = volumele gasite de ex.1



* - au fost considerate diferentele in valoare absoluta* - au fost considerate diferentele in valoare absoluta - nesemnificativ- nesemnificativ

Diferentele inter-observator de determinare a volumului Diferentele inter-observator de determinare a volumului tiroidian tiroidian

Variatii interobservatorVariatii interobservator

Diferentele intDiferentele interer-observator de determinare a volumului -observator de determinare a volumului tiroidian tiroidian

0

2

4

6

8

10

12

14

16

V1-V2 V1-V3 V2-V3

media maxmin mediana

p > 0,05 p > 0,05

p > 0,05mL

Variatii intra-observatorVariatii intra-observator

Diferentele intDiferentele intrara-observator de determinare a volumului -observator de determinare a volumului tiroidian tiroidian

VTVT11-VT-VT22 * *

media ± DSmedia ± DS 2,45 ± 2,45 ± 2,202,20

medianamediana 1,791,79

maximmaxim 6,826,82

minimminim 0,040,04

pp 0,61 0,61

* - diferenta dintre volumele * - diferenta dintre volumele gasite la 2 determinari gasite la 2 determinari diferitediferite - nesemnificativ- nesemnificativ

0

1

2

3

4

5

6

7

media max

min mediana

Masurarea Masurarea reproductibilitatiireproductibilitatii

Concordanta intre Concordanta intre mai multi clinicienimai multi clinicieni eg – grad de eg – grad de

severitate al unei severitate al unei afectiuniafectiuni

Concordanta (din Concordanta (din 100 subiecti)100 subiecti) 25+14+17+10/100 25+14+17+10/100

= 66% = 66%

clcl11II IIII IIIIII IVIV

II 2525 77 22 11 3535

clcl22 IIII 44 1414 55 00 2323

IIIIII 33 66 1717 33 2929

IVIV 00 11 22 1010 1313

3232 2828 2626 1313 101000

Importanta Importanta reproductibilitatiireproductibilitatii

Efecte ale absentei reproductibilitatiiEfecte ale absentei reproductibilitatii Studii terapeutice Studii terapeutice

diminueaza puterea studiilor in diminueaza puterea studiilor in strategiile terapeutice (creste varianta strategiile terapeutice (creste varianta variabilei urmarite)variabilei urmarite)

Studii epidemiologiceStudii epidemiologice Subestimarea asocierii factorilor de risc Subestimarea asocierii factorilor de risc

Baterii de testeBaterii de teste

Aplicate in paralel - cresc Sn + cand macar unul dintre ele este

pozitiv - cand toate sunt negative

•Aplicate in serie - cresc Sp + cand toate sunt pozitive - cand macar unul este negativ

Teste multipleTeste multiple

In practica, nu este foarte frecvent sa fie In practica, nu este foarte frecvent sa fie absolut sigur ca exista sau nu exista absolut sigur ca exista sau nu exista boala, dupa folosirea unui test boala, dupa folosirea unui test diagnostic. diagnostic. de fapt, testele perfecte (100% sensibilitate de fapt, testele perfecte (100% sensibilitate

si specificitate) sunt foarte rare (daca si specificitate) sunt foarte rare (daca exista!)! exista!)!

Cand suntem in situatia, in care Cand suntem in situatia, in care probabilitatea bolii la incheierea testului probabilitatea bolii la incheierea testului nu s-a modificat decisiv, pentru a face nu s-a modificat decisiv, pentru a face tratamentul sau pentru a renunta, tratamentul sau pentru a renunta, sunt necesare teste ulterioaresunt necesare teste ulterioare

Teste utilizate in paralelTeste utilizate in paralel cand se doreste obtinerea rezultatelor rapid, cand se doreste obtinerea rezultatelor rapid,

urgente urgente bolnavi tratati in ambulatorbolnavi tratati in ambulator

sensibilitateasensibilitatea (si deci valoarea predictiva negativa) (si deci valoarea predictiva negativa) este este mai buna pentru totalul acestor teste folosite in mai buna pentru totalul acestor teste folosite in paralel, decat pentru fiecare dintre teste luate separatparalel, decat pentru fiecare dintre teste luate separat

invers pentru invers pentru specificitateaspecificitatea si valoarea predictiva si valoarea predictiva pozitiva, care pozitiva, care scadscad mai putin probabil sa nu se descopere boalamai putin probabil sa nu se descopere boala dar diagnosticele false si fals pozitive vor fi mai frecventedar diagnosticele false si fals pozitive vor fi mai frecvente

utile, cand medicul are nevoie de un test sensibil, dar utile, cand medicul are nevoie de un test sensibil, dar nu are la indemana decat 2 sau 3 teste putin sensibilenu are la indemana decat 2 sau 3 teste putin sensibile Folosindu-le in paralel rezulta o strategie de diagnosticare de o Folosindu-le in paralel rezulta o strategie de diagnosticare de o

sensibilitate mai mare, cu pretul totusi a existentei rezultatelor sensibilitate mai mare, cu pretul totusi a existentei rezultatelor fals pozitive, care pot conduce la tratamente inutile.fals pozitive, care pot conduce la tratamente inutile.

Teste utilizate in serieTeste utilizate in serie nu este indispensabila obtinerea rezultatelor rapid, nu este indispensabila obtinerea rezultatelor rapid,

consultatii, in opozitie cu situatiile urgente de spitalizare. consultatii, in opozitie cu situatiile urgente de spitalizare. Testele in serie sunt folosite, cand Testele in serie sunt folosite, cand

teste sunt scumpe si/sau cu riscteste sunt scumpe si/sau cu risc un asemenea test nu este de fapt folosit, decat daca un test mai simplu un asemenea test nu este de fapt folosit, decat daca un test mai simplu

si mai putin agresiv a evocat in prealabil boala cautata.si mai putin agresiv a evocat in prealabil boala cautata. consuma mai putine resurse paraclinice decat testele in consuma mai putine resurse paraclinice decat testele in

paralel, paralel, folosirea unui al doilea test depinde de rezultatul primului folosirea unui al doilea test depinde de rezultatul primului

Dar procedura este mai indelungataDar procedura este mai indelungata Testele folosite in serie Testele folosite in serie

maresc specificitatea si valoarea predictivamaresc specificitatea si valoarea predictiva pozitiva a strategiei de pozitiva a strategiei de diagnosticare, diagnosticare,

dar micsoreaza sensibilitatea si valoarea predictiva negativa. dar micsoreaza sensibilitatea si valoarea predictiva negativa. Medicul, dar si pacientul, sunt mai siguri ca boala este reala, Medicul, dar si pacientul, sunt mai siguri ca boala este reala,

cand testul este pozitiv, dar risca sa aiba mai multe rezultate cand testul este pozitiv, dar risca sa aiba mai multe rezultate fals negative.fals negative.

utila, cand nici unul dintre testele disponibile nu este foarte utila, cand nici unul dintre testele disponibile nu este foarte specific. specific. testul cel mai specific trebuie folosit primul, testul mai sensibil va fi testul cel mai specific trebuie folosit primul, testul mai sensibil va fi

folosit ulteriorfolosit ulterior

Documents

Evaluarea Performantelor Unui Test-prof. Dr. c. Vulpoi