DEPARTMENTS OF EPIDEMIOLOGY CENTRO NACIONAL DE AND ... · Apply appropriate causal inference analytics GeSIDA 2019 Hernán, Jarrín –Emulando un ensayo diana 10. Step 1 Specify

Miguel Hernán

DEPARTMENTS OF EPIDEMIOLOGY

AND BIOSTATISTICS

Inma Jarrín

CENTRO NACIONAL DE

EPIDEMIOLOGÍA

Cómo usar datos observacionales cuandono hay ensayos clínicos:

emulando un ensayo diana

GeSIDA 2019

The target trial: a framework for causal inference

Asking a causal question

Specifying the protocol of the target trial

Answering the causal question

Hernán, Jarrín – Emulando un ensayo diana 2

… en la próxima hora y media …GeSIDA 2019

THE TARGET TRIAL: A FRAMEWORK FOR CAUSAL INFERENCE

3Hernán, Jarrín – Emulando un ensayo diana

GeSIDA 2019

Causal inference is what we do to learn what works and what harms

Decision makers need to choose among different courses of action

Treat with A or with B?

Treat now or later?

Treat everybody or some people only?

…

Decision making needs to be informed by causal knowledge

knowledge about comparative effectiveness and safety


GeSIDA 2019

How do we learn what works and what harms?(How do we estimate causal effects?)

The standard scientific answer:

Conduct a randomized experiment

A relevant randomized trial would, in principle, answer each causal question about comparative effectiveness and safety

Interference/scaling up issues aside


GeSIDA 2019

But we rarely have randomized trials

expensive unethical impractical untimely

And deferring decisions is not an option

no decision is a decision: “Keep status quo”

What do we do?

We analyze observational data


GeSIDA 2019

We analyze observational data

because we cannot conduct a randomized trial

Observational analyses are not our preferred choice

For each observational analysis for causal inference, we can imagine a hypothetical randomized trial that we would prefer to conduct

If only it were possible


GeSIDA 2019

The Target Trial

The (hypothetical) randomized trial that we would like to conduct to answer a causal question

To learn what works and what harms

A causal analysis of observational data can be viewed as an attempt to emulate some target trial

If we cannot translate our causal question into a target trial, then the question is not well-defined


GeSIDA 2019

The Target Trial

Suggested more or less explicitly by many authors Dorn (1953), Cochran, Rubin, Feinstein, Dawid…

for simple settings with a time-fixed treatment and a single eligibility point

Explicit generalization to time-varying treatments and multiple eligibility points Robins (1986)

Hernán, Robins. Am J Epidemiol 2016


GeSIDA 2019

The Target Trial concept leads to a simple algorithm for causal inference

1. Ask a causal question (point at the Target)

Specify the protocol of the Target Trial

2. Answer the causal question (shoot the Target)

Option A

Conduct the Target Trial

Option B

Use observational data to explicitly emulate the Target Trial

Apply appropriate causal inference analytics


GeSIDA 2019

Step 1

Specify Target Trial protocol

Eligibility criteria

Treatment strategies

Randomized assignment

Start/End follow-up

Outcomes

Causal contrast

Analysis plan

Step 2

Emulate Target Trial protocol




Start/End follow-up

Outcomes

Causal contrast

Analysis plan


GeSIDA 2019

Ok, so why is this a big deal?

Why do we need to explicitly emulate a target trial for causal inference from observational data?

Because not doing so leads to bias

Deviations from the target trial are sources of bias in observational analysis

Let’s review 2 examples


GeSIDA 2019

EXAMPLE #1 (Old news)Postmenopausal hormone therapy and heart disease

Observational epidemiologic studies

>30% lower risk in current users vs. never users

e.g., hazard ratio: 0.68 in Nurses’ Health Study

Grodstein et al. J Women’s Health 2006

Randomized trial

>20% higher risk in initiators vs. noninitiators

hazard ratio: 1.24 in Women’s Health Initiative

Manson et al. New England J Med 2003


GeSIDA 2019

EXAMPLE #1What was the problem?

The randomized trial compared

initiators (incident users) vs. noninitiators

Observational studies compared

Current (prevalent) users vs. nonusers

Current users were depleted of susceptibles so current use became a marker of not being susceptible

Solution: observational re-analysis that compared

initiators (incident users) vs. noninitiators

Hernan et al. Epidemiology 2008


GeSIDA 2019

EXAMPLE #2 (New)Statins and cancer

Observational studies reported an association between statins and lower cancer risk

some studies found an implausible 50-65% lower risk

Subsequent analyses of randomized trials: No effect

Confounding bias due to lack of randomization?

Unlikely because cancer was not an intended effect of treatment


GeSIDA 2019

EXAMPLE #2Statins and cancer

We explicitly emulated a target trial of statins and cancer using electronic health records

Linked CPRD primary care electronic health records accessed through the CALIBER resource

Dickerman et al. Nature Medicine 2019 (in press)

First, we specified the protocol of the target trial


GeSIDA 2019

17

Summary of Protocol of Target trial

Statins and cancer

Eligibility criteria Individuals aged ≥30 in January 1998-February 2016 with no history of cancer; no statin use in previous year; no statin contraindication (hepatic impairment, myopathy) LDL cholesterol <5 mml/L; at least 1 year of up-to-standard data in a CPRD practice.

Treatment strategies 1. Initiation of any statin therapy at baseline and continuation over follow-

up until the development of a contraindication

2. No initiation of statin therapy over follow-up until the development of an

indication

Assignment

procedures

Participants are randomly assigned to either strategy at baseline, and are

aware of the strategy they have been assigned to.

Follow-up period Starts at randomization and ends at diagnosis of cancer, death, loss to follow-

up, or February 2016, whichever occurs earlier.

Outcome Total cancer and 7 site-specific cancers

Causal contrasts Intention-to-treat effect, per-protocol effect

Analysis plan Intention-to-treat analysis, non-naïve per-protocol analysis

Hernán, Jarrín – Emulando un ensayo diana

GeSIDA 2019

CALIBER emulation: Hazard ratio estimates for statin vs. no statin

Total cancer: 1.02 (0.99, 1.05)

Breast cancer: 1.00 (0.92, 1.09)

Colorectal: 1.04 (0.95, 1.13)

Lung: 1.08 (0.99, 1.17)

Prostate: 1.02 (0.95, 1.09)

… these are intention-to-treat HRs, per-protocol HRs are similar


GeSIDA 2019

CALIBER emulation: Survival estimates for statin vs. no statin

19

No beneficial effect of statins? What about previous observational studies?


GeSIDA 2019

Previous study: Odds ratio of lung cancer: 0.23 (0.20, 0.26)

for long-term users (>4 years) vs nonusers

Two key deviations from the target trial:.

1. included prevalent users at baseline

2. using postbaseline information (observed duration of statin therapy) to assign baseline treatment status)

When we did this in our data, the hazard ratio was:

0.23 (0.22, 0.24) for total cancer

0.27 (0.25, 0.29) for lung cancer


GeSIDA 2019

In both examples, the problem with the observational studies was not confounding

(similarly in many other examples)

Yet criticisms of observational analyses often focus on lack of randomization even if the problem has nothing to do with lack of

randomization

Many observational analyses have a more fundamental problem Failure to choose a correct time zero


GeSIDA 2019

Time zero of follow-up in the Target Trial

For each person, the time when 3 things happen

eligibility criteria are met

treatment strategies are assigned

study outcomes begin to be counted

The same applies to observational analyses

Misalignment of eligibility criteria and treatment assignment leads to selection bias / immortal time bias

Hernán et al. J Clin Epidemiol 2016; 79:70-75.


GeSIDA 2019

Misalignment of eligibility (E) and treatment assignment (A) prevents correct emulation

23

Hernán et al. J Clin Epidemiol 2016; 79:70-75


GeSIDA 2019

2 key components of the emulation of the target trial

1. Randomized assignment

Emulation requires adjustment for confounding

2. Specification of time zero

Time zero must be synchronized with determination of eligibility and assignment of treatment strategies

Lack of randomization is usually blamed for the failings of observational analyses, but…

we have seen that incorrect specification of time zero is often the actual culprit


GeSIDA 2019

Step 1

Specify Target Trial protocol




Start/End follow-up

Outcomes

Causal contrast

Analysis plan

Step 2

Emulate Target Trial protocol




Start/End follow-up

Outcomes

Causal contrast

Analysis plan

25

Choosing time zero correctly:The low-hanging fruit for causal inference


GeSIDA 2019

So does that mean that lack of randomization is Ok?

No

Confounding due to lack of randomization always possible when using observational real world data

Explicitly emulating the target trial only eliminates self-inflicted injuries

Selection bias, immortal time bias…

Confounding is not a self-inflicting injury


GeSIDA 2019

Pregunta Interactiva 1.

A. No

B. Si

27

Se puede hacer inferencia causal a partir de datos

observacionales?


GeSIDA 2019

Hernán - Target trial 28

GeSIDA 2019


A. No

B. Si

29

Se puede hacer inferencia causal a partir de datos

observacionales?


GeSIDA 2019


A. No

B. Si

30

Un análisis causal de datos observacionales se puede

ver como un intento de emular el ensayo diana


GeSIDA 2019


GeSIDA 2019


A. No

B. Si

32

Un análisis causal de datos observacionales se puede

ver como un intento de emular el ensayo diana


GeSIDA 2019


A. No

B. Si

33

En caso de discrepancias entre los resultados de un

ensayo clínico y de un estudio observacional que

emula ese ensayo clínico, siempre hay que culpar a la

falta de aleatorización en el estudio observacional


GeSIDA 2019


GeSIDA 2019


A. No

B. Si

35

En caso de discrepancias entre los resultados de un

ensayo clínico y de un estudio observacional que

emula ese ensayo clínico, siempre hay que culpar a la

falta de aleatorización en el estudio observacional


GeSIDA 2019

36

ASKING A CAUSAL QUESTION


GeSIDA 2019

37

Evolución del tratamiento antiretroviral

Monoterapia Biterapia Terapia triple Terapia doble

2 NRTI + 1 NNRTI+ 1 IP/r+ 1 II

Mejor tolerabilidadMenor toxicidad a largo plazo

Menos potencial de interaccionesAhorro coste


GeSIDA 2019

38

Simplificación a terapia doble: ensayos clínicos

2015 2017 2017

SALTATV/r + 2NRTIATV/r + 3TC

ATLAS-MATV/r + 2NRTIATV/r + 3TC

OLELPV/r + 2NRTILPV/r + 3TC

DUALDRV/r + 2NRTIDRV/r + 3TC

METAANALISIS

IP/r + 2NRTIIP/r + 3TC

20162015

IP/r+3TC no inferior a TTsi no hay resistencias


GeSIDA 2019

39

2015 2017 201720162015

ASPIREContinuar triple TARDTG + 3TC

SWORD1&2

Continuar estándar TARDTG + RPV

DTG+3TC y DTG+RP no inferior a TT



GeSIDA 2019

40

La simplificación a terapia doble parece no inferior ala terapia triple en el corto plazo

¿Cuál es el impacto de la simplificación a terapiadoble en el largo plazo?



GeSIDA 2019

41

Endpoint combinado de varios eventos clínicos:SIDA, no SIDA grave o muerte

Marcadores “subrogados”:

• Marcadores de inflamación

• Cociente CD4/CD8

Outcomes a largo plazo

Definiendo la pregunta causal - I


GeSIDA 2019

42

Endpoint combinado de varios eventos clínicos:SIDA, no SIDA grave o muerte

Marcadores “subrogados”:

• Marcadores de inflamación

• Cociente CD4/CD8

Outcomes a largo plazo

Definiendo la pregunta causal - I


GeSIDA 2019

43

Estrategias de tratamiento

Definiendo la pregunta causal - II

Simplificación de ABC/3TC/DTG a DTG/3TC

Simplificación de 2NRTI + IP/r a 3TC+IP/r


¡¡ Simplificar de una pauta triple a una pautadoble, idéntica a la triple excepto en el fármacoque se suprime !!

GeSIDA 2019

44


Definiendo la pregunta causal - II

Simplificación de ABC/3TC/DTG a DTG/3TC

Simplificación de 2NRTI + IP/r a 3TC+IP/r


¡¡ Simplificar de una pauta triple a una pautadoble, idéntica a la triple excepto en el fármacoque se suprime !!

GeSIDA 2019

45

Pregunta causal

Estimar el efecto causal de simplificar a 3TC + IP/r frente a

continuar con 2 NRTI + 1 IP/r en el riesgo a 5 años de

desarrollar SIDA, no SIDA grave o morir en pacientes

virológicamente suprimidos


GeSIDA 2019


A. No

B. Si

46

Cualquier pregunta sobre la efectividad relativa de dos

tratamientos se puede traducir en un hipotético ensayo

clínico: el ensayo diana


GeSIDA 2019


GeSIDA 2019


A. No

B. Si

48

Cualquier pregunta sobre la efectividad relativa de dos

tratamientos se puede traducir en un hipotético ensayo

clínico: el ensayo diana


GeSIDA 2019

SPECIFYING THE PROTOCOL OF THE TARGET TRIAL

49

ASKING A CAUSAL QUESTION


GeSIDA 2019

Ensayo diana

50


Asignación tratamiento

Período de seguimiento

Inicio Fin

Outcome

Contraste

Plan de Análisis

causal

Criterios de elegibilidad



GeSIDA 2019

Ensayo diana

51

Aleatorización

≥ 18 años

TAR estable 2NRTI

+ 1IP/r ≥ 6 meses

No fracaso previo

Viológicamente

suprimido: CV<50

copias ≥ 6 meses

HBsAG negativo


Criterios de elegibilidad

GeSIDA 2019

Ensayo diana

52

Aleatorización

Continuar con 2 NRTI + 1 IP/r

Simplificar a 3TC + IP/r

≥ 18 años

TAR estable 2NRTI

+ 1IP/r ≥ 6 meses

No fracaso previo

Viológicamente

suprimido: CV<50

copias ≥ 6 meses

HBsAG negativo



GeSIDA 2019

Ensayo diana

53

Aleatorización



≥ 18 años

TAR estable 2NRTI

+ 1IP/r ≥ 6 meses

No fracaso previo

Viológicamente

suprimido: CV<50

copias ≥ 6 meses

HBsAG negativo



GeSIDA 2019

Ensayo diana

54

Aleatorización


Aleatorización



≥ 18 años

TAR estable 2NRTI

+ 1IP/r ≥ 6 meses

No fracaso previo

Viológicamente

suprimido: CV<50

copias ≥ 6 meses

HBsAG negativo

Aleatorización


1ª fecha de:SIDA, no SIDA grave,

muerte, pérdida seguimiento o tras 5

años de aleatorización

GeSIDA 2019

Ensayo diana

55


Aleatorización




SIDANo SIDA graveMuerte



5 años


≥ 18 años

TAR estable 2NRTI

+ 1IP/r ≥ 6 meses

No fracaso previo

Viológicamente

suprimido: CV<50

copias ≥ 6 meses

HBsAG negativo

Aleatorización

OutcomeGeSIDA 2019

Ensayo diana

56

Aleatorización


Aleatorización

SIDANo SIDA graveMuerte



5 años

Contraste

Plan de Análisis

causal


Aleatorización

≥ 18 años

TAR estable 2NRTI

+ 1IP/r ≥ 6 meses

No fracaso previo

Viológicamente

suprimido: CV<50

copias ≥ 6 meses

HBsAG negativo




GeSIDA 2019

Contraste causal y plan de análisis

57

Contraste

causal

Efecto por intenciónde tratar

Efecto por protocolo


GeSIDA 2019


58

Compara el efecto que el tratamiento asignado en

la aleatorización tiene en el outcome de interés,

con independencia de que los individuos asignados

a un determinado tratamiento sigan o no con ese

tratamiento tras la aleatorizaciónContraste

causal

Compara el efecto que el tratamiento

especificado en el protocolo del estudio tiene en

el outcome de interés




GeSIDA 2019


59

Contraste

causal



Plan

análisis


GeSIDA 2019


60

Contraste

causal



Plan

análisis

Análisis por intención de tratar

Análisis por protocolo


GeSIDA 2019


61

Contraste

causal



Plan

análisis

Comparar el outcome de interés entre los

grupos definidos por la estrategia de

tratamiento asignada en la aleatorización

Comparar el outcome de interés entre los

grupos definidos por la estrategia de

tratamiento especificada en el protocolo


GeSIDA 2019


62

Contraste

causal



Plan

análisis


Análisis por protocolo


GeSIDA 2019

A. CONDUCT THE TARGET TRIAL

63

ANSWERING THE CAUSAL QUESTION

B. USE OBSERVATIONAL DATA TO EMULATE THE TARGET TRIAL


GeSIDA 2019


64




GeSIDA 2019


A. Número elevado de individuos en ambos grupos

B. Seguimiento a largo plazo

C. Tiempo para llevar a cabo el ensayo

D. Recursos económicos/humanos

E. Todas las anteriores son correctas

65

¿Qué sería necesario para poder llevar a cabo el ensayo

diana tal y como lo hemos planteado?


GeSIDA 2019


GeSIDA 2019


A. Número elevado de individuos en ambos grupos

B. Seguimiento a largo plazo

C. Tiempo para llevar a cabo el ensayo

D. Recursos económicos/humanos

E. Todas las anteriores son correctas

67

¿Qué sería necesario para poder llevar a cabo el ensayo

diana tal y como lo hemos planteado?


GeSIDA 2019

68

¿Podemos llevamos a cabo el ensayo diana?

Es más que probable que no se lleven a cabo ensayos clínicos

aleatorizados que permitan estimar el efecto causal de la

simplificación a terapia doble en el largo plazo

Pero, si se llevaran a cabo, debemos tener en cuenta que:

Ensayos aleatorizados de intervenciones a largo plazo

(“ensayos pragmáticos”):

Están sujetos a sesgos tradicionalmente asociados, de forma

exclusiva, a los estudios observacionales

Más vulnerables a confusion post-aleatorización y al sesgo de

selección


GeSIDA 2019

69

Sesgos en los ensayos aleatorizados a largo plazo

La aleatorización en la asignación de las estrategias de tratamiento:

Garantiza la ausencia de confusión en el momento de la aleatorización

No garantiza:

La ausencia de confusion post-aleatorización, debida a las desviaciones

del protocolo o al uso diferencial de terapias concomitantes

La ausencia de sesgo de selección, debido a pérdidas de seguimiento

diferenciales en ambos grupos


GeSIDA 2019

70

Sesgos en los ensayos aleatorizados a largo plazo

¡¡¡ Necesidad de ajustar por variables de confusión post-basales !!!


La aleatorización en la asignación de las estrategias de tratamiento:

Garantiza la ausencia de confusión en el momento de la aleatorización

No garantiza:

La ausencia de confusion post-aleatorización, debida a las desviaciones

del protocolo o al uso diferencial de terapias concomitantes

La ausencia de sesgo de selección, debido a pérdidas de seguimiento

diferenciales en ambos grupos

GeSIDA 2019


71




GeSIDA 2019

Datos observacionales - I

72

Cohorte abierta, prospectiva y multicéntrica de

adultos VIH-positivos, naïve a TAR, reclutados

desde enero de 2004

Fecha censura administrativa: 30 noviembre 2018

¿Qué información se recoge?

46 centros

13 CCAA


GeSIDA 2019

Datos observacionales - II


GeSIDA 2019



GeSIDA 2019


75

Información a la entrada y en el seguimiento:

CV, CD4, %CD4, CD8, %CD8

Hemoglobina, plaquetas, glucosa, creatinina,

albúmina, ASL, ALT, cholesterol total, HDL y

triglicéridos


GeSIDA 2019


76

Enfermedades definitorias de SIDA y

fecha de diagnóstico a la entrada en la

cohorte y en el seguimiento

Descripción del tratamiento

antirretroviral, con fecha de inicio y

fin, y razón de interrupción


GeSIDA 2019


77

Información de muerte y causa de muerte:

Reportada por los centros

No cruce con registros de mortalidad


GeSIDA 2019


78

Información de ENOs diagnosticadas a partir de

la entrada en la cohorte, reportadas por los

centros:

Cardiovasculares

Renales

Hepáticos

Neoplasias

Óseos

Neuropsiquiátricos

Metabólicos

Otros eventos (lesmaniasis y neumonía)


GeSIDA 2019

Datos observacionales - III

79

13,161 (84.9%) hombres

Media edad a la entrada: 37 años (DT: 10)

9,480 (61.1%) transmisión por contacto homo/bisexual

13,198 (85.1%) han iniciado TAR

661 (4.3%) muertes

A 30 de noviembre de 2018: 15,509 individuos


GeSIDA 2019

80

Con toda esta información…

…emulamos el ensayo diana?

¡¡¡ VUESTRO TURNO !!!!


GeSIDA 2019

Criterios de eligibilidad

81Hernán, Jarrin – Emulando un ensayo diana

Especificación ensayo diana Emulación ensayo diana

≥ 18 años

TAR estable 2NRTI + 1IP/r ≥ 6

meses

No fracaso previo

Viológicamente suprimido: CV<50

copias ≥ 6 meses

HBsAG negativo

¿Cuáles son los criterios de

eligibilidad?

GeSIDA 2019

Criterios de eligibilidad

82


≥ 18 años


meses

No fracaso previo


copias ≥ 6 meses

HBsAG negativo

≥ 18 años


meses

No fracaso previo


copias ≥ 6 meses

HBsAG negativo


GeSIDA 2019


83




¿Cuáles son las estrategias de

tratamiento?


GeSIDA 2019


84



Simplificar a IP/r + 3TC




GeSIDA 2019

Asignación de tratamiento

85


Aleatorización ¿De qué forma podemos conseguir

que los grupos a comparar sean lo

más parecidos posibles en el

baseline?


GeSIDA 2019

Asignación de tratamiento

86


Aleatorización Ajustar por todos los factores de

confusión

Matching (ej. propensity score)

Estratificación o regresión

Estandarización o pesos

inversamente proporcionales

G-estimation

Métodos doblemente robustos

Si no tenemos identificadas y

medidas todas las variables de

confusión, la emulación de la

aleatorización no será posible


GeSIDA 2019


87


Inicio: Fecha aleatorización

Fin: La primera fecha en la que

ocurra un diagnóstico de SIDA, no

SIDA grave, muerte, pérdida al

seguimiento o tras 5 años de la

aleatorización

¿Cuándo empieza y finaliza el

seguimiento de los pacientes?


GeSIDA 2019


88


Inicio (Baseline): Fecha

aleatorización





aleatorización

Inicio (Baseline): Primera fecha en

la que se cumplen los criterios de

elegibilidad





aleatorización


GeSIDA 2019

Outcome

89


Composite endpoint: SIDA, no SIDA

grave o muerte

¿Cómo definimos el endpoint?


GeSIDA 2019

Outcome

90



grave o muerte


grave o muerte


GeSIDA 2019

Contraste causal de interés

91


Efecto por intención de tratar ¿Cuál es el contraste causal de

interés?


GeSIDA 2019

Contraste causal de interés

92


Efecto por intención de tratar Efecto por intención de tratar


GeSIDA 2019

Plan de análisis

93



Comparar el evento de interés en

los grupos definidos por el

tratamiento asignado en la

aleatorización

¿Cómo vamos a llevar a cabo el

análisis de los datos?


GeSIDA 2019

Plan de análisis

94






aleatorización




tratamiento asignado en el

baseline, ajustando

apropiadamente por variables

de confusión basales


GeSIDA 2019

Plan de análisis

95






aleatorización




tratamiento asignado en el

baseline, ajustando

apropiadamente por variables

de confusión basales

En presencia de sesgos de selección por pérdidas al seguimiento, es necesario ajustar por variables de confusión post-basales


GeSIDA 2019

96

TAKE-HOME MESSAGES


GeSIDA 2019

Como hacer una pregunta causal?

Especificando el ensayo diana (target trial)

Como responder una pregunta causal?

Llevando a cabo el ensayo diana (target trial)

o emulando el ensayo diana con datosobservacionales

97

Inferencia causal usando el marco del ensayo diana


GeSIDA 2019

Not explicitly describing our causal goal is like shooting without a target

98

Am J Public Health. 2018;108: 616–619


GeSIDA 2019

Every time someone presents observational estimates to estimate causal effects, ask

“What is the target trial?”

If they look puzzled, help them specify the target trial

If no target trial can be identified, ask them to start over


GeSIDA 2019

Documents

DEPARTMENTS OF EPIDEMIOLOGY CENTRO NACIONAL DE AND ... · Apply appropriate causal inference analytics GeSIDA 2019 Hernán, Jarrín –Emulando un ensayo diana 10. Step 1 Specify