Systematic and Meta Analysis - elearning.med.asu.edu.eg

Systematic Review and ,Meta Analysis

Professor Mervat Rady

Introduction:

• Systematic review is a scientific evaluation of several studies that have been conducted for a specific clinical question . 

• By pooling together the results from several studies, the evidence drawn from  systematic reviews can be very powerful and influential. 

• Therefore, systematic reviews are now regarded as a “gold standard” source of research evidence.

3pro.Mervat Rady

• Systematic reviews are mostly conducted on randomized clinical trials (90% of the published SRs), but can also be conducted on other types of studies, including:

non‐ randomized trials, Observational studies (social researches)andDiagnostic test studies where several ROC plots are summarized in order to increase the precision of a test (sensitivity and specificity values). 

Reasons why a new review may be considered

• A gap in knowledge has been identified, prioritized and a question posed. 

• Contradictions between researchers’ opinions about a clinical question

• Simply, the idea for a review may be investigator led, with a topic identified from his area of practice or research interest.

How to conduct?Systematic reviews generally involve the following  steps:

1. Identify the problem/study question (PICO).2. Protocol writing3. Develop inventory of studies through extensive searching and outlining selection criteria.

4. Review each study critically to assess merits for inclusion.

5a. Collect data across different selected studies ±5b. Analyze and pool the data (including meta‐analysis if warranted).

6. Interpret and publish the results.7. Monitor published literature and update previously published reviews as appropriate.

NB:

Not every systemic review includes meta‐analysis; it needs specific criteria (see later)

Every meta analysis should be preceded bya systematic review 

The clinical question:

• Identifying the problem/study question: this is the question which reflects the review objective and it is the one which will be used to search the selected data bases. 

• Well‐formulated questions will guide many aspects of the review process, including:

put the eligibility criteria of the included studies,  guide the searching process for the relevant studies, 

identify the needed data to be collected  from the included studies

PICO, PICOS, PICOT format: • The review question can be framed in terms of the population (p), intervention(I), comparator(C) and outcomes (O) of the studies that will be included in the review (PICO format). 

• These elements of the review question, together with study design (PICOS format) and time (PICOT) will then be refined in order to determine the specific inclusion criteria that will be used when selecting studies for the review. 

• In some situations, not all the elements will be relevant, for example not every review question will specify type of study design or the outcome to be included.

Formulating the research question:

• P – Population: refers to the sample of participants that will be recruited for the study. It is important to specify the characteristics of the eligible participants and the excluded one such as age, gender, disease type or grade etc. 

• I – Intervention: refers to the treatment or activity that will be provided to the participants in the study. You should think about dose, duration, frequency, intensity, timing, route, the etc. 

• C – Comparison: stands for the reference you plan to compare with the treatment. A comparison can be inactive (placebo or no treatment) or active (existing ‘gold standard’ treatment , usual care, an alternative intervention etc). 

• O – Outcome:  refers to what will be measured to assess the effectiveness of the intervention

• T – Timing: is added to PICO  — that is, “Over what time frame will the study outcome will appear ?”

Etiology PICOT Question:• Are kids (P) who have obese parents (I) at increased risk for obesity (O) during adolescence (T) compared with kids (P) without obese parents (C)?

Diagnostic PICOT Question:• Is a PKU test (I) done on two week old infants (P) more accurate in diagnosis inborn errors in metabolism (O) compared with the test done at 24 hours of age (C)? 

The protocol:The protocol usually includes all aspects of the proposed systematic review, including:• Background with review rational • Objectives• Methodology: Criteria for selection of the studies i.e. inclusion and exclusion criteria 

of the studies (PICO),  Search strategy,  Validity criteria for included studies instruments to be used for extracting data such as data extraction 

sheets, checklists, and the process used etc. The proposed methodology for the meta‐analysis calculation and other 

statistical issues are also specified in the protocol of a systematic review. 

Narrative review Systematic review

Question Broad question (no specific objective)

Focused clinical question(specific objective)

Sources andsearch

Not usually specified,potentially biased

Comprehensive sources, andexplicit search strategy

Selection Not specified, potentiallybiased

Criterion based selectionInclusion and exclusioncriteria

Appraisal VariableMay not consider qualityof included studies

Rigorous critical appraisal

Synthesis Often qualitativesummary

Quantitative summary

Inference Not evidence based Always evidence based

The search:• The search for both published and unpublished studies should be thorough and exhaustive and should include all relevant local and international sources such as databases , journals reference lists, registers of clinical trials, abstracts…. etc.

• Most common used database are:Pub medResearch gateScopusAcademiaOvid 

• Our guide in searching is by PICO• Use Mesh  for alternatives (synonymous e.g. hyperglycemia = 

diabetes )• Put limits  for or widen your search • Incorporating decisions about publication status and language 

restrictions also needs to be made at this stage. • In reviews of one year or more duration, or reviews in rapidly 

evolving fields, provision for repeating the searches towards the end of the review process should also be considered. 

• In addition it may be useful to carry out current awareness searches to identify relevant papers as they are published. 

• Use  a reference manager (e.g. endnote ) to put the selected studies in it.

First filter strategy: Title and abstract

• Following the search process, researchers then proceed to apply inclusion and exclusion criteria as specified in the protocol to these identified studies. 

• Usually done by at least two investigators• For example, inclusion criteria may specify “Randomized clinical trials conducted on bulimia nervosa, examining the efficacy of any anti‐depressantsin the relief of binge and purge symptoms after 3 month follow up”   as the basis for accepting studies into a review, whereas factors  such as “non‐randomization or a less than 3‐month follow up duration” may be listed as exclusion criteria.

• The inclusion criteria should capture all studies of interest: 

If the criteria are too narrowly defined there is a risk of missing potentially relevant studies and the generalizability of the results may be reduced. 

On the other hand, if the criteria are too broad the review may contain information which is hard to compare and synthesize.

• Inclusion criteria also need to be practical to apply; if they are too detailed, screening may become overly complicated and time consuming. e.g. the drug same dose, the same route, the same regimen, the same participants age group and sex………….

Language• The ideal for most systematic reviews is toinclude all available studies written in anylanguage to avoid the introduction oflanguage bias into the review.

• Language bias arises when reviews includeonly studies reported in English, their resultsand inferences may be biased. Wheneverfeasible, all relevant studies should beincluded regardless of language .

• However, realistically this is not alwayspossible due to a lack of time, resources andfacilities for translation.

• It is advisable therefore, to identify all non‐English language papers, document theirexistence, but use ‘language’ as the reason forexclusion in cases where they cannot be dealtwith.

• Although titles and abstracts are translated inmany databases, full papers are usually onlyavailable in their primary language.

Publication type/status

• Ideally a review should aim to include all relevantstudies, regardless of publication status, in orderto avoid publication bias.

• It occurs because studies reporting positivefindings are more likely to be accepted forpublication in the journals than are studies(particularly small‐sized ones) that reportnegative findings.

• So, publication of a study is influenced by itsresults, hence inclusion of only published studiesmay overestimate the intervention effect.

• For that the unpublished studies , thosepublished in local journals or local theses areneeded

• Publication bias can be detected byconstructing a ‘funnel plot’ of all identifiablestudies that have been performed on a clinicalsubject (See later).

Second filter: Studies selection

• Second filter is done by reading the whole selectedarticles by another at least 2 investigators (usuallyprofessionals of the review domain +epidemiologists and or statisticians).

• Any disagreement (< 80%) between them willrequire a third parity.

• Excluded studies: confirm the results from theauthor if possible, otherwise, table includingreasons of exclusion should be included.

Validity assessment

• Review authors’ judgments shouldcategorized studies into ‘Low risk’ of bias,‘High risk’ of bias or ‘Unclear risk’ of bias.

• This give them a clue to include or exclude thestudies.

• Prisma template can help

Data sources :

• The needed data are usually extracted from the available trials’ reports (published article), otherwise:

Contact the trial investigators for detailed  numerical results or  

Contact the trial investigators for sending the original research data (gold standard ). 

• The protocol should also specify whether authors of primary studies will be contacted to provide missing or additional data.

Data extraction• For systematic reviews, extracted data usually concern issues such as randomization, blinding, sample size, follow‐up duration, type of data analysis , effect size etc. (see the following figure)

• For meta‐analysis, what is needed is the original data and not the outcome i.e. for qualitative variables ; total group number and number of affected persons (%) in each group, while for the quantitative one; the mean and SD of each group.  

• The protocol should state the procedure for data extraction including the number of researchers who will extract the data and how discrepancies will be resolved.

Data Synthesis and analysis

• “Once the data have been extracted and their quality and validity assessed, the outcomes of individual studies within a systematic review may be pooled and presented as summary outcome or effect” 

• The authors summarize heterogeneous data qualitatively, as data that are very conflicting and widely variable should not, under most circumstances, be combined numerically. 

• Meta‐Analysis: is a statistical technique for combining the results of independent, but similar, studies to obtain an overall estimate of treatment effect.”

• “While all meta‐analyses are based on systematic review of literature, not all systematic reviews necessarily include meta‐analysis.” 

• “If a meta‐analysis is to be included in a systematic review, an experienced statistician or an epidemiologist should be consulted during all phases of the study.”

There are 2 statistical models used in a meta‐analysis:

• The Fixed Effects Model: The fixed‐effects model assumes that the true effect of treatment is the same for every study (Homogeneity is present) .” 

• The Random Effects Model: The random effects model assumes that the true effect estimate for each study varies (Heterogeneity is present) .”

Why perform a meta‐analysis in a review?The following are reasons for considering including a meta‐analysis in a review:

• To increase power by increasing  sample size• To improve precision.• To answer questions not posed by the individual studies.

• To settle controversies.

When not to use meta‐analysis in a review

• If we have only one study• The selected studies are at high risk of bias may be seriously misleading. If bias is present in each (or most) of the individual studies, meta‐analysis will simply compound the errors, and produce a ‘wrong’ result that may be interpreted as having more credibility.

• Meta‐analyses in the presence of serious publication bias are likely to produce an inappropriate summary.

• Meta analyses  need a special types of software. 

• Having carried out a weighting procedure, better quality studies can then be given more influence in the meta‐analysis calculation from which the overall summary estimate is derived.  

• Results are usually  presented with p‐values, confidence intervals and are displayed on a “forest plot”. 

• The forest plot is a diagram which shows the estimated effect of interest in each study and their average (with confidence intervals).

Soft wares:• The easiest (and free) one: Review Manager (Rev‐Man) from the Cochrane Collaboration (http://ims.cochrane.org/revman)

• The most powerful: STATA, SAS or R.  All these are also commercial and need to be bought.

• SPSS has no mata‐analysis

Fig. (1): Forest plot

Elements of a forest plot (figure 1):‐ The study column lists all the studies selected to be included  

in the systematic review.‐ The ‘Experimental total’ column contains the numbers of 

experimental subjects that participated in each study.‐ The ‘Experimental event’ column states the number of 

events observed in each experimental group.‐ The ‘Control total’ column contains the numbers of control 

subjects that participated in each study.‐ The ‘Control event’ column states the number of events 

observed in each control group.‐ The ‘Odds ratio (OR) derived from each study result can be 

ascribed a weighting based on certain criteria such as study sample size; on some forest plots, proportionately sized dots (or squares) may be used to represent the weighting ascribed to each study.

‐ The lines running across the ‘OR’ dot represent the confidence interval for that odds ratio*.

‐ The midline of a forest plot corresponding to an odds ratio of ‘1’ represents a ‘no effect’ line.

‐ Odds ratios with confidence intervals that cross the midline are regarded as non‐significant. Furthermore, the farther away these are from the midline, the more significant the study findings are deemed to be**.

‐ The solid diamond represents the overall OR estimate (e.g. in the previous example=1.96) of the studies presented in the meta‐analysis. The outer encasing diamond represents the confidence interval of the overall odds ratio (0.90‐2.82).

Funnel plot: 

• “A funnel plot is used as a way to assess publication bias in meta‐analysis.” 

• A funnel plot is a scatter plot of treatment effect against a measure of study precision (Sample size, SE, Variance…..).

• The funnel shape becomes from the fact that large sampled studies are few and nearer at the top as usually have nearly similar effects, while the low sampled studies are larger in number and at the bottom and usually have diverse effects so they are scattered.

• A symmetrical shape is expected. The important sign of publication bias is a hole in the middle or to one side of the plot that is an area where we would expect to see studies’ results but where there are apparently none.

Funnel Plot….

• Each dot represents a single study.• The y‐axis is usually the standard error of the effect estimate or sample size.. 

• The x‐axis shows the result for the study, sometimes expressed as an log odds ratio, logRR, mean difference…….

• The plot should ideally resemble a pyramid or inverted funnel, with scatter due to sampling variation.

Any questions ?

Thank you