How to develop good research questions and answer them with the right methods

Geneva Heath Forum April 2016

Trish GrovesHead of research BMJ, Editor‐in‐chief BMJ Open

I’m editor in chief of BMJ Open and Head of Research at the BMJ, a whollyowned subsidiary of the British Medical Association (BMA)

Part of the revenue for BMJ (the company) comes from drug & devicemanufacturers through advertising, reprint sales, & sponsorship. The BMJ andBMJ Open are open access journals that charges author fees for research

I’m working on a strategy to see how BMJ might help to build health research capabilities in emerging economies. I’m editorial lead for the BMJ Research to Publication eLearning programme (by subscription)

My annual bonus scheme is based partly on the overall financial performance of both BMJ and The BMJ

Competing interests

IMRaD

Introduction

Methods

Results

Discussion

Scientific method

Ask question, do background research, develop hypothesis

Test hypothesis

Analyse your data

Interpret your findings

What are the main reasons for journal editors to reject a research paper, even if well written and presented?

• the research question isn’t sufficiently new, interesting, or important• the question is answered with suboptimal design• investigators often lack training on developing good research questions, choosing study designs, and reporting research effectively

What’s the problem?

Stages of waste in the production and reporting of research evidence relevant to clinicians and patients; from Chalmers and Glasziou, The Lancet 2014 REWARD Alliance http://researchwaste.net/about/

• nations need research evidence that’s reliable and relevant enough to help them build UHC (SDG 3, target 8)

• Africa’s share of annual research publications on health rose from 0.7% in 2000 to 1.3% in 2014, but only three countries –South Africa, Nigeria, and Kenya – contributed over half [1]

• publications retracted for plagiarism are significantly more likely to have 1st author from a low income country [2]

Relevance to global health

1. Uthman et al. BMJ Open 2015;5:3 e0063402. Stretton S et al. Curr Med Res Opin. 2012;28(10):1575‐83. 

An article reporting a study should state a specific question

A research question is more than an objective or aim. It 

focuses the hypothesis and suggests how to find an answer

Broad questions may be split  to yield several testable 

hypotheses.  Usually best to have one paper per question

What is a research question?

Relevance of the research question

“Analyses often identify mismatches between disease burden and research funding, and could help to increase attention to neglected tropical diseases—eg, schistosomiasis and dengue virus infection—and to worldwide problems—eg mental health, dementia, and stroke. 

However...many patients experience burdens from multiple diseases, and orphan treatments and diseases are missed... Furthermore, analyses of the burden of disease offer little insight into the research needs of health systems...”

Chalmers I et al. How to increase value and reduce waste when research priorities are set. The Lancet 2014. The Lancet 2014; 383:156‐165

Journals want questions that meet the FINER criteria: 

Feasible ‐ answerable with available resources

Interesting  ‐ not only to the investigators

Novel – confirms/refutes/extends knowledge, fills gap

Ethical ‐ likely to be approved by ethics committee/IRB

Relevant‐ could influence practice, policy, more studies

Editors look for clear, important, relevant, new research questions

These resources may help to focus the research question:• clinical knowledge• discussion with colleagues• national or local health research priorities• literature search to:

– identify gaps in knowledge and develop original Q– focus your Q on people, interventions/exposures, outcomes– calculate the sample size

What answer, approximately, do you expect to find?

Background to the research question

• a question you don’t care about; nor does anyone else

• perusing routine clinical data (often incomplete, biased, confounded) then trying to think of a question

• a fishing expedition/data dredging – gathering lots of information and hoping a question will emerge

• statistical analysis of data for many outcomes may yield false positives (type I errors) or false negatives owing to lack of power (type II errors)

What makes a poor research question? 

Will the research question advance knowledgeand be applicable to practice?

Chalmers I et al. How to increase value and reduce waste when research priorities are set. The Lancet 2014. The Lancet 2014; 383:156‐165

PubMed Health http://www.ncbi.nlm.nih.gov/pubmedhealth/finding‐systematic‐reviews/For systematic reviews of clinical effectiveness research:

– abstracts from Database of Abstracts of Reviews of Effects (DARE)– plain language summaries and abstracts from Cochrane 

Collaboration– full texts of reviews from public agencies– review‐based information developed for consumers and clinicians

For systematic reviews on health systems strengthening:• McMaster Health Evidence Forum 

https://www.mcmasterhealthforum.org/hse/• 3ie systematic reviews on impact evaluationhttp://www.3ieimpact.org/en/evidence/systematic‐reviews/

Use systematic reviews to focus research question

Who? What? How? PICO! 

The introduction should state the research question 

The acronyms PICO and PECO sum up key elements of clinical and epidemiological studies, and can help focus the question:

P ‐ who were the participants or population? what problem was addressed?I  or E ‐ what was the intervention or exposure?C – what was the comparison group?O ‐ what was the outcome or endpoint?

Use best study design to answer research Q

Descriptive studies answer “what’s happening?”Analytic observational studies answer “why or how is it happening?”Analytic experimental studies answer “can it work?” 

Adapted from: Centre for Evidence Based Medicine, Oxford, UK www.cebm.net

IDEAL framework

McCulloch P, Cook JA, Altman DG, Heneghan C, Diener MK. IDEAL framework for surgical innovation 1: the idea and development stages. BMJ 2013; 346 :f3012

“Do patients in the Gulf with prior stroke when hospitalised with heartfailure have worse outcomes when compared with patients with HF andwithout prior stroke? (registry study) [1]

“What was the effectiveness of antenatal continuous glucose monitoring onMaternal glycaemic control and pregnancy related morbidity—namely, birthweight and risk of macrosomia in the offspring of mothers with type 1 andtype 2 diabetes?” (RCT) [2]

“What was the association between systolic and diastolic blood pressure andThe development of early retinopathy in a large cohort of adolescents withtype 1 diabetes?” (prospective cohort study) [3]

Real research questions

1. Khafaji et al BMJ Open 2015;5:4 e007148 2. Murphy et al BMJ 2008; 337: a1680 3. Gallego et al BMJ 2008; 337: a918 

Use references sparingly, citing the most appropriate, to:– start the story– explain the RQ background and importance– describe the evidence gap

These references may also be relevant later, in the discussionsection, to explain what this study has added to the evidence

Using references in the introduction

A thesis to obtain a higher qualification, eg a PhD, may:• comprise many thousands of words • cite 100 references or more• explore many different ideas and questions

And it may not present a single, clear research question

Do not simply copy the introduction of the thesis when writing theintroduction to a paper for a journal 

Basing a journal article on a thesis

Thank you 

Trish Grovestgroves@bmj.com@trished

www.rtop.bmj.com@BMJRtoP