리뷰를 할 때 가장 적절한 지식합성 방법은 무엇인가? (BMC Med Res Methodol, 2012)

리뷰를 할 때 가장 적절한 지식합성 방법은 무엇인가? (BMC Med Res Methodol, 2012)

What is the most appropriate knowledge synthesis method to conduct a review? Protocol for a scoping review

Monika Kastner1*, Andrea C Tricco1, Charlene Soobiah1, Erin Lillie1, Laure Perrier1,2, Tanya Horsley3, Vivian Welch4, Elise Cogo1, Jesmin Antony1 and Sharon E Straus1,5

배경 Background

지식 합성은 건강 문제 관리에 대한 정보를 제공할 잠재력을 가지고 있으며 [1] 캐나다 인구의 건강에 필수적이다[2]. 지식 합성은 특정 문제에 관한 모든 관련 연구를 요약하고, 다양한 증거의 불일치에 대한 이해를 향상시킬 수 있으며, 미래 연구 의제를 정의할 수 있다[1,3]. 지식합성은 또한 지식번역(KT) 프로세스의 중요한 부분이며(그리고 이상적으로는 제공자와 정책입안자를 위한 KT 전략의 '기본 단위'를 형성해야 한다)이며, 임상실무 지침, 정책설명서, 의사결정 보조기구 등을 포함한 KT 제품의 증거기반을 제공하는 데 사용된다[4]. 이와 같이 지식합성은 증거의 총체성의 맥락 안에서 개별 연구의 결과를 해석하는 데 이용될 수 있다. 하나의 연구나 전문가의 의견에 근거한 실천요강과 정책결정을 하는 것이 오해를 불러일으킬 수 있다는 점을 고려할 때, 이것은 중요한 고려사항이다 [5].

Knowledge synthesis has the potential to inform the management of health problems [1] and is integral to the health of the Canadian population [2]. A knowledge synthesis summarizes all pertinent studies on a specific question, can improve the understanding of inconsistencies in diverse evidence, and can define future research agendas [1,3]. Knowledge synthesis is also an important part of the knowledge translation (KT) process (and ideally should form the ‘base unit’ of KT strategies for providers and policy makers), and be used to provide the evidence base for KT products including clinical practice guidelines, policy briefs and decision aids [4]. As such, knowledge synthesis can be used to interpret results of individual studies within the context of the totality of evidence. This is an important consideration, given that basing practice and policy decisions on a single study or expert opinion can be misleading [5].

의료 분야의 지식 종합 활동은 종종 가장 일반적으로 개입되는 방법론적으로 엄격한 코크란 검토에 초점을 맞추었다. Cochrane Collaboration에 따른 체계적 검토의 정의는 "관련 연구를 식별, 선택, 비판적으로 평가하고, 검토에 포함된 연구로부터 데이터를 수집, 분석하기 위해 체계적이고 명시적인 방법을 사용하는 명확하게 작성된 질문의 검토로서, 통계적 방법(메타 분석)은 포함된 연구의 결과를 분석하고 요약하는 데 사용될 수도 있고 아닐 수도 있다."[6]. 그러나 모든 지식 종합 질문, 특히 복잡하고 다원적인 주제를 조사하는 질문에 대한 답변에는 코크란과 같은 검토 방법이 항상 적용될 수는 없다[7,8].

Knowledge synthesis activities in healthcare have often focused on the methodologically rigorous Cochrane reviews, most commonly of interventions. The definition of a systematic review according to the Cochrane Collaboration is “A review of clearly formulated questions that uses systematic and explicit methods to identify, select, and critically appraise relevant research, and to collect and analyse data from the studies that are included in the review. Statistical methods (meta-analysis) may or may not be used to analyse and summarise the results of the included studies” [6]. However, Cochrane-like review methods may not always be applicable for answering all knowledge synthesis questions, particularly those investigating complex and multidisciplinary topics [7,8].

더욱이 Cochrane 검토와 같은 전통적인 검토는 특정 개입이 어떤 환경에서는 작동하지만 다른 환경에서는 작동하지 않는 이유를 항상 설명할 수 없다[10]. 예를 들어, Cochrane 검토 결과, 학교 급식 프로그램은 취약계층 아동의 성장과 인지 성능을 상당히 향상시켰지만 [11] 정책 입안자들이 어떤 개입을 이행해야 하고 어떤 상황에서 어떤 상황에서 시행해야 하는지를 결정할 수 있는 방향을 제시하지 못했다. Cochrane 검토와 함께 현실주의 검토[10]를 실시함으로써, 저자들은 실무와 정책 수립에서 실행할 수 있는 구체적인 권고안을 제시할 수 있었다[7]. Realist review는 어떤 조건에서 누구에 대해서 무엇이 효과가 있느냐를 이해하기 위하여 사용된다.  이러한 유형의 질문을 해결하고 환자의 요구, 선호 및 경험을 의료 제공에 적절히 통합하기 위해, 덜 전통적인 복잡한 증거 검토 방법(즉, 이질적이고, 방법론적으로 다양하며, 분류하기 어렵고, 모순됨)을 고려할 필요성이 증가하고 있다[12,13].

Furthermore, a traditional review such as a Cochrane review cannot always explain why particular interventions work in some settings but not in others [10]. For example, a Cochrane review found that school feeding programs significantly improved the growth and cognitive performance of disadvantaged children [11], but failed to provide direction for policy-makers to decide which intervention should be implemented and under what circumstances. By conducting a realist review alongside the Cochrane review (which can be used to understand ‘what works for whom and under what circumstances’ [10]), the authors were able to provide concrete recommendations that could be implemented in practice and policy making [7]. To address these types of questions and adequately incorporate the needs, preferences and experiences of patients into healthcare delivery, there is an increasing need to consider less traditional review methods of complex evidence (i.e., heterogeneous, methodologically diverse, difficult to classify, and contradictory) [12,13].

표 1은 현재 여러 분야에 걸쳐 문헌에 존재하는 지식 종합 방법의 선택을 요약한다(지식 종합 전문가 및 정성 연구자와의 협의를 통해 확인).

Table 1 summarizes a selection of knowledge synthesis methods that currently exist in the literature across multiple disciplines (identified through consultation with knowledge synthesis experts and qualitative researchers).

본 연구에 대비하여 수행한 검토의 연구자 및 최종 사용자와의 협의에서는 연구 질문에 적합한 검토 방법을 일치시키는 방법, 이러한 검토를 수행하는 데 사용되는 방법, 그리고 의사결정을 알리기 위해 검토 결과를 분석하고 제시하는 [방법에 대한 명확성이 결여]되어 있음을 알 수 있다.

Consultation with researchers and end users of reviews that we conducted in preparation for this research indicate a lack of clarity around 

• how to match the appropriate review method to the research question, 

• the methods used to conduct these reviews, and 

• how to analyze and present the results from the review to inform decision making.

확인된 다른 도전 과제에는 수많은 통합 방법(특히 정성적 연구를 합성하기 위한 방법)을 찾는 것이 포함되며, 이는 문헌 내부와 많은 다른 분야와 데이터베이스에 광범위하게 분산되어 있기 때문에 문제가 많고 자원 집약적일 수 있다. 서로 다른 합성 방법을 설명하는 데 사용되는 용어는 흔히 유사하며(예: '메타신성', '메타-윤리', '메타-해석', '메타-스터디', '메타-해석'), 그 정의가 중복될 수 있다[12].

Other identified challenges involve locating the numerous synthesis methods (particularly those for synthesizing qualitative research), which can be problematic and resource-intensive since they are scattered widely within the literature and across many different disciplines and databases. The terms used to describe the different synthesis methods are often similar (e.g., ‘metasynthesis’, ‘meta-ethnography’, ‘meta-narrative’, ‘meta-study’, ‘meta-interpretation’) and their definitions can overlap [12].

Gough와 동료들에 의한 최근의 overview는 이 용어들 사이의 중요한 개념적 차이와 실제적 차이를 기술함으로써 검토 설계와 방법 사이의 차이를 개략적으로 설명하려고 시도했다[8]. 그러나 모든 다른 합성 방법(양적/질적 또는 혼합)에 대한 포괄적인 매뉴얼은 현재 존재하지 않으며, 이러한 방법론이 어떻게 관련되는지, 그리고 특정 연구 질문에 가장 적합한 방법론을 결정하는 방법을 설명한다.

A recent overview by Gough and colleagues attempted to outline the differences between review designs and methods by describing the important conceptual and practical differences amongst them [8]. However, a comprehensive manual for all of the different synthesis methods (quantitative/qualitative or mixed), outlining how they are related and how to decide which methodology is the most appropriate for a particular research question does not currently exist.

방법 Methods/Design

검색전략

Search strategy

연구 선택: 포함 기준

Study selection: inclusion criteria

스터디 선택: 선별

Study selection: screening

데이터 추상화

Data abstraction

데이터 분석

Data analysis

지식 사용자 및 KT 계획 참여

Engagement of knowledge users and KT plan

예상되는 과제

Anticipated challenges

고찰 

Discussion

제안된 범위 지정 검토는 관행과 정책에 영향을 미칠 가능성이 있으며 KT와 보건 서비스 연구 문헌에 몇 가지 기여를 할 것이다. 

The proposed scoping review has the potential to impact practice and policy and will make several contributions to the KT and health services research literature. 

첫째, 이 연구는 핵심 지식 사용자들이 자신의 연구 질문에 답하기 위해 어떤 합성 방법이 가장 적합한지에 대한 정보에 입각한 결정을 내릴 수 있는 체계적인 과정을 제공함으로써 지식 종합의 과학을 발전시킬 것이다. 이것은 또한 생산된 연구 증거의 질을 높일 수 있다. 특히 이 작품에서는 복잡하고 다요소적이며 다학제적인 건강관리 개입을 명확히 하고, 증거 기반 실천과 증거 기반 의사결정의 진전에 기여할 수 있는 참신한 지식 종합방법의 가능성을 강조할 예정이다. 

First, the work will advance the science of knowledge synthesis by providing a systematic process for key knowledge users to make informed decisions about which synthesis method is the most appropriate to answer their research questions. This may also augment the quality of the research evidence produced. In particular, the work will highlight the potential for novel knowledge synthesis methods to clarify complex, multi-component, and multi-disciplinary healthcare interventions [13], and to contribute to the advancement of evidence-based practice and evidence-based decision-making. 

둘째, 현재 이용 가능한 모든 합성 방법(양적/질적 또는 혼합)에 대한 포괄적인 매뉴얼이 없다. 본 매뉴얼을 개발하기 위해서는 이용 가능한 모든 합성 방법에 대한 분류법과 비교가 필요하다. 우리의 작업은 건강, 철학 등 여러 분야에 걸쳐 종합방법의 분류법을 개발하는 것을 목표로 하고 있다. 

Second, there is currently no comprehensive manual for all available synthesis methods (quantitative/qualitative or mixed). To develop this manual, a taxonomy and comparison of all available synthesis methods are needed. Our work aims to develop the taxonomy of synthesis methods across multiple disciplines such as health and philosophy. 

셋째, 이 scoping review는 문헌을 지도화map하고, 주요 방법의 증거가 부족하고 필요한 간극을 식별하며, 체계적인 검토가 필요한 곳을 식별하는데 도움이 될 것이다. 우리는 이 작업이 이후 여러 개의 체계적인 검토로 이어질 것으로 기대한다. 예를 들어, 한 미래 체계적 검토는 보건 서비스 연구를 위한 지식 합성 방법에 초점을 맞추고 다른 검토는 질적 데이터의 지식 합성에 초점을 맞출 수 있다. 

Third, the scoping review will help map the literature, identify gaps where primary methods evidence is lacking and needed, and where systematic reviews are required; we anticipate that this work will lead to multiple subsequent systematic reviews. For example, one future systematic review may focus on knowledge synthesis methods for health services research and another may focus on knowledge synthesis of qualitative data.

넷째, 이 작업은 CIHR(Canadian Institute of Health Research, CIHR) 개발 자원(예: 모듈)과 같은 지식 합성 기금 제공자들에게 직접적인 영향을 미칠 수 있는 잠재력을 가지고 있으며, 이는 새로운 합성 방법에 대한 인식과 복잡한 증거를 다루기 위한 관련성을 높이는 데 사용될 수 있다. 이 정보는 합성 보조금의 안전 점검을 수행하는 지식의 경우 특히 필수적이다. 

Fourth, the work has the potential to directly influence knowledge synthesis funders such as the in Canadian Institutes of Health Research (CIHR) developing resources (e.g., modules) that can be used to increase awareness of novel synthesis methods and their relevance for addressing complex evidence. This information is especially imperative for those knowledge conducting peer review of synthesis grants. 

다섯째, 이 scoping review는 출판사와 편집자가 이러한 유형의 지식 종합을 기술하는 원고의 동료 검토를 돕기 위해 사용할 수 있다. 

Fifth, the scoping review can be used by publishers and editors to assist with the peer review of manuscripts describing these types of knowledge syntheses. 

여섯째, 우리의 연구결과는 종합방법에 대한 현재의 이해를 확대함으로써 임상 역학 프로그램 내의 건강 연구 방법 커리큘럼에 영향을 미칠 수 있는 잠재력을 가지고 있다. 복잡한 개입에 대한 개발과 평가가 KT의 중요한 요소로 대두되고 있어 비전통적인 검토 방법을 수행하는 전문지식이 연구자, 교사, 학생에게 점점 중요해질 것이다. 

Sixth, our findings have the potential to influence health research methods curricula within clinical epidemiology programs, by expanding the current understanding of synthesis methods. The development and evaluation of complex interventions has emerged as an important component of KT, so expertise in conducting non-traditional review methods will become increasingly important for researchers, teachers, and students. 

마지막으로, 이 작업은 광범위한 보건 분야 전반에 걸쳐 목표가 될 것이며, 이는 이러한 분야 내의 실천요강과 정책 결정을 직접적으로 알릴 수 있는 좀 더 일반화할 수 있는 발견을 이끌어낼 기회를 제공할 것이다.

Lastly, the work will be targeted across a broad scope of health disciplines, which will provide the opportunity to elicit more generalizable findings that can directly inform practice and policy decisions within these disciplines.

---

. 2012 Aug 3;12:114.

 doi: 10.1186/1471-2288-12-114.

What is the most appropriate knowledge synthesis method to conduct a review? Protocol for a scoping review

Monika Kastner 1, Andrea C Tricco, Charlene Soobiah, Erin Lillie, Laure Perrier, Tanya Horsley, Vivian Welch, Elise Cogo, Jesmin Antony, Sharon E Straus

Affiliations 

Affiliation

• 1Li Ka Shing Knowledge Institute of St. Michael's hospital, 209 Victoria Street, Toronto, ON, M5B 1W8, Canada. monika.kastner@utoronto.ca

• PMID: 22862833
 
• PMCID: PMC3477082
 
• DOI: 10.1186/1471-2288-12-114

Free PMC article

Abstract

Background: A knowledge synthesis attempts to summarize all pertinent studies on a specific question, can improve the understanding of inconsistencies in diverse evidence, and can identify gaps in research evidence to define future research agendas. Knowledge synthesis activities in healthcare have largely focused on systematic reviews of interventions. However, a wider range of synthesis methods has emerged in the last decade addressing different types of questions (e.g., realist synthesis to explore mediating mechanisms and moderators of interventions). Many different knowledge synthesis methods exist in the literature across multiple disciplines, but locating these, particularly for qualitative research, present challenges. There is a need for a comprehensive manual for synthesis methods (quantitative/qualitative or mixed), outlining how these methods are related, and how to match the most appropriate knowledge synthesis method to answer a research question. The objectives of this scoping review are to: 1) conduct a systematic search of the literature for knowledge synthesis methods across multi-disciplinary fields; 2) compare and contrast the different knowledge synthesis methods; and, 3) map out the specific steps to conducting the knowledge syntheses to inform the development of a knowledge synthesis methods manual/tool.

Methods: We will search relevant electronic databases (e.g., MEDLINE, CINAHL), grey literature, and discipline-based listservs. The scoping review will consider all study designs including qualitative and quantitative methodologies (excluding economic analysis or clinical practice guideline development), and identify knowledge synthesis methods across the disciplines of health, education, sociology, and philosophy. Two reviewers will pilot-test the screening criteria and data abstraction forms, and will independently screen the literature and abstract the data. A three-step synthesis process will be used to map the literature to our objectives.

Discussion: This project represents the first attempt to broadly and systematically identify, define and classify knowledge synthesis methods (i.e., less traditional knowledge synthesis methods). We anticipate that our results will lead to an accepted taxonomy for less traditional knowledge synthesis methods, and to the development and implementation of a methods manual for these reviews which will be relevant to a wide range of knowledge users, including researchers, funders, and journal editors.