지식 통합의 방법: 개괄 (Heart Lung, 2014)

지식 통합의 방법: 개괄 (Heart Lung, 2014)

Methods for knowledge synthesis: An overview

Robin Whittemore, PhD, APRN, FAAN, Ariana Chao, MSN, RN, FNP-BC, Myoungock Jang, MSN, RN*, Karl E. Minges, MPH, Chorong Park, MSN, RN

도입 Introduction

[특정 질문이나 주제에 관한 모든 관련 연구의 요약]인 지식 합성KS이 실천, 연구, 정책을 진전시키는데 중요한 반면, 문학의 이질적 본체로부터 얻은 지식을 명확하고 정확한 방법으로 종합하는 것은 어려울 수 있다. 모든 관련 연구를 위해 문헌을 검색하고, 연구의 품질을 평가하고, 이질적인 데이터를 종합하는 것은 연구자들이 문헌을 체계적으로 검토할 때 경험하는 방법론적 난제의 일부다.

While knowledge synthesis - a summary of all pertinent studies on a specific question or topic1 - is critical to advancing practice, research, and policy, synthesizing knowledge froma heterogenous body of literature in a clear and accurate manner can be challenging. Searching the literature for all relevant studies, assessing quality of studies, and synthesizing heterogenous data are some of the methodological challenges researchers experience when undertaking a systematic review of the literature.

확립된 지식 종합 방법으로는 체계적인 검토, 메타 분석, 정성 종합, 통합 검토 등이 있다. 좀 더 최근에는 혼성학 검토, 범위 검토, 효과성과 일반성을 검토하는 검토(즉, RE-AIM 검토), 체계적 검토(즉, 우산 검토)에 대한 검토 방법이 제안되고 있다. 개별 연구뿐만 아니라 검토 결과 보고에 대한 이러한 방법과 지침은 지식 종합 방법의 엄격성과 실천과 정책에 대한 소견의 적용성 및 투명성을 높이기 위해 지속적으로 수정되고 있다.

Established knowledge synthesis methods include the systematic review, meta-analysis, qualitative synthesis, and integrative review. More recently, methods on mixed-studies reviews, scoping reviews, reviews that examine efficacy and generalizability (i.e., RE-AIM review), and reviews of systematic reviews (i.e., umbrella reviews) have been proposed. These methods and guidelines for reporting results from reviews, as well as individual studies, continue to be revised to enhance the rigor of knowledge synthesis methods and the applicability and transparency of findings to practice and policy.

이러한 지식은 개별 연구의 적절하고 정확한 보고를 강화하고, 문헌 검토를 수행할 때 적절한 검토 방법을 결정하며, 연구의 질과 편견을 고려하고, 리뷰를 해석하는 데 도움이 된다.2

This knowledge helps to enhance appropriate and accurate reporting of individual studies, to determine an appropriate review method when undertaking a review of the literature, to consider quality and bias of studies, and to interpret reviews.2

지식 합성 방법론 개요

Overview of knowledge synthesis methodology

모든 지식 합성 방법에는 개별 연구가 신뢰할 수 있는 연구 결과를 가지고 있고 합성된 연구 결과가 개별 연구의 통합 또는 합성을 정확하게 나타내기 위해 체계적이고 감사 가능한 접근법이 포함되어야 한다.3 모든 지식 합성 방법에는 다음과 같은 공통점이 있다. 

• a) 명시적 목적 

• b) 방법론적 프로토콜의 개발; 

• c) 관련 연구 기사를 찾기 위한 종합적인 검색 전략; 

• d) 개별 연구에서 편향의 품질 및 잠재적 위험을 평가하는 방법 또는 전통 

• e) 명시적 데이터 수집 및 종합 절차3e5 

All knowledge synthesis methods must include a systematic and auditable approach to assure that individual studies have trustworthy findings and that the synthesized findings accurately represent the aggregation or synthesis of individual studies.3 Common to all knowledge synthesis methods are: 

• a) an explicit aim; 

• b) development of a methodological protocol; 

• c) comprehensive search strategies to find relevant research articles; 

• d) a method or tradition of evaluating quality and potential risk of bias in individual studies; and 

• e) explicit data collection and synthesis procedures.3e5 

결과의 제시는 특정 방법에 따라, 방법의 기초적인 가정에 따라 다르다.

Presentation of the results varies depending on the specific method and the underlying assumptions of the method.

Gough와 동료2는 집적 논리나 구성 논리의 사용으로 나누어 검토방법에 있어서 차별화를 명확히 했으며, 이는 결과적으로 결과의 제시에 영향을 미친다. 

• 평균 효과 크기나 수치 계산을 결정하기 위해 균질한 경험적 데이터를 포함하는 검토는 집적 논리(예: 일부 체계적 검토, 메타분석)에 기초하며, 결과는 일반적으로 수치 데이터와 숫자로 제시된다. 

• 이와는 대조적으로 현상의 보다 탐구적이고 다양성과 복잡성을 추구하는 검토는 결과가 개념적 모델이나 서술적 텍스트로 제시되며 구성 논리(예: 질적 종합, 혼합 연구 검토)에 기초한다.

Gough and colleagues2 have articulated a differentiation in review methods that either use aggregative logic or configuring logic, which subsequently affects the presentation of results. 

• Reviews that include homogenous empirical data in order to determine average effect sizes or numerical counting are based in aggregative logic (e.g., some systematic reviews, meta-analyses), and results are typically presented as numerical data and figures. 

• In contrast, reviews that are more exploratory and seek variation and complexity of phenomenon are based on configuring logic (e.g., qualitative synthesis, mixed-studies review) with results presented as a conceptual model or narrative text.

지식 종합 방법 가이드라인

Guidelines for knowledge synthesis methods

가이드라인은 그러한 유형의 검토, 검색 전략 및 데이터 수집 방법, 품질 평가 도구, 데이터 추출 및 분석 절차, 보고 권고사항에 필요한 연구 설계 유형을 명시한다. 

• 체계적 검토 및 메타분석 가이드라인이 잘 개발되어 있으며, 상세한 정보와 체크리스트를 제공하여 엄격한 검토를 실시하고, 검토 방법의 공표에 포함시키는 데 필요한 정보를 제공한다. 

• 이와는 대조적으로 질적합성, 혼성연구 검토, 우산 검토 등에 대한 가이드라인이 등장하고 있으며, 검토와 본문합성의 방향성을 제시하고 있지만, 현재 방법론적 접근방법에 대해서는 합의가 이루어지지 않고 있다.

Guidelines specify the type of study design required for that type of review, search strategies and data collection methods, quality appraisal tools, data extraction and analysis procedures, and reporting recommendations. 

• Guidelines for systematic reviews and meta-analyses are well developed and provide detailed information and checklists to conduct a rigorous reviewand the necessary information to include in the publication of a review method. 

• In contrast, guidelines for qualitative syntheses, mixed studies reviews, and umbrella reviews are emerging and provide direction to conduct the review and synthesize text, however there is no consensus on the methodological approach at this time.

모든 검토 방법에 대한 주요 과제 중 하나는 [검토에 포함된 연구의 품질에 대한 평가]다. 개별 연구의 품질에 대한 평가는 어렵고, 잠재적으로 편향될 수 있으며, 메타분석을 제외하고는 개별 연구의 품질을 검토 분석에 어떻게 고려할지 불분명하다. 그럼에도 불구하고, 모든 검토 방법에 대한 품질 기준이 제안되었다.

One of the major challenges for all review methods is the appraisal of the quality of studies included in the review. Assessment of the quality of individual studies is difficult and potentially biased, and with the exception of the meta-analysis, it is unclear how to factor in the quality of an individual study into the review analysis. Nonetheless, quality standards for all review methods have been proposed.

체계적 검토

Systematic review

체계적 검토는 [관련 연구를 식별하고, 연구 품질을 평가하고, 결과를 요약함으로써 복수의 연구의 증거를 결합하기 위해 사용되는 방법]이다.17,18 편향을 최소화하고, 신뢰할 수 있는 발견과 증거를 제공하기 위해 명시적이고 체계적이며 투명한 방법을 이용한다.5 체계적 검토는 통계적 분석(연구 설계와 결과가 동일한 경우) 또는 서술적 분석을 사용하여 수행할 수 있다. 분석적 접근방식과 무관하게, 복수의 구성요소를 가진 개입이나 다른 조치를 포함하는 개별 연구의 결과를 종합하는 것은 추가적인 어려움을 야기한다. 체계적 검토의 품질이 떨어지고 일관성 없는 보고가 과학적 추론과 결론을 내리는데 유용성을 감소시킬 수 있다.19,20

A systematic review is a method used to combine evidence of multiple studies by identifying relevant research, appraising study quality, and summarizing findings.17,18 It utilizes explicit, systematic, and transparent methods to minimize bias and provide reliable findings and evidence.5 Systematic reviews can be conducted using a statistical analysis (if study designs and outcomes are homogenous) or a narrative analysis. Regardless of analytic approach, synthesizing the results of individual studies that includes interventions with multiple components or different measures poses additional challenges. Poor quality and inconsistent reporting of the systematic review may diminish their usefulness to make scientific inferences and conclusions.19,20

체계적 검토에서 보고의 표준화를 강화하기 위해 체계적 검토 및 메타분석(PRISMA)에 대한 보고의 투명성을 개선하고 체계적 검토 전반에 걸친 일관성을 높이기 위해 PRISMA(Prize Reporting Items for Systemic Reviews and Meta-Analyses)를 권고하였다.21 PRISMA는 QUOROM statement에서 진화되었다. 그리고 그것은 연구자들이 검토를 수행하고 결과를 요약하는 데 사용할 수 있는 명시적이고 체계적인 접근법을 제공한다.19 PRISMA 문항은 27개 항목 체크리스트와 4개 단계 흐름도로 구성된다.21 보고서는 개별 연구의 편향 위험과 개별 연구의 편향 위험을 평가할 필요성을 강조한다. 누적 증거에 영향을 미치다19

To enhance the standardization of reporting in systematic reviews, the Preferred Reporting Items for Systematic Reviews and Meta-Analyses (PRISMA) has been recommended to improve the transparency of reporting systematic reviews and enhance consistency across systematic reviews.21 The PRISMA statement evolved from the Quality of Reporting Meta-analyses (QUOROM) statement,22 and it provides an explicit and systematic approach that researchers may use to conduct a review and summarize findings.19 The PRISMA Statement comprises a 27-item checklist and a four-phase flow diagram.21 The report emphasizes the need to assess risk of bias in individual studies and risk of bias across studies that may affect the cumulative evidence.19

심부전에 대한 체계적인 검토의 예는 표 3에 수록되어 있다. 이 검토의 목적은 [심부전이 있는 성인의 우울증에 대한 다양한 치료법을 평가]하는 것이었다.6

An example of a systematic review in heart failure is included in Table 3. The purpose of this review was to evaluate different types of treatment for depression in adults with heart failure.6

메타-분석

Meta-analysis

메타분석(meta analysis)은 [효과크기의 전체적인 효과와 크기를 결정하기 위해 통계적 방법을 사용하여 증거를 결합]하는 체계적 검토의 한 유형이다.23 이 기법은 연구 결과의 수렴, 다양성 및 강건성, 증가된 힘을 가진 효과의 통계적 유의성, 모어의 발달에 관한 질문에 대답하는 데 사용할 수 있다.e 효과의 정확한 추정 및 효과의 조정자 검사(즉, 부분군 및 조건에 걸쳐 일관성이 있는지 여부).24,25 이러한 연구의 목적은 기존 연구의 균형적이고 공정한 개요를 제시하는 것이며, 수많은 전략이 발견의 품질을 높이기 위해 고안되었다.

Meta-analysis is a type of systematic review that combines evidence using statistical methods to determine overall effects and magnitude of effect size.23 This technique can be used to answer questions about the convergence, divergence, and robustness of study results, statistical significance of an effect with increased power, development of a more precise estimate of effects, and examination of moderators of effects (i.e., whether they are consistent across subgroups and conditions).24,25 The objective of these studies is to present a balanced and impartial summary of existing research, and numerous strategies have been designed to increase the quality of findings.

Findings의 품질을 보장하기 위해 메타분석을 실시할 때 고려해야 할 다양한 고유한 특징과 고려사항이 있다. 

There are a variety of unique features and considerations to think about when conducting a meta-analysis to help ensure the quality of findings. 

• 첫째, 연구자들이 분석에 포함된 각 개별 연구에 품질 점수를 부여할 것을 제안한다. 수많은 도구가 개발되었지만, 가장 잘 확립된 품질 평가 도구는 코크란 협업에 의해, 각 개별 연구의 편향 위험을 평가할 것을 권고한다.24 

• 둘째, 저품질 연구와 표본 크기의 영향을 평가하기 위해서는 민감도 분석을 포함하는 것이 좋다. 또한 오즈비, 위험비 등 효과 크기를 계산하고 깔때기 그림 및 에거의 회귀 테스트를 사용하여 간행물 편향을 평가하는 기법도 개발되었다. 

• First, it is suggested that researchers assign quality scores to each individual study included in the analysis. Though numerous tools have been developed,26,27 the most well-established quality appraisal tool is by the Cochrane Collaboration, which recommends assessing the risk of bias of each individual study.24 

• Second, to assess the impact of low quality studies and sample size, it is recommended to include a sensitivity analysis.28,29 Techniques have also been developed for calculating effect sizes including odds ratios and risk ratios, and assessing publication bias using funnel plots29,30 and Egger’s regression tests.25,31 

연구자들은 [forest plot]을 사용하여 결과에 대한 그림적 표시를 제공할 수 있으며 코크란의 Q를 사용하여 연구의 이질성을 테스트하고 분석 결정을 안내할 수 있다(예: 가중 평균 또는 고정 또는 무작위 효과 모델 사용). 

Researchers can use forest plots to provide a pictorial presentation of the results and can use Cochrane’s Q to test the heterogeneity of the studies and to guide analysis decisions (e.g., using weighted averages or a fixed or random effects model).32,33 

메타리그레션은 이러한 이질적 요인을 더욱 탐구하기 위해 활용할 수 있다. 메타분석을 실시할 때 연구자가 갖는 수많은 선택에도 불구하고, 연구자와 임상의가 고품질 메타분석을 수행하고 검토의 포괄성과 완전성을 평가할 수 있도록 가이드라인이 필수적이다.

Metaregression can be utilized to further explore these heterogenous factors.34 Despite the numerous choices researchers have when conducting meta-analyses, guidelines are essential to help researchers and clinicians conduct a high quality meta-analysis and assess the comprehensiveness and completeness of the review.

무작위 제어 시험과 관찰 연구의 메타 분석 모두를 위한 지침이 제정되었다. 연구자, 검토자, 편집자는 종종 이 지침을 출판의 표준으로 사용한다. 

• 무작위 통제 시험의 메타분석 보고 개선 지침은 앞에서 논의한 바와 같이 체계적 검토인 PRISMA에 사용된 지침과 동일하다. 

• 관측 연구의 메타분석을 실시하는 사람들을 위해 역학 관측 연구의 메타분석 체크리스트가 작성되었다.35

Guidelines have been established for meta-analyses of both randomized controlled trials and observational studies. Researchers, reviewers, and editors often use these guidelines as standards for publication. 

• The guideline to improve the reporting of meta-analyses of randomized controlled trials is the same guideline used for systematic reviews, PRISMA, as previously discussed. 

• The Meta-Analysis of Observational Studies in Epidemiology (MOOSE) checklist has been created for those conducting a metaanalysis of observational studies.35

심부전 문헌의 메타분석의 예는 표 3에 제시되어 있다. 이 검토의 목적은 심부전이 진행된 환자와 증상성 질환이 적은 환자에 대한 심장 재동기화 요법(CRT)의 이점과 위해성을 평가하는 것이었다.8

An example of a meta-analysis in the heart failure literature is provided in Table 3. The purpose of this review was to evaluate the benefits and harms of cardiac resynchronization therapy (CRT) in patients with advanced heart failure and those with less symptomatic disease.8

질적 합성 Qualitative synthesis

일차 질적 연구의 합성을 수행하는 목적은 다음을 포함한다. 

• 조사 중인 현상에 대한 깊은 이해를 발전시키고 이전에 숨겨져 있던 패턴을 밝혀낸다. 

• 이론을 생성한다. 

• 참가자의 관점에서 장벽, 촉진자, 인식 및 태도를 탐구한다. 

• 연습과 연구의 새로운 영역을 식별한다. 

• 복잡한 중재와 임상 실험의 변동 이유를 밝힌다.  

The purposes of conducting a synthesis of primary qualitative studies include to: 

• develop a deeper understanding of the phenomenon under investigation and uncover previously hidden patterns, 

• generate theory, 

• explore the barriers, facilitators, perceptions, and attitudes from the participants’ perspective, 

• identify emerging areas of practice and research, and 

• reveal reasons for variation in complex interventions and clinical trials.36e38

질적 연구의 발표된 합성물의 수는 계속 증가하고 있으며, 해석적 패러다임과 통합적 패러다임을 모두 아우르는 4개에서 9개까지의 합성 방법까지 질적 합성을 수행하기 위해 취할 수 있는 접근법의 수에 대해서는 다양성과 이견이 있다. 

The number of published syntheses of qualitative studies continues to increase,39,40 and there is diversity and disagreement as to the number of approaches one may take to conduct a qualitative synthesis, ranging from four to nine synthesis methods that span both interpretative and integrative paradigms.41e43 

궁극적으로, 어떤 방법을 채택할 것인가는 합성 질문 및 목적, 발표된 연구의 수, 그리고 합성을 수행하는 팀의 지식과 전문지식을 포함한 몇 가지 요인에 따라 달라진다. 또한 연구자의 인식론적 입장, 일차적 질적 연구의 방법론, 그리고 결과를 설명하려는 것인지 종합하려고 하는지의 여부에 따라서도 달라진다.

Ultimately, the choice of which method to employ varies on several factors, including the question and purpose of the synthesis, number of published studies, and knowledge and expertise of the team conducting the synthesis,42 as well as the researcher’s epistemological stance, methodology of primary qualitative studies, and whether one seeks to describe or synthesize results.41

• 메타-민족지학은 가장 널리 인용된 질적 합성 방법이며, 질적 데이터 분석에 대한 귀납적 및 해석적 접근방식으로 구성된다.12,44 각 1차 연구의 소견을 전체 합성으로 이론적 샘플링과 상호 변환하는 것을 포함한다.12,44 이후 이를 통해 텍스트로 그리고 그래픽으로 제공할 수 있다. 요약표, 모델 또는 도표.45 메타윤리학은 종종 새로운 연구 질문과 이론의 생성을 포함하여 현상에 대한 새로운 통찰력을 가져오거나 포화상태에 도달한 지점을 나타낸다.

The meta-ethnography has been the most widely cited qualitative synthesis method and comprises an inductive and interpretive approach to qualitative data analysis.12,44 It involves theoretical sampling and reciprocal translations of findings from each primary study into the overall synthesis, which can then be presented textually and graphically via summary tables, models, or diagrams.45 The meta-ethnography often results in new insights to a phenomenon, including the generation of new research questions and theories, or indicates a point where saturation has been reached.

• 메타신테시스(metasynthesis)는 질적 연구를 합성하기 위해 자주 사용되는 또 다른 방법이다. 기술 방법 46과 다소 모호하고 상호 교환이 가능한 용도에 대한 합의가 부족하지만, 우리가 여기서 언급하고 있는 포괄적 용어는 샌들노프스키와 바로소가 제공한 질적 전이성 방법이다.48 질적 메타신테시스(Quality metasynthesis)은 여러 가지 서로 다르지만 상호관련된 질적 연구의 결과를 통합하여 연구 결과를 종합하고 관심현상에 대한 보다 높은 개념적, 맥락적 이해에 기여하는 체계적인 접근법이다.46,48

The metasynthesis is another frequently used method to synthesize qualitative studies. While there is a lack of consensus about the technique’s methods,46 and its somewhat ambiguous and interchangeable use,38,47 the umbrella term we are referring to here is the qualitative metasynthesis method as provided by Sandelowski and Barroso.48 Qualitative metasynthesis is a systematic approach that integrates results from a number of different, but inter-related qualitative studies to synthesize research findings and contribute to a new higher conceptual and contextual understanding of the phenomenon of interest.46,48

• "근거 형식 이론"이라고도 알려진 메타-근거 이론 방법론은 일차적 근거 이론 연구를 분석하기 위해 일정한 비교 및 이론적 샘플링을 사용하는 귀납적 접근을 포함한다. 그것은 종종 현상의 과정과 새로운 이론의 발전에 대한 더 높은 수준의 통찰력을 알려준다.

Meta-grounded theory methodology, also known as “grounded formal theory,” involves an inductive approach that uses constant comparative and theoretical sampling to analyze primary grounded theory studies. It often informs higher-level insight into the processes of a phenomenon and the development of new theories.47,49,50

일차적 질적 연구를 검색하는 것이 어려운 과제가 될 수 있지만, 질적 연구를 찾아내고 검색하는 몇 가지 검색 전략이 존재한다. 이러한 접근법은 데이터베이스 필터를 사용하고, 민감도와 특수성 알고리즘을 극대화하여 주요 데이터베이스에 대한 최적의 검색 전략을 개발한다.51e54년

Although searching for primary qualitative studies can be a difficult task, several search strategies exist to locate and retrieve qualitative studies. These approaches use database filters, and maximizing sensitivity and specificity algorithms to develop optimal search strategies for key databases.51e54

포함 및 제외 기준의 식별은 선택된 질적 합성 방법에 따라 결정된다. 품질에 근거한 선택도 일부 정성적 기법과의 고려사항이다. 실제로, 1차 질적 연구에 품질 평가 지침을 적용하기로 한 결정은 논쟁의 하나이다. 40,55e57 품질 평가를 위한 많은 지침과 기준이 존재하지만, 10,44,58e60 어느 것도 선호되는 접근법으로서 합의에 도달하지 못했다.

Identification of inclusion and exclusion criteria is contingent upon the qualitative synthesis method that is selected. Exclusion on the basis of quality is also a consideration with some qualitative techniques. Indeed, the decision to apply quality appraisal guidelines to primary qualitative studies is one of contention.40,55e57 While many guidelines and criteria exist for assessing quality,10,44,58e60 none have reached consensus as the preferred approach.

1차 질적 연구에 적용되는 품질평가 가이드라인을 포함시키기 위한 논의가 계속되고 있지만, 질적 종합의 품질을 높이기 위한 일부 전략이 제시될 수도 있다. 일차 질적 연구를 수행하는 연구자가 신뢰도(신뢰성, 이전성, 신뢰성, 확인성)를 통해 방법론적 엄격성을 달성하는 것과 거의 동일한 방식으로, 질적 합성을 수행하는 연구자는 일차 연구의 합성에 사용되는 방법의 투명성을 보고해야 한다. 

While the debate to include quality appraisal guidelines applied to primary qualitative studies continues, some strategies may be suggested to enhance the quality of qualitative syntheses. Much in the same way that researchers conducting primary qualitative studies achieve methodological rigor through trustworthiness (credibility, transferability, dependability, and confirmability),61 researchers conducting a qualitative synthesis should report transparency in the methods used to synthesize primary studies. 

투명성을 통합한 보고 도구의 한 예는 "질적 연구의 종합성 보고의 투명성 향상(ENTREQ)"이다.62 이 지침은 도입, 방법, 문헌 검색 등 합성의 주요 측면에 대한 평가를 수반하는 21항목 체크리스트를 사용한다. 정성적 종합 검토 보고에 대한 몇 가지 다른 지침이 존재하지만, 대부분의 품질 평가 가이드라인에 포함된 62e65의 주요 고려사항에는 감사 추적, 회원 확인 및 방법론의 투명성이 포함된다. 기타 질적 연구를 관리, 평가, 분석 및 종합하기 위한 포괄적인 지침이 제공된다.41,63,66

One example of a reporting tool that incorporates transparency is entitled “Enhancing Transparency in Reporting the Synthesis of Qualitative Research (ENTREQ).”62 This guideline uses a 21-item checklist that entails the appraisal of key aspects of the synthesis, including introduction, methods, and literature search. While several other guidelines exist for the reporting of qualitative syntheses reviews,62e65 key considerations encompassed in most quality appraisal guides include an audit trail, member checking, and transparency of methodology. Other comprehensive guides to manage, appraise, analyze, and synthesize qualitative research are available.41,63,66

심부전 문헌의 전이성 예시는 표 3에 제시되어 있다. 본 연구의 목적은 노인들이 만성적인 심장마비로 어떻게 살아가는지에 대한 정성적 연구의 결과를 종합하는 것이었다.9

An example of a metasynthesis in the heart failure literature is provided in Table 3. The purpose of this study was to synthesize results of qualitative studies on how older people live with chronic heart failure.9

혼합 연구 검토

Mixed studies review

혼합 연구 검토는 질적, 정량적 및/또는 혼합적 방법을 동시에 검토하는 문헌 검토이다.67 혼합 연구 검토라는 용어는 통합적 검토, 혼합 방법 검토, 혼합 방법 검토, 혼합 방법(연구) 종합 또는 정량 및 정성적 연구의 결과의 종합과 함께 종종 상호 교환적으로 사용된다.67 Pluye와 동료 67은 '혼합 연구 검토'라는 용어를 정량적, 정성적 및 혼합 방법 연구 설계를 포함하는 검토에 사용할 것을 제안했다.

Mixed studies review is a literature review that concurrently examines qualitative, quantitative and/or mixed methods primary studies.67 The term mixed studies review is often used interchangeably with integrative review, mixed methods review, mixed methods (research) synthesis, or synthesis of results of quantitative and qualitative studies.67 Pluye and colleagues67 have suggested the term ‘mixed studies review’ be used for reviews that include quantitative, qualitative, and/or mixed methods study designs.

혼합 연구 검토는 질적 연구와 양적 연구의 장점을 결합하여 동일한 중복 또는 보완적 검토 문제를 해결하는 것을 목표로 한다3. 따라서, 혼합 연구 검토는 복잡한 현상 67에 대한 견실한 통찰력을 제공할 수 있을 뿐만 아니라, "이런 종류의 개입이 누구를 위해, 어떤 상황에서, 어떤 면에서, 그리고 왜"에 대하여 대답함으로써 개입의 발전도 제공할 수 있다."68

A mixed studies review aims to address the same overlapping or complementary review questions3 by combining the strengths of both qualitative and quantitative studies. Thus, a mixed studies review can provide robust insight to a complex phenomenon67 as well as development of an intervention by answering “what is it about this kind of intervention that works, for whom, in what circumstances, in what respects, and why.”68

그러나 혼합 연구 리뷰를 기획, 설계, 평가하기 위한 가이드라인에 대한 공감대가 부족하다. 검토 질문에 따라 다양한 유형의 1차 연구(질적, 정량적 관찰, 정량적 실험 및 혼합 방법 연구)의 다양한 조합과 이러한 연구 결과를 통합하는 다양한 방법으로 혼합 연구 검토를 수행할 수 있다. 혼합 연구 검토의 특성상, 혼합 연구 검토의 방법론적 품질을 평가하기 위한 지침이나 기준을 잘 정립하는 것이 어렵다. 증거 기반 실천에 초점을 맞춘 비영리 단체인 조안나 브릭스 연구소(JBI)는 혼합 방법 검토를 수행하는 방법에 대한 지침을 포함하는 매뉴얼을 개발했다.69 이 매뉴얼에는 혼합 연구 검토의 결과를 보고할 때 포함해야 할 필수 구성요소의 지침도 포함되어 있다.

However, there is a lack of consensus for guidelines to plan, design, and assess mixed studies reviews. Depending on the review question(s), a mixed studies review can be conducted with a diverse combination of different types of primary studies (qualitative, quantitative-observational, quantitative-experimental, and mixed method studies) and with varied ways of integrating those findings. Due to the nature of mixed studies review, it is challenging to develop a well-specified guideline or criteria for appraising the methodological quality of a mixed studies review. The Joanna Briggs Institute (JBI), a non-profit organization focused on evidence based practice, has developed a manual that contains guidelines about methods to conduct mixed methods reviews.69 The manual also contains guidelines of essential components to include when reporting results from a mixed studies review.

심부전 문헌의 혼합 연구 리뷰의 예는 표 3에 제시되어 있다. 이 연구의 목적은 심부전이 있는 성인의 자기 관리에 기여하는 간병인의 활동을 설명하는 것이었다.11

An example of a mixed studies review in the heart failure literature is provided in Table 3. The purpose of this study was to describe caregivers’ activities contributing to self-care in adults with heart failure.11

통합 검토

Integrative review

통합 검토는 검토의 목적에 따라 경험적 또는 이론적 문헌을 포함할 수 있는 광범위한 접근법과 표본 추출 프레임을 포함하는 지식 종합 방법의 범주다.15 통합 검토는 다음과 같은 것들에 초점으 ㄹ둘 수 있다.

• 방법론(예: 개념의 개념 및 운영 정의 평가), 

• 이론(예: 다른 행동 변화 이론 평가) 및/또는 

• 연구하다

Integrative reviews are a category of knowledge synthesis methods that include a broad approach and sampling frame that can include empirical or theoretical literature, or both, depending on the purpose of the review.15 Integrative reviews can focus on 

• methodology (e.g., evaluating the conceptual and operational definitions of a concept), 

• theory (e.g., evaluating different behavior change theories), and/or 

• research.70 

지식 합성 방법의 방법론적 발전으로, 통합 검토 방법은 [일차 연구]를 [방법론적 및 이론적 문헌]과 결합하여 지식을 종합하는 데 가장 적합하다. 검토의 모든 논문이 1차 연구일 경우 체계적인 검토, 메타 분석 또는 혼합 연구 검토 방법을 사용해야 한다.

Due to the methodological development of knowledge synthesis methods, the integrative review method is best suited for synthesizing knowledge on primary research combined with methodological and/or theoretical manuscripts. If all of the articles in a review are primary research, then a systematic review, meta-analysis, or mixed studies review method should be used. 

통합적 검토를 위한 방법론적 지침이 제안되었다. 그러나 품질 평가는 특히 이론적 및 경험적 출처를 포함하는 것이 어렵다. 일차 소스의 품질을 평가할 필요가 있으며, 한 가지 가능한 방법은 진위성, 방법론적 품질, 정보 가치 및 일차 소스의 대표성을 조사하면서 역사적 연구의 접근법을 사용하는 것이다.71 

Methodological guidelines for the integrative review have been proposed15; however quality appraisal is challenging, particularly with the inclusion of theoretical and empirical sources. Evaluating the quality of primary sources needs to be considered and one possible method would be to use the approach of historical research, examining authenticity, methodological quality, informational value, and representativeness of primary sources.71

심부전 문헌의 통합적 검토의 예는 표 3에 제시되어 있다. 이 연구의 목적은 심부전이 있는 성인에 대한 간호사가 주도하는 과도기적 치료 개입이 다양한 결과에 미치는 영향을 조사하는 것이었다.14

An example of an integrative review in the heart failure literature is provided in Table 3. The purpose of this study was to examine the effects of nurse-led transitional care interventions for adults with heart failure on various outcomes.14

이와 같이, 검토에 포함된 모든 원고가 개입의 효과를 평가하는 정량적 연구라면 이러한 통합적 검토도 체계적인 검토로 분류할 수 있을 것이다. 서로 다른 유형의 검토의 방법론을 개발하는 데 더 많은 관심을 기울임에 따라, 각 방법의 구별되는 특징과 용어 사용은 더욱 일관성이 있어야 한다. 

As can be seen, this integrative review could also be classified as a systematic review as all manuscripts included in the review were quantitative research evaluating the efficacy of an intervention. As greater attention is paid to the developing methodology of different types of reviews,the distinguishing features of each method and the use of terminology should become more consistent. 

범위 지정 검토

Scoping review

범위 검토는 [최근 현상에 대해 알려진 것을 광범위하게 이해하기 위해 다양한 증거를 요약하는 지식 종합 방법]으로 제안되었다. 범위 지정 검토는 "연구 영역을 뒷받침하는 핵심 개념과 이용 가능한 주요 출처 및 유형의 증거를 신속하게 식별해야 하며, 특히 영역이 복잡하거나 이전에 종합적으로 검토되지 않은 경우 그 자체로 독립형 프로젝트로 수행할 수 있다"고 한다.

Scoping reviews have recently been proposed as a knowledge synthesis method to summarize a range of evidence in order to understand broadly what is known about a phenomenon.72 Scoping reviews “aim to rapidly identify the key concepts under-pinning a research area and the main sources and types of evidence available, and can be undertaken as stand alone projects in their own right, especially where an area is complex or has not been reviewed comprehensively before.”73 

범위 지정 검토는 [주제에 대한 폭넓은 접근법, 목적성 있는 표본 추출 프레임, 문헌의 gap 확인 등]과 같은 지점에서 체계적인 검토와 차별화된다. 방법론적 지침이 제안되어 왔으며, 범위 검토에 사용할 수 있는 다양한 주요 출처 때문에 일반적으로 품질을 평가하지 않는다. 심장 마비에 대한 범위 지정 리뷰를 찾을 수 없었다.

Scoping reviews are differentiated from systematic reviews in their broad approach to a topic, purposive sampling frame, and identification of gaps in the literature.74 Methodological guidelines have been proposed72 and quality is generally not appraised due to the variety of primary sources that can be used in the scoping review. A scoping review about heart failure was unable to be located. 

RE-AIM 검토

RE-AIM review

[연구의 개입 및 실천으로의 전환이 공중 보건에 미치는 영향을 평가해야 하는 필요성]에 대한 관심이 늘어나며, 글래스고와 동료들은 개입의 도달 범위, 효능 또는 효과, 채택, 이행 및 유지관리(RE-AIM Framework)를 촉진하고 평가하는 가이드라인을 확립하기 위한 광범위한 작업에 착수했다.

In response to concerns regarding the need to assess the public health impact of interventions and translation of research to practice, Glasgow and colleagues have undertaken extensive work to establish guidelines that promote and evaluate the reach, efficacy or effectiveness, adoption, implementation, and maintenance (RE-AIM Framework) of interventions. 

이 프레임워크는 최근 23개 항목의 데이터 추출 도구를 사용하여 지식 합성 방법으로 확장되었다. 이 도구는 5개의 RE-AIM 치수에 걸쳐 개별 연구의 데이터를 코드화하고 합성하는 데 사용할 수 있다. 이러한 유형의 검토 결과는 개입의 효과뿐만 아니라 개입의 일반성에 대한 증거를 제공한다.

This framework has recently been extended to knowledge synthesis methods through the use of a 23-item data extraction tool.81 This tool can be used to code and synthesize data from individual studies across the five RE-AIM dimensions.81 The result of this type of review provides evidence not only on the efficacy of an intervention, but also the generalizability of the intervention

엄브렐라 리뷰

Umbrella review

체계적 검토가 급속도로 증가하고, 실천과 정책을 위한 증거의 적시에 번역이 필요함에 따라, 최근 우산 검토의 필요성과 효용이 명백해졌다. 우산 리뷰는 '메타리뷰' 또는 '리뷰의 오버뷰'로 알려져 있으며, 기존의 체계적 리뷰에 대한 리뷰다. 우산 검토는 이용 가능한 증거를 요약하기 위한 목적으로 폭에 초점을 맞춘다. 

Driven by the rapid increase in the number of systematic reviews and need for timely translation of evidence to practice and policy, the need for and utility of umbrella reviews has recently become apparent. Umbrella reviews are also known as metareviews and overviews of reviews, and are reviews of existing systemic reviews. Umbrella reviews focus on breadth with the aim of summarizing available evidence. 

그것들은 어떤 주제에 대해 알려진 것과 전형적으로 여러 종류의 합성을 포함하는 것을 요약하기 위해 출판된 리뷰의 유사성과 차이점을 평가하는 데 사용될 수 있다. 우산 검토 수행 및 결과 보고 지침은 JBI69와 Cochrane에서 이용할 수 있다(검토 개요라고 한다). 이러한 유형의 검토 내에서, 연구자들은 종종 체계적 검토의 방법론적 품질을 평가하기 위해 검증된 11항목 측정 도구인 다중 체계적 검토(AMSTAR)의 평가를 사용하지만, 명확하게 확립된 지침은 없다.

They can be used to assess similarities and differences in published reviews to summarize what is known about a topic69,82,83 and typically involve a number of the different types of syntheses. Guidelines for conducting umbrella reviews and reporting the results are available from JBI69 and Cochrane (referred to as overviews of reviews).84 Within these types of reviews, researchers often use the assessment of multiple systematic reviews (AMSTAR), a validated 11-item measurement tool, to assess the methodological quality of the systematic reviews85; however, there are no clearly established guidelines.

개별 연구 보고 지침

Guidelines for reporting of individual studies

무작위 통제 재판(RCT)의 결과 보고 지침은 통합 보고 재판 표준(Consort)과 함께 개발된 첫 번째 지침 중 하나이다. CONSORT 가이드라인은 25개 항목 체크리스트에 무작위 시험 보고에 대한 최소 기준을 명시하고 있으며, 여기에는 시험을 통한 참가자 흐름을 도식화하는 권고사항이 포함된다.87 CONSORT 표준은 편집 그룹의 광범위한 지지를 얻었으며 대부분의 저널에서 RCT에 대한 연구 보고서 발행을 위해 요구된다.

A guideline for reporting results of a randomized control trial (RCT) was one of the first to be developed with the Consolidated Standards of Reporting Trials (CONSORT). The CONSORT guidelines specify the minimum criteria for reporting randomized trials in a 25-item checklist, which includes recommendations to diagram participant flow through the trial.87 The CONSORT standards have gained extensive support by editorial groups and are required by most journals for publication of a research report on an RCT.

CONSORT 지침의 사용에 따른 보고 추적의 표준화 개선은, 특정 유형의 시험trial에 대한 보고 개선을 위한 추가적인 이니셔티브를 촉발하였다. 예를 들어, 클러스터 무작위 시험의 보고와 eHealth 개입에 대한 지침이 있다.88,89 또한 다양한 유형의 연구에 대해 가이드라인이 개발되었다. 예를 들어 관찰연구 보고(STROBE), 비임의 행동개입(TREND), 91, 보고질적 연구(COREQ)에 대한 보고지침이 개발되었다.

The improvement in standardization of reporting trails that resulted from the use of the CONSORT guidelines has resulted in additional initiatives to improve the reporting of specific types of trials. For example, there are guidelines for the reporting of cluster randomized trials and eHealth interventions.88,89 Guidelines have also been developed for different types of research. For example, guidelines for reporting of observational studies (STROBE),90 reporting for non-randomized behavioral interventions (TREND),91 and reporting qualitative research have been developed (COREQ).65

1993년 CONSORT 가이드라인이 개발된 이후, 연구/연구 설계 유형에 따른 200개 이상의 보고 가이드라인이 제안되었다. 전세계 과학자들에게 중요한 이러한 급증하는 정보의 결과로, 건강 연구를 위한 보고 지침 카탈로그 - EQUATOR 네트워크 -가 제정되었다. 이 저장소는 보건 연구 보고에 있어 가이드라인의 활용을 개선하기 위해 특별히 설립되었다. 네트워크는 작성자, 저널 편집자, 동료 검토자 및 보고 가이드라인 개발자에게 보건 연구 보고와 관련된 쉽게 접근할 수 있는 자원을 제공한다.

Since the development of the CONSORT guidelines in 1993, over 200 different reporting guidelines according to the type of study/research design have been proposed. As a result of this burgeoning information that is critical to scientists worldwide, the Catalogue of Reporting Guidelines for Health Research - EQUATOR Network - was established. This repository was specifically established to improve the use of guidelines in the reporting of health research. The network provides easily accessible resources related to health research reporting for authors, journal editors, peer reviewers, and reporting guideline developers.

고찰 Discussion

이와 관련하여 본 논문은 지식 종합 기법의 향후 방법론적 발전을 위한 몇 가지 영역을 식별하였다. 연구자들은 먼저 각 유형의 검토에 대한 기본적인 가정을 고려해야 하지만, 정성적 종합, 혼합 연구 검토, 통합 검토 및 범위 지정 검토를 위한 품질 평가뿐만 아니라 방법론적 접근법과 보고 지침을 다룰 기회가 존재한다. 이러한 방법들 중 몇 가지가 새로운 것이기 때문에(예: 혼합 연구 검토, 범위 지정 검토, 우산 검토), 각 유형의 검토의 진전된 개발은 궁극적으로 미래 건강관리 연구를 종합하는 방법의 품질, 범위 및 적용 가능성을 개선할 것이다.

In this regard, this paper has identified several areas for future methodological development of knowledge synthesis techniques. While researchers should first consider the underlying assumptions of each type of review, opportunities exist to address methodological approaches and reporting guidelines, as well as quality appraisal for qualitative synthesis, mixed studies review, integrative review, and scoping reviews. As several of these methods are new(e.g., mixed studies review, scoping review, umbrella reviews), the advanced development of each type of review will ultimately improve the quality, scope, and applicability of the method to synthesis future health care research.

참고로, 이러한 표준과 지침의 상당수는 주로 내부 타당성에 초점을 맞추고 있으며, 체계적 검토를 위한 RE-AIM 지침의 개발과 함께 지식 종합에 관한 외부 타당성에 대한 논의가 최근에 와서야 이루어졌다.81 갭을 실천하기 위한 연구를 감안할 때, [개입의 외적 타당성을 평가하고 합성]하기 위한 명시적 관심이 필요하다. 그러한 연구가 없으면, 연구자, 임상의, 정책 입안자가 개입 연구의 결과를 transfer하고 일반화할 수 있는 능력이 감소한다.

Of note, many of these standards and guidelines are primarily focused on internal validity and only recently has there been discussion of external validity in regards to knowledge synthesis with the development of the RE-AIM guidelines for systematic reviews.81 Given the research to practice gap,93 explicit attention is needed to assess and synthesize the external validity of interventions. Without such work, the ability for researchers, clinicians, and policymakers to transfer and generalize results from intervention studies is diminished.

여러 유형의 검토의 투명성과 품질을 높이는 것은 물론 중복되는 노력을 피하기 위해, 최근 체계적인 검토의 등록을 촉진하기 위한 국제적인 이니셔티브가 추진되고 있다.

To increase the transparency and quality of different types of reviews, as well as avoid the duplication of effort, an international initiative has been recently undertaken to promote the registration of systematic reviews.

---

. Sep-Oct 2014;43(5):453-61.

 doi: 10.1016/j.hrtlng.2014.05.014. Epub 2014 Jul 8.

Methods for knowledge synthesis: an overview

Robin Whittemore 1, Ariana Chao 1, Myoungock Jang 2, Karl E Minges 1, Chorong Park 1

Affiliations 

Affiliations

• 1Yale University School of Nursing, 400 West Campus Drive, Orange, CT 06477, USA.
• 2Yale University School of Nursing, 400 West Campus Drive, Orange, CT 06477, USA. Electronic address: myoungock.jang@yale.edu.

• PMID: 25012634
 
• DOI: 10.1016/j.hrtlng.2014.05.014

Abstract

Objectives: To highlight recent advances in knowledge synthesis methods and reporting guidelines.

Background: Knowledge synthesis is critical to advancing practice, research, and policy, but synthesizing knowledge from an often-heterogeneous body of literature is challenging.

Methods: A review of knowledge synthesis methods and reporting guidelines for health sciences research was completed using Google Scholar, Medline, CINAHL, and PsycInfo. Relevant information was critiqued and summarized for applicability to health science and practice.

Results: Recent advances and guidelines pertaining to systematic reviews, meta-analysis, qualitative synthesis, mixed studies reviews, integrative reviews, scoping reviews, RE-AIM reviews, and umbrella reviews are discussed and examples of the application of each method to cardiopulmonary research are provided. Methods of quality appraisal are also presented.

Conclusions: Advancements in knowledge synthesis and reporting guidelines enhance the quality, scope, and applicability of results; thus improving health science and clinical practice, and advancing health policy.

Keywords: Integrative review; Meta-analysis; Metasynthesis; Mixed studies reviews; Systematic review.

Copyright © 2014 Elsevier Inc. All rights reserved.