의학교육의 지식통합(Knowledge Syntheses): 스코핑 리뷰의 신화 벗기기(Acad Med, 2017)

의학교육의 지식통합(Knowledge Syntheses): 스코핑 리뷰의 신화 벗기기(Acad Med, 2017)

Knowledge Syntheses in Medical Education: Demystifying Scoping Reviews

Aliki Thomas, PhD, OT, Stuart Lubarsky, MD, MHPE, Steven J. Durning, MD, PhD, and Meredith E. Young, PhD

보건직업 교육(HPE)계는 전례 없는 연구활동의 증가를 목격하고 있다. 출판된 HPE 연구가 꾸준히 증가하고 있는 것을 볼 때(원래 연구에서부터 의견 조각에 이르기까지), HPE 학자들이 지식 합성물을 수행하고 보급해야 한다는 강박감이 점점 커지고 있는 것은 놀라운 일이 아니다. Knowledge synthesis란 주어진 주제에 대한 더 큰 지식체body of knowledge 내에서 개별 연구 연구의 맥락화 및 통합을 위한 재현 가능하고 투명한 양적 또는 질적 접근법을 말한다.

The health professions education (HPE) community is witnessing an unprecedented rise in research activity.1 Given the steady upsurge in published HPE research (ranging from original research to opinion pieces), it is not surprising that HPE scholars are feeling increasingly compelled to conduct and disseminate knowledge syntheses—reproducible, transparent quantitative or qualitative approaches for contextualizing and integrating research findings across individual research studies within the larger body of knowledge on a given topic.2

우리의 목표는 한 가지 특정한 방법의 특성, 목적, 가치 및 적절한 사용을 검토하는 것이다.

our objective is to examine the nature, purpose, value, and appropriate use of one particular method: scoping reviews,

스코핑 리뷰의 특성과 목적

Nature and Purpose of Scoping Reviews

스코핑 리뷰는 사회과학에서 처음 나타났는데, 사회과학자들은 프로토콜-기반 체계적 문헌고찰 방법이 사회과학자들이 대답하고자 하는 광범위한 질문(예를 들어 "X에 대해 알려진 것은 무엇인가?" 또는 "X전략은 어떻게 사용되는가?" 등)에 대해 답하기에는 너무 좁고 규범적인 것으로 생각했다6

Scoping reviews first emerged in the social sciences, where protocol-driven systematic review methods were deemed too narrow and prescriptive for the broad questions social scientists sought to answer, such as “What is known about X?” or “How are X strategies used?”6

새로운 유형의 연구 방법론을 개발하려는 동력은 부분적으로 [지식의 현재 상태의 gap을 노출시킬 필요성]으로부터, 그리고 부분적으로 학문적, 정치적 이유 모두를 위해 다른 사회과학 분야의 [기존 증거에 대한 포괄적인 지도를 제공]할 필요에서 비롯되었다. 따라서 사회과학 연구자들은 (하나의 경직된 사전 설정된 프로토콜에 의해 결정되는 것이 아니라) 반복적이고 유연한 새로운 합성 과정을 만들기로 결정했다.

The drive to develop a new type of research methodology was partly borne out of the need to expose gaps in the current state of the knowledge, and partly out of the need to furnish a comprehensive map of the existing evidence from different social science disciplines for both academic and political reasons. Researchers in the social sciences, therefore, decided to create a new synthesis process that was iterative and flexible, rather than determined by a single rigid, preset protocol.

현재, 스코핑 리뷰는 주제에 대한 기존 연구 결과를 수집, 평가 및 제시하기 위해 사용되는 지식 합성물이다.8-10 표 1은 스코핑 리뷰의 두 가지 주요 프레임워크를 포함하고 있다.

In their present form, scoping reviews are knowledge syntheses used to collect, evaluate, and present findings from existing research on a topic.8–10 Table 1 contains two major frameworks for scoping reviews:

Arcsey 및 O'Malley11 프레임워크는 6단계로 구성된다(표 1에 자세히 설명됨).

• (1) 연구 질문을 식별

• (2) 관련 연구 파악과 협의 

• (3) 검토에 포함될 연구의 주요 이해관계자 선정 

• (4) 데이터 차트 작성 

• (5) 결과의 수집, 요약 및 보고 

• (6) 학습자 그룹, 관리자(예: 교육과정 위원회 학부 및 의장) 및 교육 정책에 관련된 개인 등 주요 이해 관계자(선택적 단계)와 협의

The Arksey and O’Malley11 framework consists of six steps (outlined in detail in Table 1):

• (1) identifying the research question; 

• (2) taking consultations with identifying relevant studies; 

• (3) selecting key stakeholders the studies to be included in the review; 

• (4) charting the data; 

• (5) collating, summarizing, and reporting the results; and 

• (6) undertaking consultations with key stakeholders (optional step), including learner groups, administrators (such as deans and chairs of curriculum committees), and individuals involved in educational policy.

후속 논문에서, Levac과 동료 9는 방법론을 강화하기 위한 몇 가지 권고안을 제안했다(표 1 참조).

In a subsequent paper, Levac and colleagues9 proposed several recommendations for enhancing the methodology, (see Table 1).

지식 통합에 대한 유연하면서도 엄격하고 포괄적인 접근방식을 제공함으로써, 범위 검토는 여러 가지 주요 목적을 제공할 수 있다.

• (1) 주어진 분야의 연구 활동의 범위 및 성격을 검토

• (2) 완전한full 체계적 검토를 수행하는 것의 가치와 적절성을 판단

• (3) 연구 결과를 요약하고 전파

• (4) 기존 문헌의 연구 gap을 파악 (표 2)

Providing a flexible yet rigorous and comprehensive approach to knowledge synthesis, scoping reviews can serve multiple main purposes11:

• (1) to examine the extent, range, and nature of research activity in a given field; 

• (2) to determine the value and appropriateness of undertaking a full systematic review; 

• (3) to summarize and disseminate research findings; and 

• (4) to identify research gaps in the existing literature (Table 2).

범위 검토에서 식별되고 분석된 문헌들의 방법론적 접근법은 다양할 수 있다.

The literature identified and analyzed in scoping reviews may consist of different methodological approaches,

범위 검토에는 두 개 이상의 개입, 다양한 참여자 유형, 다양한 방법론적 접근 및 결과 조치와 관련된 연구도 포함될 수 있다. 범위검토는 본질적으로 반복적이며, 수치적 분석과 주제적 분석을 모두 사용하여 결과를 해석하고, 대규모 집단적 작업체에 대해 독특하고 미묘한 관점을 제공한다. 따라서 범위 검토는 다음의 경우에 유용하다 

• 광범위한 증거들에 관한 예비 심사측면에서, 어떤 특정한 연구 질문이 제기될 수 있고 가치 있게 다룰 수 있는지가 불분명할 때

• 새로운 분야와 새로 부상하는 연구 영역의 중요한 격차gap를 식별할 때

Scoping reviews may also include studies involving more than one intervention, different types of participants, and a range of methodological approaches and outcome measures. They are iterative in nature, use both numerical and thematic analyses to interpret findings, and provide a unique and nuanced perspective on a large collective body of work. Scoping reviews are therefore useful 

• for preliminary examinations of expansive bodies of evidence when it remains unclear what specific research questions can be posed and valuably addressed, and 

• for identifying important gaps in new and emerging areas of scholarship.

특정 개입의 효과를 조사하는 체계적 검토와 같이 특정 결과 기반 질문을 다루는 다른 유형의 검토와 달리, 범위 검토는 전체 연구 영역에 관련된 주요 개념을 "지도화"하는 데 사용될 수 있다. 

• 시간(작품은 언제 출판되었는가? 시간이 흐르면서 어떻게 밭이 확장되었는가?); 

• 위치(작품은 어디에서 출판되었는가? 지리적으로 한정된 학문 분야인가?); 및/또는 

• 기원(어떤 건강관리와 학문분야에서 발표되었는가?)

Unlike other types of reviews that address specific outcome-based questions, such as a systematic review examining the effectiveness of a particular intervention, a scoping review can be used to “map” the main concepts underpinning an entire area of research11 in relation to 

• time (When was the work published? How has the field expanded over time?); 

• location (Where was the work published? Is it a geographically limited field of study?); and/or 

• origin (In which health care or academic discipline was it published?).

따라서 매핑을 통해 연구자들은 기존 연구에 대한 신중한 검토 결과로부터 [향후 연구를 위한 영역과 문헌의 빈 곳gaps]을 파악할 수 있다.12

Mapping thus permits researchers to identify areas for future research and gaps in the literature through careful review of these products.12

Arcsey와 O'Malley의 방법론적 프레임워크의 설명에서 지적했듯이, 범위 검토는 연구팀 외부의 중요한 이해관계자들의 가치 있는 경험과 의견을 고려함으로써 다음을 보장한다.

• 최종 사용자(연구를 지원하고 연구 결과에서 가치를 찾을 것으로 예상되는 사용자)가 프로세스에 참여하는지 여부 

• 결과 합성이 특정 맥락에서 목적적합하고 적용 가능한지 여부.

As noted in the description of Arksey and O’Malley’s11 methodological framework, scoping reviews may take into account the valuable experiences and opinions of important stakeholders outside of the research team, ensuring 

• that the end users (those who are expected to support the study and find value in the findings) are involved in the process, and 

• that the resulting synthesis is relevant and applicable in a specific context. 

예를 들어, 연구팀은 이해관계자 협의 과정을 통해 특정 연구 안건에 영향을 미치거나 기여하는 기회를 제공할 수 있는 지역사회 구성원의 실제 경험을 증거로 고려할 수 있다. 이해관계자 협의가 범위 검토 단지의 계획과 실행을 제공할 수 있지만, 이해관계자들은 조사 결과가 교육 관행 및 정책에 대한 목적적합성과 적용 가능성을 보장해주는 역할도 한다.

For example, a research team may consider as evidence the lived experiences of members of the community, who through the process of stakeholder consultation may be afforded an opportunity to influence or contribute to specific research agendas. Although stakeholder consultations can render the planning and execution of a scoping review complex, they ensure the relevance and applicability of the findings to educational practice and/or policies.

범위 검토는 또한 [경직되고 사전 설정된 프로토콜을 필요로 하지 않고] 오히려 [문헌을 종합하기 위한 반복적이고 통합적이며 유연한(그러나 잘 문서화된) 접근방식에 의존]한다는 점에서 체계적인 검토와 다르다. 문헌에는 연구 중복을 줄이고 데이터 보고에 대한 투명성을 높이기 위해, 검토 범위에 대하여 공식화된 registered protocol의 개발이 의무화되어야 하는지에 대한 약간의 논쟁이 있다. 실제로, 범위 지정 방법론 학자들의 최근 출판물에는 이것이 범위 지정 검토의 필수 요소가 되어야 하는지에 대한 논의가 포함되어 있다.

Scoping reviews also differ from systematic reviews in that they do not require a rigid, preset protocol but, rather, rely on an iterative, integrative, and flexible (but well-documented) approach to synthesizing the literature. There is some debate in the literature as to whether the development of a formalized, registered protocol should be obligatory for scoping reviews in order to reduce study duplication and increase transparency regarding data reporting. Indeed, recent publications by scoping methodologists include discussions on whether this should now be a mandatory component of scoping reviews.6,13–15

우리는 엄격한 절차를 따르는 것이 중요한 이점이 있다는 것에 동의한다. 그러나 우리는 이러한 편익을 공식화되고 정적인 사전 등록 프로토콜을 사용하지 않고도 얻을 수 있다고 생각한다. 프로토콜을 preregister하게 되면 잘 수행된 범위 검토의 핵심이 되는 반복적이고 성찰적 접근방식의 잠재적 편익을 minimize시키는 한계가 있기 때문이다.

We agree that there are important benefits to following a rigorous process. However, we feel it is possible to obtain these benefits without using a formalized and static preregistered protocol, which could minimize the potential benefits of the iterative and reflexive approaches at the core of a well-conducted scoping review.

스코핑 리뷰와 관련된 도전들

Challenges Associated With Scoping Reviews

스코핑리뷰 팀은 몇 가지 중요한 과제에 직면해 있다.

Scoping review teams face several important challenges.

방법론적 엄격성에 주의를 기울이다보면, 스코핑리뷰는 특히 다양한 이해관계자와의 협의가 수행될 때 상당히 자원 집약적일 수 있다. 또한 특정 연구 질문에 적합한 용어를 선택하는 것(특히 특정 관심 현상을 설명하기 위해 문헌에서 무수히 많은 용어를 상호 교환하여 사용하는 경우 또는 특정 용어가 구식이 된 경우)은 관련 기사를 검토 대상으로 선정할 때 후속 연구작업에 큰 영향을 미칠 수 있다. 일부 분야에서는 기존 문헌의 이질성이 크고, 규모가 방대해서 효과적이고 의미 있는 종합이나 퀄리티 평가가 어려울 수 있으며, 많은 범위 검토에서 단어수가 많고 표와 그래프 숫자가 많아서 궁극적으로는 일부 저널 게재의 장벽이 될 수 있다.

if conducted with the appropriate attention to methodological rigor, scoping reviews can be considerably resource intensive, particularly when consultations with various stakeholders are undertaken. Furthermore, choosing the appropriate terminology for a given research question—especially when myriad terms are used interchangeably in the literature to describe a particular phenomenon of interest or when certain terms have become outdated—can have downstream consequences when relevant articles are being selected for review. In some fields, the heterogeneity and sheer volume of the existing literature can prohibit effective and meaningful synthesis or quality assessment, and the elevated word count and high number of tables and graphs characteristic of many scoping reviews can ultimately prove to be barriers to publication in some journals.

스코핑리뷰 검토자가 직면하는 또 다른 도전은 HPE는 다양한 학습자 그룹에 대해 다양한 전통 및 임상 교육 환경에서 접근하고 광범위한 기술과 역량을 다루기 때문에, (HPE 연구가) 상당히 이질적인 환경에서 발생하는 경향이 있다는 것이다. 따라서 HPE 연구에서 실험 조건의 표준화는 달성하기 어려우며, (실험 조건의 표준화란) 애초에 여러 HPE 연구 맥락에 적합하지 않은 목적이기도 하다. 이 문제를 해결하기 위해, HPE의 연구원들은 자연적으로 다른 조사 접근법을 이용했다. 이 방법론적으로 잡다한 문헌에서 나온 증거를 종합하는 작업이 낳는 또 다른 곤란함은 [연구가 수행된 환경이 이질적일 뿐만 아니라, 연구에 사용된 방법론이 다양할 때] 스코핑 리뷰의 결과를 보급disseminate하고 적용implement하는 것이다.

Another challenge scoping reviewers face is that HPE research tends to occur in heterogeneous settings, as HPE caters to diverse groups of learners in assorted traditional and clinical educational settings and addresses a wide range of skills and competencies. Thus, standardization of experimental conditions in HPE research is not only hard to achieve but is also an objective that is ill suited to many HPE research contexts. To tackle this problem, researchers in HPE naturally avail themselves of different investigative approaches. Synthesizing evidence from this methodologically motley literature creates a further thorny challenge for scoping reviewers who attempt to disseminate and implement the results of scoping reviews derived from research that not only was conducted in heterogeneous settings but that also used a variety of methodologies.

그러나 검토 범위를 지정하는 데 가장 큰 어려움은 방법론에 대한 일반적인 오해에서 비롯될 수 있다. 범위 검토는 종종 문헌을 검토하는 "빠르고 쉬운" 방법으로 잘못 보고 다른 유형의 검토(예: 체계적 검토)에 비해 과학성이 떨어진다고 본다. 그 결과, 많은 저널들이 평론의 범위를 정한 결과의 발표를 주저할 수 있다.

Perhaps the greatest challenges to scoping reviews, however, arise from prevailing misconceptions about the methodology. Scoping reviews are often mistakenly viewed as “quick and easy” ways to review the literature and as less scientific than other types of reviews (e.g., systematic reviews). As a result, many journals may be hesitant to publish results from scoping reviews.

권고

Practical Recommendations

• 연구자는 연구의 목적과 연구 질문이 범위 지정 방법론의 기본 원리와 일치하는 경우에만 범위 지정 검토를 종합 방법으로 우선적으로 선택해야 한다. 

• 범위 검토가 연구에 포함된 개입의 효과나 품질에 대해 반드시 보고되는 것은 아니라는 점을 감안할 때, 연구자들은 검토의 범위와 목적을 명시하고, 해당 검토가 해당 분야의 다른 연구에 어떻게 추가적으로 기여하는지를 정확하게 명시해야 한다. 

• 연구자들은 또한 적절한 재정 및 인적 자원이 적시에 엄격한 방식으로 검토를 수행할 수 있도록 보장해야 한다; 그렇게 하지 않으면 쓸모없는 논문 세트가 될 수 있고, 다시 검색을 해야 하는 상황이 생길 수 있다(우리가 직접 학습하는 불쾌감을 가지고 있는 교훈).

• Researchers should preferentially select scoping reviews as a synthesis method only if the purpose and research question of the study align with the basic principles of scoping methodology. 

• Given that scoping reviews do not necessarily report on the effectiveness or the quality of the interventions included in their study, researchers should make explicit the scope and purpose of the review, and specify precisely how it adds to other bodies of work in the field. 

• Researchers should also ensure that appropriate financial and human resources are available to conduct the review in a timely and rigorous manner; failure to do so can lead to an obsolete set of papers and the unfortunate need to rerun searches (a lesson we have had the displeasure of learning firsthand).

검토 범위 지정에 전문가가 아닌 경우, (검토가 엄격하게 수행되고 기존의 범위 지정 방법론에 대한 편차가 입증되고 문서화되며 적절한지 확인하기 위해) scoping methodologist 또는 방법론에 대한 전문지식을 갖춘 학술 사서와의 참여를 고려할 수 있다. 심지어 비전문가라도 그 복잡성과 엄격성을 인정하기 위해 정석적 방법론적 논문을 읽고 방법론에 충분히 숙달하는 것을 고려할 수 있다. 이러한 유형의 검토를 시작하기 전에, 잘 수행된 범위 검토의 사례를 익히기 위해 출판된 문헌을 참조하는 것은 범위 지정 방법론에 경험이 부족한 연구자들이 마땅히 해야 할 일이다.

If one is not an expert in scoping reviews, one might consider involving a dedicated scoping methodologist, and perhaps an academic librarian with expertise in the methodology, to ensure that the review is conducted rigorously and that any deviation from traditional scoping methodology is defensible, documented, and appropriate given the research question. Even nonexperts might consider reading the seminal methodological papers9,11,13 and becoming sufficiently well versed in the methodology so as to appreciate its complexity and rigor. Before embarking on this type of review, it might behoove researchers inexperienced in scoping methodology to consult the published literature for examples of well- conducted scoping reviews.

• 범위 검토를 수행할 때, 연구자들은 문서 선택(예: 검색 전략 식별, 기사 선택, 추출 시트 보정)부터 데이터 분석 및 보고에 이르는 모든 단계에 대해 꼼꼼히 문서화된 기록을 제공해야 한다. 

• 비록 공식적인 프로토콜이 현재 스코핑 리뷰의 요건으로 간주되지는 않지만, 우리는 연구팀이 스코핑 리뷰를 수행할 때 프로토콜의 개발을 중요한 첫 단계로 간주할 것을 제안한다; 더욱이, 현재 많은 저널들이 스코핑리뷰 프로토콜을 퍼블리싱하는 경향이 있기 때문에 프로토콜을 가지고 있는 것은 연구팀에게도 도움이 된다. 

• 마지막으로, 연구자들은 문헌 및/또는 이해관계자 협의에 대한 비판적 평가를 수행(또는 수행하지 않음)할 수 있는 정당한 이유와, 관련 이해당사자로 어떤 사람을 간주했는지를 제공할 준비가 되어 있어야 한다.

• When undertaking a scoping review, researchers should provide meticulous documentation of all the steps they take, from article selection (e.g., identifying search strategies, selecting articles, calibrating extraction sheets) to data analysis and reporting. 

• Although a formal protocol is not presently considered to be a requirement of scoping reviews, we do suggest that research teams consider the development of a protocol as an important first step when thinking about conducting a scoping review; moreover, there are benefits to research teams that do have protocols as many journals now tend to publish scoping review protocols. 

• Finally, researchers should be prepared to provide justifiable reasons for undertaking (or for not undertaking) a critical appraisal of the literature and/ or a stakeholder consultation, as well as for who they have considered to be the relevant stakeholders.

결론과 함의

Conclusion and Implications for Academic Medicine

문헌을 종합하기 위한 방법으로서, 범위 검토는 연구팀에게 새로운 학문 분야와 떠오르는 분야에서 광범위하고 이질적이며 종종 진화하는 문헌의 본체를 확인할 기회를 제공한다. 이와 같이 (범위검토는) 증거기반의 빈틈을 해소하고, 향후 연구방향을 안내하며, 체계적인 검토의 필요성을 정당화한다. 이는 특히 증거 기반이 커지고 증거 정보에 입각한 접근방식에 대한 강조가 증가하고 있는 HPE와 같은 분야나 분야와 밀접한 관련이 있다. 범위 검토의 반복적이고 포괄적인 특성은 HPE 연구에서 발견된 방법론, 방법 및 이론적 프레임워크의 다양성에 특히 잘 적응한다.

As a method for synthesizing the literature, scoping reviews afford research teams an opportunity to identify a wide, heterogeneous, and often-evolving body of literature in new and emerging areas of scholarship. As such, it uncovers gaps in the evidence base, guides future research avenues, and justifies the need for systematic reviews. This is particularly germane to fields or disciplines such as HPE in which the evidence base is growing and the emphasis on evidence-informed approaches is mounting.1,18–21 The iterative and inclusive nature of scoping reviews is particularly well adapted to the diversity of methodologies, methods, and theoretical frameworks found in HPE research.

연구자들은 이 방법론이 특정 연구 질문에 적합하고, 최대한 엄격하게 수행되며, 교육 연구 및 실습에 대한 증거 정보에 입각한 시사점을 포함하도록 보장해야 한다.

researchers must ensure that the methodology is appropriate to a specific research question, is conducted with the utmost rigor, and incorporates evidence- informed implications for educational research and practice.

스코핑scoping이 지식 종합의 만병통치약은 아니지만 HPE와 관련된 연구 질문의 특정 부분집합에 대한 해답에 잘 맞는 방법이다.

Scoping is not a panacea for knowledge synthesis, but it is a method that is well suited to answer a specific subset of research questions relevant to HPE.

5 McGaghie WC. Varieties of integrative scholarship: Why rules of evidence, criteria, and standards matter. Acad Med. 2015;90:294–302.

21 van der Vleuten CP, Driessen EW. What would happen to education if we take education evidence seriously? Perspect Med Educ. 2014;3:222–232.

---

. 2017 Feb;92(2):161-166.

 doi: 10.1097/ACM.0000000000001452.

Knowledge Syntheses in Medical Education: Demystifying Scoping Reviews

Aliki Thomas 1, Stuart Lubarsky, Steven J Durning, Meredith E Young

Affiliations 

Affiliation

• 1A. Thomas is assistant professor, School of Physical and Occupational Therapy, and research scientist, Centre for Medical Education, Faculty of Medicine, McGill University, and Centre for Interdisciplinary Research in Rehabilitation, Montreal, Quebec, Canada. S. Lubarsky is assistant professor of neurology and core member, Centre for Medical Education, Faculty of Medicine, McGill University, Montreal, Quebec, Canada. S.J. Durning is professor of medicine and pathology, Uniformed Services University of the Heath Sciences, Bethesda, Maryland. M.E. Young is assistant professor, Department of Medicine, and research scientist, Centre for Medical Education, Faculty of Medicine, McGill University, Montreal, Quebec, Canada.

• PMID: 27782918
 
• DOI: 10.1097/ACM.0000000000001452