역량바탕의학교육 문헌의 대화를 이해하기: 스코핑 리뷰(BEME Guide No. 78)

역량바탕의학교육 문헌의 대화를 이해하기: 스코핑 리뷰(BEME Guide No. 78)
Making sense of competency-based medical education (CBME) literary conversations: A BEME scoping review: BEME Guide No. 78 
Deena M. Hamzaa, Karen E. Hauerb , Anna Oswalda,c , Elaine van Melled, Zeenat Ladake, Ines Zunaf, Mekdes E. Assefag, Gabrielle N. Pelletierh, Meghan Sebastianskii, Diana Keto-Lamberti and Shelley Rossj 

 

 

배경
Background

역량 기반 의학교육(CBME)은 1970년대에 처음 제안되었으며(McGaghie 외. 1978), 급변하는 의료 환경에서 의사의 준비성과 환자 안전에 대한 우려를 해결하기 위한 방법으로 2000년대 초에 교육자, 임상의, 정책 입안자 사이에서 CBME에 대한 관심이 다시 높아졌습니다(McGaghie 외. 1978; Carraccio 외. 2002; Frank, Snell 외. 2010). CBME는 교육과정과 평가를 역량에 대한 대리인으로서 [시간 기반]에서 특정 [역량의 입증]에 초점을 맞춘 접근 방식으로 전환합니다(퍼거슨 외. 2017). 또한 CBME는 주로 의학 지식에서 벗어나 [환자 중심 진료, 의사소통, 전문성, 비판적 사고, 팀워크, 옹호, 제한된 자원의 적절한 사용]을 강조하는 의사 교육을 구상하고 있습니다(McGaghie et al. 1978; Donabedian 2000; Carraccio 외. 2002; Frank, Mungroo 외. 2010; Frank, Snell 외. 2010; Frenk 외. 2010; Starmer 외. 2014; Gaffney 외. 2016; Horsley 외. 2016; Makary and Daniel 2016; Ferguson 외. 2017; Holmboe 외. 2017; Santos 외. 2017). 이 범위 검토의 목적과 출판된 문헌에 근거하여 21세기 CBME의 정의는 다음과 같습니다: 
Competency-based medical education (CBME) was initially proposed in the 1970s (McGaghie et al. 1978), and interest in CBME saw a revival in the early 2000s among educators, clinicians, and policy makers as a way to address concerns about physician preparedness and patient safety in a rapidly changing healthcare environment (McGaghie et al. 1978; Carraccio et al. 2002; Frank, Snell, et al. 2010). CBME shifts curriculum and assessment from time-based, as a proxy for competence, to an approach that focuses on the demonstration of specific competencies (Ferguson et al. 2017). CBME also shifts focus away from primarily medical knowledge to envision physician training that also emphasizes patient-centered care, communication, professionalism, critical thinking, teamwork, advocacy, and appropriate use of limited resources (McGaghie et al. 1978; Donabedian 2000; Carraccio et al. 2002; Frank, Mungroo, et al. 2010; Frank, Snell, et al. 2010; Frenk et al. 2010; Starmer et al. 2014; Gaffney et al. 2016; Horsley et al. 2016; Makary and Daniel 2016; Ferguson et al. 2017; Holmboe et al. 2017; Santos et al. 2017). For the purpose of this scoping review and based on published literature, the definition of CBME in the twenty first century is:

근본적으로 졸업 성과 능력을 지향하고, 사회 및 환자 요구 분석에서 도출된 역량을 중심으로 구성된, 의사의 진료 준비에 대한 접근 방식입니다. 시간 기반 교육을 강조하지 않고 더 큰 책임감, 유연성, 학습자 중심성을 약속합니다. (Frank, Mungroo 외. 2010)
An approach to preparing physicians for practice that is fundamentally oriented to graduate outcome abilities and organized around competencies derived from an analysis of societal and patient needs. It de-emphasizes time-based training and promises greater accountability, flexibility, and learner-centeredness. (Frank, Mungroo, et al. 2010)

CBME의 의도된 긍정적인 영향에도 불구하고 비판이 없는 것은 아닙니다(Holmboe 외. 2017). 주요 비판 중 하나는 CBME가 [더 나은 의사를 배출한다는 증거가 부족]하다는 것입니다(Whitehead C 2012a, 2012b; Whitehead CR 외. 2013; Holmboe 외. 2017). 이러한 우려는 종종 효과에 대한 [증거를 포착하는 방법]에 뿌리를 두고 있습니다. 지금까지의 문헌적 논의(CBME의 철학, 설계, 실행 및/또는 실제 또는 예상 결과에 대한 서면 기록 또는 토론)는 [정량적 접근]을 통해 [인과 관계에 대한 정보]를 제공하는, [객관적이고 무작위적이며 통제된 방법론의 정보]를 중시하는 [실증주의/포스트 실증주의 패러다임]의 영향을 많이 받았습니다(Park et al. 2020). 그러나 이러한 유형의 방법론은 커리큘럼 혁신의 활동과 실천에 필요한 [사회-정치적 환경 및 사회적 상호작용과 같은 맥락의 영향]을 충분히 다루지 못합니다(Tavakol and Sandars 2014; Farrell et al. 2015).
Despite the intended positive impact of CBME, it is not without criticism (Holmboe et al. 2017). One of the main criticisms is that there is a lack of evidence that CBME produces better physicians (Whitehead C 2012a, 2012b; Whitehead CR et al. 2013; Holmboe et al. 2017). These concerns are often rooted in how evidence of effectiveness is captured. Literary conversations (written accounts or discussions about the philosophy, design, implementation, and/or real or anticipated outcomes of CBME) to date are strongly influenced by the positivist/post-positivist paradigm, which values information from objective, randomized, and controlled methodologies that provide information about causal relationships through quantitative approaches (Park et al. 2020). However, these types of methodologies insufficiently address the influence of context, such as socio-political environments and social interactions that are required to enact the activities and practices of curricular innovations (Tavakol and Sandars 2014; Farrell et al. 2015).

1978년(McGaghie 외. 1978)에 시작된 CBME가 현재 다시 부각된 것은 일반적으로 2002년에 Carraccio와 동료들이 발표한 논문(Carraccio 외. 2002)에 의해 촉발된 것으로 간주되지만, 가장 최근의 관심은 1993년 영국의학위원회(GMC)에서 개발한 Tomorrow's Doctors에서 시작된 CBME라고 주장할 수 있습니다.

• [내일의 의사들]은 [성과 중심의 커리큘럼을 설계]하고 [역량을 향한 학습 궤적을 지원하는 방법]을 통해 [Trainee의 성과를 평가]하는 데 중점을 두었습니다(Bryant 1993; Madeley 1994; Christopher 외. 2002; Rubin and Franchi-Christopher 2002).
• 1998년 미국에서는 의학전문대학원교육인증위원회(ACGME)가 환자 치료 결과를 개선하고 변화하는 의료 시스템에 적응할 수 있는 대학원 수련의의 역량을 향상시키기 위해 [아웃컴 프로젝트 이니셔티브]와 [차기 인증 시스템]을 개발했습니다(Swing 2007).
• 캐나다에서는 가정의학 전문의 규제 기관인 캐나다 가정의학회(CFPC)가 2010년에 트리플 C 역량 기반 커리큘럼(Triple C)을 공식적으로 시행했습니다(오안다산 및 대학원 커리큘럼 실무 그룹 2011).
• 다른 모든 전문과목의 규제 기관인 캐나다 왕립 의사 및 외과의사 대학(RCPSC)은 자체 버전의 CBME인 CBD(Competence by Design)를 개발하여 2017년에 커리큘럼 전환의 초기 실행 단계에 들어갔습니다. 

While the current re-emergence of CBME from 1978 (McGaghie et al. 1978) is generally considered to have been prompted by a publication by Carraccio and colleagues in 2002 (Carraccio et al. 2002), it can be argued that the most recent interest is CBME began in the United Kingdom with Tomorrow’s Doctors, developed by the General Medical Council (GMC) in 1993.

• Tomorrow’s Doctors centered on designing curriculum around outcomes and appraising the performance of trainees through methods to support the learning trajectory toward competence (Bryant 1993; Madeley 1994; Christopher et al. 2002; Rubin and Franchi-Christopher 2002).
• In the United States in 1998, the Accreditation Council for Graduate Medical Education (ACGME) developed its Outcomes Project initiative and Next Accreditation System to improve postgraduate trainees’ competence to improve patient care outcomes and adapt to changing healthcare systems (Swing 2007).
• In Canada, the College of Family Physicians of Canada (CFPC), the regulatory body for family physicians, formally implemented the Triple C Competency-Based Curriculum (Triple C) in 2010 (Oandasan and Working Group on Postgraduate Curriculum 2011).
• The Royal College of Physicians and Surgeons of Canada (RCPSC), the regulatory body for all other specialties, developed their own version of CBME, Competence by Design (CBD), and entered the early implementation stages of curriculum transformation in 2017 (https://www.royalcollege.ca/rcsite/cbd/competence-by-design-cbd-e).

지난 10년 동안 미국과 캐나다에서 전문과목 교육의 점진적인 커리큘럼 전환, 특히 실행 이니셔티브가 진행됨에 따라 [CBME의 영향을 지지하거나 비판하는 문헌적 논의]가 크게 증가했습니다. 이러한 문헌에 더하여 동남아시아 및 인도와 같은 다른 지역에서 CBME를 시행하고 시범 운영하려는 프로젝트가 진행되고 있습니다(Bansal 외. 2017; Shrivastava와 Shrivastava 2019).

The gradual curriculum shift in specialty training, particularly implementation initiatives in the US and Canada within the past 10 years, has substantially increased the literary conversations supporting and critiquing the impact of CBME. Further adding to this literature are prospective projects for the implementation and piloting of CBME in other parts of the world, such as Southeast Asia and India (Bansal et al. 2017; Shrivastava and Shrivastava 2019).

지난 10년 동안 CBME에 관한 문헌이 기하급수적으로 증가하면서 교육자, 연구자 또는 정책 입안자들이 CBME의 개념에 대한 최신 정보를 파악하는 것이 매우 어려워졌습니다. 그 결과 일부 문학적 대화가 더 지배적이 된 반면, 다른 대화는 더 넓은 CBME 커뮤니티 내에서 자리를 잡지 못했습니다. 또한, 매년 쏟아져 나오는 수많은 CBME 관련 출판물의 소음에 묻혀 CBME에 대한 진정으로 혁신적인 접근 방식이 주목을 받기 어려울 수도 있습니다. 초보자와 숙련된 교육자 및 연구자 모두가 CBME가 무엇이며 시간이 지남에 따라 개념이 어떻게 변화했는지 이해하는 데 도움이 되는 문헌의 종합이 절실히 필요합니다.
The near exponential proliferation of literature about CBME in the last decade has made it very challenging for educators, researchers, or policy makers to keep up to date on how CBME is conceptualized. As a result, some literary conversations have become more dominant, while others have failed to take hold within the wider CBME community. Further, truly innovative approaches to CBME may struggle to gain traction if they are lost in the noise of the massive numbers of publications related to CBME produced each year. There is a pressing need for a synthesis of the literature to help both novice and experienced educators and researchers to make sense of what CBME is and how conceptualizations have changed over time.

이 BEME 범위 검토의 목적은 기존의 CBME 문헌을 종합하여 이 복잡하고 빠르게 성장하는 문헌의 대화를 파악하는 것입니다. 이러한 문헌적 대화를 체계적으로 매핑함으로써 이러한 종합은 특히 시간이 지남에 따라 진화해 온 CBME의 개념화 및 실행을 둘러싼 다양한 관점에 대한 공유된 이해에 기여할 수 있습니다. 이러한 공유된 이해는 임상의 교육자와 의학교육 연구자가 CBME 문헌 전반에서 일어나고 있는 다양한 논의를 이해하는 데 필수적이며, 이를 통해 CBME의 기회와 위협에 대한 폭넓은 논의를 진전시키고 추가 연구를 위한 격차와 기회를 발견할 수 있습니다. 우리의 연구 결과는 두 가지 주요 결과, 즉 의사 교육에 대한 미래의 접근 방식에 대한 의사 결정이 환자 결과 개선과 사회적 책임이라는 CBME의 열망적 목표에 부합하도록 하고, 교육자와 연구자가 연구 및 프로그램 평가 질문과 방법을 개발하여 문헌의 격차를 해소하는 작업을 더 잘 수행할 수 있도록 하는 데 기여하기 위한 것입니다.
The aim of this BEME scoping review is to synthesize existing CBME literature to identify the conversations within this complex and rapidly growing body of literature. By mapping these literary conversations in a systematic way, this synthesis can contribute to a shared understanding of the various views surrounding the conceptualization and implementation of CBME, particularly as it has evolved over time. This shared understanding is essential to help clinician educators and medical education researchers make sense of the distinct conversations that are happening across the CBME literature, which should advance broader discussions of opportunities and threats of CBME, as well as uncover gaps and opportunities for further research. Our findings are intended to contribute to a shared understanding that is intended to have two main outcomes: to ensure that the decisions made about the future approaches to physician training are aligned with CBME’s aspirational goals of improved patient outcomes and social accountability, and to better position educators and researchers for the work of developing research and program evaluation questions and methods to address gaps in the literature.

방법
Methods

이 연구에서는 CBME에 대한 중요한 개념을 파악하고 현재의 격차와 향후 검토가 필요한 영역을 밝혀내는 등 연구 질문과 의도한 검토 결과를 일치시키기 위해 범위 검토 방법론을 선택했습니다(Grant and Booth 2009; Pham et al. 2014). 이 범위 검토의 개발은 다른 전문가들에 의해 이 프레임워크에 대한 개선과 함께 Arksey & O'Malley의 프레임워크에 따라 5단계로 구성되었습니다(Arksey & O'Malley 2005; Levac 외. 2010; Peters 외. 2015, 2017). 5단계는 (1) 연구 질문 파악 및 목표 조정, (2) 관련 연구 식별, (3) 연구 선정, (4) 데이터 추출 및 매핑, (5) 결과 종합 및 보고입니다. Levac 등(2010)이 제안한 여섯 번째 단계에는 소비자 및 이해관계자 참여가 포함됩니다. 
We selected a scoping review methodology for this study to align our research question and intended outputs of the review, including identifying important concepts about CBME and uncovering current gaps and areas for future examination (Grant and Booth 2009; Pham et al. 2014). The development of this scoping review was organized in five phases guided by Arksey & O’Malley’s framework along with enhancements to this framework by other experts (Arksey and O'Malley 2005; Levac et al. 2010; Peters et al. 2015, 2017). The five phases are

• (1) identifying the research question and alignment of objectives;
• (2) identifying relevant studies;
• (3) study selection;
• (4) extracting and mapping the data; and
• (5) synthesizing and reporting the results.
• A sixth step proposed by Levac et al. (2010) includes consumer and stakeholder involvement.

검토 저자 중 5명(DMH, SR, AO, KEH, EVM)은 국제 역량 기반 의학교육(ICBME) 협력자의 일원이며, ICBME 회의에서 이 BEME 검토에 대한 동료들의 피드백을 자주 권장했지만, 이는 비공식적으로 이루어졌기 때문에 검토 과정의 별도 단계로 포함되지는 않았습니다. 이 범위 검토에 대한 자세한 프로토콜은 근거 중심 의료 및 보건 전문가 교육 협력(bemecollaboration.org)에 등록되었습니다.

Five of the review authors (DMH, SR, AO, KEH, EVM) are members of the International Competency-Based Medical Education (ICBME) Collaborators and frequently encouraged feedback from colleagues during ICBME meetings about this BEME review; however, this was done informally and therefore not included as a distinct phase of the review process. A detailed protocol for this scoping review was registered with the Best Evidence Medical and Health Professional Education Collaboration (bemecollaboration.org).

1단계: 연구 질문 식별 및 목표 조정
Phase 1: Identifying the research question and alignment of objectives

이 범위 검토의 목적은 의학교육 커리큘럼을 CBME로 전환하는 것과 관련된 출판된 문헌의 문학적 대화를 탐색, 요약 및 체계적으로 매핑하는 것입니다. 이 검토에는 교육 연속체(학부, 대학원 및 평생 의학 교육)에 걸쳐 의사 교육에서 CBME를 구현하는 것에 관한 문헌적 논의가 포함됩니다.
The aim of this scoping review is to explore, summarize, and systematically map literary conversations in published literature surrounding medical education curriculum transformation to CBME. This review includes literary conversations about implementing CBME in physician training across the education continuum (undergraduate, postgraduate, and continuing medical education).

연구 질문: 의사 교육에 관한 출판된 문헌에서 CBME로의 전환을 둘러싼 문학적 논의는 무엇인가요?
Research question: What are the literary conversations surrounding the shift to CBME in published literature about physician training?

목표:
Objectives:

1. 엄격한 방법론을 통해 출판된 문헌에서 CBME에 대한 다양한 견해를 요약합니다.
   
2. CBME에 대한 다양한 관점의 의미 결정을 지원하기 위해 시간이 지남에 따라 이러한 문학적 대화와 견해의 진화를 설명합니다.
   
3. 향후 프로그램 평가 및/또는 연구가 필요한 영역 발견
4. Summarize, through rigorous methodology, the various views of CBME in published literature
5. Illustrate the evolution of these literary conversations and views about CBME over time to support meaning making of the various perspectives about CBME
6. Uncover areas requiring future program evaluation and/or research

2단계: 관련 연구 식별
Phase 2: Identifying relevant studies

이 범위 검토에서는 다양한 출판물과 기사 유형에서 발견되는 CBME에 대한 문학적 대화를 포착하고자 했습니다. 검색어를 사용하여 전 세계적으로 CBME의 철학, 변화의 원동력 및 후속 실행에 관한 출판물을 포착했습니다. 예비 포함 및 제외 기준을 사용하여 5명의 팀원(DMH, KEH, AO, EVM, SR)이 연구 선정을 위해 정보 과학자(RF)가 제공한 무작위로 선정된 40개의 논문을 검토했습니다. 이 과정은 합의를 도출하고 포함 및 제외 기준을 구체화하기 위한 반복적인 팀 프로세스였습니다. 이 접근 방식은 Levac 외(2010)가 제안한 범위 검토 프레임워크 개선 사항과 일치합니다. 표 1은 최종 포함/제외 기준과 검색 매개변수를 정의한 정보 과학자(RF, DKL)와 협력하여 식별한 후속 키워드 및 검색어를 보여줍니다. 검색 대상은 1978년 CBME가 도입된 이후부터 2020년까지의 출판물로 제한했습니다(McGaghie 외. 1978). 
This scoping review sought to capture literary conversations about CBME found in diverse publications and article types. Search terms were used to capture publications about the philosophy, impetus for the change, and subsequent implementation of CBME globally. Using the preliminary inclusion and exclusion criteria, five members of the team (DMH, KEH, AO, EVM, SR) examined 40 randomly selected articles provided by the information scientist (RF) for study selection. This was an iterative team process to establish consensus and refine the inclusion and exclusion criteria. This approach aligns with the scoping review framework enhancements proposed by Levac et al. (2010). Table 1 illustrates the final inclusion/exclusion criteria, and subsequent keywords and search terms identified in collaboration with information scientists (RF, DKL) that defined the parameters of the search. We limited our search of publications from the introduction of CBME in 1978 (McGaghie et al. 1978) to 2020.

다음 데이터베이스를 검색하여 CBME 문학적 대화에 관한 관련 문헌을 찾았습니다: MEDLINE(Ovid), ERIC(EBSCOhost), PsychINFO(Ovid), Embase(Ovid), Web of Science(Clarivate), ProQuest 뉴스 및 신문, ProQuest 논문 및 논문 글로벌, 캐나다 가정의학과 대학, 캐나다 왕립 의사 및 외과의사 대학, BEME 협업의 공식 웹사이트. 또한 관련 논문을 찾기 위해 참고 문헌 목록과 Google Scholar 결과의 첫 10페이지를 직접 검색했습니다. 주요 검색어는 다음과 같습니다: CBME; 설계에 의한 역량; 마일스톤 프로젝트; 트리플 C; 역량 기반 의학교육; 성과 기반 교육(잘라내기, 와일드카드, 'OR' 및 'AND' 부울 연산자 사용으로 키워드를 변형하여 검색)(검색 전략은 보충 부록 A 참조). 종합적인 문헌 검색은 2020년 4월 29일에 완료되었습니다. 
We searched the following databases to identify relevant literature about CBME literary conversations: MEDLINE (Ovid), ERIC (EBSCOhost), PsychINFO (Ovid), Embase (Ovid), Web of Science (Clarivate), ProQuest News and Newspapers, ProQuest Dissertations and Theses Global, the official websites of the College of Family Physicians of Canada, the Royal College of Physicians and Surgeons of Canada, and BEME Collaborations. We also hand searched reference lists and the first 10 pages of Google Scholar results to identify relevant articles. The key search terms included: CBME; Competence by Design; Milestones Project; Triple C; Competency-Based Medical Education; Outcome-Based Education with variations to keywords using truncation, wildcards, and use of ‘OR’ and ‘AND’ Boolean operators (see Supplementary Appendix A for search strategy). The comprehensive literature search was completed on 29 April 2020.

3단계: 연구 선정
Phase 3: Study selection

5명의 검토자(DMH, LB 시간 제한 기여, ZL, GNP, MEA)가 공유 엑셀 스프레드시트의 포함 양식 템플릿을 사용하여 식별된 모든 논문의 제목과 초록을 이중으로 선별하는 데 참여했습니다. CBME의 개념, 철학 및/또는 구현에 관한 내용을 제공하는 출판물도 포함했으며, 5명의 검토자 모두 해당 논문의 전문을 읽고 검토 대상에 포함되는지 확인했습니다. 불일치는 토론과 팀 합의를 통해 해결했습니다. 관련 연구를 선정하기 위해 설명된 절차는 체계적 문헌고찰 및 범위 검토를 위한 메타분석 확장(PRISMA-ScR)의 우선 보고 항목을 준수합니다(Tricco 외. 2018). 
Five reviewers (DMH, LB-time-limited contribution, ZL, GNP, MEA) participated in dual screening of titles and abstracts of all identified articles using an inclusion form template in shared Excel spreadsheets. We included publications that provided content about the concept, philosophy and/or implementation of CBME; all five reviewers read full text versions of these articles and confirmed inclusion in the review. Discrepancies were resolved through discussion and team consensus. The procedures described to select relevant studies adheres to the Preferred Reporting Items for Systematic Reviews and Meta-Analyses Extension for Scoping Reviews (PRISMA-ScR) (Tricco et al. 2018).

4단계: 데이터 추출 및 매핑
Phase 4: Extracting and mapping data

CBME에 대한 문헌적 대화를 포착하는 이 범위 검토의 목적을 달성하기 위해, 우리는 차트 작성 과정에서 인식된 장점, 인식된 단점, 인식된 도전/불확실성/회의론, CBME와 관련된 권고사항에 대한 정보를 수집했습니다. 검토자들은 개별 논문의 맥락과 저자가 어떻게 주장을 펼쳤는지에 따라 도전 과제와 인지된 단점 간의 차이에 대해 판단했습니다. 5명의 리뷰어(DMH, LB 시간 제한 기여, ZL, GNP, MEA) 모두 50개의 논문에서 관련 데이터를 중복 추출하여 데이터의 정확성을 확인한 후, 데이터를 독립적으로 추출하여 앞서 언급한 범주로 분류했습니다. DMH는 나머지 추출에 대해 무작위 감사를 실시하여 정확성을 확인했습니다. 또한 매핑에는 저자, 연도, 제1저자 국가, 학술지, 논문 유형, 문학 대화의 전반적인 입장(긍정, 부정, 혼합)도 포함되었습니다.  
To address the purpose of this scoping review to capture the literary conversations about CBME, we collated information in the charting process about perceived advantages, perceived disadvantages, perceived challenges/uncertainties/skepticism, and recommendations associated with CBME. Reviewers made a judgement regarding the differences between challenges and perceived disadvantages based on the context of the individual article and how the authors made their argument. All five reviewers (DMH, LB-time limited contribution, ZL, GNP, MEA) extracted relevant data from 50 articles in duplicate to confirm data accuracy followed by independent extraction and categorization of the data into the aforementioned categories. DMH conducted random audits of remaining extractions to confirm accuracy. Mapping also included the author, year, country of first author, journal, article type, and overall position (positive, negative, mixed) of the literary conversation.

이 검토의 방법은 행동과 개선을 촉진하기 위해 관련성 있고 유용한 정보를 제공하는 것을 목표로 구성주의/해석주의 및 실증주의 연구 전통과 방법을 모두 통합하는 실용주의의 철학적 전통에 뿌리를 두고 있습니다. 
The methods of this review are rooted in the philosophical tradition of pragmatism, which integrates both constructivist/interpretivist and positivist research traditions and methods with the aim of providing relevant and useful information to promote action and improvement.

387개의 기록에서 추출한 방대한 양의 데이터를 독자를 위한 실용적인 형태로 통합하기 위해 세 명의 검토자(DMH, ZL, IZ)는 주제별 분석(Braun and Clarke 2014, Kiger and Varpio 2020)을 사용하여 기술된 장점, 단점 및 권장 사항을 종합했습니다. 세 명의 검토자 모두 합의에 도달할 때까지 주제에 대해 여러 차례 반복적으로 논의했습니다. 도전 과제/불확실성/회의론은 이 리뷰의 토론 섹션에 10년별로 요약되어 있습니다. 
To consolidate the large amount of data extracted from 387 records into a practical form for readers, three reviewers (DMH, ZL, IZ) used thematic analysis (Braun and Clarke 2014; Kiger and Varpio 2020) to synthesize the described advantages, disadvantages, and recommendations. All three reviewers discussed multiple iterations of the themes until they reached consensus. The challenges/uncertainties/skepticisms are summarized by decade and in the discussion section of this review.

마지막으로, 세 명의 검토자(DMH, ZL, IZ)는 주제 분석에서 생성된 각 주제에 대해 추출된 뒷받침 사례에 대한 내용 분석(Hsieh and Shannon 2005)을 사용하여 시간에 따른 문학적 대화의 빈도를 나타내는 히트 맵을 만들었습니다. 
Finally, the three reviewers (DMH, ZL, IZ) used content analysis (Hsieh and Shannon 2005) of supporting examples extracted for each of the themes generated from the thematic analysis to create a heat map to depict the frequencies of literary conversations over time.

5단계: 결과 요약 및 보고
Phase 5: Summarizing and reporting findings

이 검토의 마지막 단계는 연구 질문과 전반적인 목표를 해결하기 위해 결과를 요약하고 보고하는 것입니다. 
The final phase of this review entailed summarizing and reporting the findings to address the research question and overall objectives.

결과
Findings

설명적 결과
Descriptive results

검색 전략을 통해 중복을 제외한 5757개의 논문이 검색되었습니다. 총 387개의 논문이 이 검토의 포함 기준을 충족했습니다(그림 1). 무작위로 선정된 368개의 데이터 추출 항목(5번째 항목마다) 중 올바른 추출 수를 기준으로 계산한 DMH, ZL, GNP, MEA의 평가자 간 신뢰도는 0.85~0.95 범위였습니다.  
The search strategy yielded 5757 articles, excluding duplicates. A total of 387 articles met the inclusion criteria for this review (Figure 1). Interrater reliability among DMH, ZL, GNP, and MEA ranged from 0.85 to 0.95 calculated by the number of correct extractions out of a random selection of 368 data extraction entries (every fifth entry).

연도별로는 1978년에서 1989년 사이에 1.0%(n = 4), 1990년에서 1999년 사이에 1.3%(n = 5), 2000년에서 2009년 사이에 16.3%(n = 63), 2010년에서 2019년 사이에 74.4%(n = 288), 2020년에서 2020년 4월 29일까지 7.0%(n = 27)가 출판되었습니다(2021년 출판 논문의 프리프린트 포함)(보충 부록 B). 포함된 출판물 중 72.1%(n = 279)는 북미, 17.1%(n = 66) 유럽, 7.0%(n = 27) 아시아, 2.6%(n = 10) 호주/오세아니아, 0.5%(n = 2) 아프리카의 저자가 주도했으며, 0.8%(n = 3)의 논문은 저자 국가가 표시되지 않았습니다(그림 2). 
By decade, 1.0% (n = 4) were published between 1978 and 1989, 1.3% (n = 5) between 1990 and 1999, 16.3% (n = 63) between 2000 and 2009, 74.4% (n = 288) between 2010 and 2019, and 7.0% (n = 27) in 2020 through 29th April 2020 (including preprints of articles published in 2021) (Supplementary Appendix B). Of the included publications, 72.1% (n = 279) were led by an author from North America, 17.1% (n = 66) from Europe, 7.0% (n = 27) from Asia, 2.6% (n = 10) from Australia/Oceania, 0.5% (n = 2) from Africa, and 0.8% (n = 3) of articles did not report the author’s country (Figure 2).

 

포함된 387건의 논문 중 67.7%(n = 262건)는 관점/논평 논문, 25.3%(n = 98건)는 평가 연구, 7.0%(n = 27건)는 프로그램 설명 논문이었습니다(보충 부록 B). 또한 78.3%(n = 303)는 CBME에 대한 여러 문학적 대화(즉, 긍정, 부정, 도전, 불확실성, 회의론의 조합)와 관련된 요소를 포함하고 있었고, 11.6%(n = 45)는 긍정적인 문학적 대화를, 9.0%(n = 35)는 부정적인 문학적 대화를, 1.0%(n = 4)는 입장을 나타내는 내용 없이 CBME에 대한 설명을 제공했습니다(보충 부록 B). 
Of the 387 included publications, 67.7% (n = 262) were perspective/commentary publications, 25.3% (n = 98) were evaluation studies, and 7.0% (n = 27) were program descriptions (Supplementary Appendix B). Additionally, 78.3% (n = 303) contained components relevant to multiple literary conversations about CBME (i.e. a combination of positive, negative, challenges, uncertainties, and skepticisms), 11.6% (n = 45) contained positive literary conversations, 9.0% (n = 35) contained negative literary conversations, and 1.0% (n = 4) provided a description of CBME without content indicating a position (Supplementary Appendix B).

출판물은 교육 연속체 중 어디에 중점을 두었는지에 따라 다양했습니다. 학부 수준에서는 5.4%(n = 21)의 출판물이 학습자, 0.5%(n = 2)의 출판물이 교수진, 4.1%(n = 16)의 출판물이 학습자와 교수진 모두에 초점을 맞추었습니다. 대학원 수준에서는 학습자에 초점을 맞춘 출판물이 16.8%(n = 65), 교수진에 초점을 맞춘 출판물이 4.9%(n = 19), 학습자와 교수진 모두에 초점을 맞춘 출판물이 26.6%(n = 103)를 차지했습니다. 평생 직업 교육 수준에 초점을 맞춘 출판물은 4.1%(n = 16)에 불과했습니다. 
The publications varied in where they focused on the educational continuum. At the undergraduate level, 5.4% (n = 21) of publications focused on learners, 0.5% (n = 2) on faculty, and 4.1% (n = 16) on both learners and faculty. At the postgraduate level, 16.8% (n = 65) of publications focused on learners, 4.9% (n = 19) on faculty, and 26.6% (n = 103) on both learners and faculty. Only 4.1% (n = 16) of publications specifically focused on the continuing professional education level.

여러 단계의 연속체에 걸쳐 초점을 맞추거나 한 단계에서 다음 단계로의 전환을 조사한 출판물도 있었습니다: 12.1%(n = 47)는 의과대학 학부에서 대학원 교육으로 이어지는 연속체에 있는 학습자에 초점을 맞추었고, 0.3%(n = 1)는 대학원 의학 교육에서 지속적인 전문성 개발로 이어지는 연속체에, 5.2%(n = 20)는 학부에서 지속적인 전문성 교육으로 이어지는 전체 연속체에 있는 학습자에 초점을 맞췄습니다. 마지막으로, 출판물의 19.9%(n = 77)는 특정 학습자 또는 교수진 집단을 보고하지 않았습니다(보충 부록 B).  
Several publications focused either across multiple levels of the continuum or examined transition from one level to the next: 12.1% (n = 47) focused on learners on the continuum from undergraduate medical school to postgraduate training, 0.3% (n = 1) on the continuum from postgraduate medical education to continuing professional development, and 5.2% (n = 20) on learners across the full continuum from undergraduate to continuing professional education. Finally, 19.9% (n = 77) of the publication did not report a specific population of learners or faculty (Supplementary Appendix B).

의미 도출을 촉진하기 위한 문학적 대화 매핑
Mapping the literary conversations to facilitate meaning making

주제별 분석 결과를 사용하여 문학적 대화를 10년 단위로 매핑하고, 각 10년의 글에 나타난 주제의 특징을 요약했습니다. 
We mapped the literary conversations decade by decade using findings from the thematic analysis, and summarized characteristics of themes in each decade’s articles.

문학 대화의 주제별 분석
Thematic analysis of literary conversations

세 명의 검토자(DMH, ZL, IZ)는 확인된 게시물의 콘텐츠에서 다음과 같이 인식된 장점, 인식된 단점 및 권장 사항과 같은 중요한 범주를 식별했습니다. 이러한 주제는 저자, 연도, 제1저자 국가, 학술지, 논문 유형, 문학 대화의 전반적인 입장(긍정적, 부정적, 혼합)을 포함하는 표에 제시되어 있습니다(부록 B). 또한 주제와 예시에 대한 개요 요약이 표 2에 나와 있습니다. CBME 문학 대화의 주제는 다음과 같습니다:
Three reviewers (DMH, ZL, IZ) identified overarching categories within the content of the identified publications as follows: perceived advantages, perceived disadvantages, and recommendations. The themes are presented in a table, which also includes the author, year, country of first author, journal, article type, and overall position (positive, negative, mixed) of the literary conversation (Supplementary Appendix B). Additionally, an overview summary of the themes and exemplars is presented in Table 2. Themes of CBME literary conversations include:

 

콘텐츠 분석을 통해 8가지 주제(신뢰성, 적용, 커뮤니티 영향, 학습자 영향, 평가, 교육 개발, 조직 구조, 사회적 영향)를 10년별, 입장별(예: 인지된 장점, 인지된 단점, 추천)로 문학적 대화를 표시하는 히트 맵으로 정리했습니다. 이 시각적 그림은 CBME에 대한 토론에서 주제를 정량화한 것으로, 음영 정도에 따라 빈도를 나타냅니다(즉, 음영이 진할수록 빈도가 높음을 나타냄)(그림 3). 포함된 기사의 콘텐츠 예시는 아래 섹션에 제시되어 있으며, 이 섹션에서는 문학적 대화에 대해 10년별로 논의합니다. 문학적 대화의 전체 목록은 부록 B에서 확인할 수 있으며, 10년별 문학적 대화의 세부 표는 부록 C에서 확인할 수 있습니다. 
Through content analysis, the eight themes (credibility, application, community influence, learner impact, assessment, educational developments, organizational structures, and societal impacts) were organized into a heat map displaying literary conversations by decade and by position (i.e. perceived advantage, perceived disadvantage, or recommendation). This visual illustration depicts the quantification of themes in the discussions about CBME and illustrates the frequency based on degree of shading (i.e. darker shading indicates higher frequency (Figure 3). Exemplars of the content from the included articles are presented in the sections further below, where we discuss the literary conversations by decade. A comprehensive listing of the literary conversations is found in Supplementary Appendix B, while detailed tables of the literary conversations by decade are in Supplementary Appendix C.

10년별 문학적 대화의 하이라이트는 아래에 제시되어 있습니다. 각 10년 동안의 주제별 분석 결과는 인식된 장점, 인식된 단점 및 권장 사항별로 정리되어 있습니다(그림 3). 각 10년의 문헌에서 나타난 도전 과제 및/또는 불확실성을 그룹으로 설명합니다. 
Highlights of the literary conversations by decade are presented below. Within each decade, findings from the thematic analysis are organized by perceived advantages, perceived disadvantages, and recommendations (Figure 3). We describe challenges and/or uncertainties from the literature in each decade as a group.

1978년부터 1989년까지의 CBME 문헌 대화(그림 3, 보충 부록 C, 표 1)
CBME literary conversations from 1978 to 1989 (Figure 3; Supplementary Appendix C, Table 1)

1978년부터 1989년까지 CBME에 대해 인지된 장점(n = 21, 45.7%), 인지된 단점(n = 11, 23.9%), 권장 사항(n = 14, 30.4%)이라는 8가지 주제를 중심으로 총 46건의 토론을 확인했습니다. 1978년부터 1989년까지 발표된 논문에서 나타난 도전/불확실성/회의론은 주로 의학교육에 대한 새로운 접근 방식을 채택하는 데 있어 [변화 관리 문제]에 관한 것이었습니다.
We identified a total of 46 discussions around the eight identified themes about CBME from 1978 to 1989: perceived advantages (n = 21, 45.7%), perceived disadvantages (n = 11, 23.9%), and recommendations (n = 14, 30.4%). Challenges/uncertainties/skepticism in the publications from 1978 to 1989 were primarily about change management issues in adopting a new approach to medical education.

인식된 이점
Perceived advantages

1978년부터 1989년까지 문헌적 대화는 [주로 효율적이고 비용 효율적인 교육]과 같이 CBME를 시행함으로써 얻을 수 있는 교육 발전의 이점에 대한 인식에 초점을 맞추었습니다(n = 9, 42.9%). 모든 교육생이 숙달에 도달할 수 있다는 [경험적으로 검증된 원칙]과 같은 [신뢰성](n = 4, 19.0%)과 최종 결정에 앞서 어려움을 겪는 교육생을 식별하는 [형성 평가의 역할]과 같은 [평가](n = 4, 19.0%)가 두 가지 두드러진 추가 주제였습니다. 마지막으로 눈에 띄지는 않지만 테스트할 수 있는 CBME의 활동과 같은 [적용 주제](n = 2, 9.5%)와 투명한 기대치와 개인화된 학습으로 인해 교육생에게 CBME의 매력과 같은 [학습자 영향](n = 2, 9.5%)를 확인했습니다. 주목할 만한 점은 [커뮤니티 영향력, 조직 구조 또는 사회적 영향]과 관련하여 인지된 장점에 대한 주제를 담은 대화가 없었다는 점입니다.
From 1978 to 1989, literary conversations focused predominantly (n = 9, 42.9%) on the perceived advantages of educational developments that could result from implementing CBME, such as efficient and cost-effective training. Two prominent additional themes were credibility (n = 4, 19.0%), such as the empirically validated principle that all trainees are capable of reaching mastery, and assessment (n = 4, 19.0%), such as the role of formative assessment in identifying struggling trainees prior to summative decisions. Lastly, and less prominently, we identified themes of application (n = 2, 9.5%), such as the activities of CBME that could be tested, and learner impact (n = 2, 9.5%), such as the appeal of CBME to trainees because of personalized learning with transparent expectations. Notably, there were no literary conversations capturing themes of perceived advantages associated with community influence, organizational structures, or societal impacts.

인식된 단점
Perceived disadvantages

이 10년 동안 트위터에서는 문학적 대화에 나타난 CBME의 네 가지 주요 단점을 확인했습니다.

• 첫 번째 단점으로 인식된 것은 교육적 발달(n = 4, 36.4%)로, CBME 교육 모델이 '역량'에 초점을 맞추기 때문에 우수성보다는 평범함을 키울 수 있다는 우려가 제기되었습니다.
• CBME의 신뢰성(n = 4, 36.4%)에 대한 우려도 확인되었는데, CBME가 믿음, 근거 없는 의견, 제한된 개인 경험에 의해 주도된다는 인식이 표출되었습니다.
• 역량이 어떻게 정의되는지 또는 어떤 역량이 필수적인지에 대한 [공유된 합의]가 없는 등 커뮤니티 영향력과 관련된 인식된 단점(n = 2, 18.2%)과
• 의학교육 혁신 참여에 대한 [제한된 보상]과 같은 조직 구조(n = 1, 9.1%)도 이 기간 동안 포착되었습니다.
• 그러나 적용 주제, 학습자 영향, 평가 및 사회적 영향과 관련된 단점은 다루지 않은 논문이 포함되었습니다.

During this decade, we identified four main perceived disadvantages of CBME that appeared in literary conversations.

• The first perceived disadvantage focused on educational development (n = 4, 36.4%) where concerns were raised that the CBME training model would foster mediocrity rather than excellence (due to a focus on ‘competence’).
• Concerns were also identified in the theme of credibility of CBME (n = 4, 36.4%), where perceptions were expressed of CBME being driven by faith, unsupported opinions, and limited personal experience.
• Perceived disadvantages associated with
  • community influence (n = 2, 18.2%), such as no shared agreement about how competency is defined or which competencies are essential, and
  • organizational structures (n = 1, 9.1%), such as limited reward for engaging in medical education innovation were also captured during this time period.
• However, included articles did not address disadvantages related to themes of application, learner impact, assessment, and societal impacts.

권장 사항
Recommendations

포함된 문서에 포함된 권장 사항은 이 기간 동안 6가지 주제를 다루었습니다.

• 여기에는 변화를 주도하는 의과대학 리더의 책임과 같은 커뮤니티 영향력 강화(n = 4, 28.8%),
• 커리큘럼 발전과 혁신을 주도하는 사람들을 인정하고 보상하는 등 조직 구조를 통한 CBME 지원 보장(n = 3, 21.4%)이 포함되었습니다.
• 변화 이니셔티브에 대한 투자를 촉진하기 위한 교수진 개발의 필요성과 같은 적용(n = 2, 14.3%)과
• 성장의 여지를 허용하고 부담을 줄이기 위해 평가 간격을 두는 것과 같은 평가(n = 2, 14.3%)가 확인된 기타 주제도 포함되었습니다.
• 분석에서 확인된 최종 주제는 CBME로 전환하는 동안 연수생과 교수진의 심리적 필요를 지원하는 것과 같은 교육 개발(n = 2, 14.3%)과
• 연수생 역량에 대한 명확한 그림을 포착하기 위해 다양한 출처에서 데이터를 수집해야 하는 것과 같은 신뢰성(n = 1, 7.1%)이었습니다.

Recommendations in the included articles addressed six themes during this time period. These included

• enhancing community influence (n = 4, 28.8%), such as the responsibility of medical school leaders to drive the change, and
• ensuring support for CBME through organizational structures (n = 3, 21.4%), including recognizing and rewarding those driving curricular advancement and innovation.
• Other themes that were identified included
  • application (n = 2; 14.3%), such as the need for faculty development to foster investment in the change initiative, and
  • assessment (n = 2, 14.3%), such as spacing out assessments to allow room for growth and reducing burden.
• The final themes identified in the analysis were
  • educational developments (n = 2, 14.3%), such as supporting the psychological needs of trainees and faculty during the transition to CBME, and
  • credibility (n = 1, 7.1%), such as the need to collect data from diverse sources to capture a clear picture of trainee competence.

도전 과제/불확실성/회의론
Challenges/uncertainties/skepticism

[변화 관리 문제]는 1978년부터 1989년까지 네 권의 출판물에서 모두 다루었던 주요 과제였습니다. 저자들은 학습자와 교육자가 맡아야 할 새로운 역할과 이러한 역할이 어떻게 전달되고 지원될 수 있는지를 파악했습니다. 특히 모든 저자들은 숙달, 형성 평가, 규범 기반 평가가 아닌 기준 사용과 같은 [CBME의 요소에 대한 교육자의 태도를 바꾸는 것이 어렵다]는 점에 대해 우려를 표명했습니다. 또한 적절한 지원(교수진 개발, 학습자 참여, 새로운 커리큘럼의 개선을 유도하기 위한 프로그램 평가 프로세스) 없이 [변화가 너무 빠르게 진행될 수 있다]는 잠재적 문제도 제기했습니다. 마지막 불확실성은 학습 목표가 명확하고 명시적인지 확인하는 것과는 반대로 [개별적인 개별 역량을 식별할 수 있는지 또는 식별해야 하는지]에 관한 것이었습니다.
Change management issues were the primary challenge addressed in all four included publications from 1978 to 1989. Authors identified the new roles that would need to assumed by learners and educators, and how these roles would be communicated and supported. In particular, all authors expressed concern about the difficulty in changing educators’ attitudes about such elements of CBME as mastery, formative assessment, and using criterion rather than norm-based assessments. A key challenge was the potential problem of change happening too fast, without adequate support (faculty development, engaging learners, program evaluation processes to guide refinement of new curriculum). The final uncertainty was about whether individual discrete competencies could or should be identified as opposed to ensuring that learning objectives were clear and explicit.

1990년부터 1999년까지 CBME 문학적 대화(그림 3, 보충 부록 C, 표 2)
CBME literary conversations from 1990 to 1999 (Figure 3; Supplementary Appendix C, Table 2)

1990년부터 1999년까지 포함된 기사에서 8가지 주제에 대한 49개의 토론을 확인했습니다. 이러한 대화는 인지된 장점(n = 25, 51.0%), 인지된 단점(n = 5, 10.2%), 권장 사항(n = 19, 38.8%)에 분포되어 있었습니다. 이 10년간의 문헌에 포함된 과제/불확실성/회의론과 관련된 대화는 CBME의 [기본 가정]과 CBME를 [채택해야 하는지 여부]에 초점을 맞추었습니다.
In the included articles from the decade 1990–1999, we identified 49 discussions around the eight identified themes. These conversations were distributed among perceived advantages (n = 25, 51.0%), perceived disadvantages (n = 5, 10.2%), and recommendations (n = 19, 38.8%). Conversations related to challenges/uncertainties/skepticism in the included literature from this decade focused on the underlying assumptions of CBME, as well as whether CBME needed to be adopted.

인식된 이점
Perceived advantages

1990년부터 1999년까지 CBME의 인지된 장점에 초점을 맞춘 문헌은

• 교수진과 연수생 간의 사명/공통 목표 공유에 대한 논의를 포함하여 학습자 영향(n = 7, 28.0%)과 관련된 내용이 주를 이루었습니다.
• 교육적 발달(n = 6, 24.0%)에서는 암기식 학습 보다 직장 기반 평가의 진정성 등의 주제를 다룬 문학적 대화가 있었습니다.
• 신뢰성(n = 4, 16.0%)에서는 교육적, 정치적, 직업적, 윤리적으로 CBME를 받아들이는 것에 대한 논의가 있었습니다.
• 커뮤니티 영향력(n = 4, 16.0%)은 다양한 이해관계자(예: 커뮤니티, 환자, 고용주 및 기타 직업군)가 교육과정 개발에 참여하는 것에 대한 문학적 대화에서 확인되었습니다.
• 이 기간 동안 문학적 대화에서 확인된 다른 주제는
  • 교육 결과에 초점을 맞추는 것과 같은 CBME 적용(n = 2, 8.0%),
  • 교육생 성과에 대한 어려운 대화를 역량에 도달하기 위한 성장 기회로 재구성하는 것과 같은 평가(n = 1, 4.0%),
  • CBME 관행 및 활동의 채택을 이끄는 제도적 가치와 같은 조직 구조(n = 1, 4.0%)였습니다.
• 이 기간 동안 CBME의 사회적 영향에 대한 인식된 장점은 논의되지 않았습니다.

From 1990 to 1999,

• predominant literary conversations focused on perceived advantages of CBME were associated with learner impact (n = 7, 28.0%), including discussions of shared mission/common goals between faculty and trainees.
• For the Educational Developments theme (n = 6, 24.0%), literary conversations addressed topics like the authenticity of workplace-based assessments over rote learning.
• Credibility theme (n = 4, 16.0%) discussions included the acceptance of CBME educationally, politically, professionally, and ethically.
• The theme of Community Influence (n = 4, 16.0%) was identified in literary conversations about the engagement of diverse stakeholders (i.e. community, patients, employers, and other professions) in curriculum development.
• Other themes identified in the literary conversations in this time period were
  • Application of CBME (n = 2, 8.0%), such as focusing on the outcomes of training,
  • Assessment (n = 1, 4.0%), such as reframing difficult conversations about trainee performance into growth opportunities to reach competence, and
  • Organizational Structures (n = 1, 4.0%), such as institutional values driving the adoption of CBME practices and activities.
• No perceived advantages of CBME on Societal Impacts were discussed during this time period.

인식된 단점
Perceived disadvantages

이 10년 동안의 문헌적 대화에서는

• 이전 10년 동안 확인된 교육 모델로서의 CBME의 신뢰성(n = 2, 40.0%)과 관련된 인식된 단점에 대한 논의가 계속되고 있음을 보여주었습니다. 특히, 미리 결정된 학습 결과가 학습자가 발견하고 자발적으로 탐구할 기회를 제한할 수 있다는 우려가 제기되었습니다.
• 이 10년간의 개별 기사에는 다음 주제에 부합하는 CBME의 단점에 대한 논의가 포함되어 있습니다:
  • CBME 적용(n = 1, 20.0%): 식별된 역량의 수가 방대하여 비현실적으로 결과에 집중할 수 있다는 점,
  • 커뮤니티 영향력(n = 1, 20.0%): 각 전문 분야에 필요한 역량에 대한 합의에 도달하기 어려워 CBME를 시행하지 못한 과거의 노력,
  • 교육적 발달(n = 1, 20.0%): 미리 정해진 역량 개발을 통해 학습에 제약이 있다는 점 등입니다.
• 특히 이 기간에 포함된 논문에서는 학습자 영향, 평가, 조직 구조 또는 사회적 영향과 관련하여 인지된 단점에 대해서는 논의하지 않았습니다.

Literary conversations during this decade demonstrated

• a continuation of the discussion of perceived disadvantages associated with the Credibility of CBME as a training model (n = 2, 40.0%) that were identified for the preceding decade. Specifically, concerns were raised that pre-determined outcomes of learning may limit opportunities for learners to engage in discovery and spontaneous inquiry.
• Individual articles in this decade included conversations about perceived disadvantages of CBME that aligned with the following themes:
  • Application of CBME (n = 1, 20.0%), such as the impractical focus on outcomes because of the vast number of competencies identified;
  • Community Influence (n = 1, 20.0%), such as past efforts failing to implement CBME because of difficulties reaching consensus on necessary competencies for each specialty, and;
  • Educational Developments (n = 1, 20.0%), such as the constrictions placed on learning through the development of pre-determined competencies.
• Notably, the included articles in this time period did not discuss perceived disadvantages associated with learner impact, assessment, organizational structures, or societal impacts.

권장 사항
Recommendations

이 기간의 권장 사항은 [역량 개발 시 다양한 이해관계자 참여]와 같은 커뮤니티 영향력(n = 4, 21.1%)과 [기준 참조 시스템 채택]과 같은 평가(n = 4, 21.1%)에 중점을 두었습니다. 교육적 발달(n = 4, 21.1%) 주제에서는 [학습자 포트폴리오 개발, 교육에 대한 학습자 소유권 등]이 권장 사항으로 포함되었습니다. 추가 권장 사항으로는 커리큘럼 개발을 안내하는 교육 성과와 같은 적용(n = 3, 15.8%) 테마와 의사 결정을 지원하는 필수 역량에 대한 증거 기반 개발과 같은 신뢰성(n = 2, 10.5%) 테마에 대한 제안이 포함되었습니다. 마지막으로, 이번 10년간의 문학적 대화의 일부 권고사항은 학습자 영향(n = 2, 10.5%)이라는 주제와 일치하며, CBME가 성공하기 위해서는 프로그램과 학교가 교육생에게 적절한 자원을 제공해야 한다는 제안을 포함했습니다.
Recommendations for this time period centered on Community Influence (n = 4, 21.1%), such as engaging diverse stakeholders when developing competencies, and Assessment (n = 4, 21.1%), such as adopting criterion-referenced systems. For the theme of Educational Developments (n = 4, 21.1%), recommendations included development of a learner portfolio and learner ownership over training. Additional recommendations included suggestions in the themes of Application (n = 3, 15.8%), such as educational outcomes guiding curriculum developments, and Credibility (n = 2, 10.5%), such as developing an evidence-base about essential competencies to support decisions. Finally, some of the recommendations in the literary conversations of this decade aligned with the theme of Learner Impact (n = 2, 10.5%), and included the suggestion that programs and schools would need to provide adequate resources to trainees in order for CBME to be successful.

도전 과제/불확실성/회의론
Challenges/uncertainties/skepticism

이 10년간 포함된 5개의 출판물은 모두 CBME 자체에 대한 기본 가정과 관련된 불확실성에 대한 문학적 논의에 기여했습니다: CBME는 개념화하기는 쉽지만 정의하기는 어렵다고 여겨졌으며, 특히 이해관계자 그룹에 따라 정의된 성과 목표가 다를 때 더욱 그러했습니다. 또한 CBME 도입의 필요성에 대한 불확실성이 제기되어 기존 커리큘럼에서 변화가 필요하다는 주장에 이의를 제기했습니다. 또 다른 논의에서는 역량이나 결과에 초점을 맞추면 임상 및 과학 지식이 저평가되는 결과를 초래할 수 있는지에 대한 논의도 있었습니다. 마지막으로, 역량 프레임워크와 평가 시스템 및 접근법을 개발하기 위해 교수진이 여러 가지 작업을 수행해야 하는 부담이 CBME의 주요 과제로 지적되었습니다.
All five included publications for this decade contributed to literary conversations about uncertainties related to underlying assumptions about CBME itself: CBME was seen as easy to conceptualize, but difficult to define – especially when defined outcomes objectives differed by stakeholder groups. Uncertainty was also addressed about the need to adopt CBME, challenging the assertion that a change from the existing curriculum was needed. Another conversation addressed whether a focus on competencies or outcomes would result in the undervaluing of clinical and scientific knowledge. Finally, the burden on faculty in taking on multiple tasks to develop competency frameworks and assessment systems and approaches was expressed as a major challenge to CBME.

2000년부터 2009년까지의 CBME 관련 문헌(그림 3, 보충 부록 C, 표 3)
CBME literary conversations from 2000 to 2009 (Figure 3; Supplementary Appendix C, Table 3)

2000년부터 2009년까지 포함된 논문을 분석한 결과, 인식된 장점(n = 53, 25.1%), 인식된 단점(n = 79, 37.4%), 권장 사항(n = 79, 37.4%)을 포함하여 8개의 식별된 주제에 대한 211건의 논의가 도출되었습니다. 이 10년간의 문헌적 논의에서 제기된 도전/불확실성/회의론은 CBME가 '효과가 있다'는 [증거의 필요성]과 CBME 실행의 [로지스틱스]에 초점을 맞추었습니다.
Analysis of the included articles from 2000 to 2009 yielded 211 discussions around the eight identified themes, including perceived advantages (n = 53, 25.1%), perceived disadvantages (n = 79, 37.4%), and recommendations (n = 79, 37.4%). Challenges/uncertainties/skepticism in the literary conversations for this decade focused on the need for evidence that CBME ‘works’ as well as the logistics of implementing CBME.

인식된 이점
Perceived advantages

이 기간 동안 인식된 장점은 8가지 주제 모두에 해당합니다.

• 가장 눈에 띄는 주제는 교육적 발달(n = 13, 24.5%)로, 저자들이 CBME 모델의 교육 효율성에 대한 예비 정보를 논의한 논문이 포함되었습니다.
• 저자들이 역량 평가에 다양한 의료 전문가가 참여하는 것에 대해 긍정적으로 언급한 평가(n = 8, 15.1%)와
• CBME가 시간 및 정적 지식 기반 접근법을 넘어서는 논리적 단계로 자리매김한 신뢰성(n = 8, 15.1%) 주제에서도 인식된 이점이 확인되었습니다.
• 이 시기에는 사회적 영향이라는 주제와 관련된 콘텐츠가 처음으로 등장했습니다(n = 8, 15.1%). 이 주제와 관련된 문학적 대화의 예로는 의료 교육은 대중에게 책임을 져야 하며, CBME는 이를 보장할 수 있는 수련의 역량 기록을 생성할 것이라는 제안이 있었습니다.
• 이 10년간의 문학적 대화에서 추가로 확인된 주제는
  • 조직 구조(n = 6, 11.3%)로, 일반적으로 코칭을 위한 최적의 기회가 부족한 상황에서 CBME가 교수진의 관심을 확보하는 것으로 간주되었으며,
  • 의학교육의 질을 개선하기 위한 도구로서 CBME의 적용(n = 4, 7.5%) 및 결과에 대한 논의,
  • 하위 전문 교육 및 연구 경험의 기회를 통한 효율적인 교육 촉진 등 학습자 영향(n = 4, 7.5%)에 대한 논의가 있었습니다.
  • 마지막으로, 교육 이외의 전문 분야를 포함한 광범위하고 다양한 이해관계자 그룹의 참여와 같은 지역사회 영향력(n = 2, 3.8%)을 주제로 한 대화가 확인되었습니다.

Perceived advantages during this time period addressed all eight themes.

• The most prominent theme was educational developments (n = 13, 24.5%) and included articles where authors discussed preliminary information about the efficiency of training in the CBME model.
• Perceived advantages were also identified for the themes of
  • assessment (n = 8, 15.1%) where authors spoke positively of the involvement of diverse healthcare professionals in the assessment of competence, and
  • credibility (n = 8, 15.1%) where CBME was positioned as a logical step beyond time- and static knowledge-based approaches.
• In this time period, content associated with the theme of societal impacts appeared for the first time (n = 8, 15.1%). An example of literary conversations in this theme was the proposition that medical training needed to be accountable to the public and CBME would produce a record of trainee competence that could provide those assurances.
• Additional themes identified in the literary conversations in this decade were
  • organizational structures (n = 6, 11.3%), where CBME was seen as securing faculty attention within a context that is typically fraught with suboptimal opportunities for coaching;
  • discussions of application (n = 4, 7.5%) of CBME and outcomes as tools to improve the quality of medical education; and
  • learner impacts (n = 4, 7.5%), such as facilitating efficient training with opportunities for subspecialty training and research experience.
  • Finally, conversations were identified that addressed the theme of community influence (n = 2, 3.8%), such as engaging broad and diverse stakeholder groups, including those specializing in areas other than education.

인식된 단점
Perceived disadvantages

지난 수십 년 동안과 달리, 2000년부터 2009년까지 포함된 문헌의 문학적 대화에서는 CBME의 단점에 대한 인식이 지배적이었습니다.

• 저자들은 변화의 원동력이 학습자 중심이 아니며, 협력적인 인력보다는 경쟁적인 인력을 만드는 데 초점을 맞추고 있다고 주장한 조직 구조(n = 17, 21.5%)와
• CBME가 의사의 역량 부족 문제에 대한 해결책을 찾기 위한 결과라기보다는 직업 훈련의 발전으로 인한 결과라고 본 신뢰성(n = 15, 19.0%)이 문학 대화에서 두드러진 주제로 나타났습니다.
• 또한 커뮤니티 영향력(n = 15, 19.0%)을 주제로 한 대화에서는 교수진이 교육과 함께 CBME 교육 모델에 대해 배워야 할 때 워크플로와 시스템의 혼란에 대해 논의했으며,
• 교육 발전(n = 9, 11.4%)에서는 변화를 천천히 받아들이는 위계적인 의료 문화에 대한 도전에 대한 논의가 있었습니다.
• 적용(n = 8, 10.1%)을 주제로 저자들은 CBME의 실제 실행과 그에 따른 결과에 대한 증거 부족에 대해 논의했습니다.
• 또한 평가(n = 8, 10.1%)에 대한 대화에는 역량 체크리스트 사용이 학습 동기를 떨어뜨리고 교육생이 비판적으로 사고하고 뛰어난 능력을 발휘하는 데 방해가 될 수 있다는 우려가 포함되었습니다.
• 학습자 영향(n = 6, 7.6%)에 대한 대화에서는 CBME가 수련의의 전문적 정체성 개발을 저해할 것이라는 우려와 같은 학습자 영향에 대한 새로운 우려와
• CBME 활동(평가 및 피드백 등)에 필요한 시간이 직접적인 환자 진료에서 빼앗길 것이라는 우려와 같은 사회적 영향(n = 1, 1.3%)에 대한 대화가 나왔습니다.

In contrast to previous decades, perceived disadvantages of CBME were predominant in the literary conversations in the included articles from 2000 to 2009. Prominent themes identified in the literary conversations included

• organizational structures (n = 17, 21.5%), where authors argued that the impetus for change was not learner-centered and focused instead on creating a competitive rather than collaborative workforce; and
• credibility (n = 15, 19.0%), where CBME was seen as the result of advancements in vocational training rather than the result of identifying solutions to the problem of physician lack of competence.
• Conversations also fell under the theme of
  • community influence (n = 15, 19.0%) where authors discussed the disruption of workflows and systems when faculty had to learn about the CBME model of education alongside teaching, and
  • educational developments (n = 9, 11.4%) which included discussions of the challenge of the hierarchal culture of medicine where change is embraced slowly.
• Under the theme of application (n = 8, 10.1%), authors discussed the lack of evidence of real-world implementation of CBME and subsequent outcomes.
• Further, conversations about assessment (n = 8, 10.1%) included concerns that the use of checklists of competencies was demotivating to learning and would prevent trainees from thinking critically and excelling.
• New concerns arose in the literary conversation about
  • learner impact (n = 6, 7.6%), such as worries that CBME would hinder trainees’ development of professional identity, and
  • societal impacts (n = 1, 1.3%), such as the worry that the time required for the activities of CBME (i.e. assessment and feedback) would take away from direct patient care.

권장 사항
Recommendations

이 기간 동안 CBME에 관한 기사에서 몇 가지 권장 사항이 확인되었습니다.

• 가장 두드러진 주제는 커뮤니티 영향력(n = 20, 36.7%)으로, 저자들은 다양한 이해관계자가 참여하는 자격 인증에 대한 합의의 필요성을 강조했습니다.
• 또한 조직 구조(n = 17, 21.5%) 주제에서는 학습자 성과 추적 및 집계에 초점을 맞추던 기존의 방식에서 벗어나 학습자가 성장 마인드를 수용하도록 프로그램 정책을 조정할 필요성에 대한 논의가 포함되었습니다.
• 교육적 발달(n = 16, 20.3%)의 대화에는 학부부터 지속적인 전문성 개발까지 CBME 연속체를 설계하기 위한 제안이 포함되었습니다.
• 적용(n = 15, 19.0%)에서 수집된 권장 사항은 CBME 실행에 대한 교육생과 교수진의 피드백을 수집하고 통합할 수 있는 활동에 대한 중요한 필요성을 다루었습니다.
• 평가 (n = 6, 7.6%)에서 저자들은 학습자 포트폴리오의 최적 설계 및 통합을 결정하는 것의 중요성에 대해 논의했습니다.
• 마지막으로 신뢰성 주제(n = 4, 5.1%)에서는 저자들이 전통적인 교육 모델이 불충분하며 급진적인 변화가 필요하다는 증거를 논의했으며,
• 사회적 영향 주제(n = 1, 1.3%)에서는 저자들이 필요한 것은 급진적인 커리큘럼 변화가 아니라 역량을 문서화하는 더 나은 시스템이라고 주장했습니다.
• 포함된 논문 중 학습자 영향이라는 주제와 관련된 권장 사항을 설명한 논문은 없었습니다.

Several recommendations were identified in the articles about CBME during this time period.

• Most prominent was the theme of community influence (n = 20, 36.7%) where authors stressed the need for consensus about credentialing involving diverse stakeholders.
• Additionally, the theme of organizational structures (n = 17, 21.5%) included discussion of the need to ensure that program policies were aligned with the expectation that learners embrace a growth mindset rather than continuing a traditional focus on the tracking and tallying of learner performance.
• For the educational developments theme (n = 16, 20.3%) conversations included suggestions for the design of a CBME continuum from undergraduate to continuing professional development.
• Recommendations captured in the theme of application (n = 15, 19.0%) addressed the critical need for activities that could capture and integrate feedback from trainees and faculty about the implementation of CBME.
• Under the assessment theme (n = 6, 7.6%), authors discussed the importance of determining optimal design and integration of learner portfolios.
• Finally, related recommendations were identified under the theme of credibility (n = 4, 5.1%) where authors discussed evidence suggesting that traditional training models were insufficient and a radical change was needed,
• and the theme of societal impacts (n = 1, 1.3%) where authors argued that what was needed was not radical curricular transformation, but rather a better system to document competence.
• None of the included articles described recommendations specific to the theme learner impacts.

도전 과제/불확실성/회의론
Challenges/uncertainties/skepticism

이 10년 동안 CBME의 도전 과제 및/또는 불확실성에 대한 문학적 대화가 이전 10년과 비교하여 크게 증가했으며, 도전 과제 및 불확실성에 대한 다양한 문학적 대화에 기여한 출판물의 수와 다루어진 다양한 유형의 도전 과제 및/또는 불확실성 모두에서 증가세를 보였습니다. 교수진 개발, 전문성을 역량으로 추출하는 데 따르는 어려움, CBME의 개념 또는 이론과 실제 CBME 간의 차이에 대한 어려움 등 이전 수십 년 동안 문헌에서 확인된 도전 및/또는 불확실성이 이번 10년에도 계속 나타났습니다. 이전 10년 동안의 대화를 기반으로 한 이 10년 동안의 세 가지 주요 문학적 대화는 다음을 대상으로 했습니다.

• (1) CBME가 양질의 교육을 제공했다는 [증거]의 필요성,
• (2) CBME 설계, 실행 및 유지의 [물류]적 어려움,
• (3) CBME [평가]에 대한 논쟁과 불확실성

This decade saw a large increase in literary conversations about challenges and/or uncertainties of CBME as compared to previous decades, both in the number of publications that contributed to different literary conversations around challenges and/or uncertainties, and in the different types of challenge and/or uncertainties addressed. Challenges and/or uncertainties identified in literature in earlier decades continued to appear in this decade, including faculty development, challenges in distilling a specialty into competencies, and challenges in the difference between concept or theory of CBME and CBME in practice. Three dominant literary conversations in this decade that built upon conversations from earlier decades targeted:

• (1) the need for proof that CBME provided quality training;
• (2) logistical challenges of designing, implementing and sustaining CBME; and
• (3) debates and uncertainty about assessment in CBME.

이 세 가지 문학적 대화는 서로 연관되어 있지만 별개의 주제였습니다. 

• CBME가 '효과가 있다'는 증거의 필요성에 대한 논의는
  • [CBME 혁신에 대한 프로그램 평가를 계획하고 수행해야 할 필요성]과
  • [CBME가 전통적인 의학교육 접근 방식보다 개선되었다는 증거에 대한 다양한 이해관계자들의 요구]를 모두 포함했습니다.
• CBME로의 전환을 정당화하기 위한 이러한 증거의 필요성은 CBME의 물류적 문제에 대한 문학적 논의와도 관련이 있습니다.
  • 이러한 물류상의 문제에는 CBME에 대한 보다 광범위한 기술 및 행정 지원의 필요성과 관련된 훨씬 더 높은 비용뿐만 아니라
  • 교수진과 교육자가 CBME 교육 및 평가의 여러 요소에 전념해야 하는 시간적 비용도 포함되었습니다.
  • 물류에 대한 대화에는 CBME에 대한 특정 접근 방식이 모든 사람에게 기대되는 것이 될 경우 [자원이 풍부한 프로그램과 자원이 부족한 프로그램 및 기관] 간에 발생할 수 있는 불평등에 대한 불확실성도 포함되었습니다.

These three literary conversations were inter-related, yet distinct.

• The conversations about the need for proof that CBME ‘works’ encompassed both
  • the need to plan for and carry out program evaluation of CBME innovations, as well as
  • demands from a variety of stakeholders for proof that CBME was an improvement over traditional approaches to medical education.
• This need for proof to justify transitioning to CBME was tied to the literary conversations about logistical challenges of CBME.
  • These logistical challenges included much higher costs related to the need for more extensive technological and administrative support for CBME,
  • as well as the costs in time that faculty and educators needed to dedicate to multiple elements of CBME training and assessment.
  • Incorporated into the conversations about logistics were uncertainties about inequities that could arise between well-resourced and under-resourced programs and institutions if a specific approach to CBME became an expectation of all.

CBME 프로그램의 평가에 대한 불확실성을 포함하는 문학적 대화는 때때로 물류에 대한 대화와 상호 연관되어 있었습니다. 그러나 뚜렷한 대화가 발생했습니다. 특히 평가에 대한 도전과 불확실성에는 다음과 같은 논쟁이 포함되었습니다:

• (1) 역량competence을 별개의 역량competencies으로 평가할 수 있는지 아니면 기술과 지식의 종합으로 평가해야 하는지,
• (2) 평가 정보를 어떻게 수집, 종합, 해석해야 하는지(그리고 누가),
• (3) [결과와 역량에 지속적으로 초점을 맞추는 것]이 [모호성과 불확실성에 대한 편안함에] 어떤 영향을 미치는지,
• (4) 교수진과 학습자에게 과도한 부담을 주지 않고 형성평가를 수행할 수 있는지, 총괄적 평가 결정에서 형성평가의 가치/역할은 무엇인지에 대한 논의가 있었습니다.

The literary conversations that included uncertainties about assessment in CBME programs were sometimes inter-related with conversations about logistics. However, distinct conversations arose. In particular, challenges and uncertainties about assessment included debates about:

• (1) whether competence can be assessed as distinct competencies or should be assessed as a synthesis of skills and knowledge;
• (2) how assessment information should be collected, synthesized, and interpreted (and by whom),
• (3) what effect a persistent focus on outcomes and competencies would have on comfort with ambiguity and uncertainty, and;
• (4) how can formative assessment be done without overburdening faculty and learners – and what is the value/role of formative assessments in making summative assessment decisions.

2010년부터 2019년까지의 CBME 문학적 대화(그림 3, 보충 부록 C, 표 4)
CBME literary conversations from 2010 to 2019 (Figure 3; Supplementary Appendix C, Table 4)

2010년부터 2019년까지 CBME에 대해 확인된 8가지 주제에 대한 476건의 토론을 확인했습니다(N = 476). 이러한 논의는 인식된 장점(n = 116, 24.4%), 인식된 단점(n = 199, 41.8%), 권장 사항(n = 161, 33.8%)으로 정리되었습니다. 이번 10년 동안의 도전 과제/불확실성/회의론은 주로 이전 10년 동안에 확인된 대화의 연장선상에 있거나 이를 심화시킨 것이었습니다.
We identified 476 discussions around the eight identified themes about CBME from 2010 to 2019 (N = 476). These are organized into perceived advantages (n = 116, 24.4%), perceived disadvantages (n = 199, 41.8%), and recommendations (n = 161, 33.8%). Challenges/uncertainties/skepticism in this decade were primarily continuations of, and elaborations upon, the conversations identified in the previous decade.

인식된 장점
Perceived advantages

주제별로 분류된 CBME의 인식된 장점은

• 첫째, 신뢰성(n = 8, 6.9%)으로, CBME는 1993년에 개발된 내일의 의사 권고안을 기반으로 설계되었습니다.
• 적용에 관한 논문(n = 12, 10.3%)은 CBME가 학습자에게 직장에서 논리적으로 일련의 경험을 제공하는 방법을 다루고 있습니다.
• 커뮤니티 영향(n = 14, 12.1%)은 위임가능 전문 활동을 핵심 역량과 연결하면 전문적 실천의 정의에 대한 집단적 성찰을 촉진한다는 아이디어를 정교하게 설명합니다.
• 학습자 영향(n = 13, 11.2%) 기사는 교육 중 학습자와 교수진 간의 공동 책임에 대해 설명합니다.
• 평가에 관한 글(n = 19, 16.4%)은 평가가 공정하고 편파적이지 않다는 인식을 설명합니다.
• 교육 개발(n = 29, 25.0%)에 관한 글은 CBME를 통해 어려움에 처한 학습자를 조기에 식별할 수 있다는 증거를 제시합니다.
• 조직 구조를 설명하는 기사(n = 11, 9.5%)는 재정적으로 어려운 의료 및 교육 시스템에서 효율성을 높이고 비용을 절감할 수 있는 잠재력이 있음을 보여줍니다.
• 사회적 영향(n = 10, 8.6%): CBME가 의사 부족, 수련의 부채, 환자 대기 시간을 예방할 수 있는 교육 접근법의 잠재력을 보여줍니다.

Perceived advantages of CBME categorized by theme include

• first credibility (n = 8, 6.9%), with CBME having been designed and based on the Tomorrow’s Doctors recommendations developed in 1993.
• Articles on application (n = 12, 10.3%) address how CBME provides learners with a logical sequence of experiences situated in the workplace.
• Community influence (n = 14, 12.1%) elaborates the idea that linking Entrustable Professional Activities with core competencies fosters collective reflection on the definition of professional practice.
• Learner impact (n = 13, 11.2%) articles describe the shared responsibility between learners and faculty during training.
• Articles on assessment (n = 19, 16.4%) describe the perception that assessments are fair and unbiased.
• Educational developments (n = 29, 25.0%) provide evidence that CBME may enable the early identification of learners in difficulty.
• Articles describing organizational structures (n = 11, 9.5%) show that these have the potential to increase efficiency and reduce costs in financially strained health care and education systems.
• Societal impacts (n = 10, 8.6%): of CBME illustrate the potential of this training approach to prevent physician shortages, trainee debt, and patient wait times.

인식된 단점
Perceived disadvantages

CBME의 단점으로는

• 판단력, 반성 등 고차원적인 인지 능력이 필요한 전문직을 위해 설계된 교육 모델이 아니기 때문에 신뢰성에 대한 위협(n = 30, 15.1%)이 꼽혔습니다.
• 애플리케이션의 단점(n = 20, 10.1%)은 학습자 포트폴리오를 검토할 때 표준화가 부족하다는 점입니다.
• 전문 기관, 정부, 교육자가 설계한 교육 개혁(예: CBME)에 대한 커뮤니티의 영향력(n = 37, 18.6%)은 시간이 지나도 지속될 가능성이 낮다고 인식했습니다.
• 학습자 영향(n = 14, 7.0%)은 교육이 이루어지는 맥락이 역량을 정의하고 평가하는 방식에 미치는 영향에 대한 우려를 나타냈습니다.
• 평가(n = 37, 18.6%)에 대한 우려는 평가가 인증에 의해 주도되고 역량은 정치적으로 주도되며, 어느 쪽도 교육생의 역량을 보장하지 못한다는 인식을 강조했습니다.
• 교육적 발달(n = 36, 18.1%)에 대한 글에서는 환자 치료에 집중하는 데 방해가 되는 역량 해체(환원주의)를 지적했습니다.
• 조직 구조에 관한 글(n = 20, 10.1%)은 조직 구조가 학습자에게 맞춤형 교육을 제공하기에 부적절할 수 있다는 점을 지적했습니다.
• 사회적 영향(n = 8, 4.0%)에 대한 우려는 CBME 개입이 '치료의 예술'(즉, 환자의 취약성, 가족의 우려, 책임의 최종성)이 아닌 기계적 활동에 초점을 맞춘다는 점을 언급합니다.

Perceived disadvantages of CBME discussed include

• threats to credibility (n = 30, 15.1%) because the training model was not designed for professions that require higher order cognitive skills, such as judgement and reflections.
• Application disadvantages (n = 20, 10.1%) address the lack of standardization when reviewing learner portfolios.
• Community influence (n = 37, 18.6%) on educational reform (such as CBME) designed by professional bodies, governments, and educationalists was perceived as not likely to be sustained over time.
• Learner impact (n = 14, 7.0%) concerns identified the influence of the context in which training is experienced on how competence is defined and assessed.
• Assessment (n = 37, 18.6%) concerns highlighted the perception that assessment was driven by accreditation and competencies were politically driven, neither of which assures the competence of trainees.
• Educational developments (n = 36, 18.1%) pointed to deconstructing competencies (reductionism) as a distraction from the focus on patient care.
• Articles on organizational structures (n = 20, 10.1%) articulate that structures may be inadequate for providing personalized training to learners.
• Societal impacts (n = 8, 4.0%) concerns cite that CBME interventions center on the mechanics of activities and not the ‘art of doctoring’ (i.e. vulnerabilities of the patient, concerns of family, and finality of responsibility).

권고 사항
Recommendations

CBME를 개선하기 위한 권고사항은

• CBME로의 전환이 필요한 이유에 대한 더 많은 증거를 제공함으로써 신뢰성 향상(n = 12, 7.5%)을 지지합니다.
• 적용(n = 35, 21.7%) 및 교육적 발달(n = 33, 20.5%)은 첫인상이 수련의의 성과 평가에 미치는 영향에 대한 증거를 확보하거나 공식적인 평가 및 교정을 통해 임상 교육 교수진의 역량을 평가하는 것을 지지합니다.
• 커뮤니티 영향(n = 40, 24.8%) 권장사항은 CBME를 시행하는 동안 교수진과 교육생이 겪는 어려움을 해결합니다.
• 학습자 영향(n = 2, 1.2%)은 교육생이 성과에서 성장으로 사고방식을 전환할 수 있도록 지원함으로써 강화할 수 있습니다.
• 평가(n = 15, 9.3%)에 대한 권고사항은 비임상의 또는 다른 전문 분야의 임상의를 CBME 평가에 통합하여 직접 관찰에 대한 제한을 완화하기 위해 연수생 수행 비디오 녹화와 같은 개입을 제안합니다.
• 조직 구조(n = 22, 13.7%)는 교육에 대한 비전적 접근 방식에 따라 리더를 선정하여 강화할 수 있습니다.
• 사회적 영향(n = 2, 1.2%)은 커리큘럼 개혁과 함께 감독 및 위탁에 필요한 변화를 통해 환자들이 안전하고 수준 높은 치료를 받을 수 있도록 보장해야 합니다.

Recommendations to improve CBME advocate for 

• greater credibility (n = 12, 7.5%) by providing more evidence as to why the shift to CBME was required.
• Application (n = 35, 21.7%) and Educational developments (n = 33, 20.5%) support capturing evidence of the influence of first impression on performance ratings of trainees or assessing the competence of clinical teaching faculty with formal assessments and remediation.
• Community influence (n = 40, 24.8%) recommendations address the challenges experienced by faculty and trainees during CBME implementation.
• Learner impacts (n = 2, 1.2%) can be strengthened by supporting trainees in shifting their mindset from performance to growth.
• Assessment (n = 15, 9.3%) recommendations to integrate non-clinicians or clinicians from other specialties in the assessment needs of CBME suggest interventions such as video recordings of trainee performance to mitigate restrictions for direct observation.
• Organizational structures (n = 22, 13.7%) can be strengthened with leaders selected based on their visionary approach to education.
• Societal impacts (n = 2, 1.2%) necessitate ensuring that patients received safe, high-quality care amidst curricular reform with needed changes to supervision and entrustment.

도전 과제/불확실성/회의론
Challenges/uncertainties/skepticism

이 10년간의 문헌적 대화에는 교수진 개발의 어려움, CBME 시행 시 비용/물류에 대한 우려 및 불확실성, CBME의 효과에 대한 증거를 제공하기 위한 프로그램 평가의 필요성, 의사의 업무를 개별 역량으로 분석하는 것과 관련된 어려움 등 이전 10년간 확인된 도전 과제/불확실성/회의론이 포함되었으며, 이를 기반으로 더욱 발전했습니다. 이전에 확인된 문제/불확실성/회의론과 관련된 대화에는 이 10년간 만연했던 다음과 같은 내용이 포함되었습니다:

• (1) 시간 가변 교육이 인력 계획에 미칠 수 있는 영향에 대한 우려와 불확실성,
• (2) 비의료 전문가 역량, 특히 전문직업성에 대한 효과적인 평가의 어려움,
• (3) 객관성과 표준화된 평가의 필요성과 학습자가 업무 현장에서 입증한 역량에 대한 진정한 평가의 가정 사이의 갈등이 있습니다;
• (4) 벤치마크 및 이정표 설정과 개별화된 학습 경로 및 궤적에 대한 가정 사이의 갈등,
• (5) 학습자 및 프로그램에 대한 영향 측면에서 훈련 및 재교육이 길어지는 것에 대한 불확실성,
• (6) 의학교육의 연속성 전반에서 CBME를 어떻게 보아야 하는지에 대한 불확실성.

이 10년 동안 새롭게 등장한 주제 중 하나는 위탁 가능한 전문 활동(EPA)을 사용한 평가와 관련된 도전과 불확실성에 관한 대화였습니다.
The literary conversations in this decade included (and built further upon) challenges/uncertainties/skepticism identified in previous decades, such as challenges in faculty development, concerns and uncertainties about costs of/logistics in implementing CBME, the need for program evaluation to provide evidence for or against the efficacy of CBME, and challenges related to parsing the work of a physician into discrete competencies. Conversations related to previously identified challenges/uncertainties/skepticism that prevailed in this decade included:

• (1) concerns and uncertainties about the impact that time variable training could have on workforce planning;
• (2) challenges in effective assessment of non-medical expert competencies, especially professionalism;
• (3) conflicts between the need for objectivity and standardized assessments, and the assumption of authentic assessment of learners’ demonstrated competence in the workplace;
• (4) conflicts between establishing benchmarks and milestones, and assumptions of individualized learning pathways and trajectories;
• (5) uncertainties about extension of training and remediation in terms of impacts on learners and on programs, and;
• (6) uncertainties about how CBME should look across the continuum of medical education.

One emergent topic in this decade appeared in conversations around challenges and uncertainties related to assessment using entrustable professional activities (EPAs).

2020년(2020년 4월까지, 2021년 간행물의 사전 인쇄물 포함)의 CBME 문헌 대화(그림 3, 보충 부록 C, 표 5)
CBME literary conversations from 2020 (up to April 2020, including pre-prints of 2021 publications) (Figure 3; Supplementary Appendix C, Table 5)

분석 결과, 2020년에 포함된 기사에서 식별된 8가지 주제에 대한 189건의 문학적 대화가 있었습니다. 아래에서는 인식된 장점(n = 58, 30.7%), 인식된 단점(n = 61, 32.3%), 권장 사항(n = 70, 37.0%)으로 정리한 대표적인 사례를 설명합니다. 도전 과제/불확실성/회의론과 관련된 문학적 대화는 이 10년 이전에 논의된 내용을 더욱 정교화했습니다. 이러한 정교화는 경우에 따라 거의 독립적인 CBME에 대한 문학적 대화가 되기도 했습니다. 예를 들어, 평가에 대한 일반적인 문학적 대화와는 별개로 논의되곤 했던 EPA에 대한 도전 및 우려의 확산을 들 수 있습니다. 한 가지 새로운 과제가 확인되었는데, 바로 [여러 프로그램에 걸친 CBME 설계의 획일성]과 [개별 프로그램에 맞는 상황에 적합한 CBME 설계의 필요성] 사이의 충돌에 대한 우려였습니다.
Our analysis resulted in 189 discussions around the eight identified themes literary conversations in the articles included for 2020: below we describe representative examples organized by perceived advantages (n = 58, 30.7%), perceived disadvantages (n = 61, 32.3%), and recommendations (n = 70, 37.0%). The literary conversations related to challenges/uncertainties/skepticism elaborated upon what was discussed prior to this decade. These elaborations, in some cases, have almost become stand-alone literary conversations about CBME. An example was the proliferation of challenges and/or concerns about EPAs, which were often discussed independent of the general literary conversations about assessment. One new challenge was identified: concerns about the conflict between uniformity of CBME design across programs versus the need to allow for context-appropriate CBME design to suit individual programs.

인식된 장점
Perceived advantages

CBME에 대해서

• 전 세계 다른 지역에서도 유사한 모델이 시행되고 있기 때문에 CBME에 대한 신뢰성(n = 1, 1.7%)이 있다고 응답했습니다.
• 적용에 대한 관심(n = 3, 5.2%)은 평가 데이터 수집과 CBME 참여 및 품질 개선에 대한 참여를 지원하는 결과의 통합으로 나타났습니다.
• 커뮤니티 영향력(n = 6, 10.3%)은 다양한 이해관계자의 참여와 포용을 촉진하는 CBME로의 혁신적 변화를 통해 달성됩니다.
• 학습자 영향(n = 14, 24.1%)은 새로운 커리큘럼 접근 방식이 학습자 중심적이고 시간을 자원으로 활용한다는 인식을 통해 입증되었습니다.
• CBME는 진정한 직장 기반 활동에 중점을 둔 새로운 평가 철학을 통해 평가(n = 12, 20.7%)를 강조합니다.
• CBME는 사례와 활동에 대한 포괄적인 노출을 제공하는 교육적 발달(n = 14, 24.1%)을 장려합니다.
• CBME를 위한 조직 구조(n = 3, 5.2%)는 한정된 자금으로 교육의 효율성과 재정적 책임을 극대화할 수 있습니다.
• 사회적 영향(n = 5, 8.6%)은 복잡하고 다양하며 끊임없이 변화하는 지역사회에 치료를 제공할 수 있는 능력과 유능한 의사를 양성함으로써 촉진됩니다.

CBME was discussed as

• having credibility (n = 1, 1.7%) due to similar models being implemented in other regions across the globe.
• Attention to application (n = 3, 5.2%) is shown with the collection of evaluation data and integration of findings that support engagement in CBME and participation in quality improvement.
• Community influence (n = 6, 10.3%) is achieved with transformative change to CBME fostering participation and inclusion of diverse stakeholders.
• Learner impact (n = 14, 24.1%) is demonstrated through the perception that the new curriculum approach was learner-centered and used time as a resource.
• CBME highlights assessment (n = 12, 20.7%) with a renewed philosophy of assessment centered on authentic workplace-based activities.
• CBME promotes Educational developments (n = 14, 24.1%) that provide comprehensive exposure to cases and activities.
• Organizational structures (n = 3, 5.2%) for CBME can maximize efficiency of training and fiscal responsibility of limited funds.
• Societal impacts (n = 5, 8.6%) are fostered through the development of physicians who would be capable and competent to provide care to complex, diverse, and ever-changing communities.

인식된 단점
Perceived disadvantages

이 기간 동안 논의된 CBME의 단점으로는 

• CBME의 철학적 토대가 실행하기에는 비현실적인 활동으로 해석되어 신뢰성에 대한 문제(n = 10, 16.4%)가 있었습니다.
• 비평가들은 CBME 실행의 바람직하지 않은/의도하지 않은 결과에 대한 정보가 제한적이거나 전혀 없기 때문에 CBME 적용에 의문을 제기합니다(n = 14, 23.0%).
• 커뮤니티 영향(n = 6, 9.8%)은 평가자가 교육생에 대한 지속성 또는 장기적인 노출이 부족하다는 점을 강조합니다.
• 학습자 영향(n = 7, 11.5%)은 학습자가 피드백이나 평가를 요청하는 입장에 놓이게 되어 불안을 유발할 수 있다는 의문을 제기합니다.
• 평가(n = 12, 19.7%)는 역량을 입증하기 위한 최소한의 기준이 동기를 떨어뜨리고 숙달에 도달하려는 동기를 감소시킨다는 우려를 다룹니다.
• 교육적 발달(n = 4, 6.6%)에 대한 논의에서는 잦은 피드백을 요청하고 받는 과정에서 환자 치료에 다시 주의를 돌리는 데 방해가 된다는 점을 지적했습니다.
• 조직 구조(n = 7, 11.5%)에 대한 논의에서는 CBME 활동을 수행하기 위한 재정적 보상이 제한적이거나 전혀 없는 것과 시간 투자 사이의 상당한 불균형에 대한 우려가 제기되었습니다.
• 사회적 영향(n = 1, 1.6%)은 임상 환경에서 드물게 발생하는 학습 기회(예: 드문 임상 프레젠테이션)와 관련된 환자에 대한 잠재적 위험에 대해 논의합니다.

CBME disadvantages discussed in this timeframe include

• challenges to credibility (n = 10, 16.4%) due to the belief that the philosophical underpinnings of CBME were translated into impractical activities to execute.
• Critics question CBME Application (n = 14, 23.0%) due to limited to no information about the undesirable/unintended outcomes of implementing CBME.
• Community influence (n = 6, 9.8%) highlights the lack of continuity or longitudinal exposure of assessors to trainees.
• Learner impact (n = 7, 11.5%) discussions question placing learners in the position of asking for feedback or assessments, which can be anxiety-provoking.
• Assessment (n = 12, 19.7%) concerns address the idea that minimum standards to demonstrate competence are demotivating and reduce the drive to reach mastery.
• Educational development (n = 4, 6.6%) discussions point to the disjointed and disruptive nature of requesting and receiving frequent feedback while redirecting attention back to patient care.
• Organizational structures (n = 7, 11.5%) concerns address the significant disparity between limited or no financial compensation to perform the activities of CBME and time investment.
• Societal impacts (n = 1, 1.6%) discuss the potential risks to patients associated with learning opportunities that were infrequently occurring in the clinical setting (i.e. rare clinical presentations).

권장 사항
Recommendations

가장 최근에 제시된 CBME에 대한 권고사항은

• 모든 이해관계자 간의 의사소통을 개선하기 위해 어휘와 정의의 일관성을 통해 신뢰성(n = 5, 7.1%)을 강화할 것을 권장합니다.
• 적용(n = 14, 20.0%) 권장사항은 교수진과 교육기관이 각자의 고유한 상황에 맞게 CBME를 적용하고 행동할 수 있는 자유와 자율성에 대한 필요성을 강조합니다.
• 커뮤니티 영향(n = 24, 32.3%)은 CBME가 위치한 맥락적 요인에 대한 증거를 포착하는 것이 이해관계자들이 변화의 복잡성을 이해하는 데 도움이 될 것이라는 아이디어를 다루었습니다.
• 학습자 영향(n = 4, 5.7%)은 새로운 커리큘럼을 설계할 때 교육생을 포함시켜야 한다는 내용을 포함합니다.
• 평가(n = 9, 12.9%) 권장 사항에서는 실용적이고 사용자 중심의 평가 도구를 설계할 것을 제안합니다.
• CBME를 위한 교육적 발달(n = 8, 11.4%)은 교육생이 실제 임상에서 자주 발생하지 않거나 드문 임상 활동을 경험할 수 있는 시뮬레이션 기회를 개발하는 것을 수반합니다.
• 조직 구조(n = 6, 8.6%)는 지역 및 국가 보건 당국을 통해 CBME를 시행하는 데 필요한 자금을 제공해야 합니다.

Recommendations for CBME presented in this most recent time period recommend

• strengthening Credibility (n = 5, 7.1%) via consistency in vocabulary and definitions to improve communication among all stakeholders.
• Application (n = 14, 20.0%) recommendations highlight faculty’s and institutional needs for the freedom and agency to act and adapt CBME to their unique context.
• Community influence (n = 24, 32.3%) addressed the idea that capturing evidence of the contextual factors in which CBME was situated would help stakeholders to understand the complexity of the change.
• Learner impact (n = 4, 5.7%) includes the need to include trainees in the design of new curricula.
• Assessment (n = 9, 12.9%) recommendations suggest designing practical and user-centered assessment tools.
• Educational development (n = 8, 11.4%) for CBME entails developing simulation opportunities for trainees to gain experiences in clinical activities that are often infrequent or rare in the real-world.
• Organizational structures (n = 6, 8.6%) should provide the funding required through local and national health authorities to implement CBME.

이 기간 동안의 문학적 대화 콘텐츠에는 사회적 영향 주제에 대한 권장 사항이 포함되지 않았습니다.
Literary conversations content for this time period did not include recommendations regarding the societal impacts theme.

도전 과제/불확실성/회의론
Challenges/uncertainties/skepticism

포함된 출판물 그룹에서 CBME와 관련된 도전 과제/불확실성/회의론을 다룬 문학적 대화는 주로 이전 수십 년 동안 확인된 대화에 대한 정교화였습니다. 두 가지 주요 대화는

• 실행의 물류 문제(교수진 개발 필요성, 재정적 비용, 인적 인력 비용)와
• CBME가 비용을 정당화할 만큼 충분히 우수한 졸업생을 배출했는지에 대한 증거의 필요성에 관한 것이었습니다.

The literary conversations addressing challenges/uncertainties/skepticism associated with CBME in the included group of publications were mainly elaborations upon the conversations identified in earlier decades. Two dominant conversations concerned

• challenges of logistics of implementation (faculty development needs, financial costs, and human workforce costs) and
• need for evidence about whether CBME resulted in sufficiently better graduates to justify costs.

그러나 도전 과제/불확실성/회의론과 관련된 문헌에서 가장 지배적인 대화는 평가에 관한 것이었습니다. 다음에 대한 대화가 확인되었습니다.

• 평가의 질, 
• 평가와 관련된 학습자와 교육자의 업무량 및 소진, 그리고 
• 학습에 대한 형성 평가와 총괄 평가 사이의 경계가 모호해지는 것에 대한 새로운 우려
  (참고: 현재 언어의 변화에도 불구하고 이 리뷰에 포함된 출판물에 사용된 용어를 유지함) 

많은 평가 관련 대화에는 EPA 및 위임언어에 대한 여러 가지 문제가 포함되어 있었습니다. 앞서 보고한 바와 같이, 프로그램 전반에 걸쳐 [CBME의 설계 및 실행에 통일성이 있어야 한다는 기대]와 [CBME가 획일적인 것이 아니라 개별 프로그램에 상황에 적합하도록 의도적으로 설계되어야 한다는 주장] 사이의 갈등에 대한 우려를 다루는 문헌적 대화의 증거를 추가로 확인했습니다.

The most dominant conversations in the literature related to challenges/uncertainties/skepticism, however, addressed assessment. Conversations were identified about:

• quality of assessment;
• workload and burnout of learners and educators associated with assessment, and; and
• emergent concerns about blurring the line between formative assessment for and summative assessment of learning (Note: retaining terminology used in the publications included in this review despite current shifts in language).

Many assessment conversations included multiple challenges with EPAs and/or language of entrustment. As reported earlier, we saw further evidence of the literary conversation addressing concerns about the conflict between an

• expectation that there should be uniformity in design and implementation of CBME across programs, and
• the argument that CBME should be intentionally designed to be context-appropriate for individual programs rather than one-size-fits-all.

 

토론
Discussion

지난 수십 년 동안 CBME와 관련된 출판물이 놀라울 정도로 급증한 것은 이 주제에 대한 뜨거운 관심을 반영하며, 교육자와 연구자가 이 방대하고 복잡한 문헌을 이해하는 데 도움이 되는 자료가 필요하다는 점을 강조합니다. 비교적 엄격한 포함 및 제외 기준을 적용했음에도 불구하고 387개의 논문이 분석에 포함된 이번 범위 검토에서 알 수 있듯이, 급증하는 문헌을 따라잡는 것은 불가능에 가깝습니다. McGaghie(1978) 이후 문학적 대화의 개별 논문과 주제를 모두 매핑함으로써 교육자, 연구자, 학습자 및 이해관계자가 CBME 출판물에서 문학적 대화의 주요 측면에 대해 공유된 이해를 촉진하기 위해 노력했습니다. 이 범위 검토의 결과는 모든 이해관계자가 CBME의 장점, 단점, 권장 사항, 도전/불확실성/회의론에 대한 다양한 대화를 이해하고자 할 때 각자의 관점에서 참여할 수 있도록 CBME 문헌에 대한 투명하고 포괄적인 설명으로 사용될 수 있습니다(부록 B 및 C). 
The astonishing proliferation of publications related to CBME over the last few decades reflects the intense interest in this topic and highlights the need for a resource to support educators and researchers in making sense of this vast and complex literature. Keeping up with such a burgeoning literature is likely impossible, as evidenced by this scoping review which, even with relatively strict inclusion and exclusion criteria, resulted in 387 articles included for analyses. By mapping both individual articles and themes in the literary conversations since McGaghie (1978), we endeavoured to facilitate a shared understanding among educators, researchers, learners, and stakeholders about key aspects of the literary conversations in CBME publications. The findings from this scoping review can serve as a transparent and comprehensive description of the CBME literature for all stakeholders to engage with from their perspective as they seek to make sense of the various conversations about advantages, disadvantages, recommendations, and challenges/uncertainties/skepticism of (and to) CBME (Supplementary Appendixes B and C).

CBME에 대한 문학적 대화를 종합하고 매핑한 이 자료는 다양한 청중에게 유용한 자료가 될 것으로 생각하지만, 우리의 연구 결과는 또한 해결해야 할 문제를 조명하므로 향후 CBME 연구에 영향을 미칠 수 있습니다. 분석에 포함된 기사의 67.7%가 연구라기보다는 [관점이나 논평]이라는 점에서 향후 CBME 연구의 필요성을 알 수 있습니다. 10년별로 제시된 내용은 연구자들이 추가 연구의 격차와 기회를 파악하고, 새롭게 떠오르는 대화, '고약wicked'하거나 오래 지속될 것으로 보이는 대화, 중요하지만 소외된 대화, 아직 일어나지 않은 대화를 예측하는 데 자원과 노력을 집중하는 데 도움이 될 수 있습니다. 

While we feel that this synthesis and mapping of the literary conversations about CBME will serve as a useful resource for a variety of audiences, our findings also illuminate issues that must be addressed and thus have implications for future research in CBME. The need for future research in CBME is illustrated by the finding that 67.7% of the articles included for analysis were perspectives or commentaries, rather than research. The content presented by decade can help researchers to identify gaps and opportunities for further research, and direct resources and effort toward the conversations that are emerging, those that appear to be ‘wicked’ or long-lasting, those that are important but have been sidelined, and perhaps anticipate those conversations that are yet to occur.

이 연구 결과 중 이 목표에 가장 유용할 것으로 보이는 것은 시간이 지남에 따라 문학 대화에서 CBME에 대한 도전/불확실성/회의론을 식별하는 것입니다. 이는 다음과 같은 범주로 요약할 수 있습니다:

• (1) CBME가 '효과가 있다'는 증거의 필요성,
• (2) 비용(비용, 인력, 시간) 및 교수진 개발을 포함한 CBME의 물류,
• (3) 역량 정의와 관련된 어려움,
• (4) 역량 평가 방법에 대한 논쟁과 불확실성.

처음 세 가지 범주는 1978년에 시작된 문헌에서 처음 확인되었으며, 마지막 범주는 1990년에 처음 확인되었습니다. 

The findings from this study that are likely to be most useful for this aim are the identification of challenges/uncertainties/skepticism about CBME in literary conversations over time. These can be summarized into the following categories:

• (1) the need for proof that CBME ‘works’;
• (2) logistics of CBME, including costs (money, people, time) and faculty development;
• (3) challenges associated with defining competencies; and,
• (4) debates and uncertainty about how to assess competence.

The first three categories were initially identified in the included literature starting in 1978, while the final category was identified initially in 1990.

[CBME가 '효과가 있다'는 증거의 필요성]은 CBME의 재정적, 인적 비용을 정당화하기 위해 CBME의 성과에 대한 증거가 필요하다는 점에서 [CBME의 물류]와 관련이 있습니다. 이와 관련하여 CBME를 '작동'시키려면 돈, 사람, 시간, 교수진 개발이 필요한데, CBME의 바람직한 결과를 달성하기 위한 물류의 올바른 조합은 무엇일까요? 시간이 지남에 따라 평가 데이터를 포함하는 출판된 연구 수가 증가했지만, 이러한 평가 연구는 전체 논문의 25.3%에 불과했습니다. 향후에는 다음의 두 가지 모두에 대한 연구가 필요합니다. 

• CBME 프로세스의 효과성(예:
  • 코칭과 발달 궤적에 초점을 맞춘 CBME가 학습자가 성장 마인드를 채택하는 결과를 가져왔는가?
  • 이러한 학습자가 효과적인 평생 학습 기술을 개발하는가?) 
• CBME의 결과물(예:
  • CBME 프로그램 졸업생이 환자 중심 치료에서 향상된 기술을 보여주는가? 의사소통? 전문직업성?). 

The need for proof that CBME ‘works’ is related to the logistics of CBME, in that evidence of the outcomes of CBME is needed to justify the financial and human costs of CBME. Relatedly, making CBME ‘work’ requires money, people, time, and faculty development – but what is the right combination of logistics to achieve desired outcomes of CBME? While there was an observed increase over time in the number of published studies that included evaluation data, these evaluation studies only comprised 25.3% of the included articles. Future research is needed that examines both the effectiveness of

• the process of training (e.g.
  • does the CBME focus on coaching and developmental trajectory result in learners who adopt a growth mindset?
  • Do these learners develop effective lifelong learning skills?) as well as
• the products of CBME (e.g.
  • do graduates of CBME programs demonstrate improved skills in patient-centered care? Communication? Professionalism?).

[CBME가 '효과가 있다'는 것을 증명하는 하나의 연구]가 아니라, [단기 및 장기 결과와 결과물을 포함하여 CBME가 원하는 결과의 여러 측면에 대한 증거를 모아야 합니다]. 또한 CBME의 과정과 결과를 조사하는 [하나의 표준 방법은 존재하지 않을 것]입니다. 이미 학습 분석, 실행 과학, 학습자 민감 품질 측정과 같은 새로운 방법론과 접근법을 채택한 연구와 적절한 전통적 접근법을 사용한 새로운 연구 결과가 발표되기 시작하고 있습니다. 부록 B는 CBME를 탐구하는 방법을 보여 주며, 향후 CBME의 설계, 실행 및 평가를 연구하는 데 새로운 방법을 사용할 수 있습니다.

There will not be one study that proves that CBME ‘works’, but rather a collection of evidence about multiple facets of the desired results of CBME, including short term and long term outcomes and products. There will also not be one standard method to examine the process and outcomes of CBME. We are already beginning to see published research employing novel methodologies and approaches such as learning analytics, implementation science, and learner-sensitive quality measures, as well as new findings using appropriate traditional approaches. Supplementary Appendix B illustrates the methods by which CBME is explored, which may lead to using new methods to study the design, implementation, and evaluation of CBME in the future.

[역량 정의 내리기]와 관련된 과제는 시간이 지남에 따라 문헌에서 볼 수 있듯이 명백하면서도 미묘합니다. 이 과제의 명백한 측면은 [(모든) 전공과목을 개별 역량으로 추출하는 것이 가능한지, 그리고 그렇게 해야 하는지] 여부를 다루는 주요한 문헌적 대화 중 하나를 구성합니다. 이 대화는 주로 관점과 논평에 등장했습니다. 프로그램 설명에는 종종 전문 분야에서 사용하는 역량 프레임워크(또는 역량 목록)에 대한 언급이 포함되기도 했습니다. 그러나 이 문제는 적절한 연구 질문을 구성하는 것조차 거의 불가능할 정도로 연구하기 어려운 과제입니다. 
The challenges associated with defining competencies are both obvious and subtle, as seen in the literature over time. The obvious aspect of this challenge makes up one of the dominant literary conversations, which addressed whether it is possible to distill a (any) specialty into individual competencies – and whether it should be done. This conversation primarily appeared in perspectives and commentaries. Program descriptions often included some mention of the competency frameworks (or lists of competencies) being used by a specialty. However, this challenge is a difficult one to research – even framing an appropriate research question is nearly impossible.

향후 연구를 위한 이 범주의 더 풍부한 요소는 [역량 정의의 더 미묘한 측면]과 관련이 있으며, CBME의 유망한 담론에 도달합니다. 특히, 전문 분야에 대해 정의된 역량이 [사회적 책무성 렌즈]를 통해 결정되는지(그리고 어느 정도까지 그러한지) 조사하기 위해서는 향후 연구가 필요합니다.

• 교육자들은 특정 전문 분야에 대한 역량 프레임워크를 개발하거나 수정할 때 현재 및 예상되는 커뮤니티의 요구를 고려합니까?
• 사회적 책임은 역량 프레임워크에 어떻게 고려되거나 통합되며, 전문 분야별로 차이가 있나요?

이러한 질문은 이 범주에 대해 탐구해야 할 연구 질문 중 일부에 불과하지만, CBME에서 사회적 책임의 역할은 그 자체로 향후 연구가 필요한 영역입니다.

The richer element of this category for future research relates to the more subtle aspect of defining competencies – and gets to the promissory discourse of CBME. Specifically, future research is needed to examine whether (and to what extent) the competencies defined for a specialty are determined through a social accountability lens.

• Do educators consider current and anticipated community needs in developing or revising competency frameworks for a given specialty?
• How is social accountability considered or incorporated into competency frameworks – and does it differ by specialty?

These are only some of the research questions that need to be explored for this category, although the role of social accountability in CBME is an area of need for future research in and of itself.

[역량을 정의하는 데 따르는 어려움]은 [역량을 평가하는 방법에 대한 논쟁 및 불확실성]의 범주와도 겹치는데, 이는 무엇을 평가할 것인가가 평가 방법과 불가분의 관계에 있기 때문입니다. 역량을 평가하는 방법에 대한 질문은 아마도 CBME 문헌에서 [가장 두드러진 까다로운 문제]일 뿐만 아니라, 포함된 문헌에서 [가장 일관되고 지속적인 문학적 대화] 중 하나이기도 합니다. 평가 문제는 1990년에 문학적 대화에 나타나기 시작했지만, 2010년부터 주관적 평가와 객관적 평가, 학습에 대한 형성 평가와 총체적 평가 사이의 긴장, 평가에서 학습자의 역할에 대한 여러 가지 분기의 문학적 대화를 확인했습니다. 흥미롭게도 평가는 위에서 논의한 주제 분석에서도 확인된 주제 중 하나이지만, 평가의 어려움/불확실성/회의론에 대한 대화는 평가와 관련된 인식된 장점, 단점 및 권장 사항에 대한 대화와는 맥락적으로 매우 달랐습니다. 이처럼 개별적이지만 서로 연관된 많은 문학적 대화는 각각 향후 연구를 위한 풍부한 기회를 제공하지만, CBME에서 평가에 대한 문학적 논의가 널리 퍼지면서 똑같이 중요한 다른 문학적 대화가 소외되었을 수 있다는 점은 우려스러운 부분입니다.
Challenges in defining competencies also overlap with the category of debates and uncertainties about how to assess competence, because what to assess is inextricably entwined with how to assess. The question of how to assess competence is possibly the preeminent wicked problem in the CBME literature, as well as one of the most consistent and persistent literary conversations in the included literature. Although assessment challenges began to appear in literary conversations in 1990, we identified multiple branching literary conversations starting in 2010 about subjective versus objective assessment, the tension between formative assessment for and summative assessment of learning, and the learner role in assessment. Interestingly, the assessment was also one of themes identified in the thematic analysis discussed above; however, the conversations about the challenges/uncertainties/skepticism of assessment were contextually very different from conversations about perceived advantages, disadvantages, and recommendations related to assessment. While these many separate but related literary conversations each offer rich opportunities for future research, it is concerning that the prevalence of literary discussions of assessment in CBME may have sidelined some of the other literary conversations that are equally important.

평가에 대한 대화의 유행으로 인해 [소외되었을 수 있는 문학적 대화]의 한 가지 예는 [CBME와 사회적 책무에 대한 대화]입니다. CBME의 사회적 영향에 대한 문학적 대화는 2000년까지 등장하지 않았지만, CBME가 더 큰 선을 위한 것이라는 기본 가정을 다루고 있습니다. CBME의 핵심 목표 중 두 가지는 [환자 치료 결과 개선]과 [사회적 책무]이지만, 관련 결과를 조사한 연구는 아직 많이 발표되지 않았습니다. 환자 건강을 CBME의 결과로 바라보는 연구가 절실히 필요하지만, 개인의 건강이나 환자 결과에 기여하는 다면적이고 매우 복잡한 상호 관련 요인으로 인해 이러한 종류의 연구를 수행하는 데는 극복할 수 없는 어려움이 있을 수 있습니다. [CBME, 사회적 책임, 개선된 환자 치료 결과 사이의 연관성]에 대한 유망한 담론에서 CBME의 효과(또는 아마도 효능)는 파악하기 어렵습니다. 최근 몇 년 동안 출판된 문헌에서 이 분야가 증가하고 있는 것은 분명하지만, 프로그램 평가 연구와 CBME의 장기적 결과에 대한 연구는 CBME의 유망한 담론을 재검토하고 복잡한 비선형 다층 시스템(예: 교육 시스템 및 의료 시스템)의 더 큰 맥락에서 교육 혁신의 실현 가능한 결과와 성과를 확립하는 등 향후 연구의 핵심 영역입니다.
One example of a literary conversation that may have been sidelined by the prevalence of conversations about assessment is that of CBME and social accountability. While literary conversations about the societal impacts of CBME did not appear until 2000, they do address the underlying assumptions that CBME is for the greater good. Two of the core aspirational goals of CBME are improved patient outcomes and social accountability, yet there is a paucity of published studies examining related outcomes. Research is keenly needed that looks at patient health as an outcome of CBME, although there are perhaps insurmountable challenges in carrying out this kind of research due to the multi-faceted and highly complex inter-related factors that contribute to any individual health or patient outcome. In the promissory discourse about the link between [CBME, social accountability, and improved patient care outcomes], the effectiveness (or, perhaps, efficacy) of CBME is elusive. While this is certainly a growing area of the published literature in recent years, program evaluation studies and studies of long-term outcomes of CBME are a key area for future research, including revisiting the promissory discourse of CBME and establishing feasible outputs and outcomes of an education innovation housed within the greater context of complex non-linear multilayered systems (i.e. education system and healthcare system).

그림 1에서 볼 수 있듯이 CBME 문헌은 방대하기 때문에 한 번의 범위 검토로 모든 측면을 파악할 수는 없습니다. 저희는 시간이 지남에 따라 긍정적이든 부정적이든 서로 다른 문학적 대화를 이해하는 데 초점을 맞추기로 했습니다. 독자들은 8개의 핵심 주제와 히트 맵으로 정보를 통합한 것 외에도 문헌에 대한 종합적인 개요를 제공하는 두 개의 부록을 통해 최신 과학 현황을 파악할 수 있습니다. 이러한 리소스를 통해 독자는 정보를 직접 종합하고 변화의 생태학(함자와 레게르 2021)을 고려할 때 새로운 것을 맥락에서 구현할 때 스스로 판단할 수 있습니다.
As shown in Figure 1, the CBME literature is massive; one scoping review cannot capture all aspects. We chose to focus on making sense of the disparate literary conversations over time, both positive and negative. Readers can go beyond our consolidation of information into eight key themes and the heat map of frequencies: we have also created the two Supplementary Appendices, which serve as a state of the science comprehensive overview of the literature. These resources allow readers the opportunity to engage in their own synthesis of the information and form their own judgements when considering the ecology of change (Hamza and Regehr 2021) when implementing something new in a context.

제한 사항
Limitations

모든 연구와 마찬가지로 한계가 있습니다. 리소스 제약으로 인해 영어로만 작성된 논문만 포함하도록 검색을 제한했으며, 기존 연구에서는 이러한 제한이 전통적인 체계적 문헌고찰에 미치는 영향이 미미한 것으로 나타났지만(Morrison 외. 2012), CBME에 대한 모든 문헌적 대화를 포착하려는 범위 검토를 수행할 때는 이러한 제한이 더 중요한 한계가 될 수 있습니다. 향후 계획에는 CBME의 시행과 관련된 급속한 발전과 그에 따른 문학적 대화의 물결로 인해 이 범위 검토를 주기적으로 업데이트하는 것이 포함됩니다.
As with any research study, there are limitations. Due to resource constraints, we limited the search to include articles written in English only, and while prior work has shown minimal impact of this limitation in traditional systematic reviews (Morrison et al. 2012), this may be a more significant limitation when conducting a scoping review that attempts to ensure all literary conversation about CBME are captured. Future plans include updating this scoping review periodically because of the rapid advancements associated with the implementation of CBME and subsequent waves of literary conversations.

결론
Conclusion

지난 50년 동안 CBME에 대한 문학적 논의는 CBME의 철학적 토대와 장점을 강조하는 것에서 실제 단어 맥락에서 이 모델의 실제 적용을 논의하고 연구하는 것으로 변화해 왔습니다. 이 범위 검토는 문학적 대화의 지도를 제공하며 독자가 CBME 문헌의 다양한 대화를 이해하는 데 도움이 되는 초기 리소스 역할을 합니다. 또한 이 연구의 결과는 교육자와 학자가 필요한 연구 및 평가의 개발을 안내하기 위해 해결해야 할 격차를 식별하는 데 도움이 되는 리소스입니다.

Over the past five decades there has been a shift in the literary conversations of CBME from highlighting the philosophical underpinnings and advantages of CBME to discussing and studying practical application of this model in the real-word context. This scoping review provides a map of the literary conversations and serves as an initial resource to help readers to make sense of the different conversations in the CBME literature. Further, the findings from this study are a resource for educators and scholars to identify gaps that need to be addressed to help guide the development of needed research and evaluation.

 

 

---

 

Med Teach. 2023 Jan 20;1-14. doi: 10.1080/0142159X.2023.2168525. Online ahead of print.

Making sense of competency-based medical education (CBME) literary conversations: A BEME scoping review: BEME Guide No. 78

Deena M Hamza 1, Karen E Hauer 2, Anna Oswald 1 3, Elaine van Melle 4, Zeenat Ladak 5, Ines Zuna 6, Mekdes E Assefa 7, Gabrielle N Pelletier 8, Meghan Sebastianski 9, Diana Keto-Lambert 9, Shelley Ross 10

Affiliations collapse

1Postgraduate Medical Education, Faculty of Medicine and Dentistry, University of Alberta, Edmonton, Canada.

2Department of Medicine, University of California, San Francisco, CA, USA.

3Division of Rheumatology, Department of Medicine, Faculty of Medicine and Dentistry, University of Alberta, Edmonton, Canada.

4Royal College of Physicians and Surgeons of Canada, Ottawa, Canada.

5Department of Pediatrics, Faculty of Medicine and Dentistry, University of Alberta, Edmonton, Canada.

6Undergraduate Medical Education, Faculty of Medicine and Dentistry, University of Alberta, Edmonton, Canada.

7Global Health, School of Public Health, University of Alberta, Edmonton, Canada.

8Department of Educational Psychology, School and Clinical Child Psychology, University of Alberta, Edmonton, Canada.

9Alberta Strategy for Patient-Oriented Research (SPOR) SUPPORT Unit Knowledge Translation Platform, University of Alberta, Edmonton, Canada.

10Department of Family Medicine, Faculty of Medicine and Dentistry, University of Alberta, Edmonton, Canada.

PMID: 36668992

DOI: 10.1080/0142159X.2023.2168525

Abstract

Background: Competency-based medical education (CBME) received increased attention in the early 2000s by educators, clinicians, and policy makers as a way to address concerns about physician preparedness and patient safety in a rapidly changing healthcare environment. Opinions and perspectives around this shift in medical education vary and, to date, a systematic search and synthesis of the literature has yet to be undertaken. The aim of this scoping review is to present a comprehensive map of the literary conversations surrounding CBME.

Methods: Twelve different databases were searched from database inception up until 29 April 2020. Literary conversations were extracted into the following categories: perceived advantages, perceived disadvantages, challenges/uncertainties/skepticism, and recommendations related to CBME.

Results: Of the 5757 identified records, 387 were included in this review. Through thematic analysis, eight themes were identified in the literary conversations about CBME: credibility, application, community influence, learner impact, assessment, educational developments, organizational structures, and societal impacts of CBME. Content analysis supported the development of a heat map that provides a visual illustration of the frequency of these literary conversations over time.

Conclusions: This review serves two purposes for the medical education research community. First, this review acts as a comprehensive historical record of the shifting perceptions of CBME as the construct was introduced and adopted by many groups in the medical education global community over time. Second, this review consolidates the many literary conversations about CBME that followed the initial proposal for this approach. These findings can facilitate understanding of CBME for multiple audiences both within and outside of the medical education research community.

Keywords: Competency-based medical education; evaluation; implementation; medical education; scoping review.