마라톤입니다, 단거리가 아닙니다: CBME 도입의 신속 평가(Acad Med, 2020)

마라톤입니다, 단거리가 아닙니다: CBME 도입의 신속 평가(Acad Med, 2020)
It’s a Marathon, Not a Sprint: Rapid Evaluation of Competency-Based Medical Education Program Implementation
Andrew K. Hall, MD, FRCPC, MMEd, Jessica Rich, PhD, J. Damon Dagnone, MD, FRCPC, MSc, MMEd, Kristen Weersink, MD, MSc, Jaelyn Caudle, MD, FRCPC, EMDM, Jonathan Sherbino, MD, FRCPC, MEd, FAcadMEd, Jason R. Frank, MD, FRCPC, MA(Ed), Glen Bandiera, MD, FRCPC, MEd, and Elaine Van Melle, PhD 

 

의료 제공의 질에 대한 광범위한 우려는 대학원 의료 교육의 "행동 촉구"와 역량 기반 의료 교육(CBME)으로의 대규모 패러다임 전환을 자극했다.1 CBME는 다음과 같이 정의된다. "역량의 조직적 프레임워크를 사용하여 의료 교육 프로그램의 설계, 구현, 평가 및 평가에 대한 성과 기반 접근 방식" 역량 프레임워크는 이미 전 세계의 많은 교육 프로그램에 잘 통합되어 있지만, CBME의 통합과 구현은 전체적으로 어려운 과제였다. 다른 혁신과 마찬가지로, 그것의 성공은 시간이 지남에 따라 가정, 행동, 프로세스 및 제품의 변화에 영향을 미침으로써 프로그램의 문화를 의도적으로 전환하려는 교육 지도자들의 노력에 달려 있다. 이러한 변화 노력의 크기 때문에 시스템이 현 상태로 되돌아가는 경향이 강하다.9 결과적으로, 변형 변화는 초기 구현 노력의 강점과 과제를 평가(및 이에 대응)하기 위한 체계적인 노력이 필요하다. 의학 교육 지도자들은 분명히 이것을 인식하고 있다: "종적이고 반복적인 프로세스에서 CBME의 평가는 필수적이며 의료 교육 개혁을 시행하는 모든 조직의 책임이다."1
Broad concerns about the quality of health care provision have stimulated a “call to action” in postgraduate medical education and a massive paradigm shift toward competency-based medical education (CBME).1 CBME is defined as “an outcomes-based approach to the design, implementation, assessment, and evaluation of medical education programs, using an organizing framework of competencies.”2 Competency frameworks are already well integrated into many training programs around the world,3 but the integration and implementation of CBME in its entirety has been challenging,4,5 As with any transformative innovation, its success is dependent upon the efforts of educational leaders to deliberately shift the culture of a program by affecting a change in assumptions, behaviors, processes, and products over time.6–8 Due to the magnitude of this change effort, there is a strong tendency of the system to revert to the status quo.9 Consequently, transformational change requires systematic efforts to evaluate (and respond to) the strengths and challenges of early implementation efforts.10 Medical education leaders clearly recognize this: it has been observed that the “evaluation of CBME in a longitudinal, iterative process is essential and is a responsibility of all organizations implementing medical education reform.”1

캐나다 왕립의과대학(Royal College of Physician and Sursors)은 현재 캐나다의 67개 전공과목 및 세부전공 교육 프로그램에 걸쳐 11개의 CBME 모델을 구현하고 있습니다. 응급의료(EM)는 2018년 7월 1일부터 국가 차원에서 CBME를 시행할 예정이었다. 그러나 2015년 퀸스 대학의 모든 대학원 교육 프로그램이 2017년 7월 1일자로 유사한 CBME 모델을 동시에 구현하기로 현지 결정이 내려졌다.12 이에 따라 퀸스 대학의 EM 대학원 프로그램은 국가 파생 커리큘럼의 지역 구현을 연구할 수 있는 이상적인 기회를 제공했고, 이를 통해 퀸스 대학의 EM 대학원 프로그램은 국가 파생 커리큘럼을 제공하고, 다음 해에 국가 롤아웃을 알릴 수 있는 잠재력을 제공한다.
The Royal College of Physicians and Surgeons of Canada (Royal College) is currently implementing a specific CBME model, termed Competence By Design (CBD),11 across all 67 specialty and subspecialty postgraduate training programs in Canada. Emergency medicine (EM) was scheduled to implement CBME on a national level starting July 1, 2018. In 2015, a local decision was made however, for all postgraduate training programs at Queen’s University to implement a similar model of CBME simultaneously as of July 1, 2017.12 Accordingly, the Queen’s University EM postgraduate program provided an ideal opportunity to study local implementation of the nationally derived curriculum, offering the potential for informing the national rollout to take place the following year.

과제는 [변혁적 변화 이니셔티브로서 CBME를 평가할 수 있는 접근 방식]을 찾는 것이었다. 즉, 시간이 지남에 따라 상당한 변화가 원하는 방향으로 발생하는지 여부를 모니터링할 수 있고, 그렇지 않은 경우 필요한 과정 수정 사항을 식별할 수 있는 접근 방식을 찾는 것이었다. 프로그램 평가 분야에서, [변혁적 평가 및 연구]는 인권과 사회 정의의 문제를 다루는 데 초점을 맞춘 이니셔티브를 위해 특별히 개발된 방법론이다.13 우리가 아는 한, 변혁적 프로그램 변화를 평가하는 데 초점을 맞춘 구체적인 방법은 없다. 그러나 [신속한 평가]는 "내부 운영 결과와 외부 환경 피드백을 반복 프로세스에서 함께 사용하여 이니셔티브의 전체 전략을 테스트하고 개선하는 대화형 및 적응형 관리 프로세스"입니다.14 신속한 평가는 의도된 변경의 성격과 범위에 대한 사양에 의존합니다. 혁신이 원하는 변환을 달성하고 있는지 여부를 심층적으로 이해할 수 있습니다. 또한 구현의 충실도라고도 알려진 [혁신이 의도된 대로 구현되고 있는지]를 이해하면 15는 과정 수정이 필요할 수 있는 영역을 식별할 수 있다. 따라서 신속한 평가는 전환적 변화 이니셔티브로서의 CBME의 평가와 CBME 구현이 원하는 결과 달성과 어떻게 관련되는지에 대한 이해를 모두 가능하게 한다.16
The challenge was to find an approach that would allow for the evaluation of CBME as a transformational change initiative—an approach that could monitor whether or not substantial shifts were occurring in the desired direction, over time, and if not, to identify any required course corrections. In the field of program evaluation, Transformative Evaluation and Research is a methodology specifically developed for initiatives focused on addressing issues of human rights and social justice.13 To our knowledge, there is not a specific method that focuses on evaluating transformational program change. Rapid Evaluation, however, is “an interactive and adaptive management process in which internal operational results and external environmental feedback are used together in an iterative process to test and improve on an initiative’s overall strategy.”14 Rapid Evaluation relies on specification of the nature and extent of the intended change and so can allow for an in-depth understanding of whether or not an innovation is achieving the desired transformation. Furthermore, understanding if an innovation is being implemented as intended, also known as fidelity of implementation,15 allows for identification of areas where course correction may be required. Therefore, Rapid Evaluation enables both the evaluation of CBME as a transformative change initiative and an understanding of how CBME implementation relates to achieving desired outcomes.16

이 기사에서, 우리는 퀸즈 대학의 EM을 작업 사례로 사용하여 프로그램 수준에서 변환 변화 이니셔티브로서 CBME를 평가하기 위한 새로운 접근 방식으로 신속 평가의 사용을 설명한다. 평가는 구현의 충실도를 측정하고 구현의 초기 결과를 확인하는 데 초점을 맞췄다.
In this article, we describe the use of Rapid Evaluation as a novel approach to evaluating CBME as a transformational change initiative at the program level, using EM at Queen’s University as a worked example. The evaluation focused on measuring the fidelity of implementation and identifying early outcomes of implementation, both anticipated and unanticipated.

방법
Method

[사례 연구 방법론 ]17을 사용하여 [신속한 평가의 반복적 주기]를 사용하여 퀸스 대학교 EM 프로그램에서 CBME를 구현한 실제 경험을 탐색했다. 앞에서 설명한 신속 주기 평가 접근 방식을 기반으로 한 신속 평가 접근 방식은 [진화적 적응 과정]에 관여하는 증거를 포착하고 적시에 제공하는 데 초점을 맞췄다(그림 1). 이 모델에서, 평가자는

• (구현 단계에 적합한 맥락과 예상 결과를 포함한) [변화의 성격에 대한 명시적인 설명]으로 시작한다.
• 이어서 실제 구현에 대한 정보를 수집합니다.
• 그런 다음 이러한 데이터를 사용하여 실제 구현 프로세스와 결과를 설명하고, 혁신이 의도한 대로 구현되고 있는지 확인하고, 예상 및 예상치 못한 결과를 포착할 수 있습니다.19
• 그런 다음, 이해관계자에게 즉시 피드백이 제공되며, 필요한 모든 과정 수정이 식별 및 구현됩니다.
• 그런 다음 평가는 미리 정해진 간격으로 반복되어 적시에 지속적인 구현 모니터링을 할 수 있다.

We used a case-study research methodology17 to explore the lived experience of implementing CBME in the Queen’s University EM program using iterative cycles of Rapid Evaluation. Building on the previously described Rapid-Cycle Evaluation approach,10 our Rapid Evaluation approach focused on capturing and providing timely evidence to engage in a process of evolutionary adaptation (Figure 1). In this model,18 

• the evaluator starts with an explicit description of the nature of the change, including the context and anticipated outcomes appropriate to the stage of implementation.
• This is followed by collection of information about the actual implementation.
• These data can then be used to describe the actual implementation processes and outcomes to determine if the innovation is being implemented as intended and to capture anticipated and unanticipated outcomes.19 
• Feedback is then immediately provided to stakeholders, and any required course corrections are identified and implemented.
• The evaluation is then repeated at predetermined intervals, allowing for timely ongoing monitoring of implementation.

중요한 특징과 의도된 결과에 대한 명시적인 설명을 만들기 위해, 우리는 핵심 구성요소 프레임워크(CCF)를 사용했다.20 CCF는 CBME 프로그램의 구성 요소를 결과 역량, 시퀀싱 진행, 맞춤형 학습 경험, 역량 중심 지침 및 프로그래밍 평가의 5가지 범주로 구성한다. CCF는 퀸스 대학교 응급의학과 훈련 프로그램의 고유한 맥락에서 해석되어 예상 단기 결과와 함께 의도된 대로 구현될 경우 CBME가 어떻게 보일지에 대한 명시적인 설명을 생성했다.
To create an explicit description of the critical features and intended outcomes, we used the core components framework (CCF).20 The CCF organizes the building blocks of a CBME program into 5 categories:

• outcome competencies,
• sequenced progression,
• tailored learning experiences,
• competency-focused instruction, and
• programmatic assessment.

The CCF was interpreted in the unique context of Queen’s University EM training program to generate an explicit description of what CBME should look like if implemented as intended, along with anticipated short-term outcomes.

데이터 수집을 시작하기 전에 퀸스 대학 보건 과학 및 부속 교육 병원 연구 윤리 위원회(Emed-262-17)로부터 연구 승인을 받았다. 우리는 CBME(구현 후) 구현 후 2회의 신속 평가 사이클을 실시했습니다. 데이터는 그룹당 최대 5명의 참가자와 함께 주요 이해관계자(주민, 교수진, 학술 자문자, CBME 리드, 프로그램 디렉터[PD])의 포커스 그룹 인터뷰를 사용하여 실제 구현을 측정하기 위해 3개월(2017년 9월 21일-10월 5일)과 9개월(2018년 2월 26일-3월 9일)에 획득되었다. 이해관계자가 구현 후(3개월)에 신속하게 참여하도록 하고, 이해관계자가 두 번째 평가 주기(9개월) 전에 후속 적응을 인지할 수 있도록 하기 위해 이러한 평가 간격을 선택했다. 
Before commencing data collection, we received study approval from the Queen’s University Health Sciences and Affiliated Teaching Hospitals Research Ethics Board (Emed-262-17). We engaged in 2 Rapid Evaluation cycles after implementation of CBME (post-implementation). Data were acquired at 3 months (September 21–October 5, 2017) and 9 months (February 26–March 9, 2018) post-implementation to measure the actual implementation, using focus group interviews of key stakeholders (residents, faculty members, academic advisors, CBME lead, program director [PD]) with up to 5 participants per group. We chose these intervals of evaluation to ensure stakeholders were rapidly engaged post-implementation (3 months) and to allow for stakeholders to perceive subsequent adaptations before the second evaluation cycle (9 months).

표 1은 참가자 그룹과 표본 크기를 요약한 것입니다. 우리는 모든 잠재적 이해관계자 그룹을 대표하고 각 그룹의 모든 잠재적 초점 그룹 참가자를 참여시키기 위해 참가자 그룹을 선택했다. 인터뷰와 포커스 그룹은 프로그램 리더십이나 구현 프로세스에 관여하지 않은 연구팀(J.R.)의 한 멤버에 의해 조정되었습니다. 3개월 동안의 인터뷰 질문은 프로그램에서의 이해관계자의 역할과 관련된 이해 강점과 과제, 프로그램 구현에 대한 경험과 우려, 지속적인 프로그램 개발 및 구현을 개선하기 위한 제안 등을 탐구하는 데 초점을 맞췄다. 9개월의 인터뷰 질문은 3개월의 새로운 발견에 의해 알려졌고 CBME의 중요한 기능과 관련된 새로운 주제를 포착하기 위해 CCF에 매핑되었다. 인터뷰 가이드는 보충 디지털 부록 1과 2에서 구할 수 있으며 https://links.lww.com/ACADMED/A762에서 구할 수 있다.

Table 1 presents a summary of our participant groups and sample sizes. We chose participant groups to ensure all potential stakeholder groups were represented, and all potential focus group participants from each group were invited to participate. Interviews and focus groups were moderated by one member of our research team (J.R.), who was not involved in the program leadership or implementation process. Interview questions at 3 months focused on exploring stakeholders’ perceived strengths and challenges associated with their role(s) in the program, experiences and concerns with program implementation, and suggestions for refining ongoing program development and implementation. The 9-month interview questions were informed by the 3-month emergent findings and mapped to the CCF to capture emerging themes related to the critical features of CBME. Interview guides are available in Supplemental Digital Appendices 1 and 2, available at https://links.lww.com/ACADMED/A762.

데이터 수집 중 각 이해관계자 그룹과의 1차 회의 후 포화도 21이 달성되었다. 이해관계자 그룹 내 또는 이해관계자 그룹 전체의 논평에서 새로운 통찰력은 나타나지 않았다. 이 시점에서, "CCF에 기초하여, 각 핵심 구성 요소와 관련된 새로운 주제를 설명하기에 충분한 데이터가 있는가?"라는 연구팀의 질문에 답함으로써 [이론적 포화도]를 결정했다. 우리는 emerging themes에 대해 논의하고 다양한 통찰력의 반대증거counterevidence을 확인하기 위해 3개월과 9개월에 교수진이 있는 두 번째 포커스 그룹을 사용했다. 참가자들의 허락을 받아, 인터뷰는 오디오 녹음되었고, 외부 전사 서비스에 의해 문자 그대로 옮겨졌으며, 우리 연구팀(J.R.)의 한 사람이 정확성을 확인했다. 데이터 수집 및 분석에 대한 전반적인 접근 방식은 납치적이어서 CCF와 관련하여 주제와 새로운 통찰력이 나타날 수 있었다. 정성적 연구 내에서, 유괴는 인식된 결과와 그 선례에 대한 그럴듯한 추론을 만들기 위해 데이터 기반 귀납 분석과 이론 기반 연역 분석을 결합한다.22 우리는 데이터 세트에 주석을 달고 코딩하기 위해 NVivo 소프트웨어 버전 11.4.3(QSR International Ltd., Melbourne, Australia)을 사용했다. 3개월간의 인터뷰에 대한 주제 분석에 이어 기술 보고서를 작성하여 즉시 모든 지역 및 국가 이해 관계자에게 이메일을 통해 배포하였다. 3개월 간의 기술 보고서는 지역 이해관계자에 의한 회원 데이터 확인과 진행 중인 지역 및 국가 구현을 알리기 위한 정보의 신속한 확산이라는 두 가지 목적을 수행했다. 
During data collection, saturation21 was achieved after one round of meetings with each stakeholder group. No new insights were emerging from comments within or across the stakeholder groups. At this point, theoretical saturation was determined by posing and answering the following question as a research team: “based on the CCF, do we have sufficient data to illustrate emergent theme(s) relevant to each core component?” We used the second focus group with faculty at both 3 and 9 months to discuss emerging themes and to check for counterevidence of divergent insight(s). With the permission of participants, interviews were audiorecorded, transcribed verbatim by an external transcription service, and checked for accuracy by one member of our research team (J.R.). The overall approach to data collection and analyses was abductive, allowing for themes and novel insights to emerge in relation to the CCF. Within qualitative research, abduction involves a combination of data-driven inductive analysis and theory-based deductive analysis to make plausible inferences about perceived consequences and their antecedents.22 We used NVivo software, version 11.4.3 (QSR International Ltd., Melbourne, Australia) to annotate and code the dataset. Following thematic analysis of 3-month interviews, a technical report was generated and immediately disseminated to all local and national stakeholders via email. The 3-month technical report served dual purposes: member checking data by local stakeholders and rapid spread of information to inform ongoing local and national implementation.

결과.
Results

이상적인 구현에 대한 설명: 상황, 변경 사항 및 예상 결과
Description of ideal implementation: Context, changes, and expected outcomes

CCF를 사용하여 정의한 CBME 구현의 [기대 결과 요약]은 표 2에 제시되어 있다. 퀸스 유니버시티 전자파 훈련 프로그램은 왕립대학이 개략적으로 설명한 CBD 모델로 설계되었으며, 여기서 EM 수련의사는 훈련의 4개의 순차적 단계 내에서 분야별 역량을 개발하기 위해 의대에서 습득한 기술을 기반으로 한다.23 EM 전문 위원회에서 도출한 문서이다.CBME와 관련된 것은 EM24에 대한 신뢰할 수 있는 전문 활동(EPA)과 구성 요소 마일스톤과 EM.25에 대한 필수 교육 경험을 포함했다. 참고: CBD에서 26, 역량은 각 EPA의 구성 마일스톤과 함께, 단계-특이적 EPA에 의해 정의된다.

A summary of the expected outcomes of CBME implementation, as defined using the CCF, is presented in Table 2. The Queen’s University EM training program was designed in the model of CBD as outlined by the Royal College, in which training EM physicians build upon the skills acquired in medical school to develop discipline specific competency within 4 sequential stages of training.23 Derived by the EM Specialty Committee, the documents defining the program relevant to CBME included the entrustable professional activities (EPAs) and their component milestones for EM24 and the required training experiences for EM.25 Note that in contrast to the use of milestones to organize competency by the Accreditation Council for Graduate Medical Education (ACGME),26 in CBD, competence is defined by stage-specific EPAs each with component milestones.23

이 EM 대학원 프로그램은 캐나다 전역의 18개의 5년 레지던트 교육 프로그램 중 하나로, 연간 4명의 레지던트들을 받아들입니다. 연구 기간 동안 35명의 전임 EM 교수진이 의사 그룹에서 일하고 있었다.
This EM postgraduate program is one of 18 five-year residency training programs across Canada, accepting 4 residents per year. During the study period, there were 35 full-time EM faculty working in the physician group.

이 프로그램은 PD, 보조 PD, CBME 리더에 의해 관리되었으며 전임 관리 보조자에 의해 지원되었다. 다른 독특한 역할에는 제한된 전공의 그룹에 대해서만 종적 코칭 역할을 하는 학술적 조언자가 포함되었다. 또한, CBME 전공의 인솔자가 주민 개발을 지원하고 프로그램 행정과 전공의 간 연락을 취했다. 구현 전략의 주요 프로세스는 목록 1에 요약되어 있습니다.
The program was administered by a PD, assistant PD, and CBME lead and supported by a full-time administrative assistant. Other unique roles included academic advisors, who functioned in a longitudinal coaching role with a limited group of residents. As well, a CBME resident lead assisted with resident development and liaised between program administration and residents. The key processes of the implementation strategy are outlined in List 1.

---

목록 1
List 1

Queen's University 응급의학부 신속평가를 이용한 CBME 프로그램 구현 연구, 2017-2018

Key Processes of CBME Implementation, From a Study of CBME Program Implementation Using Rapid Evaluation, Queen’s University Department of Emergency Medicine, 2017–2018

행정전환 Administrative transition

• CBME 리드 위임(2015년 5월)
• 대학원 CBME 워크숍(2015년 5월~2017년 7월 격월)
• 학술자문위임 및 교육(2017년 1월 ~ 6월)
• 역량위원회 발전(2017년 9월~2018년 6월 분기별)
• 프로그램 관리자 교육(2015년 9월~2017년 5월 연 2회)
• 기관전자포트폴리오(엘렌트라 온라인 플랫폼) 구현(2015년 9월)
  
  
• CBME lead delegation (May 2015)
• Postgraduate CBME workshops (bimonthly May 2015 to July 2017)
• Academic advisors delegation and training (January to June 2017)
• Competence committee development (quarterly September 2017 to June 2018)
• Program administrator training (twice annually September 2015 to May 2017)
• Institutional electronic portfolio (Elentra online platform) implementation (September 2015)

교직 전환 Faculty transition

• EM 그랜드 라운드:
  
• EM 부서 회의 프레젠테이션:
  
• 실무 교수진 육성 워크숍(2017년 5월):
  
• 구현 후 교수진 개발:
  
  
• EM grand rounds:
• EM department meeting presentations:
• Practical faculty development workshops (May 2017):
• Post-implementation faculty development:

전공의 전환 Resident transition

• 전공의 CBME 리드 대표단(2017년 1월)
  
• 전공의 실무 훈련교육(2017년 5월):
  
• 구현 후 전공의 교육:
• Resident CBME lead delegation (January 2017)
• Practical resident training sessions (May 2017):
• Post-implementation resident training:

약어: CBME, 역량 기반 의료 교육, EM, 응급 의료, EPA, 신뢰할 수 있는 전문 활동.
Abbreviations: CBME, competency-based medical education; EM, emergency medicine; EPA, entrustable professional activity.

---

우리는 EM 전공의들에게 EPA 기반 전자 평가 양식을 사용하여 로테이션shift 당 1개 또는 2개의 평가를 획득할 것을 요청했다. 모든 작업장 기반 평가는 목적에 맞게 구축된 모바일 온라인 플랫폼(캐나다 온타리오주 킹스턴의 엘렌트라)을 사용하여 수행 및 추적되었습니다. 평가 양식에는 평가 대상 EPA에 대한 자세한 설명, 관련 마일스톤, 2개의 위탁 등급 척도 중 하나, 27,28 및 필수 서술형 피드백 상자가 포함되었다. 각 전공의는 진행 상황을 모니터링하고 전공의 개인 학습 계획(PLP)의 개발을 촉진하기 위해 분기별로 교육 어드바이저와 전자 대시보드를 검토했다.29 교육 어드바이저 회의 직후, EM 역량 위원회(PD, CBME 리드, 4명의 교육 어드바이저로 구성)가 모든 교육생의 교육을 검토하기 위해 모였다. [평가 및 훈련 단계 내 / 단계 간] 전공의 진급progression에 대한 합의된 결정을 내린다. 의사 결정 프로세스는 왕립 대학 역량 위원회 지침과 ACGME에 의해 설명된 것을 모델로 했다. 이 맥락에서, 일선에서 이뤄지는 각각의 EPA-기반 평가는 저부담 평가였지만, 역량위원회에 의한 고부담 의사결정에 정보를 제공한 것은 이러한 저위험 평가의 종합과 종합이었다. 

We asked EM residents to acquire 1 or 2 assessments per shift using EPA-based electronic assessment forms. All workplace-based assessments were performed and tracked using a purpose-built mobile online platform (Elentra, Kingston, Ontario, Canada). Assessment forms included a detailed description of the EPA being assessed, the relevant milestones, one of 2 entrustment rating scales,27,28 and a mandatory narrative feedback box. Each resident reviewed their electronic dashboard with their academic advisor quarterly to monitor progression and facilitate the development of resident personal learning plans (PLPs).29 Immediately following the academic advisor meetings, the EM competence committee (made up of the PD, CBME lead, 4 academic advisors) met to review all trainees’ assessments and make consensus decisions around resident progression within and between stages of training. The decision-making processes were modeled after those described by the Royal College Competence Committee Guidelines30 and the ACGME.31 In this context, each frontline EPA-based assessment was alone a low-stakes assessment, but it was the aggregate and synthesis of these low-stakes assessments that informed high-stakes decisions by the competence committee.

실제 구현 및 그에 따른 적응의 측정
Measurement of actual implementation and resultant adaptations

3개월 및 9개월 데이터로부터의 새로운 주제와 프로그램 적응은 CCF에 따라 구성되며 표 2에 요약된다. 다음 범주에는 중요한 발견을 더 자세히 설명하기 위한 인용문의 예가 포함되어 있습니다.
Emergent themes and resultant program adaptations from the 3- and 9-month data are organized according to the CCF20 and summarized in Table 2. The following categories include examples of quotes to further describe important findings.

결과 역량.
Outcome competencies.

초기 구현 전략은 CBME의 원칙을 이해하는데 영향을 미쳤다. 이해 당사자들은 처음에 CBME에 대해 비판적인 입장을 취했다. 한 교수진이 설명했듯이, "우리는 [훈련]을 훨씬 더 기술적으로 만들고 교육학적 용어로 정의하고 있지만, 그것이 결과에 차이를 만들지는 잘 모르겠다." 이후 추가적인 교수진 개발 이후, 비판적인 입장은 CBME가 훈련을 더 나은 방향으로 개선할 것이라는 조심스러운 낙관론으로 전환되었다. 한 학술 고문/역량 위원회 위원은 CBME 구현을 EMR의 도입에 비유했습니다: "아마도 부서의 절반이 전자 의료 기록에 반대하는 목소리를 냈을 것입니다... 그리고 오늘날 여러분이 그것을 본다면, 우리는 '그거 없이 어떻게 했었지?'라고 말할 것입니다."
Initial implementation strategies resulted in variable stakeholder understanding of the principles of CBME. Stakeholders initially adopted a critical stance regarding CBME. As one faculty member explained, “We’re kind of making [training] much more descriptive and defining it in pedagogical terms, but I’m not sure if it’s going to be any different in the end.” After subsequent additional faculty development, the critical stance shifted toward a cautious optimism that CBME would improve training for the better. One academic advisor/competence committee member likened CBME implementation to the adoption of an electronic medical record: “Probably half the department was really vocal against it. . . . And if you look at it today, we would say ‘how did we ever function without it?’”

순차적 진행. Sequenced progression.

[CBME에 대한 비판적 입장]에 기여한 것은 [위임의 개념]과 [개별 단계별 EPA와 현장에서의 마일스톤 평가에 대한 초기 좌절]이었다. 교수진은 평가할 EPA를 선택하고, 복잡한 과제의 일부를 평가하기 위해 위임 척도를 사용하며, 개별 이정표의 달성에 대한 판단을 내리는 것은 모두 임상적 요구를 관리하는 동안 상당히 벅찬 일이라고 보고했다. 전반적으로, 단계별 EPA의 성격과 목적 및 부분적 과제의 위임에 관한 [공유된 정신 모델의 부족]이 명백했다. 이 단계의 특수성의 목표를 이해한 교수진들조차도 복잡한 과제의 일부에 기초하여 기준이 되는 위임 결정을 내리는 것이 어렵다는 데 동의하였다. 한 교직원이 설명했듯이, "우리의 뇌는 어텐딩을 위한 완벽한 수행이 무엇인지에 기초하여 누군가를 평가하도록 프로그램되어 있고, 건설적인 피드백은 레지던트가 다르게 할 수 있거나 해야 하는 것과 관련이 있다."
Contributing to a critical stance toward CBME was early frustration with the concept of entrustment and the assessment of individual stage-specific EPAs and milestones in situ. Faculty reported that selecting an EPA to assess, using an entrustment scale to assess part of a complex task, and making judgments about the achievement of individual milestones, all while managing clinical demands, were quite overwhelming. Overall, a lack of shared mental model regarding the nature and purpose of stage-specific EPAs and entrustment of partial tasks was apparent. Even those faculty who understood the goals of this stage specificity agreed that it was challenging to make entrustment decisions that were criterion referenced based on a portion of a complex task. As one faculty member explained, “Our brains are programmed to evaluate somebody based on what a perfect performance would be for an attending and constructive feedback relates to what the resident could or should do differently.”

교수진 전반에 걸쳐, [개별 이정표의 달성에 대한 결정을 내리는 데 필요한 인지적 노력]은 특히 번거로운 것으로 인식되었다. 또한 [관찰된 개별 마일스톤 평가의 결과]는 [전공의의 PLP에 대한 academic advisors의 정보 제공]이나 [역량 위원회 구성원이 공식적인 진행 결정]을 위한 정보를 거의 제공하지 않는 것으로 인식되었다. 결과적으로, 많은 교수진이 [마일스톤의 직접 평가에서 이탈]하였고, 프로그램 리더(CBME 리더 및 PD)는 마일스톤을 평가의 선택적 구성요소로 만들기로 결정했다.
Across faculty members, the cognitive effort required to make decisions about the achievement of individual milestones was specifically perceived as cumbersome. Further, the results of individual milestone assessments observed were perceived as providing little information for academic advisors to inform residents’ PLPs or for competence committee members to make formal progression decisions. Consequently, many faculty members disengaged from directly assessing milestones, and a decision was made by program leaders (CBME lead and PD) to make milestones an optional component of the assessment.

맞춤형 학습 경험.
Tailored learning experiences.

3개월간의 교육 후, [주니어 전공의]들은 [EM에 조기 몰입]하는 것에 대해 감사를 표했는데, 이는 기존 접근 방식에서 [초기 오프-서비스 경험]으로의 변화였다. 게다가, 그들은 훈련 경험의 어떠한 커스터마이징도 아직 인지하지 못했음에도 불구하고, 훈련의 후반 단계에서 교대를 협상하는 것에 대해 낙관적인 견해를 나타냈다. 전공의들은 처음에 맞춤형 학습 경험의 중요한 촉진자로 생각되는 [PLP의 가치]에 대해 엇갈린 견해를 보였다. 29명의 주니어 거주자들은 PLP가 한 참가자가 지적한 바와 같이 직접 관찰할 수 있는 기회의 우선 순위를 정하는 데 도움이 되는 "매우 유용함"을 발견했다. 그러나 PLP가 "체크박스; 우리가 CBME를 하고 있다는 것을 증명하기 위한 서류 절차"일 뿐이라는 한 선임 레지던트의 관찰은 고급 교육생들에게는 일반적인 것으로 보였다. 그러나 프로그램 관리자의 관점에서 PLP는 향상된 학습 기회를 지시하는 데 가치가 있다고 인식되었다.

After 3 months of training, junior residents expressed appreciation for early immersion in EM, which was a change from the prior approach to early off-service experiences. Further, they expressed optimism about negotiating rotations in the later stages of training, despite not perceiving any customization of the training experience yet. Residents initially had mixed views on the value of PLPs, which are thought to be important facilitators of tailored learning experiences.29 Junior residents found PLPs to be “very useful,” as one participant noted, in helping to prioritize opportunities for direct observation. Yet a senior resident’s observation that the PLPs were “a check box; just more paperwork process to prove that we’re doing CBME” seemed representative for advanced trainees. From the perspective of program administrators, however, PLPs were perceived to have value in directing enhanced learning opportunities; one such comment was, “there’s already been a change in course or path for some people.”

역량 중심 교육.
Competency-focused instruction.

교수진과 전공의 모두, [EPA와 이정표]가 준거-참고 피드백을 장려하는 데 도움이 될 수 있지만, 피드백이 발달적으로 건설적이라는 보장은 없다는 것을 재빨리 인지했다. 한 역량위원은 "건설적인 피드백을 주고받는 것은 누구에게나 편한 일이 아니다. 새로운 시스템을 도입한다고 해서 그 누구의 행동도 바뀌지 않을 것입니다." 이러한 정서는 프로그램 리더들과도 공유되었는데, 한 참가자는 "피드백이 정직하게 주어지고 정직하게 받아들여지는 문화를 바꾸는 것이 가장 큰 걸림돌"이라고 설명했다. 이것은 건설적인 피드백의 제공, 문서화 및 수용과 관련된 교수진과 전공의 개발 활동의 형태로 상당한 노력과 적응을 촉진했다. 9개월 간의 구현 후, 프로그램 이해 당사자들은 리더십 노력에도 불구하고 대부분의 교수진이 [건설적인 피드백을 주고 기록하는 것을 계속 회피한다]는 데 동의했습니다. 한 EM 교수진은 "목표적인 피드백을 제공하는 데 매우 동기부여가 되었지만, 뇌는 자연스럽게 총체적으로globally 생각합니다. 결국에는 어떤 사람에 대한 전반적인 제스처로부터 그 작업에 이르기까지 인지적인 단계를 만들어야 합니다. 그리고 좋은 피드백을 주기 위해서 그 작업의 아주 구체적인 부분에 대해 정말로 생각해야 합니다. 쉽지 않은 일이고 지금도 가끔 실패해요."
Both faculty and residents were quick to recognize that while EPAs and milestones may help to encourage criterion-referenced feedback, there was no guarantee that feedback would be developmentally constructive. As one competence committee member explained, “giving and receiving constructive feedback is not a comfortable thing for anyone. Implementing a new system isn’t going to change anyone’s behavior.” This sentiment was also shared by program leadership, with one participant explaining that the biggest hurdle was “getting the culture to change where feedback is given honestly and accepted honestly.” This prompted substantial efforts and adaptations in the form of faculty and resident development activities relating to the provision, documentation, and acceptance of constructive feedback. After 9 months of implementation, program stakeholders agreed that despite leadership efforts, most faculty continued to shy away from giving and documenting constructive feedback. One EM faculty member explained, “even though I’m very motivated to provide targeted feedback, your brain just naturally thinks globally ... you have to actually make that cognitive step from your overall gestalt about somebody down to the task, and then really think about the very specifics of the task in order to give good feedback. That’s not easy, and I still fail sometimes.”

프로그램 평가.
Programmatic assessment.

프로그램적 평가에는 여러 이해관계자의 협조적인 노력이 필요하며, 각 이해관계자는 형성적 및 총괄적 평가를 위해 중요하고 보완적인 역할과 책임을 갖는다. 32 CBME 요건은 초기에는 기존 시스템 요건을 대체하기보다는 추가되는 것으로 인식되었다. e-포트폴리오 요약 보고 메커니즘이 개발되는 동안, 그것은 전공의와 교수진이 개별 성과 평가의 수와 결과를 수동으로 추적하는 "좌절스럽고" "억지스러운" 작업이라고 설명되었다. 프로그램 리더는 초기 역량 위원회 회의를 "클릭은 많지만 대화는 적다"고 설명했습니다. 또한, CBME 리더 및 교육 어드바이저라는 두 가지 새로운 역할의 추가는 PD 포트폴리오와 중복될 뿐만 아니라 프로그램 변경 및 상주 성과 정보에 대해 누가 통보받아야 하는지에 대한 이해관계자 사이의 혼란을 야기했다. 이로 인해 모든 이해당사자에 대한 역할 설명의 수정, 설명 및 보급이 촉진되었습니다.

Programmatic assessment requires the coordinated efforts of multiple stakeholders, each having important and complementary roles and responsibilities for formative and summative assessment.32 CBME requirements were initially perceived as being added onto rather than replacing old system requirements. While e-portfolio summary-reporting mechanisms were in development, they were described was a “frustrating” and “make-work” task for residents and faculty to manually track the number and results of individual performance assessments. Program leaders described early competence committee meetings as having “a lot of clicking, and not as much talking.” Further, the addition of 2 new roles—the CBME lead and academic advisors—created overlap with the portfolio of the PD as well as confusion among stakeholders regarding who should be informed of program changes and resident performance information. This prompted revision, clarification, and dissemination of role descriptions for all stakeholders.

평가 사이클을 거치며, 이해 당사자들은 신중하게 탐색하던 것에서 평가 역할과 책임을 공동으로 개발하고 개선하는 것으로 전환했습니다. 대부분의 혼란과 그에 따른 역할 수정은 [지도 교수의 역할]과 [역량 위원회의 의사 결정 과정]에 집중되었다. 예를 들어, 한 지도교수가 설명했듯이, "지도교사는 코칭, 멘토링, 평가의 모호한 모델을 가지고 있고, 그것들이 항상 맞물리는 것은 아니다." 게다가, 역량 위원회 과정의 내적 업무를 반성해 보라는 질문에 위원들은 "일반적으로 배우는 과정이었다"라고 매우 분명하게 말했다.
Through the evaluation cycles, stakeholders transitioned from cautiously navigating to co-developing and refining assessment roles and responsibilities. Most confusion and subsequent role-revision centered around the role of the academic advisor and the decision-making processes of the competence committee. For example, as one academic advisor explained, “the academic advisors have a blurred model of coaching, mentoring, and evaluating, and they don’t always mesh.” Further, when asked to reflect on the inner working of competence committee processes, members were very clear that “it’s generally a learning process.”

논의
Discussion

우리는 [구현의 충실도를 조사]하고 [개별 프로그램 수준에서 CBME의 구현 후 단기 성과를 평가]하기 위한 [신속 평가]의 사용에 대해 설명하였다. 이론적으로 CBME 모델을 채택하는 데 장점이 있지만, 퀸스 대학교 맥락에서 운영상의 과제는 성공적인 구현을 위협했다. 여러 이해관계자 그룹의 관점을 고려하고 초기 설계에 대한 적응을 구현하는 과정에서, 우리는 몇 가지 중요한 교훈을 배웠다.
We have described the use of Rapid Evaluation to examine the fidelity of implementation and evaluate the short-term outcomes post-implementation of CBME at the individual program level. While in theory there is merit to adopting a CBME model,1 operational challenges in the Queen’s University context threatened successful implementation. In considering the perspectives of multiple stakeholder groups, and implementing adaptations to our initial design, we have learned several important lessons.

레슨 1: CBME의 실제 구성 요소를 구현하는 것은 "단거리"입니다.
Lesson 1: Implementing the practical components of CBME is the “sprint”

CBME를 계획하고 구현하는 초기 단계에서는 [구조]에 초점을 맞췄습니다. CBME의 모든 실용적이고 기능적인 측면을 어떻게 배치하여 시스템이 가동되도록 할 것인가? [핵심 부품을 지탱할 수 있는 구조를 갖추는 것]은 최소한의 조치였습니다.

• 필수적인 구조에는 [테크놀로지, 교육 지원 및 프로그램 챔피언]이 포함되었습니다.
• 변화를 구현하기 위해서는 [데이터 시각화를 갖춘 전자 포트폴리오], [평가 및 평가에 대한 교육 전문성], CBME 구현에 대한 [기관 및 프로그램 수준의 리더십]이 필요했다.

In the early stages of planning for and implementing CBME, the focus was on structure: how were we going to get all the practical and functional aspects of CBME in place so that the system got up and running? Having structures in place to support the core components was the bare minimum.

• Essential structures included technology, educational support, and program champions. An electronic portfolio with data visualization, educational expertise in assessment and evaluation, and institutional and program-level leadership in CBME implementation were needed to implement change.

그러나 우리는 CBME가 "완전히 제대로 작동up and running" 되어 있다고 해서 시스템이 기능적이거나 의도된 목표를 즉시 달성한다는 것을 의미하지는 않는다는 것을 배웠다. 프로그램적 평가를 지원하는 구조를 갖추고 있음에도 불구하고, 우리의 평가 시스템은 건설적인 피드백을 문서화하는 데 교수진의 망설임으로 인해 제한되었다. 이렇게 되면, 역량 위원회의 증거 정보에 근거한 의사결정이 훼손될 수 있다.33 지속적인 학습 및 진행/진급 의사결정에 대한 지침은 그러한 의사결정이 이루어진 근거만큼만 타당하다.34 정직한 평가와 건설적인 피드백을 제공하는 데 대한 도전은 새로운 것이 아니며, 35,36 우리는 CBME의 구현과 함께 기존의 어려움이 사라질 것이라고 기대하지 말아야 한다. [교수 개발을 위한 독특한 전략], [EM 부서의 헌신적인 교수 평가관], 또는 [시뮬레이션 환경에서의 더 빈번한 평가]가 일선 평가의 타당성 및 신뢰성을 높이는 데 도움이 될 수 있다.

We have learned, however, that just because CBME is “up and running” doesn’t mean that the system is functional or achieving the intended aims immediately. Despite having structures in place to support programmatic assessment, our system of assessment was limited by faculty members’ hesitation to document constructive feedback. When this occurs, evidence-informed decision making by the competence committee may be undermined.33 Guidance for ongoing learning and progress/promotion decisions are only as good as the evidence upon which they are made.34 The challenges with providing honest assessment and constructive feedback are not new,35,36 and we should not have expected them to disappear with the implementation of CBME. Unique strategies for faculty development, dedicated faculty assessors in the EM department, or more frequent assessment in simulated settings may have been of benefit to increase the validity and reliability of frontline assessment.

2과: CBME의 핵심 구성 요소를 실현하는 것이 "마라톤"입니다.
Lesson 2: Realizing the core components of CBME is the “marathon”

변화는 어렵고, 변화를 지속하는 것은 훨씬 더 어렵다. 37 CBME 구현에서 환원주의를 좌절시키는 것은 지속적인 노력이 필요하다. 1,38 우리의 연구 결과는 개별 EPA와 이정표의 고립된 평가에서 우리가 ["나무를 위해서 숲"을 위험에 빠뜨릴 수 있음]을 시사한다. 이정표와 EPA가 관찰 가능한 성능 정보(예: EPA C1: "중증 환자를 위한 소생 및 조정 관리"24)를 제공할 수 있더라도, 우리의 교수진과 전공의들은 [목표 EPA 중심 평가]에만 초점을 맞추라고 요청했을 때, [전체적인 평가]가 놀라울 만큼 부재하다는 것을 알게 되었다. "전반적으로 일이 어떻게 진행되고 있는지"에 대해서 [로테이션 종료 시에  평가를 매개로 하여 오랜 시간 동안 하는 디스커션]이 과거에 생각했던 것보다 더 가치 있는 것으로 입증되었습니다. 교수진이 [개별적인 이정표와 EPA의 달성]에 대한 판단을 내리는 데 초점을 맞추면서, 우리는 [더 큰 그림을 뒷받침하는 증거를] 위태롭게 했을 수도 있다. 
Change is difficult, and sustaining change is even more challenging.37 Thwarting reductionism in CBME implementation requires sustained effort.1,38 Our findings suggest that in the isolated assessment of individual EPAs and milestones we may be risking the “forest for the trees.” Even if milestones and EPAs can provide observable pieces of performance information (e.g., EPA C1: “Resuscitating and coordinating care for critically ill patients”24), our faculty and residents perceived a notable absence of overall evaluation when asked to focus on targeted EPA-focused assessment only. The long-standing assessment-mediated end-of-shift discussions about “how things are going overall” proved to be more valuable than previously thought. With faculty focusing on making judgments about the achievement of individual milestones and EPAs, we may have been risking evidence supporting the bigger picture.

이 관찰이 EM-특이적 end-of-shift 전반적 평가의 리추얼ritual을 시사하는지, 아니면 여러 맥락에 걸쳐 통해 전이가능한지 여부는 아직 결정되지 않았다. 만족이 지연될 것으로 예상됨에 따라, 구현의 인식된 이점은 구현 후 몇 년이 지나야 명백해질 수 있으며, 우리 기관에서 CBME를 구현한 다른 사람들이 경험하게 될 것이다. 40 교직원과 전공의가 (교육적 지원 없이) 준거-참조적으로 건설적 피드백을 제공하고, 인식하고, 행동할 것으로 기대하는 것은 비현실적이다.41 이러한 기술은 목표화된 교육, 연습 및 피드백을 통해 개발된다.42 우리는 CBME가 우리 프로그램의 학습 문화를 그 자체로 변화시키지는 않겠지만 [지속적인 교수진과 전공의 개발]이 필요하다는 것을 배웠다.

Whether this observation suggests an EM-specific end-of-shift global assessment ritual,39 or is transferrable across contexts, remains to be determined. With expected delayed gratification, the perceived benefits of our implementation may not be apparent until several years post-implementation, as experienced by others who have implemented CBME at our own institution.40 Expecting faculty and residents to provide, recognize, and act upon criterion-referenced constructive feedback––without educational support––is unrealistic.41 These skills are developed through targeted instruction, practice, and feedback.42 We have learned that CBME will not change the culture of learning in our program by itself but will require persistent faculty and resident development.

레슨 3: 진행 중인 변화를 식별, 모니터링 및 평가하기 위해 신속한 평가를 사용하는 것이 가치 있습니다.
Lesson 3: There is value in using Rapid Evaluation for identifying, monitoring, and assessing ongoing change

CBME 구현을 평가하기 위한 발달적 접근 방식인 우리의 [신속 평가 모델]은 [혁신을 문서화]하고, 지속적인 프로그램 개선을 지원하기 위한 [실시간 증거를 생성]하는 가치 있는 전략이었다. 또한 프로그램 참가자들은 포커스 그룹을 통해 [CBME와 경험을 논의할 기회]를 중시했으며, 피드백이 진행 중인 변화에 어떻게 inform하는지에 대한 업데이트를 받아보는 것에 관심이 있었다. 프로그램 이해관계자가 현장에서 작동하는(혹은 작동하지 않는) 것을 공유할 기회가 주어지면, 지속적인 프로그램 개선 과정에 참여자로서 점점 더 많은 투자invested를 받게 된다.43 이러한 모멘텀은 이해관계자의 [변화를 지속하려는 열의]가 흐려지면서 생기는 [구현 후 사기의 저하dip]를 완화하기 위해 결정적이었다. .9
Our model of Rapid Evaluation, as a developmental approach to evaluating CBME implementation, has been a worthwhile strategy for documenting innovation and generating real-time evidence to support ongoing program improvement. Further, our program participants valued the opportunity to discuss their experiences with CBME during focus groups and were interested in receiving updates as to how their feedback was informing ongoing change. When program stakeholders are given the opportunity to share what’s (not) working on the ground, they become increasingly invested as participants in the process of ongoing program improvement.43 This momentum was crucial for mitigating the inevitable post-implementation dip in morale where stakeholders’ enthusiasm for staying the course of change started to fade.9

제한 사항
Limitations

이 연구는 몇 가지 한계를 가지고 있다. 이 프로그램은 모든 레지던트 프로그램에서 동시에 CBME를 구현하는 조직 내에 내포되어 있기 때문에 이 연구가 수행된 컨텍스트가 유일할 수 있다는 것이 일차적인 제한이다. 게다가, 이 연구는 한 기관에서 한 가지 전문분야에만 초점을 맞췄다. 결과적으로, 우리의 연구 결과는 전이 가능성에 제한될 수 있다. 또 다른 한계는 데이터 수집이 직접 관찰이 아닌 주로 인터뷰에 기반했다는 것이며, 따라서 보고된 내용과 수행 중인 내용 사이에 차이가 있을 수 있다는 것이다. 또한, 연구팀의 단 한 명의 구성원이 인터뷰를 조정하고 데이터를 분석했음에도 불구하고, 여러 차례의 데이터 수집과 참가자들과의 구성원 확인 데이터가 조사 결과의 신뢰도를 높이는 데 도움이 되었다. 마지막으로, 지속적인 데이터 수집에 중점을 둔 신속한 평가는 리소스 집약적인 경향이 있으므로 다른 프로그램이 이 접근 방식을 채택하는 것이 어려울 수 있다.

This study has several limitations. The primary limitation is that the context in which this study took place may be unique, since this program is nested within an organization implementing CBME concurrently across all residency programs. Further, this study only focused on one specialty, at one institution. Consequently, our findings may be limited in their transferability. Another limitation is that the data collection was based primarily on interviews, not direct observations, and as such there may be a gap between what was reported and what was being done. As well, even though a single member of the research team moderated the interviews and analyzed the data, multiple rounds of data collection and member checking data with participants helped to increase the credibility of the findings. Lastly, Rapid Evaluation, with its emphasis on collecting data on an ongoing basis, tends to be resource intensive and so it may prove challenging for other programs to adopt this approach.

결론들
Conclusions

[신속한 평가]를 통해, [프로그램 수준]에서 [CBME를 구현한 실제 경험]을 탐색하는 것은 구현의 충실도, 구현 후 초기 결과 및 CBME 운영의 성공과 과제에 대한 중요한 초기 통찰력을 제공하였다. 신속한 평가를 사용하여 식별, 모니터링 및 이해관계자의 변화에 대한 저항을 완화하고 코스를 유지하려는 열정을 자극하는 결정적인 이점을 가지고, 진행 중인 변경 후 평가를 실시한다. CBME의 핵심 실용적 요소를 구현하는 것은 스프린트로 인식되었고, 대학원 훈련에서 CBME의 원리를 깨닫고 문화를 바꾸는 것은 분명히 마라톤이다. 이 장기적인 목표를 위해서는 심층적인 시스템 변화에 대한 진화적 적응 과정에서 지속적인 교수진과 주민 개발을 포함한 지속적인 노력이 필요할 것이다.

Exploring the lived experience of implementing CBME at the program level with Rapid Evaluation has provided critical early insights regarding the fidelity of implementation, early outcomes post-implementation, and the successes and challenges of operationalizing CBME. There was great value in using Rapid Evaluation for identifying, monitoring, and assessing ongoing change post-implementation, with a crucial benefit of mitigating the stakeholders’ resistance to change and spurring enthusiasm for staying the course. Implementing the core practical components of CBME was perceived as a sprint, while realizing the principles of CBME and changing culture in postgraduate training is clearly a marathon. This long-term goal will require sustained effort, including persistent faculty and resident development in the process of evolutionary adaptation toward deep systems change.

---

Acad Med. 2020 May;95(5):786-793. doi: 10.1097/ACM.0000000000003040.

It's a Marathon, Not a Sprint: Rapid Evaluation of Competency-Based Medical Education Program Implementation

Andrew K Hall 1, Jessica Rich, J Damon Dagnone, Kristen Weersink, Jaelyn Caudle, Jonathan Sherbino, Jason R Frank, Glen Bandiera, Elaine Van Melle

Affiliations collapse

Affiliation

1A.K. Hall is associate professor, Department of Emergency Medicine, Queen's University, Kingston, Ontario, Canada, and clinician educator, Royal College of Physicians and Surgeons of Canada, Ottawa, Ontario, Canada; ORCID: http://orcid.org/0000-0003-1227-5397. J. Rich is research associate, Faculty of Education, Queen's University, Kingston, Ontario, Canada; ORCID: http://orcid.org/0000-0001-7409-559X. J.D. Dagnone is associate professor, Department of Emergency Medicine, and CBME faculty lead, Postgraduate Medicine, Queen's University, Kingston, Ontario, Canada; ORCID: http://orcid.org/000-0001-6963-7948. K. Weersink is a resident, Department of Emergency Medicine, Queen's University, Kingston, Ontario, Canada; ORCID: http://orcid.org/0000-0002-0325-3172. J. Caudle is assistant professor, Department of Emergency Medicine, Queen's University, Kingston, Ontario, Canada. J. Sherbino is professor, Division of Emergency Medicine, Department of Medicine, and assistant dean, Health Professions Education Research, Faculty of Health Sciences, McMaster University, Hamilton, Ontario, Canada. J.R. Frank is director, Specialty Education, Royal College of Physicians and Surgeons of Canada, and associate professor and director, Educational Research and Development, Department of Emergency Medicine, University of Ottawa, Ottawa, Ontario, Canada; ORCID: http://orcid.org/0000-0002-6076-0146. G. Bandiera is professor, Department of Medicine, and associate dean, Postgraduate Medical Education, University of Toronto, Toronto, Ontario, Canada. E. Van Melle is senior education scientist, Royal College of Physicians and Surgeons of Canada, Ottawa, Ontario, Canada, and adjunct faculty, Department of Family Medicine, Queen's University, Kingston, Ontario, Canada.

PMID: 31625995

DOI: 10.1097/ACM.0000000000003040

Abstract

Purpose: Despite the broad endorsement of competency-based medical education (CBME), myriad difficulties have arisen in program implementation. The authors sought to evaluate the fidelity of implementation and identify early outcomes of CBME implementation using Rapid Evaluation to facilitate transformative change.

Method: Case-study methodology was used to explore the lived experience of implementing CBME in the emergency medicine postgraduate program at Queen's University, Canada, using iterative cycles of Rapid Evaluation in 2017-2018. After the intended implementation was explicitly described, stakeholder focus groups and interviews were conducted at 3 and 9 months post-implementation to evaluate the fidelity of implementation and early outcomes. Analyses were abductive, using the CBME core components framework and data-driven approaches to understand stakeholders' experiences.

Results: In comparing planned with enacted implementation, important themes emerged with resultant opportunities for adaption. For example, lack of a shared mental model resulted in frontline difficulty with assessment and feedback and a concern that the granularity of competency-focused assessment may result in "missing the forest for the trees," prompting the return of global assessment. Resident engagement in personal learning plans was not uniformly adopted, and learning experiences tailored to residents' needs were slow to follow.

Conclusions: Rapid Evaluation provided critical insights into the successes and challenges of operationalizing CBME. Implementing the practical components of CBME was perceived as a sprint, while realizing the principles of CBME and changing culture in postgraduate training was a marathon requiring sustained effort in the form of frequent evaluation and continuous faculty and resident development.