CBME 프로그램의 도입평가를 위한 핵심요소 프레임워크(Acad Med, 2019)

CBME 프로그램의 도입평가를 위한 핵심요소 프레임워크(Acad Med, 2019)

A Core Components Framework for Evaluating Implementation of Competency-Based Medical Education Programs

Elaine Van Melle, PhD, Jason R. Frank, MD, MA(Ed), Eric S. Holmboe, MD, Damon Dagnone, MD, MSc, MMEd, Denise Stockley, PhD, and Jonathan Sherbino, MD, MEd, on behalf of the International Competency-based Medical Education Collaborators

역량 기반 의료 교육(CBME)이 전 세계적으로 빠르게 채택되고 있음.1 결과적으로, 교육자와 프로그램 리더들은 혁신적인 커리큘럼의 구현을 연구하고 결과를 평가해야 하는 전례 없는 위치에 있다. 그러나, 이러한 연구는 CBME 프로그램을 구성하는 것에 대한 공통적인 설명이 부족하여 방해받고 있다. 이와 유사한 상황은 30년 전 PBL이 직면한 것과 비슷하다. 표준 설명이 부재하여 이것이 일관되지 않고 결론에 도달하지 못한 일련의 논쟁으로 이어졌다.

Competency-based medical education (CBME) is rapidly being adopted across the globe.1 Consequently, educators and program leaders are in an unprecedented position to study implementation and evaluate outcomes of innovative curricula. However, these studies are hampered by the lack of a common description of what constitutes a CBME program. A similar situation faced problem-based learning (PBL) three decades ago when the absence of a standard description contributed to a series of inconsistent and inconclusive arguments regarding the impact of PBL.2–4

CBME 프로그램 구현 평가의 중요성

The Importance of Evaluating CBME Program Implementation

실행평가는 "프로그램이 의도한 대로 운영되고 있는가?"라는 질문을 검토하는 프로그램 평가의 구체적인 형태이다.6 연구자가 프로그램 작동의 "블랙박스"를 열 수 있도록 한다.7 이러한 정보가 없다면, 제3형 오류의 위험에 빠진다. 제3형 오류란 부정적인 결과가 있을 때, 실제로는 프로그램 구현의 문제인데, 이것을 프로그램 이론의 실패로 귀속시키는 것이다. 

Implementation evaluation is a specific form of program evaluation that examines the question “Is the program operating as intended?”6 It allows researchers to open the “black box” of program functioning.7 Without this information, the risk is present of producing a Type III error—that is, attributing negative findings to a failure in program theory when negative findings may actually reflect an error in program implementation.8

예를 들어, 2013년 한 연구에서는 역량 기반 커리큘럼이 의학 실습을 위해 더 잘 준비된 졸업생을 배출하지 않는다고 결론지었다9 따라서 CBME의 기초가 되는 핵심 가정에 도전한다. 그러나 이 연구에서 구현된 CBME는 커리큘럼 시간의 15%를 교수학습의 별다른 변화 없이 역량 개발에 할애하는 것으로 설명되었다. 지식 이와는 대조적으로, CBME의 획기적인 설명에 따르면, "이러한 시스템(CBME)의 구현은 교직원 및 학생 역할과 책임 관계의 실질적인 재정립을 요구한다."10(p55)

For example, a 2013 study concluded that competency-based curricula do not produce graduates who are better prepared for medical practice,9 thereby challenging a key assumption underlying CBME. The implementation of CBME that was studied, however, was described as devoting 15% of curriculum time to competency development without any significant changes to teaching or learning. In contrast, the landmark description of CBME states, “Implementation of such a system demands substantial redefinition of faculty and student roles and responsibilities.”10(p55)

제3형 오류의 회피는 실행 평가를 수행하기 위해 인용되는 가장 일반적인 이유다. 다른 이유로는 

• 구현의 차이 및 차이 문서화 

• 개입에 대해서 보다 의미 있는 비교를 허용한다. 

• 적절한 이행 지침을 제공하여 외부 타당성을 촉진

Avoiding a Type III error is the most common reason cited for undertaking implementation evaluation. Other reasons include 

• documenting deviations from, and differences in, implementation; 

• allowing for more meaningful comparisons of interventions; and 

• promoting external validity by providing adequate guidelines for implementation.11

공통 프레임워크의 필요성

The Need for a Common Framework

그러나 CBME에서 설계 요소의 충실도를 평가하는 것을 방해한 것은 CBME 프로그램을 구성하는 것에 대한 공통의 이해가 부족하다는 것이었다..14 예를 들어 역량 기반 교육을 기술할 때 Spady15는 역량 기반 교육을 규정짓는 네 가지 최소한의 특성으로 성과, 시간, 교육 및 측정을 나열한다. 역량 기반 교육을 의료 분야로 translate함에 있어서, 프랭크와 동료 16은 커리큘럼 성과, 능력에 대한 강조, 시간 기반 교육에 대해서 탈-강조, 학습자 중심성의 촉진을 핵심 요소로 설명한다.

Evaluating the fidelity of design elements in CBME, however, has been hampered by the lack of a shared understanding of what constitutes a CBME program.14 For example, in describing competency- based education, Spady15 lists outcomes, time, instruction, and measurement as the four absolute minimum defining characteristics of competency-based education. In translating competency- based education to the medical field, Frank and colleagues16 describe a focus on curricular outcomes, an emphasis on abilities, a de-emphasis on time- based training, and the promotion of learner centeredness as key elements.

보다 최근에, Carraccio와 Englander1은 CBME프로그램의 필수적 실천요소로서 다음의 특징을 포함했다.

• 기대 성과의 표준화. 

• 의사 전문직이 되기 위한 궤적의 명확한 모델 

• 증거 기반 학습 전략 

• 케어 제공에 기초한 평가 도구 

• 형성 평가에 대한 강조 

• 학습자 직접 관찰 

• 환자, 멘토 및 의료 팀원과의 학습자 간 양질의quality 관계 존재

More recently, Carraccio and Englander1 expanded the qualities of CBME to include 

• the standardization of desired outcomes; 

• a clear model of the trajectory for becoming an expert physician; 

• evidence-based learning strategies; 

• assessment tools based on care delivery; 

• an emphasis on formative assessment; 

• direct observation of learners; and 

• the existence of quality relationships between learners with patients, mentors, and health care team members 

...as essential practices in a CBME program.

공통 CBME 프레임워크를 만드는 데 있어서의 과제

Challenges in Creating a Common CBME Framework

전통적으로 프로그램 구현을 평가하는 연구에 "이행 충실도"(FOI)라는 용어를 적용한다. FOI는 "실제로 실행된 프로그램 구성요소의 비율"로 정의되며, 따라서 "실제, 원래 개발된 프로토콜을 따랐느냐adherence"를 나타낸다.17(p316) 간단히 말해서 충실도는 매번 정확히 동일한 방식으로 설계된 프로그램을 구현하는 것을 의미한다.18

Traditionally, the term “fidelity of implementation” (FOI) is applied to studies that evaluate program implementation. FOI is defined as the “proportion of program components that were implemented” and so represents “the adherence of actual, treatment delivery to the protocol originally developed.”17(p316) Simply stated, ensuring fidelity means implementing a program as designed exactly the same way every time.18

일반적으로 충실도 연구는 특정 프로그램에서 기대되는 필수적 practice에 대한 합의를 도출하는 데 의존한다.19,20 일반적인 중요 범주는 기준을 구성하기 위해 사용될 수 있지만 최종 결과는 FOI를 측정하고 등급을 매기기 위해 사용되는 특정 활동의 체크리스트가 된다.17,21,22

Typically, fidelity studies rely on creating consensus regarding the essential practices one would expect to see in a particular program.19,20 Although generic overarching categories can be used to organize the criteria , the end result tendsto be a checklist of specific activities used to measure and rate FOI.17,21,22

이러한 체크리스트와 관련된 한 가지 문제는 "프로그램의 역동적 특성을 포함하는" 접근이다. 왜냐하면 어떤 프로그램 활동이 필수적인지에 대한 판단은 시간이 지남에 따라 진화하기 때문이다. 예를 들어, CBME 프로그램 구현에서 임상 역량 위원회(CCC)의 설립은 최근에야 필수적인 실행으로 떠오르고 있는 것처럼 보인다.

One issue with a checklist approach “involves the dynamic nature of programs”17(p330) because judgments about which program activities are essential evolve over time. For example, in CBME program implementation, the establishment of a clinical competency committee (CCC) seems to only recently be emerging as an essential practice.23,24

더욱이, 필수적인 practice에 대한 합의가 있을 수 있다고 가정하더라도, 체크리스트와 같은 것의 목적은 이분법적인 예-아니오 판단으로 만드는 것이다.19,20 이 때 구현의 퀄리티는 고려되지 않는다. 그러나 구현 품질은 상당한 차이를 보인다. 예를 들어, 최근의 연구는 모든 CCC가 공통적인 방식으로 작동하지 않는다는 것을 보여준다.25

Furthermore, even assuming that there could be consensus regarding the essential practices, the intent of such lists is to create a dichotomous yes-or-no judgment.19,20 The quality of the implementation is not taken into consideration. Quality of implementation, however, makes a significant difference. For example, recent research reveals that all CCCs do not operate in a common fashion.25

또 다른 과제는 CBME와 같은 교육 혁신은 종종 복잡하다는 것이다. 그들은 다양한 결과에 기여할 수 있는 많은 다른 운영 부분을 가지고 있다.27 그러한 혁신은 맥락에 매우 민감하며,28 따라서 프로그램은 모든 상황에서 정확히 같은 방식으로 구현될 것이라는 FOI의 기대는 그저 비현실적이다. Pérez 등 29는 그러한 조건의 적응, 즉 기술혁신의 무결성이 훼손되지 않는 한 원래 설계의 변경을 허용하는 것이 주된 관심사가 되어야 한다고 주장한다. 이 문제를 해결하기 위해서는, 체크리스트나 레시피 같은 접근방식을 피하고, 오히려 "맥락적으로 해석하고 적용될 수 있는 지침을 제공하는" 구성 요소를 식별해야 한다."18(p254)

Another challenge is that educational innovations such as CBME are often complex26; they have many different operating parts that can contribute to a variety of outcomes.27 Such innovations, therefore, are highly sensitive to context,28 and so the expectation of FOI—that a program will be implemented exactly the same way, using exactly the same practices in every circumstance—is simply unrealistic. Pérez et al argue29 that under such conditions adaptation—that is, allowing for changes to the original design as long as the integrity of the innovation is not compromised—should be the primary concern. Meeting this challenge requires avoiding a checklist or recipe-like approach and, rather, identifying components that “provide guidance that must be interpreted and applied contextually.”18(p254)

방법

Method

이러한 과제를 해결하기 위해 Cousins et al19는 실무적 체크리스트보다는 혁신의 중요한 요소들에 초점을 맞춘다고 설명한다. "개입의 필수 불가결한 요소"로 정의되는 이 핵심 요소들은 중요한 조직체를 제공한다. 이러한 요소들은 혁신과 구체적으로 연관되지만, 다양한 실무적 실행을 수용할 수 있을 만큼 충분히 견고하다. 다시 말해서, 그것들은 다양한 프로그램 상황에 적용될 수 있다. 그러한 핵심 구성요소는 변화를 프레임하는 기본 관점을 명시하고 관점에 맞는 핵심 구성요소를 식별함으로써 식별된다.

To meet these challenges, Cousins et al19 describe focusing on important components of the innovation rather than on a checklist of practices. Defined as “an essential and indispensable element of an intervention,”31(p3) these core components provide an overarching organizer. The components are specific to the innovation yet robust enough to embrace different practices; in other words, they can be applied to a range of program contexts. Such core components are identified by making explicit the underlying perspective framing the change and identifying the key components that align with the viewpoint.

Cousins et al은 유효성 및 사용을 강화하기 위해 공동작업 방식으로 개발이 진행되었다고 기술한다.19 따라서 이것은 CCF(CBME Core Components Framework)를 개발할 때 취해진 접근방식이었다. 보다 구체적으로, 우리는 프레임워크를 개발하고 CBME CCF에 대한 국제 의료 교육 전문가 그룹 간의 합의를 달성하기 위해 2단계 방법을 사용했다.

Cousins et al describe the development as taking place in a collaborative fashion in order to strengthen validity and use.19 Accordingly, this was the approach taken in developing the CBME Core Components Framework (CCF). More specifically, we used a two- step method to develop a framework and then to achieve consensus among an international group of medical education experts on a CBME CCF.

1단계: 초안 CCF 개발

Step 1: Developing a draft CCF

따라서, CBME CCF는 세 개의 연속적인 레이어를 사용하여 설계되었다.32

• 토대 레이어는 각 핵심 구성요소를 CBME.33에 대한 이론, 모델 또는 모범 사례에 연결한다. 

• 원칙 레이어는 "부유한 고차원의 자문"34(p195)를 제공하여 구현을 가이드할 수 있으며, 

• 실행 레이어는 실행의 세부사항을 포착한다

Accordingly, the CBME CCF was designed using three successive layers.32 

• The foundational layer links each core component to theories, models, or best practices informing CBME.33 

• A principles layer offers “a form of rich high-level counsel”34(p195) that can be used to guide implementation, and 

• a practice layer capture the details of implementation.

2단계: 합의점 결정

Step 2: Determining consensus

우리는 CBME CCF.35,36 두 개의 층을 검증하기 위해 델파이 접근방식을 채택했다. 델파이 접근방식은 의견의 일치 기법으로 익명으로 표현될 수 있기 때문에, 따라서 대면 회의를 통해 발생할 수 있는 영향을 제거하기 때문에 선택되었다.37 우리는 프레임워크의 두 계층, 핵심 요소 및 원칙에 초점을 맞추었다. 설명, 왜냐하면 델파이 접근방식은 주제에 대한 심층 탐사와는 달리 상위 수준의 개념으로 가장 잘 작동하기 때문이다.38

We adopted a Delphi approach to validate two layers of the CBME CCF.35,36 The Delphi approach was selected because, as a consensus technique, it allows for views to be expressed anonymously, thereby eliminating the influence that can occur through face-to-face meetings.37 We focused on two layers of the framework, the core components and principle statements, because the Delphi approach works best with higher-level concepts as opposed to an in-depth exploration of the topic.38

델파이 연구에서 합의점을 정의하는 표준 방법이 없기 때문에, 결정 지점의 선택에 대해 명시하는 것이 중요하다.42 우리의 경우, 연구팀은 응답자의 70% 이상이 합의를 나타내기 위한 합리적인 사전 정의된 표준이라는 데 동의했다.  70% 수준에 도달했는지를 판단하기 위해 "동의"와 "수정후 동의"이라는 응답이 함께 추가되었다.

Because there is no standard method for defining consensus in a Delphi study, it is important to be explicit about the choice of decision point.42 In our case, the research team agreed that ≥ 70% of the respondents was a reasonable predefined standard for indicating consensus. The responses “agree” and “agree with rewording” were added together to determine whether we had reached the ≥ 70% level.

결과

Results

CCF 초안 개발

Developing a draft CCF

CBME를 통해 의도된 커리큘럼 변화에 대한 명확한 이해를 위해 노력하면서, 우리는 생산과 개혁이라는 두 가지 다른 관점을 발견했다. (표 1).43,44 

• 생산 관점은 "공장 같은 의대, 사용자의 요구와 요구에 맞춘 매우 바람직한 제품을 생산할 수 있다."43(pS41) 

• 개혁 관점은 "유연한 개별 맞춤 프로그램으로 다양한 역량 달성율에 적응할 수 있다."43(pS4)

As we worked to make explicit our understanding of the intended curricular change through CBME, we found two different perspectives used to frame the change to an outcomes-based approach in medical education: production and reform (Table 1).43,44 

• The production viewpoint draws from the manufacturing industry, where “medical schools, like factories, can produce highly desirable products adapted to user needs and desires.”43(pS41) 

• Alternatively, the reform position focuses on “flexible, individually tailored programs that can adapt to variable rates of competence attainment.”43(pS4)

CBME에 대한 두 가지 다른 관점은 어떤 커리큘럼 요소를 강조하는지에도 영향을 준다. 예를 들어, 

• 생산 관점에서, 문제 학습자를 식별하기 위한 목적으로 주로 평가에 중점을 둔다. 그러나 

• 개혁 관점에서 모든 학습자가 필요한 역량을 개발할 기회를 가질 수 있도록 정렬된 모든 커리큘럼 요소에 대해 동등한 중요성을 부여한다.

These different perspectives of CBME can lead to emphasizing the importance of different curricular elements. 

• For example, in the production perspective, emphasis is placed primarily on assessment for the purposes of identifying problem learners. 

• In the reform scenario, however, equal importance is placed on all curricular elements, aligned in such a way so that all learners have the opportunity to develop the required competencies.44,45

CBME CCF를 만드는 과정을 이끌 하는 관점을 결정함에 있어서, 우리는 CBME의 채택이 종종 변화로 설명된다는 점에 주목했다.1,46,47 즉 (학습자) 행동의 상당한 변화를 필요로 한다.48 결과적으로, 우리는 프레임워크를 개발할 때 개혁 관점을 채택했다.

In deciding which perspective should guide the creation of the CBME CCF, we noted that the adoption of CBME is often described as a transformative change,1,46,47 requiring a significant shift in behaviors.48 Consequently, we adopted a reform characterization in developing the framework.

구체적인 핵심요소를 파악하고, 개혁적 관점에 맞추는 과정에서, 균형 잡힌 생태계에서 서로 지탱하고 존재하는 모든 커리큘럼 요소의 중요성을 강조하는 "건설적 정렬"의 교육적 개념에서 도출했다.44 좀 더 구체적으로, 결과 기반 커리큘럼에서 건설적 정렬을 위해서는 교수, 학습, 평가 관행이 학습 성과를 지향해야 한다.

To identify specific core components, and in keeping with the reform perspective, we drew from the educational concept of “constructive alignment,” which emphasizes the importance of all curricular elements supporting each other and existing in a balanced ecosystem.44 More specifically, in an outcomes-based curriculum, constructive alignment requires teaching, learning, and assessment practices to be oriented toward learning outcomes.44,45

그런 다음 우리는 CBME를 알리는 대표적 문헌을 통해 이러한 커리큘럼 요소를 탐구했다. CBME를 결과 기반 커리큘럼으로 기술함으로써 생태계 조성이 지원되었다. "역량은 교육 프로그램의 목표를 나타내며 커리큘럼은 역량을 획득하는 메커니즘을 제공한다."10(p51) 따라서, 명시적 성과 역량의 표현은 교육, 학습 및 평가 개발을 이끄는 중심 핵심 요소로 식별되었다. 또한, CBME 커리큘럼의 교수, 학습, 평가에 관한 문헌은 CBME 커리큘럼의 포함을 강화하는 뚜렷한 이론적 토대를 별도의 핵심 요소로 기술하였다.

We then explored these curricular elements in light of our search for seminal literature informing CBME. Creating an ecosystem was supported by the description of CBME as an outcomes-based curriculum where “competence represents the goal of an educational programme, and a curriculum provides the mechanism through which competence is to be acquired.”10(p51) Accordingly, the articulation of explicit outcome competencies was identified as a central core component guiding the development of teaching, learning, and assessment. Furthermore, the literature on teaching, learning, and assessment in a CBME curriculum described distinct theoretical foundations reinforcing their inclusion as separate core components.

그러나 우리는 CBME의 기본 개념인 숙달 학습이 아직 프레임워크 개발단계에서 표현되지 않았다는 점에 주목했다. 이는 개별 학습자의 진행에 있어 상당한 유연성을 허용하면서도, "프로그램을 통한 순차적 경로"로서 역량을 정비할 필요성을 의미했다. 완전 학습은 어떻게 CBME가 작동해야 하는가에 대한 토대 개념 프레임워크였다.

We noted, however, that mastery learning, a concept fundamental to CBME, was not yet represented in the evolving framework. Described as the need to arrange competencies as a “sequential path through the programme” while still allowing for considerable flexibility in individual learner progression, mastery learning is a fundamental conceptual framework illuminating how CBME is supposed to work.33,49

따라서 개혁적 관점에서 CBME를 개념화함으로써 다음과 같은 5가지 핵심요소를 식별하게 되었다.

Accordingly, Conceptualizing CBME from a reform perspective therefore resulted in identification of the following five core components:

• 성과 역량

• 순차적 진행 

• 맞춤 학습 경험 

• 역량 초점 교육 

• 평가 프로그램

• Outcome competencies 

• Sequenced progression 

• Tailored learning experiences 

• Competency-focused instruction 

• Programmatic assessment

생태계 내에서 발생하는 건설적 정렬의 특성화에 대응하여, 우리는 결과적 역량과 순차적 진행을 학습, 교육 및 평가 관행의 개발을 이끄는 중심 핵심 요소로서 상상하였다(그림 1).

Responding to the characterization of constructive alignment as occurring within an ecosystem, we envisioned the outcome competencies and sequenced progression as central core components guiding the development of learning, teaching, and assessment practices (Figure 1).

또한, 이 생태계는 프로그램의 크기, 학습 경험을 포함한 자원의 가용성, 학습 환경의 퀄리티과 같은 국지적 맥락의 고유한 특징에 의해 매개moderate된다.

In turn, this ecosystem is moderated by features unique to the local context such as the size of the program, availability of resources including learning experiences, and qualities of the learning environment.

그런 다음 이 다섯 가지 핵심 구성요소를 사용하여 전체 프레임워크를 구성하고 채웠으며, 각 계층은 다음 계층을 알려 CBME 프로그램에 맞게 특별히 맞춤화된 핵심 구성요소 프레임워크를 허용했다(그림 2). 우리는 또한 links.lww.com/ACADMED/A670).에서 이용할 수 있는 각 핵심 구성 요소(보조 디지털 부록 1)를 알리는 데 중요한 작업에서 나온 신학 기사 목록을 만들었다.

These five core components were then used to organize and populate the full framework, with each layer informing the next, allowing for a core components framework specifically customized for a CBME program (Figure 2). We also created a list of seminal articles emerging from our work critical to informing each of the core components (Supplemental Digital Appendix 1, available at http:// links.lww.com/ACADMED/A670).

5가지 핵심 구성 요소에 대한 의견 수렴

Reaching consensus on the five core components

국제 CBME 협력단 59명 중 25명이 참여하기로 합의했다. 패널 크기는 참가자가 10명에서 30명 사이여야 한다고 제안되었기 때문에 이상적인 크기가 10,37명 이상인 50명은 이 패널 크기가 적절하다고 간주되었다.

Of the 59 members of the international CBME collaborators group, 25 agreed to participate. Because it is suggested that a panel size should range from 10 to 30 participants,50 with an ideal size being no less than 10,37 this panel size was considered to be adequate.

1라운드 동안 핵심 요소 5개 모두에 대해 70% 이상의 합의에 도달했다(그림 3).

During Round 1, over 70% agreement was reached for all five of the core components (Figure 3).

원칙적 진술은 2라운드의 구체적인 초점이었다. 다시 한 번, 합의는 모든 원칙 진술에 대해 70%의 사전 정의된 합의 수준에 도달했다(그림 3).

The principle statements were the specific focus of Round 2. Once again, agreement reached the predefined consensus level of 70% for all of the principle statements (Figure 3).

고찰

Discussion

우리는 CBME의 채택에 포괄적인 커리큘럼 개혁이 필요하다는 우리의 견해를 분명히 함으로써 CBME 프로그램 구현의 평가를 안내하기 위한 공통 프레임워크의 개발을 시작했다(표 1).

We began development of a common framework to guide evaluation of CBME program implementation by making explicit our perspective that the adoption of CBME requires comprehensive curricular reform (Table 1).

실천의 체크리스트가 아니라, 핵심 구성요소에 초점을 맞춘다면, 이 프레임워크가 모든 맥락에 동일하게 적용될 수 있을 것이다.

The focus on core components, rather than a checklist of practices, ensures that the framework can be applied equally across all contexts.

맥락의 영향을 수용하는 것은 역동적 조건 하에서는 "one size does not fit all"이라고 인식되는 [프로그램 평가의 최근 양상]과 일치한다. 따라서 [엄격한 규칙에 대한 의존]은 [가이딩 원칙guiding principle]으로 대체되고 있다.51 따라서 FOI는 프로그램이 특정 관행보다는 핵심 개념에 대한 integrity를 예시하는 정도에 초점을 맞춘다. 이러한 방식으로 핵심 요소의 사용은 충실도가 유지되는 동안 국지적 혁신의 촉진을 가능하게 한다.

Embracing the influence of context is consistent with recent developments in program evaluation where it is recognized that under dynamic conditions, “one size does not fit all,” and so the reliance on rigid rules is being replaced by guiding principles.51 FOI accordingly focuses on the extent to which the program exemplifies integrity to key concepts rather than specific practices.18 In this fashion, the use of core components allows for the promotion of local innovation while fidelity is maintained.

국지적 혁신의 가능성은 시간이 지남에 따라 다양한 형태의 CBME가 나타날 수 있음을 시사한다.

The possibility for local innovation suggests that various configurations of CBME may emerge over time.

또한, CBME는 여러 활동과 결과로 구성된 복잡한 서비스 개입이다. 따라서 구현이 진행될 때 활동과 성과 사이의 관계를 심층적으로 이해하는 것이 중요하다. 다섯 가지 핵심 구성 요소는 구현 평가에 대한 보다 체계적이고 조직적인 접근 방식을 지원할 수 있다. 이는 모든 (프로그램) 평가에서 중요시되는 '예상치 못한 결과를 식별할 수도 있는 접근방식'을 말한다.

As well, CBME is a complex service intervention consisting of multiple activities and outcomes. Therefore, creating an in-depth understanding of the relationship between activities and outcomes as implementation unfolds is critical.27 The five core components can support a more systematic and organized approach toward implementation evaluation—an approach that also allows for the identification of unanticipated outcomes, which is an important aspect of any evaluation effort.

연구 한계

Limitations of the study

그러나 우리는 의료 교육 혁신으로서 CBME가 아직 시행 초기 단계에 있다는 것을 완전히 인식하고 있다. 구현 경험을 쌓으면서 다른 관점들이 계속해서 나타날 가능성이 매우 높다.

We fully recognize, however, that as a medical education innovation, CBME is still in the early stages of implementation. It is very possible that other perspectives will continue to emerge as we gain more experience with implementation,

또한 CCF는 주로 CBME의 설계 요소에 초점을 맞추고 있다. 그러나 최근에는, [교육 모델을 뒷받침하는 학습 조건]도 충실도에 영향을 미치는 데 중요하다고 제안되었다.47 CBME를 구현할 때 서로 다른 두 가지 방향을 식별함으로써 서로 다른 학습 조건이 존재할 수 있다. 문제 접근법과 개발 접근법.25 실제로, 결핍에 초점을 맞춘 환경에서 배우는 경험은 성장 사고방식에 의해 움직이는 것과 매우 다르다는 것을 시사하는 증거가 있다.55

As well, the CCF is primarily focused on the design elements of CBME. It has been recently proposed, however, that the learning conditions underpinning the educational model are also important in influencing fidelity.47 That different learning conditions may exist is supported by our identification of two different orientations when implementing CBME: a problem approach and a developmental approach.25 Indeed, there is evidence to suggest that the experience of learning in an environment that focuses on deficiencies is very different from that driven by a growth mindset.55

결론

In conclusion

PBL과 유사하게, CBME의 광범위한 채택에 많은 어려움이 있다는 것이 제안되었다. 그럼에도 불구하고, CBME는 빠르게 실용화되고 있는 혁신이다. CBME 프로그램의 초기 평가는 구현에 대한 보다 정교한 이해의 필요성을 지적한다. PBL에 대한 우리의 경험을 통해 배운 이 글은 이 권고안을 진전시키기 위한 표준화된 접근법을 제공한다. CBME CCF는, 모든 학습자의 성장과 발전을 촉진하기 위해 설계된 [변혁적 혁신으로서의 CBME]에 초점을 두고 있으며, 프로그램 구현 평가의 명확성과 일관성을 촉진한다.

Similar to PBL, it has been suggested that there are many challenges to the widespread uptake of CBME.59 Nonetheless, CBME is an innovation that is rapidly being adopted into practice. Initial evaluation of CBME programs points to the need for a more sophisticated understanding of implementation. Learning from our experience with PBL, this article provides a standardized approach to moving this recommendation forward. With a focus on CBME as a transformative innovation, designed to promote the growth and development of all learners, the CBME CCF promotes clarity and consistency in evaluating program implementation.

이러한 연구가 이론에 기초해야 한다는 필요성 또한 PBL에 대한 우리의 경험에서 비롯된 권고사항이다. 이 교훈은 프로그램 평가 분야에서 더 많은 이론 중심적인 노력에 대한 요구와 유사하다.62

The need for these studies to be theory based is also a recommendation stemming from our experience with PBL.60,61 This lesson learned parallels the call for more theory-driven efforts in the field of program evaluation.62

10 McGaghie WC, Miller GE, Sajid AW, Tedler TV. Competency-Based Curriculum Development in Medical Education: An Introduction. Geneva, Switzerland: World Health Organization; 1978.

16 Frank JR, Mungroo R, Ahmad Y, Wang M, De Rossi S, Horsley T. Toward a definition of competency-based education in medicine: A Canada. systematic review of published definitions. Med Teach. 2010;32:631–637.

32 Varpio L, Bell R, Hollingworth G, et al. Is transferring an educational innovation actually a process of transformation? Adv Health Sci Educ Theory Pract. 2012;17: 357–367.

61 Norman GR, Schmidt HG. Revisiting “Effectiveness of problem-based learning curricula: Theory, practice and paper darts.” Med Educ. 2016;50:793–797.

---

Acad Med. 2019 Jul;94(7):1002-1009. doi: 10.1097/ACM.0000000000002743.

A Core Components Framework for Evaluating Implementation of Competency-Based Medical Education Programs.

Van Melle E1, Frank JR, Holmboe ES, Dagnone D, Stockley D, Sherbino J; International Competency-based Medical Education Collaborators.

Author information

1

E. Van Melle is senior education scientist, Royal College of Physicians and Surgeons of Canada, Ottawa, Ontario, Canada. J.R. Frank is director of specialty education, strategy and standards, Office of Specialty Education, Royal College of Physicians and Surgeons of Canada, Ottawa, Ontario, Canada. E.S. Holmboe is senior vice president for milestones development and evaluation, Accreditation Council for Graduate Medical Education, Chicago, Illinois. D. Dagnone is competency-based medical education faculty lead and associate professor, Department of Emergency Medicine, Faculty of Health Sciences, Queen's University, Kingston, Ontario, Canada. D. Stockley is professor and scholar in higher education, Office of the Vice-Provost (Teaching and Learning), Queen's University, Kingston, Ontario, Canada. J. Sherbino is assistant dean, Program for Education Research and Development, Faculty of Health Sciences, McMaster University, Hamilton, Ontario, Canada.

Abstract

PURPOSE:

The rapid adoption of competency-based medical education (CBME) provides an unprecedented opportunity to study implementation. Examining "fidelity of implementation"-that is, whether CBME is being implemented as intended-is hampered, however, by the lack of a common framework. This article details the development of such a framework.

METHOD:

A two-step method was used. First, a perspective indicating how CBME is intended to bring about change was described. Accordingly, core components were identified. Drawing from the literature, the core components were organized into a draft framework. Using a modified Delphi approach, the second step examined consensus amongst an international group of experts in CBME.

RESULTS:

Two different viewpoints describing how a CBME program can bring about change were found: production and reform. Because the reform model was most consistent with the characterization of CBME as a transformative innovation, this perspective was used to create a draft framework. Following the Delphi process, five core components of CBME curricula were identified: outcome competencies, sequenced progression, tailored learning experiences, competency-focused instruction, and programmatic assessment. With some modification in wording, consensus emerged amongst the panel of international experts.

CONCLUSIONS:

Typically, implementation evaluation relies on the creation of a specific checklist of practices. Given the ongoing evolution and complexity of CBME, this work, however, focused on identifying core components. Consistent with recent developments in program evaluation, where implementation is described as a developmental trajectory toward fidelity, identifying core components is presented as a fundamental first step toward gaining a more sophisticated understanding of implementation.

PMID:

 

30973365

 

DOI:

 

10.1097/ACM.0000000000002743