CBME의 성과: 공통 언어를 위한 분류학(Med Teach, 2021)

CBME의 성과: 공통 언어를 위한 분류학(Med Teach, 2021)

Outcomes of competency-based medical education: A taxonomy for shared language
Andrew K. Halla,b , Daniel J. Schumacherc,d , Brent Thomae,b , Holly Caretta-Weyerf ,
Benjamin Kinneard , Larry Gruppeng , Lara J. Cookeh,b, Jason R. Franki,b , Elaine Van Melleb,j; on
behalf of the ICBME Collaborators

 

도입
Introduction

역량 기반 의학교육(CBME)을 위한 대학원 교육의 글로벌 전환은 잘 진행되고 있다(Frank et al. 2017). 동시에, CBME의 영향을 평가하기 위한 폭넓은 요구가 있었다(Boyd et al. 2018; Chan et al. 2020; Grupen et al. 2017; Van Melle et al. 2019). 교육 리더와 학자들은 CBME가 의도한 결과를 달성함에 있어 그 효과를 평가하기 시작했다. 초기 노력은 [지역 수습생 행동](Hall et al. 2020; Schumacher et al. 2018)과 [프로그램 중심 성과](Nousiainen et al. 2018)에서 [국가 수준의 교육 성과](Conforti et al. 2018)와 더 광범위한 보건 시스템 영향(Triola et al. 2018)까지 다양한 잠재적 조치에 초점을 맞추고 있다. 또한 일부 국가 수준 전문 그룹은 측정을 위한 CBME 결과를 구성하고 우선 순위를 지정하기 시작했다(Chan et al. 2020). 그러나 관심성과(outcomes of interest)를 분류할 공유 언어 또는 분류법의 부족은 이 성장하는 문헌을 조직하고 해석하는 것을 어렵게 만든다. 특히, 이러한 명확성의 결여는 수정된 교육 프로그램을 평가할 때 의미 있는 결과를 확인하고자 하는 교육 과학자와 리더에게 난제를 제시한다. 

The global transformation of postgraduate training toward competency-based medical education (CBME) is well underway (Frank et al. 2017). Simultaneously, there has been a broad call to evaluate CBME’s impact (Boyd et al. 2018; Chan et al. 2020; Gruppen et al. 2017; Van Melle et al. 2019). Education leaders and scholars have responded and are beginning to evaluate CBME’s effectiveness in achieving its intended outcomes. Early efforts have focused on an array of potential measures extending from local trainee behaviours (Hall et al. 2020; Schumacher et al. 2018) and program-focused outcomes (Nousiainen et al. 2018) to national-level educational outcomes (Conforti et al. 2018) and broader health systems impacts (Triola et al. 2018). Further, some national-level specialty groups have begun to organize and prioritize CBME outcomes for measurement (Chan et al. 2020). However, the lack of a shared language or taxonomy to categorize the outcomes of interest makes it challenging to organize and interpret this growing body of literature. In particular, this lack of clarity presents a conundrum to education scientists and leaders who seek to identify meaningful outcomes when evaluating their revised educational programs.

 

제안된 성과 분류 체계
A proposed taxonomy of outcomes

이 분류법은 다음의 세 가지 영역에 걸친 CBME 결과의 측정을 설명한다(그림 1). 

• 초점(교육, 임상),
• 수준(마이크로, 메조, 매크로)
• 시점 (훈련, practice으로의 이행, practice)

This taxonomy describes the measurement of CBME outcomes across three domains:

• focus (educational, clinical),
• level (micro, meso, macro), and
• timeline (training, transition to practice, practice) (Figure 1).

CBME는 [복잡한 서비스 개입complex service intervention]이기 때문에(Van Melle et al. 2017) 그 결과는 따로따로 존재하지 않는다. 오히려, 이러한 결과는 시간이 지남에 따라 여러 맥락과 규모에 걸쳐 펼쳐지는 관계에서 서로 명확하게 드러난다. 또한 이러한 성과는 많은 렌즈를 통해 고려되어야 한다(Pawson et al. 2005). 이 분류법은 개인의 결과를 고려하는 동시에 더 넓은 맥락에서 다른 성과와 관련하여 [개별 성과]를 배치하는 [시스템 관점]을 제공한다. 우리는 이 접근방식이 CBME 개입의 결과를 추적하는 복잡성을 보존하면서도 다양한 경험과 배경을 가진 이해당사자들이 여전히 사용할 수 있다고 믿는다. 응급 의학 내에서 수행된 작업(Chan et al. 2020)을 확장하고자 한다. 각 도메인에 대한 정의를 명확히 하고, '시점' 영역의 세분성을 높이고, 전문 분야 전반에서 대학원 의대 교육에 대한 사용을 지원하기 위한 추가 지침을 제공할 것이다.

As CBME is a complex service intervention (Van Melle et al. 2017), its outcomes do not exist in isolation. Rather, these outcomes articulate with each other in a relationship that unfolds over time across multiple contexts and scales. Further, these outcomes need to be considered through many lenses (Pawson et al. 2005). This taxonomy considers outcomes of individuals while also providing a systems perspective that situates individual outcomes within broader contexts and in relation to other outcomes. We believe this approach preserves the complexity of tracking the outcomes of the CBME intervention, while still being usable by stakeholders from a broad range of experience levels and backgrounds. It extends from work conducted within emergency medicine (Chan et al. 2020) by clarifying definitions for each of the domains, increasing the granularity of the ‘timeline’ domain, and providing additional guidance to support its use in graduate medical education across specialties.

 

초점 Focus

첫째, 결과의 초점은 교육적(학습자) 이거나 임상적(환자)이다. CBME는 교육적 개입이기 때문에, 학습자와 관련된 교육 성과는 종종 더 구체적이고 측정하기 쉬우며, [더 포착하기 어려운 임상, 환자 중심 결과]의 proxies일 수 있다. 예를 들어, Ross et al. (2018)에서 증명한 것처럼 [환자 치료에 전공의가 미치는 영향]을 측정하는 것보다 [어려움에 처한 전공의를 감지하기 위한 역량 기반 훈련 프로그램의 capacity]을 측정하는 것이 더 타당할 수 있다. 이것은 환자 중심의 결과에 초점을 맞추는 것이 덜 중요하다는 의미가 아니다. 의대 교육의 목표는 환자가 받는 치료를 개선하는 것이기 때문이다. [교육적 성과]는 (distal하기보다는) proximal하다고 해석될 수 있지만, 이는 교육적 성과 그 자체를 측정할 가치가 없다는 것을 의미하지는 않는다. 대신, 우리는 CBME의 광범위한 영향에서 두 가지 사이의 명확한 연관성을 인정하면서 학습자 중심의 교육 성과와 환자 중심의 결과 모두를 초점 영역으로 고려할 필요성을 강조하는 것을 목표로 한다. 비록 우리의 접근 방식은 두 가지 포커스 영역을 별도로 설명하지만, 이 둘의 상호 연관성은 아무리 강조해도 부족함이 없다.

First, the focus of the outcome is either educational (learners) or clinical (patients). As CBME is an educational intervention, educational outcomes related to the learner are often more tangible and straightforward to measure, and they may be proxies of clinical, patient-focused outcomes that are more difficult to capture. For example, it may be more feasible to measure the capacity of a competency-based training program to detect residents in difficulty, as demonstrated by Ross et al. (2018), than to measure the impact of struggling residents on patient care. This is not meant to de-emphasize the importance of a focus on patient-centred outcomes, as the goal of medical education is to improve the care that patients receive. Educational outcomes can be interpreted as proximal to the more distal clinical outcomes (O’Malley and Pangaro 2016; Van Melle et al. 2017), but this does not imply that they are not worthy of measurement on their own. Instead, we aim to highlight the need to consider both learner-centred educational outcomes and patient-centred outcomes as areas of focus, while acknowledging the clear linkage between the two in the broader impact of CBME. Although our approach articulates the two areas of focus separately, their interrelatedness cannot be underscored strongly enough (Wong and Holmboe 2016).

레벨 Level

우리는 또한 더 넓은 시스템에서 결과의 수준을 분류하기 위해 노력했다. 브론펜브레너의 생태학적 시스템 이론과 심리학 및 경제 문헌에서 이 이론의 다른 사용으로부터 영감을 받아, 우리는 결과를 다음의 세 가지에 영향을 미치는 성과로 구분한다.

• 개별 교육생(마이크로)
• 개별 프로그램(메소)
• 시스템(매크로)

We also sought to classify the level of the outcome in the broader system. Taking inspiration from Bronfenbrenner’s ecological systems theory and other uses of this theory in the psychology and economics literature (Bronfenbrenner 1986; Carayannis and Coleman 2005), we divide outcomes into those that affect

• individual trainees (micro),
• individual programs (meso), and
• systems (macro).

Macro는 병원, 기관 또는 대학, 국가 인증 기관 또는 의료 시스템에 일반적으로 영향을 미치는 결과를 포함할 것이다. 이 경우에, 조직에서는 CBME가 미칠 것으로 예상되는 주요 영향 수준을 파악하고자 하며, 이미 CBME 평가에 대한 전문성 특정 접근 방식에서 성공적으로 사용되고 있습니다. 예를 들어,

• [훈련생이 졸업 후 practice할 준비가 되어 있다는 인식]과 같은 결과는 [미시적 수준]의 교육적 결과로 간주되는 반면,
• [practice 첫 해에 전문 의사 성과 지표의 국가 동향]은 [거시적 수준]의 임상적 결과일 것이다. 

The latter would include outcomes that affect hospitals, institutions or universities, national certification bodies, or the health care system in general. This organization seeks to capture the main levels of expected impact of CBME and has already been used successfully in specialty-specific approaches to CBME evaluation (Chan et al. 2020). As examples,

• an outcome such as a trainee’s perception of his or her readiness to practice at graduation would be considered a micro-level educational outcome,
• while national trends in specialty-specific physician performance metrics in the first year of practice would be a macro-level clinical outcome. 

[교육적 성과]는 미국의 마일스톤 데이터 또는 캐나다의 응급의학과와 같은 기타 환경에서 전공-특이적 협력을 통해 수행된 것처럼, 여러 사이트와 전문 분야의 평가 데이터를 취합 및 분석하여 [국가 수준]에서 측정할 수도 있다. 교육 프로그램, 임상 마이크로시스템 및 '학습자-환자-임상 마이크로시스템 상호작용'에 적용된 교육 개입이 하류downstream의 [교육적 성과 및 임상적 성과]에 미치는 영향을 이해하는 데 있어 이 영역을 고려하는 것이 중요하다.

Educational outcomes may also be measurable at the national level, with the aggregation and analysis of assessment data from across sites and specialties, as has been conducted with Milestones data in the United States (Holmboe et al. 2020), or via specialty-specific collaborations in other settings, such as emergency medicine in Canada (Thoma et al. 2020). Consideration of this domain is critical to understand the impact that educational interventions applied to training programs, clinical microsystems, and the ‘learner–patient–clinical microsystem interaction’ have on downstream educational and clinical outcomes (Wong and Holmboe 2016).

타임라인 Timeline

결과 평가의 타임라인은, 특히 [로직 모델]이 채택될 때, 일반적으로 단기, 중기, 장기 등으로 분류된다(Hamza et al. 2020; Van Melle 2016). 단기, 중기 및 장기 구조를 사용하여, 제안된 분류법은 의사 교육의 타임라인을 따르며, 다음과 같이 나눌 수 있다.

• 교육 중에 발생하는 결과,
• 훈련에서 감독되지 않은 실습으로의 전환을 둘러싸고 발생하는 결과
• 의사가 감독되지 않은 실습 중에 발생하는 결과

Timelines in outcome evaluations are commonly classified as short, medium, and long term, particularly when a logic model is being employed (Hamza et al. 2020; Van Melle 2016). Using the short-, medium-, and long-term construct, our proposed taxonomy follows the timeline of physician education, dividing outcomes into

• those that occur during training,
• those that occur surrounding the transition from training to unsupervised practice, and
• those that that occur while physicians are in unsupervised practice.

 

practice 환경에서는 [다른 많은 교란 요인]이 작동할 수 있기 때문에, 장기 성과는 단기 및 중기 성과보다 CBME에 직접 관련되기 더 어렵다. 이것은 이러한 결과를 조사하지 말아야 한다는 것을 의미하지 않는다. 그러나 이는 impact pathway와 context를 주의 깊게 설명해야 한다는 것을 의미한다. [환자 집단 관리와 같은 장기적 성과]를 측정하는 것이 중요하지만, [환자 중심 결과와 강력한 연관성이 있는 단기 성과]도 우선순위를 두어야 한다(오말리와 팡가로 2016). 이것들은 종종 교육적 개입의 영향에 대한 귀중한 증거를 연구하고 제공하는 데 더 타당하다. 

Long-term outcomes are more difficult to relate directly to CBME than short- and medium-term outcomes because many other confounding factors can come into play within the practice environment. This does not mean that these outcomes should not be examined. It does mean, however, that the impact pathway and context must be carefully described. While it is critical to measure long-term outcomes such as the care of populations of patients, short-term outcomes that have a strong linkage to patient-centred outcomes need to be prioritized as well (O’Malley and Pangaro 2016). These are often more feasible to study and provide valuable evidence of the impact of educational interventions.

마지막으로, transition to practice를 개선하는 것은 CBME의 핵심 약속으로 강조되었으며, 이는 [transition to practice 성과]를 [in-training 성과 및 in-practice 성과]와 구별되는 고유한 가시적 성과의 집합으로 취급해야 한다. 우리는 이 실무 전환 범주가 졸업 시 임상 역량의 자주 측정된 중기 성과medium-term outcome를 포함할 것을 제안한다(Holmboe 등. 2020; Tamblyn 1999).

Lastly, improving the transition to practice has been highlighted as a key promise of CBME (Frank et al. 2010; Touchie and ten Cate 2016), which warrants the treatment of transition-to-practice outcomes as a unique set of tangible outcomes distinct from in-training and in-practice outcomes. We propose that this transition-to-practice category would include the often-measured medium-term outcome of clinical competence at graduation (Holmboe et al. 2020; Tamblyn 1999).

분류법 적용 Applying the taxonomy

이 분류법은 CBME 결과의 스펙트럼을 고려하면서 이해관계자 간의 상호작용을 통합하는 논리적 영향 경로를 설명한다. 이 분류법의 사용은 결과를 조직하고 운용하기 위해 모든 규모의 프로그램 평가에 참여하고자 하는 사람들에게 허용된다. 표 1은 분류법의 세 도메인 간에 각각의 겹치는 고려사항에 대한 예를 보여준다. 이 섹션에서는 중복 영역의 실제 예를 강조하여 이 분류법의 적용에 생명과 명확성을 제공하지만, 각 영역에서 모든 잠재적 측정 결과를 정의하거나 우선순위를 지정하려는 시도는 결코 하지 않는다. 분류법의 각 영역별 성과를 정의함에 있어, 우리는 

• 산출(CBME의 구성 요소가 진행 중이거나 구현되었음을 나타내는 지표)과 
• 성과(CBME의 결과로 야기된 주요 이해관계자의 행동, 관계 및/또는 행동에 대한 설명)

...를 구분한다(Earl 등 2001; Frye 및 Hemmer). 2012); 이 구별의 중요성은 동반 논문에 설명되어 있다(Van Melle et al. 2021).
This taxonomy delineates a logical impact pathway that incorporates the interaction between stakeholders while considering a spectrum of CBME outcomes. Use of this taxonomy allows those seeking to engage in program evaluation of any magnitude to organize and operationalize outcomes. Table 1 gives an example for each overlapping consideration between the three domains of the taxonomy. In this section, we highlight practical examples from these areas of overlap to provide life and clarity to the application of this taxonomy, but we by no means attempt to define or prioritize all the potential measurable outcomes in each domain. In defining outcomes classified within each area of the taxonomy, we distinguish between

• outputs (indicators that a component of CBME is underway or has been implemented) and
• outcomes (description of the changes in the behaviour, relationships, and/or actions of key stakeholders brought about as a result of CBME)

...(Earl et al. 2001; Frye and Hemmer 2012); the importance of this distinction is described in a companion paper (Van Melle et al. 2021).

[학습자 중심], [단기], [마이크로 레벨] 관점에서 CBME의 한 가지 주요 예상 결과는 [자율적이고 개인화된 학습]이다(Van Melle 등. 2019). CBME 커리큘럼의 계획된 결과물인 [개별화된 학습 계획의 구현]은 [이 경우 측정 가능한 outcome이 아니라] output이다. 대신, 프로그램 내에서 진정으로 [개별화된 학습의 존재presence]에 대해서는 다른 지표를 고려할 수 있다.

• 개별화된 학습 계획의 및 개발된 학습 목표의 내용 분석
• 교육생과 코치의 학습 계획 효용 인식 
• 학습 계획이 역량 달성의 궤도에 미치는 영향 
• 결과 달성 여부를 평가하기 위한 커리큘럼 및 평가 프로세스의 변경. 

Thinking from a learner-focused, short-term, micro-level perspective, one key anticipated outcome of CBME is self-regulated, individualized learning (Van Melle et al. 2019). The implementation of individualized learning plans, a planned output of a CBME curriculum, is in this case an output, rather than a measurable outcome. Instead, one could consider other indicators of the presence of truly individualized learning within a program, such as

• content analysis of individualized learning plans and developed learning goals,
• the perception of trainees and coaches of the utility of learning plans,
• the impact of learning plans on the trajectory of competence attainment, or
• changes to the curriculum and assessment process to evaluate whether the outcome has been achieved.

이 밖에도, 또 다른 근거로는 identified needs에 대응하여 수습자 교대 재배치 또는 맞춤화의 증가된 발생을 포함할 수 있다.
Further evidence of this outcome could include an increased incidence of trainee rotation rearrangement or customization in response to identified needs.

CBME의 [교육 중심], [중범위], [중기적 성과] 중 하나는 교육 프로그램이 진급 및 졸업에 관하여 방어가능하고 데이터에 기반한 결정을 내릴 수 있는 능력을 갖추는 것이다. 이는 교육 기간 동안 일상적인 간격으로, 그리고 [졸업후교육]에서 [감독되지 않은 practice]으로 전환될 때 프로그램이 모든 연습생에 대해 자주 내리는 중요한 결정이며, 자주 분석되는 결정입니다. 여기서도, [잘 표현된 정책과 관행을 가진 역량 위원회의 존재]는 [기대 산출expected output]으로 간주될 수 있으며, [측정할 수 있는 성과outcome]에는 다음이 포함된다.

• 역량위원회가 평가 데이터를 시각화하고 사용하는 방법 
• 그러한 데이터가 그룹 프로세스를 포함한 의사결정에 통합되는 방법 
• 교육생, 부서 지도부, 시스템 수준 의학 교육 리더 또는 인증 및 허가 기관의 이의를 제기할 경우 그러한 결정을 방어하는 방법

An example of an education-focused, meso-level, medium-term outcome of CBME is the ability of a training program to make defensible, data-informed decisions regarding trainee progression and graduation. This is a high-stakes, frequently analyzed decision that a program will make regarding every trainee at routine intervals during training and finally at the transition from postgraduate training to unsupervised practice. Here again, the existence of a competence committee with well-articulated policies and practices can be considered an expected output, while outcomes that could be measured would include how assessment data are visualized and used by the competence committee, how those data are synthesized by the committee into a decision including group processes, and how that decision is defended if challenged by the trainee, departmental leadership, system-level graduate medical education leaders, or accreditation and licensing bodies.

[교육에 초점을 맞춘] [거시적 수준]의 [중기적 관점]에서, 시간-가변적 진급 결정이 병원 시스템과 인증 기관에 미치는 영향을 고려할 수 있다. 한 개인이 [감독 없이 practice할 준비가 되어 있는지 여부]를 결정하는 것은 [실제로 그 사람이 역량을 입증받았을 때 연습할 수 있도록 허락하는 것]과 같지 않다. 서비스와 교육 사이의 균형은 더 복잡한 퍼즐이 될 수 있습니다 

• 서비스(프로그램과 병원의 요구에 도움이 되도록 수련생이 전체 로테이션을 완수하도록 만들기) 및 
• 교육(연습생에게 제자리로 전환하거나 졸업하도록 하고 지속적인 개발에 도움이 되는 추가 책임을 지도록 함)

이 분야에서 기관의 성과는 중요한 결과를 구성한다.

From an education-focused, macro-level, medium-term perspective, the impact of time-variable progression decisions on hospital systems and certification bodies can be considered. Determining whether an individual is ready to practice without supervision is not practically the same as actually allowing that person to do so at whatever point competence has been demonstrated. The balance between

• service (making a trainee complete rotations that benefit the needs of the program and hospital) and
• education (allowing a trainee to transition in place or graduate and assume additional responsibilities that are beneficial for their continued development)

...becomes an even more complex puzzle in the face of time-variable training (Lucey et al. 2018). The achievements of institutions in this area constitute important outcomes.

훈련의 연속체 및 감독되지 않은 임상 실습에 따라 수행되기 때문에 성과마다 타임프레임이 서로 다를 것이다. 예를 들어, [quality meature와 patient outcome 성과]는 [교육생이나 실무자에게 피드백을 제공하고 개인이 환자의 요구를 충족하는지 여부를 입증하기 위해] 단기, 중기 및 장기적으로 측정할 수 있고, 측정해야 한다. 
Many outcomes will involve multiple time frames as they will be followed throughout the continuum of training and unsupervised clinical practice. For example, quality measures and patient care outcomes can and should be measured in the short, medium, and long term both to provide feedback to the trainee or practitioner and to demonstrate whether an individual is meeting the needs of his or her patients. 

전공-특이적 환자 중심 성과의 예는 다음과 같다. 

• 응급실에서 패혈증 환자에 대한 항생제 적시 투여와 같은 관리 품질 지표(Seymour et al. 2017), 
• 외래 환자 진료소에서 관리되는 당뇨병 환자의 시간 경과에 따른 헤모글로빈 A1C 수준(Francis et al. 2016; Wong et al. 2016), 
• 수술 감염률(Rudder et al. 2019).

Examples of specialty-specific, patient-focused outcomes are quality of care metrics such as timely administration of antibiotics to patients with sepsis in an emergency department (Seymour et al. 2017), hemoglobin A1C levels over time in patients with diabetes managed in an outpatient clinic (Francis et al. 2016; Wong et al. 2016), and surgical infection rates (Rudder et al. 2019).

그렇긴 하지만, 어떤 하나의 metric으로도 '훌륭한 의사'가 되는 모든 구성을 포함할 수 없다는 것은 명백하며, 따라서 전공마다 [복합 평가점수composite evlauation] 도출 방법을 생각해볼 필요가 있다. 이 때, [의사 역량의 모든 영역]에 대한 점수를 포함해야 하며, [환자와 사회에 중요한 것]과 [측정할 수 있는 것]의 균형을 맞춰야 한다. [CBME 구현의 결과]를 이로 인한 [환자 수준 성과의 변화]와 연결하는 것은 매우 어려운 작업이 될 것이다. 위에서 설명한 바와 같이, CBME의 영향에 대한 종합적인 평가의 중요한 구성 요소가 될 것이다.

That being said, it is clear that no one metric can encompass the construct of ‘being an excellent physician’ and therefore specialties will need to consider deriving composite evaluations, including markers of excellence across all domains of physician competency, balancing what is measurable with what is important to patients and society. While linking changes in these patient-level outcomes as a result of CBME implementation will be a remarkably difficult task, as outlined above, it will be a critical component of any comprehensive evaluation of the impact of CBME.

다음 단계 Next steps

이러한 예와 표 1의 예제는 제안된 분류법을 사용하여 구성할 수 있는 CBME의 잠재적 결과의 폭에 대한 스냅샷만 제공한다. 우리는 이 분류 시스템이 여러 가지 방법으로 사용될 것으로 예상한다. 

These examples and those in Table 1 provide only a snapshot of the breadth of potential outcomes of CBME that can organized using the proposed taxonomy. We anticipate this classification system being used in several ways. 

• 첫째, 분류 체계(각 범주에 속하는 예와 함께)를 개별 프로그램, 전문 분야 또는 국가 수준에서 브레인스토밍 연습의 일부로 사용하여 특정 전공분야나 행정적 범위 내에서 [CBME와 관련된 성과를 식별]하고 [후속 평가 작업을 촉진]할 수 있다(Chan 등. 2020). 
• 둘째, 분류를 사용하여 특정 연구에서 조사 중인 결과의 유형을 분류할 수 있다. 일련의 질문을 사용하여 연구원들은 결과가 분류 체계 내에서 어디에 있는지 신속하게 정의할 수 있었다. 예를 들어 결과를 주로 교육적 또는 임상적으로 측정할 것인가? 교육생, 프로그램, 시스템 중 누구와 관련이 있는가? 마지막으로, 교육 중인 임상의, 실무로 전환 중인 임상의 또는 이미 시행 중인 임상의와 관련된 결과입니까?
• 셋째, 유사한 접근방식을 사용하여, 연구자들은 [CBME 이니셔티브의 보고된 성과를 분류]하여 [출판된 문헌의 조직화된 검토]를 수행하고, [CBME 구현 평가의 gaps와 trends를 식별]할 수 있었다. 여기서 목적은 평가를 위한 체크리스트를 개발하는 것이 아니라, 단순히 유용한 조직 프레임워크를 제공하는 것이다. 마지막으로, 결과 연구를 분류 체계 내에서 분류함으로써 CBME의 영향을 평가하기 위한 증거를 구성하기 위한 구조를 제공할 수 있을 것이다.
• 마침내, 우리는 이 분류 체계에도 한계는 있음을 깨달았다. 비록 개입으로서 [CBME가 본질적으로 복잡함]을 인식하고 그에 따른 결과를 인식하지만, 구획화하려는 시도는 성과의 상호 연관성을 과소평가할 수 있다. 또한, 많은 결과가 다수의 '상자'에 들어맞기 때문에, 이 분류법의 적용은 신중한 생각과 근거를 필요로 한다. 우리는 교육 과학자와 일선 교육자 모두에게 고용될 수 있는 사용 가능한 분류 체계를 제시하는 것을 목표로 했다.

 

• First, the taxonomy (along with examples falling into each category) could be used as part of a brainstorming exercise at the individual program, specialty, or national level to identify relevant outcomes for CBME within a given specialty and administrative scope and to stimulate and drive subsequent evaluation work (Chan et al. 2020).
• Secondly, the classification could be used to categorize the type of outcomes that are being investigated in a given study. Using a series of questions, researchers could quickly define where their outcome lies within the taxonomy. For example, is the outcome to be measured primarily educational or clinical? Is the outcome related to individual trainees, programs, or systems? And lastly, does the outcome pertain to clinicians in training, clinicians transitioning into practice, or clinicians already in practice?
• Thirdly, using a similar approach, researchers could classify the reported outcomes of CBME initiatives to conduct an organized review of published literature and subsequently identify gaps and trends in the evaluation of CBME implementation. The intention here would not be to develop a checklist for evaluation, but rather to simply provide a helpful organizing framework. Lastly, by classifying outcome studies within the taxonomy it will be possible to provide a structure for organizing evidence to evaluate the impacts of CBME.
• Finally, we recognize that this taxonomy is not without limitations. Although it recognizes the complex nature of CBME as an intervention, and its resultant outcomes, attempts at compartmentalization can underappreciate the interrelatedness of the outcomes. Further, many outcomes will fit into multiple ‘boxes’ and, therefore, application of this taxonomy requires careful thought and rationale. We aimed to present a usable taxonomy that can be employed by education scientists and front-line educators alike.

결론 Conclusion

복잡한 서비스 개입complex service intervention으로서의 CBME의 성격을 고려할 때, 우리는 CBME와 같은 교육 혁신의 다중 결과 가능성이 시간에 따라 펼쳐질 수 있는 접근법이 필요하다. 복잡한 개입의 성과는 다면적이며, 따라서 많은 렌즈를 통해 고려할 필요가 있다. 결과 연구를 수행하는 단편적인 접근법을 피하기 위해, 이 분류법은 결과 연구를 분류하고 설계하는 메커니즘을 제공한다. 포커스, 레벨 및 타임라인의 세 가지 도메인을 사용하여 교육 연구원들이 CBME의 영향에 대한 보다 완전하고 응집력 있는 그림을 그릴 수 있는 체계적 프레임워크를 제공한다. 

Given the nature of CBME as a complex service intervention, we require an approach that considers the possibility of multiple outcomes of educational innovations, such as CBME, unfolding over time. Outcomes of complex interventions are multifaceted and, as such, need to be considered through many lenses. To avoid a piecemeal approach to conducting outcomes research, this taxonomy provides a mechanism by which to categorize and design outcomes studies. Using the three domains of focus, level, and timeline, we offer an organizing framework to enable educational researchers to paint a more fulsome, cohesive picture of the impact of CBME. 

 

---

Med Teach. 2021 May 26;1-6.

 doi: 10.1080/0142159X.2021.1925643. Online ahead of print.

Outcomes of competency-based medical education: A taxonomy for shared language

Andrew K Hall 1 2, Daniel J Schumacher 3 4, Brent Thoma 2 5, Holly Caretta-Weyer 6, Benjamin Kinnear 4, Larry Gruppen 7, Lara J Cooke 2 8, Jason R Frank 2 9, Elaine Van Melle 2 10, ICBME Collaborators

Affiliations collapse

Affiliations

• 1Department of Emergency Medicine, Queen's University, Kingston, Canada.
• 2Royal College of Physicians and Surgeons of Canada, Ottawa, Canada.
• 3Division of Emergency Medicine, Cincinnati Children's Hospital Medical Center.
• 4Department of Pediatrics, University of Cincinnati College of Medicine, Cincinnati, OH, USA.
• 5Department of Emergency Medicine, University of Saskatchewan, Saskatoon, Canada.
• 6Department of Emergency Medicine, Stanford University School of Medicine, Palo Alto, CA, USA.
• 7Department of Learning Health Sciences, University of Michigan, Ann Arbor, MI, USA.
• 8Division of Neurology, Department of Clinical Neurosciences, Cumming School of Medicine, University of Calgary, Calgary, Canada.
• 9Department of Emergency Medicine, University of Ottawa, Ottawa, Canada.
• 10Department of Family Medicine, Queen's University, Kingston, Canada.

• PMID: 34038673
• DOI: 10.1080/0142159X.2021.1925643AbstractKeywords: Curriculum; evaluation; general; learning outcomes; management; medical education research; outcome-based; patient management.
• As the global transformation of postgraduate medical training continues, there are persistent calls for program evaluation efforts to understand the impact and outcomes of competency-based medical education (CBME) implementation. The measurement of a complex educational intervention such as CBME is challenging because of the multifaceted nature of activities and outcomes. What is needed, therefore, is an organizational taxonomy to both conceptualize and categorize multiple outcomes. In this manuscript we propose a taxonomy that builds on preceding works to organize CBME outcomes across three domains: focus (educational, clinical), level (micro, meso, macro), and timeline (training, transition to practice, practice). We also provide examples of how to conceptualize outcomes of educational interventions across medical specialties using this taxonomy. By proposing a shared language for outcomes of CBME, we hope that this taxonomy will help organize ongoing evaluation work and catalyze those seeking to engage in the evaluation effort to help understand the impact and outcomes of CBME.