CBME에 관한 가정과 근거의 상태: 비판적 내러티브 리뷰(Acad Med, 2021)

CBME에 관한 가정과 근거의 상태: 비판적 내러티브 리뷰(Acad Med, 2021)

Assumptions About Competency-Based Medical Education and the State of the Underlying Evidence: A Critical Narrative Review 
Ryan Brydges, PhD, Victoria A. Boyd, MA, Walter Tavares, PhD, Shiphra Ginsburg, MD, PhD, Ayelet Kuper, MD, DPhil, Melanie Anderson, MLIS, and Lynfa Stroud, MD, MEd 

 

 

역량 기반 의학 교육(CBME) —의사 및 의사 교육 프로그램의 설계, 구현, 평가 및 평가에 대한 성과 기반 접근 방식1— 은 광범위한 논의와 논쟁을 불러일으켰다. 개념적 프레임워크, 사고 논문, 합의문, 구현 문서, 기관별 서술은 CBME의 가능성과 과제에 대해 말한다. CBME를 지원하기 위해 많은 내용이 작성되었지만, 많은 학자들은 [기존 증거가 구현 관행이나 프로그램적 연구 안건에 거의 영향을 주지 않는다는 점]에 주목하며 증거 기반evidence base을 의심해 왔다. 예를 들어, 최근 CBME 관련 위탁 전문 활동(EPA) 사용에 대한 증거를 체계적으로 검토한 결과, O'Dowd 등은 EPA의 평가 또는 이행을 평가한 49개 연구 중 12개만 발견했다. 나머지는 EPA 목록 개발에만 초점을 맞췄다.

Competency-based medical education (CBME)—an outcomes-based approach to the design, implementation, assessment, and evaluation of physicians and physician training programs1—has stirred extensive discussion and debate. Conceptual frameworks, thought papers, consensus statements, implementation documents, and institution-specific descriptions speak to the possibilities and challenges of CBME.2 While much has been written in support of CBME, many scholars have questioned its evidence base,3–6 noting that the existing evidence rarely informs either implementation practices7 or programmatic research agendas. For example, in a recent systematic review of evidence for the CBME-related use of entrustable professional activities (EPAs), O’Dowd et al found just 12 of 49 studies evaluated the assessment or implementation of EPAs; the remainder focused solely on developing lists of EPAs.8 

CBME를 구현하는 방법에 대한 초안 "공통 프레임워크"가 최근에야 제안되었다.10 따라서, 교육자들은 대부분 개념적 [논문에 요약된 원칙과 역량에 대한 자신의 암묵적 가정]을 바탕으로 CBME를 구현했다.
A draft “common framework” for how to implement CBME has been proposed only recently.10 Consequently, educators have mostly implemented CBME based on how they and their organizational leaders have interpreted the principles outlined in conceptual papers, as well as on their own tacit assumptions about competence.

우리는 [가정]을 [지속적인 증거 없이 사람들이 당연하다고 여기는 진술 또는 주장]으로 정의합니다.11 이러한 가정(예: 역량은 관찰 가능하고 측정 가능한 행동으로 분해될 수 있습니다)은 교육자와 연구자가 CBME 구현 및 연구에 대한 결정을 위해 문헌을 사용하는 렌즈를 나타냅니다.
We define an assumption as a statement or claim people take for granted as fact, without ongoing proof.11 These assumptions (e.g., competence can be broken down into observable, measurable behaviors) represent the lenses through which educators and researchers use the literature to make decisions about CBME implementation and research.

우리 팀의 구성원(V.A.B., S.G., R.B., A.K.)은 CBME의 현대적 논의의 기초가 되는 가정을 식별하고 종합하는 CDA를 이전에 완료했다.
Members of our team (V.A.B., S.G., R.B., A.K.) previously completed a CDA that identified and synthesized the assumptions underlying contemporary discussions of CBME.

그러나 CDA는 [저자들이 합성한 '가정'의 목록]을 제공하지 않았다. 즉, 의료 교육 커뮤니티는 CBME에 대한 가정과 그러한 가정의 기초가 되는 근거의 상태에 대해 완전한 인식을 가지고 있지 않다.
However, the CDA did not provide a list of the assumptions the authors had synthesized, meaning the medical education community does not have a full appreciation of the assumptions it has made about CBME nor of the state of the evidence underlying those assumptions. 

역량과 CBME에 대한 깊이 있는 가정은 교육 및 연구 관행을 밀고, 활성화 및 제한합니다. 다음 가정을 예로 들 수 있습니다. 역량 평가는 실제로 타당하고 신뢰할 수 있는 방식으로 수행되어야 한다. 이러한 가정에 대한 증거는 CBME를 이행하는 교육자가 작업장에서 모든 평가를 수행해야 하는지 또는 시뮬레이션 기반 환경(및 다른 곳)에서 일부 평가를 수행할 수 있는지를 결정하는 데 도움이 될 것이다. 
Deeply held assumptions about competence and CBME inform, enable, and limit educational and research practices. Take the following assumption as an example: Competency assessment must take place in practice to be valid and reliable. Evidence about this assumption would help educators implementing CBME decide whether they must conduct all assessments in the workplace or whether they could conduct some in simulation- based settings (and elsewhere). 

이러한 격차를 해소하기 위해 우리는 다음 질문에 대한 답변을 목표로 한 비판적 서술 검토을 실시했습니다. 의료 교육 커뮤니티가 역량과 CBME 접근법에 대해 가정해 온 근거의 상태는 어떠한가?To fill this gap, we conducted a critical narrative review15,16 that aimed to answer the following question: What is the state of the evidence for the assumptions the medical education community has made about competence and the CBME approach?

방법 Method

디자인 Design

비판적 서술 검토를 완료하면서, Grant와 Booth 15 및 Dixon-Woods et al, 16의 작업을 따랐다.

• 주제에 대한 가장 중요한 기사를 식별하고,
• (방법론적 질보다는) 판단된 기여에 따라 평가하고,
• 증거에 대한 성찰적 해석을 제공하는 것을 제안한다 (정량적, 정성적, 혼합적 데이터). 

In completing our critical narrative review, we followed the works of Grant and Booth15 and Dixon-Woods et al,16 which suggest aiming

• to identify the most significant articles on a topic,
• to evaluate them according to their judged contributions (rather than their methodological quality), and
• to offer a reflexive interpretation of the evidence (i.e., quantitative, qualitative, and mixed data).

연구팀은 지식 종합의 결과를 설계, 구현 및 분석하는 이러한 [귀납적 접근법]이 동료 검토 문헌에서 찾을 것으로 예상되는 혼합 증거를 해석하고 비판할 수 있는 가장 큰 잠재력을 제공할 것이라고 판단했다. 따라서 우리는 CBME 접근법에 대해 발견한 증거로부터 지식이 어떻게 구성되었는지를 판단하고 향후 연구 관행에 대한 함축적인 이해를 심화하면서 [반복적 접근법]을 사용하여 연구 결과를 종합하고 해석했다.  

Our team judged that this inductive approach to designing, implementing, and analyzing the results of our knowledge synthesis would yield the greatest potential for interpreting and critiquing the mixed evidence we expected to find in the peer-reviewed literature.17 Thus, we synthesized and interpreted our findings using an iterative approach, judging how knowledge has been constructed from the evidence we found about CBME approaches and deepening our understanding of the implications for future research practices.16,17 

우리는 지역 및 국가 이해관계자들을 조사하여 a와 b를 수행했다. 이로서 발표된 논문의 최종 데이터베이스 범위가 통합에 집중되고 실현 가능한지 확인하고자 하였다.

• (a) 이러한 가정을 정리하고 우선 순위를 정하며
• (b) 일부 가정을 "핵심"으로 선택했다. 

We surveyed local and national stakeholders to

• (a) organize and prioritize these assumptions and
• (b) select some assumptions as “core”

...to ensure the scope of our eventual database of published papers would be focused and feasible to synthesize. 

다양한 관점에서 증거를 평가하기 위해, 우리는 포스트 포지티브에서 인지주의자, 구성주의자, 혁신에 이르기까지 교육의 패러다임 스펙트럼을 대표하는 연구팀을 개발했다. 복수의 패러다임을 표현하면 포함된 연구에 보고된 가정과 관련 근거에 대한 존경스럽고 균형 잡힌 판단을 내릴 수 있다고 가정했다.
To appraise the evidence from multiple perspectives,19 we developed a research team that represented a spectrum of paradigms of education, from postpositivist to cognitivist to constructivist to transformative. We assumed that representing multiple paradigms would enable us to produce a respectful and balanced judgment of the assumptions and the associated evidence reported in the included studies.

 

이전 작업: CDA에서 식별된 가정
Prior work: Assumptions identified in the CDA

CDA 팀은 광범위한 문헌 기관 내의 강의를 탐색하면서 지배적인 CBME 프레임워크와 역량 구성을 뒷받침하는 31가지 가정을 식별했다. 
In exploring the discourses within that extensive body of literature, the CDA team identified 31 assumptions underpinning dominant CBME frameworks and the construct of competence.

1단계: 핵심 가정을 식별하기 위한 팀 조사
Phase 1: Team survey to identify core assumptions

본 검토에서 사용할 31가지 가정 각각에 대한 언어를 다듬고 완성한 후, 실증 연구에 적합한 항목을 중심으로 목록을 가장 중요한 항목으로 축소하고자 했습니다.
After refining and finalizing the language for each of the 31 assumptions for use in the present review, we sought to reduce the list to the most significant items, with a focus on those that were amenable to empirical research.

질문:

• "이러한 가정을 지지하거나 반박하기 위해 엄격한 증거를 수집하는 것이 가능합니까?" (시험 가능 여부) 및
• "이 가정은 CBME 프레임워크/구현 성공의 '핵심'입니까?" (핵심 여부)

questions:

• “Is it possible to gather rigorous evidence to support or refute this assumption?” (testable or not) and
• “Is this assumption ‘core’ to the success of CBME frameworks/implementations?” (core or not).

 

2단계: 정밀 검색 및 비판적 서술 검토
Phase 2: Precise search and critical narrative review

설문 조사 결과를 사용하여 문헌 검색 용어와 검토 프로세스를 구성했습니다. 우리는 사서 설계되고 정밀한 검색을 비판적 서술 검토와 결합하기로 결정했다.16 여기에는 연구 질문을 더욱 세분화하고, 데이터 소스를 식별하고, 연구 선택과 선별 기준을 지정하고, 데이터를 추출하는 작업이 포함되었다. 
We used the survey findings to inform how we constructed our literature search terminology and our review process. We chose to combine a librarian-designed, precise search with a critical narrative review.16 This involved further refining our research question, identifying data sources, specifying study selection and screening criteria, and extracting data. 

검토 질문.
Review question.

데이터 원본, 검색 전략 및 포함 기준.
Data sources, search strategy, and inclusion criteria.

보건직의 역량, 역량, 역량 기반 교육에 초점을 맞춘 영어, 경험적 연구 데이터베이스를 구축하는 것을 목표로 했습니다.
We aimed to assemble a database of English-language, empirical studies focused on competence, competency, and competency-based education in the health professions. 

선택 및 선별 프로세스를 학습합니다.
Study selection and screening process.

추상적 선별 단계에서 검토 질문과 관련된 원본 연구 보고 데이터를 식별하는 데 목적을 둔 기준을 사용하여 연구 포함을 판단했다. 
In the abstract screening step, we judged study inclusion using criteria aimed at identifying original studies reporting data relevant to our review question:  

데이터 추출.
Data extraction.

그런 다음 각 가정에 대해, 각 평가자는 증거가 가정을 뒷받침하는지, 가정을 뒷받침하지 않는지, 또는 혼합되었는지(즉, 데이터에 대한 서로 다른 해석을 시사하는 최소 2개의 근거 출처) 판단했습니다. 평가관은 또한 "불확실"을 선택할 수 있는 옵션이 있었다. 코딩 짝coding pair은 정기적으로 만나 충돌을 해결했습니다.
For each assumption, each rater then judged whether the evidence supported the assumption, did not support the assumption, or was mixed (i.e., at least 2 evidence sources suggesting different interpretations of the data). Raters also had the option to select “unsure.” Coding pairs met regularly to resolve any conflicts.

3단계: 가정의 주제 분석
Phase 3: Thematic analysis of the assumptions

비록 우리는 모든 31가지 가정에 대해 2단계에서 증거를 검토하지는 않았지만, 일련의 정제된 가정에 대한 분석은 의학 교육 커뮤니티가 앞으로의 가정을 어떻게 공식화하고 평가하는지 알려줄 것이라고 결정했다. 따라서, 우리는 공유 또는 대조적인 목적과 가정의 초점의 패턴을 식별하고 분류하기 위해 31가지 가정에 대한 간단한 전통적conventional 내용 분석을 수행하였습니다.21
Although we did not review evidence in phase 2 for all 31 assumptions, we decided that an analysis of our set of refined assumptions would inform how the medical education community formulates and evaluates its assumptions going forward. Therefore, we conducted a simple conventional content analysis of the 31 assumptions to identify and categorize patterns in the shared or contrasting purposes and foci of the assumptions.21 


결과 Results

1단계: "핵심"으로 식별된 가정
Phase 1: Assumptions identified as “core”

우리의 조사에서, 31가지 가정 중 거의 모든 가정은 [경험적으로 연구될 수 있는지]를 묻는 질문에 대해 높은 "예스" 응답을 받았습니다. 따라서, 위에서 설명한 바와 같이, 우리는 가정들이 CBME 프레임워크/구현에 핵심적이었는지를 묻는 두 번째 질문에 "그렇다"는 답변을 강조하였다. "찬성" 투표수를 최소 2 포인트 초과하여 "찬성" 투표수를 받은 가정만 "핵심"으로 정의하기로 한 우리의 결정은 [15개의 핵심 가정]을 산출했습니다.

In our survey, nearly all of the 31 assumptions received a high “yes” response to the question asking whether they could be studied empirically. Thus, as described above, we emphasized “yes” responses to the second question asking whether the assumptions were core to the success of CBME frameworks/ implementations. Our decision to define as “core” only those assumptions receiving a “yes” vote count exceeding the “no” vote count by at least 2 points yielded 15 core assumptions. (The full survey results are available in Supplemental Digital Appendix 2 at http://links.lww.com/ACADMED/B32.)

2단계: 15가지 핵심 가정에 대한 근거 합성
Phase 2: Synthesis of evidence for the 15 core assumptions

우리의 정밀한 문헌 검색 결과 8,086개의 고유 연구가 나왔고, 이를 선별 프로세스는 전체 텍스트 검토를 위한 709개의 연구와 데이터 추출에 대한 189개의 연구로 개선되었다(그림 1). 초록 스크리닝을 위하여, 평가자 쌍은 포함/제외 결정에 대해 93.3%의 일치를 보였습니다(6,885/7,377). 풀-텍스트 스크리닝에서, 평가자 쌍은 포함/제외 결정에 대해 84.5%의 일치(440/520)를 보였습니다. 

Our precise literature search yielded 8,086 unique studies, which our screening processes refined to 709 studies for full-text review and 189 studies for data extraction (Figure 1). For abstract screening, our rater pairs had 93.3% raw agreement on include/exclude decisions (6,885/7,377). For full-text screening, our rater pairs had 84.5% raw agreement on include/exclude decisions (440/520). 

스터디 특성: 분석 및 시사점.
Study characteristics: Analysis and implications.

표 1은 포함된 189개 연구에 대한 연구 특성을 요약한 것이다. 
Table 1 provides a summary of study characteristics for the 189 included studies. References and extracted data for each study are provided in Supplemental Digital Appendix 3 at http://links.lww.com/ACADMED/B33.

 

[직장 내 임상의사 행동]을 강조하는 것은 주목할 만한 연구 관행이지만, 프로토타입 연구의 규칙성은 CBME에 대한 근거의 일반화와 포괄성에 영향을 미칩니다. 한 예로, 절차적 기술(예: 상유화, 복강경, 내시경)에 대한 역량 기반 훈련의 "학습 곡선"에 대해 보고한 많은 연구 결과, 이러한 절차적 기술 지향 근거 기반이 교육생들이 다른 역량(예: 동정적인 종말 치료 논의)을 어떻게 학습하는지를 이해하기 위해 얼마나 일반화, 적용 가능 및 번역 가능한지에 대한 의문이 제기되었습니다.
While emphasizing clinician behaviors in the workplace is a notable research practice,23 the regularity of the prototypical study has implications for the generalizability and comprehensiveness of the evidence for CBME. As one example, many studies reported on the “learning curve” of competency-based training in procedural skills (e.g., phacoemulsification,24,25 laparoscopy,26,27 endoscopy28,29), raising the question of how generalizable, applicable, and translatable such a procedural skills–oriented evidence base will be for understanding the trajectory of how trainees learn other competencies (e.g., compassionate end-of-life care discussions).

또한 [정량적 설계]에 대한 연구자의 선호affinity가, 의료 교육 커뮤니티의 역량 이해를 구성하고 CBME의 시행 계획을 안내하는 데 사용할 수 있는 [근거의 다양성에 한계]를 나타낼 수 있다. 한 가지 유형만으로 연구를 설계하는 것은 연구자가 질문하는 유형의 질문도 제한한다. 보다 질적이고 혼합된 방법 연구는 정량적 설계를 보완할 것이며, CBME가 가장 잘 작동하는 이유, 방법 및 위치를 이해하기 위한 의학교육 연구자와 시행자의 노력에 도움이 될 것이다.

Also, researchers’ affinity for quantitative designs may signal a limitation in the diversity of the evidence available to construct the medical education community’s understanding of competence and to guide its implementation plans for CBME. Predominately using one type of study design also limits the types of questions that researchers ask. More qualitative and mixed-methods studies would complement the quantitative designs and likely serve medical education researchers’ and implementers’ efforts to understand why, how, and where CBME functions best. 

15가지 핵심 가정에 대한 근거 현황: 분석 및 시사점.
State of evidence for the 15 core assumptions: Analysis and implications.

그림 2는 각 핵심 가정과 관련된 연구의 수를 나타내며, 보고된 증거가 뒷받침되는지, 뒷받침되지 않는지, 혼합된지를 세분화한다. 본 연구에서 사용하기 위한 가정들을 개정하면서, 우리는 CBME에 대한 그들의 방향성에 긍정적이라고 썼는데, 이는 뒷받침되는 증거가 CBME 프레임워크와 구현을 지지하는 것으로 해석될 수 있다는 것을 의미한다.
Figure 2 shows the number of studies related to each core assumption, with a breakdown of whether the reported evidence was supportive, not supportive, or mixed. In revising the assumptions for use in the present study, we wrote them to be positive in their orientation toward CBME, meaning that supportive evidence can be interpreted as supportive of CBME frameworks and implementation.

가장 많이 연구된 두 가지 가정, 즉 "교육자는 역량을 달성하기 위한 여러 절차/사례를 미리 결정할 수 없다"와 "역량에 도달하기 위한 선형적이고 점진적인 경로가 있다"에 대한 연구는 [위에서 설명한 프로토타입 연구가 그 예로서] 거의 오로지 절차 기술과 정량적 연구 설계에만 초점unitary focus을 맞췄다. 우려되는 것은 34개 연구 중 6개(18%)만이 "CBME 프레임워크는 본질적으로 명확하고 직관적"이라는 가정에 대한 지지 증거를 제시했다는 연구 결과이다. 비록 우리가 그 6개 연구의 특징에서 패턴을 발견하지는 못했지만, 이 발견은 보다 일관성 있는 CBME 구현과 평가 프레임워크를 생산하기 위한 최근의 노력을 확인시켜준다. 10 또한 연구의 거의 절반(46%; n = 86/18)이 역량 프레임워크를 명시하지 않은 이유를 설명할 수 있을 것이다. 
Research on the 2 most-studied assumptions—“Educators cannot predetermine a number of procedures/ cases for achieving competence” and “There is a linear, progressive pathway to reach competence”—had an almost unitary focus on procedural skills and quantitative study designs, exemplifying the prototypical study described above. Of concern is our finding that only 6 (18%) of 34 studies produced supportive evidence for the assumption “CBME frameworks are inherently clear and intuitive.” Though we found no pattern in the characteristics of those 6 studies, this finding affirms recent efforts to produce more coherent CBME implementation and evaluation frameworks.10 It also may explain why nearly half the studies (46%; n = 86/189) did not specify a competency framework. 


또한 주목할 점은 77%의 연구(n = 27/35)가 "역량은 관찰 가능하고 측정 가능한 행동으로 분해될 수 있다"는 가정에 대한 뒷받침 증거를 제시했지만, 46%(n = 13/28)만이 "훈련생이 역량을 갖추게 될/실천 준비가 되는 분명한 시점이 있다"는 가정에 대한 뒷받침 증거를 제시했다는 점이다. 한 가지 해석은 연구자들이 특정 역량을 측정하는 데 성공했지만, 측정 가능하고 관찰 가능한 행동의 [어느 수준을 "역량있음competent"로 규정할 수 있는지 또는 표시해야 하는지를 정의하는 데 어려움]을 겪었다는 것일 수 있다. 우리는 독자들이 유용한 증거 사슬을 구축하는 추가 연구에 어떻게 정보를 제공할 수 있는지를 포함하여 가정들 사이의 그러한 연관성과 상호작용을 고려할 것을 권장한다. 예를 들어, [역량이 정의되고 측정되는 방법]과 [이러한 지표가 훈련생과 실무자의 진급career progress]에 대한 결정으로 어떻게 전환되는지를 명확히 연결짓는 연구가 필요하다.

Also notable is our finding that while 77% of studies (n = 27/35) produced supportive evidence for the assumption “Competence can be broken down into observable, measurable behaviors,” only 46% of studies (n = 13/28) produced supportive evidence for the assumption “There is a clear point when a trainee becomes competent/ready for practice.” One interpretation may be that although researchers have had success measuring certain competencies, they have had difficulty defining what level of the measurable, observable behavior can or should be labeled as “competent.” We encourage readers to consider such connections and interactions between the assumptions, including how they might inform further research that builds helpful chains of evidence; for example, research is needed to build clear connections between how competencies are defined and measured and how these metrics are translated into decisions about trainees’ and practitioners’ career progress. 

시간의 경과에 따른 핵심 가정 연구의 패턴.
Patterns in studies of the core assumptions over time.

우리는 아래와 같이 CBME를 둘러싼 담론에 영향을 주는 많은 요소들로 인해, 시간이 지남에 따라 가정에 대한 연구량이 변화할 것으로 예상했습니다. 

• 유행;
• 정치적 우선순위 
• 영향력 있는 저자, 저널 및 자금 지원 기관의 연구 및 구현 안건.

We anticipated that the volume of research on the assumptions might change over time, as conversations around CBME have evolved due to many factors, including fads30; political priorities31; and research and implementation agendas of influential authors, journals, and funding agencies.32,33

 

3단계: 31가지 가정에 대한 주제 분석
Phase 3: Thematic analysis of the 31 assumptions

우리는 인식된 목적과 초점의 패턴을 식별하고 분류하기 위해 31개의 정제된 가정을 분석하면서 이를 세 가지 범주의 열망, 개념화, 평가 관행(표 2)으로 분류했습니다.
In analyzing the 31 refined assumptions to identify and categorize patterns in their perceived purpose and focus, we organized them into 3 categories: 

• aspirations, 
• conceptualizations, and 
• assessment practices (Table 2).

이를 탐구하면서 우리는 [CBME의 구현을 통해 무엇을 의도하는지]와 크게 관련된 [열망적 가정aspirational assumptions]을 발견했다. 즉, 이 가정들은 CBME가 어떻게 기능하고 가장 잘 구현될 수 있는지를 명확히 하기보다는, [CBME를 정당화하는 데 초점]을 맞춘 것으로 보인다(즉, 현재 시스템과 비교하는 것). 즉, [열망적 가정]들은 개입에 대한 [수사적 주장을 발전시키는데 도움]을 주었지만, 그것들을 연구하는 것은 교육자들이 그러한 [열망이 어떻게 그리고 왜 실현되었는지 이해하는 데 일반적으로 도움이 되지 않았다].

In exploring this, we found that aspirational assumptions largely related to what implementing CBME is intended to do; thus, they appear to focus on justifying CBME (i.e., relative to the current system), instead of clarifying how CBME functions and might best be implemented.34 That is, most aspirational assumptions helped develop a rhetorical argument for an intervention, but studying them typically did not help educators understand how and why those aspirations had been realized.

 

 

고찰 Discussion

이 비판적인 서술 검토에서, 우리는 CBME에 대한 중요하고 [비교적 동질적인 문헌]을 발견했다.
In this critical narrative review, we found a significant and relatively homogeneous literature on CBME.

우리는 CBME 및 역량에 대해 이전에 식별한 의학교육 커뮤니티의 가정을 다듬고, 우선 순위를 정했으며, 그러한 가정의 핵심 부분 집합과 관련된 증거를 평가했으며, 커뮤니티가 CBME 및 역량에 대해 제시한 가정 유형을 평가했다. 구체적으로, 우리는 31가지 가정 중 15가지를 [CBME 프레임워크의 "핵심"]으로 판단했고, 검토에 포함된 189가지 연구의 대다수가 [정량적 설계를 사용]하고 절차적 기술과 같이 [관찰 가능한 역량을 강조]하여 그러한 가정을 다루었다는 것을 발견했다. 
We refined and prioritized the medical education community’s previously identified14 assumptions about CBME and competence, appraised the evidence associated with a core subset of those assumptions, and evaluated the types of assumptions the community has made about CBME and competence. Specifically, we judged 15 of the 31 assumptions as “core” to CBME frameworks and found that the majority of the 189 studies included in our review addressed those assumptions using a quantitative design and emphasizing observable competencies, like procedural skills. 

향후 CBME 연구 및 구현을 위한 권고사항
Recommendations for future CBME research and implementation

CBME의 모든 임상 기술과 비판을 포함하는 것을 연구 목표를 확대한다.
Expand research aims to include the full range of clinical skills and critiques of CBME.

첫째, 우리는 연구 관행을 절차적 기술과 같이 [가장 쉽고 직접적으로 관찰할 수 있는 기술과 관련된 가정]으로부터 [임상 기술의 전체 범위(즉, 모든 내재적 역할과 역량)와 관련된 가정]으로 전환할 것을 권고한다. 우리의 분석(특히 그림 2)에서 어떤 부분에서 근거기반이 혼재되어있거나 충분하지 못한지를 강조하였으며, 이것은 앞으로의 연구 노력을 지시direct할 수 있는 하나의 가이드 역할을 한다. 기존 CDA도 또 다른 가이드이다. 이 CDA에서는 CBME에 대한 '무단 비판unauthorized critiques'을 [CBME를 난관challenge없이 도입하려는 이들]이 최소화한 연구 질문 유형으로 파악한 바 있다. 예를 들어, 한 가지 unauthorized critique으로는 [CBME 접근방식은 능력의 환원주의 모델에 기초하기 때문에 제한적이라는 것]이 있다. 이전에 최소화되었던 사고방식을 탐구하는 미래 연구는 이 검토에서 관찰한 혼합 근거 기반을 해결할 수 있는 가능성을 가질 수 있다. 

First, we recommend shifting research practices from studying assumptions related to the most easily and directly observable skills, like procedural skills, toward those related to the full range of clinical skills (i.e., all intrinsic roles and competencies). Our analysis (especially Figure 2) highlights where the evidence base is mixed and where it is thin and thus serves as one guide for how researchers can direct their efforts. Another guide is the previous CDA,14 which identified “unauthorized critiques” about CBME as the types of research questions that have been minimized by those wanting to install CBME without challenge. For example, one unauthorized critique is that CBME approaches are limited because they are built on a reductionist model of competence.30,38–40 Future research exploring these previously minimized ways of thinking may have potential to resolve the mixed evidence base we observed in this review. 

 

연구 설계와 그에 따른 증거 기반을 다양화합니다.
Diversify research designs and the resulting evidence base.

둘째, 우리는 현재 [왜곡된 연구 관행]이 [왜곡된 증거 기반]을 만들어냈다는 것을 인정할 것을 권고한다. 우리는 일부 가정들이 특정 연구 설계에 더 많은 도움을 준다는 것을 인정하지만, 의료 교육 커뮤니티가 접근 방식을 표준화하려고 하기보다는 [다양한 설계, 방법 및 패러다임을 사용]하고 [여러가지 CBME의 구현에 걸친 다양성을 이용함capitalizing]으로써 이익을 얻을 것이라 생각한다. 우리는 누가, 어떻게, 무엇을 공부하느냐에 있어 다양성을 높일 것을 추천합니다. 
Second, we recommend acknowledging that the presently skewed research practices have produced a skewed evidence base. While we acknowledge that some assumptions lend themselves more to specific study designs, we suggest that the medical education community will benefit from using diverse designs, methods, and paradigms and from capitalizing on the variability across different implementations of CBME, rather than trying to standardize the approach. We recommend increasing the diversity in who, how, and what we study.

포부에서 설명으로 전환합니다.
Shift from aspirations to clarifications.

셋째, 우리는 의학교육계의 가정과 질문을 바꾸는 것을 추천한다. 

• 역량 및 CBME를 조작화하는 방향으로
• 구현의 메커니즘과 함의를 더 잘 이해하기 위한 방향으로
• CBME 평가 데이터를 어떻게 수집, 해석, 사용 및 평가할지를 결정하는 방향으로

Third, we recommend shifting the medical education community’s assumptions and inquiry

• toward operationalizing competence and CBME;
• toward gaining a greater understanding of the mechanisms and implications of implementation; and
• toward determining how to collect, interpret, use, and evaluate CBME assessment data.

이제는 [열망적 가정]을 형성하는 것에서 벗어나야 할 때가 왔으며, 이는 [정당화와 복제 연구]에서 [명확화 연구](즉, CBME의 작동 방식과 이유)로 발전하는 것을 의미한다.
We believe the time has come to shift away from forming aspirational assumptions, which means progressing from justification and replication studies toward clarification studies (i.e., how and why CBME works).34 

CBME 연구 및 구현을 위한 자금을 통합합니다.
Integrate funding for CBME research and implementation.

넷째, CBME의 [연구 및 평가에 대한 계획과 자금]을 CBME [구현 계획]과 통합할 것을 권장합니다. CBME를 채택하는 기관과 임상 전문가는 CBME의 원칙을 임상 및 비임상 환경에서 교육 실천요강으로 변환하기 위해 선택한 특정 방법의 동시 연구와 평가에 자원을 할당함으로써 이익을 얻을 수 있다.
Fourth, we recommend integrating the planning for and funding of research and evaluation of CBME with the planning of CBME implementation. Institutions and clinical specialties adopting CBME would benefit from allocating resources to concurrent research and evaluation of the specific ways they choose to translate the principles of CBME into their educational practices in the clinical and nonclinical settings.

연구 증거와 지식 사용자의 암묵적 지식의 균형을 맞추십시오.
Balance research evidence with knowledge users’ tacit knowledge.

지식 이용자들이 [증거를 기존 문화와 실천으로 변환할 때], [연구 증거를 강조하는 것]과 [숙고, 협상, 인간적 판단의 가치를 평가하는 것] 사이의 균형을 요구하는 다른 학자들의 의견에 동의한다. 따라서, [여기에서 제시된 근거 기반]은 그들의 기관에서 CBME를 어떻게 전달하고 연구연구할지 결정할 때 사용할 [광범위한 정책 결정 토론의 한 가지 구성요소]에 불과해야 한다. 
We join other scholars who call for balance between emphasizing research evidence and valuing the deliberations, negotiations, and human judgment required when knowledge users translate evidence into existing cultures and practices.41–43 Hence, the evidence base presented here should become but one component of the broader policy-making discussions program directors, educators, and researchers engage in when deciding how to deliver and how to study CBME at their institutions. 

즉, 우리는 "증거 자체만으로는 '어떻게 해야 하는가'(특히 자원을 어떻게 배분할 것인가)에 대한 윤리적 질문에 대한 해답을 제공하지 않는다"는 이전의 사고에 동의한다.

That is, we agree with previous thinking that “evidence does not in and of itself provide the answer to the ethical question of ‘what to do’ (and in particular, how to allocate resources).”41


제한사항
Limitations

둘째, 15가지 핵심 가정을 선정하기 위해 엄격한 조사 프로세스를 사용했지만, 조사 응답자는 지식 사용자보다 더 많은 연구자를 포함했고, 이는 핵심이 아닌 핵심 가정으로 판단되는 가정에 확실히 영향을 주었다(표 2).
Second, although we used a rigorous survey process to select the 15 core assumptions, the survey respondents included more researchers than knowledge users, which surely impacted which assumptions were judged as core versus not core (Table 2).

셋째, 비판적 서술 검토 접근법을 사용할 때 15,16 포함된 연구의 방법론적 품질을 평가하기 위해 데이터를 추출하지 않았으며, 이는 이용 가능한 증거에서 편향 위험에 대해 언급할 수 없다는 것을 의미한다.
Third, in using a critical narrative review approach,15,16 we did not extract data to assess the methodological quality of the included studies, which means we cannot comment on the risk of bias in the available evidence.

 

---

Acad Med. 2021 Feb 1;96(2):296-306.

 doi: 10.1097/ACM.0000000000003781.

Assumptions About Competency-Based Medical Education and the State of the Underlying Evidence: A Critical Narrative Review

Ryan Brydges 1, Victoria A Boyd 2, Walter Tavares 3, Shiphra Ginsburg 4, Ayelet Kuper 5, Melanie Anderson 6, Lynfa Stroud 7

Affiliations collapse

Affiliations

• 1R. Brydges is research director, a scientist, and professor of technology-enabled education, Allan Waters Family Simulation Centre, St. Michael's Hospital, and associate professor, Department of Medicine and Wilson Centre for Research in Education, University of Toronto and University Health Network, Toronto, Ontario, Canada; ORCID: http://orcid.org/0000-0001-5203-7049.
• 2V.A. Boyd is a PhD student, Institute of Health Policy, Management and Evaluation, University of Toronto, and a research fellow, Wilson Centre for Research in Education, University of Toronto and University Health Network, Toronto, Ontario, Canada; ORCID: http://orcid.org/0000-0003-3602-8964.
• 3W. Tavares is a scientist, Wilson Centre for Research in Education, University of Toronto and University Health Network, and assistant professor, Post MD Education, Department of Medicine, Institute of Health Policy Management and Evaluation, University of Toronto, Toronto, Ontario, Canada; ORCID: http://orcid.org/0000-0001-8267-9448.
• 4S. Ginsburg is professor, Department of Medicine, University of Toronto, a scientist, Wilson Centre for Research in Education, University of Toronto and University Health Network, and Canada Research Chair in Health Professions Education, Mt Sinai Hospital, Toronto, Ontario, Canada; ORCID: http://orcid.org/0000-0002-4595-6650.
• 5A. Kuper is associate professor and faculty co-lead, Person-Centred Care Education, Department of Medicine, University of Toronto, a scientist and associate director, Wilson Centre for Research in Education, University of Toronto and University Health Network, and a staff physician, Division of General Internal Medicine, Sunnybrook Health Sciences Centre, Toronto, Ontario, Canada; ORCID: http://orcid.org/0000-0001-6399-6958.
• 6M. Anderson is an information specialist, University Health Network, Toronto, Ontario, Canada.
• 7L. Stroud is associate professor, Department of Medicine, University of Toronto, a Centre researcher, Wilson Centre for Research in Education, University of Toronto and University Health Network, and a staff physician, Division of General Internal Medicine, Sunnybrook Health Sciences Centre, Toronto, Ontario, Canada.

• PMID: 33031117
• DOI: 10.1097/ACM.0000000000003781Abstract
• Purpose: As educators have implemented competency-based medical education (CBME) as a framework for training and assessment, they have made decisions based on available evidence and on the medical education community's assumptions about CBME. This critical narrative review aimed to collect, synthesize, and judge the existing evidence underpinning assumptions the community has made about CBME.Results: From 8,086 unique articles, the authors reviewed 709 full-text articles and included 189 studies reporting evidence related to 15 core assumptions. Most studies (80%; n = 152) used a quantitative design. Many focused on procedural skills (48%; n = 90) and assessed behavior in clinical settings (37%; n = 69). On aggregate, the studies produced a mixed evidence base, reporting 362 data points related to the core assumptions (169 supportive, 138 not supportive, and 55 mixed). The 31 assumptions were organized into 3 categories: aspirations, conceptualizations, and assessment practices.
• Conclusions: The reviewed evidence base is significant but mixed, with limited diversity in research designs and the types of competencies studied. This review pinpoints tensions to resolve (where evidence is mixed) and research questions to ask (where evidence is absent). The findings will help the community make explicit its assumptions about CBME, consider the value of those assumptions, and generate timely research questions to produce evidence about how and why CBME functions (or not).
• Method: The authors searched Ovid MEDLINE to identify empirical studies published January 2000 to February 2019 reporting on competence, competency, and CBME. The knowledge synthesis focused on "core" assumptions about CBME, selected via a survey of stakeholders who judged 31 previously identified assumptions. The authors judged, independently and in pairs, whether evidence from included studies supported, did not support, or was mixed related to each of the core assumptions. Assumptions were also analyzed to categorize their shared or contrasting purposes and foci.
• Copyright © 2020 by the Association of American Medical Colleges.