의과대학생토론포럼에서 드러난 CBME에 대한 인식(Med Educ, 2019)

의과대학생토론포럼에서 드러난 CBME에 대한 인식(Med Educ, 2019)

Perceptions of competency-based medical education from medical student discussion forums
Anahita Dehmoobad Sharifabadi,1 Chantalle Clarkin2 & Asif Doja1,3

 

도입
INTRODUCTION

대학원 교육의 전통적인 패러다임은 모든 의료 훈련생에게 [고정된 타임라인]과 [표준화된 의료 콘텐츠 노출]을 사용하는 [시간 기반 접근법]에 의존한다.1 그러나 의료 서비스 제공의 진화하는 환경은 미래의 의사에게 더 많은 책임감을 요구하며, [의료 교육 완료 후, 정의된 역량과 성과]를 요구한다.2-4 이와 같이 역량 기반 의학교육(CBME)은 의료교육에 대한 [성과기반 접근법]을 제공하기 위해 개발되었다. 
The traditional paradigm of postgraduate education relies on a time-based approach, where a fixed timeline and standardised exposure to medical content is used for all medical trainees.1 However, the evolving landscape of health care delivery demands more accountability from future physicians, with defined competencies and outcomes after the completion of their medical training.2–4 As such, competency-based medical education (CBME) was developed to provide an outcome-based approach to medical education. 

북미에 CBME의 도입은 전문의를 위한 Canadian Medical Education Directives for Specialists Competency Framework 및 ACGME(Acreditation Council for Graduate Medical Education) 마일스톤 프로젝트와 같은 역량 프레임워크 개발을 통해 시작되었습니다.3 
The introduction of CBME in North America was initiated through the development of competency frameworks, such as the Canadian Medical Education Directives for Specialists Physician Competency Framework and the Accreditation Council for Graduate Medical Education (ACGME) Milestones Project.3

하지만, CBME의 이론적 개념의 구현은 많은 면에서 도전적이었다.5 CBME의 [실질적, 물류적 과제]는 CBME를 구현하는 프로그램의 관리 부하 증가, 교육과 서비스가 서로 얽혀 있는 개념, 자원 증가의 필요성 등이다.6 또한, [역량에 대한 공유된 정의의 결여]와 [수련생의 임상 기술을 대변할 수 있는 역량의 부족]과 같은 [이론적 난제]들은 더 큰 난제들을 제기한다.6 이론적 역량을 임상 실무로 전환하기 위한 노력으로 교육생에 맞춘 적절한 수준의 감독 하에 수행되는 업무 또는 책임인 위임가능 전문 활동(EPA)이 구현되었습니다.6
However, the implementation of the theoretical concepts of CBME has been challenging in many aspects.5 The practical and logistical challenges of CBME include increases in the administrative load of programmes implementing CBME, the concept of training and service being intertwined, and the need for increased resources.6 Additionally, theoretical challenges such as the lack of a shared definition of competencies and the ability of competencies to represent trainees’ clinical skills pose further challenges.6 In an effort to translate theoretical competencies into clinical practice, entrustable professional activities (EPA) have been implemented, which are tasks or responsibilities performed under appropriate levels of supervision tailored to trainees.6

현재 CBME에 관한 문헌은 전문가 의견 7,8에 중점을 두고 있으며, CBME에 대한 교육생들의 인식에 대한 정보가 한정되어 있다. 이는 CBME의 여러 측면에 대한 교육생들의 시각과 교육생들의 시각이 상충된다는 것을 보여주는 연구로서 문제가 있다. 9,10 예를 들어, 교육생들은 '마일스톤'에 있는 용어를 완전히 이해하는 데 어려움을 겪고 있다. 또한 [임상 역량]의 이해에 있어서 훈련생과 교육자 사이에 평가와 상당한 차이가 존재한다.11,12
The current literature on CBME focuses heavily on expert opinions7,8 and there is limited information available on trainees’ perceptions of CBME. This is problematic as studies have illustrated that trainees’ and staff’s views on several aspects of CBME are discordant.9,10 For example, trainees struggle to fully comprehend the language of a ‘milestone’ assessment and significant gaps exist between trainees and educators in understanding clinical competence.11,12

[수련생이 가지고 있는 인식이 CBME의 성공적인 구현에 근본적으로 영향을 미친다는 점]을 감안할 때, 이러한 관점을 충분히 탐구하는 것이 필수적입니다.14
Given that the perception of trainees fundamentally impacts the successful implementation of CBME, it is essential to explore these perspectives fully.14

[온라인 토론 포럼]은 최근 의학 교육의 다양한 주제에 대한 통찰력의 연구 도구가 되고 있다.15-17 포럼은 다양한 수준의 교육 포스터가 익명으로 참여할 수 있는 디지털 개방형 액세스 플랫폼입니다. 이러한 포럼은 공식적인 연구 그룹과는 달리 교육생들 간의 솔직하고 진실한 토론을 촉진할 수 있습니다. Premed 101과 SDN(Student Doctor Network)은 각각 캐나다 및 미국 포럼의 예입니다. 

Online discussion forums have recently become a research tool for insight into various topics in medical education.15–17 Forums are digital openaccess platforms where posters from various levels of training can participate anonymously. These forums, as opposed to formal research groups, can promote honest and authentic discussions amongst trainees. Premed 101 and the Student Doctor Network (SDN) are examples of Canadian and American forums, respectively. 

방법
METHODS

[사회구성주의 패러다임]은 이 연구의 인식론적 토대를 제공했다. 이 연구는 다음과 같은 구성주의 원칙을 고려하여 고안되었다: 개별적 지식은 개인이 경험적 세계와 적합성과 일관성을 유지하기 위해 시도하는 주관적 구성의 복잡하고 비선형적이며 지속적인 과정이다.18 
A social constructivist paradigm provided the epistemological foundation for this study. This study was designed with consideration of the following constructivist principles: individual knowing is a complex, non-linear, continuous process of subjective construal through which the individual attempts to maintain fitness and coherence with the experiential world.18

사회구성주의 측면에서 [개인의 지식]은 자신이 참여하는 집단적 지식과 더 큰 사회적 실천에 의해 뿌리내리고 전개되고 형성되는 것으로 본다. 이와 같이 [사회적 구성]은 단순히 학습을 촉진하거나 영향을 미치는 것이 아니라, 근본적인 방법으로 학습을 구체화하고 정의합니다. 이러한 지식 관점을 고려할 때, [대화식 비동기식 온라인 토론 포럼]에 참여하는 것은 [의학교육에서의 지식 구축 과정과 그 퀄리티]를 모두 프레임할 수 있습니다.

In terms of social constructivism, individual knowing is viewed as being rooted in, unfolding from and shaped by collective knowledge and larger social practices one participates in.19 As such, social constructions do not simply facilitate or influence learning, but shape and define it in fundamental ways.18 Given this view of knowledge, engagement in interactive, asynchronous online discussion forums can frame both the process and quality of knowledge building in medical education. 

우리는 Premed 101, 캐나다 웹사이트, SDN의 원본 게시물과 응답 게시물을 조사했다. 특히 CBME와 관련된 스레드를 찾고 있다. 이 두 포럼은 의료 전문가들 사이에서 가장 널리 사용되는 토론 포럼이기 때문에 분석을 위해 선택되었다.각 국가의 연방정부에 의해 살해되었다.
We examined original postings and response posts fromPremed 101 (http://forums.premed101.com/), a Canadian website, and SDN (http://www.studentd octor.net/), an American website, specifically looking for threads pertinent to CBME. These two forums were selected for analysis because they are the most widely used discussion forums amongst medical professionals in each respective country.

데이터 집합에서 새로운 테마를 식별하기 위해 [귀납적 내용 분석]이 사용되었습니다. 이 정성적 접근법에서 범주들은 이론 기반 범주화 매트릭스 없이 원시 데이터로부터 생성된다.21 데이터 및 분석 프로세스의 조직에는 개방형 코딩, 범주화 및 추상화가 포함되었다.22

• 먼저, 한 저자(ADS)는 일련의 예비 코드를 생성하기 위해 데이터를 한 줄씩 검토했다.22
• 그런 다음 두 번째 작성자(CC)는 예비 코드를 사용하여 600개의 게시물을 검토하고 공동 코딩하여 이를 더욱 세분화하고 개정했다. 작성자(ADS, CC 및 AD)는 데이터의 초기 인상과 예비 코드를 논의하기 위해 모였습니다.
• 이 단계에 이어서, 중복성을 최소화하고 유사성과 차이를 강조하기 위해 코드를 테마로 재분류하는 과정을 통해 데이터로부터 범주가 생성되었다.
• 마지막으로, 추상화 과정에서 연구 주제에 대한 일반적인 설명이 작성되었고, 통일된 주제와 하위 주제를 중심으로 코드가 재구성되었으며, 실례가 식별되었다.

Inductive content analysis was used to identify emergent themes in the dataset. In this qualitative approach, categories are created from the raw data without a theory-based categorisation matrix.21 The organisation of data and analytical process included open coding, creating categories and abstraction.22

• First, one author (ADS) reviewed the data, line by line, to generate a set of preliminary codes.22
• A second author (CC) then reviewed and co-coded a subset of 600 posts using the preliminary codes, in order to further refine and revise them. The authors (ADS, CC and AD) then assembled to discuss initial impressions of the data and the preliminary codes.
• Following this step, categorisations were created from the data through a process of regrouping codes into themes in order to minimise redundancy and highlight similarities and differences.
• Finally, during abstraction, a general description of the research topic was formulated, codes were reorganised around unified themes and sub-themes, and illustrative examples were identified.

추상화 중에 저자들(ADS, CC, AD)이 만나 주제를 논의하고 선택된 인용문을 검토하며 합의를 도출했습니다. 합의를 도출하는 과정에는 다양한 해석에 의문을 제기하고 해석의 차이가 어디에서 비롯되었는지 탐구하기 위해 데이터에서 한 걸음 물러나는 과정이 포함되었으며, 이는 종종 가치 있는 반사적 통찰력을 드러냈습니다. 두 포럼의 데이터셋에 대한 분석이 완료되면 각 포럼의 결과를 비교, 대조 및 통합하기 위해 교차 분석을 수행했습니다. 교차 포럼 분석은 충분한 이해의 깊이를 가져와서 개념의 미묘함을 이해하고 결과를 명확히 표현하기 위해 건설적으로 사용되었습니다.23 

During abstraction, the authors (ADS, CC and AD) met to discuss themes, review the selected quotes and establish consensus. Establishing consensus involved questioning divergent interpretations and stepping back from the data to explore where the differences in interpretation stemmed from, which often revealed valuable reflexive insight. Once analysis was complete for the datasets from both forums, we conducted a cross analysis in order to compare, contrast and synthesise the findings from each forum. Cross-forum analysis resulted in a sufficient depth of understanding, such that the subtlety of concepts was understood and used constructively to articulate the findings.23 



우리는 데이터의 하위 집합의 코딩, 반복적인 팀 토론, 코딩의 모든 단계에서 합의된 조치 수립, 모든 코딩 및 데이터 관련 의사결정에 대한 상세한 감사 평가 유지 등 여러 가지 방법으로 조사 결과의 신뢰도trustworthiness를 향상시켰다.

• 저자(ADS, CC 및 AD)는 또한 연구자와 임상의로서 경험, 가치, 문화 및 잠재적 편견을 반영하면서 과정 전반에 걸쳐 자신의 입장을 고려했다.
• 연구 개념화 동안 그리고 데이터 수집 전략을 개발하기 전에, 반사성을 향한 우리의 첫 번째 단계 중 하나는 본 연구의 가장 흥미로운 측면과 그 이유를 포함하여 우리의 배경과 관점에 대한 논의를 포함했다.
• 우리는 연구 내내 이러한 대화를 다시 살펴보면서, 우리의 가정들이 우리의 발견에 영향을 미칠 수 있는지에 대해 의문을 품었다.
• 우리 전문직 간 팀은 의대 3학년(ADS), 보건직 교육에 중점을 둔 질적 간호사 연구원(CC), 의대 교육 연구원이기도 한 의사(AD)로 구성됐다. 이러한 분야, 교육, 경험의 다양성은 토론과 해석에 풍부함을 더했다. 

We enhanced the trustworthiness of our findings in a number of ways, including the co-coding of a subset of data, repeated team discussions, consensus-establishing measures at all phases of coding, and maintaining detailed audit trials of all coding and data-related decisions.

• The authors (ADS, CC and AD) also considered their own positioning throughout the process, reflecting on their experiences, values, culture and potential biases as researchers and clinicians.
• During study conceptualisation and prior to the development of a data collection strategy, one of our first steps towards reflexivity involved the discussion of our backgrounds and views, including the aspects of this study that interested us most and why.
• We revisited these conversations throughout the study, questioning whether our own assumptions could have an influence on our findings.
• Our interprofessional team was composed of a third-year medical student (ADS), a qualitative nurse researcher (CC) with a focus on health professions education, and a physician (AD) who was also a medical education researcher. This diversity of fields, education and experience added richness to discussions and interpretations. 

결과
RESULTS

70개의 토론 쓰레드에서 총 3623개의 게시물을 검사했으며, 20개의 쓰레드에서 867개의 게시물이 Premed 101(캐나다)에서, 2756개의 게시물이 SDN(미국) 포럼에서 50개의 쓰레드에서 작성되었습니다.

A total of 3623 posts from70 discussion threads were examined; 867 posts from20 threads were from Premed 101 (Canadian) and 2756 posts were from50 threads in the SDN(American) forum.

 

CBME가 전공의 수련 기간에 미치는 영향
Effect of CBME on length of residency

[캐나다 포럼]에서 공통적으로 논의되는 주제는 CBME가 전공의 수련 기간에 미치는 잠재적인 영향에 초점을 맞췄다. 구체적으로, 대부분의 글쓴이는 역량이 완성되면 레지던트의 기간이 단축될 수 있는지 여부에 관심이 있었다. 그러나, 대부분의 게시물들은 특히 로지스틱 문제로 인해 CBME가 시행될 때 훈련 시간이 영향을 받지 않을 가능성이 높다는 것을 인정했다. 조기졸업으로 인해 인력문제가 발생하는 것에 대한 논의도 있었고, 전공의의 조기졸업이 환자진료에 영향을 미칠지, 다른 수련생들의 업무량을 늘릴지에 대한 의문도 제기되었다. 다른 이들은 CBME가 모든 역량을 포괄적으로 다루기 위해 가정의학 레지던시 프로그램을 2년에서 3년으로 연장할 수 있다는 사실에 대해 논의했다. 토론토 대학교 정형외과 프로그램에 관한 사례들이 있었는데, 이 프로그램들은 졸업생들이 더 빨리 교육을 마칠 수 있을 것이라는 인식을 보도했고, 글쓴이들은 다른 프로그램들이 그 뒤를 따를지 궁금했다. 
A common discussion topic in the Canadian forums focused on the potential impact of CBME on the length of residency. Specifically, most posters were interested in knowing whether the length of a residency could be shortened upon completion of competencies. However, most posts acknowledged that the training times are not likely to be affected when CBME is implemented, particularly as a result of logistical issues. There were also discussions about early graduation creating workforce issues, and questions were raised around whether early graduation of residents would impact patient care or increase the workload for other trainees. Others discussed the fact that CBME may lengthen the family medicine residency programme from 2 to 3 years to cover all competencies comprehensively. There were examples regarding the University of Toronto Orthopedics Surgery programme, which reported the perception that their graduates may be able to finish training more quickly, and posters wondered if other programmes would follow suit. 

[조기 졸업 가능성]에 대한 비슷한 논의가 SDN의 초기 실마리에 있었다. 한 글타래에서는 캐나다에서와 같이 가정의학 레지던스를 3년 프로그램에서 2년 프로그램으로 단축할 수 있는 가능성에 대해 논의했다. 특히 캐나다 포럼에 비해 [수련 시간이 변하지 않을 것이라는 인식]이 적은 대신, CBME 훈련 시간 단축에 대한 열정이 더 큰 것으로 보였다. 또한 전공의 수련 기간 단축이 교육인원을 충원하여 교육능력을 높이고 인력난을 해결할 수 있는 가능성에 대한 논의도 있었다. 

Similar discussions regarding the potential for early graduation were present in the earlier threads on SDN. One thread discussed the possibility of shortening family medicine residencies from a 3-year programme to a 2-year programme, as in Canada. Notably, compared to the Canadian forums, there seemed to be less recognition that training times will not change and instead more enthusiasm for CBME shortening training times. There was also discussion around the potential for shorter residencies to increase training capacities and address workforce shortages by recruiting more trainees. 

CBME가 전공의 수련 후 노력에 미치는 영향
Effect of CBME on post-residency endeavours

[캐나다 포럼]에서 두 번째로 많이 논의된 레지던트 트레이닝은 CBME가 레지던트를 넘어 훈련과 실습에 미치는 영향이었다. 이러한 논의에서 CBME는 [인증 유지MoC의 필요성]이 발생할 때 practice로 확장되는 것을 주로 논의하였다. 글쓴이들은 환자에 대한 책임을 보장하고 의료 오류를 방지하기 위해 특정 역량의 기관을 인증하는 방식으로 향후 auditing의 가능성을 논의했다. [고도로 전문화된 관심사]를 가진 학술병원에서 근무하는 의사들에게는 [포괄적인 전문성 재평가 검사]가 어려울 수 있다는 논의가 있었다. 또한 참가자들은 실무에 대한 영향, 잠재적 손실 수익 및 교정조치 등 재인증MoC 심사 실패의 영향에 대해 논의하였다. 또한 전임의 과정을 조기에 마치는 것이 미치는 영향에 대한 논의가 있었다. 참가자들은 전임의 프로그램에 지원할 때 전공의를 조기에 마치는 것이 자산asset으로 간주되는지 여부와 7월 1일의 표준 프로그램 시작일에 조기 마치는 것이 미치는 영향에 대해 궁금해했다.

In the Canadian forum, the second most common discussion on residency training was CBME’s effect on training and practice beyond residency. The discussions in these threads primarily discussed CBME’s extension into practice when the need for maintenance of certification arises. Posters discussed the possibility of future auditing by accrediting bodies of certain competencies in order to ensure accountability to patients and prevent medical errors. There were discussions that broad-specialty reassessment examinations may be difficult for physicians who work in academic hospitals with highly specialised interests. Participants also discussed the impact of failing recertification examinations, including the implications for practice, potential lost income and remediation. Furthermore, there was discussion around the effect of finishing fellowship training earlier; participants wondered if finishing residency early was considered an asset when applying to fellowship programmes and also the impact of finishing early on the standard programme start dates of 1 July. 

평가의 주관성
Subjective nature of evaluations

평가의 주관성 주제는 캐나다와 미국 포럼에서 공통적으로 언급되었다. 주관성은 

• (i) 역량의 주관성 및 
• (ii) 스텝이 학생을 평가하는 과정의 주관성

...두 부분으로 설명되었다.
The topic of subjectivity in evaluations was commonly mentioned in both the Canadianand American forums. Subjectivity was described in two parts: (i) subjectivity in competencies, and (ii) subjectivity in the process of staff evaluating the students.

캐나다 포럼에서 참가자들은 [역량을 정의하고 다양한 등급의 역량 사이의 모호성을 제거하는 것]이 정말 어려운 부분이 될 수 있음에 대해 논의했다. 특히, 외과 전문의의 경우 역량을 획득하기 위해 필요한 임의의 수의 절차가 있는지 여부를 묻는 글쓴이도 있었다. 대인 역학관계가 학생 평가에 미치는 영향도 우려했다. 구체적으로, 많은 글쓴이들은 교육생들의 성격에 대한 [프리셉터의 개인적인 인상]이 임상 평가에 미치는 영향에 대해 궁금해했다. 
In the Canadian forum, participants discussed how the real challenge will be to define competencies and to remove the ambiguity between various grades of competency. Specifically, for surgical specialties, posters questioned if there would be an arbitrary number of procedures required to obtain competency. Another concern was the effect of interpersonal dynamics on the evaluation of students. Specifically, many posters wondered about the effect of preceptors’ personal impressions of trainees’ personalities on their clinical evaluations. 

미국 포럼에서도 [역량의 채점grading에 대한 공통된 정의]가 없는 것에 대해 비슷한 우려가 제기되었다. 글쓴이들은 역량이 스펙트럼이며 잘못 정의된 등급 시스템은 임상 기술의 복잡성을 적절히 포함할 수 없다고 언급했습니다. 다른 이들은 평가 척도가 '의미 없는(또는 적어도 애매한) 데이터의 과잉'을 나타낸다고 언급했다. 대인 관계 역학이 평가에 미치는 영향에 대한 강조도 더 강했다. 글쓴이들은 전공의에 대한 평가가 '특정 직함(PD)을 가진 한 사람의 변덕'에 의해 통제될 것이라고 우려했다. 또한 환경적 요인도 평가의 주관성에 기여할 수 있음을 인식하였다. 예를 들어, 전공의의 역량은 프로그램 내 다른 전공의와 비교한 상대적 역량에 의존할 것이다.

In the American forums, similar concerns were raised regarding the lack of shared definitions in grading competencies. Posters mentioned that competence is a spectrum and poorly defined grading systems cannot adequately encompass the complexity of clinical skills. Others mentioned that assessment scales represent an ‘overabundance of meaningless (or at least ambiguous) data’. There was also a stronger emphasis on the effect of interpersonal dynamics on evaluations; posters worried that their assessments would be controlled by ‘the whims of one person holding a specific title (the program director)’. Furthermore, posters recognised that environmental factors may contribute to the subjectivity in evaluations; for example, perceived competency of residents would also be dependent on the relative competence of other residents in the programme. 

CBME 교육생 중심 육성
CBME promoting trainee-centred education

캐나다 포럼에서는 많은 포스터들이 [수련생 중심의 교육]이 CBME의 초점이 될 것이라고 논의하였고, 구체적으로 전공의들은 숙련된 영역에 대한 시간 투자를 줄이고, 약점에 집중할 수 있는 시간을 더 할당할 수 있는 가능성에 대해 논의하였다. 훈련생들은 이러한 접근법을 자격을 얻기 위해 일련의 기술을 충족시켜야 하는 좀 더 견습적 유형의 모델로 규정하였다. [가정의학과 내과와 같은 대형 프로그램]에서는 수련자 중심의 교육 개념을 추구하는 것이 더 어려울 수 있는 반면, [소규모 프로그램]에서는 각 전공의의 변화를 보다 유연하게 할 수 있는 방법에 대해 논의하였다. 
In the Canadian forum, many posters discussed that trainee-centred education would be the focus of CBME. Specifically, residents discussed the possibility of shortening aspects of residency where one is more proficient and allocating more time to focus on weaknesses. Trainees labelled this approach as more of an apprenticeship type of model, where a set of skills would need to be met for qualification. Other posters discussed how with larger programmes, such as family medicine or internal medicine, it may be more difficult to pursue the concept of trainee-centred education, whereas smaller programmes may allow more flexibility to make changes for each resident. 


전공의 직위 종료
Terminating a resident’s position

CBME가 전공의 직위 종료에 미치는 영향도 논의됐다. 특히, 이것은 미국 포럼에서 CBME와 관련하여 가장 많이 논의된 주제 중 하나였다. 글쓴이들은 전공의의 수련 종료를 위한 도구로서의 역량 사용에 대해 논의했다. 전문직업성은 그렇지 않으면 실적이 좋은 전공의를 정직suspend시키기 위한 '객관적 자료'로 활용될 수 있는 매우 주관적인 역량으로 평가되었다. '전문직업성' 역량에 대한 논의는 역량에 기반한 평가가 권력의 남용 가능성을 전파한다는 내용의 글을 통해 전공의 수련 종료에 관한 실마리를 지배했다. 글쓴이들은 열악한 전공의 성과가 용인되어서는 안 되지만, 궁극적으로 수련생이 힘들게 얻어낸 경력을 종결시킬 수 있는 주관적이고 '변덕스러운' 평가 시스템도 허용되어서는 안 된다고 입을 모았다. 또한 역량이 충족되지 않을 때 재교육 프로세스를 다루면서, 프로그램마다 전공의의 'due process'에 대한 해석이 다를 수 있으며, 이는 특정 프로그램을 지원할 것인가에 대한 결정에 영향을 미칠 수 있다고 언급하였다. 

The impact of CBME on termination of a resident’s position was also discussed. Notably, this was one of the most discussed themes pertaining to CBME in the American forum. Posters discussed the use of competencies as a tool for termination of a resident’s position. Professionalism was viewed as a highly subjective competency that could be used as ‘objective data’ to suspend otherwise well-performing residents. Discussion of the ‘professionalism’ competency dominated the threads regarding termination of a resident’s position, with one poster commenting that competency-based evaluations propagate potential abuses of power. Posters agreed that although poor resident performance should not be acceptable, neither should subjective and ‘capricious’ evaluation systems that ultimately could terminate a trainee’s hard-earned career. Furthermore, in addressing the remediation process when competencies are not met, it was mentioned that there is variability between programmes’ interpretations of the ‘due process’ for residents, which may affect their decisions to pursue certain programmes. 

CBME의 장점
The advantages of CBME

Premed 101 참가자들은 CBME의 다양한 장점들에 대해 언급했다. 구체적으로, CBME가 어떻게 practice로의 전환을 돕는지 논의했습니다. 1년 일찍 자격 시험을 통과하면 병원에서 특정 기술을 미세 조정하고 실무에 대한 준비를 강화할 수 있는 시간을 제공합니다. 여분의 1년은, 관리감독이 아마도 불필요하다는 전제하에, [완전한 자격을 갖춘 전공의들이 잠재적으로 더 많은 환자들에게 보살핌을 제공할 수 있기 때문에] 시스템에 유익할 것이다. 다른 이들은 역량이 역량 보장을 위한 관리 가능한 단계를 제공한다고 언급했습니다. 

Participants on Premed 101 mentioned various other aspects of CBME that were felt to be advantageous. Specifically, posters discussed how CBME helps with transition into practice; finishing qualifying examinations 1 year earlier would provide time in the hospital to fine tune specific skills and become more prepared for practice. This extra year would also be of benefit to the system as fully competent residents could potentially provide care to a greater number of patients, given that supervision would probably not be required. Others mentioned that competencies provide more manageable steps to ensuring competency. 

확인란 대신 학습 경험 확보
Gaining learning experience versus simply checking boxes

SDN에서는 [학습의 품질]에 대한 CBME의 시사점에 대해 많은 논의가 있었다. CBME가 인증 요건을 충족하기 위해 [임상 경험과 순수 학습]에서 [체크박스]로 초점이 달라질 것이라고 논의했다. 다른 이들은 현재의 역량이 전문성의 임상적 복잡성을 충분히 다루지 못하는 방법에 대해 논의했다. 특히 외과 전공에 대해서, 최소한의 시술 요건은 충족하더라도, 사례 및 합병증 관리에 진정으로 편안하기 위해서는 더 많은 절차를 수행해야 한다는 것을 알 수 있습니다. 다른 이들은 [최소요구사항]이 어떻게 '충분히 양호good enough'하도록 설정될 수 있는 것인지, 그러한 [최소규정]이 졸업의사들에게 [낮은 기준]을 제공하게 될 것이라고 논의하였다. 또한 많은 이들은 [in practice에서 시간과 노출의 가치]가 얼마나 중요한지에 대해 논의하였다. 구체적으로, 어떤 평가도 감독된 실무와 가르침의 가치를 대체할 수 없을 것이라고 보았다.

On the SDN, there were many discussions around the implications of CBME for the quality of learning; posters discussed how CBME may shift the focus from gaining clinical experience and pure learning to checking boxes in order to satisfy accreditation requirements. Others discussed how the current competencies do not sufficiently address the clinical complexity of their specialty. Specifically, posters in surgical specialties indicated that although they have completed the minimum procedural requirements of competencies, they know that they will need to continue to perform many more procedures to be truly comfortable with managing cases and complications. Others discussed how the minimum requirements are set to be ‘good enough’ and that such minimums provide low standards for graduating physicians. Many also discussed how the value of time and exposure in practice are vital; specifically, that no amount of assessment could replace the value of supervised practice and teaching.

고찰
DISCUSSION

Premed 101 및 SDN 포럼의 분석에서는 CBME에 대한 세 가지 주요 연구 결과를 강조했습니다. 

• (i) 캐나다 포럼에서 CBME의 인식 분석의 주요 주제는 전공의 기간과 전공의 후 기간에 미치는 영향에 대한 우려였다.  
• (ii) 미국 포럼에서 눈에 띄는 주제는 CBME가 제안한 평가 구조의 주관성과 전공의의 수련 종료에 미치는 영향에 대한 우려였다.  
• (iii) 두 포럼에서 교육생은 CBME의 여러 측면에서 명확성을 원한다.

Our analysis of the Premed 101 and SDN forums highlighted three key findings regarding CBME: 

• (i) the main themes in the analysis of perceptions of CBME in the Canadian forums were concerns about its effects on the length of residency and postresidency,  
• (ii) in the American forums, the prominent theme was concern around subjectivity in the evaluation structures proposed by CBME and its effects on termination of residents, and  
• (iii) in both forums, trainees desire clarity in several aspects of CBME.

 

미국 포럼 논의는 캐나다 포럼보다 전공의의 직위 종료 가능성에 있어 CBME의 역할에 더 초점이 맞춰졌다. 이 주제에 대한 논의는 과거 전공의의 포지션이 종료terminated된 다양한 프로그램의 구체적인 사례로 뒷받침되었다. 이는 CBME가 캐나다에 비해 미국에서 더 오랜 개발 및 구현 역사를 가지고 있기 때문일 수 있습니다.
The American forum discussions had a more prominent focus on the role of CBME in the potential termination of residents’ positions than the Canadian forum. Discussions around this topic were supported by concrete examples from various programmes that residents’ positions had been terminated in the past. This may be attributed to CBME’s longer history of development and implementation in America compared to Canada.

[평가의 주관성]은 미국 포럼의 또 다른 주요 주제였으며 캐나다 포럼에서는 덜 흔하게 논의되었다. 두 포럼은 평가 구조의 주관성에 관한 유사한 이슈를 논의했다. 특히, 역량이 잘 정의되지 않아 훈련생과 평가자 사이에 공통된 이해가 부족할 수 있다. 이것은 예시를 보여주는 이전 문헌과 일치한다 - [평가에 사용되는 일부 역량 측정 도구의 타당성 결여] 및 역량에 대한 [명확한 지침]과 [기대치의 모호성을 줄이는 구체적인 피드백]에 대한 훈련생들의 관심
Subjectivity in evaluation was another major theme in the American forums and less commonly discussed in the Canadian forums. Both forums discussed similar issues regarding the subjectivity in the structure of evaluations; specifically, that competencies are sometimes not well defined, leading to lack of a common understanding between trainees and assessors. This is in agreement with previous literature illustrating the lack of validity in some competency measurement tools used for evaluation26–28 and trainees’ interests in clear guidance on competencies and specific feedback that reduces ambiguity in expectations.10,29 

흥미롭게도, 교육생들이 CBME에서 평가의 주관성에 대해 강하게 반대하는 것 같지만, 전문가들은 어느 정도의 주관성이 평가에 유익하다고 본다.6 평가에 대한 내과 의사의 인식에 대한 연구는 'non-competency construct'가 교육생 평가에 확실히 역할을 하고 있음을 시사했다. 또한 평가의 표준화는 전공의의 성과를 제대로 묘사하지 못할 수 있다는 것을 의미한다. 이러한 불협화음을 감안할 때 교육생이 평가에 대해서 다른 인식을 가지고 있음을 인정하고, 이들의 주관성을 둘러싼 불안과 좌절을 탐구하는 것이 중요하다.
Interestingly, although trainees seem to strongly oppose the subjectivity of evaluations in CBME, experts view a certain degree of subjectivity as beneficial to assessments.6 A study of internal medicine physicians’ perceptions regarding evaluations suggested that ‘noncompetency constructs’ certainly play a role in trainee evaluations and that standardisation of assessments may not authentically portray residents’ performance.30 Given these discordant views, it is important to acknowledge trainees’ differing perceptions of evaluations and seek to explore the anxiety and frustration that surround subjectivity. 

CBME가 [교육 경험을 강화]하기보다는 [체크리스트 역할만을 하게 될 것]이라는 생각도 포럼에서 널리 논의되었다. 이 주제는 특히 포스터들이 현재의 역량이 훈련의 최소 기준을 어떻게 측정하는지를 자주 논의하는 미국 포럼에서 두드러졌다. 이러한 우려는 전문가와 교육자가 [CBME의 관료적 성격]과 훈련의 초점을 [학습]에서 [최소 기준을 테스트하기 위한 '교육']으로 전환하는 데 미치는 영향에 대해 우려하는 문헌에서도 비슷하게 설명된다. 

The idea of CBME serving as a checklist rather than enhancing educational experience was also widely discussed in the forums. This theme was particularly prominent in the American forum where posters frequently discussed how the current competencies often measure the minimum standards for training. These concerns are similarly described in the literature, where experts and educators are concerned about the bureaucratic nature of CBME and its impact on shifting the focus of training from learning to ‘teaching to test’ the minimum standards.6,28,33–35

CBME에 대해 의대생들을 인터뷰하는 연구에서도, 비슷하게 [학생들이 최소한의 기준을 넘어서서 배우려는 동기]를 설명한다. 중요한 것은, EPA의 개발이, 모든 훈련생이 할당된 임상 과제에서 적절한 수준의 역량을 달성할 수 있는 표준화된 접근법이 가능해지지만, 반드시 훈련과 노출을 제한하는 것은 아니라는 점이다. 오히려, 훈련생은 자신이 강점을 가지는 영역에서 EPA를 더 빨리 달성할 수 있지만, 시간 기반 교육은 다양한 임상 상황에서 지속적인 노출을 제공할 수 있으며, 이것이 궁극적으로 더 포괄적일 수 있다. 따라서 전공의 커리큘럼 프로그램은 [적절한 시간 기반 노출 기간으로 모든 임상 기술에서 적절한 표준화된 역량을 보장하는 것]과 [여러가지 임상 상황에서 EPA를 실천하는 것] 사이에서 균형을 이루어야 한다.

A study interviewing medical students about CBME similarly describes students’ motivation to learn beyond the minimum standards.10 Importantly, the development of EPAs allows a standardised approach for all trainees to achieve an appropriate level of competence in assigned clinical tasks, but does not necessarily limit one’s training and exposure. Conversely, although a trainee may accomplish EPAs faster in his or her areas of clinical strength, time-based education may provide continued exposure within various clinical situations, which can ultimately be more comprehensive. Therefore, residency curriculum programmes must strike a balance between ensuring adequate standardised competency in all clinical skills with appropriate time-based length of exposure and practising EPAs in different clinical situations.

캐나다 포럼의 주요 주제는 [CBME가 훈련 기간에 미치는 영향]이었다. 글쓴이들은 일반적으로 훈련의 길이가 바뀔 것 같지 않다고 동의했지만, 더 많은 참가자들이 역량의 구현이 훈련의 길이를 단축시킬 것이라고 가정했다.
A major theme in the Canadian forums was the effect of CBME on the length of training. Posters generally agreed that the length of training is not likely to change, but more participants postulated that the implementation of competencies would shorten the length of training,

짧은 훈련의 효용에 대한 근거는 뒤섞여 있다. 비록 전공의 기간이 짧으면 수련의 비용이 낮아질 가능성이 있지만, 37,38 이것은 교육적 이득을 희생하는 것일 수 있다.39

There is also mixed evidence regarding the benefits of shorter training; although shorter residencies present the potential for lower training costs,37,38 this may be at the expense of educational gains.39

강점과 한계
Strengths and limitations

연구의 함의
Implications of the study findings

우리의 결과는 교육생들과 함께 다양한 문제를 해결하기 위한 프로그램의 필요성을 강조합니다.
Our results emphasise the need for programmes to address various issues with trainees;

1 CBME에 의해 교육 기간이 영향을 받을지 여부 및 만약 영향을 받는다면 그 방식에 대한 명확성 제공.
1 Providing clarity on if and how the length of training will be affected by CBME.

2 인증 유지MoC에 대한 CBME의 의미 논의.
2 Discussing the implications of CBME for maintenance of certification.

3 CBME에서 평가 및 평가를 수행하는 방법에 대한 명확한 지침. 여기에는 수련생 재교육 프로세스에서 투명성과 협력에 대한 내용도 포함한다.
3 Providing clear guidelines on how assessment and evaluation are undertaken in CBME, including transparency and collaboration on trainee remediation processes.

4 다양한 임상 환경에서 EPA에 대한 시간 기반 노출의 균형을 맞추고 필요한 모든 EPA에서 표준화된 역량을 보장한다.
4 Balancing time-based exposure to EPAs in various clinical settings and ensuring standardised competencies in all required EPAs.

5 훈련생 중심의 관점에서 CBME의 기존 교육 방법 대비 장점을 강조합니다.

5 Highlighting the advantages of CBME versus traditional methods of training in a trainee-focused perspective.

---

Med Educ. 2019 Jul;53(7):666-676.

 doi: 10.1111/medu.13803. Epub 2019 Jan 28.

Perceptions of competency-based medical education from medical student discussion forums

Anahita Dehmoobad Sharifabadi 1, Chantalle Clarkin 2, Asif Doja 1 3

Affiliations collapse

Affiliations

• 1Faculty of Medicine, University of Ottawa, Ottawa, Ontario, Canada.
• 2Bruyère Research Institute, Ottawa, Ontario, Canada.
• 3Department of Pediatrics, Children's Hospital of Eastern Ontario, Ottawa, Ontario, Canada.

• PMID: 30690769
• DOI: 10.1111/medu.13803Abstract
• Background: Competency-based medical education (CBME) is becoming widely implemented in medical education. Trainees' perceptions of CBME are important factors in the implementation and acceptance of CBME. Online discussion groups allow unique insight into trainees' perceptions of CBME during residency training.Results: Medical residents and students participating in the discussion forums emphasised select themes regarding the implementation of CBME in residency training. Concerns about CBME in Canada primarily involved its implications for the length of residency and post-residency opportunities. Posts on the American forum had a prominent focus on differing areas, such as the subjectivity in the assessment of core competencies and the role of CBME in termination of a resident's position.
• Conclusions: Online discussion groups have the potential to provide unique insight into perceptions of CBME. The presented concerns may have implications for refining the model of CBME and illustrate the importance of providing clarification for trainees regarding length of training and evaluation structures from those involved in designing of CBME programmes.
• Methods: We analysed 867 posts from 20 discussion threads in Premed 101 (Canadian) and 2756 posts from 50 threads in Student Doctor Network (SDN) (American) using NVivo 11. Inductive content analysis was used to develop a data-driven coding scheme that evolved throughout the analysis. Measures were taken to ensure the trustworthiness of findings, including co-coding of a subsample of 600 posts, peer debriefing, consensus-based analytical decision making and the maintenance of an audit trial.
• © 2019 John Wiley & Sons Ltd and The Association for the Study of Medical Education.