협력적 스킬 학습에 그룹 크기가 중요한가? 무작위대조군 연구(Med Educ, 2021)
Does group size matter during collaborative skills learning? A randomised study
Laerke Marijke Noerholk1 | Anne Mette Morcke2 | Kulamakan Kulasegaram3 | Lone N. Nørgaard4 | Lotte Harmsen4 | Lisbeth Anita Andreasen1,5 | Nina Gros Pedersen6 | Vilma Johnsson4 | Anishan Vamadevan1 | Martin Grønnebæk Tolsgaard1,4,7 

 

 

1 소개
1 INTRODUCTION

세계적으로, 의과대학들은 더 많은 수의 의대생들을 입학시키고 학급 규모를 늘림으로써 더 많은 의사들의 필요성에 대응하고 있다. 불행히도, 이러한 입학생 증가는 임상 훈련에 사용할 수 있는 한정된 자원을 고려할 때 학생들의 학습에 해로운 영향을 미칠 수 있다. 결과적으로, 교육자들은 특히 임상 기술을 배우기 위해 [기존의 일대일 견습생 모델]보다 교수 자원에 덜 의존하는 더 [비용 효율적인 교육 훈련 방법]을 요구해 왔다. 현재, 일선 연구는 학부 의료 교육에서 기술의 협업 학습 역할에 더 많은 초점을 맞추고 있다. 
Globally, medical schools are responding to the need for more doctors by admitting a greater number of medical students and increasing class sizes. Unfortunately, this increased intake may have detrimental effects on students' learning given the finite resources available for clinical training.1-3 As a result, educators have called for more cost-effective methods of training and instructional methods that rely less on faculty resources than the traditional one-to-one apprenticeship model, in particular for learning clinical skills. Currently, frontline research proposes an increased focus on the role of collaborative learning of skills in undergraduate medical education.4-6

[협력적 학습]은 '문제를 해결하거나 과제를 완료하거나 제품을 만들기 위해 협력하는 학습자 그룹'으로 정의됩니다. 최근의 연구는 시뮬레이션된 환경에서 [개별 학습]과 비교하여 [Dyad 학습(즉, 쌍으로 학습)의 형태로 하는 협력적 기술 학습]이 기술 보유를 개선하고 열등하지 않은 기술이 임상 작업 공간으로 전이된다는 것을 보여주었다. 또한, Dyad 학습은 유사하거나 더 나은 교육 결과를 생성하는 반면, 교육 자원의 절반만 요구하기 때문에 개별 학습보다 더 비용 효율적인 것으로 생각된다. 협력 학습의 긍정적인 효과는 [동료 관찰, 지식의 인지 공동 구성, 감소된 인지 부하, 사회적 상호 의존성 및 사회적 비교]와 같은 메커니즘을 통해 매개될 수 있다. 함께 일하는 학생들은 자기 효과성, 동기부여를 증가시키고 새로운 정보를 처리할 때 메타인지 능력을 향상시킴으로써 이익을 얻는 것으로 생각된다. 그러나 절차적 학습에 대한 우려는 협업 기술 학습과 관련된 [연습 시간 단축]이, 특히 [협력자의 수가 증가]할 경우, 시간이 지남에 따라 학습자의 학습에 부정적인 영향을 미칠 수 있다는 것이다. 임상 기술 훈련 중 장시간 실습 시간의 중요성은 이동 자동화를 달성하는 데 필수적이며, 이는 이전 테스트 성능을 향상시키는 것으로 다시 한번 입증되었다. 기술 훈련 중 협력자의 수가 학습자당 사용 가능한 실습 시간의 양에 영향을 미치기 때문에 학습 전이도 똑같이 손상될 수 있다.
Collaborative learning is defined as ‘groups of learners working together to solve a problem, complete a task or create a product’.7 Recent studies have shown that collaborative skills learning in the form of dyad learning (i.e. learning in pairs) compared with individual learning in a simulated setting leads to improved skills retention4, 8 and non-inferior skills transfer to the clinical workspace.9 In addition, dyad learning is thought to be more cost-effective than individual learning because it only requires half the instructional resources, while producing similar or better educational outcomes.10, 11 The positive effects of collaborative learning may be mediated through mechanisms such as peer observation,8 cognitive co-construction of knowledge,12 reduced cognitive load,5 social interdependence13 and social comparison.14 Students working together collaboratively are thought to benefit in terms of increased self-efficacy, motivation and by improving their metacognitive skills when processing new information.15, 16 Yet, concerns regarding procedural learning have been raised that the reduced hands-on time associated with collaborative skills learning may affect learners' learning negatively over time, in particular if the number of collaborators increase.15, 17 The importance of extended periods of hands-on time during clinical skills training is essential for achieving movement automaticity, which again has been shown to result in improved transfer test performances.18 As the number of collaborators during skills training will affect the amount of hands-on time available per learner, transfer of learning may be equally impaired.

협업 학습을 이해하기 위해 많은 다양한 이론이 제안되었지만, 이러한 설명 프레임워크에 대한 경험적 지원을 제공하기 위해 의학 교육 문헌에는 관찰 데이터가 거의 보고되지 않았다. 협업 학습 중 학습 활동을 이해하는 데 사용할 수 있는 한 가지 이론적 프레임워크는 ICAP 프레임워크이다. 이 프레임워크는 학습자가 학습하는 동안 서로 다른 인지 참여 모드를 반영하기 위한 명백한 행동을 기반으로 한다.12 네 가지 행동 모드는 수동적(P), 능동적(A), 건설적(C), 대화형(I)으로 설명되며, 각 모드는 학습 활동의 다른 예와 연관된다. ICAP 프레임워크는 학습 활동의 계층적 분포를 설명하는데, 여기서 [대화형 활동]이 [구성적 활동]보다 우수하고, 이는 [능동적 활동]보다 우수하며, 마지막으로 [수동적 활동]이 순서로 생각됩니다(I > C > A > P) 이와 같이, 협업 기술 학습에 대한 잠재적으로 반대되는 두 가지 가설이 기존 문헌에서 표현되었다.
Although many different theories have been proposed to understand collaborative learning, little observational data have been reported in the medical education literature to provide empirical support for these explanatory frameworks. One theoretical framework that can be used to understand learning activities during collaborative learning is the ICAP framework.12, 16 This framework is based on learners' overt behaviours to reflect different modes of cognitive engagement while learning.12 The four behavioural modes are described as passive (P), active (A), constructive (C) and interactive (I), and each mode is associated with different examples of learning activities. The ICAP framework describes a hierarchical distribution of learning activities, where interactive activities are thought to be superior to constructive activities, which are superior to active activities, that again are superior to passive activities (I > C > A > P). As such, two potentially opposing hypotheses for collaborative skills learning have been expressed in the existing literature.

  • [초기 실습] 중 공동 학습은 학생들의 다양한 수준의 공개 학습 활동으로 이어진다. 인지적 참여의 수준이 높을수록 학습 성과는 더 좋아진다.
  • 실습 중 [연습 시간을 줄이는 것]은 기술 학습에 부정적인 영향을 미친다.
  1. Collaborative learning during initial practice leads to different levels of overt learning activities in students. The higher level of cognitive engagement, the better learning outcomes.
  2. Decreasing the amount of hands-on time during practice has a negative effect on skills learning.

그러나 협력자의 수가 공개 학습 활동 또는 기술 학습에 어떻게 영향을 미칠 수 있는지에 대한 경험적 증거는 제한적이다. 이 연구는 그룹 크기가 기술 훈련 중 ICAP 활동과 후속 기술 이전에서 그룹 크기가 조정자 및/또는 학습 장애물로 작용할 수 있는지 조사하는 것을 목표로 했다. 우리의 연구의 맥락은 시뮬레이션 기반 초음파 훈련으로, 여러 임상 전문 분야에서 점점 더 관련성이 높아지고 있는 복잡한 절차 및 진단 기술을 나타낸다.

Yet, there is limited empirical evidence on how the number of collaborators may affect overt learning activities or skills learning. This study aimed to explore the impact of group size on ICAP activities during skills training and on subsequent transfer of skills to investigate whether increasing group size would serve as a mediator and/or a barrier to learning. The context of our study was simulation-based ultrasound training, representing a complex procedural and diagnostic skill that is becoming increasingly relevant in several clinical specialties.

연구 질문은 다음과 같습니다. 초음파 초보자 그룹에서 훈련 중 학습 활동과 관련하여 시뮬레이션 기반 초음파 훈련의 효과는 다이오드, 트라이아드 또는 테트라드(tetrad)에서 각각 무엇인가? 그룹 크기가 학습에 미치는 영향에 대한 통찰력을 얻는 것은 협업 기술 학습을 이해하는 데 사용되는 기존 이론에 대한 경험적 지원을 제공하는 데 도움이 될 수 있다. 또한, 그룹 규모가 스킬 학습 및 전송에 미치는 영향을 탐구하는 것은 향후 저렴한 고부가가치 스킬 교육을 제공하는 방법에 중요하다.

The research question was: In a group of ultrasound novices, what are the effects of simulation-based ultrasound training individually, in dyads, triads or tetrads with respect to learning activities during training and on subsequent skills transfer? Gaining insight into the impact of group size on learning may help provide empirical support for existing theories that are used to understand collaborative skills learning. Moreover, exploring the impact of increasing group size on skills learning and transfer is important to how we deliver low-cost high-value skills training in the future.

2 방법
2 METHODS

2.1 설정
2.1 Setting

이것은 전-후-전이 테스트 설정을 사용한 무작위 통제 시험이었다. 연구는 2019년 12월부터 2020년 10월까지 덴마크 코펜하겐 의학 교육 시뮬레이션 아카데미(CAMES)에서 수행되었으며 CONSORT 성명에 따라 보고되었다. 덴마크 수도 지역의 지역윤리위원회는 이 연구를 검토에서 면제했다. 의정서 번호: H-19063724. 

This was a randomised controlled trial using a pre-post-transfer-test set-up. The study was conducted between December 2019 and October 2020 at Copenhagen Academy for Medical Education and Simulation (CAMES), Denmark and was reported according to the CONSORT statement. The Regional Ethics Committee of the Capital Region of Denmark exempted the study from review, Protocol no: H-19063724. The study was registered at clinicaltrials.gov (NCT04167397). 

2.2 참가자
2.2 Participants

참가자들은 코펜하겐 대학의 의대 학생들이었다. 그들은 페이스북의 학생 모집 광고를 통해 모집되었다. 포함 기준은 덴마크어 숙련도와 일반 해부학 시험 합격이었다. 제외 기준은 이전의 초음파 경험과 산부인과/GYN 부서의 임상 경험이었다.
The participants were medical students from the University of Copenhagen. They were recruited via advertising on student fora on Facebook. The inclusion criteria were proficiency in Danish and a passed general anatomy exam. Exclusion criteria were prior ultrasound experience and any clinical experience from an OB/GYN department.

2.3 무작위화
2.3 Randomisation

참가자들은 1:1:1:1의 할당 비율로 개별, 다이아드, 트라이아드 또는 테트라드 훈련에 블록 랜덤화 되었다. 무작위화는 온라인에서 생성된 무작위 순열 블록을 사용하여 우리 기관의 독립 연구자에 의해 수행되었다. 코로나 19 봉쇄로 인해 일부 참가자들의 훈련은 취소되었다. 연구는 5개월 동안 중단되었고, 2020년 8월에 데이터 수집이 다시 시작되었다.

Participants were block randomised to individual, dyad, triad or tetrad training in a 1:1:1:1 allocation ratio. Randomisation was performed by an independent researcher from our institution using random permuted blocks generated online. Due to the COVID-19 lockdown, some participants' training sessions were cancelled. The study was paused for 5 months, and data collection started again in August 2020.

2.4 장비
2.4 Equipment

사전 및 사후 테스트는 복부 횡단 스캔 트레이너(영국 카디프, Medaphor, Ltd, Cardiff)를 사용하여 완료했습니다. 이 시뮬레이터에는 realistic force feedback을 제공하는 촉각 장치가 있습니다. 훈련 기간 동안, 참가자들은 임신 20-27주 동안 태아의 성장을 평가하는 연습을 했다. 교육 프로그램은 이전에 확립된 타당성 증거와 함께 내장된 자동 평가를 포함하는 9개의 모듈로 구성되었다.19 참가자들은 일관성을 보장하기 위해 비디오 교육을 통해 시뮬레이터와 과제를 소개받았으며 교육 중에는 더 이상의 지침instruction를 받지 않았다. 시뮬레이터는 각 모듈의 완료 후 이분법적인 피드백을 제공하며,(예: '태아 복부를 정확하게 확대했음')  참가자는 이를 읽고 토론할 수 있다. 필요한 경우 시뮬레이터에 대한 강사의 기술 지원이 제공되었습니다.
Pre- and post-tests were completed using the transabdominal ScanTrainer (Medaphor, Ltd, Cardiff, UK). This simulator has a haptic device that provides realistic force feedback. During the training, participants practised the assessment of fetal growth during gestational ages 20–27 weeks. The training programme consisted of nine modules containing built-in automated assessments with previously established validity evidence.19 The participants were introduced to the simulator and the tasks via video instruction to ensure consistency and received no further instruction during training. The simulator provides dichotomous feedback after the completion of each module (for example, ‘fetal abdomen correctly magnified’), which the participants were allowed to read and discuss. Technical assistance from the instructor regarding the simulator was provided if needed.

[전이 테스트]는 US/S Mentor 시뮬레이터(3D 시스템 의료, 미국 리틀턴)에서 수행되었습니다. 전송 테스트 시뮬레이터는 초음파 영상의 품질, 탐침을 다루기 위한 사용자 인터페이스, 그리고 마지막으로 초음파 스캔을 약간 더 어렵게 만들고자 태아를 고정이 아니라 움직이게 재현함으로써 훈련 시뮬레이터와 다르다. 시뮬레이터는 최적의 스캔 평면 또는 도움말 모듈에 대한 지침을 제공하지 않았습니다.

The transfer test was performed on the U/S Mentor simulator (3D systems health care, Littleton, USA). The transfer test simulator differs from the training simulator in terms of the quality of ultrasound images, the user interface for handling the probe and finally by reproducing a moving rather than a fixed fetus making the ultrasound scan slightly more difficult. The simulator provided no guidance regarding optimal scanning planes or help modules.

2.5 개입
2.5 Interventions

연구 설계는 그림 1에 설명되어 있습니다.

The study design is illustrated in Figure 1.




참가자들은 단일 훈련, 다이드 훈련, 트라이어드 훈련 또는 테트라드 훈련으로 무작위화되었다. 이들은 모두 개별 사전 테스트를 완료한 후 2시간 동안 서로 다른 그룹 크기로 교육을 받은 후, 스캔 트레이너에서 개별 사후 테스트를 수행했습니다. 7-10일 후, 그들은 U/S Mentor 시뮬레이터에서 개별 전송 테스트를 완료했습니다.

  • 사전 테스트: 참가자들은 두 번째 임신 3개월 경복부 초음파 및 태아 생체측정 측정(10분)에 대한 비디오 소개와 시뮬레이터에 대한 비디오 소개(15분)를 받았다. 그 후, 그들은 양두정경(BPD), 후두전두경(OFD), 전후복부경(APAD), 복부경(TAD), 대퇴골길이(FL)의 측정을 포함한 개별 사전 테스트를 완료했다.
  • 교육: 그런 다음 참가자들은 각각 다이오드, 트라이아드 또는 테트라드에서 태아 생체 인식 평가를 연습했다. 그들은 그룹의 크기에 상관없이 2시간의 정해진 시간 안에 훈련했다. 단체로 활동하는 참가자들에게는 단체로 훈련할 때 교대로 과제를 완료하고, 한 번에 한 명만 적극적으로 초음파 탐침을 다루도록 지도했다. 다른 참가자들은 이미지 동결, 측정값 획득, 제안, 질문 및 발견에 대해 논의할 수 있도록 허용되었습니다. 전체 교육 세션은 ICAP 프레임워크에 따라 학습 활동의 후속 코딩을 위해 비디오로 녹화되었다.
  • 테스트 후: 2시간의 교육 세션을 마친 직후, 참가자들은 그들이 훈련한 것과 동일한 시뮬레이터를 사용하여 사전 테스트와 동일한 개별 사후 테스트를 받았다.
  • 전이 테스트: 다음 7-10일 이내에 참가자들은 다른 시뮬레이터인 U/S Mentor 시뮬레이터(Sylel Ltd, Symbionix Ltd)에서 개별 전달 테스트를 수행하여 산부인과 2기 스캐닝 모듈에서 BPD, OFD, APAD, TAD 및 FL의 측정값을 얻었다. 그들은 두 가지 경우에 대해 측정을 수행했는데, 이 경우 태아는 스캔 중에 움직였고 다른 위치에 위치했다(뇌막 제시/브리치 제시). 참가자들은 각 사례를 완료하는 데 최대 15분이 주어졌습니다. 사후 테스트와 이전 테스트 사이의 시간 간격은 참가자 감소를 최소화하면서 유지뿐만 아니라 이전을 평가하기 위해 선택되었다.

The participants were randomised to either single, dyad, triad or tetrad training. They all completed an individual pre-test, then trained in different group sizes for 2 hours and subsequently performed an individual post-test on the Scantrainer. After 7–10 days, they completed an individual transfer test on the U/S Mentor simulator.

  • Pre-test: The participants received a video introduction to second trimester transabdominal ultrasound and fetal biometry measurements (10 minutes) and then a video introduction to the simulator (15 minutes). Subsequently, they completed an individual pre-test including measurements of biparietal diameter (BPD), occipito-frontal diameter (OFD), anterior–posterior abdominal diameter (APAD), transabdominal diameter (TAD) and femur length (FL).
  • Training: The participants then practised the assessment of fetal biometries individually, in dyads, triads or tetrads, respectively. They trained in a fixed time frame of 2 hours, regardless of group size. The participants working in groups were instructed that they should take turns completing the assignments when training in groups, and only one person should actively handle the ultrasound probe at a time. The other participants were allowed to help with freezing images, obtaining measurements, provide suggestions, ask questions and discuss findings. The entire training session was video recorded for subsequent coding of the learning activities according to the ICAP framework.
  • Post-test: Immediately after completing the 2-hour training session, the participants underwent an individual post-test identical to the pre-test using the same simulator as they trained on.
  • Transfer test: Within the next 7–10 days, the participants performed an individual transfer test on a different simulator, the U/S Mentor simulator (Symbionix Ltd, Israel), obtaining measurements of BPD, OFD, APAD, TAD and FL in an obstetric second trimester scanning module. They performed measurements on two cases, in which the fetus was moving during the scan as well as situated in different positions (cephalic presentation/breech presentation). The participants had a maximum of 15 minutes to complete each case. The time interval between post-test and transfer test was chosen to evaluate transfer as well as retention, while at the same time keeping participant attrition at a minimum.

2.6 결과
2.6 Outcomes

1차 결과는 전이 테스트 동안의 성과 점수였다. 2차 결과에는 시험 전/후의 수행평가 점수, ICAP 분포 및 그룹별 실습 시간이 포함되었다.
The primary outcome was performance scores during the transfer test. The secondary outcomes included performance scores on the pre- and post-test, ICAP distribution and hands-on time across groups.

2.7 성과 점수
2.7 Performance scores

모든 테스트 수행은 초음파 영상, 시뮬레이터 및 프로브 움직임이 시각화된 시뮬레이터에 직접 비디오로 녹화되었다. 두 명의 눈가림된 태아 의학 전문가는 각 성과를 초음파 기술의 객관적 구조 평가(OSAUS) 척도 및 전역 평가 척도(GRS)로 평가했습니다(부록 S1 참조). OSAUS 점수의 사용 및 해석에 대한 타당성 증거는 내용 증거, 대응 프로세스, 내부 구조, 다른 변수와의 관계 및 결과를 포함한 여러 이전 연구에서 수집 및 입증되었다. OSAUS 계측기에는 5포인트 리커트 척도로 평가되는 7개의 항목이 포함되어 있습니다. 첫 번째와 마지막 항목은 적절한 경우에만 평가되어야 하며, 우리의 연구는 시뮬레이션된 환경에서 이루어졌기 때문에, 이전 용도와 일치하는 항목 3-5개만 분석에 포함되었다. 또한 전문가들은 전체 GRS 점수를 5점 리커트 척도로 평가했습니다. GRS는 전문가 평가를 기반으로 하며 다양한 기술적 성과를 평가하는 데 사용되어 왔다. 두 이송 사례의 평균은 1차 결과 측정치를 만드는 데 사용되었다.
All test performances were video recorded directly on the simulators, where the ultrasound image, the simulator and the probe movements were visualised. Two blinded fetal medicine experts rated each performance on the Objective Structured Assessment of Ultrasound Skills (OSAUS) scale20 and a Global Rating Scale (GRS) (see Appendix S1). Validity evidence for the use and interpretation of OSAUS scores have been collected and demonstrated in several previous studies, including content evidence,21 response process, internal structure, relation to other variables and consequences.20, 22, 23 The OSAUS instrument includes seven items, which are evaluated on 5-point Likert scales. The first and last items should only be rated when appropriate,20 and because our study took place in the simulated setting, only items 3–5 were included in the analysis, consistent with previous uses.24-26 Additionally, the experts also rated an overall GRS score on a 5-point Likert scale. The GRS is based on an expert evaluation and has been used to evaluate various technical performances.27, 28 The mean of both transfer cases was used to create the primary outcome measures.

2.8 평가자 교육
2.8 Rater training


모든 수행평가는 두 명의 눈가림된 평가자에 의해 평가되었다. 전이 시험에서 2명의 평가자와 2명의 사례를 사용하는 것은 태아 생체측정 검사를 평가하기 위해 OSAUS 척도를 사용할 때 높은 평가자 간 신뢰성(등급 내 상관 계수 [ICC] = 0.89)을 입증한 이전 연구에 기초하여 선택되었다.
All performances were rated by two blinded raters. The use of two assessors and two cases on the transfer test was chosen based on a previous study demonstrating high inter-rater reliability (intraclass correlation coefficient [ICC] = 0.89) when using the OSAUS scale to assess fetal biometry examinations.20

우리는 태아의학 컨설턴트(LNN, LH)이거나 태아의학 박사(NGP 및 LAA)를 받은 총 4명의 평가자를 포함했다. 모든 평가자들은 매일 산부인과 초음파를 다루는 임상의로서 활동적이었다. 평가 전에 모든 평가자들은 시뮬레이터와 학생들이 완료해야 하는 과제를 모두 시도했다. 4명의 평가자들은 처음에 7개의 비디오(분석에 포함되지 않은 파일럿 비디오)를 개별적으로 평가했고, 2명씩 그룹을 지어 만나 평점의 불일치를 논의했고, 비디오의 선택된 부분을 함께 시청했다. 그 후 비디오는 4개의 그룹(A, B, C, D, 각 그룹의 24/25 참가자의 비디오)으로 나뉘었다. 모든 참가자는 평가자 2명이 평가한 영상 4개, 사전 테스트 1개, 사후 테스트 1개, 이전 테스트 2개를 받았다.
We included a total of four raters, who were either fetal medicine consultants (LNN, LH) or had PhDs in fetal medicine (NGP and LAA). All raters were active as clinicians working with obstetric ultrasound on a daily basis. Prior to rating, all raters tried both of the simulators and the assignments the students had to complete. The four raters initially rated seven videos individually (pilot videos, not included in the analysis) and met in groups of two to discuss any inconsistencies in their ratings and watched selected sections of the videos together. The videos were then divided into four groups (A, B, C and D, 24/25 participants' videos in each group). All participants had four videos evaluated by two raters, one pre-test, one post-test and two transfer tests.

2.9 ICAP 등급
2.9 ICAP rating

LMN은 Chi와 Willie의 프레임워크를 기반으로 [훈련 중 참가자들의 ICAP 활동]을 평가했다.12 ICAP 코딩 체계가 우리의 로컬 환경에 맞게 조정되었다. 예를 들어, '시뮬레이터 프로브 취급'을 능동적 행동의 예로 포함시킴으로써. 다양한 참여 모드를 숫자 버전으로 변환했습니다. 0 = 학습 활동 없음, 1 = 수동적, 2 = 능동적, 3 = 건설적, 4 = 대화적. 부호화 방식의 내용은 MGT, KK, LMN 간에 논의 및 개정되었으며, 최종 버전은 부록 S2에서 확인할 수 있다. 또한 개별 참가자별로 [체험 시간]을 별도로 등록했습니다. ICAP 등급은 연구 저자 중 두 명(LMN 및 MGT)에 의해 공동 평가되는 파일럿이 수행되었다. 평가자 간 합의는 한 평가자가 모든 평가를 완료할 수 있을 정도로 충분히 높았다. 모든 훈련 세션은 분 단위로 평가되며(참가자당 총 120회의 기간) 각 기간 동안 표시된 최고 수준의 ICAP 활동에 따라 점수가 매겨졌다.

LMN assessed participants' ICAP activities during training based on Chi and Wylie's framework.12 The ICAP coding scheme was adjusted to our local setting, e.g. by including ‘handling the simulator probe’ as an example of an active behaviour. We translated the different engagement modes into a numeric version with 0 = No learning activity, 1 = passive, 2 = active, 3 = constructive and 4 = interactive. The content of the coding scheme was discussed and revised between MGT, KK and LMN, and the final version can be seen in Appendix S2. Additionally, hands-on time was registered separately for each individual participant. A pilot was conducted, in which ICAP ratings were co-rated by two of the study authors (LMN and MGT). The inter-rater agreement was sufficiently high to allow one rater to complete all assessments. All training sessions then were rated minute by minute (a total of 120 time periods per participant) and scored corresponding to highest level ICAP activity displayed for each time period.

medu14791-sup-0002-appendix b_icap coding scheme_updated.pdf
0.15MB

2.10 통계적 분석
2.10 Statistical analyses

우리는 그룹 간의 Cohen d 1.0에 해당하는 크고 교육적으로 의미 있는 차이를 탐지하기 위해 연구를 수행했다. 90%의 검정력과 0.05의 α 값을 사용하여, 이는 각 연구 그룹의 22명의 참가자에 해당했다. 우리는 감소를 설명하기 위해 각 학습 부문에 25명의 학생을 포함시키는 것을 목표로 했다.
We powered our study to detect large and educationally meaningful differences corresponding to a Cohen's d of 1.0 between groups. Using a power of 90% and an α value of 0.05, this corresponded to 22 participants in each study group. We aimed to include 25 students in each study arm to account for attrition.

두 평가자의 점수 평균은 사전 테스트와 사후 테스트의 OSAUS 및 GRS 점수에 대해 계산되었다. 두 사례의 평균 전이 시험 점수가 계산되었다. 모든 점수는 최대 점수의 백분율로 계산되었습니다(최대 GRS 점수 = 5, 최대 OSAUS 점수 = 15).
The means of the two raters' scores were calculated for OSAUS and GRS scores on the pre- and post-tests. A mean transfer test score from the two cases was calculated. All scores were calculated as percentages of the maximum score (maximum GRS score = 5, maximum OSAUS score = 15).

Pearson 상관 계수는 실습 시간, 시험 전 점수 및 시험 후 점수를 포함한 다른 변수들이 전이 결과와 관련이 있는지 결정하기 위해 사용되었다. 우리는 전송 성능의 유의한 예측 변수에 대한 제어 우선 순위를 선택했다.
Pearson correlation coefficients were used to determine if any of the other variables including hands-on time, pre-test scores and post-test scores were associated with transfer outcomes. We chose a priori to control for significant predictors of transfer performance.

실험 전 점수를 공변량으로 조정한 경우와 조정하지 않은 경우를 사용하여 실험 대상 간 분산 분석(anova)을 사용하여 네 그룹 간에 일차 결과(평균 OSAUS 및 GRS 점수)를 비교했다. 사전 테스트와 사후 테스트의 평균 OSAUS 및 GRS 점수를 혼합 설계(2 × 2) 반복 측정 분산 분석을 사용하여 네 그룹 간에 비교함으로써 훈련의 주효과를 평가하고 훈련 유형(싱글/다이아드/트라이아드/테트라드)과의 상호작용에 대한 테스트를 수행했다. 효과 크기는 부분 eta 제곱(σp2)으로 계산되었습니다. 우리는 ICC, 일관성, 양방향 혼합 효과 모델(ICC(3,k))을 사용하여 ICAP 등급의 평가자 간 신뢰성을 계산했다. 29 GRS 및 OSAUS 데이터에 대한 별도의 일반화 가능성 분석을 수행했다.30 우리는 차별화 측면으로 참여자가 내포된 일반화 모델(랜덤화된 그룹)을 지정했다. 일반화의 측면은 사례 (2건)와 사례 (사례당 2건의 평가자)와 OSAUS 모델의 항목이었다. 우리는 (OSAUS에 대한) 설계 및 특정 사례 간, 평가자 간 및 항목 간 일반성 계수의 전반적인 신뢰성을 보고한다. 모든 통계 분석은 IBM SPSS Statistics 25를 사용하여 수행되었다.
The primary outcomes (mean OSAUS and GRS scores from the transfer test) were compared between the four groups using between-subjects analysis of variance (anova), with and without adjustment for pre-test scores as a covariate. The mean OSAUS and GRS scores from the pre- and post-tests were compared between the four groups using a mixed-design (2 × 2) repeated-measures anova to assess the main effects of training and test for interaction with the type of training (single/dyad/triad/tetrad). Effect sizes were calculated as partial eta squared (ηp2). We calculated the inter-rater reliability of the ICAP ratings using an ICC, consistency, two-way mixed-effects model (ICC (3,k)).29 We conducted separate generalizability analyses of GRS and OSAUS data.30 We specified the generalizability model with Participant nested in Group (randomised group) as the facet of differentiation. The facets of generalisation were Case (2 cases) and Rater nested in case (2 raters per case) as well as Item for the OSAUS model. We report overall reliability of the design and specific inter-case, inter-rater and inter-item (for the OSAUS) generalisability coefficients. All statistical analyses were conducted using IBM SPSS Statistics 25.

3 결과
3 RESULTS

이 연구는 총 111명의 참가자들을 네 가지 다른 훈련 조건에 무작위로 포함시켰다. 101명의 참가자들이 사전 테스트, 개입 및 사후 테스트를 완료했다. 트라이애드 그룹의 비디오 녹화 중 하나가 올바르게 저장되지 않았으며, 이 그룹에 대한 ICAP 등급이 완료되지 않았으며, 분석에서 전문가 등급만 평가되었습니다. 코로나 19 봉쇄로 인해 4명의 참가자가 후속 조치를 취하지 못했다. 참가자의 인구 통계는 표 1에 보고된다.
The study included a total of 111 participants randomised to the four different training conditions; 101 participants completed the pre-test, the intervention and the post-test. One video recording from a triad group was not correctly saved, and the ICAP ratings were not completed for this group, and only their expert ratings were evaluated in the analysis. Four participants were lost to follow-up due to the COVID-19 lockdown. The participant demographics are reported in Table 1.

3.1 1차 결과
3.1 Primary outcome

그룹 크기는 전이 테스트에서 OSAUS 점수 (F(3,93) = 1.94, p = 0.13, γp2 = 0.06) 또는 GRS 점수 (F(3,93) = 1.46, p = 0.23, γp2 = 0.05로 측정한 성능에 유의미한 영향을 미치지 않았다. 이러한 결과는 사전 테스트, 사후 테스트 또는 실제 시간을 공변량으로 조정할 때 변경되지 않았습니다. 실습 시간은 전이 성과 점수와 상관관계가 없었다.

Group size did not significantly influence performance measured by OSAUS scores (F(3,93) = 1.94, p = 0.13, ηp2 = 0.06) or GRS scores (F(3,93) = 1.46, p = 0.23, ηp2 = 0.05) on the transfer test, Table 2. These results did not change when adjusting for pre-test, post-test or hands-on time as a covariate. Hands-on time was not correlated with transfer performance scores.

3.2 2차 결과
3.2 Secondary outcomes

GRS 점수(OSUS 평균: 37.5% [12.0] 대 56.7% [16.8], F(1,93) = 113.9, p < 0.001, λp2 = 0.55, GRS 평균 [SD]: 36.8% [13.7,189] = F.18.1, P[SD]와 마찬가지로 모든 그룹에 대해 시험 전에서 시험 후까지 OSAUS 점수가 유의하게 향상되었다. 그룹 크기와 훈련 사이에 교호작용 효과가 없었습니다(F(3,93) = 1.04, p = 0.38, γp2 = 0.03). 표 2
OSAUS scores improved significantly from pre- to post-test for all groups as did GRS scores (OSAUS mean [SD]: 37.5% [12.0)] versus 56.7% [16.8]; F(1,93) = 113.9, p < 0.001, ηp2 = 0.55; GRS mean [SD]: 36.8% [13.7] versus 54.2% [18.9]; F(1,93) = 75.4, p < 0.001, ηp2 = 0.45). There was no interaction effect between group size and training (F(3,93) = 1.04, p = 0.38, ηp2 = 0.03), Table 2.

각 ICAP 활동에 소요된 시간의 분포는 학습이 없는 활동 범주인 그림 2(수동 [F(3,90) = 13,75, p = 0.001, µp2 = 0.31, 능동 [F(3,90)] = 139.28, p < 0.001, µp2 = 0.82, 구성적], [0.001, µp2 = 0.20], 0.20, 0.20, 0.30, 0.30, 0.30을 제외한 모든 학습 활동에 대해 그룹 간에 유의하게 달랐다. [F(3,90) = 43.17, p = 0.001, µp2 = 0.59] 학습 활동 없음 [F(3,90) = 1.65, p = 0.17, µp2 0 0.05].

The distribution of time spent in each ICAP activity was significantly different between the groups for all learning activities except for the no learning activity category, Figure 2 (Passive [F(3,90) = 13,75, p < 0.001, ηp2 = 0.31], Active [F(3,90) = 139.28, p < 0.001, ηp2 = 0.82], Constructive [F(3,90) = 10.73, p < 0.001, ηp2 = 0.26], Interactive [F(3,90) = 43.17, p < 0.001, ηp2 = 0.59], No learning activity [F(3,90) = 1.65, p = 0.183, ηp2 = 0.05]).

비학습 및 수동적 학습 활동(평균 0 + 1)에 보내는 시간은 그룹 크기에 따라 증가했다(평균[SD] 단수: 20.7[5.2], 다아드: 16.4[8.3], 트라이어드: 23.7[8.2], 테트라드: 29.5[7.2], F(3,90) = 13.75, p <0.001, µp2 = 0.31.2). 사후검정(Tukey)은 사분면체와 다른 모든 그룹 간에 범주 0 + 1에 소요된 시간의 백분율에서 유의한 차이를 보였다(단일: 8.78 [3.16–14.4], p = 0.001, p <0.04–11.6), p <0.001>, 트라이애드: 5.8 [0.04–11.6], p와 dyads (0.45%) 사이의 유의한 차이를 보였다. 7.27 [1.61–12.93], p = 0.006). 구성적 학습 활동과 대화형 학습 활동은 그룹 간에 상대적으로 일정했다(1,7% [3.9], 단일 그룹(1,7% [3.9], 다아드: 39.6 [13.3], 삼중항: 40.2 [9.7], 테트라드: 37.6 [8.8], F(3,90) = 78.38, p < 0.001,6202 = 72). 사후검증(Tukey)은 단일 그룹과 다른 모든 그룹 간에 범주 3 + 4(건설적 및 상호작용적)에 소요된 시간의 비율에서 유의미한 차이를 보였다(평균 차이 [95% CI] 다아드: 36.0 [28.7–43.3], p < 0.001], p <0.0–44.44.4], p < 0.001; tetrads: 34.1 [26.1.1.1.1.1], <p>.
Time spent in the non-learning and passive learning activities (category 0 + 1) increased with group size (mean per cent [SD] singles: 20.7 [5.2], dyads: 16.4 [8.3], triads: 23.7 [8.2], tetrads: 29.5 [7.2]; F(3,90) = 13.75, p < 0.001, ηp2 = 0.31), Figure 2. Post hoc testing (Tukey) showed significant differences in percentage of time spent in category 0 + 1 between tetrads and all other groups (mean per cent difference [95% CI]; singles: 8.78 [3.16–14.4], p = 0.001; dyads: 13.1 [7.6–18.5], p < 0.001; triads: 5.8 [0.04–11.6], p = 0.045) and between triads and dyads (mean per cent difference [95% CI]: 7.27 [1.61–12.93], p = 0.006). Time spent in the constructive and interactive learning activities (category 3 + 4) was relatively constant between groups compared with singles (mean per cent [SD] singles: 3.5 [3.9]; dyads: 39.6 [13.3]; triads: 40.2 [9.7]; tetrads: 37.6 [8.8]; F(3,90) = 78.38, p < 0.001, ηp2 = 0.72). Post hoc testing (Tukey) showed significant differences in percentage of time spent in category 3 + 4 (constructive and interactive) between singles and all other groups (mean per cent difference [95% CI] dyads: 36.0 [28.7–43.3], p < 0.001; triads: 36.7 [29.0–44.4], p < 0.001; tetrads: 34.1 [26.7–41.1], p < 0.001).


체험 시간의 양(각 참가자가 초음파 탐침을 다루는 훈련 시간의 백분율)은 그룹 크기가 증가함에 따라 감소하였다(단식: 58.4 [8.6], 다아드: 27.7 [5.7], 3사드: 17.0 [5.3], 테트라드: 13.7 [4.0], F(3,90) = 252.54, p <0.1,2p = 89). 특별 시험 후(Tukey)에 따르면 이 차이는 단일 그룹과 다른 모든 그룹(평균 백분율 차이 [95% CI] 다아드: 30.7 [26.1–35.3], p < 0.001], p < 0.001], tetrads: 44.6 [40.0–49.3], p < 0.001], p < 0.001], dyads: 10.7 % (3%), dymeads:0.0–49.3%) 사이에 통계적으로 유의했다. [6.0–15.4], p < 0.001; 사분면: 13.9 [9.4–18.5], p < 0.001], 그러나 삼분면과 사분면 사이는 아니다. (95% CI: 3.3 [-1.5–8.1], p = 0.29), 그림 2 및 3. 그룹 크기와 실제 시간은 음의 상관 관계가 있습니다(Pearson의 r = -0.86, p < 0.001).

The amount of hands-on time (percentage of the training time each participant was handling the ultrasound probe) decreased with increasing group size (mean per cent [SD]: singles: 58.4 [8.6], dyads: 27.7 [5.7], triads: 17.0 [5.3]; tetrads: 13.7 [4.0]; F(3,90) = 252.54, p < 0.001, ηp2 = 0.89). Post hoc testing (Tukey) revealed that this difference was statistically significant between singles and all other groups (mean per cent difference [95% CI] dyads: 30.7 [26.1–35.3], p < 0.001; triads: 41.4 [36.5–46.2], p < 0.001; tetrads: 44.6 [40.0–49.3], p < 0.001), between dyads and larger groups (mean per cent difference [95% CI] triads: 10.7 [6.0–15.4], p < 0.001; tetrads: 13.9 [9.4–18.5], p < 0.001) but not between triads and tetrads (mean per cent difference [95% CI]: 3.3 [−1.5 to 8.1], p = 0.29), Figures 2 and 3. Group size and hands-on time were negatively correlated (Pearson's r = −0.86, p < 0.001).

ICAP 등급에 대한 ICC(3,k)는 0.70(95% CI: 0.60–0.77)이었다. 우리 데이터의 일반화 이론 분석은 GRS 점수와 OSAUS 점수에 대한 사례 간 일반화 계수가 각각 0.84와 0.88로 높다는 것을 보여주었다. 사례 내 레이터 간 일반화 계수는 각각 0.72와 0.81이었다. 단일 사례 내 항목 간 일반화 계수는 0.75였으며, OSAUS 점수에 대한 비율은 0.75였다. GRS 점수에 대한 설계의 전체 신뢰도는 0.64이고 OSAUS 점수에 대해서는 0.60입니다.

The ICC (3,k) for the ICAP ratings was 0.70 (95% CI: 0.60–0.77). The generalisability theory analysis of our data showed that inter-case generalisability coefficients for the GRS and OSAUS scores were high at 0.84 and 0.88, respectively. Inter-rater generalizability coefficient within case was 0.72 and 0.81, respectively. Inter-item generalisability coefficient within a single case and rater for the OSAUS scores was 0.75. The overall reliability of the design for the GRS scores was 0.64 and 0.60 for the OSAUS scores.

4 토론
4 DISCUSSION

최대 4명의 참가자로 구성된 그룹 규모의 협업 기술 훈련은 실무 시간이 줄었음에도 불구하고 기술 전이skills transfer에는 부정적인 영향을 미치지 않았다. 모든 참가자들은 그룹 규모와 상관없이 훈련을 통해 약 15-20% 포인트를 향상시켰다. 이는 일부 참가자들이 혼자 훈련한 참가자들의 체험 시간의 25%에 불과했기 때문에 어느 정도 놀라운 일이다. 이러한 발견은 [협력적 기술 학습]의 긍정적인 효과가 더 큰 학습자 그룹으로 확장된다는 것을 증명함으로써 쌍으로 협력 학습을 포함하는 이전 연구와 일치하고 확장된다. 현재 의료 교육에서 협업 및 동료 학습 전략에 중점을 두고 있으며, 이러한 전략이 고부가가치 저비용 교육에 대한 수요를 어떻게 충족시킬 수 있는지도 포함된다. 시뮬레이션 기반 훈련에는 상당한 양의 자원(예: 강사 및 장비 비용)이 필요하며, 우리의 연구 결과는 학습 결과에 부정적인 영향을 미치지 않고 시뮬레이터: 학습자 비율을 줄임으로써 이러한 요구를 줄이는 데 도움이 될 수 있다.
Collaborative skills training in group sizes of up to four participants did not negatively impact skills transfer despite less hands-on time. All participants improved about 15–20 percentage points with training irrespective of group size. This is to some extent surprising because some participants had as little as 25% of the hands-on time of those who trained alone. These findings align with and expand on previous studies involving collaborative learning in pairs (dyad learning) by demonstrating that the positive effects of collaborative skills learning also expand to larger groups of learners.4, 8-10, 31 Currently, there is an increased focus on collaborative and peer learning strategies in medical education, including how these strategies may meet the demand for high-value low-cost education.15, 32 Simulation-based training requires a significant amount of resources (e.g. instructor and equipment costs among others), and our findings may help reduce these demands by decreasing the simulator: learner ratio without any negative effects on learning outcomes.


우리는 실습 시간을 줄이는 것과 다른 학습자를 관찰하고 상호 작용하는 시간을 늘리는 것 사이에 trade-off가 있을 수 있다고 제안한다. 우리의 연구에서, 건설적이고 상호작용적인 활동에 소비하는 시간은 다이아드, 트라이아드, 테트라드 간에 다르지 않았고, [다이아드 참가자]들이 [트라이아드 또는 테트라드 참가자들]보다 직접 체험하는 시간이 더 많았음에도 불구하고 여전히 유사한 학습 결과를 보였다. 이러한 발견은 참가자들이 협력적인 노력의 결과로 더 높은 수준의 인지 참여를 통해 줄어든 실습 시간을 보상하는 것처럼 보였다는 것을 나타낸다. 특히 초음파와 같은 절차적 기술을 훈련하는 동안 협력 학습이 유익하다는 것을 증명할 수 있다. 이러한 기술에는 [동시에 수행해야 하는 여러 작업(예: 프로브 조작, 기계 설정 조정 및 시각적 진단 작업에 참여하는 동안 환자와 통신)]이 포함되기 때문이다. 학습자 간에 과제를 분배하는 것은 학습자가 [인지 과부하 없이 학습에 계속 참여]할 수 있도록 하기 때문에 잠재적으로 유익한 전략이다. 다른 장점은 시각적 검색을 지원하고 숙련된 임상의가 일반적으로 두 번째 검사를 필요로 하는 해부학적 특징이나 병리학에 대해 논의하는 것을 포함할 수 있다.
We suggest that there may be a trade-off between decreasing hands-on time and increasing time spent on observation of and interactions with other learners. In our study, the time spent in constructive and interactive activities did not differ between dyads, triads and tetrads, and even though participants in dyads had more hands-on time than participants in triads or tetrads, they still had similar learning outcomes. These findings indicate that participants seemed to compensate for the reduced hands-on time through higher levels of cognitive engagement as a consequence of collaborative efforts. Specifically, during training of procedural skills such as ultrasound, collaborative learning can prove beneficial, as there are multiple tasks that should be performed simultaneously (e.g. manipulating the probe, adjusting machine settings and communicating with the patient while engaged in the visual diagnostic task). Distributing tasks between learners is a potentially beneficial strategy as it allows learners to stay engaged in learning without cognitive overload.5 Other advantages may include assisting visual search and discussing anatomical features or pathology that normally require a second look by an experienced clinician.

우리는 이전 연구에서 우리의 개입 시간(2시간)이 효과를 유도하기에는 충분하지만, 학습 곡선이 평평해져 (+4시간) 천장 효과로 이어지는 데 필요한 것보다 적다는 것을 알고 있다. 작업 시간 및 그에 따라 사용 가능한 실습 시간의 양은 일반적으로 학습의 가장 중요한 결정 요소이다. 그러나 우리의 연구에서, 협업 학습 중 [관찰]과 [고등 수준 ICAP 활동]은 줄어든 연습 시간보다 더 큰 효과를 갖는 것outweigh 으로 보였다. 그러나, [연습 시간]과 ICAP 활동은 모두 그룹 크기에 의해 교란되었기 때문에, 우리는 이 두 대립되는 힘이 연구에서 관찰된 학습 결과에 기여한 정도를 직접적으로 추론할 수 없다.

We know from previous studies that the duration of our intervention (2 hours) was sufficient to induce an effect but less than required for the learning curves to flatten (+4 hours) leading to a ceiling effect.19 Time-on-task and thereby the amount of hands-on time available are normally the most important determinants of learning; however, in our study, observation and higher-order ICAP activities during collaborative learning seemed to outweigh the reduced hands-on time. Yet, because hands-on time and ICAP activities were both confounded by group size, we cannot infer directly the extent to which these two opposing forces contributed to the learning outcomes observed in our study.

Shebilske 등의 최근 연구는 파일럿 훈련을 위한 비디오 과제를 학습할 때 개인, 다이아드, 트라이아드 및 테트라드 간에 유사한 학습 결과를 보여주었다. 저자들은 주로 그들의 결과의 원인을 [관찰]이 갖는 긍정적인 효과로 돌렸다. 관찰 학습은 (다른 이론들 중에서도) [미러뉴런 가설]에 의해 뒷받침되는데, [미러뉴런 가설]은 전운동 피질의 영역이 스킬의 수행과 관찰 동안 모두 활성화된다고 주장한다. 우리의 결과는 그룹 간 유사한 이전 결과에 대한 핵심 이유로 관찰을 지원하지만, 다른 사회적 및 상호 작용 메커니즘이 협업 복잡한 기술 학습, 특히 실용적인 기술 학습에 관여한다는 것을 제안함으로써 이 발견을 확장한다. [전통적인 ICAP 프레임워크]는 관찰을 수동적 활동으로 두는 반면, [임상 기술 훈련 중]에 이뤄지는 관찰은 [건설적이고 상호작용적인 활동의 기초 역할]을 하기 때문에 고차 학습 활동과 분리할 수 없다. 그러나 관찰은 참여의 인지적 수준에 관계없이 수동적 활동으로 분류되며, 이는 피로, 동기부여 또는 집중력 부족 또는 지루함의 결과로 수동적 활동과 비교될 수 없다. ICAP 프레임워크는 모든 종류의 학습 활동을 포함하도록 되어 있지만, 실제 기술을 학습하기 위한 관찰의 역할을 과소평가할 수 있다. 이러한 의미에서 관찰의 개념은 임상 기술 학습에서 그것의 역할을 완전히 이해하고 실용적인 기술 학습 동안 활동을 더 잘 개념화하기 위해 다양한 수준의 인지 참여를 포함하도록 확장될 필요가 있을 수 있다.

A recent study by Shebilske et al. demonstrated similar learning outcomes between individuals, dyads, triads and tetrads when learning a video task for pilot training.33 The authors primarily ascribed their results to the positive effects of observation.34 Observational learning is (among other theories) supported by the mirror neuron hypothesis, which claims that areas in the premotor cortex are activated both during the performance and observation of a skill.5, 31, 33, 35 Our results support observation as a key reason for similar transfer results between groups but expands this finding by suggesting that other social and interactive mechanisms are involved in collaborative complex skills learning, in particular for practical skills learning.15 While the traditional ICAP framework places observation as a passive activity,12 it is inseparable from the higher-order learning activities because it serves as a basis on which constructive and interactive activities unfold during clinical skills training. However, observation is categorised as a passive activity regardless of the cognitive level of engagement, which may not be compared with passiveness as a result of fatigue, lack of motivation or concentration or from boredom. Although the ICAP framework is supposed to cover all kinds of learning activities, it may undervalue the role of observation for learning practical skills. In this sense, the concept of observation may need to be expanded to include various degrees of cognitive engagement to fully understand its role in clinical skills learning and to better conceptualise activities during practical skills learning.

우리는 트라이애드 및 테트라드의 참가자들이 다이애드 및 단일 그룹의 참가자들보다 [비학습 및 수동 학습 범주(0 + 1)에] 더 많은 시간을 보낸다는 것을 발견했다. 이는 다이애드에 배정된 학습자 간의 헌신과 친밀도가 증가했기 때문일 수 있으며, 이는 그룹 크기가 증가함에 따라 감소할 수 있다.36 우리는 (잘못) 비학습 및 수동적 활동의 증가가 대규모 그룹의 기술 전이를 낮출 것이라고 예상했다. 이번 연구에서는 비록 그렇지 않았지만, 우리는 [[실습 시간의 양]과 [협력적 보상 효과] 사이의 균형]이 [더 큰 그룹(4명 이상의 학습자)]에 대해 어느 시점에서 피크가 될 것이라고 예상한다. 참가자가 동기를 유지하고 협업이 의미 있다고 생각하는 조건을 탐구하는 것은 이전 연구에서 학습자가 우려하는 원인이었으므로 [더 큰 크기의 그룹]을 다룰 때에는 고려해야 할 중요한 측면이다. 
We found that participants in triads and tetrads spent more time in the non-learning and passive learning categories (0 + 1) than the participants in dyads and single groups. This could be due to increased commitment and intimacy between learners in the dyad constellations, which may decrease with increasing group size.36 We (incorrectly) anticipated that the increase in non-learning and passive activities would have led to lower levels of skills transfer in the large groups. Although this was not the case, we expect that the balance between the amount of hands-on time provided and collaborative compensatory effects must at some point tip for larger groups (more than four learners). Exploring under which conditions participants remain motivated and consider it meaningful to collaborate is an important aspect to consider when dealing with larger group sizes as this has been a cause of concern voiced by learners in previous studies.37-39

4.1 강점/한계
4.1 Strengths/limitations

이 연구의 강점은 무작위 설계, 포함된 큰 표본 크기, 확립된 유효성 증거를 포함한 평가 점수 사용, 관심의 핵심 결과를 반영하기 위한 이전 테스트 사용 등이다.
Strengths of this study include the randomised design, the large sample size included, the use of assessment scores with established validity evidence and the use of transfer tests to reflect the key outcome of interest.

이 연구는 또한 몇 가지 한계를 가지고 있다. 우리는 초보자 및 복잡한 단일 임상 절차에 초점을 맞췄습니다. 향후 연구는 우리의 연구 결과가 [더 진보된 학습자]와 [다른 유형의 실제 기술]에서도 translate되는지 여부를 입증할 필요가 있다. (예: 단순 대 복잡한 기술 또는 진단 대 치료 절차). 대부분의 참가자들은 여성이었지만, 우리는 참가자들이 무작위화되고 이후 그들의 사전 테스트에서 동등하게 수행되었기 때문에 이 연구에서 성별에 초점을 맞추지 않기로 결정했다. 따라서, 우리는 이러한 맥락에서 성별의 영향에 대해 더 이상 논의하는 것이 적절하지 않다는 것을 발견했다. 학생들은 시뮬레이터에 의해서만 생성된 피드백으로 훈련했다. 지도받지 않은 연습은 강사의 감독 없이 과제를 오해하게 만들 수 있으며, 이는 더 큰 그룹이 오류와 오해를 바로잡는 데 불균일한 이점을 제공했을 수 있다. 우리는 4명의 참가자가 동기를 유지하기 위한 상한선이 될 것으로 예상했기 때문에 최대 4명의 참가자로 구성된 그룹 규모만 조사했다. 그룹 크기가 증가함에 따라 수동적이고 비학습 활동이 증가하는 것을 관찰했지만, 학습 결과가 악화되는 최적의 그룹 크기나 지점을 식별하지 못했다. 이를 위해, 우리는 여러 개의 큰 그룹을 포함하거나 이전 결과의 작은 차이를 입증하기 위해 표본 크기를 10배 증가시켜야 했는데, 둘 다 실현 불가능했을 것이다. 마지막으로, 우리가 검출하기 위해 연구에 동력을 공급한 크기보다 낮은 전이 테스트 성능에서 차이가 있었을 수 있다. 그러나 문제는 작은 차이가 일반적으로 이득이 큰 시뮬레이션 기반 의료 교육 분야 내에서 관련성이 있는지 여부이다.

The study also has some limitations. We focused on novices and on a single complex clinical procedure. Future research needs to establish whether our findings translate to more advanced learners and to different types of practical skills (e.g. simple versus complex skills or diagnostic versus therapeutic procedures). Most of the participants were women; however, we have chosen not to focus on gender in this study as the participants were randomised and subsequently performed equally on their pre-test. Therefore, we did not find it relevant to discuss the influence of gender any further in this context. The students trained with feedback only generated by the simulator. Uninstructed practice may lead to misunderstandings of the assignments without supervision by an instructor, which may have provided an uneven advantage for the larger groups to correct errors and misunderstandings. We only explored group sizes of up to four participants as we expected four participants to be the upper limit to remain motivated. While we did observe an increase in passive and non-learning activities with increasing group size, we did not identify an optimum group size or a point, in which learning outcomes worsened. To do this, we would have had to either include several larger groups or increase our sample size 10-fold to demonstrate small differences in transfer outcomes, both of which would have been infeasible. Finally, there may have been differences in transfer-test performances that were below the magnitude we powered our study to detect. The question is, however, if small differences are of relevance within the field of simulation-based medical education, where gains are usually large.

5 결론
5 CONCLUSION

최대 4명의 참가자로 구성된 그룹 규모의 협업 기술 학습은 실무 시간이 줄었음에도 불구하고 기술 이전을 손상시키지 않았다. 이 발견은 체험 시간 감소의 부정적인 효과를 능가하는 건설적이고 상호적인 학습 활동에 대한 보상적 전환과 결합된 관찰의 역할에 의해 설명될 수 있다.

Collaborative skills learning in group sizes of up to four participants did not impair skills transfer despite less hands-on time. This finding may be explained by the role of observation combined with a compensatory shift towards constructive and interactive learning activities that outweigh the negative effects of diminishing hands-on time.

 


Med Educ. 2022 Jun;56(6):680-689. doi: 10.1111/medu.14791. Epub 2022 Mar 16.

Does group size matter during collaborative skills learning? A randomised study

Affiliations collapse

Affiliations

1Copenhagen Academy for Medical Education and Simulation (CAMES), Copenhagen University Hospital - Rigshospitalet, Copenhagen, Denmark.

2Centre for Educational Development, Aarhus University, Aarhus, Denmark.

3Department of Family & Community Medicine, University of Toronto, Toronto, Canada.

4Center of Fetal Medicine, Department of Obstetrics, Copenhagen University Hospital - Rigshospitalet, Copenhagen, Denmark.

5Department of Gynecology and Obstetrics, Copenhagen University Hospital - Hvidovre, Copenhagen, Denmark.

6Fetal Medicine Unit, Department of Obstetrics and Gynaecology, Copenhagen University Hospital - Herlev, Copenhagen, Denmark.

7Department of Clinical Medicine, Faculty of Health and Medical Sciences, University of Copenhagen, Copenhagen, Denmark.

PMID: 35262226

PMCID: PMC9313549

DOI: 10.1111/medu.14791

Free PMC article

Abstract

Background: Collaborative skills learning in the form of dyad learning compared with individual learning has been shown to lead to non-inferior skills retention and transfer. However, we have limited knowledge on which learning activities improve collaborative skills training and how the number of collaborators may impact skills transfer. We explored the effects of skills training individually, in dyads, triads or tetrads on learning activities during training and on subsequent skills transfer.

Methods: In a randomised, controlled study, participants completed a pre-post-transfer-test set-up in groups of one to four. Participants completed 2 hours of obstetric ultrasound training. In the dyad, triad and tetrad group participants took turns actively handling the ultrasound probe. All performances were rated by two blinded experts using the Objective Structured Assessment of Ultrasound Skills (OSAUS) scale and a Global Rating Scale (GRS). All training was video recorded, and learning activities were analysed using the Interactive-Constructive-Active-Passive (ICAP) framework.

Results: One hundred one participants completed the simulation-based training, and ninety-seven completed the transfer test. Performance scores improved significantly from pre- to post-test for all groups (p < 0.001, ηp2 = 0.55). However, group size did not affect transfer test performance on OSAUS scores (p = 0.13, ηp2 = 0.06) or GRS scores (p = 0.23, ηp2 = 0.05). ICAP analyses of training activities showed that time spent on non-learning and passive learning activities increased with group size (p < 0.001, ηp2 = 0.31), whereas time spent on constructive and interactive learning activities was constant between groups compared with singles (p < 0.001, ηp2 = 0.72).

Conclusion: Collaborative skills learning in groups of up to four did not impair skills transfer despite less hands-on time. This may be explained by a compensatory shift towards constructive and interactive learning activities that outweigh the effect of shorter hands-on time.

의과대학에서 전문직업성 기르기: 1990년과 2019년 사이 교육과정의 체계적 스코핑 리뷰(Med Teach, 2020)
Nurturing professionalism in medical schools. A systematic scoping review of training curricula between 1990–2019
Yun Ting Onga,b, Cheryl Shumin Kowa,b, Yao Hao Teoa,b, Lorraine Hui En Tana,b, Ahmad Bin Hanifah Marican Abdurrahmana,b, Nicholas Wei Sheng Queka,b, Kishore Prakasha,b , Clarissa Wei Shuen Cheonga,b, Xiu Hui Tana,b, Wei Qiang Lima,b, Jiaxuan Wua,b, Laura Hui Shuen Tana,b, Kuang Teck Taya,b , Annelissa Chinc, Ying Pin Tohd, Stephen Masone and Lalit Kumar Radha Krishnaa,b,e,f,g 

 

서론
Introduction

전문직업성의 정의
Definition of professionalism

프로페셔널리즘은 의사-환자 관계, 환자 만족도 및 의료 결과에 영향을 미치는 [진화하고, 사회 문화적으로 영향을 받으며, 다차원적인 구인]이다(Li et al. 2017). 임상 치료에 대한 전문직업성의 직접적인 영향은 이 개념을 더 잘 이해하고 임상 실무에서 그 역할에 대한 인식을 높이기 위한 노력을 강조한다(Wilkinson et al.). 그러나 전문직업성을 기르는 일은 전문직업성이 어떻게 인식되는지에conceived 대한 차이로 인해 복잡하다. ACGME, ABIM, GMC 및 CanMEDs 프레임워크 등에 의해 제시된 프로페셔널리즘의 정의는 여기에 [사회문화적, 맥락적, 지리-정치적 요인이 미치는 영향을 보여준다. 이러한 요인의 영향을 인정한다는 것은 현재의 훈련 접근법의 적절성과 실행 가능성을 재고할 필요성을 강조한다(Mueller 2009).
Professionalism is an evolving, socioculturally informed, multidimensional construct (Li et al. 2017) that influences doctor-patient relationships, patient satisfaction and healthcare outcomes (Wilkinson et al. 2009). Professionalism’s direct impact upon clinical care underlines efforts to better understand this concept and nurture greater awareness of its role in clinical practice (Wilkinson et al. 2009). Yet the task of nurturing professionalism is complicated by differences in how professionalism is conceived. Definitions set out by the Accreditation Council for Graduate Medical Education(ACGME), the American Board of Internal Medicine (ABIM), General Medical Council (GMC) and the CanMEDs framework by the Royal College of Physicians and Surgeons of Canada allude to the impact of prevailing sociocultural, contextual and geopolitical factors on prevailing concepts of professionalism. Acknowledging the impact of these factors underlines the need to reconsider the appropriateness and viability of current training approaches (Mueller 2009).

이번 체계적인 범위 지정 검토는 학부 및 대학원 의과대학에서 전문직업성이 양성되는 방식을 지도화하여 의대생들의 전문성 양성을 목표로 하는 프로그램에 대한 설계 정보를 개선하고 지원 및 평가를 강화하는 것을 목표로 한다(Munn et al. 2018).
This systematic scoping review aims to map how professionalism is nurtured in undergraduate and postgraduate medical schools so as to better inform design and enhance support and assessment of programs aimed at nurturing professionalism amongst medical students (Munn et al. 2018).

방법론
Methodology

체계적인 범위 검토는 광범위한 교육 및 실습 설정(Chidwick et al. 2018)에 걸쳐 실행 가능하고 적용 가능한 정보(DuMont et al. 2015)와 사용 가능한 문헌 요약(O'Donovan et al. 2018; Osama et al. 2018)을 체계적으로 추출하고 합성할 수 있다. 2004; Pape and Manning 2006).
A systematic scoping review allows for systematic extraction and synthesis of actionable and applicable information (Du Mont et al. 2015) and a summary of available literature (O’Donovan et al. 2018; Osama et al. 2018) across a wide range of pedagogies and practice settings (Chidwick et al. 2004; Pape and Manning 2006).

싱가포르 국립대학교의 Yong Loo Lin 의과대학(YLLsoM)과 싱가포르 국립 암 센터(NCCS)의 의료 도서관, NCCS의 지역 교육 전문가 및 임상의의 지도 아래 YLsOM 및 Duke-NUS 의과대학(EXPorth)의 의료 사서, NCCS의 현지 교육 전문가 및 임상의의 지도 아래, YLsoM 및 Duke-NUS 의과대학(EXPorthen)은 다음과 같은 의과 함께 의료기관을 운영하고 있습니다. 주요 연구 질문은 '의대생들의 전문직업성 함양에 대해 알려진 것'으로 결정되었다. 연구팀 17명은 또 2차 연구 질문을 '학부와 대학원 의학 커리큘럼에서 전문직업성이 어떻게 이해되고 실천되고 있는가'로 결정했다.

Guided by the medical librarians from the medical library at the Yong Loo Lin School of Medicine (YLLSoM) at the National University of Singapore and at the National Cancer Centre Singapore (NCCS) and local educational experts and clinicians at the NCCS, the Palliative Care Institute Liverpool, YLLSoM and Duke-NUS Medical School (henceforth the expert team), the primary research question was determined to be ‘what is known about nurturing professionalism amongst medical students?”. The 17 members of the research team also determined the secondary research questions to be “how is professionalism understood and practiced in prevailing undergraduate and postgraduate medical curricula?”.

이 체계적인 범위 검토는 Li 등(2017)의, Wilkinson 등을 기반으로 한다. (2009) 및 벨로스키 외. (2005)의 전문성 평가 도구 검토. 향후 체계적인 검토의 기초가 되는 것 외에도, 체계적인 범위 검토를 사용함으로써 의료 전문직업성 훈련의 개인과 시스템에 대한 관련 문헌 부족에 의해 제기되는 한계를 우회할 수 있다(Pinkus et al. 1995; Pinkus 1999; 2001년 5월, Chidwick et al. 2004; Pape and Manning 2006).
This systematic scoping review, builds upon Li et al. (2017)’s, Wilkinson et al. (2009)’s and Veloski et al. (2005)’s reviews of assessment tools in professionalism. Aside from being the basis for a future systematic review, use of a systematic scoping review circumnavigates limitations posed by a dearth of relevant literature on individual and systems of the training of medical professionalism (Pinkus et al. 1995; Pinkus 1999; May 2001; Chidwick et al. 2004; Pape and Manning 2006).

Levac et al. (2010) 의 Arcsey and O'Malley (2005) 의 시스템 스캔 프레임워크가 사용되었습니다. 이를 통해 "연구 영역과 주요 원천과 증거의 종류"를 검색하고, 주제 내에 존재하는 문헌의 프로파일을 만들어서 풍부한 데이터베이스를 구축하였고, 이것이 실천과 후속 연구를 가이드할 수 있는 토대가 되었다. PRISMA-P 2015 체크리스트와 결합하여 Levac et al (2010)의 Arcsey and O'Malley (2005)의 시스템 리뷰를 위한 프레임워크는 6-stage systematic review Protocol의 포워딩으로 확장된다.

Levac et al. (2010)’s adaptation to Arksey and O'Malley (2005)’s framework for systematic scoping review was used to map the key concepts underpinning a research area and the main sources and types of evidence available” (Mays et al. 2001) and “produce a profile of the existing literature in a topic area, creating a rich database of literature that can serve as a foundation” to inform practice and guide further research (Grant and Booth 2009; Daudt et al. 2013; Pham et al. 2014). Combined with the PRISMA-P 2015 checklist (Osama et al. 2018), Levac et al. (2010)’s adaptation to Arksey and O'Malley (2005)’s framework for systematic scoping review allowed the forwarding of a 6-stage systematic review protocol (Mays et al. 2001; Arksey and O'Malley 2005; Grant and Booth 2009; Levac et al. 2010; Thomas et al. 2014; Lorenzetti and Powelson 2015).

프레임워크의 첫 번째 단계에서는 전문가 팀이 연구 질문을 결정하도록 지도했다. 이러한 질문은 PICOS 형식(표 1)을 사용하여 포함 및 배제 기준의 인구, 개념 및 맥락 요소에 대해 설계되었다(Peters et al. 2015).
In the first stage of the framework the expert team guided the research team in determining the research questions. These questions were designed on the population, concept and context elements of the inclusion and exclusion criteria (Peters et al. 2015), using a PICOS format (Table 1).

전문가 팀의 안내와 의료 전문성에 대한 지배적인 정의와 설명에 따라 연구팀은 PubMed(부록 A), Embase, PsycINFO, ERIC, Cochrane Database of Systematic Reviews 및 Scopus 데이터베이스에 대한 검색 전략을 개발했다. 실행 가능하고 지속 가능한 연구 프로세스를 보장하고 지배적인 인력 및 시간 제약을 수용하려는 Pham 등(2014)의 접근 방식에 따라 연구팀은 1990년 1월 1일과 2019년 12월 31일 사이에 발표된 기사로 초점을 제한했다. 영어로 출판되거나 영어로 번역된 논문의 모든 연구 방법론(양적 및 질적)이 포함되었다. 2019년 2월 14일부터 2019년 4월 24일까지, 2019년 10월 18일부터 2020년 1월 17일까지 각각 단독 수색을 실시했다. 

Guided by the expert team and prevailing definitions and descriptions of medical professionalism, the research team developed a search strategy for PubMed (Supplementary Appendix A), Embase, PsycINFO, ERIC, Cochrane Database of Systematic Reviews and Scopus databases. In keeping with Pham et al. (2014)’s approach of ensuring a viable and sustainable research process and to accommodate to prevailing manpower and time constraints the research team confined their focus to articles published between 1 January 1990 and 31 December 2019. All research methodologies (quantitative and qualitative) in articles published in English or had English translations were included. The independent searches were carried out between 14 February 2019 and 24 April 2019 and again between 18 October 2019 and 17 January 2020.

3단계에서는 PICOS에서 정한 심사기준을 이용하여 식별된 제목과 초록을 독자적으로 심사하고, 온라인에 포함될 개별 기사목록을 논의한 후 최종 검토 대상 기사목록에 합의했다. Sandelowski와 Barroso(2006)의 '협상된 합의 검증' 접근 방식을 사용하여 분석할 전체 텍스트 기사의 최종 목록에 대한 합의를 도출했다.
In the third stage, the research team independently screened the identified title and abstracts using the screening criteria set out in the PICOS, discussed their individual lists of articles to be included online and agreed on the final list of articles to be reviewed. Sandelowski and Barroso (2006)’s ‘negotiated consensual validation’ approach was used to achieve consensus on the final list of full text articles to be analysed.

선험적a priori 프레임워크가 없었기에, 포함된 기사에서 공통적인 주제를 식별하였고, [의대생들의 다양한 목표와 모집단 및 의대생들의 존재]에 의해 제기되는 한계, [전문직업성이 맥락-특이적이고 사회문화적으로 영향]을 받는 한계를 우회하기 위해 브라운과 클라크(2006)의 주제 분석에 대한 접근법이 채택되었다.  또한 이 접근방식은 통계적 풀링의 사용을 방지하며, 포함된 기사의 분석을 방지하는 광범위한 연구 방법론을 더 잘 설명한다. 브라운과 클라크(2006)의 접근방식은 다음과 같다.
In the absence of a priori framework, Braun and Clarke (2006)’s approach to thematic analysis was adopted to identify common themes across the included articles and circumnavigate the limitations posed by the presence of different goals and populations of medical students as well as the context-specific, socio-culturally influenced nature of medical professionalism (Van Der Vleuten and Schuwirth 2005; Braun and Clarke 2006; Goldie 2013; Birden et al. 2014; Li et al. 2017; Norcini et al. 2018; Patterson et al. 2018; Hodges et al. 2019). This approach also better accounts for the wide range of research methodologies present that prevent use of statistical pooling and analysis of the included articles (Haig and Dozier 2003a, 2003b; Braun and Clarke 2006; Riquelme et al. 2009; Schönrock-Adema et al. 2009; Soemantri et al. 2010; Gordon and Gibbs 2014). The phases of Braun and Clarke (2006)’s approach are detailed below

  1. 연구팀 구성원 11명이 포함된 기사를 '적극적으로' 읽어 자료에서 의미와 패턴을 찾는 등 반복적인 단계별 주제분석을 진행했다.
  2. An iterative step-by-step thematic analysis was carried out with 11 members of the research team ‘actively’ reading the included articles to find meaning and patterns in the data.
  3. 연구팀의 각 구성원은 텍스트의 '표면' 의미로부터 '코드'를 구성했다. 그런 다음 '오픈 코딩'의 초기 코드를 유사성에 따라 범주로 분류했다.
  4. Each member of the research team constructed ‘codes’ from the ‘surface’ meaning of the text (Boyatzis 1998; Braun and Clarke 2006; Voloch et al. 2007; Sawatsky et al. 2016). The initial codes from ‘open coding’ were then grouped into categories according to their similarities.
  5. 그런 다음 범주를 데이터를 가장 잘 나타내는 테마로 구성했다. 마인드 맵은 다양한 코드 간의 연결을 설명하고 주제를 설명하는 데 사용되었다. [귀납적 접근]은 테마를 "사전 결정된 분류 없이 원시 데이터에서 정의"할 수 있게 했다(Cassol et al. 2018). 브라운과 클라크(2006)는 테마를 "데이터에 대한 중요한 것… 그리고 데이터 집합 내의 패턴화된 반응이나 의미를 나타낸다"고 설명한다.
  6. The categories were then organised into themes that best represent the data. Mind maps were used to illustrate the links between the various codes and to help delineate themes. An inductive approach allowed themes to be “defined from the raw data without any predetermined classification” (Cassol et al. 2018). Braun and Clarke (2006) describe themes as something important about the data… and represents some level of patterned response or meaning within the data set”.
  7. 연구팀의 각 구성원은 테마가 일관적이고 전체 데이터 세트를 대표하는지 확인하기 위해 테마를 검토하고 다듬었다.
  8. Each member of the research team reviewed and refined their themes to ensure they were coherent and representative of the whole data set.
  9. 연구팀의 각 구성원들은 각각의 테마의 구체적인 특징들을 명명하고 설명하기 위해 독립적으로 일했다. 그런 다음 그들은 '협상된 합의된 검증' 접근 방식을 사용하여 공통 코딩 프레임워크와 코드북에 합의하기 위해 온라인과 대면 회의에서 개별 발견에 대해 논의했다(산델로스키와 바로소 2006). 코드북은 코드, 서브테마, 정의, 용어에 대한 설명, 적용 시기와 적용 안 함에 대한 지침으로 구성됐다. 이 회의들은 11명의 회원 모두가 같은 10, 30, 50개의 전문 기사를 검토한 후 3개의 시점에서 진행되었다.
  10. Each member of the research team worked independently to name and delineate specific characteristics of each theme. They then discussed their individual findings online and at face-to-face meetings to agree upon a common coding framework and code book using the ‘negotiated consensual validation’ approach (Sandelowski and Barroso 2006). The code book consisted of the codes, sub-themes, definitions, descriptions of terms and guidelines on when to use and when not to apply. These meetings were carried out at three junctures- after all 11 members had reviewed the same 10, 30 and 50 full text articles.
  11. 브라운과 클라크의 접근법 6단계(2006)의 일환으로, 역 교육자, 임상의사, 임상 환경에서 의료 전문성 교육 및 평가에 경험이 있는 연구자(자문팀)와 전문가 팀과 논의하는 동안 확인된 테마가 Birden 외(2013)의 "BEME 가이드 No.25: 의료 교육에서의 전문성 교육"에서 제안된 범주 및 Wilkinson 외(2009) 및 Veloski의 전문성 평가 도구 검토와 일치한다고 제안했다. 자문 및 전문가 팀은 데이터를 독립적으로 평가하고, 일반적인 이론에 깊이를 더하고, 식별된 주제를 검증하는 데 도움을 주기 위해 [지시된 내용 분석]을 사용해야 한다는 데 동의했다(Hsieh and Shannon 2005; Humble 2009).
  12. During discussions with local educationalists, clinicians and researchers who are experienced in medical professionalism teaching and assessment in clinical settings (advisory team) as well as the expert team as part of the sixth stage of Braun and Clarke (2006)’s approach, it was suggested that as the themes identified were consistent with the categories highlighted by Birden et al. (2013)’s “BEME Guide no.25: Teaching professionalism in medical education” and Wilkinson et al. (2009)’s and Veloski et al. (2005)’s reviews of assessment tools in professionalism. The advisory and expert teams were in agreement that directed content analysis ought to be used to independently evaluate the data, add depth to prevailing theories and would help verify the themes identified (Hsieh and Shannon 2005; Humble 2009).

브라운과 클라크의 주제 분석에 대한 접근 방식(2006)을 이용한 데이터 분석에 관여하지 않은 두 명의 독립 검토자가 [지시된 내용 분석]을 수행했다(Hsieh와 Shannon 2005). 지시적 내용 분석의 3단계는 다음과 같습니다.
Two independent reviewers not involved in the analysis of the data using Braun and Clarke’s approach to thematic analysis (2006) carried out directed content analysis (Hsieh and Shannon 2005). The 3 phases of directed content analysis are as follows.

  1. 첫 번째 단계연역 범주 적용(Elo and Kyngäs 2008)을 사용하여, 검토자가 버거 외(2019), 린치 외(2004), 버든 외(2013)의 BEME 가이드 No.25 및 Wilkinson 외 (2009) 및 벨로스키 외 연구진(2005)의 전문성 평가 도구 리뷰에 의해 제시된 훈련 전문성의 핵심 요소 설명에 기초하여 [코드를 독립적으로 결정]한다. 각 코드는 [코드북]에 정의되었으며, 이후 코딩 과정을 안내하는 역할을 했다.
  2. [2단계]에서는 두 검토자가 '코드북'을 사용하여 포함된 문서에서 관련 데이터를 독립적으로 추출하고 코드화하는 것을 보았다. 이러한 코드에 의해 포착되지 않은 관련 데이터는 연역 범주 적용에 따라 새로운 코드가 할당되었다. 포함된 10개의 기사에 대한 독립적인 검토 후, 검토자들은 온라인에서 그들의 발견을 논의했고, 코드와 코드북의 합의를 얻기 위해 '협상된 합의 검증'을 이용했다.
  3. 코드로부터 4개의 범주가 도출되었다. 이러한 범주(닐 외 2018)는 검토된 기사의 70% 이상(Curtis et al. 2001; Humble 2009)에 나타났는지 여부에 따라 선정되었다. 
  4. Using deductive category application (Elo and Kyngäs 2008), the first stage (Mayring 2000) saw the reviewers independently determine the codes based on descriptions of key elements of training professionalism set out by Berger et al. (2019), Lynch et al. (2004), Birden et al. (2013)’s BEME Guide no.25: Teaching professionalism in medical education and Wilkinson et al. (2009)’s and Veloski et al. (2005)’s reviews of assessment tools in professionalism. Each code was defined in the code book that then served to guide the subsequent coding process.
  5. Stage 2 saw the two reviewers using the ‘code book’ to independently extract and code the relevant data from the included articles. Any relevant data not captured by these codes were assigned a new code in keeping with deductive category application. Following independent review of the same 10 included articles, the reviewers discussed their findings online and ‘negotiated consensual validation’ was used to achieve consensus of the codes and the code book.
  6. From the codes were derived 4 categories. These categories (Neal et al. 2018) were selected based on whether they appeared in more than 70% of the articles reviewed (Curtis et al. 2001; Humble 2009).

[제작된 내러티브]는 BEME(Best Evidence Medical Education) 협업 가이드(Haig and Dozier 2003b)와 STORES(증거 합성의 의료 교육 보고에 대한 체계화된 접근법) 선언문(Gordon and Gibbs 2014)에 의해 안내되었다.

The narrative produced was guided by the Best Evidence Medical Education (BEME) Collaboration guide (Haig and Dozier 2003b) and the STORIES (Structured approach to the Reporting In healthcare education of Evidence Synthesis) statement (Gordon and Gibbs 2014).

품질평가
Quality assessments

연구팀 4명은 의학교육연구품질기구(MERSQI) (Read et al. 2008)와 COREQ (Consolidated Criteria for Report Qualitative Studies) (COREQ) (Tong et al. 2007)를 사용하여 정량적 연구의 개별 평가를 수행하였다.그의 평론 연구 팀은 평가의 차이를 조정하기 위해 대면했다. 품질 평가 요약은 이 체계적 검토에 포함된 기사 목록과 함께 부록 B와 C에 제시되어 있다.
Four members of the research team carried out individual appraisals of quantitative studies using the Medical Education Research Study Quality Instrument (MERSQI) (Reed et al. 2008) and the Consolidated Criteria for Reporting Qualitative Studies (COREQ) (Tong et al. 2007) to evaluate the quality of qualitative and quantitative studies included in this review. The study team met face-to-face to reconcile any differences in their assessments. A summary of the quality assessment together with the list of articles included in this systematic review is founded in Supplementary Appendices B and C.

결과.
Results

6개의 데이터베이스에서 13921개의 추상적인 내용을 확인했고 854개의 전문 기사를 검토했으며 162개의 전문 기사를 체계적으로 검토했다(그림 1: PRISMA 흐름도).

13921 abstracts were identified from six databases, 854 full-text articles reviewed, and 162 full-text articles were thematically analysed in this systematic review (Figure 1: PRISMA Flowchart).

브라운과 클라크(2006)의 접근 방식을 사용한 [주제 분석 결과]와 [지시된 내용 분석]에서 식별된 범주(Hsieh와 Shannon 2005)는 유사했다. 이것들은 1) 전문성의 정의, 2) 영역, 3) 훈련 접근법, 4) 전문성 교육에 대한 장벽과 가능자였습니다.
The results of the thematic analysis using Braun and Clarke’s (2006) approach and the categories identified from directed content analysis (Hsieh and Shannon 2005) were similar. These were 1) definition of professionalism, 2) domains, 3) training approaches, and 4) barriers and enablers to the teaching of professionalism.

전문직업성의 정의
Definition of professionalism

전문직업성의 개념은 여전히 제대로 정의되지 않고 있다. 분석된 162개의 기사에는 58개의 전문직업성 정의와 설명이 있었다. 이러한 정의의 핵심 요소 및 전문성에 대한 설명은 보충 표 1에 주제별로 분석 및 요약되었다.
The concept of professionalism remains poorly defined. There were 58 definitions and or descriptions of professionalism featured in the 162 articles analysed. The key elements of these definitions and or descriptions of professionalism were thematically analysed and summarised in Supplementary Table 1.

Subtheme Elaboration
Abstract concept Comprises of abstract concepts

Is an identity
Influenced by concepts of medicine’s role and place Involves understanding the nature of medicine
 
And underpins the trust in the doctor-patient relationship
 
Knowing the hierarchy and understanding their position in it
Sociocultural informed Varies according to cultural contexts
 
Societal aspects (political, economic and social dimensions)/ interaction with the community
Good clinical practice Having Clinical competence (including clinical judgement, breadth of knowledge, clinical care)
 
Good communication skills
 
Having ethical, moral and legal knowledge and standards
 
Exhibiting teamwork with colleagues

Strong leadership skills

Being sensitive to the needs, beliefs and cultures of others
Driving self-improvement Striving for excellence
 
Having a commitment to the job and learning

Self-assessment, reflection and regulation
Includes a set of virtues Honour and integrity

Accountability and responsibility

Humanism (respect for others, empathy)

Spirituality

Altruism

 

전문 분야
Domains of professionalism

전문직업성의 교육은 표 2에 요약된 임상 역량, 인문학적 자질 및 반사 능력의 세 가지 영역을 포함한다.

Training professionalism involved 3 domains: clinical competence, humanistic qualities and reflective capacity outlined in Table 2.

교육 접근법
Training approaches

전문직업성 육성을 위한 접근방식을 논의할 때, 비공식적이고 숨겨진, 비공식적이고 공식적인 커리큘럼이 교육 접근법에 미치는 영향을 고려하는 것이 유용하다(그림 2).

In discussing approaches to nurturing professionalism it is useful to consider the impact of the informal, hidden, the non-formal and formal curricula upon the training approaches (Figure 2).

 
 
 

접근법 자체는 보충 표 2에 설명되어 있습니다.
The approaches themselves are featured in Supplementary Table 2.

Subtheme Elaboration Reason for Use
Didactic Methods Ceremonies, such as the White Coat Ceremony or a ceremony held prior to dissection. Ceremonies such as the White Coat Ceremony “symbolize the matriculating students’ induction into the medical profession”
Workshops, Lectures, Seminars and Tutorials Such methods appear to be in the minority in favour for methods that encourage active participation from students.
Dialectic Methods Small Group Discussions
 
These require a safe space, such as through a collegial setting.
In preparation for small group discussions, students have an opportunity to reflect on their experiences
 
Additionally, by participating in discussions, students gain “a large bag of tools” to “be able to understand [their] peers better, or [their] patients better”
Role-modelling A role model may be understood as “an individual whose behaviour is admired or imitated by others”.
 
Role models may be assigned by the school as part of a formal mentoring programme.
By demonstrating strong professional attributes, students can understand how such attributes can be adopted into their future practice.
 
Experiential Learning Students are given opportunities to practice professionalism by interacting with patients (real or simulated). These encounters may (or may not) be planned specifically by faculty for the express objective of nurturing professionalism. The key is to integrate theory and practice.
Focused on Reflection Portfolio which is a “a collection of written accounts of events and activities experienced by an individual, kept in the form of a journal.” Reflection should be incorporated into curricula as it allows for the internalisation of attributes taught.
Methods that focus on medical humanities, such as creative writing in response to a prompt.


35개 프로그램은 전문직업성을 가르치기 위한 접근 방식을 조합하여 사용하였다(보완 표 2). 30개의 프로그램은 "서비스 대상 개인과 공동체의 이익을 위한 커뮤니케이션, 지식, 기술 기술, 임상적 추론, 감정, 가치 및 일상적 실천에서의 성찰"과 같은 특정 역량에 대한 교육을 목표로 했다. 반면 다른 이들은 환자 중심 치료 접근법 개발에 초점을 맞췄다(엡스타인 외). 2004) 및 성찰 능력 개선(Elango et al. 2005) (보조 표 2).
35 programmes used a combination of approaches to teach professionalism (Supplementary Table 2). 30 programs targeted training on specific competencies such as “habitual and judicious use of communication, knowledge, technical skills, clinical reasoning, emotions, values, and reflection in daily practice for the benefit of the individual and community being served”(Epstein et al. 2004) whilst others focused upon developing a patient centred approach to care (Epstein et al. 2004) and improving reflective capacity (Elango et al. 2005) (Supplementary Table 2).

일부 프로그램은 몇 년 동안 지속된 종적 접근 방식을 취했다(Branch 2015; Karunakaran et al. 2017). 예를 들어, 프로그램은 "의대생과 함께 2년 이상 동안 매주 - 2회 월별로" 개최될 수 있으며(지점 2015), 5.5년 동안 반년마다 한 번 개최될 수 있다(Kalén et al. 2015).
Some programs took a longitudinal approach that ran over the course of a few years (Branch 2015; Karunakaran et al. 2017). For instance, programmes may be held “weekly to twice monthly for 2 years or longer with medical students”(Branch 2015) or once every half a year for 5.5 years (Kalén et al. 2015).

장벽 및 활성화 요소
Barriers and enablers

장벽은 시스템 수준, 기관 수준, 교수 수준, 개인 수준(표 4)에 존재하는 전문성 교육의 효율성을 저해하는 요인이다. 많은 경우에 이 장벽들은 얽혀있다. 높은 수준의 장벽은 "낙수 효과"를 가지고 있고 낮은 수준의 장벽에 영향을 미친다는 점도 유의하는 것이 유용하다(그림 3).

Barriers are factors that undermine the effectiveness of professionalism training which exist at the system-level, institution-level, faculty-level, individual-level (Table 4). In many instances these barriers are entwined. It is also useful to note that barriers at a higher level have a “trickle-down effect” and affect barriers at a lower level (Figure 3).

 
 
 
 

Enabler전문직업성 훈련의 효과를 촉진하는 요소로 이해될 수 있다. 여기에는 다음이 포함됩니다.

  • 프로그램에 대한 학생들의 적극적인 참여는 매우 중요하다.
  • 학생들에게 전문직업성에 대한 학습 동기를 부여하고, 자기 주도 학습을 강화하며, 전문직업성 훈련에 대한 관심을 전파한다.
  • 그들이 배우고 관찰하는 것의 불일치를 토론할 플랫폼. 이를 통해 교직원과 학생 사이에 신뢰 관계를 구축하여 개방적인 커뮤니케이션과 필요한 경우 후속 교정 작업을 수행할 수 있습니다.
  • 기관과 교수진의 지원은 필수적이다.

Enablers can be understood as factors that promote the effectiveness of professionalism training. These include

  • active student involvement in the programme is crucial (Humphrey et al. 2007; Parker et al. 2008).
  • motivating students about learning about professionalism, enhancing self-directed learning and propagating interest in professionalism training (Humphrey et al. 2007; Parker et al. 2008) (Kenyon and Brown 2007; Monrouxe et al. 2011).
  • a platform to discuss discrepancies in what they learn and observe (Driessen et al. 2003; Rabow et al. 2007; Wald et al. 2009; Monrouxe et al. 2011). This builds trust between faculty and students to allow for open communication and subsequent remediation if needed (Driessen et al. 2003; Rabow et al. 2007; Wald et al. 2009; Monrouxe et al. 2011).
  • support from institutions and faculty is vital (Shapiro and Rucker 2003; Elango et al. 2005; Du Preez et al. 2007; Goldie et al. 2007; Humphrey et al. 2007; Kalet et al. 2007; Kenyon and Brown 2007; Parker et al. 2008; Jayasuriya-Illesinghe et al. 2016).

품질평가
Quality assessments

본 연구에 포함된 논문은 합리적인 품질이었다(부록 C). 이것은 연구의 타당성을 뒷받침한다.
The papers included in this study were of reasonable quality (Supplementary Appendix C). This supports the validity of the study.

논의
Discussion

[지시된 내용 분석]과 브라운과 클라크의 [주제 분석]에 대한 접근 방식을 동시에 사용하는 것은 참신하며, 식별된 범주를 검증하는 역할을 한다. 데이터를 분석하기 위해 두 가지 독립적인 접근 방식을 사용하면 방법적 삼각측량(Asarroudi et al. 2018)을 제공할 수 있으며, 각 검토자는 동일한 데이터를 독립적으로 분석하도록 하여 연구자 삼각측량을 하였다(Davey et al. 2015). 삼각측정은 또한 외부 타당성을 향상시키고 이 접근 방식 내의 객관성을 향상시킨다(Hsieh 및 Shannon 2005).
Concurrent use of directed content analysis (Hsieh and Shannon 2005) and Braun and Clarke’s approach to thematic analysis is novel and does serve to validate the categories identified. Use of two independent approaches to analyse the data also provides method triangulation (Assarroudi et al. 2018) whilst having each reviewer independently analyse the same data provides investigator triangulation (Davey et al. 2015). Triangulation also enhances external validity and improves the objectivity within this approach (Hsieh and Shannon 2005).

주요 연구 질문에 답하기 위해, 전문직업성[전문적 정체성 형성]에 영향을 미치는, [임상 역량, 인문학적 자질, 성찰 능력, 자기 관리 및 자기 인식]에 기반을 둔, 사회문화적으로 영향을 받은, 윤리적으로 민감한 개념으로 스케치할 때, 이 체계적 범위 검토는 앞서 기술된 것보다 더 넓은 전문직업성 개념을 제안합니다. 이러한 관점은 싱가포르의 전문직업성 개념 내의 요소들과 특히 관련이 있다. 예를 들어, 자율성의 '전통적인' 원자론적 개념보다는 임상 치료에서 지배적인 가족 중심적 서술에 민감하다. 이러한 [사회문화적 정보]는 의사 소통, 전문가 간 상호작용, 임상의 역할에 대한 관점, 따라서 싱가포르, 말레이시아, 중국, 일본 및 한국에서 전문성을 바라보는 방식에 영향을 미친다.
In answering its primary research question and sketching professionalism as a socioculturally influenced, ethically sensitive concept built upon clinical competence, humanistic qualities, reflective capacity, self-care and self-awareness that influences professional identity formation this systematic scoping review suggests a wider concept of professionalism than previously described (Cruess and Cruess 2008; Cruess et al. 2016). This perspective is especially relevant with elements within concepts of professionalism in Singapore, for example, being sensitive to the dominant family centric narrative in clinical care rather than ‘traditional’ atomistic concepts of autonomy (Krishna 2014; Krishna et al. 2014; Krishna and Kwek 2015; Radha Krishna and Alsuwaigh 2015). This socioculturally informed practice impacts communication, interprofessional interactions, views on the role of the clinician and thus the manner that professionalism is viewed in Singapore, Malaysia, China, Japan and Korea (Ho et al. 2013; Chai et al. 2014; Chong et al. 2015; Loh et al. 2016; Chang et al. 2017).

[전문적 정체성 형성]은 또한 의대생들 사이에서 전문성을 기르려는 노력에서 더 큰 역할을 부여받지만, 그 정확한 영향은 추가적인 설명이 필요하다(보완표 1). 이는 시간이 지남에 따라, 전문직업성에 대한 평가에 [학습자 개인적 특질personhood이라든가 '나를 나로 만드는 것'에 대한 학습자의 관점]이 동반되어야 한다는 것을 암시한다. 이러한 변화를 보다 효과적으로 그리고 개인 차원에서 지원하는 것은 전문직업성 발달에 대한 교육 및 감독을 더 잘 할 수 있게 할 것이다.

Professional identity formation is also afforded a greater role in efforts to nurture professionalism amongst medical students though its precise impact requires further elucidation (Cruess RL and Cruess SR 1997; Cruess SR and Cruess RL 1997; Inui 2003; Cruess and Cruess 2008; Cruess et al. 2016) (Supplementary Table 1). This suggests evaluations of the professionalism of an individual learner overtime should also be accompanied by they view their personhood or “what makes you, you’ (Krishna 2013; Alsuwaigh and Krishna 2014; Krishna 2014; Alsuwaigh and Krishna 2015; Krishna and Kwek 2015). Supporting these changes more effectively and on an individual level will allow better inculcation and oversight of the development of professionalism.

전반적으로 이러한 연구 결과는 다음과 같이 전문직업성이 길러져야 한다는 것을 시사한다.
Overall these findings suggest that professionalism should be nurtured as

  • I. 구조화된 커리큘럼의 일부분으로
    • 이를 통해 일반적인 지리정치적, 사회문화적 요소와 일치하는 적절한 임상 실무 규범와 관련 전문적 관리 표준이 교육 과정에 적절히 반영되도록 보장할 수 있다.
    • 전문직의 주요 특성(보완표 1)을 교육하고, 역할 모델링하고, 평가하고, 기준을 준수하도록 보장합니다.
    • 안전한 환경과 적절한 시점에 이러한 기술의 연습을 촉진하는 것은 학습과 가치, 신념과 실천을 포함하는데 도움이 될 것이다. 
    • 프로세스에 대한 감독 및 학습자의 지원을 강화합니다.
    • 전문직업성과 관련하여 사고, 실천 및 태도에 영향을 미치는 비공식, 숨겨진, 공식 커리큘럼(그림 2)의 영향을 더 잘 다루고 평가한다.
  1. I. part of a structured curriculum.
    • This will ensure appropriate clinical codes of practice and relevant professional standards of care consistent with prevailing geo-political and sociocultural factors are appropriately inculcated into the training process.
    • Ensures that the key characteristics of a professional (Supplementary Table 1) are taught, role modelled, assessed and standards are policed.
    • facilitate practice of these skills in safe environments and at appropriate junctures will help embed learning and values, beliefs and practice.
    • enhance oversight of the process and support of the learners.
    • better address and assess the impact of the informal, hidden and formal curriculum (Figure 2) that influence thinking, practice and attitudes with regards to professionalism.
  2. II. 단계적으로. (그림 4와 같이) 프로페셔널리즘은 단계별로 발전하며, 각 단계는 다른 단계 위에 구축된다.
    1. 구조화된 접근 방식은 각 개발 단계에서 학습자와 관련된 방식으로 전문직업성을 배양할 수 있도록 한다.
      1. 1단계. 지식 주입
  3. II. in stages (as shown in Figure 4). Professionalism develops in stages, with each stage building upon the other.
    • A structured approach allows professionalism to be nurtured in a manner that is relevant to the learner at each stage of their development.
      • Stage 1. Instilling knowledge
 
 

전문직업성 육성은 수평적, 수직적 통합이 필요하다. 이 단계는 다음에 대한 지식을 주입하기 위한 교육적 프로그램으로 시작한다.

  • 전문직업성의 다양한 차원들,
  • 전문직업적 실천의 중요성,
  • 의료 전문가의 역할과 책임 
  • 여기에 필요한 기술

Nurturing professionalism needs to be horizontally and vertically integrated. This stage begins with didactic programs to instil knowledge about

  • the various dimensions of professionalism,
  • the importance of professional practice,
  • the roles and responsibilities of a medical professional and
  • the skills required.

[의대 신입생]의 경우 [의대생으로서의 전문적 역할]을 중심으로 전문직업성 소개가 이뤄진다. 이러한 역할은 전문 단체와 가능한 경우 [기관의 명예 규범]에 의해 규정된다. 이 문서들은 학생의 행동과 책임에 대한 기대치를 제시한다. 기대치를 설정하고 조정하는 것과는 별개로, 전문성과 전문적 행위에 대한 '핵심' 또는 필수적인 지식의 제공은 전문적 실천과 정체성 형성의 기초를 형성한다.
For new medical students, the introduction to professionalism revolves around their professional roles as medical students. These roles are set out by the professional bodies and where possible, the honour code of the institution. These documents lays out the expectations upon the student’s conduct and responsibilities. Aside from setting out and aligning expectations, provision of ‘core’ or essential knowledge of professionalism and professional conduct forms the basis for professional practice and identity formation.

  • 2단계. 전문적인 아이덴티티 수용
  • Stage 2. Embracing a professional identity

전문적 정체성 형성 단계 2에서 전문직업성의 역할을 반복하는 것은 [사례 기반 토론]과 [새로운 책임을 상징하기 위한 "화이트 코트" 세리머니와 같은 공식적인 행사]의 조합을 포함한다.

Reiterating professionalism’s role in professional identity formation Stage 2 involves a combination of case based discussions and formal events such the “white coat” ceremony to symbolise the new responsibilities.

  • 전문직업성 교육과정의 지식과 기술 구성요소의 [수직적 통합]은 주입되는 전문성의 새로운 요소들이 널리 퍼진 지식과 학생들이 그것의 관련성을 즉시 인식할 수 있는 교육의 배경 위에 구축되도록 하는 수평적 통합이 수반될 것이다.
  • Vertical integration of the knowledge and skills components of the professionalism curriculum will be accompanied by horizontal integration ensuring that new elements of professionalism being instilled build upon prevailing knowledge and a background of teaching where students can immediately appreciate its relevance.

 

  • 3단계. 전문직업성 개념의 맥락화
  • Stage 3. Contextualising the concept of professionalism

[소규모 그룹 토론]은 또한 학습 과정을 [맥락적으로 이해]하는 데 도움이 될 것이다. 이를 통해 학생들은 전문적인 특성, 기대, 사회적 의미 및 기술의 목적과 장소를 볼 수 있다. 이것은 또한 훈련의 초기 단계에서 흡수된 지식, 기술 및 태도를 통합하는 데 도움이 됩니다.
Small groups discussions will also help contextualise the learning process. This allows students to see the purpose and place of professional characteristics, expectations, social implications and skills. This also helps integrate the knowledge, skills and attitudes imbibed in earlier stages of training.

  • 4단계. 역할 모델링
  • Stage 4. Role modelling

[역할 모델링]은 학습 과정 전반에 걸쳐 발생하며 [능동적이고 의식적으로 수행되어야] 합니다. 여기서 1단계와 2단계에서 학습한 우수한 전문적 행동과 실습에 대한 지식은 학생들이 "긍정적인 역할 모델링과 부정적인 역할 모델링을 구별하는 데 도움이 된다"(Karnieli-Miller et al. 2013).

Role modelling occurs throughout the learning process and must be actively and consciously carried out. Here knowledge of good professional conduct and practice learned in Stages 1 and 2 helps students “[discern] between positive and negative role modelling” (Karnieli-Miller et al. 2013).

  • 5단계. 커뮤니케이션을 통한 전문직업성
  • Stage 5. Professionalism through communications

이 단계는 학생들이 의사 소통과 임상 환경에서 [모의 환자] 및 [의료 전문가와의 시뮬레이션]을 사용하여 전문가 간 기술을 개발하는 것을 보여줍니다. 여기서는 문화적 감수성뿐만 아니라 임상적 역량, 인문학적 자질과 성찰 능력이 일제히 실천된다.
This stage sees students practicing professionalism in communication and in the clinical setting using simulations with simulated patients and healthcare professionals to develop interprofessional skills. Here clinical competence, humanistic qualities and reflective capacity as well as cultural sensitivity are practiced in unison.

  • 6단계. 프로페셔널리즘을 표현
  • Stage 6. Portraying professionalism


6단계에서는 의대생들이 [환자 및 그들의 가족들]과 상호작용을 시작하는 것을 본다. 이러한 상호작용은 평가되고, 안전한 환경에서 적시에 피드백이 제공된다.
Stage 6 sees medical students begin interactions with patients and their families. These interactions are assessed and timely feedback provided in a safe environment.

  • 7단계. 전문적 특성 심화
  • Stage 7. Deepening professional traits

여기에는 성찰, 보고 및 피드백이 포함됩니다. 이 '단계'는 학습을 강화하기 위해 모든 초기 단계와 평행하게 진행되어야 한다. 성찰적 실천에는 효과적이고, 개인화되고, 적절하고, 구체적이고, 시기적절하며, 전체적인 피드백과 지원이 수반되어야 한다.

This involves reflections, debriefs and feedback. This ‘stage’ ought to run parallel with all the earlier stages to enhance learning. Reflective practice must be accompanied by effective, personalised, appropriate, specific, timely, holistic feedback and support.

  • III. 종단적으로. 인문학적 특징과 성찰적 실천의 주입은 의대생의 전문직업적 정체성의 발전과 실천의 변화를 지원하기 위한 [종단적 지원과 평가의 필요성]을 강조한다. 교육 과정 전반에 걸쳐 일관성, 수평 및 수직 통합 및 지원을 보장하는 구조화된 접근 방식을 유지하는 것 외에도, 종단적 접근 방식은 교육 과정의 모든 요소에 대한 지속적인 평가를 위한 효과적인 플랫폼을 제공한다.
  • III. longitudinally. The inculcation of humanistic features and reflective practice underlines the need for longitudinal support and assessment to support changes in practice and development of the medical student’s professional identity. Aside from maintaining a structured approach that ensures consistency, horizontal and vertical integration, and support throughout the training process, a longitudinal approach provides an effective platform for continuous assessments of all elements of the training process.
  • IV. 역량 기반 프로세스(Stockley and Forbes 2014; Ziring et al. 2015). 평가는 명확한 이정표를 통해 통보되어야 한다. 역량 기반 프로세스는 "예측할 수 없는 상황을 탐색할 수 있는 내면의 나침반"을 개발하고 "체크리스트 채우기"에 대한 의존을 방지하는 수단으로 간주됩니다. 역량 기반 프로세스는 다음과 같은 특성이 있다.
  • IV. competency based process (Stockley and Forbes 2014; Ziring et al. 2015). Assessments must be informed by clearly delineated milestones. A competency based process is seen as a means of developing an “inner compass in preparation for navigating unforeseeable circumstances” (Baker et al. 2011) and prevent reliance upon “fulfilling checklists” (Stockley and Forbes 2014). A competency based process
    • 널리 퍼진prevailing 지식과 기술을 기반으로 합니다. 이는 교육 과정 전과 과정 중에 능력, 지식 및 기술에 대한 효과적인 평가를 의미합니다. 여기서 데이터는 다루는 주제들이 서로 기반해야 한다는 것을 보여준다. 여기에는 임상 기술 개발, 작업 관리, 전문가 간 관계 관리, 사회와 법률 및 전문 및 임상 기준의 관점에서 그들의 진화하는 역할 이해 및 사회에서의 전문가의 위치 파악이 포함된다. 이러한 주제들은 새로운 학습을 알리는 모든 단계에서 혼합될 수 있다.
    • builds on prevailing knowledge and skills. This means effective evaluation of ability, knowledge and skills before and during the training process. Here the data reveals that the topics covered should build on one another. This includes development of clinical skills, work management, managing interprofessional relationships, understanding their evolving roles in society and in the eyes of the law and professional and clinical standards and appreciation of the professional’s place in society. These topics may be mixed at all stages informing new learning.
    • 효과적으로 평가되어야 한다. 각 단계별로 전문성에 대한 구체적인 평가가 요구된다. 이러한 도구는 숨겨진 공식 커리큘럼의 영향을 고려해야 하며 예측 타당성과 함께 적응 가능하고 신뢰할 수 있어야 합니다. 그러나 일반적인 평가 도구에 대한 데이터는 거의 없다.
    • must be effectively assessed. Specific assessments of professionalism at each stage is required. These tools must consider the impact of the hidden and formal curricula and be adaptable and authentic with predictive validity. There is however little data on prevailing assessment tools.
    • 포트폴리오 기반 종단 교육 프로그램의 일부가 되어야 합니다. 훈련의 종적 성격과 전문 기술, 전문성 평가의 개선을 위한 지속적인 의료 교육 및 동기의 필요성은 전체론적holistic이고, 임상 영역 내에 있어야 한다(Birden et al. 2013). 이 접근 방식은 효과적이고 시기적절한 평가와 일관된 피드백에 의존하여 "학습된 기술을 성숙시키고 반영하고 발전시킬" 수 있는 구체적인 지침과 기회를 적시에 제공합니다(Stockley and Forbes 2014). 현재 평가 방법은 다양하나, 제대로 평가된 바 없다.
    • ought to be part of a portfolio based longitudinal training program. The longitudinal nature of training and the need for continued medical education and motivation to improve on professional skills, assessments of professionalism must be holistic and within the clinical arena (Birden et al. 2013). This approach relies on effective and timely assessments and consistent feedback to provide timely specific guidance (Elango et al. 2005; Chretien et al. 2008) and opportunities to “mature, reflect and build upon skills learned” (Stockley and Forbes 2014). Currently, assessment methods have been varied and poorly evaluated.
    • 학생의 능력, 태도, 지식 및 기술에 따라 [개인화된personalized 프로세스]이므로, 프로그램에 대한 적응을 지원하는 [개인화된individualized 프로세스]여야 합니다(Birden et al. 2013). 이는 필요한 경우 재교육을 주입할 수 있는 가능성을 높인다(Parker et al. 2008).
    • be a personalised process dependent upon the abilities, attitude, knowledge and skills of the student and thus must be an individualised process that supports adaptations to the program (Birden et al. 2013). It also raises the potential to inculcate remediation where needed (Parker et al. 2008).

[일반적인 정의(부록 D)]와 [전문직업성이 길러지는 방법에 대한 일반적인 설명]을 통해 임상적으로 관련된 전문직업성 개념을 전달할 수 있습니다. 여기서 전문직업성은 다음과 같이 개념화될 수 있다."[사회문화적 요인]과 [사회 내에서 의학과 의학의 정체성의 역할에 대한 지배적인 의철학]에 의해 정의되는 진화하는 개념으로, 다음의 것들을 함양하는 과정에서 [역량-기반 단계]로 개발된다.
Drawing from prevailing definitions (Supplementary Appendix D) and prevailing accounts of how professionalism is nurtured allows the forwarding of a clinically relevant concept of professionalism. Here professionalism may be conceived as an evolving concept defined by sociocultural factors and prevailing medical philosophy on the role of medicine and medicine’s identity within a society and developed in competency based stages that include the inculcation of

  1. 의사가 지속적으로 개발하고 추가하고자 하는 [핵심 속성 및 덕목]. 여기에는 자기계발, 좋은 임상진료에 대한 헌신, 임상역량 향상, 리더십 및 지속적 학습, 자기평가, 자기성찰 및 자기조절, 그리고 사회문화적 정보에 기반하며, 윤리적으로 적절하며, 도덕적으로 민감한 돌봄에 대한 관점
  2. 성별, 나이, 문화, 인종, 종교, 장애, 출신, 사회경제적 지위 및 성적 지향에 [관계없이 돌봄의 의무, 공공의 이익을 증진하는 것]을 포함한 [핵심 가치].
  3. 돌봄에 대한 [전문직의 조화]와 동료 전문가와의 효과적이고 [동료적collegial 협력]을 보장하는 책임.
  4. 명예와 성실, 책임과 책임, 휴머니즘, 영성과 이타성을 포함한 전문가의 [덕목]"
  5. core attributes and virtues that physicians seek to continue to develop and add to such as self-improvement, commitment to good clinical care, enhancing clinical competence, leadership and continuous learning, self-assessment, self-reflection and self-regulation and to developing a socioculturally informed, ethically appropriate, morally sensitive perspective to care.
  6. core values including an obligation to care, promote public good irrespective of gender, age, culture, race, religion, disabilities, national origin, socioeconomic status, and sexual orientation that is consistent with prevailing standards of care and conduct.
  7. a responsibility to ensure professional coordination of care and effective and collegial cooperation with fellow professionals.
  8. virtues of a professional including honour and integrity, accountability and responsibility, humanism, spirituality and altruism.”

이 개념은 의학 분야에서 전문적 정체성 형성의 중요성, 그리고 활기차고 훈련된 역할 모델 및 교육자가 전문성의 핵심 가치, 신념 및 원칙을 가르치고 학생들이 안전하고 구조화된 임상 공간에서 이러한 기술을 연마하도록 감독하는 것을 강조한다. 동시에 이 개념은 사회문화적, 지정학적 고려사항의 차이뿐만 아니라 프로그램의 목표와 학습자의 능력을 지적하면서 지배적인 정의의 이질성에 대한 근거를 설명한다.

This concept underscores the importance of professional identity formation, the critical role of emersion in the field of medicine and having vibrant, trained role models and educators instil the key values, beliefs and principles of professionalism and oversee students hone these skills in a safe and structured clinical space. Concurrently this concept explicates the rationale for heterogeneity in prevailing definitions, pointing to differences in sociocultural and geopolitical considerations as well as the goals of the program and abilities of the learners.

검토의 한계
Limitations of the review

의료 전문직업성은 추상적인 개념 때문에 명확하지 않다. 그 결과, 리뷰를 영어로 출판되거나 영어로 번역된 기사로 한정하면 주요 논문 누락의 위험이 있습니다. 또한 영어로 출판되거나 영어로 번역된 논문 기사에 초점을 맞추면서 북미와 유럽에서의 연구에 초점을 맞추게 되었다. 이것은 매우 다른 문화적 환경에서 의료 행위가 일어날 수 있는 다른 나라들에서 결과의 적용 가능성을 감소시킨다.
Medical professionalism is ill-defined due to its abstract (Gauger et al. 2005; Lesser et al. 2010; Pryor 2010; Monrouxe et al. 2011; Bennett et al. 2013; Bernabeo et al. 2014; Cuesta-Briand et al. 2014; Ziring et al. 2015), evolving (Gauger et al. 2005; Lesser et al. 2010; Pryor 2010; Monrouxe et al. 2011; Bennett et al. 2013; Bernabeo et al. 2014; Cuesta-Briand et al. 2014; Ziring et al. 2015) and context-dependent nature (Godkin and Savageau 2001; Kochar et al. 2003; Monrouxe et al. 2011; Bernabeo et al. 2014; Saeedi Tehrani et al. 2017). As a result confining our review to articles published in English or had English translations, risks of missing key papers. In addition, focus upon papers articles published in English or had English translations led to focus upon studies in North America and Europe. This diminishes the applicability of results in other countries where medical practice could take place in a vastly different cultural setting.

또한 시간과 인력 제약으로 인해 체계적인 검토는 1990년부터 2019년까지의 논문만 고려했다.
Additionally, due to time and manpower constraints, the systematic review only considered papers from 1990 to 2019.

교육을 포착할 수 있을 정도로 광범위하지만 전문직업성을 육성하는 데 초점을 제한하고 전문직업성에서 지식, 기술 및 태도의 개발을 지원하는 것은 많은 중요한 영역을 생략한 것으로 보인다. 여기에는 튜터 교육 및 평가, 전문가 정체성 형성을 위한 평가 도구 및 교정 평가가 포함됩니다.
Confining focus upon nurturing professionalism though broad enough to capture teaching and supporting the development of knowledge, skills and attitudes in professionalism does appear to have omitted a number of significant domains. These include tutor training and assessment, assessment tools for professional identity formation and evaluations of remediation.

집중 검토는 또한 전문직업성이 특히 젊은 의사의 사고, 의사 결정 및 행동을 지도하는 가치, 신념 및 원칙을 주입할 때 전문적 정체성 형성의 발전과 개인 및 직업적 정체성을 바라보는 방법에 대한 영향을 폭넓게 이해하도록 방해한다.

A focused review also prevents wider appreciation of the development of professional identity formation and its impact on how professionals view their personal and professional identities particularly when professionalism inculcates values, beliefs and principles that guides thinking, decision making and behaviour of young physicians.

결론
Conclusion

이러한 체계적인 범위 검토는 전문직업성이 의대생들의 성격에 대한 관점의 변화에 영향을 받는 전문적 정체성 형성과 밀접하게 얽혀 있음을 시사한다. 결과적으로, 이 체계적인 범위 검토는 전문가 정체성 형성, 인격의 개념, 과정의 진화하는 맥락에 민감한 종적 특성 및 학습 환경에 미치는 영향을 고려하는 효과적인 도구의 설계에 전문성 육성에 대한 향후 연구가 집중되어야 한다는 결론을 내린다. 이러한 관심 영역에 대한 체계적인 검토가 뒤따라야 한다. 이러한 초기 단계를 통해 의과대학에서 전문성을 효과적으로 육성하고 평가할 수 있다.

This systematic scoping review suggests that professionalism is intimately and inextricably entwined with professional identity formation affected by a change in how medical students’ view their personhood. As a result, this systematic scoping review concludes that future research into nurturing professionalism must be focused upon design of effective tools that consider professional identity formation, concepts of personhood, the evolving context sensitive longitudinal nature of the process and the impact upon the learning environment. Systematic reviews of these domains of interest must follow. It is with these initial steps can professionalism be effectively nurtured and assessed in medical schools.

 


Med Teach. 2020 Jun;42(6):636-649. doi: 10.1080/0142159X.2020.1724921. Epub 2020 Feb 17.

Nurturing professionalism in medical schools. A systematic scoping review of training curricula between 1990-2019

Affiliations collapse

Affiliations

1Division of Supportive and Palliative Care, National Cancer Centre Singapore, Singapore, Singapore.

2Yong Loo Lin School of Medicine, National University of Singapore, Singapore, Singapore.

3Medical Library, National University of Singapore Libraries, National University of Singapore, Singapore, Singapore.

4Family Medicine Residency, National University Health System, Singapore, Singapore.

5Palliative Care Institute Liverpool, Academic Palliative and End of Life Care Centre, University of Liverpool, Liverpool, England.

6Education Department, Duke-NUS Graduate Medical School, Singapore, Singapore.

7Centre for Biomedical Ethics, National University of Singapore, Singapore, Singapore.

PMID: 32065016

DOI: 10.1080/0142159X.2020.1724921

Abstract

Introduction: Professionalism is an evolving, socioculturally informed multidimensional construct that influences doctor-patient relationships, patient satisfaction and care outcomes. However, despite its clinical significance there is little consistency in how professionalism is nurtured amongst medical students. To address this gap a systemic scoping review of nurturing professionalism in medical schools, is proposed.Methods: Levac's framework and the PRISMA-P 2015 checklist underpinned a 6-stage systematic review protocol. Concurrent use of Braun and Clarke's approach to thematic analysis and directed content analysis was used to identify the key elements in nurturing professionalism.Results: 13921 abstracts were identified from six databases, 854 full-text articles reviewed, and 162 full-text included articles were included. The 4 themes identified through thematic analysis are consistent with findings of the directed content analysis. These were the definition of professionalism, the approaches, content, barriers and enablers to teaching professionalism.Conclusion: Informed by a viable definition of professionalism and clear milestones nurturing professionalism nurturing professionalism begins with culturally appropriate training in clinical competence, humanistic qualities and reflective capacity. This process requires effective evaluations of professional identity formation, and the impact of the learning environment underlining the need for longitudinal assessments of the training process.

Keywords: Medical professionalism; medical education; medical students; professionalism training.

전문직업성: 옳은 문제를 풀기 위한 잘못된 도구? (Acad Med, 2020)
Professionalism: The Wrong Tool to Solve the Right Problem?
Victoria Frye, DrPH, MPH, Marlene Camacho-Rivera, ScD, MPH, MS, Kaliris Salas-Ramirez, PhD, Tashuna Albritton, PhD, MSW, Darwin Deen, MD, Nancy Sohler, PhD, MPH, Samantha Barrick, MS, and Joäo Nunes, MD

 

 

미국 전역의 의과대학과 다른 고등교육기관들은 캠퍼스 안팎에서 인종차별에 어떻게 대응할 것인가에 대해 고심하고 있다. 인종 차별과 인종 차별은 이러한 기관들로 하여금 그들의 정책과 관행, 임무, 커리큘럼, 그리고 교수진, 직원, 학생들 사이의 인종과 소수 민족 집단의 대표성을 조사하도록 강요했다. 의학에서는 [화이트 코츠 포 블랙 라이프]와 같은 학생들이 주도하는 단체들이 등장해 의대 커리큘럼을 비판적으로 평가하고 변화를 옹호하고 있다. '인종차별에 대항하는 국가 캠페인을 위한 도구'의 창시자인 카마라 존스 박사와 같은 의학과 인종 정의의 지도자들 또한 의료와 의료 교육에서 인종차별에 대한 공식적인 대응을 조직하기 위해 나섰다. 예를 들어, 일부 의과대학은 입학 과정을 평가하고, 그들이 어떻게 전임상 및 임상 연도에 인종 구성을 제시하는지 분석하고, 교실, 과외 및 병동에서의 암묵적이고 명시적인 편견의 역할을 탐구함으로써, 자습으로 대응했다.
Medical schools and other institutions of higher education across the United States are grappling with how to respond to racism on and off campus.1–5 Racist incidents and acts of race- or ethnicity-based discrimination have forced these institutions to examine their policies and practices, missions, curricula, and the representation of racial and ethnic minority groups among faculty, staff, and students. In medicine, student-led groups, such as White Coats for Black Lives,6,7 have emerged to critically evaluate medical school curricula and advocate for change. Leaders in medicine and racial justice, such as Dr. Camara Jones, the creator of Tools for a National Campaign Against Racism,8 have also stepped forward to organize formal responses to racism in health care and medical education. Some medical schools have responded with self-study, for example, by assessing their admissions process; analyzing how they present the construct of race in the preclinical and clinical years; and exploring the roles of implicit and explicit bias in the classroom,9 extracurriculars,2 and on the wards.10

의학교육에서 인종차별을 다루는 또 다른 보완적 접근은 가치, 특성, 행동, 도덕, 휴머니즘, 역할, 정체성, 심지어 사회적 계약으로 다양하게 정의되는 [전문직업성]의 역할에 초점을 맞추는 것이다. 이 글에서, 우리는 의료 교육에서 인종차별에 대응하는 전문직업성의 개념과 잠재적인 역할을 경쟁적 정의contested definition의 맥락에서 고려한다. 우리는 인종차별에 대한 해결책으로 전문성 연장의 핵심인 3가지 관심사를 식별하고 설명한다.

  • 첫 번째 우려는 전문직업성이 해결책으로 적용될 수 있는 문제에 대한 혼란이다.
  • 두 번째 우려는 전문직업성이, 인종 차별이나 심지어 인종 차별 사건에 대한 잠재적 해결책으로서, 진정한 해결책이 될 수 없다는 개념이다. 왜냐하면 현실에서 전문직업성은, 의학을 지배하는 사회 집단이 (자율 규제뿐만 아니라) 이 분야에서 수용되는 행동에 대한 권력과 사회적 경계를 유지하기 위해 사용하는 [사회적 통제의 도구]이기 때문이다.
  • 세 번째 우려는 만약 전문직업성이 인종차별의 해결책으로 잘못 적용된다면, 훈련생들이 연극적performative 전문직업성에 관여하기 시작할 수 있다는 것이다. 즉, 노골적으로 인종차별적인 행동은 피하고, 관용 지향적인 행동은 표면적으로 제정되며, 위험한 상황(전문적 행동을 제정하는 능력에 대한)은 피할 수 있다. 이러한 행동은 주로 백인적인 공간에서 학생과 유색인종 의사를 배제하는 효과를 가져올 수 있다.

Another sometimes complementary approach to addressing racism in medical education has been a focus on the role of professionalism, variously defined as values, traits, behaviors, morality, humanism, a role, an identity, or even a social contract.11–13 In this article, we consider the notion and potential role of professionalism, in the context of its contested definition,14,15 in responding to racism in medical education. We identify and describe 3 concerns central to the extension of professionalism as a solution to racism.

  • The first concern is confusion around the problem to which professionalism, as a solution, might be applied.
  • The second concern is the notion that professionalism, as a potential solution to racism or even to racist incidents, may not be a true solution because it is—in practice—a tool of social control that is used by the social groups that dominate medicine to self-regulate as well as to gatekeep and maintain power over the discipline’s accepted behaviors and social boundaries.16 
  • The third concern is that, if professionalism is misapplied as a solution to racism, trainees may begin to engage in performative professionalism, whereby overtly racist behaviors are studiously avoided, tolerance-oriented behaviors are superficially enacted, and risky (to one’s ability to enact professional behaviors) situations are avoided. These actions may have the effect of increasing the exclusion of students and physicians of color from predominantly white spaces.

인종차별적 행동이나 제도적 인종차별?
Racist Acts or Institutional Racism?

그렇게 많은 의과대학과 다른 고등교육기관들이 직면하고 있는 문제는 무엇인가? 그것은 일반적으로 평등주의적이고 비인종주의적인 학교에서 (상대적으로 고립된) 인종차별적인 사건들인가? 아니면 제도적 인종차별, 즉 백인들의 이익을 체계적이고 포괄적으로 아프리카계 미국인들과 다른 인종과 소수 민족 집단에 손해를 입히도록 발전시키는 억압의 사회역사적 시스템의 발현인가? 미국 전역의 뉴스 보도를 보면, 한 가지 일반적인 시나리오는 종종 학생들에 대한 학생들에 대한 분노와 보상을 요구하는, 촉매적이고, 명백한 인종차별적 사건에서 시작한다. 학생들은 그 기관이 그 사건의 원인을 분석하도록 요구하거나 그들이 직접 그 일을 할 수도 있다. 종종 이러한 검사inspection는 취약한 다양성 정책, 느린 판단 과정, 교수진과 리더십의 인종 및 민족 동질성, 다양성과 형평성과 반인종주의의 차이에 대한 개념적 혼란, 문화적 및 구조적 무능과 같은 시스템 전체의 결함을 드러낸다. 이러한 결함은 미국의 억압에 대한 사회역사적 제도, 반인종주의/성차별주의/계급주의에 대한 진정한 약속의 부족 또는 부재, 자원의 부족, 또는 비판적으로 검토되지 않았거나 불충분한 커리큘럼에 뿌리를 두고 있다. 그런 다음 학생들은 동료, 교수진, 교직원 및/또는 학교 지도자에 의해 저질러진 미시적이고 거시적인 공격들로 가득 찬 세상에 존재해왔다는 것을 조직하고 소통한다. 
What is the problem facing so many medical schools and other institutions of higher education? Is it (relatively isolated) racist incidents in a generally egalitarian, nonracist school? Or is it institutional racism, a manifestation of the sociohistorical system of oppression that systematically and comprehensively advances the interests of white people to the detriment of African American people and other racial and ethnic minority groups? Looking at news reports from across the country, one common scenario starts with a catalyzing and clearly racist incident, often student on student, that incites student outrage and demands for redress.17–20 Students may call for the institution to analyze the causes of the incident or they may do the work themselves. Often these inspections reveal system-wide deficiencies, such as weak diversity policies, slow adjudication processes, racial and ethnic homogeneity in faculty and leadership, conceptual confusion around the difference between diversity and equity and antiracism, and cultural and structural incompetence. These deficiencies may be rooted in the institution’s underdeveloped grounding in the sociohistorical systems of oppression in the United States, a lack or absence of an authentic commitment to antiracism/sexism/classism, a lack of resources, or critically un- or underexamined curricula. Students then organize and communicate that they have existed in a world filled with micro- and macroaggressions perpetrated by fellow classmates, faculty, staff, and/or school leaders; demands to address the problem become more heated and public.21


이에 대해, 행정부와 일부 교직원들은 학생들의 요구를 촉발시킨 급박한 사건에 초점을 맞추고, 학생들이 그 대응에 만족하고 나아가기를 바라는 것 같다. 그러나 [학생들과 그들의 동맹국들이 문제라고 인식하는 것](즉, 체계적이고 제도적인 인종차별)과 [행정부가 문제라고 인식하는 것](불운한 사건이나 심지어 단지 관리되어야 할 홍보 상황으로 인해 발생하는 난처한 상황) 사이에는 불일치가 있다. 많은 학생 지도자들과 교수진, 교직원, 그리고 행정 동맹들에게, 문제는 목록화된, 개인의 나쁜 행동들뿐만 아니라, 그 기관이 미국 사회에 스며든 패턴화되고 목적 있는 인종차별을 어떻게 반영하고, 표현하고, 재생산하는가, 그리고 그 인종차별을 정직하고, 성심성의껏, 그리고 포괄적으로 다루려는 정치적 의지의 결여이다. 간단히 말해서, 그들의 관점에서, 문제는 백인 우월주의이며, 법률학자 프랜시스 리 앤슬리는 이를 다음과 같이 정의했다.
In response, the administration and some faculty and staff focus on the acute incidents that precipitated the students’ demands, seemingly hoping that the students will be satisfied with that response and move on. Yet, there is a mismatch between what students and their allies perceive to be the problem—systemic and institutional racism—and what the administration perceives to be the problem—a rough patch generated by unfortunate incidents or even merely a public relations situation to be managed. For many student leaders and faculty, staff, and administrator allies, the problem is not only individual acts of bad behavior, which have been catalogued,22 but also how the institution reflects, manifests, and reproduces the patterned and purposive racism that permeates U.S. society and the lack of political will to address that racism honestly, earnestly, and comprehensively. In short, from their perspective, the problem is white supremacy, defined by legal scholar Frances Lee Ansley as:

백인들이 압도적으로 권력과 물질적 자원을 지배하고, 백인들의 우월성과 권리에 대한 의식적이고 무의식적인 생각이 널리 퍼지며, 백인들의 지배와 비백인들의 종속 관계가 광범위한 제도와 사회 환경에 걸쳐 매일 재연되는 정치, 경제, 문화 시스템이다. 
a political, economic and cultural system in which whites overwhelmingly control power and material resources, conscious and unconscious ideas of white superiority and entitlement are widespread, and relations of white dominance and non-white subordination are daily reenacted across a broad array of institutions and social settings.23

 

백인우월주의가 의료교육, 의료 등 사회 전반에 짜여진 인종차별적 억압체제를 견인하고 있다.
White supremacy is driving a racist system of oppression that is woven into every aspect of society, including medical education and health care.

사회통제의 도구로서의 전문직업성
Professionalism as a Tool of Social Control

문제의 해결 방법은 문제가 어떻게 정의되는지에 따라 달라집니다. 고립된 행동 또는 일련의 행동이 문제인 경우, 몇 가지 기본적인 행동 수정이나 점검표가 해결책이 될 수 있다. 이런 상황에서는 행동 지향적인 체크리스트 형식을 갖춘 전문직업성이 잠재적인 해결책이다. 학생들은 그저 편협한 태도로 행동하거나, 무분별한 행동을 하거나, 차이점을 존중하지 않을 수도 있다. 대신, 그들은 사회화에서 백인 우월주의로 기대되고, 강화되고, 견뎌내는 행동을 제정할 수도 있다. 전자의 상황에서는 관용, 존중, 예의, 그리고 전문적으로 행동하는 방법에 대한 지도가 문제가 있는 행동을 저지하는 역할을 할 수 있다. 그러나 학생들의 행동이 고립된 것이 아니며, 오히려 사회화에서 백인우월주의 이데올로기로 이어지고 그 이데올로기가 유지하기 위해 행동하는 권력체계를 강화한다면, [생각, 믿음, 행동, 존재에 대한 혁명]이 아니면 문제가 해결되지 않을 것이다.

The solution to any problem depends on how the problem is defined. If an isolated behavior—or even a set of behaviors—is the problem, then some basic behavioral modifications or a checklist could be the solution. In this situation, professionalism with its behavior-orientated, checklist format is a potential solution. Students may be merely acting in an intolerant manner, engaging in thoughtless behaviors or not respecting differences. Alternately, they may be enacting behaviors expected from, reinforcing, and borne of socialization to white supremacy. In the former situation, instruction in tolerance, respect, civility, and how to behave professionally might act to arrest the problematic behavior. However, if the students’ behaviors are not isolated and instead stem from their socialization to the ideology of white supremacy and reinforce the system of power that that ideology acts to maintain,24 then nothing short of a revolution in thinking, believing, acting, and being will solve the problem.

수십 년 동안 미국에서 의학을 지배해 온 단체들에 의해 통제 도구로 사용된다면, 후자의 상황에서는 전문직업성이 올바른 해결책이 될 수 없다. 여기에 작가이자 활동가인 오드레 로드의 말이 공명한다.
Professionalism cannot be the right solution in the latter situation, if it is used as a tool of control by the groups that have dominated medicine in the United States for decades. Here, writer and activist Audre Lorde’s words resonate:

주인의 도구로는 주인의 집을 절대 해체할 수 없기 때문이다. 
그들은 우리가 일시적으로 그의 게임에서 그를 이기는 것을 허락할지 모르지만, 
그들은 결코 우리가 진정한 변화를 가져올 수 있도록 하지 않을 것이다. 

For the master’s tools will never dismantle the master’s house. They may allow us temporarily to beat him at his own game, but they will never enable us to bring about genuine change.25

 

행동과 복장의 지배적인 기준을 유지하기 위해 전문직업성이 어떻게 사용되는지에 대한 문헌이 증가하고 있다. 저자들은 어떻게 백인의 규범이 전문직업적이라고 여겨지는 것에 대한 참조 기준이 되었는지를 특징짓는다. 그들은 또한 그러한 기준이 전문직업성의 기능에 대한 사회학적 해석에 기초하는 방법에 대해 설명했습니다. 수많은 관찰자들은 자연스러운 머리카락을 착용하는 것과 같은 비백인 사회 집단과 관련된 옷차림이나 외모가 (징계displinary action를 포함한) 미시적이고 거시적인 공격aggression의 초점이 되어왔다고 언급했다. 게다가, 흰색이 아닌 스타일의 옷이나 외모와 관련된 몇 가지 고용 차별 사례가 있었다. 이러한 행동들이 전문적이지 않은 행동, 특히 저항의 행위일 수도 있는 흑인의 문화적 표현으로 지목될 때, 백인 우월주의가 발전한다.

The literature around how professionalism is used to maintain dominant standards of behavior and dress is growing. Authors have characterized how white norms have become the standard of reference for what is considered professional.24,26 They also have described how those standards are based on a sociological interpretation of the function of professionalism.27,28 Numerous observers have noted that dress or appearance associated with nonwhite social groups, like wearing natural hair, has been the focus of micro- and macroaggressions,29 including disciplinary actions; further, several related employment discrimination cases related to nonwhite styles of dress or appearance have been waged.30 When these behaviors are singled out as unprofessional, especially cultural representations of blackness that may also be acts of resistance,31 white supremacy is advanced.

연극적 전문성
Performative Professionalism

[체크리스트를 통해 제정되고 평가될 수 있는 일련의 행동]으로서 전문직업성을 조작화하는 것에 대한 최종적인 잠재적인 문제는, 학생들이 그러한 행동이 [사소한 지각lateness 위반]에서 [인종에 기초한 차별 행위]에 이르기까지 심각도에 다양할 수 있다는 것을 배울 수 있다는 것이다. 게다가, 학생들은 전문적인 행동이 특정한 청중들을 염두에 두고 수행되어야 한다는 것을 배울 수 있고, 따라서 그러한 행동을 수행하는 동기는 외부적이다.

A final potential problem with operationalizing professionalism as a set of behaviors that can be enacted and assessed via a checklist is that students may learn that such behaviors can range in severity from minor lateness infractions to acts of race-based discrimination. In addition, they may learn that professional behaviors are to be performed with specific audiences in mind and thus the motivation to perform those behaviors is external. 

반대로, 의료 교육과 환자 치료에서 인종차별을 교정하기 위한 한 가지 방법으로서 전문직업성이 [사회 및 인종 정의에 대한 진정한 헌신]에 기초한다면, 전문직업적 행동은 사회적 지위나 사회적 지위에 관계 없이 모든 사람들에게 의료가 제공되어야 한다는 의무만을 반영하는 [내부 가치 집합]에서 비롯될 것이다. 또한 의사들은 미국 사회를 특징짓는 인종에 기초한 위계질서를 발생시킨 힘의 체계를 이해하고 해체한다. 그렇다면 사회적, 인종적 정의에 기초한 전문직업적 가치와 행동이 환자, 사무직 교사, 교수들 앞에서만 제정되어서는 안 된다. 의료교육과 환자진료 환경 안팎에서 실천해야 하며 "외부적으로 압박받거나 행동을 강요당하는 것"이 아닌, "의지, 지지, 선택을 충분히 갖고 행동한다'고 정의되는 학생들의 [자율적 동기부여]에서 흘러나와야 한다. 

In contrast, if professionalism—as one way to remedy racism in medical education and patient care—is grounded in an authentic commitment to social and racial justice, professional behaviors will flow from an internal set of values that reflect not only the imperative that medical care be offered to all people regardless of their social position or background32 but also that physicians understand and dismantle the systems of power that gave rise to the race-based hierarchy that characterizes U.S. society. Social and racial justice-based professionalism values and behaviors then should not be enacted only in front of patients, clerkship preceptors, and professors. They should be practiced within and outside medical education and patient care settings and flow from students’ autonomous motivation, which is defined as “acting with a full sense of volition, endorsement and choice” and not from feeling “externally pressured or compelled to behave.”33

"새 천년의 의학 전문성: "의사 헌장"의 핵심 원칙은 [환자 복지, 환자 자율성 및 사회 정의]를 우선하는 것을 전문직업성의 기초로 확인한다. 그리고 학문의학에서 일부 사람들이 [사회 정의]를 전문성의 핵심 원칙으로 옹호하지만, 우리는 오늘날 의학이 반인종주의적인 현대적 도덕적 서사를 가지고 있는지 확신할 수 없다. 게다가, 과거에, 의학은 권력의 체계에서 나타난 사회 문제를 해결하기 위해 전문직업성을 사용하려고 노력해왔다. 예를 들면, 미국 내과 이사회가 오늘날 우리가 [신자유주의에 기반한 의료의 변화](예를 들면 [관리 의료, 영리 의료, 그리고 환자 치료와 의료 교육에서 제약 산업의 영향력  증가])를 다루기 위해 만든 1990년대의 Professional Project입니다. 시장의 힘에 기반한 의료 서비스 제공 변화가 환자가 사람이 아닌 상품으로 취급되는 결과를 초래할 것이라는 우려는 전문직업성의 개념에 초점을 맞춘 대응에 동기를 부여했다. 그러나 2020년에, 우리는 이 노력이 건강, 의료, 그리고 관련된 사람들의 상품화를 막는 데 성공했는지를 판단할 수 없다.
In the article “Medical Professionalism in the New Millennium: A Physician Charter,” 3 core principles are identified as foundational to professionalism—the primacy of patient welfare, patient autonomy, and social justice.34 And whereas some in academic medicine advocate for social justice as a core principle of professionalism,35 we are not certain whether medicine today possesses a modern moral narrative36 that is antiracist. Further, in the past, medicine has tried to use professionalism to address social problems that emerged from systems of power. An example is the Professionalism Project from the 1990s that the American Board of Internal Medicine created to address what we today would identify as neoliberalism-based changes to health care, such as managed care, for-profit medicine, and the increased influence of the pharmaceutical industry in patient care and medical education.37 Fear that market force-based health care delivery changes would result in patients being treated as commodities rather than people motivated a response focused on the notion of professionalism. Yet, in 2020, we cannot determine if this effort was successful in staving off the commodification of health, health care, and the humans involved.

추가 고려 사항
Additional Considerations

우리는 여기서 전문직업성이 의학교육의 인종차별 문제를 해결하기 위한 불충분한 독립적인 도구라고 주장한다. 그러나, 우리는 전문성이 명시적으로 반인종주의적 접근 방식을 적용하고 교육, 훈련 및 환자 치료에서 구조적 역량의 우선순위를 정함으로써 인종차별을 되돌리기 위한 더 광범위한 [제도적인 노력의 한 부분]이 될 수 있다고 믿는다. 이러한 접근 방식은 관련 사람들과 기관의 반인종주의에 대한 이해와 헌신을 반영하는 내용 지식, 태도, 분석, 정책, 관행, 비폭력적 커뮤니케이션, 옹호 및 행동주의, 그리고 일상적인 행동을 산출한다. 이 작업은 사회적, 인종적 정의를 학교의 사회적 사명의 핵심에 두고, 의사 간 옹호 역할을 강조하며, 구조적 역량을 높이기 위해 커리큘럼 내용과 기술개발로 뒷받침되는 교육 프로그램 목표를 통합하는 [의학교육 모델]로 통합될 수 있다. 마지막으로, 인종차별에 대항하기 위한 포괄적인 접근은 인종차별 사건에 대한 기관들의 신속한 대응, 강력한 반인종 정책, 그리고 의료 교육에서의 기관 인종차별을 다루는 것을 요구한다.
We assert here that professionalism is an inadequate stand-alone tool to address the problem of racism in medical education.38 However, we believe that professionalism may be one part of a larger, institutional effort to undo racism39 by applying explicitly antiracist approaches8 and prioritizing structural competence40 in education, training, and patient care. Such approaches ideally will yield the content knowledge, attitudes, analyses, policies, practices, nonviolent communications, advocacy and activism, and day-to-day behaviors that reflect an understanding of and commitment to antiracism on the part of the people and institutions involved.24 This work may be integrated into a model of medical education that puts social and racial justice at the core of a school’s social mission,41 emphasizes the role of advocacy among physicians,42,43 and integrates educational program objectives that are supported by curricular content and skill development to enhance structural competence.10 Finally, a comprehensive approach to countering racism requires swift responses from institutions to racist incidents, strong antiracist policies, and addressing institutional racism in medical education.

여러 [의과대학]이 인종차별과 백인우월주의를 명시적으로 문제로 지목하고 해결책을 개발하고 테스트하는 데 앞장서고 있다. 예를 들어, 미네소타 의과대학의 연구원들은 교육과정 설계 중에 인종 기반 동력 역학이 어떻게 전개되었는지 관찰하고 기록하기 위해 공중 보건에 중요한 인종 연습 방법론을 사용했다. 그들의 연구는 의과대학 1학년 학생들의 개입을 초래했다. 이 밖에도, 인종이 [생물학적 구조]가 아닌 [사회적 구조]임을 가르치고, 교육 자료와 교육에 소수인종을 공평하게 표현하는 것을 포함하는 의학 교육을 요구한다. 이 접근 방식은 각 프레젠테이션 슬라이드, 강의, 텍스트, 학습 활동 및 평가에 대한 비판적 분석을 통해 서로 다른 그룹이 과하게 또는 과소하게 표현되고 인종 구성이 학생들에게 어떻게 제시되는지 판단해야 한다.

Several medical schools are leading the way in explicitly naming racism and white supremacy as problems and developing and testing solutions. For example, researchers at the University of Minnesota Medical School used a public health critical race praxis methodology to observe and document how race-based power dynamics unfolded during curriculum design.9 Their work resulted in an intervention for first-year medical students. Other approaches call for medical education that teaches that race is a social, rather than a biological, construct44,45 and that includes equitable representation5,46 of minority populations in instructional materials and teaching. This approach requires a critical analysis of each presentation slide, lecture, text, learning activity, and assessment to determine where different groups are over- or underrepresented and how the construct of race is presented to students.

반인종주의 의학교육 노력을 기술하고 의학에서 인종차별을 해결하기 위한 여러 유망한 접근방식을 식별하는 [문헌 검토literature reviews]도 늘어나고 있다. 여기에는 사회 집단을 초월한 대화, 권력과 특권의 해체, 비판적 의식과 실천의 고양, 학생들 간의 경험적 변신이 포함된다. 또한 Wear와 동료들은 구조적 역량을 달성하기 위한 반인종주의적 교육 전략과 방법들을 찾아냈고, 이러한 목표들을 진전시킬 수 있는 많은 교육적 접근들을 기술했다. 
There is also a growing number of literature reviews that describe antiracist medical education efforts and identify a number of promising approaches to addressing racism in medicine. They include dialogue across social groups, deconstructing power and privilege, raising critical consciousness and practice, and experiential transformation among students.47 In addition, Wear and colleagues identified antiracist pedagogical strategies and methods to achieve structural competence, describing a number of instructional approaches that would advance these goals.48

결론적으로, 우리는 인종차별 행위를 전문직업적이지 않은 것으로 식별하고, 이 관점을 사용하여 다루는 것만으로는 충분하지 않다고 주장한다. 우리는 학술 의학에서 제도적 인종차별을 되돌리려면 [비판적 분석, 대립, 옹호 및 집단적 사회적 행동]을 사용할 필요가 있다. 인종차별을 경험하고 반인종적 의료행위를 개발하고자 하는 학생 둘 다 지원이 필요한 학생들은 이러한 목표를 달성하기 위해 변화를 요구해 왔다. 오늘날 미국에서는, 캠퍼스와 의과대학에서 인종차별적인 사건들이 계속 전개되면서, 미국이 원주민들로부터 빼앗긴 땅에 노예 아프리카인들의 노동력으로 건설된 백인, 남성 우월주의라는 이념 위에 세워졌다는 대중적 인식의 맥락에서 그렇게 한다. 의과대학과 교육자들은 이러한 사회역사적 사실을 훈련의 모든 측면에 통합해야 하며, 의료교육에서 인종차별을 해소하기 위한 포괄적인 접근법의 필요성을 인정해야 한다. 사회정치 이념으로서 백인 우월주의가 존재한다는 것을 인식하고 그것이 어떻게 불평등한 사회를 지지하는지 이해함으로써, 의과대학은 미국의 건강 불평등과 인종과 사회 정의를 위한 현대 투쟁의 핵심 장소가 될 수 있다.

In conclusion, we argue that it is not enough to identify racist acts as unprofessional and address them using this lens; we in academic medicine need to use critical analysis, confrontation, advocacy, and collective social action to undo institutional racism. Students, who need support as they both experience racism and seek to develop antiracist medical practices, have been calling for changes to achieve these goals.49,50 Today, in the United States, as racist events on campuses and medical schools continue to unfold, they do so in the context of increasing popular recognition that the United States was founded on the ideology of white, male supremacy, built with the labor of enslaved Africans, on land taken from indigenous peoples. Medical schools and educators must incorporate these sociohistorical facts in all aspects of training and acknowledge the need for a comprehensive approach to undoing racism in medical education. By recognizing that white supremacy, as a sociopolitical ideology, exists and understanding how it supports an inequitable society, medical schools can become key sites of the modern struggle against health inequity and for racial and social justice in the United States.


Acad Med. 2020 Jun;95(6):860-863. doi: 10.1097/ACM.0000000000003266.

Professionalism: The Wrong Tool to Solve the Right Problem?

Affiliations collapse

Affiliation

1V. Frye is associate medical professor, Department of Community Health and Social Medicine, CUNY School of Medicine/Sophie Davis Program in Biomedical Education, New York, New York; ORCID: http://orcid.org/0000-0003-3239-7201. M. Camacho-Rivera is assistant professor, Department of Community Health Sciences, SUNY Downstate School of Public Health, Brooklyn, New York. K. Salas-Ramirez is assistant medical professor, Department of Molecular, Cellular and Biomedical Sciences, CUNY School of Medicine/Sophie Davis Program in Biomedical Education, New York, New York. T. Albritton is assistant medical professor, Department of Community Health and Social Medicine, CUNY School of Medicine/Sophie Davis Program in Biomedical Education, New York, New York; ORCID: http://orcid.org/0000-0002-7592-4318. D. Deen is distinguished lecturer, CUNY School of Medicine/Sophie Davis Program in Biomedical Education, New York, New York. N. Sohler is associate medical professor, Department of Community Health and Social Medicine, CUNY School of Medicine/Sophie Davis Program in Biomedical Education, New York, New York. S. Barrick is lecturer and director, Humanities in Medicine Program, CUNY School of Medicine/Sophie Davis Program in Biomedical Education, New York, New York. J. Nunes is medical professor, Department of Molecular, Cellular and Biomedical Sciences, CUNY School of Medicine/Sophie Davis Program in Biomedical Education, New York, New York.

PMID: 32134778

DOI: 10.1097/ACM.0000000000003266

Abstract

Medical schools and other higher education institutions across the United States are grappling with how to respond to racism on and off campus. Institutions and their faculty, administrators, and staff have examined their policies and practices, missions, curricula, and the representation of racial and ethnic minority groups among faculty, staff, and students. In addition, student-led groups, such as White Coats for Black Lives, have emerged to critically evaluate medical school curricula and advocate for change. Another approach to addressing racism has been a focus on the role of professionalism, which has been variably defined as values, traits, behaviors, morality, humanism, a role, an identity, and even a social contract.In this article, the authors consider the potential role that professionalism might play in responding to racism in medical education and at medical schools. They identify 3 concerns central to this idea. The first concern is differing definitions of what the problem being addressed really is. Is it isolated racist acts or institutional racism that is a reflection of white supremacy? The second concern is the notion that professionalism may be used as a tool of social control to maintain the interests of the social groups that dominate medicine. The third concern is that an overly simplistic application of professionalism, regardless of how the problem of racism is defined, may result in trainees practicing professionalism that is performative rather than internally motivated. The authors conclude that professionalism may complement a more systematic and holistic approach to addressing racism and white supremacy in medical education, but it is an insufficient stand-alone tool to address this core problem.

 

판도라의 상자 열기: 누가 프로페셔널리즘을 소유하고 있으며, 21세기 정의가 필요한 시점인가? (Med Educ, 2022)
Re-opening Pandora's box: Who owns professionalism and is it time for a 21st century definition?
Viktoria C. T. Goddard | Susannah Brockbank

 

1 소개
1 INTRODUCTION

"프로페셔널리즘은 성공적인 이데올로기이며,
따라서 지위와 소득을 위해 경쟁하는 광범위한 직업 집단의 정치적 어휘로 들어갔다." (추가됨)

“[P]rofessionalism is a successful ideology and as such has entered the political vocabulary of a wide range of occupational groups who compete for status and income”.1 (emphasis added)


의료 종사자로서 졸업하는 것은 새로운 전문직업적 정체성의 개발, 즉 그러한 정체성을 얻음으로써 획득되는 지위status와 특권 때문에 정확히 중요한 개념이다. 의료 전문직으로 졸업하는 젊은이들이 직면하는 도전은, 이러한 정체성에는 일군의 기대치가 따라온다는 것이다. 관련 규제 기관을 대표하여, 사회를 대표하여 시행enforced된다. 바로 전문직업성이다.
"전문직업성"은 의료 교육 및 모든 의료 학생의 삶에서 지배적인 개념이다.

Graduating as a health-care practitioner involves the development of a new professional identity,1 a concept that matters precisely because of the status and privilege that is acquired with gaining such an identity.2 The challenge that befalls the (often) young people graduating into the health-care professions is that with this identity comes a set of expectations, observed by their educational establishments, on behalf of the relevant regulatory bodies, enforced on behalf of society: professionalism. “Professionalism” then is a dominant concept in health-care education and in the life of any health-care student.

몇 년 전부터 의료 전문직업성과 정체성 개발 분야에서 연구·출판해 왔지만, 여전히 이 분야에서는 상대적으로 신인이라는 느낌이 든다. 전문직업성에 관한 도전에 대해 글로벌 동료들과 논의하는 과정에서 우리가 공유한 반성은 이 분야에서 우리만 있는 것이 아니라는 것이다. 전문직업성을 이해하고 정의하기 위해, 우리는 모두 보건 전문가들 사이에서 공인된 일련의 저자들을 이용한다. 이 규약 자체는 대개 의학을 기반으로 한다. 특히, 법률가과 성직자와 함께 최초로 정의된 전문직 중 하나로서, 다른 의료 직업에서 전문성을 배치하는 것과 관련된 작업이 부족하지는 않지만, 보다 새롭게 "전문직화된" 보건의료 관련직보다, 의료전문직 분야에서 전문직업성의 개념을 논의하는 시간이 더 길었다고 할 수 있다. 

We have been researching and publishing in the area of medical professionalism and identity development for some years,1, 3-5 but it still feels as if we are relative newcomers to the field. Our shared reflection from discussing challenges concerning professionalism with global colleagues6-8 is that we are not alone in this; in order to understand and define professionalism, we all draw upon the same set of authors as recognised canon across the health professions.9, 10 This canon itself is usually based in medicine; notably, as one of the first defined professions alongside law and the priesthood, there has arguably been longer to debate the concept of professionalism in this field than for the more newly “professionalised” health-care occupations, although there is no shortage of work related to positioning professionalism in other health-care professions.11, 12

그러나 "전문직업성"을 이해하기 위한 공동 참조 프레임에도 불구하고, 우리가 전문직업성 위반의 시나리오를 논의할 때, 추가적인 위반을 방지하거나 교정하는 데 합의된 접근 방식은 결코 없다.4 우리는 종종 사회적 또는 문화적 맥락의 중요성에 대해 이야기합니다; 그리고 우리는 전문직업성에 대한 출판된 문헌이 우리 자신의 생각과 가치를 나타내지 않는 것처럼 보인다는 것을 반영합니다. 현재 전문직업성에 관한 지배적인 정의는 [성별, 민족성, 일과 삶의 균형에 대한 21세기의 기대, 그리고 종종 가장 걱정스러운 것은 신체적, 정신적 건강에 대한 고려]를 무시하는 듯 보인다.
Yet despite a shared frame of reference for understanding “professionalism”, when we discuss scenarios of professionalism transgressions, there is never one agreed approach to remediation nor prevention of further transgressions.4 We often talk about the importance of social or cultural context; and we reflect that the published literature on professionalism does not seem to represent our own thoughts and values. Dominant definitions seem to ignore considerations of gender, ethnicity, twenty-first century expectations of work-life balance and often, most worryingly of all, physical and mental health concerns.

한편, 의료 외에서는 이러한 고려사항이 전문직업성에 대한 논의에서 이미 존재하는 것으로 보인다. 실제로, 우리의 우려는 40년 전 프리드슨 자신이 "전문직"을 정의할 때 반영했던 것과 같다. 프리드슨은 이 용어를 "영국-미국 제도들에 의해 강한 영향을 받은 산업국가들에서 특별한 뿌리를 가진 변화된 역사적 개념"임을 인정하지 않고, 대신 "일반적인 개념generic concept"으로 정의하려는 시도의 어리음에 주목했다. 이러한 점을 염두에 두고, 우리는 전문직업성의 정의를 재검토하여 그것들이 다른 맥락에서 어떻게 적용되는지 이해할 시간이 지났다고 느낀다. 여기서 우리 연구는 다시 한번 의학을 기반으로 할 것이다. 따라서 우리가 이러한 논쟁을 모든 보건의료 직업과 관련이 있다고 말하는 동안, 우리는 각각의 단일 건강관리 직업의 맥락이 이 토론이 각각의 직업 정체성에 대해 특별히 이루어져야 한다는 것을 의미할 수 있다는 것을 인정해야 한다.
Meanwhile outside health care, these considerations appear to already exist in discussions of professionalism.13, 14 Indeed, our concerns mirror Friedson's own reflections15 in defining a “profession” 40 years ago. Friedson noted the folly of attempting to define the term as a “generic concept” rather than acknowledging it is a “changing historic concept with particularistic roots in those in industrial nations that are strongly influenced by Anglo-American institutions” (p32). With this in mind, we feel it is beyond time to review the definitions of professionalism to understand how they are applied in different contexts. Our own work here will once again be based in medicine; thus whilst we speak of these debates as relevant to all health-care professions, we must acknowledge the context of each singular health-care profession may mean this debate needs to be had specifically for each occupational identity.

또한 질 개선quality improvement을 주제로 한 이 특별호 내에서 논의를 진행하는 것도 중요합니다. 교육자로서, 우리는 우리 학생들 사이에서 전문직업성 과실을 관리하기 위한 최적의 방법을 찾을 뿐만 아니라 우리의 전문직업성 교육의 질을 향상시키기 위해 끊임없이 노력하고 있다는 것을 발견합니다. 그러나 우리는 종종 단순히 그 일을 감당할 수 없는 [전문직업성의 정의]에 의해 좌절된다는 것을 발견한다. 그러므로, 우리의 눈에는, 전문직업성의 교육 및 관리의 질을 향상시키는 첫 번째 단계는 [기존의 정의]에 대한 공개 토론을 장려하고 이를 뒷받침하는 기원과 가정에 의문을 제기하는 것이다.
It is also important to situate this discussion within this special issue on the theme of quality improvement. As educators, we find ourselves constantly striving to improve the quality of our professionalism teaching, as well as searching for optimal methods to manage professionalism lapses amongst our students.4 We often, however, find ourselves hamstrung by definitions of professionalism that are simply not up to the task. Thus, in our eyes, the first step to improving quality in teaching and management of professionalism is to encourage an open debate of existing definitions and to interrogate the origins and assumptions that underpin these.

현재의 의료 전문직업성 상태에 대한 비판적 평가를 실시하기 위해, 우리는 다음과 같은 질문들을 다룰 것입니다.

  • 전문직업성을 정의하도록 "허용"되는 지배적인 목소리는 누구인가? 전문직업성을 정의하는 것은 규제자, 학자, 전문가 또는 실제로 비정형 "공공"의 소관이 되어야 하는가?
  • 만약 지배적인 목소리가 직업 내에서 모든 것 혹은 심지어 다수를 대변하지 않는다면, 그것은 전문직업성의 패권적 정의와 그에 따른 전문적 기준의 설명에 무엇을 의미합니까?
  • 서로 다른 국가적, 문화적 맥락에 걸쳐 서로 다른 이해를 고려한다면, 모든 사람에게 "통하는" 전문직업성에 대한 하나의 허용되는 정의가 있을 수 있을까?
  • 전문직업성에 대한 현재의 정의를 무비판적으로 수용하는 것이 그 개념이 무기화되고 전문가 자체에 대해 사용되는 결과를 초래할 위험이 있는가?

In order to undertake a critical appraisal of the current state of medical professionalism, we will seek to address the following questions:

  • who are the dominant voices that are “allowed” to define professionalism? Should defining professionalism be the remit of regulators, academics, the profession or indeed the amorphous “public”?
  • If the dominant voices do not speak for all – or even a majority – within a profession, what does that mean for hegemonic definitions of professionalism and for the subsequent delineation of professional standards?
  • Taking into account different understandings across different national and cultural contexts, is it even possible for there to be one single accepted definition of professionalism that “works” for everyone?
  • Is the danger that uncritical acceptance of current definitions of professionalism results in the concept being weaponised and used against the professions themselves?

이 논문은 이러한 대화들이 [현재 존재하는 전문직업성의 정의가 최종적인 것definitive ones]이라는 입장에서 나아가야 할 필요가 있다는 것을 입증하기 위해 이러한 질문들에 대한 토론을 탐구한다.
This paper explores the debate on each of these questions, to make the case that these conversations need to move on from the position that the extant definitions of professionalism are the definitive ones.

2 프로페셔널리즘을 정의할 수 있는 사람(그리고 허용되어야 함)은 누구입니까?
2 WHO IS – AND SHOULD BE – ALLOWED TO DEFINE PROFESSIONALISM?


"전문직"을 정의하려는 시도는 사회학 분야에서 시작되었다. 가장 넓게 본다면, 전문직업성은 사회에서 구성원의 위치를 정당화하는 직업의 측면이다. 이러한 정의에서 "사회적 계약"의 개념이 등장했다. 그것은 전문가들이 사회에 유용한 지식과 기술에 [접근할 수 있게 만들어준다]. 이러한 지식은 전문직 자체에 의해 보호되므로 모든 사람이 이용할 수 있는 것은 아닙니다. 그러므로, 지식을 휘두르고 그것에 대한 접근을 계속 규제하기 위해, 의사들은 전문직업 밖의 사람들의 신뢰를 정당화하는 방법으로 행동해야 한다. 이는 전문직업성이 대중들에 의해 정의된다는 것을 시사한다. 오직 전문직 바깥에 있는 사람들만이 신뢰를 정당화할 수 있는 것을 정의할 수 있다. 그러나 이는 분명히 그렇지 않다. 심지어 의학 교육 분야에 존재하는 이 기사는 전문직업성에 대한 논쟁이 의사들에 의해 지배되고 있다는 것을 보여준다. 따라서 다음과 같은 의문이 제기된다. 전문직의 어떤 구성원들이 전문직업성을 규정할 수 있는 힘을 주장합니까?

Attempts to define a “profession” and thus professionalism started in the field of sociology; most broadly, professionalism is the aspects of occupations that justify members' position in society.16 From these definitions emerged the concept of a “social contract”,17 that is where professionals have access to knowledge and skills that are useful to society. This knowledge is safeguarded by the profession itself – so is not accessible to all – thus, in order to be trusted to wield said knowledge and continue to regulate access to it, doctors must behave in a way that justifies the trust of those outside the profession. Immediately this suggests that professionalism is defined by members of the public: only those out with the profession can define what would justify their trust. This is, however, clearly not the case: even this article, existing within the field of medical education, demonstrates that the debate regarding professionalism is one dominated by doctors. Thus, the question arises: which members of the profession claim the power to define professionalism?

2.1 학술
2.1 Academics

2.1.1 전문성은 의학과 사회계약의 기초이다. 
2.1.1 Professionalism is the basis of medicine's contract with society18

이 인용문이 시사하듯이, 전문직업성을 논하는 학술 문헌들 중 상당수는 의사가 반드시 전문적이어야 하는 이유로 '사회적 계약'을 꼽고 있다. 우리는 대중이 정한 정의에 대해 거의 알려져 있지 않다는 것을 증명했으므로, [대중의 기대]는 [의사들이 생각하는 대중의 기대]와 [헤드라인을 강타한 의료사고의 이야기에 대한 대중의 반응]의 조합에서 추론될 수밖에 없다. 비록 "사회적 계약"이 유용한 이론적 구조일 수도 있지만, 현실은 그것이 기껏해야 역사적 추측에 기초하고, 최악의 경우 허구인 것처럼 보인다는 것이다.
As this quotation suggests, much of the academic literature that discusses professionalism cites the “social contract” as the reason why doctors must be professional.19, 20 As we have established that little is known about definitions set by the public, it must follow that the expectations of the public are only inferred from a combination of what doctors think members of the public expect and the public reaction to stories of malpractice that hit the headlines.21, 22 Though the “social contract” may be a useful theoretical construct, the reality is that it seems at best to be based on historical guesswork and at worst to be a fiction.

이 단계에서는 아마도 전문직업성의 정의와 사회계약에 대한 통제력을 가진 듯한 기득권의 힘으로 몇 가지 어려움을 개략적으로 설명하는 것이 중요할 것이다. "전문직"의 개념은 적어도 1930년대부터 논의되어 왔지만, 직업과 관련된 표준과 관행을 참조하는 개념으로서의 전문직업성은 직업의 가치에 관한 영국과 미국의 사회학적 분석에서 등장하여 1970년대 말과 1980년대 초에 주목을 받았다. 실제로 1990년, 버라지와 토르스텐달 24는 이 분야에서 주의가 필요하다고 통찰력 있게 주장했다. 사회적, 정치적 맥락으로부터 정의된 전문직의 분리separation, 그리고 전문가 간 관계의 무시와 영미 편향은 모두 전문가 행동의 이론화 적용에 대한 우려로 확인되었다.
At this stage, it is perhaps important to outline some difficulties with the power of the establishment that seems to have control over the definition of professionalism and the social contract. Whilst the concept of a “profession” has been discussed since at least the 1930s,23 professionalism as a concept referring to the standards and practices associated with a profession emerged from British and American sociological analysis concerning the value of occupations, gaining traction towards the end of the 1970s and early 1980s.24, 25 Indeed in 1990, Burrage and Torstendahl24 insightfully argued that caution was needed in this field; the separation of a defined profession from its social and political context, and the neglect of inter-professional relationships and an Anglo-American bias were all identified as concerns in the application of the theorising of professional behaviours.

이미 심하게 논의되고 있는 이 작품에서, 전문직업성에 대한 학문적인 토론에 끼어들기가 도전적이라고 느끼는 것은 이해할 수 있을 것이다. 그럼에도 불구하고, 이는 의료 전문직업성의 진화를 이해하고 그 분야에서 [특정 인물의 명백하고, 꿈쩍하지 않는 지배력]과, 위에서 강조된 우려에 대한 후속적인 비판적 관여의 부족에 더 관련되는 데 전념하는 시간과 관련이 적을 수 있다. 예를 들어 크루즈와 크루즈는 20년 넘게 전문성의 정의와 가르침에 대해 출판해 왔으며, 다른 작가들에 의해 전문직업성을 정의하기 위한 일종의 roadstone으로 종종 인용된다. 그러나 크루즈 부부는 1950년대에 졸업한 백인 캐나다인 부부라는 사실을 주목할 필요가 있다. 이것을 염두에 두고, 그들의 전문직업성에 대한 정의는 약간의 질문을 필요로 한다.전문직업성에 대한 이러한 정의가 처음 받아들여졌을 때, 의학은 매우 다르게 보였다. 그것은 여전히 매우 동질적인 노동력에 의해 지배되고 있는 직업이었다. 이러한 정의는 맥락에 대해 사려 깊고 잘 이론화되었을 수 있지만, 우리는 현재와 미래의 노동력에 기존의 정의를 적용하는 것이 의심할 여지 없이 점점 더 어려워지고 있다고 믿는다.

In this already heavily debated body of work, it is perhaps understandable that it feels challenging to break into scholarly discussion of professionalism. Nevertheless, this may be less to do with the time dedicated to understanding the evolution of medical professionalism and relate more to the apparent immovable dominance of particular figures in the field, and a subsequent lack of critical engagement with the concerns highlighted above. Cruess and Cruess, for example, have been publishing about definitions and teaching of professionalism for over 20 years,9, 26 and they are often cited by other authors as a kind of lodestone for defining professionalism.27 It is worth noting, however, that the Cruesses are a white, Canadian couple who graduated in the 1950s.28 With this in mind, their definitions of professionalism require some interrogation. When these definitions of professionalism were first accepted,9, 18 medicine looked very different. It was a profession still dominated – certainly in senior positions – by a very homogeneous workforce. Whilst these definitions may have been thoughtful and well theorised for their context, we believe it is increasingly challenging to apply them unquestioningly to the current and future workforce.

그러나 대안적 정의를 제시하는 데 있어 난제 중 하나가 토론에서 설득력을 얻은 것으로 보인다. 예를 들어, 2006년에 Wear와 Aultman은 다른 이론적 틀을 사용하여 전문성에 대한 비판적 분석 모음집을 편집했다. 이들 중 하나는 전문직업성에 대한 전통적인 정의를 사용할 때 성 불평등의 가능성을 강조한다. 예를 들어, 만약 전문직업성이 초특권supererogation을 요구한다면 – 의무 이상의 것을 요구한다면 – 그들의 아이들을 돌보기 위해 제 시간에 떠나야 하는 부모들은 여전히 전문직업적일 수 있는가? 아마도 의학에 대한 무조건적인 헌신은 모든 국내 업무를 책임지는 파트너에 의해 개인 생활에서 지원받는 사람들의 특권이 될 수 있을 것이다. 의학이 점점 더 다양한 노동력을 수용함에 따라, 정시에 퇴근해도 전문직업적이 되는 것이 확실히 가능해졌는가? 그러나 셜리와 패젯의 비평은 지배적인 정의를 인용하고 암송하라는 소동 속에서 크게 사라졌다. 이것은 전문직업성에 대한 학문적academic 논의와 "현장on the ground"에서 일어나고 있는 일 사이에 더 큰 차이가 있음을 시사한다. 만약 그렇다면, 아마도 전문직업성에 대한 실용적인 정의는 practicing physician들에게 더 널리 적용될 수 있을 것이다.

One of the challenges in presenting an alternative definition, however, seems to have been gaining traction in the debate. In 2006, for example, Wear and Aultman29 edited a collection of critical analyses of professionalism using different theoretical frames. One of these highlights the potential for gender inequality when using conventional definitions of professionalism.30 For example, if professionalism requires supererogation – going above and beyond the call of duty – can parents who need to leave on time to care for their children still be professional? Perhaps, unqualified commitment to medicine can only be the privilege of those supported in their personal lives by a partner who assumes responsibility for all domestic tasks. As medicine embraces an increasingly diverse workforce, surely it has become possible to leave work on time and be professional? And yet Shirley and Padgett's30 critique has been largely lost in the clamour to cite and recite the dominant definitions. This suggests to us that there is a widening gulf between the academic discussion of professionalism and what is happening “on the ground”. If this is the case, perhaps a practical definition of professionalism is more widely applicable to practising physicians.

"사회적 계약"을 일반적으로 합의된 정의로 변환하려고 시도할 때 추가적인 문제가 발생한다. 행동에만 의존하는 전문성의 정의는 "깊이가 얕다skin deep"는 비판을 받아온 반면, 덕목virtues에 의존하는 정의는 비정형적이고 평가에서 구현하기 어렵다. 어떤 이들은 규범적normative 정의 - 대부분의most 의사들이 어떻게 행동할 것인가에 기초하는 -가 도움이 된다고 제안했다. 그러나, 규범은 세대에 따라 변화하며 여기에 어려움이 있다: 전문직업성의 정의는 직업의 모든 구성원에 의해 동등하게 통제되지 않는다. 대신 학계와 규제당국과 같은 강력한 이해당사자들이 정의를 통제하는 것처럼 보인다.
A further challenge arises when attempting to translate the “social contract” into a commonly agreed definition.31 Definitions of professionalism that rely solely on behaviour have been criticised for being “skin deep”,32 whereas definitions that rely on virtues are amorphous and difficult to implement in assessment.33 Some have suggested that normative definitions – based on how most doctors would behave – are helpful.34 Pertinently, however, norms change with generations and herein lies the difficulty: the definition of professionalism is not equally controlled by all members of the profession. Instead, powerful stakeholders such as academics and regulators seem to control the definition.

2.2 규제 기관
2.2 Regulators

아마도 전문직업성에 대한 가장 직접적인 정의는 규제 기관들이 사용하는 정의일 것이다. 이러한 정의와 이를 통제하는 기관들은 전문성을 측정하는 사실상의 기준을 형성하기 때문에 힘을 가지고 있다. 예를 들어, 영국에서 GMC(General Medical Council)전문직업성이 무엇을 의미하는지 설명하기 위해 이 정의를 사용한다.

Perhaps the most straightforward definition of professionalism is one used by regulatory bodies. These definitions – and thus the institutions that control them – have power as they form de facto standards against which professionalism is measured. In the United Kingdom, for example, the General Medical Council (GMC) uses this definition to outline what they believe professionalism means:

 

"좋은 의사들은 환자를 돌보는 것을 첫 번째 관심사로 삼는다. 그들은 유능하고, 지식과 기술을 최신 상태로 유지하고, 환자 및 동료들과 좋은 관계를 수립하고 유지하고, 정직하고 신뢰할 수 있으며, 그리고 법 안에서 정직하게 행동한다." 
“Good doctors make the care of their patients their first concern: they are competent, keep their knowledge and skills up to date, establish and maintain good relationships with patients and colleagues, are honest and trustworthy, and act with integrity and within the law.”35

규제 기관은 의학에 진입하는 조건, 그리고 의학 내에서 합법적인 고용 조건을 설정하기 때문에 전문성을 정의하는 데 강력한 역할을 한다. 그러나 이와 같은 정의에는 명백한 문제가 있다. 첫째, 각 용어 - "좋은good"를 예로 들어 - 더 많은 설명이 필요합니다. 다음으로, 각 개념은 주어진 의사의 경험, 훈련 단계 및 당면한 특정 시나리오와 맥락화되어야 하는데, 이 모든 것은 객관적인 방법으로 측정하기 어렵다. 이러한 명확성의 결여는 해석의 정의를 열어주고 이러한 해석은 일종의 비공식 규제 사례법을 통해 이루어지게 한다. 전문직업성에 대한 GMC의 자체 정의는 의사들과 일반인들이 전문적 위법 행위와 실천의 적합성에 대한 문제를 다루는 데 있어 수행하는 [의료 종사자들의 재판소tribunals]를 통해 검증된다. 따라서, "체제establishment"에는 외부 비판의 기회가 거의 없으며, 자신의 정의를 그대로 유지한다.
Regulatory bodies have a powerful role in defining professionalism as they set the conditions of entry to – and legitimate employment within – medicine. Yet there are manifest problems with a definition such as this. Firstly, each term – take “good” as an example – requires further clarification. Next, each concept needs to be contextualised with a given doctors' experience, stage of training and the specific scenario at hand, all of which are challenging to measure in an objective way. This lack of clarity then opens the definition to interpretation and leaves these interpretations to be made through a kind of informal regulatory case law. The GMC's own definition of professionalism is tested through tribunals of medical practitioners, which are conducted by doctors and lay people experienced in dealing with matters of professional misconduct and fitness to practise. Thus, the “establishment” maintains its own definitions with little opportunity for external critique.

전문직업성에 대한 규제적 정의에 의존할 때 생기는 또 다른 문제는 [전문직업적 기준을 충족하지 못하는 행동과 태도]만 공개적으로 평가된다는 것이다. 이 경우 시간이 지날수록 전문직업성의 '흑백(옳고 그름)'이 조금씩 바뀌기 때문에 도움이 되지 않는다. 개인적인 금전적 이익을 위해 환자를 죽이는 것은 어느 때라도 전문직업적이지 않을 것이다. 하지만 "회색 지대"는 바뀐다. 즉, 이것은 덜 명확한 결정이며, 규제 기관의 소관이 덜한 결정입니다. 대신, 그것들은 교육자, 의료 서비스 제공자, 의사 및 대중이 매일 해야 할 결정입니다.
Another challenge of relying on a regulatory definition of professionalism is that it is only tested in relief: only behaviours and attitudes that do not meet professional standards are publicly measured against it. This is unhelpful as the “black and white” of professionalism changes little over time. It is never going to be professional to kill your patients for personal financial gain. What do change are the “shades of grey”, the decisions that are less clear, which are less often the remit of the regulator. Instead, they are decisions that fall to educators, health-care providers, “jobbing” doctors and members of the public to make on a day-by-day basis.

3 다양한 국가 및 문화적 맥락에 걸친 다른 이해를 고려하여, 모든 사람에게 "효과적"인 전문성에 대한 하나의 허용되는 정의가 가능할까요?
3 TAKING INTO ACCOUNT DIFFERENT UNDERSTANDINGS ACROSS DIFFERENT NATIONAL AND CULTURAL CONTEXTS, IS IT EVEN POSSIBLE FOR THERE TO BE ONE SINGLE ACCEPTED DEFINITION OF PROFESSIONALISM THAT “WORKS” FOR EVERYONE?


여러 이전 출판물에서 인정된 바와 같이, 국가 또는 국제 경계를 넘어서는 전문직업성에 대한 단일 또는 합의된 정의는 없다. 따라서 각 국가/지역 규제 기관 또는 의료 면허 기관은 자체 규정과 어느 정도 "전문직업성"에 대한 자체 정의를 가지고 있다. 이러한 정의는 때때로 전문직 규정 문서에 통합된 지침으로 캡슐화되지만, 다른 정의는 학부 교육 또는 등록된 전문가에 대한 전문적 기대에 초점을 맞춘 전체 문서에서 캡처된다.  실제로, 어떤 맥락에서 전문직업성의 정의는 규제 기관보다는 의사 협회에 의해 생성되는 것처럼 보인다. 여러 가지 시도가 있었음에도 불구하고 전문직업성이 어떻게 다른 국가 지침에서 다루어지는지를 고려할 수 있는 쉽게 식별할 수 있는 비교 가능한 문서 세트는 없다. 가장 주목할 만한 것은, 최근 일련의 문헌에서 서구의 전문직업성 정의가 반드시 비서구 국가의 문화적 가치를 반영하는 것은 아니며, 따라서 다른 맥락에서 다른 전문성 정의가 필요할 수 있다는 점에 주목하고 있다. 
As has been acknowledged in multiple previous publications, there is no single or agreed definition of professionalism across national or international borders.36 As such, each national/regional regulator or medical licensing organisation has its own regulations and to a certain extent their own definition of “professionalism”. These definitions are sometimes encapsulated in guidance incorporated into professional regulatory documents,37 whereas other definitions are captured in whole documents focussed on professional expectations either in undergraduate training38 or for registered professionals.39 Indeed, in some contexts definitions of professionalism seem to be generated by doctors' associations, rather than the regulatory body.39, 40 There is not then an easily identifiable set of comparable documents by which we can consider how professionalism is addressed in different national guidance, though there have been a number of attempts to do so. Most notably, a recent set of literature notes that Western definitions of professionalism do not necessarily reflect the cultural values of non-Western countries, and therefore, that different professionalism definitions could be needed in different contexts.41-50

표 1은 규제 기관 또는 인증 기관 웹 사이트에서 "전문직업성"을 검색할 경우 나타나는 지침의 작은 표현을 결합하려고 시도한다. 이 길이의 기사 범위 내에서, 의학이 규제 직업으로 시행되는 모든 국가의 사례를 검색하고 포함할 수 없었다. 대신 우리는 전문성을 정의하는 복잡성을 보여주기 위해 대륙을 가로질러 가능한 한 횡단면을 포함하기로 선택했습니다. 따라서 이 정보에 대한 검색은 의도적으로 실용적이었으며, 우리가 알고 있는 의학교육 문헌의 큰 단체들이 이미 국제 무대에서 대표성을 가지고 있다는 것을 알 수 있는 장소(영국, 유럽, 미국, 호주 - 이전에는 "서구"라고 불렸을 수도 있는 것)와 다른 것들은 잘 표현되지 않은 장소들을 포함했다. (중국, 사우디아라비아, 남아프리카 및 일본) 그러나, 우리는 이것이 이미 그 분야에서 지배적인 목소리를 더욱 증폭시키고 덜 대표되는 국가들을 여전히 듣지 못하게 한다는 것을 인정한다. 이것은 이러한 토론이 필요한 이유 중 하나를 강조합니다: "전문직업성"에 대한 견해를 [명확하게 정의되고 보편적으로 이해되는 용어인 것처럼 사용하는 사람들]에게 [알려지지 않은 국가가 있다는 것]을 인정하기 위해서입니다.
Table 1 attempts to bring together a small representation of guidance that emerges if one searches for “professionalism” on the regulatory or accreditation body websites. Within the confines of an article of this length, it was not possible to search for and include an example from every country where medicine is practised as a regulated profession. Instead we chose to include a cross-section as far as we could across continents to demonstrate the complexities of defining professionalism. The search for this information was therefore deliberately pragmatic and included locations from where we knew large bodies of medical education literature already had representation on the international stage (UK, Europe, USA and Australia – what might previously have been termed the “Western” voice) and then others less well represented (China, Saudi Arabia, South Africa and Japan). However, we acknowledge this further amplifies the already dominant voices in the field and leaves the underrepresented nations still unheard. This highlights one of the reasons these debates are needed: to acknowledge there are whole nations whose views on “professionalism” are unknown to those who use it as if it were a clearly defined and universally understood term.

표 1. 전문성과 관련된 이용 가능한 정의 또는 지침의 국가 간 비교
TABLE 1. A cross-national comparison of available definitions of, or guidance related to, professionalism

국가/지역 출처 전문성/전문적 행동에 대한 요구사항/지침 발췌
Country/region  Source  Excerpts of requirements/guidance on professionalism/professional behaviours

Australia Australian Medical Council (AMC)36 Nothing articulated in training standards.
AMC promotes a published guide on “Good Medical Practice: Professionalism, Ethics and the Law”:
Professionalism covers a wide range of elements, including good communication skills, an empathetic attitude, the virtues of self-reflection, truthfulness and dependability, cultural awareness in our multicultural society, and awareness of relevant laws pertaining to medical practice. Above all it covers an assumption that a person wishing to practise medicine effectively will bring positive attitudes to all the roles involved in being a doctor
China National Health Commission of the Peoples Republic of China website51; Chinese Medical Doctor Association (CMDA) charter52 Nothing returned in search for “professionalism” on National Health Commission (main national health agency) website. New legislation to “better protect doctors” introduced in August 2021 clarifies that doctors must not produce false medical certification documents and not perform unnecessary examinations and treatments on patients.
CMDA defines “six tenets” of medical practice:
  • equality and benevolence;
  • primacy of patients;
  • honesty and fidelity to promises;
  • commitment to excellence and prudence;
  • incorruptibility and impartiality;
  • lifelong learning.

Germany German Medical Association53 Publishes a (Model) Professional Code for Physicians in Germany which contains the “Rules for Professional Practice”. Excerpts:
Physicians serve the health of the individual and of the population. The medical profession is not a trade. It is by nature a liberal profession.
Physicians practice their profession according to their conscience, the precepts of medical ethics and humaneness. They may not acknowledge any principles, or comply with any regulations or instructions, that are irreconcilable with their tasks or for whose observance they cannot answer.
If physicians who are permanently established or perform their professional activity in another Member State of the European Union temporarily and occasionally perform their medical activity on a cross-border basis in the territory covered by this Professional Code without establishing a practice, they must observe the provisions of this Professional Code.
In addition to practising their profession, physicians are forbidden to engage in any other activity that is irreconcilable with the ethical principles of the medical profession. Physicians are also forbidden to allow their name to be used in conjunction with a medical occupational title in an unfair manner for commercial purposes. They may equally not permit use to be made of their name, or of the professional reputation of physicians, in such a way.
Japan Japan Medical Association Website39 “… the physician should serve society with a basic love for humanity.” Underpinned by the following six principles:
  • continuing education;
  • dignity and responsibility, striving “to enhance his/her cultural refinement, education, and integrity”;
  • respecting the individuality of patients, treating them with compassion and earning their trust;
  • maintaining respect for his/her fellow physician and serving “the cause of medical care to the best of his/her abilities”;
  • respecting the spirit of public service and contributing to the development of society;
  • not engaging in profit-making medical activities.
Saudi Arabia Kingdom of Saudi Arabia Education & Training Evaluation Commission (ETEC) website54 SaudiMeds Framework developed by Saudi Medical Deans Committee; Theme V – Professionalism:
“The commitment to deliver the highest standards of ethical and professional behaviour in all aspects of health practice, and take a responsibility for own personal and professional development.
  • Adhere to professional attitudes and behaviours of physicians
  • Apply Islamic, legal and ethical principles in professional practice
  • Demonstrate the capacity for self-reflection and professional development”

South America Centeno et al 201655 Nothing obvious available in English but Centeno et al. 2016 discuss a collaboration between three South American Schools with a shared aim to promote professionalism amongst their students; the agreed definition of professionalism used was Epstein and Hunderts56 definition where professionalism is:
“The habitual and judicious use of communication, knowledge, technical skills, clinical reasoning, emotions, values, and reflection in daily practice for the benefit of the individual and the community being served”
South Africa Health Professions Council of South Africa website57 Health Professions Council publishes a lengthy document with very specific requirements of all registered health-care practitioners. An example of this is that they provide guidance on a practitioners stationery as follows:
“4. (1) A practitioner shall print or have printed on letterheads, account forms and electronic stationery information pertaining only to such practitioners – (a) name; (b) profession; (c) registered category; (d) speciality or subspeciality or field of professional practice (if any); (e) registered qualifications or other academic qualifications or honorary degrees in abbreviated form; (f) registration number; (g) addresses (including email address); (h) telephone and fax numbers; (i) practice or consultation hours; (j) practice code number; and (k) dispensing licence number (if any).”
The Netherlands Royal Dutch Medical Association (KNMG)40 KNMG Manifesto on Medical Professionalism
“The aim of this manifesto is to perpetuate and promote the trust that society should be able to place in medical professionals.
… A good doctor is a medical professional: he is a medical expert, he keeps his professional know-how up-to-date, communicates in an empathic way with his patients, cooperates with colleagues, exercises his profession within the (moral) boundaries of the professional group, organises quality in his practice and renders account.
The doctor needs society to place trust in him. Trust is necessary for the proper operation of the health-care sector as a whole, for the doctor-patient relationship and for the intrinsic motivation of medical professionals. The medical professionals intrinsic motivation is the most powerful driving force for qualitatively sound, meaningful and efficient care.”
United Kingdom General Medical Council Website Outcomes for Graduates38 defines the standards which all medical graduates are expected to reach by the end of their pre-registration training. It states that “newly qualified doctors must behave according to ethical and professional responsibilities” and gives a 28-point list detailing specific requirements including:
  • demonstrate compassionate professional behaviour and their professional responsibilities in making sure the fundamental needs of patients are addressed
  • act with integrity, be polite, considerate, trustworthy and honest
  • recognise the potential impact of their attitudes, values, beliefs, perceptions and personal biases (which may be unconscious) on individuals and groups and identify personal strategies to address this
Good Medical Practice,35 a document defining professional values and behaviours expected of any qualified doctor registered with the GMC, states that:
“As a good doctor you will:
  • make the care of your patient your first concern
  • be competent and keep your professional knowledge and skills up to date
  • take prompt action if you think patient safety is being compromised
  • establish and maintain good partnerships with your patients and colleagues
  • maintain trust in you and the profession by being open, honest and acting with integrity”

United States of America Accreditation Council for Graduate Medical Education Website58 Common Programme Requirements for residency training includes a long list related to professionalism, including but not limited to:
“Residents and faculty members must demonstrate an understanding of their personal role in the:
  • provision of patient- and family-centred care;
  • safety and welfare of patients entrusted to their care, including the ability to report unsafe conditions and adverse events;
  • assurance of their fitness for work, including:
  • management of their time before, during, and after
  • clinical assignments; and, recognition of impairment, including from illness, fatigue, and substance use, in themselves, their peers, and other members of the health-care team.
  • commitment to lifelong learning;
  • monitoring of their patient care performance improvement indicators; and,
  • accurate reporting of clinical and educational work hours,
  • patient outcomes, and clinical experience data …

“All residents and faculty members must demonstrate responsiveness to patient needs that supersedes self-interest. This includes the recognition that under certain circumstances, the best interests of the patient may be served by transitioning that patients care to another qualified and rested provider …
“Programmes, in partnership with their Sponsoring Institutions, should have a process for education of residents and faculty regarding unprofessional behaviour and a confidential process for reporting, investigating, and addressing such concerns.”

어떤 경우에는, 이것들은 번역된 버전이며, 우리는 여기서 한계점을 인정합니다. 우리는 영어로만 이용 가능한 자원들에 접근할 수 있었고, 때로는 2차 소스를 통해서요. 따라서 우리는 이것을 전문직업성에 대해 이용 가능한 모든 국제 지침의 결정적 표현이라고 주장하지 않으며, 우리는 몇몇 큰 차이가 있다는 것을 인정한다; 예를 들어 러시아의 의학 교육 시스템은 러시아의 모든 핵심 문헌을 찾는다. 따라서 우리는 이 지역, 또는 표에 포함되지 않은 다른 곳에서의 전문직업성에 대한 태도에 대한 지식을 주장할 수 없다. 그러나, 이것이 보여주는 것은 서로 다른 맥락에서 "전문직업성"이 의미하는 것을 이해하는 것이 누구에게나 얼마나 복잡한지이며, 입증하기 위해 국가 기관 웹사이트에서 이용 가능한 기대와 요구사항의 샘플을 제공하는 것이다.

In some instances, these are translated versions, and we acknowledge a limitation here is that we were only able to access resources that were available in English, sometimes via secondary sources. We therefore do not claim this as a definitive representation of all international guidance available on professionalism, and we acknowledge there are some large gaps; the inwardly facing medical education system in Russia for example locates all key literature in Russia; therefore, we can make no claims to knowledge about attitudes to medical professionalism in this part of the world, nor anywhere else not included in the table. What it does, however, is give a sample of the types of expectations and requirements made available on national agency websites for the purpose of demonstrating how complex it is for anyone to make sense of what “professionalism” means in different contexts.

각 국가 규제 기관이 고유한 기준을 갖는 것은 이해할 수 있는데, 이는 의약품과 의료가 고유한 맥락과 관련이 있음을 보장하는 중요한 부분이다. 표 1은 "전문직업성"의 정의, 적용 및 규제가 얼마나 멀리 떨어져 있는지를 보여준다. 이러한 차이에도 불구하고, 우리는 의학 교육 내에서 그것이 하나의 단일한 개념인 것처럼 말하고 쓴다. 흥미롭게도, 대부분의 맥락에서, 지침은 평생 학습 및 전문직업적 개발의 중요성을 포함하지만, 여기서 직접적인 비교는 끝난다. 
It is understandable that each national regulator will have its own standards, an important part of ensuring medicine and health care is relevant to its own context.59 What Table 1 demonstrates is quite how far apart the definition, application and regulation of “professionalism” is. Despite these differences, we speak and write about it within medical education as if it is just one singular concept. Interestingly, in most contexts, guidance incorporates the import of lifelong learning and/or professional development but here the direct comparison ends.

네덜란드 왕립의학협회(Royal Dutch Medical Association)의 가이던스는 학술적 담론을 따르고 있으며, 사회가 전문직에 두는 신뢰와 직업적 지위 사이의 관계에 초점을 맞추고 있다. 일부 규제당국의 경우 교육 제공자에 대한 지침을 포함하여 등록 전pre-registration부터 대학원 교육까지 일련의 지침이 존재한다는 증거가 더 많다. 다른 국가에는 개별 시나리오에 전문적인 판단을 적용할 수 있는 여지를 상상하기 어렵게 만드는 엄청나게 상세한 지침 목록이 있다. 

The guidance from The Netherlands from the Royal Dutch Medical Association,40 a professional organisation rather than a regulator, follows an academic discourse and focusses on the relationship between professional status and the trust that society puts in the profession. For some regulators38, 58 there is more evidence of a continuum of guidance from pre-registration to postgraduate training including guidance for training providers. For others,57 there is an incredibly detailed list of instructions leaving it hard to imagine room for application of professional judgement to individual scenarios.

특히, 한 나라의 교리가 다른 나라에 어떻게 적용될지 상상하는 것은 매우 어려운 일이다; 의료 보험 회사가 바로 그 목적(영리활동)을 위해 존재하는 많은 나라에서는, 의료 활동이 "영리화"를 위해 수행되지 않을 것이라는 일본의 가이던스는 이치에 맞지 않을 것이며, 반면 사우디아라비아의 맥락에서 이슬람 관행을 고수하는 것에 대한 언급은 비이슬람 국가들에게는 거의 의미가 없다. 사실, 종교가 의도적으로 국가와 분리되어 있고 따라서 의료 서비스 제공이 이루어지는 많은 나라에서, 전문직 행위의 일부로서 특정 종교에 대한 언급을 포함하는 것은 꽤 성가신 일이다. 금요기도를 위해 보건활동이 일시 중단되는 일국의 기대가 전문직업적인 것으로 인정되겠지만, 또 다른 문화적 맥락에서, 종교적 교리를 따르기 위해 환자 치료로부터 "휴식"을 고려하는 것은 전문적이지 않은 것으로 보일 수 있다.

Notably, it is extremely challenging to imagine how the tenets of one country would apply in another; the guidance from Japan that medical activities will not be undertaken for “profit-making” would not work in many countries where medical insurance firms exist for that very purpose, whilst reference to adherence to Islamic practice in the Saudi Arabian context54 makes little sense for non-Islamic countries. Indeed, in many countries where religion is deliberately separated from the state and therefore health service provision, the inclusion of a mention of a specific religion as part of professional practices is quite jarring. Where the expectation in one country that health care activity is paused for Friday prayers is seen as professional; in another cultural context, it might be seen as unprofessional to consider a “break” from patient care for religious observance.

개별 국가의 가이던스는 전문직업성에 대한 표면적으로 "유사한" 이해에서 비롯될 수 있지만, 이에 따른 적용은 훨씬 더 멀리 떨어져 있으며, 이는 국제 경계를 넘어 학생과 교직원의 이동에 영향을 미친다. 이는 지배적 정의가 세계화된 의료 관행의 맥락에서 보편적으로 적용될 수 없음을 시사하며, 이는 전문직업적 표준을 이해하려고 시도할 때 의사에게 불확실성을 야기한다. 실제로, 독일의 지침은 그들의 의사가 일시적으로 국경을 넘어 일하는 경우, 그들의 의사는 여전히 독일의 규칙을 따라야 한다고 명시하고 있는데, 이것은 "전문직업적이지 않은" 행동에 대한 어떠한 비난도 누구의 관할권에 의해 중재될 것인지 의문을 제기한다. 

Whilst individual national guidance may originate in superficially “similar” understandings of professionalism, the resultant application of these is much further apart, which has implications for the movement of students and staff across international boundaries. This suggests that dominant definitions are not universally applicable in the context of globalised medical practice, creating uncertainty for doctors when attempting to understand professional standards. Indeed, the German guidance specifies that, where their doctors are temporarily working on a cross-border basis, their physicians must still follow the German rules, which raises questions for whose jurisdiction any accusations of “unprofessional” behaviours would be arbitrated by.53

우리의 분석에서 분명한 것은 비교적 작은 전문 규제자 표본 내에서도 국경, 문화, 맥락을 초월한 전문직업성에 대한 보편적인 정의는 존재하지 않는다는 것이다. 실제로, 우리는 보편적 정의에 대한 어떠한 시도도 서구 중심의 세계관에 의해 지배될 가능성이 높기 때문에 이것이 바람직하지 않다고 주장할 것이다.
What seems clear from our analysis is that, even within a relatively small sample of professional regulators, a universal definition of professionalism that transcends borders, cultures and contexts does not exist. Indeed, we would argue that this is not desirable as in all likelihood any attempt at a universal definition would be dominated by a Western-centric view of the world and thus would not be representative of the needs of many doctors and indeed their patients.

4 만약 지배적인 목소리가 직업 내 전체 또는 심지어 과반수를 대변하지 않는다면, 전문성의 헤게모니적 정의와 후속적인 전문성 표준의 설명에 어떤 의미가 있는가?
4 IF THE DOMINANT VOICES DO NOT SPEAK FOR ALL – OR EVEN A MAJORITY – WITHIN A PROFESSION, WHAT DOES THAT MEAN FOR HEGEMONIC DEFINITIONS OF PROFESSIONALISM AND FOR THE SUBSEQUENT DELINEATION OF PROFESSIONAL STANDARDS?


최근 수십 년간 전문직업성 논쟁에서 변화의 원동력 중 하나는 소셜 미디어의 부상이었다. 많은 의사들이 학문적, 규제적 대화에서 제외되었을 수 있는 반면, 트위터와 같은 플랫폼은 종종 매우 공개적인 방식으로 개인이 토론에 참여하도록 허용했다. 지역 근무 환경 밖에서 새로운 전문직업적 관계를 개발하는 것은 이전에는 컨퍼런스 네트워킹에 국한되었지만 소셜 미디어 플랫폼은 의사로서 공개적인 프로필과 전문직업적 정체성을 갖는 것이 의미하는 것의 성격을 바꾸었다. 소셜 미디어 토론은 종종 논쟁적인 견해와 출판물에 대한 토론을 포함한다. 예를 들어, 2020년 혈관외과 저널은 "젊은 혈관외과 의사들 사이에서 비전문적인 소셜 미디어 콘텐츠의 보급"이라는 제목의 논문을 발표했다. 이 글에서 저자들은 비키니를 입은 자신의 사진을 SNS에 올리는 것은 비전문적이라고 암시했다. 전 세계 의사들로부터 "MedBikini"라는 해시태그를 사용한 소셜 미디어에 대한 반발은 매우 충격적이었고, 저널은 얼마 지나지 않아 논문을 철회해야 했다. 많은 면에서, 소셜 미디어 플랫폼은 새로운 세대의 의사들이 그들의 [온라인 존재]뿐만 아니라, [전문직업성이 그들에게 무엇을 의미하는지 상대적으로 검열없이 토론을 할 수 있는 능력]을 통해서, [전문직업성에 대한 자기만의 정의에 대한 소유권]을 주장할 수 있게 해주었다.

One of the forces for change in the professionalism debate over recent decades has been the rise of social media. Where many doctors may have been excluded from academic and regulatory conversations, platforms such as Twitter have allowed individuals to become involved in the discussion, often in a very public way. Developing new professional relationships outside of local working environments was previously limited to conference networking, but social media platforms have changed the nature of what it means to have a public profile and professional identity as a doctor.60 Social media debates have often included discussions of controversial views and publications. For example, in 2020, the Journal of Vascular Surgery published a paper entitled “prevalence of unprofessional social media content amongst young vascular surgeons“. In this article, the authors implied that posting a picture of oneself on social media wearing a bikini was unprofessional.61 The backlash on social media from doctors around the world – employing the hashtag “MedBikini” – was so impactful; the journal was forced to retract the paper shortly thereafter. In many ways, social media platforms have allowed a new generation of doctors to claim ownership of their own definition of professionalism, not just in their online presence but also in their ability to have relatively uncensored discussion of what professionalism means to them.

흥미롭게도, 소셜 미디어의 사용은 윤리적으로 보이는 것이 개인의 해석에 달려있을 수 있는 전문직업성과 관련하여 논쟁적인 영역이다. 미국 의사협회가 소셜미디어 가이드라인을 2010년 이전부터 도입했고, 의료교육자로서 소셜미디어 활용에 대한 팁페이퍼의 존재에도 불구하고 규제당국은 빠르게 진화하는 소셜미디어와 'e-프로페셔널리즘'의 세계에 발맞추지 못하는 듯했다. 온라인 활동을 하면서 어떻게 "전문직업적"이 될 수 있는지는 점점 더 불분명해지고 온라인에서의 "전문적" 행동이 어떻게 보이는지에 대한 합의가 거의 없는 것 같다.66 백신을 예로 들어보자: 의료 종사자가 개인이 백신을 접종하는 것을 막는 것은 파격적인가, 아니면 비전문적인가? 더욱이, 만약 [비관습적 신념들]이 [전문적이지 않다]고 해석된다면, 누가 이러한 견해를 단속하는 데 책임이 있는지 이해하는 것이 중요합니다. 의료 규제 기관들은 소셜 미디어를 보유하고 있지만, 이것들은 현재 규제 목적보다는 홍보를 위해 존재한다. 이 경우에, 소셜 미디어는 의료 전문가들에게 "동료로 구성된 배심원들에 의해 재판"을 받을 수 있는 기회를 제공한다. 학문적 용어로, 이것은 (e-) 전문성에 대한 규범적 정의와 일치하며, 전문적이라고 여겨지는 것을 통제하는 가장 일반적으로 보유되는 아이디어와 일치한다. 그러나 여기서의 어려움은 [파격적인 아이디어]가 프로페셔널하지 않은 것은 아니더라도, 파괴적일 수도 있다는 것이다. 여기에 [전문직업성]과 [언론의 자유] 사이에서 긋기 어려운 선이 있다. 예를 들어, [극우적인 정치적 의견]을 말하는 것은 전문적이지 않은가? 우리는 개인적으로 이러한 관점이 의사 조직/규제자의 전문적 가치와 어떻게 양립할 수 있는지 보기 위해 고군분투하겠지만, 이러한 맥락에서 의견을 표현하는 것이 [전문적이지 않은 행동]에 해당하는지는 불분명하다.
Interestingly, the use of social media is itself a contentious area in relation to professionalism where what is viewed as ethical can be down to individual interpretation.62 Despite the fact that the American Medical Association introduced social media guidelines as long ago as 2010,63 and the existence of tips papers on using social media as a medical educator,64 regulators have not seemed to keep pace with the rapidly evolving world of social media and “e-professionalism”.56, 65 It is increasingly unclear how “professional” it is possible to be whilst engaging online at all and there seems to be little consensus on what “professional” behaviours online looks like.66 Take the debate around vaccines as an example: is it unconventional, or unprofessional, for a health-care worker to discourage individuals from receiving vaccines? Furthermore, if unconventional beliefs are construed as unprofessional, it is important to understand who is responsible for policing these views. Medical regulators do have a social media presence, but these currently exist for promotion rather than regulatory purposes. In this case, perhaps social media offers medical professionals the opportunity to be “tried by a jury of their peers”. In academic terms, this aligns with a normative definition of (e-)professionalism, with the most commonly held ideas controlling what is deemed professional. The difficulty here, however, is that unconventional ideas may be disruptive – but might not be unprofessional. In addition, there is a line that is difficult to draw between professionalism and freedom of speech. Is it unprofessional, for example, to voice far right political opinions? Whilst we personally would struggle to see how these views are compatible with the professional values of doctors' organisations/regulators, it is unclear whether expressing an opinion in this vein amounts to unprofessional behaviour.

점점 더 많은 소셜 미디어는 ["전문직업성"의 개념이 외모, 언어 및 기타 개인 속성을 감시하기 위한 목적]으로 오용/사용 되었던 예를 공유하기 위해 쓰인다. 걱정스러운 것은, 여기에는 운동화 착용(하루 종일 발바닥에서 일하는 사람들에게 이치에 맞는 말), 넥타이를 매지 않는 것(영국에서는 감염 통제 조치에 따라 금지됨), 화장하고 염색한 머리, 그리고 한 예로 "전문적이지 않은" 이름에 대한 비판만을 포함하는 것이 아니다. 이것은 당연하게도 공동체 내에서, 그리고 실제로 그 직업에 합류하기 위한 훈련을 받고 있는 사람들로부터 점점 더 많은 우려를 유발했다. 전문직업성의 개념이 "무기화weaponised"되고 있으며, 동료 "전문가"들은 소셜 미디어를 사용하여 서로 다른 세계관과 의견을 바탕으로 한 비전문적인 행동으로 서로를 비난하고 있다. 예들은 거의 항상 존재해왔다. 그러나, 소셜 미디어는 이러한 토론을 공유하고, 토론하고, 증폭시키는 새로운 방법을 제공한다.

Increasingly, social media is used to share examples of where the concept of “professionalism” has been (mis-)used to police appearance, language and other personal attributes. Worryingly, not only do examples include wearing of trainers (which make sense for people working on their feet all day), not wearing a tie (which is banned under infection control measures in the UK), wearing make-up, dyed hair and, in one example, a criticism of an “unprofessional” name.67 This has understandably led to increasing concern from within the community and indeed from those training to join the profession that the notion of professionalism is being “weaponised”, with fellow “professionals” using social media to accuse one another of unprofessional behaviour based on differing world views and opinions.68 Examples have arguably always existed; however, social media offers the profession new ways of sharing, discussing and amplifying these debates.

전문직업성이라는 용어를 무기화한 최근의 두드러진 예가 뉴캐슬 대학의 의대생으로부터 나왔다. 이 학생은 치마 길이로 실기시험에서 벌점을 받았다. 억울함을 느낀 그녀는 그 이야기와 그 스커트의 사진으로 무장한 트위터에 글을 올렸고, 처벌을 내린 개인과 그것을 지지한 의대는 광범위한 비난을 받았다. 이는 [전문직업성이 더 이상 의심의 여지 없이 임상 및 학술 엘리트들에 의해 규제될 수 있는 것이 아님]을 보여준다. 학생들과 훈련생들은 침묵할 수 없고, 침묵해서는 안 되는 목소리를 가지고 있다.

A recent prominent example of the weaponisation of the term professionalism emerged from a medical student at the University of Newcastle (UK). This student received a penalty in a practical examination based on the length of her skirt. Feeling aggrieved, she took to Twitter armed with the story and a picture of the said skirt, attracting widespread criticism of the individual who issued the penalty and the medical school that upheld it.69 This demonstrates that professionalism can no longer be unquestioningly policed by the clinical and academic elite: students and trainees have a voice that cannot, and should not, be silenced.

그럼에도 불구하고, 전문직업성 논쟁을 소셜 미디어로 가져가는 흥미로운 측면 중 하나는 그것이 공공 영역이라는 것이다. 만약 우리가 "사회적 계약"의 개념으로 돌아간다면, 아마도 소셜 미디어는 전문직업성이 그들에게 어떤 의미인지에 대한 토론에 대중을 포함시킬 새로운 기회를 제공할 것이다. 궁극적으로, [학문적, 규제적 논쟁]이 아무리 중요하게 보일지라도, 그들은 대체로 "일반lay" 사람들의 목소리를 배제하고, 논쟁을 종결시키며, 그 결과 편협하고 사회 전반에 맞지 않게 된다.
Nevertheless, one of the interesting aspects of taking the professionalism debate to social media is that it is in the public domain. If we return to the idea of the “social contract”, perhaps social media offer a new opportunity to include the public in the debate about what professionalism means to them. Ultimately, however important the academic and regulatory debates may seem, they largely exclude the voices of “lay” people, closing the debate down and ensuring it is insular and out-of-step with society at large.

5 결론
5 CONCLUSIONS

이 기사에서는 우리가 제공한 답변보다 더 많은 질문을 제기했습니다. 우리의 의도는 전문직업성에 대한 지배적인 담론에 도전하고 그 개념이 더 이상 한 때 나타났던 것처럼 간단하지 않다는 것을 증명하는 것이었다. 이번 기사를 통해 학술대화의 질적 향상을 위해 이해당사자들과 폭넓게 참여하는 전문성의 정의에 대한 대화가 활성화되기를 기대한다. 우리는 단일한 글로벌 정의를 추구하는 것은 무의미하다는 대담한 진술을 하고 싶습니다. 우리가 논의한 바와 같이, 문화적 맥락은 전문직업성을 이해하는 데 매우 중요합니다. 이는 전 세계의 전문직업성에 대한 수준 높은 정의가 각 사회의 요구에 문화적으로 양립되고 정서적으로 지적인 정의라는 것을 의미한다.
In this article, we have posed more questions than we have provided answers. Our intention was to challenge dominant discourses around professionalism and demonstrate that the concept is no longer as straightforward as it once appeared. Through this article, we hope to reinvigorate conversations about the definition of professionalism that engage widely with stakeholders in order to improve the quality of the academic conversation. We want to make a bold statement: that seeking a single global definition is pointless. As we have discussed, cultural context is so important to our understanding of professionalism. This means that a high-quality definition of professionalism around the world is one that is culturally compatible and emotionally intelligent to the needs of each society.

간결함을 위해서, 우리가 토론에 포함하지 못한 몇 가지 쟁점들이 있다. 한 가지 예는 전문직업성의 구성에 내재된 잠재적인 사회 경제적 불평등이다: 특정 사회 규칙이나 단서에 대한 무의식적인 인식이 일부 개인에게 다른 개인보다 전문직업성에 더 쉽게 접근할 수 있도록 하는 정도가 있을 수 있다. 게다가, 전문직업성 문제가 발생할 때, 부는 비용이 많이 드는 변호사를 접하게 하고, 따라서 불리한 결과로부터 어느 정도의 보호를 제공하기 때문에 중요하다. 하지만, 이것들은 우리가 여기에 공간을 줄 수 있는 것보다 더 큰 아이디어들이기 때문에, 우리는 토론을 계속하도록 초대합니다.
In the interests of brevity, there are several issues that we have failed to include in our discussion. One example is the potential socioeconomic inequity built into the construct of professionalism: there is perhaps an extent to which unconscious awareness of particular social rules or cues makes access to professionalism easier for some individuals than others.4 Furthermore, when professionalism problems arise, wealth matters as it provides access to expensive defence lawyers and thus a degree of protection from adverse consequences. These are, however, bigger ideas than we can give space to here, so we invite the debate to continue.

마지막으로, 우리가 전문직업성에 대한 이해를 "사회적 계약"에 계속 기초한다면, 품질의 지표는 "대중"이 의료 전문가에 대한 그들의 기대치에 대해 어떻게 상담되는지are consulted가 될 필요가 있다. 변화하는 사회에 맞춰 전문직업성이 진화할 수 있도록 '전문직profession'과 '공공public'의 쌍방향 담론이 진행돼야 한다. 우리는 이것이 종종 서구, 백인, 이단 규범, 남성 엘리트들로부터 전문성에 대한 통제권을 빼앗는 데 도움이 될 수 있기를 바라며, 그 정의가 직업과 사회를 좀 더 폭넓게 대표할 수 있는 쪽으로 방향을 틀게 할 수 있기를 바란다. 따라서, 우리의 맥락에서, 만약 전문직업성이 "무기화"된다면, 우리는 이것이 지배적인 아이디어들을 영구화하기 보다는 도전하기 위한 것이기를 바랍니다.

Finally, if we are going to continue to base understandings of professionalism on the “social contract”, a marker of quality needs to be how the “public” are consulted about their expectations of medical professionals. There needs to be an ongoing two-way discourse between the “profession” and the “public” so that professionalism can evolve in line with changing societies. We hope that this may help us wrest control of professionalism from an academic – and often Western, white, hetero-normative, male – elite and allow the definition to pivot towards one that is more representative of the profession and society more widely. So, in our context, if professionalism is to be “weaponised”, we hope that this will be to challenge dominant ideas rather than to perpetuate them.

 


Med Educ. 2022 Jun 27. doi: 10.1111/medu.14862. Online ahead of print.

Re-opening Pandora's box: Who owns professionalism and is it time for a 21st century definition?

Affiliations collapse

Affiliation

1School of Medicine, University of Liverpool, Liverpool, UK.

PMID: 35761477

DOI: 10.1111/medu.14862

Abstract

Background: The concept of professionalism is dominant within health care education and the lives of practising clinicians globally, and yet there is no single agreed definition nor framework applied universally across the health care professions. This article questions how much attention is paid to where definitions of the concept of professionalism came from and whether the accepted norms within the dominant discourses are still truly applicable to a 21st century workforce.

Method: Taking a critical look at the existing body of literature on professionalism using a locus of medical education, this article reviews who the dominant voices have been in the creation of current understandings of professionalism. Using a pragmatic and targeted approach, regulatory body definitions of professionalism from across the world are compared to demonstrate the complexities of finding a universally accepted definition of the concept.

Results: The article suggests that the extant definitions are grounded but also stuck in a background of Western, White, heteronormative view of society and the professions of the past and argues that we need to better understand the expectations of professionalism from the perspectives of those who now work in health care and health care education, as well as reviewing the views of the "public" within this debate.

Conclusions: By reopening the "Pandora's box" of professionalism, this article argues that we can improve the quality of definitions-and thus application-of professionalism for health care professionals and patients.

교육과정 혁신의 촉매로서 학생: 변화 관리 프레임워크 (Med Teach, 2020)
Students as catalysts for curricular innovation: A change management framework
Jesse Burk-Rafela, Kevin B. Harrisb, Jacqueline Heatha, Alyssa Millironc, David J. Savageb and Susan E. Skochelakd

 

서론
Introduction

2005년 이후 약 75%의 동종 요법 기관이 개혁을 시작함에 따라 미국 의과대학이 커리큘럼 변혁에 착수했다는 근거가 있다(Bear et al. 2013). 의료 커리큘럼도 학생 중심의 훈련으로 더 폭넓게 전환하면서 국제적으로 변화하고 있다(Jones et al. 2001).
There is groundswell of American medical schools embarking on curricular transformation, with an estimated 75% of allopathic institutions initiating reforms since 2005 (Bear et al. 2013). Medical curricula are changing internationally, as well, with a broader shift to more student-centered training (Jones et al. 2001).

이러한 노력 가운데, 비의료 고등 교육(테일러 및 와일딩 2009, 보빌 외 2011, 펠텐 외 2013)과 의료 교육(홀름보 및 바탈덴 201)에서 학생을 [교육 콘텐츠의 단순한 '소비자']에서 [활동적인 협력자, 공동 제작자, 콘텐츠 및 커리큘럼의 공동 제작자]로 재개념화하려는 움직임이 일고 있다. 불행하게도, 교육과정 설계에 학생의 목소리를 참여시키는 것이 중요하다는 광범위한 동의에도 불구하고, 그러한 참여는 종종 상대적으로 수동적인 피드백이나 토큰 학생 리더(Seal et al. 2015)에 의존하며, 진정한 학생 교육과정 변화 에이전트의 참여와 권한 부여는 부족하다. 또한 커리큘럼 변환을 검토하는 출판물은 일반적으로 의대 학생 참여의 세부 사항을 생략하고(Huppatz 1996; Visser et al. 1998), 잠재적 촉매 및 변화의 선도자로 의대생을 언급하지 않았다(Irby et al. 2010; Skochelak 2010).
Amidst these efforts, there is a movement to re-conceptualize students from mere ‘consumers’ of educational content to active collaborators, co-producers, and co-creators of content and curricula, both in non-medical higher education (Taylor and Wilding 2009; Bovill et al. 2011; Felten et al. 2013) and in medical education (Holmboe and Batalden 2015). Unfortunately, despite broad agreement that engaging the student voice in curricular design is important, such engagement often relies on relatively passive feedback or token student leaders (Seale et al. 2015), stopping short of engaging and empowering true student curricular change agents (Kay et al. 2010). Moreover, publications examining curricular transformation typically omit the details of medical student engagement (Huppatz 1996; Visser et al. 1998), failing to mention medical students as potential catalysts and leaders of change (Irby et al. 2010; Skochelak 2010).

유럽 의학교육협회(AMEE)는 2012년 의과대학 교육 우수성을 인정하기 위해 ASPIRE 이니셔티브를 시작하였으며, 기관 수상자는 네 가지 영역에 걸쳐 '학생 참여'를 입증해야 한다.

  • (1) 정책 및 사명과 비전을 포함한 학교 운영
  • (2) 학교 교육 프로그램 제공,
  • (3) 학계 참여,
  • (4) 지역 사회 및 서비스 제공 참여(Patricio 2016).

ASPIRE는 넓은 의미에서 학생 참여를 정의하고 인정하기 위한 지금까지의 가장 포괄적인 노력이며, 커리큘럼 개발에서 학생 리더십 및 피드백과 관련된 하위 기준을 명시한다.
The Association for Medical Education in Europe (AMEE) launched the ASPIRE initiative in 2012 to recognize medical schools for excellence in teaching, with a requirement that institutional awardees demonstrate ‘student engagement’ across four spheres:

  • (1) management of the school, including matters of policy and the mission and vision of the school;
  • (2) provision of the school’s education program;
  • (3) engagement in the academic community; and
  • (4) engagement in the local community and service delivery (Patricio 2016).

ASPIRE is the most comprehensive effort to date to define and recognize student engagement in a broad sense, and specifies sub-criteria related to student leadership and feedback in curricular development.

교육과정 변화에서 학생 리더십의 지역적 사례도 나타나고 있다. Yengo-Kahn 외(2017)는 학생 중심 커리큘럼의 설계, 구현 및 피드백 단계에서 학생들이 역할을 하는 밴더빌트 의과대학의 커리큘럼 업데이트를 진전시키는 데 있어 학생들의 필수적인 역할을 설명했다. 그들의 작업은 커리큘럼 변화 노력에서 학생-행정 파트너십을 촉진하기 위한 특정 접근 방식을 강조하기 때문에 중요하다. 다른 이들은 커리큘럼 개발에 대한 의대생의 동기 부여(Fujikawa et al. 2015), 학생-교수의 성공 원칙 공유(Bear et al. 2013), 커리큘럼 변혁에서 학생의 가치(Loeser et al. 2007)를 설명했다.
Local examples of student leadership in curricular change are also emerging: Yengo-Kahn et al. (2017) described the essential role of students in advancing a curricular update at Vanderbilt University School of Medicine, with students having roles in the design, implementation, and feedback stages of a student-centered curriculum. Their work is important as it highlights specific approaches for fostering student-administrative partnerships in a curricular change effort. Others have described medical student motivations for curriculum development (Fujikawa et al. 2015), shared student–faculty tenets of success (Bear et al. 2013), and the value of students in curricular transformation (Loeser et al. 2007).

교육과정 변화에 대한 학생들의 참여에 대한 이러한 새로운 정의와 사례들에도 불구하고, 교육과정 변화에 대한 학생 리더십이 조직 변화 관리의 일반화된 프레임워크에서 맥락화될 수 있다는 차이점이 남아있다. 이 글에서, 미국 의학 협회(AMA) 학생과 의사 지도자들은 교육 과정 혁신을 촉진하는 학생들을 위한 변화 관리 프레임워크를 설명하기 위해 AMA의 의료 교육(ACE) 이니셔티브(AMA 2017; Skochelak and Stack 2017)의 정성적 방법과 사례 연구를 사용한다. 우리는 미국 의과 대학 협회(AAMC) 연차 회의에서 학계의 의사와 학생 지도자를 대상으로 교육 과정 변화에 대한 의과 학생 참여의 activator와 barriers을 평가했다. 우리는 청중이 학생들의 참여를 열망할 뿐만 아니라 그러한 참여를 지지하거나 방해하는 제도적 요소에 대한 상당한 통찰력을 가질 것이라는 가설을 세웠다. 우리는 일반화 가능한 변화 관리 프레임워크에서 학생 역할, 활동자 및 장벽을 식별함으로써 교직원들이 학생들을 보다 쉽고 효과적으로 커리큘럼 변경 담당자로 참여시킬 수 있기를 바란다.
Despite these emerging definitions and examples of student engagement in curricular change, a gap remains: can student leadership in curricular change be contextualized in a generalizable framework of organizational change management? In this article, American Medical Association (AMA) student and physician leaders use qualitative methods and case studies from the AMA’s Accelerating Change in Medical Education (ACE) initiative (AMA 2017; Skochelak and Stack 2017) to describe a change management framework for students catalyzing curricular innovation. We surveyed academic physicians and student leaders at an Association of American Medical Colleges (AAMC) annual meeting to assess the activators and barriers of medical student engagement in curricular change. We hypothesized that our audience would be eager for student engagement but would also have considerable insight into the institutional factors that support or hinder such engagement. We hope that by identifying student roles, activators, and barriers across a generalizable change management framework, faculty leaders may more easily and effectively engage students as curricular change agents.

방법들
Methods

의료 교육 이니셔티브의 변화를 가속화하는 AMA
AMA accelerating change in medical education initiative

AME ACE 이니셔티브는 학부 의료 교육의 혁신을 가속화하기 위해 고안되었으며, 미국 의료 시스템의 예상 필요성과 의과대학 훈련을 더 잘 조화시킬 수 있다(Skochelak and Stack 2017). ACE 이니셔티브는 2013년에 시작되었으며, 11개 학교의 초기 코호트에 5년 보조금을 지급했으며, 이 컨소시엄은 2016년에 32개교, 2019년에 37개교로 늘어났다. 저자들은 AMA ACE 지도자들뿐만 아니라 원래 코호트의 일부로서 교육 변화를 겪고 있는 기관의 전직 학생 지도자들을 대표한다.
The AME ACE initiative was designed to accelerate innovations in undergraduate medical education, leading to better alignment of medical school training with the anticipated needs of the US healthcare system (Skochelak and Stack 2017). The ACE initiative launched in 2013 with five-year grants to an initial cohort of 11 schools; this consortium grew to 32 schools in 2016 and 37 in 2019. The authors represent former student leaders from institutions undergoing educational change as part of the original cohort, as well as AMA ACE leaders.

사례 연구 및 데이터 수집
Case studies and data collection

2015년 11월, 4명의 학생 저자들(JBR, KBH, JH, AM)은 교육 기관의 커리큘럼 변경 과정에서 학생들의 역할을 설명하는 사례 연구를 개발했다. ACE 이니셔티브 학생 리더로서의 DJS의 경험을 바탕으로 추가 사례 연구가 구축되었습니다. 저자들은 AAMC Learn Serve Lead 전국 회의(볼티모어, MD)에서 워크숍을 주도했으며, 여기서 이러한 사례 연구가 제시되었다. 우리는 워크시트(개별 및 소규모 그룹으로 완료)와 간단한 자발적 설문 조사(개별 완료)를 사용하여 교육과정 변화를 주도하는 학생에 대한 참가자들의 견해를 평가했다. 워크시트 및 설문조사는 교육과정 변화에 대한 학생 참여, 학생 역할 및 학생 참여에 대한 활동가 및 장애물에 대한 응답자들의 견해를 탐구했다. 작업장 활동 및 설문 조사는 보충 자료를 참조하십시오. 이 데이터 수집은 Penn State College of Medicine Institutional Review Board에 의해 면제되도록 지정되었습니다.

In November 2015, four student authors (JBR, KBH, JH, and AM) developed case studies describing the role of students in their institutions’ curricular change processes. An additional case study was built based on the experience of DJS as an ACE initiative student leader. The authors led a workshop at the AAMC Learn Serve Lead national meeting (Baltimore, MD) where these case studies were presented. We assessed participants’ views on students leading curricular change using worksheets (completed both individually and in small groups) and a brief voluntary survey (completed individually). The worksheets and survey explored respondents’ views on student participation in curricular change, student roles, and activators of and barriers to student engagement. See Supplementary Materials for the workshop activities and survey. This data collection was designated exempt by the Penn State College of Medicine Institutional Review Board.

프레임워크 및 주제 분석
Framework and thematic analysis

응답자 워크시트와 조사 데이터(주로 자유기입 텍스트)가 기록되었습니다. 우리는 John Kotter의 변화 관리 프레임워크(Kotter 1996, 2012)를 사용하여 커리큘럼 변화를 촉진하고 주도하는 학생 역할을 분류했다. 우리는 또한 확인된 역할의 성공(또는 실패)에 중요할 수 있다고 가정한 학생 참여자와 학생 참여에 대한 참가자의 인식을 이해하려고 했다. 우리는 이러한 인식을 체계적으로 그룹화하기 위해 주제 분석(Nowell et al. 2017)을 사용했다. 인간 평가자들은 보고된 현상을 포착하는 코드를 식별하기 위해 필사된 무료 텍스트 응답을 검토했다. 그런 다음 유도 방식으로 테마를 위한 코드를 탐색했다(브라운과 클라크 2006). 테마는 내부 동질성과 일관성을 검토함으로써 다듬어졌고, 중복 테마는 제거되었다.

Respondent worksheet and survey data (primarily free text) were transcribed. We used John Kotter’s change management framework (Kotter 1996, 2012) to categorize student roles in catalyzing and leading curricular change. We further sought to understand participants’ perceptions of activators of and barriers to student engagement, which we hypothesized might be critical to the success (or failure) of the identified roles. We employed thematic analysis (Nowell et al. 2017) to group these perceptions systematically. Human raters reviewed the transcribed free text responses to identify codes capturing a reported phenomenon. Codes were then explored for themes in an inductive fashion (Braun and Clarke 2006). Themes were refined by reviewing for internal homogeneity and coherence, and redundant themes were removed.

결과.
Results

교육과정 혁신에서의 학생 역할: 프레임워크
Student roles in curricular innovation: a framework

약 75명의 참석자 중 55명이 조사에 응답했다: 40명의 교수진(73%는 학장 또는 부학장 포함), 15명의 공립 및 사립 의과대학 직원 또는 행정관(27%)이었다. 응답자 45명(83%)은 소속 기관이 지난 5년 동안 주요 학부 의료 커리큘럼을 변경했다고 보고했다. 모든 참석자들은 효과적인 교육과정 변화를 가능하게 하는 데 학생 리더가 독특한 역할을 할 수 있다는 것에 동의했다. 그러나 많은 (n = 25, 46%) 학생들이 그들의 기관에 '조금만 또는 희박하게' 종사하고 있다고 보고했다. 90%의 응답자(n = 47)가 학생 지도자를 더 잘 통합함으로써 교육 기관의 커리큘럼 노력을 향상시킬 수 있다는 데 동의했다. 우리의 경험과 참가자 워크숍 반응을 바탕으로, 우리는 Kotter의 변화 관리 프레임워크를 사용하여 커리큘럼 변화를 촉진하고 주도하는 학생 역할을 분류했습니다(Box 1).
Of approximately 75 attendees, 55 responded to the survey: 40 faculty (73%, including 16 deans or assistant deans) and 15 staff members or administrators (27%) from public and private medical schools. Forty-five respondents (83%) reported that their institution had undergone a major undergraduate medical curriculum change in the last five years. All attendees agreed that student leaders can play a unique role in enabling effective curricular change, yet many (n = 25, 46%) reported that students were only ‘somewhat or sparsely’ engaged at their institution, with 90% of respondents (n = 47) agreeing that their institution’s curricular efforts could be enhanced by better incorporating student leaders. Based on our experiences and participant workshop responses, we used Kotter’s change management framework to categorize student roles in catalyzing and leading curricular change (Box 1).


Box 1 커리큘럼 변화를 촉진하고 선도하는 학생 역할: 프레임워크
Box 1 Student Roles in Catalyzing and Leading Curricular Change: A Framework


1단계. 큰 기회에 대한 긴급성 창출
Step 1. Create urgency around a big opportunity

  • 교육 격차를 해소하고 문제를 파악합니다.
  • 중요한 니즈를 입증하는 학생 간 설문 조사 실시
  • 커뮤니티 또는 커리큘럼 문제를 강조하기 위해 컨퍼런스 구성
  • Bring to light gaps in their education, identify issues
  • Conduct student-to-student surveys that demonstrate critical needs
  • Organize conferences to highlight community or curricular issues

2단계. 지도적 연합체 구축 및 유지
Step 2. Build and maintain a guiding coalition

  • 학생 단체의 주요 이해관계자 발언권 제공
  • 변경 노력에 대한 참여buy in 및 신뢰도 확립
  • 연합에 상향식 구성 요소 제공
  • 긍정, 열정, 에너지 및 추진력을 연합에 가져옵니다.
  • Contribute a key stakeholder voice of the student body
  • Establish buy in and credibility for the change effort
  • Contribute bottom-up component to coalition
  • Bring positivity, enthusiasm, energy, and momentum to coalition

3단계. 전략적 비전 수립
Step 3. Formulate a strategic vision

  • 비전이 발생하는 워크그룹에서 서비스하여, 고유한 직접적인 관점 기여 및 잠재적으로 파괴적인 혁신 기여
  • 설문 조사, 학생 그룹 회의 및 타운홀을 통해 학생 인풋 범위 확대
  • 학습자 중심의 비전을 개발하여 동료들의 우려를 예상합니다.
  • Serve on workgroups where visioning occurs, contributing unique first-hand perspective and potentially disruptive innovations
  • Broaden student input through surveys, student group meetings, and town halls
  • Develop learner-centered vision, anticipating peer concerns

4단계. 비전과 전략을 전달
Step 4. Communicate the vision and strategy

  • 소셜 미디어와 같은 방법을 사용하여 동료들과 유기적으로 소통하고, 메시지를 일반적인 커뮤니케이션 사일로 이상으로 확대
  • 학생 간 의사소통의 목표 달성을 위한 신뢰도 확보
  • 커뮤니케이션 노력에 에너지와 소유권에 대한 자부심 제공
  • 커뮤니케이션 노력의 루머와 반발, 동료 코호트의 전반적인 맥박 인식
  • 변화 프로세스에 대한 업데이트를 포함한 정기적인 학생 게시판을 보내 동료들이 이해하는 이유와 내용을 전달
  • 타운홀, 블로그/웹사이트, 촌극 및 커뮤니티 커리큘럼 리트윗
  • 학술 프레젠테이션 및 출판물 파트너
  • Communicate with peers organically, broadening the message beyond typical silos of communication using methods such as social media
  • Targeted student-to-student communication efforts have credibility
  • Bring energy and pride of ownership to communication efforts
  • Aware of rumors and backlash from communication efforts, overall pulse of peer cohort
  • Send regular student bulletins with updates on the change process, communicating the why and what in language peers understand
  • Lead town halls, blogs/websites, skit nights, and community curricular retreats
  • Partner in scholarly presentations and publications

5단계. 장벽을 제거하여 비전을 향해 가속합니다.
Step 5. Accelerate toward vision by removing barriers

  • 반대론자들 사이에서의 혁신 및 참여 촉진
  • 모범 리더십을 통해 동료들이 모범을 보이고 변화 노력에 참여하도록 유도
  • Promote innovation and engagement among naysayers
  • Model leadership to inspire peers to follow in footsteps, engage in change effort

6단계. 눈에 보이는 중요한 단기 승리 축하
Step 6. Celebrate visible, significant short-term wins

  • 선도적인 파일럿 프로그램 및 새로운 오퍼링의 신속한 반복
  • 성공과 실패를 거침없이 보고하세요.
  • 달성한 성과와 들어오는 코호트의 변경 이유를 증명합니다.
  • Lead pilot programs and rapid iteration of new offerings
  • Report success and failures unabashedly
  • Attest to what was accomplished and rationale for change to incoming cohorts

7단계와 8단계. 새로운 접근 방식을 늦추지 않고 제도화

Steps 7 and 8. Never let up and Institutionalize new approaches

  • 혁신을 미세 조정하여 일관성 및 유용성 향상
  • 선배들이 후배들에게 문화를 전수하다.
  • Fine tune innovations to increase consistency and usefulness
  • Senior students hand off the culture to junior peers


이 목록은 Kotter의 8단계 "Accelerate!" 변경 관리 프레임워크를 사용합니다(Kotter 2012).

This list uses Kotter’s eight-step “Accelerate!” change management framework (Kotter 2012)


학생 참여의 활성화자 및 장벽
Activators of and barriers to student engagement

참가자들은 학생들을 교과 변화에 참여시키는 수많은 방법들을 찾아냈고, 우리는 주제 분석을 통해 이를 네 가지 주요 활동가들로 분류했다. 명시된 장벽도 분류되었으며, 우리는 이를 교수진, 학생 또는 둘 다와 관련이 있다고 설명하였다(상자 2).
Participants identified numerous ways to engage students in curricular change, which we categorized through thematic analysis into four key activators. Stated barriers were also categorized, which we delineated as related to faculty, students, or both (Box 2).



Box 2 교육과정 변화에 대한 학생 참여의 촉진자 및 장벽
Box 2 Activators of and Barriers to Student Engagement in Curricular Change

액티베이터
Activators

1. 협업 교수진, 직원 및 학생 모집
1. Recruit collaborative faculty, staff, and students

  • 학생의 목소리를 중시하는 교직원 대상으로 함
  • 교육에 열정적이고 검증된 리더인 학생을 참여시킵니다.
  • Target faculty and staff who value the student voice
  • Involve students who are passionate about education and are proven leaders

2. 학생 리더십 역할 확대
2. Broaden student leadership roles

  • 학생을 모든 커리큘럼 위원회, 작업 그룹 및 평가 팀에 배치
  • 학생 간 설문 조사 및 니즈 평가 활용
  • 학생 주도의 타운홀, 생각나눔의 날, 포커스 그룹, 교육과정 수련회
  • 교육과정 연구과제 연구원으로 학생을 모집합니다.
  • Place students on all curriculum committees, working groups, and evaluations teams
  • Utilize student-to-student surveys and needs assessments
  • Student-led town halls, thought sharing days, focus groups, and curricular retreats
  • Recruit students as curricular research project investigators

3. 학생 리더에게 힘을 실어주기
3. Empower student leaders

  • 학생들이 성공에 대비할 수 있도록 멘토링 및 준비
  • 공식적인 리더십 교육 제공
  • 소셜 미디어 아웃리치를 장려합니다.
  • 학생 프로젝트에 대한 시드 보조금
  • Mentor and prepare students so they are primed for success
  • Provide formal leadership training
  • Encourage social media outreach
  • Seed grants for student projects

4. 학생의 성공을 인정합니다.
4. Recognize student successes

  • 학생 주도의 변화를 강조하는 월간 요약(예: 이미 설명했습니다)
  • 미팅, 기관 뉴스레터 및 Dean의 서신에서 학생 주도 성공 사례 인정
  • Monthly digests highlighting student-driven changes (you said, we did)
  • Recognize student-led wins in meetings, institutional newsletters, and Dean’s letters

장벽
Barriers

1. 교직원의 장벽
1. Faculty barriers

  • 변화 비전을 알지 못하거나 지지하지 않음(학생의 신뢰를 떨어뜨림)
  • 학생의 목소리 또는 관심사에 관심이 없음
  • 학생 역할을 좁게 보기 또는 토큰 학생으로 보기
  • 학생 지도자를 적극적으로 모집하거나 멘토링하거나 칭찬하지 않음
  • Unaware or unsupportive of change vision (undermines student confidence)
  • Uninterested in student voice or concerns
  • View student roles narrowly or as token students
  • Do not actively recruit, mentor, or celebrate student leaders

2. 학생 장벽
2. Student barriers

  • 수동성, 무관심 또는 비건설적인 불만 사항
  • 집단적 관심사가 아닌 자신의 관심사를 대표하는 학생 리더
  • 필요한 활동(예: 사무원직, USMLE)으로 인한 리더십의 연속성 분열
  • 공포에 대한 변화, 기니피그가 되는 것
  • 교수진이 주도하는 커리큘럼 기대
  • 이전에 수행된 작업에 대한 역사적 관점이 없음
  • USMLE와 레지던시 매치 우려는 혁신적인 사고를 제한한다.
  • Passivity, apathy, or unconstructive complainers
  • Student leaders who represent own, rather than collective, interests
  • Fractured continuity of leadership due to required activities (e.g., clerkships, USMLE)
  • Fear change, being guinea pigs
  • Expect a faculty-led curriculum
  • Lack historical perspective of what was done before
  • USMLE and residency match concerns limit innovative thinking

3. 교직원과 학생의 장벽
3. Faculty and student barriers

  • 동료로서 불편한 교직원 및 학생
  • 공식적인 리더십과 의학교육 훈련 부족
  • Faculty and students uncomfortable as peers
  • Lack formal leadership and medical education training

사례 연구
Case studies

박스 1과 2의 핵심 발견을 강조하기 위해, AMA ACE 이니셔티브에 대한 저자의 개인적 경험에서 선택된 사례 연구가 관련 변경 관리 단계, 활성화자 및 장벽에 대해 전반적으로 언급되어 있다.
To highlight the core findings in Boxes 1 and 2, a selection of our case studies are presented here from the authors’ personal experiences with the AMA ACE initiative, with relevant change management steps, activators, and barriers noted throughout.

사례 연구 1: 의료 교육 학생 리더의 변화를 가속화하는 AMA
Case study 1: AMA accelerating change in medical education student leaders


2012년, AMA 의대생 부문은 ACE 이니셔티브의 국가 자문 패널(NAP)에서 근무할 학생 지도자 2명을 선정했다. 이 학생 지도자들은 의료 교육 프로그램의 장점과 단점에 대한 그들의 직접적인 관점을 공유했다. 기초 과학 훈련과 환자 치료에 필요한 필수 의학 지식 사이의 점점 더 단절되는 것과, 그리고 어떻게 사전 임상 경험을 미국 의료 면허 시험(USMLE) 준비로 기울일 수 있는지를 논의했다. 또
한 의료 정책, 품질 향상, 리더십 훈련, 절차 기술 및 전문가 간 팀 기반 관리와 같은 의료 교육의 격차를 강조했습니다. – 전통적으로 학생들에게 독립적으로 학습하도록 남겨진 개념입니다(1단계 – 긴급성 생성). NAP 회의에서 이러한 경험의 목소리는 역량 기반 교육, 보건 시스템 커리큘럼 및 학습자의 진로 및 환자 요구에 맞춘 교육 경험을 포함하여 지원 요청(RFA)의 여러 주제에 영향을 미쳐 ACE 기관의 초기 코호트를 형성했다(2단계 및 3단계 – 연합 구축, 비전 수립).
In 2012, the AMA Medical Student Section selected two student leaders to serve on the ACE initiative’s National Advisory Panel (NAP) (Activator 2 – Broaden Student Roles). These student leaders shared their first-hand perspective on the strengths and deficiencies of medical education programs, discussing a growing disconnect between basic science training and essential medical knowledge needed for patient care, and how the preclinical experience can be skewed toward US Medical Licensing Examination (USMLE) preparation. They also highlighted gaps in medical education such as health policy, quality improvement, leadership training, procedural skills, and interprofessional team-based care – concepts traditionally left to students to learn independently (Step 1 – Create Urgency). Voicing these experiences at NAP meetings influenced several themes in the Request for Applications (RFA), including competency-based education, health systems curricula, and educational experiences tailored to learners’ career paths and patient needs (Steps 2 and 3 – Build a Coalition; Formulate a Vision), which shaped the initial cohort of ACE institutions.

ACE 프로그램 리더십은 NAP 학생 리더에게 멘토링과 리더십 기회를 제공하면서 실천 공동체를 넓혔습니다(액티베이터 3 – 학생 리더 역량 강화). 따라서 NAP 학생 리더는 두 번째 ACE 코호트 선택에 의미 있는 기여를 할 수 있는 좋은 위치에 있었다. 교육생으로서의 경험을 바탕으로, 이 학생 지도자들은 어떤 프로젝트가 궁극적으로 환자 치료를 발전시키면서 의대생들의 교육적 경험을 진정으로 변화시킬 것인지를 고려했다. 마찬가지로, 학생 리더들은 일관되게 어떤 커리큘럼이 필요한지, 무엇이 '추가' 되어야하고, 학생이 과소평가하는 것은 무엇인지, 경쟁적인 시간 요구가 주어진 학생들에게 실현 가능한 것은 무엇인지 옹호했다(5단계 – 비전을 향한 가속화). 우리는 이러한 학생들의 참여가 ACE 프로그램에서 비롯되는 혁신적인 변화가 학생 중심적이고 역동적이며 일상적인 학생 경험의 현실에 바탕을 둔다는 것을 보장하는 데 도움이 되었다고 믿는다.
ACE program leadership provided mentorship and leadership opportunities to the NAP student leaders, while broadening their community of practice (Activator 3 – Empower Student Leaders). The NAP student leaders were thus well positioned to make meaningful contributions to a second ACE cohort selection. Drawing on their experiences as trainees, these student leaders considered which projects would truly transform the educational experience of medical students while ultimately advancing patient care. Likewise, the student leaders consistently advocated for what curriculum was needed, what would be ‘add on’ and undervalued by learners, and what was feasible for students given competing time demands (Step 5 – Accelerate Towards Vision). We believe such student engagement has helped ensure that innovative changes resulting from the ACE program are student-centered, dynamic, and grounded in the reality of the day-to-day student experience.

사례 연구 2: 미시간 대학교 의과대학
Case study 2: University of Michigan Medical School

미시간 대학교 교육과정 변혁은 학습 공동체, 전문직 간 교육, 리더십 훈련, 초기 임상 경험 및 전문 개발 분교를 구상했다(미시간대 의과대학 2017). 이 야심찬 프로젝트의 시작에, 교수진 지도자들은 원하는 학생 역할을 성문화하기 위해 기존 학생 대표들을 초대했습니다(활동가 1과 2 – 협업 교수진 모집; 학생 역할 확대). 학생이 디자인한 대표 구조는 학생들을 교육 과정 리더십에 동등한 참여자로 참여시켜 전략 계획 기구의 각 위원회에서 임상 전과 학생 모두를 통합함으로써 의미 있는 학생 인풋을 달성하기 위한 것이었다(2단계와 3단계 – 연합 구축, 비전 공식화). 교육 과정 지도부와 학생 단체 간에 연락을 주고받기 위해 완전히 학생 주도의 '학생 자문 위원회'가 구성되었으며, 폭넓은 참여와 학생 대표 활동의 연속성을 촉진합니다(4단계 – 비전 전달).

The University of Michigan curricular transformation envisioned learning communities, interprofessional education, leadership training, earlier clinical experiences, and professional development branches (University of Michigan Medical School 2017). At the outset of this ambitious undertaking, faculty leaders invited existing student representatives to codify desired student roles (Activators 1 and 2 – Recruit Collaborative Faculty; Broaden Student Roles). A student-designed representation structure was intended to achieve meaningful student input by engaging students as equal participants in the curricular leadership, integrating both preclinical and clinical students on each committee in the strategic planning apparatus (Steps 2 and 3 – Build a Coalition; Formulate a Vision). A fully student-led ‘Student Advisory Committee’ was created to liaise between the curricular leadership and student body, facilitating communication, broad buy-in, and continuity of student representation (Step 4 – Communicate the Vision).

모든 의대생에 대한 공개적인 요청에 따라, 거의 7명 중 1명의 학생이 교육에 대한 열정, 교수진과의 협업 경험, 리더십 실적을 평가하는 논술 지원서를 통해 지원했습니다(Activator 1 – Recruit Collaborative Students). 학생이 주도하는 과정에서 30명 이상의 학생이 선발되었으며, 이는 기존 대표자를 넘어 당사 실무 커뮤니티를 넓혔습니다(Activator 2 – 학생 역할 확대). 이러한 학생들은 커리큘럼 설계 위원회에서 적극적으로 활동하여 학습자 중심의 변화를 구상하는 데 도움을 주었습니다(3단계 – 비전 수립). 그러나 학생들은 또한 변화 노력을 주도했다:

  • 그들은 변화의 강점과 약점을 특징짓는 학교 전반의 설문조사를 실시했다(1단계 - 긴급성 만들기).
  • 그들은 제안된 변화의 배후에 있는 교육 커뮤니티를 규합하고, 타운 홀 미팅을 개최하고, 지역 전체 커리큘럼 수련회에서 연설하고, 예비 학생을 대상을 한 홍보대사로서 교육 혁신을 강조했다(5단계 – 비전을 향한 가속화); 그리고
  • 사례 토론, 리더십 및 전문성 교육, 임상 추론 선택 항목과 같은 새로운 콘텐츠를 설계하고 구현했습니다(6단계 – 단기 성공 축하).

In response to an open call to all medical students – which fostered a sense of inclusivity – nearly one in seven students applied for positions through an essay application that assessed students’ passion for education, experience collaborating with faculty, and leadership track record (Activator 1 – Recruit Collaborative Students). More than 30 students were selected in a student-led process, which broadened our community of practice beyond existing representatives (Activator 2 – Broaden Student Roles). These students worked actively on curricular design committees, helping envision learner-centered changes (Step 3 – Formulate a Vision). But students also led change efforts:

  • they conducted school-wide surveys characterizing strengths and weaknesses of the transformation (Step 1 – Create Urgency);
  • they rallied the educational community behind the proposed changes, holding town hall meetings, speaking at community-wide curricular retreats, and highlighting curricular innovations as ambassadors to prospective students (Step 5 – Accelerate Toward Vision); and
  • they designed and implemented new content, such as case discussions, leadership and professionalism training, and a clinical reasoning elective (Step 6 – Celebrate Short-Term Wins).

이러한 활동은 학생 리더의 전문적 성장을 위한 발판이 되었으며, 팀워크와 리더십의 습관을 길러주었습니다. 즉, 새로운 미시간 대학교 커리큘럼의 핵심 임무(액티베이터 3 – 학생 리더의 임파워Empower). 학생 지도자들의 노력과 성공은 교육과정 회의와 학과장의 메시지에서 일상적으로 축하되었습니다(Activator 4 – 학생 성공 인식). 마지막으로, 이러한 성공적인 학생 노력은 교육적 설계에서 구현으로 전환하면서 지속적이고 생산적인 학생-교수-직원 협업의 틀을 만들어냄으로써 제도 문화에 긍정적인 영향을 끼쳤다. (7~8단계 – 절대 양보하지 않고 새로운 접근 방식을 제도화한다.)
These activities served as a springboard for the student leaders’ professional growth, developing teamwork and habits of leadership – core missions of the new University of Michigan curriculum (Activator 3 – Empower Student Leaders). The efforts and successes of student leaders were routinely celebrated in curricular meetings and messaging from the Dean’s office (Activator 4 – Recognize Student Successes). Finally, these successful student efforts positively influenced the institutional culture, creating a framework for sustained, productive student–faculty–staff collaborations that the institution is drawing upon as it shifts from curricular design to implementation (Steps 7 and 8 – Never Let Up and Institutionalize New Approaches).

사례 연구 3: Penn State 의과 대학
Case study 3: Penn State College of Medicine

Penn State 의과대학의 시스템 탐색 커리큘럼(Sync)은 의료 시스템 문제에 대한 의대 학생들의 이해를 향상시키기 위한 훈련 경험을 소개했다(Gonzalo et al. 2017). 예를 들어, 1학년 학생들은 환자 내비게이터 역할을 하며, 보험, 약물 걱정, 약속과 같은 도전들을 통해 환자들을 안내한다. 학생 정부 구성원을 포함한 학생들은 SyNC의 중요한 공동 개발자였다. 학생 리더는 매주 SyNC 설계 팀과 회의를 갖고 교수진이 주도하는 커리큘럼 위원회에 참석하여(Activator 2 – 학생 역할 확대), 교직원들이 강의실 및 임상 환경 모두에서 더 나은 작업 방식을 식별할 수 있도록 지원했습니다(1단계와 2단계 – 긴급성 작성 및 연합 구축). 학생들은 이러한 피드백 기회에 지속적으로 참여했으며 소규모 그룹 세션과 임상 현장 경험에서 학습 목표가 얼마나 잘 달성되었는지 평가하는 데 특히 능숙했다. 또한, 학생 리더는 SyNC에 참여한 학생 중 85% 이상의 의견을 수렴하는 연말 설문조사를 실시했으며, 이는 학생 의견의 광범위한 표현을 촉진했다(1단계 – 긴급성 작성). 학생 피드백은 환자 탐색 경험의 표준화, 강의 주제 재구성, 보다 현실적인 환자 시뮬레이션 시나리오로 이어졌다. 커리큘럼에 대한 학생들의 영향은 (의심할 여지 없이) 열린 마음을 가진 교수진과의 파트너십, 혁신적인 커리큘럼 토론에 학생들을 포함시키려는 의과대학의 노력(액티베이터 1 및 2 – 협업 교수진 모집, 학생 역할 확대), 그리고 그들의 수업의 더 넓은 관점을 전달하기 위한 학생들의 헌신과 관련이 있다. 자신의 개인적인 의견보다는 동료들이 더 중요하다(공통의 장애요인). SyNC의 두 번째 반복에서 학생 주도 개선의 증거를 확인한 결과, 지속적인 학생 참여로 이어졌고, 결과적으로 전반적인 학생 참여가 이루어졌다(8단계 – 새로운 접근 방식 제도화).
The Systems Navigation Curriculum (SyNC) at Penn State College of Medicine introduced training experiences to improve medical students’ understanding of healthcare systems issues (Gonzalo et al. 2017). For example, first-year students serve as patient navigators, guiding patients through challenges such as insurance, medication concerns, and appointments. Students, including student government members, were vital co-developers of SyNC. Student leaders met weekly with the SyNC design team and attended faculty-led curricular committees (Activator 2 – Broaden Student Roles), helping faculty identify better practices in both the classroom and clinical settings (Steps 1 and 2 – Create Urgency and Build a Coalition). Students were continuously engaged in these feedback opportunities and were particularly adept at assessing how well learning objectives were achieved in small group sessions and within clinical site experiences. Additionally, student leaders administered an end-of-year survey, collecting comments from over 85% of students participating in SyNC, that facilitated broad representation of student views (Step 1 – Create Urgency). Student feedback led to standardization of patient navigation experiences, reorganization of course lecture topics, and more realistic patient simulation scenarios. Students’ impact on the curriculum was undoubtedly linked to their partnerships with open-minded faculty, the College of Medicine’s commitment to including students in innovative curricular discussions (Activators 1 and 2 – Recruit Collaborative Faculty; Broaden Student Roles), and students’ dedication to conveying the broader views of their classmates rather than their own personal opinions (a common Barrier). Seeing evidence of student-driven improvement apparent in the second iteration of SyNC has inspired continued student engagement and, consequently, overall student buy-in (Step 8 – Institutionalize New Approaches).

토론 및 결론
Discussion and conclusions

의학을 발전시키는 데 필요한 일선 지도자를 양성하기 위해서는 교직원, 기관, 학술 의학계가 학생 지도 기회를 육성해야 한다. 의대 교육과정 변화 노력이 이런 기회를 제시한다. 선행 연구는 커리큘럼 변화의 리더십을 포함하여 학생 참여 기준을 정의하고(Patricio 2016), 커리큘럼 변화를 주도하는 학생들의 지역 사례를 문서화하였다(Yengo-Kahn et al. 2017). 우리는 일반화할 수 있는 8단계 변경 관리 프레임워크에서 커리큘럼 변화를 촉진하고 선도하는 학생들을 위한 수많은 역할을 식별함으로써 그 작업에 추가했다. 분명히 완전하지는 않지만, 우리의 표는 학생들이 교과 변화 노력의 모든 측면에서 독특하고 중요한 역할을 할 수 있다는 것을 보여준다. Kotter의 업데이트된 프레임워크는 변화 리더들로 구성된 '자원봉사 군대'를 배치하는 것을 강조합니다; 학생들은 Kotter가 주목하는 필수 요소인 에너지, 열정, 그리고 진정한 헌신과 같은 특성들을 가져오는 완벽한 자원봉사 군대입니다.

To develop the front-line leaders necessary to advance medicine (Bohmer 2013), student leadership opportunities must be fostered by faculty, institutions, and the academic medical community. Medical school curricular change efforts present such an opportunity. Prior work has defined criteria for student engagement, including leadership of curricular change (Patricio 2016), and documented local examples of students leading curricular change (Yengo-Kahn et al. 2017). We have added to that work by identifying numerous roles for students in catalyzing and leading curricular change across a generalizable, eight-step change management framework. Although clearly not exhaustive, our tabulation demonstrates that students can have unique and instrumental roles in all facets of curricular change efforts. Kotter’s updated framework emphasizes deploying a ‘volunteer army’ of change leaders; students are the perfect volunteer army, bringing traits that Kotter notes are essential: energy, enthusiasm, and authentic commitment.

그러나 학생의 역할을 설명하는 것 만으로는 불충분하다. 교육과정 변화에 대한 학생들의 의미 있는 참여에는 많은 학생과 교직원의 장애요인이 존재한다. 학생들은 일반적으로 광범위한 리더십 훈련을 받지 않으며, 교육과정 변화 노력에 대한 '큰 그림'의 시각이 부족할 수 있으며, 이는 교직원들이 학생들을 단순한 소비자로 보게 할 수도 있다. 게다가, 학생들은 의료 면허 시험에 지나치게 집중하고 이전에 시도된 것에 대한 제도적 지식이 부족할 수 있다. 그러나 우리의 주제 분석은 학생들을 생산적인 변화 리더로 참여시키기 위한 네 가지 '활성요인activator'를 보여주었다.

  • (1) 협력적인 교수진, 직원 및 학생을 모집
  • (2) 학생 리더십 역할 확대
  • (3) 학생 리더에게 권한을 부여
  • (4) 학생의 성공을 인정

Delineating student roles is alone insufficient, however; numerous student and faculty barriers exist to meaningful student engagement in curricular change. Students do not typically have extensive leadership training and may lack a ‘big picture’ view of curricular change efforts that may lead faculty to view students as mere consumers. Moreover, students may be overly focused on medical licensure exams and lack institutional knowledge of what has been tried before. However, our thematic analysis revealed four ‘activators’ for engaging students as productive change leaders:

  • (1) recruit collaborative faculty, staff, and students;
  • (2) broaden student leadership roles;
  • (3) empower student leaders; and
  • (4) recognize student successes.

교직원과 관리자에 의한 이러한 활동가들의 구현은 학생들을 리더로 참여시킬 뿐만 아니라, 그들이 새로운 리더적 역할을 성공하게 하고, 학생들의 참여를 지지하고 축하하는 제도적 문화를 구축한다. 우리의 경험으로 볼 때, 긴밀한 교수진의 지도력을 갖춘 모든 교육 위원회에 걸쳐 변화 과정의 초기에 학생 지도자들을 통합하는 것은 필수적이다. 커리큘럼 리더는 학생이 생성한 데이터를 사용하여 일반적으로 언급되는 장벽인 변화에 대한 교수진의 저항을 극복할 수 있습니다. 이와 유사하게, 학생 지도자들은 종종 관리자들보다 [변화의 필요성에 저항하는 학생들]을 더 효과적으로 설득할 수 있다.

Implementation of these activators by faculty and administrators not only engages students as leaders, but primes them to succeed in their new leadership roles and builds an institutional culture that supports and celebrates student engagement. In our experience, incorporating student leaders early in the change process across all curricular committees with close faculty mentorship is vital. Curricular leaders can use student-generated data to overcome faculty resistance to change, a commonly stated barrier. Similarly, student leaders can often persuade resistant students that change is needed more effectively than can administrators.

요컨대, 학습자는 강력한 촉매제가 될 수 있고 커리큘럼 변화의 리더가 될 수 있다. 학생과 교직원의 강력한 파트너십은 반대를 최소화하고 협업을 최대화함으로써, 학생들을 수동적인 커리큘럼 소비자에서 적극적으로 권한을 부여하는 변화 에이전트로 이동시킨다(Burk-Rafel et al. 2017). 이러한 변화 기관을 육성하기 위해, 우리는 의과대학이 우리가 파악한 네 가지 활성제를 적용하도록 촉구한다. 우리는 특히 멘토링과 지도자로써 학생들의 공식적인 훈련을 통해 학생 지도자들에게 힘을 실어주는 것의 중요성을 강조할 것이다.

In sum, learners can be powerful catalysts and leaders of curricular change. Robust student–faculty partnerships minimize opposition and maximize collaboration, shifting students from passive curricular consumers to actively empowered change agents (Burk-Rafel et al. 2017). To foster this change agency, we urge medical schools to apply the four activators we identified. We would particularly emphasize the importance of empowering student leaders through mentorship and formal training of students as leaders (Varkey et al. 2009; Webb et al. 2014; Myers and Pronovost 2017) and educators (e.g. medical education scholarly concentrations (Burk-Rafel et al. 2016) and students-as-teachers programs (Ten Cate and Durning 2007; Varkey et al. 2009; Peluso and Hafler 2011; Nelson et al. 2013)).

이러한 개입의 장기적 영향과 학생 참여가 교육과정 변화 결과에 미치는 영향을 이해하기 위한 연구가 필요하다. 우리는 학생들이 참여하는 커리큘럼 변화가 순수하게 교수진이 주도하는 과정보다 더 나은 커리큘럼을 만드는지 아니면 다른 커리큘럼을 만드는지 모른다. 그러나 여기에 제시된 사례 연구 및 교육 워크샵 참가자들의 연구 결과는 강력한 학생 참여의 이점이 상당할 수 있음을 시사한다고 생각합니다. 학생들이 [교육 소비자주의] 또는 [토큰 리더십] 역할을 넘어 교육 콘텐츠와 커리큘럼의 완전한 협력자 및 공동 제작자로 이동할 수 있도록 하는 것은 교육생들이 현대 의료의 도전에 대처할 수 있도록 지원하는 학습자 중심의 의대를 만드는 데 도전적이지만 중요한 과제이다. 우리는 그러한 학생들의 교육과정 참여와 리더십을 장려하기 위한 다른 기관의 혁신적인 접근법에 대한 설명을 보기를 간절히 바란다.

Studies are needed to understand the long-term impact of such interventions, and the effect of student engagement on curricular change outcomes. We do not know if student-engaged curricular change creates better or different curricula than purely faculty-led processes. However, we believe the case studies presented here – and the findings from the educational workshop participants – suggest the benefits of robust student engagement could be profound. Empowering students to move beyond educational consumerism or token leadership roles to full collaborators and co-creators of educational content and curricula is a challenging but critical task in creating learner-centric medical schools that equip their trainees to meet the challenges of modern healthcare. We are eager to see descriptions of innovative approaches at other institutions for encouraging such student curricular engagement and leadership.

 


Med Teach. 2020 May;42(5):572-577. doi: 10.1080/0142159X.2020.1718070. Epub 2020 Feb 4.

Students as catalysts for curricular innovation: A change management framework

Affiliations collapse

Affiliations

1Department of Internal Medicine, NYU Langone Health, New York, NY, USA.

2Department of Internal Medicine, Cleveland Clinic Foundation, Cleveland, OH, USA.

3Department of Internal Medicine, UC Davis Health, Sacramento, CA, USA.

4American Medical Association, Chicago, IL, USA.

PMID: 32017861

DOI: 10.1080/0142159X.2020.1718070

Abstract

Introduction: The role of medical students in catalyzing and leading curricular change in US medical schools is not well described. Here, American Medical Association student and physician leaders in the Accelerating Change in Medical Education initiative use qualitative methods to better define student leadership in curricular change.Methods: The authors developed case studies describing student leadership in curricular change efforts. Case studies were presented at a national medical education workshop; participants provided worksheet reflections and were surveyed, and responses were transcribed. Kotter's change management framework was used to categorize reported student roles in curricular change. Thematic analysis was used to identify barriers to student engagement and activators to overcome these barriers.Results: Student roles spanned all eight steps of Kotter's change management framework. Barriers to student engagement were related to faculty (e.g. view student roles narrowly), students (e.g. fear change or expect faculty-led curricula), or both (e.g. lack leadership training). Activators were: (1) recruiting collaborative faculty, staff, and students; (2) broadening student leadership roles; (3) empowering student leaders; and (4) recognizing student successes.Conclusions: By applying these activators, medical schools can build robust student-faculty partnerships that maximize collaboration, moving students beyond passive educational consumption to change agency and curricular co-creation.

Keywords: Medical students; curriculum change; leadership; undergraduate medical education.

When I say… 여행 개념(Med Educ, 2020)
When I say… travelling concepts
Mario Veen1 | Iris van der Tuin2

의학교육 연구를 하는 것의 많은 부분은 [개념]에 관한 작업으로 구성되어 있다. 의학 교육의 이 섹션에 있는 논문은 대개 그러한 개념 중 하나를 논의하는데 전념한다. 그러나 종종 의심받지 않는 '개념'이라는 단어 자체의 개념은 어떠한가? 이 질문은 학문분야와 그 학문분야를 긴장시키는 기본 가정에 따라 달라지는 질문입니다. 예를 들어, 인지 심리학에서 개념들은 종종 '구성'과 같이 육체가 없는 추상적인 개념으로 보여진다. 그들은 언어로부터 떨어져 살고, 어쩌면 생각으로부터도 떨어져 산다. 하지만, 이것은 우리가 개념을 바라보는 방식이 아닙니다. 우리는 그들을 각자의 역사와 인격을 가진 비판적인 친구로 보고 있으며, 또한 고려를 요구합니다. 추상적인 실체와는 거리가 먼, 그것들은 우리의 분석 도구이며, 우리의 연구 대상과 의미 있는 대화를 할 수 있는 틀을 형성한다. 여기서, 우리는 특히 여행 개념travelling concepts을 의미한다. 이는 Mieke Bal에 의해 인문학에 소개된 [학제간 분석]을 위한 도구이다. 그것은 또한 학제간(또는 적어도 다학제간) 분야인 의학 교육에도 유용하다.

A large part of doing medical education research consists of working with concepts. The papers in this section of Medical Education are usually devoted to discussing one such concept. However, what about the often unquestioned concept of ‘concept’ itself—a question that depends on the discipline and the underlying assumptions that tension it.1 For example, in cognitive psychology, concepts are often seen as disembodied, abstract ideas—as ‘constructs’. They live apart from language and perhaps even apart from thought. However, this is not how we look at concepts. We see them as critical friends, each with their own history and personality that also demand consideration. Far from abstract entities, they are our analytical tools, shaping the frameworks that allow us to engage in a meaningful dialogue with our objects of research. Here, we specifically mean travelling concepts—a tool for interdisciplinary analysis introduced to the humanities by Mieke Bal.2, 3 It is useful for medical education as well, which is also an interdisciplinary (or at least, multidisciplinary) field.1

[개념]은 모든 단어 중에서 우선이다. [단어]는 체계적인 사용과 개발을 통해 [개념]이 될 수 있다. 예를 들어, 'depression'이라는 단어를 생각해보세요. 심리학에서 정신적인 '장애'를 의미할 수도 있고, 기상학에서 '저압계'를 의미할 수도 있지만, 두 개념 모두 단어의 어원인 deprimere에 의존한다. '누르다'라는 의미를 갖는다. 그러나 이 개념은 [일상적인 언어]에서도 더 느슨한 의미로 사용된다. 사람들은 슬플 때 '나는 우울하다'고 말한다. 의학교육, 의학교육 연구, 그리고 실제로 이 시리즈의 많은 작업은 [개념]과 [일상적 단어]를 구별하는 것이다. 특히 서로 다른 학문적 배경을 가진 동료들과 이야기할 때, 우리는 개념을 사용할 때 항상 우리가 의미하는 바를 분명히 해야 합니다.

Concepts are first of all words. A word can become a concept via its systematic use and development. As an example, consider the word ‘depression’. While it can mean either a mental ‘disorder’ in psychology or a ‘low pressure system’ in meteorology, both uses of the concept draw upon the word's etymology—deprimere, ‘to press down’. But the concept is also used in everyday language in a looser sense—people say ‘I am depressed’ when they feel sad. Much of the work of medical education, medical education research, and indeed this series, is to distinguish concepts from mere words. Especially when speaking with colleagues from different disciplinary backgrounds, we should always clarify what we mean when we use concepts.

그러나, 의학 교육에서 잘 확립된 개념들조차도 그 시점에 도달하기 위해 확장된 궤적을 따라왔다. 여행 중에, 그들은 둘 다 여행 중에 '짐baggage'을 얻거나 잃어버린다.

  • 예를 들어, '반성reflection'라는 개념은 철학에서 심리학, 그리고 교육과학으로 이동했다.
  • 마찬가지로, '증거evidence'라는 개념은 수학에서 매우 구체적인 의미를 가지고 있지만, 자연과학을 통해 의학에 의해 채택되었고, 마침내 의학교육 연구의 터전을 찾았다. 따라서, 무작위 대조 시험이 금본위제라는 생각과 같이 반드시 짐baggage이 따라오게 된다. 또한 의학 교육 연구에도 사용됩니다. 

이러한 개념은 '여행 이력travel histories'을 매핑할 때 빠르게 구체화됩니다. 여행 이력이란, 특정한 단어가 서로 다른 (학술) 문화, 공동체 및 맥락에서 체계적으로 작업에 놓이게 된 방법을 의미한다.

Yet, even concepts that are well established in medical education have followed an extended trajectory to reach that point. During their travels, they both acquire and shed ‘baggage’ along the way.

  • For instance, the concept of ‘reflection’ travelled from philosophy to psychology, thence to educational science.
  • Similarly, the concept of ‘evidence’ has a very specific meaning in mathematics, but was adopted by medicine via the natural sciences, finally finding a home in medical education research. Hence, it necessarily brings with it baggage, such as the idea that the randomised controlled trial is the gold standard—also for medical education research.

Such concepts quickly become concrete when you map their ‘travel histories’—the ways in which they have been systematically put to work in different (academic) cultures, communities and contexts.

마지막으로, 개념에는 [경계]와 [어포던스] 또는 ['선호']가 있습니다. [선호]란 우리가 그 개념과 [함께 할 수 있는 것]과 할[ 수 없는 것]을 뜻한다. [개념]과 [단순한 단어]를 구분하고, 그 궤적을 지도화해야, 우리의 연구에서 어떻게 그것들을 다룰 수 있는지 탐구하기 시작할 수 있다. 증거의 개념을 다시 생각해보세요. 이 개념은 의학의 뿌리에 있는 [실증주의]와 [현상학과 구성주의]와 같은 인간과학의 접근 사이에서, 근본적인 논쟁의 교차점에 있다.

  • [실증주의]에서 증거란 생성되기보다는 발견되는 것으로 본다. 연구 과정에서 확립된 사실들은 특정 현상, 사물 또는 관계의 [논란의 여지가 없는 존재의 근거]로 간주된다.
  • 그러나 [개념]으로 작업함에 있어, 개념과 증거에 대한 또 다른 관점도 존재한다. 즉, [현상]들이 특정한 개념을 [유도]하는 만큼, [개념적 도구]들은 현상을 [확립]한다.

의학교육 연구에서 테마가 자료에서 '출현emerged'했다거나, 특정 개입의 효과에 대한 증거를 '발견found'했다고 말할 수 없는 이유다. [개념] 그 자체는 '밖에서' 발견되거나, 한 번에 모두에게 구성되는 안정적인 실체가 아니다. 변화하고 진화해야 합니다. 우리가 사용하는 특정한 개념은 우리가 교육, 우리의 연구 대상, 연구를 어떻게 보는지를 결정한다.

Finally, concepts have boundaries and affordances or ‘preferences’—what we can (and cannot) do with them. Only when we distinguish concepts from mere words and map their trajectories can we start to explore how we can work with them in our research. Consider again the concept of evidence. This concept is at the intersection of a fundamental debate between positivism, which is at the root of medical science, and approaches from the human sciences such as phenomenology and constructivism.

  • Positivism sees evidence as something that is found rather than generated. Facts established in the research process are seen as the basis for the undisputed existence of certain phenomena, objects or relations.
  • However, working with concepts involves a different view of concepts and evidence. Here, conceptual tools establish phenomena, as much as phenomena invite particular concepts.

This is why, in medical education research, we cannot say that themes ‘emerged’ from the data or that evidence was ‘found’ for the effectiveness of a certain intervention. Concepts themselves are not stable entities that are found ‘out there’ or that are constructed once and for all—they can (and should) change and evolve. The particular concepts that we use determine how we view education, our research objects and research.

하지만, 우리가 사용하는 개념의 역사적 배경이나 학문분야적 토대를 되돌아볼 때, 의학 교육에 대해 정확히 밝혀진 것은 무엇인가? 게다가, 의학 교육에서 그들의 사용은 그러한 역사와 다른 학문으로부터 수집된 지식과 통찰력에 대해 무엇을 드러내는가? [반성]의 예로 돌아가면, 이 개념은 최근까지 주로 [메타인지 과정]으로 간주되어 왔다. 그러나, 이것은 그저 마음 뿐만 아니라, [사람 전체whole person]를 포함하는 [구체화되고 상황화된 현상embodied, situated phenomenon]으로 점점 더 여겨지고 있다. [주어진 개념의 의미]는 [그 개념이 어떤 용법으로 사용되는지]를 통해 자기자신을 드러내며, 따라서 그것은 다수의 타당한 의미를 갖는다.

Yet, what exactly is revealed about medical education when we reflect upon the historical backgrounds or disciplinary groundings of the concepts that we use? Further, what does their use in medical education reveal about such histories and about knowledge and insights gleaned from other disciplines? Returning to the example of reflection, the concept has until recently been seen primarily as a metacognitive process. However, it is increasingly seen as an embodied, situated phenomenon that involves the whole person, not just the mind. The meaning of a given concept reveals itself in the use made of it, and hence, it has multiple valid meanings.

따라서 개념을 출발점으로 삼으면 학술적 논의와 엄격한 연구를 촉진할 수 있다. 개념을 출발점으로 삼는다는 것은, 우리가 차이점과 공통점을 논할 수 있다는 공통지점common ground를 갖는다는 것이다. [개념]은 '모든 사람에게 같은 것을 의미하기 때문이 아니라 그렇지 않기 때문에' 생산적인 힘을 갖는다. 예를 들어, '증거'의 개념을 구성하는 층들의 조심스러운 포장은 교육의 본질만큼이나 근본적인 토론 질문들을 위해 개방된다. Biesta와 Van Braak은 '증거'의 개념을 의학 연구에 사용하는 것은 의학 모델에 적용되는 인과적 가정을 수반하지만, 교육의 본질과 일치하지 않기 때문에 의학 교육 연구에 적용할 수 없음을 보여준다.

Thus, concepts can facilitate academic discussion and rigorous research if we take them as a starting point—a common ground on the basis of which we can discuss our differences and commonalities.3, 4 Concepts become productive forces ‘not because they mean the same thing for everyone, but because they don't’2(p.11) For example, a careful unpacking of the layers that make up the concept of ‘evidence’ opens for debate questions as fundamental as the very nature of teaching. Biesta and Van Braak show that the concept of ‘evidence’ as used in medical research, cannot be applied to medical education research, because it carries with it causal assumptions that work in the medical model, but are inconsistent with the nature of education.5

따라서, [어떤 개념의 힘]은 [한 번 설정되면 바로 실천에 적용될 수 있도록 엄격하게 정의할 수 있는 정도]가 아니다. 오히려, 그러한 [엄격한 적용에 저항하여, 대화의 파트너가 되는 정도]라고 볼 수 있다. 이론보다는 개념에서 교육 연구에 대한 방법론적 근거를 찾는 것은 의학에서 환자 중심의 치료와 유사한 방식으로 의료 교육의 실천으로 우리의 초점을 돌릴 수 있게 할 것이다. 우리는 미리 정해둔 범주로 무장하여 [대상]에 접근하기보다는, [대상]의 경계와 어포던스를 존중하는 대화에 참여ㅎ야 한다. 이 대화에서 [대상object]은 '대답하는to speak back' 것이 허용되고, 그 과정에서 개념에 대한 접근방식을 조정할 수 있다. 따라서 개념으로 작업하려면 연구 대상에 대한 [방법론적 접근 방식을 조정]해야 합니다. 듣는 것이 먼저이고, 그 다음에야 이론과 방법을 선택한다. 그래야 대상object가 자신의 용어로 자신을 드러낼 수 있다.

Hence, the power of a given concept is not to be found in the degree to which we can rigidly define it so that once set, it can be straightforwardly applied to practice. On the contrary, it is in the degree to which concepts resist such straightforward application that they become our conversation partners. Finding our methodological basis for educational research in concepts rather than theories would allow us to turn our focus to the practice of medical education in a similar way to patient-centred care in medicine. Rather than approaching the object of our research armed with predetermined categories, we engage instead in a dialogue in which we respect the object's boundaries and affordances. In this dialogue, the object is allowed ‘to speak back’2(p.45) and we can adjust the concepts with which we approach it accordingly. Therefore, working with concepts demands that we tailor our methodological approach to the object of research—to listen to it first, only then choosing theories and methods so that the object is allowed to reveal itself on its own terms.

 


Med Educ. 2021 Feb;55(2):146-147.

 doi: 10.1111/medu.14400. Epub 2020 Nov 6.

When I say… travelling concepts

Affiliations collapse

Affiliations

1Department of General Practice, Erasmus Medical Center, Rotterdam, The Netherlands.

2Department of Philosophy and Religious Studies, Utrecht University, Utrecht, The Netherlands.

PMID: 33099785

DOI: 10.1111/medu.14400

역설적 진실과 사라지지 않는 미신: 팀 역량 대화를 리프레이밍하기(J Contin Educ Health Prof, 2016)
Paradoxical Truths and Persistent Myths: Reframing the Team Competence Conversation 
Lorelei Lingard, PhD

 

 

의학은 매우 개인주의적인 문화이다. 우리는 개인을 선발한다. 우리는 개인을 교육하고 평가합니다. 우리는 개인에게 라이센스를 부여하고, 고용하고, 급여를 지급합니다. 우리는 개인을 규제하고 치료한다. 그렇다면, 의학이 똑똑하고, 숙련되고, 헌신적인 임상의와 같은 유능한 사람들로 가득하다는 것은 놀랄 일이 아니다. 불행히도, 유능한 개인은 양질의 의료 서비스를 제공하지 못한다. 
Medicine is a highly individualist culture. We select individuals. We train and assess individuals. We license, hire, and pay individuals. We regulate and remediate individuals. It should come as no surprise, then, that medicine is full of competent individuals: smart, skilled, dedicated clinicians. Unfortunately, competent individuals do not equal quality health care. 

보건의료의 가장 시급한 문제들 중 일부는 무능한 개인이 아닌 무능한 팀들로 거슬러 올라갈 수 있다. 예를 들어 홈케어를 받는 노인들 사이에서 10-13%의 위험 발생률은 고객의 집을 통과하는 많은 의료 서비스 제공자들 사이의 조정과 의사소통 문제 때문이다. 그것은 개인의 역량의 문제가 아니며, 책임 있는 개인을 찾고 그들을 교정하는 우리의 통상적인 전술로는 해결될 수 없다. 우리는 개인의 능력 이상의 것을 생각할 필요가 있다. 왜냐하면 그것은 필요하지만, 양질의 의료 서비스를 위해 충분하지 않기 때문이다.
Some of health care's most pressing problems can be traced back to incompetent teams rather than incompetent individuals. For instance, the alarming 10–13% adverse event rate among seniors receiving homecare is due to problems of coordination and communication among the many health care providers passing through the client's home.1 That is not a problem of individual competence, and it cannot be solved by our usual tactic of looking for the responsible individual and remediating them. We need to think beyond individual competence because, although it is necessary, it is not sufficient for quality health care.

나는 거의 20년 동안 건강관리 팀워크를 공부해 왔다. 제 연구 그룹은 수술실, 중환자실, 입원환자 의료 및 소아과, 뇌졸중 재활실, 다장기 이식실, 심부전 클리닉, 가족 보건팀 등 직장에서 팀을 관찰하는데 수천 시간을 보냈습니다. 우리는 수백 명의 임상의들과 그들의 팀이 어떻게 소통하고 협력하는지에 대해 이야기를 나누었고, 우리는 어떻게 교육생들이 이러한 팀 관행과 가치를 습득하게 되었는지 탐구했습니다. 그리고 일반적으로 사회과학자가 복잡하고 유동적인 사회세계에서 안정된 진리의 존재를 선언하는 것은 신성불가침으로 여겨지지만, 저는 그것을 하려고 합니다. 우리가 연구한 모든 팀에게 다음과 같은 진술이 들어맞기 때문입니다.
I have been studying health care teamwork for almost 20 years. My research group has spent thousands of hours watching teams at work—in operating rooms, critical care units, inpatient medicine and pediatric units, stroke rehabilitation units, multiorgan transplant units, heart failure clinics, family health teams. We have talked with hundreds of clinicians about how their teams communicate and collaborate, and we have explored how trainees come to acquire these team practices and values. And while it is generally deemed sacrilegious for a social scientist to declare the presence of stable truths in a complex and fluid social world, I am about to do just that. Because the following statements hold true across all the teams we have studied:

  • 유능한 개인은 무능한 팀을 구성할 수 있다.
  • 한 팀원이 무능해도 팀은 유능할 수 있다.
  • 한 명의 무능한 팀원이 팀 전체를 좌절시킬 수도 있지만, 어떤 팀은 그러한 팀원과 함께 나아간다.
  • 동일한 팀도 한 상황에서 유능하고, 다른 상황에서 무능력할 수 있다.
  • Competent individuals can form an incompetent team.
  • Teams can be competent even when one team member is incompetent.
  • An incompetent team member can derail one team, but another team carries on around her.
  • The same team can be competent in one situation and incompetent in another.

한편으로, 이러한 사실들은 놀랍지 않다. 모든 임상의는 "드림팀"이었어야 했던 팀이 그저 그런 팀으로 변해버린 시절을 경험한다. 모든 교육자는 임상 환경의 교육이 작동하는 이유는, 부분적으로 초보자의 존재를 나머지 팀이 보상하기 때문임을 알고 있습니다. 모든 유닛 리더는 리소스의 변화가 팀이 성과를 유지하는데 어려움을 겪을 수 있다는 것을 인식하고 있습니다.
On the one hand, these truths are not surprising. Every clinician has experienced those days when what should have been a “dream team” turned sour. Every educator knows that teaching in clinical settings works in part because teams compensate for the presence of novices. Every unit leader recognizes that a change in resources can cause teams to struggle to maintain their performance.

반면에, 이러한 사실들은 놀랍기만 한 것이 아니라 역설적이다. 그들은 우리가 능력에 대해 진실이라고 믿는 것에 도전한다. 우리는 전통적으로 역량이 개인의 자질이라고 믿는다. 선택에서 훈련과 규제를 통해, 의학은 충분한 훈련을 통해 달성될 수 있고 주기적인 업데이트로 유지될 수 있는 상태로서 개인이 소유한 어떤 것으로 역량에 접근한다. 개념적으로, 이 접근법은 역량이 맥락에 구애받지 않는다는 것을 의미한다. 그렇다고 해서 우리가 맥락이 중요하다는 것을 인식하지 못한다는 것은 아니다. 

  • 현실적으로 말해서, 우리는 역량이 임상의, 환자, 조직 환경 및 기타 요인들 사이의 복잡한 상호작용을 수반한다는 것을 알고 있다. 
  • 그러나 개념적인 수준에서, 역량에 대한 우리의 전통적인 개별적인 접근법은 한 환경에서 유능한 의사가 다른 환경에서 유능할 것이라고 가정한다. 

어느 정도, 역량에 대한 이러한 믿음은 개인에게 전제된 [허가와 규제 시스템에 대한 믿음]을 갖기 위해 필요하다.

On the other hand, these truths are not just surprising, they are paradoxical. They fly in the face of what we believe to be true about competence. We conventionally believe that competence is a quality of the individual. From selection, through training and regulation, medicine approaches competence as something individuals possess, as a state that can be achieved through sufficient training and maintained with periodic updates. Conceptually, this approach also implies that competence is context-free. That is not to say that we do not recognize that context matters:

  • practically-speaking, we know that competence involves a complex interaction among clinician, patient, organizational setting, and other factors.
  • But at a conceptual level, our conventional, individual approach to competence assumes that a physician competent in one setting will be competent in another.

To some degree, these beliefs about competence are necessary in order to have faith in a system of licensing and regulation that is predicated on the individual.

위에서 요약한 네 가지 진리는 개인의 역량에 대한 전통적인 개념화에 도전한다. 사실, 이 역설적인 진리는 [집단적 역량]을 참고해야만 설명할 수 있습니다. [집단적 역량]은 시스템의 분산된 능력으로, 개인에게 쉽게 환원될 수 없다. 
그것은 역동적이고 문맥과 강하게 연관되어 있다.

  • 그래서 유능한 개인들은 무능한 팀을 구성할 수 있는데, 왜냐하면 팀워크는 그 부분의 합보다 더 중요하기 때문이다; 그것은 사회적 상호작용, 공유된 경험, 그리고 암묵적인 지식을 필요로 한다.
  • 마찬가지로, 팀워크는 공동의 인지적 성취이기 때문에 한 구성원이 무능력하더라도 팀은 유능할 수 있다.
  • 무능한 팀원이 어떤 팀을 마비시킬 수 있지만, 다른 팀은 마비시킬 수 없다. 왜냐하면 그 개인에 대한 집단적 대응이 관건이지 개인 자신이 아니기 때문이다.
  • 그리고 마지막으로, 한 팀은 다음이 아닌 한 상황에서 유능할 수 있습니다. 왜냐하면 집단적 역량은 진화하고, 불안정하며, 그들의 다양한 사회적 관계와 그 순간에 팀워크를 지원하거나 구속할 수 있는 물질적 조건을 가진 상황에 기반을 두고 있기 때문입니다.
    • [사회적 관계]는 갈등, 권력, 존중, 신뢰와 같은 이슈들에 의해 형성되는 복잡하고 미묘한 것이다.4-6
    • [물질적 조건material condition]도 중요하다: 교대 근무 시간표부터 "자료" 변경과 같은 프라이버시 법률까지 팀의 집단적 역량도 중요하다.7

The four truths outlined above challenge this conventional conceptualization of individual competence. In fact, we can explain these paradoxical truths only by reference to collective competence. Collective competence is a distributed capacity of a system, not easily reducible to an individual; it is dynamic and strongly tied to context.2 

  • So competent individuals can form incompetent teams because teamwork is more than the sum of the parts; it requires social interaction, shared experience, and tacit knowledge.
  • Similarly, a team can be competent even if one member is incompetent because teamwork is a joint cognitive accomplishment.3
  • An incompetent team member can paralyze one team but not another because how the collective responds to that individual is the key, not the individual him/herself.
  • And finally, a team can be competent in one situation and not the next because collective competence is evolving, unstable and based in situations with their varying social relations and material conditions that can support or constrain teamwork in the moment. Social relations on teams are complex and nuanced, shaped by issues such as conflict, power, respect, and trust.4–6 And material conditions matter too: from shift schedules to privacy legislation as such “materials” change so does the collective competence of the team.7

비록 우리가 집단 역량의 개념을 통해 이러한 역설적인 진리를 인정하고 설명할 수 있지만, 몇몇 강력한 신화는 팀워크에 대한 일상적인 대화에서 지속된다.
Even while we can acknowledge and, through the concept of collective competence, we can explain these paradoxical truths, some powerful myths persist in everyday conversations about teamwork:

  • 우리가 각자 맡은 일을 제대로 해낸다면, 이 팀은 효과적일 것이다.
  • 만약 우리가 서로의 역할을 이해한다면, 이 팀은 유능할 것이다.
  • 만약 우리가 분명한 리더십과 책임감이 있다면, 이 팀은 잘 기능할 것이다.
  • 우리 모두가 환자에게만 집중한다면, 이 팀은 부드럽게 작동할 거예요.
  • If we each did our job properly, then this team would be effective.
  • If we understood each other's roles, then this team would be competent.
  • If we had clear leadership and accountability, then this team would function well.
  • If we all just focused on the patient, then this team would work smoothly.

이러한 미신은 우리 모두가 "좋은 것"이라고 동의할 수 있는 것에 중점을 두고 있다. 그것은 바로 개인의 우수성, 역할 이해, 명확한 리더십 및 환자 중심성. 그럼 왜 이것을 "미신"라고 불러야 할까요? 왜냐하면 선의 핵심에도 불구하고, 그것들은 팀이 어떻게 일하는지에 대한 잘못된 믿음이기 때문입니다. 사실, 이 미신은 너무 단순해서 위험하다.

Each of these myths centers on something we would all agree is a “good”: individual excellence, role understanding, clear leadership, and patient centeredness. Why, then, do I call them “myths?” Because, notwithstanding the kernels of good, they are false beliefs about how teams work. In fact, I would argue that they are dangerous oversimplifications.

  • 첫 번째 신화는 - 우리가 각자 맡은 일을 제대로 했다면 - 이라는 말은 [협소한 개인주의]이다. 그것은 능력의 개별적인 차원을 반영하고 위에서 설명한 집단적 차원을 무시한다. 
  • 두 번째는, 만약 우리가 서로의 역할을 이해했다면, 이라는 말은 [고정적]이라는 문제가 있다. 이는 보건 전문가의 역할이 안정적이고 뚜렷하다는 것을 암시하는 반면, 팀워크에 대한 민족학 연구는 역할이 유동적이고 중복될 수 있다는 것을 입증했다.
  • 세 번째는, 만약 우리가 분명한 리더십을 가지고 있다면, 이라는 말은 [낭만적으로 향수를 불러일으키는 것]이다. 그것은 의사들이 의료 서비스 제공의 "리더"였던 시대로 거슬러 올라가지만, 최근의 연구는 의료 팀에서의 리더십은 복잡한 협상이며 "가장 책임 있는 의사"는 명확하게 식별되지 않을 수 있다고 주장한다.
  • 네 번째는, 우리 모두가 환자에게만 초점을 맞춘다면, 이라는 말은 [천진난만한 이상주의]입니다. 나는 환자 중심주의를 공유된 핵심 가치로 반대하는 것이 아니다. 그러나 의료 팀워크는 종종 경쟁적인 많은 동기들에 의해 형성됩니다.
    • 적시에 환자 치료를 제공하려는 욕구,
    • 부족한 자원을 보존해야 하는 필요성,
    • 환자 안전을 보장해야 하는 요구 사항,
    • 교육생이 자신의 기술을 연습할 수 있도록 해야 하는 의무  
      • ...등 모든 것이 팀이 임상 상황의 진화에 따라 협상하고 우선순위를 다시 정해야 하는 정당한 동기이다. 그리고 의료팀의 개인들은 이러한 동기를 다르게 해석하고 제정할 수 있다.

 

  • The first myth—if we each did our job properly—is narrowly individualistic. It reflects the individual dimensions of competence and ignores the collective dimensions described above.
  • The second—if we understood each other's roles—is problematically static. It implies that health professional roles are stable and distinct, while ethnographic studies of teamwork have demonstrated that roles can be fluid and overlapping.8 
  • The third—if we had clear leadership—is romantically nostalgic. It harkens back to a time when physicians were the unchallenged “leaders” of health care delivery, but recent research argues that leadership on health care teams is a complex negotiation9 and the “most responsible physician” may not be clearly identifiable.4 
  • And the fourth—if we all just focused on the patient—is naively idealistic. I am not arguing against patient-centeredness as a shared, core value. But health care teamwork is shaped by many, and often competing, motivations. The desire to provide timely patient care, the need to conserve scarce resources, the requirement to ensure patient safety, the mandate to allow trainees to practice their skills—all are legitimate motivations that teams must negotiate and reprioritize as a clinical situation evolves. And individuals in the health care team may interpret and enact these motivations differently.10,11

이러한 신화는 의도하지 않은 방법으로 보건 전문가 교육에 영향을 미칠 수 있다. 예를 들어, 전문가 간 협업 및 전문가 간 교육(IPE)을 지원하기 위해 강력한 프레임워크가 개발되었지만, 제한된 교육 시간과 참여로 인해 이러한 프레임워크는 종종 단순화된 방식으로 구현된다. 이 경우, 강력한 모델은 "팀에서 전문적인 역할을 이해하는" 학습 목표로 축소될 수 있습니다. 역할에 대해 배우는 것이 중요하지만, 연구 결과 역할이 종종 유동적이고 중복되는 것으로 나타남에도, 이같은 접근법은 보건 전문가 역할이 실제로 안정적이고 뚜렷하다는 암묵적인 메시지를 전달할 수 있다. 임상 전 IPE 커리큘럼은 [역할을 명확하게 설명하는] "기본" 시나리오[역할 유동성과 모호성을 설명하여 인위적으로 구분하지 않게 하는] "고급" 시나리오를 모두 제시하여 의도하지 않은 메시지로부터 보호할 수 있다. 학생과 전문가를 위한 실무 기반 IPE 이니셔티브는 실제 임상 상황에서 의료 제공자와 환자 간의 역할 복잡성과 역할 교차점을 가르치는 강력한 방법이 될 수 있다.
These myths can influence health professional education in unintended ways. For instance, while robust frameworks have been developed to support interprofessional collaboration and interprofessional education (IPE),12 these are often implemented in simplified ways due to limited curricular time and engagement. When this happens, the robust model can be reduced to the learning objective to “understand professional roles on the team.” While learning about roles is important, this approach can send the implicit message that health professional roles are stable and distinct in practice, when research has shown that roles are often fluid and overlapping.4 Preclinical IPE curricula can guard against this unintended message by presenting both “basic” scenarios that illustrate roles distinctly and more “advanced” scenarios that trouble artificial distinctions by illustrating role fluidity and ambiguity. Practice-based IPE initiatives, for students and for experts, may also be a powerful way to teach both role complexity and role intersection among health care providers and patients in real clinical situations.13

우리가 북미에서 역량 기반 의학교육으로 전환함에 따라, 우리는 이러한 신화가 그러한 노력에 미치는 영향에도 주의를 기울여야 한다. 예를 들어, 리더십은 지속적인 전문 개발 환경에서처럼 대학원 교육을 위한 역량 프레임워크에서 두드러지게 나타납니다. 리더십도 중요하지만 연구 결과에서 알 수 있듯이 팀 협업과의 관계는 복잡하다. 만약 이 미묘한 관계가 주의 깊게 지켜지지 않는다면, 우리는 "강한 리더십"이 팀워크를 해치는 만병통치약이라는 신화를 영속시킬 위험이 있다. "강력한 리더십"이 수반하는 것은 임상적 맥락에 따라 달라질 것이지만, 기존의 지식은 주로 "행동팀action teams"이라 불리는 것을 작업하는 중환자 치료, 외과, 소생 및 외상 팀에서 파생된다. 이러한 지식을 오늘날의 만성적이고 복잡한 질병 시대에 더 분산된 팀의 리더십의 특성에 비판적으로 적응시키기 위해 주의를 기울여야 한다. 행동 팀에서 효과적인 것으로 밝혀진 [지시적 또는 적응적 리더십]과 같은 전략은, "리더"가 팀에서 덜 안정적이고 가시적인 실체entity가 될 수 있는 [만성적인 치료 상황]에서 효과적이려면 신중한 번역translation을 요구할 수 있다.
As we shift to competency-based medical education in North America, we must also attend to the influence of these myths on those efforts. For instance, leadership features prominently in competency frameworks for postgraduate training14 as it does in the continuing professional development landscape.15 Leadership is important, but it is in complex relation to team collaboration, as research has shown.5 If this nuanced relation is not carefully attended to, we risk perpetuating the myth that “strong leadership” is the panacea for what ails teamwork. What “strong leadership” entails will vary according to clinical context, yet existing knowledge is derived largely from critical care, surgical, resuscitation and trauma teams, whose members work on what are called “action teams,” collocated space and time.16 Care must be taken to critically adapt such knowledge to the nature of leadership on more distributed teams in today's chronic, complex disease era.17,18 Strategies such as directive or adaptive leadership, found to be effective in action teams,16 may require careful translation to be effective in chronic care contexts where “leader” may be a less stable, visible entity on the team.

이러한 진실과 신화는 우리의 가정이 의료 팀워크의 복잡한 현실과 맞지 않을 수 있는 곳으로 우리의 관심을 끈다. 이러한 가정에 대한 비판적 탐구는 개인과 집단적 역량을 인식하고 촉진하는 교육 관행에 더 가까이 다가갈 것이다.

These truths and myths draw our attention to places where our assumptions may not fit the complex realities of health care teamwork. Critical exploration of these assumptions will bring us closer to educational practices that recognize and promote both individual and collective competence.

 


J Contin Educ Health Prof. Summer 2016;36 Suppl 1:S19-21. doi: 10.1097/CEH.0000000000000078.

Paradoxical Truths and Persistent Myths: Reframing the Team Competence Conversation

Affiliations collapse

Affiliation

1Dr. Lingard: Director, Centre for Education Research and Innovation Professor, Department of Medicine, Schulich School of Medicine and Dentistry, University of Western Ontario, London, Ontario, Canada.

PMID: 27584064

DOI: 10.1097/CEH.0000000000000078

Abstract

Medicine has conventionally had an individualist orientation to competence. Individual competence is conceptualized as a stable possession that, once acquired, holds across contexts. Individual competence is necessary; however, it is insufficient for quality health care. We also need to attend to collective competence in order to grapple with paradoxical truths about teamwork, such as: competent individuals can form incompetent teams. Collective competence is conceptualized as a distributed capacity of a system, an evolving, relational phenomenon that emerges from the resources and constraints of particular contexts. This article outlines a set of paradoxical truths about teamwork in health care and uses the concept of collective competence to explain how they can hold true. It then considers a set of persistent myths about teamwork which have their roots in an individualist orientation, exploring how they hold us back from meaningful change in how we educate for, and practice as, health care teams. Finally, the article briefly considers the implications of these truths and myths for educational issues such as interprofessional education and competency-based health professional education.

집단적 역량: 개인적 전문성에서 협력적 전문성으로 (Perspect Med Educ, 2020)
Collective competence: Moving from individual to collaborative expertise
Sylvia Langlois

 

다면적인 건강 문제를 가진 개인은 보다 총체적이고 환자 중심적인 대응에 도전하는 접근 방식인 단일 질병 패러다임 내의 전문화에 초점을 맞추어 점점 더 단편화된 의료 시스템 내에서 관리되고 있다[1,2,3]. 뛰어난 치료를 제공하기 위해서는 전문적 전문 지식이 필요합니다. 그러나 복잡성이 증가함에 따라 집단적, 팀 기반 전문성을 고려해야 합니다. 그러나 교육 내에서는 의료 실무 환경 및 전문 조직 개인의 전문적 성과가 집단적 팀 역량보다 중요시되는 경우가 많습니다 [4].

Individuals with multi-faceted health issues are being managed within healthcare systems that have become increasingly fragmented, often with a focus on specialization within single-disease paradigms, an approach that challenges a more holistic, patient-centred response [1,2,3]. Specialized profession-specific proficiency is required to deliver excellent care; however, with growing complexity comes the additional need to consider collective, team-based expertise. Yet, within education, healthcare practice settings, and professional organizations individual professional performance is often valued over collective team competence [4].

의료 전문 교육 프로그램에서는 원하는 성과와 결과를 설명하는 [역량 기반 접근 방식]이 탄력을 받고 있다. 캐나다 왕립 내과 및 외과의사 협회가 개략적으로 설명한 CanMEDs 프레임워크와 캐나다 직업치료사 협회[6]가 사용하는 유사한 프레임워크와 같은 이러한 직업별 역량은 해당 직업에서 교육, 실습 및 지속적인 직업 개발을 안내한다. 인용된 두 프레임워크에 공동작업자Collaborator 역할이 포함되었음에도 불구하고, 이 영역의 역량은 공동작업 관행을 다루는 시나리오(예: [7])에서 측정된 경우에서 조차 일반적으로 [개인별 성과]를 기반으로 한다. 새로운 팀 기반 평가 도구를 통해 일부 환경에서 의료 서비스 제공이 최적의 접근 방식과 전체론적 관리를 보장하기 위한 [협업 초점]의 고려로 전환되기 시작했습니다[8].
In health professions educational programs, a competency-based approach outlining desired performance and outcomes, has been gaining momentum. These profession-specific competencies, such as the CanMEDS framework outlined by the Royal College of Physicians and Surgeons of Canada [5] and a similar framework used by the Canadian Association of Occupational Therapists [6], guide education, practice, and continuing professional development in their corresponding professions. Despite the inclusion of the Collaborator role in both frameworks cited, competence in this domain is typically based on individual performance, even when measured in scenarios addressing collaborative practice (e.g. [7]). With emerging team-based assessment tools, healthcare delivery in some settings is beginning to see a shift to consideration of a collaborative focus to ensure optimal approaches and holistic care [8].

본 호에 게재된 Matus 등의 논문에서, 저자는 전문적 역할을 발전시키고 이행하기 위해 어려운 의사 결정 과정에 직면하여 복잡한 능력을 필요로 하는 직업 치료사의 학습을 지원하는 헌신적인 전문가의 가치를 다룬다[9]. 많은 직업별 역량과 마찬가지로, 저자들은 평가와 최적의 환자 관리를 개선하기 위한 목적으로 개별 전문가 수준에서 이러한 역량을 다룬다. 그러나 이러한 전문적 역량을 넘어서는 것은 집단적 역량으로, 환자 시나리오의 전체적인 관리에 필요한 팀 성과를 반영한다. 그들의 논문의 초점은 아니지만, 팀 기반 평가를 지원하는 추가 접근 방식은 의도된 전체론적 대응에 크게 기여할 수 있다.
In the paper by Matus et al., published in this issue, the authors address the value of dedicated experts supporting the learning of occupational therapists who require complex capabilities in the face of challenging decision-making processes to advance and fulfill their professional roles [9]. As with many profession-specific competencies, the authors address these capabilities on the individual professional level with the intent of enhancing the provision of assessment and optimal patient care. However, extending beyond these profession-specific competencies are collective competencies, reflecting team performance needed for holistic management of patient scenarios. While not the focus of their paper, additional approaches that support team-based assessments may significantly contribute to the intended enhanced holistic response.

[개인의 전문적 역량]이 필요하다고 인정되지만, 그것만으로 [집단적 역량]을 보장하기는 역부족이다. 집단적 또는 팀적 역량은 단순히 [전문 조직이 정의한 대로 역량을 입증하는 개별 전문가의 합]을 나타내는 것이 아닙니다. 오히려 집단적 역량은 임상의사, 환자 및 가족 구성원과 조직 환경 간의 [복잡한 상호 작용 네트워크] 내에 위치하며 [현저하게 맥락화]된다. 팀에 대한 광범위한 연구에서, 링가드는 집단 역량의 흥미로운 특징들을 관찰했는데, 특히 어떤 팀이 무능력할 때 여전히 개인은 유능할 수 있고, 한 팀이 한 시나리오에서는 유능할 수 있지만 다른 시나리오에서는 반드시 유능할 수 없다는 점이 두드러졌다[10]. 또한, Lingard는 공동 작업, 팀 기반 실습의 세계에서 일반적으로 가지고 있는 몇 가지 신념을 탐구합니다 [10, 11]. 예를 들어 팀워크를 강화하기 위해 자주 참조되는 접근법은

  • [임상의가 다른 사람의 역할과 책임을 잘 이해한다]면 팀은 유능할 것이고,
  • [모든 팀 구성원이 개별 환자의 요구에 공통적으로 초점을 맞추면] 팀은 잘 기능할 것이라는 믿음이다.

비록 중요하지만, 이 접근법만으로는 집단적 역량을 창출하기에 충분하지 않다.
While individual professional competence is recognized as necessary, it is not sufficient to ensure collective competence. Collective or team competence does not simply represent a collection of individual professionals who demonstrate competency, as defined by their professional organizations. Rather, collective competence is situated within a network of complex interactions among clinicians, the patient and family members, and the organizational setting, and is markedly contextualized. In her extensive study of teams, Lingard has observed interesting characteristics of collective competence, notably that teams can still be competent when a member is incompetent, and that a team may be competent in one scenario but not necessarily in another [10]. Additionally, Lingard explores several commonly held beliefs in the world of collaborative, team-based practice [10, 11]. For example, an oft referenced approach to enhance teamwork is the belief that

  • if clinicians have a good understanding of the roles and responsibilities of others then the team would be competent, or
  • if all team members had a common focus on the individual patient needs, then the team would function well.

Although important, this approach alone is not sufficient to create collective competence.

이 개념을 더 탐구할 때, 우리는 보어햄과 [집단적 역량 이론]의 발견물들의 합성을 살펴볼 수 있다.

  • 직장 내 사건에 대한 집단적 이해
  • 집단적 지식기반의 개발 및 활용
  • 상호의존감의 조성 [12, 페이지 5].

In exploring this notion further, we can look to Boreham and his synthesis of findings in the theory of collective competence, where he notes the following three foundational elements:

  • Making collective sense of events in the workplace;
  • Developing and using a collective knowledge base;
  • Developing a sense of interdependency [12, p. 5].

 

의료 분야에서는 자신의 특정 직장 요구사항, 조직 및 정부 지침의 영향, 더 광범위한 사회적 상황 및 건강 결정 요인을 이해하기 위해 집단적으로 일하는 팀 구성원이 직장 환경과 기대치를 집단적으로 이해할 수 있는 위치에 배치된다. 집단 지식 기반의 개발은 팀 구성원 간의 협업, 커뮤니케이션 및 이해를 증진시킵니다. 그러한 예 중 하나는 캐나다 병원에 기반을 둔 외래 환자 프로그램인 관절염 프로그램에 있다. 수상 경력이 있는 이 전문가 간 프로그램은 다양한 형태의 관절염 진단을 받은 개인에게 팀 기반 치료를 제공한다[13]. 활동성 관절에 대한 평가는 질병 상태와 환자 경험 모두를 이해하는 데 중요하기 때문에, 연구팀은 모든 구성원이 이러한 공통 지식과 기술을 공유해야 한다는 데 동의했다. 이를 달성하기 위해, 그들은 환자를 평가하도록 집단적으로 훈련되어 결과 보고에서 높은 수준의 일치성을 보장한다. 팀 구성원은 여전히 자신의 전문 지식에 대한 책임을 지지만, 공유된 지식과 평가는 협력적인 접근 방식을 촉진합니다. 따라서 팀 역학에 의도적으로 초점을 맞추고 구성원 간의 작업 관계를 공유하여 예외적인 환자 중심 프로그램을 제공한다. 마지막으로, 서로의 역할과 책임에 대한 상호의존감이 중요합니다. 팀에서 한 전문가가 한 선택과 권고는 다른 임상의의 의사 결정 과정과 궁극적으로 치료를 받는 환자에게 영향을 미칠 수 있다.
Within healthcare, team members who work collectively to understand their specific workplace requirements, impact of organizational and government directives, as well as broader societal circumstances and determinants of health are positioned to make collective sense of their workplace environment and its expectations. The development of a collective knowledge base enhances collaboration, communication, and understanding among team members. One such example is situated in a Canadian hospital-based outpatient program, the Arthritis Program. This award-winning interprofessional program offers team-based care to individuals diagnosed with various forms of arthritis [13]. Since assessment of active joints is critical to understanding both the disease state and patient experience, the team has agreed that all members should share this common knowledge and skillset. To achieve this, they are trained collectively to assess the patient, ensuring a high degree of congruence in resulting reports. Team members still assume responsibility for their own professional expertise, but shared knowledge and assessments foster a collaborative approach. Congruently, they have an intentional focus on team dynamics and shared working relationships among members, resulting in offering an exceptional patient-centred program. Finally, a sense of interdependency regarding each other’s roles and responsibilities is critical. Choices and recommendations made by one professional on the team may have an impact on the decision-making process of other clinicians, and ultimately on the patient receiving care.

팀 프로세스 고려에 대한 지침은 [전문가 간 역량 프레임워크]에서 찾을 수 있습니다. 몇 가지 국제적 사례가 있지만, 캐나다 국제전문의료협력이 개발한 사례를 참고하겠다[14]. 역할 명확화, 전문가 간 갈등 해결, 팀 기능, 전문가 간 커뮤니케이션, 환자/고객/가족/지역사회 중심 의료 및 협업 리더십의 차원으로 설명되며, 각 차원은 구성원이 상호 작용하는 방식의 성장을 지원하는 팀의 가이드 역할을 합니다. 
Guidance on considering team processes can be found in interprofessional competency frameworks. Although there are several international examples, I will reference the one developed by the Canadian Interprofessional Health Collaborative [14]. The following dimensions of Interprofessionalism are described as:

  • Role Clarification,
  • Interprofessional Conflict Resolution,
  • Team Functioning,
  • Interprofessional Communication,
  • Patient/Client/Family/Community-Centred Care, and
  • Collaborative Leadership;

each serves as a guide for teams to support growth in how members interact with each other.

팀 기반의 비판적 사고, 문제 해결 및 성찰은 이러한 차원의 집단적 개발을 가능하게 한다. 이전 시나리오에서 설명한 바와 같이, (기술된 전문직 간 역량에 의해 결정되는 상호 작용 및 팀 역학을 포함한) 프로세스와, (작업 지향적이고 임상적으로 관련성이 있는) 환자 중심 콘텐츠에 주의를 기울인 균형잡힌 팀 학습이 팀 기반 학습과 최적의 성과를 가능하게 할 것이다. 점점 더 많은 교육 환경에서, 전문직 간 교육 커리큘럼에 참여하는 보건 전문직 학생들의 협업 역량 개발에 초점을 맞추고 있으며, 개인 및 팀 기반 기술을 모두 다루고 있다. 예를 들어 토론토 대학교 전문직 간 교육 커리큘럼[15]이 있다. [협력적 역량]에 대한 평가는 [개인별 획득]에 고정되어 있지만, 학생들이 오랜 시간 동안 함께 일할 때 집단 역량이 측정되므로 이러한 관행을 향후 작업 환경으로 전환할 수 있다.

Team-based critical thinking, problem-solving, and reflection enable collective development of these dimensions. In practice settings, as described in the earlier scenario, the balance of explicit attention to team learning of task-oriented, clinically relevant, patient-focused content, as well as process, including interactions and team dynamics as determined by the interprofessional competencies described, will enable team-based learning and optimal performance. In a growing number of educational settings, a focus on collaborative competency development of health profession students, participating in interprofessional education curricula, addresses both individual and team-based skills; an example is the University of Toronto Interprofessional Education curriculum [15]. Although assessment of collaborative competencies is anchored in individual acquisition, collective competence is measured when students work together for an extended time, enabling them to translate the practice to future work settings.

결론적으로, 전문직-특이적 과제 수행을 위한 개인 역량은 효과적인 의료 행위의 중요한 구성요소이다. 그러나 집단적 팀 기반 역량의 맥락에서 집행enact되어야 한다. 이러한 [집단적 역량]을 개발하려면, 팀은 [의료행위 영역과 관련된 전문 지식]과 그것들이 집단적으로 작동하는 방식을 다루는 [프로세스 구성요소] 모두를 명시적으로 다루어야 한다. 직장에서의 팀 기반 학습은 총체적이고 환자 중심의 개입과 관리에 필요한 관련 기술과 업무를 육성하여 개인과 집단적 역량을 포용하는 중요한 문화적 변화를 가능하게 할 것이다.

In conclusion, individual competency in profession-specific tasks is indeed a critical component of effective healthcare practice; however, it must be enacted within the context of collective team-based competency. To develop these collective competencies, teams must explicitly address both expertise relevant to the area of practice and process components that address how they function collectively. Team-based learning in the workplace will foster pertinent skills and tasks required for holistic, patient-centred interventions and management, enabling the important cultural shift that embraces individual as well as collective competence.


 

Perspect Med Educ. 2020 Apr;9(2):71-73. doi: 10.1007/s40037-020-00575-3.

Collective competence: Moving from individual to collaborative expertise

Affiliations collapse

Affiliations

1Centre for Interprofessional Education, University of Toronto and University Health Network, Toronto, Canada. s.langlois@utoronto.ca.

2Department of Occupational Science and Occupational Therapy, University of Toronto, Toronto, Canada. s.langlois@utoronto.ca.

PMID: 32246405

PMCID: PMC7138779

DOI: 10.1007/s40037-020-00575-3

성과 프레임워크를 평가 프레임워크로 번역하기: 타당도에 대한 함의(Med Educ, 2020)
Translating outcome frameworks to assessment programmes: Implications for validity
Walter Tavares1 | Paula Rowland1 | Damon Dagnone2 | Laura A. McEwen2 |
Stephen Billett3 | Matthew Sibbald4

 

 

1 소개
1 INTRODUCTION

역량 기반 의료 교육(CBME)의 핵심 프로세스는 [어떻게 교육자가 임상 역량을 평가하는지]이다. [성과]와 [역량]은 임상의가 독립적으로 실습할 수 있도록 하기 위해 [보유하고 입증해야 하는 실천의 특징]을 설명하는 역할을 한다. 예를 들어, '신뢰할 수 있는 전문적 활동'(EPA)은 훈련생 개발에 필수적인 연습의 특징을 포착하고 독립적으로 연습할 준비를 보장하기 위한 개인 수준의 역량을 포함하는 기술 업무이다. 교육자는 복잡한 구성의 표현이나 특정 결과의 달성을 용이하게 하고 교육생 준비 상태에 관한 종합적 결정을 알리기 위한 최선의 평가 전략 조합을 개발, 선택 및 계획해야 한다. 그러나 개인과 조직이 이러한 [성과 목록]을 [평가 계획]으로 [번역translate]하는 과정에서 이 복잡한 과제의 과제가 명백해진다. 성과 프레임워크가 '번역'되는 과정에서 (성과 프레임워크에서 평가 계획을 생성하는 능동적 프로세스를 의미함) 여러 가지 불명확한 영향, 가정 및 문제가 있는 번역은 [평가의 어떤 근본적 원칙과 일치하지 않을 수 있습니다]. 그것은 바로 평가의 [타당성]이다.


A key process within competency-based medical education (CBME) is how educators structure assessment of clinical competence.1 Outcomes and competencies serve to describe features of practice that clinicians must possess and demonstrate in order to be permitted to practise independently. For example, ‘entrustable professional activities’ (EPAs) are descriptive work tasks that include person-level competencies intended to capture features of practice essential in developing trainees and ensure their readiness to practise independently.2 Educators are tasked with developing, selecting and planning the best combination of assessment strategies to facilitate representation of the complex constructs or achievement of specific outcomes, and to inform summative decisions regarding trainee readiness. However, the challenge of this complex task becomes apparent as individuals and organisations translate these lists of outcomes into assessment plans.3 As outcome frameworks are ‘translated’ – referred to in this case as the active process of generating assessment plans from outcome frameworks – a number of unarticulated influences, assumptions and problematic translations may create misalignments with a foundational tenet of assessment: assessment validity.

평가 계획의 설계는 일반적으로 핵심 기능core function에 초점을 맞춘다. 그러다보면 더 넓은 범위의 성과 프레임워크를 수용하거나, 이러한 계획에 대한 의사결정을 형성에 미치는 영향의 가변성을 고려하지 않게 된다.

  • 예를 들어, 척도scale 개발은 종종 [항목, 차원, 자극, 활동을 식별하는 것]으로 시작한다. 이것들이 평가 대상 구인contruct의 표현representation을 집합적으로 지원한다고 여긴다. 다른 평가 설계 특징들은 맥락 특이성을 극복하고, 평가자 경향을 식별 및 조정하고, 데이터의 다양한 점들의 집합의 가치, 서술적 또는 철학적 위치의 가치를 고려하는 기능적 필요성에 초점을 맞추었다.

그러나 [성과 프레임워크]를 [평가 계획]으로 [변환translate]하는 [상류 프로세스]뿐만 아니라, [영향의 유형, 역할 및 임팩트는 무엇이고], [누가 그러한 영향을 발생시키고] [왜 발생하는지] 등은 일반적으로 기존 프레임워크에서 명시적으로 설명되지 않았다. 따라서 이러한 영향을 식별하고 탐색하는 방법에 대한 명확한 지침이 없으면, 평가 타당성(즉, 데이터의 신뢰성과 방어성)이 훼손될 수 있다.

The design of assessment plans has typically focused on core features, without having to accommodate large outcome frameworks or taking into consideration the variable impact of influences that may be shaping decisions about those plans.4-6 

  • For example, scale development often begins with identifying items or dimensions, stimuli or activities that collectively support representation of the construct to be assessed.7 Other assessment design features have focused on the functional need to overcome context specificity,8 to identify and then adjust for rater tendencies,9 and to consider the value of assembling diverse points of data,10 and the value of narratives11 or philosophical positions.12 

However, the upstream process of translating outcomes frameworks to assessment plans, as well as the type, role and impact of influences, who generates those influences and why, have generally not been explicitly featured in existing frameworks. Assessment validity (i.e. trustworthiness and defensibility of the data) may therefore be undermined without clear guidance on how to identify and navigate these influences.

CBME 맥락에서 [평가 설계]의 [사회학적 및 사회문화적 설명accounts]을 사용하면, [성과 프레임워크에서 평가 계획으로의 변환translation]에 유용한 정보를 제공할 수 있다. 유사한 이론적 접근법들이 보건직 교육, 고등 교육, 학습 도구로서의 표준과 표준화의 용도 변경, 전문적 학습의 평가 관행에서의 활동을 탐구하기 위해 사용되어 왔다. [Callon의 번역 이론]은 한 일련의 관행(예: 결과 프레임워크 생성)에서 다른 일련의 관행(예: 평가 계획 생성)으로 번역하는 과정을 이해하고 설명하는 한 가지 방법입니다. 캘런의 번역 이론은 [번역 행위]가 단지 [인지적 행위]가 아니라, [사회적, 정치적, 물질적 행위]임을 시사한다. 

Using sociological and sociocultural accounts of assessment designs in a CBME context can inform the translation from outcome frameworks to assessment plans.13 Similar theoretical approaches have been used to explore activities in health professions education, in higher education, in repurposing standards and standardisation as learning tools, and in practices of assessment of professional learning.14-16 Callon's theory of translation17 is one way to understand and explain processes involved in translating from one set of practices (e.g. creating outcome frameworks) to another (e.g. creating assessment plans). Callon's theory of translation suggests that the act of translation is not just a cognitive exercise, but also social, political and material acts.17 


하나의 맥락 또는 형태(예: 결과 프레임워크)에 존재하는 아이디어를 다른 개념(예: 평가 계획 및 그 구현 및 사용)으로 변환translate하려면,

  • 개인이나 집단은 그들의 아이디어와 다른 맥락과 관련된 이슈들 사이의 적합성에 대해 다른 사람들을 설득해야 한다. 
  • 또한 제안된 조치가 바람직하고 적절한 해결책이라는 것을 다른 사람들에게 납득시켜야 한다.
  • 이 과정을 통해 개인은 또한 다른 사람을 물질적 행위, 관련 행위자(즉, 사람, 그룹 및 위원회뿐 아니라, 학습 플랫폼 및 기술과 같은 물질적 객체까지)가 원하는 활동에 지속적으로 참여하도록 하고, 상충적 요구는 줄이며, 피할 수 없는 논란을 관리해야 한다.

이러한 [업스트림 프로세스]는 프로세스 중에 보이지 않을 수 있으며, 항상 타당성이 우선되는 것도 아니며, 평가 계획이 작성된 시간에 의해 불변할 수 있습니다.

To translate an idea existing in one context or form (e.g. outcome frameworks) to another (e.g. assessment plans and their implementation and use),

  • individuals or groups must convince others of the fit between their idea and issues related to that other context.
  • They must also convince others that the proposed action is a desired and appropriate solution.
  • Throughout this process, individuals must also enroll others in material acts, strategise to keep involved actors (i.e. people, groups and committees, but also material objects such as learning platforms and technologies) engaged in the desired activity and reduce competing demands, and manage any inevitable controversies.17 

These upstream processes may be invisible during the process, not always prioritising validity, and immutable by the time assessment plans have been created.

이러한 관점에서 CBME는 [성과 프레임워크에서 평가 계획으로 이동]할 때, 평가 과학에 대한 새로운 도전을 제기한다. 내용과 맥락에 대한 통제를 행사할 수 있는 평가 설계(예: 필기 시험 및 OSCE)와 달리, CBME와 직장 기반 평가(WBA)의 맥락은 교육 및 커리큘럼 설계에서 새로운 개념이 아닌 다양한 경쟁 상황 요인을 수용해야 할 수 있다. 예를 들어, 빌렛은 직장 커리큘럼이 직장 및 배우의 능력과 이해관계, 그리고 그 안에서 그들의 책임에 따라 결정된다는 것을 증명했다. 평가에 적용했을 때, 상류 번역 활동upstream translational activities에 대한 초점은 평가 설계 외부의 기능이 관련성이 있으며 일단 평가 계획이 작업장에서 제정되면 예상된 사건 이상으로 확장된다는 것을 시사한다. 역사적으로 평가 과학은 타당성에 대한 다른 위협(위에서 설명한 바와 같이) 대신 이러한 특징들을 강조하지 않았다. 그들의 강조점을 고려할 때, 사회학적, 사회문화적 이론(예: 칼론의 번역 이론)은 이러한 특징들을 시야에 가져오는데 도움을 준다.

Viewed in this way, CBME invites a new challenge for assessment science when moving from outcome frameworks to assessment plans. Unlike assessment designs that exist where control over content and context can be exercised (e.g. written tests and OSCEs), the context of CBME and workplace-based assessments (WBA) may require accommodating a range of competing situational factors,18 a concept that is not new in education and curricular design.19, 20 For example, Billet demonstrated that the workplace curriculum is subject to the affordances and interests of the workplace and actors and their responsibilities within it.20 Applied to assessment, the focus on upstream translational activities suggests features external to assessment design are relevant and extend beyond anticipated events once assessment plans are enacted in the workplace. Historically, assessment science has de-emphasised these features in place of other threats to validity (as described above).21 Given their emphases, sociological and sociocultural theories (e.g. Callon's theory of translation) help to bring these features into view.

우리가 [번역 과정]을 잘 이해하고 설명할 수 있다면, 효과적인 성과 기반 교육과 타당한 평가 프로그램을 발전시킬 가능성이 있다. 예를 들어 역량 위원회가 [고부담 평가를 구성하거나 학습자가 개발 전략을 구성하기 위해 사용하는 데이터]는 생성된 데이터의 신뢰성과 방어성에 따라 달라진다. 이를 잘 수행하면, 특히 직장 기반 맥락에서 평가 커뮤니티에 도전하고, 번역 활동이나 타당성 평가의 영향을 종종 무시하는 다양한 접근 방식(예: 평가자, 도구 및 교수진에 집중)을 자극한다. 

If we can understand and illustrate the translational process well, there is a potential to advance effective outcome-based education and valid assessment programmes. For instance, the data on which competence committees structure high-stakes assessment, or learners use to structure developmental strategies, are dependent on the trustworthiness and defensibility of the data generated. Doing this well, particularly in workplace-based contexts, challenges the assessment community and stimulates diverse approaches (e.g. focusing on raters, tools and faculty development) that often neglect translational activities or evaluation of their impact on validity.

따라서 본 연구에서는 캐나다 대학의 대학원 의학 교육(PGME)에서 무엇이 결과 프레임워크를 형성적이고 종합적인 평가 계획으로 [번역translation]하는지, 구체적으로 어떻게 어떤 도구와 프로세스가 구축되었는지, 그리고 왜 역량 위원회가 데이터를 사용할 것인지 물었다. 또한, 이러한 프로세스는 어떻게 정당화되거나 평가됩니까? 우리는 번역이 인지적, 실제적, 사회적, 정치적 활동이라는 관점에서 이 작업을 배치했지만, 특히 개인에 대한 총괄적 결정(예: 역량 위원회에서 사용하기 위한)의 정점에 기여할 때 타당성도 고려해야 한다. 우리는 타당성을 위협할 수 있는 긴장과 과제를 완화하기 위한 최적화 전략과 방법을 식별하고 조명하는 것을 목표로 했다. Callon의 번역 이론과 Kane의 유효성 및 검증 프레임워크가 관련된 경우를 포함하여 결과 프레임워크를 사용할 때 평가 설계의 단순화된 프로세스에 대한 설명은 그림 1을 참조하십시오.

Therefore, in this study we asked

  • what shapes the translation of outcome frameworks to formative and summative assessment plans in postgraduate medical education (PGME) in Canadian universities,
  • specifically how and what tools and processes were built and why, the data from which would be used by competence committees.
  • Also, how are these processes justified or evaluated?

We positioned this work with a view that translations are cognitive, practical, social and political activities, but that validity should also be considered, particularly when contributing to the culmination of summative decisions about individuals (e.g. for use by competence committees). We aimed to identify and illuminate optimising strategies and ways of mitigating tensions and challenges that may threaten validity; see Figure 1 for an illustration of a simplified process of assessment design when using outcome frameworks, including where Callon's theory of translation17 and Kane's validity and validation framework21 are relevant.

 

2 방법
2 METHOD

2.1 연구 개요
2.1 Study overview

우리는 [실제 또는 계획된 평가 전략]뿐만 아니라, [평가-기반 번역 활동]에 중점을 두고 PGME 프로그램의 개별 대표자(예: 프로그램 감독), 평가 위원회 및/또는 CBME 구현 위원회와 심층 반구조화된 인터뷰로 구성된 정성적 연구를 수행했다. 인터뷰는 분석을 위해 기록되고 기록되었으며, 여기에는 [지시된directed 내용 분석]에 의해 안내된 방법이 포함되었다. 우리는 Callon의 번역 이론과 Kane의 유효성 프레임워크를 모두 사용하여 작업을 안내했다.

  • Callon의 번역 이론(위에서 설명한)은 번역 프로세스의 구체적인 dynamics에 주의를 기울이고, 인터뷰 가이드의 구조를 형성하는 데 사용되었다. 번역 과정이 어떻게 제정되는지에 대한 이러한 이론은 특히 관련된 다양한 사람, 그룹 및 기관(즉, 학술, 전문, 임상, 규제 및 일선)의 CBME 수행에 대한 우리의 관찰과 잘 일치한다.
  • 케인의 타당성 프레임워크는 평가 프로세스에서 생성된 데이터에 기초한 추론을 뒷받침하는 증거의 문제로서 타당성을 강조하는 반면, validation은 평가 프로세스에서 가정을 식별하고 테스트하는 프로세스를 포함한다.

We conducted a qualitative study comprising in-depth semi-structured interviews with individual representatives of PGME programmes (e.g. programme directors), assessment committees and/or CBME implementation committees, focusing on their assessment-based translational activities as well as actual or planned evaluation strategies. Interviews were recorded and transcribed for analysis, which involved methods guided by directed content analysis.22 We used both Callon's theory of translation and Kane's validity framework to guide our work.

  • Callon's theory of translation (described above) was used to direct our attention to specific dynamics of the translation process and to shape the structure of our interview guide. This theorisation of how translational processes are enacted aligned well with our observations of the undertaking of CBME, in particular the various people, groups and institutions (i.e. academic, professional, clinical, regulatory and frontline) involved.
  • Kane's validity framework emphasises validity as a matter of evidence in support of inferences based on data generated in an assessment process, whereas validation involves the process of identifying and testing assumptions in the assessment process.

우리는 이 유연한 argument-based framework를 사용하여 분석에서 주의를 기울이며 평가 타당성을 위한 번역 프로세스의 가능한 의미를 도출했다. 2018년 5월 토론토 대학교에서 윤리적인 승인을 받았다(프로토콜 #8333). 이 연구와 관련된 현장으로부터 추가적인 윤리적 승인을 얻었다.

We used this flexible argument-based framework to direct our attention in the analysis, drawing out possible implications of the translation process for assessment validity. Ethical approval was provided by the University of Toronto in May 2018 (Protocol #8333). Additional ethical approvals were obtained from the sites involved in this study.

2.2 설정, 샘플링, 정보제공
2.2 Setting, sampling and informants


이 연구는 캐나다 왕립 의사 및 외과의사 대학(RCPS)의 시행 및 인가 지침에 따라 CBME를 이행해야 하는 의무가 있는 세 개의 캐나다 대학 PGME 프로그램에서 수행되었다. 3개 기관을 선정함으로써 CBME의 평가에 대한 가변적variable 접근 방식을 표집 및 반영하고, 개념적 전이 가능성을 탐색하고, 질적 엔드 포인트(예: 정보력information power)를 촉진하려는 우리의 의도가 촉진되었다. 세 기관 모두 CBME의 구현에 참여했지만, 그들의 프로그램은 뚜렷한 구조와 프로세스를 가지고 있고, 개발, 구현 및 평가 단계에 있으며, 서로 다른 문화적 또는 교육적 맥락에 있다. 모두 CBME 구현 리드leads를 가지고 있었으며 교육, 평가 및 프로그램 평가 전문가와 접촉할 수 있었다. 우리는 [성과 프레임워크]를 출발점으로 하여, 평가 계획 개발에 참여한 것으로 확인된 프로그램 책임자 또는 그 대표자 및/또는 위원회 구성원을 모집하기 위해 목적적이고 최대 변동 표본 추출 전략을 사용했다. 우리의 모집 전략에는 PGME 리더십에 의해 연구팀이 이용할 수 있는 내부 목록을 사용하여 잠재적 제보자에게 이메일로 연락하는 것이 포함되었습니다. 우리는 프로그램 감독 수준에서 시작해서 평가 위원회 구성원을 포함하도록 확장했다.

This study took place within three Canadian university PGME programmes, which had mandates to implement CBME under the implementation and accreditation guidelines of the Royal College of Physicians and Surgeons of Canada (RCPS). Selecting three institutions facilitated our intention to sample and reflect variable approaches to assessment in CBME, to explore conceptual transferability and to promote qualitative end points (e.g. information power). All three institutions were involved in the implementation of CBME but their programmes have distinct structures and processes, were at different development, implementation and evaluation stages, and in dissimilar cultural or educational contexts. All had CBME implementation leads and had access to education, assessment and programme evaluation experts. We used purposeful and maximum variation sampling strategies to recruit programme directors or their delegates and/or committee members from various specialties who identified as having participated in the development of assessment plans using outcome frameworks as a starting point.23 Our recruitment strategy involved contacting potential informants by e-mail using internal lists made available to the research team by PGME leadership. We began at the programme director level then expanded to include assessment committee members.

2.3 인터뷰 가이드
2.3 Interview guide

개념적 틀을 통해 우리는 인터뷰 가이드를 세 가지 주요 목표 영역으로 구성했다.

  • (i) 평가 프로그램 개발의 설명 및 상황 파악(예: EPA의 사용 방법, EPA의 사용 방법, 기타 비 EPA 평가의 사용, EPA와 비 EPA의 실행 방법) 
  • (ii) 성과 프레임워크를 특정 평가 계획으로 변환하는 것과 관련된 현재의 의사 결정 관행을 포함하여 번역translation 프로세스의 탐구 (예: 의사 결정 방법, 평가 계획 수립에 관여한 기타 작업, 계획 또는 이행 과정에서 어떤 변경 또는 과정 수정이 이루어졌는가) 
  • (iii) 평가 계획의 퀄리티와 타당성을 지원하는 프로그램 평가 활동 또는 계획(예: 구현과 관련된 공식 또는 비공식 평가 활동, 평가 의사 결정의 엄격함을 보장하기 위해 만들어진 계획 및 고려 사항)에 대한 언급

우리는 번역과 평가 과정의 다양한 순간을 탐구하기 위해 프롬프트와 함께 개방형 질문을 사용했다. 또한 인터뷰 가이드가 반복적으로 진화할 수 있도록 허용하고 정보원으로부터 사회 인구학적 세부 사항을 수집했다.

Informed by our conceptual framing, we organised our interview guide into three main target areas:

  • (i) descriptions and contextualisation of assessment programme development (e.g. how EPAs are being used, how decisions are being made about how EPAs will be used, the use of other non-EPA assessments, and how EPAs and non-EPAs are put into practice);
  • (ii) exploration of the translation process, including current decision-making practices related to the translation of outcome frameworks into specific assessment plans (e.g. how decisions were made, other work that was involved in launching assessment plans, and what shifts or course corrections were made in the process of planning or implementation); and
  • (iii) accounts of programme evaluation activities or plans that would support the quality and validity of the assessment plans (e.g. formal or informal evaluation activities related to implementation, and plans made and considerations taken to ensure the rigour of assessment decision making).

We used open-ended questions with prompts to explore the various moments in the translation and evaluation processes. We also allowed the interview guide to evolve iteratively and collected sociodemographic details from informants.

2.4 데이터 수집
2.4 Data collection

면접은 정성적 연구면접 교육을 받은 연구조교와 연구팀 구성원(WT, PR, MS)이 맡았다. 면접관은 제보자의 기관에 따라 결정되었으며, 잠재적인 갈등이나 인식된 갈등을 회피하고, 면접관과 제보자의 가용성 등을 고려하여 결정되었다. 인터뷰는 직접 또는 전화를 통해 이루어졌으며, 음성녹음 및 문자 그대로 녹음되었다. 이러한 transcript는 정확성을 검사하여 정성 분석 소프트웨어(HyperRESOURCETM)에 업로드되었습니다. 우리는 우리의 연구 목표를 더 잘 다루고 명확화, 발산과 수렴의 실마리를 찾기 위해 샘플링과 인터뷰를 수정하기 위해 채용, 데이터 수집, 분석 및 팀 회의의 주기적이고 반복적인 과정을 계속했습니다. 이 과정은 저자들이 분석이 세 가지 엄격한 기준에 적합하다는 데 동의할 때까지 계속되었다.

  • (i) 이론적인 주장이 경험적 자료에 근거하는지 확인할 수 있는 충분한 깊이가 있었다. 
  • (ii) 제기되는 주장은 개념적 타당성을 가지고 있다. 
  • (iii) 해당 주장이 더 광범위한 학술 공동체와 관련이 있었다. 

Interviews were conducted by a research assistant trained in qualitative research interviewing and members of the research team (WT, PR and MS). The interviewer was decided based on the informant's institution, to avoid potential or perceived conflicts, and availability of the interviewer and informant. Interviews were conducted in person or via telephone, audio-recorded and transcribed verbatim. These transcripts were checked for accuracy and uploaded into qualitative analysis software (HyperRESEARCHTM). We continued in a cyclical and iterative process of recruitment, data collection, analysis and team meetings to allow our sampling and interviews to be modified to better address our research aims and to seek threads of clarification, divergence or convergence. This process continued until the authors agreed the analysis fitted three criteria of rigour:

  • (i) there was sufficient depth to ensure the theoretical claims being made were grounded in empirical material,
  • (ii) the claims being made held conceptual plausibility and
  • (iii) the claims had relevance to a broader academic community.24

2.5 분석전략
2.5 Analytical strategy

우리의 분석 전략은 위에서 설명한 개념적 프레임워크에 의해 안내될 수 있도록 [유도된direted 콘텐츠 분석]을 포함했다. CBME와 일관되게, 우리는 우리의 정보원이 형성적 목적을 위해 평가를 구조화하고 있다고 가정했지만, 생성된 데이터는 데이터를 생성과 해석에 어느 정도의 타당성 증거를 의무화하면서, 총괄적 의사 결정에도 사용될 것이다. 우리의 의도는 타당성과 관련된 번역 문제를 고려하는 것이었으므로, 우리는 평가 계획의 개발 및 제정에서 억제되지 않은 가정이 존재할 수 있는 곳에 민감하게 반응하기 위해 케인의 프레임워크를 사용했다.
Our analytical strategy comprised directed content analysis,22 which allowed us to be guided by our conceptual frameworks as described above. Consistent with CBME, we assumed that our informants were structuring assessments for formative purposes, but that data generated would also be used for summative decisions, obligating a degree of validity evidence in both generating and interpreting data. Given that our intention was to consider translational issues regarding validity, we used Kane's framework to sensitise ourselves to where unchecked assumptions may exist in the development and enactment of assessment plans.

정확성을 확인한 후, 연구팀 구성원들은 데이터 세트 전체에 대한 일반적인 인상을 얻기 위해 먼저 대본을 읽었다. 우리는 우리의 개념적 프레임워크가 우리의 데이터 읽기 및 코딩에 정보를 제공할 수 있도록 했다. 우리의 개념적 틀과 철학적 위치를 사용하여, 두 번째 읽기는 지시적 콘텐츠 분석과 일치하는 개방 코딩분석적 메모 작성을 포함했다. 개방 코딩에 이어, 우리는 데이터 세트, 다양한 상황 및 우리의 개념 프레임워크에 걸쳐 체계적으로 주제를 탐구하기 위해 축 코딩(즉, 링크 설정)에 관여했다. 연구팀의 구성원들은 중간 분석, 인터뷰 가이드의 개정, 분석과 위치의 삼각측량에 대해 논의하기 위해 정기적으로 만났다.

After confirming accuracy, research team members first read the transcripts to garner a general impression of the dataset as a whole. We allowed our conceptual frameworks to inform our reading and coding of the data. Using our conceptual framing and philosophical positions, the second reading involved open coding and analytical memo taking, consistent with directed content analysis.22 Following the open coding, we engaged in axial coding (i.e. establishing linkages) to systematically explore themes across the dataset, various situations and our conceptual framework. Members of the research team met regularly to discuss interim analyses, revisions to the interview guide and triangulation of analyses and positions.

2.6 연구자의 입장
2.6 Researcher stance

모든 녹취록은 세 명의 연구팀 구성원에 의해 검토되고 코딩되었으며, 각각은 서로 다르지만 중복되는 개념적 또는 철학적 위치에서 데이터에 접근했다. 여기에는 임상, 교육, 구현, 사회학적 및 타당성  관점에서 정보를 제공하는 관점이 포함되었다. 이러한 다양한 기본 렌즈를 통해 가능한 상황별 실제 의미와 함께 번역 활동과 관련된 다양한 기능을 고려할 수 있었다. 또한, 모든 연구자들은 CBME 맥락에서 평가와 관련된 다양한 활동과 관련하여 서로 다른 위치를 가지고 있음에도 불구하고 구성주의자 또는 해석적 입장을 채택했다.

  • MS는 번역 과정에 참여하는 연구자이자 프로그램 감독이다.
  • WT는 번역 과정에서 프로그램을 지원하는 역할을 하는 평가 과학자이다.
  • PR은 직장에서 전문적인 학습에 관심이 있는 연구원이다.

All transcripts were reviewed and coded by three research team members, each approaching the data from different, but overlapping, conceptual or philosophical positions. These included views informed by clinical, educational, implementation, sociological and validity perspectives. These diverse underlying lenses allowed us to consider the various features associated with translational activities, along with possible contextualised practical implications. Further, all researchers adopted a constructivist or interpretive stance despite having different locations in relation to the various activities associated with assessment in a CBME context.

  • MS is a researcher and programme director involved in the translational process.
  • WT is an assessment scientist with a role in supporting programmes in their translational processes.
  • PR is a researcher with an interest in professional learning in workplaces.

우리는 스스로를 '관심 없음dis-interested'으로 여겼는데, 이는 우리가 어떤 접근 방식을 지지하거나 반대하지 않고도 번역 프로세스와 평가 타당성에 대한 잠재적인 의미를 연구할 수 있다는 것을 의미하며, 단지 번역을 하는 사람들의 관점을 목격할 뿐이다. 우리는 타당성(또는 일반적으로 정당성 또는 평가 활동)이 평가 설계 및 계획에서 내재된 고려 사항이라는 기본 가정을 가지고 이 작업에 접근했다. 그러나, 우리는 또한 많은 사람들이 동등한 관심사로 신뢰성에 초점을 맞추기 때문에, 이것이 모든 관련자들에게 보편적으로 적용되는 원칙은 아닐 수 있다는 것을 인정한다.

We considered ourselves as ‘dis-interested’,25 meaning we could study the translational process and its potential implications for assessment validity without advocacy for or against any approach, but simply witnessing the perspective of those doing the translation. We approached this work with the underlying assumption that validity (or justification or assessment activities in general) is an inherent consideration in assessment designs and planning. However, we also recognise that this may not be a universally held principle for all involved, as many focus on reliability as an equal concern.

3 결과
3 RESULTS

캐나다 3개 대학에 걸쳐 15개의 서로 다른 PGME 프로그램의 여성 16명과 남성 8명을 대상으로 평균 50분 동안 총 24건의 인터뷰가 실시되었으며(12회, 7회, 5회 인터뷰) 이를 통해 데이터 수집 전략에 명시된 엄격성rigour과 적용 범위coverage 수준을 달성할 수 있었다. 모든 인터뷰 대상자는 지역 또는 국가에서 개발한 결과 프레임워크에서 평가 계획을 수립했다. 프로그램은 평가 프로그램을 수립할 때 [전혀 지원과 투입이 없는 것(즉, 홀로 활동하는 프로그램 감독)]에서부터, [평가 위원회와 교육 및 평가 과학자에 대한 접근성]에 이르기까지 지역적인 투입과 지원의 정도가 다양했다. 또한, 모든 인터뷰 대상자는 인증 기관의 지원을 받고 있으며, 평가 계획에 의해 생성된 평가 데이터가 진행, 승진 및 종합 의사결정에 사용될 역량 위원회를 설립했다고 보고했다. 인터뷰 대상자 중 일부는 이 연구와 관련된 두 가지 이상의 역할을 맡았는데, 예를 들어 프로그램 감독일 뿐만 아니라 역량 위원회나 평가 위원회의 직책을 맡고 있다.

A total of 24 interviews averaging 50 minutes were conducted with16 women and 8 men from 15 different PGME programmes across the three Canadian universities (12, seven and five interviews), which allowed us to achieve the levels of rigour and coverage specified in our data collection strategy. All interviewees had developed assessment plans from outcome frameworks that had been developed locally or nationally. The programmes varied in the degree of local input and support they had in establishing assessment programmes, from none at all (i.e. programme directors working independently) to access to assessment committees, and education and assessment scientists. Also, all interviewees reported having support of the accreditation body and had established competence committees for which the assessment data generated by their assessment plans would be used for progress, promotion and summative decisions. Some of the interviewees held more than one role relevant to this study, for example holding a position on competence committees or assessment committees, in addition to being a programme director.

여기에 제시된 연구 결과는 [성과 프레임워크]에서 [평가 계획 및 타당성 확인 기회]로 전환하는 과정과 결과를 다룬다. 이러한 움직임은 프로그램 관련자(예: 개인, 그룹 또는 조직)가 다음 목표를 달성하기 위해 이미 수립되었거나 중간 성과 프레임워크(여기서는 전문의의 역량을 의미함)에 대해 평가 계획을 준비하거나 제정할 때 발생한다. 이 섹션에서는 성과 프레임워크 번역 담당자와의 논의를 통해, 이 프로세스가 평가 타당성을 어렵게 하거나 불확실하게 하거나 강조하지 않는 상황에서 어떻게 생성되고 발생하는지와 관련된 결과를 제공합니다. 이제 우리는 [자원이 제한된 환경]에서 타당성이 어떻게 다른 CBME 관련 우선 순위와 경쟁하고 협상되는지에 대해 논의한다.

The findings presented here address the process and consequence of moving from outcome frameworks to assessment plans and opportunities for validity. This movement occurs as those involved in programmes (e.g. individuals, groups or organisations) prepare for or enact assessment plans against an already established or interim outcome framework that intends – in this case – to represent competence of specialist physicians. Through discussions with those responsible for the translation of outcome frameworks, this section provides findings related to how this process creates and takes place in a context that make assessment validity difficult, uncertain or de-emphasised. We now discuss how validity must compete and be negotiated with other CBME-related priorities in resource-limited environments.

3.1 좋은 평가를 위해 필요하지만 불완전한 구성으로 결과 프레임워크를 포지셔닝한다.
3.1 Positioning outcomes frameworks as necessary for good assessment but also as an incomplete construct

개인, 위원회 또는 그룹 및 조직은 결과 프레임워크와 평가 타당성 사이의 적합성fit을 확립하는 데 성공했다. 즉, 주어진 전문분야에 대한 임상역량의 구성은 [성과 및 EPA의 수집]에 의해 정의될 수 있다(이러한 정의가 타당성의 요건이다). 또한, 이러한 [artefacts 성취에 대한 증거]를 축적하는 것은 [진보, 성취 또는 준비에 대한 방어가능한 결정을 내려야 하는 '문제']를 해결한다. 성과 프레임워크가 평가 항목 또는 영역으로 적합한지에 대한 이러한 관점은 [권위 있는 그룹에 의해 간접적으로(또는 때로는 직접적으로) 통보]되었으며, 이는 [행위자가 템플릿 평가 도구를 신뢰해야만 한다는 것]을 나타내며, 종종 번역이 거의 또는 전혀 없었다. 이러한 [신뢰]를 보여주는 인용구는 다음과 같습니다.

Individuals, committees or groups, and organisations have been successful in establishing a fit between outcome frameworks and assessment validity, to the extent that their connections were not challenged by the informants in this study; that is, the construct of clinical competence for a given specialty could be defined – a requirement for validity – by the collection of outcomes and EPAs. Also, accumulating evidence of the achievement of these artefacts solves the ‘problem’ of having to make defensible decisions about progress, achievement or readiness. The use of outcomes was necessary for good assessment in CBME. This view of the suitability of outcomes frameworks as assessment items or domains was informed by authoritative groups indirectly (or sometimes directly), indicating that actors should trust in template assessment tools, often with little or no translation at all. Illustrative quotations informing this trust are:

 

우리는 기본적으로 EPA의 기초가 EPA의 말 그대로와 이정표가 될 것이다. 주석 섹션이 하단에 있고 모든 상황별 변수가 위의 드롭다운 메뉴에 있습니다. (21)
We basically translate, essentially verbatim, the basis of the EPA … would be the EPA verbatim and the milestones verbatim. With the comment section at the bottom, and all the contextual variables, in dropdown menus above. (21)

제 말은 - [인정 기관]이 결정한 것은 아니라고 생각합니다. 왜냐하면 그것은 전국의 프로그램 책임자를 포함하는 [전문] 작업 그룹의 모든 사람들의 합의이기 때문입니다. (P11)
I mean – I'd say it wasn't decided by [accreditation body] because I would say it was the consensus of all of the people in that [specialty] working group, which includes program directors across the country …. (P11)

 

이러한 방식으로, (번역이 거의 없거나 전혀 없는) EPA가 평가 도구 항목을 구성하도록 움직이는 평가 도구로서의 결과 컬렉션은 존중되어야 하며 신뢰된다고 간주된다. 그러나 행위자(예: 프로그램 감독 및 평가 위원회)는 이러한 평가 계획에 대한 직접적인 권한 없이 수행enrolling하고 있었다. 이처럼 [재량권이 없는 것]도 수용되었고, 때로는 그룹(예: 사용자, 인가자 및 시행자) 간의 어려운 협상도 이루어졌다. 결과적으로, 이 협상은 확립된 도구를 집행한다는 것이 타당성에 무엇을 의미할 수 있는지에 대한 일부 대체된 책무성과 불확실성과 관련되었다. 평가 구축 방법과 과거 평가(즉, CBME 구현 이전의 평가)를 유지하는 옵션에서 유연성이 있음에도 불구하고, 타당성 문제는 권고안을 만드는 사람들에게 맡겨졌다entrusted.
In this way, collections of outcomes as assessment tools, that is moving EPAs to make up items on assessment tools with very little or no translation at all, are held to be inviolate and relied upon. However, actors (e.g. programme directors and assessment committees) were enrolling in these assessment plans without direct authority over them. This lack of discretion was both accepted and, at times, a difficult negotiation between groups (e.g. users, accreditors and implementers). As a result, this negotiation was associated with some displaced accountability and uncertainty regarding what the enactment of established tools might mean for validity. Issues of validity were often entrusted to those making the recommendations, despite flexibility in how assessments can be built and the option of maintaining historical assessments (i.e. those prior to implementation of CBME).

또한, 비록 타당성이 종종 [의도된 구인intended construct]으로 시작되지만, [성과 프레임워크]는 이 역할에 대해 불완전한 것으로 식별되었다. 정보제공자는 변환된 결과 체계를 보완할 필요성을 설명하면서, 예를 들어, [구인을 정의하는 방법]에 대한 일부 불확실성을 제안하였다.

Further, although validity often begins with an intended construct, outcome frameworks were identified as incomplete for this role. Informants described the need to supplement translated outcome frameworks, suggesting some uncertainty in how constructs are to be defined, for example:

 

P13: 우리는 그것을 다른 양동이라고 부릅니다. 모든 것이 EPA에 속하는 것도 아니고 모든 것이 EPA가 가능한 것도 아닙니다. 그래서 EPA에 깔끔하게 들어맞지 않는 다른 많은 것들이 여전히 존재합니다. 그래서 어떻게 여러분이 정말로 중요한 정보를 포착할 수 있을까요? [전문]은 그것을 특별한 소스라고 불렀습니다. 하지만 그것은 [EPA]가 모든 것이 아닌 것입니다. 의사는 단지 EPA가 아닙니다. 그리고 거기에는 깔끔하게 접히지 않은 것들이 많이 있었습니다.

P13: We call it the other bucket. You know not everything belongs in an EPA or, you know … not everything is EPA-able. And so there’s still lots of other things that people do that don’t neatly fit into EPAs, and so how do you still capture that information which is really important … [specialty] called it the special sauce … But it’s [EPAs] are not the be-all and end-all. Physicians aren’t only EPAs. And there was lots of stuff that didn’t fold neatly into there.


연구참여자들은 [번역된 성과 프레임워크]나 [결과 프레임워크 자체]가 [평가 프레임워크로의 번역에 한계가 있음]을 나타내는 것처럼 보였다. 따라서 많은 정보 제공자들은 EPA를 기존 교육 내 평가 시스템에 통합하는 것을 선호하면서 이전의 평가 도구(예: 360 평가, 서면 시험 및 OSCE)를 포기하는 것을 꺼린다고 보고했다.

Informants seemed to be indicating that translated outcome frameworks had limitations either in the outcome framework itself or in its translation to assessment frameworks. As such, many informants reported being reluctant to abandon their previous assessment tools (e.g. 360 assessments, written examinations and OSCEs), preferring to integrate EPAs into a pre-existing system of in-training assessments.

3.2 평가 계획에 대한 경쟁적 영향요인과의 협상
3.2 Negotiating through competing influences on assessment plans

평가 계획은 CBME의 많은 기능 중 하나이며, 따라서 결과 프레임워크에서 평가 계획으로 이동하는 데에는 타당성 외에 다수의 영향력자(예: 행위자 및 상황 요인)가 포함되며, 구현(예: 변경 관리 포함), 인가 및 기술로 광범위하게 분류된다. 이것은 경쟁적인 요구나 긴장을 가진 활동의 흐름으로 이어졌다. 즉, 이러한 영향력 요인들은 의도적이든 의도적이든 자신의 입장을 강화하거나 타인의 입장을 약화시키고, 타당성은 번역 과정에서 핵심 인플루언서가 아니라 많은 요소 중 하나로 표현된다.
Assessment plans are one of many features in CBME and so moving from outcome framework to assessment plans involved a number of influencers (e.g. actors and situational factors), other than validity, broadly grouped as implementation (i.e. including change management), accreditation and technology. This led to streams of activities with competing demands or tensions; that is, these influencers intentionally and unintentionally strengthen their own or weaken others’ positions and validity is represented not as the core influencer in the translation process, but as one among many.

[구현]은 의도된 원칙의 달성을 용이하게 하는 방식으로 CBME를 제정해야 하는 필요성을 말하며(예: 교육생이 EPA를 달성할 수 있는 기회를 제공하고 학습자 진행 또는 어려움에 처한 사람들을 식별한다), 이것이 제정되거나 우선순위가 매겨지는 방법은 관련자의 선택이다. [달성해야 할 활동으로서 CBME를 이행해야 하는 의무]는 때때로 타당성을 배제하지는 않더라도, 타당성보다 더 높은 우선순위를 갖는다. 구현에는 다음과 같이 교육자의 전환과 참여에 대한 인식이 포함되었으며, 이러한 전환과 참여shift and buy-in 역시 어떻게 우선순위가 매겨져야 하는지가 포함되었습니다.

Implementation refers to the need to enact CBME in a way that facilitates achievement of intended principles (e.g. provide trainees with opportunities to achieve EPAs, and identify learner progress or those in difficulty), and how this is enacted or prioritised is a choice for those involved. This obligation to implement CBME as an activity to be accomplished is enacted sometimes not to the exclusion of validity, but as a higher priority. At times implementation involved a recognition of the shift and buy-in of educators that would be required and how this too must be prioritised, as illustrated below:

 

P15: … 저는 단지 물건들을 밖으로 내보내고 사람들에게 무언가를 시키기 위해 초기 작업을 했습니다. 왜냐하면 저는 근본적으로 우리가 마감일이 있고 이것을 실행해야만 한다고 생각했기 때문입니다. 저는 사람들이 이것을 하도록 어떻게 하면 할 수 있을까에 대한 매우 실용적인 관점에서 보고 있었습니다. 어떻게 하면 사람들을 buy-in할 수 있을까요? 어떻게 하면 그들이 하기 쉽게 만들 수 있을까요? 제가 생각하기에 이것은 정말 중요한 특징입니다. 왜냐하면 만약 여러분이 투박하고 못생기고 사람들에게 말을 걸지 않는다면, 그들은 그것을 사용하지 않을 것이고, 그들은 그것을 사용하지 않을 것이고, 그들은 그것을 잘 하지 못할 것이기 때문입니다.
P15: … I did some initial work just to get stuff out there and get people doing something. Because I just fundamentally thought, because we had the deadline and we had to get this implemented … I was looking at it from a very pragmatic point of view of how can I get people to do this? How can I get people to buy in? How can I make it so that it's easy for them to do? Which I think is a really important feature because if you roll out a system that is clunky and ugly and doesn't speak to people and they don't feel it's relevant, they're not gonna use it, and they're not gonna do it, or they're gonna do it poorly.

이러한 [실제적 문제]는 평가 계획을 집행하는 데 큰 영향을 미치는 것으로 보입니다. 구현 결정은 때때로 또는 일정 기간 동안만 유효성과 긴장된 상태로 존재할 수 있습니다.
These real-world issues appear to be strong influences on those enacting assessment plans. Implementation decisions can exist in tension with – even if only at times or for a period of time –validity.

[Accreditation]이란, 의사결정에 영향을 미치며, 인증 요건을 준수할 책임을 말하며, 당시에는 많은 사람들이 여전히 유동적이고 불확실하며 항상 또는 반드시 유효하지는 않은 것으로 인식되었다. 인가에 대한 이러한 초점은 다음과 같이 평가 계획에 대해 인증기관이 제공한 지침의 균형잡기, 의존 또는 준수를 의미한다.

Accreditation, as an influence on decision making, refers to the responsibility to comply with accreditation requirements, which at the time for many were perceived to still be fluid, uncertain and not always or necessarily a validity issue. This focus on accreditation meant balancing, relying on or complying with the guidance provided by the accreditor for assessment plans, as illustrated here:

 

P22: 우리 기관의 어느 누구도 부정행위를 저지르고 그렇게 독특한 일을 하기를 바라지 않았다고 생각합니다. 우리가 [인정자]가 제안한 것에 대해 근본적인 이견이 있다는 것은 아닙니다. 사실 우리는 이것이 아마도 좋은 전략일 것이라는 데 동의합니다. 하지만 최고의 연습과 평가에 대한 지식과 진보에 대한 지식이 풍부할 뿐입니다. 그래서 저는 인증을 받았기 때문에 해야 할 일이 있다고 생각합니다. [평가의 best practice에 대해 알고 있는 것]을 기반으로 평가를 하는 것이 옳은 일이기 때문입니다.
P22: … I don't think anyone in our institution was hoping to go rogue and do um something that unique … not that we have a fundamental disagreement with what the [accreditor] was suggesting, in fact we agree … it's probably, you know, a good strategy, makes sense … but there's just being knowledgeable around the scholarship [and] progress on best practices and assessment. So I think there's what you have to do because you're being accredited and then there's what you should do because it's the right thing to do based on what you know about best practices in assessment.


다음 인용문에 기술된 바와 같이, 인증을 지원하기 위해 행동하는 많은 이들이 행위자가 평가 계획을 진행하는 방법에 영향을 미쳤다.
Many of those acting to support accreditation served to influence how actors proceeded with assessment plans, as depicted in the following quotation:

P22: 창의력을 발휘할 수 있는 여지는 아마도 조금 좁아졌을 것입니다. 모든 종류의 커리큘럼과 평가설계는 이제 인증기관과 관련 전문위원회에게 맡겨졌습니다. 그리고 우리는 단지 프로그램들을 문서로서 [인정 기관]에서 나오는 것을 가리키고 있습니다. 그리고 그것들은 여러분이 사용하게 될 도구들입니다.
P22: The latitude for creativity is, is probably a little narrower and the whole kind of curriculum and assessment design, has now just fallen back to the [accreditation body] and the relevant specialty committees. And we're just sort of pointing programs back to what's coming out of the [accreditation body] as documents and those are the tools that you're going to be using.

 

[규제 요구]에 대해 외부에서 제시되는 선언문을 준수해야 하는 강력하고 중요한 제도적 의무가 있지만, 이로 인해 일부 [재량권이 제한]되거나, [타당성 함의에 주의를 기울일 필요]가 있다는 우려가 수반된다.
There is a strong and important institutional imperative to comply with externally derived statements for regulatory needs, yet an accompanying concern that this may restrict some discretion or need to attend to validity implications.


[테크놀로지]는, 구현 및 인증과 밀접하게 연결되어있고, 평가 프로세스를 온라인으로 전환하려는 광범위한 의도를 의미합니다. 이 경우, 평가 도구와 보고는 테크놀로지적 능력에 의해 제한되었고, 이는 종종 타당성에 관한 고려사항보다 평가가 어떻게 제정되는지에 대한 더 강력한 결정 요인이 되었다.
Technology, closely linked to both implementation and accreditation, refers to the widespread intention to have assessment processes moved on-line. In this instance, assessment tools and reporting were limited to technological capabilities and this often was a more powerful determinant of how assessments were enacted than considerations regarding validity, as illustrated below:

 

P18: 우리는 프로그램들이 질문으로서 이정표를 사용하지 않는 EPA 평가 도구를 설계할 수 있는 시스템을 가지고 있었습니다. 하지만 백그라운드에서, 우리는 시스템이 관련된 이정표에 사용된 질문을 매핑할 수 있도록 프로그래밍할 것입니다. 몇 가지 프로그램에서는 괜찮았지만, 우리가 좀 더 지역적으로 런칭하기 시작하면서 프로그래밍과 사용자 지정이 필요하다는 것이 명백해졌습니다. 음, 지속 불가능하고, 사실, 압도적일 것입니다. 그래서, 음, 그래서 우리는 IT 시스템이 아니라 우리가 사용하던 시스템을 바꿔야 했습니다.
P18: We had a system that would allow programs to design an EPA assessment tool that didn't use the milestones as the questions. But then in the background, we would program the system to be able to map the questions that were used to the relevant milestones. And that was okay for a couple of programs, but once we started to launch more local, it became very obvious that the programming and customization required to do that, was going to be, um, unsustainable, and in fact, overwhelming. So, um, so we had to change the system we were using, not the IT system.


이 경우, 물리적 제약 조건(특정 테크놀로지)이 평가 계획을 집행하는 자의 대응 및 재량에 대한 옵션 범위와 잠재성을 제한합니다. 따라서 이러한 제약조건은 [제도적 상황] 내에서 [어떤 평가접근법과 관행을 운영할 수 있는지]에 강한 영향을 미친다. 이것은 타당성을 구성할 수 있는 것으로 확장된다.

In this case, a physical constraint – a particular technology – limits the range of options and potential for responses and discretion by those enacting assessment plans. Such constraints, therefore, have a strong influence on what assessment approaches and practices can be enacted within the constraints of an institutional setting. This extends to what can constitute validity.

3.3 위험, 불확실 또는 가정된 위치 결정 유효성
3.3 Positioning validity as threatened, uncertain or assumed

우리는 평가 계획의 번역 및 제정에서 확인되지 않은 가정이 있을 수 있는 곳과 격차가 있을 수 있는 곳을 구성하기 위해 케인의 타당성 프레임워크를 사용하여 의사 결정 프로세스를 조사했다. 타당성 위협은 번역 프로세스(예: 표준화된 도구 개발 및 사용, 다목적 결과)와 평가 계획 제정(예: 이벤트에 대한 액세스, 평가 및 학습자 행동, 작업장 비용) 모두에서 나타난다.
We examined decision-making processes using Kane’s validity framework to organise where unchecked assumptions may be in the translation into and enactment of assessment plans, as well as where gaps may be. Validity threats emerge in both

  • the translation process (e.g. developing and using standardised tools, and multi-purposing outcomes) and
  • the enactment of assessment plans (e.g. access to events, rater and learner behaviours, and workplace affordances).

타당성 프레임워크는 (위에서 설명한) 구성 표현 문제 외에도 타당성 주장 생성을 지원하는 기회로서 기능하는 [확인되지 않은 가정]을 탐색할 수 있는 기회를 제공한다. 구현의 결과로 본질적으로 존재하는 데이터로 많은 가정을 해결할 수 있다. 그러나, 아래에 예시된 바와 같이, 많은 정보제공자들은 타당성 증거를 검토할 [준비]가 되어 있지 않거나, [능력]을 갖추고 있지 않으며, [기회]를 이용할 수 없거나, 타당성 증거의 생성에 대한 [관심]이 아직 우선시되지 않았다고 보고하였다.

In addition to issues of construct representation (described above), validity frameworks provide an opportunity to explore unchecked assumptions that serve as opportunities to support the generation of validity claims. Many assumptions can be addressed with data that inherently exist as a result of the implementation. However, as illustrated below, many informants reported being unprepared or ill-equipped to examine validity evidence, and that opportunities have not been available or attention to generating evidence of validity has not yet been prioritised:

 

P15: 여러 해 동안, 그것은 단지 그것을 완성하고, [발매일]까지 여러분이 가질 수 있는 것을 얻는 것이었습니다. 그게 더 나을 수 있을까? 물론이야. 정말 알기가 어려운 것 같고, 그것이 사실 우리가 지금 고군분투하고 있는 것입니다. 이것들을 어떻게 측정합니까? 몰라. 이것은 도전이자 고군분투입니다. 어떻게 대답해야 할지 모르겠습니다. [평가 계획을 평가하는 방법에 대한 질문 참조] 당신이 그렇게 해줄 수 있으면 좋겠어요. 어떻게 평가해야 할지 정말 알고 싶어요. 효과가 있다고 생각하지만 연구해서 효과를 입증하는 건 정말 어려워요
P15: For many years, it was just get it done, get something out there that you can have going by [launch date]. Could it be better? Of course. I think it's really hard to know, and that's actually what we are struggling with now. How do you measure these things? I don't know. This is a challenge and a struggle … I'm not sure how to answer that [referring to a question on how assessment plans are evaluated]. Hopefully you can do that for me. I would really like to know how to evaluate it, 'cause I think it's working, but I find it's really hard to, um, to study and prove its working.

P18: 음, 우리가 하지 않은 것은, 음, 이 모든 것이 얼마나 타당한지를 알아내기 위한 어떤 것이든 디자인하거나 인식하려고 시도한 것입니다. 아시다시피, 이 부분은 항상 얼마나 어려울지 모릅니다. 그리고 우리는 그런 면에서 다른 누구보다도 앞서 있지 않습니다.
P18: Um, what we haven't done is really, uh, attempted to design or recognize anything that would sort of get at how valid any of this is … you know, always how difficult, that aspect of it's gonna be, and we're no further ahead than anybody else, in that way.

[평가 계획을 평가하려는 이러한 도전]은 구현 노력에 대한 평가를 계획하거나 구현한 조직이 거의 없기 때문에 복잡해 보였다. 많은 이들이 이를 평가 시스템의 필수적인 부분이 아닌 시행 후 제도적 과정으로 대학원 학과에 미루었다.
This challenge of attempting to evaluate assessment plans seemed to be complicated by how few organisations had either planned or implemented an evaluation of their implementation efforts. Many deferred this to postgraduate departments, as an institutional process after implementation, rather than an integral part of the assessment system.

타당성의 display는 '여러 기관들'에 걸쳐 분포되어 있으며, 타당성에 대한 argument는 제대로 개발되지 않았다. 타당성에 대한 책무는 다른 우선순위에 따르는 동안 대체되거나 축소되거나 제쳐진다. 책무는 종종 둘 이상에게 위임된다. 많은 대리인들이 어느 정도의 방어 가능성이나 타당성을 추론하는 데 사용되며, 종종 모범 사례에 근거한다.

Displays of validity are distributed across ‘institutions’, leaving validity arguments poorly developed if at all. Accountabilities for validity are either displaced, reduced or put aside while other priorities are attended to. Accountabilities are often delegated in more than one direction. A number of surrogates are reported to be used to infer some degree of defensibility or validity, often rooted in best practices:

P15: 우리의 역량 위원회는 여러 번 만났고, 우리는 데이터를 살펴봤고, 트렌드를 살펴봤다고 말할 수 있습니다. 우린... 그들은 잘 지내고 있어. 제대로 된 평가를 받고 있는 것처럼요 우리는 그들이 다양한 임상 상황에서 광범위한 평가자를 확보하도록 확실히 하고 있습니다. 그래서 저는 우리가 의도했던 대로 CBD(설계상 능력, 인증 기관의 역량 기반 교육)의 과정을 거치고 있다고 생각합니다. 그리고 그것은 여러 면에서 성공의 표시입니다. 비록 학자의 관점에서 볼 때, 여러분은 우리가 그것을 비밀로 하고 그들이 잘 하고 있다고 말하고 그들을 발전시키고 있다고 말할 수 있지만, 저는 모르겠습니다.
P15: I can say our competence committee has met multiple times, and we've looked at the data; we've looked at the trends. We're – they're doing okay. Like they're getting the right number of assessments done. We're making sure that they're getting a breadth of assessors in different clinical situations. So I feel like we're going through the process of CBD [competency by design, the accreditation body’s version of competency-based education] the way it's intended to be going. And that in many ways is a marker of success. Although from a scholarly point of view you could say we're – well, maybe we're just sweeping it under the rug and saying that they're doing okay and advancing them … I don't know.

P20: 나는 그들이 더 일찍 발견했다고 생각한다. 우리는 문제가 더 일찍 나타나고 있다는 것을 듣고 있습니다. 그리고 좀 더 많은 평가를 내리면서 그 대화가 주목을 받게 된 것 같아요
P20: I think they are finding things out earlier. We're hearing that, that problems are emerging earlier. Um, and I think with more assessments, um, I think it's just brought that conversation up to the forefront.



요약하자면, 결과를 번역할 때 [타당성에 대한 우려]는 일차적인 요구 사항이 아니었다. 기껏해야, 대리지표surrogates에 근거하거나, 평가의 체계적 부재로 입증되는 추가 가정 시험이나 타당성 검사 없이 transfer될 수 있다고 가정했다. 말하자면, 많은 사람들에게, 시행 단계였기 때문에 아직 광범위한 타당성 평가는 가능하지 않았다. 그러나 이러한 맥락에서 타당성이 강조되지 않거나 대체되었다. 구성표현은 EPA 또는 EPA의 역량을 넘어서는 것을 의미했고, 위협은 번역 후 계획에 나타났으며, 이들 중 상당수는 역량 위원회나 프로그래밍 평가의 사용을 통해 완화되는 것으로 가정되었다. 이러한 문제의 많은 결과로, 역량 위원회에 대해 생성된 데이터와 관련된 타당성 증거가 (그저 있다고) 가정되거나, 확인되지 않으며, 불확실한 책무성을 가질 수 있다.

표 1은 주요 요점과 이론적 및 실제적 시사점을 포함한 결과 요약을 제공합니다.

In summary, concerns about validity were not the primary imperative when translating outcomes. At best, it remained assumed, based on surrogates or that it could be transferred without further testing of assumptions or validation as evidenced by the systematic absence of evaluations. To be fair, for many, extensive evaluation of validity was not yet a possibility due to the stage of implementation. However, validity was de-emphasised or displaced in these contexts as well. Construct representation meant reaching beyond EPAs or their competencies, and threats appeared in plans following translations, many of which were assumed to be mitigated through competence committees or use of programmatic assessments. As a result of many of these issues, validity evidence associated with the data generated for competence committees may be assumed, unchecked and have uncertain accountabilities.

Table 1 gives a summary of findings, with key points and theoretical and practical implications.

 

4 토론
4 DISCUSSION

역량 기반 의학교육은 교육과정 전략을 지원하는 일련의 교육목표와 비지도 실습에 대한 훈련생 준비에 관한 의사결정을 지원하기 위한 평가계획을 알리는 역할을 한다.26 이러한 맥락에서 평가계획의 구조화에는 종종 경쟁적 사실에 대한 결과 프레임워크의 번역이 포함된다.자신도 모르게 타당성을 주장하는 사람들을 위협할 수 있는 비틀림 교육생에 대한 의사결정이 궁극적으로 이루어지는 데이터는 암묵적으로 또는 방치될 경우 교육생, 기관, 환자 및 일반인에게 중요한 다운스트림 영향을 미칠 수 있다. 본 연구에서는 캐나다 3개 대학의 CBME 리더들을 인터뷰하여 결과 프레임워크에서 형성 및 종합 평가 계획까지의 번역 과정을 탐구하였다. 우리의 결과는 

  • (i) 평가 프레임워크으로 성과를 사용하는 것은, 좋은 평가를 위해 필요하지만, 불완전한 구성이기도 하다. 
  • (ii) 구현, 인증, 테크놀로지 등을 포함하여, 평가 계획의 핵심 인플루언서로서 타당성을 대체하는 경쟁적 요소를 가진 여러 사회적 및 실제 협상이 있다. 
  • (iii) 검증되지 않은 다수의 가정과 대리인에 대한 의존으로 인해, 타당성이 위협적이고 불확실하며 가정된 것으로 존재한다(이러한 결과의 예시는 그림 2 참조).

Competency-based medical education serves to inform a set of educational aims supporting curriculum strategies and also assessment plans intended to support decisions regarding trainee readiness for unsupervised practice.26 The structuring of assessment plans in this context often includes the translation of outcome frameworks against competing factors that may unknowingly threaten validity claims. Left implicit or unattended to, the data on which decisions are ultimately made about trainees may be undermined, with significant downstream implications for trainees, institutions, patients and the public. In this study, we explored the translation process from outcome framework to formative and summative assessment plans by interviewing CBME leaders within three universities in Canada. Our results suggest

  • (i) using outcomes for assessment frameworks is necessary for good assessment but it is also an incomplete construct;
  • (ii) there are a number of social and practical negotiations with competing factors that displace validity as a core influencer in assessment planning, including implementation, accreditation and technology;
  • (iii) validity exists as threatened, uncertain and assumed due to a number of unchecked assumptions and reliance on surrogates (see Figure 2 for an illustration of these findings).




CBME 맥락에서 [평가 계획]은 [번역 프로세스]를 통과하는 [성과 프레임워크]에서 시작되며, 이 조사는 이 조사에 포함된 세 대학에 걸쳐 전략과 정도가 다르다. 다른 이들은 결과 프레임워크가 어떻게 평가 프레임워크로 깔끔하게 번역되지 않을 수 있는지를 설명했다. 일부 설명은 도구 또는 준비되지 않은 교수진의 품질에 초점을 맞추었거나, 결과 프레임워크가 사회적으로 구성되었거나 역량에 대한 보다 기초적인 개념화와 잘 정렬되지 않았기 때문에 결과 프레임워크로 시작하는 것이 개념적으로 결함이 있다는 것이다. 성과 프레임워크에서 평가 계획으로 이동할 때, Callon의 번역 이론은 많은 추가적인 메커니즘이 관련될 수 있음을 시사한다. 이 연구의 결과는 번역 과정이 (Callon이 시사하는 바와 같이) 사회적, 실제적 또는 물질적, 이론적, 정치적 맥락에서 전개되고, 새로운 과정이 최종적인 평가 계획을 형성한다는 것을 시사한다. 

Assessment planning in a CBME context begins with outcome frameworks that pass through a translational process, which varies in strategies and degree across the three universities included in this investigation. Others have described how outcome frameworks may not translate neatly into assessment frameworks.3, 27, 28 Some explanations have focused on the quality of the tools or unprepared faculty members29, or that it is conceptually flawed to start with outcome frameworks because they are socially constructed or poorly aligned with more grounded conceptualisations of competence.3, 27 When moving from an outcome framework to assessment plans, Callon's theory of translations suggests a number of additional mechanisms may be relevant.17 The findings of this study suggest that the translational process unfolds (as Callon would suggest) in social, practical or material, theoretical and political contexts and the emergent process shapes eventual assessment plans.

[사회적 조건]의 역할은 이전에 CBME를 포함한 교육적 맥락에서 강조되었다. 예를 들어, 연구자들은 교육적 성과를 명시하고, 그러한 성과를 달성하기 위한 의도적인 계획을 갖는 것의 중요성을 인정하지만, 맥락과 참여 행위자들이 어떻게 매우 다른 것을 만들어낼 수 있는지를 보여주었다. 즉, [기초적인 교육 원칙]은, 교과목표와 경쟁하는 맥락적(즉, 사회적 및 실제적) 특징의 결과로 인해서 이전, 변형 또는 폐기될 수 있다. 결과적으로, 무어는 커리큘럼을 경험적이고, 새로우며, 진화하고, 경쟁적인 우선 순위를 가진 현실 세계의 일부로서, [정적이며 성문화되고 무균적으로 계획된 과정이 아니라고] 설명했다. 이 연구의 결과는 유사한 방식으로 번역 활동과 평가 계획도 보장되거나 확실한 것보다 유효성을 더 의도적으로 남기는 많은 영향(즉, 행위자와 기관의 견해와 우선순위)에 영향을 받기 쉽다는 것을 시사한다.

The role of social conditions has been highlighted before in educational contexts, including CBME.18 For instance, researchers acknowledge the importance of specifying educational outcomes and having intentional plans to achieve those outcomes, but demonstrate how contexts and participating actors can create something very different;19 that is, underlying educational principles may be transferred, transformed or abandoned as a result of contextual (i.e. social and practical) features that are in competition with curricular goals.30, 31 As a result, Moore described the curriculum as experienced, emergent and evolving, as part of the real world with competing priorities and not as a static codified and sterile planned process.32 The results of this study suggest that in an analogous way, translational activities and assessment plans are also susceptible to a number of influences (i.e. views and priorities of actors and institutions) that leave validity more intended than guaranteed or certain.

또한 본 연구에서 우리는 타당성에 대한 위협에 대해 학습한 동시에, 이러한 위협을 완화하려는 (테스트되지 않은) 시도를 식별하였다. 예를 들어, 성과 프레임워크는 현재 형태로는 [불완전하거나 불충분한 구성]으로 식별되었다. 이것은 성과 프레임워크가 어떻게 평가 프레임워크로 깔끔하게 번역되지 않을 수 있는지에 대한 Lurie의 이전 주장을 뒷받침할 수 있다. 추가적인 과정이 필요했고 역량에 대한 방어가능한 주장을 뒷받침하는 것도 포함되었다. 교수진 및 학습자 행동과 같은 [점수 매기기 위협], 또는 충분한 품질 또는 양으로 임상 이벤트에 접근하는 어려움과 같은 [일반화 위협]은 이를 완화하려는 시도(예: 교수 개발 및 시뮬레이션을 보완하여 사용)가 존재했다. 하지만 타당성에 미치는 영향은 여전히 존재있다.

Further, in our study, we learned of threats to validity while also identifying (untested) attempts to mitigate these threats. For example, outcome frameworks were identified as incomplete or as an insufficient construct in their current form. This may support Lurie's earlier arguments regarding how outcome frameworks may not translate neatly into assessment frameworks.3, 27, 28 Additional processes were necessary and included supporting defensible claims regarding competence. Scoring threats, such as faculty member and learner behaviours, or generalisation threats, such as difficulty accessing clinical events in sufficient quality or quantity, are being met with attempts to mitigate them (e.g. faculty development and use of simulation as a supplement) but remain largely assumed in regards to impact on validity.

예를 들어, 교육 기관의 평가 관행이 신뢰성을 시험하고 지원하는 방식으로 이러한 상황을 통제할 수 없기 때문에 임상 실습에서 이루어지는 판단과 결정에서 발생하는 [평가 관행에 대한 신뢰성과 관련된 다양한 문제]가 있다. '외삽 근거' 또는 '함의 근거' 를 포함한 다른 추론은 아직 실행의 초점도 아니었고, 명시적으로 계획되지도 않았다. 가정 검토와 구조 유효성 주장을 포함하는 계획은 다른 경쟁 우선 순위 대신 강조되지 않거나 고려되지 않으며, 타당성이 가정되거나 대리인에게 귀속되기 때문이다. (예: 완료된 평가 수 및 문제 있는 학습자 식별)

For instance, there are a range of issues associated with the reliability of assessment practices that arise from judgements and decisions being made in clinical practice as these circumstances cannot be controlled in the way that assessment practices in educational institutions can be to try and support reliability. Other inferences including ‘extrapolation’ or ‘implications’ evidence had not yet been an actioned focus nor explicitly planned. Plans to include examination of assumptions and to structure validity arguments are de-emphasised or not considered in place of other competing priorities,21 or because validity is assumed or attributed to surrogates (e.g. number of assessments completed and identification of learners in trouble).

의료 교육의 평가 과학자와 교육자는 평가 계획에서 핵심 인플루언서로서 타당성을 위치시키지 않는 이러한 종류의 영향과 굳이 논쟁할 필요가 없었을 것이다. 공통 가이드라인에서는 실행 가능성, 비용 또는 수용 가능성을 넘어 [계획 또는 평가 과정에서 (평가 타당성을 경쟁하는) 다른 사회적 영향을 고려하는 방법]을 강조하지 않을 수도 있다. 그러나 타당성이나 타당화는 (경험적이고 논리적 과정만큼이나) 사회적 과정이며, 맥락, 행위자, 제도에 의해 형성될 수 있다. 예를 들어, 이 연구에서 우리는 다른 이해관계자의 이익(예: 구현, 인가 및 기술)과 일치하기를 원하거나 필요로 하며, 책임의 대체 및 기타 중요한 영향이 평가 설계를 형성하고 있다는 것을 발견했다. 

Assessment scientists and educators in medical education have perhaps not had to contend with these kinds of influences that do not position validity as the core influencer in assessment planning. Common guidelines may de-emphasise how to consider other social influences that compete with assessment validity in the planning or evaluation process, beyond feasibility, cost or acceptability.63334 But validity or validation may be as much a social process (we mean this to be distinct from a social accountability35) as an empirical and logical one, that is shaped by context, actors and institutions. In this study we found, for example, wanting or needing to align with the interests of other stakeholders (e.g. implementation, accreditation and technology), displacing of accountabilities and other material influences were shaping assessment designs.

이것은 항상 또는 반드시 타당성에 대한 최고의 기회를 제공하는것은 아니었다. [평가 계획]은 단순히 [평가 과학]이 아니고, [사회적 상호작용과 협상에 관한 것]이 된다. 그렇다면 CBME와 같은 복잡한 개입에 서 있는 이해당사자들 사이에서 [평가가 단지 여럿 우선 순위 중 하나에 불과할 때], 이제 평가 설계를 어떻게 해야 하는지 물어야 한다. 새로운 actor가 번역 과정에 등록될 때마다, 그들은 잠재적으로 번역 과정을 방해할 수 있고, 우리가 경쟁하는 모든 의무들이 어떻게 해결되어야 하는지 알아내도록 강요한다. 따라서 [평가 지침]은 이러한 문제에 대해 더 자세히 설명하기 위해 재구성될 필요가 있다. 이는 타협compromise하기 위해서가 아니라, 이러한 문제가 발생할 때 충분한 타당성 주장이 만들어질 수 있도록 보장하기 위해서이다. 이러한 과제를 고려할 때, 또한 문제가 있는 타협을 피하기 위해, 특히 타협이 필요한 경우, 유효성 및 검증에 충분한 공간을 제공해야 할 수 있다. 그때까지 타당성은 ['베스트 프랙티스'의 적용과 대리자surrogate의 사용]을 가지고 존재한다고 가정assumed되거나, 책무성을 대체함으로써 가정될 수 있다(즉, 타당성은 '그들'의 책임이다).

This was not always, or necessarily, in ways that would provide the best opportunities for validity. Assessment planning becomes additionally about social interactions and negotiations than just pure assessment science. An implication then is to ask what should we now make of assessment designs when assessment is but one priority among many across stakeholders with standing in a complex intervention like CBME? Every time a new actor is enrolled into the translation process, they can potentially disrupt it, obligating us to figure out how any competing imperatives are to be addressed. Assessment guidelines, therefore, may need to be reframed to account further for these issues, not to compromise on but to ensure sufficient validity arguments can be made when these issues arise. In light of these challenges but also to avoid problematic compromises, validity and validation may need to be given sufficient space, especially when compromises are necessary. Until then validity may remain assumed using the application of ‘best practices’ and the use of surrogates, or by displacing accountabilities (i.e. validity is a ‘they’ responsibility).

4.1 제한사항
4.1 Limitations

이 연구는 한계라는 맥락에서 고려되어야 한다. 첫째, 우리의 샘플은 세 개의 캐나다 대학을 나타내며 우리는 이러한 맥락의 위치적 성격을 인식한다. 다른 정성 연구와 마찬가지로, 본 연구의 목적은 개념적 전이성을 갖는 것이며 경험적 일반성을 제시하지 않는다. 둘째, 캐나다에서 비교적 초기 CBME의 상태를 고려할 때, 시스템은 항소나 실패를 통한 유효성 주장의 시험이나 시간의 이점을 갖지 못했을 수 있으며, 따라서 여전히 성숙할 수 있다. 우리는 이 연구가 특정한 순간을 포착한다는 것을 인정한다. 이 연구를 이렇게 일찍 수행한 우리의 의도는 이러한 유효성 고려사항을 조기에 자극하는 것이었다.

This study should be considered in the context of its limitations. First, our sample represents three Canadian universities and we recognise the situated nature of this context. As with other qualitative studies, our intention with this study is to have conceptual transferability and we do not suggest empirical generalisability. Second, given the relatively early status of CBME in Canada, the system may not have had the advantage of time or testing of validity arguments through appeals or failures, and may therefore still mature. We recognise that this study captures a particular moment in time. Our intention in conducting this study, this early, was to stimulate these validity considerations at an early stage.

5 결론 및 향후 방향
5 CONCLUSIONS AND FUTURE DIRECTIONS

CBME는 [성과 프레임워크]에서 시작하여 교육, 학습 및 평가로 광범위하게 그룹화된 많은 활동으로 변환되는 복잡한 개입이다. 이러한 [번역 프로세스]는 평가 관점에서 평가 과학자, 기관 및 교육자에게 새로운 과제를 제공하는 [복잡한 사회 및 실제 환경]에서 발생합니다. 이러한 환경으로 인해, 평가 설계의 핵심 인플루언서로서 타당성은 도전에 직면했다. 이해관계자들의 다른 관심사(도입, 인증, 테크놀로지)와 맥락적 요인(타당화 기회에 대한 평가절하 및 접근성 낮음)이 작동하고, 그 결과 타당성 검사가 프로세스에서 항상 우선시되지 않거나, 심지어 실현 가능하지도 않게 된다. 타당성과 타당화는 공간을 두고 경쟁하기 위해 고군분투하거나, 최소한 이 시점에서 강조되지 않거나, 대체되거나, 그냥 가정될 수 있다.

Competency-based medical education is a complex intervention that begins with an outcome framework, which is then translated into many activities broadly grouped as teaching, learning and assessment. This translational process takes place in a complex social and practical environment that, from an assessment perspective, provides new challenges for assessment scientists, institutions and educators. This environment is challenging validity as a core influencer in assessment designs. Other stakeholder interests (e.g. implementation, accreditation and technology) and contextual features such as the (de)valuing of and access to validation opportunities, are at play, which assigns validity a unique and certainly not always prioritised or even feasible assignment in the process. Validity and validation struggle to compete for space or may be de-emphasised, displaced or just assumed, at least at this point.

결과적으로, 확인되지 않은 위협과 의도된 완화 전략(예: 일부 교수진 개발 또는 대량의 데이터 추구)이 검증을 받기 보다는, 타당성에 영향을 미칠 것이라고 그저 가정되며, 그 결과 타당도는 생성하기 어려운 것, 암묵적인 것, 위기에 놓은 것이 되었다.

  • CBME의 평가 기능을 구현할 때 학습자 또는 후보, 공공, 환자 및 기관에 상당한 다운스트림 영향을 미치면서 평가가 관련되고 준비 상태 또는 역량에 대한 의사결정에 기여하는 경우, 타당성 및 타당화가 우선시되거나 더 많은 지위를 부여해야 할 수 있다.
  • 둘째, 미래 연구는 프로세스와 그 잠재적 영향에 대한 보다 포괄적인 이해를 제공하기 위해 여러 관점(즉, 교육생의 관점 및 역량 위원회 구성원의 관점)에서 검색해야 한다.
  • 마지막으로, CBME의 컨텍스트는 연구자들이 컨텍스트의 복잡성을 설명하는 방법을 제안하게 하고 있다.

As a result, there are some unchecked threats and intended mitigation strategies (e.g. some faculty development, or seeking large amounts of data) are more assumed in terms of their impact on validity than tested, leaving validity arguments difficult to create, implicit and risky.

  • Moving forward, first where assessment is involved and contributes to decisions about readiness or competence, with significant downstream effects for the learner or candidate, public, patients and institutions, validity and validation may need to be prioritised or given more standing when implementing assessment features of CBME.
  • Second, future research from multiple perspectives (i.e. perspectives of trainees and perspectives of members of competence committees) is necessary to provide an even more comprehensive understanding of these processes and their potential effects.
  • Finally, the context of CBME is causing researchers to propose ways of accounting for the complexity of context.3036 

따라서, 이렇듯 [번역은 언제나 협상을 수반]하므로, 평가 연구자는 [의료 및 보건 분야의 평가가 구현되고 제정되어야 하는 맥락적 현실]에서 [어떻게 타당성 프레임워크를 설명할 것인가]를 탐색하고 보고해야 할 필요가 있다. CBME 계획 및 구현의 맥락에서 이러한 번역 프로세스를 설명할 때, 이러한 문제를 무시하거나 경쟁하기 보다는, [의도적으로 통합하는 방향]으로의 전환하는 것이 전략을 최적화하는 방법일 수 있고, 타당성을 위협할 수 있는 긴장과 도전을 완화하는 방법이 될 수 있다. 이것은 또한 평가나 타당성 과학의 영역 내에서 아직 완전히 인식되지 않은 다른 형태의 사회과학으로부터 새로운 협력, 협업의 새로운 형태, 그리고 새로운 통찰력을 요구할 수 있다. 그 전까지는, 번역 프로세스는 암묵적인 상태로 남을 것이고, CBME에서 평가 프로그램의 타당성은 위험한 상태로 남을 것이다.

Therefore, in a similar way, because translations involve negotiations, assessment researchers may need to explore and report on how validity frameworks are to account for the contextual realities in which assessment in medical and health professions is to be implemented and enacted. In explicating these translational processes in the context of CBME planning and implementation, shifts toward intentionally integrating these issues, rather than ignoring or competing against them, may be a way of optimising strategies and a way of mitigating tensions and challenges that may threaten validity. This may also require new partnerships, new forms of collaboration and new insights from other forms of social science that have not yet been fully appreciated within the domain of assessment or validity science. Until then, translational processes may remain implicit and validity of assessment programmes in CBME risky.

 


Med Educ. 2020 Oct;54(10):932-942. doi: 10.1111/medu.14287. Epub 2020 Aug 12.

Translating outcome frameworks to assessment programmes: Implications for validity

Affiliations expand

PMID: 32614480

DOI: 10.1111/medu.14287

Abstract

Objectives: Competency-based medical education (CBME) requires that educators structure assessment of clinical competence using outcome frameworks. Although these frameworks may serve some outcomes well (e.g. represent eventual practice), translating these into workplace-based assessment plans may undermine validity and, therefore, trustworthiness of assessment decisions due to a number of competing factors that may not always be visible or their impact knowable. Explored here is the translation process from outcome framework to formative and summative assessment plans in postgraduate medical education (PGME) in three Canadian universities.

Methods: We conducted a qualitative study involving in-depth semi-structured interviews with leaders of PGME programmes involved in assessment and/or CBME implementation, with a focus on their assessment-based translational activities and evaluation strategies. Interviews were informed by Callon's theory of translation. Our analytical strategy involved directed content analysis, allowing us to be guided by Kane's validity framework, whilst still participating in open coding and analytical memo taking. We then engaged in axial coding to systematically explore themes across the dataset, various situations and our conceptual framework.

Results: Twenty-four interviews were conducted involving 15 specialties across three universities. Our results suggest: (i) using outcomes frameworks for assessment is necessary for good assessment but are also viewed as incomplete constructs; (ii) there are a number of social and practical negotiations with competing factors that displace validity as a core influencer in assessment planning, including implementation, accreditation and technology; and (iii) validity exists as threatened, uncertain and assumed due to a number of unchecked assumptions and reliance on surrogates.

Conclusions: Translational processes in CBME involve negotiating with numerous influencing actors and institutions that, from an assessment perspective, provide challenges for assessment scientists, institutions and educators to contend with. These processes are challenging validity as a core element of assessment designs. Educators must reconcile these influences when preparing for or structuring validity arguments.

프로그램 이론에 따른 CBME 개입의 과정과 성과 평가 (J Eval Clin Pract. 2020)
Process and outcome evaluation of a CBME intervention guided by program theory
Deena M. Hamza PhD1 | Shelley Ross PhD2 | Ivy Oandasan MD, MHSc, CCFP, FCFP3,4

 

1 소개
1 INTRODUCTION

의료 시스템은 많은 요인의 산물이며, 최근 몇 년 동안 의료 교육은 중점 분야였다. 일부 증거는 현재의 훈련 방법이 복잡하고 다양하며 끊임없이 발전하는 지역사회의 요구를 충족시키는 치료를 제공할 수 있는 의사의 개발을 지원하기 위해 개선이 필요하다는 것을 시사한다. [1978년에 처음 도입된 역량 기반 의료 교육(CBME)]은 지난 10년 동안 의료 서비스 제공자의 교육 방식을 변형함으로써 의료 시스템의 현재 문제 중 일부를 해결할 수 있는 교육 접근법으로 다시 추진력을 되찾았다. CBME에 대한 많은 정의와 해석이 문헌에서 확인되었지만, CBME에 대한 우리의 논의는 다음과 같이 정의된다.

Health care systems are a product of many factors, and in recent years, medical education has been an area of focus.1-4 Some evidence suggests current training methods need improvement to support the development of physicians who are able to provide care that meets the needs of complex, diverse, and ever-evolving communities.1-4 Competency-based medical education (CBME), originally introduced in 1978, has regained momentum over the past decade as an educational approach that can address some of the current issues in health care systems by transforming the way that health care providers are trained.5, 6 While many definitions and interpretations of CBME have been identified in the literature, our discussion of CBME is defined as:

[…] 기본적으로 [졸업 성과 능력을 지향]하고, 사회적 및 환자 요구 분석에서 도출된 [역량을 중심으로 구성]된 의사 실무 준비 방법. [시간 기반 교육을 탈-강조]하고 더 나은 [책무성, 유연성 및 학습자 중심성]을 약속합니다.7
[…] an approach to preparing physicians for practice that is
fundamentally oriented to graduate outcome abilities and
organized around competencies derived from an analysis of societal and patient needs.
It deemphasizes time-based training and promises greater accountability, flexibility, and learner-centredness.7

전 세계의 여러 보건 전문 교육 규제 기관이 CBME로의 전환을 의무화했지만, CBME가 모든 이해관계자에게 받아들여지는 것은 아니다. CBME의 가정은 증거를 뒷받침하는 확립된 교육 이론에 기초하지만, 보건 전문가 훈련 문헌에서 이러한 교육 전환의 잠재적 영향에 대한 비판적인 논쟁이 있었다. 핵심 논의 중 하나는 성과에 집중한다: CBME가 개선된 결과를 가져올지 여부를 어떻게 알 수 있으며, 더 나은 결과에 대한 확신이 없을 때 CBME로의 전환과 관련된 인적 및 재정적 비용을 정당화할 수 있는가?
Although multiple health professions education regulatory bodies around the world have mandated a shift to CBME,6, 8 CBME is not accepted across all stakeholders.8-11 While the assumptions of CBME are based on established educational theory with supporting evidence,5, 12-15 there have been critical debates in the health professions training literature regarding the potential impact of this education transformation. One of the key debates centres on outcomes: how can we know whether CBME will result in improved outcomes, and can we justify the human and financial costs associated with a transition to CBME when there is no certainty of a better outcome?16-18

 

1.1 CBME와 같은 복잡한 교육 개입을 어떻게 평가할 수 있는가?
1.1 How can we evaluate a complex education intervention, such as CBME?

[구현implementation]은 [집단 행동의 새로운 패턴을 의도적으로 도입하거나, 기존의 패턴을 수정하는 것]으로 정의된다. 이러한 [집단행동의 패턴]은 제도적으로 승인되고, 공식적으로 정의되며, 의식적으로 계획되고, 변화된 결과로 이어지도록 의도된다. 새로운 교육 모델의 구현은 복잡하다. 왜냐하면 사람들이 [집단 행동을 촉진하고 원하는 결과를 이끌어내기] 위해, [자신과 타인을 어떻게 생각하고, 행동하고, 구성하는지]가 수정되어야 하기 때문이다. 여러 저자들은 CBME 채택에 영향을 미치는 장애물을 만드는 여러 수준의 승인과 함께 관련되어야 하는 다수의 이해관계자와 설정을 고려할 때 CBME 구현에 관련된 복잡성을 강조해왔다. 비평가들은 너무 자주 [변화 구현에 관련된 복잡성]이 단지 [CBME를 엄격하게 평가할 수 없는 이유]를 설명하는 [핑계]로 사용된다고 주장했다. 우리는 CBME의 프로세스와 결과 모두에 대한 신중한 평가가 필요하고 엄격하게 수행될 수 있으며, 지속적인 CBME 구현과 개선을 지원하는 유용한 정보를 산출할 수 있다고 제안한다.

Implementation is defined as the deliberate introduction of new, or modifying existing, patterns of collective action.19 These patterns of collective action are institutionally sanctioned, formally defined, consciously planned, and intended to lead to a changed outcome.19 Implementation of new education models is complex as it involves modifying how people think, act, and organize themselves and others to promote collective action, leading to desired outcomes.19 Several authors have highlighted the complexity involved in implementing CBME, given the multiple stakeholders and settings that must be involved, along with multiple levels of approvals creating obstacles affecting adoption of CBME.20-23 Critics have argued that all too often, the complexity involved in implementing change is used as an excuse to justify why CBME cannot be rigorously evaluated.6, 11, 24-26 We propose that deliberate evaluation of both the process and outcome of CBME is needed and can be done rigorously, yielding useful information in support of ongoing CBME implementation and improvement.

CBME가 '향상된' 졸업생을 낳는지에 대한 문헌 내 비판은 성과 평가를 통해 답할 수 있다. 성과 평가는 [프로그램의 진행 상황]과 [원하는 결과 달성 상태]를 살펴보고, 의도하지 않은 결과, 투자 수익률, 지식, 태도, 행동의 변화 등의 질문에 답한다. CBME에 대한 문학적인 대화는 주로 졸업생들의 개별 역량 형태의 성과에 초점을 맞추었지만, CBME의 구현을 제정하는 데 있어 [모범 사례best practice를 이해하는 것]은 결과를 측정하는 것만큼 중요하다. 즉, CBME가 구현되는 상황을 이해하고, CBME가 구현되는 방법을 평가하면 결과가 나타나는 이유에 대한 보다 완전한 이해를 제공할 것이다.

Criticism in the literature about whether CBME results in “improved” graduates can be answered through use of outcome evaluation.8-11, 16-18 Outcome evaluation examines the progress of the program and the status of accomplishing desired results and answers the questions such as unintended outcomes, return on investment, and changes in knowledge, attitudes, and behaviours.27, 28 While literary conversations about CBME have predominantly focused on outcomes in the form of the individual competence of graduates, understanding best practices in enacting the implementation of CBME is equally as important as measuring its outcomes. In other words, evaluating how CBME is implemented with an understanding of the context within which it is implemented will provide a more a fulsome understanding of why an outcome emerges.

[프로세스 평가]는 조직 변혁을 구현하는 과정에서의 [사회적 프로세스와 메커니즘]을 탐색하고, 전향적으로prospectively 변화와 관련된 [성과 평가에 대한 다리]를 이끌어낸다. 프로세스 평가 질문은 CBME 구현 전반에 걸쳐 다음과 같은 질문과 함께 질문할 수 있다:

  • CBME 활동을 구현하기 위한 장벽/촉진자는 무엇인가,
  • 달성된 것은 무엇인가,
  • CBME 변환의 영향을 받는 사람은 누구인가.

긍정적이든 부정적이든 결과에 영향을 미치는 요인을 이해함으로써 미래에 사용하기 위해 더 많은 정보를 도출할 수 있다.

Process evaluation explores social processes and mechanisms during the implementation of an organizational transformation and prospectively draws a bridge to the evaluation of outcomes associated with the change.29, 30 Process evaluation questions can be asked throughout the implementation of CBME with questions such as the following:

  • what are the barriers/facilitators to implementing CBME activities;
  • what has been accomplished; and
  • who is being impacted by the CBME transformation.27 

By understanding factors that influence outcomes, whether positive or negative, more information can be derived for use in the future.

CBME의 구현은 상황에 따라 매우 다르다. 한 컨텍스트에서 작동한 CBME 개입을 적용하는 것은 다른 컨텍스트에서 실행 가능하거나 실행 가능하지 않을 수 있습니다. 그러나, [프로세스와 성과] 모두의 평가가 구현과 함께 계획된다면, 다른 사람들에 의한 기술혁신의 성공적인 채택이 더 가능성이 높을 수 있다. 이런 유형의 평가가 없다면, 상황별 메커니즘과 프로세스에 대한 정보가 부족하다. 이에 따른 리스크는 미래의 구현자가 조직 변혁의 "종교적 컬트" 문제에 빠질 수 있다는 것이다. 즉, 구현 프로세스가 "실행" 프로토콜을 준수하도록 축소되는 것이다. 하지만 [원래의 맥락에서 관찰된 결과를 뒷받침하는 필수적인 메커니즘과 프로세스]가 결여되어있기에, 구체성은 결여된 표면적인 모방만을 초래한다. 구현과 관련된 "방법"과 "이유" 질문을 알지 못하면, 구현자는 예상 결과에 영향을 미치는 필수 가능 요소 또는 장벽에 대한 유용한 정보에 접근할 수 없을 수 있다. 또한 영향 요인이 항목별 프로토콜에 포함되지 않는 경우 자체 컨텍스트에서 구현을 수행하는 방법을 모를 수 있다.

The implementation of CBME is very context dependent. Adapting a CBME intervention that worked in one context may or may not be feasible in another. However, successful uptake of an innovation by others may be more likely if evaluation of both processes and outcomes are planned alongside implementation.29, 31 Without this type of evaluation, information about contextual mechanisms and processes are lacking, and therefore, the risk is that future implementers may fall into the “cargo cult” problem of organizational transformation whereby the process of implementation is reduced to adherence to a “checklist” protocol, but essential mechanisms and processes that supported the outcomes observed in the original context are lacking, resulting in a superficial imitation lacking specificity.32 Without knowing the “how” and “why” questions related to implementation, implementers may not have access to useful information about the necessary enablers or barriers that impact anticipated outcomes. They also may not know how to carry out implementation in their own contexts if influencing factors are not included within itemized protocols.29, 31, 33

1.2 이론 기반 평가
1.2 Theory-based evaluation

이 논문은 복잡한 지역사회 기반 사회 및 의료 이니셔티브를 평가하는 데 사용되는 것과 같은 [이론 기반 평가 접근법]이 CBME에 사용될 수 있다고 제안한다. [이론 기반 평가][프로그램 이론(변화 이론이라고도 함)의 개발]에서 시작되며, 프로그램 이론(변화 이론)은 [변환 또는 개입이 해결할 것으로 예상되는 문제]와 [이 변화(이 경우 CBME로의 전환)가 어떤 식으로 성공할 것인지에 대한 예상]을 명확하게 정의한다프로그램 이론은 [변화나 개입의 의도된 영향]을 정의한 다음, 영향을 미칠 것으로 예상되는 [단기 및 장기 성과의 연쇄]에 기여하는 요소들을 체계적으로 매핑한다. [프로그램 이론]과 함께 [단기 및 장기 성과에 대한 설명]을 포함하여 [CBME 구현과 관련된 활동을 설명하는 논리 모델]이 있어야 한다. 프로세스와 구현 결과에 영향을 미치는 기여 요인은 CBME 결과의 가정/가설을 포함한 논리 모델에서 식별되어야 한다. 
This paper proposes that theory-based evaluation approaches, such as those used in evaluating complex community-based social and health care initiatives,34-38 can be used for CBME. Theory-based evaluation begins with the development of a program theory (also called a theory of change), which clearly defines a problem that a transformation or intervention is anticipated to address, and how this change (in this case the shift to CBME) is anticipated to be successful.39-42 The program theory defines intended impacts of a change or intervention and then systematically maps factors that contribute to a chain of short- and long-term outcomes that are expected to have impact.41, 43-45 Accompanying the program theory should be a logic model, illustrating the activities involved in CBME implementation including a description of short- and long-term outcomes.46-49 Contributory factors that influence the process and the outcome of implementation should be identified in the logic model including assumptions/hypotheses of the results of CBME.50, 51

[프로그램 이론]은 [입력, 프로세스, 결과 및 영향]을 의도적으로 탐색할 수 있는 [프로그램 평가 계획의 개발을 위한 지침]역할을 한다. 본 논문에서 정의된 바와 같이 [프로세스 및 결과 평가]에서 도출된 findings는 [지속적인 개선을 위한 주기적인 기회]를 설정하며, [예상anticipated 프로그램 이론과 프로세스 및 결과를 향상]시킨다. CBME와 관련된 사람들의 경우, 여기에는 다음 두 가지의 평가에 영향을 미치는 요소를 이해하는 것이 포함된다. 

  • 구현의 충실도 (즉, [제정된 프로그램]이 [구상된 프로그램]과 유사합니까?)
  • 구현의 완결성 (예: WBA가 상세하고 실행 가능한 품질 피드백을 제공합니까?)

이러한 유형의 평가에서 얻은 결과는 최상의 CBME 구현 접근법에 대한 이해를 높이고 성공을 저해하거나 촉진할 수 있는 고려 요소를 강조할 수 있다.

The program theory acts as a guide for the development of a program evaluation plan that can intentionally explore inputs, processes, outcomes, and impact. The findings from a process and outcome evaluation, as defined in this paper, sets up a cyclical opportunity for ongoing improvement, enhancing the anticipated program theory and its process and outcomes.52-54 For those involved in CBME, this includes understanding elements influencing the process of evaluating the 

  • fidelity (ie, does the program as enacted look like the program as conceived?) of implementation, as well as its 
  • integrity (eg, do workplace-based assessments provide quality feedback that are detailed and actionable?).2954-56 

Findings from this type of evaluation can enhance our understanding of the best CBME implementation approaches and highlight factors for consideration that may impede or facilitate its success.

 

1.3 작업 예: 트리플 C 역량 기반 커리큘럼(트리플 C)
1.3 Worked example: Triple C Competency-based Curriculum (Triple C)

[프로세스 및 결과 평가]와 [명확하게 정의된 프로그램 이론] 사이의 연결고리는 [작업 사례worked example]를 통해 가장 잘 이해할 수 있을 것이다. 실행된 예는 결과와 프로세스 모두에 초점을 맞춘 최종적인 해결책에 도달하기 위한 문제와 문제 해결 접근 방식을 설명합니다. 프로세스 지향 작업 예제는 특정 단계를 "어떻게" 및 "왜"했는지에 대한 명시적인 설명을 제공하는 데 중점을 두고 있으며, 이러한 단계가 관찰된 솔루션에 어떻게 기여했는지 설명하는 데 도움이 될 수 있습니다. 여기, 우리는 구현과 동시에 수행된 이론 기반 프로그램 평가의 캐나다 가정의학 상주 훈련의 작업 예를 제시한다. 프로그램 이론과 평가 사이의 연관성을 설명하는 것 외에도, 이 작업 예는 프로그램 이론의 정기적인 업데이트를 지원하기 위한 발견을 발견하는 것이 어떻게 지속적인 프로그램 개선을 촉진할 수 있는지를 보여준다. 마지막으로, 이 작업 예는 CBME 혁신 또는 기타 커리큘럼 개혁을 위한 프로그램 평가를 설계하려는 개인을 위한 템플릿으로 작용할 수 있다. 

The links between process and outcome evaluation and a clearly defined program theory can best be understood by looking at a worked example. Worked examples describe a problem and the problem-solving approach to arrive at a final solution with a focus on both the outcome and the process.57-61 Process-oriented worked examples centre on providing an explicit explanation of “how” and “why” certain steps were taken and/or can help explain how they may have contributed to an observed solution.57-61 Here, we present a worked example from Canadian family medicine residency training of a theory-based program evaluation carried out concurrently with implementation. In addition to illustrating the connections between program theory and evaluation, this worked example shows how uncovering findings to support regular updating of a program theory can facilitate ongoing continuous program improvement. Finally, this worked example can act as a template for individuals looking to design program evaluation for their CBME innovations or other curriculum reforms.

1.4 배경
1.4 Background

캐나다 가정의학회(CFPC)는 캐나다의 가정의학을 인증하는 학회이다. 2010년, CFPC는 CBME의 핵심 구성요소와 일치하도록 국가 가정의학 레지던트 교육 커리큘럼과 평가 지침을 변경했다.62 CFPC의 CBME 버전은 트리플 C 역량 기반 커리큘럼(Triple C)이라고 불린다. 트리플 C에 대한 자세한 설명은 트리플 C 역량 기반 커리큘럼 보고서 1과 2에서 확인할 수 있습니다. 
The College of Family Physicians of Canada (CFPC) is the accrediting and certifying body for the discipline of family medicine in Canada. In 2010, the CFPC transformed their national family medicine residency education curriculum and assessment guidelines to align with the core components of CBME.62 The CFPC's version of CBME is called the Triple C Competency-based Curriculum (Triple C). A detailed description of Triple C can be found in the Triple C Competency-based Curriculum Reports 1 and 2.63, 64

1.5 프로그램 평가 접근방식 요약
1.5 Summary of program evaluation approach

트리플 C의 프로그램 이론의 개발은 처음에 다음과 같은 사회적 책임 접근법을 사용하여 가정의학과 레지던트 교육을 어떻게 개선해야 하는지를 확인하는 데 초점을 맞췄다. "커뮤니티, 지역 및/또는 국가(캐나다)의 우선적인 건강 문제를 해결합니다." CFPC는 서로 다른 이해관계자들과 상의하여 데이터 검토를 수행했으며, 전문가 작업 그룹을 통해 2010년부터 캐나다에서 전국적으로 시행될 가정의학 레지던트 교육 개혁을 정의하기 위해 학계와 합의된 구축 접근법을 사용했다. CFPC는 아직 트리플 C를 인증 표준에 통합하지 않았기 때문에, 전공의 프로그램에 대한 가이드로 트리플 C를 제공했다. 63 프로그램 평가 계획에 포착된 프로그램 이론을 알릴 수 있는 적응이 발생하고 학습이 생성될 것으로 예상되었으며, 이는 가정의학의 교육과정 개편을 더욱 촉진시킬 것이다. 그림 1은 트리플 C의 원래 [프로그램 이론]을 보여준다. 트리플 C는 가정의사가 제공하는 의료 서비스의 접근성 및 품질 개선이라는 장기적 목표에 도달하기 위해 의료 교육의 질을 개선하는 데 중점을 둔다.

The development of the program theory of Triple C initially focused on identifying how family medicine residency education should be improved by using a social accountability approach to: “address the priority health concerns of the community, region, and/or nation (Canada).”65 The CFPC consulted with different stakeholders conducted data reviews, and through expert working groups, used a consensus building approach with the academic community to define the family medicine residency education reform to be implemented nationally in Canada from 2010 onwards.63 CFPC offered Triple C as a guide for use by residency programs as the CFPC had not yet incorporated Triple C into accreditation standards.63 It was anticipated that adaptation would occur and learnings would be generated that could inform the program theory captured in the program evaluation plan, which would further enhance family medicine's curriculum reform. Figure 1 illustrates the original program theory of Triple C, which is centred on improving the quality of medical education to reach a long-term goal of increased access to and improved quality of care provided by family physicians.

 

이론 기반 평가는 논리 모델을 사용하여 주요 활동을 설명하고 다양한 CBME 이해관계자에게 특정한 예상 장단기 결과를 포함한다. 그림 2는 가정의학과 거주자, 졸업생, 교수진, 전반적인 학문 분야 및 인증 기관으로서의 CFPC에 대해 가정한 결과를 가진 CFPC의 [논리 모델]을 설명한다. (그림 2)
Theory-based evaluations use a logic model to describe key activities and include anticipated short- and long-term outcomes specific to various CBME stakeholders. Figure 2 describes the CFPC's logic model with outcomes hypothesized for family medicine residents, graduates, faculty, the overall discipline, and the CFPC as the accrediting body. (Figure 2)

[논리 모델(그림 2)]은 [데이터 수집 기회를 식별하기 위한 지도] 역할을 했으며, 이는 프로세스와 예상 결과 모두를 평가하는 8개 영역을 포함하는 평가 계획에 통합되었다(그림 3). 연구 결과는 CFPC의 다음 반복적인 커리큘럼 갱신 주기를 개선하고 수정하는 데 사용되었다. 학습된 교훈은 실제 경험을 바탕으로 한 독창적인 프로그램 이론을 강화한다.
The logic model (Figure 2) acted as a map to identify opportunities for data collection, which would be incorporated into the evaluation plan that included eight areas of focus evaluating both process and anticipated outcomes (Figure 3). Findings have been used to refine and revise the CFPC's next iterative cycle of curriculum renewal. Learned lessons enhance the original program theory based upon lived experience.

1.6 프로그램 평가: 가정 테스트 및 원래 프로그램 이론 수정
1.6 Program evaluation: Testing assumptions and revising the original program theory

표 1에서, 우리는 [원래의 트리플 C 프로그램 이론]을 사용한 [이론 주도의 프로그램 평가 계획]과 수집된 데이터를 기반으로 한 후속 업데이트의 과정을 설명한다. 데이터 원본은 추가 정보에 관심이 있는 사람들을 위해 공유된 참조와 함께 나열됩니다. 이러한 가정들의 프로그램 평가를 위한 원래의 프로그램 이론과 데이터 소스의 가정은 평가 결과의 몇 가지 예와 결과적인 원래의 프로그램 이론에 대한 후속 개선사항과 함께 아래에 제시되어 있다. 우리는 이것이 트리플 C의 전체 평가에 포함된 모든 평가 영역의 완전한 목록이 아니라 특정 단기 결과에 초점을 맞춘 예시적인 사례라는 것을 강조하고 싶다.

In Table 1, we illustrate the process of a theory-led program evaluation plan using the original Triple C program theory and subsequent updating based on data collected. The data sources are listed with references shared for those interested in more information. Assumptions from the original program theory and the data source(s) for program evaluation of those assumptions are presented below, along with some examples of evaluation findings and the subsequent refinements to the original program theory that resulted. We do wish to emphasize that this is an illustrative example focusing on specific short-term outcomes, and not an exhaustive list of all areas of evaluation included in the full evaluation of the Triple C.

  • 가정 1.CFPC가
    [정책(인정 및 인증 기준)을 통한 가정의학과 레지던트 교육에 대한 CBME 접근방식의 발전]과,
    [레지던트 프로그램에 제공되는 변화 관리 지원]을 통해
    [캐나다 전역에서 트리플 C의 성공적인 채택]을 가능하게 할 것이다.

  • Assumption 1.The CFPC's advancement of a CBME approach to family medicine residency education through policies (accreditation and certification standards) and change management support offered to residency programs will enable successful adoption of Triple C across Canada.

 

전공의 프로그램 구현 프로파일(RPIP, 프로그램 감독에 의한 자체 보고서 조사 완료)의 결과, 모든 프로그램이 트리플 C를 구현했지만 시기는 다양했습니다. 일부 얼리 어답터들은 이 훈련 모델을 도입한 지 1~2년 이내에 트리플 C의 대부분의 핵심 요소를 갖추었고, 다른 프로그램들은 트리플 C를 구현하는 데 몇 년이 더 걸렸다. 트리플 C의 질적 이해와 평가 연구에서 나온 연구 결과는 트리플 C의 흡수에 영향을 준 요인과 관련된 더 많은 정보를 발견했다. 트리플 C의 초기 채택자들은 CFPC가 가이드 제공을 통해 트리플 C에 대한 지원을 제공하고 프로그램 경험과 교훈을 공유할 수 있는 기회를 제공하는 데 도움이 되었다고 보고하였다. CFPC가 2000년부터 2010년까지 가정의학과 프로그램 이사 및 의장과 협업한 [공동 창작co-creation 접근 방식]도 수용도를 높이는 데 도움이 되었다. 초기 채택자들은 CFPC가 적절한 지원을 제공했다고 느꼈지만, 후기 채택자들은 특히 트리플 C의 공동 제작에 관여하지 않은 새로운 프로그램 리더들과 함께 CFPC가 더 많은 지시적이고 지속적인 지원을 제공했어야 한다고 생각했다.

Findings from the Residency Program Implementation Profile (RPIP, self-report survey completed by program directors) indicated that all had implemented Triple C across their programs but timing varied.66 Some early adopters had most core elements of Triple C in place within a year or two of the introduction of this training model, while other programs took several more years to implement Triple C.66 Findings from the Qualitative Understanding and Evaluation Study of Triple C (QUEST, qualitative study carried out in 2016 examining experiences of Program Directors, Department Chairs, administrative support personnel, postgraduate Deans, and residents through semi-structured interviews and focus groups) uncovered more information related to factors that influenced uptake of Triple C.67 Early adopters of Triple C reported that the CFPC was helpful in providing support for Triple C through the provision of guides, as well as facilitating opportunities for the sharing of program experiences and lessons learned.66, 68 The co-creation approach taken by the CFPC, collaborating with family medicine program directors and chairs from 2000 to 2010,63, 66, 69 also helped increase uptake. While early adopters felt that the CFPC provided adequate support, late adopters, particularly with new program leaders who were not involved in the co-creation of Triple C, felt that the CFPC should have provided more directive and on-going support.66, 68

1.7 원래 프로그램 이론의 업데이트
1.7 Updating the original program theory

가정 1에서는 CFPC 정책과 변경 관리 지원이 트리플 C(Triple C)의 도입을 촉진할 것이라는 가설을 세웠다. 다만 2017년 표준이 발표되기 전부터 인가 변경 예상은 변화를 가능케 하기에 충분했다. 이 연구결과는 [프로그램 개발에 대한 이해관계자의 참여(특히 리더십의 참여)]가 구현을 촉진하는 데 도움이 되었음을 시사한다. CFPC의 가이드와 프로그램 간 초기 공유는 유용했지만, 나중에 CFPC가 더 많은 것을 할 수 있었을 것이라고 생각했다. [리더십 전환shift]을 지원하기 위한 효과적인 커뮤니케이션 및 종방향 변화 관리 전략은 향후 사용을 위한 핵심 학습입니다.

In Assumption 1, it was hypothesized that CFPC policies and change management support would facilitate Triple C uptake. However, the anticipation of accreditation changes even before the standards were released in 2017 was enough to enable change. The findings suggest that stakeholder involvement in the development of Triple C, especially program leadership, helped to facilitate implementation. The CFPC's guides and early sharing across programs were useful, but later adopters who were not as involved felt the CFPC could have done more. Effective communication and longitudinal change management strategies to support leadership shifts are a key learning for future use.

  • 가정 2.레지던트 프로그램에 의한 트리플 C의 채택은
    [외부 요인](예: 가정의학 교육/실천 및 의료 교육 문화와 관련된 지방 정책)과
    [내부 요인](예: 교수 참여, 학습자 인구 통계 및 의대/ 레지던스 리더십 및 인프라 지원)에 따라 달라질 것이다.
  • Assumption 2.Uptake of Triple C by residency programs will vary depending upon
    external factors (eg, provincial policies related to family medicine education/practice and medical education culture) and
    internal factors (eg, faculty engagement, learner demographics, and medical school/residency leadership and infrastructure support).

RPIP의 연구 결과는 트리플 C의 시행 시기가 캐나다의 10개 주와 교육 현장에 걸쳐 위치한 17개 대학 기반 프로그램에 걸쳐 크게 다르다는 것을 보여주었다. 결국 흡수가 확인되었지만, 시간 변동성이 관심 포인트였다. 가정의학 종방향 조사의 결과는 대다수의 전공의가 트리플 C에 특화된 역량 기반 프로그램 평가 요소뿐만 아니라 가정의학을 중심으로 한 포괄적이고 지속적인 관리 경험을 경험했다는 것을 확인하였다. (FMLS 2010-2017, 캐나다의 16개 가정의학 프로그램에 걸쳐 레지던트 출입 시 가정의학과 레지던트를 대상으로 실시한 자가 보고서 조사) 

Findings from the RPIP indicated that the timing of Triple C implementation varied greatly across the 17 university-based programs situated across 10 provinces in Canada and across teaching sites.66 Although eventual uptake was identified, the time variability was a point of interest. Findings from the Family Medicine Longitudinal Survey (FMLS 2010-2017, self-report survey administered to family medicine residents at entry to and at exit from residency across 16 family medicine programs in Canada) identified that the majority of residents had experienced comprehensive and continuity of care experiences centred in family medicine as well as competency-based programmatic assessment elements specific to Triple C.6670 

QUEST 연구는 지지적 행정 인프라, 효과적인 의사소통 네트워크, 보호된 자원(예: 인적 및 재정적 자본 및 시간)과 이해관계자(예: 대학원 학장 및 보건부)와 협의적 접근에 참여한 프로그램이 Triple C 전환이 더 원활하다고 보고했다. 인증 검토 및 훈련 현장의 확장을 동시에 겪고 있는 사람들은 기존의 자금 지원과 리더십 지원을 활용하여 트리플 C로 전환하는 데 필요한 변화 사항을 포함할 수 있었다. 트리플 C의 핵심 구성 요소에 대한 서로 다른 해석이나 정의와 같은 특정 요인들은 구현에 어려움을 유발했다. 트리플 C의 발전에 관련된 모든 사람들 사이의 [일관된 공유 정신 모델]은 관리자, 프로그램 조언자, 커리큘럼 설계자 및 대학원 학장과 같은 이해관계자 간의 지속적인 의사소통과 협력을 통해 개발되었다. 이러한 [공유된 정신 모델]은 구현을 추진하고 지원하며, 수용을 촉진하는 데 도움이 되었습니다. 또한, 가정의학과 레지던트들을 지도하는 모든 지도교사에 대한 교수진 개발은 주의를 요하는 분야로 일방적으로 파악되었다.

The QUEST study reported that programs with supportive administrative infrastructures, effective communication networks, protected resources (eg, human and financial capital and time), and who had engaged in consultative approaches with stakeholders (eg, postgraduate deans and ministries of health) had smoother Triple C transitions.6668 Those who were simultaneously undergoing accreditation reviews and/or expansion of training sites were able to include changes needed to transition to Triple C, capitalizing on pre-existing funding and leadership support.6668 Certain factors challenged implementation, such as differing interpretations or definitions of the core components of Triple C.6668 Consistent shared mental models amongst all those involved in advancing Triple C were developed through ongoing communication and collaboration between stakeholders such as administrators, program advisors, curriculum designers, and postgraduate deans. These shared mental models helped to drive and support implementation6668 and facilitated uptake. Additionally, faculty development for all preceptors coaching family medicine residents was identified unilaterally as an area requiring attention.6668

1.8 원래 프로그램 이론의 업데이트
1.8 Updating the original program theory

RPIP와 FMLS의 연구 결과는 프로그램이 트리플 C를 구현했음을 확인하였다. 두 번째 가정은 외부 및 내부 요인이 트리플 C의 채택에 영향을 미칠 것이라는 점에 주목했지만 많은 세부 사항을 제공하지 않았다. 모든 프로그램이 트리플 C를 구현했지만, 시간과 관련된 변동성은 QUEST 연구를 통해 더욱 이해되었다. 이에 따라 CFPC는 지방정부와 대외정책이 전공의 교육과 전공의 교육 개혁에 어떤 영향을 미치는지, 또 어떤 방식으로 영향을 미치는지 가장 잘 이해할 수 있는 방법을 고민하게 되었다. 이 문제에 대한 프로그램 평가에서 수집된 정보가 부족하기 때문에 CFPC는 이러한 [외부 영향]을 보다 완전하게 연구할 수 있는 방법을 적극적으로 모색하고 있다. 도입uptake에 영향을 미치는 [내부 요인] 측면에서는, 기존 개혁 프로세스와 인가 검토, 신규 자원을 활용해 트리플 C를 내장한 프로그램이 어떻게 더 쉽게 전환되는지 들어볼 수 있어 흥미로웠다. 이를 통해 변경 촉진 요인에 대한 새로운 통찰력을 얻을 수 있습니다.

Findings from the RPIP and from the FMLS identified that programs had implemented Triple C. The second assumption noted that both external and internal factors would influence the uptake of Triple C but it did not offer many specifics. Although all programs implemented Triple C, the variability related to time was further understood from the QUEST study. This has prompted the CFPC to consider how best to understand how and if provincial governments and external policies influence residency education and residency education reform. Because of the lack of information that was gathered in the program evaluation about this issue, the CFPC is actively exploring how to study these external influences more fully. In terms of the internal factors influencing uptake, it was interesting to hear how programs that took advantage of existing reform processes, accreditation reviews, and new resources to embed Triple C transitioned more easily. This offers new insight on change facilitators.

  • 가정 3.가정의학과 수련생들이 트리플 C를 경험한다면, 졸업생들은
    [포괄적인 가정의학을 실천하는 것]을 선택할 것이고,
    [전통적으로 서비스가 부족할 수 있는 다양한 지역사회]에서 일하는 것을 선택할 것이며,
    [지속적인 학습 욕구를 스스로 평가하고 해결]할 수 있을 것이다.
  • Assumption 3.If family medicine trainees experience Triple C, then graduates will choose to practice comprehensive family medicine; will choose to work in diverse communities that may be traditionally underserved; and will be able to self-assess and address ongoing learning needs.

FMLS 결과: 교육 프로그램을 마친 후 트리플 C 비전을 반영한 학습 및 실습 경험이 증가했다고 보고했습니다. 또한 연구 결과는 프로그램과 CFPC가 해결해야 할 학습 및 실습 경험의 몇 가지 차이를 나타냈다. 
Findings from the FMLS: Residents reported an increase in learning and practice experiences reflecting the Triple C vision after completing their training program.66 Findings also indicated a few gaps in learning and practice experiences to be addressed by programs and the CFPC.66

National Physician Survey(NPS 2010, 범캐나다 자체 보고서 조사)에서 얻은 연구 결과. 가족 의사의 진료 범위에 특정한 질문이 트리플 C 이전 대조군으로 사용되었다. NPS는 트리플 C 이전 코호트와 트리플 C 이후 코호트를 비교함으로써 여러 임상 영역 및 환경에서 포괄적 치료를 시행하려는 거주자의 의사가 상당히 증가했음을 보여주었다. 거주자의 응답은 또한 특정 임상 영역 및 환경에서 실습하려는 의도의 감소를 보여 주었으며, 이는 이러한 발견을 추진하는 요인을 이해하기 위한 추가 평가 및 연구의 필요성을 유발했다.

Findings from the National Physician Survey (NPS 2010, Pan-Canadian self-report survey administered to physicians in practice. Questions specific to scope of practice of family physicians were used as pre-Triple C controls): the NPS illustrated a significant increase in residents' intention to practice comprehensive care in multiple clinical domains and settings by comparing pre- and post-Triple C cohorts.66, 70 Responses from residents also illustrated decreased intentions to practice in certain clinical domains and settings,66, 70 which has prompted the need for additional evaluation and research to understand factors that drive these findings.

1.9 원래 프로그램 이론 업데이트
1.9 Updating the original program theory

시간이 지남에 따라 FMLS 결과를 프로그램에 다시 공유하는 것이 트리플 C의 구현에 도움이 된다는 것은 구현과 동시에 실행되어야 하는 프로그램 평가의 필요성을 강화시켰다. 초기 프로그램 평가 계획은 CFPC가 트리플 C에 대해 무엇이 효과가 있고, 무엇이 안 되고, 무엇이 바뀌어야 하는지를 이해하도록 돕기 위해 개발되었지만, 프로그램 평가 데이터는 커리큘럼과 평가의 지역 개선을 수행하는 프로그램에도 매우 유익하다는 것이 일찍부터 분명했다.

The demonstration over time that sharing FMLS results back to programs was helpful in implementation of Triple C reinforced the need for program evaluation to run concurrently with implementation. While the initial program evaluation plan was developed to help the CFPC to understand what worked, what did not, and what needed to be changed about Triple C, it was evident early on that the program evaluation data were also immensely beneficial to programs in carrying out local improvement of their curriculum and assessment.

2 고찰
2 DISCUSSION

CBME 구현의 작업 사례로 트리플 C 역량 기반 커리큘럼을 사용하여 [프로세스와 결과]를 모두 살펴보는 [이론 기반 평가]를 통해 프로그램 이론을 개발하고 업데이트하는 방법을 시연했다.

  • 이 과정은 도전이나 문제를 파악하는 것에서 시작한다. 그리고 공동체의 필요와 자산, 도전이나 문제에 대응하기 위한 전략, 전략을 원하는 결과나 결과에 연결하는 가정을 결정한다.
  • 사회적 요구와 같은 문제 및 결과에 영향을 미칠 수 있는 영향 요인들은 또한 독창적인 프로그램 이론의 개발에서 확인된다.
  • 일단 프로그램 이론이 개발되면, CBME의 구현을 지원하기 위한 입력과 활동, 구현의 제정 과정, 그리고 이러한 초기 투자가 어떻게 장단기적인 결과로 이어질 것으로 예상되는지 등 로직 모델에 포함되어야 할 특징들이 명백해진다.
  • 우리는 또한 프로그램 이론로직 모델이, 어떻게 의료 교육에서 새로운 훈련 모델을 구현하는 과정과 결과에 대한 질문에 효과적으로 답하기 위해, 평가 방법론과 데이터 수집 방법의 선택을 가이드할 수 있는지 보여주었다.

Using the Triple C Competency-based Curriculum as a worked example of CBME implementation, we have demonstrated how to develop and update a program theory through theory-based evaluation that looks at both processes and outcomes.

  • This process begins by
    • identifying the challenge or problem,
    • determining
      • the needs and assets of the community,
      • strategies to counter the challenge or problem, and
      • the assumptions
    • that are held that link the strategies to the desired outcomes or results.
  • Influential factors that may impact the problem and outcomes, such as societal needs, are also identified in the development of an original program theory.
  • Once the program theory is developed, the features that should be included in a logic model become evident, such as
    • inputs and activities to support implementation of CBME,
    • process of enacting implementation, and
    • how these initial investments are anticipated to lead to short- and long-term outcomes.
  • We have also illustrated how a program theory and logic model can guide the selection of evaluation methodologies and data collection methods to effectively answer questions about the process and outcomes of implementing new training models in medical education.


우리는 우리의 작업 예에서 프로그램 평가 과정의 몇 가지 예를 제시했지만, 우리는 또한 우리의 연구에서 나타난 발견들이 어떻게 해석되고 레지던트 프로그램 구현을 위한 추가적인 개선을 위해 사용될 수 있는지 탐구했다. CFPC가 프로그램 평가를 구현과 함께 사용하여 커리큘럼 구현과 개혁을 지속적으로 알리는 "수집과 행동"을 모델링하는 것은 캐나다의 가정의학과 레지던트 프로그램에 여러 가지 이점을 가져왔다. 잘 설계된 평가의 과정과 결과가 지속적인 변화와 지속적인 거주 교육 개선을 추진하는 데 중요한 역할을 할 수 있다는 것은 분명하다. 참여자(즉, 교수, 교사, 관리자 및 주민)가 트리플 C의 성장을 뒷받침하는 실질적인 증거를 가지고 있었기 때문에 모델링 수집과 행동은 평가와 연구에 참여를 장려했다. 프로그램 평가의 결과는 이 분야의 미래를 개선하기 위한 변화를 추진하는 데 중요한 역할을 했다.

While we have presented some examples of the program evaluation process in our worked example, we have also explored how the findings that emerged from our study could be interpreted and used for further improvements for residency program implementation. The CFPC's use of a program evaluation alongside implementation, modelling “collection and action” that uses data on an ongoing basis to inform curriculum implementation and reform, has had multiple benefits to family medicine residency programs in Canada. It is clear that the process and outcomes of a well-designed evaluation can play a significant role in driving ongoing change and ongoing residency education improvement. Modelling collection and action encouraged engagement in evaluation and research since participants (ie, faculty, teachers, administrators, and residents) had tangible evidence that their efforts supported the growth of Triple C. The outcomes of the program evaluation played a significant role in driving change to improve the future of this discipline.

3 결론
3 CONCLUSION

이러한 CBME 교육 혁신에서 수행된 것과 같이 의도적으로 변화와 평가를 결합하면 새로운 혁신을 구현하고 경험한 사람들의 경험에서 귀중한 정보를 얻을 수 있습니다. "현장에서 나온from the field" 연구 결과는 [사회적 프로세스와 메커니즘이 프로그램이 경험되고 구현되는 방식]과 이러한 [숨겨진 요인의 결과로 결과가 어떻게 다를 수 있는지]에 중요한 역할을 한다는 개념을 강화한다. 또한 프로그램 평가의 결과는 현재 프로세스의 개선을 지원할 수 있을 뿐만 아니라 학습된 교훈을 조명하고 자원의 효과적이고 효율적인 사용을 지원함으로써 향후 구현을 안내할 수 있다. 평가와 업데이트된 프로그램 이론의 개발은 또한 발견을 기반으로 하는 [새로운 변화와 이론]의 도입을 촉진하는데, 이는 '바퀴의 재창조'가 아닌 [누적적 과학cumulative science]에 기여하려는 소기의 목표를 뒷받침한다.

Deliberately pairing evaluation alongside change—such as was done in this CBME education transformation—yields invaluable information from the experiences of those implementing and experiencing a new innovation. Findings “from the field” reinforce the notion that social processes and mechanisms play a significant role in the ways in which a program is experienced and implemented and in how outcomes may differ as a result of these otherwise hidden factors. In addition, findings from program evaluation can support the improvement of current processes, as well as guide future implementation by shedding light on lessons learned and supporting effective and efficient use of resources. Evaluation and the development of an updated program theory also facilitate the introduction of new changes and theories that build on findings, which supports the desired goal of contributing to cumulative science rather than “reinventing the wheel.”

향후 연구는 시간에 따른 변화를 주도, 지지 및 도전하는 요인의 추세를 식별하기 위해 진행 중인 종적 평가의 이점을 얻을 수 있으며, 이러한 요인들이 시간에 따라 변화하는지 여부, 방법 및 이유를 파악할 수 있다.

Future studies may benefit from ongoing longitudinal evaluation to identify trends in factors that drive, support, and/or challenge change over time and if, how, and why these factors shift over time.

 


J Eval Clin Pract. 2020 Aug;26(4):1096-1104. doi: 10.1111/jep.13344. Epub 2020 Jan 11.

 

Process and outcome evaluation of a CBME intervention guided by program theory

Affiliations collapse

Affiliations

1Postgraduate Medical Education, University of Alberta, Edmonton, Alberta, Canada.

2Department of Family Medicine, University of Alberta, Edmonton, Alberta, Canada.

3Department of Education, College of Family Physicians of Canada, Toronto, Ontario, Canada.

4Department of Family and Community Medicine, University of Toronto, Toronto, Ontario, Canada.

PMID: 31927788

PMCID: PMC7496603

DOI: 10.1111/jep.13344

Abstract

Rationale: Competency-based medical education (CBME) has gained momentum as an improved training model, but literature on outcomes of CBME, including evaluation of implementation processes, is minimal. We present a case for the following: (a) the development of a program theory is essential prior to or in the initial stages of implementation of CBME; (b) the program theory should guide the strategies and methods for evaluation that will answer questions about anticipated and unintended outcomes; and (c) the iterative process of testing assumptions and hypotheses will lead to modifications to the program theory to inform best practices of implementing CBME.

Methods: We use the Triple C Competency-based Curriculum as a worked example to illustrate how process and outcome evaluation, guided by a program theory, can lead to meaningful enhancement of CBME curriculum, assessment, and implementation strategies. Using a mixed methods design, the processes and outcomes of Triple C were explored through surveys, interviews, and historical document review, which captured the experiences of various stakeholders.

Findings: The theory-led program evaluation process was able to identify areas that supported CBME implementation: the value of a strong nondirective national vertical core supporting the transformation in education, program autonomy, and adaptability to pre-existing local context. Areas in need of improvement included the need for ongoing support from College of Family Physicians of Canada (CFPC) and better planning for shifts in program leadership over time.

Conclusions: Deliberately pairing evaluation alongside change is an important activity and, when accomplished, yields valuable information from the experiences of those implementing and experiencing a program. Evaluation and the development of an updated program theory facilitate the introduction of new changes and theories that build on these findings, which also supports the desired goal of contributing toward cumulative science rather than "reinventing the wheel."

Keywords: competency-based education; continuous quality improvement; medical education; outcome evaluation; process evaluation; program evaluation.

마라톤입니다, 단거리가 아닙니다: CBME 도입의 신속 평가(Acad Med, 2020)
It’s a Marathon, Not a Sprint: Rapid Evaluation of Competency-Based Medical Education Program Implementation
Andrew K. Hall, MD, FRCPC, MMEd, Jessica Rich, PhD, J. Damon Dagnone, MD, FRCPC, MSc, MMEd, Kristen Weersink, MD, MSc, Jaelyn Caudle, MD, FRCPC, EMDM, Jonathan Sherbino, MD, FRCPC, MEd, FAcadMEd, Jason R. Frank, MD, FRCPC, MA(Ed), Glen Bandiera, MD, FRCPC, MEd, and Elaine Van Melle, PhD 

 

의료 제공의 질에 대한 광범위한 우려는 대학원 의료 교육의 "행동 촉구"와 역량 기반 의료 교육(CBME)으로의 대규모 패러다임 전환을 자극했다.1 CBME는 다음과 같이 정의된다. "역량의 조직적 프레임워크를 사용하여 의료 교육 프로그램의 설계, 구현, 평가 및 평가에 대한 성과 기반 접근 방식" 역량 프레임워크는 이미 전 세계의 많은 교육 프로그램에 잘 통합되어 있지만, CBME의 통합과 구현은 전체적으로 어려운 과제였다. 다른 혁신과 마찬가지로, 그것의 성공은 시간이 지남에 따라 가정, 행동, 프로세스 및 제품의 변화에 영향을 미침으로써 프로그램의 문화를 의도적으로 전환하려는 교육 지도자들의 노력에 달려 있다. 이러한 변화 노력의 크기 때문에 시스템이 현 상태로 되돌아가는 경향이 강하다.9 결과적으로, 변형 변화는 초기 구현 노력의 강점과 과제를 평가(및 이에 대응)하기 위한 체계적인 노력이 필요하다. 의학 교육 지도자들은 분명히 이것을 인식하고 있다: "종적이고 반복적인 프로세스에서 CBME의 평가는 필수적이며 의료 교육 개혁을 시행하는 모든 조직의 책임이다."1
Broad concerns about the quality of health care provision have stimulated a “call to action” in postgraduate medical education and a massive paradigm shift toward competency-based medical education (CBME).1 CBME is defined as “an outcomes-based approach to the design, implementation, assessment, and evaluation of medical education programs, using an organizing framework of competencies.”2 Competency frameworks are already well integrated into many training programs around the world,3 but the integration and implementation of CBME in its entirety has been challenging,4,5 As with any transformative innovation, its success is dependent upon the efforts of educational leaders to deliberately shift the culture of a program by affecting a change in assumptions, behaviors, processes, and products over time.6–8 Due to the magnitude of this change effort, there is a strong tendency of the system to revert to the status quo.9 Consequently, transformational change requires systematic efforts to evaluate (and respond to) the strengths and challenges of early implementation efforts.10 Medical education leaders clearly recognize this: it has been observed that the “evaluation of CBME in a longitudinal, iterative process is essential and is a responsibility of all organizations implementing medical education reform.”1

캐나다 왕립의과대학(Royal College of Physician and Sursors)은 현재 캐나다의 67개 전공과목 및 세부전공 교육 프로그램에 걸쳐 11개의 CBME 모델을 구현하고 있습니다. 응급의료(EM)는 2018년 7월 1일부터 국가 차원에서 CBME를 시행할 예정이었다. 그러나 2015년 퀸스 대학의 모든 대학원 교육 프로그램이 2017년 7월 1일자로 유사한 CBME 모델을 동시에 구현하기로 현지 결정이 내려졌다.12 이에 따라 퀸스 대학의 EM 대학원 프로그램은 국가 파생 커리큘럼의 지역 구현을 연구할 수 있는 이상적인 기회를 제공했고, 이를 통해 퀸스 대학의 EM 대학원 프로그램은 국가 파생 커리큘럼을 제공하고, 다음 해에 국가 롤아웃을 알릴 수 있는 잠재력을 제공한다.
The Royal College of Physicians and Surgeons of Canada (Royal College) is currently implementing a specific CBME model, termed Competence By Design (CBD),11 across all 67 specialty and subspecialty postgraduate training programs in Canada. Emergency medicine (EM) was scheduled to implement CBME on a national level starting July 1, 2018. In 2015, a local decision was made however, for all postgraduate training programs at Queen’s University to implement a similar model of CBME simultaneously as of July 1, 2017.12 Accordingly, the Queen’s University EM postgraduate program provided an ideal opportunity to study local implementation of the nationally derived curriculum, offering the potential for informing the national rollout to take place the following year.

과제는 [변혁적 변화 이니셔티브로서 CBME를 평가할 수 있는 접근 방식]을 찾는 것이었다. 즉, 시간이 지남에 따라 상당한 변화가 원하는 방향으로 발생하는지 여부를 모니터링할 수 있고, 그렇지 않은 경우 필요한 과정 수정 사항을 식별할 수 있는 접근 방식을 찾는 것이었다. 프로그램 평가 분야에서, [변혁적 평가 및 연구]는 인권과 사회 정의의 문제를 다루는 데 초점을 맞춘 이니셔티브를 위해 특별히 개발된 방법론이다.13 우리가 아는 한, 변혁적 프로그램 변화를 평가하는 데 초점을 맞춘 구체적인 방법은 없다. 그러나 [신속한 평가]는 "내부 운영 결과와 외부 환경 피드백을 반복 프로세스에서 함께 사용하여 이니셔티브의 전체 전략을 테스트하고 개선하는 대화형 및 적응형 관리 프로세스"입니다.14 신속한 평가는 의도된 변경의 성격과 범위에 대한 사양에 의존합니다. 혁신이 원하는 변환을 달성하고 있는지 여부를 심층적으로 이해할 수 있습니다. 또한 구현의 충실도라고도 알려진 [혁신이 의도된 대로 구현되고 있는지]를 이해하면 15는 과정 수정이 필요할 수 있는 영역을 식별할 수 있다. 따라서 신속한 평가는 전환적 변화 이니셔티브로서의 CBME의 평가와 CBME 구현이 원하는 결과 달성과 어떻게 관련되는지에 대한 이해를 모두 가능하게 한다.16
The challenge was to find an approach that would allow for the evaluation of CBME as a transformational change initiative—an approach that could monitor whether or not substantial shifts were occurring in the desired direction, over time, and if not, to identify any required course corrections. In the field of program evaluation, Transformative Evaluation and Research is a methodology specifically developed for initiatives focused on addressing issues of human rights and social justice.13 To our knowledge, there is not a specific method that focuses on evaluating transformational program change. Rapid Evaluation, however, is “an interactive and adaptive management process in which internal operational results and external environmental feedback are used together in an iterative process to test and improve on an initiative’s overall strategy.”14 Rapid Evaluation relies on specification of the nature and extent of the intended change and so can allow for an in-depth understanding of whether or not an innovation is achieving the desired transformation. Furthermore, understanding if an innovation is being implemented as intended, also known as fidelity of implementation,15 allows for identification of areas where course correction may be required. Therefore, Rapid Evaluation enables both the evaluation of CBME as a transformative change initiative and an understanding of how CBME implementation relates to achieving desired outcomes.16

이 기사에서, 우리는 퀸즈 대학의 EM을 작업 사례로 사용하여 프로그램 수준에서 변환 변화 이니셔티브로서 CBME를 평가하기 위한 새로운 접근 방식으로 신속 평가의 사용을 설명한다. 평가는 구현의 충실도를 측정하고 구현의 초기 결과를 확인하는 데 초점을 맞췄다.
In this article, we describe the use of Rapid Evaluation as a novel approach to evaluating CBME as a transformational change initiative at the program level, using EM at Queen’s University as a worked example. The evaluation focused on measuring the fidelity of implementation and identifying early outcomes of implementation, both anticipated and unanticipated.

방법
Method

[사례 연구 방법론 ]17을 사용하여 [신속한 평가의 반복적 주기]를 사용하여 퀸스 대학교 EM 프로그램에서 CBME를 구현한 실제 경험을 탐색했다. 앞에서 설명한 신속 주기 평가 접근 방식을 기반으로 한 신속 평가 접근 방식은 [진화적 적응 과정]에 관여하는 증거를 포착하고 적시에 제공하는 데 초점을 맞췄다(그림 1). 이 모델에서, 평가자는

  • (구현 단계에 적합한 맥락과 예상 결과를 포함한) [변화의 성격에 대한 명시적인 설명]으로 시작한다.
  • 이어서 실제 구현에 대한 정보를 수집합니다.
  • 그런 다음 이러한 데이터를 사용하여 실제 구현 프로세스와 결과를 설명하고, 혁신이 의도한 대로 구현되고 있는지 확인하고, 예상 및 예상치 못한 결과를 포착할 수 있습니다.19
  • 그런 다음, 이해관계자에게 즉시 피드백이 제공되며, 필요한 모든 과정 수정이 식별 및 구현됩니다.
  • 그런 다음 평가는 미리 정해진 간격으로 반복되어 적시에 지속적인 구현 모니터링을 할 수 있다.

We used a case-study research methodology17 to explore the lived experience of implementing CBME in the Queen’s University EM program using iterative cycles of Rapid Evaluation. Building on the previously described Rapid-Cycle Evaluation approach,10 our Rapid Evaluation approach focused on capturing and providing timely evidence to engage in a process of evolutionary adaptation (Figure 1). In this model,18 

  • the evaluator starts with an explicit description of the nature of the change, including the context and anticipated outcomes appropriate to the stage of implementation.
  • This is followed by collection of information about the actual implementation.
  • These data can then be used to describe the actual implementation processes and outcomes to determine if the innovation is being implemented as intended and to capture anticipated and unanticipated outcomes.19 
  • Feedback is then immediately provided to stakeholders, and any required course corrections are identified and implemented.
  • The evaluation is then repeated at predetermined intervals, allowing for timely ongoing monitoring of implementation.



중요한 특징과 의도된 결과에 대한 명시적인 설명을 만들기 위해, 우리는 핵심 구성요소 프레임워크(CCF)를 사용했다.20 CCF는 CBME 프로그램의 구성 요소를 결과 역량, 시퀀싱 진행, 맞춤형 학습 경험, 역량 중심 지침 및 프로그래밍 평가의 5가지 범주로 구성한다. CCF는 퀸스 대학교 응급의학과 훈련 프로그램의 고유한 맥락에서 해석되어 예상 단기 결과와 함께 의도된 대로 구현될 경우 CBME가 어떻게 보일지에 대한 명시적인 설명을 생성했다.
To create an explicit description of the critical features and intended outcomes, we used the core components framework (CCF).20 The CCF organizes the building blocks of a CBME program into 5 categories:

  • outcome competencies,
  • sequenced progression,
  • tailored learning experiences,
  • competency-focused instruction, and
  • programmatic assessment.

The CCF was interpreted in the unique context of Queen’s University EM training program to generate an explicit description of what CBME should look like if implemented as intended, along with anticipated short-term outcomes.

데이터 수집을 시작하기 전에 퀸스 대학 보건 과학 및 부속 교육 병원 연구 윤리 위원회(Emed-262-17)로부터 연구 승인을 받았다. 우리는 CBME(구현 후) 구현 후 2회의 신속 평가 사이클을 실시했습니다. 데이터는 그룹당 최대 5명의 참가자와 함께 주요 이해관계자(주민, 교수진, 학술 자문자, CBME 리드, 프로그램 디렉터[PD])의 포커스 그룹 인터뷰를 사용하여 실제 구현을 측정하기 위해 3개월(2017년 9월 21일-10월 5일)과 9개월(2018년 2월 26일-3월 9일)에 획득되었다. 이해관계자가 구현 후(3개월)에 신속하게 참여하도록 하고, 이해관계자가 두 번째 평가 주기(9개월) 전에 후속 적응을 인지할 수 있도록 하기 위해 이러한 평가 간격을 선택했다. 
Before commencing data collection, we received study approval from the Queen’s University Health Sciences and Affiliated Teaching Hospitals Research Ethics Board (Emed-262-17). We engaged in 2 Rapid Evaluation cycles after implementation of CBME (post-implementation). Data were acquired at 3 months (September 21–October 5, 2017) and 9 months (February 26–March 9, 2018) post-implementation to measure the actual implementation, using focus group interviews of key stakeholders (residents, faculty members, academic advisors, CBME lead, program director [PD]) with up to 5 participants per group. We chose these intervals of evaluation to ensure stakeholders were rapidly engaged post-implementation (3 months) and to allow for stakeholders to perceive subsequent adaptations before the second evaluation cycle (9 months).

표 1은 참가자 그룹과 표본 크기를 요약한 것입니다. 우리는 모든 잠재적 이해관계자 그룹을 대표하고 각 그룹의 모든 잠재적 초점 그룹 참가자를 참여시키기 위해 참가자 그룹을 선택했다. 인터뷰와 포커스 그룹은 프로그램 리더십이나 구현 프로세스에 관여하지 않은 연구팀(J.R.)의 한 멤버에 의해 조정되었습니다. 3개월 동안의 인터뷰 질문은 프로그램에서의 이해관계자의 역할과 관련된 이해 강점과 과제, 프로그램 구현에 대한 경험과 우려, 지속적인 프로그램 개발 및 구현을 개선하기 위한 제안 등을 탐구하는 데 초점을 맞췄다. 9개월의 인터뷰 질문은 3개월의 새로운 발견에 의해 알려졌고 CBME의 중요한 기능과 관련된 새로운 주제를 포착하기 위해 CCF에 매핑되었다. 인터뷰 가이드는 보충 디지털 부록 1과 2에서 구할 수 있으며 https://links.lww.com/ACADMED/A762에서 구할 수 있다.

Table 1 presents a summary of our participant groups and sample sizes. We chose participant groups to ensure all potential stakeholder groups were represented, and all potential focus group participants from each group were invited to participate. Interviews and focus groups were moderated by one member of our research team (J.R.), who was not involved in the program leadership or implementation process. Interview questions at 3 months focused on exploring stakeholders’ perceived strengths and challenges associated with their role(s) in the program, experiences and concerns with program implementation, and suggestions for refining ongoing program development and implementation. The 9-month interview questions were informed by the 3-month emergent findings and mapped to the CCF to capture emerging themes related to the critical features of CBME. Interview guides are available in Supplemental Digital Appendices 1 and 2, available at https://links.lww.com/ACADMED/A762.

데이터 수집 중 각 이해관계자 그룹과의 1차 회의 후 포화도 21이 달성되었다. 이해관계자 그룹 내 또는 이해관계자 그룹 전체의 논평에서 새로운 통찰력은 나타나지 않았다. 이 시점에서, "CCF에 기초하여, 각 핵심 구성 요소와 관련된 새로운 주제를 설명하기에 충분한 데이터가 있는가?"라는 연구팀의 질문에 답함으로써 [이론적 포화도]를 결정했다. 우리는 emerging themes에 대해 논의하고 다양한 통찰력의 반대증거counterevidence을 확인하기 위해 3개월과 9개월에 교수진이 있는 두 번째 포커스 그룹을 사용했다. 참가자들의 허락을 받아, 인터뷰는 오디오 녹음되었고, 외부 전사 서비스에 의해 문자 그대로 옮겨졌으며, 우리 연구팀(J.R.)의 한 사람이 정확성을 확인했다. 데이터 수집 및 분석에 대한 전반적인 접근 방식은 납치적이어서 CCF와 관련하여 주제와 새로운 통찰력이 나타날 수 있었다. 정성적 연구 내에서, 유괴는 인식된 결과와 그 선례에 대한 그럴듯한 추론을 만들기 위해 데이터 기반 귀납 분석과 이론 기반 연역 분석을 결합한다.22 우리는 데이터 세트에 주석을 달고 코딩하기 위해 NVivo 소프트웨어 버전 11.4.3(QSR International Ltd., Melbourne, Australia)을 사용했다. 3개월간의 인터뷰에 대한 주제 분석에 이어 기술 보고서를 작성하여 즉시 모든 지역 및 국가 이해 관계자에게 이메일을 통해 배포하였다. 3개월 간의 기술 보고서는 지역 이해관계자에 의한 회원 데이터 확인과 진행 중인 지역 및 국가 구현을 알리기 위한 정보의 신속한 확산이라는 두 가지 목적을 수행했다. 
During data collection, saturation21 was achieved after one round of meetings with each stakeholder group. No new insights were emerging from comments within or across the stakeholder groups. At this point, theoretical saturation was determined by posing and answering the following question as a research team: “based on the CCF, do we have sufficient data to illustrate emergent theme(s) relevant to each core component?” We used the second focus group with faculty at both 3 and 9 months to discuss emerging themes and to check for counterevidence of divergent insight(s). With the permission of participants, interviews were audiorecorded, transcribed verbatim by an external transcription service, and checked for accuracy by one member of our research team (J.R.). The overall approach to data collection and analyses was abductive, allowing for themes and novel insights to emerge in relation to the CCF. Within qualitative research, abduction involves a combination of data-driven inductive analysis and theory-based deductive analysis to make plausible inferences about perceived consequences and their antecedents.22 We used NVivo software, version 11.4.3 (QSR International Ltd., Melbourne, Australia) to annotate and code the dataset. Following thematic analysis of 3-month interviews, a technical report was generated and immediately disseminated to all local and national stakeholders via email. The 3-month technical report served dual purposes: member checking data by local stakeholders and rapid spread of information to inform ongoing local and national implementation.

결과.
Results

이상적인 구현에 대한 설명: 상황, 변경 사항 및 예상 결과
Description of ideal implementation: Context, changes, and expected outcomes

CCF를 사용하여 정의한 CBME 구현의 [기대 결과 요약]은 표 2에 제시되어 있다. 퀸스 유니버시티 전자파 훈련 프로그램은 왕립대학이 개략적으로 설명한 CBD 모델로 설계되었으며, 여기서 EM 수련의사는 훈련의 4개의 순차적 단계 내에서 분야별 역량을 개발하기 위해 의대에서 습득한 기술을 기반으로 한다.23 EM 전문 위원회에서 도출한 문서이다.CBME와 관련된 것은 EM24에 대한 신뢰할 수 있는 전문 활동(EPA)과 구성 요소 마일스톤과 EM.25에 대한 필수 교육 경험을 포함했다. 참고: CBD에서 26, 역량은 각 EPA의 구성 마일스톤과 함께, 단계-특이적 EPA에 의해 정의된다.

A summary of the expected outcomes of CBME implementation, as defined using the CCF, is presented in Table 2. The Queen’s University EM training program was designed in the model of CBD as outlined by the Royal College, in which training EM physicians build upon the skills acquired in medical school to develop discipline specific competency within 4 sequential stages of training.23 Derived by the EM Specialty Committee, the documents defining the program relevant to CBME included the entrustable professional activities (EPAs) and their component milestones for EM24 and the required training experiences for EM.25 Note that in contrast to the use of milestones to organize competency by the Accreditation Council for Graduate Medical Education (ACGME),26 in CBD, competence is defined by stage-specific EPAs each with component milestones.23

이 EM 대학원 프로그램은 캐나다 전역의 18개의 5년 레지던트 교육 프로그램 중 하나로, 연간 4명의 레지던트들을 받아들입니다. 연구 기간 동안 35명의 전임 EM 교수진이 의사 그룹에서 일하고 있었다.
This EM postgraduate program is one of 18 five-year residency training programs across Canada, accepting 4 residents per year. During the study period, there were 35 full-time EM faculty working in the physician group.

이 프로그램은 PD, 보조 PD, CBME 리더에 의해 관리되었으며 전임 관리 보조자에 의해 지원되었다. 다른 독특한 역할에는 제한된 전공의 그룹에 대해서만 종적 코칭 역할을 하는 학술적 조언자가 포함되었다. 또한, CBME 전공의 인솔자가 주민 개발을 지원하고 프로그램 행정과 전공의 간 연락을 취했다. 구현 전략의 주요 프로세스는 목록 1에 요약되어 있습니다.
The program was administered by a PD, assistant PD, and CBME lead and supported by a full-time administrative assistant. Other unique roles included academic advisors, who functioned in a longitudinal coaching role with a limited group of residents. As well, a CBME resident lead assisted with resident development and liaised between program administration and residents. The key processes of the implementation strategy are outlined in List 1.


목록 1
List 1

Queen's University 응급의학부 신속평가를 이용한 CBME 프로그램 구현 연구, 2017-2018

Key Processes of CBME Implementation, From a Study of CBME Program Implementation Using Rapid Evaluation, Queen’s University Department of Emergency Medicine, 2017–2018

행정전환 Administrative transition

  • CBME 리드 위임(2015년 5월)
  • 대학원 CBME 워크숍(2015년 5월~2017년 7월 격월)
  • 학술자문위임 및 교육(2017년 1월 ~ 6월)
  • 역량위원회 발전(2017년 9월~2018년 6월 분기별)
  • 프로그램 관리자 교육(2015년 9월~2017년 5월 연 2회)
  • 기관전자포트폴리오(엘렌트라 온라인 플랫폼) 구현(2015년 9월)

  • CBME lead delegation (May 2015)
  • Postgraduate CBME workshops (bimonthly May 2015 to July 2017)
  • Academic advisors delegation and training (January to June 2017)
  • Competence committee development (quarterly September 2017 to June 2018)
  • Program administrator training (twice annually September 2015 to May 2017)
  • Institutional electronic portfolio (Elentra online platform) implementation (September 2015)

교직 전환 Faculty transition

  • EM 그랜드 라운드:
  • EM 부서 회의 프레젠테이션:
  • 실무 교수진 육성 워크숍(2017년 5월):
  • 구현 후 교수진 개발:

  • EM grand rounds:
  • EM department meeting presentations:
  • Practical faculty development workshops (May 2017):
  • Post-implementation faculty development:

전공의 전환 Resident transition

  • 전공의 CBME 리드 대표단(2017년 1월)
  • 전공의 실무 훈련교육(2017년 5월):
  • 구현 후 전공의 교육:
  • Resident CBME lead delegation (January 2017)
  • Practical resident training sessions (May 2017):
  • Post-implementation resident training:

약어: CBME, 역량 기반 의료 교육, EM, 응급 의료, EPA, 신뢰할 수 있는 전문 활동.
Abbreviations: CBME, competency-based medical education; EM, emergency medicine; EPA, entrustable professional activity.







우리는 EM 전공의들에게 EPA 기반 전자 평가 양식을 사용하여 로테이션shift 당 1개 또는 2개의 평가를 획득할 것을 요청했다. 모든 작업장 기반 평가는 목적에 맞게 구축된 모바일 온라인 플랫폼(캐나다 온타리오주 킹스턴의 엘렌트라)을 사용하여 수행 및 추적되었습니다. 평가 양식에는 평가 대상 EPA에 대한 자세한 설명, 관련 마일스톤, 2개의 위탁 등급 척도 중 하나, 27,28 및 필수 서술형 피드백 상자가 포함되었다. 각 전공의는 진행 상황을 모니터링하고 전공의 개인 학습 계획(PLP)의 개발을 촉진하기 위해 분기별로 교육 어드바이저와 전자 대시보드를 검토했다.29 교육 어드바이저 회의 직후, EM 역량 위원회(PD, CBME 리드, 4명의 교육 어드바이저로 구성)가 모든 교육생의 교육을 검토하기 위해 모였다. [평가 및 훈련 단계 내 / 단계 간] 전공의 진급progression에 대한 합의된 결정을 내린다. 의사 결정 프로세스는 왕립 대학 역량 위원회 지침과 ACGME에 의해 설명된 것을 모델로 했다. 이 맥락에서, 일선에서 이뤄지는 각각의 EPA-기반 평가는 저부담 평가였지만, 역량위원회에 의한 고부담 의사결정에 정보를 제공한 것은 이러한 저위험 평가의 종합과 종합이었다. 

We asked EM residents to acquire 1 or 2 assessments per shift using EPA-based electronic assessment forms. All workplace-based assessments were performed and tracked using a purpose-built mobile online platform (Elentra, Kingston, Ontario, Canada). Assessment forms included a detailed description of the EPA being assessed, the relevant milestones, one of 2 entrustment rating scales,27,28 and a mandatory narrative feedback box. Each resident reviewed their electronic dashboard with their academic advisor quarterly to monitor progression and facilitate the development of resident personal learning plans (PLPs).29 Immediately following the academic advisor meetings, the EM competence committee (made up of the PD, CBME lead, 4 academic advisors) met to review all trainees’ assessments and make consensus decisions around resident progression within and between stages of training. The decision-making processes were modeled after those described by the Royal College Competence Committee Guidelines30 and the ACGME.31 In this context, each frontline EPA-based assessment was alone a low-stakes assessment, but it was the aggregate and synthesis of these low-stakes assessments that informed high-stakes decisions by the competence committee.

실제 구현 및 그에 따른 적응의 측정
Measurement of actual implementation and resultant adaptations

3개월 및 9개월 데이터로부터의 새로운 주제와 프로그램 적응은 CCF에 따라 구성되며 표 2에 요약된다. 다음 범주에는 중요한 발견을 더 자세히 설명하기 위한 인용문의 예가 포함되어 있습니다.
Emergent themes and resultant program adaptations from the 3- and 9-month data are organized according to the CCF20 and summarized in Table 2. The following categories include examples of quotes to further describe important findings.

결과 역량.
Outcome competencies.

초기 구현 전략은 CBME의 원칙을 이해하는데 영향을 미쳤다. 이해 당사자들은 처음에 CBME에 대해 비판적인 입장을 취했다. 한 교수진이 설명했듯이, "우리는 [훈련]을 훨씬 더 기술적으로 만들고 교육학적 용어로 정의하고 있지만, 그것이 결과에 차이를 만들지는 잘 모르겠다." 이후 추가적인 교수진 개발 이후, 비판적인 입장은 CBME가 훈련을 더 나은 방향으로 개선할 것이라는 조심스러운 낙관론으로 전환되었다. 한 학술 고문/역량 위원회 위원은 CBME 구현을 EMR의 도입에 비유했습니다: "아마도 부서의 절반이 전자 의료 기록에 반대하는 목소리를 냈을 것입니다... 그리고 오늘날 여러분이 그것을 본다면, 우리는 '그거 없이 어떻게 했었지?'라고 말할 것입니다."
Initial implementation strategies resulted in variable stakeholder understanding of the principles of CBME. Stakeholders initially adopted a critical stance regarding CBME. As one faculty member explained, “We’re kind of making [training] much more descriptive and defining it in pedagogical terms, but I’m not sure if it’s going to be any different in the end.” After subsequent additional faculty development, the critical stance shifted toward a cautious optimism that CBME would improve training for the better. One academic advisor/competence committee member likened CBME implementation to the adoption of an electronic medical record: “Probably half the department was really vocal against it. . . . And if you look at it today, we would say ‘how did we ever function without it?’”

순차적 진행. Sequenced progression.

[CBME에 대한 비판적 입장]에 기여한 것은 [위임의 개념]과 [개별 단계별 EPA와 현장에서의 마일스톤 평가에 대한 초기 좌절]이었다. 교수진은 평가할 EPA를 선택하고, 복잡한 과제의 일부를 평가하기 위해 위임 척도를 사용하며, 개별 이정표의 달성에 대한 판단을 내리는 것은 모두 임상적 요구를 관리하는 동안 상당히 벅찬 일이라고 보고했다. 전반적으로, 단계별 EPA의 성격과 목적 및 부분적 과제의 위임에 관한 [공유된 정신 모델의 부족]이 명백했다. 이 단계의 특수성의 목표를 이해한 교수진들조차도 복잡한 과제의 일부에 기초하여 기준이 되는 위임 결정을 내리는 것이 어렵다는 데 동의하였다. 한 교직원이 설명했듯이, "우리의 뇌는 어텐딩을 위한 완벽한 수행이 무엇인지에 기초하여 누군가를 평가하도록 프로그램되어 있고, 건설적인 피드백은 레지던트가 다르게 할 수 있거나 해야 하는 것과 관련이 있다."
Contributing to a critical stance toward CBME was early frustration with the concept of entrustment and the assessment of individual stage-specific EPAs and milestones in situ. Faculty reported that selecting an EPA to assess, using an entrustment scale to assess part of a complex task, and making judgments about the achievement of individual milestones, all while managing clinical demands, were quite overwhelming. Overall, a lack of shared mental model regarding the nature and purpose of stage-specific EPAs and entrustment of partial tasks was apparent. Even those faculty who understood the goals of this stage specificity agreed that it was challenging to make entrustment decisions that were criterion referenced based on a portion of a complex task. As one faculty member explained, “Our brains are programmed to evaluate somebody based on what a perfect performance would be for an attending and constructive feedback relates to what the resident could or should do differently.”

교수진 전반에 걸쳐, [개별 이정표의 달성에 대한 결정을 내리는 데 필요한 인지적 노력]은 특히 번거로운 것으로 인식되었다. 또한 [관찰된 개별 마일스톤 평가의 결과]는 [전공의의 PLP에 대한 academic advisors의 정보 제공]이나 [역량 위원회 구성원이 공식적인 진행 결정]을 위한 정보를 거의 제공하지 않는 것으로 인식되었다. 결과적으로, 많은 교수진이 [마일스톤의 직접 평가에서 이탈]하였고, 프로그램 리더(CBME 리더 및 PD)는 마일스톤을 평가의 선택적 구성요소로 만들기로 결정했다.
Across faculty members, the cognitive effort required to make decisions about the achievement of individual milestones was specifically perceived as cumbersome. Further, the results of individual milestone assessments observed were perceived as providing little information for academic advisors to inform residents’ PLPs or for competence committee members to make formal progression decisions. Consequently, many faculty members disengaged from directly assessing milestones, and a decision was made by program leaders (CBME lead and PD) to make milestones an optional component of the assessment.

맞춤형 학습 경험.
Tailored learning experiences.

3개월간의 교육 후, [주니어 전공의]들은 [EM에 조기 몰입]하는 것에 대해 감사를 표했는데, 이는 기존 접근 방식에서 [초기 오프-서비스 경험]으로의 변화였다. 게다가, 그들은 훈련 경험의 어떠한 커스터마이징도 아직 인지하지 못했음에도 불구하고, 훈련의 후반 단계에서 교대를 협상하는 것에 대해 낙관적인 견해를 나타냈다. 전공의들은 처음에 맞춤형 학습 경험의 중요한 촉진자로 생각되는 [PLP의 가치]에 대해 엇갈린 견해를 보였다. 29명의 주니어 거주자들은 PLP가 한 참가자가 지적한 바와 같이 직접 관찰할 수 있는 기회의 우선 순위를 정하는 데 도움이 되는 "매우 유용함"을 발견했다. 그러나 PLP가 "체크박스; 우리가 CBME를 하고 있다는 것을 증명하기 위한 서류 절차"일 뿐이라는 한 선임 레지던트의 관찰은 고급 교육생들에게는 일반적인 것으로 보였다. 그러나 프로그램 관리자의 관점에서 PLP는 향상된 학습 기회를 지시하는 데 가치가 있다고 인식되었다.

After 3 months of training, junior residents expressed appreciation for early immersion in EM, which was a change from the prior approach to early off-service experiences. Further, they expressed optimism about negotiating rotations in the later stages of training, despite not perceiving any customization of the training experience yet. Residents initially had mixed views on the value of PLPs, which are thought to be important facilitators of tailored learning experiences.29 Junior residents found PLPs to be “very useful,” as one participant noted, in helping to prioritize opportunities for direct observation. Yet a senior resident’s observation that the PLPs were “a check box; just more paperwork process to prove that we’re doing CBME” seemed representative for advanced trainees. From the perspective of program administrators, however, PLPs were perceived to have value in directing enhanced learning opportunities; one such comment was, “there’s already been a change in course or path for some people.”

역량 중심 교육.
Competency-focused instruction.

교수진과 전공의 모두, [EPA와 이정표]가 준거-참고 피드백을 장려하는 데 도움이 될 수 있지만, 피드백이 발달적으로 건설적이라는 보장은 없다는 것을 재빨리 인지했다. 한 역량위원은 "건설적인 피드백을 주고받는 것은 누구에게나 편한 일이 아니다. 새로운 시스템을 도입한다고 해서 그 누구의 행동도 바뀌지 않을 것입니다." 이러한 정서는 프로그램 리더들과도 공유되었는데, 한 참가자는 "피드백이 정직하게 주어지고 정직하게 받아들여지는 문화를 바꾸는 것이 가장 큰 걸림돌"이라고 설명했다. 이것은 건설적인 피드백의 제공, 문서화 및 수용과 관련된 교수진과 전공의 개발 활동의 형태로 상당한 노력과 적응을 촉진했다. 9개월 간의 구현 후, 프로그램 이해 당사자들은 리더십 노력에도 불구하고 대부분의 교수진이 [건설적인 피드백을 주고 기록하는 것을 계속 회피한다]는 데 동의했습니다. 한 EM 교수진은 "목표적인 피드백을 제공하는 데 매우 동기부여가 되었지만, 뇌는 자연스럽게 총체적으로globally 생각합니다. 결국에는 어떤 사람에 대한 전반적인 제스처로부터 그 작업에 이르기까지 인지적인 단계를 만들어야 합니다. 그리고 좋은 피드백을 주기 위해서 그 작업의 아주 구체적인 부분에 대해 정말로 생각해야 합니다. 쉽지 않은 일이고 지금도 가끔 실패해요."
Both faculty and residents were quick to recognize that while EPAs and milestones may help to encourage criterion-referenced feedback, there was no guarantee that feedback would be developmentally constructive. As one competence committee member explained, “giving and receiving constructive feedback is not a comfortable thing for anyone. Implementing a new system isn’t going to change anyone’s behavior.” This sentiment was also shared by program leadership, with one participant explaining that the biggest hurdle was “getting the culture to change where feedback is given honestly and accepted honestly.” This prompted substantial efforts and adaptations in the form of faculty and resident development activities relating to the provision, documentation, and acceptance of constructive feedback. After 9 months of implementation, program stakeholders agreed that despite leadership efforts, most faculty continued to shy away from giving and documenting constructive feedback. One EM faculty member explained, “even though I’m very motivated to provide targeted feedback, your brain just naturally thinks globally ... you have to actually make that cognitive step from your overall gestalt about somebody down to the task, and then really think about the very specifics of the task in order to give good feedback. That’s not easy, and I still fail sometimes.”

프로그램 평가.
Programmatic assessment.


프로그램적 평가에는 여러 이해관계자의 협조적인 노력이 필요하며, 각 이해관계자는 형성적 및 총괄적 평가를 위해 중요하고 보완적인 역할과 책임을 갖는다. 32 CBME 요건은 초기에는 기존 시스템 요건을 대체하기보다는 추가되는 것으로 인식되었다. e-포트폴리오 요약 보고 메커니즘이 개발되는 동안, 그것은 전공의와 교수진이 개별 성과 평가의 수와 결과를 수동으로 추적하는 "좌절스럽고" "억지스러운" 작업이라고 설명되었다. 프로그램 리더는 초기 역량 위원회 회의를 "클릭은 많지만 대화는 적다"고 설명했습니다. 또한, CBME 리더 및 교육 어드바이저라는 두 가지 새로운 역할의 추가는 PD 포트폴리오와 중복될 뿐만 아니라 프로그램 변경 및 상주 성과 정보에 대해 누가 통보받아야 하는지에 대한 이해관계자 사이의 혼란을 야기했다. 이로 인해 모든 이해당사자에 대한 역할 설명의 수정, 설명 및 보급이 촉진되었습니다.

Programmatic assessment requires the coordinated efforts of multiple stakeholders, each having important and complementary roles and responsibilities for formative and summative assessment.32 CBME requirements were initially perceived as being added onto rather than replacing old system requirements. While e-portfolio summary-reporting mechanisms were in development, they were described was a “frustrating” and “make-work” task for residents and faculty to manually track the number and results of individual performance assessments. Program leaders described early competence committee meetings as having “a lot of clicking, and not as much talking.” Further, the addition of 2 new roles—the CBME lead and academic advisors—created overlap with the portfolio of the PD as well as confusion among stakeholders regarding who should be informed of program changes and resident performance information. This prompted revision, clarification, and dissemination of role descriptions for all stakeholders.

평가 사이클을 거치며, 이해 당사자들은 신중하게 탐색하던 것에서 평가 역할과 책임을 공동으로 개발하고 개선하는 것으로 전환했습니다. 대부분의 혼란과 그에 따른 역할 수정은 [지도 교수의 역할]과 [역량 위원회의 의사 결정 과정]에 집중되었다. 예를 들어, 한 지도교수가 설명했듯이, "지도교사는 코칭, 멘토링, 평가의 모호한 모델을 가지고 있고, 그것들이 항상 맞물리는 것은 아니다." 게다가, 역량 위원회 과정의 내적 업무를 반성해 보라는 질문에 위원들은 "일반적으로 배우는 과정이었다"라고 매우 분명하게 말했다.
Through the evaluation cycles, stakeholders transitioned from cautiously navigating to co-developing and refining assessment roles and responsibilities. Most confusion and subsequent role-revision centered around the role of the academic advisor and the decision-making processes of the competence committee. For example, as one academic advisor explained, “the academic advisors have a blurred model of coaching, mentoring, and evaluating, and they don’t always mesh.” Further, when asked to reflect on the inner working of competence committee processes, members were very clear that “it’s generally a learning process.”

논의
Discussion

우리는 [구현의 충실도를 조사]하고 [개별 프로그램 수준에서 CBME의 구현 후 단기 성과를 평가]하기 위한 [신속 평가]의 사용에 대해 설명하였다. 이론적으로 CBME 모델을 채택하는 데 장점이 있지만, 퀸스 대학교 맥락에서 운영상의 과제는 성공적인 구현을 위협했다. 여러 이해관계자 그룹의 관점을 고려하고 초기 설계에 대한 적응을 구현하는 과정에서, 우리는 몇 가지 중요한 교훈을 배웠다.
We have described the use of Rapid Evaluation to examine the fidelity of implementation and evaluate the short-term outcomes post-implementation of CBME at the individual program level. While in theory there is merit to adopting a CBME model,1 operational challenges in the Queen’s University context threatened successful implementation. In considering the perspectives of multiple stakeholder groups, and implementing adaptations to our initial design, we have learned several important lessons.

레슨 1: CBME의 실제 구성 요소를 구현하는 것은 "단거리"입니다.
Lesson 1: Implementing the practical components of CBME is the “sprint”

CBME를 계획하고 구현하는 초기 단계에서는 [구조]에 초점을 맞췄습니다. CBME의 모든 실용적이고 기능적인 측면을 어떻게 배치하여 시스템이 가동되도록 할 것인가? [핵심 부품을 지탱할 수 있는 구조를 갖추는 것]은 최소한의 조치였습니다.

  • 필수적인 구조에는 [테크놀로지, 교육 지원 및 프로그램 챔피언]이 포함되었습니다.
  • 변화를 구현하기 위해서는 [데이터 시각화를 갖춘 전자 포트폴리오], [평가 및 평가에 대한 교육 전문성], CBME 구현에 대한 [기관 및 프로그램 수준의 리더십]이 필요했다.

In the early stages of planning for and implementing CBME, the focus was on structure: how were we going to get all the practical and functional aspects of CBME in place so that the system got up and running? Having structures in place to support the core components was the bare minimum.

  • Essential structures included technology, educational support, and program champions. An electronic portfolio with data visualization, educational expertise in assessment and evaluation, and institutional and program-level leadership in CBME implementation were needed to implement change.

그러나 우리는 CBME가 "완전히 제대로 작동up and running" 되어 있다고 해서 시스템이 기능적이거나 의도된 목표를 즉시 달성한다는 것을 의미하지는 않는다는 것을 배웠다. 프로그램적 평가를 지원하는 구조를 갖추고 있음에도 불구하고, 우리의 평가 시스템은 건설적인 피드백을 문서화하는 데 교수진의 망설임으로 인해 제한되었다. 이렇게 되면, 역량 위원회의 증거 정보에 근거한 의사결정이 훼손될 수 있다.33 지속적인 학습 및 진행/진급 의사결정에 대한 지침은 그러한 의사결정이 이루어진 근거만큼만 타당하다.34 정직한 평가와 건설적인 피드백을 제공하는 데 대한 도전은 새로운 것이 아니며, 35,36 우리는 CBME의 구현과 함께 기존의 어려움이 사라질 것이라고 기대하지 말아야 한다. [교수 개발을 위한 독특한 전략], [EM 부서의 헌신적인 교수 평가관], 또는 [시뮬레이션 환경에서의 더 빈번한 평가]가 일선 평가의 타당성 및 신뢰성을 높이는 데 도움이 될 수 있다.

We have learned, however, that just because CBME is “up and running” doesn’t mean that the system is functional or achieving the intended aims immediately. Despite having structures in place to support programmatic assessment, our system of assessment was limited by faculty members’ hesitation to document constructive feedback. When this occurs, evidence-informed decision making by the competence committee may be undermined.33 Guidance for ongoing learning and progress/promotion decisions are only as good as the evidence upon which they are made.34 The challenges with providing honest assessment and constructive feedback are not new,35,36 and we should not have expected them to disappear with the implementation of CBME. Unique strategies for faculty development, dedicated faculty assessors in the EM department, or more frequent assessment in simulated settings may have been of benefit to increase the validity and reliability of frontline assessment.

2과: CBME의 핵심 구성 요소를 실현하는 것이 "마라톤"입니다.
Lesson 2: Realizing the core components of CBME is the “marathon”

변화는 어렵고, 변화를 지속하는 것은 훨씬 더 어렵다. 37 CBME 구현에서 환원주의를 좌절시키는 것은 지속적인 노력이 필요하다. 1,38 우리의 연구 결과는 개별 EPA와 이정표의 고립된 평가에서 우리가 ["나무를 위해서 숲"을 위험에 빠뜨릴 수 있음]을 시사한다. 이정표와 EPA가 관찰 가능한 성능 정보(예: EPA C1: "중증 환자를 위한 소생 및 조정 관리"24)를 제공할 수 있더라도, 우리의 교수진과 전공의들은 [목표 EPA 중심 평가]에만 초점을 맞추라고 요청했을 때, [전체적인 평가]가 놀라울 만큼 부재하다는 것을 알게 되었다. "전반적으로 일이 어떻게 진행되고 있는지"에 대해서 [로테이션 종료 시에  평가를 매개로 하여 오랜 시간 동안 하는 디스커션]이 과거에 생각했던 것보다 더 가치 있는 것으로 입증되었습니다. 교수진이 [개별적인 이정표와 EPA의 달성]에 대한 판단을 내리는 데 초점을 맞추면서, 우리는 [더 큰 그림을 뒷받침하는 증거를] 위태롭게 했을 수도 있다. 
Change is difficult, and sustaining change is even more challenging.37 Thwarting reductionism in CBME implementation requires sustained effort.1,38 Our findings suggest that in the isolated assessment of individual EPAs and milestones we may be risking the “forest for the trees.” Even if milestones and EPAs can provide observable pieces of performance information (e.g., EPA C1: “Resuscitating and coordinating care for critically ill patients”24), our faculty and residents perceived a notable absence of overall evaluation when asked to focus on targeted EPA-focused assessment only. The long-standing assessment-mediated end-of-shift discussions about “how things are going overall” proved to be more valuable than previously thought. With faculty focusing on making judgments about the achievement of individual milestones and EPAs, we may have been risking evidence supporting the bigger picture.

이 관찰이 EM-특이적 end-of-shift 전반적 평가의 리추얼ritual을 시사하는지, 아니면 여러 맥락에 걸쳐 통해 전이가능한지 여부는 아직 결정되지 않았다. 만족이 지연될 것으로 예상됨에 따라, 구현의 인식된 이점은 구현 후 몇 년이 지나야 명백해질 수 있으며, 우리 기관에서 CBME를 구현한 다른 사람들이 경험하게 될 것이다. 40 교직원과 전공의가 (교육적 지원 없이) 준거-참조적으로 건설적 피드백을 제공하고, 인식하고, 행동할 것으로 기대하는 것은 비현실적이다.41 이러한 기술은 목표화된 교육, 연습 및 피드백을 통해 개발된다.42 우리는 CBME가 우리 프로그램의 학습 문화를 그 자체로 변화시키지는 않겠지만 [지속적인 교수진과 전공의 개발]이 필요하다는 것을 배웠다.

Whether this observation suggests an EM-specific end-of-shift global assessment ritual,39 or is transferrable across contexts, remains to be determined. With expected delayed gratification, the perceived benefits of our implementation may not be apparent until several years post-implementation, as experienced by others who have implemented CBME at our own institution.40 Expecting faculty and residents to provide, recognize, and act upon criterion-referenced constructive feedback––without educational support––is unrealistic.41 These skills are developed through targeted instruction, practice, and feedback.42 We have learned that CBME will not change the culture of learning in our program by itself but will require persistent faculty and resident development.

레슨 3: 진행 중인 변화를 식별, 모니터링 및 평가하기 위해 신속한 평가를 사용하는 것이 가치 있습니다.
Lesson 3: There is value in using Rapid Evaluation for identifying, monitoring, and assessing ongoing change


CBME 구현을 평가하기 위한 발달적 접근 방식인 우리의 [신속 평가 모델]은 [혁신을 문서화]하고, 지속적인 프로그램 개선을 지원하기 위한 [실시간 증거를 생성]하는 가치 있는 전략이었다. 또한 프로그램 참가자들은 포커스 그룹을 통해 [CBME와 경험을 논의할 기회]를 중시했으며, 피드백이 진행 중인 변화에 어떻게 inform하는지에 대한 업데이트를 받아보는 것에 관심이 있었다. 프로그램 이해관계자가 현장에서 작동하는(혹은 작동하지 않는) 것을 공유할 기회가 주어지면, 지속적인 프로그램 개선 과정에 참여자로서 점점 더 많은 투자invested를 받게 된다.43 이러한 모멘텀은 이해관계자의 [변화를 지속하려는 열의]가 흐려지면서 생기는 [구현 후 사기의 저하dip]를 완화하기 위해 결정적이었다. .9
Our model of Rapid Evaluation, as a developmental approach to evaluating CBME implementation, has been a worthwhile strategy for documenting innovation and generating real-time evidence to support ongoing program improvement. Further, our program participants valued the opportunity to discuss their experiences with CBME during focus groups and were interested in receiving updates as to how their feedback was informing ongoing change. When program stakeholders are given the opportunity to share what’s (not) working on the ground, they become increasingly invested as participants in the process of ongoing program improvement.43 This momentum was crucial for mitigating the inevitable post-implementation dip in morale where stakeholders’ enthusiasm for staying the course of change started to fade.9

제한 사항
Limitations

이 연구는 몇 가지 한계를 가지고 있다. 이 프로그램은 모든 레지던트 프로그램에서 동시에 CBME를 구현하는 조직 내에 내포되어 있기 때문에 이 연구가 수행된 컨텍스트가 유일할 수 있다는 것이 일차적인 제한이다. 게다가, 이 연구는 한 기관에서 한 가지 전문분야에만 초점을 맞췄다. 결과적으로, 우리의 연구 결과는 전이 가능성에 제한될 수 있다. 또 다른 한계는 데이터 수집이 직접 관찰이 아닌 주로 인터뷰에 기반했다는 것이며, 따라서 보고된 내용과 수행 중인 내용 사이에 차이가 있을 수 있다는 것이다. 또한, 연구팀의 단 한 명의 구성원이 인터뷰를 조정하고 데이터를 분석했음에도 불구하고, 여러 차례의 데이터 수집과 참가자들과의 구성원 확인 데이터가 조사 결과의 신뢰도를 높이는 데 도움이 되었다. 마지막으로, 지속적인 데이터 수집에 중점을 둔 신속한 평가는 리소스 집약적인 경향이 있으므로 다른 프로그램이 이 접근 방식을 채택하는 것이 어려울 수 있다.

This study has several limitations. The primary limitation is that the context in which this study took place may be unique, since this program is nested within an organization implementing CBME concurrently across all residency programs. Further, this study only focused on one specialty, at one institution. Consequently, our findings may be limited in their transferability. Another limitation is that the data collection was based primarily on interviews, not direct observations, and as such there may be a gap between what was reported and what was being done. As well, even though a single member of the research team moderated the interviews and analyzed the data, multiple rounds of data collection and member checking data with participants helped to increase the credibility of the findings. Lastly, Rapid Evaluation, with its emphasis on collecting data on an ongoing basis, tends to be resource intensive and so it may prove challenging for other programs to adopt this approach.

결론들
Conclusions

[신속한 평가]를 통해, [프로그램 수준]에서 [CBME를 구현한 실제 경험]을 탐색하는 것은 구현의 충실도, 구현 후 초기 결과 및 CBME 운영의 성공과 과제에 대한 중요한 초기 통찰력을 제공하였다. 신속한 평가를 사용하여 식별, 모니터링 및 이해관계자의 변화에 대한 저항을 완화하고 코스를 유지하려는 열정을 자극하는 결정적인 이점을 가지고, 진행 중인 변경 후 평가를 실시한다. CBME의 핵심 실용적 요소를 구현하는 것은 스프린트로 인식되었고, 대학원 훈련에서 CBME의 원리를 깨닫고 문화를 바꾸는 것은 분명히 마라톤이다. 이 장기적인 목표를 위해서는 심층적인 시스템 변화에 대한 진화적 적응 과정에서 지속적인 교수진과 주민 개발을 포함한 지속적인 노력이 필요할 것이다.

Exploring the lived experience of implementing CBME at the program level with Rapid Evaluation has provided critical early insights regarding the fidelity of implementation, early outcomes post-implementation, and the successes and challenges of operationalizing CBME. There was great value in using Rapid Evaluation for identifying, monitoring, and assessing ongoing change post-implementation, with a crucial benefit of mitigating the stakeholders’ resistance to change and spurring enthusiasm for staying the course. Implementing the core practical components of CBME was perceived as a sprint, while realizing the principles of CBME and changing culture in postgraduate training is clearly a marathon. This long-term goal will require sustained effort, including persistent faculty and resident development in the process of evolutionary adaptation toward deep systems change.


Acad Med. 2020 May;95(5):786-793. doi: 10.1097/ACM.0000000000003040.

It's a Marathon, Not a Sprint: Rapid Evaluation of Competency-Based Medical Education Program Implementation

Affiliations collapse

Affiliation

1A.K. Hall is associate professor, Department of Emergency Medicine, Queen's University, Kingston, Ontario, Canada, and clinician educator, Royal College of Physicians and Surgeons of Canada, Ottawa, Ontario, Canada; ORCID: http://orcid.org/0000-0003-1227-5397. J. Rich is research associate, Faculty of Education, Queen's University, Kingston, Ontario, Canada; ORCID: http://orcid.org/0000-0001-7409-559X. J.D. Dagnone is associate professor, Department of Emergency Medicine, and CBME faculty lead, Postgraduate Medicine, Queen's University, Kingston, Ontario, Canada; ORCID: http://orcid.org/000-0001-6963-7948. K. Weersink is a resident, Department of Emergency Medicine, Queen's University, Kingston, Ontario, Canada; ORCID: http://orcid.org/0000-0002-0325-3172. J. Caudle is assistant professor, Department of Emergency Medicine, Queen's University, Kingston, Ontario, Canada. J. Sherbino is professor, Division of Emergency Medicine, Department of Medicine, and assistant dean, Health Professions Education Research, Faculty of Health Sciences, McMaster University, Hamilton, Ontario, Canada. J.R. Frank is director, Specialty Education, Royal College of Physicians and Surgeons of Canada, and associate professor and director, Educational Research and Development, Department of Emergency Medicine, University of Ottawa, Ottawa, Ontario, Canada; ORCID: http://orcid.org/0000-0002-6076-0146. G. Bandiera is professor, Department of Medicine, and associate dean, Postgraduate Medical Education, University of Toronto, Toronto, Ontario, Canada. E. Van Melle is senior education scientist, Royal College of Physicians and Surgeons of Canada, Ottawa, Ontario, Canada, and adjunct faculty, Department of Family Medicine, Queen's University, Kingston, Ontario, Canada.

PMID: 31625995

DOI: 10.1097/ACM.0000000000003040

Abstract

Purpose: Despite the broad endorsement of competency-based medical education (CBME), myriad difficulties have arisen in program implementation. The authors sought to evaluate the fidelity of implementation and identify early outcomes of CBME implementation using Rapid Evaluation to facilitate transformative change.

Method: Case-study methodology was used to explore the lived experience of implementing CBME in the emergency medicine postgraduate program at Queen's University, Canada, using iterative cycles of Rapid Evaluation in 2017-2018. After the intended implementation was explicitly described, stakeholder focus groups and interviews were conducted at 3 and 9 months post-implementation to evaluate the fidelity of implementation and early outcomes. Analyses were abductive, using the CBME core components framework and data-driven approaches to understand stakeholders' experiences.

Results: In comparing planned with enacted implementation, important themes emerged with resultant opportunities for adaption. For example, lack of a shared mental model resulted in frontline difficulty with assessment and feedback and a concern that the granularity of competency-focused assessment may result in "missing the forest for the trees," prompting the return of global assessment. Resident engagement in personal learning plans was not uniformly adopted, and learning experiences tailored to residents' needs were slow to follow.

Conclusions: Rapid Evaluation provided critical insights into the successes and challenges of operationalizing CBME. Implementing the practical components of CBME was perceived as a sprint, while realizing the principles of CBME and changing culture in postgraduate training was a marathon requiring sustained effort in the form of frequent evaluation and continuous faculty and resident development.

유토피아에서 디스토피아까지: CBME의 러닝 애널리틱스에서 과정을 기록하기(Acad Med, 2021)
From Utopia Through Dystopia: Charting a Course for Learning Analytics in Competency-Based Medical Education
Brent Thoma, MD, MA, MSc, Rachel H. Ellaway, PhD, and Teresa M. Chan, MD, MHPE

 

역량 기반 의료 교육(CBME)으로의 전환은 중요한 과제를 제시할 수 있다. 이러한 전환은 단순히 새로운 용어에 익숙해지는 문제가 아닙니다. CBME는 평가 관행과 절차의 복잡성과 부담을 상당히 증가시킨다. CBME 이전 시대의 평가는 종종 로테이션당 연수생당 1~2개의 평가를 생성하지만, 특히 신뢰할 수 있는 전문 활동(EPA)을 중심으로 구성된 CBME 프로그램은 종종 모든 연수생에 대해 주간 평가를 생성한다. 5

The transition to competency-based medical education (CBME) can present significant challenges. 1–3 This transition is not just a matter of getting used to new terminology. CBME substantially increases the complexity and burden of assessment practices and procedures. 4,5 While assessment in the pre-CBME era often generated 1 or 2 assessments per trainee per rotation, CBME programs, particularly those structured around entrustable professional activities (EPAs), often generate multiple weekly assessments for every trainee. 5

CBME를 성공적으로 구현하려면 평가 데이터 사용에 있어 시스템 수준의 변화가 필요하다. [전자 추적 시스템]이 구축되었고, EPA 기반 평가 데이터의 증가된 양을 검토하기 위한 [역량 위원회]가 구성되었으며, 이러한 이질적이고 종단적인 데이터 세트에 새로운 [프로그램적 평가 이론]이 적용되었으며, 이는 다시 우리가 그것으로부터 [도출하는 추론]을 변화시켰다. 이 접근법은 데이터를 집계하고 연습생 진도를 모델링하기 위해 사용하지만, 실제로 이러한 데이터를 어떻게 통합, 분석 및 시각화해야 하는지 잘 확립되어 있지 않다. 2 [단순한 선형 접근법]으로 디폴트하면, 미묘한 데이터를 환원주의적 경향으로 축소할 위험이 있으며, 서사적 피드백 또는 기타 더 정교한 모델링 및 분석의 장점을 무효화한다. 연수생 성과에 대한 균형 있고 통찰력 있는 관점을 육성하기 위해 CBME 평가의 서술적 데이터와 수치적 데이터를 모두 활용하기 위한 추가 작업이 수행되어야 한다.
The successful implementation of CBME requires a systemic change in the use of assessment data.

  • Electronic tracking systems have been established,
  • competence committees have been formed to review the increased volume of EPA-based assessment data, 6 and
  • new programmatic theories of assessment have been applied to these heterogeneous and longitudinal datasets,
  • which, in turn, have changed the inferences that we draw from them. 7,8 

Although this approach is predicated on aggregating data and using them to model trainee progress, how these data should be amalgamated, analyzed, and visualized in practice is not well established. 2 Defaulting to simple linear approaches runs the risk of reducing nuanced data into reductionistic trends 9 and nullifies the advantages of narrative feedback or other more sophisticated modeling and analysis. Further work will need to be done to harness both the narrative and numerical data of CBME assessments to foster a balanced and insightful perspective on trainee performance.

다른 분야의 교훈은 데이터가 집계되고 사용될 수 있는 다양한 방법을 보여주며, 각 방법은 도출될 수 있는 추론의 종류에 영향을 미칩니다. 예를 들어, 비즈니스와 스포츠는 점점 더 정교한 데이터 수집 및 분석 기술을 사용합니다. 고등교육에서의 유사한 노력은 온라인 학습 플랫폼의 출현에서 비롯되었다. 14 이러한 [학습 분석learning analytics]은 "학습과 학습이 발생하는 환경을 이해하고 최적화하기 위한 목적으로, 학습자와 그 맥락에 대한 데이터의 측정, 수집, 분석 및 보고"로 정의할 수 있다. 15 증가를 고려할 때CBME에서 대규모 평가 데이터 세트의 가용성에 따라, 의학 교육 문헌에서 학습 분석이 점점 더 많이 참조되고 있는 것은 놀라운 일이 아니다. CBME 결과 프레임워크 및 연구 어젠다 19는 의학 교육 연구자들이 개념적으로 그리고 실제로 탐구하는 학습 분석과 관련된 다양한 개념을 설명한다. 5,24
Lessons from other fields illustrate the many different ways in which data might be aggregated and used, each of which has implications for the kinds of inferences that might be drawn. 10,11 For example, business 12 and sport 13 use increasingly sophisticated data collection and analysis techniques. Similar efforts in higher education originated with the advent of online learning platforms. 14 These learning analytics can be defined as the “measurement, collection, analysis and reporting of data about learners and their contexts, for purposes of understanding and optimizing learning and the environments in which it occurs.” 15 Given the increasing availability of large assessment datasets in CBME, it is not surprising that learning analytics are increasingly being referenced within the medical education literature. CBME outcomes frameworks 16–18 and research agendas 19 describe a range of concepts related to learning analytics that medical education researchers are exploring both conceptually 20–23 and practically. 5,24

언뜻 보기에 학습 분석 도구와 관행은 의료 교육 및 환자 관리를 개선하기 위해 EPA 기반 CBME 교육 프로그램의 광범위한 평가 데이터 세트를 활용할 수 있는 엄청난 잠재력을 가지고 있다. 그러나 이러한 분석 역시 문제가 되었다. 예를 들어, ten Cate 등은 [애널리틱스의 도입]이 [과도한 표준화, 활동 제약, 교육 효율성 및 비용]에 영향을 미치고, [프로그램 및 그 결과의 integrity]를 위협할 것이라고 경고합니다. 교육 프로그램, 교육 프로그램이 채택하는 분석 접근 방식 및 다양한 구현 설계의 여건에 대한 주의 깊고 신중한 탐색과 정렬이 필요하다.
At first glance, learning analytics tools and practices have immense potential to leverage the extensive assessment datasets resulting from EPA-based CBME training programs to improve medical education and patient care. 11,20 However, these analytics have also been problematized. For instance, ten Cate et al warn about analytics implementations that overstandardize, constrain activity, impact educational efficiency and cost, and threaten the integrity of programs and their outcomes. 21 There is need for mindful and deliberate exploration of and alignment between educational programs, the analytics approaches they employ, and the affordances of different implementation designs.

CBME 평가 데이터를 해석하기 위한 학습 분석의 광범위한 활용이 점점 실행 가능해짐에 따라, 이 용감한 새로운 세계 내에서 미래의 경로를 그리는 것이 그 어느 때보다도 중요하다. 25 본 논문에서는 신중한 매핑을 목표로 CBME에서 학습 분석에 대한 유토피아적 및 디스토피아적 관점(상자 1과 2 참조)을 탐구한다. 그러나 보다 광범위한 교육 및 컴퓨터 과학 문헌의 원칙적인 지침을 통합하여 우리 분야에서의 응용을 위한 미래를 결정하였습니다(상자 3 참조).
As the widespread utilization of learning analytics to interpret CBME assessment data becomes increasingly viable, it is more important than ever to chart the future path within this brave new world. 25 In this paper, we explore utopian and dystopian perspectives on learning analytics (see Boxes 1 and 2) in CBME with the goal of mapping a cautious but determined future for its application in our field (see Box 3) by incorporating principled guidance from the broader education and computer science literature.

가능한 유토피아
A Possible Utopia

유토피아에서는 모든 것이 모든 사람에게 가장 유리하게 작용한다. 사람들은 행복하고 그들이 원하는 대로 번창하고 성장할 수 있다. 우리의 유토피아 시나리오(상자 1)는 학습 분석과 관련하여 표현된 희망(혹은 과대광고)의 상당 부분을 반영한다. 모든 것이 효과가 있고, 혜택은 증가하며, 모든 사람이 승리한다. 물론, 이것은 사실이기에는 너무 좋은 일이다. 

In a utopia, everything works to the best advantage of everyone. People are happy and able to thrive and grow as they will. Our utopian scenario (Box 1) reflects much of the hope (or perhaps hype) that has been expressed with regard to learning analytics 11,20,26; everything works, benefits multiply, and everyone wins. Of course, this is too good to be true.


박스 1 역량 기반 의료 교육 시스템에서 분석을 위한 유토피아 시나리오를 설명하는 가상의 사례 연구
Box 1 Fictional Case Study Describing a Utopian Scenario for Learning Analytics in a Competency-Based Medical Education System


Walzar 박사는 그녀의 컴퓨터 화면에서 뒤로 기대어 미소를 지었다. 그녀의 병원의 다른 프로그램 책임자들은 그녀가 역량 기반 평가 시스템의 문제를 해결하기 위한 새로운 소프트웨어를 개발하기 위해 정보 기술 부서와 협력할 것을 제안했을 때 회의적이었습니다. 그들은 그들의 EHR이 시행되기 전에 비슷한 효율성의 약속들을 들었었지만, 그것은 결코 그 과대광고에 부응하지 못했다. 이것은 달랐다. 일단 그녀가 그들에게 작동하는 프로토타입을 보여주자, 그들은 그들의 프로그램을 도입하자고 간청했다. 새로운 데이터 시각화 및 분석 제품군을 설정하고 최적화하는 것은 어려운 일이었지만, 그 결과는 그만한 가치가 있었습니다. 그녀의 프로그램 관리자는 평가 데이터의 스프레드시트 이후 스프레드시트를 정리해야 하는 족쇄에서 해방되어 마침내 휴가를 얻어 여가 시간에 프로그램을 개선하기 위한 새로운 아이디어를 생각해 냈습니다. 역량 위원회 위원들은 그들의 회의가 월별, 하루 종일 열리는 마라톤에서 분기별 한 번씩 한가로운 아침으로 바뀌어 행복했다. 그리고 그녀는 그들이 더 나은 결정을 내리고 있다고 확신했습니다! 그녀의 교육생들조차도 새로운 교수 대시보드를 교수 개발 세션에 통합한 후 받은 향상된 피드백에 깊은 인상을 받았습니다. 그들은 또한 그들의 커리큘럼에 대한 데이터 중심의 변화가 그들이 유능한 의사가 되기 위해 필요한 경험을 얻을 수 있는 충분한 기회를 제공한다는 것을 알아챘다.
Dr. Walzar leaned back from her computer screen and smiled. The other program directors at her hospital had been skeptical when she had proposed working with their information technology department to develop new software to address the challenges of their competency-based assessment system. They had heard similar promises of efficiency before the implementation of their electronic health record, but it had never lived up to the hype. This was different. Once she had shown them a working prototype, they were begging to have their programs brought on board. Setting up and optimizing their new data visualization and analytics suite had been a challenge, but the results were worth it. Her program administrator, unleashed from the shackles of organizing spreadsheet after spreadsheet of assessment data, was finally taking a vacation and, in her spare time, had been coming up with new ideas to improve their program. Her competence committee members were happy as their meetings went from monthly, full-day marathons to leisurely mornings once a quarter. And she was sure that they were making better decisions, too! Even her trainees were impressed with the improved feedback they were receiving after they incorporated their new faculty dashboard into their faculty development sessions. They had also noticed that the data-driven changes to their curriculum were giving them ample opportunity to get the experiences they needed to become competent physicians.

가장 최근에, 그녀는 QI 전공의 몇몇 동료들과 연락했다. 그들은 그녀의 진전에 흥미를 느꼈고 그녀의 교육 데이터와 임상 결과의 통합을 탐구하기를 원했다. 그들은 각 연수생의 임상 치료 품질을 정량화하기 위해 전자 건강 기록의 데이터를 평가 대시보드에 통합하기 시작했다. 그녀는 교육 평가와 함께 임상 측정 기준을 추적하고 어떻게 그것들이 함께 사용될 수 있는지 볼 수 있는 가능성에 대해 흥분했습니다. 이 새로운 대시보드는 교육생들에게 환자의 건강에 직접적인 영향을 미치는 자신의 진료 패턴에 대한 통찰력을 제공할 것이다. Walzar 박사는 이러한 새로운 임상학습 애널리틱스를 만들기 위해 그녀의 임상 운영 팀과 협력하기를 고대했습니다.
Most recently, she had connected with some of her colleagues with backgrounds in quality improvement. They were intrigued by her progress and wanted to explore the integration of clinical outcomes with her educational data. They had begun integrating data from their electronic health record into the assessment dashboard to quantify the quality of each trainee’s clinical care. She was excited about the potential to track clinical metrics alongside educational assessments and see how they could be used together. This new dashboard would provide trainees with insights about their own practice patterns that had direct impact on the health of their patients. Dr. Walzar was looking forward to working with her clinical operations team to create these new clinical learning analytics.

프로그램 감독으로서 그녀에게는 다른 이점도 있었다. 그녀는 교육생들의 데이터에 쉽게 접근할 수 있었고 평가나 평가 패턴과 관련된 것이 발견되었을 때 실시간 경보를 받을 수 있었다. 그녀는 또한 비정상적인 행동을 식별하기 위해 교직원들의 평가 행동을 추적했다. 예를 들어, 그녀는 비센 박사가 수년 동안 성차별적 평가를 제출했다고 생각했지만 컴퓨터가 그것을 확인하기 전까지는, 그녀는 어떤 증거도 가지고 있지 않았다! 무엇보다도, 평가 데이터를 인증 기관에 제출하는 것이 자동화되었습니다. 그들의 분석은 그녀의 프로그램이 그들의 평가의 양과 질에 있어서 전국에서 상위 5퍼센트 안에 들어있다는 것을 보여주었다. 그녀는 올해 말 승진 지원서에서 그 성과를 강조하는 것을 기억해야 할 것이다. 이 모든 "학습 분석 자료"는 결국 완성되었다.
There had also been other benefits for her as a program director. She could readily access her trainees’ data and receive real-time alerts when concerning assessments or assessment patterns were found. She also tracked the assessment behaviors of her faculty members to identify abnormal behavior. For example, she thought that Dr. Bisen had been submitting sexist assessments for years but until the computer had identified it, she did not have any proof! Best of all, the submission of assessment data to their accrediting body was now automated. Their analyses showed that her program was performing in the top 5 percentile in the entire country in terms of the quantity and quality of their assessments. She would have to remember to highlight that accomplishment in her application for promotion later this year. All of this “learning analytics stuff” had panned out after all.


유토피아 시나리오는 형성적 및 총괄적 역량 평가의 맥락에서, 데이터 시각화 및 학습 분석의 잠재적 이점을 보여준다. 특히 데이터 시각화를 통해 교육생은 물론 교사 및 프로그램 책임자가 어려움을 겪고 있거나, 만족하거나, 우수한 수행 패턴을 식별하는 데 도움이 되는 [빈번한 저부담 EPA 기반 평가 데이터]를 [효율적으로 검토]할 수 있다. 이러한 기술은 교수진 개발과 지속적인 품질 개선을 위해 이러한 평가 데이터를 동시에 사용함으로써 조직 개발 프로그램에 기여할 수 있다. 
The utopian scenario demonstrates the potential benefits of data visualization and learning analytics in the context of assessing competence, both formatively and summatively. In particular, data visualization could allow for the efficient review of frequent, low-stakes EPA-based assessment data to help trainees as well as their preceptors and program directors to identify patterns of struggling, satisfactory, or excelling performance. 27–29 These techniques could feed into a program of organizational development through the simultaneous use of these assessment data for faculty development and continuous quality improvement. 22

예를 들어, [서술형 평가 코멘트의 품질]을 평가하기 위해 Quality of Assessment of Learning (QuAL) 점수를 사용할 수 있는 타당성 증거가 있다. 자연어 처리 알고리즘을 사용한 QAL 점수 등급의 자동화는 역량 위원회가 [고품질의 서술적 논평]으로 EPA를 쉽게 식별하도록 하여 총괄 평가 결정을 지원할 수 있다. 이러한 점수는 또한 시간 경과에 따른 서술적 피드백 개선에 초점을 맞춘 개입의 영향을 정량화하기 위해 교수진 및 프로그램 수준에서 통합될 수 있다. 개인 및 그룹 성과에 대한 더 많은 세부 사항이 설정될 수 있기 때문에 개인은 이 정밀도로부터 이익을 얻을 수 있다는 점에서 정밀 의료와 분명한 유사점이 있다. 이 정보는 또한 학습 환경을 개별 교육자의 요구와 궤적에 더 잘 맞추는 데 도움이 될 수 있다. 33 
For example, there is validity evidence to support the use of the Quality of Assessment of Learning (QuAL) score for the evaluation of the quality of narrative assessment comments. 30,31 The automation of QuAL score ratings with natural language processing algorithms could support summative assessment decisions by making it easier for competence committees to identify EPAs with high-quality narrative comments. These scores could also be amalgamated at the faculty member and/or program level to quantify the impact of interventions focused on improving narrative feedback over time. There are clear parallels with precision medicine 32 in that as greater detail of individual and group performance can be established, individuals can benefit from this precision. This information may also help us to better align the learning environment with individual trainees’ needs and trajectories. 33

학습 애널리틱스의 발전은 또한 성차별적이거나 인종 차별적인 평가 관행을 식별하고 정량화함으로써 [형평성 문제]를 해결하는 데 도움이 될 수 있다. 이러한 문제들이 쉽게 식별될 수 있을 때까지, 그것들이 다뤄질 것 같지는 않다. 평가의 성별 편견에 대한 Mueller 등과 Dayal 등의 초기 연구는 개별 교수진, 교육 프로그램, 기관 및 전문 분야의 평가 데이터 내에서 편향을 모니터링하도록 확장 및 자동화될 수 있다. 이 정보는 평가자 편견에 대한 추가 조사를 안내하고 이를 감지하고 완화하기 위한 개입을 개발할 수 있다.
Advances in learning analytics could also help to address equity issues through the identification and quantification of sexist or racist assessment practices. Until these issues can be readily identified, it is unlikely that they will be addressed. Early work by Mueller et al 34 and Dayal et al 35 on gender bias in assessments could be expanded and automated to monitor for biases within the assessment data of individual faculty members, training programs, institutions, and specialties. This information could guide further investigation into rater biases and develop interventions to detect and mitigate them.

또 다른 유토피아적 관점은 [여러 데이터 소스, 특히 임상 결과 데이터를 마이닝하고 통합]하는 데 중점을 둔다. [임상 데이터]와 [교육 평가]의 통합은 물론, 교직원과 실습생의 임상 결과의 상호 의존성을 넘어서서, [전공의-민감 품질 지표]의 식별에 대한 작업이 이미 시작되었다. 앞으로 질 향상과 의료교육에 전문성을 갖춘 의사들 간의 협업이 연수생 평가 데이터와 그동안 보살펴온 환자의 임상 결과를 연계할 것으로 기대한다. 이러한 [임상-교육 통합]을 실현하기 위해서는 학습 분석, 실습 분석 및 환자 결과 간의 연결이 설정되어야 한다. 이상적으로, 이러한 연결은 개인, 프로그램 및 시스템 수준의 변경을 지원하기 위해 의미 있게 해석될 수 있는 통합 분석 및 시각화를 사용하여 치료 품질 및 비용을 최적화하는 데 도움이 될 수 있습니다.

Other utopian perspectives focus on mining and integrating multiple data sources, in particular clinical outcome data. 16,17 Work has already begun on the integration of clinical data and educational assessment 36,37 as well as the identification of resident-sensitive quality metrics 38,39 that move beyond the interdependence of faculty and trainee clinical outcomes. 40,41 In the future, we anticipate that collaboration between physicians with expertise in quality improvement and medical education will link trainee assessment data with the clinical outcomes of the patients that they have cared for. 42 To realize this clinical–educational integration, links will need to be established between learning analytics, practice analytics, and patient outcomes. Ideally, these connections would help to optimize the quality and cost of care using integrated analytics and visualizations that can be meaningfully interpreted to support individual-, program-, and system-level changes.

물론, 이러한 종류의 파놉티시즘이 유토피아인지 아닌지는 논쟁의 여지가 있습니다. 한 사람의 유토피아는 다른 사람의 디스토피아일 수 있기 때문입니다.
Of course, whether panopticism of this kind is utopian is debatable, as one person’s utopia might well be another person’s dystopia.

미래형 디스토피아
A Prospective Dystopia

디스토피아는 이상과는 거리가 멀고 불만이 보통이다. 기술 발전 속도는 소프트웨어 공급업체들이 디지털 전환을 약속하는 우리 기관의 문을 두드리는 날이 머지않을 것으로 보인다. 우리의 인공지능 사용은 계속 개선될 것이며, 그것은 우리의 평가와 임상 데이터 모두에 더 광범위하게 적용될 수밖에 없다. 구현을 안내할 구조가 마련되지 않으면 디스토피아 시나리오(Box 2)가 실현될 수 있습니다.

In a dystopia, things are far from ideal and dissatisfaction is the norm. The pace of technological advancement makes it likely that it will not be long before software vendors are knocking on the doors of our institutions promising digital transformation. Our use of artificial intelligence will continue to improve, and it is inevitable that it will be applied more broadly to both our assessment and clinical data. If we do not have a structure in place to guide its implementation, our dystopian scenario (Box 2) may come to pass.


박스 2 CBME에서 학습 애널리틱스에 대한 디스토피아 시나리오를 설명하는 가상의 사례 연구
Box 2 Fictional Case Study Describing a Dystopian Scenario for Learning Analytics in Competency-Based Medical Education

Walzar 박사는 자신의 데이터 시각화 및 분석 시스템의 완벽한 구현에 대해 학장과 동료 프로그램 감독들로부터 열렬한 피드백을 받고 있었습니다. 다음 순간 그것은 와르르 무너져 내렸다. 연습생 중 한 명 정도를 받았다는 통보로 시작됐다. 제이콥은 프로그램 내에서 호감을 얻고 있었고, 컴퓨터가 그의 최근 평가 패턴에 관한 플래그를 세우기 전까지 잘 지내오고 있었다. 역량 위원회가 과거에 비슷한 깃발을 보았을 때, 그들은 행동하지 않았고, 확실히 몇 달 안에 이 훈련병들이 고군분투하고 있다는 것을 증명했다. 역량위원들은 이번에는 기다리지 않기로 했다. 그들은 월자르 박사가 제이콥을 불러서 진찰을 받으라고 요청했다.
One minute Dr. Walzar had been enjoying glowing feedback from her dean and fellow program directors on the flawless implementation of her data visualization and analytics system. The next minute it had come crashing down. It started with a notification that she received about one of her trainees. Jacob was well liked within the program and had been progressing well until the computer had flagged his recent assessment pattern as concerning. When the competence committee had seen similar flags in the past, they had not acted and, sure enough, within a few months the evidence demonstrated that these trainees were struggling. The competence committee members decided that this time they did not want to wait. They requested that Dr. Walzar call Jacob in for a meeting to check in.

회의에서, 그녀는 알고리즘은 EPA 수행에 플래그를 달았지만, 역량 위원회는 아직 어떤 문제도 발견하지 못했다고 언급했다. Jacob은 눈에 띄게 화가 나서 "이게 무슨 점쟁이 같은 쓰레기야? 정말 미래를 예측할 수 있다는 말인가요?"라고 물었다. 그때부터, 제이콥은 그녀와 평가 시스템, 그리고 훈련 프로그램에 대해 불신하게 되었다. 그의 임상 성적은 악화되었다. 그녀는 컴퓨터가 옳았고 이것이 불가피한 것인지, 아니면 그의 쇠퇴를 촉발시킨 것이 회의 그 자체인지 궁금했다. 그럼에도 불구하고, 문제는 그녀가 그를 프로그램에서 말릴 수 밖에 없을 때까지 계속되었다. 그녀는 바로 다음 주에 그의 제적dismissal과 관련된 소송을 제기했었다.

During the meeting, she mentioned that their algorithm had flagged his EPA performance, but that the competence committee could not identify any problems just yet. He had become visibly upset, asking “What kind of fortune-telling garbage is this? Are you seriously saying you can predict the future?” From then on, Jacob was distrustful of her, the assessment system, and the training program. His clinical performance deteriorated. She wondered if the computer had been right and this was inevitable, or if it was the meeting itself that had set off his decline. Regardless, the problem had festered until she had no choice but to terminate him from the program. She had been served with a lawsuit regarding his dismissal the very next week.

문제는 거기서 끝나지 않았다. 지난 주에 그들의 인증 기관이 해킹을 당했다. 그들의 모든 훈련생들의 평가 자료가 도용되어 온라인에 게재되었다. 그들을 제거하기 위해 그들이 할 수 있는 것은 아무것도 없는 것처럼 보였다. 그녀는 수련생들로부터 주요 병원 그룹이 이러한 데이터에 접근했다는 속삭임을 들었고, 아무런 설명도 없이 훈련 기간 동안 어려움을 겪었던 훈련병들의 인터뷰를 취소했다.
The problems did not end there. Last week their accrediting body had been hacked. All their trainees’ assessment data were stolen and published online. It did not seem like there was anything that they could do to have them removed. She had heard whispers from her trainees that the major hospital groups had gotten access to these data and, without any explanation, had canceled the interviews of the trainees who had struggled during parts of their training.

가장 나쁜 것은, 유출된 평가 중 하나가 현재 그녀의 훈련생, 동료, 그리고 병원을 고소하고 있는 한 환자가 받은 치료에 관한 것이었다는 사실이다. 연습생의 ICU 로테이션 동안, 그들은 central line을 놓으려고 애썼다. 절차에 대한 교수진의 EPA 평가는 낮은 수준의 위탁을 나타냈으며, 기술의 어려움을 강조하는 유용한 형성적 피드백을 제공했다. 불행하게도, 이것은 환자의 중심선 감염에 기여했을 수 있다. 연수생 변호인단은 이 평가가 과실의 증거로 소송에서 인용될 것이라고 확신했다.
Worst of all, one of the leaked assessments referenced the care received by a patient who was currently suing her trainee, colleagues, and hospital. During the trainee’s intensive care rotation, they had struggled to place a central line. The faculty member’s EPA assessment of the procedure indicated a low level of entrustment and provided helpful formative feedback that highlighted difficulties with technique. Unfortunately, this may have contributed to the patient’s development of a central line infection. The trainee’s lawyers were certain that this assessment was going to be cited in the lawsuit as evidence of negligence.

그 승진에 대해서는 잊어버려. 그녀는 의학을 완전히 그만두어야 할까 봐 걱정했다. 그녀는 그녀가 이런 학습 애널리틱스를 시작하지 않았어야고 생각했다.

Forget about that promotion. She was worried that she was going to have to leave academic medicine altogether. She wished that she had never gotten started with this learning analytics stuff.


디스토피아 시나리오는 훈련생의 EPA 데이터를 정밀하게 분석하는 것이 해로울 수 있는 몇 가지 방법만을 보여준다. 앞으로 나아가면서, 우리는 어떻게 하면 그것이 가져올 수 있는 문제에 굴복하지 않고 궁극적으로 환자 결과를 개선할 수 있는 방법으로 집계된 데이터의 시각화 및 분석의 이점을 유지할 수 있는지 고려해야 한다. 학습 애널리틱스를 통합하는 혁신적인 데이터 솔루션을 추진하는 사람들에게 특히 주목할 만한 몇 가지 영역이 있다.

The dystopian scenario illustrates only some of the ways that the sophisticated analysis of trainees’ EPA data could be detrimental. 21 As we move forward, we must consider how we can maintain the benefits of the visualization and analysis of aggregated data in ways that can ultimately lead to improved patient outcomes without succumbing to the problems that it could present. Several areas are deserving of particular attention for those pushing forward innovative data solutions incorporating learning analytics.

데이터 보안
Data security

애널리틱스 접근 방식을 사용하든 사용하지 않든, [교육생 평가 데이터의 보안]은 우려 사항이다. 이 문제가 항상 존재했지만, 현대의 시스템은 수많은 분산 액세스 포인트가 있는 더 큰 데이터베이스에 저장되기 때문에 해킹과 다른 디지털 데이터 보안 침해에 더 취약할 수 있다. 또한, 우리가 수집하는 평가 데이터는 점점 더 상세해지고 민감해집니다. 불행하게도, 이러한 전환이 일어나면서, 우리의 고등 교육 기관들은 점점 더 많은 보안 침해의 대상이 되었습니다. 교육생과 직원들에 대한 대량의 귀중한 데이터, 정보기술 구조의 분산된 조직, 네트워크에 액세스할 수 있는 다수의 개인, 그리고 이러한 위협에 대처하기 위한 상대적으로 부족한 자원 때문에 해커의 표적이 된다는 것이 입증되었습니다.정부와 대기업. 교육 평가 데이터 유출로 인한 잠재적 영향은 고려해야 할 매우 현실적인 위험이다.

Whether or not an analytics approach is used, the security of trainee assessment data is a concern. 43 While this problem has always existed, modern systems may be more prone to hacking and other digital data security breaches because they are stored in larger databases with numerous distributed access points. Additionally, the assessment data that we collect are increasingly detailed and sensitive. Unfortunately, as this transition has occurred, our higher education institutions have been subject to an increasing number of security breaches. 44 They have proven to be targets for hackers due to the large amount of valuable data they store about their trainees and employees, the decentralized organization of their information technology structure, the large number of individuals that are able to access their network, and the comparative lack of resources to combat this threat relative to government and big business. 45 The potential fallout from the leak of educational assessment data is a very real risk that should be considered.

예측적 분석
Predictive analytics

1956년 그의 공상과학 단편소설 "마이너리티 리포트"에서 필립 K. 딕은 "precrime"이라는 개념을 도입했다. 즉, 아직 저지르지 않았지만 명백한 시스템에 의해 예측된 범죄에 대해 체포되어 기소될 수 있다는 것이다. 46 예측 분석은 수습 성과와 같은 미래 사건에 대해 추론하는 기법이다. [예측 분석]을 통합하는 것은 어려움을 겪고 있는 교육생을 식별하고 그들에게 추가적인 지원을 제공하기 위해 압도적 역량 위원회를 지원할 수 있는 잠재력을 가지고 있지만, 교육생을 조기에 [struggling 또는 deficient]으로 분류하는 것은, 연수생 자신 또는 프로그램의 인식을 예상하지 못하거나 잠재적으로 부정적인 방식으로 바꿈으로써, 오히려 교육생의 어려움을 유발하거나 악화시킬 수 있다. 분석적 예측에 기초하여 고위험 결정을 내리는 윤리 및 합법성과 같은 다른 과제들도 고려할 필요가 있다.
In his 1956 science fiction short story The Minority Report, Philip K. Dick introduced the concept of “precrime”—that one could be arrested and charged for a crime that they had not yet committed but that had been predicted by a seemingly infallible system. 46 Predictive analytics are techniques that make inferences about future events such as trainee performance. 10 While the incorporation of predictive analytics has the potential to assist overwhelmed competence committees to identify trainees who may be struggling and provide them with additional support, it is equally possible that prematurely labeling trainees as struggling or otherwise deficient may cause or exacerbate a trainee’s struggles by altering their and their program’s perceptions in unanticipated and potentially negative ways. 47 Other challenges such as the ethics and legality of making high-stakes decisions on the basis of analytical predictions also need to be considered.

데이터 소유 및 사용
Data ownership and use

[데이터의 접근, 소유권 및 거버넌스를 둘러싼 윤리적 문제]는 의료 교육에서 학습 분석의 사용이 증가함에 따라 특히 우려되는 사항으로 식별되었다. 이러한 우려는 다음과 같은 과제를 식별하는 광범위한 교육 문헌 내에서 마찬가지로 나타난다. 예를 들면,

  • 단편화되거나 불완전한 데이터에서 고부담 의사 결정을 내린다.
  • 모집단에서 도출한 통찰력을 개별 교육생에게 적용한다.
  • 교육생에게 데이터 사용에 대한 동의를 구하는 것이 불충분하거나, 동의를 구하지 않는다.
  • 고도로 민감한 데이터의 적절한 관리를 보장하지 못한다.
  • 분석에 의해 전파되는 편견을 고려하지 않는다.

이러한 문제는 (비교적 추상적인 영어단어 점수를 포함하는 다른 분야의 학생들에 대해 더 일상적으로 수집된 데이터와 달리) [개별 환자의 치료에서 전문 역량에 대한 상세한 실제 평가]를 포함하는 EPA 기반 프로그램의 성격을 고려할 때 의료 교육 내에서 특히 고려할 가치가 있다. 
Ethical issues surrounding access, ownership, and governance of data have been identified as particular concerns with the growing use of learning analytics in medical education. 21,43 These concerns are paralleled within the broader educational literature which identifies challenges including

  • making high-stakes decisions from fragmented or incomplete data,
  • applying insights derived from populations to individual trainees,
  • inadequately (or simply not) seeking consent from trainees regarding the use of their data,
  • failing to ensure appropriate stewardship of high-sensitivity data, and
  • neglecting to consider the biases propagated by analyses. 48 

These issues deserve particular consideration within medical education given the differences between EPA-based programs which contain detailed, real-world assessments of professional competency in the care of individual patients, as opposed to more routinely collected data about students in other fields which contain relatively abstract alphanumerical grades.

또한 분석 엔진이 [독립적 의료행위로의 진전을 결정하는 데 있어 궁극적인 권위]라고 가정되는 선험적인 것인지도 우려된다. 상소권을 포함한 [견제와 균형]이 그러한 시스템에 내장될 필요가 있다. 일반적으로 고등교육을 위해 설계된 광범위한 기관 정책이 연수생-환자 상호작용에 초점을 맞춘 종적 EPA 평가 데이터의 복잡한 감독에 완벽하게 적합하지는 않을 것이다.

It is also a concern if the analytics engine is a priori assumed to be the ultimate authority in determining progress toward independent practice. Checks and balances, including rights of appeal, need to be built into any such system. It is unlikely that broad institutional policies designed for higher education in general will be a perfect fit for the complex oversight of longitudinal EPA assessment data focused on trainee–patient interactions.

임상 통합
Clinical integration

[의학 교육]은 [교육생이 중요한 임상 치료를 제공하는 견습 모델] 내에서 [교육생에 대해 상당한 양의 평가 데이터]가 수집된다는 점에서 비교적 독특하다. 임상 결과와 교육 평가를 연계함으로써 얻을 수 있는 잠재적 이익을 고려할 때, 우리는 교육생이 추가적인 [의료법적 위험]에 과도하게 노출되지 않도록 보장해야 한다. 영국의 Bawa-Garba 사건은, 한 소아과 수련생이, 부분적으로, 그녀의 전자 포트폴리오에서 끌어낸 성찰에 근거하여, 중과실 치사죄로 유죄 판결을 받은 것으로, 이것이 우리가 믿고 싶은 것보다 더 가능하다는 것을 암시합니다. 
Medical education is relatively unique in that a substantive amount of assessment data is collected on trainees within an apprenticeship model wherein trainees provide clinical care of significant consequence. As we consider the potential benefits of linking clinical outcomes with educational assessments, we must ensure that we do not unduly expose trainees to additional medicolegal risk. The Bawa-Garba case in the United Kingdom, wherein a pediatric trainee was convicted of gross negligence manslaughter based, in part, on reflections pulled from her electronic portfolio, suggests that this is more possible than we would like to believe. 49

디스토피아 시나리오는 의학 교육에서 학습 분석과 관련하여 제기된 모든 우려를 설명하지는 않지만, 우리가 이러한 새로운 도구를 사용하기 시작할 때 직면하게 되는 함정에 대해 적나라하게 상기시키는 역할을 해야 한다. 현장의 잠재력을 극대화하는 방식으로 전진하려면 사려 깊고 의도적인 접근이 필요하다.
While the dystopian scenario does not illustrate all of the concerns that have been raised regarding learning analytics in medical education, 21 it should serve as a stark reminder of the pitfalls that we face as we begin to use these new tools. Moving forward in a way that maximizes the potential of the field will require a considered and intentional approach.

과정 차트 작성
Charting a Course


대부분의 관할 구역은 CBME를 지원하기 위한 학습 애널리틱스의 사용이 탐구되고 있는 중요한 벼랑에 있지만, 우리의 교육생과 기관을 통제하고 보호하기 위한 정책과 프로세스는 아직 정비되지 않았다. 우리는 유토피아와 디스토피아 시나리오의 공유가 이 기술의 필요성과 탄력적이고 미묘한 그리고 민첩한 감독 시스템을 구축하는 것의 중요성을 모두 전달했기를 바란다. 이러한 과제에 대처할 수 있다면 세 번째 시나리오(상자 3)에 설명된 결과가 더 가능성이 높습니다.

Most jurisdictions are at an important precipice where the use of learning analytics to support CBME is being explored, but the policies and processes to govern and protect our trainees and institutions have not yet been ironed out. We hope that the sharing of utopian and dystopian scenarios has conveyed both the need for this technology and the importance of building resilient, nuanced, and nimble systems of oversight. If we can rise to this challenge, the outcomes described in our third scenario (Box 3) are more likely.


박스 3 CBME에서 학습 애널리틱스의 안전하고 윤리적인 구현을 설명하는 가상의 사례 연구
Box 3 Fictional Case Study Describing the Safe and Ethical Implementation of Learning Analytics in Competency-Based Medical Education

Walzer 박사가 분석 학습에 대해 더 많이 배우면서, 그녀는 자신의 프로그램이 몇 가지 심각한 결과에 얼마나 가까이 다가왔는지를 깨달았다. 지역 정보 기술 팀과 함께 일하면서, 그녀는 자신의 작업의 윤리적, 기술적 함의를 연구했고 그 문제들을 앞질렀다. Walzar 박사는 자신의 새로운 지식을 바탕으로, [데이터 유형을 구분하고 프로그램 평가 및 연구에 데이터가 어떻게 사용될 것인지를 명확히 하는 데이터 액세스 표준] 개발을 위한 투입input과 리더십을 제공했습니다. 이 계획은 평가 데이터를 인증 기관에 전송하고 저장하는 데 영향을 미쳤다. 전송에 예상보다 시간이 오래 걸렸지만, 익명화된 집계 데이터만 업로드되도록 주요 변경 사항이 적용되었습니다. 인증기관이 (제3자 보안감사 권고사항을 이행했음에도) 해킹을 당했을 때 조차, 교육생들의 평가 자료는 구체적으로 식별되지 않았다.

As Dr. Walzer learned more about learning analytics, she realized just how close her program had come to some serious consequences. Working with her local information technology team, she studied the ethical and technical implications of her work and got ahead of the issues. With her newfound knowledge, Dr. Walzar also provided input and leadership on the development of data access standards that distinguished types of data based upon their sensitivity and clarified how data would be used for program evaluation and research. This planning impacted the transfer and storage of assessment data to their accrediting body. While the transfer took longer than anticipated, major changes were made to ensure that only anonymized, aggregate data were uploaded. When the accrediting body was hacked despite having implemented the recommendations of a third-party security audit, none of their trainees’ assessment data were specifically identifiable.

그녀는 [공동 설계 방법론]을 활용하여 일선 교수진, 현재 교육생 및 심지어 소수의 환자를 포함한 이해 당사자들을 참여시켰습니다. 몇 년 안에, 그녀는 이 수련생들이 병원의 최신 교수진이 될 것이라고 예상했고, 그녀는 그들의 참여를 수련생들에게 이 작품이 받아들여질 수 있도록 하는 방법과 그들의 문화와 시스템의 지속 가능성에 대한 투자로 보았다. 또한 작업에 대한 투명성과 신뢰도를 높였습니다. 이해관계자들이 제안한 변경사항으로 인해 관련성이 높아졌으며 여러 가지 우려사항이 구현되기도 전에 해결되었습니다.
She leveraged a co-design methodology to engage stakeholders including frontline faculty, current trainees, and even a few patients. Within a few years, she anticipated that these trainees would become their hospital’s newest faculty and she saw their involvement as both a way to ensure the work was embraced by the trainees and as an investment in the sustainability of their culture and system. It also increased the transparency and trust in the work. The changes the stakeholders suggested made it more relevant and resulted in multiple concerns being addressed before they were even implemented.

프로그램을 [역량 위원회 결정]에 inform하기 위해 예측 분석을 사용하는 것도 지연되었다. 그 시간에, 그들은 고부담 평가 결정을 지원하는 데 이러한 새로운 방법론을 사용하기 위한 [타당성 증거]를 수집했다. 역량 위원회 위원들은 이것이 그들의 결정을 더 잘 뒷받침하는 더 명확하고 강력한 분석 결과를 가져왔다는 데 동의했다. 이러한 학술적 접근은 또한 그들의 부서 구성원들을 위한 수많은 출판물을 낳았다. 그들은 모든 훈련생들에게 개별화된 학습 계획을 알리기 위해 새로운 방법을 사용하는 방법을 배우는 시간을 가졌습니다. 그녀는 교육생들이 단순히 시스템에 의해 플래그가 지정되는 것을 방치하는 것이 아니라, 교육생들이 데이터를 해석하고 그에 따라 행동할 수 있도록 돕는 데이터 전문 교수진을 구축하기 위해 지역 교육자들과 광범위하게 협력했다.
Her program’s use of predictive analytics to inform their competence committee decisions was also delayed. In that time, they collected validity evidence for the use of these novel methodologies in supporting high-stakes assessment decisions. The competence committee members agreed that this resulted in more clear and robust analytics that better supported their decisions. This scholarly approach also resulted in numerous publications for members of their department. They took the time to learn how to use the new methods to inform the individualized learning plans for every trainee. She worked extensively with local educators to build up a cadre of data-savvy faculty who were comfortable with helping the trainees to interpret and act upon the data, rather than simply leaving trainees to be flagged by the system.

몇 년 안에, Walzer 박사와 그녀의 교육생들, 그리고 그 기관은 학습 애널리틱스를 그들의 프로그램에 통합하는 것이, 부정적인 결과를 방지하면서, 모든 당사자에 대한 이익을 극대화하는 방식으로 이루어졌다는 것을 편안하게 느끼게 되었다. 그들은 또한 계속해서 새로운 계획들을 생각해냈다. 예를 들어, 그들은 교육생을 위한 주요 성과 지표를 취약한 환자 집단의 임상 관리 개선에 매핑하기 시작했다.
Within a few years, Dr. Walzer, her trainees, and the institution became comfortable that the incorporation of learning analytics into their program was done in a way that maximized the benefits to all parties while preventing negative consequences. They also continued to come up with new initiatives. For example, they had begun mapping key performance indicators for their trainees to improvements in the clinical care of vulnerable patient populations.


 

1942년 단편 'Runaround'에서, Issac Asimov는 로봇 행동의 지배 원리로 로봇 공학의 3가지 법칙을 제안했다. 로봇 기술의 초기에 쓰여졌음에도 불구하고, 이러한 원칙들은 오늘날까지 계속 논의되고 논의되고 있다. 로봇 공학 및 학습 분석은 특정 지침의 장기적 관련성을 제한하면서 신속하고 예측할 수 없는 진화할 수 있는 기술이라는 공통점을 공유한다. 이를 염두에 두고 학습 분석의 개발 및 구현에 대한 유사한 원칙적 접근 방식이 적절하다고 본다. Slade와 Prinslu는 CBME 내에서 광범위하게 적용할 수 있는 [학습 애널리틱스를 위한 6가지 윤리적 원칙]을 제안했다. 48 표 1은 이러한 원칙을 설명하고 CBME 평가 프로그램 내에서 이들의 적용 예를 제공한다.
In his 1942 short story Runaround, Issac Asimov proposed 3 laws of robotics as governing principles for robot behavior. 50 Despite being written in the early days of robotic technology, these principles continue to be discussed and debated to this day. Robotics and learning analytics share the commonality of being technologies that can evolve rapidly and unpredictably, limiting the long-term relevance of specific guidelines. Bearing this in mind, we believe that a similarly principled approach to the development and implementation of learning analytics is appropriate. Slade and Prinsloo have proposed 6 ethical principles for learning analytics that are broadly applicable within CBME. 48Table 1 describes these principles and provides an example of their application within a CBME assessment program.

 

분석을 배우는 것은 도덕적인 실천이 되어야 한다.
Learning analytics should be a moral practice

학습 분석은 의사 결정에만 사용해서는 안 되며, 의료 시스템 내의 [교육생, 기관 및 환자의 이익]을 위해 [학습에 대한 이해]를 높이는 데 사용되어야 한다. 적절한 [정책, 시스템 및 문화를 구축 및 조정]하여 사용을 가이드하도록 주의를 기울여야 한다. 예를 들어, 예측 분석을 구현할 때, 우리는 우리가 찾고 있는 정보뿐만 아니라 그러한 정보가 이러한 그룹에 어떻게 그리고 왜 도움이 될 것인지를 신중하게 고려해야 합니다. 우리의 결정에 영향을 미칠 수 있도록 허용하는 분석이 우리의 [시스템에 구축된 가정, 목적 및 체계적 편견을 탐구explore하는 [타당성 주장]에 의해 뒷받침되도록 하는 것]이 매우 중요하다. 학습 분석의 사용이 제도적 및 공동체적 가치와 일치하도록 보장하기 위해 PAIR(참여, 접근, 포함 및 표현) 원칙의 의도적인 고려가 제안되었다. 
Learning analytics should not be used solely to drive decisions, but to gain greater understanding of learning for the benefit of the trainees, institutions, and patients within our health care systems. Care should be taken to build and/or adapt appropriate policies, systems, and cultures to guide their use. 43 For example, when implementing predictive analytics, we must carefully consider what we are looking for as well as how and why that information will benefit these groups. It will be crucial to ensure that the analytics which we allow to influence our decisions are supported by validity arguments that explore the assumptions, purpose, and systemic biases that are baked into our systems. The intentional consideration of the PAIR (Participation, Access, Inclusion, and Representation) principles has been proposed to ensure that the use of learning analytics aligns with institutional and community values. 51

에이전트로서의 교육생
Trainees as agents

학습 분석은 "교육생에게" 가해지는 것이 아니라 "교육생과 함께" 하는 것이어야 한다. 시스템 내에서 교육생의 공동 설계와 참여는 필수적이며, 특히 상급 교육생이 후배들을 육성하고 가르치는 데 있어 어텐딩보다 실제 접근 방식을 더 많이 취하는 시스템에서 더욱 중요하다. 교육생은 당사 시스템의 설계 및 운영에 파트너로 참여해야 합니다. 어떤 데이터가 수집되고 어떻게 사용되는지 알려주면 이러한 분석에 참여하고 이익을 얻는 데 도움이 될 것이다. 이는 훈련생의 성과를 모니터링하기 위해 예측 분석을 사용하기 때문에 특히 중요하다. 이러한 분석의 개발에 교육생을 참여시키는 것은 교육생들이 자신에게 중요한 평가 프로그램에 대리점을 제공하는 동시에 그들의 이점과 한계를 이해하는 데 도움이 될 것이다. 성공적인 공동 설계 노력은 또한 미래 교육 리더의 도제 교육을 가능하게 합니다. 그들의 지속적인 기관은 데이터 시스템의 진화와 갱신에 기여하기 때문에 지속 가능성을 향상시킬 것입니다. 데이터 통찰력에서 학습하는 인간의 측면은 지속적인 전문 개발 문헌에 설명되어 있으며 교육생들에게 번역될 수 있다. 최적의 학습 시스템과 발전 지향적인 조직을 만들기 위해 어떤 교육적 지원, 정책, 시스템이 필요한지 이해하기 위해서는 더 많은 연구가 필요하다. 

Learning analytics should not be “done to” trainees but “done with” them. Co-design and involvement of trainees within the systems are imperative, especially in systems where senior trainees take more of a hands-on approach than attendings in nurturing and teaching their junior colleagues. Trainees should be involved as partners in the design and operation of our systems. Making them aware of what data are being collected and how they are being used will help them to engage with and benefit from these analyses. 28,52 This will be particularly important as predictive analytics are used to monitor trainee performance. Involving trainees in the development of these analyses will help them to understand their benefits and limitations while providing agency in an assessment program that matters to them. Successful co-design efforts also allow for the apprenticeship of future educational leaders whose continued agency will enhance sustainability as they contribute to the evolution and renewal of our data systems. 53–55 The human aspect of learning from data insights has been described in the continuing professional development literature and may translate to trainees. 56 More study is needed to understand what educational supports, policies, and systems will be required to create optimal learning systems and developmentally oriented organizations. 22,43

훈련생 신분과 성과는 시간적 역동적 구조이다.
Trainee identity and performance are temporal dynamic constructs

학습 분석을 구현하면서 교육 및 임상 결과가 [교육생의 상황]에 어떻게 영향을 미칠 수 있는지 결정해야 한다. EPA 평가는 [관찰 데이터]로 구성된다. 이러한 관찰은 [팀 기반 의료]의 맥락에서 발생하며, [암묵적 편견의 영향]을 받을 수 있는 교수진에 의해 완료된다. 우리가 이러한 데이터를 해석하기 시작할 때, 이러한 맥락을 기억하고 시간이 지남에 따라 교육생들의 성장을 고려하는 것이 중요할 것이다. 이는 [복잡한 시스템 속의 환자 결과]와 [교육생 주변에 존재하는 팀]을 통합할 때 특히 그렇습니다. 우리는 연습생이 일하는 맥락을 이해하고 성공을 어떻게 귀속시킬지를 결정하는 데 있어 그것을 설명하기 위해 미묘한 과학이 필요할 것이다. [전공의에 민감한 품질 척도]를 조사 및 분리하고, [의료 팀의 상호 의존성]을 분리하는 데 초점을 맞춘 최근 연구는 이 복잡하고 미묘한 데이터의 해석을 안내해야 한다.
As we implement learning analytics, we should seek to determine how educational and clinical outcomes can be and are impacted by our trainees’ contexts. 57 EPA assessments consist of observational data. These observations occur within the context of team-based health care and are completed by faculty members who may be influenced by implicit bias. 58 As we begin to interpret these data, it will be important to remember this context and consider the trainees’ growth over time. 57 This is particularly true when incorporating patient outcomes within the complex systems and teams that exist around our trainees. We will need nuanced science to understand the context in which the trainee works and account for that in determining how to attribute success. Recent work focused on examining and isolating resident-sensitive quality measures 38,39 and teasing apart the interdependence of health care teams 40,41 should guide the interpretation of this complex and nuanced data.

훈련생들의 성공은 복잡하고 다차원적인 현상이다.
Trainee success is a complex and multidimensional phenomenon.


우리는 학습 분석을 해석하고 사용하는 교육자를 교육하여, 학습 애널리틱스가 도출하는 추론에 대해 어느 정도 회의적인 태도를 유지하도록 해야 한다. 21 기계 학습, 자연어 처리 및 기타 고급 예측 도구는 [상관 관계 데이터 기법의 파생물]이므로 [인과관계와 연결되어 있다고 가정할 수 없다]. 임상 의사 결정 지원 도구, 위험 기반 계산기 또는 기타 지침을 임상 진료에서 사용하는 방법과 유사하게, 우리는 교육에 사용하는 [도구의 진단 부정확성]에 대해 경계해야 한다. 도구의 민감도 및 특수성과 같은 속성을 연구하면 도구의 강점과 한계를 이해하고 저위험 및 고위험 평가 결정에 적절하게 기여하고 있는지 확인하는 데 도움이 될 것이다. 무엇보다도, 우리는 [상관관계가 있는 결과]와 [운명fate]을 혼동하지 않도록 해야 한다.

We should train the educators who interpret and use learning analytics to sustain a degree of skepticism with respect to the inferences they draw from them. 21 Machine learning, natural language processing, and other advanced prediction tools are derivative of correlational data techniques and cannot be assumed to be linked to causality. 59 Similar to how we use clinical decision support tools, risk-based calculators, or other guidelines in clinical care, we should remain wary of the diagnostic imprecision of the tools that we use in education. Studying attributes such as the sensitivity and specificity of our tools will help us to understand their strengths and limitations and ensure that they are contributing appropriately to low- and high-stakes assessment decisions. Above all, we must ensure that we do not confuse a correlated outcome with fate.

투명성.
Transparency.

교육생들의 신뢰를 쌓고 유지하기 위해서는 [투명성]이 필수적입니다. EPA 평가 데이터에는 실습생 학습 및 평가에서부터 교수진 개발, 프로그램 평가, 품질 개선, 연구 및 인증에 이르는 수많은 사용 사례가 있다. 연수생의 평가 데이터가 이러한 모든 목적에 사용될 것이 분명하지 않기 때문에, 연수생은 자신의 데이터가 어떻게 사용될 것인지를 알아야 한다. 또한, 투명한 정책은 다양한 유형의 데이터의 [소유권과 민감도]를 분류하고, [누가 어떤 목적으로 각 유형의 데이터에 액세스할 수 있는지] 명확하게 설명해야 한다. 기관들은 그들의 정책과 지역 입법에 기초하여 그들 자신의 지침을 개발할 필요가 있을 것이다. 예를 들어, 내부 프로그램 평가 및 인증 목적을 위해 익명으로 집계된 수습 평가 데이터 세트를 사용하는 것은 오랜 표준 관행이지만 학습자에게 데이터가 이러한 방식으로 사용될 것임을 공식적으로 알리는 것이 중요하다. 한편, 연구 목적으로 식별 가능하거나 잠재적으로 식별 가능한 평가 데이터를 공유하려면 데이터의 민감도에 따라 선택 또는 선택 동의 프로세스가 필요할 수 있다. [[프로그램 평가]와 [연구] 사이의 구분을 명확히 하는 것]은 종종 프로그램 평가 작업으로 확장되는 윤리적 면제 및 감소된 정밀 조사를 고려할 때 매우 중요할 것이다. 훈련생 평가 데이터의 프라이버시를 보장하기 위해 취한 보안 절차의 한계도 투명해야 한다. 

Transparency is essential to develop and maintain the trust of our trainees. 60 There are numerous use cases for EPA assessment data that span from trainee learning and assessment through faculty development, program evaluation, quality improvement, research, and accreditation. 26 As it is not obvious that a trainee’s assessment data would be used for all of these purposes, they should be made aware of how their data will be used. Further, transparent policies should categorize the ownership and sensitivity of various types of data and explicitly outline who has access to each type of data for what purpose. Institutions will need to develop their own guidelines based upon their policies and local legislation. For example, using an anonymized, aggregated dataset of trainee assessments for internal program evaluation and accreditation purposes is a long-standing and standard practice, but it is important to formally inform learners that their data will be used in this way. On the other hand, the sharing of identifiable or potentially identifiable assessment data for research purposes is likely to require opt-out or opt-in consent processes depending upon the sensitivity of the data. Clarifying the division between program evaluation and research will be extremely important given the ethical exemptions and decreased scrutiny that are often extended to program evaluation work. 61 The limitations of the security procedures taken to ensure the privacy of trainee assessment data should also be made transparent. 62

데이터셋 간의 연결을 강화하면 데이터셋 분석을 지원하고 해킹이나 기타 기술적 문제에 더욱 취약해진다.

  • 데이터 파티셔닝(즉, 데이터가 저장되는 위치를 분리하고 온디맨드 방식으로 연결), 
  • 익명화(즉, 교육생이 데이터만으로 식별할 수 없도록 데이터를 코드화된 식별자로 재작성) 
  • 블록체인 기술(즉, 분산 원장 시스템을 사용하여 데이터 무결성을 보장하고 장애 지점을 최소화함) 및 
  • 다른 고급 데이터 보안 기술

...은 보안을 강화할 수 있지만 교육 기관의 현재 기술 수준을 넘어설 수 있습니다. 종합하면, 기관 정책은 [다양한 유형의 수습 데이터를 어떻게 사용할 수 있는지]와 [그 보안을 보장하기 위해 어떤 예방 조치가 마련되어 있는지] 투명하게 정의해야 한다. 
Strengthening the connections between datasets supports their analysis and also makes them more vulnerable to hacking or other technical issues. 23 

  • Data partitioning (i.e., separating where data are stored and linking on demand),
  • anonymization (i.e., redacting data down to only coded identifiers so that trainees cannot be identified by data alone),
  • block-chain technology (i.e., using a decentralized ledger system to ensure data integrity and minimize points of failure), and
  • other advanced data security techniques

...could increase security but may be beyond the current technological skill set of educational institutions.

Taken together, institutional policies should transparently define

  • how various types of trainee data can be used and
  • what precautions are in place to ensure its security.

고등교육은 데이터를 사용하지 않을 여유가 없다.
Higher education cannot afford to NOT use data.

마지막으로, 우리는 학습 분석의 사용을 진전시키기 위한 결의와 용기가 필요할 것이다. 이러한 원칙은 복잡하고 진화하는 문제를 제기하는데, 이러한 문제를 안전하고 윤리적으로 해결하기 위해 해결해야 합니다. 그러나 미래의 교육생과 환자의 이익을 위해 교육 시스템을 개선하기 위해 CBME 내에서 수집한 평가 데이터를 사용하지 않는 것도 문제가 될 수 있다. 인력, 프로그램 및 시스템을 지속적으로 개선한다는 목표로 이러한 새로운 도구의 사용에 접근하면 교육생이 제공하는 임상 관리를 개선할 수 있는 방법에 대한 통찰력을 얻을 수 있습니다.
Finally, we will need resolve and courage to move forward with the use of learning analytics. These principles raise complicated and evolving concerns that will need to be addressed to do this safely and ethically. However, not using the assessment data that we collect within CBME to improve our training systems for the benefit of our future trainees and their patients would also be problematic. If we approach the use of these new tools with the goal of constantly improving our people, programs, and systems, 22 then they will provide insight into how we can improve the clinical care provided by our trainees.

결론들
Conclusions

학습 분석은 교육생, 프로그램 및 시스템에 도움이 되는 방식으로 EPA 기반 CBME 평가 시스템에 의해 수집되는 엄청난 양의 평가 데이터를 활용할 수 있는 잠재력을 가지고 있습니다. 그러나 이들의 활용은 새롭고 잠재적으로 위험한 과제를 제시하기도 한다. 안전하게 전진하기 위해, 우리는 교육과 컴퓨터 과학의 더 넓은 분야에서 개발된 학습 분석의 윤리적 원칙을 고려하고 기초할 필요가 있을 것이다.

Learning analytics have the potential to leverage the incredible amount of assessment data that are being collected by our EPA-based CBME assessment systems in ways that will benefit our trainees, programs, and systems. However, their utilization also presents new and potentially dangerous challenges. To move forward safely, we will need to consider and build upon the ethical principles of learning analytics that have been developed in the broader fields of education and computer science.

 


Acad Med. 2021 Jul 1;96(7S):S89-S95. doi: 10.1097/ACM.0000000000004092.

From Utopia Through Dystopia: Charting a Course for Learning Analytics in Competency-Based Medical Education

Affiliations collapse

Affiliations

1B. Thoma is associate professor, Department of Emergency Medicine, University of Saskatchewan, Saskatoon, Saskatchewan, Canada, and clinician educator, Royal College of Physicians and Surgeons of Canada, Ottawa, Ontario, Canada; ORCID: https://orcid.org/0000-0003-1124-5786.

2R.H. Ellaway is professor, Department of Community Health Sciences, and director, Office of Health and Medical Education Scholarship, Cumming School of Medicine, University of Calgary, Calgary, Alberta, Canada; ORCID: https://orcid.org/0000-0002-3759-6624.

3T.M. Chan is associate professor, Division of Emergency Medicine, Department of Medicine, assistant dean, Program for Faculty Development, Faculty of Health Sciences, and adjunct scientist, McMaster Education Research, Innovation, and Theory (MERIT) program, McMaster University, Hamilton, Ontario, Canada; ORCID: https://orcid.org/0000-0001-6104-462X.

PMID: 34183609

DOI: 10.1097/ACM.0000000000004092

Abstract

The transition to the assessment of entrustable professional activities as part of competency-based medical education (CBME) has substantially increased the number of assessments completed on each trainee. Many CBME programs are having difficulty synthesizing the increased amount of assessment data. Learning analytics are a way of addressing this by systematically drawing inferences from large datasets to support trainee learning, faculty development, and program evaluation. Early work in this field has tended to emphasize the significant potential of analytics in medical education. However, concerns have been raised regarding data security, data ownership, validity, and other issues that could transform these dreams into nightmares. In this paper, the authors explore these contrasting perspectives by alternately describing utopian and dystopian futures for learning analytics within CBME. Seeing learning analytics as an important way to maximize the value of CBME assessment data for organizational development, they argue that their implementation should continue within the guidance of an ethical framework.

내리막길로 깡통 차기 - 의과대학이 자기조절에 실패한다면 (NEJM, 2019)
Kicking the Can Down the Road — When Medical Schools Fail to Self-Regulate
Sally A. Santen, M.D., Ph.D., Jennifer Christner, M.D., George Mejicano, M.D., and Robin R. Hemphill, M.D., M.P.H.

 

 


매년 봄 미국 의대 졸업식에서는 학생문제와 교과과정이 무대에 올라 졸업생들과 함께 학생들에게 해를 끼치지 않고 두건을 씌우고 악수를 하며 의학박사 학위를 수여한다. 그러는 동안, 그들은 마음속으로 그들이 가족을 돌보는 것을 허락하지 않는 이런 새로운 의사들 중 한 두 명(혹은 그 이상)이 있다는 것을 알고 있다. 이러한 학생들의 학업 한계나 비전