임상실습의 수월성: 재능 분류하기가 아닌 재능 개발하기 (Perspect Med Educ, 2021)

임상실습의 수월성: 재능 분류하기가 아닌 재능 개발하기 (Perspect Med Educ, 2021)
Excellence in medical training: developing talent—not sorting it
Gurpreet Dhaliwal · Karen E. Hauer

 

의과대학에서 성적 및 상에 대한 접근 방식을 변경함에 따라(특히, 임상실습[1, 2]과 우등 학회 선출[3]에서 우등 성적을 재검토하거나 없애는 등) 교수진이 우려를 제기하고 있습니다: 우수성을 어떻게 인정하고 보상할 것인가? 그리고 우리는 우수성을 중요하게 생각하지 않나요? 미국 의사 면허 시험 1단계 결과의 합격/불합격 보고로 변경하기로 한 결정은 이러한 우려를 더욱 부각시켰습니다[4]. 
As medical schools have changed approaches to grading and awards (most notably, reconsidering or eliminating honors grades in clerkships [1, 2] and election to honor societies [3]), faculty have raised concerns: How will we recognize and reward excellence? And don’t we care about excellence? The decision to change to pass/fail reporting of United States Medical Licensing Examination Step 1 results has further accentuated this concern [4].

학부 의학교육의 우수성은 오랫동안 [높은 학점, 최고 시험 점수, 아너 소사이어티 회원, 출판 기록]으로 정의되어 왔습니다. 동료와의 관계에서 더 많은 영예는 학교와 레지던트 프로그램에 신호와 분류 메커니즘을 제공했습니다. 우수성에 대한 이러한관점은 여러 세대의 의사들에게 익숙하지만, 학생들이 마땅히 누려야 할 교육적 경험이나 환자에게 필요한 치료와는 맞지 않습니다. 우리는 학습자 수월성에 대한 수정된 개념화를 제안하며, 재능을 분류하는 것이 아니라 재능을 개발하는 기술을 가진 강사가 주도하는 새로운 교사 수월성 모델이 필요합니다. 
Excellence in undergraduate medical education has long been defined by high grades, top test scores, honor society memberships, and publication records. More accolades in relationship to peers has provided a signaling and sorting mechanism for schools and residency programs. This view of excellence is familiar to generations of physicians but is out of sync with the educational experience students deserve and the care that patients need. We propose a revised conceptualization of learner excellence that requires a new model of teacher excellence driven by instructors whose skill is developing talent not sorting it.

"보면 알 수 있다"
“I know it when I see it”

교수자는 대화, 평가 및 추천서를 통해 학생의 성과를 전달합니다. 가장 유용한 내러티브는 직접 관찰한 기술을 예시와 함께 설명하여 독자가 역량의 차원을 인식할 수 있도록 하는 것입니다. 그러나 많은 커뮤니케이션은 세부 사항은 짧고 "내 경력에서 상위 10%" 또는 "역대 최고"와 같은 모호한 칭찬과 요약으로 이루어져 있으며, 이는 우수성을 분류하는 게슈탈트 접근 방식 또는 "보면 알 수 있다"는 표준을 반영합니다. 
Faculty convey students’ performance through conversations, evaluations, and letters of recommendation. The most useful narratives describe directly observed skills with examples allowing readers to recognize dimensions of competence. However, many communications are short on details yet feature vague statements of praise and summations such as “top 10% in my career” or “best ever” that reflect a gestalt approach to classifying excellence or an “I know it when I see it” standard.

학생의 업무 특성을 파악하는 이러한 패턴 인식 접근 방식은 질병을 진단하는 패턴 인식과 유사합니다. 신뢰할 수 있는 패턴 인식을 위한 전제 조건에는 임상 상황에 자주 노출되는 것, 진단 결정에 대한 정기적인 피드백, 질병에 대한 지식에 대한 지속적인 업데이트(임상 추론 용어로 "질병 스크립트")가 포함됩니다[5]. 학생을 자주 직접 관찰하지 않고, 학생의 향후 성과에 대한 피드백 없이, [낡은 역량 '각본']으로 학습자를 평가하면 패턴 인식의 타당성을 잃게 됩니다. 
This pattern recognition approach to characterizing student work parallels pattern recognition in diagnosing illness. Preconditions to trustworthy pattern recognition include frequent exposure to the clinical situation, regular feedback on diagnostic decisions, and continual updates to knowledge about the disease (“illness script” in clinical reasoning parlance) [5]. When learner assessments are made without frequent direct observations of students, without feedback about students’ future performance, and with an outdated “script” of competencies, pattern recognition loses validity.

[전통적 각본]은 최신 역량 프레임워크에서 포착하는 [다차원적 기술] 대신 [단일 차원(일반적으로 인지적 또는 기술적 능력)]에 따라 우수성을 구성하는 경우가 많습니다. 또한 "한 번 보면 안다"는 식의 접근 방식은 교수진이 보고 싶은 것만 보도록 유도하고 그 과정에서 편견을 불러일으킬 수 있습니다.
The traditional script frequently frames excellence along a single dimension (typically, cognitive or technical ability) instead of the multidimensional skills captured in modern competency frameworks. “I know it when I see it” also invites faculty to see what they want to see and invites bias along the way.

익숙한 것에 대한 편견
Biased by the familiar

인지적 편견이 임상적 의사 결정을 위태롭게 하는 것처럼[6], 암묵적 편견은 학습자에 대한 판단에 영향을 미치고 교사가 일부 학생을 다른 학생보다 선호하도록 만들 수 있습니다(전자 보충 자료의 표 S1 참조). 수십 년에 걸친 사회 심리학 연구에 따르면 인간은 아웃그룹을 희생시키면서 [자기 그룹(나와 비슷한 사람들)]을 긍정적으로 평가하거나 편애하는 [인그룹 편향]에 대한 강한 경향을 보입니다[7]. 교사는 학습자와의 [일치성(인구학적 또는 지적)]에 영향을 받기 쉽습니다[8]. 우리는 자신과 외모가 비슷하거나, 학문적 혈통이 같거나, 학창 시절에 중요하게 여겼던 분야(협업보다는 기술적 숙련도, 새로운 콘텐츠 학습 기술보다는 지식 암기력 등)에서 뛰어난 사람을 더 우수하게 볼 가능성이 높습니다. 채점 구조는 일반적으로 이러한 전통적인 우선순위와 가치를 반영합니다[9]. 
Just as cognitive bias jeopardizes clinical decision-making [6], implicit biases can influence our judgements about learners and predispose teachers to favor some students over others (see Table S1 of the Electronic Supplementary Material). Decades of social psychology research have demonstrated a strong human tendency toward in-group bias, where we positively evaluate or favor our own group (people who resemble us) at the expense of the out-group [7]. Teachers are susceptible to being influenced by concordance (demographic or intellectual) with their learners [8]. We are more likely to see excellence in people who look like us, share our academic pedigree, or excel in areas that we valued during our formative years, which may have been technical proficiency over collaboration or knowledge recitation over skills in learning new content. Grading structures typically reflect these traditional priorities and values [9].

[친숙한 프로필을 가진 학생]은 미묘하게 업그레이드된 평가를 통해 교사의 [친밀감으로부터 혜택]을 받을 수 있습니다[10]. 서술형 평가 또는 점수가 약간 더 관대하면 더 높은 등급이 지정되어 레지던트 프로그램 및 의료 전문 분야로의 문이 열립니다[11,12,13,14,15]. 학생들은 호의적인 평가나 더 나은 학습 기회를 얻기 위해 평가자와 같은 분야에 대한 관심을 표시해야 한다는 압박감을 느낄 수 있습니다[16]. [배경, 신념 또는 우선순위가 다른 학생들과 서로 맞지 않거나 인종, 민족 또는 성별이 같지 않은 경우][17,18,19], 이러한 연쇄 작용은 학생에게 불리하게 작용합니다. [오래되고 편향된 기준을 가지고 게슈탈트를 사용하는 분류]에 초점을 맞춘 시스템은 [모두를 위한 우수성]을 개발하는 대신 [소수를 '우수'로 지정하는 것을] 전제로 합니다.
Students with a familiar profile can benefit from teachers’ affinity through subtly upgraded evaluations [10]. Slightly more generous narrative evaluations or scores yield higher grade designations which then open doors to residency programs and medical specialties [11,12,13,14,15]. Students can feel pressure to indicate interest in the same field as their assessors in order to earn favorable evaluations or better learning opportunities [16]. When we are misaligned with students (different backgrounds, beliefs, or prioritized skills) or do not share the same race, ethnicity, or gender [17,18,19], this cascade works against them. A system focused on categorization that uses gestalt coupled with outdated and biased benchmarking preordains a designation of “excellent” to a few instead of developing excellence for all.

	Definition	Example
Affinity Bias	Tendency to connect with others who share similar backgrounds, beliefs, and interests	A supervisor extends an extra learning opportunity to the student on the team who attended the same college as they did.
Confirmation Bias	Tendency to select information that confirms or supports prior beliefs	A supervisor has formed a positive impression of a student’s communication skills based on comments shared informally by a colleague who worked with the student on a previous rotation. When writing the student evaluation on the current rotation, the supervisor incorporates a nurse’s praise of the student’s bedside manner but omits a physical therapist’s concerns about the way the student conveyed bad news.
In-group Bias	Tendency to be more helpful and positive towards members of our own group than to members of another group (“out-group”)	A supervisor writes supportive evaluations about the advocacy skills of a student who shares the same political beliefs while expressing concerns about the “lack of commitment to patients” of another student with a different political viewpoint.
Performance Bias	Tendency to assume that members of one group are better at certain tasks than members of other groups based on stereotypes (which leads to members of the dominant group being judged by expected potential while individuals in less dominant groups are judged by current accomplishments)	A supervisor preferentially invites members of one gender to practice a difficult procedure and then writes evaluations praising those students who practiced and demonstrated skill. For other students who are not afforded those practice opportunities, the supervisor writes that they are “not engaged in nor appropriately developing” that skill.
Status Quo Bias	Tendency to prefer the current state of affairs and perceive any change from that baseline as a loss	A supervisor enthusiastically recommends a student who demonstrates advanced knowledge about clinical trials and has done biomedical research but is equivocal in their recommendation for a student who demonstrates advanced advocacy skills and is conducting research on health equity.

학생과 사회가 필요로 하는 교육적 우수성
The educational excellence students and society need

다른 학생과 비교하여 학생을 평가하는 데 시간을 소비하는 것은 교사의 능력을 제대로 활용하지 못하는 것입니다(예: '최고' 학생을 가려내는 것). 현대의 교사는 [학습자 개개인의 폭넓은 능력을 키우는 데 에너지를 쏟음]으로써 학생들에게 더 의미 있는 서비스를 제공합니다. 이를 위해 교사는 교육 과정에서 공식적으로 배우지 않은 주제에 대한 지식과 기술을 배양해야 합니다. 또한 점점 더 다양해지는 학생 및 환자 집단과 상호작용할 수 있는 자신의 능력을 점검해야 합니다.
Time spent assessing a student relative to other students (e.g., trying to identify the “best” students) is a poor use of teachers’ abilities. Modern teachers serve students more meaningfully by devoting their energy to fostering each learner’s broad skillset. To do this, teachers need to cultivate their knowledge and skills on topics they may not have formally learned in their training. They must also examine their own ability to interact with increasingly diverse student and patient populations.

예를 들어, 학생들은 다양한 환자 집단의 건강을 개선하는 데 자신의 전문성과 영향력을 기여함으로써 [건강 옹호]에 능숙해지기를 기대하며, 또 그렇게 될 것으로 기대하고 있습니다[20]. 이러한 역량에는 건강 불평등을 인식하고, 지역사회의 필요를 이해하고, 필요할 때 다른 사람을 대신하여 발언하고, 변화를 일으키기 위한 자원 동원을 지원하는 것이 포함됩니다[21]. 교사는 [적절한 수준의 옹호]에 대해 직관에 의존해서는 안 됩니다. 대신, 옹호의 의미를 배우고, 학생들이 이 역량을 발전시키면서 충족해야 하는 구체적인 이정표를 이해하고, 직접 관찰할 기회를 모색함으로써 [학생들에 대한 약속을 이행해야] 합니다[22]. 
For example, students are expected—and are expecting—to become skilled in health advocacy by contributing their expertise and influence to improve the health of different patient populations [20]. This competency includes recognizing health inequities, understanding the needs of communities, speaking on behalf of others when required, and supporting the mobilization of resources to effect change [21]. Teachers cannot rely on their intuition regarding appropriate levels of advocacy. Instead, they must fulfill their commitment to their students by learning what is meant by advocacy, understanding specific milestones that students must meet as they progress in this competency, and seeking opportunities for direct observation [22].

[옹호]는 교사에게 생소할 수 있지만 [학생의 옹호 기술을 평가하는 것]은 요추 천자 또는 가족 회의 진행 등 [학생의 다른 기술을 평가하는 것]과 유사합니다. 교사는 후자의 예를 보고 "의사소통을 잘하는 것 같다"고 평가할 수 없습니다. 이러한 패턴 인식 접근 방식을 사용하는 대신, 교수진은 측정 대상 구성 요소와 학생이 교육을 진행하면서 달성해야 하는 [특정 이정표 및 하위 기술]을 이해하는 데 전념해야 합니다[23].
Though advocacy may be new to teachers, assessing a student’s advocacy skills has parallels to assessing a student’s other skills such as doing a lumbar puncture or leading a family meeting. A teacher cannot assess the latter example by saying “I know good communication when I see it.” Instead of using this pattern recognition approach, faculty members must commit to understanding the construct being measured and the specific milestones and subskills that students must achieve as they progress through training [23].

[우수한 옹호 능력]을 키우려면 교수진은 [의사로서 기본이라고 생각하지 않았던 기술을 통합]할 수 있도록 [관점을 넓혀야 ]합니다[24]. 이 성장 과정에는 [과거에 한 번도 고민해보지 않았던] 다음과 같은 환자(및 학생)의 삶의 경험에 대한 관점 취하기와 개방성을 연습하는 것이 포함될 수 있습니다.

• 진료를 받으러 오기 위해 여러 번 버스를 타는 경우
  
• 개인 신원에 따라 액세스 또는 리소스가 거부되는 경우
  
• 처방전을 작성할지 가족을 먹일지 결정해야 하는 상황 

Fostering excellence in advocacy requires faculty to broaden their perspective to incorporate a skillset they may have never considered fundamental to being a physician [24]. This growth process may include practicing perspective taking and openness to patient (and student) life experiences that they never contended with, such as

• taking multiple buses to an appointment,
• being denied access or resources based on personal identity, or
• having to decide between filling a prescription or feeding their family.

[옹호 또는 기타 역량]에 대해 학생을 지도할 때 교육자는 직접 관찰을 기반으로 평가를 내리는 데 전념해야 합니다. [위임 가능한 전문 활동]은 교사가 [학생들이 관련 업무 활동에서 여러 역량을 통합하는 것을 관찰할 수 있는 사전 지정된 업무](예: 충수 절제술 수행)를 말합니다[25]. 옹호를 촉진하고 평가하는 기술을 발전시키고자 하는 교사는 학생이 사회복지사와 협력하여 환자를 위한 여행 바우처를 마련하는 것과 같은 직장 활동을 관찰하는 것을 우선순위로 삼아야 합니다. 이러한 관찰을 통해 슈퍼바이저는 목표 교육 및 성장을 위한 영역을 식별할 수 있습니다(예: "다음번에는 환자가 선호하는 진료 시간대에 대해 먼저 환자에게 확인"). 각 데이터 포인트를 통해 교육자는 [학습에 대한 평가(성적, 상, 레지던트 등 외부 제도를 위해 학생을 분류하기 위한 평가)]가 아니라 [학습을 위한 평가(성장을 촉진하기 위한 평가)]를 하는 데 능숙해져야 합니다[26].
When coaching students in advocacy or any other competency, educators must commit to making assessments based on direct observation. Entrustable professional activities are pre-specified workplace tasks (e.g., performing an appendectomy) which allow teachers to observe students integrate multiple competencies in a relevant workplace activity [25]. Teachers who wish to advance their skills in promoting and assessing advocacy would need to prioritize observing a workplace activity such as their student collaborating with a social worker to arrange travel vouchers for a patient. These observations allow the supervisor to identify areas for targeted teaching and growth (e.g., “next time, check with the patient first regarding her preferred time of day for her appointments”). With each data point, the educator must become skilled at making an assessment for learning (to drive growth), not an assessment of learning (to classify students for an external scheme such as a grade, award, or residency) [26].

우리 교수들 대부분은 [사회의 요구와 일치하는 환경]에서 훈련받지 않았기 때문에 "우리가 볼 때 그것을 알지 못한다"는 것입니다. 새로운 의료 커리큘럼은 이제 환자 옹호뿐만 아니라 공동 의사 결정, 전문가 간 협업, 건강의 사회적 결정 요인, 고가치 치료를 강조합니다. COVID-19 팬데믹은 새로운 건강 위협에 적응하고 학습하며 수련 기간 동안 존재하지 않았던 지식과 기술을 사용하여 대응할 준비가 된 미래의 의료인을 양성하기 위해 적응 전문성을 갖춘 교사의 필요성을 강조합니다[27, 28]. 의학교육의 목표는 이러한 영역에 걸쳐 우수한 학생을 양성하는 것이며, 이를 위해서는 교수진의 새로운 사고방식이 필요합니다.
Most of us do not “know it when we see it” because we were not trained in an environment when “it” matched the needs of society. New medical curricula now emphasize not only patient advocacy, but also shared decision-making, interprofessional collaboration, social determinants of health, and high-value care. The COVID-19 pandemic highlights the need for teachers with adaptive expertise to train future providers who will be prepared to adapt and learn about emerging health threats and respond using knowledge and skills that may not have existed during their training [27, 28]. The goal of medical education is to develop students who are excellent across these domains, and it will take a new faculty mindset to do that.

성장 마인드로 전환
Shifting to a growth mindset

우수성을 분류하는 대신 육성하려면 교사가 학습자에게 권장하는 것과 동일한 태도, 즉 고정 사고방식("나는 학생의 우수성을 보면 안다")에서 성장 사고방식("나는 익숙하지 않은 영역에서 학생의 기술 개발을 평가하고 촉진하는 새로운 방법을 배울 수 있다")으로 전환하는 것이 필요합니다[29]. 학교는 교직원을 코칭 업무로, 그리고 채점 업무에서 벗어나도록 안내하기 위해 여러 단계를 수행해야 합니다[30, 31].
Fostering excellence instead of classifying it entails teachers adopting the same attitude we encourage in learners: shifting from a fixed mindset (“I know excellence in a student when I see it”) to a growth mindset (“I can learn new ways to assess and promote student skill development in unfamiliar domains”) [29]. Schools must undertake several steps to guide faculty into the coaching business and out of the classifying business [30, 31].

• 우등 학년 지정 및 학생 등급을 없애는 등의 정책 변경을 통해 교직원은 [고부담 및 총합 평가]가 아닌 [저부담 및 형성 평가]를 수행 할 수 있습니다 [32].
• 교수진 개발은 [평가자 교육(모든 사람이 일관되게 평가하도록 하는 것)]에 실패한 시도에 반복적으로 초점을 맞추는 대신 [피드백 교육(모든 사람이 일관되게 관찰, 기록 및 코칭하도록 하는 것)]에 중점을 두어야 합니다[33].
• 또한 교육을 통해 교수진이 [자신의 오랜 가정과 편견을 검토]하도록 유도할 수도 있습니다[34].
• [새로운 역할(예: 코칭)]과 [새로운 가치(예: 사회 정의)를 도입]하는 것은 단 한 번의 교육 세션으로 달성할 수 없습니다.

변화의 방향과 중요성을 분명하고 끈질기게 알리면서 점진적이고 꾸준히 변화를 이끌어내려면 [리더의 빈번한 커뮤니케이션, 다양한 전파 채널(예: 동영상, 이메일, 팟캐스트), 학생 및 교수진 내의 지지자]가 필요합니다.

• Policy changes such as removing honors grade designations and student rankings allow faculty to conduct assessments that are low stakes and formative rather than high stakes and summative [32].
• Instead of focusing repeatedly on ill-fated attempts at rater training (getting everyone to evaluate consistently), faculty development should emphasize feedback training (getting everyone to consistently observe, record, and coach) [33].
• Training can also engage faculty in examining their own longstanding assumptions and biases [34].
• Introducing a new value (e.g., social justice) along with a new role (e.g., coaching) cannot be accomplished through a single training session.

It requires frequent communication from leaders, multiple channels of dissemination (e.g., videos, emails, podcasts), and champions within the student body and faculty to effect change gradually and steadily while unequivocally and relentlessly signaling its direction and importance.

새로운 임상 교사를 선발할 때는 학습자의 과제를 직접 관찰하고 학습자를 피드백 토론에 참여시킬 수 있는 기술을 구축하겠다는 의지를 강조해야 합니다[35]. 프로그램은 [약점이 있는 학생의 식별]을 두려워하기보다는 [환영하는 교사 마인드]를 추구하고 육성해야 합니다. 훌륭한 교사는 ['우수한' 학습자를 더 높은 곳에 도달하게 하는 능력]으로 구별되는 것이 아니라, ['아직 부족한' 학습자를 역량을 향한 발달 궤도에 올려놓는 능력]으로 구별됩니다. 또한 조직의 목표는 '최고의' 졸업생을 모집하고 배출한다는 명성을 유지하는 것에서 모든 개인과 기관 자체에 개선과 성장 마인드를 기대하는 문화로 전환해야 합니다[36].
Selection of new clinical teachers should emphasize their commitment to directly observing learners’ work and building their own skills to engage learners in feedback discussions [35]. Programs should seek and foster a teacher mindset that welcomes rather than dreads identification of students with weaknesses. Great teachers are not distinguished by their ability to make “top” learners reach even greater heights, but rather by their ability to bring the “not yet” learner onto a developmental trajectory toward competence. The organizational goals must also shift from upholding a reputation for recruiting and producing the “best” graduates toward a culture where improvement and a growth mindset is expected for all individuals and the institution itself [36].

역량 기반 평가: 유망하지만 만병통치약은 아니다
Competency-based assessment: promising but not a panacea

특정 이정표, 발달 궤적, 직접 관찰을 포함한 역량 기반 평가의 프레임워크는 교사의 전문적 발전을 안내할 수 있습니다. 그러나 역량 기반 평가로의 전환이 평가 프로그램의 오랜 과제를 제거하거나 해결하지는 못합니다.
The framework of competency-based assessment—including specified milestones, developmental trajectories, and direct observation—can guide teachers in their professional evolution. However, the shift to competency-based assessment does not eliminate or solve many long-standing challenges in assessment programs.

앞서 설명한 바와 같이 인지적 지름길과 패턴 인식을 포함하여 [성과에 대한 총체적 판단]에 영향을 미치는 [평가자의 편견]은 평가자가 학습자, 특히 자신과 다른 학습자를 직접 관찰할 때 보고 추론하는 내용에 영향을 미칠 수 있습니다. 따라서 [채점자]에서 [코치]로 전환하는 교사는 이러한 [인지적 경향]에 대해 스스로 교육하고 가능한 경우 대응책을 모색해야 합니다[37]. 개별 교수진의 이러한 관찰은 여전히 판단이지만[38], 최근의 문헌에 따르면 학습자와 학습자의 업무에 대한 직접적인 관찰을 기반으로 한 여러 주관적 평가를 종합하면 직장에서의 교육생의 역량에 대해 점점 더 정확한 그림을 그릴 수 있다고 합니다[39]. 학교는 많은 평가자가 [(인상이 아닌) 상세한 관찰을 바탕으로 의견을 제공]하는 시스템을 구축하고, 다양한 배경을 가진 구성원이 [우수성에 대한 공유된 정신 모델]을 개발하고 사용하여 [데이터를 종합하여 역량 평가]를 내리는 [채점 또는 역량 위원회]와 같은 [그룹 의사 결정]을 제도화함으로써 편향의 위험을 완화할 수 있습니다[40,41,42].The same rater biases outlined earlier that affect summative judgements of performance, including cognitive shortcuts and pattern recognition, can influence what evaluators see and infer in direct observations of learners, particularly those who differ from them. Therefore, teachers who shift from graders to coaches must still educate themselves about these cognitive tendencies and whenever possible, seek countermeasures [37]. While these observations by individual faculty are still judgements [38], emerging literature suggests that the synthesis of multiple subjective assessments, grounded in direct observation of the learner and their work, paints an increasingly accurate picture of a trainee’s competency in the workplace [39]. Schools can mitigate the risks of bias by establishing systems where many evaluators provide input based on detailed observations (not impressions) and by instituting group decision-making—such as a grading or competency committee—where members with diverse backgrounds develop and use a shared mental model of excellence to synthesize data to make a competency assessment [40,41,42].

레지던트 프로그램에서는 의과대학을 졸업한 학습자들이 준비가 덜 되어 있다는 문제가 계속 보고되고 있습니다[43]. 역량 기반 평가는 직접 관찰의 토대가 개선 및 재평가 계획과 긴밀하게 결합되지 않는 한 이 문제를 해결하지 못합니다. 교사는 학생을 코칭하거나, 다음 감독자가 그렇게 하도록 하거나, 의과대학의 적절한 자원에 학생을 소개하는 등의 추가 단계를 통해 높은 수준의 술기 관찰에 전념해야 합니다. 교사는 [학습자와의 제한된 시간(예: 클리닉 또는 병원에서 단 하루)을 바탕으로 편견을 전파할 가능성]을 염두에 두어야 하며, 학생이 [종적 궤적]을 따라 발전할 수 있도록 [다음 감독자를 위해 학습자 인수인계를 공식화]하는 데 숙련되어야 합니다[44]. 학교는 진전이 이루어지고 있는지 확인할 수 있는 [중앙 집중식 보고 시스템]을 구축해야 합니다. 또한 [학습자-감독자 간 불연속성]으로 인해 성장이 방해받는 학생의 경우, 학교는 [코칭과 멘토링을 할 수 있는 종단적 임상 경험]을 위한 교수 시간 및 기술 개발을 지원해야 합니다.
Residency programs continue to report challenges with underprepared learners who graduate from medical school [43]. Competency-based assessment will not solve this problem unless the foundation of direct observation is tightly coupled with a plan for improvement and re-assessment. Teachers must commit to making high-quality observations of skills and to an additional step: coaching the student, ensuring that the next supervisor does so, or referring the student to the appropriate resources in the medical school. Teachers must be mindful of the potential to propagate bias based on limited time with a learner (e.g., only one day in clinic or the hospital) and must become skilled at formulating a learner handover for the next supervisor to help the student make progress along their longitudinal trajectory [44]. Schools must establish a centralized reporting system that ensures progress is being made. And for students whose growth is hampered by learner-supervisor discontinuity [45,46,47], schools must support faculty time and skill development for longitudinal clinical experiences that enable them to coach and mentor.

또한 교사는 역량 기반 평가 시스템에서 전통적으로 "성취도가 높은" 또는 "성과가 높은" 학생에 대한 접근 방식을 수정해야 합니다. 모든 역량을 이정표 지향적인 방식으로 평가하겠다는 확고한 의지가 없다면 교사는 [후광 효과의 희생양]이 될 수 있습니다[48]. 학습자가 한 영역(예: 시험 점수로 판단되는 지식)에서 우수한 것으로 확인되면, 교사는 다른 영역에서 학습자의 성과를 과소평가하거나 과장할 수 있습니다. 이러한 문제가 있는 일반화는 다른 영역(예: 옹호 또는 의사소통)이 간과되거나 과대평가되는 결과를 초래할 수 있습니다.
Teachers must also modify their approach to the traditionally “high achieving” or “high performing” student in a competency-based assessment system. Without a firm commitment to examine all competencies in a milestone-directed way, teachers may fall prey to the halo effect [48]. Once the learner is identified as excellent in one domain (e.g., knowledge as determined by a test score), a teacher may underappreciate or exaggerate the learner’s performance in other domains. These problematic generalizations can lead to other areas (e.g., advocacy or communication) being overlooked or overrated.

교사가 여러 영역을 관찰하고 평가하는 능력을 키우기 위해 노력할 때, 학교는 학생과 교직원에게 [모든 영역에 걸친 역량]이 [우수성의 기초]이며 [환자 집단의 건강과 복지를 개선하는 것]이 이러한 노력의 목표라는 점을 알려야 합니다. 또한 교사와 학교는 환자 치료 결과와 연결된 데이터를 기반으로 역량 평가 및 코칭 계획을 수립할 준비를 시작해야 합니다. 환자 치료의 질과 관련된 성과 측정(예: 레지던트 민감성 품질 측정[49])을 활용하면 환자에 대한 서비스의 우수성을 정의하는 교육자의 역량을 강화할 수 있습니다.
As teachers commit to growing their skills in observation and assessing multiple domains, schools must signal to students and faculty that competence across all domains is the foundation of excellence and that improved patient population health and well-being is the objective of these efforts. Teachers and schools must also start preparing themselves to make competency assessments and coaching plans based on data that are connected to patient outcomes. Utilizing measures of performance linked to quality of patient care—e.g., resident-sensitive quality measures [49]—can strengthen educators’ ability to define excellence in service to patients.

우수성 코드의 일부인 "개선"
“Improvement” as part of the excellence code

교수진은 학생들이 관련 영역에서 [역량을 갖추도록 보장해야 할 사회적 의무]가 있습니다. 그러나 [일단 역량의 문턱을 넘으면], 교수진의 관심은 [성취 정도]에서 [개선 속도]로 전환되어야 합니다. 즉, 학생의 지식이 '우수'인지 '탁월'한지에 대해 걱정하지 말고, 대신 [각 학생이 사용하는 개선 방법을 검토]하는 데 에너지를 쏟아야 합니다. 개선을 위해 노력하는 학습자는 연습, 성찰 및 피드백의 통합에 엄격해야 합니다[50]. 새로운 도전에 관심이 적은 학생은 자신의 안전 지대를 벗어나 임상 사례를 찾는 학생보다 더 큰 관심을 가져야 합니다. 우수성은 학습자의 현재 숙련도뿐만 아니라 학습자의 성장률에 따라 정의될 수 있습니다.
Faculty have a societal obligation to ensure students achieve competence in relevant domains. However, once the threshold of competence is crossed, faculty attention should shift from the degree of accomplishment to the rate of improvement. This means not worrying about whether a student’s knowledge is “excellent” versus “outstanding,” and instead devoting energy to examining the method of improvement each student employs. Learners working to improve must be rigorous in their practice, reflection, and incorporation of feedback [50]. Students who exhibit limited interest in new challenges should warrant greater concern than students who seek clinical cases at the edge of their comfort zone. Excellence can be defined by the learner’s rate of growth, not just their current level of proficiency.

평생 학습을 우수성의 지표로 통합하는 것은 '개선'을 설명하는 내러티브가 나쁜 성과를 나타내는 코드인 현재의 수사와 상충됩니다[51]. 새로운 패러다임에서는 [학생의 개선]과 [개인적 성장에 대한 헌신]에 대한 평가가 필수이며, 개선에 대한 언급이 없다는 것은 놀라운 일이 아닐 수 없습니다.
Integrating lifelong learning as a marker of excellence is at odds with current rhetoric where narratives describing “improvement” are code for bad performance [51]. In the new paradigm, assessment of the student’s improvement and commitment to personal growth is a must-have—and the absence of a mention of improvement would be alarming.

모든 환자에게는 우수한 의사가 필요합니다
All patients need excellent physicians

분류되지 않은 데이터가 풍부한 시스템에서 뇌는 항상 복잡성을 처리하기 위해 [단순화된 추상화]를 찾게 됩니다. 기존의 평가 시스템은 어드바이저, 수상 위원회, 레지던트 프로그램을 위해 이러한 역할을 수행하며, [사회]가 아닌 [교수의사]의 가치에 기반하여 환원주의적인 방식으로 평가합니다.
In systems with abundant uncategorized data, the brain will always seek simplified abstractions to deal with complexity. Traditional assessment systems fulfill this role for advisors, award committees, and residency programs, and do so in a reductionistic manner based on what academic physicians—not society—value.

의과대학의 임무는 [레지던트 과정을 위해 학생들을 분류하는 것]이 아니라 [환자와 사회의 요구를 충족시킬 수 있는 의사를 양성하는 것]입니다[52]. 레지던트는 동일한 목표를 가지고 있으며 펠로우십과 임상 실습을 위해 분류하는 사업에 종사 할 필요가 없습니다. 전임자의 발자취를 좁게 따라가는 수련의를 평가하고 그에 따라 레지던트와 전문과목 간에 학생들을 분류하는 지표를 사용하여 우수성을 정의하는 현재의 시스템을 용인하는 한 우리는 이 목표에 도달하지 못할 것입니다.The job of medical school is not to sort students for residency, but to develop doctors to meet patients’ and society’s needs [52]. Residencies have the same goal and need not be in the business of sorting for fellowships and clinical practices. We will fall short of this goal as long as we condone the current system that defines excellence using metrics that value trainees who follow narrowly in their predecessors’ footsteps and triage students among residencies and specialties accordingly.

시험, 성적, 형용사별로 분류하지 않으면 레지던트 프로그램에 지원할 학생을 선발하는 데 큰 어려움이 있을 것으로 교육자들은 예상하고 있습니다. 이러한 우려는 전통적으로 '우수한' 학생이 '우수한' 프로그램에 입학하는, 우리가 항상 해왔던 레지던트 선발의 어려움을 반영합니다. 이러한 분류 시스템이 사회적 수요에 맞게 인력을 최적화했다거나 개선할 수 없다고 믿을 이유는 없습니다. 총체적인 검토 프로세스는 여러 영역에서 우수성을 평가하고 집중 분야, 역량, 학습 접근 방식, 가치관이 프로그램과 사회의 요구와 일치하는 후보자를 선발하는 학교와 레지던시의 역량을 반영합니다[53,54,55].

Without categorization by tests, grades, and adjectives, educators anticipate immense difficulty in selecting students for residency programs. This worry reflects the difficulty in selecting residents as we have always done, in which traditionally “excellent” students gain entry into “excellent” programs. There is no reason to believe that this sorting system has optimized our workforce to meet societal demands or that it could not be improved upon. Holistic review processes reflect the capacity of schools and residencies to assess excellence across multiple domains and select candidates whose areas of focus, capabilities, approaches to learning, and values match those of the program and society [53,54,55].

["내가 보면 안다"는 식의 평가]는 [시대에 뒤떨어지고 부정확하며 배타적인 정적 버전의 우수성]을 지지하는 것입니다. [사회가 필요로 하는 학습자의 우수성]은 여러 영역에서 지도하고 평가하는 능력을 지속적으로 성장시키는 [교사의 산물]입니다. 모든 환자에게는 우수한 의사가 필요합니다. 그들을 개발하는 것이 우리의 일입니다.
When we employ “I know it when I see it”, we endorse a static version of excellence that is outdated, inaccurate, and exclusionary. The excellence in learners that society needs is a product of teachers who continually grow in their ability to coach and assess across multiple domains. All patients need excellent physicians. It’s our job to develop them.

 

---

Perspect Med Educ. 2021 Dec;10(6):356-361.doi: 10.1007/s40037-021-00678-5. Epub 2021 Aug 20.

Excellence in medical training: developing talent-not sorting it

Gurpreet Dhaliwal 1 2, Karen E Hauer 3

Affiliations collapse

1Department of Medicine, University of California San Francisco School of Medicine, San Francisco, CA, USA. gurpreet.dhaliwal@ucsf.edu.

2Medical Service, San Francisco VA Medical Center, San Francisco, CA, USA. gurpreet.dhaliwal@ucsf.edu.

3Department of Medicine, University of California San Francisco School of Medicine, San Francisco, CA, USA.

PMID: 34415554

PMCID: PMC8377327

DOI: 10.1007/s40037-021-00678-5

Free PMC article

 

Abstract

Many medical schools have reconsidered or eliminated clerkship grades and honor society memberships. National testing organizations announced plans to eliminate numerical scoring for the United States Medical Licensing Examination Step 1 in favor of pass/fail results. These changes have led some faculty to wonder: "How will we recognize and reward excellence?" Excellence in undergraduate medical education has long been defined by high grades, top test scores, honor society memberships, and publication records. However, this model of learner excellence is misaligned with how students learn or what society values. This accolade-driven view of excellence is perpetuated by assessments that are based on gestalt impressions influenced by similarity between evaluators and students, and assessments that are often restricted to a limited number of traditional skill domains. To achieve a new model of learner excellence that values the trainee's achievement, growth, and responsiveness to feedback across multiple domains, we must envision a new model of teacher excellence. Such teachers would have a growth mindset toward assessing competencies and learning new competencies. Actualizing true learner excellence will require teachers to change from evaluators who conduct assessments of learning to coaches who do assessment for learning. Schools will also need to establish policies and structures that foster a culture that supports this change. In this new paradigm, a teacher's core duty is to develop talent rather than sort it.

Keywords: Competency-based education; Medical faculty; Undergraduate medical education.

© 2021. The Author(s).