핵심 임상실습 성적: 객관성의 환상(Acad Med, 2019)

핵심 임상실습 성적: 객관성의 환상(Acad Med, 2019)

Core Clerkship Grading: The Illusion of Objectivity

Karen E. Hauer, MD, PhD, and Catherine R. Lucey, MD

성적은 유치원부터 대학까지 보편적으로 받아들여지고 겉으로 보기에 객관적으로 보이는 성취의 척도다. 고학년 평균은 대학, 졸업생 또는 전문학교에 입학할 수 있는 학생의 능력에 종종 도움이 된다. 그러므로 의과 교육적인 측면에서 레지던트 프로그램이 그들이 그들의 프로그램에 들어가고 싶어하는 졸업 의대생을 선발하기 위해 핵심 임상실습 성적에 의존하도록 발달해온 것은 놀랄 일이 아니다.

Grades are a universally accepted and seemingly objective measure of accomplishment from kindergarten through college. High grade point averages are frequently instrumental to a student’s ability to earn entrance into college, graduate, or professional school. It is therefore not surprising that, in the medical education context, residency programs have developed a reliance on core clerkship grades to select the graduating medical students they would most like to enter their programs.

핵심 임상실습 성적을 사용하는 근거는 (미적분학 과정의 시험 점수의 평균과 마찬가지로) 성적이란 [어떤 학생이 과거에 성취한 것은 미래에 유사한 상황에서 유사한 성적을 낼 수 있는 가능성에 대한 척도]라는 것이다. 더욱이 한 학생을 다른 학생과 비교하여 순위를 매기기 위해 성적을 사용하는 것이 공정하고 공평하며 필요한 것이라는 가정이 있다.

The rationale behind the use of core clerkship grades is that they, like the average of test scores in a calculus course, are a measure of a student’s achievement and the likelihood of future similar performance by that student in similar circumstances. Moreover, there is an assumption that it is fair, equitable, and necessary to use grades to rank one student in comparison with another.

의대 2학년 때 핵심 임상실습을 시작하려는 전국적인 경향에도 불구하고, 핵심 임상실습 성적에 대한 이러한 의존은 오늘날에도 여전히 유효하다. 이 말은, 특정 전공분야에서 어떤 학생이 미래 성공할지 여부가 의대 교육이 절반도 지나지 않은 시점에 평가될 수 있다는 것을 의미한다.

This reliance on core clerkship grades remains true today, despite the national trend to begin core clerkships in year two of medical school, meaning that a student’s aptitude for future success in a given specialty may be judged before the halfway point in his or her medical school education.

핵심 임상실습에서 점수의 과녁을 놓치는 이유

How Core Clerkship Grades Miss the Mark

복잡성

Complexity

성적은 많은 교육적 맥락에서 유용하지만, 핵심 임상실습은 미적분학 수업이 아니다. 학생이 숙달할 것으로 예상되는 [역량의 복잡성]과 학생이 귀속되어 학습하게 될 [맥락의 가변성]은 쉽게 성적에 반영되지 않는다. 

Although grades are useful in many educational contexts, core clerkships are not calculus classes. The complexity of competencies a student is expected to master and the variability of contexts in which they are expected to learn do not translate readily to grades. 

그럼에도 불구하고, 학생과 교수들은 모두 성적으로 환산된 정량적 점수가 복잡한 임상 환경에서 학생들의 수행 정도를 정확하게 측정한다는 객관성의 환상에 굴복한다. 전국의 의과대학은 학생들의 웰빙를 장려하고 학습을 강화하기 위해 교육과정 초기에 합격/불합격 등급을 사용하는 경우가 많지만, 같은 학교에서는 학생을 차별화하기 위해 "명예" "고등 합격" "통과" 등과 같이 총괄적 성적을 부여한다.1

And yet, students and faculty alike succumb to the illusion of objectivity—that quantitative ratings converted to grades convey accurate measures of students’ performance in complex clinical environments. Although medical schools across the country commonly use pass/fail grading early in the curriculum to encourage student well-being and enhance learning, the same schools assign summative clerkship grades of “honors,” “high pass,” and “pass” to differentiate students.1

자료의 오류

Flawed data

게다가, 그 성적을 산출하기 위해 수집된 자료들이 자주 결함이 있다는 충분한 증거가 있다. 학생을 감독하는 교직원과 레지던트는 학생들이 환자에게 임상 기술을 수행하는 상황을 거의 관찰하지 않는다고 보고하면서도, 동시에 병력청취, 신체 검사, 환자 의사소통을 포함한 학생들의 능력을 일상적으로 평가한다.4 아마도 감독자들은 회진 중 구두 발표 기술 등 대리 정보로 이러한 기술을 평가하거나, 학생을 관찰한 다른 사람의 의견을 구할 것이다.

In addition , there is ample evidence that the data collected to support that grade are frequently flawed. Supervising faculty and residents routinely rate students’ skills including history taking, physical examination, and patient communication, although students report rarely being observed performing these clinical skills with patients.4 Presumably, supervisors rate these skills by inferring from proxy information, such as oral presentation skills during rounds, or seek input from others who have observed the student.

문제는 의학교육의 로테이션 모델로 인해서 더 심각해진다. 교수들이 자주 교대함에 따라서 이들에게 감독받는 학생들은 관찰 기반 피드백을 받을 기회가 적어지고, 받은 피드백에 응답할respond 수 있는 능력을 보여주기가 점점 더 어려워지기 때문이다.3,6 교수들은 심지어 학생들을 관찰하고 있는 상황에서조차, 교수마다 관찰 결과를 등급으로 변환하는 방법이나, 성과 기대치를 이해하는 방법은 매우 다양하다. 평가자의 인식에 관한 문헌에 따르면, 교수들이 등급을 매기는rating 복잡한 과정을 지나치게 단순화해서는 안 된다. 왜냐하면 평가자들마다 개별적인 관점과 편견에 영향을 받기 때문이고, 학생들에게 주어진 학생-환자 조우의 특정한 측면에 의해서도 영향을 받기 때문이다.

The rotational model of medical training exacerbates the problem of assessment as students supervised by faculty who rotate frequently are increasingly challenged to find opportunities to receive observation-based feedback and to demonstrate their ability to respond to feedback.3,6 Even when faculty do observe students, the ways that they translate those observations to ratings and understand performance expectations are widely variable. Literature on rater cognition urges caution in oversimplifying the complex processes by which faculty make ratings, which are inherently informed by their individual perspectives and biases as well as the specific aspects of particular student–patient encounters.7

학생들의 성적에 대한 서술형 평가도 한계가 있다. 학습과 개선에 있어 성과에 대한 서술적 피드백은 필수적이지만, 학생들은 임상실습 동안 유용한 서술적 피드백을 거의 받지 못한다고 보고한다. 일반적으로 서술적 정보를 포함하고 있는 총괄 평가에서 [개선을 위한 영역]이 언급되어있으면, 마치 performance가 나빴던 것으로 간주된다. 서술형 코멘트는 슈버파이저들이 직무과정에서 학습한, 하지만 학생들은 모호하고 애매하다고 느끼는 "암호화된" 언어로 가득 차 있다.8

Narrative evaluations of student performance suffer shortcomings as well. Although narrative feedback on performance is essential for learning and improvement, students report rarely receiving useful narrative feedback during clerkships. In summative evaluations, which do typically contain narrative information, mention of areas for improvement are considered to signal bad performance. Narratives can be replete with “code” language that supervisors learn on the job but that students find obscure and ambiguous.8

불균등한 기회

Unequal opportunities

모든 학생들이 핵심 임상실습에 대한 중압감은 똑같이 느끼지 않는다. 시간에 쫓기고 상대평가로 등급이 매겨지는 환경에서, 초반부터 빠르게 적응하고 잘 수행하는 학생들은, 비록 모든 학생이 최종적으로 동일한 기대성과를 달성하더라도, 다른 학생들보다 더 좋은 점수를 받을 것이다. 이러한 현실은 본질적으로 의대 이전에 얻은 이점을 가져다 주는 학생들에게 유리하다. 의사 가족을 둔 학생들 또는 의료 또는 다른 전문적 경험을 가진 학생들은 이미 임상 환경의 언어와 규범 중 일부를 이해하고 있다. 현실에서 그들은 "빠른 학습자"가 아니라, 이미 적응할fit in 줄 아는 학습자들이다.

Grading pressures in core clerkships are not felt equally by all students. In a time-challenged, normatively graded environment, students who adapt quickly and perform well from the start may be rated more favorably than other students, even if they all eventually achieve expected competency. This reality inherently favors students who bring advantages acquired before medical school. Students who come from families of physicians or other health providers, and those who have medical or other professional experience, already understand some of the language and norms of the clinical environment. In reality, they are not “quick learners” but, rather, learners who already know how to fit in.

원래 자신이 가지고 있던 경험이나 문화적 배경이 임상 실습의 전문적인 환경과 다른 학생들은 자연스럽게 적응하는 데 더 많은 시간이 필요할 수 있다. 비록 더 많은 것을 배울 수 있는 이러한 학생들은 많은 노력을 기울이고 빠른 속도로 배울 수 있지만, 어떤 평가자들은 이 학생들을 다른 학생들보다 더 낮게 평가한다. 하지만 학생들마다 배우는 속도는 다르더라도, 같은 성과에 도달할 수 있다.

Students whose experience or cultural background differs from the professional environment of clinical practice may naturally need more time to acclimate. Although these students who have more to learn may apply great effort and learn at a rapid rate, their assessors frequently rate them as lower-performing than some of their peers. Students can learn at different rates and get to the same point

외향과 자신감을 더 강한 수행의 지표로 추천할 수 있는 환경에서, 선천적으로 조용하거나 사고 과정에 더 내향적인 학생들은 다른 기술과 상관없이 덜 능력 있는less competent 학생으로 간주될 수 있다.

In an environment where extroversion and confidence may be commended as indicators of a stronger performance, students who are naturally quiet or who are more introverted in their thought processes may be viewed as less competent, regardless of their other skills.

특히, 현재 핵심 임상실습은 평가와 채점 관행은 URM 학생들에게 불리하게 작용할 수 있는 방식이다. 표준화된 시험성적에서 모집단간 차이는 소수민족과 다수민족 사이에 존재하는 것으로 알려져 있으며, 오랜 기간 동안 지속된 구조적 인종차별에 기인한다. 임상 성과보다 표준화된 시험에 상당한 비중을 두는 등급 패러다임은 이러한 구조적 문제의 영향을 증폭시킬 수 있다.

Particularly concerning are the ways that current assessment and grading practices in core clerkships may disadvantage students who are underrepresented in medicine. Population group differences in standardized exam performance are known to exist between minority and majority populations and are attributed to long-standing structural racism. Grading paradigms that give substantial weight to standardized exams over clinical performance may amplify the impact of these structural issues.

초점의 이동

Shifting the Focus

의과대학의 일차적 책임은 학생을 서열화하는 것이 아니라 모든 졸업생이 다음 교육 단계로 이행하는 데 필요한 필수 역량을 갖추도록 하는 것이다.

The primary responsibility of medical school is not to rank students but to ensure that every graduate is prepared with the requisite competencies needed to transition into the next phase of education

학생들이 진로 선택권을 유지하기 위해 honor 등급을 받아야 한다고 느낄 때, 

• 그들은 배움과 향상보다는 보여주기performing에 초점을 맞추고 있다. 

• 그들은 마음을 여는 질문을 환영하기 보다는 두려워한다. 

• 그들은 교정 피드백을 찾기 보다는 두려워한다. 

• 그들은 또래와 협력하기 보다는 경쟁한다. 

• 그들은 환자들로부터 배울 수 있는 기회에 활력을 느끼기보다는 스트레스를 받는다.

When students feel compelled to earn an honors grade to maintain their career options, 

• they focus on performing rather than on learning and improving, 

• they dread rather than welcome questions that stretch their minds, 

• they fear rather than seek out corrective feedback, 

• they compete rather than collaborate with peers, and 

• they feel stressed rather than energized by the opportunity to learn from their patients

• 임상실습이 표준화된(쉘프) 시험에 의존하여 성적 과제의 객관성을 높이려고 할 때, 학생들은 그들의 직접적인 환자 관리와 전문가 간 팀 능력을 최적화하는 것보다 [시험을 위한 공부]를 우선시한다. 

• 시간에 쫓기는 교수들이 자신의 평가 역할을 우등생인지 아닌지를 판단하는 것으로 볼 때, 학생들은 미래의 성공을 위한 코칭보다는 [즉각적인 성과를 판단]하는 데 더 초점을 맞춘다.

• When clerkships attempt to increase the objectivity of grade assignments by relying on standardized (shelf) exams, students prioritize studying for the test over optimizing their direct patient care and interprofessional team skills. 

• When time-challenged faculty view their assessment role as determining whether or not the student is an honors candidate, they focus more on judging immediate performance rather than coaching for future success.

평가에 대한 새로운 접근

A new approach to assessment

의과대학은 측정의 우선순위를 정하고 학생 역량 개발을 지속적으로 진전시키는 평가 프로그램의 설계와 구현에 노력을 다시 집중해야 할 시점이다(표 1).

It is time for medical schools to refocus their efforts on designing and implementing programs of assessment that prioritize measuring and continuously advancing student competency development (Table 1).

학습을 위한 평가AfL는 학생의 발전, 성찰, 평생학습 능력을 촉진하는 관찰과 피드백을 수반한다. 학생들은 누군가가 보고 있을 때 좋은 성적을 내는 것 만이 아니라 [학습과 향상을 보여준 것에 대해 보상]을 받아야 한다.12

Assessment for learning entails frequent observation and feedback that promote students’ development, reflection, and lifelong learning skills. Students should be rewarded for demonstrating learning and improvement, rather than only for performing well when someone is watching.12

교육자는 핵심 임상실습의 시작부터 학생 및 학생의 다른 교육자와 협력하여 각 학생의 출발점에 대한 이해를 학습 및 평가 과정에 포함시켜야 한다. (한 임상실습 학생에 대한 수행 정보가 다음 임상실습으로 제공되는) 학생들이 "Feed Forward"를 교수들을 편향시키는 정보라고 두려워하기 보다는, 종단적 학습의 전략으로 포용하게 되어야 한다.

Educators must work with students and students’ other educators from the beginning of a core clerkship to incorporate understanding of each student’s starting point into the learning and assessment process. “Feed forward,” in which performance information about a student from one clerkship is provided to the next clerkship, should be embraced as a strategy for longitudinal learning rather than feared by students as information that biases their teachers.

학생들이 성장과 발전을 보여줄 수 있는 기회

Opportunities for students to demonstrate growth and development

지속적인 학습을 위한 평가의 마인드 습관 기르기

Fostering the habit of mind of assessment for continuous learning

학생들의 성적평가는 핵심 임상실습 성적 할당에 초점을 맞추기보다는 학습 진척도에 대한 전문가의 판단을 반영해야 한다. 예를 들어, 임상교육위원회는 정량적 점수 및 서술적 코멘트를 포함한 학생들의 평가 데이터를 한 과의 임상실습과 전체 임상슬습에 걸쳐 검토할 수 있다. 학생들은 자신의 performance 데이터를 검토하여 상대적 강도의 영역과 추가적인 성장을 위한 영역을 자체 평가할 수 있다. 이러한 접근방식은 학생들이 핵심 임상실습에서 [보여주기]보다는 [학습]에 집중할 수 있게 할 것이다. 그 결과 서브인턴을 포함한 4학년 임상실습에서 최고의 성과를 보여줄 준비가 될 것이다. 

Rather than focusing on assigning grades in the core clerkships, student performance review should incorporate expert judgment of learning progress. For example, a committee of clerkship educators can review assessment data for students, including both quantitative scores and narrative comments, within and across clerkships. Students could simultaneously review their own performance data to self-assess areas of relative strength and areas for further growth. This approach would enable students to focus on learning rather than performance during the core clerkships, so that they are ready to demonstrate their best performance during final-year clinical rotations, including subinternships. 

최종 학년에서 grading으로 돌아가는 것은 각 학생의 레지던트 수행 능력에 대한 가장 최근의 평가를 반영하기 때문에 논쟁이 있다.

There is an argument to be made for returning to grading during final-year rotations because those rotations reflect the most current assessment of each student’s ability to perform well in residency.

전공의 선발에 미치는 영향

The effect on residency selection

의대와 레지던트 프로그램 이사는 지식과 기술을 향상시키면서 뛰어난 환자 진료를 제공할 레지던트 프로그램에 학생을 매칭하는 것을 같은 목표로 삼고 있다. 전공의 선발을 위한 최선의 정보는 학생들의 가장 최근의 역량 업적을 기술하는 하위 인터네셔널의 성적, 내러티브 및 추천서의 조합에서 찾을 수 있다.

Medical schools and residency program directors share the same goal: to match students to the residency programs in which they will provide outstanding patient care while advancing their knowledge and skills. The best information to achieve this goal is found in the combination of grades, narratives, and letters of recommendation from subinternships that describe students’ most recent competency achievements.

학생들이 어떻게 그들의 학습에 접근하고, 팀원들과 함께 일하며, 그들의 기술을 향상시키기 위해 피드백을 통합하는 정직하고, 솔직한 묘사를 묘사하는 핵심 사무직 내러티브들은 레지던트 이사와 관련된 여러 기술에 대한 귀중한 정보를 제공할 것이다.

Core clerkship narratives that portray honest, forthright descriptions of how students 

• approached their learning, 

• worked with team members, and 

• incorporated feedback to improve their skills would provide valuable information about multiple skills relevant to residency directors,

교육자들은 프로그램이 예비 후보들에 대한 전체적인 검토에 더 많은 시간을 할애할 수 있도록 레지던트 프로그램 자라에 대한 지원자의 수를 제한하는 국가 전략을 옹호해야 한다.

Educators should advocate for national strategies to decrease the high volume of applicants per residency program position so that programs can spend more time on a holistic review of potential candidates.

결론

Conclusion

임상실습 성적 부여는 학습자에게 그들의 궁극적인 독립적 관행에 대한 함축과 함께 의도하지 않은 여러 결과를 초래한다. 점수는 조기 학습자에게 스트레스와 혼란을 야기하며, 이는 학습에 대한 바람직한 접근법을 방해하고 불평등을 심화시키는 방식으로 학생들에게 불리하게 작용할 수 있다. 학습을 위한 평가에 초점을 맞춘 성적을 없애는 것은 필수 환자 관리 및 팀워크 기술을 개발하는 과정에 학습자를 참여시키고 평생 학습 습관의 개발을 촉진할 수 있는 가능성을 가지고 있다.

Clerkship grading causes multiple unintended consequences for learners with implications for their eventual independent practice. Grading generates stress and confusion for early learners, and that can interfere with desired approaches to learning and disadvantage students in ways that exacerbate inequities. Eliminating grades focused on assessment for learning holds promise to engage learners in the process of developing essential patient care and teamwork skills and to foster their development of lifelong learning habits.

10 Krupat E, Borges NJ, Brower RD, et al. The Educational Climate Inventory: Measuring students’ perceptions of the preclerkship and clerkship settings. Acad Med. 2017;92:1757– 1764.

12 Boud D. Feedback: Ensuring that it leads to enhanced learning. Clin Teach. 2015;12:3–7.

---

, 94 (4), 469-472

 Apr 2019

Core Clerkship Grading: The Illusion of Objectivity

Karen E Hauer 1, Catherine R Lucey

Affiliations 

Affiliation

• 1K.E. Hauer is associate dean for assessment and professor, Department of Medicine, University of California, San Francisco, San Francisco, California; ORCID: https://orcid.org/0000-0002-8812-4045. C.R. Lucey is vice dean for education and professor, Department of Medicine, University of California, San Francisco, San Francisco, California.

• PMID: 30113359
 
• DOI: 10.1097/ACM.0000000000002413

Abstract

Core clerkship grading creates multiple challenges that produce high stress for medical students, interfere with learning, and create inequitable learning environments. Students and faculty alike succumb to the illusion of objectivity-that quantitative ratings converted to grades convey accurate measures of the complexity of clinical performance.Clerkship grading is the first high-stakes assessment within medical school and occurs just as students are newly immersed full-time in an environment in which patient care supersedes their needs as learners. Students earning high marks situate themselves to earn entry into competitive residency programs and selective specialties. However, there is no commonly accepted standard for how to assign clerkship grades, and the process is vulnerable to imprecision and bias. Rewarding learners for the speed with which they adapt inherently favors students who bring advantages acquired before medical school and discounts the goal of all learners achieving competence.The authors propose that, rather than focusing on assigning core clerkship grades, assessment of student performance should incorporate expert judgment of learning progress. Competency-based medical education is predicated on the articulation of stepwise expectations for learners, with the support and time allocated for each learner to meet those expectations. Concurrently, students should ideally review their own performance data with coaches to self-assess areas of relative strength and areas for further growth. Eliminating grades in favor of competency-based assessment for learning holds promise to engage learners in developing essential patient care and teamwork skills and to foster their development of lifelong learning habits.