채점에서 학습을 위한 평가로: 핵심임상실습의 성적 제거 및 형성적 피드백 강화를 둘러싼 학생들의 인식(Teach Learn Med. 2021)

채점에서 학습을 위한 평가로: 핵심임상실습의 성적 제거 및 형성적 피드백 강화를 둘러싼 학생들의 인식(Teach Learn Med. 2021)
From Grading to Assessment for Learning: A Qualitative Study of Student Perceptions Surrounding Elimination of Core Clerkship Grades and Enhanced Formative Feedback
Lee Seligmana, Abdikarin Abdullahib, Arianne Teheranib,c, and Karen E. Hauerb,c

 

 

소개
Introduction

레지던트 지원 및 학업 성적1에 중요한 영향을 미치는 [의과대학의 임상실습 성적]은 학생들에게 상당한 우려를 불러일으킵니다. 핵심 임상 실습은 전통적으로 [총괄 평가]로 마무리되며,2 대다수의 미국 의과대학은 합격 성적을 세분화(예: "우등/합격/불합격")하는 [계층형 채점 시스템]을 채택하고 있습니다.3 학습자들은 종종 정확하고 객관적으로 보이지만 학생 성과를 완전히 또는 정확하게 나타내지 못할 수 있는 이러한 [성적의 공정성에 대해 의문]을 제기합니다.4 -7 학생들은 [감독자의 불충분한 직접 관찰]에 근거하여 성적이 매겨졌다고 느낄 수 있으며,4,8 환자를 자비롭게 돌보는 능력과 같은 다른 역량보다 [의학 지식에 과도한 가중치]를 부여합니다.9,10 또한 성적은 [의학 분야에서 소외되거나 의학에 대한 사전 노출이 적은 배경을 가진 학생에게 불이익]을 주는 불공평성에 기여합니다.6,11 
Clerkship grades during medical school – due to their importance for residency applications and academic awards1 – raise significant concerns for students. Core clinical clerkships traditionally culminate in summative assessment,2 with the large majority of US medical schools employing a tiered grading system, in which passing grades are subdivided (e.g. “honors/pass/fail”).3 Learners often question the fairness of these grades, which, despite their seeming precision and objectivity, may not fully or accurately represent student performance.4–7 Students may feel that they are graded based on inadequate direct supervisor observation,4,8 with excessive weight placed on medical knowledge above other competencies, such as the ability to provide compassionate patient care.9,10 Grading also contributes to inequity, disadvantaging students from backgrounds underrepresented in medicine or with less prior exposure to medicine.6,11

평가는 학생들이 학습하는 방법과 내용을 형성하는 데 중요한 역할을 합니다.12-17 [동기 부여 이론]은 평가가 학습에 미치는 영향을 설명합니다.

• [목표 지향 이론]에 따르면 학생들은 서로 다른 성취 목표 또는 목적을 가지고 학습에 접근합니다.18,19
  • [성취 목표 지향]은 유능해 보이거나, 무능해 보이지 않으려 하거나, 실수를 피하려는 욕구가 특징입니다.
  • 반대로 [숙달 목표 지향]은 기술이나 지식을 습득하는 데 중점을 둡니다.
  • [숙달 목표 지향]은 더 깊은 개념 이해, 개선된 끈기, 더 큰 학습 즐거움으로 더 높은 수준의 학습을 촉진합니다.20,21 요약 평가는 성과 지향성을 장려하므로,12 요약 평가에서 형성 평가로 전환하는 것이 학습에 도움이 될 수 있습니다.
• [자기 결정 이론]은 숙달 지향의 이점을 이해하기 위한 관련 프레임으로, 외재적 동기보다는 내재적 동기가 학습의 질을 최적화하고 웰빙을 향상시킨다고 가정합니다.22-24 내재적 동기는 자율성, 역량 및 관련성(후자는 사회적 연결성을 의미함)에 의해 촉진됩니다. 계층적 채점은 내재적 동기를 감소시킬 수 있는 외재적 동기 부여입니다.25,26

Assessment plays a major role in shaping how and what students learn.12–17 Theories of motivation elucidate the effects of assessment on learning.

• According to goal orientation theory, students approach learning with different achievement goals or purposes.18,19 
  • A performance goal orientation is characterized by the desire to appear competent, avoid appearing incompetent, or avoid mistakes.
  • Conversely, mastery goal orientation places focus on gaining skills or knowledge.
  • A mastery orientation facilitates higher quality learning with deeper conceptual understanding, improved persistence, and greater enjoyment of learning.20,21 Summative assessment encourages performance orientation,12 and thus, a move from summative toward formative assessment may benefit learning.
• Self-determination theory is a related frame for understanding the benefits of a mastery orientation, positing that intrinsic rather than extrinsic sources of motivation optimize learning quality and enhance wellbeing.22–24 Intrinsic motivation is promoted by feelings of autonomy, competence, and relatedness (the latter signifying social connectedness). Tiered grading is an extrinsic motivator that may diminish intrinsic motivation.25,26

의학 커리큘럼 등급 변경에 대한 연구는 합격/불합격이 상당한 이점을 부여하는 [임상실습 전 평가]에 중점을 두었습니다. [단계별 등급을 없애면], 임상 전 시험 성적의 저하 가능성을 제외하고는 1단계 면허 시험 점수를 비롯한 측정된 [교육 성과에 큰 영향을 미치지 않으면서 스트레스를 줄이고 웰빙과 그룹 결속력을 향상시킬 수 있습니다]. 대부분의 미국 의과대학은 [전임상 커리큘럼을 합격/불합격 채점 방식으로 전환]했습니다. 이러한 성공 사례는 핵심 교과목에서 단계별 등급을 제거하면 중요한 변화의 시기에 학생들의 학습 경험을 유사하게 개선할 수 있음을 시사합니다. 그러나 [실습 기간 동안 피드백에 중점을 둔 합격/불합격 채점으로의 변경]이 실제로 학생에게 어떤 영향을 미치고 학습 경험을 재조정할 수 있는지는 알려지지 않았습니다.
Studies of medical curricular grading changes have focused on pre-clerkship evaluation, where pass/fail has conferred significant benefits. Elimination of tiered grading decreases stress and improves wellbeing and group cohesion27–30 without significant detriment to measured educational outcomes, including Step 1 licensing examination scores,31,32 except for a possible decrease in preclinical exam performance.33 Most United States medical schools have transitioned their pre-clinical curricula to pass/fail grading.34 These successes suggest that removal of tiered grading from core clerkships could similarly improve student learning experiences during a critical and transformative period. However, how a change to pass/fail grading with increased focus on feedback during clerkships may affect students and reorient their learning experiences in practice is unknown.

임상 실습에서 [저부담 피드백]에 중점을 둔 [합격/불합격 채점]을 구현하려면 [총괄 평가 및 판단]에 중점을 두는 것에서 [형성 평가 및 피드백]에 중점을 두는 것으로 변화해야 합니다.35-37 이를 [학습에 대한 평가]에서 [학습을 위한 평가]로의 전환이라고 할 수 있습니다.38 [학습을 위한 평가]를 우선시하는 환경에서는 피드백을 강조합니다. 피드백은 학습을 안내하고, 학생 참여를 촉진하며, 학생이 학습 목표를 달성하기 위한 수단으로 피드백을 사용하게 동기를 부여한다. 예를 들어 평가에 대한 감독자의 태도는 학생의 학습 환경에 직접적인 영향을 미치거나 피드백을 통해 간접적으로 학생의 학습 경험에 영향을 미칠 수 있으므로 이러한 문화적 변화에는 모든 이해관계자의 동의가 필요합니다.39,40 이 질적 연구에서는 형성적 피드백에 중점을 두고 핵심 임상실습 단계별 채점을 없애는 것이 동기 부여, 임상실습 학습 경험 및 웰빙에 미치는 영향에 대한 학생의 관점을 탐색하고자 합니다.
Implementing pass/fail grading with greater emphasis on low-stakes feedback in clinical clerkships requires a change from emphasis on summative assessment and judgment to one on formative assessment and feedback.35–37 This may be called a move from assessment of learning to assessment for learning.38 An environment that prioritizes assessment for learning emphasizes feedback to guide learning, fostering student engagement, and motivating students to use feedback as a means to achieve learning goals. This cultural shift requires buy-in from all stakeholders, as supervisor attitudes toward assessment, for example, may directly affect the student’s learning environment or indirectly affect student learning experiences through feedback.39,40 In this qualitative study, we pursue an initial exploration of student perspectives on how elimination of tiered grading in core clerkships with increased focus on formative feedback affects motivation, clerkship learning experiences, and wellbeing.

 

연구 방법
Method

연구 설계
Study design

이 연구는 의대생 인터뷰 분석을 위해 동기 부여 이론과 관련된 개념42을 민감화하여 귀납적 주제 분석 접근법41을 사용한 질적 연구였습니다. 이 연구는 성적 변경 후 학생들의 [임상실습 경험]을 학생들 자신의 말로 탐구하는 [초기 연구]이므로 [질적 설계]를 선택했습니다. 저희는 개인의 주관적인 경험을 탐구하고자 [해석주의 패러다임]을 채택했습니다. 2019년 여름, 캘리포니아대학교 샌프란시스코 캠퍼스(UCSF)에서 핵심 클럭십을 수행하는 동안 의대생들을 인터뷰하여 Honor 채점을 없애고, 주 2회 관찰과 지도교수 피드백을 시작한 직후 1년간의 학습 경험에 대해 이야기했습니다. 평가 변경 및 개인 성과에 대한 강한 감정을 예상했기 때문에 학생들이 솔직하고 유연하게 말할 수 있도록 개별 반구조화 인터뷰를 사용했습니다. UCSF 기관윤리심의위원회는 이 연구를 면제로 간주했습니다(연구 번호 19-27805).
This was a qualitative study using an inductive thematic analysis approach41 with sensitizing concepts42 related to theories of motivation for analysis of interviews with medical students. We selected a qualitative design as this is an initial study exploring student clerkship experiences after a grading change, in the students’ own words. We employed an interpretivist paradigm, as we hoped to explore individuals’ subjective experiences of their clerkships. We interviewed medical students during their core clerkships at the University of California, San Francisco (UCSF) during summer 2019, addressing their learning experiences in the year immediately following elimination of honors grading and initiation of twice-weekly observation and feedback from supervisors. Because we anticipated strong feelings regarding the assessment change and personal performance, we used individual semi-structured interviews to allow students to speak candidly and flexibly. The UCSF Institutional Review Board deemed the study exempt (study # 19-27805).

컨텍스트
Context

UCSF 의대생들은 마취과, 내과, 신경과, 산부인과, 소아과, 정신과, 외과에서 각각 2~8주 동안 진행되는 [핵심 임상실습]과 [종단형 가정의학과 일일 클리닉]에 참여했습니다. 대부분의 학생들은 [블록 클리닉]에 등록했고, 소수의 학생들은 [종단 통합 클리닉(LIC)]에 등록했습니다.43

• 블록 클리닉 팀에는 학생 1~2명, 어텐딩(교수진), 레지던트, 인턴 1~2명이 포함되었으며, 여러 학생이 한 사이트에서 다른 팀에 속해 근무했습니다.
• LIC 학생들은 각 분야의 어텐딩과 함께 개별적으로 근무했습니다.

UCSF medical students participated in core clerkships lasting 2–8 weeks each in anesthesia, medicine, neurology, obstetrics/gynecology, pediatrics, psychiatry, and surgery, plus a longitudinal family medicine day-long clinic. Most students enrolled in block clerkships and a minority in longitudinal integrated clerkships (LICs).43 Block clerkship teams included 1–2 students, an attending (faculty member), resident, and 1–2 interns; multiple students work on different teams at a site. LIC students worked individually with an attending in each discipline.

[2018년 12월]까지 학생들은 [어텐딩, 레지던트, 인턴의 서술형 및 수치 평가]와 [임상실습 시험 점수]가 위원회에서 결정한 최종 성적에 반영되어 우등/합격/불합격 등급을 받았습니다.44 [2019년 1월], 학교는 핵심 임상실습에 대한 합격/불합격 등급으로 전환하여 다음에 따라 합격이 결정되도록 했습니다.

• 어텐딩과 레지던트의 서술형 및 수치 평가에 대한 기대치 달성,
• 임상실습 시험 합격,
• 주 2회 형성 피드백 이벤트 제출(작업 기반 평가,45 내용보다는 완료도에만 등급이 매김)

Through December 2018, students received honors/pass/fail grades, with narrative and numerical evaluations from attendings, residents, and interns, along with clerkship examination scores, contributing to the final committee-determined grade.44 In January 2019, the school transitioned to pass/fail grading for core clerkships, with passing determined by

• achievement of expectations on narrative and numerical evaluations from attendings and residents,
• passing the clerkship examination, and
• submission of twice-weekly formative feedback events (work-based assessments,45 graded only for completion rather than content).

2019년 1월부터 이러한 피드백 이벤트는 학생이 시작하고 참석 또는 레지던트 수퍼바이저가 [구두 및 온라인 피드백 양식]으로 작성하여 완료했습니다. 학생들은 합격/불합격 성적 외에 '탁월' 또는 '우수'와 같은 코드화된 요약 형용사 없이 [채점 위원회의 최종 서술형 평가]를 계속 받았습니다. [핵심 임상실습]에 이은 [서브 인턴십]은 대부분 우등상을 받을 수 있는 자격이 주어졌습니다.
Starting in January 2019, these feedback events were initiated by students and completed by attending or resident supervisors, both orally and written in an online feedback form. Students continued to receive a final narrative evaluation from a grading committee – without coded summary adjectives such as “outstanding” or “superior” – in addition to their pass/fail grade. Sub-internships following core clerkships continued to be largely honors-eligible.

참가자
Participants

저희는 임상실습 연도에 있는 학생들을 표본으로 삼았습니다. 또한 2019년 1월 이전에 임상실습을 시작하여 이전의 우등생 자격 및 새로운 합격/불합격 평가 시스템을 경험한 일부 학생을 의도적으로 표본으로 추출했습니다.46 이러한 학생들은 평가 시스템 간 경험을 직접 비교할 수 있었기 때문에 조사 대상에 포함했습니다. 인터뷰 당시 참가자들은 12개월 중 최소 5개월의 핵심 임상실습을 완료한 상태였습니다. 이 시기는 학생들이 다양한 임상실습 경험에 적응할 수 있는 충분한 시간을 확보할 수 있게 해주었고, 신입 임상실습 학생으로서 슈퍼바이저와 함께 배우고 일했던 경험을 쉽게 떠올릴 수 있게 해주었습니다. 우리는 학급 리스트서브에 단 한 번의 모집 이메일을 통해 대부분의 학생을 모집했습니다. 우리는 모든 인구통계학적 그룹의 학생들이 일반적으로 사무직 채점의 공정성과 정확성에 대해 우려한다는 이전 연구에 근거하여 편의 표본을 사용했습니다.4 경쟁이 치열한 전문과목에 대한 관심은 채점에 대한 의견과 연관될 수 있지만, 많은 학생들이 핵심 사무직을 수행하는 도중에 전문과목 선택을 결정하지 못한다는 우리 기관의 내부 데이터에 따라 표본 추출 계획을 수립했습니다.46 2019년 1월 이전에 임상실습을 시작한 학생들은 단일 리스트서브에 소속되지 않은 소수의 학생을 대표하므로 개별 이메일을 통해 모집했습니다. 모든 참가자에게는 $20 전자 기프트 카드가 제공되었습니다.

We sampled students in their clerkship year. Additionally, we purposively sampled a small subset of students who began their clerkships prior to January 2019, and who thus had experienced the prior honors-eligible and new pass/fail assessment system.46 We included these students as they were able to compare experiences across evaluation systems directly. At the time of the interviews, participants had completed at least five of the 12 months of core clerkships. This timing ensured that students had sufficient time to adjust to multiple different clerkship experiences and could easily recall their experiences as new clerkship students learning and working with supervisors. We recruited most students through a single recruitment email to the class listserv. We used a convenience sample based on our prior work showing that students from all demographic groups commonly have concerns with the fairness and accuracy of clerkship grading.4 While interest in a competitive specialty may be associated with opinions about grading, our sampling plan was informed by internal data at our institution showing that many students are undecided about specialty choice midway through their core clerkships.46 Students who began their clerkships prior to January 2019 were recruited through individual emails, as these represented a smaller number of students who did not belong to a single listserv. All participants received a $20 electronic gift card.

면접 가이드
Interview guide

세 명의 연구자(L.S., A.T., K.E.H.)가 [평가, 피드백, 동기 부여 이론에 관한 문헌을 활용하여 인터뷰 가이드를 개발]했습니다.8,12,14,18,20,22,31,47 (지원 정보 부록 1) 인터뷰 질문은 [학습 행동, 임상실습에서의 평가 변경 및 채점에 대한 태도, 동기 부여, 웰빙, 팀 역학, 피드백 및 평가에 대한 감독자의 태도에 대한 인식]을 다뤘습니다. 솔직한 답변을 유도하기 위해 참가자들은 모집 이메일과 인터뷰 직전에 녹취록이 비식별화될 것임을 다시 한 번 고지받았습니다. 각 인터뷰 후에는 학생의 인구통계학적 정보를 수집했습니다.
Three investigators (L.S., A.T., K.E.H.) developed the interview guide using literature on assessment, feedback, and motivation theory.8,12,14,18,20,22,31,47 (Supporting Information Appendix 1) Interview questions addressed learning behaviors, attitudes regarding the assessment change and grading in clerkships, motivation, wellbeing, team dynamics, feedback, and perceptions of supervisor attitudes regarding assessment. To facilitate candid responses, participants were informed both in the recruitment email and again immediately prior to the interview that transcripts would be deidentified. Following each interview, we collected student demographic information.

절차
Procedures

훈련받은 두 명의 조사원(L.S., A.A.)이 각각 두 번의 파일럿 인터뷰를 실시하고 다른 조사원(K.E.H.)으로부터 인터뷰 기법에 대한 피드백을 받았습니다. 인터뷰 질문에 대한 참가자의 구두 피드백을 수집하고 흐름과 명확성을 위해 인터뷰 가이드를 수정했습니다. 참가자가 핵심 임상실습 학생이었으며 인터뷰 기법이 양호했기 때문에 데이터 세트에 파일럿 인터뷰 1건을 포함시켰습니다. L.S.와 A.A.는 인터뷰를 동등하게 나누었습니다. 2019년 6월부터 8월까지 모든 인터뷰는 전화 또는 대면으로 진행하고 녹음했습니다. 분석 전에 전문적으로 녹취록을 전사하고 비식별화했습니다.
Two trained investigators (L.S., A.A.) each conducted two pilot interviews and received feedback from another investigator (K.E.H.) on interview technique. We collected participants’ verbal feedback on interview questions and revised the interview guide for flow and clarity. We included one pilot interview in the dataset, as the participant was a core clerkship student, and the interview technique was of good quality. L.S. and A.A. divided interviews equally. We conducted and recorded all interviews between June and August 2019 via telephone or in person. We professionally transcribed and deidentified transcripts before analysis.

분석
Analysis

녹취록을 읽고 동기부여 이론과 관련된 개념을 민감화하여 데이터 분석을 시작했습니다.18-20,22,23,42 이러한 개념을 통해 목표 지향 이론(예: "성과")과 자기결정 이론(예: "자율성", "역량")의 언어를 사용하여 코드를 식별하기 시작할 수 있었습니다. [귀납적으로 코드북을 개발]하기 위해 두 명의 연구자(L.S., K.E.H.)가 [두 개의 인터뷰 녹취록을 읽고 독립적으로 예비 코드를 작성]했으며, L.S.가 이를 [하나의 예비 코드북]으로 재조정했습니다. [세 명의 조사자가 예비 코드북을 사용하여 세 번째와 네 번째 녹취록을 코딩]하고, 매번 코드를 추가, 제거 또는 명확히 하여 코딩을 조정하여 [최종 작업 코드북]을 만들었습니다. 인터뷰가 진행됨에 따라 코드북을 계속해서 반복적으로 개선했습니다.
We began data analysis by reading transcripts and considering sensitizing concepts relating to motivation theory.18–20,22,23,42 These concepts allowed us to begin identifying codes using the language of goal-orientation theory (e.g. “performance”) and self-determination theory (e.g. “autonomy,” “competence”). To develop a codebook inductively,41 two investigators (L.S., K.E.H.) read two interview transcripts and independently created preliminary codes, which L.S. reconciled into a single preliminary codebook. Three investigators used the preliminary codebook to code a third and fourth transcript, each time reconciling coding by adding, removing, or clarifying codes, thereby yielding the final working codebook. We continued to refine our codebook iteratively as interviews progressed.

데이터 수집, 코딩, 분석을 동시에 진행했습니다. 11번의 인터뷰 끝에 새로운 코드를 만들거나 새로운 방식으로 코드를 적용하지 않아 [이론적으로 충분하다는 것]을 발견했습니다.48 [이후 7번의 인터뷰]에서는 우등생과 합격/불합격 서기직에 모두 경험이 있는 학생(총 5명)을 우선적으로 선발했습니다. 두 가지 평가 시스템을 모두 경험한 학생들은 비슷한 주제에 대해 논의했으며, 이들의 답변이 코드북에 큰 변화를 가져오지 않는 것을 관찰한 결과, 합격/불합격만 경험한 학생의 인터뷰와 함께 분석하는 것이 적절하다고 판단했습니다. 

We conducted data collection, coding, and analysis concurrently. After 11 interviews, we discovered that we were not creating new codes or applying codes in novel ways, indicating theoretical sufficiency.48 Within the subsequent seven interviews, we prioritized selecting students (five total) with experience in both honors-eligible and pass/fail clerkships. We observed that these students with experience in both assessment systems discussed similar themes; their responses did not lead to significant changes in the codebook, suggesting to us that it was appropriate to analyze their interviews alongside interviews with students who had experienced only pass/fail clerkships.

코딩이 완료된 후 참가자 인구 통계(표 1)를 검토한 결과, 남성과 여성 참가자가 모두 대표성을 띠고 있음을 확인할 수 있었습니다. 참가자의 인종과 절차적 전문 분야와 비절차적 전문 분야에 대한 관심은 수업 전체에 대한 대표성을 해석하기 어려웠는데, 전자의 경우 많은 학생이 자신의 인종을 "혼합"이라고 답하거나 응답하지 않았고, 후자의 경우 많은 학생이 선호하는 전문 분야를 결정하지 않은 채로 남아있었기 때문입니다. 학생 인구 통계에 따른 코드 적용의 차이는 미미했으며, 이는 이러한 하위 그룹에 대한 추가적인 의도적 샘플링이 필요하지 않음을 시사합니다. 

Following completion of coding, we reviewed participant demographics (Table 1) and noted that both male and female participants were represented. Participant race and interest in a procedural versus non-procedural specialty were difficult to interpret for representativeness with respect to the class as a whole,

• 인종 as for the former, many students reported their race as “mixed” or chose not to respond,
• 관심전공 and for the latter, many students remained undecided on their preferred specialty.

We observed only minimal differences in application of codes based on student demographics, suggesting that further purposive sampling among these subgroups was not necessary.

[코딩을 완료한 후, 두 명의 연구 조사자가 각 코드와 관련 발췌문을 검토]하여 [더 큰 주제와 코드와 주제 간의 관계를 파악]하기 시작했습니다. 팀 토론을 통해 더 큰 주제를 구체화했습니다. 코딩된 데이터를 정리하고 컴파일하기 위해 Dedoose를 사용했습니다(Dedoose, 버전 8.2.14, 사회문화 연구 컨설턴트, 캘리포니아주 로스앤젤레스). 6명의 학생에게 이메일을 통해 구성원 확인을 실시했습니다.49 학생들에게 연구의 주요 주제와 결론을 제공했으며, 학생들은 연구 결과가 자신의 경험과 일치한다고 느꼈습니다. 피드백을 바탕으로 연구 결과를 약간 수정했습니다.

After completing coding, two study investigators reviewed each code and its associated excerpts to begin to identify larger themes and relationships among codes and themes. We refined larger themes through team discussion. We used Dedoose to organize and compile coded data (DEDOOSE, version 8.2.14, SocioCultural Research Consultants, Los Angeles, California). We conducted member checking with six students via email.49 We provided students with major themes and conclusions from the study, and students felt that our results were consistent with their experiences. We made minor clarifications to our results based on feedback.

 

 

연구자 반사성
Researcher reflexivity

우리는 연구 전반에 걸쳐 반성적 사고를 고려하여 반성적 사고 일지에 생각을 기록하고 토론을 통해 공유했습니다.50,51 우리 연구팀은 두 명의 의대생(L.S., A.A.), 의학교육 연구원(A.T.), 학교 평가를 총괄하는 교육 리더(K.E.H.) 등 구성원들의 다양한 경험과 전문성을 활용할 수 있었습니다. 우리는 훈련된 학생 면접관(L.S., A.A.)을 활용하여 참가자들이 임상실습 경험을 둘러싼 솔직한 의견을 표현할 수 있도록 했습니다. 우리는 팀원들 간에 데이터와 분석에 대한 반응을 정기적으로 논의하여 서로의 가정에 도전하고 분석을 지속적으로 개선할 수 있었습니다.
We considered reflexivity throughout the study, recording thoughts in reflexivity journals and sharing through discussion.50,51 Our study team benefited from members’ diverse experiences and expertise: two medical students (L.S., A.A.), a medical education researcher (A.T.), and an educational leader who directs assessment for the school (K.E.H.). Our use of trained student interviewers (L.S., A.A.) allowed participants to express candid opinions surrounding clerkship experiences. We regularly discussed our reactions to the data and analysis among our team, allowing us to challenge one another’s assumptions and continuously refine our analyses.

결과
Results

이메일 초대를 받은 자격을 갖춘 168명의 클럭십 학생 중 18명이 응답했으며(모두 이메일 수신 후 5일 이내에 응답), 이 중 13명을 인터뷰에 초대했습니다. 우등 및 합격/불합격 클럭십에 모두 참여한 경험이 있는 학생은 8명이었으며, 이 8명 모두에게 개별 이메일을 보내고 5명의 응답자와 인터뷰를 진행했습니다. 표 1은 참가자의 인구통계학적 특성을 보여줍니다. 참가자들은 8가지 핵심 클럭십에 모두 경험이 있었으며, '상사의 반응' 및 '불확실한 미래' 하위 주제(아래)에서 언급된 것 외에 특정 전문 분야와 관련된 일관된 주제별 차이는 확인되지 않았습니다. 인터뷰는 평균 42분 동안 진행되었습니다(범위: 22-59분).
Of 168 eligible clerkship students who received email invitations, 18 responded (all within five days of receiving the email), and we invited the first 13 for interviews. There were eight students with experience in both honors-eligible and pass/fail clerkships; we sent individual emails to all eight and interviewed the five respondents. Table 1 shows participant demographics. Participants had experiences across all eight core clerkships, and we did not identify consistent thematic differences related to particular specialties aside from those noted in the “Supervisor reactions” and “Uncertain future” subthemes (below). Interviews lasted an average of 42 minutes (range: 22–59 minutes).

데이터에서 학생의 [임상실습 참여, 웰빙, 학습 맥락에 대한 인식]이라는 세 가지 주요 주제를 확인했습니다. 모든 참가자는 우등 학점을 받을 수 있는 다른 가능성에 대해 자주 생각한다고 답했으며, 우등 학점을 받은 경험이 없는 학생들도 자신의 경험을 설명할 때 직접 비교하는 언어를 자주 사용했습니다(예: "저는..."(7), "저는... 걱정하지 않습니다."(8)). 참가자 번호는 괄호 안에 표시되며, 우등생 자격을 갖춘 클럭십에 참여한 경험이 있는 학생은 별표(*)로 표시되어 있습니다.
We identified three major themes from the data: student engagement in clerkships, wellbeing, and recognition of the learning context. All participants reported thinking frequently about the alternative possibility of being graded in core clerkships, and even students without experience in honors-graded clerkships often used directly comparative language to describe their experiences (e.g. “I’m a lot more willing to…” (7), “I’m not as worried about…” (8)). Participant numbers are in parentheses; students with prior experiences in honors-eligible clerkships are indicated with an asterisk (*).

클럭십 참여
Engagement in clerkships

학생들은 성적 체계 변경으로 인해 [클럭십 학습에 대한 몰입도]가 높아졌다고 답했습니다. 이 주제에는 동기 부여, 주체성, 관계라는 하위 주제가 포함되어 있습니다.
Students reported that the grading change helped them feel highly engaged with their clerkship learning. This theme included subthemes of motivation, agency, and relationships.

동기 부여
Motivation

많은 학생들이 실습 기간 동안 동기의 주된 원천은 [좋은 의사가 되어 환자 치료와 의료팀에 기여하고 싶다는 열망]이라고 답했습니다. 학생들은 [우등 성적이 없는 상황]에서 ['배움을 위한' 학습에 대한 강한 동기]를 느꼈습니다(4, 13). 학생들은 이러한 동기를 유능한 임상의로 성장하고자 하는 열망 때문이라고 답했습니다: "내가 될 수 있는 최고의 의사가 되고 싶다는 생각은 ... 열심히 일하도록 동기를 부여합니다."(1).

Many students felt their primary sources of motivation during clerkships were their desire to learn and develop into a good doctor and contribute to patients’ care and the care team. Students felt strongly motivated in the absence of honors grades to learn “for the sake of learning” (4, 13). They attributed this drive to a desire to develop into a competent clinician: “wanting to be the best physician that I can be … motivates me to work hard” (1).

몇몇은 성적 체계 변경으로 인해 [시험 공부]에서 [환자 치료]로 우선순위가 바뀌었으며, 환자를 철저히 파악하고 팀에 기여하여 치료를 발전시키는 데 중점을 두게 되었다고 답했습니다. 한 학생은 합격/불합격 채점으로 인한 이러한 변화를 언급했습니다: "이것이 제가 여기 온 이유입니다. ... 이 복잡한 케이스에 대해 정말 깊이 생각하고 늦게까지 남아서 환자의 이야기를 배우기 위해서입니다."(11).
Several reported the grading change shifted their priorities from exam study toward patient care, with an emphasis on knowing patients thoroughly and contributing to the team in advancing care. One student noted this shift due to pass/fail grading: “this is why I'm here. … to really think really deeply about these complicated cases and stay late to learn about this patient's story” (11).

모든 학생은 성적 변경으로 인해 [상사에게 잘 보이기 위해 성과를 낼 필요성을 거의 느끼지 못한다]고 인식했습니다: "점수를 받지 못하면 누군가에게 잘 보이기 위해... 늦게까지 일하는 것이 아니라... 모든 일을 끝냈다는 만족감을 위해... 늦게까지 일하는 것 같다"(18*). 또한 대부분의 학생은 [성적을 위한 성과 압박이 학생의 동기 부여에 필요하다는 의견에 동의하지 않았습니다]. 한 학생은 이렇게 반박했습니다:
All students perceived that, due to the grading change, they felt little need to perform for the sake of impressing supervisors: “Without honors it becomes less of, are you staying late just … to impress someone, and more like … you’re staying late … for the satisfaction of making sure all your work is done” (18*). Further, most disagreed that the pressure to perform for a grade was necessary for student motivation. One student reflected:

"레지던트와 어텐딩에게 잘 보이려고 노력하는 대신 배움에 집중하기 때문에 훨씬 더 큰 기쁨을 느끼고 있습니다. ... 이러한 배움의 정신이 저를 좋은 성적을 받는 데 집중했을 때보다 더 나은 의대생으로 만들어주고 있습니다." (5*)
“I'm really finding a lot more joy because the focus is on my learning instead of me trying to impress my residents and attendings. … That spirit of learning is actually making me into a better med student than … if I were focused on getting a good grade.” (5*)

그러나 소수의 학생은 우등 성적을 받으려는 외적 동기는 느끼지 않았지만, [학습자가 계속 평가되고 관찰되기 때문에 성과에 대한 압박이 없는 것은 아니라]고 느꼈습니다.
However, a small number of students felt that, while they did not perceive an extrinsic motivation to earn an honors grade, performance pressure was not absent, as learners continue to be evaluated and observed.

전반적으로 [학습에 대한 열망]이 동기의 주요 원천이었지만, 학생들은 [임상 업무, 시험 공부, 개인적 웰빙 등 여러 가지 경쟁 동기] 사이에서 [절충점을 찾기 위해 일상적인 학습 결정]을 내리는 경우가 많았습니다. 소수의 학생들은 때때로 우등 성적이 있었다면 받아들였을 추가 과제를 맡지 않거나 임상 업무에서 노력을 다른 곳으로 옮겼다고 느꼈습니다. 한 학생은 "100%가 아닌 평균을 맞추는 것이 목표"라고 설명했습니다. "내 자신을 돌보는 데 시간을 보내고 싶었기 때문"입니다(10). 성적 변경을 통해 학생들은 [임상 책임]과 [개인 생활]이라는 [경쟁하는 욕구 사이에서 균형]을 잡을 수 있었고, 이를 통해 [전반적인 실습 참여와 웰빙을 촉진]할 수 있었습니다(아래 웰빙 테마 참조). 임상 업무에 대한 동기는 학생의 관심도에 따라 다소 차이가 있었습니다. 그럼에도 불구하고 많은 학생들이 "내가 이 일을 할 수 있는 것은 이번이 마지막이다"라고 생각하면서(17*) 자신이 원하지 않는 분야에서도 학습 동기를 느꼈습니다.
While the desire to learn was a major source of motivation overall, students frequently made day-to-day learning decisions that represented tradeoffs among multiple competing motivators, including clinical work, exam study, and personal wellbeing. A minority felt they occasionally shifted effort away from clinical work or chose not to assume extra tasks that they might have accepted had honors grades been present. One student described aiming to “meet average … not 100% … because I’d rather spend my time taking care of myself” (10). The grading change allowed students to balance the competing drives of clinical responsibility versus personal life, thereby facilitating overall clerkship engagement and wellbeing (see Wellbeing theme below). Some motivation toward clinical work varied by student interest in the clerkship. Even so, numerous students felt motivated to learn even in fields they did not intend to pursue, reasoning that “this is the last time I'll be able to do this” (17*).

주체성
Agency

성적 체계 변경을 통해 학생들은 [학습 우선순위에 대한 통제권]을 갖게 됨으로써, [학습에 대한 주체성]을 느낄 수 있었습니다(그림 1). 학생들은 [임상 시간의 우선순위를 정하는 방법]에는 차이가 있었지만, 환자 직접 접촉, 환자 프레젠테이션 또는 메모 작성, 의료 시스템 조사, 시험 공부, 일차 문헌 조사 등 [목표 역량을 선택함]으로써, [스스로 임상 기술을 개발할 수 있는 권한]을 부여받았다고 느꼈습니다. 한 학생은 "주어진 날에 무엇을 배우고 무엇을 해야 하는지 자유롭게 결정할 수 있었습니다."(11)라고 말합니다.
The grading change allowed students to feel agency in their learning by affording control over learning priorities (Figure 1). Students differed in how they prioritized their clinical time but felt empowered to develop their own clinical skills by choosing competencies to target: direct patient contact, patient presentations or writing notes, examining health systems, studying for the exam, or researching primary literature. Per one student, “I just felt very free to sort of decide in a given day what was important to me to learn about and what was important to me to do” (11).

학생들은 [학습을 주도할 수 있는 자유] 덕분에, [피드백을 구하고 비판적 성찰을 연습하고, 학습 위험을 감수하고, 감독자와 다른 의견을 제시]하는 등 [효과적인 학습 행동]을 활용할 수 있었습니다. 학생들은 [적극적으로 피드백을 구하고] [성장해야 할 부분에 대해 비판적으로 성찰함]으로써 [자신의 학습에 대한 책임감]을 갖게 되어 실습 기간 동안 피드백 빈도가 높은 것에 만족했습니다: "건설적인 피드백을 받아들이고 이를 개선에 활용하게 되어 기쁩니다."(16). 합격/불합격을 통해 많은 학생들이 질문을 하거나 새롭거나 도전적인 과제를 시도하는 등 [학습 위험을 감수해도 안전하다]고 느낄 수 있었습니다. 학생들은 지식 격차가 드러날까 봐 두려워하지 않고 "[자신이] 바보 같다고 생각하는 질문"(12*)을 할 수 있다고 느꼈으며, [유능해 보이고 낮은 평가를 피하기 위해 답을 몰래 찾아보거나 정교한 질문을 할 필요성을 느끼지 않았습니다]. 
Students’ freedom to direct their learning allowed them to utilize effective learning behaviors, such as seeking feedback and practicing critical reflection, taking learning risks, and voicing differing opinions with supervisors. Students were satisfied with the high frequency of feedback during clerkships, assuming responsibility for their learning by proactively seeking feedback and critically reflecting on areas for growth: “you take the constructive feedback and are excited to use it to improve” (16). Pass/fail allowed many students to feel safe taking learning risks such as asking questions or attempting new or challenging tasks. Students felt they could ask “questions that [they] thought … sounded dumb” (12*) without fear of revealing deleterious knowledge gaps, and they did not feel the need to look up answers furtively or ask elaborate questions to appear competent and avoid poor evaluations.

우등생들은 [우등 성적]이 [익숙하지 않은 과제를 처음 시도하는 것에 대해 평가받는 모순]을 야기한다고 인식한 반면, 몇몇 학생들은 [합격/불합격이 실수와 성장의 여지를 허용한다]고 언급했습니다: "저는 학습자로서의 역할을 받아들였습니다... 처음 무언가를 할 때 완벽하거나 대단해야 한다고 생각하지 않습니다... 그리고 그런 여유가 제 성과에도 도움이 됩니다."(7). 학생들은 [결점이 드러나는 것에 대해 거의 걱정하지 않고] [진심 어린 질문]을 하고, [부족한 기술을 개선할 기회를 모색]했습니다. 마지막으로, 학생들은 평가가 나빠지는 등의 [보복에 대한 두려움 없이 상사에게 반대 의견(예: 사소한 공격에 대한 형평성 옹호)]을 말할 수 있게 되었습니다.
Whereas students perceived that honors grades created a catch-22 in which students were evaluated on attempting unfamiliar tasks for the first time, several noted that pass/fail allowed room for mistakes and growth: “I’ve embraced my role as a learner … I don't feel like I have to be perfect or amazing the first time I do stuff … and then that relaxation also kind of helps my performance” (7). With little concern over revealing faults, students asked genuine questions and sought opportunities to improve weak skills. Finally, students felt able to voice disagreeing opinions with supervisors—for instance, advocating for equity after a microaggression—without fearing retaliation in the form of a poor evaluation.

관계
Relationships

우등 채점을 없애자 동료와의 [협력 관계] 및 상사와의 [동료 관계]가 촉진되었습니다. 많은 사람들이 우등 성적이 '미묘한 경쟁' 환경(15*)으로 이어진다고 인식했으며, 제한된 수의 우등 성적을 얻기 위한 경쟁으로 인해 [동료 간 협력이 방해]받고 있다고 답했습니다. 대부분의 학생들은 합격/불합격이 지원, 경험, 학습 전략의 공유를 촉진하여 이러한 경쟁을 최소화한다고 생각했습니다. 한 학생은 "우등생 이후를 제외하고 나머지 의대 3학년 내내 친구를 사귄 적이 없는 것 같다"(12*)고 말했습니다. 소수의 학생은 경쟁을 거의 느끼지 못했지만 또래와의 비교는 여전히 남아 있다고 느꼈습니다:
Eliminating honors grading facilitated collaborative relationships with peers and collegial relationships with supervisors. Many perceived honors grading as leading to a “subtly competitive” environment (15*), with peer collaboration hindered by perceived competition for a limited number of honors grades. Most felt that pass/fail minimized this competition by facilitating shared support, experiences, and study strategies. Per one student, “I don't think I made friends throughout the rest of med school third year except for post-honors” (12*). A minority felt that, despite sensing little competition, some comparison with peers remained:

"그들과 자신을 비교하지 않는 것은 여전히 어려울 수 있지만... 그런 생각은 최소화하고...[성적보다는] '내가 배워야 할 것을 배우고 있는가? 내가 해야 할 일을 제대로 하고 있는가?" (11)
“It can still be hard to not compare yourself against them … but that's minimized and …[is] less about the grade but more about ‘Am I learning what I should learn? Am I doing this as well as I should be?’” (11)

우등 성적 없이 [레지던트 및 어텐딩과의 편안함을 높임]으로써 [학습이 촉진되고 학생들이 진정한 팀원처럼 느낄 수 있었습니다]. 한 학생은 이러한 [수퍼바이저와의 관계가 위계적으로 느껴지지 않는다]고 언급했습니다."그 사람은 단독 평가자라기보다는 동료의 측면이 더 강하다"(16). 학생들은 호감을 얻기 위해 위선적이 되거나 자신의 전문성을 허위로 표현할 필요가 거의 없다고 느꼈습니다.

Increased comfort with residents and attendings without honors grades facilitated learning and allowed students to feel like true team members. One student noted that relationships with these supervisors did not feel hierarchical: “the person [is] less like a sole evaluator … there’s more of a colleague aspect to it” (16). Students felt there was little need to be sycophantic or misrepresent their intended specialty in order to be liked.

웰빙
Wellbeing

학생들은 합격/불합격 성적에 긍정적인 영향을 미친다고 답했으며, 면접관의 질문 없이도 이 주제를 언급하는 경우가 많았습니다. 학생들은 [낮은 스트레스, 팀원과의 진정성, 신체 건강을 우선시하는 능력, 개인 생활과 임상 업무의 균형] 등 다양한 차원의 [웰빙]에 대해 긍정적으로 평가했습니다(표 2).
Students widely attributed a positive sense of wellbeing to pass/fail grading, often citing this topic without interviewer prompting. Students spoke positively on multiple dimensions of wellbeing, including low stress, sense of authenticity with team members, ability to prioritize physical health, and balance of personal life with clinical duties (Table 2).

맥락에 대한 인식: 현재와 미래
Recognition of context: current and future

학생들은 자신의 학습이 [더 큰 맥락에 놓여 있다는 것]을 인식했습니다. 이 주제에는 학습 환경의 내재적 가변성, 성적 변경에 대한 감독자의 반응, 성적 변경의 향후 영향에 대한 우려라는 하위 주제가 포함되었습니다.
Students recognized that their learning was situated in a larger context. This theme included subthemes of inherent variability of the learning environment, supervisor reactions to the grading change, and concerns regarding the future implications of the grading change.

내재적 가변성
Inherent variability

학생들은 채점 변경으로 인해 [공정성에 대한 두려움이 완화되었다]고 느끼는 등 [핵심 임상실습 경험에 내재된 가변성]이 분명하게 드러났습니다. 많은 학생들이 서클러십을 시작하면서 현장, 감독자, 팀, 경험에 따라 "나는 이 사람, 그들은 저 사람, 우리는 완전히 다른 두 가지 경험을 했다"(7)는 사실을 알게 되었습니다. 학생들은 평가가 주관적이며, 실제 능력보다는 특정 상황에서 "[학생들이] 얼마나 잘 적응했는지, 얼마나 호감을 받았는지"를 반영한다고 지적했습니다(12*). 합격/불합격은 "과정을 정상화"(6)하여 이러한 [변수가 점수 차이로 나타나지 않도록 방지]했습니다.
Variability inherent to core clerkship experiences was clear to students, who felt the grading change alleviated fears relating to fairness. Many discovered upon starting clerkships that sites, supervisors, teams, and experiences differed widely: “I got this person, they got that person, we have two totally different experiences” (7). Students noted that evaluations were subjective and reflected “how well [students] fit in or how liked they were” in a particular context rather than true ability (12*). Pass/fail “normalized the process” (6), preventing this variability from manifesting as differential grading.

몇몇 학생은 [인종, 성 정체성, 성적 지향 또는 사회경제적 지위]와 관련된 [우등 성적의 형평성 문제]로 인해 합격/불합격을 지지했습니다. 학생들은 "성별이나 인종 문제로 인해 불공정한 성적을 받지 않아도 된다는 사실에 안도감을 느꼈습니다."(5*). 몇몇 학생은 성적 변경을 모든 학생에게 ['공평한 경쟁의 장']을 만들어 성적 불평등을 해결해야 하는 교육기관의 책임으로 인식했습니다(8).
Several students supported pass/fail due to equity concerns – surrounding race, gender identity, sexual orientation, or socioeconomic status – of honors grading. Students felt “some relief, knowing that we don’t have to [be] unfairly graded [due to] issues of gender or … race” (5*). Several students perceived the grading change as an institutional responsibility to address grading inequities by creating an “equal playing field” for all students (8).

감독자의 반응
Supervisor reactions

더 나은 학습 환경의 한 측면으로서, 학생들은 성적 변경에 대한 전공의들의 반응, 특히 [웰빙에 대해 대체로 긍정적인 반응과 공감]을 인식했습니다. 학생들은 성적이 부족했던 경험을 아쉬워하는 레지던트들의 말을 들었습니다: "너희들은 정말 운이 좋아서 이런... 일이 머리 위에 걸려 있지 않아서... 내가 겪을 때 그런 일이 있었으면 좋겠다."(3). 학생들은 레지던트들이 의대생들의 스트레스 감소, 협동심 향상, 성과에 대한 욕구 감소, 채점의 주관성에 대한 해결책에 대해 칭찬하는 것을 듣고 기뻐했습니다. 한 학생이 "제가 도울 수 있는 다른 방법이 없나요?"라고 묻자 레지던트는 "아니요, 제 승인을 받기 위해 해야 하는 노래와 춤을 모두 멈추면 됩니다. ... 가식은 사라졌습니다. 당신은 ... 호의를 구할 필요가 없습니다."(2). 일부 학생들은 프로시져 분야의 [일부 레지던트들이 성적을 통해 우수한 학생에게 보상할 수 없는 것에 대해 아쉬움]을 표했다고 보고했습니다.
As one facet of their greater learning environment, students perceived generally positive reactions and empathy from residents about the grading change, particularly surrounding wellbeing. Students heard residents wishing they had experienced a lack of grades: “you guys are so lucky you don’t have this … thing hanging over your head … I wish I had that when I was going through” (3). Students were pleased to hear residents praise medical students’ decreased stress, greater cooperation, and decreased need to perform as well as a solution to the subjectivity of grading. When one student asked whether there was “anything else I can do to help,” the resident responded, “no, you can stop the whole song and dance that you need to do to get approval from me. … the pretense is gone. You don't need … to curry favor” (2). A few students reported that some residents from procedural fields expressed regret regarding the inability to reward excellent students through grades.

학생들은 [성적 체계 변경에 대한 주치의들의 반응이 엇갈렸다]고 보고했습니다. [긍정적인 의견]에는 교수진 스스로 이 시스템을 원한다는 내용은 없었지만, 학생들 간의 경쟁이 줄어들고 자유롭게 학습할 수 있다는 점이 언급되었습니다. 한 학생은 학생들이 여전히 학습 의욕이 높다는 사실에 놀라움을 표시하기도 했습니다: "성적에 연연하지 않고 더 나아지고자 하는 진정한 열망에 놀랐어요."(12*). 일부 참석자들은 [부정적인 반응]을 보인 것으로 알려졌습니다. 주로 학생들을 비교하고, 해당 분야에 가장 [관심이 많은 학생을 식별하거나, 우수자에게 보상하는 방법에 대한 불확실성]을 언급하였다. 학생들은 일부 주치의가 변화에 저항하거나 이해 부족을 보인 것에 대해 실망감을 표했으며, 이러한 주치의는 채점 체계 변경이 [이전 세대에 비해 노력 감소를 유발할 수 있다]고 말했습니다. 한 학생은 어텐딩들이 "매우 어려운 일을 겪었다는 것에 자부심이 있을 수 있고, 의과대학은 매우 어렵습니다... 우등생 제도로 인해 더 어려워진 것 같고, 따라서 그 모든 고통에서 조금 더 멀리 떨어져 있는 사람들은 자부심을 가지고 있다고 생각합니다."(4) 라고 설명했습니다. 학생들은 일반적으로 감독자의 행동(예: 교육, 피드백 제공)이 성적 변화에 큰 영향을 미쳤다고 생각하지 않았지만, 학생들은 일부 주치의는 [임상 학습에 대한 기대치가 낮은 것 같다]고 말하며 좌절감을 드러냈습니다: "어차피 합격/불합격이야. 너무 걱정할 필요는 없어."(13).

Students reported mixed reactions from attendings regarding the grading change. Positive comments did not include faculty’s wish for this system for themselves but did address the lack of competition among students and their ability to learn freely. One student noted some attendings’ astonishment that students were still highly motivated to learn: “They were just sort of surprised by the genuine desire to get better without a grade hanging over our head” (12*). Some attendings reportedly reacted negatively, citing uncertainty about how to compare students, identify students most interested in the field, or reward excellence. Students shared some disappointment that certain attendings resisted change or showed lack of understanding, as these attendings voiced that the grading change may prompt decreased effort compared with prior generations. One student explained that attendings may “see there's pride in going through something very difficult, and medical school is very difficult… I think it's made more difficult by an honors system and therefore, those that are a little bit further removed from the pain of it all, have pride in that” (4). While students generally did not attribute significant changes in supervisor behaviors (i.e. teaching, giving feedback) to the grading change, some students were frustrated when attendings seemed to voice low expectations for clinical learning, stating: “you're pass/fail. You don't have to worry about this too much” (13).

불확실한 미래
Uncertain future

성적 변경은 학생들의 [미래에 대한 우려]를 불러일으켰습니다. 레지던트 지원 시 [다른 지원자들과의 차별화]에 대한 질문이 제기되었습니다: "다른 지원자들이 지원서에 우등생이 많은 경우, [합격/불합격 학생]이 해당 전문 분야에서 눈에 띄는 것이 더 어려울 수 있습니다."(15*). 학생들은 [레지던트 위원회에서 합격/불합격 학생을 무시할 것인지]에 대해 의문을 제기했습니다. 이러한 우려는 [수술 관련 전문과목]에 관심이 있는 학생들 사이에서 더 두드러졌습니다. 많은 학생이 레지던트 지원에서 [임상실습 평가의 중요성에 대한 혼란]을 언급하거나 일부 [최종 서술형 임상실습 평가가 "개인적인 것이 없고" "비슷한 것을 찍어내는 것"처럼 느껴진다]고 한탄했습니다(17명*). 일부는 성적 변경이 [스텝 시험이나 서브 인턴십에 대한 스트레스를 "제거하기는커녕... 대체"하는 것이 아닌지 의문]을 제기했습니다(18*). 이러한 우려에도 불구하고 학생들은 전반적으로 성적 전환이 긍정적인 변화이며, 특히 웰빙과 관련하여 "여전히 단점보다 장점이 크다"(14)고 생각하는 것으로 나타났습니다.
The grading change prompted concern for students about their future. Questions about differentiating among peers for the purpose of residency applications arose: “Where other applicants have a lot of honors on their applications, it might be more difficult for [pass/fail students] to stand out in that specialty” (15*). Students questioned whether pass/fail students would be disregarded by residency committees. Concerns were more marked among students interested in procedural specialties. Many cited confusion regarding the importance of clerkship evaluations in residency applications or lamented that some final narrative clerkships evaluations felt “impersonal” and “cookie-cutter” (17*). Some wondered whether the grading change was “displacing … rather than removing” stress onto Step exams or sub-internships (18*). Despite these concerns, students largely felt that, overall, the grading transition represents a positive change and, particularly surrounding wellbeing, “the benefits still outweigh the cons” (14).

토론
Discussion

우리는 핵심 클럭십 기간 동안 학생의 [동기 부여와 클럭십 학습 경험]에 대한 [형성적 피드백에 중점을 두고 단계별 채점에서 합격/불합격 채점으로의 전환이 미치는 영향]을 조사했습니다. 평가 및 채점 방식 변경을 통해 학생들은 여러 측면의 웰빙을 촉진함으로써 [내재적 동기]를 느끼고 [임상 학습에 몰입]할 수 있었습니다. 이 개입에는 합격/불합격 채점 변경과 형성 피드백 강화가 모두 포함되었지만, 학생들은 [강화된 피드백]을 더 큰 평가 변화의 한 요소로 인식했으며, 대체로 긍정적인 의견은 두 가지 변화의 시너지 효과를 반영하는 것이었습니다. 학습 상황에 대한 학생들의 우려는 학습과 레지던트 선발 목표를 모두 충족하는 평가의 긴장을 강조합니다. 연구 결과에 따르면 핵심과목의 합격/불합격 채점이 학습을 촉진하는 긍정적인 학습 환경을 조성할 수 있다는 사실이 입증되었습니다.
We investigated the effects of a transition from tiered to pass/fail grading with greater emphasis on formative feedback on student motivation and clerkship learning experiences during core clerkships. The assessment and grading change allowed students to feel intrinsically motivated and engaged in clinical learning, in part by facilitating multiple aspects of wellbeing. While the intervention comprised both a change to pass/fail grading and increased formative feedback, students perceived the enhanced feedback as one element of the larger assessment change, and their generally positive opinions reflected a synergistic combination of both changes. Students’ concerns about their learning context highlight the tensions of assessment serving both learning and residency selection goals. Our findings demonstrated that pass/fail grading in core clerkships may create a positive learning environment that promotes learning.

설문조사 참가자들은 자신의 동기가 [슈퍼바이저에게 잘 보이려는 노력]보다는, [임상적으로 발전하고 환자와 팀에 기여하려는 열망]에서 비롯된 것이라고 설명했습니다. 이 결과는 다른 기관의 이전 경험과 일치하며, 형성적 피드백을 강조하는 임상실습 커리큘럼 재설계가 학생들에게 긍정적인 반응을 얻었으며, 학생들도 마찬가지로 임상실습 성공에 대한 생각을 [감독자에게 깊은 인상을 주는 것]에서 [학습과 환자 치료]로 전환했습니다.52 학생들은 [학습 가치를 지닌 활동에 집중]하는 방법을 선택하는 것이 중요하다고 강조하며, 이러한 [통제를 통해 학습을 향상시킬 수 있다]고 답했습니다. 자기 결정 이론은 학습의 측면에 대한 통제력이 학생들의 호기심과 주도성을 가능하게 한다는 해석을 뒷받침합니다.22,53 학생들이 [우등 성적을 위태롭게 하지 않고도, 편안하게 느끼는 건설적인 피드백을 받아들이고, 개선을 시도하는 능력]은 총괄 평가에 중점을 두지 않는 [이상적인 학습 환경의 특징]을 나타냅니다.47 학습 문화에 대한 한 선행 연구에서와 같이 학생들은 건설적인 피드백이 높은 수준의 평가와 분리될 때 유용하다고 생각했지만54 일부는 [Grade가 없는 것으로 인해 동료들 사이에서 자신을 구별하는 능력이 제한되는지 의문]을 표시했습니다. [집중의 우선순위]를 정하거나, [코칭을 구하는 것]에 대한 참가자들의 의사결정은 학습을 [효과적으로 자기 주도하고 자기 조절할 수 있는 적응형 학습자]의 행동을 특징짓는 요소입니다.55,56 추가 연구를 통해 이러한 행동이 향후 실무에 어떻게 적용될 수 있는지 살펴볼 수 있습니다.
Our participants described their motivation as stemming from their desire to improve clinically and contribute to patients and teams more than from trying to impress supervisors. This finding is consistent with previous experiences at another institution, which demonstrated that a clerkship year curriculum redesign emphasizing formative feedback was met positively by students, who similarly shifted their ideas of clerkship success away from impressing supervisors toward learning and patient care.52 Students highlighted the importance of choosing how they focused on activities that they perceived had learning value, using this control to enhance learning. Self-determination theory supports our students’ interpretation that controllability over aspects of their learning enabled their curiosity and initiative.22,53 The ability to welcome constructive feedback and attempt to improve, as our students felt comfortable doing without potentially jeopardizing an honors grade, signifies a feature of an ideal learning environment not likely with emphasis on summative assessment.47 As in one prior study of learning cultures, students found constructive feedback useful when separated from high-stakes assessment,54 but some questioned whether a lack of grades limited their ability to distinguish themselves among peers. Our participants’ decision-making about where to prioritize their focus or seek coaching characterize behaviors of the master adaptive learner, who is able to effectively self-direct and self-regulate learning.55,56 Further study could explore how they might carry these behaviors into their future practice.

[긍정적인 행복감]은 학생들 전반에 걸쳐 뚜렷하고 일관된 결과였습니다. 이 결과의 규모에 놀랐지만, [웰빙을 증진하는 내재적 동기의 알려진 효과]와 일치합니다.22 웰빙의 구성 요소는 아래와 같은 의사 웰빙의 여러 영역에 걸쳐 있습니다.57

• 불안과 스트레스 감소(정신적 웰빙),
• 임상 상호작용에서의 진정성(사회적 웰빙의 구성 요소),
• 신체 건강을 우선시하는 능력(신체적 웰빙),
• 개인 생활과 임상 업무의 균형(통합적 웰빙) 

이러한 요소는 학생들이 의료 교육을 통해 경험하는 수많은 개인 수준 및 시스템 수준의 스트레스 요인을 반영합니다.58 이러한 스트레스 요인을 해결하지 않을 경우, 임상실습 연도에 두드러지게 나타나는 이러한 스트레스 요인은 학생들을 우울증에 걸릴 위험이 높습니다.59,60 합격/불합격 채점 하에서 학생들은 자기 관리의 우선순위를 정할 수 있는 권한을 부여받아 회복력을 강화하고 소진 위험을 줄일 수 있다고 느꼈습니다.61,62 또한 학습을 주도하는 학생의 자율성은 웰빙을 더욱 지원하는 것으로 알려져 있습니다.63 따라서 [임상실습 성적 체계의 변경]은 [의과대학에서 스트레스의 여러 근본 원인을 해결하는 데 필요한 통합 교과 과정 노력]의 한 요소로 구성될 수 있습니다.64
A positive sense of wellbeing was a marked and consistent result across students. While we were surprised by the magnitude of this finding, it is consistent with known effects of intrinsic motivation in promoting wellbeing.22 Components of wellbeing spanned multiple recognized domains of physician wellness:

• decreased anxiety and stress (mental wellbeing),
• sense of authenticity in clinical interactions (a component of social wellbeing), and
• increased abilities to prioritize physical health (physical wellbeing) and
• balance personal life with clinical work (integrated wellbeing).57 

These components mirror the numerous individual-level and systems-level stressors that students experience through medical training.58 If unaddressed, these stressors – which manifest prominently in the clerkship year – place students at high risk for depression.59,60 Under pass/fail grading, students felt empowered to prioritize self-care, which can strengthen resiliency and decrease risk of burnout.61,62 In addition, students’ sense of autonomy to drive their learning is known to further support wellbeing.63 A change in clerkship grading can thus constitute one element of the integrated curricular effort necessary to address the multiple root causes of stress in medical school.64

학생들이 평가 및 채점에 대한 변화된 접근 방식에 대해 [임상 수퍼바이저로부터 들은 메시지]는 [학습을 위한 평가]와 [학습에 대한 평가] 사이의 알려진 긴장을 반영합니다.65

• [레지던트들]이 성적을 없애고 피드백에 더 집중하는 것에 대해 [지지를 표명했다는 결과]는 학습자이자 수퍼바이저로서 레지던트의 [이중적 역할]을 보여줍니다. 레지던트를 대상으로 한 이전 연구와 일관되게, 성적 부여가 없는 경우에도 [성과에 대한 압박감은 줄어들기는 했지만 어느 정도 존재했습니다].66 이러한 관찰은 레지던트 연도의 학습 경험이 상급자에 대한 인상을 관리하는 능력과 밀접하게 연관되어 있다는 연구 결과와도 일치합니다.67
• 레지던트들과는 대조적으로, 학생들은 [교수진이 평가에 관한 오랜 뿌리 깊은 신념을 반영하는 듯한 우려]를 표명하는 것을 들었습니다.54 이러한 의견은 높은 위험, 성과 및 완벽의 이미지를 중시하는 의학계의 뿌리 깊은 문화적 전통을 반영합니다.38

Messages that students heard from clinical supervisors about the changed approach to assessment and grading reflected known tensions between assessment for learning and assessment of learning.65 

• Our finding that residents expressed support of the elimination of grades and enhanced focus on feedback showcases residents’ dual roles as learners and supervisors. Consistent with a prior study of residents, some pressure to perform, while reduced, existed even in the absence of grade assignments.66 This observation aligns with a study showing that students’ learning experiences in the clerkship year are closely tied to their ability to manage impressions made upon their supervisors.67 
• In contrast to their residents, students heard faculty express concerns that seem to reflect longstanding, deep-seated beliefs regarding assessment.54 These comments reflect ingrained cultural traditions in medicine valuing high stakes, performance, and the image of perfection.38

학생들은 주치의가 [총괄 평가에 덜 중점을 두면 우수성이 평가 절하될 것을 우려]하는 것을 들었지만, 우수성이 어떻게 손상되는지에 대한 [구체적인 사례는 없었습니다]. 실제로 한 교육기관에서 [고부담 임상실습 시험을 없애도 2단계 CK 면허 시험의 평균 학생 성적에는 영향을 미치지 않았습니다].68 여러 직종의 학습 문화에 대한 연구에 따르면 [형성적 피드백이 풍부한 문화]가 [우수성을 더 잘 촉진]하는 것으로 나타났습니다.69,70 피드백과 개선을 촉진하는 학습 평가와 진급 및 선발을 위한 성과 정보 사용의 경쟁적 긴장 사이에서 균형을 찾는 것은 의학교육 커뮤니티의 과제로 남아 있습니다.38,65 이 성적 변경이 하위 인턴십 학습과 레지던트 배치에 미치는 영향을 더 명확히 밝혀내면 교육자들은 이 균형을 더 잘 조정할 수 있을 것입니다.
 Although students heard attendings fear devaluation of excellence with less emphasis on summative assessment, there were not specific examples of how excellence would be compromised. In fact, removal of high-stakes clerkship exams at one institution did not affect average student performance on the Step 2 CK licensing examination.68 Study of learning cultures across professions suggests that a culture replete with formative feedback better promotes excellence.69,70 Seeking balance between competing tensions of assessment for learning, which fosters feedback and improvement, alongside the use of performance information for advancement and selection remains a challenge for the medical education community.38,65 Further elucidating the effects of this grading change on sub-internship learning and residency placement – two areas of widespread concern for students – will allow educators to better calibrate this balance.

이 연구에는 한계가 있습니다. 데이터는 등급 체계가 전환되는 [과도기 동안 단일 기관]에서 수집한 것이므로 결과의 이전 가능성을 제한할 수 있습니다. 참가자 중 소수만이 우등 성적의 핵심 서기직을 경험한 적이 있었지만, 이러한 경험이 없는 학생들은 모두 성적 시스템 간의 유사점과 차이점에 대해 자발적으로 이야기했습니다. 많은 참가자들은 하나의 모집 이메일에 응답한 [편의 표본]으로 선정되었습니다. 이번 조사 결과는 학생들의 경험을 종합적으로 검토한 것이 아니라 의대생들의 초기 주제에 대한 탐색을 제시하지만,46 이후 응답자 또는 [모집 이메일에 응답하지 않은 학생]들은 평가 변화에 대해 덜 호의적인 인식을 포함하여 다른 인식을 갖고 있을 가능성이 있습니다. 연구 참여자의 인종 및 관심 전문과목 인구통계학적 특성은 더 큰 규모의 의과대학 학생 집단과 비교하기 어려웠지만, [인구통계학적 특성에 따른 학생들의 서술은 미미한 차이]를 보였습니다(유일하게 주목할 만한 차이점은 절차적 전문과목에 관심이 있는 학생들 사이에서 레지던트 선택과 관련하여 잠재적으로 더 큰 우려를 나타냈다는 점입니다). 이 연구는 평가 시스템의 변화를 평가한 것이므로 성적 변경과 피드백 변경의 효과를 완전히 파악할 수는 없었습니다. 마지막으로, 이 연구는 시험 점수나 레지던트 배치와 같은 결과 측정보다는 학생의 인식에 초점을 맞추었습니다. 이 연구의 강점으로는 신뢰성을 높이기 위한 심층 인터뷰와 구성원 확인, 반성적 사고에 대한 관심, 독자가 다른 상황으로의 전이 가능성을 평가할 수 있도록 맥락, 응답 및 주제에 대한 자세한 설명이 있습니다.71
This study has limitations. Data were from a single institution during a transitional period between grading systems, potentially limiting transferability of results. Only a minority of participants had experience in honors-graded core clerkships, though students without this experience all spontaneously spoke about perceived similarities and differences between grading systems. Many participants were a convenience sample of volunteers who responded to a single recruitment email. While our findings present an initial exploration of themes from medical students rather than a comprehensive review of student experiences,46 it is possible that later responders or students who did not respond to our recruitment email may hold different – including less favorable – perceptions of the assessment change. While the racial and specialty-of-interest demographics of our study participants were difficult to compare with those of the larger medical school class, we noted minimal differences in students’ narratives based on their demographics (the only notable difference being potentially greater concerns surrounding residency selection among students interested in procedural specialties). This study evaluated a change to the assessment system and as such effects of the grading change and feedback change could not be fully disentangled. Finally, this study focused on student perceptions rather than outcome measures, such as exam scores or residency placement. Strengths of the study include in-depth interviews and member checking to enhance credibility, attention to reflexivity, and detailed descriptions of the context, responses, and themes to enable readers to assess transferability to other contexts.71

우리의 연구는 핵심 임상술기에서 형성적 피드백을 강화한 합격/불합격 채점이 어떻게 학생의 임상술기 및 환자 치료에 대한 참여를 촉진할 수 있는지를 보여주었습니다. 학생들은 내재적 동기를 크게 느꼈으며 웰빙에 대한 채점 변경의 이점을 인지했습니다. 3년차 서클럭십 이후 핵심 서클럭십 채점이 학생 성과에 미치는 영향을 이해하려면 추가 연구가 필요합니다. 이번 연구 결과는 학부 의료기관이 학생의 학습 경험을 최적화하기 위해 어떤 방식으로 서클럭십 평가를 시행할지 결정하는 데 도움이 될 수 있습니다.
Our study illustrated how pass/fail grading with increased formative feedback in core clerkships can facilitate students’ engagement in clerkships and patient care. Students felt significant intrinsic motivation and perceived benefits of the grading change for wellbeing. Further study is needed to understand the effects of core clerkship grading on student performance following third-year clerkships. Our findings can inform how undergraduate medical institutions choose to implement clerkship assessment in order to optimize student learning experiences.

htlm_a_1847654_sm2409.pdf

0.29MB

---

Teach Learn Med. 2021 Jun-Jul;33(3):314-325. doi: 10.1080/10401334.2020.1847654. Epub 2020 Nov 24.

From Grading to Assessment for Learning: A Qualitative Study of Student Perceptions Surrounding Elimination of Core Clerkship Grades and Enhanced Formative Feedback

Lee Seligman 1, Abdikarin Abdullahi 2, Arianne Teherani 2 3, Karen E Hauer 2 3

Affiliations collapse

1Internal Medicine, NewYork-Presbyterian Hospital, Columbia University Irving Medical Center, New York, New York, USA.

2University of California, San Francisco School of Medicine, San Francisco, California, USA.

3Department of Medicine, University of California, San Francisco, California, USA.

PMID: 33228392

DOI: 10.1080/10401334.2020.1847654

Abstract

Problem: Medical students perceive honors grading during core clerkships as unfair and inequitable, and negatively impacting their learning and wellbeing. Eliminating honors grading, a powerful extrinsic motivator, and emphasizing formative feedback may address these problems and promote intrinsic motivation and learning. However, it is unknown how transitioning from honors to pass/fail grading with enhanced formative feedback in the core clerkship year may affect student learning experiences, wellbeing, and perceptions of the learning environment. Intervention: Core clerkship grading was transitioned from honors/pass/fail to pass/fail at one US medical school. In addition, the requirement for students to obtain formative supervisor feedback was formalized to twice per week. Context: This qualitative study utilized semi-structured interviews to explore the perceptions among core clerkship students of learning and assessment. Interview questions addressed motivation, wellbeing, learning behaviors, team dynamics, feedback, and student and supervisor attitudes regarding assessment changes. The authors analyzed data inductively using thematic analysis informed by sensitizing concepts related to theories of motivation (goal orientation theory and self-determination theory). Impact: Eighteen students participated, including five with experience in both honors-eligible and pass/fail clerkships. The authors identified three major themes in students' descriptions of the change in approach to assessment: student engagement in clerkships, wellbeing, and recognition of learning context. Student engagement subthemes included intrinsic motivation for patient care rather than performing; sense of agency over learning, including ability to set learning priorities, seek and receive feedback, take learning risks, and disagree with supervisors, and collaborative relationships with peers and team members. Positive wellbeing was characterized by low stress, sense of authenticity with team members, prioritized physical health, and attention to personal life. Learning context subthemes included recognition of variability of clerkship contexts with pass/fail grading mitigating fairness and equity concerns, support of the grading change from residents and some attendings, and implications surrounding future stress and residency selection. Lessons Learned: Students perceive a transition from honors grading to pass/fail with increased feedback as supporting their engagement in learning, intrinsic motivation, and wellbeing. Drivers of wellbeing appear to include students' feelings of control, achieved through the ability to seek learning opportunities, teaching, and constructive feedback without the perceived need to focus on impressing others. Ongoing evaluation of the consequences of this shift in assessment is needed.

Keywords: Assessment; core clerkships; feedback; grading; motivation.