필요하지만 충분하지 않고, 어쩌면 반생산적인 것: 강의평가의 복잡한 문제(Acad Med, 2023)

필요하지만 충분하지 않고, 어쩌면 반생산적인 것: 강의평가의 복잡한 문제(Acad Med, 2023)
Necessary but Insufficient and Possibly Counterproductive: The Complex Problem of Teaching Evaluations
Shiphra Ginsburg, MD, MEd, PhD, and Lynfa Stroud, MD, MEd

 

 

임상 교사의 성과 평가는 수십 년 동안 연구와 논쟁의 대상이 되어 왔습니다. 문헌에는 학생의 교사 평가에 대한 증거를 검토하거나 더 나은 평가 도구를 만들려는 논문이 넘쳐납니다. 1-3 이러한 방대한 문헌에도 불구하고 교수 평가(TE)는 여전히 문제가 되고 있습니다. 예를 들어, 학생의 평가가 학습과 관련이 있다는 증거는 거의 없지만, 우리는 이러한 평가를 거의 전적으로 교사에 대한 평가 및 피드백으로만 활용하고 있습니다. 특정 환경에서는 타당성이 있다는 증거가 있지만,4,5 TE는 다양한 형태의 편견에 노출될 수 있으며 교사의 신체적 매력이나 성격과 같이 구성과 무관한 요인에 의해 혼동될 수 있는 것으로 알려져 있습니다. 6 또한 이러한 도구의 형성적(즉, 교사의 향상을 돕기 위한) 목적과 요약적(예: 승진을 위한) 목적의 구분이 모호해졌습니다. 
The evaluation of clinical teachers’ performance has been a subject of research and debate for decades. The literature is rife with papers that either review the evidence for students’ evaluations of teachers or attempt to create better rating instruments. 1–3 Despite this extensive literature, teaching evaluations (TEs) remain problematic. For example, there is little evidence that students’ evaluations are associated with learning, yet we rely on these evaluations almost exclusively as assessments of and feedback to teachers. While there is some evidence of validity in certain settings, 4,5 TEs are subject to many forms of bias and are known to be confounded by construct-irrelevant factors, such as the teacher’s physical attractiveness or personality. 6 We have also blurred the distinction between formative (i.e., to help teachers improve) and summative (e.g., for promotion) purposes of these tools.

이러한 한계에도 불구하고 TE는 교사를 승진시키고, 종신 재직 기간을 부여하고, 상을 수여하는 데 사용되어 왔으며, 이는 모두 우수한 가르침의 가치를 강조하는 데 도움이 될 수 있습니다. 그러나 TE는 승진을 거부하고 교원의 진급을 막는 데에도 사용되었습니다. 일부 교육기관에서는 학습자의 교수 점수가 임상 교사의 재정적 보상에 영향을 미치기도 합니다. 따라서 동일한 도구가 보상 또는 징벌 목적으로 사용될 수 있습니다. 교수진에게 TE가 차지하는 비중이 매우 크다는 점을 고려할 때 교수진이 이러한 도구가 구현되는 방식에 만족하지 못하는 것은 당연한 일일까요? 7,8 이 해설에서는 TE의 목적, 실제 업무, 전반적인 영향에 대한 문헌을 간략하게 검토합니다. 그런 다음 앞으로의 생산적인 방법을 고려합니다.  
Regardless of these limitations, TEs have been used to promote teachers, award tenure, and bestow awards, all of which may serve to emphasize the value of excellent teaching. But TEs have also been used to deny promotion and to hold faculty back from advancement. In some institutions, teaching scores from learners affect clinical teachers’ financial compensation. The same tools can therefore be used for rewarding or punitive purposes. Given that TEs carry so much weight for faculty, is it any wonder that faculty are not satisfied with how these tools are implemented? 7,8 In this commentary, we briefly review the literature on what TEs are meant to do, what they actually do in the real world, and their overall impact. We then consider productive ways forward.

열망과 의도된 목표: TE의 목적은 무엇인가요?
Aspirations and Intended Goals: What Are TEs Meant to Do?

표면적으로 학습자에게 교사에 대한 의견을 묻는 것은 당연한 일입니다. TE를 수집함으로써 학습자는 누가 자신을 가르치고 어떻게 가르치고 있는지에 대해 목소리를 낼 수 있습니다. 학습자는 교사를 평가함으로써 최고의 교사를 선발하여 보상하고 코칭이 필요하거나 심지어 해임해야 할 교사를 식별하는 데 도움을 줄 수 있습니다. 학습자는 이러한 관점에서 의견을 제시할 수 있는 유일한 집단일 수 있으므로 적대적인 학습 환경을 조성하는 교사에게 특히 중요합니다. 또한 교사가 학습자 중심의 접근 방식, 즉 학습자에게 반응하고, 학습자에게 필요한 것을 가르치고, 적절한 피드백을 제공하고, 학습자의 학습과 성장을 돕는 방식을 유지하도록 하는 데 도움이 됩니다. 
On the surface, asking learners for their opinions about their teachers makes sense. By collecting TEs, we ensure that learners have a voice in who is teaching them and how they are being taught. By evaluating teachers, students can help select for and reward the best individuals and identify those who may require coaching or even removal. This is especially important for teachers who create hostile learning environments, as learners may be the only group that can comment from this perspective. It also helps ensure that teachers maintain a learner-focused approach; that is, that they respond to their learners, teach them what they need, give appropriate feedback, and help learners learn and grow.

임상 교사에게 TE는 무엇이 중요한지 알려 줍니다. 평가 양식에 명시된 내용은 다양한 이해관계자(예: 교육생, 임상 교사, 병원 및 학계 지도자)에게 중요하다고 여겨지는 사항이며 성과에 대한 기대치를 설정합니다. 또한 TE를 통해 교사(특히 교육 트랙에 있는 교사)는 자신의 효과와 우수성에 대한 증거를 축적하여 승진 및 임기, 수상, 심지어 금전적 이득을 위해 자신이 잘 가르치고 있음을(충분히 가르치고 있음을) 보여줄 수 있습니다. 좋은 TE 도구는 성찰과 개선을 위한 코칭을 포함하는 교수 개발 시스템에 포함되는 것이 이상적입니다. 9 
For clinical teachers, TEs signal what is important. What is delineated on the evaluation form is what is seen to matter to various stakeholders (e.g., trainees, clinical teachers, hospital and academic leadership) and sets expectations for performance. TEs also allow teachers (especially those on education tracks) to accrue evidence of their effectiveness and even excellence to show they are teaching well (and enough) for purposes of promotion and tenure, for awards, and even for financial gain. Ideally, good TE tools should be embedded in faculty development systems that include reflection and coaching for improvement. 9

실제 성과: TE는 실제로 어떤 일을 하나요?
Real-World Performance: What Do TEs Actually Do?

증거에 따르면 TE가 실제로 교육을 잘 포착하지 못할 수도 있습니다. 놀랍게도 높은 평가를 받은 교사가 학생의 학습을 더 많이 또는 더 잘한다는 증거는 많지 않습니다. 고등 교육 교실 환경에서는 TE와 교실 학습 사이에 미미한 연관성만 있다는 연구 결과가 있습니다. 10 임상 환경에서는 교사가 학생의 진로 선택에 영향을 미칠 수 있지만, 이전 연구에 따르면 교사의 질과 학생의 성과 간에는 매우 미미한 영향이 있는 것으로 나타났습니다. 11 또 다른 연구에서는 성과가 낮은 교사에 대한 피드백이 오히려 교사의 성과를 악화시킨 것으로 나타났습니다. 12 어떤 면에서는 학생들이 일반적으로 자신이 가르치는 콘텐츠 영역이나 모범 교육 사례에 대한 전문 지식이 없다는 점을 고려할 때, 학습과 TE 간의 이러한 상관관계 부족은 놀라운 일이 아닐 수 있습니다. 
Evidence suggests that TEs may not actually capture teaching very well. Surprisingly, there isn’t much evidence that higher-rated teachers are associated with more or better learning in their students. In the higher education classroom setting, research has found that there are only tenuous links between TEs and classroom learning. 10 In the clinical setting, an older study showed quite minimal effects between teaching quality and students’ performance during clerkship, although teachers may have an effect on students’ career choice. 11 In another study, feedback to lower performing teachers actually made them worse. 12 In some ways, this lack of correlation between learning and TEs may not be surprising, given that students usually do not have expertise in either the content domain in which they are being taught or in best pedagogical practices.

학습이 아니라면 TE는 실제로 무엇을 측정할까요? TE를 대상으로 한 일부 연구에서 교사 평가는 카리스마, 성격, 상황의 영향을 받아 후광 효과가 크게 작용하는 것으로 나타났습니다. 6,13,14 교실이나 병동 로테이션에서 즐거움과 심리적 안정감이 중요하지 않다는 말은 아닙니다. 하지만 이러한 요소를 "가르치는 것"과 동일시하지 않도록 주의해야 합니다. 실제로 학습자에게 임상 교사를 평가하도록 요청할 때 대부분의 평가 척도에는 학습자를 존중하는 태도, 효과적인 피드백 제공, 가용성 등 가르침이나 교육과는 별개로 훨씬 더 광범위한 구성 요소가 포함되어 있습니다. 그러나 TE와 학습 간의 연관성을 살펴보는 연구는 표준화되고 수행하기 쉬운 학생의 지식 테스트에 주로 국한되어 있습니다. 분명한 것은 지식은 좋은 의사가 되기 위한 한 가지 측면일 뿐입니다. 한 흥미로운 연구에 따르면 레지던트들의 임상의사 평가는 환자들의 평가와 반비례하는 것으로 나타났는데, 이는 레지던트 평가가 좋은 의사가 되기 위한 중요한 요소를 놓치고 있을 수 있음을 시사합니다. 15 따라서 이러한 평가에는 위에서 설명한 구조와 무관한 요소도 포함되어 있으므로 전공의는 좋은 의사가 되기 위한 중요한 측면을 놓치고 있을 수 있습니다. 나프툴린과 동료들은 1973년에 발표한 논문에서 "학습에 대한 학생의 만족도는 학습했다는 착각에 불과할 수 있다"고 썼습니다. 16 
If not learning, what do TEs actually measure? In some studies of TEs, teacher ratings were subject to significant halo effects, being influenced by charisma, personality, and context. 6,13,14 This is not to say that enjoyment and psychological safety in a classroom or on a ward rotation are not important. But we should be careful not to equate these factors with “teaching.” Indeed, when we ask learners to evaluate their clinical teachers, most rating scales include much broader constructs apart from teaching or instruction, such as, among other things, treating learners with respect, providing effective feedback, and being available. Yet research looking at associations between TEs and learning are largely limited to tests of students’ knowledge, as they are standardized and easy to conduct. Clearly, knowledge is only one aspect of being a good physician. In one interesting study, ratings of clinicians by residents were inversely correlated with ratings by patients, suggesting that resident ratings may be missing important elements of what it means to be a good doctor. 15 Thus, TEs may be missing important aspects of being a good physician, as these evaluations also include the construct-irrelevant factors we described above. As Naftulin and colleagues wrote in a seminal article in 1973, “Student satisfaction with learning may represent little more than the illusion of having learned.” 16

또한, 모든 연구에서 효과가 나타나는 것은 아니며 모두 같은 방향으로 나타나는 것은 아니지만, TE는 종종 여성과 눈에 보이는 소수 집단에 대한 편견을 보이는 것으로 보고되었습니다. 최소한 학생들은 성별에 따라 교수진을 묘사할 때 다른 언어를 사용할 수 있습니다. 17,18 이것이 모든 전문 분야에서 여성의 TE 평가에 부정적인 영향을 미치지는 않지만,19,20 경우에 따라 성별 편견으로 인해 남성과 여성 간의 TE에 상당한 차이가 발생할 수 있습니다. 이는 특히 외과와 같이 교수진에서 여성의 비율이 낮은 전문과목에서 문제가 됩니다. 19-21 또한 성별과 인종/민족이 긍정적이든 부정적이든 교차 효과가 있을 수 있습니다. 22 
In addition, TEs have often been reported to show biases against women and individuals from visible minority groups, although effects are not seen in all studies and are not all in the same direction. At a minimum, students may use different language to describe faculty by gender. 17,18 While this may not negatively impact TE ratings of women in all specialties, 19,20 in some instances, gender bias may lead to significant differences in TEs between men and women. This is particularly problematic in specialties with a lower representation of women at the faculty level, such as in surgery. 19–21 There may also be intersectionality effects with gender and race/ethnicity, both positively and negatively. 22

또한 평가를 완료한 사람의 성별에 따라 교육 점수 및 의견에 차이가 있음을 확인했습니다. 18,20 따라서 학생과 교사 사이의 개별적인 역학 관계가 중요할 수 있지만, 이에 대한 조사는 거의 이루어지지 않고 있습니다. 인구통계학적 편견 외에도, 구조와 무관한 추가 항목이 의학에서 TE에게 긍정적인 영향을 미치는 것으로 나타났는데, 이러한 항목에는 교수진이 수련의에게 관여하는 정도,23 카리스마 및 신체적 매력,16,24 외향성,25 쿠키 제공 등이 있습니다. 6 TE가 편견에 취약한 정도를 고려할 때, 일부 교육기관에서는 승진 및 임기 결정을 위한 학생의 교육 평가를 허용하지 않는 경우도 있습니다. 26 
Additionally, we identified differences in teaching scores and comments based on the gender of the person completing the evaluation. 18,20 Individual dyadic relationships between student and teacher may therefore be important, yet they are rarely explored. Beyond demographic biases, additional construct-irrelevant items have been shown to positively influence TEs in medicine; these items include the perceived degree of faculty members’ involvement with trainees, 23 charisma and physical attractiveness, 16,24 extraversion, 25 and provision of cookies. 6 Given the extent to which TEs are vulnerable to bias, some institutions have gone so far as to disallow students’ evaluations of teaching for promotion and tenure decisions. 26

TE의 전반적인 영향은 무엇인가요?
What Is The Overall Impact of TEs?

위의 내용을 고려할 때 TE의 순 효과는 무엇일까요? TE의 신뢰성과 타당성에 대한 증거는 분명히 존재하지만, 특히 결과적 타당성에 대한 연구는 부족합니다. 5 하지만 위에서 언급한 바와 같이 단점도 있습니다. 즉, 관련 결과를 포함하는 직장 내 연구가 매우 제한적이기 때문에 TE의 이점과 잠재적 해로움의 순 효과를 판단하기는 어렵습니다. 교사는 좋은 교사가 되고 싶고 좋은 평가를 받기를 원하고 필요로 합니다. 이는 자신의 효과를 입증하고 개선에 도움이 되는 평가를 받는다는 것을 의미합니다. 그러나 임상 교사들은 외부뿐만 아니라 내부적으로도 이러한 평가가 갖는 힘과 무게에 대해 경계하고 있습니다. 부정적인 TE를 받아본 사람이라면 누구나 그것이 자존감, 자기 효능감, 직업적 정체성에 얼마나 위협적인지 느낄 수 있습니다. 7,27 이러한 감정은 TE의 익명성으로 인해 더욱 커질 수 있으며, 제공된 피드백을 개선에 활용하는 것도 어렵게 만듭니다. 문제가 발생한 지 [몇 달 후에 받은 익명 피드백]은 일반적으로 교사가 무엇이 잘못되었는지, 누구의 관점에서, 앞으로 어떻게 하면 더 잘할 수 있는지 이해할 수 있는 충분한 맥락이 부족합니다. 
Given the above, what is the net effect of TEs? There is clearly some evidence of the reliability and validity of TEs, although notably research on consequential validity is lacking. 5 Yet there are also drawbacks, as we noted above. So, the net effect of the benefits and potential harms of TEs is hard to determine, as research in the workplace that includes relevant outcomes is very limited. Teachers want and need to be good teachers and to get good evaluations. This means getting evaluations that demonstrate their effectiveness and help them improve. Yet clinical teachers are wary of the power and weight these evaluations hold, not just externally but also internally. Anyone who has ever received negative TEs can attest to how threatening it can feel to one’s self-esteem, self-efficacy, and professional identity. 7,27 These feelings may be heightened by the anonymity of TEs, which also makes it challenging to use the provided feedback to improve. Anonymous feedback received months after an encounter usually lacks sufficient context for the teacher to understand what went wrong, from whose perspective, and how they might do better in the future.

당연히 교사는 기존의 틀을 깨거나 새로운 교수법을 시도하거나 학습자가 너무 힘들어하거나 불편함을 느낄 수 있는 일을 하는 것을 꺼릴 수 있습니다. 고등 교육 환경에서는 더 쉬운 수업과 더 관대한 교사가 더 높은 평가를 받습니다. 28 실제로 우리는 이것이 오늘날 의학교육에서 가장 골치 아픈 문제라고 생각합니다. 경력 발전을 위해 학습자의 눈치를 보는 임상 교사는 필요할 때 학습자에게 정직하고 비판적인 피드백과 평가를 제공하지 못합니다. 29,30 이는 의미 있는 작업장 기반 평가 시스템을 만드는 데 있어 잠재적으로 치명적인 결함입니다. 수년 전 토론토 대학교의 한 연구에 따르면 교수진이 직장에서 학습자에게 부여하는 점수와 교사로서 받는 점수 간에 통계적으로 유의미한 관계가 있는 것으로 나타났습니다. 31 즉, 교수자가 부여하는 점수가 때때로 교수자가 받는 점수와 일치한다는 것입니다. "학생의 교수 평가는 부실한 교수를 조장하고 성적 인플레이션에 기여합니다."라는 제목의 기사에서 확인할 수 있습니다: 이론적 및 실증적 분석"이라는 제목의 글에서 스트로베는 다음과 같이 말합니다:
Understandably, teachers may be reluctant to rock the boat, to try new teaching methods or to do anything that may risk their learners feeling too challenged or even uncomfortable. In higher education settings, classes that are easier, and teachers who are more lenient, are rated more highly. 28 Indeed, we see this as the most vexing problem in medical education today. Clinical teachers who are beholden to their learners for career advancement are inhibited from giving honest, critical feedback and assessments to learners when required. 29,30 This is a potentially fatal flaw in creating a meaningful workplace-based assessment system. A study at the University of Toronto a number of years ago found a statistically significant relationship between the scores faculty assign to learners in the workplace and the scores they receive as teachers. 31 That is, the score you give is sometimes the score you get. In an article entitled, “Student Evaluations of Teaching Encourages Poor Teaching and Contributes to Grade Inflation: A Theoretical and Empirical Analysis,” Stroebe writes:

학생과 교수진은 암묵적인 협상 상황에 처해 있으며, 양측 모두 상대방에게 가치 있는 '좋은 것'을 가지고 있습니다. 교수진은 좋은 성적과 쉬운 강의를 제공할 수 있고, 학생은 긍정적인 [교수 평가]를 제공할 수 있습니다. 28 
Students and faculty are in an implicit negotiation situation, where each side has a “good” that is valuable to the other side. Faculty can provide good grades and easy courses, and students can provide positive [teaching evaluations]. 28

이 연구는 의료 환경에서 수행되지는 않았지만, 우리는 이러한 시나리오가 의학교육의 현상유지 수단으로 작용하는 것을 보았습니다. 우리는 자신을 위험에 빠뜨리지 않기 위해 모든 학습자에게 평가에서 4점과 5점을 주도록 후배 교수진에게 지시하는 선임 교수진을 알고 있습니다. 이 문제는 학습자가 우수한 임상의가 되기 위해 필요한 건설적이고 올바른 피드백을 박탈하고, 역설적으로 점수를 부풀리고 의미 있는 피드백을 제공하는 데 노력을 덜 기울이는 교수진에게 보상을 제공함으로써 시스템을 왜곡하는 매우 중요한 문제입니다.
While this study was not conducted in a health care setting, we have seen this scenario play out as a quid pro quo in medical education. We are aware of senior faculty who instruct junior faculty to give all learners 4s and 5s on their evaluations so as not to put themselves at risk. This issue is critical—it warps the system by depriving learners of the constructive and corrective feedback they need to become excellent clinicians and paradoxically rewards faculty who may inflate scores and put less effort into providing meaningful feedback.

이제 어디로 가야 할까요?
Where Do We Go From Here?

이 논평에서 저희는 TE 사용에 대한 수많은 위협에 대해 설명했습니다. 하지만 이 중요한 데이터 소스를 없애야 한다는 주장은 단 한순간도 하지 않을 것입니다. TE는 교사의 성장을 위한 중요한 피드백을 제공하며, 무엇보다도 교사가 설정한 학습 환경에 대한 정보, 즉 다른 방법으로는 얻을 수 없는 정보를 제공합니다. 문제는 교사의 교수 능력을 판단하는 유일한 기준으로 TE에 지나치게 의존하는 경우가 많다는 것입니다. 우리는 의학교육이 학습자에 대한 프로그램적 평가로 전환한 것처럼, 교수진의 교육 효과에 대한 프로그램적 평가로 전환할 때가 왔다고 제안합니다. 
In this commentary, we have outlined numerous threats to the use of TEs. However, we would not for a minute advocate that we should do away with this critical source of data. TEs provide important feedback for faculty growth and, vitally, they provide information about the learning environment a teacher establishes, information that may not be available otherwise. The problem is the overreliance on TEs as often the sole arbitrator by which a faculty member’s teaching skills are judged. We propose that, just as medical education has moved toward programmatic assessment of learners, the time has come to move toward programmatic evaluation of faculty teaching effectiveness.

이러한 프로그램 내에서 TE는 학생의 목소리를 제공하게 되는데, 이는 필수적이지만 그것만으로는 교육에 대한 불충분한 척도가 될 수 있습니다. 또한 TE를 구현하는 방법도 신중하게 고려해야 합니다.

• 첫째, 측정 대상이 명확해야 합니다. 임상 환경의 많은 TE는 교육과 슈퍼비전 및 코칭과 같은 다른 기술을 혼동합니다. TE의 항목을 교사에게 평가하고자 하는 항목과 일치시키고 이를 교사와 학생 모두에게 명확하게 설명한다면 이는 그 자체로 문제가 되지 않습니다.
• 둘째, TE에 사용되는 평가 척도는 주관적이고 잘 정의되지 않은 앵커가 아닌 특정 행동이나 기술에 초점을 맞추는 것이 이상적입니다.
• 셋째, 학습자에게 익명으로 TE를 완료하는 것은 특권이며, 건설적이고 전문적이어야 할 책임이 수반되는 특권이라는 점을 인식시켜야 합니다.

Within such a program, TEs would provide the student voice, which is essential—but alone is an insufficient measure of teaching. We also need to be thoughtful about how TEs are implemented.

• First, what is being measured must be explicit. Many TEs in the clinical setting conflate teaching with other skills, such as supervision and coaching. This is not in itself a problem as long as we align the items on TEs with what it is we wish to evaluate in teachers and make this explicit to both teachers and students.
• Second, the rating scales used on TEs should ideally be focused on specific behaviors or skills, rather than on subjective, poorly defined anchors.
• Third, there needs to be recognition that, for learners, completing TEs anonymously is a privilege, one that comes with a responsibility to be constructive and professional.

학습자와 교사 사이에 내재된 힘의 역학 관계를 고려할 때, 우리는 TE의 익명화를 반드시 옹호하지는 않지만, 이는 연구된 흥미로운 전망입니다. 32 드물기는 하지만 노골적으로 성차별적이거나 인종차별적이거나 인격을 비하하는 댓글은 비전문적이고 완전히 부적절합니다. 학교는 이러한 언어를 사용하는 학습자를 식별할 수 있는 투명한 메커니즘을 마련해야 하며, 이러한 행동을 전문성 문제로 간주하여 후속 조치를 취해야 합니다. 또한 학교는 TE로부터 이러한 댓글을 삭제하는 절차를 수립해야 합니다. 이상적으로는 학습자가 건설적이고 영감을 주는 내러티브 피드백을 제공하는 방법에 대한 교육과 훈련을 받아야 합니다. 
Recognizing the inherent power dynamic between learners and teachers, we would not necessarily advocate for de-anonymizing TEs, although this is an interesting prospect that has been studied. 32 While rare, comments that are overtly sexist, racist, or otherwise personally demeaning are unprofessional and totally inappropriate. Schools should have transparent, arms-length mechanisms for identifying learners who use such language and should follow up on these behaviors as a professionalism issue. Schools should also establish processes to remove such comments from TEs. Ideally, learners should receive education and training on how to provide constructive and inspirational narrative feedback.

그런 다음 TE 데이터의 사용 방법을 규정하는 강력하고 투명한 시스템을 마련해야 합니다. 예를 들어, 많은 학교에서는 표준 참조 범위를 사용하여 TE를 보고하고 상위 백분위수에 속하는 교직원을 기준으로 수상 대상자를 선정하는 경우가 많습니다. 그러나 이러한 관행은 두 가지 측면에서 문제가 있습니다. 

• 첫째, 대다수의 교원이 매우 우수하거나 우수한 교원이기 때문에 상당한 천장 효과가 발생하고 상위 몇 백분위 수에 속하는 교원은 다른 백분위 수에 속하는 교원과 차이가 매우 큽니다.
• 둘째, 이러한 극히 좁은 차이는 위에 나열된 수많은 편견의 영향을 받을 수 있습니다. 학습자의 경우와 마찬가지로, 허용 가능한 수준의 성과에 미치지 못하는 교사를 식별하는 데는 기준 참조 기준이 더 적합하지만, 뛰어난 교사를 식별하는 데는 다른 지표가 더 적합할 수 있습니다.

There must then be a robust, transparent system in place that dictates how TE data are used. For example, many schools use a norm-referenced range to report their TEs and often select faculty for awards based on those in the very top percentiles. However, this practice is problematic in 2 ways.

• First, the vast majority of faculty are very good or excellent teachers, so there is a significant ceiling effect and those in the top few percentiles are a razor’s edge apart from those in the other percentiles.
• Second, these extremely narrow margins may be influenced by the numerous biases listed above. Just as we do for learners, a criterion-referenced standard is more appropriate to identify those falling below an acceptable level of performance, but other metrics may be more appropriate to identify outstanding teachers.

그렇다면 프로그래밍 방식의 TE에 기여할 수 있는 다른 지표에는 어떤 것이 있을까요?

• 우선, 레지던트를 위한 역량 기반 의학교육을 향한 움직임과 마찬가지로, TE에 포함된 서술적 의견에 더 중점을 두어야 하지만, 의견에도 한계가 없는 것은 아닙니다. 33 천장 효과를 고려할 때 이 점수는 분명히 교정이 필요한 저성과자를 식별하는 데만 도움이 된다고 주장할 수도 있습니다.
• 그 대신, 교수진이 내년에 어떤 작업을 할 계획인지에 대한 의견과 반성을 시간이 지남에 따라 포트폴리오로 정리하는 것이 더 의미 있는 과정일 수 있습니다.
• 일부 관할 지역에서는 교사에게만 공유되는 형성형 TE로 전환하는 방안이 고려되고 있습니다. 28 교사에게 제공되는 데이터의 종류와 관계없이 TE는 효과적인 교수자 개발 전략을 포함하는 시스템의 일부로 수집 및 사용되어야 합니다. 2
• 단순히 학습자 피드백을 교사에게 전달하는 것만으로는 성장을 촉진하는 효과적인 방법이 아닙니다. 9

So, what might these other metrics be that could contribute to programmatic TEs?

• To start, just as with the move toward competency-based medical education for residents, there should be a greater focus on the narrative comments included on TEs, although comments are not without their own limitations. 33 One might argue that the scores, given the ceiling effect, are only helpful in identifying low-performing outliers who clearly need remediation.
• Instead, a deeper dive into the comments and reflection by faculty on what they plan to work on over the next year collated into a portfolio over time may be a more meaningful process.
• Moving toward formative TEs that are shared only with the teacher is being considered in some jurisdictions. 28 Regardless of what data are provided to teachers, TEs should be collected and used as part of a system that includes effective faculty development strategies. 2 
• Merely handing learner feedback to teachers is not an effective way to foster growth. 9

실제 TE 외에도 교수 효과에 대한 보다 완전하고 정보에 입각한 그림을 개발하기 위해 수집할 수 있는 추가 데이터 소스가 있습니다. 

• 예를 들어, 교육 세션에 대한 동료 평가(예: 교육 라운드에 참석한 동료), 정기적인 공식 외부 TE, 학습 결과(측정하기 가장 어렵고 교육 효과의 성배), 포트폴리오, 다른 사람의 360도 평가 등이 모두 교육 효과에 대한 다각적이고 완전한 그림을 그리는 데 기여할 수 있습니다. 34 
• 그러나 새로운 방법이나 프로세스가 단순히 추가 업무가 아니라 실제로 교수진에게 의미 있고 도움이 되는지 확인해야 합니다.

Beyond the actual TEs, there are additional sources of data that could be collected to develop a more fulsome and informed picture of teaching effectiveness.

• For example, near-peer assessments of teaching sessions (such as from colleagues attending teaching rounds), periodic formal external TEs, learning outcomes (the most challenging to measure and holy grail of teaching impact), portfolios, and 360-degree evaluations from others may all contribute to a multi-pixelated, complete picture of teaching effectiveness. 34
• However, we must ensure that any new methods or processes are actually meaningful and helpful for faculty and not just extra work.

마지막으로, 다소 도발적인 제안이지만, 학습자를 'fail to fail'하지 않는 교수진에게 더 큰 인정(어쩌면 상까지)을 제공할 것을 제안합니다. 상당한 시간과 에너지를 들여 어려움에 처한 학습자를 찾아내고, 그 학습자가 더 나은 의사가 될 수 있도록 지원하고, 가르치고, 코치하는 교수진은 우리 모두가 지향해야 할 교육자상입니다. 학습자가 성공하기 위해서는 이러한 지원이 필요하며, 환자를 보호해야 하는 우리의 의무도 이러한 지원을 요구합니다. 
Lastly, and somewhat provocatively, we propose greater recognition (perhaps even an award) for faculty who do not “fail to fail” learners. Those faculty who take the significant time and energy to identify a learner in difficulty and who then support, teach, and coach that individual to become a better doctor are the educators we should all aspire to be. Our learners need this support to succeed, and our obligation to protect our patients demands it.

 

---

Acad Med. 2023 Mar 1;98(3):300-303. doi: 10.1097/ACM.0000000000005006. Epub 2022 Oct 4.

Necessary but Insufficient and Possibly Counterproductive: The Complex Problem of Teaching Evaluations

Shiphra Ginsburg 1, Lynfa Stroud 2

Affiliations collapse

Affiliations

1S. Ginsburg is professor of medicine, Department of Medicine, Sinai Health System and Faculty of Medicine, University of Toronto, and scientist, Wilson Centre for Research in Education, University of Toronto, Toronto, Ontario, Canada, and Canada Research Chair in Health Professions Education; ORCID: http://orcid.org/0000-0002-4595-6650 .

2L. Stroud is associate professor, Department of Medicine and Sunnybrook Health Sciences Centre, and education researcher, Wilson Centre for Research in Education, University of Toronto, Toronto, Ontario, Canada.

PMID: 36538693

DOI: 10.1097/ACM.0000000000005006

Abstract

The evaluation of clinical teachers' performance has long been a subject of research and debate, yet teaching evaluations (TEs) by students remain problematic. Despite their intuitive appeal, there is little evidence that TEs are associated with students' learning in the classroom or clinical setting. TEs are also subject to many forms of bias and are confounded by construct-irrelevant factors, such as the teacher's physical attractiveness or personality. Yet they are used almost exclusively as evaluations of and feedback to teachers. In this commentary, the authors review the literature on what TEs are meant to do, what they actually do in the real world, and their overall impact. The authors also consider productive ways forward. While TEs are certainly necessary to provide the crucial student voice, they are insufficient as the sole way to assess teachers. Further, they are often counterproductive. TEs carry so much weight for faculty that they can act as a disincentive for teachers to challenge learners and provide them with the critical feedback they often need, lest students give them poor ratings. To address these challenges, changes are needed, including embedding TEs in a programmatic assessment framework. For example, TEs might be used for formative feedback only, while other sources of data, such as peer assessments, learning outcomes, 360-degree feedback, and teacher reflections, could be collated into a portfolio to provide a more meaningful evaluation for teachers. Robust, transparent systems should be in place that dictate how TE data are used and to ensure they are not misused. Clinical teachers who do not "fail to fail" learners but instead take the time and effort to identify and support learners in difficulty should be recognized and rewarded. Learners need this support to succeed and the obligation to protect patients demands it.

Copyright © 2022 by the Association of American Medical Colleges.