복잡한 수행능력 평가에서 인지적 영향: 의학과 심리학 사이의 상호작용으로부터의 교훈(Journal of Applied Research in Memory and Cognition, 2018)

복잡한 수행능력 평가에서 인지적 영향: 의학과 심리학 사이의 상호작용으로부터의 교훈(Journal of Applied Research in Memory and Cognition, 2018)
Cognitive Influences on Complex Performance Assessment:Lessons from the Interplay between Medicine and Psychology 

Kevin W. Eva∗

 

의료 서비스의 효율성은 부분적으로 의료진의 역량에 의해 결정됩니다. 이러한 역량을 확보하기 위해 매년 수백만 달러가 사내 평가, 면허 및 인증 시험, 역량 프로그램의 개발 및 운영에 지출되고 있습니다. 이러한 관행의 대부분은 현대 의료 시스템에서 잘 기능하는 데 필요한 다양한 자질을 평가하기보다는 임상의가 알아야 할 내용을 알고 있는지 여부를 테스트하는 협소하게 초점을 맞추고 있습니다. 그러나 적절한 치료가 개별 의료진이 보유한 지식에만 의존하는 것이 아니라는 인식이 점점 더 확산되고 있습니다(Anderson, 2011). 효과적이고 안전하게 진료하려면 의료 전문가는 환자가 자신의 건강 문제를 해결하는 데 적극적으로 참여할 수 있는 다양한 기술에 능숙해야 하며, 다른 의료 전문가, 환자 가족 및 진화하는 기술 지원과의 협력을 촉진해야 합니다(Balogh, Miller, & Ball, 2015). 그러나 개인이 필요한 다양한 역량에 대한 역량을 개발했는지 여부를 판단하는 것은 쉬운 일이 아닙니다. 
The effectiveness of healthcare is determined, in part, by the competence of its practitioners. Assuring such competence results in millions of dollars being spent annually to develop and run intramural assessments, licensing and certification examinations, and maintenance of competence programs. The majority of these practices are narrowly focused, testing whether or not clinicians know what they should know rather than assessing the many qualities required to function well in modern healthcare systems. It is increasingly recognized, however, that adequate care is not solely dependent on the knowledge possessed by individual practitioners (Anderson, 2011). To work effectively and safely, health professionals must be proficient at a wide range of skills that enable patients to become active participants in solving their health concerns while also promoting collaboration with other health professionals, with patients’ families, and with evolving technological supports (Balogh, Miller, & Ball, 2015). Determining whether or not an individual has developed capacity for the various competencies required, however, is no easy matter.

이 점에서 의료계만 특별한 것은 아닙니다. 결과가 중요하고 부정적인 결과가 가혹하기 때문에 의사로 일할 수 있는 사람을 잘못 결정하면 어떤 영향을 미칠지 쉽게 상상할 수 있습니다. 하지만 누구와 친구가 되고 싶은지에 대한 사회적 판단에서부터 고용 제안을 연장하는 것, 국가의 지도자가 될 정치 후보를 선택하는 것까지, 모든 삶의 영역에서 우리는 누가 성공(어떻게 정의되든) 가능성을 최적화하고, 동시에 용납할 수 없는 부정적인 결과의 위험을 최소화할 수 있는 자질의 적절한 균형을 유지하는지에 대한 평가를 내립니다. 때로는 이러한 역량 평가가 옳을 때도 있지만 때로는 끔찍하게 잘못될 수도 있습니다. 이 주제 글에서는 의료 수련생과 전문가에 대한 평가를 예로 들어 복잡한 성과 평가에 대해 알려진 많은 내용과 이를 개선하는 방법을 요약해 보겠습니다. 의학은 이 분야에 대한 연구의 우선순위를 정해온 오랜 역사(Epstein, 2007)가 있을 정도로 그 중요성이 높기 때문에 대부분의 응용 분야에서 수행된 것보다 더 많은 경험적 연구를 산출할 수 있는 풍부한 영역입니다. 이러한 역사는 응용 분야와 학문 분야 간의 상호작용에 대한 흥미로운 사례 연구를 제공하는 방식으로 기초 심리학의 연구를 활용하려는 노력으로 가득 차 있습니다. 이러한 사례를 살펴보기 위해 보건 전문 교육자가 직면한 과제, 해결책을 도출하기 위해 인지 심리학을 적용하여 얻은 통찰력, 그리고 인지 기초 연구에 피드백될 수 있는 과학의 현재 상태와 지속적인 요구 사항에 대한 몇 가지 성찰을 제공할 것입니다. 
In this regard, medicine is not unique. It is easy to imagine the impact of poor decisions about who should be trusted to work as a physician because the outcomes matter and negative results are harsh. In any walk of life though, ranging from social judgments about who we want to befriend, through extending employment offers, to choosing between political candidates who will become our nations’ leaders, we make assessments about who maintains the right balance of qualities that will optimize the likelihood of success (however defined) and minimize the risk of unacceptably negative consequences. Sometimes these assessments of competence are right; sometimes they go horribly wrong. In this target article I will use the assessment of medical trainees and professionals as an example to summarize much of what is known about complex performance assessment and the ways in which it is being improved. Medicine is a rich domain for that purpose because the stakes are high enough that there is a long history of prioritizing research in this area (Epstein, 2007), yielding more empirical study than has been conducted in most applied contexts. That history is rife with efforts to draw upon studies from basic psychology in a way that provides an interesting case study for the interplay between an applied field and an academic discipline. To explore that case, I will provide an overview of the challenges facing health-professional educators, the insights that have been gained from the application of cognitive psychology toward deriving solutions, and some reflections on the current state of the science and ongoing needs that might be fed back into the fundamental study of cognition.

의학 분야의 복잡한 성과 평가
Complex Performance Assessment in Medicine

응급실 진료실에 들어선 레지던트(즉, 수련의)가 영어를 잘 못하는 히스테리에 가까운 엄마가 안고 있는 눈은 시커멓게 충혈되고 이마는 심하게 멍이 든 채 우는 아이를 만났다고 상상해 보세요. 분명히 상당히 효율적으로 해결해야 할 진단 문제가 있습니다: 뼈가 부러지지는 않았는가? 아이의 눈이 손상되었나요? 뇌진탕이나 내부 출혈이 있을 가능성이 있나요? 어떤 진단을 고려해야 하는지, 어떤 검사를 통해 중요한 임상 상태를 배제할 수 있는지, 환자를 치료하기 위해 취해야 할 주요 조치(근본적인 문제가 무엇이든)에 대한 임상의의 지식을 정확하게 평가하는 것은 비교적 간단합니다. 이 시나리오와 같이 매우 간단한 시나리오에서도 의사가 이해해야 할 내용이 많습니다(예: 해부학, 생리학, 위험도, 수행할 수 있는 검사의 예측 가치, 특정 조치를 취했을 때의 비용/편익 등). 그러나 잘 작성된 객관식 또는 단답형 시험은 지식 기반의 강점을 적절히 파악할 수 있습니다(Case & Swanson, 2002). 실제로 일부 상황에서는 의사가 환자를 진찰한 지 10년이 지난 후에도 심장 사망률(Ramsey et al., 1989) 및 기타 중요한 임상 지표(Wenghofer et al., 2009)를 포함한 실제 환자 결과를 예측할 수 있는 것으로 나타났습니다. 

Imagine the medical resident (i.e., senior trainee) who enters an examining room in the emergency department to meet a crying child with a blackened eye and badly bruised forehead who is being held by a nearly hysterical mother who speaks English poorly. Clearly there are diagnostic issues that need to be resolved fairly efficiently: Are any bones broken? Has the child's eye been damaged? Is he likely to be concussed or haemorrhaging internally? Accurately assessing the clinician's knowledge regarding what diagnoses need to be considered, what tests will help rule out important clinical conditions, and what key steps need to be taken to treat the patient (whatever the underlying problem happens to be) is relatively straightforward. There is a lot that needs to be understood by the physician even in a fairly simple scenario such as this one (e.g., anatomy, physiology, risk, the predictive value of tests that could be performed, and the costs/benefits of taking particular actions). Well-written multiple choice or short answer exams, however, can adequately capture the strength of one's knowledge base (Case & Swanson, 2002). In fact, in some circumstances they have been shown capable of predicting real patient outcomes including cardiac mortality rates (Ramsey et al., 1989) and other important clinical measures (Wenghofer et al., 2009) a decade after the physician is examined.

그러나 환아와 그 가족에게 긍정적인 결과를 가져다주는 것은 단순히 진단 라벨을 지정하여 현재 문제를 분류하는 방법을 아는 것의 문제가 아닙니다(Ilgen, Eva, & Regehr, 2016). 

• 환자 및 어머니와 효과적으로 소통할 수 있는 능력을 포함한 대인관계 기술은 환자의 상태와 그 원인을 제대로 이해하는 것뿐만 아니라 어머니가 상황을 완화하여 아이가 필요한 지원을 받고 이해할 수 있도록 하는 데에도 필요합니다(Menichetti, Libreri, Lozza, & Graffigna, 2016). 
• 팀 기반 접근 방식과 이를 실행하는 데 필요한 기술은 이 환자뿐만 아니라 클리닉에 계속 유입되는 다른 문제와 관련하여 이러한 상호 작용을 분류하는 데 필요한 다양한 작업 및 후속 조치 단계를 조정하는 데 필요합니다(Abu-Rish 외., 2012). 
• 부상의 원인을 파악하고 다시 발생할 가능성을 줄이려면 특히 학대가 의심되는 경우 의사의 상당한 주의와 옹호가 필요할 수 있으며, 향후 문제 예방을 위한 조율된 노력을 이끌기 위한 조치를 다시 취해야 합니다(Hubinette, Dobson, & Regehr, 2015). 
• 그리고 이 모든 과정은 모든 의료 전문가에게 기대되는 전문성을 정의하는 데 기여하는 이타주의, 정직성, 다양성에 대한 존중을 보여주면서 이루어져야 합니다(Kelly, Mullan, & Gruppen, 2016).

Enabling a positive outcome for this child and his family, however, is not simply a matter of knowing how to categorize the presenting problem by assigning a diagnostic label (Ilgen, Eva, & Regehr, 2016).

• Interpersonal skills, including the capacity to communicate effectively with the patient and his mother, are required not only to gain a proper understanding of the patient's condition and its cause, but to defuse the situation so the mother can understand and get the child the support he needs (Menichetti, Libreri, Lozza, & Graffigna, 2016).
• A team-based approach and the skills required to enact it are necessary to coordinate the various stages of work-up and follow-up needed not just by this patient, but also for triaging this interaction relative to the other problems that continue to flow into the clinic (Abu-Rish et al., 2012).
• Determining the cause of the injury and reducing the likelihood that it will happen again may require considerable care and advocacy on the part of the physician, especially if abuse is suspected, again with steps taken to lead a coordinated effort toward prevention of future problems (Hubinette, Dobson, & Regehr, 2015).
• And, all of this must be done while demonstrating the altruism, honesty, and respect for diversity that contribute to defining the professionalism expected of all healthcare professionals (Kelly, Mullan, & Gruppen, 2016).

캐나다 왕립 의사 및 외과의 대학에서 설계한 모델로 전 세계 여러 지역에서 의사 교육을 안내하는 데 사용되어 온 CanMEDS 프레임워크의 최신 버전에는 "의사가 의료 서비스를 제공하는 사람들의 의료 요구를 효과적으로 충족하는 데 필요한 능력을 설명"하는 7가지 역할이 나열되어 있습니다: 협력자, 커뮤니케이터, 리더, 건강 옹호자, 의료 전문가, 전문가, 학자(Frank, Snell, & Sherbino, 2015). 이러한 역할은 27개의 "핵심 역량"으로 요약되며, 이는 다시 93개의 "활성화 역량"으로 세분화됩니다. 대부분의 역량을 평가하려면 실제 시나리오에서 의도적인 관찰 노력이 필요하며(Wass, van der Vleuten, Shatzer, & Jones, 2001), 관찰된 행동이 원하는 역량을 어느 정도 대표할 수 있는지에 대한 상당한 추론이 필요합니다(Kogan, Conforti, Bernabeo, Iobst, & Holmboe, 2011). 
In the latest iteration of the CanMEDS framework, a model designed by the Royal College of Physicians and Surgeons of Canada that has been used to guide physician training in many parts of the world, 7 roles are listed that “describe the abilities physicians require to effectively meet the healthcare needs of the people they serve”: Collaborator, Communicator, Leader, Health Advocate, Medical Expert, Professional, and Scholar (Frank, Snell, & Sherbino, 2015). These roles encapsulate 27 “key competencies” that are further subdivided into 93 “enabling competencies.” Assessment of most of them requires deliberate efforts at observation in real-world scenarios (Wass, van der Vleuten, Shatzer, & Jones, 2001) with considerable need for inferences to be drawn regarding the extent to which the behaviour observed is representative of the skillset desired (Kogan, Conforti, Bernabeo, Iobst, & Holmboe, 2011).

대부분의 임상 상황에서는 긍정적인 결과에 이르는 여러 경로가 존재하고(Eva, 2005) 모든 사례에서 경로와 결과 간의 불완전한 상관관계가 존재하기 때문에 이러한 영역에서는 "지상 진실"과 같은 것은 존재하지 않습니다(Zwaan & Singh, 2015);

• 맥락이 행동의 강력한 결정 요인으로 밝혀졌기 때문입니다(Eva, Neville, & Norman, 1998); 그리고
• 역량이 나타내는 복잡한 개념을 "객관적으로" 식별 가능한 행동으로 원자화하려는 노력은 필연적으로 그 개념이 의미하는 본질을 나타내지 못하기 때문입니다(Eva and Hodges, 2012, Whitehead et al. , 2015).

예를 들어, 상대의 눈을 바라보는 것은 훌륭한 의사소통 기술의 구성 요소로 취급되어 왔지만, 그 적절성과 의미는 문화적으로 다양하며(Akechi et al., 2013), 서구 문화권 내에서도 상대방의 눈을 바라보는 방식(예: 공격성, 연민, 지루함 또는 이해)이 중요하며 사람마다 다르게 해석될 수 있습니다(Gingerich, Ramlo, van der Vleuten, Eva, & Regehr, 2017). 실제로 의학 분야의 전문가 성과는 알고리즘에 따른 일련의 행동을 엄격하고 의도적으로 준수하는 것이 특징이 아니라는 사실은 20년 동안 알려져 왔습니다(Norman & Brooks, 1997). 그 결과, 사전 정의된 작업의 완료를 문서화하는 데 사용되는 체크리스트 중심 전략과 비교할 때, 주관적인 성과 등급을 사용하여 의료진을 평가하려는 노력은 신뢰할 수 있으면서도 숙련된 전문가와 수련생을 더 잘 구별할 수 있는 경향이 있습니다(Hodges, Regehr, McNaughton, Tiberius, & Hanson, 1999).

There is no such thing as “ground truth” in such domains because there are multiple pathways to positive outcomes in most clinical situations (Eva, 2005) and an imperfect correlation between pathway and outcome in all cases (Zwaan & Singh, 2015);

• because context has been shown to be a robust determinant of one's behaviour (Eva, Neville, & Norman, 1998); and,
• because efforts to atomize the complex concepts represented by the competencies into “objectively” identifiable behaviours inevitably fail to represent the essence the concepts are meant to signify (Eva and Hodges, 2012, Whitehead et al., 2015).

For example, while looking one in the eye has been treated as a component of good communication skill, the appropriateness and meaning of doing so is culturally variable (Akechi et al., 2013) and, even within Western cultures, the way in which one looks another in the eye (e.g., with aggression, with compassion, with boredom, or with understanding) matters and can be interpreted differently by different people (Gingerich, Ramlo, van der Vleuten, Eva, & Regehr, 2017). In fact, it has been known for two decades that expert performance in medicine is not characterized by strict and deliberate adherence to an algorithmic set of actions (Norman & Brooks, 1997). As a result, when compared to checklist-driven strategies used to document completion of pre-defined tasks, efforts to assess medical practitioners using subjective ratings of performance tend to be just as reliable, yet better able to differentiate trainees from experienced professionals (Hodges, Regehr, McNaughton, Tiberius, & Hanson, 1999).

이러한 모든 이유(무엇보다도)로 인해 의학 분야의 성과 평가는 개인의 판단에 크게 의존합니다(Kogan & Holmboe, 2013). 판단의 근거가 되는 관찰 자료는 시뮬레이션 환경이나 직장에서 수집할 수 있습니다. 실시간으로 수집하거나 평가 대상자에게 이전에 노출된 적이 있는 개인을 대상으로 한 설문조사를 기반으로 수집할 수도 있습니다. 임상 교육자, 실습 동료 또는 환자가 제공할 수도 있습니다. 그러나 모든 경우에서 개인의 역량을 표현하기 위해서는 개인이 인식한 것을 번역해야 합니다(Williams, Klamen, & McGaghie, 2003). 평가 과정의 적절성은 일반적으로 주장의 진실성을 검증하여 결정할 수 없기 때문에 의료계는 효용성utility의 구성에 기반하여 사례를 만드는 데 의존하고 있습니다(van der Vleuten & Schuwirth, 2005). 이 영역에서 효용성은 일반적으로 평가 과정의 실현 가능성, 수용 가능성, 신뢰성, 타당성 및 교육적 영향의 조합으로 해석되어 왔습니다. 예를 들어, 신뢰성의 향상은 일반적으로 타당성에 영향을 미치지 않으면서도 타당성의 저하를 동반하기 때문에 이러한 기능은 서로 상응하지 않는 경우가 많습니다(Eva, 2009). 이 백서에서는 이러한 실제적인 현실을 제쳐두고 이 문제에 인지적 렌즈를 적용하여 평가자 기반 평가를 개선하기 위한 노력에서 배운 내용에만 초점을 맞출 것입니다. 예를 들어, 사회문화 이론가들은 평가 대상, 방법, 이유에 대해 완전히 다른 인식론적 질문을 제기할 수 있다는 점을 고려할 때, 인지적 관점만이 이 문제와 관련된 유일한 관점은 아닙니다. 하지만 개인에게 복잡한 퍼포먼스의 강도에 대한 판단을 요구하는 데 내재된 인지적 문제 자체가 충분히 중요하고 흥미로우며 도전적이기 때문에 지금은 그러한 질문은 한쪽으로 치워두겠습니다.  
For all these reasons (among others) performance assessment in medicine is heavily dependent on the judgment of individuals (Kogan & Holmboe, 2013). Observations on which judgments are made might be collected in simulated settings or in the workplace. They might be collected in real time or based on surveys of individuals who have had previous exposure to the individual being assessed. They might be provided by clinical educators, practicing colleagues, or patients. In all instances, however, they require the translation of what one perceives into a representation of the individual's competence (Williams, Klamen, & McGaghie, 2003). Because the adequacy of the assessment process cannot commonly be determined by verifying the veracity of any claims made, the medical profession is reliant on making a case based on the construct of utility (van der Vleuten & Schuwirth, 2005). In this domain, utility has generally been interpreted as a combination of the feasibility, acceptability, reliability, validity, and educational impact of the assessment process. These features are not often commensurate with one another as improvements in reliability, for example, are generally accompanied by declines in feasibility without necessarily impacting upon validity (Eva, 2009). For the purpose of this paper, we will set aside such practical realities and focus exclusively on what has been learned in efforts to improve rater-based assessments by applying a cognitive lens to this problem. This is not the only lens that is relevant given that socio-cultural theorists, for example, would raise entirely different epistemological questions regarding what is being assessed, how, and why. For now though such questions will be set to the side because the cognitive issues inherent in asking individuals to offer judgment on the strength of complex performances are themselves sufficiently important, interesting, and challenging.

평가자 기반 평가의 가치에 의문을 제기하는 지속적인 문제는 신중하게 통제된 자극(예: 환자와의 의료적 상호작용을 비디오로 녹화한 것)조차도 동등한 자격과 훈련을 받은 개인으로부터 매우 다양한 평가를 이끌어내는 경향이 있다는 것입니다(Cook 외., 2010, Downing, 2005, Margolis 외., 2006). 실제로 똑같은 자극에 대한 평가가 9점 척도에서 6점 차이가 나는 것은 흔한 일이며, 그 결과 평가자에 따라 합격-불합격 결정이 일관되지 않게 내려집니다(Holmboe, Huot, Chung, Norcini, & Hawkins, 2003). 긍정적 왜곡, 후광 효과, 극단값 회피와 같은 평가 편향이 일반적이며, 성과가 해석될 수 있는 방식에 대한 내재적 모호성은 일반적으로 인식되지 않습니다(Haber and Avins, 1994, Herbers 등, 1989, Kalet 등, 1992, LaMantia 등, 1999, Lurie 등, 2009). 이러한 문제를 개선하려는 노력은 크게 두 가지 범주 중 하나로 나뉘는데, 두 가지 모두 평가자의 개인적인 경험과 인식에 대한 의존도를 제한하거나 줄이는 평가자 기반 평가 프로토콜을 구축하려는 의도적인 시도에 해당합니다. 즉, 모든 평가자가 인정하지 않는 의료진의 성과에 대한 객관적인 현실이 있다는 가정에서 출발합니다.
A persistent problem that calls into question the value of rater-based assessments is that even carefully controlled stimuli (e.g., video-recorded renditions of a medical interaction with a patient) tend to elicit highly variable ratings from equally qualified and trained individuals (Cook et al., 2010, Downing, 2005, Margolis et al., 2006). It is commonplace, in fact, for ratings of the exact same stimulus to reveal a 6-point variation on a 9-point scale, resulting in inconsistent pass–fail decisions that are highly dependent on the assessors consulted (Holmboe, Huot, Chung, Norcini, & Hawkins, 2003). Rating biases such as positive skew, halo effects, and end aversion are common and the inherent ambiguity regarding the ways in which a performance could be interpreted generally goes unrecognized (Haber and Avins, 1994, Herbers et al., 1989, Kalet et al., 1992, LaMantia et al., 1999, Lurie et al., 2009). Efforts to ameliorate these problems have broadly fallen into one of the two categories, both of which amount to deliberate attempts to build rater-based assessment protocols that constrain or reduce dependency on the personal experience and perceptions of the raters. That is, they derive from the assumption that there is an objective reality to the quality of a medical practitioner's performance that simply is not recognized by all raters.

이러한 노력의 첫 번째는 평가자를 교육하여 조직의 표준과 정의에 대한 이해를 높임으로써 관찰된 성과에 대한 자신의 해석을 극복할 수 있도록 노력하는 것입니다(Kogan, Conforti, Bernabeo, Iobst, & Holmboe, 2015). 이 전략은 대체로 성공적이지 못했습니다(Cook, Dupras, Beckman, Thomas, & Pankratz, 2009). 평가자 교육은 때때로 평가자의 엄격성을 증가시키지만, 일반적으로 평가자 간 신뢰도에는 뚜렷한 영향을 미치지 않습니다(Holmboe, Hawkins, & Huot, 2004). 또한, 평가자의 임상 경험이 많을수록 평가자로서의 수행이 잘 바뀌지 않는 경향이 있습니다(Eva, 2001). 평가자는 평가자와 같은 방식으로 과제를 수행하는 사람에게 더 높은 평가를 내리는 것으로 알려져 있는데(Kogan, Hess, Conforti, & Holmboe, 2010), 이는 앞서 언급했듯이 이러한 맥락에서 적절하고 의미 있는 많은 시나리오의 경우 단일 전략이 진정한 표준이 되지 않고 좋은 치료를 위한 여러 경로가 있기 때문에 문제가 될 수 있습니다. 
The first such effort involves training raters, striving to help them overcome their own interpretations of the performances observed by improving their understanding of the organization's standards and definitions (Kogan, Conforti, Bernabeo, Iobst, & Holmboe, 2015). This strategy has largely been unsuccessful (Cook, Dupras, Beckman, Thomas, & Pankratz, 2009). Rater training sometimes increases rater stringency, but does not typically have a discernible influence on inter-rater reliability (Holmboe, Hawkins, & Huot, 2004). Further, the more clinical experience a rater has the less malleable their performance as a rater tends to be (Eva, 2001). Raters are known to give higher ratings to others who engage with the observed task in the same way the rater would (Kogan, Hess, Conforti, & Holmboe, 2010), which is problematic because (as alluded to earlier) for many of the scenarios that are relevant and meaningful in this context there are multiple pathways to good care without any single strategy being a true gold standard.

두 번째 노력은 응답 옵션의 수를 줄이거나(예/아니오 체크리스트의 극단적인 경우) 평가자가 평가해야 하는 행동의 수와 구체성을 늘려 평가자가 사용하도록 요청하는 평가 척도를 조정하거나 확장하는 것입니다. 다시 말하지만, 이러한 전략의 궁극적인 목표는 평가자의 인식에 존재하는 특이성을 극복하는 것입니다. 다시 말하지만, 이러한 전략은 대체로 성공적이지 못했습니다(Cook and Beckman, 2009, Donato et al., 2008). 포괄적인comprehensive 평가 도구를 생성하려는 노력은 특정 질문과 관련된 샘플링 오류를 줄임으로써 수집된 평가의 내적 일관성을 높일 수 있습니다. 그러나 척도를 완성하는 것이 너무 부담스러워 평가자가 직접 관찰보다는 기억에 의존하는 경우가 많기 때문에 이러한 이점이 약화되는 경향이 있습니다(Eva et al., 2007). 또한, 이러한 척도는 행동의 개별적인 측면이 특정 평가자에게 특히 두드러지게 나타나는 특이성을 줄이는 데 아무런 도움이 되지 않으며(Yeates, O'Neill, Mann, & Eva, 2013), 동시에 과제의 인지적 난이도를 증가시킵니다(Tavares & Eva, 2013).
The second effort involves tweaking or expanding the rating scales that assessors are asked to use by reducing the number of response options (to the extreme of a yes/no checklist) or increasing the number and specificity of the behaviours raters are asked to assess. Again, the ultimate goal of such strategies is to overcome idiosyncrasies present in raters’ perceptions. Again, such strategies have largely been unsuccessful (Cook and Beckman, 2009, Donato et al., 2008). Efforts to generate comprehensive rating instruments can enable increasing degrees of internal consistency in the ratings collected by reducing the sampling error related to asking particular questions. That benefit tends to be undermined though because completion of the scale becomes so burdensome that raters increasingly depend on their memory (often over long periods) rather than direct observation (Eva et al., 2007). Further, such scales do nothing to reduce the idiosyncrasy with which individual aspects of behaviour appear particularly salient to particular raters (Yeates, O’Neill, Mann, & Eva, 2013) while simultaneously increasing the cognitive difficulty of the task (Tavares & Eva, 2013).

종합하면, 이 영역의 증거 기반은 복잡한 수행 평가에는 의사 또는 수련의의 기술을 측정하는 것이 [관찰 대상의 수행]보다 [평가자의 관점]에 대한 더 나은 통찰력을 제공할 수 있는 상당한 위험이 수반된다는 것을 시사합니다. 극단적인 사례로, 기존의 패널 기반 의과대학 입학 면접에서 부여된 점수 차이의 거의 60%가 면접관 간의 차이에 기인하는 것으로 밝혀졌습니다(Harasym, Woloschuk, Mandin, & Brundin-Mather, 1996). 즉, 지원자 자체의 기술이나 자질보다는 누가 특정 지원자를 면접하도록 배정되었는지에 따라 입학 여부가 결정되었는데, 이러한 상황은 고위험 상황에서는 명백히 비윤리적이라고 할 수 있습니다(Norman, 2004). 
Taken together, the evidence base in this domain suggests that complex performance assessment carries with it considerable risk that measurement of a physician's or trainee's skill provides better insight into the perspective of the rater than it does into the performance of the observed. In one extreme case, nearly 60% of the variance in scores assigned during traditional panel-based medical school admissions interviews was found to be attributable to differences between interviewers (Harasym, Woloschuk, Mandin, & Brundin-Mather, 1996). In other words, who gained entry to the school was driven by who happened to be assigned to interview a given candidate moreso than by the skill or qualities of the candidates themselves, a situation that is plainly unethical in high-stakes contexts (Norman, 2004).

다행히도 인지 심리학의 원리를 적용하여 의학 분야에서 평가자 기반 평가를 개선하는 방향으로 일부 진전이 이루어지고 있습니다. 의학은 이러한 원리를 적용할 수 있는 풍부한 영역을 제공하지만, 이러한 원리는 복잡한 성과 평가의 모든 영역에 적용될 수 있습니다. 따라서 다음과 같이 인지심리학의 적용을 통해 의학교육이 얻은 교훈을 요약한 이유는 JARMAC 독자들이 의료행위에 특별히 관심이 있다고 가정하기 때문이 아니라, 의사에 대한 평가가

• (a) 다양한 맥락에서 복잡한 수행평가에 정보를 제공할 수 있는 사례 연구를 제공하고,
• (b) 인지를 통해 다루면 좋을 미해결 문제에 대한 지침을 제공하며,
• (c) 참가자가 제한된 실제 환경에서 심리적 과정을 조사하려고 할 때 양보해야 하는 점을 강조함으로써 수행의 어려움에 대한 통찰을 제공하기 때문입니다.

후자의 문제와 관련하여 원하는 모든 데이터에 액세스할 수 있는 경우는 거의 없습니다. 의학 교육 참가자는 그 수가 제한되어 있고 모집하는 데 많은 비용이 듭니다. 따라서 이러한 상황에서 이러한 문제를 현명하게 연구하려면 경험적 데이터, 이론, 논리, 삼각측량, 추론의 조합이 필요합니다. 이는 응용 현상을 이해하기 위해 인지심리학 같은 핵심 학문의 가치를 강조하는 동시에, 이러한 학문의 이론적, 실험실 기반 연구를 현실 세계와 관련이 있고 의미 있는 관찰과 사례에 근거하는 것의 가치를 강조하는 것이기도 합니다. 

Fortunately, some headway is being made toward improving rater-based assessment in medicine through the application of principles from cognitive psychology. While medicine provides a rich domain for such application, those principles are likely pertinent to any area of complex performance assessment. As such, we offer the following summary of the lessons learned by medical education from the application of cognitive psychology not because we assume readers of JARMAC care specifically about medical practice, but because the assessment of physicians offers a case study that can

• (a) inform complex performance assessment in various contexts,
• (b) provide guidance on unresolved challenges that would do well to be taken up by cognition, and
• (c) offer insight into the challenges of doing that by highlighting the concessions that need to be made when trying to examine psychological processes in real-world environments with limited supplies of participants.

With respect to the latter issue, few and far between are the cases when one can have access to all the data one might desire. Participants in medical education are limited in number and expensive to recruit. As a result, sensibly studying these issues in these contexts requires a combination of reasoning from empirical data, theory, logic, triangulation, and parsimony. This simultaneously reinforces the value of having a core discipline like cognitive psychology on which to draw to understand applied phenomena and emphasizes the value of grounding theoretical, lab-based studies from such disciplines in observations and practices that are relevant in and meaningful to the real world.

의학교육과 심리학의 상호 작용에서 얻은 교훈
Lessons Derived from the Interplay Between Medical Education and Psychology

기본적으로 임상 환경에서 임상의의 성과에 대한 결정을 내리는 것은 여러 가지 속성을 고려해야 하는 다중 속성 선택 작업으로, 판단자는 매우 산만한 환경에서 불완전한 정보와 함께 항상 일치하지 않는 여러 측면의 역량을 고려해야 합니다. 즉, Simon(1956)이 제시한 만족satisficing의 개념에 따라 휴리스틱과 유사성 기반 추론에 의존하도록 유도하는 완벽한 레시피입니다. 평가자가 아무리 신중하고 성실하게 앞에 놓인 과제에 참여하려고 노력하더라도 합리적으로 추론하는 능력은 시간, 정신 능력 및 문제를 통제할 수 있는 정도에 의해 제한된다는 점에서 합리성은 불가피하게 "한계"를 가질 수밖에 없습니다(Gigerenzer & Selten, 2002). 
Fundamentally, making a decision about a clinician's performance in a clinical setting is a multi-attribute choice task, in which the judge has to consider many aspects of competence that do not always align, in a highly distracting environment, with incomplete information. In other words, it is a perfect recipe to induce reliance on heuristics and similarity-based reasoning as per Simon's (1956) notion of satisficing; regardless of how deliberately and conscientiously assessors strive to engage with the task before them, their rationality is inevitably “bounded” in that the capacity to reason rationally is limited by time, mental capacity, and the extent to which the problem can be controlled (Gigerenzer & Selten, 2002).

지난 섹션에서 시작했던 응급실에서 우는 아이의 시나리오와 관련하여 이러한 요소를 고려해 보세요. 그러나 이제 레지던트 앞에 놓인 임상 과제를 상상하는 대신, 레지던트의 성과를 관찰하고 문서화하며 개선을 촉진할 책임이 있는 감독 의사가 앞에 놓인 과제를 상상해 보십시오. 그녀는 환자의 치료를 궁극적으로 책임진다는 점에서 레지던트와 동일한 과제를 안고 있습니다(더 큰 시간 압박을 느낄 수도 있습니다). 그러나 레지던트가 해당 수련 단계의 레지던트에게 기대되는 모든 역량을 충족하고 있는지 여부도 고려해야 합니다. 보다 제약된(즉, 시뮬레이션된) 환경에서도 이 작업은 지각 능력, 주의력, 작업 기억에 상당한 스트레스를 주는 매우 까다로운 작업으로, 많은 정보를 사용할 수 있고 해석을 고려해야 한다는 단순한 사실 때문에(Byrne, Tweed, & Halligan, 2014), 지각 능력과 주의력, 작업 기억에 상당한 부담을 줍니다. 취급용이성tractability 측면에서 볼 때, 개별 임상의의 경험과 특이한 환자 시나리오가 상호 작용하여 행동을 결정하는 무수한 방식으로 인해, 임상의의 효과 판단을 [쉽게 통제할 수 있는 문제]로 의미 있게 취급하는 것은 불가능합니다. 
Consider these factors in relation to the scenario of a crying child in the emergency department that began the last section. Now, however, instead of imagining the clinical task put before the resident, imagine the task put before the supervising physician who is responsible for observing, documenting, and facilitating the improvement of the resident's performance. She has all the same challenges as the resident given that she is ultimately responsible for the patient's care (and may feel even greater time pressures). In addition, however, she also needs to consider whether the resident is meeting all of the competencies expected of someone at that level of training. Even in a more constrained (i.e., simulated) environment, this is an incredibly demanding task that places considerable stress on one's perceptual abilities, attentional capacity, and working memory (Byrne, Tweed, & Halligan, 2014) by virtue of the simple fact that there is a lot of information available and many interpretations to be weighed. In terms of tractability, the countless ways in which individual clinicians’ experiences and idiosyncratic patient scenarios interact to determine behaviour make it impossible to meaningfully treat the judgment of a clinician's effectiveness as an easily controlled problem.

따라서 평가자의 사고 과정에 대한 통찰력을 제공하기 위해 작성된 연구 논문에서 의학교육 연구자들이 평가자가 가용성 휴리스틱, 확증 편향, 프레이밍 효과 등에 매우 취약한 정보 처리 모델을 사용하여 평가자의 과제를 일상적으로 구성하도록 유도하는 것은 놀라운 일이 아닙니다(Gauthier, St-Onge, & Tavares, 2016). 이 섹션에서는 교육 설계자가 이러한 근본적인 인지 과정을 극복하기 위해 급류에 휩쓸리지 않고 이를 수용하려는 노력을 통해 수행 평가의 관행을 개선할 수 있는 방법에 대한 구체적인 통찰을 제공한 몇 가지 연구 사례를 소개합니다. 

As a result, it should come as no surprise that research articles written to offer insight into the thought processes of raters have led medical education researchers to routinely frame the rater's task using information processing models within which assessors are highly susceptible to availability heuristics, confirmation bias, framing effects, and so on (Gauthier, St-Onge, & Tavares, 2016). In this section we offer a few examples of research that has provided particular insights into how educational designers might improve the practice of performance assessment through efforts to accommodate such fundamental cognitive processes rather than swimming upstream with the goal of overcoming them.

평가에 인지를 맞추는 것이 아니라 인지에 평가를 맞추기
Matching Assessment to Cognition Rather than Cognition to Assessment

평가자 기반 평가를 제한적 합리성의 관점에서 생각하면 평가자 교육, 보다 포괄적인 평가 양식 개발, 객관성을 위한 노력 등을 통해 평가 관행을 개선하려는 노력이 왜 제한적인 이점을 가져올 수밖에 없는지(또는 아예 실패할 수밖에 없는지) 밝히는 데 도움이 됩니다. 우리는 다음과 같은 주장이 심리학의 기본 법칙에 가장 근접한 것이라고 생각합니다: 주의력은 유한하고, 지각은 기대의 영향을 받으며, 기억은 제한적이고, 판단은 상대적이다. 의학에서 성과 평가를 제공하기 위해 활용해야 하는 대규모 인구에서 이러한 원칙을 뒤집거나 극복하려는 것은 어리석은 일입니다. 의사 결정이 복잡할수록 이러한 법칙의 역할은 더욱 두드러질 것이며, 아무리 많은 평가자 교육을 받아도 다음의 사실은 변하지 않을 것입니다.

• 의학 분야의 성과는 다면적이고
• 역량은 다양한 방식으로 나타나며
• 특정 행동의 근간이 되는 원동력에 대한 추론을 도출해야 한다 

[주의해야 할 행동의 목록을 더 객관적이고, 더 길고, 더 세밀하게 원자화하여 제시하는 것]은 위에서 언급한 심리 법칙을 그대로 두고 있을 뿐만 아니라, 주의력을 더 많이 분산시키고 기억을 압도하는 역효과를 초래할 수 있습니다.
Thinking of rater-based assessment in terms of bounded rationality helps shine light on why efforts to improve assessment practices through rater training, by developing more comprehensive rating forms, or by striving for objectivity are destined to produce limited benefits (or fail altogether). We consider the following claims to be as close as one can come to stating fundamental laws in psychology: Attention is finite, perception is influenced by expectations, memory is limited, and judgment is relative. Hoping to reverse or overcome such principles in the large population that must be drawn upon to provide performance assessment in medicine is a fool's task. The more complex the decision made the more prominent a role these laws will play, and no amount of rater training will change the fact

• that performance in medicine is multifaceted,
• that competence presents itself in many ways, and
• that inferences regarding the driving forces underlying particular behaviours must be drawn.

Offering a more objective, longer, or more carefully atomized list of behaviours to watch for will not only leave the above-stated psychological laws untouched, but may be counterproductive by virtue of dividing attention and overwhelming memory to an even greater extent.

그렇다면 평가자의 인지에 대한 주의를 기울이는 것이 복잡한 성과 평가를 수행하는 능력을 향상시키는 데 어떻게 사용될 수 있는지 이해하는 데 있어 어떤 시사점을 얻을 수 있을까요? 인간 인지의 다른 영역에서와 마찬가지로, 성과 평가자에게도 타불라 라사가 존재하지 않는다는 점을 고려할 때, 이 영역의 혁신은 지각과 학습이 우리가 이미 알고 있는 것을 기반으로 구축된다는 점을 고려해야 합니다. 이러한 구성주의 모델을 효과적으로 적용하여 성과 평가를 개선하려면 해당 활동에 참여한 사람들의 생생한 경험을 고려해야 합니다. 즉, 평가자의 선입견과 일치하지 않는 세계관을 강요하기보다는, 평가자가 있는 곳에서 평가자를 만나면 평가 프로세스에 도움이 될 수 있습니다. 
Where does this leave us in terms of understanding how attention to raters’ cognition might be used to improve their capacity to provide complex performance assessments? Given that the tabula rasa does not exist for performance assessors any more than it does in other realms of human cognition, innovations in this domain must take into account that perceptions and learning are built upon what we already know. Effectively applying such a constructionist model to improve performance assessment demands that we consider the lived experience of those who have been involved in that activity. That is, our assessment processes stand to benefit if we meet assessors where they are rather than trying to force a worldview on them that is inconsistent with their preconceptions.

이를 위해 연구자들은 일련의 연구를 통해 수퍼바이저가 수련생 성과에 대한 인식의 핵심에 '신뢰성'이 있다는 설득력 있는 주장을 펼쳤다는 점에 주목할 필요가 있습니다(Hauer 외., 2015, ten Cate, 2006). 임상 수퍼바이저를 대상으로 열등, 평균, 우수 레지던트에게서 관찰한 특징에 대해 말하게 하기 위해 인터뷰를 진행한 긴스버그, 맥일로이, 울라노바, 에바, 레거(2010)는 언급된 많은 행동이나 활동이 공식적으로 확립된 역량 프레임워크와 상당히 잘 일치하지만, '역량'이라는 라벨을 붙이기는 어려운 요소의 영향이 강한 것으로 보인다는 결론을 내렸습니다. 예를 들어, 수퍼바이저들은 수련생이 독립성과 임상적 정교함을 보여준 정도와 수련생이 수퍼바이저의 업무를 더 쉽게 만든 정도에 대해 일상적으로 이야기했습니다. 또한, 각 행동의 해석이 다른 행동과의 관계에 어느 정도 영향을 받는다는 점을 고려할 때, 관찰된 긍정적 행동과 부정적 행동을 단순히 합산하는 것만으로는 능력에 대한 판단이 자연스럽게 도출되지 않음을 시사하는 미묘한 뉘앙스가 응답에 드러났습니다(Ginsburg, Regehr, Lingard, & Eva, 2015). 실제로 '강하다' 또는 '견고하다'와 같이 단순해 보이는 형용사가 어떻게 해석되는지는 표현되는 문맥에 따라 달라집니다(Ma, Min, Neville, & Eva, 2013). 
To this end, it is important to note that a series of studies have led researchers to make compelling claims that “entrustability” is at the heart of supervisors’ perceptions of trainee performance (Hauer et al., 2015, ten Cate, 2006). Interviewing clinical supervisors in an effort to get them to speak about the characteristics they observed in poor, average, or good medical residents led Ginsburg, McIlroy, Oulanova, Eva, and Regehr (2010) to conclude that, while a number of behaviours or activities that were mentioned aligned reasonably well with formally established competency frameworks, there appeared to be a strong influence of things that one would be hard pressed to force into a “competency” label. For example, supervisors spoke routinely of the extent to which the trainee demonstrated independence and clinical sophistication, as well as the degree to which the trainee made the supervisor's job easier. Further, their responses revealed a degree of nuance that suggested naturally generated judgments of ability did not derive simply from summing the positive and negative behaviours observed given that the interpretation of each behaviour was to some extent influenced by its relation to other behaviours (Ginsburg, Regehr, Lingard, & Eva, 2015). Indeed, how seemingly simple adjectives like “strong” or “solid” are interpreted is dependent on the context in which they are expressed (Ma, Min, Neville, & Eva, 2013).

이러한 관찰은 단순히 평가자 기반 평가가 오류 가능성이 있다는 또 다른 증거로 사용될 수 있지만, 특히 Crossley, Johnson, Booth, Wade(2011)는 보다 낙관적이고 발전적인 전망을 유지해야 하는 이유를 입증했습니다. 이들은 이 문헌을 사용하여 평가자가 고려하도록 요청받은 평가 척도를 교육생의 성과에 대한 인식을 나타낼 때 자연스럽게 생각하는 특성과 더 잘 일치시킴으로써 평가의 유용성을 개선할 수 있는지 여부에 대해 질문했습니다. 즉, 평가자에게 다른 구성 요소의 정의를 내면화하도록 요구하기보다는, 평가자가 중요하게 생각하는 구성 요소와 평가 척도를 일치시키기 위해 노력했습니다. 보다 구체적으로, 이들은 일련의 평가 척도에 제시된 형용사를 '기대 충족'과 같은 형식적이고 추상적인 역량 기반 서술어에서, 훈련생이 보여준 독립성과 정교함의 정도를 나타내는 구조에 부합하는 서술어로 수정했습니다. 이렇게 함으로써 여러 평가 전략에 걸쳐 신뢰도가 향상되었으며, 이러한 결과는 최근 프로그램 평가 영역에서도 재현되고 있습니다(Rusticus, Eva, & Peterson, 언론 발표). 물론 이러한 관찰은 의견의 특이성이 어디에서 비롯되는지에 대한 근본적인 의문을 여전히 남깁니다. 
While these observations could be used simply as another indication that rater-based assessment is fallible, Crossley, Johnson, Booth, and Wade (2011) in particular have demonstrated reasons to maintain a more optimistic and generative outlook. They used this literature to question whether or not the utility of ratings could be improved by better aligning the rating scales assessors were asked to consider with the characteristics they indicated naturally thinking about when indicating their perceptions of trainees’ performance. In other words, they made an effort to bring the rating scales in line with the constructs considered important to raters rather than asking raters to internalize the definitions of other constructs. More specifically, they modified the adjectives presented on a series of rating scales away from formal and abstract competency-based descriptors such as “meeting expectations” to construct-aligned descriptors that indicated the degree of independence and sophistication the trainee demonstrated. Doing so resulted, across a number of assessment strategies, in improved reliability, a finding that has recently been replicated in the realm of program evaluation (Rusticus, Eva, & Peterson, in press). These observations of course still leave alive the fundamental question of whence does idiosyncrasy of opinion derive?

과거 경험과 판단의 상대성이 평가자의 특이성을 만드는 방법
How Past Experience and the Relativity of Judgment Create Rater Idiosyncrasy

평가자가 자신의 평가에서 두드러진 특징이라고 주장하는 구조에 맞춰 평가 프로토콜을 구축하면 개선 효과가 있는 것처럼 보이지만, 평가자 간 신뢰도는 여전히 불완전합니다. 비디오로 녹화된 하나의 수행능력에에 주의를 기울였다고 주장하는 두 사람이 공연자가 환자와 눈을 마주치는 것과 같은 간단한 행동을 했는지 여부에 대해 근본적으로 다른 관점을 가질 수 있는 이유는 무엇일까요? 평가자의 특이성이 발생하는 다양한 메커니즘을 직접적으로 이해하기 위한 몇 안 되는 연구 중 하나인 Yeates 등(2013)은 평가자의 판단이 기본적인 인지적 힘과 개인의 이전 경험 간의 상호 작용에 의해 좌우된다는 것을 시사하는 데이터 패턴을 보고했습니다. 연구진은 후배 의사가 환자의 병력을 받는 임상 수행을 비디오로 녹화한 후, 평가자에게 각 의사의 역량에 대한 인상을 공식화하면서 큰 소리로 생각하도록 요청했습니다. 작성된 문장을 주제별로 분석한 결과, (이전 연구를 반복한) 평가의 다양성은 다음 때문에 발생하는 것으로 나타났습니다. 

• (a) 평가자가 수행의 서로 다른 측면에 주목하고(차별적 중요도),
• (b) 평가자가 수행을 판단하는 데 가장 중요한 기준에 대해 다른 인상을 가지고 있으며(기준 불확실성),
• (c) 평가자가 이러한 독특한 관점을 사용하여 개인의 수행에 대한 전체적인 인상을 형성함(정보 통합) 

While building rating protocols to align with the constructs that assessors claim to be prominent in their assessments appears to offer improvement, inter-rater reliabilities remain imperfect. How is it possible that two people, who both claim and appear to be paying attention to a single video-recorded performance, come to fundamentally different perspectives on whether or not the performer did something as straightforward as making eye contact with the patient? In one of the few studies aimed directly at understanding the various mechanisms whereby rater idiosyncrasy arises, Yeates et al. (2013) reported patterns of data that suggest raters’ judgments are driven by the interaction between basic cognitive forces and personal previous experiences. Upon presenting video-recorded representations of clinical performances involving junior doctors taking a history from a patient, they asked assessors to think aloud as they formulated their impressions of each physician's competencies. Thematic analysis of the statements made suggested that the variability of ratings (which replicated previous work) arose due to

• (a) assessors attending to different aspects of performance (differential salience),
• (b) assessors having different impressions of the criteria that were most important for judging performance (criterion uncertainty), and
• (c) assessors forming global impressions of the individual's performance using these unique perspectives (information integration).

즉, 평가자는 고려해야 할 성과에 대한 각 측면에 대해 쉽게 등급을 매기지만, 전체적인 인상은 관찰된 행동의 일부에 초점을 맞춘 독특한 관점에 의해 현저하게 좌우되는 것으로 보입니다. 중요한 것은 평가자의 다양한 인상을 좌우하는 관점의 특이성이 평가자와 그들이 관찰한 다른 수련의/의사 간의 이전 만남의 강도와 두드러짐의 차이에서 비롯되었다는 강력한 징후가 있었다는 점입니다. 이러한 결과를 종합하면, 관찰한 내용이 서로 다른 방식으로 의사의 성과에 대한 판단으로 변환되더라도 똑같이 정확할 수 있기 때문에 인상의 다양성이 반드시 일부 평가자의 '옳음'과 일부 평가자의 '틀림'에 기인한 것은 아니라는 점을 시사합니다(Gingerich et al., 2017).
In other words, while assessors readily provide ratings to each aspect of performance they are asked to consider, their overall impressions appear to be driven markedly by an idiosyncratically focused upon subset of the behaviours observed. Importantly, there were strong indications that the idiosyncrasies of perspective that drove raters’ variable impressions arose from differences in the strength and salience of previous encounters between the assessors and other trainees/physicians they had observed. Taken together, these findings suggest that the variability in impression was not necessarily driven by some raters being “right” and some being “wrong” because the observations made could be equally accurate even though they were translated into judgments of physician performance in different ways (Gingerich et al., 2017).

평가자는 일반적으로 다른 사람이 자신과 현저하게 다른 인상을 형성할 수 있다는 사실을 인식하지 못하기 때문에 복잡한 성과를 평가할 때 발생할 수 있는 측정의 어려움을 이해하기가 어렵습니다. 다시 말하지만, 이는 지식의 저주(타인이 우리와 동일한 배경 지식과 정보를 가지고 있다고 가정함으로써 파생되는 타인의 관점을 고려하는 데 내재된 어려움; Camerer, Loewenstein, & Weber, 1989)의 예를 제공하므로 광범위하게 적용할 수 있는 인지적 현상을 나타냅니다. 대부분의 임상의들은 (일화적으로) 관찰된 자극의 모호성 가능성을 인식할 수 있는 어떤 흔들림도 없이 어떤 훈련생이 문제가 될 가능성이 있는지 몇 분 안에 안다고 말할 것입니다. 이러한 맥락에서 판단이 필요한 영역에서 직관적 전문성을 발휘할 수 있는 조건으로 카네만과 클라인(2009)이 제시한 조건이 거의 충족되지 않는다는 점을 고려하면 이러한 인상이 착각일 수 있다는 점을 놓치기 쉽습니다. 직관적 판단이 진정으로 숙련되려면 다음과 같아야 한다고 주장합니다

• 환경이 상황의 본질에 대해 적절하게 유효한 단서를 제공하고
• 사람들이 관련 단서를 학습할 수 있는 기회를 가져야 한다. 

Assessors are not generally aware that others can form such markedly different impressions from the ones they possess, making it hard to understand the measurement difficulties that can arise when trying to assess complex performances. Again, this is indicative of a broadly applicable cognitive phenomenon as it offers an example of the curse of knowledge (the difficulty inherent in considering the perspective of others derived from presumptions they have the same background knowledge and information that we possess; Camerer, Loewenstein, & Weber, 1989). Most clinicians (anecdotally) will tell you that they know within minutes which trainees are likely to be problematic without any vacillation that would suggest recognition of the potential for ambiguity in the stimulus observed. It is easy in this context to miss that such impressions can be illusory given that the conditions outlined by Kahneman and Klein (2009) as enabling intuitive expertise in domains requiring judgment are rarely met. For intuitive judgment to be genuinely skilled, they argue,

• the environment must provide adequately valid cues to the nature of the situation and
• people must have the opportunity to learn the relevant cues.

규칙성이 너무 적은 복잡한 상황(예: 임상 교육 환경)에서는 첫 번째 요건을 위반하기 때문에 예측이 실패합니다. 임상의 평가자는 가장 눈에 띄는 단서가 가장 예측력이 높은 단서라기보다는, 자신의 개인적인 경험(예: 연습 방법 및 과거에 만났던 유사한 훈련생)과 가장 관련성이 높은 단서일 수 있다는 사실을 인식하지 못한 채 성과를 구별하는 데 도움이 되는 단서에 집중합니다. 
In complex situations in which there is too little regularity (e.g., clinical training environments), forecasting fails because the first requirement is violated. Clinician raters focus upon the cues that help them differentiate between performances without recognizing that the cues that are most noticed by them may be the ones that are most relevant to their personal experience (i.e., how they practice and similar trainees they have encountered in the past) rather than those that are most predictive.

자신의 결정의 정확성에 대한 피드백이 일상적으로 제공되지 않는 경우(예: 의학의 거의 모든 성과 평가 상황), 두 번째 요건도 위반됩니다. 평가는 관찰 대상자를 추적 관찰할 기회와 분리되는 경우가 많으며, 그렇지 않은 경우에도 임상의가 개별 학습자에 대한 인상을 통해 다른 인상을 가진 교육생과 다르게 상호작용하도록 유도함으로써 자기충족적 예언을 만들 수 있다는 것은 쉽게 상상할 수 있습니다(우리가 아는 한 문서화된 적은 없지만). 동시에, 인상이 바뀌는 경우 초기 인상이 잘못되었다고 결론 내리기보다는 관찰 대상자의 성장으로 인한 변화로 돌리는 것이 더 쉬울 수 있습니다.
When feedback regarding the accuracy of one's decision is not routinely available (e.g., nearly every performance assessment context in medicine), the second requirement is also violated. Assessments are often divorced from opportunities to follow up with the person being observed and, even when they are not, it is easy to imagine (although never documented to our knowledge) that clinicians’ impressions of individual learners would create self-fulfilling prophecies by leading them to interact differently with trainees about whom they have different impressions. At the same time, if one's impression does change it is likely easier to attribute such change to growth on the part of the person being observed rather than to conclude that one's initial impression was wrong.

예이츠와 그의 팀은 평가자에게 제시하는 순서를 조작(또는 기록)하는 일련의 연구를 통해 과거 경험이 현재 관찰 대상에 대한 인상에 미치는 영향을 실험적으로(그리고 관찰적으로) 확인했습니다. 대조 효과(자극 간의 차이를 지나치게 강조하는 현상; Stewart, Brown, & Chater, 2005)는 순차적으로 제시된 자극을 의도적으로 고려해야 하는 과제에서 발생하는 경향이 있다는 심리적 앵커링 문헌의 제안에 따라(Mussweiler, 2003, Tanner, 2008), 연구진은 동일한 수행을 관찰하기 전에 좋은 수행을 관찰했을 때보다 나쁜 수행을 관찰하기 전에 수행했을 때 응시자의 수행이 일상적으로 평균적으로 높게 평가되는 것을 발견했습니다. 이러한 패턴은 평가자가 신중하게 통제된 비디오에 부여한 평가(Yeates, O'Neill, Mann, & Eva, 2012), 실제의 고부담 평가 상황에서 부여된 평가를 조사한 연구(Yeates, Moreau, & Eva, 2015), 평가자가 수행을 관찰한 후 훈련생에게 제공하기로 선택한 내러티브 피드백(Yeates, Cardell, Byrne, & Eva, 2015)에서도 발견되었습니다. 이러한 판단의 상대성은 우리가 관찰 가능하고 잠재적으로 의미 있는 모든 정보를 고려하는 동시에 작업 기억에서 활성화되는 절대적 기준에 대한 정신적 접근(또는 보유 능력)의 한계로 인해 사용 가능한 정보의 일부에만 인상을 근거로 삼을 수밖에 없음을 시사합니다(Tavares & Eva, 2013).
Yeates and his team experimentally (and observationally) confirmed the influence of past experience on one's impressions of current observations across a series of studies in which they manipulated (or recorded) the order of presentation to raters. Consistent with the psychological anchoring literature's suggestion that contrast effects (an over-emphasis on differences between stimuli; Stewart, Brown, & Chater, 2005) tend to arise when tasks involve deliberate consideration of sequentially presented stimuli (Mussweiler, 2003, Tanner, 2008), they found that candidates’ performance was routinely rated higher on average when it was preceded by observation of a poor performance relative to when the same performance was preceded by observation of a good performance. This pattern was seen in the ratings assessors assigned to carefully controlled videos (Yeates, O’Neill, Mann, & Eva, 2012), in a study examining ratings assigned in a real life, high-stakes, assessment context (Yeates, Moreau, & Eva, 2015), and also in the narrative feedback assessors chose to provide to trainees after observing their performance (Yeates, Cardell, Byrne, & Eva, 2015). Such relativity of judgment suggests we are forced to base our impressions on only a sample of the information available due to limitations in our mental access to (or capacity to hold) absolute standards active in working memory while also considering all observable and potentially meaningful information (Tavares & Eva, 2013).

적은 것을 요구하여 더 많은 것을 얻기
Getting More by Asking for Less

평가자가 사용 가능한 정보의 일부에 크게 영향을 받는 작업 기억 제약에 대한 이러한 우려는 평가자에게 특정 시점에 더 적은 일을 요구함으로써 평가자의 특이성을 어느 정도 극복할 수 있다고 제안하는 Tavares의 실험 연구와 함께 고려할 때 더욱 강화됩니다. 그의 연구의 기본 설계는 평가자의 평가의 유용성이 어떻게 달라지는지를 확인하는 것이었습니다.

• 평가자에게 표준 직장 기반 평가 과제(즉, 의료 전문가에게 기대되는 광범위한 역량을 반영하는 7개 차원에 대해 성과를 관찰하고 등급을 부여하는 과제)를 완료하도록 요청했을 때와
• 평가자에게 7개 차원 중 2개만 포함된 수정된 버전의 동일한 평가 양식을 사용하여 동일한 성과를 검토하고 점수를 부여하도록 요청했을 때 

평가자가 작업 기억 과부하로 인해 부담을 느끼고 7가지 차원 버전에서는 주의가 너무 얇게 나뉜다는 가설을 세우고, (a) 두 그룹에 일관된 수행의 2개 차원에 해당하는 행동을 성공적으로 식별한 수를 고려하여 평가자 기반 평가의 유용성을 조사하고 (b) 해당 2개 차원에 할당된 점수의 평가자 간 신뢰도를 계산하여(Tavares and Eva, 2014, Tavares et al, 2016), (c) 평가자가 제공한 피드백의 양을 조사했습니다(Tavares et al., 2016). 
Such concerns about working memory constraints leading assessors to be heavily influenced by a subset of the information available become strengthened when considered in conjunction with experimental research conducted by Tavares that suggests rater idiosyncrasy can be overcome to some extent by asking them to do less at any given point in time. The basic design of his studies has been to determine what happens to the utility of assessors’ ratings

• when they are asked to complete a standard workplace-based assessment task (i.e., observing a performance and assigning ratings to 7 dimensions that reflect the breadth of competencies expected of health professionals) compared to
• when they are asked to review and score the same performance using a modified version of the same rating form that includes only 2 of the 7 dimensions.

Hypothesizing that raters are burdened by working memory overload and that their attention is divided too thinly in the 7 dimensional version, the utility of rater-based assessment has been examined by (a) considering the number of behaviours successfully identified that are specific to the 2 dimensions of performance consistent to both groups (Tavares & Eva, 2014), (b) calculating the inter-rater reliability of the scores assigned to those 2 dimensions (Tavares and Eva, 2014, Tavares et al., 2016), and (c) examining the amount of feedback provided by assessors (Tavares et al., 2016).

각각의 데이터는 평가자에게 관찰된 성과를 보다 포괄적으로 평가하도록 요청할 때 평가의 질이 저하되는 것을 시사했습니다. 또한, 과제 후 인터뷰의 주제별 분석에 따르면 평가자들은 적어도 사후에 평가 과제를 단순화하기 위한 조치를 취해야 한다는 사실을 인식하고 있었습니다(Tavares 외., 2016). 7가지 차원을 모두 평가해야 했던 평가자들은 의사의 행동과 관련된 모든 특징을 추적하는 것이 너무 어려웠기 때문에 일부 차원에 우선순위를 둠으로써 자발적으로 과제 요구 사항을 줄였다고 보고했습니다. 이 과정에서 평가자들은 "가장 쉬운", "부정적인" 또는 "가장 명백한" 항목에 집중했다고 주장합니다. 개별 평가자가 특정 행동에 일관되게 우선순위를 부여한다는 증거가 없기 때문에, 평가자가 스스로 판단하여 과제를 단순화하는 방법을 결정하도록 맡길 경우 해당 범주에 해당하는 차원 또는 행동은 평가를 수행하는 개인과 평가 대상자 간의 상호작용에 따라 달라지는 것으로 보입니다. 

In each case the data suggested a decline in the quality of assessments when assessors are asked to rate the performances observed more comprehensively. Further, thematic analysis of post-task interviews suggested that assessors were aware, at least after the fact, of taking steps to simplify the assigned rating task (Tavares et al., 2016). Those charged with assessing all seven dimensions reported feeling that they had spontaneously reduced the task demands by prioritizing a subset of the dimensions because they found it too difficult to track all relevant features of the physician's behaviour. In doing so, assessors claim to have focused on what they found “easiest,” “negative,” or “most obvious.” When left to their own devices to determine how to simplify the task before them, what dimensions or behaviours fit into those categories appears to be idiosyncratic to the interaction between the individual performing the assessment and the individual being assessed, as there has been no evidence that individual raters consistently prioritize particular behaviours.

이러한 발견은 다양한 역량의 개발과 평가를 장려하여 진료의 현대화를 위해 노력하는 의학교육자들에게 상당한 수수께끼를 안겨줍니다. 즉, 수행의 모든 중요한 측면을 한 시점에 개인이 평가할 수 없다는 사실을 인정하거나 평가의 질을 희생해야 한다는 것입니다. 즉, 평가 설계자는 평가자가 고려해야 할 사항을 제한함으로써 평가 프로세스의 유용성을 향상시킬 수 있지만, 역량 기반 의학교육이 극복하고자 했던 상황, 즉 지나치게 좁은 진료 범위에 대한 불균형적인 의존과 주의로 돌아갈 위험이 있습니다(Frank et al., 2015). 이러한 상충하는 힘의 조화는 모든 것을 평가해야 하지만 반드시 한꺼번에 평가할 필요는 없다는 생각에 있을 수 있습니다. 물론 평가 과제를 분산하면 실행 가능성에 대한 압박이 발생하지만, 최근 Tavares 등이 수행한 후속 연구에 따르면 평가자에게 6가지 역량 차원을 판단하도록 요청하는 것보다 각각 2가지 역량 차원을 평가하도록 요청받은 평가자의 판단을 합산하는 것이 평가의 신뢰도를 높이고 수행자에게 더 많은 피드백을 제공하는 것으로 나타났습니다. 

Such findings create a considerable puzzle for medical educators who strive to modernize practice by encouraging the development and assessment of varied competencies: either accept that not every important aspect of performance can be assessed by an individual at a point in time or sacrifice quality of the assessment. That is, while assessment designers can improve the utility of an assessment process by limiting what assessors are asked to consider, they risk doing so in a manner that returns to the situation that competency-based medical education was intended to overcome: unbalanced reliance on, and attention to, an overly narrow scope of practice (Frank et al., 2015). The reconciliation of these competing forces may lie in the idea that while everything needs to be assessed it need not necessarily be assessed all at once. Spreading out an assessment task of course creates feasibility pressures, but recent follow-up work conducted by Tavares et al. has indicated that, relative to asking assessors to judge 6 dimensions of competence, aggregating the judgments of raters who are each asked to evaluate two dimensions of competence increased the reliability of the ratings and resulted in more feedback to the performer.

군중의 지혜 활용하기
Taking Advantage of the Wisdom of Crowds

그렇다고 해서 성과 판단에 대한 책임을 분담한다고 해서 분담 규모에 비례하여 리소스의 필요성이 반드시 증가한다고 가정할 필요는 없을 것입니다. 작업을 더 단순하게 만들면 더 짧은 시간에 의미 있는 성과에 대한 인상을 형성할 수 있습니다. 지금까지 논의한 문헌과 일관되게, 직무 또는 교육 프로그램 면접에서 성과 평가를 조사한 연구에 따르면 성과에 대한 포괄적인 인상을 주기 위해 더 많은 시간을 투자하는 것은 환상에 불과하다고 합니다. Ambady 등은 면접에서 지원자의 성과를 판단해 달라는 요청을 받은 평가자가 몇 분 안에 대부분 인상을 형성한 다음, 대부분의 경우 지원자가 인상 관리 전략을 성공적으로 사용할 수 있는 더 큰 기회를 놓칠 위험을 감수하면서 면접의 나머지 시간을 초기 인상을 강화하는 데 보낸다고 보고합니다(Ambady and Rosenthal, 1992, Ambady 등, 2000, Ellis 등, 2002). Wood, Chan, Humphrey-Murto, Pugh, Touchie(2017)는 임상 수행 환경에서 평가자가 관찰 후 1분 이내에 형성하는 판단이 수행이 완료된 후 수집된 최종 평가를 강력하게 예측한다는 사실을 유사하게 보여주었습니다. 관찰에서 수집된 정보의 양보다 수행 평가의 신뢰성에 훨씬 더 중요한 것은 정보를 수집하는 관찰 횟수입니다. 일련의 짧은 만남에 대한 평가는 일반적으로 한 번의 만남에 장기간 노출되는 것보다 더 높은 신뢰성을 제공합니다(Axelson & Kreiter, 2009). 이는 필기 평가와 임상 수행 평가 모두에서 강력하게 입증되었으며, 샘플링은 오랜 시간 동안 평가 형식 전반에 걸쳐 주요 일관성을 유지하는 것으로 확인되었습니다(Eva, 2009). 
That said, it perhaps need not be assumed that divvying up responsibility for judging performance necessarily increases resource needs proportionate to the amount of division. If the task is made simpler, then one can potentially form a meaningful impression of performance in less time. Consistent with the literature discussed to this point, studies examining performance assessment in job or training program interviews suggest that the value of spending more time striving to generate a comprehensive impression of performance is illusory. Ambady and others report that assessors who are asked to judge the performance of job candidates during an interview have largely formed their impression within minutes and then, for the most part, spend the rest of the interview reinforcing that initial impression at the risk that candidates find greater opportunity to successfully engage impression management strategies (Ambady and Rosenthal, 1992, Ambady et al., 2000, Ellis et al., 2002). Wood, Chan, Humphrey-Murto, Pugh, and Touchie (2017) have similarly shown that in clinical performance settings, the judgments that assessors form within the first minute of observation are strongly predictive of their final rating collected after the performance is complete. Much more important to the reliability of a performance assessment than the amount of information collected from an observation is the number of observations from which information is collected. Assessment of a series of brief encounters generally offers greater reliability than prolonged exposure to a single encounter (Axelson & Kreiter, 2009). This has been demonstrated both in written assessments and clinical performance assessments so robustly that sampling has been identified as the main consistency across assessment formats that have stood the test of time (Eva, 2009).

학생 선발 문헌을 예로 들면, 지원자에 대한 짧은 노출을 많이 활용하는 혁신적인 면접 형식에 대한 10년 반의 연구를 통해 시험-재시험 신뢰도가 기존 면접 전략의 두 배에 달하고(Eva 외, 2009), 면접이 실시된 후 최대 4년까지 수행 결과를 예측할 수 있는 강력한 역량을 확보한 것으로 나타났습니다(Eva 외, 2009, Eva 외, 2012c, Reiter 외, 2007). 다중 미니 인터뷰(MMI)라고 불리는 이 형식은 지원자가 여러 면접관과의 긴 패널식 인터뷰에 참여하는 대신 단일 면접관과의 짧은(5~8분) 인터뷰 시리즈(n = 8~12)를 돌아가며 진행하도록 하는 사실상 '벨 러너(bell ringer)'입니다(Eva, Rosenfeld, Reiter, & Norman, 2004). 중요한 점은 이러한 연구에서 데이터를 제공한 평가자들이 특정 분야에 대해 고도로 훈련된 전통적인 의미의 '전문가'가 아니었다는 점입니다. 의대 지원자를 평가해 달라는 요청을 받은 사람들 중에는 의사가 포함되어 있었지만, 의대와 관련이 없는 의대생과 지역사회 구성원도 포함되었습니다. 사실, 의사가 환자 인구의 대부분을 차지하는 일반인과 얼마나 효과적으로 소통하는지를 판단하는 데는 의사보다 일반인이 더 나은 참고 집단이라는 점에서 이 맥락에서 어떤 형태의 '전문성expertise'이 특히 가치가 있는지는 명확하지 않습니다. 

Using the student selection literature as an example, a decade and a half of work on an innovative interview format that relies on many short exposures to candidates has revealed test–retest reliabilities double that of traditional interview strategies (Eva et al., 2009) and yielded stronger capacity to predict performance outcomes up to four years after the interviews take place (Eva et al., 2009, Eva et al., 2012c, Reiter et al., 2007). The format, called a Multiple Mini-Interview (MMI) is effectively a “bell ringer” in which applicants are asked to rotate through a series (n = 8–12) of brief (5–8 min) interviews with single examiners rather than participating in a long panel-style interview with multiple interviewers (Eva, Rosenfeld, Reiter, & Norman, 2004). Importantly, the raters who provided the data in these studies were not “experts” in the traditional sense of being highly trained in a particular area. Those asked to judge candidates to medical school included physicians, but they also included medical students and community members with no affiliation to the medical school. In fact, what form of “expertise” is particularly valuable in this context is not clear because arguably laypeople are a better reference group than physicians to determine how effectively physicians communicate with the laypeople who constitute the majority of the patient population.

어떤 경우에는 전문성이 도움이 될 수 있으며, 후보자 간에 일관된 초점이 유지되도록 면접을 신중하게 구조화함으로써 얻을 수 있는 유용성이 있는 것으로 보이지만(Axelson, Kreiter, Ferguson, Solow, & Huebner, 2010), 최근 발표된 실험 비교에 따르면 MMI 프로세스를 수행함으로써 얻을 수 있는 이점의 대부분은 여러 맥락에서 여러 평가자의 인상을 샘플링함으로써 생성되는 것으로 나타났습니다(Eva & Macala, 2014). 수로비에츠키(2004)의 저서 '군중의 지혜'에서 널리 알려진 이 원칙은 다음이 증가함에 따라 주관성의 가치가 증가한다는 것으로 요약할 수 있습니다. 

• (a) 수집된 관찰의 수,
• (b) 관찰의 독립성,
• (c) 평가가 생성되는 관점의 다양성,
• (d) 평가가 이루어지는 근거의 탈중앙화(즉, 평가자가 특정 알고리즘을 적용하여 판단하도록 장려하는 것이 아니라 자신의 경험과 전문성을 바탕으로 자신의 인상을 형성하도록 맡김)

Expertise might be beneficial in some instances, and there appears to be some utility derived from carefully structuring interviews such that a consistent focus is maintained across candidates (Axelson, Kreiter, Ferguson, Solow, & Huebner, 2010), but recently published experimental comparisons have indicated that the bulk of the benefit gained from undertaking the MMI process is generated by sampling the impressions of multiple assessors in multiple contexts (Eva & Macala, 2014). The principle, popularized in Surowiecki's (2004) book, The Wisdom of Crowds, is summarized by that author as the value of subjectivity increasing with

• (a) the number of observations collected,
• (b) the independence of those observations,
• (c) the diversity of perspectives from which the assessments are generated, and
• (d) decentralization of the basis from which the assessment is made (i.e., leaving the assessors to form their own impressions based on their experience and expertise rather than encouraging them to apply a particular algorithm to form their judgment).

의학의 많은 평가 상황에서 다양한 사람들을 많이 접할 수 없는 현실을 고려할 때, 크라우드 소싱의 이점이 다양한 사람들이 자신의 인상을 제공하는 것에 전적으로 의존하지 않는다는 증거가 있다는 사실을 아는 것은 매우 중요합니다. 오히려 개인이 여러 차례 독립적으로 관찰하는 동안 성능 평가를 제공함으로써 '군중의 지혜'가 생성될 수 있습니다. 벌과 파슬러(2008)는 개인의 판단이 그들이 인식하는 확률 분포의 표본을 나타낼 수 있으며, 이를 통해 한 개인의 여러 표본이 다양한 사람들의 관점에서 표본을 추출하는 것과 동일한 많은 이점을 복제할 수 있다고 제안합니다. 연구진은 일반 지식 질문을 사용하여 추측 사이에 지연이 개입되었는지 여부에 관계없이 여러 추측의 평균이 개별 추정치보다 더 정확하다는 사실을 발견했습니다. 마찬가지로 튜토리얼 기반 평가 관행과 관련된 신뢰도 지표에 좌절감을 느낀 저희는 앞서 언급한 노력과는 정반대로, 맥락과 관련된 성능의 측면을 의도적으로 많이 나열하여 "평가 척도를 개선"하려는 노력을 기울였습니다(Eva et al., 2007). 문헌의 여러 보고서에서는 튜토리얼 기반 평가자에게 더 많은 질문을 함으로써 평가 척도의 내적 일관성을 개선할 수 있다고 제안했습니다(Hebert and Bravo, 1996, Ladouceur et al., 2004). 안타깝게도 시험-재시험 신뢰도는 개선되지 않았으며, 이는 이러한 노력이 기껏해야 한 시점에만 학생의 성과에 대한 유효한 인상을 생성하는 반면 응답 부담은 더 커졌음을 시사합니다. 한 학기에 한두 번만 양식을 작성하면 평가자가 학기 말의 평가가 학생의 평균 성적을 반드시 대표하지 않는 최근 또는 특히 두드러진 관찰에 의해 주로 좌우될 가능성이 높다는 점에서 가용성 편향(Tversky & Kahneman, 1973)에 매우 취약해집니다. 기억력의 한계를 극복하기 위해 설문지를 길게 작성하는 대신 3개 문항으로만 단축하고(그룹 과정에 대한 기여도, 그룹 내용에 대한 기여도, 전문적 행동),  7개 과목의 튜터에게 각 튜터링이 끝난 후 학생을 위해 양식을 작성하도록 요청했습니다(Eva et al., 2007). 튜터의 직관과 달리 튜토리얼마다 부여된 평가는 매우 다양했으며, 이는 성과(또는 적어도 평가자의 성과에 대한 인상)가 우리가 일반적으로 인식하는 것처럼 관찰할 때마다 일관적이지 않다는 것을 나타냅니다. 그러나 각 튜토리얼에 부여된 등급을 집계한 결과, 테스트-재테스트 신뢰도가 완벽에 가까워짐에 따라 관찰된 성능을 정의하는 데 사용되는 점수가 안정화되었습니다. 즉, 메모리는 제한되어 있지만 평가자의 성과 평가를 보다 체계적으로 수집하려는 의도가 있다면 메모리에 의존할 필요가 없습니다. 한 시점에(즉, 지체 없이) 여러 개의 추정치를 취하면 오류가 줄어든다는 벌과 파슬러의 발견은 평가자에게 관찰된 각 수행 후에 특정 능력에 대한 여러 개의 추정치를 제공하도록 요청하는 또 다른 방법을 시사합니다. 

Given the practical reality that many assessment contexts in medicine do not allow access to a large number of varied people, it becomes valuable to know that evidence suggests that the benefits of crowd sourcing are not fully dependent on many different people providing their impressions. Rather, there may be a “wisdom of the crowd within” that can be generated by having individuals offer performance ratings during multiple independent occasions of observation. Vul and Pashler (2008) suggest that an individual's judgments may represent a sample of the probability distribution they perceive, which would enable multiple samples from within an individual to replicate many of the same benefits as sampling across the perspectives of various people. They found, using general knowledge questions, that the average of multiple guesses was more accurate than individual estimates whether or not a delay intervened between guesses. Similarly, frustrated by reliability metrics associated with tutorial-based assessment practices, we took a tack opposite to the efforts alluded to earlier that strive to “improve the rating scales” by deliberately listing as many aspects of performance as are relevant to the context (Eva et al., 2007). Multiple reports in the literature suggested that one could improve the internal consistency of rating scales by asking tutorial-based assessors a larger number of questions (Hebert and Bravo, 1996, Ladouceur et al., 2004). Unfortunately, test–retest reliability did not improve, suggesting that at best the effort generated a valid impression of student performance at only one point in time while resulting in greater response burden. Filling out the form only once or twice a term leaves raters highly susceptible to availability bias (Tversky & Kahneman, 1973) in that their ratings at the end of a term are likely to be predominantly driven by recent or particularly salient observations, neither of which are necessarily representative of the student's average performance. To try to overcome the limitations of memory, rather than lengthening the questionnaire, we shortened it to only 3 questions (contribution to group process, contribution to group content, and professional behaviour) and asked tutors in seven distinct courses to complete the form for their students after each tutorial (Eva et al., 2007). Contrary to tutors’ intuitions, the ratings assigned from one tutorial to the next were highly variable, indicating that performance (or at least assessors’ impressions of performance) was not as consistent from one observation to the next as we commonly perceive. However, aggregating across the ratings assigned to each tutorial resulted in stabilization of the scores used to define the performance observed as the test–retest reliability approached perfection. In other words, while memory is limited, we need not rely on it if we are deliberate about gathering raters’ assessments of performance more systematically. Vul and Pashler's finding that multiple estimates taken at a single time point (i.e., without delay) resulted in error reduction implies another way forward by asking raters to offer multiple estimates of a particular ability after each observed performance.

요약 및 지속적인 요구 사항
Summary and Ongoing Needs

복잡한 성과를 평가하기 위한 평가자 기반 평가 관행을 개발하려는 노력에서 나온 많은 문헌의 주제를 가장 일반적으로 표현하면, 평가자는 인간이라는 사실에 의해 방해를 받는다는 것입니다. 인간의 인지 능력은 여러 가지 면에서 제한적입니다.

• 유한한 주의력,
• 불완전한 정보로 자동적이고 빠르게 인상을 형성하는 경향,
• 모든 관찰을 기억에 완벽하게 기록하지 못하는 점 등 

이러한 요인들은 단순히 다르게 생각하라고 말하는 것만으로는 바꿀 수 없는 방식으로 성과 평가에 영향을 미칩니다. 다행히도 효과적인 수행을 정의하는 광범위한 역량을 평가하려면 판단력이 필요하다는 점을 고려할 때, 평가자의 인지를 탐구하려는 최근의 노력(예: Gauthier 외, 2016, Gingerich 외, 2014)은 우리의 한계로 인해 발생하는 문제를 더 잘 인식한다면 우리의 단점을 수용하는 방식으로 평가 프로토콜을 설계하고 그 단점에 맞서 싸우지 않고 자연스러운 사고 방식을 활용할 수 있음을 시사합니다. 이 백서에 소개된 다양한 사례를 통해 주관적인 인상 형성을 통해 수집된 데이터의 유용성을 향상시킬 수 있는 방법을 설명했습니다. 이를 무술의 아이키 원리에 비유하자면, 상대방에게 직접적으로 대항하여 상당한 힘이나 노력을 기울이기보다는 상대방의 기세를 이용하여 상대방의 힘을 무력화하거나 방향을 전환하는 것입니다. 다시 말해, 우리는 적을 보았고, 그 적은 바로 우리 자신입니다.
Expressed most generally, the theme of much of the literature that has emerged from efforts to develop rater-based assessment practices for the evaluation of complex performances is that raters are hindered by the fact they are human. Human cognition is limited in many ways,

• from our finite attentional capacity,
• through our tendency to form impressions automatically and rapidly with incomplete information,
• to an inability to retain a complete record of all observations in memory.

These factors influence performance assessment in ways that cannot be changed by simply telling people to think differently. Fortunately, given that assessing the breadth of competencies that define effective practice requires judgment, more recent efforts to explore rater cognition (e.g., Gauthier et al., 2016, Gingerich et al., 2014) suggest that if we are more aware of the challenges our limitations create, we can design assessment protocols in ways that accommodate our shortcomings and take advantage of our natural ways of thinking rather than fighting against them. In the variety of examples outlined in this paper we have illustrated ways in which doing so has improved the utility of data collected through subjective impression formation. We liken this to the martial arts principle of Aiki, which amounts to negating or redirecting the power of one's opponent by taking advantage of his momentum rather than exerting considerable force or effort by trying to directly oppose it. In other words, we have seen the enemy and it is us.

이러한 문헌의 증가에 따라 Crossley와 Jolly(2012)는 의학교육 분야에서 "올바른 사람에 대해 올바른 방식으로 올바른 질문을 하는 것"을 목표로 평가자 기반 평가에 대해 생각해 보도록 설득력 있게 도전했습니다. 아이키를 그 방법에 대한 은유로 사용하게 된 연구를 고려할 때, 우리는 어디에 서 있으며 인지 심리학은 이러한 각 요구와 관련하여 무엇을 더 제공할 수 있을까요?
As a result of this growing literature, Crossley and Jolly (2012) eloquently challenged the field of medical education to think about rater-based assessment with the goal to “ask the right questions, in the right way, about the right things, of the right people.” Given the research that prompted the use of Aiki as a metaphor for how to do so, where do we stand and what more can cognitive psychology provide with respect to each of these demands?

올바른 질문하기 ...
Ask the Right Questions …

인지적 한계로 인해 더 많은 질문을 할 때 내적 일관성을 보장하는 후광 효과와 혼 효과가 발생하기 때문에 점점 더 많은 수의 질문을 더 자세히 묻는 것은 평가 관행이 개선되었다는 착각만 불러일으킵니다(Eva 외., 2007). 이는 의료 전문가가 유지해야 하는 다양한 역량에 대한 변별력 있는 지침을 제공하려는 시도를 저해하는 요인으로 작용합니다(Lurie et al., 2009). 반대로, 평가 프로토콜을 성과 평가자가 성과 품질을 정의할 때 강조하는 구성에 맞게 조정하면 현재 관찰과 평가자가 상대적 판단을 내리는 경험의 토대 사이에 더 나은 일치를 만들어 평가의 유용성을 개선하는 데 도움이 됩니다(Crossley et al., 2011). 
Asking increasing numbers of questions in increasing detail creates only the illusion of improved assessment practices because cognitive limitations lead to halo and horn effects that ensure greater internal consistency when larger numbers of questions are asked (Eva et al., 2007). That acts to the detriment of attempts to offer discriminating guidance regarding the diverse competencies health professionals are expected to maintain (Lurie et al., 2009). In contrast, tailoring assessment protocols to the constructs of performance raters themselves highlight as defining performance quality helps improve the utility of the ratings by creating better alignment between current observations and the foundation of experience against which raters make relative judgments (Crossley et al., 2011).

가장 엄격한 평가 프로토콜에서도 불가피하게 가변적 인상이 발생할 때 이를 어떻게 처리해야 하는지는 아직 이해되지 않았습니다. 다양한 연구에 따르면 평가의 특이성은 평가자가 자신의 경험을 통해 수행의 특이적인 측면에 초점을 맞추도록 유도하기 때문에 발생한다는 사실이 밝혀졌다고 해서(Kogan 외., 2010), 점수의 변동에 기여한 사람이나 모든 사람이 틀렸다고 단정할 수는 없습니다(Gingerich, Regehr, & Eva, 2011). 학습자(즉, 우리 모두)는 부정적인 피드백을 무시하는 경향이 있지만(Eva 외., 2012a, Harrison 외., 2013), 관찰자마다 다른 인상을 형성했다고 해서 평가 정보를 무시하는 것은 너무 안일한 대응입니다. 임상의의 일반적인 경향을 의미 있게 표현하기 위해 많은 노력이 필요하다는 사실은 모든 삶의 영역에서와 마찬가지로, 의학에서도 특정 성과에 대한 다양한 관점을 가진 사람들을 계속 만나게 될 것임을 나타냅니다. 따라서 우리는 평가자와 평가 대상자 모두가 이러한 다양성과 씨름하는 방식을 더 잘 이해하여 평가의 정보적 가치를 반사적으로 디스카운트하지 않고 최적화할 수 있는 방법이 있는지 판단할 필요가 있습니다. 결국, 마음에 들지 않는 평가를 받으면 일부 사람들이 그러한 인상을 형성하는 것에 만족할지, 아니면 다른 '이상치'가 동일한 인상을 형성할 위험을 최소화하기 위해 어떤 식으로든 행동을 바꿔야 할지 결정해야 할 책임이 우리에게 있습니다.
Not yet understood is what to do with variable impressions when they inevitably arise, even in the most rigorous of assessment protocols. The fact that various studies have shown idiosyncrasy of assessment arises because assessors are prompted, through their own experiences (Kogan et al., 2010), to focus upon idiosyncratic aspects of performance (Yeates et al., 2013), does not necessitate that anyone or everyone who contributed to the variability in scores was wrong (Gingerich, Regehr, & Eva, 2011). While learners (i.e., all of us) have a tendency to discount feedback that is negative (Eva et al., 2012a, Harrison et al., 2013), ignoring assessment information just because different observers formed different impressions is too glib a response. The fact that so much effort is required to generate a meaningful representation of a clinician's general tendencies indicates that we will continue in medicine, as in all walks of life, to encounter people with variable perspectives on the strengths of any given performance. As such, we need to better understand how raters and ratees alike grapple with such variability to determine if there are ways to optimize the informational value of assessments rather than reflexively discounting them. When we receive an assessment that is less than comfortable, after all, the onus lies upon us to determine if we are content for some people to form that impression or if we need to change our behaviour in some way to minimize the risk of other “outliers” forming the same impression.

올바른 방법으로...
… in the Right Way …

평가자에게 현실을 표현하기 위해 질문에 숫자를 할당하도록 요청하는 것은 모든 목적에 충분하지 않은 정확성에 대한 환상만 불러일으킵니다(Regehr et al., 2012). 이는 품질 보증 요구(게이트키핑 역할)를 충족하는 것 외에도 질적 개선(평가의 정보적 가치를 활용하여 전문성 개발을 지속하는 것)을 위해 평가 관행을 사용하려는 시도를 저해하는 요인으로 작용합니다. 이와는 대조적으로, 심리학 및 의학교육 분야에서 평가 관행이 학습의 측정으로만 작용하기보다는 학습을 가능하게 할 수 있다는 연구가 급증하고 있지만(Roediger and Butler, 2011, Schuwirth and van der Vleuten, 2011), 보건 전문가에게 기대되는 광범위한 역량을 고려할 때, 의사소통 기술에서 4.3점을 받았다는 말만으로는 개선 방법에 대한 충분한 지침을 제공하지 못합니다. 이 원고 전체에 걸쳐 설명된 평가 프로토콜의 목적은 암묵적으로 측정 속성을 개선할 수 있는 방식으로 데이터를 수집하는 데 중점을 두었습니다. 성과 개선이 최우선 과제인 순간에는 수집된 평가의 심리측정 특성을 높이는 것이 그 목적을 달성하는 수단이 아닐 수 있습니다.
Asking raters to assign numbers to questions as a representation of reality creates only the illusion of precision that will not be sufficient for all purposes (Regehr et al., 2012). That acts to the detriment of attempts to use assessment practices for the sake of quality improvement (taking advantage of assessment's informational value to continue one's professional development) in addition to fulfilling quality assurance needs (their gatekeeping role). In contrast, while there is a burgeoning industry of research in both psychology and medical education indicating that assessment practices can enable learning rather than acting purely as measurement of learning (Roediger and Butler, 2011, Schuwirth and van der Vleuten, 2011), for the breadth of competencies expected of health professionals, being told that one achieved a rating of 4.3 for communication skills does not provide sufficient guidance regarding how to improve. Throughout this manuscript the purpose of the assessment protocols described has implicitly been focused on gathering data in ways that might improve their measurement properties. In moments when performance improvement is one's priority, increases in the psychometric properties of the ratings collected may not be the means through which that end is achieved.

복잡한 행동과 역량을 평가로 적절히 추출할 수 있다고 믿기보다는 내러티브나 다른 형태의 평가를 고려함으로써 더 많은 것을 얻을 수 있는 정도는 아직 이해되지 않았습니다. 한 영역에서 숙련되지 않은 사람들은 자신이 숙련되지 않았다는 사실을 인식하지 못할 것이며, 더 큰 문제는 숙련되기 위해 무엇을 해야 하는지 판단할 수 있는 능력이 부족할 것이라고 믿을 만한 충분한 이유가 있습니다(Kruger & Dunning, 1999). 여기에 설명된 모든 동일한 문제(의견의 다양성 등)가 수치적 피드백에 영향을 미치는 것만큼이나 서술형 피드백에도 쉽게 영향을 미칠 수 있고, 서술형 피드백에는 더 많은 리소스가 필요하다는 추가적인 문제가 있음에도 불구하고, 서술형 평가 형식이 이러한 수행의 복잡성을 적절히 포착하고 보다 건설적인 지침을 제공할 수 있는지 여부를 결정하기 위한 노력이 진행 중입니다. 평가자가 특정 의견을 할당하도록 유도하는 요인과 그러한 의견의 해석에 영향을 미치는 요인은 정성적 평가 데이터와 정량적 평가 데이터가 서로 함께 제시될 때 상호 작용의 영향과 마찬가지로 더 자세히 살펴볼 필요가 있습니다(Eva, Regehr, & Gruppen, 2012). 
Not yet understood is the extent to which more might be gained by considering narrative or other forms of assessment rather than trusting that complex behaviours and competence can be adequately distilled into ratings. There is good reason to believe that those who are unskilled in a domain will be unaware that they are unskilled and, more problematically, will be poorly positioned to determine what to do to become skilled (Kruger & Dunning, 1999). Efforts are underway to determine whether or not narrative forms of assessment can adequately capture that complexity of performance and provide more constructive guidance despite the fact that all the same challenges outlined here (variability of opinion, etc.) will impact narrative feedback as readily as they impact numerical feedback and that narrative has the added challenge of being more resource intensive. What prompts raters to assign particular comments and what factors influence interpretation of such comments needs to be further explored, as does the influence of the interplay between qualitative and quantitative assessment data when presented in conjunction with one another (Eva, Regehr, & Gruppen, 2012).

... 올바른 것들에 대해 ...
… About the Right Things …

평가자에게 특정 수행의 맥락에서 고려해야 할 중요하고 관련성이 있는 모든 역량을 파악하도록 요청하는 것은 주의력이 유한하고 모든 것을 하려고 하면 제대로 된 것이 없기 때문에 평가 관행이 개선되었다는 환상만 불러일으킵니다(Tavares & Eva, 2013). 이는 현대 의료 전문가에게 기대되는 많은 역할을 신뢰성 있게 반영하는 교육 및 품질 보증 시스템을 활성화하려는 노력에 해를 끼칩니다(Frank et al., 2015). 반면, 평가자가 의도적이고 전향적으로 성과 차원의 하위 집합에 우선순위를 두도록 하면 관련 행동을 식별하는 속도가 빨라지고 평가자 간 신뢰도가 높아지며 수행자에 대한 차원별 피드백이 더 많이 생성됩니다(Tavares et al., 2016).
Asking raters to capture the entire breadth of competencies that might be relevant and important to consider in the context of any given performance creates only the illusion of improved assessment practices because attention is finite and trying to do everything results in nothing being done well (Tavares & Eva, 2013). That acts to the detriment of efforts to enable a system of education and quality assurance that credibly reflects the many roles expected to be played of modern day health professionals (Frank et al., 2015). In contrast, having raters deliberately and prospectively prioritize attending to a subset of performance dimensions increases the rate at which relevant behaviours are identified, raises inter-rater reliability, and generates more dimension-specific feedback for performers (Tavares et al., 2016).

이러한 관찰로 인해 발생하는 타당성 문제를 극복하는 가장 좋은 방법은 아직 이해되지 않았습니다. 특정 평가 순간에 평가자의 집중력을 의도적으로 좁힌다고 해서 수행의 모든 측면을 고려해야 할 책임이 사라지는 것은 아닙니다. 많은 의료 교육 환경에서 소수의 임상 프리셉터와만 상호 작용할 수 있기 때문에 평가자를 추가하거나 관찰되는 환자 수를 늘리는 것이 항상 가능한 것은 아닙니다. 또한, 시간적 여유가 있는 프리셉터도 작업장 기반 평가를 의미 있게 만드는 데 필요한 직접 관찰 및 피드백 세션을 수행하는 데 우선순위를 정하기 어려운 경우가 많습니다. 여러 평가자를 참여시키기 위해 비디오 기반 성과 검토가 필요한지, 새로운 방식으로 평가 프로토콜을 운영하면 '군중 내 평가자의 지혜'를 활용할 수 있는지, 아니면 이러한 상황에서 평가자가 함께 일하는 수련의에 대한 첫인상을 극복할 수 없게 만드는 동화 효과가 이러한 노력을 방해하는지 여부는 아직 결정되지 않았습니다. 즉, 좁혀진 판단의 초점이 긍정적인 효과를 발휘할 수 있는 한계와 조건에 대해 더 잘 이해할 필요가 있습니다. 

Not yet understood is the best way to overcome the feasibility problems that these observations create. Deliberately narrowing assessors’ focus during particular assessment moments does not remove the onus of considering all dimensions of performance. Adding raters or increasing the number of patient encounters observed are not always options because many medical training environments allow interactions with only a few clinical preceptors. Further, those who are available often find it difficult to prioritize time to conduct the direct observations and feedback sessions required to make workplace-based assessment meaningful. Whether video-based review of performance is necessary to get multiple raters involved, whether operationalizing assessment protocols in novel ways allows one to take advantage of the “within rater wisdom of crowds,” or whether assimilation effects plague such efforts by making it impossible for raters in this context to overcome their initial impressions of trainees with whom they work remains to be determined. In other words, we need to better understand the limitations and conditions that allow narrowed focus of judgment to have positive effect.

... 적합한 인재의 평가
… of the Right People

특정 영역에 대한 전문성 수준에 관계없이 개인에게 훈련생의 수행 능력에 대한 의견을 제시하도록 요청하는 것은 해당 훈련생의 근본적인 성격이나 능력에 대해 알고 있다는 착각만 불러일으킵니다(Harasym 외., 1996). 이는 행동과 행동에 대한 인식이 현재 관찰과 이전 경험 간의 유사성을 비롯한 다양한 맥락적 요인에 의해 영향을 받는다는 점을 인식하는 데 방해가 됩니다(Norman & Brooks, 1997). 반대로 평가 프로토콜은 가능한 한 다양한 평가자 그룹에서 독립적으로 생성된 많은 인상을 우선적으로 취합하도록 설계되어야 합니다(Surowiecki, 2004). 

Asking an individual, any individual, regardless of her level of expertise in a domain, to offer an opinion on the proficiency of a trainee's performance creates only the illusion that one has an indication of the fundamental character or ability of that trainee (Harasym et al., 1996). That acts to the detriment of appreciating that both behaviour and perceptions of behaviour are influenced by various contextual factors including the similarity between current observations and previous experience (Norman & Brooks, 1997). In contrast, assessment protocols should be designed wherever possible to prioritize the aggregation of many independently generated impressions from diverse rater groups (Surowiecki, 2004).

일반적인 평가자 교육 워크숍에서 일반적으로 제시되는 추상적인 내용을 중심으로 교육하는 대신 사례의 강점과 약점을 비교하고 대조하는 노력을 기울인 사례 분포를 제시하는 것을 중심으로 평가자 교육을 의도적으로 구성하여 평가자 간의 공통된 이해를 촉진하는 교육 관행을 확립할 수 있는지 여부는 아직 이해되지 않았습니다. 고도로 기능하고 성공적인 평가 프로그램은 단순히 평가자의 인식에만 의존하는 것이 아니라 다양한 제도적, 문화적, 사회 문화적 영향에 따라 달라진다는 것은 말할 필요도 없습니다. 즉, 평가자의 인상이 모든 의료 시스템에서 중요한 역할을 하는 이유는 개인이 실습에 필요한 기술을 습득했는지 여부뿐만 아니라 기술을 향상시키는 데 필요한 바람직한 어려움을 경험할 수 있는 기회가 부여되는지 여부를 결정하기 때문입니다. 따라서 평가자의 인지에 대한 향상된 이해를 바탕으로 판단을 수집하는 노력을 더 잘 구현하면 복잡한 성과 평가의 세계에서 직면한 다른 과제를 극복하는 데 도움이 될 수 있는지 판단할 필요가 있습니다. 

Not yet understood is whether or not training practices can be established that would facilitate a greater degree of common understanding between assessors by deliberately structuring rater training around presentation of a distribution of cases with efforts to compare and contrast their strengths and weaknesses rather than training around the abstractions that are commonly presented during typical rater training workshops. It goes without saying that a highly functioning and successful assessment program is not simply reliant on the cognition of our raters, but rather it is dependent on various systemic, cultural, and socio-cultural influences. That said, raters’ impressions play a crucial role in any healthcare system because they determine not only whether or not individuals have amassed the skills necessary to practice, but also whether or not those same individuals are granted the opportunities to experience the desirable difficulties necessary to further their skill. As a result, it behooves us to determine if better implementation of efforts to collect judgments based on improved understanding of rater cognition might help facilitate the surmounting of other challenges faced by the world of complex performance assessment.

---

The assessment of healthcare professionals is a critical determinant of patient safety and healthcare quality, playing both a gatekeeping function and a path toward performance improvement. Given the complexity of physician–patient interactions and the inadequacy of self-assessment for judging one's own strengths and weaknesses, medicine exemplifies a domain in which adequate assessment is dependent on the perceptions and perspectives of observers. Such perspectives are susceptible to influences that range well beyond the performance itself, offering an opportunity to consider how cognitive psychology can guide improved practices and how examination of psychological processes in real-world environments can inform thinking about cognition. In this target article I will provide an overview of the challenges facing health professional educators, the insights that have been gained from the application of cognitive psychology toward deriving solutions, and some reflections on the current state of the science and ongoing needs. These efforts lead to the conclusion that performance assessment protocols stand a better chance of success when they are designed to accommodate limitations of attentional capacity, working memory, and the idiosyncratic influence of prior experience rather than striving to change these fundamental aspects of human cognition through rater training or response form alterations.