감정과 평가: 위임의 평가자-기반 판단에서 고려사항(Med Educ, 2018)

감정과 평가: 위임의 평가자-기반 판단에서 고려사항(Med Educ, 2018)
Emotions and assessment: considerations for rater-based judgements of entrustment
Carlos Gomez-Garibello & Meredith Young

 

도입
INTRODUCTION
평가는 어떤 교육적 맥락에서든 초석cornerstone을 이룬다. 엡스타인은 의학적 맥락에서 평가가 세 가지 목표에 부합한다고 말한다. 

• 미래의 학습을 위한 동기 부여와 정보를 제공한다; 
• 무능한 전문가를 찾아냄으로써 대중을 보호하고,
• 지원자들을 상급 훈련에 입학시킬 수 있는 기초를 제공한다.

Assessment constitutes a cornerstone in any educational context. Epstein states that in the medical context, assessment serves three goals:

• it provides motivation and information for future learning;
• it protects the public by detecting incompetent professionals, and
• it provides a basis for admitting applicants to advanced training.1 

최근에는 [학습을 위한 평가]가 [피드백 제공과 개선을 위한 영역 식별]을 통하여 [평가의 교육적 가치]를 갖는다는 것을 강조하면서 [평가의 교육적 역할]에 더욱 중점을 두고 있다. 
Recently, more emphasis has been placed on the educational role of assessment, with assessment for learning highlighting the educational value of assessment through the provision of feedback and identification of areas for improvement.2,3 

최근의 연구는 [평가자 기반rater-based 평가]에서 작용하는 인지적 기초와 과정을 조명했다. 보건직업교육(HPE)에서 평가자에 대한 광범위한 문헌의 대다수는 평가판단에 영향을 미치는 인지적 또는 상황적 요인에 초점을 맞추고 있다. 그러나 평가는 공백 상태에서 이루어지는 것이 아니라, 교육-관련 요구를 충족시키는 사회적 맥락 안에서 이루어진다. 
recent work has shed light on the cognitive underpinnings and processes at play in rater-based assessment.4–8 The majority of the broader literature on raters in health professions education (HPE) has focused on cognitive4–6 or contextual8 factors that influence rater judgements. However, assessment does not take place in a vacuum, but within a social context9 that serves to fulfil education-related demands. 

위탁 가능한 전문 활동EPA은 학습자의 [발달적 궤적]을 파악하고, 교육 맥락에서 임상 교사가 '자연적으로' 하고 있는 것과 일치시키기 위해 개념화되었다. 즉, 훈련생이 [과제를 독립적으로 완수할 준비가 되었는지] 또는 graded supervision에 대한 의사결정이 그것이다.

Entrustable professional activities were conceptualised in order to capture the developmental trajectory of learners, as well as to align with what clinical teachers were ‘naturalistically’ doing in educational contexts: making decisions regarding whether (or not) trainees were ready to complete a task independently or with graded supervision.10–12 

위탁 가능한 전문활동은 다음과 같은 활동을 말한다.

• (i) 특정 분야의 필수 업무이다.
• (ii) 지식, 기술 및 태도의 적절한 통합이 필요하다.
• (iii) 관찰 가능한 결과를 초래한다.
• (iv) 자격을 갖춘 학습자에게 위임된다.
• (v) 독립적으로 실행할 수 있다.
• (vi) 기간 내에 수행되어야 한다.
• (vii) 과정과 결과에 대해서 관찰 및 평가할 수 있다.
• (viii) 둘 이상의 역량 또는 역량 영역의 통합을 반영한다.

Entrustable professional activities refer to activities that:

• (i) are essential tasks of a discipline;
• (ii) require adequate integration of knowledge, skills and attitudes;
• (iii) lead to observable outcomes;
• (iv) are entrusted to qualified learners;
• (v) are independently executable;
• (vi) are performed within a timeframe;
• (vii) are observable and assessed in process and results, and
• (viii) reflect the integration of two or more competencies or domains of competence.10 

평가 관점에서, 평가자는 일상적으로 학습자에게 직무 환경에서 특정한 활동 수행을 위임하기 때문에 [EPA의 개념이 임상 실무에 직관적]이라고 생각한다. 학습자가 어떤 활동을 수행하는 [독립성의 수준level of independence]은 훈련생, 감독자, 과업의 성격, 상황별 상황 및 훈련생과 감독자 사이의 관계에 따라 달라집니다. 
From an assessment perspective, raters find the concept of EPAs intuitive to their clinical practice as they routinely entrust learners to perform activities in workplace settings.14–17 The level of independence at which learners perform these activities depends on factors related to the trainee, the supervisor, the nature of the task, contextual circumstances, and the relationship between the trainee and supervisor.17–19

[신뢰]는 많은 요인이 작용하기 쉬운, 사회적 판단을 나타낸다고 주장되어 왔다.9 신뢰에 근거한 평가자 기반 판단과 관련된 과제에 기여하는 것은 신뢰의 정의와 관련 평가 모델이 위임의 목적 또는 학습자에게 위임하기 위해 감독자가 이용할 수 있는 증거에 따라 다르다는 사실이다. 예를 들어, 10 Kate는 위임은 총괄적이거나 임시적이라고 제안한다.
it has been argued that trust, represents a social judgement in which many factors are likely to be at play.9 Contributing to the challenges associated with rater-based judgements grounded in trust is the fact that definitions of trust and associated models of assessment vary depending on the purpose of entrustment or the evidence available to supervisors to entrust learners.17 For example, ten Cate propose that entrustment is summative or ad hoc

또한, 10명의 케이트 외 연구진들은 훈련생과 감독자 사이의 관계에 [세 가지 임시 신뢰 모드]를 정의합니다. 

• 추정된 신뢰: 동료의 자격 증명 및 코멘트에 기초한 것
• 초기 신뢰: 첫인상에 따라 달라지는 것
• 근거된 신뢰: 관측 가능한 증거를 이용할 수 있을 때 발생하는 것

Further, ten Cate et al. define three modes of ad hoc trust in the relationship between trainee and supervisor:

• presumptive, which is based on credentials and comments from colleagues;
• initial, which is dependent on first impressions, and
• grounded, which occurs when observable evidence is available.17 

 

역량, 위탁가능성 또는 성과 결정에 영향을 미치는 상황별 요인의 식별을 고려할 때, 평가자-특이적 요인들이 평가에 영향을 미칠 수 있다는 점을 고려하는 것이 합리적일 수 있다. 새로운 작업이 평가자 기반 작업에 대한 인지 요인과 접근법의 역할을 식별했지만, 여기서는 CBME의 구현으로 인하여 점차 [평가자 기반 평가에 대한 의존도가 증가]하고, [평가자 내에서 요구되는 판단의 복잡성]을 고려할 때, CBME라는 패러다임에서는 [평가자 감정에 대한 신중한 조사]가 시기적절할 수 있다고 제안한다. 
Given this identification of contextual factors that influence decisions of competence, entrustability or performance, it may be reasonable to consider that rater-specific factors might influence assessment. Although emerging work has identified the roles of cognitive factors and approaches to rater-based tasks,4–6 here, we propose that a careful investigation into rater emotions may be timely given the increased reliance on rater-based assessments associated with the implementation of CBME, and the complexity of the judgements required of raters within this paradigm

[감정]은 [강렬한 생리적, 심리적 반응]으로 정의되어 왔으며, 그것을 [경험하는 개인에게 의미 있는 것]으로 인식되어 왔고, [개인이 속한 환경에서의 상황에 대한 반응]에서 비롯됩니다. 평가자(교육자/교사)와 평가 받는 훈련생 모두에 대해 평가자 기반 평가 과정 내에 감정이 존재할 수 있다고 가정하는 것은 어렵지 않을 것이다.
Emotions have been defined as intense physiological and psychological reactions, perceived as meaningful to the individual experiencing them, and resulting from a response to a situation in an individual’s environment.21–24 It would not be difficult to surmise that emotions may be present within a rater-based assessment process, for both the rater (educator/teacher) and the trainee being assessed. 

HPE 내의 연구는 [감정과 인식 사이의 연관성]을 검토하는 것이 훈련생 성과에 대한 우리의 이해를 풍부하게 할 수 있다고 주장해 왔습니다. 특히 맥코넬과 에바는 감정이 사람들이 정보를 식별하고 처리하고 행동하는 방식에 영향을 미친다고 주장한다. 의료 비상사태에 대한 팀 기반 시뮬레이션처럼, 보다 복잡한 교육 환경에서는 부정적인 감정(예: 불안)이 (고차원적 프로세스(예: 추론 및 메타인지 모니터링)보다는) 저원차적 인지 프로세스(예: 요약 또는 정보 제공)와 연관될 것을 제안한다.26 

Work within HPE has argued that examining the association between emotions and cognitions might enrich our understanding of trainee performance.25 In particular, McConnell and Eva claim that emotions influence the ways in which people identify, process and act on information.25 In more complex educational environments, such as team-based simulations of medical emergencies, it is suggested that negative emotions (e.g. anxiety) are associated with lower- order cognitive processes (e.g. summarising or providing information) rather than higher-order processes (e.g. reasoning and metacognitive monitoring).26 

교육 환경의 정서
EMOTIONS IN EDUCATIONAL SETTINGS

연구자들은 학습에서 감정의 영향을 조사하는 것이 동기 부여와 학습과 성과에 어떤 영향을 미치는지에 대한 더 나은 이해를 이끌어냈다고 제안했다. 
researchers have suggested that examining the influence of emotions in learning has resulted in better understanding of how motivation and affect influence learning and performance.24,27 

라인하르트 페크룬Reinhard Pekrun의 통제-가치 이론control–value theory은 교육적 맥락에서 감정과 성과 사이의 연관성을 조사할 수 있는 포괄적인 프레임워크를 제공합니다. 이 이론에 따르면, 감정은 감정적, 인지적, 동기적, 표현적, 생리학적 과정을 포함합니다. Pekrun은 교육 활동(예: 강의)과 결과(예: 시험의 결과)에 대한 학습자의 인지적 평가(특히, 인식된 통제와 가치)가 학습자의 다른 감정(예: 기쁨, 자부심, 수치심, 좌절)을 유도하여 수행과 과제 결과에 영향을 미칠 수 있다고 주장합니다. 그 결과, 활동 및 결과에 대한 평가된 가치appraised value와 통제력은 학습자의 동기 부여, 학습 전략, 인지 리소스, 자기 규제 및 학업 성취도에 영향을 미칩니다. 
Reinhard Pekrun’s control–value theory offers a comprehensive framework with which to examine the association between emotions and performance in educational contexts.24 According to this theory, emotions encompass affective, cognitive, motivational, expressive and physiological processes.24 Pekrun argues that learners’ cognitive appraisal (specifically, perceived control and value) of educational activities (e.g. a lecture) and outcomes (e.g. results of an examination) elicit different emotions in learners (e.g. joy, pride, shame, frustration), which, in turn, can influence performance and task outcomes.24,29 As a result, the appraised value and control of activities and outcomes elicit different emotions in learners, which, in turn, impact learners’ motivation, learning strategies, cognitive resources, self-regulation and academic achievement.29 


일부 연구는 학생 평가에서 감정의 역할을 탐구했지만, 대부분의 연구는 '시험 불안'의 인지 구성 요소를 이해하는 데 초점을 맞췄다. 저자는 [시험 불안]을 [시험이나 과제가 완료되기 전이나 완료되고 난 후, 평가 상황이나 개인의 성과와 관련된 내부 대화internal dialogue에 대한 개인의 반응]으로 정의한다. 근거에 따르면, 수행능력을 최적화하려면 일정한 수준의 각성이 필요하다는 것을 시사하지만, 극도로 낮거나 높은 각성은 성능을 저해하는 것으로 보인다. 
Some research has explored the role of emotions in student assessment, but the majority of work has focused on understanding the cognitive components of ‘test anxiety’.30 Authors define test anxiety as an individual’s reactions to assessment situations or any internal dialogue related to the individual’s performance before, during or after the examination or task is completed.21 Evidence suggests that a certain level of arousal is necessary to optimise performance; however, extreme low or high arousal appears to impede performance.30 

다른 교육적 맥락에서와 마찬가지로 건강 직업의 학습자는 학습과 수행에 방해가 될 수 있는 감정을 경험합니다.
As in any other educational context, learners in the health professions experience emotions that may interfere with their learning and performance.

교사의 감정을 다룰 때, 문헌에서는 주로 교사의 관점에서 [분노나 좌절의 느낌]에 초점을 맞추는 경향이 있다. 작가들은 또한 교사들이 교실에서 보여주는 감정과 신념, 목표, 정체성이 어떻게 관련되어 있는지를 탐구했다. 이 연구에 따르면, 교사들은 개인적 기대(예: 목표, 신념)와 문화적 기대(예: 학습과 가르침에 관련된 믿음)를 교실에 가져오고, 이는 그들의 인지적 감정과 정서적 경험의 결과로서 증명되거나 반박된다corroborated or refuted.33 
When considering teachers’ emotions, the literature tends to focus primarily on feelings of anger or frustration from the perspective of the teacher.32 Authors have also explored how beliefs, goals and identity relate to emotions that teachers display in classrooms.33 According to this research, teachers bring to their classrooms a set of personal expectations (e.g. goals, beliefs) and cultural expectations (e.g. beliefs related to learning and teaching) that are corroborated or refuted as a result of their cognitive appraisal and emotional experiences.33 

감정 및 의사결정 작업
EMOTIONS AND DECISION-MAKING TASKS

일반적으로 의사결정 과정에는 다음을 포함한다. 

• 사람들이 선택하는 옵션, 
• 그 결정의 잠재적 결과 
• 의사결정이 이루어진 후 다른 결과가 발생할 확률

In general, a decision-making process encompasses

• the options among which people choose,
• the potential outcomes of that decision, and
• the probability of different consequences occurring after the decision has been made.34,36 

 

연구자들은 감정이 사람들이 결정을 내리는 방법에 중요한 영향을 미친다고 주장해왔다. 사실, 신경생물학 연구에서 나온 증거는 감정이 모든 의사결정 과정에서 중요한 역할을 한다는 것을 암시합니다. 저자는 세 가지 유형의 감정이 의사결정 과정에 영향을 미칠 수 있다고 강조합니다. 

• (i) 결정을 내리는 사람의 정서적 특성 또는 기질(Mood) 
• (ii) 당사자가 의사결정을 할 때 유도되는 감정(Incidental emotion) 
• (iii) 가능한 결정의 결과에 대한 예상 감정(expected emotion).

researchers have argued that emotions have significant impact on how people make decisions.34,37–39 In fact, evidence from neurobiological studies suggests that emotions play a critical role in all decision-making processes.38 Authors stress that three types of emotion can influence decision-making processes:

• (i) emotional traits or the temperament of the person who is making the decision (mood);
• (ii) emotions elicited when the person makes the decision (incidental emotions), and
• (iii) anticipated emotions of the outcomes of the possible decisions (expected emotions).40

 

증거는 긍정적인 감정을 경험하는 사람들은 결정을 내리기 위해 휴리스틱한 전략을 사용할 가능성이 더 높다는 것을 암시합니다; 반대로 부정적인 감정을 가진 사람들은 체계적인 접근을 사용하는 경향이 있습니다.
Evidence suggests that individuals experiencing positive emotions are more likely to use heuristic strategies to make decisions; contrarily, individuals bearing negative emotions tend to use a systematic approach.39

이 프레임워크를 HPE 내 위탁에 대한 판단 적용까지 확장하면

• 긍정적인 감정(예: 기쁨, 자부심)을 보고하는 평가자가 전체론적holistic 관점에서 학습자를 평가할 가능성이 높아지고, 후광 효과의 결과로 학습자의 준비 상태를 잘못 나타낼misrepresentation 수 있습니다.
• 반면 부정적인 감정(예: 불안, 두려움)을 경험하는 평가자들은 훈련생, 절차 또는 상황에 대한 세부사항에 더 집중할 가능성이 더 높으며, 마찬가지로 연습 준비 상태의 잘못된 표현으로 이어질 수 있습니다.

If we extend this framework to the application of judgements of entrustment within HPE,

• raters who report positive emotions (e.g. joy, pride) may be more likely to appraise their learners from a holistic perspective, resulting in misrepresentations of the readiness of the learner as a result of the halo effect;
• whereas raters who experience negative emotions (e.g. anxiety, fear) may be more likely to focus on details of the trainee, the procedure or the situation,25 also potentially leading to misrepresentations of readiness to practise. 

요약하자면, 여러 분야의 문헌을 폭넓게 검토한 결과, 학자들은 [스스로의 감정에 대한 인식 부족]이 편향된 의사결정을 초래할 수 있다는 데 동의한다는 것을 밝혀냈다.

To summarise, a broad review of the literature across several domains has revealed that scholars agree that a lack of awareness of one’s emotions may lead to biased decision making.41–43 

평가자 인식
RATER COGNITION

평가자 인식의 몇 가지 개념적 모델이 등장했고, 다른 저자들은 평가 과정의 다른 구성요소를 대상으로 삼았다. [평가자 인식]을 다룬 문헌 내에서 평가자 기반 평가는 첫 인상, 평가자의 주의력 및 인지 한계, 평가의 인지 과정, 평가자가 의미를 전달하기 위해 사용하는 '코드', 평가 결정의 사회적 특성, 즉시 평가 컨텍스트의 역할 등에 관하여 검토되었습니다. 사용되는 렌즈와 상관없이, 평가자 기반 평가는 [여러 요인에 의해 영향을 받을 수 있는 복잡한 과정]이라는 일반적인 공감대가 있다. 
Several conceptual models of rater cognition have emerged,4–6 and different authors have targeted different components of the assessment process. Within the rater cognition literature, rater-based assessment has been examined through the lenses of first impressions,7 the attentional and cognitive limits of raters,6 the cognitive processes of rating,4 the ‘codes’ that raters use to transfer meaning,44 the social nature of assessment decisions,9 and the role of the immediate rating context.8 Regardless of the lens used, there is a general consensus that rater-based assessment is a complex process that can be influenced by a multitude of factors. 

평가자는 [편향되거나 본질적으로 오류가 있는 것]으로, [오류 분산의 기여자]로서, 그리고 [전문지식이나 전문가의 판단의 원천]으로 다양하게 여겨져 왔다.

• 평가자가 편향되거나 오류가 있는 것으로 간주되는 경우, 평가 접근법의 방어가능성은 개인이 도구를 '적절하게' 사용하고 있고 체계적인 편견 없이 사용할 수 있도록 보장하는 것을 목표로 하는 좋은 평가자 훈련의 맥락에서 증가할 것으로 예상할 수 있다.
• 또한, 평가자가 '무작위 노이즈'를 통해 측정 오류에 기여하는 것으로 인식되는 경우, 평가 품질을 높이는 최선의 방법은 충분한 수의 평가자가 '참된' 성과를 보다 적절하게 포착하기 위해 평가를 완료하도록 보장하는 것이다.
• 마지막으로, 평가자는 [판단을 내리기 위해] [전문지식을 통해 translate할 정보 소스를 동원할 수 있는 능력]을 갖춘 전문가 의사결정자로 포지셔닝될 수 있다. 이러한 포지셔닝에서 방어가능한 평가 시스템은 잠재적으로 유해한 영향으로부터 보호하면서 평가자의 전문성으로부터 얻을 수 있는 효익을 극대화하는 방식으로 구축될 것이다. 

Raters have variously been considered to be biased or inherently error-ridden, as contributors to error variance, and as sources of expertise or expert judgement.5,6

• If raters are considered as biased or error-ridden, the defensibility of assessment approaches can be expected to increase in the context of good rater training that aims to ensure that individuals are using the tool ‘appropriately’ and without any systematic bias.
• Additionally, if raters are recognised as contributing to measurement error through ‘random noise’, the best means of increasing assessment quality will be to ensure that a sufficient number of raters complete assessments in order to more appropriately capture ‘true’ performance.
• Finally, raters may be positioned as expert decision makers, with ability to mobilise several sources of information that they will translate through their expertise in order to make a judgement. In this positioning, a defensible assessment system would be constructed in a way that maximises the benefit that can be drawn from raters’ expertise while protecting against potentially deleterious effects. 

평가 기반 평가에서의 감정
EMOTIONS IN RATER-BASED ASSESSMENT

Gingerich가 제안했듯이, 신뢰와 판단은 본질적으로 사회적이며, 사회적 판단에서 감정은 중요한 역할을 합니다.9 이러한 관계를 설명하기 위해 평가자가 [프로시져를 수행하는 전공의를 평가]하는 상황을 상상해보자. 이 평가 과정이 인지적 판단consideration에만 의존한다고 상상하기는 어렵다. 대신에 인지적, 관계적(사회적) 및 정서적 고려consideration 사이의 상호작용(즉 통제와 가치의 관점에서 평가 후 도출된 감정)이 평가 과정이 전개되는 방식을 더 잘 나타낼 수 있다. 
As suggested by Gingerich, trust and judgement are inherently social, and emotions play an important role within social judgements.9 In order to illustrate this relationship, we must imagine the ways in which a rater assesses a resident performing a procedure. It is difficult to imagine that this process relies exclusively on cognitive considerations; instead the interaction among cognitive, relational (social) and emotional considerations (i.e. emotions elicited after appraisal in terms of control and value) might better represent the ways in which the assessment process unfolds. 

간단히 말해서, 평가자 기반 평가에서 감정의 역할은 다음을 반영하는 것으로 간주될 수 있다.
In brief, the role of emotion in rater-based assessment might be considered to reflect:

• (i) 편향된 의사결정을 초래하는 감정
• (ii) 평가 측정에 무작위 소음을 추가하는 감정 및
• (iii) 평가 결정에 기여하는 정당한 정보 소스를 나타내는 감정. 
• (i) emotions that lead to biased decision making;
• (ii) emotions that add random noise to assessment measurement, and
• (iii) emotions that represent a legitimate source of information that contributes to assessment decisions. 

편향된 의사결정을 이끌어 내는 감정
Emotions that lead to biased decision making

자극arousal과 교사의 감정에 대한 문헌을 요약해보면, 감정은 평가자 기반 평가의 [체계적 편향에 대한 기여자]로 간주될 수 있다. 간단히 요약하면, 각성 상태나 감정 상태에서의 차이가 [수행의 특정 측면]으로 주의를 돌리게 하거나, [대조 효과]가 두드러지게 만들 수 있다. 평가자 기반 평가에서 감정의 역할에 대한 이러한 개념화에서, 감정의 잠재적 함의에는

• 감정의 역할을 완화하기 위한 평가 훈련의 제안
• 또는 잠재적인 편견을 [완화하거나 통제하기 위한 수단]으로서, 평가 작업 중 평가자의 감정 반응을 측정하는 도구 또는 과제의 개발이 포함된다. 

Given the summary of the literature on arousal25,45 and teacher emotions,24,46 emotions might be considered as contributors to systematic bias in rater-based assessment. To briefly summarise, it is possible that differences in arousal or emotional states could shift rater attention to particular aspects of performance, or perhaps even highlight contrast effects.8 In this conceptualisation of the role of emotion in rater-based assessment, potential implications of emotion include

• suggestions of either rater training in order to mitigate the role of emotion, or
• perhaps the development of tools or tasks with which to measure the emotional responses of raters during assessment tasks as a means of mitigating or controlling for potential bias. 

평가 측정에 무작위 노이즈를 추가하는 감정
Emotions that add random noise to assessment measurement

단일 평가자 기반 평가 판단에서 감정의 역할은 맥락에 관련되어 있으며, ten Cate 외 연구진과 고바어트가 요약한 바와 같이 여러 상호 연관된 요인(학습자 요인, 교사 요인, 상황적 요인 등)에서 비롯될 가능성이 높다. 감정이 평가 시스템에 '소음'을 추가한다는 제안은 위에서 언급한 것과 유사한 해결책으로 귀결됩니다. 즉, 특정 후보자의 수행을 평정rating하는 수를 늘리는 것이다. 특히 EPA의 이해도가 낮은 영역에 비추어 볼 때, 우리는 관찰과 수행능력의 평정 숫자를 늘리는 것이 잠재적인 해로운 영향이 거의 없다고 느낀다. 

The role of emotions in a single rater-based assessment judgement is likely to be contextually related and to result from several interconnected factors (learner factors, teacher factors, contextual factors, etc.) as summarised by ten Cate et al.17 and Govaerts.47 The suggestion that emotions add ‘noise’ to the assessment system results in a similar solution to that mentioned above: an increase in the number of ratings of performance for a given candidate. Particularly in view of the little- understood area of EPAs, we feel there are few potential detrimental effects to considering an increased number of observations and ratings of performance.  

평가 결정에 기여하는 정당한 정보 소스를 나타내는 감정
Emotions that represent a legitimate source of information that contributes to assessment decisions

감정은 모든 의사결정 과정의 본질적인 구성 요소를 구성합니다. 여러 분야의 문헌에서, 결정을 내릴 때 인지적, 정서적, 상황적 요인의 얽힘을 강조한다. 그런 의미에서 평가에서 감정의 역할을 무시하거나 소홀히 하면 이 과정에 대한 이해가 줄어들 것이다. 우리의 관점에서는 감정을 엄격하게 통제하거나(개념화 A) 무의미한 교란으로 간주하는 방식(개념화 B)으로 감정을 개념화하는 것은 최적의 옵션이 아니다. 오히려, 우리는 평가 과정에서 [감정의 중요성을 인정하는 틀을 만드는 것]을 지지합니다. 평가자를 감정 상태에 따라 선정해서는 안 되지만, 평가자가 자신의 감정에 대한 [자기 인식]과 [자기 조절]을 촉진하는 데 초점을 맞춘 전략의 잠재적인 이익을 고려해야 할 것이다.48 

Emotions constitute an inherent component of any decision-making process.23,34,45 Literature from different fields highlights the intertwining of cognitive, emotional and contextual factors when it comes to making decisions. In this sense, disregarding or neglecting the role of emotions in assessment will reduce understanding of this process. From our perspective, conceptualising emotion by tightly controlling for it (Conceptualisation A) or counting it as meaningless disturbance (Conceptualisation B) are not optimal options. Rather, we advocate for generating frameworks that acknowledge the importance of emotions in assessment processes. Raters should not be selected on the basis of their emotional states, but perhaps we should consider the potential benefit of strategies focused on facilitating self- awareness and self-regulation of raters’ emotions.48 

향후 연구를 위한 영역
AREAS FOR FUTURE RESEARCH


평가 시 평가자의 감정 이해
Understanding raters’ emotions in assessment

위탁 이해
Understanding entrustment

평가 및 사회적 요인
Assessment and social factors

학습자 평가에서 감정의 역할을 탐구할 수 있는 잠재적 지향 프레임워크 중 하나는 평가 도구 설계, 평가 수행 및 평가 생성 점수 해석 과정에 관련된 세 가지 요소를 식별하는 펠레그리노 외 연구진(49)의 평가 삼각망입니다. 특히, 이러한 요소에는 다음이 포함됩니다.

• 인지: 평가자의 정신 모델 및 학습 인지 이론으로 정의되는 인지,
• 관찰: 학습자의 반응과 해석을 이끌어내기 위해 사용할 과제의 특성을 구성하는 관찰
• 해석: 관찰로부터 추론의 규칙과 가정을 정의(그림 1).

One potential orienting framework with which to explore the role of emotions in the assessment of learners is Pellegrino et al.’s assessment triangle,49 which identifies three elements involved in the process of designing assessment tools, performing assessment, and interpreting assessment-generated scores. Specifically, these elements include:

• cognition, defined as assessors’ mental models and cognitive theories of learning;
• observation, comprising the characteristics of the tasks to be used to elicit learners’ responses, and
• interpretation, or defining the set of rules and assumptions of reasoning from observations (Fig. 1).49,50

 

이 세 가지 측면은 [임상 절차를 수행하는 학습자가 직접 관찰]되는 가상의 사례를 사용하여 설명할 수 있습니다. 이 전형적인 평가 시나리오에서 

• [인지]는 임상 프로시져에서 역량의 입증을 위해 평가자가 필요하다고 생각하는 지식, 기술, 태도의 집합을 말한다. 
• [관찰]은 반드시 관심을 기울여야attended to 하는 임상 수행능력의 측면을 의미하며, 
• [해석]은 이러한 관찰을 바탕으로 학습자의 역량에 대해 가정하는 것을 의미합니다.49 

These three facets may be illustrated using a hypothetical case in which a learner performing a clinical procedure is directly observed. In this typical assessment scenario,

• cognition refers to the set of knowledge, skills and attitudes that the assessor considers necessary to demonstrate competence during the clinical procedure.
• Observation would refer to aspects of the clinical performance that must be attended to, and
• interpretation refers to the assumptions made about the learner’s competence based on these observations.49 

 

우리는 평가 프로세스가 인식, 관찰, 해석 및 감정 등 4가지 차별화 요소들로 구성된 테트라드로 더 잘 정의될 것을 제안한다(그림 2). 
we suggest that the assessment process is better defined as a tetrad comprised of four differentiated, yet related, elements – cognition, observation, interpretation and emotions – and that these elements are intertwined throughout the act of assessing (Fig. 2). 

 

결론
CONCLUSIONS

감정을 [평가와 의사결정 과정의 핵심 구성요소]로 인식하는 것은 감정을 단순히 비인지적 변동의 원천으로 개념화하지 않게 해준다. 오히려, 이러한 인식은 감정이 [평가 생성 데이터의 설계, 실행 및 해석에 있어 근본적인 역할]을 할 수 있음을 시사합니다. 
Recognising emotions as a key component of assessment and decision-making processes moves us away from conceptualising emotions as merely non-cognitive sources of variation in developing assessment judgements. Rather, this recognition suggests that emotions can, and should, play a fundamental role in the design, execution and interpretation of assessment- generated data. 

결론적으로 [평가]는 [평가자가 학습자의 지식, 기술 및 태도에 대한 판단을 내리는 의사결정 과정으로 정의]할 수 있습니다. 
In conclusion, assessment can be defined as a decision-making process in which raters generate judgements regarding learners’ knowledge, skills and attitudes. 

우리는 평가자의 감정에 대한 고려가 평가의 설계, 개념화, 구현 및 사용, 그리고 평가자가 생성하는 점수 해석에 중심적이어야 한다고 주장한다. 감정을 평가 과정에 포함하는 것은 평가자를 '측정 도구'로 보는 개념에서 벗어나, 사회적, 정서적 맥락 안에 평가 프로세스를 포함한다는 것을 시사합니다. CBME 프레임워크 내의 평가가 학습을 지원하고 촉진하는 목표를 달성할 수 있도록 보장하기 위해서는 감정적 요소와 관련된 평가 기반 평가에 기여하는 프로세스에 대한 이해를 확대해야 합니다.
We argue that consideration for raters’ emotions should be central to the design, conceptualisation, implementation and use of assessments, and to the interpretation of the scores they generate. The inclusion of emotions as an element within the assessment process suggests a move away from the idea of a rater as a ‘measurement instrument’ and instead embeds the assessment process within a social and emotional context. Expanding our understanding of the processes that contribute to rater-based assessment, including those related to emotional elements, is necessary to ensuring that assessment within a CBME framework can achieve the goals of supporting and facilitating learning. 

 

 

---

Med Educ. 2018 Mar;52(3):254-262.

 doi: 10.1111/medu.13476. Epub 2017 Nov 9.

Emotions and assessment: considerations for rater-based judgements of entrustment

Carlos Gomez-Garibello 1, Meredith Young 1

Affiliations collapse

Affiliation

• 1Centre for Medical Education, Faculty of Medicine, McGill University, Montreal, Quebec, Canada.

• PMID: 29119582
• DOI: 10.1111/medu.13476Abstract
• Context: Assessment is subject to increasing scrutiny as medical education transitions towards a competency-based medical education (CBME) model. Traditional perspectives on the roles of assessment emphasise high-stakes, summative assessment, whereas CBME argues for formative assessment. Revisiting conceptualisations about the roles and formats of assessment in medical education provides opportunities to examine understandings and expectations of the assessment of learners. The act of the rater generating scores might be considered as an exclusively cognitive exercise; however, current literature has drawn attention to the notion of raters as measurement instruments, thereby attributing additional factors to their decision-making processes, such as social considerations and intuition. However, the literature has not comprehensively examined the influence of raters' emotions during assessment. In this narrative review, we explore the influence of raters' emotions in the assessment of learners.Conclusions: We identify and discuss three different interpretations of the influence of raters' emotions during assessments: (i) emotions lead to biased decision making; (ii) emotions contribute random noise to assessment, and (iii) emotions constitute legitimate sources of information that contribute to assessment decisions. We discuss these three interpretations in terms of areas for future research and implications for assessment.
• Methods: We summarise existing literature that describes the role of emotions in assessment broadly, and rater-based assessment specifically, across a variety of fields. The literature related to emotions and assessment is examined from different perspectives, including those of educational context, decision making and rater cognition. We use the concept of entrustable professional activities (EPAs) to contextualise a discussion of the ways in which raters' emotions may have meaningful impacts on the decisions they make in clinical settings. This review summarises findings from different perspectives and identifies areas for consideration for the role of emotion in rater-based assessment, and areas for future research.
• © 2017 John Wiley & Sons Ltd and The Association for the Study of Medical Education.