평가에 대한 메타포의 사용과 남용(Adv Health Sci Educ Theory Pract. 2023)

평가에 대한 메타포의 사용과 남용(Adv Health Sci Educ Theory Pract. 2023)
On the use and abuse of metaphors in assessment
Jacob Pearce1 · Neville Chiavaroli1 · Walter Tavares2

 

평가에서의 은유 소개
Introduction to metaphors in assessment

은유적 언어는 모든 분야에서 풍부하게 사용됩니다. 보건 전문직의 평가 맥락에서 일하면서 우리는 은유가 평가 프로그램의 개념화, 개발 및 배포에 중요한 역할을 한다는 사실을 발견했습니다. 은유는 평가 개념을 전달하고 복잡한 아이디어와 문제를 실무자에게 전달하는 데 도움이 됩니다. 이는 새로운 평가 프로그램을 구축하고 이해관계자와 소통할 때, 그리고 교육 및 훈련에서 평가에 관한 일상적인 결정을 내릴 때 매우 중요합니다. 그러나 평가의 개념화 및 실행 방식에 영향을 미칠 수 있는 의도하지 않은 결과나 오해에 대해 잠시 멈춰서 생각해 보아야 할 때가 많았습니다. 이러한 순간들은 은유를 비판할 때 얻을 수 있는 가치를 강조하고, 은유가 지속적으로 유용하게 사용될 수 있도록 하기 위해 필요한 주의를 기울여야 함을 보여주었습니다. 이 백서는 은유의 현명하고 생산적인 사용을 장려함으로써 보건 전문직의 평가를 발전시키고자 하는 열망에서 출발했습니다. 무엇이 그러한 사용을 구성하는지를 결정하는 것이 우리의 과제이며, 우리는 비판적 철학적 관점, 즉 철저하고 신중한 비평 과정을 통해 평가 은유를 검토하는 방식으로 진행합니다.  
Metaphorical language is abundant in all disciplines. Working in assessment contexts in the health professions, we have noticed metaphors playing an important role in the conceptualisation, development, and deployment of assessment programs. Metaphors help communicate assessment concepts and translate complex ideas and issues to practitioners. This is extremely important both when building a new assessment program and engaging with stakeholders, and when being pragmatic in making routine decisions about assessment in education and training. However, many times we have needed to pause to reflect on potential unintended consequences or misinterpretations that may impact the way assessments and conceptualized and/or implemented. These moments have highlighted the value that comes from critiquing metaphors, and demonstrated the care required to ensure that metaphors have continued utility. This paper is motivated by a desire to advance assessment in the health professions through encouraging the judicious and productive use of metaphors. Determining what constitutes such a use is our task here, and we proceed by examining assessment metaphors from a critical philosophical perspective; that is, through a thorough and considered process of critique.

이 주제는 평가의 맥락을 넘어서는 적용 가능성이 있지만, 최근 몇 년 동안 은유의 적용이 눈에 띄게 증가했음을 알았기 때문에 특히 보건 전문직의 평가 맥락에서 은유의 사용과 적용에 초점을 맞춥니다. 특히 프로그램 평가는 지난 몇 년 동안 의료와 프로그램 평가 사이의 비유(Schuwirth et al., 2017), 합창단 가입 과정(Uijtdehaage & Schuwirth, 2018, 350쪽), 배심원 재판에서의 의사 결정(Tweed & Wilkinson, 2019), 프로그램 평가를 시험 단계의 약물로 생각하기(Wilkinson & Tweed, 2018, 191쪽) 등 많은 비유를 불러일으키고 있습니다. 보건 전문직의 평가 설계는 칵테일과 교향곡(Al-Kadri, 2015), 범선의 설계 및 건조(Dauphinee, 2020)와 비교되었습니다. 의학교육자들이 학생과의 평가 관계에 대해 이야기할 때 은유적 언어가 점점 더 일반화되고 있으며(Rees 등, 2009), 피드백과 평가의 분리는 운전 수업과 운전 시험의 구분과 비교되고 있습니다(Brand 등, 2021). 우리는 또한 은유적 언어가 의학교육을 넘어 교육 평가(예: '군비 경쟁'으로서의 평가)에 더 일반적으로 사용되고 있으며(Bearman & Ajjawi, 2021; Harland & Wald, 2021), 의학에서도 은유적 언어가 사용되고 있음을 주목하고 있습니다(Isaacs & Priesz, 2021). 
Although this topic has applicability beyond the context of assessment, we focus our attention on the use and application of metaphor specifically in assessment contexts in the health professions because we have noticed a marked increase of the application of metaphors in recent years. Programmatic assessment in particular has given rise to many analogies over the past few years, such as between healthcare and programmatic assessment (Schuwirth et al., 2017), the process of joining a choir (Uijtdehaage & Schuwirth, 2018, p. 350), decision-making in jury trials (Tweed & Wilkinson, 2019), and thinking of programmatic assessment as a drug in a trial phase (Wilkinson & Tweed, 2018, p. 191). Assessment design in the health professions has been compared with cocktails and symphonies (Al-Kadri, 2015) and the design and building of sailing ships (Dauphinee, 2020). Metaphorical language is increasingly common in medical educators’ talk about their assessment relationships with students (Rees et al., 2009) and the separation of feedback and assessment has been compared with the distinction between driving lessons and driving tests (Brand et al., 2021). We are also noticing metaphorical language being deployed in educational assessment more generally (such as assessment as an ‘arms race’), outside of medical education (Bearman & Ajjawi, 2021; Harland & Wald, 2021), as well as its use in medical science (Isaacs & Priesz, 2021).

언어가 의미를 전달하는 데 중요한 역할을 하기 때문에 사람들이 은유적 언어에 반응하고, 받아들이고, 사용하는 방식과 관련하여 시간이 지남에 따라 일어난 변화를 생각해 볼 필요가 있습니다. 현재의 사용과는 완전히 대조적으로, 1955년 철학자 맥스 블랙의 에세이는 은유를 사용하는 철학자를 경시하는 경향에 대해 언급하면서 은유는 논증이 아니라는 점을 지적했습니다: "은유에 대한 중독은 은유적으로만 말할 수 있는 곳에서는 전혀 말하지 말아야 한다는 원칙에 따라 불법으로 간주됩니다."(Black, 1955). 1955년 블랙의 생각은 언어를 설명의 수단으로 사용하고 난독화에 반대하는 분석철학 전통의 추진력과 일치합니다. 당시에는 언어를 신중하고 정확하게 사용하는 것이 의도한 의미에 도달하는 가장 좋은 방법이라는 생각이었습니다. 이러한 관점에서 볼 때 문자 그대로의 언어는 의미를 더 투명하게 만드는 데 도움이 됩니다. 이러한 입장은 비트겐슈타인과 같은 철학자들에 의해 도전받았는데, 비트겐슈타인은 말의 의미를 파악하기 위해서는 단어가 어떻게 사용되는지 살펴봐야 한다고 주장했습니다(Wittgenstein, 2009). 그리고 더 근본적으로는 의미를 생성하는 것은 언어 그 자체라고 주장한 데리다(Derrida, 1974)도 있습니다. 이러한 질문은 해석과 의미의 문제를 다루는 철학의 하위 분야인 해석학의 심오한 질문으로, 은유의 사용을 살펴볼 수 있는 렌즈를 제공합니다. 
Because of the role language plays in conveying meaning, it is worth reflecting on the shifts that have occurred over time in relation to the way people react to, accept and use metaphorical language. In stark contrast to current usage, a 1955 essay by philosopher Max Black remarked on the tendency to belittle philosophers for using metaphor, also noting that metaphors are not arguments: “Addiction to metaphor is held to be illicit, on the principle that whereof one can speak only metaphorically, thereof one ought not to speak at all” (Black, 1955). Black’s thinking in 1955 aligns with the drive in the analytic philosophical tradition that wanted to use language as a means of clarification, rallying against obfuscation. The idea here was that language, used carefully and with precision was the best way to get to intended meaning. From this perspective, literal language helps make meaning more transparent. This position was challenged by philosophers such as Wittgenstein in his later work (Wittgenstein, 2009), who claimed that to get at the meaning of words we need to look at how they are used. And more radically, by Derrida (Derrida, 1974), who argues that it is language itself which generates meaning. These are deep questions in hermeneutics – a sub-branch of philosophy that deals with issues of interpretation and meaning – which provide lenses through which we can examine the use of metaphors.

이러한 이론적 논쟁에도 불구하고, 최근 우리 학계의 학술 활동을 보면 은유의 명성이 회복되고 있는 것으로 보입니다(Regehr, 2010; Rodgers, 2016; Tate, 2020). 이 논문 작업을 처음 시작했을 때 가장 최근호인 의학교육(55권 8호, 2021년 8월)에는 제목에 늑대, 벽돌과 박격포, 곡물, 바 등 은유가 명백하게 사용된 논문이 6편이나 실렸습니다. 분명히 은유는 교육에서 어디에나 존재하며 다양한 방식으로 자리 잡고 있습니다. 은유적 언어는 단순히 장식적인 것으로 여겨지기보다는 지적 활동에 거의 필수적인 요소가 되었습니다. 라코프와 존슨의 1980년 저서 『우리는 은유로 산다』는 "은유적 사고는 의식적이든 무의식적이든 우리의 정신 생활에서 정상적이고 보편적인 것"임을 입증했습니다(Lakoff & Johnson, 2003, 244쪽). 우리의 개념 체계는 본질적으로 은유적입니다. 우리는 은유를 통해 추론하고 추론하며, 우리가 사용하는 은유는 우리가 세상을 해석하는 방식에 영향을 미칩니다. 
Regardless of these theoretical disputes, to judge from recent scholarly activity in our discipline, metaphor’s reputation has been well and truly restored (Regehr, 2010; Rodgers, 2016; Tate, 2020). When we initially began working on this paper, the most recent issue of Medical Education (Vol. 55, No. 8, August 2021) contained six articles with overt metaphors in their title (such as wolves, bricks and mortar, grains, bars…). Clearly metaphors are ubiquitous in education, and are entrenched in manifold ways. Rather than being seen as merely decorative, metaphorical language has become almost essential to intellectual activity. Lakoff and Johnson’s seminal 1980 Metaphors We Live By demonstrated that “metaphorical thought is normal and ubiquitous in our mental life, both conscious and unconscious” (Lakoff & Johnson, 2003, p. 244). Our conceptual systems are fundamentally metaphorical in nature. We reason and infer in terms of metaphor, and the metaphors we use impact how we interpret the world.

은유적 언어가 널리 퍼져 있으며 사고의 중심적인 역할을 한다는 Lakoff와 Johnson의 주장에 동의합니다. 예를 들어, 과학은 물리적 과정에서 의미를 만들기 위해 은유를 사용해 온 오랜 역사를 가지고 있습니다(Brown, 2003; Hesse, 1965). Bleakley는 의학 연구도 다르지 않으며, 특히 의학 언어는 "은유에 젖어 있고 은유로 사고하는 것이 진단 작업의 중심"이므로 은유는 우리가 적극적으로 수용해야 하는 언어의 "생명선"이라고 주장합니다(Bleakley, 2017). 그는 의학이 전통적으로 두 가지 은유, 즉 전쟁으로서의 의학(그리고 질병은 전투)과 기계로서의 신체라는 두 가지 은유에 의해 지배되어 왔다고 생각합니다. 이러한 은유는 매우 영향력이 커서 우리는 그것이 비문자적이라는 사실을 거의 잊어버립니다. 의학의 은유는 "삶과 죽음은 대중문화에서 반복되는 주제이며 관련 은유가 풍부"하기 때문에 우리의 상상력을 분명하게 사로잡습니다(Kirklin, 2001). 은유는 의학교육과 임상 교육에서도 일상적으로 사용되며(Masukume & Zumla, 2012), 종종 직관적이고 교육자의 공감을 불러일으킵니다. 평가도 이 점에서 다르지 않은 것으로 보입니다. 
We agree with Lakoff and Johnson that metaphorical language is pervasive and plays a central role in thinking. The sciences, for example, have a long history of using metaphors to make meaning from physical processes (Brown, 2003; Hesse, 1965). Bleakley argues that the study of medicine is no different and that metaphor is the “lifeblood” of language that we should actively embrace, especially as medical language is “soaked in metaphor, and thinking with metaphor is central to diagnostic work” (Bleakley, 2017). He regards medicine as traditionally dominated by two metaphors in particular: medicine as war (and illness a battle), and the body as machine. These lenses are so influential that we almost forget they are non-literal. Metaphors in medicine clearly capture our imagination, perhaps due to the fact that “life and death are recurrent themes in popular culture and related metaphors abound” (Kirklin, 2001). Metaphors are also routinely part of medical education and clinical teaching (Masukume & Zumla, 2012), are often intuitive and resonate with educators. And assessment appears to be no different in this regard.

방법론적 접근
Our methodological approach

이 주제를 보다 심도 있게 탐구하기 위해서는 먼저 특정 은유(비유를 포함)와 비유적 언어(비유적 언어를 말이나 글에 사용하는 것)로 더 잘 설명되는 은유적 언어의 광범위한 현상을 구분할 필요가 있습니다. 이 백서 전반에 걸쳐 사용된 이러한 언어는 일반적으로 독자를 '끌어들이는' 수사적 기능을 합니다. 예를 들어, 제목은 니체의 초기(1874년) 에세이 중 하나인 "삶을 위한 역사의 사용과 남용에 관하여"(니체, 2007)에 대한 경의를 표합니다. 삶을 위한 역사의 유용성에 대한 니체의 비판을 통해 우리는 평가 연구 및 실무에서 은유의 유용성/장점 및 잠재적 위험/단점을 모두 조사하고자 합니다. 여기서 우리가 문제 삼고자 하는 것 중 하나는 은유가 충분한 의미를 전달하고, 어떻게든 자명하게 정당하며, 반드시 이해를 증진시키거나 사고의 미묘한 탐구를 이끌어낸다는 개념입니다. 우리는 일반적으로 비유적 언어의 사용에 대해 비판적이지는 않지만(실제로 우리 자신도 의미를 전달하기 위해 지속적으로 비유적 언어에 의존하고 있습니다), 보건 전문직의 평가에서 은유가 너무 자주 무비판적으로 수용되어 의도하지 않거나 고려하지 않은 의미가 문제의 개념에 '스며들' 위험이 있다는 우려에 동기를 부여받았습니다. 그렇지 않더라도 평가에서 은유의 가치에 대한 이러한 비판은 시의적절하다고 생각합니다.

To probe the topic in greater depth, we need to first make an important distinction between specific metaphors (which include analogies) and the broader phenomenon of metaphorical language, perhaps better described as tropological language – the use of figurative language in speech or writing. Such language, as utilised by us throughout this paper, typically ‘hooks in’ readers and has a rhetorical function. For instance, our title pays homage to one of Nietzsche’s early (1874) essays “On the use and abuse of history for life” (Nietzsche, 2007). Channelling Nietzsche’s critique of the utility of history to serve life, we aim to interrogate both the usefulness/benefits and potential dangers/disadvantages of metaphor in the service of assessment research and practice. Part of what we want to problematize here is the notion that metaphors convey sufficient meaning, are somehow self-evidently legitimate, necessarily advance understanding or elicit nuanced exploration in thought. Although we are not critical of the use of tropological language in general (indeed, we continually rely on it ourselves to convey meaning), we are motivated by a concern that metaphors are too often accepted uncritically in assessment in the health professions, with the risk that unintended or unconsidered meanings ‘seep into’ the concept in question. Even if this is not the case, we believe that such a critique of the value of metaphor in assessment is timely.

이 논문에서 우리는 의학교육에서 은유를 사용할 때, 특히 평가와 관련하여 은유의 역할, 기여도, 이점 및 한계에 대해 신중한 주의가 필요하다는 점을 설득력 있게 제시하고자 합니다. 요컨대, 우리는 은유 사용에 대한 비판적 관점을 요구합니다. 보노가 은유가 기능하는 방식에서 어떻게 생성적이고 변형적인지 설명한 것처럼(Bono, 1990), 우리는 모든 은유가 잠재적으로 조명과 오해를 불러일으킬 수 있는 효과를 가지고 있다고 주장합니다. 즉, 은유는 사고와 행동을 형성하고 기대, 신념, 문화, 담론을 변화시킬 수 있습니다(Elmore & Luna-Lucero, 2017; Thibodeau et al., 2017). 따라서 은유의 힘 - 은유적 담론은 은유적 언어가 의미를 변화시키는 능력과 거래합니다(Bono, 1990, 73쪽; Lakoff & Johnson 2003). 은유는 사람들이 사물을 이해하는 데 도움이 될 수 있으며('설명'에 사용될 때), 개념이나 문제를 생산적으로 복잡하게 만들기 위해 사용될 수도 있습니다('탐구'에 사용될 때). 하지만 은유는 모호하게 만들 수도 있습니다. 다섯 가지 구체적인 은유를 실제로 풀어봄으로써 평가 연구와 실무를 발전시키는 데 도움이 될 만한 인사이트를 도출합니다. 
In this paper, we make attempts to offer a compelling indication that the use of metaphors in medical education, particularly in reference to assessment, require careful attention with respect to their role, contributions, benefits and limitations. In short, we call for a critical perspective on the use of metaphors. Just as Bono elucidates how metaphors are both generative and transformative in the way that they function (Bono, 1990), so do we argue that every metaphor has potentially illuminating and misleading effects. That is, metaphors can shape thought and behaviour, shift expectations, beliefs, cultures and discourses (Elmore & Luna-Lucero, 2017; Thibodeau et al., 2017). Hence the power of metaphor – metaphorical discourse trades on the capacity of metaphorical language to shift meaning (Bono, 1990, p. 73; Lakoff & Johnson 2003). Metaphors can help people make sense of things (when used to ‘explain’), and they can also be used in order to productively complexify a notion or issue (when used to ‘explore’). But they can also obscure. By unpacking five specific metaphors in action, we draw out insights that we hope will help advance assessment research and practice.

특정 은유가 평가에 어떻게 사용되는지 조사하여 평가 이론과 실무에 어떤 가치를 더하는지 살펴봅니다. 이 설명적 분석에서는 각 은유의 근거와 기능, 각 은유가 가져다주는 이득을 조사하고 각 은유가 의도하지 않은 결과나 손실을 가져올 수 있는지 여부를 탐구합니다. 다시 한 번 강조하지만, 우리는 평가에서 일반적으로 사용되는 비유적 언어가 아니라 보건 전문직에서 사용되는 특정 평가 비유를 조사합니다. 여기서 은유란 평가 설계자 또는 사용자가 진행하는 방식에 영향을 미치는 휴리스틱 또는 사고 도구로 배포된 은유를 의미합니다. 은유의 유용성에 대한 유형을 제안함으로써 은유의 잠재적 장단점을 논의하는 것으로 마무리합니다. 
We proceed by interrogating how specific metaphors are used in assessment to consider what value they add to assessment theory and practice. In this descriptive analysis, we probe each metaphor’s rationale and function, the gains each metaphor makes, and explore whether each may carry unintended consequences or losses. Again, we are not examining tropological language in assessment in general, but rather, specific assessment metaphors in action in the health professions. By this, we mean metaphors deployed as heuristics or thinking tools with implications for how assessment designers or users proceed. We conclude by discussing the potential advantages and disadvantages of metaphors in action by proposing a typology of their utility.

이것은 사용 가능한 모든 은유에 대한 완전한 연구가 아니며, 다른 사람들이 더 체계적인 연구를 수행하도록 권장합니다. 저희의 접근 방식은 은유가 어떻게 사용되고 기능하는지에 대한 경험적 연구와 더 많은 성찰을 자극하는 방법이라고 생각합니다. 저희는 이 작업을 '성찰'로 시작했습니다. 시간이 지남에 따라 작업이 발전하면서 주제에 접근하는 방식을 명확히 하는 것이 중요하다는 것을 알게 되었습니다. 사실, 성찰은 방법론적 토대와 반대되는 개념이 아닙니다. 우리의 의도는 주로 문제를 제기하고 은유를 비평하는 것의 가치를 입증하는 것입니다. 이 다섯 가지를 선정한 이유는 주로 평가 담론에서 지배적이기 때문입니다. 우리의 접근 방식은 전반적으로 비판하는 것이 아니라 이러한 사례를 활용하여 은유 사용의 함의를 강조하는 것입니다. 이 다섯 가지 사례는 간략하게 해체하면 그 가치를 강화하는 동시에 다른 잠재적 문제도 제기할 수 있습니다. 따라서 이러한 사례는 평가 맥락에서 은유를 적용할 때의 다양한 장점과 잠재적인 단점을 설명하는 데 도움이 됩니다. 여기서 '잠재적'이라고 표현한 이유는 은유가 잘못되었다는 발표된 증거가 거의 없기 때문입니다. 문헌에 이러한 사례가 없음에도 불구하고 실제로 문제가 발생하는 것을 목격했다는 사실은 주의가 필요한 실제 문제를 말해줍니다. 출판된 증거가 부족함에도 불구하고 이 잘 설명되지 않은 문제에 의도적으로 초점을 맞추면 보건 전문직 교육의 중요한 측면을 조명할 수 있습니다(Paton 외., 2021). 
This is by no means an exhaustive study of all the metaphors available, and we encourage others to conduct more systematic studies. We see our approach as a way of stimulating empirical work and further reflections on how metaphors are used and function. We began working on this piece as a ‘reflection’. As our work developed over time, we saw it important to articulate how we approached the topic. Indeed, a reflection is not antithetical to a methodological underpinning. Our intention is primarily to raise the issue and demonstrate the value in critiquing metaphors. We have selected these five mainly due to their dominance in assessment discourse. Our approach is not to critique overall, but to leverage these examples to highlight implications of metaphor use. We found these five amenable to a brief deconstruction that reinforced some of their value but also raised other potential issues. As such, they serve to elucidate different advantages and potential disadvantages of applying metaphors in assessment contexts. We say ‘potential’, as there is scant published evidence of metaphors going wrong. Despite this absence in the literature, the fact that we have seen problems arise in practice speaks to a real issue requiring attention. Deliberately focusing on this under-described issue, despite the lack of published evidence, can still shed light on this important aspect of health professions education (Paton et al., 2021).

구체적인 평가 은유를 실제로 살펴보기
Examining specific assessment metaphors in action

예 1 - 픽셀 은유
Example 1 – The pixel metaphor

단일 픽셀 이미지가 픽셀이 증가함에 따라 점차 해상도가 높아져 모나리자를 보여주는 한 가지 평가 은유가 현재 평가계에서 일반화되어 있습니다(van der Vleuten et al., 2017). 이는 특정 은유가 사고 도구로 활용되는 예시이며, 더 많은 데이터 포인트가 더 나은 역량 측정과 동일하거나 더 많은 평가 방법이 더 나은 그림을 제공하거나 더 많은 평가자 특유의 판단이 그림을 완성한다는 개념에 기반합니다... 이 은유는 널리 적용 가능하며 샘플링의 복잡성을 간단한 방식으로 제시하고 새로운 통찰력과 이해에 도달하는 데 유용했습니다(Pearce et al., 2021). 예를 들어, 픽셀 은유는 다중 및 표적 샘플링 평가에서 중요한 개념을 촉진하는 것과 함께 학습자의 역량을 '인식'했다고 생각하면 데이터 포화 상태에 도달하여 샘플링이 충분히 이루어졌다는 것을 암시할 수도 있습니다. 더 이상의 '픽셀'은 불필요하며 우리가 이미 알고 있는 것을 알려줄 뿐입니다. 
One assessment metaphor is now common in assessment circles – a single-pixel image becomes progressively more resolved with increasing pixels to show the Mona Lisa (van der Vleuten et al., 2017). This is an exemplar of a specific metaphor being deployed as a thinking tool, and it hinges on the notion that more datapoints equate to a better measure of competence, or more methods of assessment give a better picture, or more rater idiosyncratic judgments complete the picture… This metaphor has widespread applicability, suggests the complexities of sampling in a simple way, and has been useful in helping reach new insights and understanding (Pearce et al., 2021). For instance, along with promoting the important concept in assessment of multiple and targeted sampling, the pixel metaphor could also suggest that once we think we ‘recognise’ the competence of the learner, we have reached data saturation and have sampled enough. Further ‘pixels’ are redundant and just tell us what we already know.

하지만 비판적인 관점에서 볼 때, 프로그래밍 방식에는 픽셀 은유로 인해 가려질 수 있는 몇 가지 뉘앙스가 내재되어 있으며, 특히 은유가 다른 방향으로 취해지는 경우 더욱 그렇습니다. 예를 들어, 모나리자처럼 보이는 것이 잘 실행된 모사본으로 판명되면 어떻게 될까요(즉, 학습자가 표면적으로는 유능해 보이지만 진정한 이해가 부족한 것처럼 보일 정도로 충분히 연습한 경우)? 아니면 초기의 다소 거친 원본 버전(학습자의 실력이 현재 학습 단계에 맞게 충분히 발전하고 있음)인가요? 특이한 평가자 데이터를 결합하는 것이 측정 구성을 만족시킨다는 개념에 이의를 제기하는 문헌도 있습니다(Gingerich 외., 2014; Sherbino 외., 2013; Tavares 외., 2016). 실제로 이 은유는 (프로그램적 평가 자체가 구성주의적 접근 방식과 일치함에도 불구하고) '진정한' 이미지가 발견되거나 발견되기 때문에 포스트 실증주의적 사고에 근거한 것으로 보입니다. 다른 곳에서도 언급했듯이(Pearce & Tavares, 2021), 픽셀(데이터) 포화도에 도달하면 이미지가 고정되는 경향이 있기 때문에 의사 결정에 편향성을 초래할 수 있습니다. 따라서 이 은유는 샘플링을 신뢰성 또는 삼각 측량으로 보는 입장에 영향을 미치는 기본 전제와 같이 논쟁의 여지가 있는 중요한 철학적 문제를 잠재적으로 모호하게 만들 수 있습니다. 우리는 이를 암묵적인 철학적 가정이 은유를 해석하는 방식에 어떤 영향을 미치는지 보여주는 예로 제시합니다(Tavares et al., 2020a, b). 픽셀 은유는 샘플링과 관련된 문제를 단순화하는 데 도움이 되고 직관적으로 매력적이지만, 이 은유를 지나치게 강조하거나 신중한 검토 없이 채택하면 프로그래밍 평가에 내재된 일부 복잡성을 잃을 수 있습니다. 
From a critical perspective though, there are several nuances inherent in a programmatic approach that may become obscured as a result of the pixel metaphor, especially if the metaphor is taken in different directions. For example, what if what looks like the Mona Lisa turns out to be a well-executed copy (i.e., the learner has practiced sufficiently to appear superficially competent but lacks genuine understanding)? Or an early and somewhat rough version of the original (the learner’s skills are developing well enough for the current stage of learning)? There is also literature that challenges the notion that combining idiosyncratic rater data satisfies a measurement construct (Gingerich et al., 2014; Sherbino et al., 2013; Tavares et al., 2016). Indeed, the metaphor seems grounded in post-positivist thinking, as the “true” image is uncovered or discovered (despite programmatic assessment itself aligning with a constructivist approach). As we have noted elsewhere (Pearce & Tavares, 2021), this may result in a propensity for bias in decision-making, as images tend to become fixed once pixel (data) saturation is reached. The metaphor can thus potentially obscure important philosophical issues that are contested, such as the way underlying presuppositions influencing positions on sampling as reliability or sampling as triangulation. We offer this as an example of how implicit philosophical assumptions colour the way the metaphor is interpreted (Tavares et al., 2020a, b). Although the pixel metaphor has helped to simplify issues related to sampling and is intuitively appealing, some of the intricacies inherent in programmatic assessment may be lost if this metaphor is over-emphasized or adopted without careful examination.

예 2 - 운전 강습과 운전 시험 비교
Example 2 – Driving lesson vs. driving test

이 비유는 최근에야 보건 전문직 평가 문헌에서 등장했습니다(Brand et al., 2021). 이 아이디어는 대부분의 사람들이 쉽게 이해할 수 있으며, 직관적인 매력으로 인해 빠르게 자리 잡을 것으로 예상됩니다. 이 비유는 평가와 피드백이 혼동될 때, 즉 감독자와 학습자가 총체적 평가와 피드백을 혼동할 때 어떤 일이 일어나는지 보여주기 위한 것입니다. 저자들은 학습자가 평가를 시험으로 간주하면 피드백을 받아들이지 않는다고 가정합니다. 시험 모드에서는 시험에 합격하여 운전면허를 취득할지 여부에만 관심을 갖습니다. 그러나 학습자가 평가 과제를 운전 강습과 같이 접근하면 학습 모드에 있으며, 구체적인 피드백을 수용하고 종종 찾게 됩니다. 거의 모든 성인이 운전 강습과 운전 시험의 차이에 공감할 수 있기 때문에 이 비유는 매우 효과적입니다. 이 비유는 평가와 평가 과제에 대한 접근 방식 및 경험에 대한 대화의 방향을 전환하는 데 도움이 될 수 있으므로 교수자 개발에 매우 유용할 수 있습니다.
This metaphor has only recently emerged in the health professions assessment literature (Brand et al., 2021). The idea is easy for most to appreciate, and one which we believe will quickly take hold due to its intuitive appeal. The metaphor intends to show what happens when assessment and feedback are confused; when supervisors and learners mix up summative assessment and feedback. The authors posit that when learners view an assessment as a test, it renders them unreceptive to feedback. In exam mode, all they care about is whether they pass the test and get their driver’s license. But if learners approach an assessment task like a driving lesson, they are in learning mode, and they are receptive to and often looking for specific feedback. This metaphor is powerful, because practically every adult can relate to the difference in experiencing a driving lesson versus a driving test. It may help re-orient conversations around assessment, and approaches to and experiences of an assessment task, and is thus potentially highly useful in faculty development.

우리는 저자들이 이 은유의 가치를 신중하게 고려한 것을 지지하며, 그러한 주의 없이 이 은유를 사용하는 것은 바람직하지 않습니다. 저자들은 "은유의 유용성"에 대해 세 단락을 할애하여 논의하며 은유의 유용성은 은유의 인식에 있다고 말합니다. 또한 "의사를 혼란스럽고 짜증나게 할 수 있는 복잡한 교육 전문 용어에 의존하지 않고도" 시험과 학습 모드의 차이를 명확히 설명할 수 있다는 점을 주요 장점으로 꼽으며, 이러한 실용적인 이점은 분명 높이 평가합니다. 그러나 저자가 이 은유를 사용할 때 발생할 수 있는 다른 잠재적 위험은 저자가 설명하지 않았습니다. 예를 들어, 둘 중 하나만 제시하는 방식은 모든 평가가 형성적 또는 총괄적 평가라는 평가에 만연한 이분법/극단을 강화할 수 있습니다(Govaerts et al., 2019). 또한 운전면허 시험이 중요한 전부라고 받아들일 경우 시험의 지속적인 헤게모니를 영속화할 수 있습니다(Pearce & Prideaux, 2019). 여기에는 은유에 가려질 수 있는 심오한 철학적 문제에서 비롯된 다양한 견해가 있습니다. 또한 평가와 피드백이 동시에 상호 강화적인 방식으로 이루어질 수 있는 가능성에 대한 사고와 인식을 제한하거나 차단할 수도 있습니다. 우리 중 한 사람은 사건 발생 후 수십 년이 지난 후 운전면허 시험에 합격한 후 평가자가 제공한 유용한 구체적인 피드백을 기억하고 있으며, 이는 평가와 피드백이 어떤 상황에서는 공존할 수 있음을 보여줍니다. 저자들은 이러한 뉘앙스뿐만 아니라 이 비유가 한 가지 목적에는 잘 부합하지만 의도하지 않은 방식으로 평가에 대한 관념을 영속화할 수 있다는 점도 잘 알고 있을 것으로 생각합니다. 이 글의 의도는 형성적 평가와 총괄적 평가를 혼용하는 것의 장점에 대해 토론하는 것이 아니라, 이 비유를 실제로 사용할 때 발생하는 함의를 강조하는 것입니다. 
We endorse the authors’ careful consideration of the value of the metaphor, rather than just employing it without such care. They devote three paragraphs discussing “the usefulness of the metaphor” and note its utility lies in its recognition. Further, they see its main advantage as elucidating the difference between exam and learning mode “without having to resort to complex educational jargon that may confuse and irritate physicians” – a pragmatic benefit that we certainly appreciate. However, there are other potential risks that could emerge from the use of this metaphor that are not explored by the authors. For instance, the either/or presentation may reinforce prevailing dichotomies/polarities in assessment (Govaerts et al., 2019), such as all assessment being either formative or summative. It also may perpetuate the persistent hegemony of examinations (Pearce & Prideaux, 2019) if we accept that the driving test is all that matters. There are differing views here stemming from deep philosophical issues which may be obscured by the metaphor. It may also limit or shutdown more nuanced thinking and appreciation of the possibility of assessment and feedback occurring simultaneously and in a mutually reinforcing way. One of us specifically remembers useful specific feedback given by the assessor after his driving test (which he passed… just) many decades after the incident, illustrating that assessment and feedback can co-exist in some circumstances. We assume the authors appreciate this nuance, but also how the metaphor – while serving one purpose well – may perpetuate notions about assessment in unintended ways. Our intention here is not to debate the merits of blurring formative and summative assessment, but to highlight the implications that arise from using this metaphor in action.

예 3 - 배심원단의 증거 심의
Example 3 – Jury deliberations of evidence

역량 위원회는 평가 정보를 검토하고 학생의 진도에 대한 중대한 결정을 내리는 임무를 맡고 있습니다. 그룹이 정보에 입각하여 방어 가능한 결정을 내릴 수 있도록 신뢰할 수 있는 증거의 필요성과 '편견'(그룹 환경에서 증폭되거나 약화될 수 있음)의 위협에 관한 많은 문헌이 있습니다. 트위드와 윌킨슨은 배심원이 중요한 집단 결정을 내리는 것에 대해 논의하고, 배심원 및/또는 배심원의 의사 결정, 편견, 오류와 관련된 법과 심리학의 연구를 활용합니다(트위드 & 윌킨슨, 2019). 또한 배심원의 관용과 의학 교육에서 잘 알려진 'failure to fail'의 비교와 같은 흥미로운 유사점을 제시합니다. 배심원단은 일반적으로 다양한 형태의 증거를 검토하고 다양한 유형의 정보에 질적으로 가중치를 부여해야 합니다. 배심원단의 결과는 유죄/무죄로 이분법적으로 나뉘며, 이는 의학 수련생의 진급 결정(합격/불합격, 펠로우십 수여 여부)과 유사합니다. 배심원 은유는 대부분의 사람들이 이해하는 일반적인 용어를 채택하고 역량 위원회의 일부 개념에 대한 새로운 관점을 통합합니다. 이는 역량 위원회 구성원이 프로세스에서 자신이 수행하는 역할을 인식하고 잠재적으로 일부 방어성 문제를 완화하는 데 도움이 될 수 있는 흥미로운 휴리스틱입니다. 
Competence committees are tasked with reviewing assessment information and making high-stakes decisions about student progress. There is much literature on the need for credible evidence to allow groups to make informed and defensible decisions, and the threat of ‘biases’ (that can be either amplified or attenuated in a group setting). Tweed and Wilkinson discuss the idea of a jury making a high-stakes group decision, and draw on research from law and psychology relating to decision-making, biases, and errors by jurors and/or juries (Tweed & Wilkinson, 2019). They also present interesting parallels, such as the comparison between jury leniency and the well-known ‘failure to fail’ in medical education. Juries must typically review a range of different forms of evidence and qualitatively give weight to different types of information. The outcome is dichotomous (guilty/not guilty) and analogous to high-stakes progression decisions for medical trainees (pass/fail, award fellowship or not). The jury metaphor adopts a common vernacular that most people understand, and incorporates a fresh perspective on some concepts for competence committees. It is an interesting heuristic that may help members of the competence committee appreciate the role that they are playing in the process, and potentially alleviate some defensibility concerns.

이 은유의 기능과 관련 이점은 사람들이 증거에 기반한 심의 과정을 이해하는 데 도움이 된다는 점에서 분명합니다. 저자들은 이 아이디어에 대한 합의 부족, 역량과 관련하여 입증 책임이 어디에 있어야 하는지(예: 역량이 입증될 때까지 학생의 무능력을 추정하는 것으로 합의) 등 여러 가지 걸림돌이 있을 수 있다고 예상합니다. 그러나 위원회 위원들이 이 아이디어를 너무 멀리 받아들이면 문제가 될 수 있습니다. 배심원단은 수사나 추측에 휘둘려 중요한 증거를 실수로 놓치거나, 선입견을 무시하거나, 학생을 강력하게 옹호하는 사람에게 지나치게 휘둘릴 수 있습니다. 또한 배심원 평결에는 역량 개발에는 적용되지 않는 최종성이 있습니다. 유죄 평결은 번복되지 않는 한 영원히 지속되는 낙인이며, '불합격' 결정은 개선 피드백과 지원이 수반되는 일시적인 시점의 판단입니다(또는 그래야 합니다). 이는 은유의 장점으로 보일 수 있지만, 오해의 소지가 있고 비생산적일 수 있다는 주장도 제기될 수 있습니다. 또한 위원회가 동료가 아닌 전문가로만 구성되므로, 피고는 배심원 선정에 대한 우려가 있을 수 있습니다. 배심원단은 암묵적인 편견과 검증되지 않은 철학적 관점을 가지고 있을 수 있으며, 이는 상충될 수 있어 편향적인 결과를 초래할 수 있습니다. 전반적으로 이 비유는 이러한 심층적인 문제를 명시적으로 고려하는 한 교수진 개발에 도움이 될 수 있는 것 같습니다. 
The function of this metaphor and its associated gains is clear in helping people understand a process of deliberation based on evidence. The authors anticipate a number of possible stumbling blocks to the idea, such as dealing with lack of consensus, and where the burden of proof should lie with respect to competence (e.g., settling on assuming student incompetence until competence is proven). But we wonder whether there are troubling implications if committee members take this idea too far. Juries can be won over by rhetoric or conjecture – they may inadvertently miss important evidence, ignore precent, or be overly swayed by a strong advocate for the student. There is also a finality to jury verdicts that doesn’t seem applicable to competency development. A guilty verdict lasts forever, a stigma someone carries with them for life, unless it is overturned; a ‘fail’ decision is (or should be) a temporary point-in-time judgement that would be accompanied by remedial feedback and support. This may be seen as an advantage of the metaphor, but it could be argued that it has the potential to become misleading and counterproductive. There may also be concerns around juror selection by the defendant, as the committee is made up only of experts rather than peers. The jury may have implicit biases and unexamined philosophical perspectives that could be in conflict, leading to tendentious outcomes. Overall, this metaphor seems like it could be helpful for faculty development, as long as these deeper issues are explicitly attended to.

예 4 - 신호 처리
Example 4 – Signal processing

다음 예는 좀 더 심리 측정적인 관점이기는 하지만 평가의 타당도와도 관련이 있습니다. 최근 교육 측정 저널에 실린 논문에서 뉴턴은 20세기 후반 메시크가 타당도에 대해 연구한 두 가지 타당도 개념, 즉 구성-무관 분산과 구성 과소대표를 활용합니다(Newton, 2020). 이들은 독자가 특정 영역에서 학습의 실제 숙련도를 생각하도록 독려하는 신호 처리 은유를 사용하며, 평가 과정에는 해당 숙련도에 관한 정보를 이끌어내고, 전달하고, 수신하는 과정이 포함된다는 점을 인식하도록 합니다. 시험 구성 및 수행 기반 평가에 종사하는 사람은 구성과 무관한 분산과 구성 과소 대표성으로 인해 발생하는 타당도 위협을 이해합니다. 신호 처리 은유는 이러한 개념을 신호 오염과 신호 결핍으로 생각할 수 있다는 점을 강조하며, 두 개념 모두 잠재적으로 더 친숙한 개념입니다. 이 논문은 복잡한 타당도 문제를 처음 설명할 때보다 더 명확하고 포괄적으로 풀어내고, 타당도에 대한 연구와 실무를 발전시킬 수 있는 프레임워크를 제공하는 것을 목표로 합니다. 

The next example also relates to validity in assessment, albeit from a more psychometric perspective. In a recent paper in an educational measurement journal, Newton draws on two validity concepts from Messick’s late 20th century work on validity – construct-irrelevant variance and construct underrepresentation (Newton, 2020). They use a signal processing metaphor encouraging readers to think of the actual level of proficiency of learning in a particular domain, and recognise that the process of assessment involves eliciting, transmitting, and receiving information concerning that level of proficiency. Those who work in test-construction and performance-based assessments will understand the validity threats that arise with construct-irrelevant variance and construct underrepresentation. The signal processing metaphor emphasizes that these notions can be thought of as signal contamination and signal deficiency, both potentially more familiar concepts. The paper aims to unpack the complex validity issues more clearly and comprehensively than their initial articulation, and provides a framework to advance research and practice on validity.

뉴턴의 글은 은유가 명확성, 포괄성, 새롭고 흥미로운 연구 및 분석 방법을 창출하는 데 도움이 되는 사고 도구라는 점을 주의 깊게 설명합니다. 하지만 이 은유에 수반되는 잠재적 위험은 무엇일까요? 뉴턴은 포스트 실증주의적 사고에 기반한 측정 패러다임 내에서 평가 문제에 분명히 대응하고 있습니다. 이 은유는 역량과 평가를 특정 맥락에서 구성되는 것이 아니라 내재적이고 객관적인 것으로 취급합니다. '오염'이라는 개념은 상황에 따라 달라지는 것이 아니라 평가자가 노력해야 하는 '순수한' 버전을 가정합니다. 신호 오염과 결핍은 분명 중요한 의사 선발 시험에서 고려할 가치가 있는 문제이지만, 평가의 목적이 학생의 학습을 개선하는 것이거나 다른 철학적 관점에서 볼 때는 관련성이 떨어집니다. 우리는 이 비유를 평가하려는 것이 아니라, 이 비유가 어떻게 해석될 수 있는지, 그리고 이것이 평가 관행에 어떤 영향을 미칠 수 있는지 알아보고자 합니다. 이 비유는 다른 많은 비유와 마찬가지로 특정 평가 상황에서만 유용할 수 있으며, 모든 평가에 이 비유를 광범위하게 적용하는 것은 문제가 될 수 있습니다. 
Newton’s article carefully outlines how the metaphor is a thinking tool that helps us in terms of clarity, comprehensiveness, and in generating new and interesting avenues of research and analysis. But what are the potential risks that come with this metaphor? Newton is clearly responding to assessment issues from within a measurement paradigm, and one that is built on post-positivist thinking. The metaphor treats competence and assessment as intrinsic and objective, not constructed within a specific context. The notion of ‘contamination’ assumes a ‘pure’ version that assessors must strive for, rather than being situational. Signal contamination and deficiency is certainly an issue worth considering in high-stakes medical selection examinations, but it is less relevant when the purpose of assessment is to improve student learning or when viewed from another philosophical position. We are not intending to evaluate this metaphor, only to draw out how it may be interpreted and what implications this may have for assessment practice. This metaphor is likely to be useful, like many, but only in certain assessment contexts – and the application of it more widely to all assessment would be problematic.

예 5 - 도구 상자로서의 평가
Example 5 – Assessment as a toolbox

마지막으로 살펴보고자 하는 은유는 평가에서 진정으로 유비쿼터스적인 것, 즉 평가를 도구 상자의 보유 또는 사용으로 생각해야 한다는 생각입니다. 평가 방법을 '도구'라는 개념은 심리 측정적 사고와 더 일반적으로 연관된 '도구'라는 용어와 함께 거의 자명하고 문자 그대로 보일 정도로 널리 퍼진 은유입니다. 두 은유 모두 평가 전반을 '도구 상자'라고 생각하면 쉽게 확장할 수 있습니다. 이러한 은유는 특히 전문적 또는 특수한 역량을 평가할 때 흔히 사용됩니다(Ghaderi et al., 2015; Ogunyemi & Dupras, 2017; Taylor et al., 2002). 도구 상자 은유의 매력은 몇 가지 유용한 아이디어를 촉진하기 때문에 이해하기 어렵지 않습니다. 우선, 과거에는 시험관이 선호하고 익숙한 몇 가지 방법에 지나치게 의존했던 것과 달리, 교육자/시험관이 학습자의 역량을 평가하고자 할 때 사용할 수 있는 다양한 형식과 방법이 있다는 아이디어를 깔끔하게 전달해 줍니다. 도구/도구상자 은유는 하나의 평가 방법만으로는 충분하지 않다는 점을 강조하며, 올바른 목적에 맞는 도구(방법)를 선택해야 한다는 타당도 개념과도 일치합니다. 또한 교육 전문가가 평가 방법을 최대한 신뢰할 수 있고 정확하게 만들기 위해 시간과 노력을 기울이는 평가 실무의 중요한 '비하인드 스토리' 작업에 주목할 수 있습니다(평가의 '보정'이라는 관련 은유에서 알 수 있듯이). 

The final metaphor we wish to examine is truly ubiquitous in assessment – that is, the idea that assessment should be thought of as a having or using toolbox. The notion of an assessment method as a ‘tool’ is so prevalent a metaphor that it can almost seem self-evident and literal, along with the term ‘instrument’ more commonly associated with psychometric thinking. With either metaphor, it is a simple extension to think of assessment overall as a ‘toolbox’. Such usage is particularly common in the assessment of professional or specialized competence (Ghaderi et al., 2015; Ogunyemi & Dupras, 2017; Taylor et al., 2002). The appeal of the toolbox metaphor is not hard to understand, as it does promote several useful ideas. For one, it neatly conveys the idea that there are many different formats and methods available to educators/examiners seeking to assess competence in their learners, whereas in the past examiners may have been unduly reliant on a few preferred and familiar methods. The tool/toolbox metaphor encourages more variation in assessment practice, that no one assessment method is sufficient, and aligns with the concept of validity – we need to select the right tool (method) for the right purpose. Further, it can also draw attention to the important ‘behind the scenes’ work of assessment practice, where educational specialists have given time and thought to helping make the method as dependable and accurate as possible (as suggested by the related metaphor of ‘calibration’ in assessment).

그러나 도구 상자의 은유는 각 평가 상황에 대해 하나의 '올바른' 평가 방법 또는 형식이 있다는 생각을 확산시킬 위험이 있습니다. 물론 기본적인 수준에서 평가의 목적과 형식 사이에는 밀러의 가르침처럼 중요한 일치가 있습니다. 지식 평가는 일반적으로 서면 인지 과제를 필요로 하는 반면, 임상 술기 평가는 수행 기반 방법으로 가장 잘 포착할 수 있습니다(Miller, 1990). 그러나 Miller의 피라미드는 다양한 방법을 반드시 도구로 취급하는 것이 아니라 더 넓은 범주의 평가를 의미합니다. 도구 상자 비유는 훨씬 더 나아가 평가 설계는 근본적으로 개별적인 방법/도구의 집합이며, 훌륭한 평가자가 할 수 있어야 하는 것은 올바른 작업에 적합한 도구를 선택하는 것뿐이라는 것을 암시합니다(Kogan 외., 2009 참조). 이 관점에 따르면, 모든 평가 방법은 다른 좋은 도구와 마찬가지로 기성품으로 제공되며 사전 보정되어 있습니다. 이러한 평가의 개념화는 평가의 타당성을 도구의 설계, 적용, 추론 및 사용과 관련된 함의가 아닌 도구 자체에 내재된 것으로 간주하여 품질 평가 실무에 필요한 의도적인 사고와 성찰을 저해할 수 있습니다(Cook et al., 2015). 그 결과, 평가가 의심스러운 결과에 직면하면 도구의 선택과 실행이 아니라 '도구 상자'가 비판과 개혁의 초점이 되고, 더 나은 도구만 있으면 된다는 유혹에 빠지게 됩니다. 실제로 보건 전문직 평가의 역사는 특정 평가 상황에 맞는 '성배' 또는 최고의 도구(또는 도구의 조합)를 찾는 과정으로 특징지을 수 있습니다(van der Vleuten & Schuwirth, 2005). 다양한 도구의 확산은 평가를 최적화하는 방법으로서 van der Vleuten의 효용 방정식에 대한 동기가 된 것으로 보이며(van der Vleuten, 1996), 개별 도구보다는 평가 프로그램 전체에 대해 생각하는 프로그램 평가 개발의 선구자 역할을 했습니다(Pearce & Tavares, 2021). 따라서 도구 상자로서의 평가 개념은 교육자/시험관이 특정 상황에 대한 방법의 적절성, 가치 및 잠재적 타당성 위협에 영향을 미칠 수 있는 맥락 및 설계 요소를 고려하지 않고 일상적으로 방법을 채택하도록 장려할 위험이 있습니다. 
However, the toolbox metaphor risks propagating the idea that there is one ‘right’ assessment method or format for each assessment situation. At a basic level, of course, there are important correspondences between an assessment’s purpose and format, as Miller has taught us: assessment of knowledge generally calls for written cognitive tasks, while assessment of clinical skills are best captured by performance-based methods (Miller, 1990). But Miller’s pyramid does not necessarily treat different methods as tools; rather, it refers to broader categories of assessments. The toolbox metaphor goes much further, suggesting that assessment design is fundamentally a collection of individual methods/tools, and that all a good examiner needs to be able to do is pick the right one for the right job (see Kogan et al., 2009). According to this view, each assessment method, like any good tool, comes ready-made and pre-calibrated. This conceptualisation of assessment can discourage the purposeful thinking and reflection which quality assessment practice requires, with the validity of the assessment assumed to inhere in the tool itself, rather than in the design, application, inferences and implications associated with its use (Cook et al., 2015). The resulting temptation is that, in the face of questionable results from our assessments, the ‘toolbox’ becomes the focus of critique and reform instead of the selection and implementation: all we need is a better tool. Indeed, the history of assessment in the health professions may be characterised as a search for the ‘holy grail’ or best tool (or combination of tools) for particular assessment situations (van der Vleuten & Schuwirth, 2005). The proliferation of different instruments seemed to be motivation for van der Vleuten’s utility equation, as a way of optimizing assessment (van der Vleuten, 1996) and a precursor for the development of programmatic assessment – thinking less about individual tools and more about the program of assessment as a whole (Pearce & Tavares, 2021). The notion of assessment as a toolbox thus risks encouraging educators/examiners to adopt methods routinely, rather than think through the contextual and design factors that might affect the method’s appropriateness, value and potential validity threats for particular situations.

토론: 평가에서 은유의 사용과 단점
Discussion: On the uses and disadvantages of metaphors in assessment

제목에서 은유의 '사용과 남용'이라는 다소 자극적인 표현에서 벗어나, 니체의 동일한 에세이(Nietzsche, 1997)의 다른 번역본(홀링데일 저)을 논의의 출발점으로 삼아 평가 맥락에서 은유의 '사용과 단점'을 보다 냉정하게 검토해 보려고 합니다. 제시된 다섯 가지 사례를 보면 은유가 평가에 가져다주는 가치가 무엇이든 그에 상응하는 비생산적인 연관성, 함의 또는 오해가 발생할 수 있는 것으로 보입니다. 따라서 은유를 사용할 때는 잠재적 장점과 그에 따른 잠재적 단점에 세심한 주의를 기울여야 합니다. 
Departing from the more provocative language of the ‘use and abuse’ of metaphor in our title, we take a different translation (by Hollingdale) of Nietzsche’s same essay (Nietzsche, 1997) as the starting point for our discussion, and examine, more dispassionately, the ‘uses and disadvantages’ of metaphor in assessment contexts. From the five examples given, it seems that whatever value a metaphor brings to assessment, there are potentially corresponding counterproductive associations, implications, or misinterpretations that may arise. We thus need to pay careful attention to potential advantages and their corollary potential disadvantages when using metaphors.

널리 받아들여지는 은유의 타당성에 대한 잠재적 자기충족성은 평가 프로그램의 방어 가능성에 영향을 미칠 수 있습니다. 예를 들어, 저희는 교육 활동에서 픽셀 은유(및 다른 은유)를 여러 번 사용했으며, 대부분 긍정적인 반응과 새로운 이해에 대한 뚜렷한 감각을 느낀 적이 있음을 인정합니다. 그러나 다른 경우에는 서로 다른 암묵적 가정에서 비롯된 잠재적 혼란을 발견하기도 했으며, 모든 은유가 그렇듯이 이 은유에도 한계와 오해의 소지가 있다는 것을 깨닫게 되었습니다. '신 용어god term'(비슷하게 직관적이지만 역시 한계가 있는 또 다른 은유)에 대한 링가드의 경고는 여기서 적절하며, 그녀는 은유가 "반복적인 사용과 친숙함을 통해" "자연스럽고 보편적이며 필연적인 현실의 질서를 암시하게 될 수 있다"(Lingard, 2009, 627쪽)고 지적합니다. 예를 들어, 픽셀 은유를 채택하는 것이 반드시 타당한 평가를 의미한다고 잘못 생각할 수 있습니다(예: 샘플링 대상과 이유에 대한 세심한 주의 없이 샘플링하는 것)(Tavares et al., 2020a, b). 
The potential self-fulfilling nature of the validity of widely accepted metaphors could have implications for the defensibility of an assessment program. For instance, we acknowledge that we have found ourselves drawing on the pixel metaphor (and others) many times in our educational activities, with mostly positive responses and even a palpable sense of new understanding. Yet on other occasions we have also noticed potential confusion, stemming from differing implicit assumptions, helping us realise that this metaphor, as with all metaphors, also has limitations and potential misleadings. Lingard’s warning about ‘god terms’(another metaphor, similarly intuitive but also limited) is relevant here, about which she notes that “through repeated use and familiarity” a metaphor may “become suggestive of a natural, universal and inevitable order of reality” (Lingard, 2009, p. 627). For example, one may incorrectly assume that adopting the pixel metaphor necessarily implies valid assessment (e.g., sampling without careful attention to what is being sampled and why) (Tavares et al., 2020a, b).

라코프와 존슨은 은유가 "개념을 더 정의하고 적용 범위를 변경하기 위한 체계적인 장치"가 될 수 있는 방법을 설명합니다(Lakoff & Johnson, 2003, 125쪽). 개념을 추론하는 데 사용되는 은유는 일관성이 없을 수 있으며, 이는 불협화음과 긴장을 유발할 수 있습니다. 이러한 불협화음은 생산적이고, 생성적이며, 변혁적일 수 있습니다(Bono, 1990). 즉, 평가 은유가 중요하다는 것이 요점입니다. 실제로 "은유적으로 생각하는 방식이 중요합니다."(Lakoff & Johnson, 2003, 243쪽). 이 다섯 가지 (그리고 다른) 평가 은유는 우리가 평가에 대해 생각하고 실천하는 방식을 변화시킵니다. Lakoff와 Johnson의 말을 빌리자면, "상상력이 풍부하고 창의적인 은유는 ... 우리의 경험을 새롭게 이해할 수 있게 해 줍니다. 따라서 은유는 우리의 과거, 일상 활동, 우리가 알고 믿는 것에 새로운 의미를 부여할 수 있습니다."(Lakoff & Johnson, 2003, 139쪽). 

Lakoff and Johnson outline how metaphors may be “systematic devices for further defining a concept and for changing its range of applicability” (Lakoff & Johnson, 2003, p. 125). The metaphors used to reason about concepts may be inconsistent (Lakoff & Johnson, 2003, p. 273), which can lead to dissonance and tension. Such dissonance can be productive, generative, and transformative (Bono, 1990) – the point being that assessment metaphors matter. Indeed, “How we think metaphorically matters” (Lakoff & Johnson, 2003, p. 243). These five (and other) assessment metaphors change the way we think about and practice assessment. In the words of Lakoff and Johnson, “metaphors that are imaginative and creative … are capable of giving us a new understanding of our experience. Thus, they can give new meaning to our pasts, to our daily activity, and to what we know and believe” (Lakoff & Johnson, 2003, p. 139).

우리는 은유 자체와 은유가 선택되어 평가에 적용되는 방식 사이에 또 다른 중요한 구분을 하고자 합니다. 이 글 전체에서 비판해 온 것은 후자이며, 실제로 은유의 인스턴스화는 더 많은 비판을 필요로 합니다. 니체가 역사에서 그랬던 것처럼, 은유가 평가에 방해가 되지 않고 평가에 도움이 되려면 은유를 주의 깊게 파악하고 정교화하거나 설명해야 한다고 판단합니다. 따라서 이러한 요구를 해결하기 위해 은유를 배치하기 전에 구체적인 평가 요구가 무엇인지 맥락에서 파악하는 것이 출발점이 되어야 합니다. 

We want to make another important distinction, this time between the metaphors themselves, and the way they are selected and applied to assessment. It is the latter that we have been critiquing throughout this piece, and the instantiation of metaphors in practice necessitate further critique. In the same way Nietzsche does for history, we determine that metaphors must be carefully grasped and elaborated or explained if they are to be useful in serving assessment needs, rather than hindering assessment. The starting point should thus be determining what the specific assessment needs are, in context, before any metaphor is deployed to address those needs.

아래 표는 평가 맥락에서 특정 은유를 적용하는 것의 유용성을 일반적인 용도/장점 및 식별 가능한 측면의 상응하는 위험/단점 측면에서 도출하기 위한 시도입니다. 은유를 사용하는 이유, 은유가 작동하는 방식, 고려해야 할 중요한 측면에 대한 유형입니다. 행위자가 은유의 특정 인스턴스화를 단점 또는 장점으로 보는지 여부는 행위자의 관점에 따라 달라질 수 있습니다.

The box below is our attempt to draw out the utility of applying specific metaphors in assessment contexts, in terms of general uses/advantages and corresponding dangers/disadvantages of identifiable aspects. This is our typology of why metaphors may be deployed, how they work, and important aspects to consider. Whether an actor sees a particular instantiation of a metaphor as a disadvantage or advantage is likely contingent on their vantage point.

 

결론
Concluding remarks

은유는 평가 상황에서 매우 유용할 수 있습니다. 은유는 단순화, 복잡화, 의사소통, 번역, 성찰 유도, 설득에 중요한 역할을 할 수 있습니다. 은유는 강력한 수사학적 효과를 발휘하여 의도한 결과, 행동 및 기타 실용적인 결과를 이끌어낼 수 있습니다. 그러나 은유는 그 자체로 철저하고 비판적이며 정당한 증거나 논증을 구성하지 않습니다. 은유는 그러한 해명의 출발점이 될 수 있더라도 일반적으로 논증(강점과 약점 모두)을 우회하기 때문에 그럴 의도가 없습니다. 실제로 모든 사람이 은유를 사용하는 목적은 아닐 수도 있습니다! 우리는 은유가 장점으로 활용될 수 있는 잠재적인 방법뿐만 아니라 은유가 어떻게 잘못 해석될 수 있는지, 은유가 무엇을 제공하고 무엇을 무시하는지, 그리고 예상되는 수정이나 미묘한 자격을 통해 문제가 있거나 의도하지 않은 결과 또는 행동을 완화하거나 보호할 수 있는지에 대해서도 주의를 기울여야 합니다.
Metaphors can be extremely helpful in assessment contexts. They can play important roles in simplifying, complexifying, communicating, translating, encouraging reflection, and convincing. They may be powerfully rhetorical, leading to intended consequences, actions, and other pragmatic outcomes. However, in and of themselves, metaphors do not constitute thorough, critical and justified evidence or argumentation. They are not meant to, as they typically bypass argument (both their strength and weakness) even if they may be the starting point for such elucidation. Indeed, this may not be everyone’s purpose when using a metaphor! We should pay attention to potential ways that metaphors may be leveraged for their advantages, but also how they may be misinterpreted, what they offer as well as what they ignore, and perhaps mitigate or protect against problematic or unintended consequences or actions with anticipated corrections or nuanced qualifications.

블랙은 1955년 에세이를 이렇게 마무리합니다: "은유가 위험하다는 것은 의심할 여지가 없으며, 특히 철학에서는 더욱 그렇습니다. 그러나 은유 사용을 금지하는 것은 우리의 탐구 능력에 대한 고의적이고 해로운 제한이 될 것입니다."(Black, 1962). 또한 평가에서 은유를 사용하지 못하게 하고 싶지도 않습니다. 결국 은유적 언어는 정상적이고 널리 퍼져 있으며 개념적 사고의 중심입니다(Lakoff & Johnson, 2003). 그러나 우리는 은유를 사용할 때 발생할 수 있는 잠재적 위험/불이익에 주의를 기울일 것을 촉구하며, 학자들이 은유가 이해를 밝히는 것이 아니라 오히려 이해를 모호하게 하기 시작하면 의문을 제기하고, 수정하고, 자격을 부여하고, 심지어는 은유를 사용하지 않을 것을 촉구합니다. 이것이 바로 우리가 은유 사용에 대한 비판적 관점을 요구할 때 의미하는 바입니다. 

• 은유를 사용할 때 의도적으로 이 개념이 은유와 정확히 어떻게 같은가?
• 은유는 어떤 용도로 사용되는가?
• 은유는 문자 그대로의 설명을 넘어 주제에 대한 우리의 이해에 무엇을 더해주는가?
• 원래 아이디어가 은유와 어떻게 다른가요?
• 상반되는 은유를 포함하여 어떤 다른 은유도 관련성이 있을 수 있나요?
• 어떤 다른 비유 또는 새로운 비유가 평가 요구 사항을 더 잘 충족시킬 수 있는가?

Black concludes his 1955 essay thus: “No doubt metaphors are dangerous – and perhaps especially so in philosophy. But a prohibition against their use would be a wilful and harmful restriction upon our powers of inquiry” (Black, 1962). Nor would we wish to discourage metaphors in assessment. After all, metaphorical language is normal, pervasive and central to conceptual thought (Lakoff & Johnson, 2003). However, we do call for attention to be given to the potential dangers/disadvantages that may arise with their use, and urge scholars to interrogate, revise, qualify, or even dispense with a metaphor once it starts to obscure understanding rather than illuminate it. This is what we mean when we call for a critical perspective on the use of metaphors. It means being obligated to deliberately ask probing questions when metaphors are used: 

• how exactly is this concept like the metaphor?
• What purpose does the metaphor serve?
• What does the metaphor add to our understanding of the topic beyond a more literal explanation?
• How is the original idea not like the metaphor?
• What other metaphors, including contrary ones, might also be relevant?
• What different or new metaphors could better serve the assessment needs?

은유적 언어는 우리가 세상을 보고, 해석하고, 이해하는 방식을 형성하므로(Lakoff & Johnson, 2003), 평가 은유를 무비판적으로 사용하는 것이 평가가 무엇인지 또는 평가가 될 수 있는지에 대한 우리의 가정에 어떤 영향을 미칠 수 있는지 인식할 필요가 있습니다. 궁극적으로 이 글이 의료 전문가 평가에서 은유의 적절한 사용과 해석을 장려하는 데 조금이나마 도움이 되기를 바랍니다. 은유는 평가에서 아이디어와 관행을 전달하는 데 여전히 매우 중요하며, 저희는 연구와 실무에서 은유를 계속 사용하고 있습니다. 이 백서를 작업하는 동안 저희 스스로 은유를 사용하는 것에 대해 더 잘 인식하게 되었고, 이로 인해 은유의 가치와 은유 사용으로 인해 실제로 어떤 단점과 한계가 발생할 수 있는지 더 자주 멈춰서 생각해 보아야 한다는 것을 알게 되었습니다. 평가에서 은유를 비판하는 것의 중요성이 다른 사람들에게 전달되었기를 바라며, 이러한 비판적 시각이 은유의 지속적인 유용성을 보장할 것이라고 믿습니다.

As metaphorical language shapes the way we see, interpret and understand the world (Lakoff & Johnson, 2003), we need to be aware of how the uncritical use of assessment metaphors may influence our assumptions about what assessment is or can be. Ultimately, we hope that this piece goes some way to encouraging the appropriate use and interpretation of metaphors in health professions assessment. Metaphors remain extremely important for conveying ideas and practices in assessment – and we continue to use them in our research and practice. We have found that while we were working on this paper, we have become more aware of our own use of metaphors, and this has forced us to pause and reflect more often on their value and, importantly, what disadvantages and limitations in practice may be being introduced with the use of the metaphor. We hope we have conveyed the importance of critiquing metaphors in assessment to others, and we believe such a critical lens will ensure their continued utility.

 

---

Adv Health Sci Educ Theory Pract. 2023 Oct;28(4):1333-1345. doi: 10.1007/s10459-022-10203-w. Epub 2023 Feb 2.

On the use and abuse of metaphors in assessment

Jacob Pearce 1, Neville Chiavaroli 2, Walter Tavares 3

Affiliations

1Tertiary Education, Australian Council for Educational Research, Camberwell, Australia. jacob.pearce@acer.org.

2Tertiary Education, Australian Council for Educational Research, Camberwell, Australia.

3Department of Health and Society and Wilson Centre, Temerty Faculty of Medicine, University of Toronto, Toronto, ON., Canada.

PMID: 36729196

DOI: 10.1007/s10459-022-10203-w

Abstract

This paper is motivated by a desire to advance assessment in the health professions through encouraging the judicious and productive use of metaphors. Through five specific examples (pixels, driving lesson/test, jury deliberations, signal processing, and assessment as a toolbox), we interrogate how metaphors are being used in assessment to consider what value they add to understanding and implementation of assessment practices. By unpacking these metaphors in action, we probe each metaphor's rationale and function, the gains each metaphor makes, and explore the unintended meanings they may carry. In summarizing common uses of metaphors, we elucidate how there may be both advantages and/or disadvantages. Metaphors can play important roles in simplifying, complexifying, communicating, translating, encouraging reflection, and convincing. They may be powerfully rhetorical, leading to intended consequences, actions, and other pragmatic outcomes. Although metaphors can be extremely helpful, they do not constitute thorough critique, justified evidence or argumentation. We argue that although metaphors have utility, they must be carefully considered if they are to serve assessment needs in intended ways. We should pay attention to how metaphors may be misinterpreted, what they ignore or unintentionally signal, and perhaps mitigate against this with anticipated corrections or nuanced qualifications. Failure to do so may lead to implementing practices that miss underlying and relevant complexities for assessment science and practice. Using metaphors requires careful attention with respect to their role, contributions, benefits and limitations. We highlight the value that comes from critiquing metaphors, and demonstrate the care required to ensure their continued utility.

Keywords: Assessment; Assessment Practice; Critique; Metaphor; Metaphors.

© 2023. The Author(s), under exclusive licence to Springer Nature B.V.