평가와 피드백의 불편한 동거(Perspect Med Educ, 2016)

평가와 피드백의 불편한 동거(Perspect Med Educ, 2016)

The uneasy alliance of assessment and feedback

Christopher Watling1

평가와 피드백은 이상한 동거상황을 만들 수 있습니다. 그들의 목표는 때로는 엇갈린다. 예를 들어, 총괄 평가는 판단적이며, 학습자가 필요한 기준에 도달했는지 여부를 알려줍니다. Konopasek가 관찰하고있는 것처럼, "총괄 평가를 실시 할 때, 우리는 교육자educator라기보다 규제자regulator로 일하고있다"[1]. 한편, 피드백은 발달 적이며, 학습자의 발전을 촉진한다. 판단과 발전을 조화시키는 것은 매우 어려운 균형잡기이다.

Assessment and feedback can make strange bed fellows. Their goals sometimes lie at cross purposes. Summative assessment, for example, is judgmental, telling us whether or not learners have reached a necessary standard; as Konopasek observes, “when practicing summative assessment, we are acting far more as regulators than educators” [1]. Feedback, on the other hand, is developmental, facilitating learners’ progress. Reconciling judgement and development is a tenuous balancing act.

우수한 평가를 위한 공표 된 기준은 학습자가 평가 과정의 일부로 피드백을 받고 수행하는 데 참여해야한다는 것을 제안합니다. 특히 이러한 과정의 의도가 formative할 경우에는 더욱 그렇습니다. 피드백은 Norcini가 형성 평가의 '촉매 효과'라고 부르는 것, 즉 학습을 촉진 할 수있는 능력에 중요합니다. 또한 총괄 평가에는 학습자에 대한 정보가 담겨 있고, 이 정보는 정보는 미래 학습을 이끌 기 위해 활용할 수 있습니다. 어떻게 학습자가 평가에 포함된 피드백에 의미있게 참여하도록 장려 할 수 있을 것인가는 교육자에게 어려운 과제입니다.

Published criteria for good assessment suggest that learners should participate in receiving and acting on feedback as part of assessment processes, particularly when the intent of those processes is formative [2]. Feedback is critical to what Norcini calls the ‘catalytic effect’ of formative assessment – its capacity to drive learning forward [2]. And even summative assessment assessments contain a treasure trove of information about learners – information that could be harnessed to guide their future learning. Exactly how we can encourage learners to meaningfully engage with the feedback embedded in these assessments is a vexing challenge for educators.

해리슨과 동료는 3 개의 다른 국가의 3 가지 의대에서 형성 피드백에 대한 학생의 수용성의 탐구에서 3 가지 평가 방법을 사용하여이 문제를 임하고있다 [3]. 그들의 짜릿한 접근은 기관의 평가 문화가 학습자의 행동에 미치는 영향을 고려한다. 최근에는 성적보다는 학습을 중시하는 문화를 확립하는 것이 요구되고있다 [1] - 실패를 처벌하기보다는 개선을 위해 코칭하는 문화 [4] - 그런 문화가 어떻게 구성되어 있는지를 이해해야 한다.

Harrison and colleagues grapple with this problem in their exploration of students’ receptivity to formative feedback across three different medical schools, in three different countries, with three distinct approaches to assessment [3]. Their refreshing approach considers the influence of institutional assessment culture on learner behaviour. Recent calls for medical schools to establish cultures that emphasise learning over performance [1] – cultures where coaching for improvement supplants punishment for failure [4] – compel us to understand how such cultures are constituted.

해리슨의 작품은 사회 문화적 관점에서 문제를 찾기위한 의학 교육 연구의 성장 추세의 일부입니다. 사회 문화 학습 이론은 학습의 최전선에서 문화, 문맥, 시스템, 조직을 평가하는 관점을 제공한다. 연구원은 개별 학습자의 마음뿐만 아니라 학습자가 참여하는 전문가 커뮤니티와 학습자가 발달하고있는 제도적인 환경에서도 큰 이미지를 알아 내고자 한다. 평가 전략을 포함 교육적 접근은 우연이 아니다. 이것은 오히려 원칙적이면서도 실용적인 일련의 의도적인 교육적 선택이다. 어떤 학문 또는 전문직에 의해서 만들어진 교육적인 선택은 그들의 가치를 반영하고있다 [6]. 내 관점에서 평가 문화의 탐구는 그 프로그램 및 사례를 설명를 설명하는 것에서 멈추어서는 안된다. 우리는 그 사례가 대표하고 유지하는 가치와 그 가치가 학습자의 행동에 미치는 영향을 심도있게 조사해야 한다. 우리의 평가 문화가 반영하는 가치가 미래의 의사가 받아 들일 가치인지 여부를 물어야 한다.

Harrison’s work is part of a growing trend in medical education research toward exploring issues from a sociocultural point of view. Sociocultural learning theories offer a perspective that positions culture, context, system, and organization at the forefront of learning. They direct researchers to examine the big picture, looking not only at the minds of individual learners, but also at the professional communities those learners are joining, and at the institutional environments within which those learners are developing [5]. Pedagogical approaches, including assessment strategies, are not accidental; rather, they reflect a series of deliberate educational choices – some principled, some pragmatic. And the educational choices made by a discipline or profession, in turn, mirror its values [6]. In my view, any exploration of an assessment culture cannot stop at a description of its programs and practices. We should dig deeper, unearthing the values those practices represent and sustain, and the influence of those values on learners’ behaviour. We should ask whether the values our assessment culture reflects are the values we want our future doctors to embrace.

Harrison은 학습자와 그 맥락과의 상호 작용에 초점을 맞춘 렌즈를 제공하여 학생들의 선택과 독립성을 높이기 평가 문화가 학생들의 피드백 수용성을 향상 시킨다는 것을 보여주고있다 [3 ]. 이 발견은 참신하지만 우리를 놀라게 하지는 않는다. 의학 전문 문화는 독립성과 자율성을 중시하고있다 [7]. 학습자는 점차 감독과 지도의 필요성을 줄여 나가는 것을 목표로 한다. 따라서 이러한 핵심 전문적인 가치관에 부합하는 평가 전략은 바람직 학습자의 행동을 촉구 가능성이 높아집니다. 학습자가 '평가가 자립을 가능하게 한다'고 간주하면 더 쉽게 받아들일 것이다.

Harrison offers a ‘focused lens’ on the interactions between learners and their contexts, showing that assessment cultures that afford greater student choice and independence reap the reward of greater student feedback receptivity [3]. This finding is novel, but should not surprise us. Medicine’s professional culture values independence and autonomy [7]. Learners aspire to gradually shed their need for supervision and guidance. Assessment strategies that align with these core professional values may therefore be more likely to encourage desirable learner behaviour. When learners can see assessment as enabling their independence, they may buy in more readily.

해리슨은 또한 학생들이 신빙성이 부족하다고 생각하는 의견을 무시하고, 의견의 해석과 사용의 안정성 중심적인 위치에 대한 초기 연구를 강화하고있다 [8]. 그러나 신빙성credibility 자체는 문화와 문맥 적으로 정의되어있다 [9]. 의학의 신뢰성은 실제 임상 연구로 이어지는 경향이 있습니다. 우수한 임상 신뢰할 수있는 소스이며, 실제 사례가 신뢰할 수있는 위치입니다. Harrison은 총괄적인 평가 문화가 학습자에 대한 신뢰성 개념을 왜곡 될 수 있다고 경고하고있다. 학습자는 OSCE를 준비할 때, 실제 임상 환경에서의 피드백을 종종 무시하는데, 그 이유는 실제 임상 환경에서의 피드백이 합격에 필요한 성적을 낸다는 신뢰가 없기 때문이다 [3] - 이것은 평가의 의도하지 않은 영향을 엿볼 수있는 직업의 가치관에 맞지 않는 문화의 사례이다.

Harrison further suggests that students ignore feedback they deem to lack credibility [3], reinforcing earlier research on the central place of credibility in the interpretation and use of feedback [8]. Credibility itself, however, is culturally and contextually defined [9]. Credibility in medicine tends to link to authentic clinical work – excellent clinicians are credible sources of feedback, and real cases are credible venues. Harrison cautions that a summative assessment culture may distort notions of credibility for learners. The finding that learners often ignored feedback from real clinical settings as they prepared for OSCEs – perceiving that it was not credible in the context of producing the performance required to pass the exam [3] – provides a disconcerting glimpse into the unintended influence of an assessment culture that fails to align with the profession’s values.

피드백에 있어서 총괄 평가는 넘어야 할 산이다. 전문가의 성장을 위협하는, 바람직하지 않은, 테스트에 초점을 맞춘 학습 전략을 유도하기 때문에, '총괄 평가 문화'를 부끄러워 하기 쉽지만, 학습자와 교육자는 총괄 평가 필요 성을 인식하고있다. 의학에서 총괄 평가의 문화는 직업과 사회와의 협정을 반영하고있다. 총괄 평가 문화는 안전하고 효과적인 치료를 제공하는 의무의 핵심 전문적인 가치를지지하고 있습니다. 

Summative assessment represents a particular challenge for feedback. Tempting as it may be to bemoan the ‘summative assessment culture’ as promoting undesirable, test-focused learning strategies that suffocate professional growth, learners and educators alike recognise the need for summative assessment. Medicine’s culture of summative assessment reflects the profession’s pact with society. The summative assessment culture supports a core professional value – the duty to provide safe, competent care. 

코칭이 번영 할 수 있는 문화로 음악과 스포츠를 동경 해보고 있을지도 모르기 때문에 의학의 사회적 책임 의무는 대화를 바꿉니다. 스포츠 코치와 음악 교사는 학생에 책임을진다. 의학 교사는 학생뿐만 아니라 환자와 지역 사회에 대해서도 책임을 진다. 종합 평가는 의학의 학습 문화에서 지나치게 강조되는 면이 있지만, 완전히 제거할 수는 없다. 그러나 의학이 총괄평가에 의존하는 것은 피드백에도 영향을 미칩니다. Harrison의 연구에서 학생들은 총괄평가 후에 피드백을 얻으려하지 않았는데, 이는 기존 연구에서 총괄평가에서는 피드백을 수용하고 활용할 가능성이 낮아진 것을 보여준 것과 같다. 문제는 총괄평가 자체가 아니라, 그것이 학생들에게 지배적 인 학습 문화로 자리잡는 것이다.

Illuminating as it may be to look longingly to music or sports as cultures in which coaching can thrive, medicine’s social accountability mandate changes the conversation. Sports coaches and music teachers are accountable to their students. Medical teachers are accountable to their students, but also to their patients and to their communities. While summative assessment has likely been over-emphasised in medicine’s learning culture, it cannot be lifted out completely. But medicine’s reliance on summative assessment has consequences for feedback. Students in Harrison’s study did not seek feedback after summative assessment, reinforcing his earlier work demonstrating that the uptake and use of feedback after assessment was undermined when the assessment was summative [3, 10]. The problem is not with summative assessment itself, but with summative assessment as the dominant learning culture for students.

총괄평가를 두 배로 늘려서 의미있는 피드백을 일관되게 형성할 것을 기대하는 것은 지나친 것이다. 그러나 학생들은 종종 그렇게 의도하지 않았음에도, 어떤 평가를 총괄평가로 인식합니다. 평가가 학습을 shape할 수 있으려면, 모든 player가 "무엇을하고 있는지, 왜 그것을하고 있는지, 그리고 왜 이렇게하는지"를 이해할 필요가 있습니다 [ 11]. 모든 선수가 형성적 목적으로 시행되는 평가를 발달적이고, 학습에 중점을 두는 것으로 명확히 필요가 있다. 그리고 아마도 형성적인 평가는 학습자가 결과의 두려움없이 약점을 밝힐 수있는 안전한 코칭의 기회를 창출하기 위해 때로는 '저부담'이 아닌 '무부담'이어야 한다.

Perhaps it is expecting too much for truly summative assessment to double as a consistent generator of meaningful feedback. But students often perceive assessment as summative, even when it is not intended that way. For a program of assessment to meet its potential to shape learning, all the players need to understand ‘what they are doing, why they are doing it, and why they are doing it this way’ [11]. Assessment intended as formative needs to be clearly understood by all players as developmental and learning-focused. And perhaps formative assessment, at times, needs to be ‘no-stakes’ as opposed to ‘low-stakes,’ in order to create safe opportunities for coaching within which learners can expose their weaknesses without fear of consequences.

해리슨 등은 피드백을 수용하는 문화로의 점진적인 발전을 요구하는 것으로 결론 짓고있다 [3] - 그러나 이것은 악마적인 어려운 문제이다. 이러한 목표는 유력한 용의자 - 교사를 훈련하고 더 나은 피드백을 제공하고, 학생들은 더 나은 수용자가 되도록 하려는 - 를 벗어나야만 가능할지도 모른다. 대신, 기관 수준에서 교육 과정 결정에 초점을 맞추고, 이러한 결정이 학습자에게 미칠 하류의 영향을 강조한다. 개인에 대해서 덜 생각하고, 문화에 대해 더 생각한다면, 새로운 기회가 생기고, 평가와 피드백이 학습의 편안한 파트너 역할을 할 것이다.

Harrison and colleagues conclude by calling for the gradual development of a culture of receptivity to feedback [3]– a task of diabolical difficulty. Where they offer fresh hope that this goal may be achievable is in their turn away from the usual suspects – training teachers to be better givers of feedback and students to be better receivers. Instead, they focus on curricular decisions made at the institutional level, and highlight the downstream effects these decisions have on learners. In thinking less about individuals and more about culture, new opportunities emerge to enable assessment and feedback to take their place as comfortable partners in learning.

---

Perspect Med Educ. 2016 Oct;5(5):262-4. doi: 10.1007/s40037-016-0300-6.

The uneasy alliance of assessment and feedback.

Watling C1.

Author information

1

Office of Postgraduate Medical Education, Schulich School of Medicine and Dentistry Western University, N6A 5C1, London, Ontario, Canada. chris.watling@schulich.uwo.ca.

PMID:

 

27638393

 

PMCID:

 

PMC5035286

 

DOI:

 

10.1007/s40037-016-0300-6