"추진"을 넘어: 평가, 퍼포먼스, 학습의 관계(Med Educ, 2019)

"추진"을 넘어: 평가, 퍼포먼스, 학습의 관계(Med Educ, 2019)

Beyond ‘driving’: The relationship between assessment, performance and learning

Ian M. Scott

1 도입

1 | INTRODUCTION

커리큘럼 테이블에 앉아 있는 의학 교육자로서, 나는 학생들이 '배우게 하려면' 시험을 봐야 한다는 요구를 종종 듣는다. 결국, 모든 사람들은 평가가 학습을 촉진한다는 것을 안다.

As a medical educator who sits at curriculum tables, I often hear calls for testing to ensure that students ‘learn it’; after all, everyone knows that assessment drives learning.

스완슨과 케이스1은 우리에게 '시험으로 학생들을 쥐어잡으면, 그들의 마음과 마음이 따라올 것이다'라고 충고했다. 그러나, 우리가 평가의 역할을 개념화하는 방법에 대한 문제를 인식하고 있으며, 평가가 학습에 어떻게 영향을 미치는가에 대한 기대는 시간이 지남에 따라 진화해 왔다. 

• 오래 전인 1961년 밀러2는 단순히 시험의 주된 목적이 학생들이 공부하도록 자극하는 것이라고 말했다. 

• 1996년에 Van der Vleuten3은 평가를 구성할 때 트레이드오프가 있으며 평가의 내용, 형식, 시기 및 피드백은 (평가가) 모두 학습에 사용될 수 있는 정도에 영향을 미친다고 언급했다. 

• 2011년, Norcini et al4는 능력과 학습에 대한 양쪽의 판단을 지원하기support 위한 평가를 요청했다. 

• 가장 최근에 와틀링과 긴즈버그5는 교육자로서 우리는 "퍼포먼스"를 "전문가로서의 개선을 위한 노력"으로 대체할 수 있도록, 학습과 일의 "improvement model"을 추구해야 한다고 제안한다.

Swanson and Case1 have advised us to ‘Grab students by the tests and their hearts and minds will follow’. However, there are recognised challenges in the ways we conceptualise the role of assessments, and expectations regarding how assessments affect learning have evolved over time. As long ago as 1961, Miller2 stated simply that the central purpose of a test was to stimulate students to study. In 1996, van der Vleuten3 noted that there are tradeoffs when constructing assessments and that the content, format, timing and feedback of assessments all affect the degree to which they can be used for learning. In 2011, Norcini et al4 called for assessments to support both judgements of ability and learning. Most recently, Watling and Ginsburg5 suggest that as educators, we must embrace an improvement model of learning and working so that performance is replaced by striving for improvement as a professional.

평가에 대해 점점 더 미묘한 생각을 하고 있는 이러한 상황을 고려할 때, 평가가 항상 학습자들을 학습으로 몰아가고drive 있다고 주장하는 것은 어리석은 일일 것이다. James는 사실 평가 관행은 학습과 미약한 관계가 있을 뿐이라고 주장한다.6 그러나 평가가 결코 우리의 학습자들을 학습으로 유도하지 않는다고 가정하는 것도 마찬가지로 어리석은 것이다. 평가와 학습의 불일치를 검토함으로써 우리는 '평가가 학습을 촉진한다'는 것이 보편적인 진리로 언급되었을 때 왜 신화로 간주되어야 하는지에 대해 더 잘 이해할 수 있을 것이다.

Given this increasingly nuanced thinking about assessments, it would be folly to argue that our assessments always drive our learners towards learning. James argues, in fact, that assessment practices have only a tenuous or partial relationship to learning.6 It would be equal folly, however, to assume our assessments never drive our learners towards learning. By examining the mismatch between assessment and learning we may come to a better understanding of why ‘assessment drives learning’ should be regarded as a myth when stated as a universal truth.

2 퍼포먼스와 학습

2 | PERFORMANCE AND LEARNING

학습은 실천이나 다른 형태의 경험에서 비롯되는 지식이나 행동의 안정된 변화다.7 강사는 평가를 만들고 학생들은 이러한 평가에 조치 또는 성과로 응답한다. 평가에 대한 이러한 response은 종종 학습의 표시로 표시되지만, 교육자가 관찰하는 응답은 완전히 다른 것을 나타낼 수 있다. 

• response들이 지식이나 행동의 안정적인 변화를 창출하는 것과 일치할 때, 평가는 학습을 촉진한다. 

• response들이 지식이나 행동의 안정된 변화를 창출하는 것과 일치하지 않을 때, 우리는 그것들을 배움보다는 특정한 능력을 증명하거나 암시하기 위해 수행되는 것으로 간주해야 한다. 

학습learning과 연계된 것인지, 시험응시행위(점수)performance와 연계된 것인지는 학생들이 평가에 대비하여 취하는 조치와 평가 도중 및 평가 후에 학생들이 선택한 행동에 의해 결정된다.

Learning is a stable change in knowledge or behaviour that results from practice or other forms of experience.7 Instructors create assessments and students respond to these assessments with an action or performance. Although these responses to assessments are often labelled indications of learning, the responses educators observe may represent something else entirely. 

• When responses are aligned with generating stable changes in knowledge or behaviour, then assessment drives learning. 

• When responses are not aligned with generating stable changes in knowledge or behaviour, we must consider them to be performance put on for the sake of demonstrating or implying a particular capability rather than learning. 

Alignment with learning or performance is determined by the actions students take in preparation for the assessment and the ways students choose to act during and after the assessments.

1928년 듀이는 학생들이 "정신적 노예"가 되는 것을 피하기 위해서는 학습에서 목적의식을 느껴야 한다고 언급했다.8 정신적 노예는 단순히 높은 점수나 긍정적인 피드백을 추구하는 것일 수 있으며 긍정적인 평판을 만들기 위해 행동하는 것도 포함할 수 있다. 의도적으로 학습에 대한 보상을 추구한다는 것은, 학생들이 학습에 해로움에도 불구하고 높은 시험응시행위를 보여주려고 할 때 나타나는, 평가의 바람직하지 않은 결과물이다.

In 1928 Dewey noted that students must feel a sense of purpose in their learning to avoid mental slavery.8 Mental slavery may be the pursuit of high marks or positive feedback and can include learners acting to create positive reputations. This purposeful seeking of reward over learning is the undesired consequence of assessment, when students seek to demonstrate high performance to the detriment of learning.

장기 리콜은 공부가 시간에 따라 분산될 때(즉, 분산 실습) 하나의 연속 기간에 이루어지는 것보다 더 효과적이다.9 '벼락치기'는 Learning보다 Performance에 보답을 준다. 학습을 평가하기 위해 빈번하지 않은 고부담 시험을 사용할 경우, 벼락치기는 performance를 우선시하게 되며, 장기적 관점의 학습을 위해서 공부하는 학생들을 잠재적으로 처벌punish할 수 있다.9 그러므로 마치 배움이 일어난 것처럼 보일지 모르지만, 벼락치기 공부를 하는 학생들에게 performance에 대한 보상을 하는 것은 [장기적인 보존]과 [미래의 환경에 학습내용을 적용할 수 있는 능력]을 저해할 수 있고, 따라서 배움을 촉진하는 것과는 정반대의 것이다.

Long-term recall is more effective when studying is spread out over time (ie distributed practice) than when it takes place in one continuous period.9 Student ‘cramming’ (ie massed practice or intensive study just before an examination) rewards performance over learning. When infrequent highstakes examinations are used to assess learning, cramming can prioritise performance and potentially punish students who seek to learn material for longterm retention.9 Thus, although it may appear that learning has occurred, rewarding performance in students who cram can impede longterm retention and the capacity to apply the material in future settings, thereby promoting the very opposite of learning.

소규모 집단 상호작용에서, 학생들의 인상 관리는 [학습]을 희생하면서 비슷하게 [점수]를 보상할 수 있다. 이러한 환경에서 교직원은 대개 학생들을 평가하는 책임을 진다. 이러한 평가에 대응하여, 학생들은 교수들의 평가에 영향을 미치려는 노력의 일환으로 자신을 돋보이게 하기 위하여 튜토리얼 초기에 일부 지식을 시연할 수 있는 'tutorial air time'을 추구한다.

In small group interactions, students’ impression management can similarly reward performance at the expense of learning. In such settings, a faculty member is usually responsible for assessing students. In response to this assessment, students seek ‘tutorial air time’ by demonstrating some knowledge early in the tutorial to ensure that the faculty member notices them in an effort to influence their assessment.10,11

그러나 우리가 위의 학습 활동에서 [학생 참여의 양]을 proxy로서 평가한다면, 우리는 performance에 보상함으로써 이러한 원래 의도를 훼손할 수 있다. 즉, 이 튜토리얼을 통해서 유도하려고 했던 종류의 학습을 저해하게 된다.

If we assess the amounts of student participation as proxies for these above learning activities, however, we may undermine these intentions by rewarding performance, thus impeding the very learning the tutorials were developed to enable.

학생들의 인상 관리는 임상 환경에서도 학습을 방해할 수 있다. 여기서 학생은 [환자를 돌보기]보다는 [감독자나 동료들을 위해 수행하는performing 것]에 집중하는 모습을 보이게 되고, 이것은 임상 의사 결정, 자신의 건강, 그리고 심지어 환자 안전까지 손상시킬 수 있다.

Students’ impression management can also impair learning in clinical settings. Here, students who focus on performing for their supervisors or their peers rather than caring for their patients can impair their clinical decision making, their own wellness and even patient safety.12,13

이처럼 학생이 '측정measuring up'에 맞추려는 경향은 [교육자와 학습세팅이 학생들에게 주는 단서들에 의해 사회적으로 구성되고 결정]된다.12 이러한 환경이 performance에 대한 보상을 위해 구성되면, 학생들이 연기perform를 할 것이다. 이러한 상황에서 학생들은 임상 교육 세팅을 관리하고, 자신의 지도자와 상황을 관리하기 위해 정교한 전략을 사용하여 긍정적인 이미지를 유지한다.14,15 Performance 접근법을 채택한 학생들은 [환자의 병에 대해 배우고 환자를 돌보는 데] 초점을 맞추기보다는, 감독자가 듣고 싶은 것을 말함으로써 그들이 '겉으로 보이는' 능력에 대한 보상을 받을 수 있다.14,15

This student focus on ‘measuring up’ is socially constructed and determined by the cues that instructors and the learning setting give to students.12 When these environments are constructed to reward performance, students will perform. In such situations, students actively work to manage the clinical teaching setting and use sophisticated strategies to manage their preceptors and the situation to maintain a positive image.14,15 Students who adopt a performance approach can be rewarded for their apparent competence by telling the supervisor what they want to hear rather than focusing on learning about their patient's illness and dedicating themselves to caring for their patients.14,15

마지막으로, 평가에 대응하여 학생들이 보여주는 performance는 환자에 대해 생각하는 방식을 변질시킬 수 있다. 학생들은 환자를 [돌봄을 통해 배움을 얻는 방법]으로 여기기보다는, 성공의 장애물로 여기게 된다. Gormley et al17 참고사항처럼 객관적 구조화된 임상시험(OSCEs) '...가 학습을 잘못된 방향으로 이끌고 있을 수 있다. 그들은 OSCE와 같은 평가들이 학생들에게 주는 사회적, 문화적 메시지를 고려하라고 요구한다. OSCE 체크리스트를 만족하면 평가에서 높은 점수를 얻을 수 있지만, 환자 관리가 제대로 이루어지지 않을 수 있다. OSCE는 학생들에게 [임상에서 마주칠 때 좋은 모습을 보이는 것]이 [잘 하는 것]보다 더 중요하다는 메시지를 줄 수 있다.

Lastly, performances in response to assessments can pervert the way students think about patients by shifting patients from a means to learn through caring to a barrier to success. As Gormley et al17 note, the objective structured clinical examinations (OSCEs) ‘… may be driving learning in the wrong direction’. They ask us to consider the social and cultural messages that assessments such as OSCEs give students. Satisfying the OSCE checklist can result in a high score on the assessment but may represent poor patient care. The OSCE can give students the message that in a clinical encounter it is more important to appear good than do well.

3 나아갈 방향

3 | MOVING FORWARD

우리는 평가가 모든 경우에 학습을 지원support한다고 가정할 수 없다. 이러한 평가 문제에 직면하여, 학생, 기관, 커리큘럼, 평가 및 피드백이 학습을 더 잘 지원할 수 있는 방법을 지원하기 위해 취할 수 있는 조치들이 있다.

we cannot assume assessments support learning in all cases. In the face of this assessment problem, there are actions we can take to support how our students, institutions, curriculum, assessments and feedback can better support learning.

3.1. 학생

3.1 | Students

엘리엇과 Dweck는 개인이 성취 상황에서 성장 및 숙달, 성과와 고정 방향의 두 가지 유형의 목표 방향을 채택할 수 있다고 제안한다.18,19 

• 학생들은 목표가 개인적 개발에 초점을 맞춰져 있을 때(학습해야 할 자료나 과제의 숙달) growth 지향을 보여준다. 

• 대조적으로, 학생들은 자신의 능력에 대한 긍정적인 평가를 찾는 데 초점을 맞추고 부정적인 판단을 피하려고 할 때 performance 지향성을 보여준다. 

Elliot and Dweck propose that individuals can adopt two types of goal orientations in achievement situations: growth and mastery, and performance and fixed orientations.18,19 

• Students demonstrate a growth orientation when their goals focus on personal development (ie mastery of the material or task to be learned). 

• By contrast, students demonstrate a performance orientation when their goals focus on seeking positive assessments of their competence and they look to avoid negative judgements. 

특정한 시점에 이러한 두 가지 상반된 생각 중 하나를 보유하는 것은 평가에 대응하여 학생들이 어떻게 행동할 것인가에 상당한 의미를 갖는다. 학습자는 상황에 따라 고정형 마인드와 성장형 마인드를 둘 다 가질 수 있으며, 어떤 사고방식이 발동되는지는 학습과 평가 상황에 따라 달라진다. 성장 마인드를 갖는 것은 학생들이 [답을 모르거나, 실수를 하거나, 실패를 경험하거나, 불안해할 때] 학습을 서포트해주고 저항감을 낮춰준다.18,19

Holding one of these two opposing mindsets at any given time has considerable implications for how students will behave in response to assessment challenges. Learners can have both fixed and growth mindsets at different points in time, and which mindset is invoked depends on the learning and assessment context. Having a growth mindset supports learning and avoids resistance when students do not know an answer, make an error, experience failure or are anxious.18,19

학생들에게 성장형 마인드를 촉진하려면, [단순히 우리 자신의 성공적인 성과를 모델링]해서는 안된다. 학생들에게 성장형 마음가짐을 길려주기 위해서는, 성장형 마음가짐은 도전을 수반하는 평생에 걸친 활동이며, 어떤 도전이 주어졌을 때, 그것을 물고늘어져서sticking to 역량을 추구하는 과정에서 학습하는 것임을 설명하고 모델링해야 한다. [결과보다는 과정에 초점을 맞추고, 우리가 지금 가르치는 자료를 배울 때 우리가 겪었던 어려움에 대해 열린 자세를 갖는 것]은, [단순히 열린 마음을 가지거나 좋은 사람이 됨으로써 성장 마인드가 표현된다는 신화]를 제거함으로써 학생들에게 도움이 될 수 있다.20

We can help foster a growth mindset in our students by explaining and modelling that a growth mindset is a lifelong activity that entails taking on challenges, sticking to those challenges and learning from them in the pursuit of competence, rather than simply modelling our own successful performance. Focusing on process rather than outcome and being open about struggles we had when learning material that we are now trying to teach can also help students by dispelling the myth that a growth mindset is represented simply by having an open mind or being a nice person.20

3.2. 기관

3.2 | Institutions

성찰적 실천을 드러내놓고 하는 기관은 해당 기관에서 일하고 배우는 개인들을 위한 learning orientation을 촉진할 수 있다.23,24 Klein 등은 비록 학교가 학생들에게 성장 마인드를 갖도록 가르칠 수 있지만 임상 환경의 문화가 경쟁적이고, 개개인이 주로 자신들의 performance를 더 가치있게 여긴다면, learning perspective를 서포트하는데서 올 수 있는 이득을 잃게 될 것이라고 제안했다.

Organisations that make reflective practice overt can promote a learning orientation for the individuals who work and learn in those institutions.23,24 Klein et al25 suggest that although schools can teach students to have a growth mindset orientation, if the culture of the clinical setting is competitive, with individuals primarily valued for their performances, any gains in supporting a learning perspective will be lost.

또한 주로 performance에 초점을 맞춘 설정은 학습 및 성과 지향성을 모두 갖춘 학생들 사이에서 더 나쁜 결과를 초래한다.26 학습 환경에서의 학생 발전은 일부 학습 환경이 아니라 전체적으로 명확하게 입증된 명시적 가치에 기초해야 한다고 문헌에 제시되어 있다.27, 28 기관 문화는 기관 내에서 '무엇이 행해지고, 어떻게 행해지고, 누가 그것을 하고 있는가'로 표현되는 가정, 신념, 가치의 총합이다.29

In addition, settings that are primarily focused on performance lead to poorer outcomes amongst those with both learning and performance orientations.26 The literature suggests that student development in learning settings needs to be based on explicit values that are clearly demonstrated in all, not some, learning environments.27, 28 Institutional culture is the sum total of the assumptions, beliefs and values as expressed by ‘what is done, how it is done, and who is doing it’ within an institution.29

문화에 영향을 미치기 위해서는 기관의 변화가 어떻게 일어나는지 고려하는 것이 도움이 된다. 이와 관련하여 Kotter의 1996년 모델은 지속적인 사용과 증거 축적을 입증하였다.32,33 변경에 대한 8단계 개요...

To influence culture it is helpful to consider how institutional change takes place. In this regard, Kotter's 1996 model has demonstrated sustained use and accumulation of evidence.32,33 The eight steps Kotter outlines for change are: 

1. establish a sense of urgency, 

2. form coalitions, 

3. create a vision for change, 

4. communicate that vision, 

5. empower others to enact the vision, 

6. plan for and create short-term wins, 

7. consolidate improvements and 

8. institutionalise new approaches.34 

비록 기관의 문화를 바꾸는 것이 어려울 수 있지만, 우리 기관이 학생들에게 주는 명시적이고 암묵적인 메시지를 탐구하는 것은 우리가 평가 앞에서 학습을 지원하는 변화 과정을 목적에 따라 만들고 관리하는 데 도움이 될 수 있다.35

Although it can be challenging to change the culture of an institution, exploring the explicit and tacit messages that our institution gives students may help us begin to purposefully create and manage a change process that supports learning in the face of our assessments.35

3.3. 교육과정

3.3 | Curriculum

future practice를 명시적으로 지원하는 커리큘럼이 현재의 학습을 지원한다.36 어떤 학교도 학생들에게 미래실습을 지원하지 않는 자료를 가르치고 있다고 주장하지는 않겠지만, 학생들은 현재의 학습과 미래의 과제 사이의 연관성을 깨달을 때 더 많은 학습 동기를 얻을 수 있다. 많은 동기적 이론들은 수행과제가 미래에 가지는 가치의 중요성을 지지한다.37 

A curriculum that explicitly supports future practice supports current learning.36 Although no school would claim they are teaching students material that does not support future practice, students can be further motivated to learn when they see the connection between current learning and future tasks. Many motivational theories support the importance of this future task value.37 

예를 들어 주관적 기대 가치 이론은 행동에 영향을 미치는 두 가지 주요 독립적 요소가 있다고 말한다: 즉 [성공의 기대치]와 [과제를 수행할 때 본질적인 가치가 있다고 인식하는 정도(과제 가치)].37 [현재 평가되고 있는 것이 미래의 practice을 지원할 것이라는 것을 학생들에게 증명하는 것]은 [단순히 현재의 성과를 우선시 하는 것]보다 [미래의 practice를 더 잘하기 위해서는 학습 과제에 더 참여해야 한다는 것]에 동기를 부여해줄 것이다.

For example, subjective expectancy-value theories identify two key independent factors that influence behaviour: the expectancy of success and the degree to which students perceive there to be intrinsic value in doing the task (task value).37 Demonstrating to students that what they are being assessed on now will support future practice may motivate students to more fully engage in learning those tasks to enable better future practice, rather than simply prioritising current performance.24

또한 assessment practice가 커리큘럼 계획을 보다 직접적으로 지원할 수 있는 방법을 찾으려면 [효과적인 학습 전략]과 [평가 관행] 사이의 juxtaposition에 대해 생각해 볼 가치가 있다. 던로스키 외 연구진은 최근 효과적인 교육 및 학습 기법으로 학생들의 학습을 향상시키는 방법을 개략적으로 설명했다. 이러한 기법은 interleaved and non-massed 학습에서부터 시험 연습에 이르기까지 다양하다. 바람직한 학습전략이 어떻게 assessment practice에 반영되어 그 전략이 가져오는 leaning affordance로부터 이득을 볼 수 있는지 고려하는 것이 중요하다. 이러한 교육 및 연구 기법은 배치 방법에 따라 성과나 학습을 지원할 수 있다는 점에 유의해야 한다.

It is also worth thinking about the juxtaposition between effective learning strategies and assessment practices to determine how the latter can more directly support curriculum planning. Dunlosky et al9 have recently outlined how to improve students’ learning with effective instructional and studying techniques. These techniques range from interleaved and nonmassed learning to practice testing. It is valuable to consider how these strategies could be embedded in assessment practices to take advantage of their learning affordances. It is important to note that these instructional and study techniques could support either performance or learning depending on how they are deployed.

3.4. 평가

3.4 | Assessment

테스트 강화 학습을 통해 더 나은 메모리를 지원하는 요인으로는 

• 적절한 간격의 반복적인 테스트, 

• 생산 테스트 사용(단답, 빈칸 채우기, 에세이 등), 

• 적절한 타이밍에 맞는 피드백 제공 등이 있다.

Factors that support better memory through test-enhanced learning include 

• repeated testing with appropriate spacing intervals, 

• use of production tests (short-answer, fill-in-the-blank, essay, etc.) and 

• the provision of feedback that is appropriately timed.40-42

이러한 특징을 이해하려면 이 분야가 [시험 강화 학습]이라는 용어가 아니라 이제는 보다 포괄적인 용어인 [리콜 강화 학습]으로 이동했다는 점을 유념해야 한다. 리콜에는 학생들이 (그들이 환자의 병을 진단하려고 할 때 또는 주치의가 제기하는 구두 질문이나 절차를 수행하라는 요청을 받은 경우43) 소그룹 문제 기반 환경에서 정보를 발표하는 시나리오가 포함될 수 있다. 즉, 이것들은 학습을 직접적으로 지원하는 공식 시험을 완료하는 행위는 아니다. 이것은 학습을 유도하는 니모닉 효과를 뒷받침하는 회상 행위이다.

To understand these features it is important to note that the field has moved away from using the term test-enhanced learning to the more encompassing term recall-enhanced learning. Recall can include scenarios in which students present information in a small group problem-based setting, when they seek to diagnose a patient's illness or when they are asked to perform a procedure or answer an oral question posed by an attending physician.43 In other words, it is not the act of completing a formal test that directly supports learning but the act of recall that supports the mnemonic effects driving this phenomenon.

리콜 강화 학습 효과를 최대한 활용하려면 리콜이 교육과정에 필수적인 다른 맥락도 고려해야 하며, 이러한 비공식 평가 상황이 학생들이 '테스트'에 참여할 수 있는 중요한 기회를 제공한다는 점을 인식해야 한다. 다만, Watling과 Ginsburg에 의해 식별된 한 가지 주의사항은 public assessment가 단순히 데이터 수집을 수반하는 것만은 아니라는 것이다. 이러한 평가는 복잡한 사회적 환경에 내재되어 있다. 내재된 사회적 요인이 요구하는 것은, 교육과정이 [다른 형태의 학습이나 학생 개발에 쏟는 시간은 없는, 그저 'recall mills'이 되지 않도록 주의]해야 한다는 점이다. 

To take full advantage of the recall-enhanced learning effect, we should also consider the other contexts in which recall is integral to our curriculum and recognise that these non-formal assessment settings provide important opportunities for students to engage in ‘testing’. One caveat, as identified by Watling and Ginsburg,5 is that public assessments do not just entail the collection of data; rather, these assessments are embedded in a complex social setting. Embedded social factors demand that we be careful that our programmes do not become ‘recall mills’ with little time spent on other forms of learning or attention to student development.

3.5. 피드백

3.5 | Feedback

블랙과 윌리엄스는 평가가 학습에 집중되도록 하기 위해서는 성적과 형성적 피드백을 명확히 구별해야 한다고 주장해왔다.44 이러한 구별을 넘어서 교육학과 심리학의 문제를 모두 고려한 형성적 평가 이론의 개발에 대한 요구가 있었다.44,45 최근 W.atling과 Ginsburg는 우리가 '성과performance의 문화보다는 개선improvement의 문화'를 육성하기를 원한다면 평가 목적을 명확히 할 필요가 있다고 언급했다.5

Black and Williams have argued that ensuring assessments are focused on learning requires a clearer distinction between grading students and providing formative feedback.44 Beyond this distinction, there have been calls for the development of formative assessment theory that takes into account issues of both pedagogy and psychology.44,45 Recently Watling and Ginsburg have noted the need for a clarity of assessment purpose if we wish to foster a ‘culture of improvement rather than a culture of performance’.5

개선 문화를 채택하기 위해서는 효과적인 피드백의 몇 가지 특징을 활용하는 것이 중요할 것이다.46-50 학습을 지원하는 피드백 실습은 매우 많으며, 여기에는 

• 학습자를 압도하지 않기 위해 관리 가능한 단위로 정교한 피드백을 제시하고, 

• 학습 과정 중 초보자나 어려움을 겪는 학생들에게 명확한 지침을 제공하며('힌트'는 명시적이고 지시적인 피드백만큼 도움이 되지 않을 수 있음), 

• 그리고 타이밍 대한 관심이 포함된다. (어려운 작업에 대한 보다 즉각적인 피드백과 상대적으로 단순한 작업에 대한 지연된 피드백 포함).

To adopt a culture of improvement it will be important to utilise some features of effective feedback.46-50 Feedback practices that support learning are numerous, including: 

• the presentation of elaborated feedback in manageable units in order not to overwhelm the learner; 

• offering explicit guidance to novices or struggling students during the learning process (hints may not be as helpful as more explicit, directive feedback); and 

• attention to timing (with more immediate feedback for difficult tasks and delayed feedback for relatively simple tasks).

또한 임상 환경에는 효과의 강력한 증거와 관련된 피드백 연습이 있다.48 

• 절차(방법)의 측면에서, 피드백은 상품으로서가 아니라 대화로서 취급될 필요가 있음을 시사한다. 

• 내용의 측면에서, 피드백은 개별 연습생에게 맞춤화되고, 잘 된 핵심 사항을 강화하고, 업무의 질을 향상시키기 위한 전략을 협력적으로 만들며, 자기 인식의 증가를 지원할 때 가장 효과적이다. 

• 피드백은 연습자가 개선을 위한 전략을 수립할 수 있도록, actionable해야 할 뿐만 아니라, 실제로 작업이 어떻게 수행되었으며, 이상적으로는 어떻게 수행되어야하는지에 초점을 맞춰야 한다.

In addition, there are feedback practices in the clinical setting that are associated with strong evidence of effectiveness.48 

• As a process, this literature suggests the need to treat feedback as a conversation rather than as a commodity. 

• As content, feedback works best when tailored to the individual trainee, includes reinforcement of key points done well, involves collaborative generation of strategies to improve the quality of work, and supports increased selfawareness. 

• Feedback should ideally focus on how the task was carried out and how that type of task should or might be carried out, as well as being actionable, enabling the trainee to construct strategies for improvement.

학생들이 학습 계획 수립에 적극 참여한다는 개념을 고려하여, Boud51은 평가 활동이 학생들이 그들의 미래 실습에서 자기평가를 수행할 수 있도록 지시되어야 한다고 제안한다. 일단 학습자들이 교육기관을 떠나게 되면, 학습자는 (바라건대) 자신이 유능한지, 전문적으로 행동하는지, 충분히 배려하는지, 동정심이 많은지를 궁금해(야) 할 것이다. 다시 말해, 우리는 피드백 전략을 생각함에 있어서, 피드백을 학생들이 자신이 (1)커뮤니티를 serve할만큼 충분한 지식/술기/태도를 갖췄는지, (2)부족한 점을 어떻게 보완할 것인지를 판단할 수 있는 접근법을 익히는 수단으로 바라보아야 한다.

Elaborating on the notion of students being active participants in the coconstruction of learning plans, Boud51 suggests that assessment activities should be directed in such a way as to enable students to undertake selfassessment in their future practice. Once our learners leave our institutions , they will (hopefully) be wondering if they are competent, if they are acting professionally, are caring enough and are being compassionate. In other words, we should think of our feedback strategies as a means through which to give stu-dents in our programmes the approaches to determine if they have the knowledge, skills and attitudes to serve the communities they are working in and to address any deficiencies they identify.52 

4 결론

4 | CONCLUSIONS

우리가 평가의 취지에 대해 더욱 명백해짐에 따라, 우리는 평가를 교육 과정의 통합된 부분으로 생각할 필요가 있다. 단지 교육의 다른 측면과 별도로 존재하는 것이 아니다. 평가를 통해 학습을 지원하려면 평가를 지원하고 커리큘럼의 지원을 받아야 한다.

As we become more explicit about the intent of our assessments, we need to think of our assessments as an integrated part of the curriculum and not just something we do after or separately from other aspects of instruction. Assessment needs to support and be supported by the curriculum if we wish assessment to support learning.

우리는 우리의 평가, 피드백 그리고 심지어 코칭까지 [학생의 발전, 제도적 문화와 커리큘럼 디자인에 맞추어] 디자인하는 것에 대해 생각하기 시작할 필요가 있다. 또한 우리는 학습자의 궁극적인 practice도 고려해야 한다.

We, therefore, need to start thinking about designing our assessments, feedback and even coaching in tandem with student development, institutional culture and curriculum design, as well as looking forward to our learners’ ultimate practices.

McGaghie는 묻고 대답한다. '... 모든 수련생들 사이에서 최대의 학습 성과를 내는 교육 환경을 어떻게 설계해야 할까? 정답은... [모든 학습자들 사이에서 숙달 수준의 성취를 촉진하는] 커리큘럼과 평가 계획을 만드는 것이다. .57 이러한 고려사항들은 우리가 우리의 평가를 계획하고, 개발하고, 적용하고 해석하는 방법에 복잡성을 가중시키지만 그러한 고려사항들은 우리 학생들과 더 중요한 우리 환자들의 미래에 필수적이다. 

McGaghie asks and answers, ‘… how shall we design an educational environment that produces maximum learning outcomes among all trainees? The answer is to create … a curriculum and assessment plan—that promotes mastery level achievement among all learners’.57 These considerations add complexity to the ways we plan, develop, apply and interpret our assessments but such considerations are vital to the future of our students and more importantly our patients.

평가가 학습을 촉진하는가? 그래, 할 수 있지만, 오직 우리의 학습자들, 우리의 기관, 교육과정과 적절한 평가와 피드백 사용을 통해서만 그러하다. 이러한 적극적이고 의도적인 참여를 통해, 우리는 학생들을 성과performance보다는 학습learning을 향해 drive할 것이다.

Does assessment drive learning? Yes, it can, but only through active and purposeful engagement with our learners, our institutions, our curriculum and the appropriate use of assessments and feed-back. Through this active and purposeful engagement, we will be more likely to ride with our students towards learning rather than drive our students towards performance. 

57. McGaghie WC. Mastery learning: it is time for medical education to join the 21st century. Acad Med 2015;90(11):1438-1441.

---

Med Educ. 2019 Aug 26. doi: 10.1111/medu.13935. [Epub ahead of print]

Beyond 'driving': The relationship between assessment, performance and learning.

Scott IM1.

Author information

1

Centre for Health Education Scholarship, The University of British Columbia, Vancouver, British Columbia, Canada.

Abstract

OBJECTIVE:

Is the statement 'assessment drives learning' a myth?

BACKGROUND:

Instructors create assessments and students respond to these assessments. Although such responses are often labelled indications of learning, the responses educators observe can also be considered a performance. When responses are aligned with generating stable changes, then assessment drives learning. When responses are not aligned with stable changes, we must consider them to be something else: a performance put on partially or fully for the sake of implying capability rather than actual learning. The alignment between the assessments educators create and the way students respond to these assessments is determined by the actions students take in our curriculum, in preparation for our assessments and after engaging with our assessments.

CONCLUSIONS:

Not all assessments need to or should support learning, but when we assume all assessments 'drive learning', we endorse the myth that assessment is necessarily a formative aspect of our curricula. When we create assessments that encourage performance activities such as cramming, competing for tutorial airtime and impression management in the clinical setting we drive students to a performance. By thinking about how our students, institutions, curricula and assessments support learning and how well they support performance, we can modify and more fully align our curricular and assessment efforts to support learners in achieving their (and our) desired outcome. So, is the phrase 'assessment drives learning' a myth? This paper will conclude that it often is but we as educators must, through our leadership, move this myth towards a reality.

© 2019 John Wiley & Sons Ltd and The Association for the Study of Medical Education.