평가, 피드백, 학습의 연금술(Med Educ, 2018)

평가, 피드백, 학습의 연금술(Med Educ, 2018)

Assessment, feedback and the alchemy of learning (Med Educ, 2018)

Christopher J Watling1 & Shiphra Ginsburg2

도입

INTRODUCTION

Assessment of learning(총괄 평가)는 여전히 중요하지만 Assessment for learning(형성 평가)가 더 강조되고 있다. 이러한 평가의 dual purpose는 평가 정보가 [학습 결과를 판결]하고 [학습자가 미래의 성과를 만들어가는 데 사용할 수 있는 의미있는 피드백을 생성]하기 위해 사용해야한다는 것을 의미합니다. 이 방정식에서 피드백은 평가를 학습으로 전환시키는 촉매제입니다.

Although assessment of learning (summative assessment) remains critical, assessment for learning (formative assessment) has assumed greater prominence. This dual purpose means that assessment information should be used both to adjudicate learning outcomes and to generate meaningful feedback to learners that they can use to shape their future performance. Feedback, in this equation, is the catalyst that transforms assessment into learning.1–3

그러나 평가와 피드백이란 가마솥에서 배움이 만들어지는 것은 마치 연금술처럼 보일 수 있습니다. 평가와 피드백 사이의 충돌은 문제가 될 수 있습니다. 근본적으로 그들의 목적은 서로 상반되게 보일 수 있습니다. 

• 피드백은 개발과 학습을 강조하지만, 

• 평가는 판단과 의사 결정을 강조합니다. 

이러한 명백한 차이를 혼합하면 위험한 학습법이 만들어집니다. 위험을 관리하려면 평가 및 피드백과 관련된 경쟁 우선 순위와 긴장의 균형을 유지해야합니다.

However, the emergence of learning from a cauldron of assessment and feedback can seem like alchemy. Conflating assessment and feedback can be problematic. Fundamentally, their purposes may seem at odds. Whereas feedback stresses development and learning, assessment stresses judgement and decision making. Mixing these distinct ingredients creates a risky recipe for learning. Managing that risk requires balancing the competing priorities and tensions related to assessment and feedback.

평가담론 변화의 역사

THE SHIFTING ASSESSMENT CONVERSATION

'평가는 학습을 촉진한다'라는 격언은 보건 전문가 교육 분야에서 새로운 것도 특수한 것도 아니다. 1950 년대 이래로 교육 연구원들은 교사가 고안한 시험이 학생 학습에 영향을 미칠 것이라고 경고했습니다.

The ‘assessment drives learning’ maxim is neither new nor specific to health professions education. Since the 1950s, education researchers have cautioned teachers that the examinations they devise will influence the student learning that occurs.4

1960 년대 후반, 총괄 평가와 형성 평가가 구분되었고, 이로서 "학습을 위한" 목적으로 이뤄지는 평가에 드디어 이름이 붙게 되었다.5 형성 평가의 개념을 구체화 한 Sadler는 학습자가 형성 평가에 참여하는 데 필요한 세 가지 조건을 설명했습니다.

• (i) 학습자는 자신이 원하는 성과 기준을 이해해야하며,

• (ii) 학습자는 자신의 수행과 그 표준 간의 차이에 대한 정보가 필요하며

• (iii) 학습자는 그 격차를 해결할 수 있는 다양한 전략이 필요합니다 .1

In the late 1960s, a distinction was made between summative and formative assessment, giving specific language to the ‘for learning’ purpose of assessment.5 Refining the notion of formative assessment, Sadler outlined three necessary conditions for a learner to engage with formative assessment: 

• (i) the learner needs an understanding of the standard of performance to which he or she aspires, 

• (ii) the learner needs information about the gap between his or her performance and that standard, and 

• (iii) the learner needs a range of strategies to remedy that gap.1 

Sadler는 형성 평가에서 피드백의 중심적 역할을 강조했지만, 이와 함께 학습자의 교사에 대한 의존도를 서서히 낮추는 것에 대해서도 이야기했는데, 그 방법은 

• 학습자가 표준을 알도록 하고, 

• 자신의 수행능력과 비교하여 성과를 성찰하고, 

• 이를 기반으로 행동을 취할 수 있도록 하는 것이었다.

Sadler stressed the central role of feedback in formative assessment, but also spoke of gradually freeing learners from dependence on the teacher by empowering them to grasp standards, make reflective comparisons with their own performance and take action.1

의료 교육에서 형성 평가를 수용한 것은 보다 최근의 현상입니다. 1990 년대 중반 이전의 의학교육연구는 학습에 대한 평가의 가치보다는 평가의 심리측정적 속성에 더 초점을 두었다.6 이 당시에는 미래의 전문 성과를 예측하는 평가의 역할이 무엇보다 중요했습니다. 학습자 선발, 승진 및 독립 연습에 대한 졸업 결정에 대한 지원을 목표로 한 평가;

Medical education’s embrace of formative assessment is a more recent phenomenon. Prior to the mid-1990s, medical education research was focused less on the potential learning value of assessments and more on their psychometric properties.6 Assessment’s role in predicting future professional performance was paramount. Assessment aimed to support decision making about learner selection, promotion and graduation to independent practice;

1996 년 Van der Vleuten은 영향력있는 모델 인 평가를위한 혁신적인 유틸리티 모델을 발표했습니다 .8이 모델의 핵심은 타협과 트레이드 오프라는 개념이었습니다. 신뢰성, 타당성, 교육 영향, 수용 가능성 및 비용은 역동적 인 요소로 보였습니다. 한 영역에서의 개선은 다른 영역을 희생하여 이루어질 수 있습니다.

In 1996, van der Vleuten published a groundbreaking utility model for assessment, a model that remains influential.8 At the heart of this model were notions of compromise and trade-off. 

• Reliability, 

• validity, 

• educational impact, 

• acceptability and 

• cost 

...were seen as dynamic elements of utility; improvements in one sphere might come at the expense of another.

그의 모델은 평가의 목적에 대해 변화하는 관점을 반영했다. 상황에 따라 평가가 [학습의 촉진제] 또는 [판단]의 수단이 될 수 있으며, 평가의 의도된 목적에 따라 방정식의 여러 요소들에 얼마나 주의를 기울여야 하는가가 달라짐을 의미했다. 그러나 그는 교육적 영향에 대한 타협이 최소화되어야한다고 권고했다.

His model reflected a shifting view of assessment’s purpose; it acknowledged that assessment might be meant as either a judgement or a facilitator of learning, depending on the circumstances, and that different elements of the equation might deserve more or less attention based on an assessment’s intended purpose. He cautioned, however, that compromise on educational impact should be minimised.8

Norcini et al.의 좋은 평가를위한 기준으로는 다음이 있고

• 교육 효과 (교육적으로 유익한 방식으로 준비하는 데 평가가 영향을 미치는 정도)와 

• 촉매 효과 (어떤 평가가 학습을 향상시키기 위해 피드백을 제공하는지), 

...평가는 타당한 의사 결정을 지원하고 학습자 진행을 촉진해야한다는 기대를 더 굳건히 만들었다..9

Norcini et al.’s 2011 criteria for good assessment, for example, included the related elements of 

• educational effect (the extent to which an assessment motivates those who take it to prepare in a way that is educationally beneficial) and 

• catalytic effect (the extent to which assessment offers feedback to enhance learning), 

...solidifying expectations that assessment should both support sound decision making and facilitate learner progress.9

학습 촉매제로서 평가가 얼마나 유용한가? 시험-강화 학습(test-enhanced learning)에 대한 상당한 연구는 테스트 기반 평가를 커리큘럼에 정기적으로 주입하면 학습과 유지를 모두 향상시킬 수 있다는 개념을 뒷받침합니다 .11,12 시험에 따르는 피드백이없는 경우에도 학습을 향상시키는 것처럼 보이지만, 시험에 피드백을 추가하면 오류를 수정하고 올바른 응답을 확인함으로써 장점을 더욱 향상시킵니다.

how useful is assessment as a catalyst for learning? Considerable research on test-enhanced learning supports the notion that regular injections of test-based assessment into a curriculum can enhance both learning and retention.11,12 Whereas testing appears to enhance learning even in the absence of feedback, the addition of feedback to testing enhances its benefits by correcting errors and confirming correct responses. 

이런 이유로 의학교육에서 단순히 시험 횟수 증가보다, 일반적으로 그 장점을 최적화하기 위해 시험과 피드백을 연결할 필요성을 강조한다.16 그러나 작업장 기반 평가의 형태로 정기적 인 테스트가 교육에 미치는 영향은 분명하지 않습니다.

For this reason, calls for more frequent testing in medical education typically warn of the need to link tests with feedback to optimise their benefit.16 however, the educational impact of regular testing in the form of workplace-based assessment is less clearly established.

CBME은 프로세스가 아닌 결과를 지향하기 때문에 엄격하고 강력한 평가가 요구됩니다 .18,19 그러나 역량 평가는 복잡한 비즈니스입니다.

Competency-based medical education orients itself toward outcomes rather than processes, and thus demands rigorous and robust assessment.18,19 However, competency assessment is a complex business:

이 요구 사항에 대한 응답으로 평가 담론은 개별 평가도구 또는 심리측정속성에서 벗어나서, 여러 평가 전략을 연결하여 학습자 성과의 완벽한 초상화를 생성하는 "평가 프로그램"으로 이동하기 시작했습니다.

In response to this requirement, the assessment conversation has begun to shift further, away from individual assessment tools and their psychometric properties and toward assessment programmes that link multiple strategies to produce fulsome portraits of learner performance.20,21

평가 프로그램과 같은 접근 방식은 빈번히 발생하는 저부담의 형성 평가를 선호하며, 가끔만 이뤄지는 고부담의 총괄평가를 강조하지 않습니다 .20,22 개별적으로 살펴보면, 이러한 형성 평가 이벤트는 학습자를 위해 발달적 목적을 제공하기위한 것이며, 형성평가가 합해지면 총괄평가가 된다.

Approaches to programmatic assessment deemphasise infrequent high-stakes summative assessments in favour of very frequent low-stakes formative assessments.20,22 Taken individually, these formative assessment events are intended to serve a developmental purpose for the learner: Taken together, however, the formative becomes summative. 

모자이크 조각처럼 각 개별적인 형성 평가는 더 큰 그림에 기여합니다. 조각 모음은 능력에 대한 판단의 기초 역할을합니다. Schuwirth et al.에 따르면 저부담 의사 결정은 단일 데이터 포인트를 기반으로 하는 반면, 고부담 의사 결정은 여러 데이터 포인트를 요구합니다 .23

Like pieces of a mosaic, each individual formative assessment contributes to a bigger picture; the collection of pieces serves as the basis for judgements about competence. Schuwirth et al. highlight the principle of proportionality in programmatic assessment: whereas low-stakes decisions might be based on single data points, high-stakes decisions demand multiple data points.23

변화하는 피드백 담론

THE SHIFTING FEEDBACK CONVERSATION

비록 피드백이 오랫동안 학습의 기초로서 옹호되어 왔지만, 연구원은 실제로 이러한 분석에 포함 된 상당수의 연구에서 그 효과를 당연히 여기는 것을 경고했다. 일부 연구에서 실제로 피드백은 성과에 해 롭습니다. 30

Although feedback has long been championed as foundational to learning,24,25 researchers have cautioned against taking its value for granted.26–28 in fact, in a substantial minority of studies included in these analyses, feedback was actually detrimental to performance.29,30

• 효과적이기 위해서 피드백은 개인 지향적인 것이라기보다는 적시에, 구체적으로, 실행 가능하고 작업 지향적이어야한다. 

• 학습자는 신뢰성 있고 건설적인 것으로 인식하는 피드백을 사용할 확률이 더 높으며, 이러한 특성에서 부족한 것으로 보이는 피드백을 무시할 수있다. 26 

• 신뢰할 수있는 피드백은 일반적으로 학습자의 성과를 직접 관찰하여 정보를 얻은, 신뢰할 수있는 출처에서 나옵니다. 

• 건설적인 피드백에는 개선 방법에 대한 학습자를위한 지침과 지침을 제공하는 실천 계획이 포함되어 있습니다. 

• 학습자의 자긍심이나 자아상을 위협하거나 강한 부정적인 감정을 유발하는 경우 피드백의 사용과 피드백 사용은 어렵습니다.

• To be effective, feedback should be timely, specific, actionable and task-oriented rather than person-oriented.32 

• Learners are more likely to use feedback they perceive to be credible and constructive, and may discard feedback they see as lacking in these qualities.26 

• Credible feedback is typically informed by direct observation of learner performance and originates from a trusted source; 

• constructive feedback contains an action plan that offers direction and guidance for the learner on how to improve. 

• Uptake and use of feedback are challenging if it threatens learner self- esteem or self-image,29 or if it triggers strong, negative emotions.33,34

사회적, 문화적, 조직적 영향은 학습 프로그램에 의미있는 피드백을 포함시키기위한 노력을 지지하거나 방해할 수있다.

Social, cultural and organisational influences can support or derail efforts to embed meaningful feedback in programmes of learning.35

교사 - 학습자 관계를 육성하는 교육 프로그램도 양질의 피드백을 지원합니다. 신뢰를 기반으로하는 교사 - 학습자 관계는 학습자가 피드백에 참여할 수 있도록 안전한 환경을 만듭니다. 이는 피드백이 중요하거나 피드백에 따라 교정이 필요할 때 특히 중요합니다 .37-39 신뢰와 안전은 단순히 실현되지 않습니다. 교육과정에서 교사와 학습자 모두에게 상호 작용의 의도와 목표가 명확할 때 개발됩니다. 피드백 문헌에 따르면 학습자 개발에 중점을 두는 코칭 접근 방식을 제안합니다 .2 코칭 모델은 교사와 학습자 간의 장기적이고 신뢰 관계에서 번성thrive합니다. 둘 다 상호 작용의 발달 적 의도에 대해 명확합니다.

Education programmes that foster teacher–learner relationships also support quality feedback. Teacher–learner relationships based on trust create safety for learners to engage with feedback, which isespecially important when that feedback is critical or corrective.37–39 Trust and safety do not simply materialise; they develop when there is clarity in the curriculum, for both the teacher and the learner, about the intent and goals of their interactions. Increasingly, the feedback literature advocates a coaching approach, which places the emphasis firmly on learner development.2 Coaching models thrive on longitudinal, trusting relationships between teachers and learners, where both are clear about the developmental intent of the interaction.40,41 

그러나 의학교육에서 교사 - 학습자 상호 작용의 의도는 종종 불명확하다. 피드백과 평가의 경계는 불분명하다: 

• 교사는 종종 같은 시간에 자기의 일을 하면서, 동시에 학습자를 평가하고 지도하도록 요청받습니다. 이러한 역할의 결합은 부분적으로 문화적 요구에 대한 대응입니다. 

• 의학에서 교사는 학습자뿐만 아니라 전문직과 대중에게도 책임이 있습니다. 이러한 이중 책임은 언제나 바람직한 것은 아니지만 적어도 우리가 이해할 수있는 역할을 연계시킵니다. 

• 그러나 교사들에게 이 어려운 이중 역할을 부과하는 것은 학습자와 교사 모두에게 불편함을 불러 일으킨다. 42,43 일부 사람들은 평가자와 코치의 역할을 분리 할 기회를 찾아야한다고 제안했다.

However, clarity about the intent of teacher–learner interactions is often lacking in medical education. The lines between feedback and assessment blur: teachers are often asked to both assess and coach a learner at the same time and around the same task. The combining of these roles is, in part, a response to a cultural imperative: in medicine, teachers are accountable not only to learners, but also to the profession and to the public. This dual accountability makes our linking of the roles at least understandable, even if it may not always be desirable. Yet, investing teachers with this difficult dual role evokes discomfort in both learners and the teachers themselves.42,43 Some have suggested that we should look for opportunities to divorce the roles of assessor and coach,36,44

그러나 평가 프로그램의 모델이 주의 깊게 구현되지 않으면 평가자와 코치 사이의 경계가 흐려질 수 있습니다.

However, models of programmatic assessment, if not implemented with care, risk blurring the lines between assessor and coach further,

학습자 인식

LEARNER PERCEPTIONS

또 다른 중요한 변화는 학습자가 평가 및 피드백을 [경험하고, 통합하고 사용하는] 방법에 대한 연구 초점이 점차 확대되고 있다는 것입니다. 학습자는 평가의 목적에 대한 이해를 바탕으로 평가와 상호 작용합니다. 교육자가 명확한 개념을 가지고있을지라도, 학습자의 인식은 항상 교육자의 의도와 일치하는 것은 아닙니다. 의학적 학습자는 종종 형성적 의도를 가진 평가를 총괄평가summative로 인식한다 .42,47,48

Another key shift has been the increasing research focus on how learners experience, integrate and use both assessment and feedback. Learners interact with assessment based on their understanding of its purpose. Although educators may have a clear notion , learners’ perceptions do not always match educators’ intentions. Medical learners often perceive assessment with formative intent as summative.42,47,48 

그 인식은 의도 된 교육적 효과를 방해 할 수 있습니다. Bok et al.은 다수의 데이터 포인트를 모아서 최종 결정에 활용할 때, 학습자는 그 모든 데이터 포인트를 총괄평가라고 인식하는 경향이 있다고 경고했다. 42) 그 인식은 문제가 될 수있다. 로버츠 (Lawrence)는 "학습자는 형성평가의 순간이 총괄평가 판단에 기여한다는 것을 알게 되면, 이에 대한 응답으로 더 관대한 평가자 또는 더 간단한 사례를 찾아서 움직인다"고 경고했다.

That perception may then interfere with the intended educational effect; Bok et al. cautioned that when all data points contribute to a final summative decision, learners tend to perceive all data points as primarily summative.42 That perception can be problematic; as Roberts warned, learners might seek out more lenient assessors or more straightforward cases in response to the knowledge that formative moments contribute to summative judgements.50

비슷한 결과 : 형성평가는 총괄평가로 인식되었고, 합격 / 불합격 결정과 같은 총괄평가에 사용되는 프로그램의 요소는 학생들에게 평가가 형성평가로 받아 들여지는 것을 방해했다.

similar findings: formative assessment was perceived as summative, and elements of the programme that signalled summative assessment, such as pass/fail decisions, hindered students’ acceptance of assessment as truly formative.51

Harrison et al에 따르면 학생들에게 OSCE 후 피드백은 [미래의 실제 진료]와 관련이 있기보다는 [미래의 총괄 평가]와 관련이 있는 것으로 간주되었다. Harrison et al. 평가 사건으로 인해 야기 된 발달적 피드백에 관여하는 학습자의 전반적인 저항에 대한 지배적인 총괄평가 패러다임을 비난했다 .48

Harrison et al. noted post-OSCE feedback was viewed primarily as relevant to future summative assessments, rather than as relevant to future practice. Harrison et al. blamed a dominant summative assessment paradigm for learners’ general reluctance to engage with developmental feedback that arose from assessment events.48

직접 관찰에 대한 최근의 연구는 학습자 인식에 따르는 문제를 더욱 강조합니다. 직접 관찰은 신뢰할 수있는 평가와 신뢰할 수있는 피드백의 기본입니다. 그러나 학습자들은 임상 교육 중에 직접적인 관찰에 대해 약간의 양면성을 유지한다 : 그들은 직접관찰의 가치를 인식하지만, 동시에 관찰되는 것에 대해 불편함을 느낀다.52-54 학습자들에게 관찰은 전형적으로 평가되는 것처럼 느껴진다. 평가받는다고 느끼기에, 그들은 루틴을 바꿀 수 있습니다. 루틴에 대한 이러한 변경은 학습자가 inauthentic하다고 느끼는 퍼포먼스를 생성 할 수 있습니다. 피드백 또는 코칭의 토대로 서기보다는 평가를 잘 수행 할 수있는 성능입니다.

Recent research on direct observation further highlights the challenge of learner perceptions. Direct observation is fundamental to both trustworthy assessment and credible feedback. Learners, however, maintain some ambivalence about direct observation during their clinical education: they recognise that it has value, but also identify a certain discomfort with being observed .52–54 For learners, being observed typically feels like being assessed.55 Because they feel as if they are being assessed, they may alter their routines . These alterations to the routine may create a performance that feels inauthentic to the learner: a performance geared toward doing well on an assessment rather than serving as the basis for feedback or coaching. 

학습자에게 의미있는 코칭을 실시하는 것은 취약성과 위험 요소를 포함합니다 .56 학생이 과제를 해결하며, 스킬을 다듬기 위한 피드백을 얻으려면 자신의 취약성, 약점 및 투쟁을 드러내기 위해 기꺼이 자신을 취약하게 만들어야합니다. 그들은 새로운 방식을 시도해봐야 하며, 더 타당한 방식으로 작업을 하려면 습관의 일부를 해체하는 것을 기꺼이 감내해야합니다. 즉, 그들은 실패하는 것이 안전하다고 느껴야합니다. 그러나 평가 환경에서의 실패란 비참하고 위험한 것이다.

For learners, engaging meaningfully with coaching involves elements of vulnerability and risk.56 They must be willing to make themselves vulnerable, putting their fallibility, their weaknesses and their struggles on display in order to gain feedback that will enable them to tackle these challenges and refine their skills. They must be willing to risk trying new ways of doing things, even dismantling some of their habits in order to reconstitute sounder ways of working. They must feel safe to fail. Yet failing in an assessment setting feels distressing and dangerous.

평가 시스템이 무능한 개인을 탐지하고 처벌하는 방향으로 인식된다면, 이것은 학습자가 지식의 경계를 탐험하는 데 도움이되지 않을 것입니다. 22 이러한 탐험은 우리가 격려하고자하는 바른 학습의 종류입니다.

When an assessment system seems oriented toward detecting and punishing incompetent individuals, learners will not feel supported to explore the boundaries of their knowledge,22 although this exploration is exactly the kind of learning we hope to encourage.

프로그램 적 평가는 이러한 개별적인 평가 순간에 대한 부담을 극도로 낮춤으로써 이러한 불편 함을 극복 할 수 있다고 주장합니다. '부담'은 이들 순간이 합쳐질 때에 만 일어납니다 .20 그러나 여전히 우리는 주의해야합니다, 왜냐하면 부담이란 그것을 보는 자의 눈에 달려있기 때문이며, 그 낮은 부담조차 학습자에게는 작아보이지 않을 수 있다. 왜냐하면 그들은 일정 수의 '성공적인' 저부담 평가를 축적해야 진급한다는 것을 알고 있기 때문이다.

Programmatic assessment holds that this discomfort might be overcome by ensuring that the stakes for each individual assessment moment are extremely low. The stakes are raised only when these moments are summed together.20 We caution, however, that stakes are in the eye of the beholder, and that low stakes may not feel so insignificant for learners, particularly if they know they need to accumulate a certain number of ‘successful’ low-stakes assessments in order to progress.

문화적 관점

CULTURAL PERSPECTIVES

평가와 피드백에 관한 연구는 관점을 교사에서 학습자에게로 옮길뿐만 아니라, 개별 학습자에서 학습 문화로 이동했습니다. 학습자의 개인적인 경험과 인식은 배우는 문화에서 쉽게 벗어나지 않습니다. 학습자가 평가의 부담에 대한 개념은 [평가 경험에 대한 개별적인 인식] 만큼이나 [그들이 배우는 문화]에 따라 결정됩니다. 사회 문화적 학습 이론에 따르면 적어도 모든 학습이 individual pursuit은 아니라고 가정합니다. 학습은 개인의 마음의 산물 일뿐만 아니라, 학습자가 전문 공동체의 일원이되어 점차 그 공동체의 관행, 신념 및 가치를 채택하는 과정에서 발생하는 것이다.57

Research around assessment and feedback has not only shifted its perspective from teacher to learner, but also from individual learner to learning culture. Learners’ individual experiences and perceptions are not readily untangled from the culture in which they learn; learners’ notions of the stakes of an assessment, are shaped as much by the culture in which they are learning as by their individual perceptions of the assessment experience. Sociocultural learning theories posit that learning is not an individual pursuit, at least not entirely. Learning is not solely the product of an individual’s mind, but, rather, occurs as learners become part of a professional community, gradually adopting the practices, beliefs and values of that community.57

전문직은 자신의 교육에 대해 뚜렷한, 그리고 때로는 유일한 접근법을 유지합니다. Shulman은 이러한 접근 방식을 시그니쳐 교수법이라고 부릅니다. 그들이 유지하는 루틴은 전문직의 문화에 뿌리 깊게 뿌리 내리기 때문에, 오래도록 유지되는 경향이있다. 시그니쳐 교수법을 구성하는 교육 설계 결정은 그 전문직이 중시하는 가치를 반영한다. Shulman은 전문직 내에서 중요한 변화가 일어나는 순간, 시그니쳐 교수법에도 정기적인 수리가 필요하다고 지적했다.

Professions maintain distinct and sometimes singular approaches to educating their own. Shulman calls these approaches signature pedagogies; the routines that they embed tend to endure because they are deeply rooted in professional culture.58 The education design decisions that comprise a signature pedagogy reflect the values of the profession. Shulman noted that signature pedagogies require periodic repair, particularly at moments of major change within professions.59

의학 내에서 오류를 줄이기위한 환자 안전 운동의 등장은 CBME 및 프로그램 평가와 같은 새로운 접근법의 문호를 열어 우리의 교육 과정을 재검토하기위한 강력한 자극제가되었습니다 .60,61

Within medicine, the rise of the patient safety movement, with its imperative to reduce errors, has provided a strong impetus to revisit our pedagogical routines, opening the door for new approaches such as CBME and programmatic assessment.60,61

역량 기반의 의학 교육 및 프로그램 평가는 문화 변화, 그리고 그 변화를 촉진 할 시스템 및 조직의 결정에 대한 관심을 요구합니다. Eva et al. 다음과 같은 평가시스템을 제안했다.

• 성능을 지속적이고 동적으로 인식하는

• 자기 개념에 대한 위협을 최소화하면서 학습자를 안내합니다.

• 학습자가 들어오는 실습 영역을 반영하는 실제 작업에 평가를 삽입합니다 .3

Competency-based medical education and programmatic assessment demand attention to culture change, and to the system and organisational decisions that will catalyse that change. Eva et al. have called for an assessment system 

• that recognises performance as continuous and dynamic, 

• that guides learners while minimising threats to their self- concepts, and 

• that embeds assessment in authentic work that reflects the practice domains into which learners are entering.3

시험 강화 학습 혜택의 이 가치를 임상 환경에 맞게 변환하는 것은 쉽지 않을 수 있습니다. 효과적인 테스트 강화 학습은 대부분 시험 결과를 사용하여 학습자가 자신의 퍼포먼스를 표준에 맞게 조정할 수 있습니다. 그러나 직장 기반 평가WBA는 다르다: 성과는 공개적이며, 정체성과 전문성에 대한 성과가 저조하다. 직장에서 평가는 단순한 데이터가 될 수 없으며, 직장 기반 평가는 복잡한 사회적 상호 작용입니다.

the translation of this value of test-enhanced learning benefit to the clinical setting may not be straightforward. In most examples of effective test-enhanced learning, test performance data allow a learner to calibrate his or her performance against a standard. Workplace- based assessments are different: performance is public and the stakes of underperformance for identity and professional confidence are higher. In the workplace, assessment can never be simply data;rather, workplace-based assessment is a complex social interaction.62

이 사회적 상호 작용의 핵심 요소 중 하나는 '체면'의 개념으로, 체면이란 개인이 투영하고자하는 자아상 (긍정적 체면)과 자율적이고 방해받지 않고자 함 (부정적인 체면) 에 관한 욕망 둘 다를 포함한다 .63 

One key element of this social interaction is the concept of face, which encompasses both 

• the self- image an individual wishes to project (positive face) and 

• his or her desire to be autonomous and unimpeded (negative face).63 

사회적 상호 작용에서 사람들은 일반적으로 자신과 다른 사람들을 위해 자신의 체면을 향상 시키거나 적어도 유지하기를 원합니다. 우리는 다음과 같은 공손 전략을 사용하여 언어적으로 체면을 유지한다.

• 누군가를 칭찬 해 긍정적 체면을 높이는 방법으로

• 부탁을 하기 전에 사과를 함으로써 부정적 체면을 유지

In social interactions people generally have a desire to enhance, or at least maintain, their face for themselves and others. We do this linguistically by using politeness strategies, such as by complimenting someone as a way to enhance their positive face, or apologising before asking a favour, to attend to their negative face.63

의학 교육에서 학습자에 대한 우리의 서면 평가에는 "공손함" 전략, 특히 '헤징'이 많으며, 이는 평가가 체면을 위협하는 행위로 인식됨을 의미한다.

 In medical education, our written assessments of learners abound with politeness strategies, especially ‘hedging’, suggesting that we view assessment as a face-threatening act.64

'상냥함'의 문화는 많은 수준에서 인정되었지만, 정직한 피드백에 대한 장애물로 인식되기도 한다.65 '체면 유지'를 강하게 원하는 것은 조화를 유지하고 자부심을 보호하는 데 유용한 사회적 목적을 제공합니다. 따라서 [공손함을 갖추는 것]과 [피드백을 주고 받는 것] 사이에 긴장이 조성됩니다. 이러한 환경에서, 우리는 우리의 전문직 문화는 피드백을 저부담 활동이 아니라 고부담 활동으로 인식되도록 강화하고 있으며, 관찰과 코칭은 사실은 위장한 평가이자 판단이 된다. 어떤 수준의 부담을 의도했는지와 상관없이 모든 관찰은 체면을 잃는 기회가 될 수 있습니다.

a culture of ‘niceness’, although appreciated on many levels, was also perceived as an impediment to honest feedback.65 The strong desire to ‘save face’ serves a useful social purpose: to maintain harmony and to protect self-esteem. Thus, a tension is created between the necessity for politeness and the mandate to give and receive feedback. In this charged environment, we must ask whether our professional cultural practices are reinforcing the perception that feedback is high stakes, not low stakes, and that observation and coaching are actually assessment and judgement in disguise. Every observation, regardless of its intended stakes, may be an opportunity to lose face.

Entrustment의 개념이 의학의 전문 문화 안에서 큰 공감을 얻으며 위임 척도가 광범위하게 채택되었습니다 .66 감독자는 학습자의 퍼포먼스를 완벽하게 해부해내지 못할 수도 있지만, 누구를 신뢰할 수 있는지는 알고 있거나 추론할 수 있다. 그러나 신뢰는 '가장 영향력있는 사회적 판단'일 수 있습니다 .67 신뢰는 직업에서 가장 큰 책임(즉 환자에게 해를 입히지 않고 안전한 치료를 제공 할 책임)을 공유하고자하는 의지와 관련되어 있기 때문이다.

The widespread adoption of entrustment scales has been driven partially by the way the notion of trust resonates within medicine’s professional culture.66 Supervisors may not always know exactly how to dissect a learner’s performance , but they know whom they trust, or so goes the reasoning. Trust, however, may be ‘our most influential social judgement’.67 Trust is meaningfulin medicine because it relates to a willingness to share the heaviest responsibility in the profession: the responsibility to provide safe care that does no harm. 

위임 척도를 피드백을 위한 수단으로 사용하면, 해당 피드백에 포함 된 메시지가 실수로 자존감과 정체성에 위협을 줌으로써, 피드백의 효율성을 떨어뜨릴 수 있습니다. 사실, 학습자가 자신의 정체성에 대한 중요성이 부각 된 작업을 수행 할 때마다 그 작업을 기반으로 한 평가는, 그 의도가 형성평가였더라도 총괄평가로 느껴질 수 있습니다 .3

When we use entrustment scales as vehicles for feedback, the messages contained within that feedback may inadvertently threaten self-esteem and identity, threats that are well known to diminish feedback’s effectiveness. In fact, whenever learners perform tasks infused with significance for their identity, assessment based on those tasks may feel summative, even if the intent is formative.3

긴장을 조화시키기

RECONCILING TENSIONS

도전은 서로 반대 방향으로 당기는 것이 아니라 서로 보완하도록 전략을 정렬하는 방법입니다.

The challenge is how to align these strategies so that they complement one another, rather than pulling in opposite directions.

한 의과 대학에서 시험과 성적이 없는 접근은 4 개의 기본적인 빌딩 블록에 기반하였다.

(i) 잘 표현 된 역량 표준의 형태로 기대를 명확히 함

(ii) 빈번한 형성 평가;

(iii) 각 학생을 위한 교수 고문의 형태로 강력한 학습자 지원, 

(iv) 학습자가 유지하는 학습 포트폴리오의 형태로 학습자 책임.

one medical school’s examination- and grades- free approach was founded on four fundamental building blocks: 

(i) clear expectations in the form of well-articulated competency standards; 

(ii) frequent formative assessment; 

(iii) strong learner support in the form of a faculty advisor for each student, and 

(iv) learner responsibility, in the form of a learning portfolio that the learner maintains.56

문화의 변화는 새로운 평가 양식을 채택하거나 프로그램 평가를위한 지침을 제정하는 것보다 훨씬 더 많은 것을 요구합니다. 변화를 주도하고 유지하는 데 필요한 조직적 지원을 신중하게 고려해야합니다.

culture change requires much more than adopting new assessment forms or enacting guidelines for programmatic assessment; it requires thoughtful consideration of the organisational supports necessary to drive and sustain change.

우리가 성공하려면 학습자 지원은 빼놓을 수 없는 것이다. 그러나 어떤 종류의 지원 투자가 가장 높은 수익을 낼 것입니까? 많은 저자들이 평가의 교육적 영향력을 강화하기 위해 코칭, 학업 상담 또는 멘토링의 가치를 옹호했습니다. 2,3,19,70

Learner support appears to be non-negotiable if we are to succeed . However, what kind of supportinvestments will yield the highest returns? Many authors have championed the value of coaching, academic advising or mentoring in bolstering the educational impact of assessment.2,3,19,70 

교수진도 지원이 필요합니다. 우리는 선의만 가지고 주요 역할을 수행 할 수 있다고 가정하기보다는, 코치와 멘토를 교육해야합니다. 교육은 결과에 중요합니다.

Faculty members require support as well: we must train coaches and mentors, rather than assuming that any well-intentioned teacher will suffice in these key roles. Training matters to outcomes.

신뢰 관계, 종단 적 관계 내에서,보다 일관되게 유용한 피드백이 교환되고, 이를 통해 학습자는 피드백을 총괄적 위협이 있는 형성적 의도로 제공된다고 생각하지 않게 된다. 관계를 신뢰함으로써 지원되는 학습자는 더 자유롭게 실패 할 수 있습니다.

Within trusting, longitudinal relationships , more consistently useful feedback is exchanged,38,72 and learners may be less inclined to view feedback offered with formative intent as a summative threat. Supported by trusting relationships, learners may feel freer to fail.

평가 순간이 무-부담이 아니라는 개념을 바탕으로 한 평가프로그램은 명확하고 명료하게 표현되어야하지만, 그렇다고 해도 의도치않게 "향상의 문화"가 아니라 "성과의 문화"에 기여할 수도 있다.

Programmatic assessment built on the notion that no assessment moments are zero stakes should be applauded for its explicitness and clarity but may inadvertently contribute to a culture of performance over a culture of improvement.

교수진이 학습자와 일하면서 관찰하는 코칭 프로그램은 (그들이 본 것을 성찰하고 미래의 발전을위한 권고를하기 위해,) 학습자가 방어적인 자세를 취하지 않고 지속적 개선 프로세스에 참여할 수 있도록 성공적으로 구현 될 수 있습니다 

Coaching programmes in which faculty members pair with learners to observe them work, in order to offer reflections on what they have seen and to make recommendations for future development, can be successfully implemented in ways that allow learners to let their guard down and engage with the process of continuous improvement.40

아마도 '형성 평가'라는 용어 자체가 문제일 수 있습니다. 51 학습자에게 '평가'는 판단과 결과를 의미합니다. 단어가 중요하며 '평가'라는 단어의 영향은 '형성'이라는 수식어의 의미를 상쇄 할 수 있습니다. 아마도 우리는 판단과 의사 결정과 관련된 활동에 대해 '평가'를하고, 학습자 개발을 촉진하기위한 활동을 언급하기 위해 다른 덜 위협적인 용어를 사용하는 것이 가장 좋습니다. 예를 들어, 코칭은 형성평가의 수집 및 성과에 관한 데이터 사용을 통해 교수 및 학습을 유도하고 성공을 위해 수행해야 할 학습자의 인식을 제한 할 수 있습니다. 코칭이라는 용어를 채택하는 것의 가치는 사실 수사학적일 뿐만 아니라 실제로도 개념적인 것일 수 있습니다. '코칭'이라는 단어는 [발달 목표에 의해 유도되는 활동]이라는 이미지를 불러 일으키기 때문이다.

Perhaps the very term ‘formative assessment’ is problematic.51 For learners, assessment implies judgement and consequences. Words matter, and the impact of the word ‘assessment’ may offset the meaning of the ‘formative’ qualifier. Perhaps we are best to reserve ‘assessment’ for activities associated with judgement and decision making, and to use different and less threatening terminology to refer to activities intended to promote learner development. Coaching, for example, may capture formative assessment’s collection and use of data about performance to drive teaching and learning while limiting learners’ perceptions that they need to perform to succeed. The value of adopting coaching terminology may, in fact, be as much rhetorical as conceptual: the very word ‘coaching’ conjures images of activities that are driven by developmental goals.

CONCLUSIONS

평가는 실제로 학습을 유도 할 수 있지만 그것이 유일한 운전자 여야합니까? 우리는 그렇게 생각하지 않습니다.

Assessment may indeed drive learning, but must it be the only driver? We think not.

평가에만 초점을 두고 foreground 학습 및 개발 코칭 전략에 대한 동등하게 비판적인 필요성을 무시합니다.

a focus on assessment alone ignores the equally critical need for coaching strategies that foreground learning and development.

van der Vleuten 등의 말 여기에서 도움이된다. '... 프로그램 평가의 모든 배우는 그들이하는 일, 왜 그 일을하는 이유, 왜이 일을하는지를 알아야한다.'20

The words of van der Vleuten et al. are helpful here: ‘... all actors in programmatic assessment must know what they are doing, why they are doing it, and why they are doing it this way.’20

2 Konopasek L, Norcini J, Krupat E. Focusing on the formative: building an assessment system aimed on student growth and development. Acad Med 2016;91 (11):1492–7.

18 Lockyer J, Carraccio C, Chan M-K, Hart D, Smee S, Touchie C, Holmboe ES, Frank JR; ICBME Collaborators. Core principles of assessment in competency-based medical education. Med Teach 2017;39 (6):609–16.

3 Eva KW, Bordage G, Campbell C, Galbraith R, Ginsburg S, Holmboe E, Regehr G. Towards a program of assessment for health professionals: from training into practice. Adv Health Sci Educ Theory Pract 2016;21 (4):897–913.

39 Watling C, Driessen E, van der Vleuten C, Vanstone M, Lingard L. Beyond individualism: professional culture and its influence on feedback. Med Educ 2013;47 (6):585–94.

40 Voyer S, Cuncic C, Butler DL, MacNeil K, Watling C, Hatala R. Investigating conditions for meaningful feedback in the context of an evidence-based feedback programme. Med Educ 2016;50 (9):943–54.

46 Watling CJ, Driessen E, van der Vleuten C, Vanstone M, Lingard L. Understanding feedback responses: the potential and limitations of regulatory focus theory. Med Educ 2012;46 (6):593–602.

47 Harrison C, Wass V. The challenge of changing to an assessment for learning culture. Med Educ 2016;50 (7):704–6.

33 Eva KW, Armson H, Holmboe E, Lockyer J, Loney E, Mann K, Sargeant J. Factors influencing responsiveness to feedback: on the interplay between fear, confidence, and reasoning processes. Adv Health Sci Educ Theory Pract 2012;17 (1):15–26.

Harrison CJ, K€onings KD, Schuwirth LWT, Wass V, 48 van der Vleuten CPM. Changing the culture of assessment: the dominance of the summative assessment paradigm. BMC Med Educ 2017;17:73.

35 Bowen L, Marshall M, Murdoch-Eaton D. Medical student perceptions of feedback and feedback behaviors within the context of the ‘educational alliance’. Acad Med 2017;92 (9):1303–12.

51 Heeneman S, Oudkerk Pool A, Schuwirth LWT, van der Vleuten CPM, Driessen EW. The impact of programmatic assessment on student learning: theory versus practice. Med Educ 2015;49 (5):487–98.

Ramani S, Post S, K€onings K, Mann K, Katz JT, van 65 der Vleuten C. ‘It’s just not the culture’: a qualitative study exploring residents’ perceptions of the impact of institutional culture on feedback. Teach Learn Med 2017;29 (2):153–61.

67 Gingerich A. What if the ‘trust’ in entrustable were a social judgement? Med Educ 2015;49 (8):750–2.

56 Dannefer EF. Beyond assessment of learning toward assessment for learning: educating tomorrow’s physicians. Med Teach 2013;35 (7):560–3.

---

Med Educ. 2018 Aug 2. doi: 10.1111/medu.13645. [Epub ahead of print]

Assessment, feedback and the alchemy of learning.

Watling CJ1, Ginsburg S2.

Author information

1

Department of Clinical Neurological Sciences, Schulich School of Medicine and Dentistry, Western University, London, Ontario, Canada.

2

Department of Medicine, University of Toronto, Toronto, Ontario, Canada.

Abstract

CONTEXT:

Models of sound assessment practices increasingly emphasise assessment's formative role. As a result, assessment must not only support sound judgements about learner competence, but also generate meaningful feedback to guide learning. Reconciling the tension between assessment's focus on judgement and decision making and feedback's focus on growth and development represents a critical challenge for researchers and educators.

METHODS:

We synthesise the literature related to this tension, framed around four trends in education research: (i) shifting perspectives on assessment; (ii) shifting perspectives on feedback; (iii) increasing attention on learners' perceptions of assessment and feedback, and (iv) increasing attention on the influence of culture on assessment and feedback. We describe factors that produce and sustain this tension.

RESULTS:

The lines between assessment and feedback frequently blur in medical education. Models of programmatic assessmentdeliberately use the same data for both purposes: low-stakes individual data points are used formatively, but then are added together to support summative judgements. However, the translation of theory to practice is not straightforward. Efforts to embed meaningful feedback in programmes of learning face a multitude of threats. Learners may perceive assessment with formative intent as summative, restricting their engagement with it as feedback, and thus diminishing its learning value. A learning culture focused on assessment may limit learners' sense of safety to explore, to experiment, and sometimes to fail.

CONCLUSIONS:

Successfully blending assessment and feedback demands clarity of purpose, support for learners, and a system and organisational commitment to a culture of improvement rather than a culture of performance.

© 2018 John Wiley & Sons Ltd and The Association for the Study of Medical Education.

PMID:

 

30073692

 

DOI:

 

10.1111/medu.13645