AFL 문화로의 변화 어려움(Med Educ, 2016)

AFL 문화로의 변화 어려움(Med Educ, 2016)

The challenge of changing to an assessment for learning culture

Chris Harrison & Val Wass

지난 몇 년 동안 학습 기간이 끝날 무렵에 고부담 시험에 대한 순수한 의존 ( '학습 평가'또는 'AOL'평가)에서 벗어나 학습기간 전반에 걸쳐, 풍부한 피드백과 결합된 다수의 저부담 평가에 초점을 맞출 것을 촉구했습니다. ( '학습을위한 평가'또는 AFL)

Over the last few years, there have been calls to move away from a pure reliance on high-stakes testing at the end of a period of learning (‘assessment of learning’ or AOL) towards a focus on multiple low-stakes assessments throughout the period of learning, combined with rich feedback (‘assessment for learning’ or AFL).1,2

너무 자주 평가는 학습을 위한 기반이 아니라 극복해야 할 장애물이됩니다.

Too often, assessments become hurdles to be overcome, rather than stepping stones to further learning.3

Pugh와 Regehr는 progress test의 잠재적 이점을 옹호합니다. 이론 상으로 보면, PT는 광범위한 컨텐츠 영역을 다루기 때문에 마지막 순간에 벼락치기가 도움이 되지 않기 때문에 더 깊은 학습이 이루어져야합니다. 각각의 PT는 저부담 평가의 의도가 있기 때문에, 고부담 평가가 학습에 미치는 부작용의 일부를 완화할 수 있을 것으로 기대된다.

Pugh and Regehr advocate potential benefits of progress tests . In theory, as they cover such a broad content area, last-minute cramming should not be a helpful strategy, so deeper learning ought to take place. The low-stakes intention of each individual progress test should mitigate some of the adverse effects that high-stakes assessments can have on learning approaches.

또한 Progress test는 학습자에게 매우 상세한 피드백을 제공하는 비교적 간단한 방법을 제공합니다.

Progress tests also offer a relatively straightforward way to provide fairly detailed feedback to learners.

현실이 이러한 기대를 충족 시키는가?

Does the reality meet these expectations?

학생들이 언제나 PT가 더 깊은 학습을 촉진한다고 인식하지는 않습니다. 그보다 더 광범위한 수준에서 평가 프로그램의 디자인이 중대한 영향을 미친다 .7 저부담 시험으로 설계된 평가가 학습자에게 총괄평가로 인식되면서 학습에 부정적 영향을 미치기도 한다.8,9 학생들의 관점에서 볼 때, 평가는 종종 총괄평가의 전통에 확고하게 뿌리 내리고 있습니다.

Students do not always perceive the progress test as promoting deeper learning; the wider design of the assessment programme has a critical influence.7 Other assessments that designers intend to be low stakes can in fact be perceived by learners to have summative consequences, with adverse effects on learning opportunities.8,9 From the students’ perspective, assessment often remains firmly rooted in the summative tradition.

또한 학생들은 늘 피드백을 요구하면서도, 그것을 formative하게 사용하는 것을 어려워한다.

In addition, students, although always vocal in their demand for feedback, appear to have difficulty in using it formatively.

한 예로, 객관적 구조 임상 시험 (OSCE)에 따라 웹 사이트를 통해 모든 학생들에게 의견이 전달되었습니다 .10) 피드백을 사용한 방식에 상당한 변화가있었습니다. 

• 우수한 성적을 보이는 학생들은 웹 사이트 피드백을 formative한 목적보다는 경쟁적 비교를 위해 사용하는 경향이 있었으며, 

• 반면, 가까스로 통과한 학생 (가장 많은 피드백을 필요로 하는 학생)은 평가 장애물을 넘겼다는 이유로 피드백을 무시하는 경향이있었습니다.

In one example feedback was delivered via a website to all students following an objective structured clinical examination (OSCE).10 there was considerable variation in how they used the feedback. Highly performing students tended to use the website feedback for competitive comparison of performance rather than formatively, whereas the just-passing students (who needed it most) tended to ignore it as they had managed to clear an assessment hurdle.

총괄평가는 학생들의 실패와 그에 따른 처벌에 대한 두려움이 dominant한 강력한 문화를 창출했다.

summative assessments created a powerful culture that was dominated by students’ fear of failure and subsequent punishment.3

총괄평가 후에 제공된 피드백은 미래의 임상 현장에서의 학습과는 관련이없는 것으로 간주된 반면, 미래의 총괄평가에 대해서만 도움이 되었던 나타났습니다.

The feedback provided after a summative assessment was not regarded as relevant for future learning in the clinical workplace, but was only seen as appropriate for future summative assessments.

평가자와 멘토의 역할을 결합하는 것은 매우 어렵습니다.

It appears very hard to combine the roles of assessor and mentor.

이것은 우리에게 불편한 진실을 알려준다. 최선의 의도에도 불구하고 저부담 평가로 설계된 평가가 고부담 평가로 인식 될 수 있습니다. 평가는 그것의 설계 또는 구현 방식때문에 총괄평가처럼 인식되면, 평가 정보도 의도하지 않게 합격-불합격의 binary한 결정으로 단순화되어 피드백에 대한 수용성이 저해되고, 이는 학생들에게 dominant한 메시지가 됩니다.

This leads us to some uncomfortable truths. Despite our best intentions, assessments designed as low stakes may be perceived as high stakes. If an assessment is perceived as summative, either by design or implementation, receptivity to feedback is hindered, as the information from the assessment has been unintentionally boiled down to a binary pass-fail decision, which becomes the dominant message.

그렇다면 우리는 어떻게 평가가 학습에 유익한 영향을 미칠 수 있도록 보장 할 수 있습니까? 평가와 피드백이 이루어지는 더 넓은 환경과 문화를 고려해야합니다.

How then can we ensure that assessments have beneficial effects on learning? we need to consider the broader environment and culture in which assessment and feedback take place.

우리는 의대 내에 팽배해있는 평가 문화에 도전 할 준비가되어 있어야합니다. 피드백에 대한 수용성을 장려하는 것 외에도 역량 기반 평가의 의도하지 않은 부작용을 피해야하며, 평가가 practice와 authentic하게 연계되어 있어야한다.

we need to be prepared to challenge the prevailing assessment culture. In addition to encouraging receptivity to feedback, unintended adverse consequences of competency-based assessments must be avoided and authentic linkage of assessment to practice created.12

문화를 바꾸는 것은 쉽지 않을 것입니다. 그들은 또한 과거에 의학 교육에서 혁신을 구현하는 것이 항상 쉬운 것은 아니라는 점을 상기 할 것입니다.

Changing the culture will not be easy. They will also recall that, within medical education, implementation of previous innovations has not always been straightforward.

도구 자체의 장점에 초점을 두는 대신, 평가와 관련한 광범위한 학습문화 속에서 PT 및 평가를 구현하는 방법을 이해하는쪽으로 바뀌어야 한다. 본질적으로 전통적인 평가 설계의 제약으로부터 자유로운 학습 환경을 조성하기 위해 교수진의 노력이 필요합니다.

instead of focusing on the merits of the tool itself, we need to move to understanding how to implement progress tests, and other assessments, successfully within a broader assessment for learning culture. In essence, it requires a commitment from faculty members to create a learning environment free from the restraints of traditional assessment design.

The power of the written word: team assessment of behaviour Britta M Thompson,1 Jed D Gonzalo1 & Ruth E Levine2

---

Med Educ. 2016 Jul;50(7):704-6. doi: 10.1111/medu.13058.

The challenge of changing to an assessment for learning culture.

Harrison C1, Wass V1.

Author information

1

Keele, Staffordshire, UK.

Comment on

• Taking the sting out of assessment: is there a role for progress testing? [Med Educ. 2016]

PMID:

 

27295472

 

DOI:

 

10.1111/medu.13058

[Indexed for MEDLINE]