지금까지의 평가에 문제가 있었다면? : Pumpkin Plan의 필요성 (Med Teach, 2015)

지금까지의 평가에 문제가 있었다면? : Pumpkin Plan의 필요성 (Med Teach, 2015)

Have we got assessment wrong? Thoughts from the Ottawa Conference and the need for a Pumpkin Plan

Ronald M. Harden

Whitehead 는 북미에서 psychometric한 접근법이 거의 지배적이었지만, CanMEDS를 비롯한 역량 프레임워크에서 정의된다로 역량에 대한 평가를 align하는 것은 쉽지 않았다고 말한다. 신발의 짝에 대한 비유를 했다 "우리는 모두 가장 좋아하는, 과거에정말 좋아했던 신발이나 코트나, 아니면 머그잔이 있다. 우리는 그것들이 허물어져가도 사용하곤 하는데, 왜냐하면 그 물건에 대한 선호가 실용적인, 미적인 한계를 초월하기 때문이다. 그러나 조금 지나면 우리는 어쩔 수 없이 그 물건이 망가지고 있다는 사실을 인정해야 하며, 그 물건은 치워놓고 새롭게 시작해야 함을 인정할 수 밖에 없게 된다". "평가에 관한 현재 모델은 우리의 사고와 행위를 발전시키는데 크게 기여했다. 그러나 우리가 의료행위의 특성과 의료행위자의 평가에 대한 최근의 이해에 따라emerging understanding 현재의 방식은 빠른 속도로 낡은 것이 되어버렸다."

Whitehead et al. (2015) argue that while a psychometric approach has dominated assessment in North America, this does not align easy with assessment of competency as defined in CanMEDS and other competency frameworks. They use the metaphor of a pair of shoes ...‘‘We have all had a favourite pair of shoes, a coat, or perhaps a mug that has seen better days. We carry on using it even though it is falling apart as our fondness transcends its practical or aesthetic limitations. However, sooner or later, we are forced to admit its decayed state and we set it aside and start afresh.’’ They argue that ...‘‘Current models of assessment have served us well in advancing our thinking and practices, but they are becoming increasingly threadbare in light of our emerging understanding of the nature of medical practice and of the assessment of medical practitioners.’’

Hodges 는 '고부담 외부 시험이 학생들에게 가하는 압박'과 '내부적인 동기부여(자기주도성, 성찰)에 대한 더 많은 요구' 사이의 tension을 논한 바 있다. Hodges는 성찰에 대한 네 가지 접근법을 밝혔다.

Hodges (2015) high- lights in his paper the growing tension between the pressure on students from high stakes external examinations and the need for more involvement in internally motivated notions of ‘‘self-direction’’ and ‘‘reflection’’. Hodges identifies four approaches to reflection:

• metacognition,

• mindfulness,

• psycho- analysis and

• confession.

 

Hodges는 각각의 접근법의 일차적 활동으로서, 어떻게 practice가 좋은 의사를 만드는가, 교사의 역할은 무엇인가, 그리고 (가장 중요한 것으로서) 의도하지 않은 결과의 가능성 등을 설명했다. Hodges는 의학교육자들이 당면한 주요 문제는 '성찰의 실천practice of reflection'을 '평가'와 부합시키는 것이다. 우리는 "시험에 무엇이 나오나요?"라는 질문에 의해서 움직이는 학생을 만드는데 벗어나서 '무비판적, 무이론적' '자기' 성찰이라는 보이지 않는 소용돌이 속으로 무턱대로 들어가는 것에 대한 계획을 세워야 한다"

He describes the primary activity in each approach, how the practice will create a better doctor, the role of the teacher and, importantly, possible unintended consequences. Hodges continues by suggesting that a major challenge we face as medical educators is to square practices of reflection with assessment. We need to chart ‘‘...a course away from forming students who are driven only by ‘What is in the exam?’ to lurching headlong and blindly into an invisible whirlpool of un-critical, un-theorized ‘self’-reflection’’ (Hodges 2015).

2010년의 14th Ottawa에서 최선의 평가란 무엇인가에 대한 합의문을 개발하였다.

The development of consensus statements on current best practices in assessment was a feature of the 14th Ottawa held in Miami, USA in 2010. Topics addressed included

• ‘‘Criteria for Good Assessment’’ (Norcini et al. 2011),

• ‘‘Assessment for Selection’’ (Prideaux et al. 2011),

• ‘‘Research in Assessment’’ (Schuwirth et al. 2011),

• ‘‘Assessment of Professionalism’’ (Hodges et al. 2011),

• ‘‘Technology Enabled Assessment’’ (Amin et al. 2011), and

• ‘‘Performance Assessment’’ (Boursicot et al. 2011).

Mike Michalowicz 는 그의 책, The Pumpkin Plan에서 성공을 위해서는 다음을 인식해야 한다고 주장했다.

Mike Michalowicz (2012) in his book, The Pumpkin Plan, argues that for continuing success we need to recognise that

"모든 것에는 철이 있는 법이다. 호박은 영원히 유지되지 않는다. 심지어 가장 크고 우수한 호박도 죽는다. 궁극적으로 우리는 그 큰 호박에서 씨를 빼서 새로 심고, 새로 시작해야 한다. 모든 것이 다 그러할 것이다"

there is a season for everything. He describes that pumpkins do not last forever, even giant and great pumpkins die. Eventually we need to extract the seed from a giant pumpkin and use it to plant a new one and start again. The same is true, he suggests, in any endeavour.

 

 

Hodges BD. 2015. Sea monsters & whirlpools: Navigating between examination and reflection in medical education. Med Teach 37(3):261–266.

Whitehead CR, Kuper A, Hodges B, Ellaway R. 2015. Conceptual and practical challenges in the assessment of physician competencies. Med Teach 37(3):245–251.

---

Med Teach. 2015 Mar;37(3):209-10. doi: 10.3109/0142159X.2015.1010497.

Have we got assessment wrong? Thoughts from the Ottawa Conference and the need for a Pumpkin Plan.

Harden RM1.

Author information

• 1AMEE , Dundee , UK.

PMID:

 

25651987

 

[PubMed - indexed for MEDLINE]