학습을 위한 평가로: 미래의 의사 교육(Med Teach, 2013)

학습을 위한 평가로: 미래의 의사 교육(Med Teach, 2013)

Beyond assessment of learning toward assessment for learning: Educating tomorrow’s physicians

ELAINE F. DANNEFER

Cleveland Clinic Lerner College of Medicine of Case Western Reserve University, USA

도입

Introduction

배경

Setting the stage

기존 프로그램에 변화를 가져 오거나 새로운 프로그램을 만들 때, 교수진은 평가 목표를 다시 생각할 기회가 필요합니다 (Dijkstra 외. 2010).

Whether bringing change to an existing program or creating a new one, faculty need the opportunity to rethink the goal of assessment (Dijkstra et al. 2010).

우리 졸업생들이 원하는 특성에 대해 폭넓게 토론함으로써 "성찰적 의사" 훈련이라는 개념에 합의하게 되었다.

Extensive discussion about the desired characteristics of our graduates resulted in agreement among faculty on the concept of training reflective practitioners 

성찰적 의료인: 학습 요구를 스스로 평가할 수 있고, 학습 계획을 수립하고 구현하고, 지속적인 개선을 문서화하는 의사

reflective practitioners – physicians able to self-assess learning needs, create and implement learning plans, and document continual improvement 

한 시니어 교수가 요약 한대로 '왜 학생이 레지던트가 될 때까지 학습에 책임을 지기를 기대하기를 미뤄야 하나?'

As one senior faculty member summed it up, ‘‘Why wait until they are residents before we expect them to take responsibility for their learning?’’

학생들도 일반적으로 의대에 가져 오는 사고 방식을 바꾸어야합니다. 대부분의 학생들은 학창시절 내내 'A'를 받았으며, 의과 대학에 들어와서도 학습 자료를 결정하고, 무엇이 중요하고 '시험'을 준비하는 방법이 무엇인지를 알기 위해 교수진에게 의존한다.

Students, too, need to change the mindset they typically bring to medical school. Most students arrive at medical school having received straight ‘‘A’s’’ throughout their schooling, welltrained to rely on faculty to determine learning material, expecting to be told what’s important and how to prepare for ‘‘the test’’.

평가 시스템에 대한 오리엔테이션에서는 CCLCM의 사명을 인식하고 학습 요구를 식별 할 책임이있는 성찰적 의료인을 양성하는 CCLCM의 사명을 강조합니다. 따라서 학생들은 입학 후에 시험과 성적이 없다는 것에  대부분 '문화적 충격'을 받게 된다(Altahawi 외. 2012).

Orientation to the assessment system emphasizes CCLCM’s mission to train reflective practitioners who self assess and take responsibility for identifying learning needs. Thus entering students know that there are no exams or grades, yet most experience ‘‘culture shock’’ (Altahawi et al. 2012).

교수 및 학생 모두 프레임 변화가 필요합니다. 

• 교수진은 학습 경험을 제공하고, 유용한 피드백을 제공하며, 학생들이 학습에 대한 책임을 질 것으로 신뢰해야 한다. 

• 학생들은 'A'를 받기 위한 '총'을 가치있게 여기기보다는, gap을 찾아내고 개선의 document하는 능력을 더 중요시해야합니다.

A frame shift is required for both faculty and students. 

• Faculty need to view their role as that of providing learning experiences, giving useful feedback, and trusting students to take responsibility for their learning. 

• Students need to value the ability to identify gaps and document improvement, rather than ‘‘gun’’ for the ‘‘A’’.

필수구성요소

The essential building blocks

역량 기준

Competency standards

학생들에게 성과 피드백을 사용하여 자기평가를 하도록 요구하려면, 자신의 수행능력을 판단할 명확한 expectation이 필요합니다. 교수진은 학생들에게 아홉 가지 역량을 요구하고,

Students need clear expectations by which to make judgments about their performance if we expect them to self-assess using performance feedback. The faculty agreed to require students to achieve nine competencies,

각 역량에 대해 교수진은 각 학년도에 대해 3 ~ 4 개의 발달 적으로 적절한 성과 표준을 확인했습니다. 표 1은 연구 역량 표준을 예로 든 것입니다. 성과 기준은 여러 상황에서 서로 다른 상황에서 측정 가능하고 관찰 가능하며 역량의 성과 평가에 기여합니다.

For each competency, faculty identified 3 to 4 developmentally appropriate performance standards for each academic year; Table 1 provides research competency standards as an example. The performance standards are measurable, observable in multiple situations in different contexts, and contribute to evaluating performance of the competency.

지속적 형성평가

Ongoing formative assessments

CCLCM은 학습을 위한 평가와 진급을 위한 평가라는 두 개의 별도 평가 트랙 대신, 둘 다에 대해 동일한 평가를 사용합니다. 모든 평가는 형성적이고 빈번하며 역량을 목표로합니다. 평가(자료)를 수집함에 따라서, 학생들은 그 자료들을 일련의 저부담 결정에 따라 학습을 guide하는 용도로 사용합니다. 그러나 연말에 학생은 총괄적으로 구체적 기록을 검토하고, 역량을 달성해온 과정에 대한 풍부한 설명을 문서로 제출해야 한다. 이것이 진급 결정의 기초가 된다. 선다형 문제, 에세이 문제 (Bierer 외. 2010) 및 OSCES와 같은 전통적인 방법이 사용됩니다. 완료시 학생에게 정확한 답변과 피드백이 주어져 학습을 촉진합니다.

Rather than create two separate assessment tracks, one for learning and one for promotion decisions, CCLCM uses the same assessments for both. All assessments are formative, frequent, and targeted to the competencies. As assessments are collected, students use them to guide learning in a series of low stakes decisions. At end of year, however, the student examines the detailed record in total and provides a rich, well-documented account of progress in achieving the competencies. This account comprises the basis for promotion decisions. Traditional methods such as multiple choice questions, essay questions (Bierer et al. 2010), and OSCES are used. Correct answers and feedback are given to students at the time of completion to promote learning.

이러한 방법은 [관찰된 역량 관련 행동을 성찰하기 위해 각 설정에 맞춰 수정된 템플릿]으로 수집된 [내러티브 피드백]으로 보완됩니다 (Dannefer 외. 2012). 평가자는 학생들이 잘 수행하고있는 것을 강화하고 개선을위한 목표 영역을 확인하기 위해 정보가 풍부한 피드백을 제공하도록 교육을 받았습니다. 표 2는 1 학년 학생에 대한 연구 프 레셉터의 평가로부터의 의사 소통에 관한 발췌를 제공합니다. 템플릿은 또한 여러 가지 역량이 실무 상황에 따라 다른 방식으로 통합되어야한다는 개념을 표현한다. 양식의 일반적인 설명 섹션은 전체적인 수행능력 개요를 제공합니다.

These methods are complemented by narrative feedback collected using a template modified for each setting to reflect competency related behaviors that can be observed (Dannefer et al. 2012). Assessors are trained to provide information-rich feedback to reinforce what students are doing well and identify targeted areas for improvement. Table 2 provides an excerpt regarding communication from a research preceptor’s assessment of a Year 1 student. The template also conveys the notion that multiple competencies need to be integrated in different ways depending on the practice situation. A general comments section on the form allows for holistic overviews of performance.

의도적 지지

Purposeful support

학생이 자신의 학습 관리에 대한 책임을 지지만, 동시에 상당한 교수 지원을 받습니다. 우리는 의대 전반에 걸쳐 각 학생에게 [성찰과 자기 평가를 촉진에 대한 훈련을 받은 지도의사]를 지정하여, 학생들이 자신이 받은 형성적인 피드백을 분석하고 해석하고 학습 요구를 확인할 수 있도록 돕습니다.

Students, though given responsibility for managing their learning, receive considerable faculty support. We assign a physician advisor trained in promoting reflection and self-assessment to each student throughout medical school to help students analyze and interpret formative feedback and identify learning needs.

학생과 지도의사 간의 빈번한 만남은 정기적으로 피드백을 검토하고 진행 상황을 성찰하는 중요성을 강조합니다.

Frequent meetings between students and advisors reinforce the importance to review feedback regularly and reflect on progress.

학습자 책임

Learner responsibility

학생이 학습에 대한 자신의 책임감을 실천하는 여정은 첫 번째 포트폴리오에서 시작됩니다. 의대 1 학년에 학생들은 역량 평가 기준에 부합하는 진행 상황을 문서화하고 자기평가를 기반으로하는 학습 계획을 보완하는 에세이로 구성된 세 가지 형식 포트폴리오를 준비합니다. 그 다음 지도교수와 만나 자기 평가에 대한 대화를 하고, 지도교수와 평가가 서로 다를 경우 그에 대해 논의합니다.

The student’s journey towards developing the practice of taking responsibility begins with the first portfolio. In the first year of medical school, students prepare three formative portfolios composed of essays to document progress in meeting the competency standards, complemented with a learning plan based on their self-assessment. Then, they meet with their advisor to engage in a dialogue about the student’s self-assessment, discussing areas where their appraisals may diverge.

고부담 결정에서조차 학생들은 적극적인 역할을합니다. 연말에 학생들은 총괄 포트폴리오를 준비하는데, 여기에는 성과 기준 달성과 관련한 progress와 challenge를 문서화하게 된다. 우리는 종종 총괄 포트폴리오를 (학생이 자신의 평가 데이터베이스에서 선택한 인용이 달린 신중하게 작성된 문서로서) "자신에 대한 연구 논문"이라고 묘사한다.

Even in the high stakes decisions, students play an active role. At the end of the year, students prepare a summative portfolio, documenting their progress and challenges in terms of achieving the competency standards (Dannefer et al. 2011). We sometimes describe the summative portfolio as a research paper on the self, carefully documented with citations selected by the student from his/her assessment database.

지도교수는 포트폴리오 초안을 검토하고 학생의 자기평가의 정확성에 대한 피드백을 제공하며, 학생에게는 일년 내내 자신의 실적을 대표하는 것으로 인증을 수정하고 다시 제출할 수있는 기회가 주어집니다.

The advisor reviews the draft portfolio, providing feedback as to the accuracy of the student’s self-assessment, and students are given an opportunity to revise and resubmit for certification that it is representative of performance across the year.

진급위원회는 엄격한 규칙에 따라 각 포트폴리오를 검토하여 학생이 

• 역량을 충족하는지, 

• 충족하지만 약간의 보완이 필요한지(지도교수와 함께 학습 계획을 수립해야 함), 

• 역량을 충족시키지 못하는지 결정합니다 (Bierer & Dannefer 2011). 역량을 갖추지 못한 학생은 지도교수의 도움을 받아 개선 계획을 수립하고 문제를 충분히 해결할 때까지 진급위원회에 정기적 보고서를 제출합니다. 이러한 개선책은 학생의 책임을 강화시킵니다.

The promotion committee reviews each portfolio following a rigorous protocol to determine whether a student meets the competencies, meets competencies with concern, which requires developing a learning plan with his/ her advisor, or does not meet competencies (Bierer & Dannefer 2011). The student who does not meet competencies develops a remediation plan with the help of his/her advisor and submits regular reports on progress to the promotions committee until he/she shows they have sufficiently addressed the issues. This approach to remediation reinforces student responsibility.

평가 시스템에 적응

Adjusting to the assessment system

이 시스템에 대한 적응은 학생마다 다르지만, 익숙해지기까지 어느 정도의 시간이 걸리는 것으로 나타났습니다. 특히 성적이 없다는 것에 대해서 적응에 시간이 걸리는 경우가 많습니다 (Altahawi 외. 2012).

Adjustment to this system varies for each student, but most find that it takes some period of time to get used to, especially the absence of grades (Altahawi et al. 2012).

학생들과의 대화에 따르면 학점이 없다는 것에 의해서 내적동기 부여 프로세스가 가속화되는데, 왜냐하면 더 이상 교수의 판단에 의존할 수 없기 때문이다. 피드백은 학생들이 표준을 충족시키는 지 여부를 판단하는 중요한 정보 원천이됩니다. 우리의 졸업생들은 입학생들에게 피드백에 대해서 개방적이어야 하며, 수용적이어야 하고, 진지하게 받아들이되 개인적인 것으로 생각하지 말고, 적극적으로 의견을 구하라고 조언합니다.

Conversations with students suggest that not having grades accelerates the process of becoming internally motivated because they can no longer rely on faculty judgments. Feedback becomes a critical source of information for students about whether or not they are meeting the standards. Our graduating students advise incoming students to be open and receptive to feedback, to take it seriously, not personally, and to actively seek feedback.

나는 처음에 내가했던 피드백보다 훨씬 덜 두려워한다. 어떤 자기 주도형 A 타입 사람과 마찬가지로 좋은 피드백이있는 바다 한가운데서 단 하나의 제안 일지라도 나는 완벽하지 못한 것을 듣고 싶지 않았습니다. 이제 더 이상 피드백을 요청하거나 내 퍼포먼스에 대한 제안을 받는 것을 두려워하지 않는다. 이제는 오히려 편안하다. 개선의 여지가 있다는 것은 더 이상 끔찍한 것이 아니며, 오히려 항상 완벽해야 한다는 압력을 줄여준다.

I am much less ‘‘afraid’’ of feedback (than) I initially was; like any self-driven, Type A person, I did not want to hear anything less than perfect—even if it was only one suggestion in the midst of a sea of good feedback. Now, I am no longer afraid to ask for feedback and take suggestions on my performance;it’s almost comforting now—to have room to improve is no longer such a dire thing, rather it takes pressure off, as I no longer always have to be perfect. 

한 학생이 말했듯이, 학생들의 의견에 대한 일반적인 합의는 "우리가 성적에 집착하지 않기 때문에 사실 배우고 실제로 나아질 수 있습니다."

The general consensus of our feedback from students is, as one student said, that ‘‘because we’re not obsessing about grades, we can actually focus on learning and actually getting better.’’ 

CCLCM 평가 문화는 학생의 기록에 검은 색 표시가 아닌 성장 촉진이라는 건설적인 피드백을 정의하고 학습 요구 사항을 성숙한 전문가의 신호로 간주하며 모든 학생들의 역량 달성을 기대합니다.

The CCLCM assessment culture defines constructive feedback as growth-promoting rather than a black mark onthe student’s record, views acknowledgement of learning needs as a sign of a mature professional, and expects achievement of competencies by all students.

Altahawi F, Sisk B, Poloskey S, Hicks C, Dannefer EF. 2012. Student perspectives on assessment: Experience in a competency-based portfolio system. Med Teach 34:221–225.

Dannefer EF, Bierer SB, Gladding SP. 2012. Evidence within a portfolio-based assessment program: What do medical students select to document their performance? Med Teach 34:215–220. 

---

Med Teach. 2013 Jul;35(7):560-3. doi: 10.3109/0142159X.2013.787141. Epub 2013 May 3.

Beyond assessment of learning toward assessment for learning: educating tomorrow'sphysicians.

Dannefer EF1.

Author information

1

Cleveland Clinic Lerner College of Medicine of Case Western Reserve University, Cleveland, OH, USA. dannefe@ccf.org

Abstract

Beyond its importance in informing high-stakes decisions, the assessment process can also be designed to foster learning. To be effective, this requires developing a program in which curricular experiences, assessment practices and support activities are aligned to provide an educational culture that encourages self-regulated learning. We describe a program (based at Cleveland Clinic Lerner College of Medicine) in which explicit performance standards align these components and provide a roadmap for students to manage their learning. Information-rich assessment data, structured opportunities for reflection, and facilitated self-assessment using a portfolio approach are designed to support development of habits of reflective practice. Promotion depends on the achievement of competencies rather than grades. Preliminary evidence suggests that the program directs students towards learning, rather than on achieving a grade for grade's sake.

PMID:

 

23641918

 

DOI:

 

10.3109/0142159X.2013.787141

[Indexed for MEDLINE]