평가를 향한 공통의 접근법 (Med Teach, 2012)

평가를 향한 공통의 접근법 (Med Teach, 2012)

Towards a systems approach to assessment

C. P. M. VAN DER VLEUTEN1 & ELAINE F. DANNEFER2

1Maastricht University, Maastricht, The Netherlands, 2Western Reserve University, USA

2009 년 말라가에서 열린 AMEE 컨퍼런스에서 Janet Grant 교수는 역량에 대한 평가를 '의학교육의 왕관 보석'이라고 명명했다. 실제로 평가는 우리 분야에서 매우 풍부한 역사를 가지고 있습니다. 1988 년부터 2010 년까지의 의학 교육 문헌에 대한 최근의 분석에서 평가는 평가에 전념 한 총 논문 수의 약 26 %를 차지하여 가장 인기있는 주제로 나타났습니다 (Rotgans 2011). 지난 몇 년 동안 우리는 네 가지 주요한 발전을 보았습니다.

In her plenary at the AMEE conference 2009 in Malaga, Professor Janet Grant labeled the assessment of competence field ‘‘the crown jewels’’ of medical education. Indeed, assessment has a very rich history in our field. In a recent analysis of the medical education literature from 1988 to 2010, assessment was found to be the most popular topic with approximately 26% of the total number of papers dedicated to assessment (Rotgans 2011). Over these years, we see four major developments.

우선 지금까지 많은 방법들이 제안되고 조사 되었다. 수십 년 만에 우리는 수많은 평가 도구로 Miller 's (1990) 피라미드를 '등반 할 수있었습니다. 아마도 피라미드의 처음 세 단계에서는 의학교육의 연속체 스펙트럼 전반에 걸쳐 표준화된 평가기술이 교육 프로그램의 평가를 위해 확립되었다고 할 수 있습니다. 우리는 현재 표준화되지 않은 방법을 개발하여, authentic setting(교육환경이든 진료환경이든)에서 수행능력을 평가하려는 과정에 있다.

One is the plethora of methods that have been proposed and investigated. Within a few decades, we have in essence been able to ‘climb’ Miller’s (1990) pyramid with numerous assessment instruments. One might say that in the arena of standardized assessment technology (first three layers of the pyramid), we could speak of an established technology which is heavily used in assessment practices in our training programs across the whole spectrumof the training continuum in medical education. Currently, we are in the midst of developing non-standardized methods, assessing performance in the authentic setting, either in the educational environment or in the professional workplace.

이러한 진정한 평가와 관련하여 때로는 영역-독립적 기술, 일반 기술, 전문성, 의사 소통 및 협업과 같은 부드러운 기술이라고하는 복잡한 대응이 두드러집니다. 이러한 기술은 최적의 전문 기능을 발휘하기 위해 점점 더 중요시되고 있습니다. 이러한 복잡한 역량은 표준화 된 평가 기술로는 거의 평가할 수 없습니다.

Associated with this authentic assessment is the prominence of complex compe- tencies, sometimes called domain-independent skills, generic skills, or soft skills, such as professionalism, communication, and collaboration. These skills are increasingly being con- sidered to be essential for optimal professional functioning. These complex competencies can hardly be assessed with standardized assessment technology.

두 번째 발전은 평가를 중심으로 잘 발달 된 방법론입니다. 항목 및 테스트 구성, 자극 및 응답 형식, 채점, 항목 및 테스트 분석, 표준 설정 및 유효성 검사 전략에서 '기술'을 많이 사용할 수 있습니다.

A second development is is the well-developed methodology around assessment. In areas of 

• item and test construction, 

• stimulus and response formats, 

• scoring, 

• item-and test analysis, 

• standard setting, and 

• validation strategies, 

...a lot of ‘technology’ is available.

세 번째 발전은 assessment of learning와는 대조적으로 assessment for learning에 대한 개념이다. 후자의 개념에서 중앙 인증, 의사 결정, 승진은 기본적으로 평가 된 사람이 특정 영역의 숙달 (최소) 숙달 여부를 확인하는 개념입니다. 학습을 위한 평가에서 평가의 학습 기능이 강조됩니다.

A third development is the notion of assessment for learning as opposed to assessment of learning. In the latter notion, central certification, decision making, and promotion are concepts, basically to ascertain if a person assessed has acquired (minimum) mastery of a certain domain. In assess- ment for learning, the learning function of assessment is emphasized.

마지막으로, 네 번째 발전은 개별 평가 방법을 뛰어 넘는 보다 시스템-지향적 인 접근 방식으로, programmatic assessment라고 합니다. 이것은 평가 프로그램이 일련의 평가 활동을 계획적으로 조정한다는 견해입니다.

Finally, the fourth development is the move beyond the individual assessment method toward a more system-oriented approach, also called programmatic assessment. This is the view that an assessment program is a deliberate arrangement of a set of assessment activities.

우리는 평가영역에서 시스템 접근법의 개발이 긴급하다고 생각합니다. Baartman et al. (2007)과 Dijkstra et al. (2010)를 제외하면, 시스템 접근법은 평가 프로그램을 설계 할 때 거의 찾아 볼 수 없으며, 구현 및 기능에 대해서도 거의 없습니다.

We think the assessment field requires urgent progression in the development of the systems approach. Except for the work of Baartman et al. (2007) and the initial work of Dijkstra et al. (2010), very little can be found on designing assessment programs and virtually nothing about their implementations and their functioning.

Dannefer와 동료들은 Cleveland Clinic Lerner College의 평가 프로그램에 대한 설명을 제공합니다. 첫 번째 논문 에서처럼 이론적 모델에 따라 매우 기능합니다. 그것은 모든 종류의 평가원으로부터받은 피드백 수집에 크게 의존합니다. 학생들은이 피드백을 사용하여 학습을지도하고 진도 결정에 사용 된 증거를 선택합니다.

Dannefer and coworkers provide a description of the assessment program of the Cleveland Clinic Lerner College of Medicine. It very much functions in conformity with the theoretical model as in the first paper. It relies heavily on the gathering of feedback from all kinds of assessment sources. Students use this feedback to direct their learning and select evidence used for progress decisions.

Altahawi와 그의 동료 학생들은 평가 프로그램을 어떻게 경험했는지보고합니다. 그들은  주로 Grade기반의 전통적인 평가 시스템에서 교육을 받은 학습자에게 익숙하지 않은 접근법에 대해 성찰적으로 설명합니다.

Altahawi and his fellow students report on how they experience the assessment program. They provide a reflective account of how unfamiliar the approach is to learners who have been mainly educated in a grade-based, traditional assessment system.

Rotgans JI. 2011. The themes, institutions, and people of medical education research 1988-2010: Content analysis of abstracts from six journals. Adv Health Sci Educ Theor Pract. 10.1007/ s10459-011-9328-x.

---

Med Teach. 2012;34(3):185-6. doi: 10.3109/0142159X.2012.652240.

Towards a systems approach to assessment.

van der Vleuten CP1, Dannefer EF.

Author information

1

Department of Educational Development and Research, Faculty of Health, Medicine and Life Sciences, Maastricht University, Maastricht, The Netherlands. c.vandervleuten@maastrichtuniversity.nl

PMID:

 

22364448

 

DOI:

 

10.3109/0142159X.2012.652240