마일스톤을 활용한 역량 평가(Med Teach, 2015)

마일스톤을 활용한 역량 평가(Med Teach, 2015)

Assessing competencies using milestones along the way

ARA TEKIAN1, BRIAN D. HODGES2, TRUDIE E. ROBERTS3, LAMBERT SCHUWIRTH4 & JOHN NORCINI5

1University of Illinois at Chicago, USA, 2University of Toronto, Canada, 3Leeds Institute of Medical Education, UK,

4Flinders University, Australia, 5FAIMER, USA

도입

Introduction

2012년 프라하에서 열린 유럽 의학교육협회(AMEE) 회의에서, 심포지엄은 '역량'과 '마일스톤'에 대한 다양한 해석과 오해를 탐구하고, 이들의 보건 직업 교육에서의 응용과 유용성에 대해 토론하고, 그것들을 측정하는 데 내재된 논란을 조사하기 위해 조직되었다. 이러한 우려는 유럽, 미국, 캐나다 및 호주의 관점에서 검토되었다.

During the 2012 meeting of the Association of Medical Education in Europe (AMEE) in Prague, a symposium was organized to explore the different interpretations and misinterpretations of ‘‘competencies’’ and ‘‘milestones’’, debate their application and usefulness in health professions education, and probe the controversies inherent in measuring them. These concerns were examined from a European, American, Canadian and Australian perspectives.

배경

Background

현재 교육의 본질에 관한 두 가지 모델이나 의욕이 있다. 첫 번째는 교육이 정해진 기간 내에 이루어질 것이라고 가정하는 친숙한 시간 기반 모델이다.

There are currently two models or discourses concerning the nature of education. The first is the familiar time-based model which assumes that education will occur within fixed periods.

이와는 대조적으로, 지난 수십 년간 결과 기반 교육 모델에 대한 관심이 증가했다.

In contrast, the past few decades have seen growing interest in an outcomes-based model of education.

역량에 대한 캐나다적 관점

Canadian perspective on the competencies

캐나다에서는, 전 세계적으로 큰 영향을 미친 CanMEDS "flower"에 근거한 역량 운동이 있다.

In Canada, there is a competency movement based on the CanMEDS ‘‘flower’’ that has had significant impact around the world.

현재 외과 전문의 레지던트 프로그램이 완전히 역량 기반인 몇 가지 실험이 이루어지고 있다. 이러한 잠재적 이점에도 불구하고 역량 기반 모델에 대한 우려도 있다.

Several experiments are currently taking place in which residency programs in surgical specialties are fully competency-based. Despite these potential advantages, there are also concerns about the competency-based model:

• 낮은 기준. 최소 또는 최저 공통 분모를 강조하며, 이는 일반적인 표준 저하를 초래할 수 있다.

• 실용주의적 성향. 실무적인 문제에만 훈련을 집중하는 경향이 있다.

• 복잡한 로지스틱스. 개별 페이싱은 스케줄링과 함께 물류 문제를 제시한다.

• 루틴 기술이나 시험에 대한 가르침 강조. 원래 역량 기반 접근은 기술 및 직업 분야에서 시작되었는데, 이분야는 의료와 달리 의료 분야에 존재하는 복잡성이나 판단 기반적 측면이 없다.

• 사회적 책임. 사회적 책임이 운영되고 평가될 수 있는가? 역량 기반 모델은 의학의 복잡하고 관계적인 측면을 다루기에는 충분하지 않을 수 있다.

• Lower standards. It emphasizes the bare minimum or lowest common denominator, and this may lead to a general lowering of standards.

• Utilitarian tendencies. It tends to focus training on practical concerns only.

• Complicated logistics. Individual pacing presents logistical issues with scheduling.

• Emphasis on routine skills or teaching to the test. Originally, the competency-based approach began in technical and vocational fields, which do not have the complexities or judgment-based aspects that are present in the medical field.

• Social responsibility. Can social responsibility be operationalized and assessed? The competency-based model may be insufficient to address the complex and relational aspects of medicine.

역량을 구성하는 요소에 대한 재평가

Reevaluating components that constitute competency.

표준을 정의할 때 우리는 '역량'이라는 개념의 본질에 대해 생각할 필요가 있을 수 있다. 역량은 환원주의적 체크리스트 접근방식에 의해 결정될 수 없다는 개념이 점점 더 인정받고 있다. 역량은 목록 이상의 것이다. 이것은 "건강"이라는 개념과 유사성하다. "건강"은 체크리스트만으로 평가될 수 없다. 우리 중 MD인 사람들은 결코 실험실 가치만으로 환자를 진단하거나 치료하지 않고 오히려 인간의 판단을 통합하는 법을 배워왔다; 우리 자신의 판단뿐만 아니라 다른 전문가들(병리학자/방사선학자 등). 언어는, 즉 서술된 형태는, 환자의 건강 상태를 설명하고 평가하는 데 있어서 의사의 주요 도구다.

When defining standards we may need to think about the nature of the concept ‘‘competence’’. It is increasingly that recognized competence cannot be determined by a reductionist checklist approach; competence is more than a list. The analogy with a concept like ‘‘health’’ is obvious; ‘‘health’’ cannot be evaluated by checklists alone. Those of us who are MDs have been taught never to diagnose or treat a patient based on lab values alone but rather to incorporate human judgments; not only our own but also those of other experts (pathologists/radiologists, etc.). Language, or in the form of narrative, is the doctor’s main tool in describing and evaluating a patient’s health situation.

우리가 이 은유를 '역량'에 적용하면, 우리는 역량을 설명하기 위한 특별한 서술어의 개발과 사용을 탐구해야한다. – 그것들을 정의하기 위해서뿐만 아니라 교육자들이 학생들의 능력을 묘사하고, 평가하고, 향상시킬 수 있도록 한다. 여기에는 두 가지 중요한 의미가 있다.

If we apply this metaphor to ‘‘competence’’ it leads us to explore the development and use of narratives specifically to describe for competencies – not only to define them, but also to enable the educators to describe, evaluate and improve the competence of students. and there are two important implications:

첫째, 결과의 긴 목록은 도움이 될 수 있지만, 완성해야 할 항목의 목록으로서가 아니라, 서술적 구성을 위한 용어로만 사용될 수 있다. 환자가 완전한 의학 교과서의 모든 증상을 가지고 있지 않거나, 작가가 사전에 있는 모든 단어를 사용할 필요가 없듯이, 의학 교육자들은 학생들의 역량에 대한 관찰을 기술하고 평가하기 위해 단어와 개념을 다양하게 선택할 수 있다. 따라서 의료 교육자는 이정표, 결과물 또는 위탁 가능한 전문 활동을 완료해야 하는 단순한 활동 목록으로 생각하기 보다는 세부적인 목표를 "사전"으로 보고, 역량에 대해 서술narrate하는데 사용해야 한다.

First, long lists of outcomes may be helpful but only as terms to use to construct narrative, not as lists of items to be completed. Just as a patient will not have all of the symptoms of a complete medical textbook, or as a writer need not use all the words in the dictionary, medical educators can both employ a range and selection of words and concepts to describe and evaluate their observations of students’ competence. Therefore, instead of thinking of milestones, deliverables or entrustable professional activities as simple lists of activities that need to be completed, medical educators should consider detailed objectives as a ‘‘dictionary’’ that can be used to narrate competence.

둘째, 서술은 학생의 역량의 progress를 판단하기 위한 관찰, 판단, 시험 결과, 성찰의 조합을 허용한다. 이는 당뇨를 진단하기 위해서 주소, , 시각, 음향 및 구술 정보의 조합과 혈청 포도당 수치값을 조합하는 것과 마찬가지이다. 내레이션을 통해 우리는 교육에 대한 보다 통합적인 접근방식으로 나아가며, 평가에 대한 환원주의적 접근방식에서 벗어나게 된다.

Second, narrative allows for the combination of observations, judgments, results of tests, and reflections to be combined in order to determine a student’s progress towards competence, much like the combination of complaints, visual, acoustic, and palpatory information on physical examination and the numerical value of 35mmol/l for serum glucose can add up to a diagnosis of ‘‘diabetes mellitus’’. Narrative leads us toward a more integrative approach to education and away from a reductionist approach to assessment.

우리가 정의하고 측정하는 역량 재평가

Reevaluating how we define and measure competencies

전형적 평가 프로그램은 과제, 시험, 출석, 보고서 등으로 구성되며, 보통 이 값들을 가지고 각각의 항목에 백분율을 할당하고 모든 것을 합산하여 역량에 대한 결정을 내린다. 그러나 백분율은 자의적이며(일반적으로 모두 어림수치이다) 일반적으로 의미 있는 근거가 부족하다. 계약에 의해, 통합적 서술은 요소들을 집합적으로 취하여 그것들을 묘사하고 학생의 능력을 전체적으로 사용한다. 당뇨병의 예를 들자면, 우리는 말초동맥맥박을 찾아냈을 때, 그것이 진단에 30% 기여한다고 "가중"하지 않는다. 통합적 서술적 접근방식은 보다 의미 있는 결정을 가능하게 한다.

The typical assessment program consists of assignments, exams, attendance, and reports, and frequently the practice is to assign a percentage to each and add everything together to arrive at a decision about competence. The percentages, however, are arbitrary (typically they are all round figures) and generally lack a meaningful rationale. By contracts, an integrative narrative takes the elements collectively and employs them to describe and a student’s competence holistically. In our diabetes example we do not ‘‘weight’’ a finding of absent peripheral arterial pulsations as contributing 30% to the diagnosis. An integrated narrative approach enables more meaningful decisions.

평균

An average

점수를 집계하는 데 사용되는 전통적인 방법은 종종 평균을 사용하는 것이다. 그러나 건강의 측정은 평균으로 정의되지 않는다. 예를 들어, 우리는 사람에 대해서 합계점수를 얻기 위해 병력, 검사, 병리결과, 신체 검사에 대한 점수를 합산한 뒤, 그 사람이 '건강하다'인지 '건강하지 않다'인지를 판단하기 위해서 전 인구의 평균과 비교하지 않는다.

Conventional methods used to assemble scores often use an average. However, measurements of health are not defined as an average. For example, we do not add up a combination of scores on history, lab testing, pathology, and physical examination to get at a total score, which is then compared to the population average in order to define whether a person is ‘‘healthy’’ or ‘‘unhealthy’’.

우리는 역량에 대한 우리의 결정이 타당하고 유용하다는 것을 확실히 하기 위해 서로 다른 조치의 점수를 결합할 때 신중할 필요가 있다. 우리 분야에는 숫자가 서술보다 더 '객관적'이라는 일반적인 믿음이 있지만, 모든 정량적 연구 논문이 숫자보다 더 많은 단어를 포함하고 있다는 사실을 생각해 보라! 숫자는 정보를 제공하지만 단어는 의미를 제공한다.

We need to be careful in combining scores from disparate measures to ensure that our decisions about competence are valid and useful. There is, in our field, a general belief that numbers are more ‘‘objective’’ than narratives, but consider the fact that all quantitative research papers contain more words than numbers! Numbers provide information but words provide meaning.

마일스톤 재구성

Reconstructing the milestones

마일스톤은 때때로 간단한 작업으로 묘사된다: 혈압을 재는 능력, 관련 기록을 보는 능력, 복부 검사를 하는 능력. 그러나, (의료에는) 복잡성과 맥락에 뿌리를 둔, 더 높은 차원의 역량 영역이 있다.

Milestones are sometimes described as simple tasks: ability to take blood pressure, to take a relevant history, to perform an abdominal exam. However, there is a broader domain of higher order competencies rooted in complexity and context.

전문성

Expertise

서술의 풍부함은 작가의 전문성에 의해 영향을 받는다. 무엇을 찾아야 할지 모른다면, 그 사람은 그것을 볼 수 없을 것이다. 또한 보지 못할 뿐만 아니라 말로 그것을 표현할 수 없을 것이다. 내레이션을 통해 전체 역량을 유지하면서도 그것을 부품으로 분해하지 않고 기술할 수 있는 유일한 방법이 될 수 있다.

The richness of narrative is influenced by the expertise of the writer. If one does not know what to look for, then he or she will not see it, much less be able to capture it in words. Narrative may be the only way to maintain the whole of competence while describing it without deconstructing it into parts.

유럽 맥락에서의 역량과 마일스톤

Competencies and milestones in the European context

많은 사람들이 유럽을 하나의 실체로 보고 있지만, 각 개별 국가는 의학 훈련과 능력을 포함한 주제에 대한 고유한 견해를 가지고 있다.

Even though many view Europe as a single entity, each individual country has its own unique views about topics including medical training and competence.

영국에서 역량은 인지, 기능, 개인, 윤리, 메타-능력의 5가지 범주로 정의된다. 프랑스에서 역량은 인지, 기능, 행동의 세 분야로 분류된다. 독일에서, 역량은 주제, 개인적, 사회적 역량과 관련하여 여겨진다. 이러한 국가별 관점 및 기타 국가별 관점에 대한 보다 광범위하고 자세한 내용은 골드 가이드(2014년)에서 확인할 수 있다.

In the United Kingdom, competence is defined in five categories: cognitive, functional, personal, ethical, and meta-competence. In France, competence is classified into three areas: cognitive, functional, and behavioral. In Germany, competence is viewed with respect to subject, personal, and social competence. A broader and more detailed view of these and other country-specific perspectives can be found in the Gold Guide (2014).

수행능력, 투명성, 성과

Performance, transparency, and outcomes

역량이라는 것은 연습생들의 수행능력과 성과에 초점을 맞추지만 또한 교육 과정에 관련된 사람들에게 투명성과 책임감을 제공한다. 이 접근법은 측정 가능한 목표와 교육 결과를 제공하여 비용 편익 결정을 하는데 활용할 수 있다.

It focuses on the performance and outcomes of the trainees but also provides transparency and accountability to those involved in the educational process. This approach provides measurable goals and educational outcomes which can be utilized to make cost-benefit decisions.

단순화된 척도

Simplified measurements

이 모델을 통해 연습의 복잡성을 평가하는 것은 어려우며, CBME를 비판하는 사람들은 이것이 의대생과 레지던트들을 위한 더 단순화되거나 제한된 교육으로 이어질 수 있다고 경고한다.

it is difficult to assess the complexity of practice via this model, and critics warn that it may lead to a more simplified or limited education for medical students and residents.

언제 가장 유용한가?

When is it most useful?

역량 있는 행동은 상황에 따라 다르며, 맥락에 따라 크게 의존적이다. 이와 같이, 역량 기반 교육은 의료 교육의 초기 단계에서 더 적용가능하다.

Competent behavior describes responses that are situation-specific and depend heavily on context. As such, competency-based education may be more applicable at the beginning of medical education.

시간의 역할은?

What role does time play?

Frank에 따르면, "목표는 연습생들이 단순히 얼마나 시간을 들였느냐가 아니라, 이러한 이정표를 충족했음을 보여주는 것이다." (Frank et al. 2010)

According to Frank, ‘‘The goal will be to show that trainees met these milestones – not just that they put in the time’’ (Frank et al. 2010).

의대생들과 레지던트들은 실제 임상환경에서의 많은 다양한 측면을 이해하기 위해 훈련 내내 가능한 한 많은 기회와 경험에 노출되어야 한다. 상황을 처리하거나 과제를 수행하는 방법은 여러 가지가 있으며, 연습생들에게 이러한 지식과 노출을 제공하기 위해서는 시간이 매우 중요하다. 오늘날 세계에서 의사들은 종종 어려운 상황이나 엄청난 압박을 받는 희귀하고 낯선 상황에 신속하게 대처하고 대응해야 한다.

Medical students and residents must be exposed to as many opportunities and experiences as possible throughout their training in order to understand the many varied aspects of a real workplace. There is more than one way to handle a situation or perform a task, and time is crucial to provide trainees with this knowledge and exposure. In today’s world, doctors must act quickly and respond to rare and unfamiliar situations, often in difficult situations and under great pressure.

21세기에 의사가 필요로 하는 기술은 그 어느 때보다도 다르다.

The skills that a doctor needs in the 21st century are different than ever before.

미국 맥락에서의 마일스톤

Milestones in the US context

미국 대학원의료교육인증위원회(ACGME)는 미국에서 대학원 교육 프로그램을 인증하고, 1997년에 결과 프로젝트를 시작하고, 전문분야에 걸쳐 6개의 역량을 채택하였다.

The Accreditation Council for Graduate Medical Education (ACGME) accredits postgraduate training programs in the US and in 1997 they initiated the Outcomes Project and adopted six competencies across the specialties

각 전공과목에서는 우선 많은 하위 역량을 개발하여 이 여섯 가지 역량을 그들의 분야에 적응시켰다. 이것은 그것들을 평가하기 위한 도구들의 개발을 촉진시켰지만, 그것은 정확히 무엇을 측정해야 하는지 그리고 언제 측정해야 하는지를 불명확하기 때문에 혼합된 성공을 맞이했다.

The specialties first adapted these six competencies to their disciplines by developing a number of sub-competencies. This spurred development of tools to assess them, but it met with mixed success because it was unclear exactly what needed to be measured and when.

이러한 결핍을 해결하기 위해 이정표와 위탁 가능한 전문 활동(EPA)의 개념이 도입되었다.

To address this deficiency, the concepts of the milestones and entrustable professional activities (EPAs) were introduced.

환원주의

Reductionism

마일스톤은 본질적으로 환원주의적이다. 그것을 완성하는 것이 전체적인 역량 충족을 의미하지는 않으며 통합적인 훈련 경험, 평가 및 전체적인 피드백이 필요하다.

Milestones are reductionist by nature . Completing them does not imply overall competence and integrated training experiences, assessments,and holistic feedback are needed.

시간기반 교육과정과의 불일치

Mismatch with time-based curriculum

마일스톤은 결과 기반 커리큘럼을 위해 설계되었으며 시간/프로세스 기반 시스템에 강제 적용되고 있다. 시간은 개입이 아니라 개입이 작용하는 맥락이다.

Milestones are designed for an outcomes-based curriculum and they are being forced into a time/process-based system. Time is not an intervention, it is a context within which an intervention operates.

지속적 교육 시스템 부족

Lack of a system of ongoing education

이정표는 현재 진행 중인 전문적 발전이라는 맥락에서 가장 잘 설정된다. 이것은 "훈련 종료시점"에서의 능력에서부터 평생학습 활동으로 초점이 전환되는 것을 의미한다.

Milestones are best set in the context of ongoing professional development. This will require a shift in focus from competence at the ‘‘end’’ of training to lifelong learning activity.

마일스톤의 수

Number of milestones

프로그램 감독들의 주된 걱정은 이 많은 마일스톤을 어떻게 다 다룰 수 있느냐이다. 사실, 그렇지 않다. 평가는 표본 추출에 관한 것이므로, 연습생들은 매번 정확히 같은 것에 대해 평가될 필요가 없으며, 여러 평가가 서로 같은 역량의 측면에 초점을 맞출 필요도 없다.

A major concern expressed by program directors is how a large number of milestones can be addressed. In fact, they do not. Assessment is about sampling so trainees do not need to be assessed on exactly the same things every time they are assessed, nor do those assessments need to focus on the same aspects of competence as each other.

평가 양식

Assessment forms

프로그램 감독들은 종종 어떤 평가 양식을 사용해야 하는지 궁금해 한다. 사실, 평가 양식이 평가의 질에 미치는 영향은 미미하다. 이와 달리 교수가 누구냐와 어떤 상황encounter이냐가 큰 차이를 만든다. 형식은 평가해야 할 것과 잘 작성되어야 하지만, 길지 않아야 하고, 문구와 척도는 최소한의 영향만 미칠 것이다. 개별 등급 형태가 아닌 항목 풀을 개발하는 데 노력을 기울인다면 매우 유용할 것이다.

Program directors often wonder exactly which assessment forms should be used. In fact, rating forms make only a small difference in the quality of assessment – the faculty and the encounters make a big difference. Forms need to comport with what is to be assessed and be well written, but they need not be long and the wording and scaling will have only minimal impact. It would be very useful if efforts were aimed at developing item pools and not individual rating forms.

임상역량위원회

Clinical competency committee

너무 많은 데이터에서 개별 연습생에 대한 결론을 도출하는 것은 임상 역량 위원회의 사용을 통해 해결할 수 있는 문제다.

Reaching conclusions about individual trainees out of so much data is an issue that can be resolved through the use of clinical competency committees.

교수개발

Faculty development

이정표를 구현하려면 대부분의 평가가 관찰에 의존하기 때문에 교수진 개발이 필요하다. 그러므로 교직원은 측정 수단이다. 비록 이정표가 훈련을 더 쉽게 만들지만, 마일스톤이 있다고 교수개발을 대신할 수는 없다. 짧고 주기적인 훈련으로 충분해야 한다.

Implementation of the milestones will require faculty development, since most of the assessment will rely on observation. Therefore, faculty is the measurement instrument. Although, the milestones make that training easier, they are not a substitute for it. Short and periodic training exercises should be sufficient.

The Gold Guide – A Reference Guide for Postgraduate Specialty Training in the UK. 2014. [Accessed 29 September 2014] Available from: http:// hee.nhs.uk/2014/06/04/the-gold-guide-fifth-edition-is-now-available/.

---

Med Teach. 2015 Apr;37(4):399-402. doi: 10.3109/0142159X.2014.993954. Epub 2014 Dec 19.

Assessing competencies using milestones along the way.

Tekian A1, Hodges BD, Roberts TE, Schuwirth L, Norcini J.

Author information

1

University of Illinois at Chicago , USA .

Abstract

This paper presents perspectives and controversies surrounding the use of milestones to assess competency in outcomes-based medical education. Global perspectives (Canada, Europe, and the United States) and developments supporting their rationales are discussed. In Canada, there is a significant movement away from conceptualizing competency based on time, and a move toward demonstration of specific competencies. The success of this movement may require complex (rather than reductionist) milestones that reflect students' progression through complexity and context and a method to narrate their journey. European countries (United Kingdom, France, and Germany) have stressed the complexity associated with time and milestones for medical students to truly achieve competence. To meet the changing demands of medicine, they view time as actually providing students with knowledge and exposure to achieve various milestones. In the United States, milestones are based on sampling throughout professional development to initiate lifelong learning. However, the use of milestones may not imply overall competence (reductionism). Milestones must be developed alongside outcomes-based curriculum with use of faculty and competency committees. The perspectives outlined in this paper underscore emerging challenges for implementing outcomes-based medical education and call for new conceptualizations of competence.

PMID:

 

25523010

 

DOI:

 

10.3109/0142159X.2014.993954