의학교육에서 학습자 평가를 위한 프레임워크: AMEE Guide No. 78 (Med Teach, 2013)

의학교육에서 학습자 평가를 위한 프레임워크: AMEE Guide No. 78 (Med Teach, 2013)

Frameworks for learner assessment in medicine: AMEE Guide No. 78

LOUIS PANGARO1 & OLLE TEN CATE2

1Uniformed Services University of the Health Sciences, USA, 2University Medical Center, Utrecht, the Netherlands

프레임워크의 중요성

The importance of frameworks

가르치는 것이 당신의 열정이지만, 학생들을 평가하는 것은 선생님으로서 당신에게 쉽지 않았고, 동료 선생님들의 평가를 감독하는 것은 매우 복잡해 보인다.

Teaching is your passion, but assessing students has simply not been easy for you as a teacher, and overseeing the assessments of your fellow teachers seems very complicated.

당신은 모든 학습자들에게 "기대 이상임" 이라고 점수를 주는 것을 좋아한다. 왜냐하면 학생들은 분명히 최선을 다하는 것 같기 때문이다. 당신은 모든 등급이 어떤 경우에도 주관적이라고 걱정하며, 동료들로부터 "객관적인" 평가를 받는 방법을 모른다고 느끼지 않는다. 어디서 도움을 받을 수 있니?

You yourself like giving all learners ‘‘above expectations’’ marks, because students clearly seem to do their best. You worry that all grading is subjective in any case, and do not feel you know how to get ‘‘objective’’ evaluations from your colleagues. Where can you get help?

밀러가 제공한 간단한 4층 골격은, 교육자 밀러 피라미드로 널리 알려져 있으며, 의사들이 임상 능력을 평가받으려면, 필기 시험이나 표준화된 기술 시험보다 더 높고 유효한 수준이 있다고 경고하였다.

The simple four-layered framework he provided, widely known as The educators Miller Pyramid, alerted that there is a higher, more valid level than written tests and even than standardized skills tests, if doctors are to be assessed on their clinical ability.

(그림 1).

(Figure 1).

표 1은 교육자가 친숙할 수 있는 공통 프레임워크의 개요를 제공한다.

Table 1 provides an overview of common frameworks with which educators may be familiar.

평가에서 프레임워크의 일차적 효과는 사실 교사들의 observation을 guide하는 것이다. 즉, 연습생에서 무엇을 찾아야 하는지, 언제, 그리고 어떤 순서에서 찾아야 하는지 말이다. 청사진은 그러한 틀에서 도출될 수 있다. 학생들은 그것들이 채점에 사용되는 것으로 지정되었다는 것을 알게 된다면 카테고리에 초점을 맞출 것이다.

The primary assessment effect of frameworks is, in fact, to guide the teachers in their observations—what to look for in a trainee, when, and in what order of importance. Blueprints can be derived from such frameworks. students will focus on the categories if they realize these have been designated as the drivers of grading.

프레임워크는 학생들이 무엇을 배워야 하는지에 대해 미리 알려준다. 프레임워크 내의 카테고리는 기관의 교육적 가치와 학습자에 대한 기대의 주요한 표현이다.

Frameworks set up a priori what students are supposed to learn. the categories within a framework are the primary expression of an institution’s educational values and expectations for learners.

프레임워크와 관련된 이차적 효과는 프레임워크를 사용할 것으로 예상되는 사람들(학생과 교사, 그리고 코스 이사)에 의해 적용될 수 있는 일관성과 정확성이다. 성공적인 프레임워크의 적용은 카테고리의 명확성, 프레임워크의 사용 용이성, 사용자에 의한 가치 수용성 등과 관련이 있다. 학습자와 궁극적으로 사회에 대한 공평성fairness은 프레임워크가 얼마나 잘, 얼마나 일관되고, 신뢰성 있고, 유효하게 적용될 수 있는지에 달려 있다. 이는 프레임워크의 본질적 특성(명확성, 단순성 및 수용성) 뿐만 아니라 교수 등이 이 프레임워크를 사용할 수 있게 교육하고 훈련하는 데 사용되는 자원에 모두 좌우될 것이다.

Secondary effects related to frameworks are the consistency and accuracy with which they can be applied by those expected to use them(students and teachers, as well as course directors). Successful application relates to the clarity of the categories, the ease of use of the framework, and the acceptability of its values by the user. Fairness to learners and ultimately to society will depend upon how well, that is, how consistently, reliably, and validly the framework can be applied. This will depend upon both the intrinsic characteristics of the framework (clarity, simplicity, and acceptability) and the resources spent to instruct and train teachers and others to use it.

주요 교수-학습 프레임워크의 짧은 역사

Short history of major frameworks to inform teaching and assessment

교육학자 랄프 타일러는 1949년에 '타일러 레쇼넬'으로 알려진 것을 출판한 이후, 교육은 결과 쪽으로 향하기 시작했다(Tyler 1949. 이 Rationale는 간단하지만 강력한 네 가지 질문을 제시한다. 

Ever since educational scientist Ralph Tyler published in 1949 what became known as the ‘‘Tyler Rationale,’’ education started to orient toward outcomes (Tyler 1949). This Rationale poses four simple but powerful questions: 

(1) 학교는 어떤 교육적 목적을 달성하고자 하는가? 

(2) 이러한 목적을 달성할 가능성이 있는 교육적 경험을 제공할 수 있는가? 

(3) 이러한 교육경험은 어떻게 조직될 수 있는가?

(4) 이러한 목적을 달성하고 있는지 어떻게 판단할 수 있는가? 

(1) What educational purposes should a school seek to attain? 

(2) What educational experiences can be provided that are likely to attain these purposes? 

(3) How can these educational experiences be organized?

(4) How can we determine whether these purposes are being attained? 

교육목표에 대한 분류학적으로 인지영역(지식), 정신운동영역(수동능력), 정서영역(태도)을 기술한 벤자민 블룸은 그 이후 교육목표에 대한 세계 대부분의 생각을 지배해 왔다.

Benjamin Bloom, whose taxonomy of educational objectives described a cognitive domain (knowledge), a psychomotor domain(manual skills), and an affective domain (attitudes), and has since dominated most of the world’s thinking of educational objectives.

(부록 2 참조). 그 이후, "KSA" (지식-기술-태도)는 비록 유일한 것은 아니었지만, 오랜 기간 선생님들의 정신적 모델이었다. 

(see Appendix 2). Since that time, ‘‘KSA’’ (for knowledge-skills-attitudes) has been the dominant, if not exclusive, mental model of generations of teachers. 

1980년대에, 교육자들은 교육의 최종 목표뿐만 아니라 발달 이정표에도 초점을 맞추기 시작했다. Dreyfus와 Dreyfus가 고안한 모델(Dreyfus & Dreyfus 1986)은 5단계(노비스, 어드밴스트 초보자, 유능, 능숙, 전문가)를 구분한다. 

In the 1980s, educationalists started focusing not only on final objectives of education, but also on developmental milestones. The model devised by Dreyfus and Dreyfus(Dreyfus & Dreyfus 1986) distinguishing five stages (novice,advanced beginner, competent, proficient, and expert) 

학부의학교육: 지난 20년간 학부 의학의 목표의 분석적 프레임워크의 잘 알려진 예로는 미국 의과대학 목표 프로젝트(Anderson 1999), 영국의 내일 의사(GME)2009), 스코틀랜드 의사(Scottish Deans' Medical Curriculum Group 2009), 네덜란드 대학원의료 교육 프레임워크(van Herwarden et al. 2009)가 있다. 'RIME'프레임워크(Reporter-Interpreter-Manager-Educator) (Pangaro1999)는 발달적이면서 합성적 프레임워크이다.

the objectives for undergraduate medical education over the past two decades. Well-known examples are analytic frameworks ofUSA’s Medical School Objectives Project (Anderson 1999),UK’s Tomorrow’s Doctors (General Medical Council (GME)2009), the Scottish Doctor (Scottish Deans’ Medical Curriculum Group 2009), and the Dutch Framework for Undergraduate Medical Education (van Herwaarden et al. 2009). The ‘‘RIME’’framework (Reporter-Interpreter-Manager-Educator) (Pangaro1999) has a developmental dimension but is synthetic at the same time

졸업후 의학 교육 : "CanMEDS" (Frank 2005), "CanMEDS" (Frank 2005), "ACGME Framework" (Anon 1999).

postgraduate medical education : the Canadian Medical Education Directions for Specialists, in short ‘‘CanMEDS’’ (Frank 2005), and the framework theof  Accreditation Council for Graduate Medical Education, the‘‘ACGME framework’’ (Anon 1999).

근무지 평가의 어려움

The difficulty of workplace assessments

전통적 신뢰도 요건이 근무지 평가에서는 쉽게 충족될 수 없다. 평가자는 전문성과 경험이 다르며, 평가받는 직장의 업무는 다르며, 상황은 계속 다르다. 또한 '의료 역량'에는 많은 다른 면들이 포함되어 있는데, 그 면들은 대부분은 관찰 가능하지 않을 수 있다.

Traditional reliability requirements of assessment cannot easily be met in the workplace. Assessors differ in expertise and experience, tasks in the workplace that are being assessed differ, and circumstances differ continuously. In addition, ‘‘medical competence’’ includes many different facets, most of which are not visible at a moment of observation.

평가자는 작업장 평가에서 측정 오차의 주요 원인으로 간주된다(Govaerts et al. 2007). 체계적인 오류와 무작위 오류가 둘 다 있다. 체계적인 오류는 작업장에서의 의료 훈련생들을 너무 높게 평가하고 "실패"하는 광범위한 경향이다(Dudek et al. 2005). 이는 관대성leniency 편차 또는 generosity 실수라고 불리며, 기준을 갖거나 적용하지 않는 것과 같은 몇 가지 요인에 의해 발생한다(Albanese 1999). 특히 문제가 되는 것은 작업장 평가에 대한 강조가 증가함에 따라 성적이 수년 동안 "인플레이션"이 되어 기준이 낮아지는 것으로 보인다는 점이다(Speer et al. 2000).

Assessors are considered to be a major source of measurement error in workplace assessment (Govaerts et al. 2007). There are both systematic error and random error. A systematic error is the widespread tendency to rate medical trainees in the workplace too highly and to ‘‘fail to fail’’ (Dudek et al. 2005). This has been called leniency-bias or generosity error, and is caused by several factors, such as lack of having or applying standards (Albanese 1999). Particularly disturbing is the observation that with increased emphasis on workplace assessment, grades appear to become ‘‘inflated’’ over the years, resulting in lowered standards (Speer et al. 2000).

후광 효과와 낮은 평가자 내, 평가자 간 신뢰성은 훈련받지 않은 평가자들 사이에서 흔히 볼 수 있다(Albanese 2000; Williams et al. 2003).

Halo-effects and low intraand interrater reliability are ubiquitous among untrained assessors of medical trainees (Albanese 2000; Williams et al. 2003).

[개인이 수년 동안 구축한 주관적이고 사회적으로 구성된 프레임워크]는 평가의 객관성을 극대화가 목적인 프레임워크의 장애요소이다(Gingerich et al. 2011). 또한 바쁘고 산만한 임상 환경에서 학습자를 평가하기 위한 많은 측면들이 단지 그들을 정확하게 판단하기 위해 감독자의 인지 능력을 너무 많이 요구한다고 제안되었다(Tavares & Eva 2012).

Such subjective, socially constructed frameworks that individuals have built over many years may interfere with frameworks that aim to maximize objectivity in assessment (Gingerich et al. 2011). It has also been suggested that the many aspects to evaluate learners on, in a busy, distracting clinical setting simply demand too much of the cognitive capacity of supervisors to accurately judge them well (Tavares & Eva 2012).

일차적인 이론 및 연구 문제는 왜 그렇게 많은 프레임워크가 있었음에도 평가자(후광, 관대성 등)에 내재된 직장 문제나 상황에 내재된 문제(사례 내용, 복잡성 및 맥락의 변화)를 극복할 수 없었는가 하는 것이다.

The primary theoretical and research question is why the availability of frameworks has not been able to overcome the workplace problems inherent in the rater (halo, leniency, etc.) or inherent in the circumstances (changes of case content, complexity, and context).

교육의 목표는 평가를 위한 틀로 번역되어야 하며, 교사들은 개별 상황에서 적절하게 적용할 수 있다. 이는 교육 프로그램의 주요 책임이며, 임상실습과 레지던트 관리자의 주요 업무다.

Objectives of education must be translated into frameworks for assessment, which teachers can apply properly in one-on-one situations. This is a major responsibility of training programs, and a major task for clerkship and residency directors.

둘째로, 평가 시스템은 이용 가능한 프레임워크가 실제로 교사들에 의해 확실하게 사용되고 적용되도록 자원을 제공해야 한다. 이를 위해서는 훈련, 모니터링 및 피드백이 필요하다.

Secondly, the assessment system must provide the resources to be sure that the available framework is actually used and applied by teachers. This will take training,monitoring, and feedback. 

의학교육의 프레임워크 종류 - 이론 설명

Types of frameworks in medical education—Theory explained 

분석적 프레임워크, 역량의 측면들을 묘사

Analytic frameworks, describing aspects of competence 

타일러와 블룸의 시대 이후, 이제 [의과대학에서 일어난 일]이 아니라 [실제 진료에 필요한 것]으로의 전환이 명백해졌다. (OBE)

Since the times of Tyler and Bloom, a shift is now apparent from a focus on what happens in a medical school to whatis needed in practice. (OBE)

그림 2

Figure 2

역량의 관련 차원이 모두 프레임워크 내에 포함된다는 것은 분석적 프레임워크의 특징이다.

It is a feature of analytic frameworks that the relevant dimensions of competence are all encompassed within the framework

완전한 분석 체계는 역량의 모든 측면에 대한 설명에 초점을 맞추고 있으며, 그 결과 프레임워크는 자세해지고 위계적 구조를 갖는다.

Fully analytic frameworks focus on description of all facets of competence, which makes them detailed andoften hierarchical.

초창기에는, 위에서 언급된 많은 국가 시스템은 평가될 100개 이상의 개별 능력 또는 역량 담당자를 열거했다. 우리는 프로그램과 관리자들이 개별 교수들이 따를 수 있는 간단한 구조를 제공하도록 권장한다. 이는 의무(태도)와 전문성(기술과 지식)의 약속으로서 펠레그리노의 프로페셔널리즘(Pellegrino 1979)의 정의를 사용하여 "KSA"로 또는 훨씬 더 간결하게 이루어질 수 있다. 

In their initial formulations,many of the national systems mentioned above have, to be complete, listed more than 100 separate abilities or competencies clerkship to be assessed. We encourage program and directors to provide teachers a simple structure on which to hang their terms. This can be done with ‘‘KSA,’’or even more concisely by using Pellegrino’s definition of Professionalism (Pellegrino 1979) as a promise of duty(attitude) and expertise (skill and knowledge). 

대부분의 성과 지향적 프레임워크는 분석적 성격을 갖는다.

Most outcome-oriented frameworks have an analytic nature;

CanMEDS 프레임워크에는 7개의 역할, 134개의 "요소", 28개의 "키-경쟁력" 그리고 125개의 "지원력"이 있다. 

The CanMEDS framework has 7 roles, 134 ‘‘elements,’’ 28 ‘‘key-competencies,’’ and 125 ‘‘enabling competencies.’’ 

이 접근법의 장점은 우리가 기대하는 의사가 될 것으로 기대하는 것에 대한 완전히 포괄적인 설명에 근접한다는 것이다. 그러나 고도로 분석적인 프레임워크의 어려움은 명확성을 상실하는 경향이 있는 길고 매우 상세한 목표 목록을 이끌어 낸다는 것이다. 프레임은 그것을 사용하는 사람들에 의해 기억되고 적용되어야 하는 현실 세계의 추상이다. 많은 사람들은 4개의 세트(RIME Pangaro 1999), 6개의 유닛(ACGME1999) 또는 7개의 유닛(CanMEDS 2005)을 기억할 수 있다. 수십 개의 단위를 가진 보다 정교한 프레임워크는 대개 사용자 대다수가 기억하지 못한다. 이는 프레임워크의 '이차 효과'라고 부르는 결과를 초래하며, 이것은 교육계에 의한 사용의 용이성, 그리고 프레임워크를 사용하는 사람들을 훈련시키는 데 필요한 자원 등과 같은 사용의 신뢰성에 직접적으로 영향을 미친다. 2차 효과에서 프레임워크를 서로 비교하는 연구는 없지만, 더 간단한 프레임워크가 더 효과적이라는 몇몇 증거가 있다(Battistone et al. 2002).

The strength in this approach is that it nears a fully comprehensive description of what we expect a physician to be. But the difficulty of highly analytic frameworks is that they lead to long and very detailed lists of objectives that tend to lose clarity. Frameworks are abstractions of the real world that need to be remembered and applied by those who use them. Many people can remember a set of four (RIME Pangaro 1999), six (ACGME1999), or seven (CanMEDS 2005) units. More elaborated frameworks with dozens of units are usually not retained by the bulk of the users. This results in what we would call‘‘secondary effects’’ of the frameworks, which directly affect their reliability in use, such as the ease of their use by the educational community, and the resources needed to train people to use the framework. We know of no studies comparing frameworks with one another in secondary effects,but there is some evidence that simpler frameworks are more effective (Battistone et al. 2002).

합성적 프레임워크, 역량의 다양한 영역을 통합

Synthetic frameworks, integrating facets or domains of competence

합성적 특성을 가진 프레임워크는 실천에 초점을 둔다. 이 접근방식은 분석적 프레임워크의 경우보다 본질적으로 통합적이고 측정 지향적이지 않다(Pangaro 1999). 이 프레임워크의 근본적 질문은 trainee가 충분한 역량에 도달하면 어떤 활동이나 과제를 맡길 수 있는가이다.

Frameworks with a synthetic nature are grounded in the practice of their focus. This approach is essentially integrative and less measurement-oriented, than is the case with analytic frameworks (Pangaro 1999). The grounding question is: What activity or task can be entrusted to a trainee, once sufficient competence has been reached?

표 3

Table 3.

그림 3a와 3b에서 보듯이, 합성적이라는 뜻은 지식과 기술, 태도를 결합한다는 것이다(판가로 1999).

As seen in Figures 3a and 3b, they are synthetic in the sense that they combine knowledge, skill, and attitudes (Pangaro 1999).

합성 프레임워크는 주어진 다른 프레임워크의 요소들을 결합할 수 있다.

Synthetic frameworks may combine elements of any other given framework

ACGME 역량과 하위 역량은 단순성을 위해 각각 RIME 프레임워크에 매핑될 수 있다(표 4).

The ACGME competencies and sub-competencies may, for simplicity, each be mapped to the RIME framework (Table 4).

[교육 성과]를 [사회가 의사로부터 기대하는 것]과 더 강하게 연결하기 위해 [역량 기반 의학 교육]이 제안되었다(Carraccio et al. 2002; Frank et al. 2010). 'competence'과 'competency'라는 용어는 서로 다른 방식으로 사용되어 왔으며, 이로 인해 다소 혼선이 빚었다.

Competency-based medical education has been proposed to link outcome of education more strongly to what schools believe that society expects from a doctor (Carraccio et al. 2002; Frank et al. 2010). The terms ‘‘competence’’ and ‘‘competency’’ have been used in differing ways, and this has resulted in some confusion.

medical competence의 정의에 대해서 한 권위있는 논문은 이렇게 정의했다.

An authoritative publication proposed as a definition of medical competence:

개인과 봉사하는 공동체의 이익을 위해 의사소통, 지식, 기술력, 임상 추론, 감정, 가치 및 반성을 일상 생활에서 습관적이고 신중하게 사용하는 것." (Epstein & Hundert 2002)

The habitual and judicious use of communication, knowledge, technical skills, clinical reasoning, emotions, values, and reflection in daily practice for the benefit of the individual and the community being served.’’ (Epstein & Hundert 2002)

이러한 정의에 의해 판단되는 competence은 분명히 다차원적이며, 의료행위를 위해 Bloom의 KSA 요소를 활용하며, 실무에 기반을 두고 있다. "competency"은 언어학적으로 "competence"과 유사하다. "competence"은 종종 단수로 사용되어 개인의 일반적인 능력 상태를 반영한다. 그러나 competencies은 종종 복수형으로 사용된다."보통 competencies라고 부르는 것은 통합적 competence의 구성요소나 여러 측면(들)이다. 그리고 우리의 관점에서 볼 때, competencies라는 용어는 학습자가 성공하기 위해 통합되어야 하는 여러 측면이나 기술들을 암시하며, 따라서 기본적으로 분석적 접근방식을 반영한다.

Judged by this definition, competence is clearly multidimensional, utilizing Bloom’s KSA elements to serve the practice of medicine, and grounded in practice. ‘‘Competency’’ is linguistically similar to ‘‘competence.’’ ‘‘Competence’’ is often used in singular, reflecting a state of the individual’s general ability. Competency, however, is often used in plural as ‘‘competencies.’’ What many people call competencies are components or facets of integrative competence; and from our perspective, they reflect an underlying analytic approach, implying multiple facets or skills that must be put together by a learner to be successful.

더 중요한 것은 "competencies"는 추상적인 경향이 있기 때문에, 관찰할 수 있는 구체적인 활동과 연계되지 않는 한 평가를 위한 가장 자연스러운 단위는 아닌 것 같다. 이는 역량이 달성되었다는 추론을 허용하기 위해 관찰할 수 있는 활동을 나열한 표 5에서 볼 수 있다.

More importantly, ‘‘competencies’’ tend to be abstractions and therefore do not seem to be the most natural units for assessment, unless they are linked to concrete activities which can be observed. This is seen in Table 5, which lists the activities that can be observed to allow the inference that a competency has been achieved.

그러므로 competence은 어떤 것을 성공적이거나 효율적으로 할 수 있는 통합적 능력으로 간주되어야 한다. 또 다른 방법으로, competence은 노력이나 자원을 과도하게 사용하지 않고서도 각각의 상황이나 각각의 환자에게 필요한 것을 가져다 준다(Pangaro 2000). 따라서, competence은 일상 생활에서 직업의 구체적인 행위에 반영된다. 따라서 EPA를 수행하기 위한 ability는 competency라고 부를 수 있으며, 왜냐면 그것이 바로 EPA가 정확히 의미하는 바이기 때문이다. EPA는 전문가가 미래의 신뢰를 허용하는 방식으로 수행함으로써 입증한 중요하고 어쩌면 필수적인 활동이다. 

Competence should therefore be considered the integrative ability to do something successfully or efficiently (Oxford Dictionaries).Phrased another way, competence brings to each situation or each patient what is required by the situation, with little excessive use of effort or resources (Pangaro 2000). Thus,competence is reflected in a concrete act of the profession in daily practice. The ability to execute an EPA can thus be designated a competency, because that is exactly what an EPAis: an important, perhaps essential, activity that a professional has demonstrated by performing in a way that allows future trust. 

반복하면, 의사소통능력 또는 협업능력은 competency가 아니라 domain of competence라고 부르는 것이 더 적절하며, 좀 더 상세한 서브 스킬은 'facets of competence'이라고 부르는 것이 합리적일 것이다." 마지막으로 연습생은 기술적으로 특정 활동을 수행할 수 있지만, 특정 EPA를 광범위하고 통합적인 의미에서 숙달할 때까지 감독되지 않는 상태에서 혼자 수행하도록 위임받지 않는다. 따라서 trainee에 대해서 unsupervised practice에 대한 준비가 되기 이전에 competent 또는 competence라는 용어를 사용하는 것은 임시적이며, 제한적이다. 

To repeat, it would be sensible to call the ability to communicate or collaborate, a ‘‘domain of competence,’’ rather than a competency, as is often done, and to call more detailed sub-skills ‘‘facets of competence.’’ Finally, a trainee may be able to technically perform a specific activity,  but would not be entrusted to do so unsupervised, unless and until this EPA is mastered in a broad and integrative sense Any use of the term ‘‘competent’’ or ‘‘competency’’ before a trainee is ready for unsupervised practice is therefore provisional and limited. 

환자 치료와 같은 사회적 상황에서 기능하려면 지식, 기술, 태도의 실시간 조합이 필요하다는 것은 합성적 프레임워크의 가정이다.

It is an assumption of synthetic frameworks that functioning in a social situation, such as in patient care, requires the real-time combination of knowledge, skills, and attitudes.

수년간의 훈련을 마치면 competence가 최종 종착점이 되지만, 그 동안 학습자들은 점진적으로 늘어나는 실질적인 책임을 통해 실천 공동체(Lave & Wenger 1991)에 통합되어야 한다. 그 접근방식은 performance가 명백한 실천의 맥락을 갖고 있다는 점에서 본질적으로 사회적이며, 분석적 프레임워크처럼 행동적이지 않다. 즉, 상황과 무관하게 관찰될 수 있다는 점에서 측정 지향적이지 않다. 

Competence is a final end-point after years of training, but in the meantime learners must be incorporated into the community of practice (Lave & Wenger 1991) through increasing,real responsibility. The approach is essentially social in that performance has a clear practice context, and is not behavioral(measurement oriented, in that it can be observed independent of situation) as it is with analytic frameworks. 

합성적 접근법은 

• 학생이 무엇을 배웠는지에 대한 "인식적" 질문에서, 

• 시험 조건 하에서 학생이 무엇을 할 수 있는지(또는 시연할 수 있는) "행동적" 질문을 넘어, 

• 더 나아가 밀러의 피라미드(Miller 1990) 상단에 있는 실질적인 책임의 상황에서, 학생이 어떤 행동을 실제로 하는지"does do"에 대한 질문으로 이동한다. 

Synthetic approaches move from the ‘‘cognitive’’ question of what the student has learned, and even beyond the ‘‘behavioral’’question of what the student can do (or demonstrate) under test conditions, to what the student ‘‘does do,’’ in a situation with real responsibility, over time, at the top of Miller’s Pyramid (Miller 1990). 

시뮬레이션된 시스템 상황에서 기능을 시뮬레이션된 상황에서 입증하기 위한 "competency"를 측정하는 것은 가능하지만, 우리는 이것을 기술skill이라고 부르고 싶다. 그리고 이 기술이 실제 상황에서 입증된 후에야 이 기술skill을 능력competency이라고 부를 수 있다. 그러므로 합성적 틀에 내포된 사회적 접근방식은 밀러의 피라미드에서 "shows how"와 "does"사이의 차이도 분명히 한다. 

While it is possible to measure functioning in a simulated system situation as a ‘‘competency’’to be demonstrated in a simulated situation, we would rather call this a skill; once demonstrated in an actual practice situation, a skill can be called a competency. Thus, the social approach, implicit in synthetic frameworks, also makes clear the difference between ‘‘shows how’’ and ‘‘does’’ in Miller’s Pyramid. 

업무나 역할에 책임을 위임할 수 있도록, 긴 시간과 여러 환자에 걸쳐 수행이 지속된다는 것은 합성 모델의 추가적인 가정이다. unsupervised practice에 대한 entrustment 결정은 대개 이 역량competency을 강화하기 위해 일정한 지속적 실천 기간을 요구한다. 

It is a further assumption of the synthetic model that performance is sustained over time and over multiple patients to enable entrustment of on-going responsibility for the task or role. Entrustment decisions for unsupervised practice, usually require a certain duration of sustained practice to consolidate this competency. 

RIME 모델(Pangaro 1999)은 합성 프레임워크의 한 예다. 예를 들어, "리포터"로서 일관된 신뢰성을 보여주지 않은 학생은 더 높은 수준의 책임으로 나아가는 것이 허용되지 않을 것이다.

The RIME model (Pangaro 1999) is an example of a synthetic framework. A student, for instance, who did not demonstrate consistent reliability as a ‘‘reporter’’ would not be allowed to progress to a higher level of responsibility

어떤 의미에서 RIME 프레임워크는 환자 치료가 어떤 것을 포함하는지를 간단히 기술한 것이기도 하다. 그 프레임워크에 쓰이는 vocabulary는 [교육, 평가, 이정표에 대한 커뮤니케이션과 합의의 많은 부분이 언어적인 문제라는 사실을 강조]해왔다. 학생들의 발전과정를 표현할 적절한 단어를 찾는 것은 학습자, 교사, 행정가들에게 매우 중요하다. RIME 어휘는 도입 후 북미 의학 교육(Hemmer et al. 2008)에 빠르게 익숙해졌고, 다양한 환경에서 실현 가능한 것으로 밝혀졌다(Battistone et al. 2002). 한 가지 이유는 이 프레임워크의 통합적 성격이 환자 치료 책임과 직접 관련이 있다고 인식되며, 따라서 일반적인 임상의사의 판단 시스템과 더 일치하기 때문일 수 있다(Gingerich et al. 2011).

In a sense, the RIME framework is a simple elaboration of what patient care encompasses.  The framework has been presented as a vocabulary, stressing the fact that much of the communication and consensus about education, assessment, and milestones isa linguistic issue. Finding the right words to express student progress is hugely important for learners, teachers, and administrators. After its introduction, the RIME vocabulary quickly caught on in North-American medical education(Hemmer et al. 2008), and was found feasible in a wide variety of settings (Battistone et al. 2002). One reason may well be that its synthetic nature is recognized as directly related to patient care responsibilities, and thus is more congruent with clinicians’ usual judgment systems (Gingerich et al. 2011).

합성어들은 일반적으로 구체적인 용어를 사용하며, 추상적으로 표현되는 경우가 적으며, 흔히 역할을 기술한다. 예를 들어, CanMEDs 프레임워크에서 "Medical Expert" 또는 "Advocate"라는 용어는 이것을 채울fill 과제나 역할을 필요로 하며, RIME 체계의 "Reporter"라는 것은 바로 그 역할이 될 수 있다.

Synthetic terminologies typically use concrete terms and are less often expressed in generic abstractions, and they often describe roles. The term ‘‘Medical Expert’’ or ‘‘Advocate’’ from the CanMEDs framework, for instance, imply a task or role to be filled, just as ‘‘reporter’’ in the RIME scheme is a role to been trusted. 

분석적 프레임워크는 그 프레임워크에 사용된 단어의 의미만 보자면 논리적으로 매우 옳지만, 합성적 프레임워크는 그 프레임워크가 지니는 의미가 세상world과 연관되어야만 참이 된다. RIME과 같은 합성 체계는 능력이 포함될 수 있는 이전의 개념에서 도출되거나 "분석된" 것이 아니라, 의사가 수행하는 작업과 역할에 대한 작업장의 관찰에 의존한다.

Analytic propositions are logically true by virtue of the meaning of the words alone, while synthetic propositions are known to be true from how their meaning relates to the world. Synthetic frameworks,such as RIME, depend upon a workplace observation of the tasks and roles that physicians perform, rather than being abstractions derived from, or ‘‘analyzed’’ from, a prior concept of what competence would include.

프레임워크를 사용하는 사람들의 실제 의료현장에서의 실천으로부터 파생된 모델이 이점을 갖는다는 것은 이치에 맞는다. 임상 정보 수집 및 커뮤니케이션(리포팅), 결론 도달(인터프리팅), 공식 계획(매니징)은 의사의 일상 업무의 일부다. 그 기저에 깔린 구인(정신 모델)은 의사의 일상 업무 공간을 반영하며, 따라서 Bloom의 지식-기술-태도 접근과 같은 추상화에서 파생된 것보다 더 쉽게 이용할 수 있다. 즉, 합성적 접근법은 의사가 환자 치료에 적용하는 두 가지 능력, 즉 패턴 인식과 지저분한 일련의 발견으로부터 결론에 도달하는 능력을 이용한다.

It makes sense that a mental model derived from the actual practice of those using a framework would have advantages. Gathering and communicating clinical information (reporting), reaching conclusions (interpreting), and formulating plans (managing) are part of the daily work of physicians. the underlying construct (mental model) reflects the daily workplace tasks of physicians, and thus is more easily available than one derived from abstractions, such as Bloom’s knowledge-skills-attitudes approach. The synthetic approach takes advantage of two abilities which physicians apply in patient care—pattern recognition and reaching conclusions from messy sets of findings.

발달적 프레임워크, 발달과정에 초점

Developmental frameworks, focused on progression

발달적 프레임워크에서 학습자는 독립성을 향해 사다리를 한 걸음 한 걸음 한 걸음 더 나아간다. 발달적 프레임워크는 위에서 언급한 보다 정적인 결과 기반 프레임워크와 반대로 항상 학습자의 개발 단계 또는 이정표를 언급한다.

In a developmental framework, the learner progresses step-wise up a ladder toward independence. Developmental frameworks always mention stages or milestones in the development of the learner, as opposed to the more static outcome-based frameworks mentioned above.

아이들의 성장은 종종 교육 과정에서 학생들의 성장에 대한 이미지나 은유로 사용되어 왔다. 진보와 성장을 학습 과정의 기본으로 보는 것은 꽤 오래된 것이다. 플라톤은 심리적인 성장을 피상적이고 구체적인 세부사항에 대한 인식에서 그 밑바탕에 있는 진정한 의미와 형태에 대한 인식(Kenny 2004)으로 나아가는 진보라고 묘사한다. 이는 징후와 증상에서 병리학적 과정의 기본 개념인 진단으로 이동하는 것과 직접적으로 유사하다.

The growth of children has often been used as an image or metaphor for the growth of students in an educational process. Seeing progress and growth as the basis of the learning process is quite old. Plato describes psychological growth as progress from an awareness of superficial, concrete details toward a perception of the true meaning and form underlying them (Kenny 2004). This is directly analogous to moving from signs and symptoms to an underlying concept of a pathological process, the diagnosis.

고등교육에서 자주 언급되는 발달 프레임워크에는 초보자, 고급 초보자, 능력자, 숙련자, 전문가 등 5가지 단계가 포함된다.(Dreyfus & Dreyfus 1986).

 A frequently cited developmental framework in higher education, includes five stages: novice, advanced beginner, competent, proficient, and expert.(Dreyfus & Dreyfus 1986).

발달적 모델의 가정은 stages, 또는 논리적 순서로 진행되는 steps가 존재하며, 각각의 단계는 progression을 위해 필요하다는 것이다. 일단 일의 고급 초보자라면, 사람은 더 이상 초보자처럼 보이거나 행동하지 않는다.

The assumption of the developmental model is that there are stages, or steps of progression in a logical order, and that each step is required for progression. Once one is an advanced beginner in a task, one no longer looks or behaves like a novice.

발달적 모델에서 'competence'이라는 용어는 하나의 단계로 사용되는데, 아마도 가장 중요한 단계일 것이지만, 드레퓌스 모델이 보여주듯이 반드시 마지막 단계는 아니다. "competent"는 적어도 학습자의 일정한 독립성을 허용하는 임계값으로 간주될 수 있다 (10 Cate et).

In a developmental model, the term ‘‘competence’’ is used as one step, probably the most important, but not necessarily the final step, as the Dreyfus model shows. ‘‘Competent’’ can at least be viewed as a threshold that should permit a certain independence of the learner (ten Cate et al. 2010).

특히 드레퓌스 용어는 의도적으로 일반적intentionally generic이며 학습자나 교사에게 무엇이 기대되는지에 대한 구체적인 그림을 주지 않는다.

The Dreyfus terms in particular are intentionally generic and do not give learners or teachers a concrete picture of what is expected.

한편, 독립적인 실천을 향한 진행 상황을 문서화하기 위해 "마일스톤"를 사용하는 것은 분명히 경험적인 것으로, 전문가의 관찰에 의해 선택된 목적이다. 특정 환경에서 특정 학생에게 프레임워크를 신뢰성있게 적용하는 일관성을 달성하기 위해서는 여전히 많은 작업이 수행되어야 한다.

On the other hand, the use of ‘‘milestones’’ to document progression toward independent practice is clearly empiric, with the objectives chosen by the observation of experts. To achieve the consistency of use that allows reliable application of the framework to specific students in specific settings, a lot of work must still be done.

예를 들어 "노비스"(수행능력이 rule-driven인 경우)에서 "고급 초심자"(분석적 추론과 패턴 인식 사용)로 의료 전문 지식의 진보가 어떤 것인지(패턴의 한계를 인식한다).

for what progress in medical expertise looks like, for example, 

• from ‘‘novice’’ (for whom performance is rule driven) 

• to ‘advanced beginner’’ (uses both analytic reasoning and pattern recognition) 

• to expert (recognizes the limits of pattern).

개발 틀에서. "전문가" 지위를 획득한 후에 "노비스"로 다시 기능하는 것은 일종의 질병의 재발relapse로 볼 수 있을 것이다. 이것이 "RIME"이 완전한 발달적 프레임워크가 아니라는 한 가지 이유다.

in a developmental framework To function again as a ‘‘novice,’’ after having achieved ‘‘expert’’ status would be seen as a relapse. This is one reason that ‘‘RIME’’ is not a fully developmental framework;

대부분의 프레임워크의 하이브리드적 특성

The hybrid nature of most frameworks

ACGME에 의해 아직 명시되지는 않았지만, 우리는 "patient care"의 역량 영역이 분명히 지배적인 영역이며, 다른 모든 사람들이 진정으로 지지하는 영역이라고 주장할 것이다. "환자 치료"는 그 자체로 교수진 개발 노력이 선생님과 환경에 걸쳐 공유된 의미를 개발하는데 초점을 맞춰야 하는 합성적이며 다차원적인 용어다. 다른 영역에서 부실한 의사가 환자 치료에서 우수할 수는 없다.

Although not yet made explicit by the ACGME, we would argue that the competency domain of ‘‘patient care’’ is clearly the dominant domain, which all others really support. ‘‘Patient care’’ is itself a synthetic, multidimensional term for which faculty development efforts must be focused on developing a shared meaning, across teachers and settings. One cannot be superb in patient care while at the same time mediocre in the other domains.

분석적 프레임워크와 합성적 프레임워크도 명확히 발달적 특성을 갖는다. 의학 교육은 10년 이상의 훈련을 받을 수 있기 때문에, 교육자들은 그들이 사용하는 어떤 프레임워크의 발달 측면을 분명히 표현하기 위해 노력을 기울여야 한다는 것은 분명하다.

Developmental features of analytic and synthetic frameworks are also apparent. Because medical education may span well over a decade of training, it is clear that educators must spend effort to articulate the developmental aspect of any framework that they use.

ACGME 모델의 출발점이 분석적이었기 때문에, 발달적 측면이 본질적이지는 않지만, 현재 "마일스톤"의 형태로 개발 중에 있다(Green et al. 2009). 이제 역량 영역을 이정표와 결합하면 혼합 프레임워크가 명확하게 된다.

As the starting point of the ACGME model was analytic, the developmental aspect was not intrinsic, but is now under development in the form of ‘‘milestones’’ (Green et al. 2009). The combination of competency domains with milestones now clearly results in a hybrid framework.

한편, 합성적인 RIME 프레임워크는 다음 연수의 진전에 대한 판단을 지도하기 위해 미국의 임상실습에서 널리 사용될 수 있는 발달적 측면을 가지고 있다(Hemmer et al. 2008). 그러나 interpreter의 지위를 얻은 학생이 reporting task를 무조건 잘 하는 것은 아니므로 엄격히 발달적인 것은 아니다. 사실, 그들은 점차 더 reporting을 잘 하게 된다.

On the other hand, the synthetic RIME framework has a developmental aspect allowing it to be widely used in clerkships in the United States to guide judgments on advancement to the next year of training (Hemmer et al. 2008). Yet, it is not strictly developmental in that those who have earned interpreter ‘‘status’’ do not leave reporting tasks behind. In fact, they get better at reporting. 

대부분의 교육자들은 시간이 지남에 따라 독립성을 강화하는 역할을 하고 있으며, 프로그램과 사무국장들은 개발적으로 적절한 목표를 설명하고 전달할 수 있어야 한다.

Most educators have the role of fostering independence over time, and program and clerkship directors must be able to describe and communicate developmentally appropriate goals.

교사를 위한 가이드 - 프레임워크를 사용한 학습자 평가

Guiding teachers—the use of frameworks for the assessment of learners—Theory in practice

분석적 지식-기술-적성 프레임워크의 한 차원(인식) 내의 개발 단계를 사용하여 RIME(표 8)과 같은 합성 프레임워크 내에서 요구되는 점진적으로 높은 수준을 반영할 수 있다.

The developmental stages within one dimension (the cognitive) of the analytic knowledge-skill-attitude framework can be used to reflect the progressively higher levels required within a synthetic framework such as RIME (Table 8).

평가 프로세스 내에서 특정 작업이나 활동을 관찰하고 문서화할 수 있으며, 과제를 수행하는 데 필요한 역량이나 기술을 이러한 관찰에서 추론할 수 있다는 것을 깨닫는 것이 중요하다. 이것은 표 5에서 예시하였다.

Within the assessment process it is important to realize that specific tasks or activities can be observed and documented, and that the competencies or skills required to perform the task are inferred from these observations. This was illustrated above in Table 5.

면허 취득을 목표로 의사를 양성할 때, 우리의 강조점은 성과 지향적인 프레임워크에 있어야 한다. 이를 위해서는 이분법적인 합격-실패 집중이 필요하며, 학습자가 개발 프레임워크에서 중간 이정표를 달성하는 것은 덜 중요하다.

when we prepare physicians for licensing, then our emphasis must be on an outcomes-oriented framework. This requires a dichotomous pass–fail focus, and the learner’s attainment of intermediate milestones in a developmental framework is then less important.

이와는 대조적으로, 우리의 교육적 역할이 학부부터 대학원 의학 교육에 이르는 오랜 과정에 걸쳐 성장을 촉진하는 것이라면, 명시적으로 발달적인 프레임워크는 필수적이 될 것이다. 구조적인 관찰과 피드백은 종합적 결정이 아니라 개선과 진보를 위해 설계된다.

By contrast, if our educational role is to foster growth over a long process from undergraduate to graduate medical education, then an explicitly developmental framework becomes essential. Structured observation and feedback are designed for improvement and advancement, not a summative decision.

합성 접근방식에 의해 제기되는 특별한 문제는 전문가로 추정되는 래더의 판단인 오랜 기간 동안 사용 가능한 방법들이 체계적으로 연구되지 않았다는 것이다. 실제로 최근 수십 년 동안의 분석적 접근방식은 정신계적으로 방어 가능한 정량화된 측정의 중요성을 강조하고 있으며(Lurie et al. 2011), 이는 더 강조되지 않고 아마도 더 서술적인 평가를 평가(Pangaro 2000)을 평가절하했을 것이다.

The particular problem posed by synthetic approaches is that the time-honored available methods, judgments by raters presumed to be expert, have not been systematically studied. In fact the analytic approaches of recent decades have emphasized the importance and highlighted the difficulty of psychometrically defensible quantified measurements (Lurie et al. 2011), which have de-emphasized and perhaps devalued more descriptive evaluations (Pangaro 2000).

Epstein RM, Hundert EM. 2002. Defining and assessing professional competence. Med Humanit 287(2):226–235.

---

Med Teach. 2013 Jun;35(6):e1197-210. doi: 10.3109/0142159X.2013.788789. Epub 2013 May 16.

Frameworks for learner assessment in medicine: AMEE Guide No. 78.

Pangaro L1, ten Cate O.

Author information

1

Department of Medicine, F. Edward Hebert School of Medicine, Uniformed Services University of the HealthSciences, 4301 Jones Bridge Road, Bethesda, MD 20814-4799, USA. louispangaro@aol.com

Abstract

In any evaluation system of medical trainees there is an underlying set of assumptions about what is to be evaluated (i.e., which goals reflect the values of the system or institution), what kind of observations or assessments are useful to allow judgments 1 ; and how these are to be analyzed and compared to a standard of what is to be achieved by the learner. These assumptions can be conventionalized into a framework for evaluation. Frameworks encompass, or "frame," a group of ideas or categories to reflect the educational goals against which a trainee's level of competence or progress is gauged. Different frameworks provide different ways of looking at the practice of medicine and have different purposes. In the first place, frameworks should enable educators to determine to what extent trainees are ready for advancement, that is, whether the desired competence has been attained. They should provide both a valid mental model of competence and also terms to describe successful performance, either at the end of training or as milestones during the curriculum. Consequently, such frameworks drive learning by providing learners with a guide for what is expected. Frameworks should also enhance consistency and reliability of ratings across staff and settings. Finally, they determine the content of, and resources needed for, rater training to achieve consistency of use. This is especially important in clinical rotations, in which reliable assessments have been most difficult to achieve. Because the limitations of workplace-based assessment have persisted despite the use of traditional frameworks (such as those based on knowledge, skills, and attitudes), this Guide will explore the assumptions and characteristics of traditional and newer frameworks. In this AMEE Guide, we make a distinction between analytic, synthetic, and developmental frameworks. Analytic frameworks deconstruct competence into individual pieces, to evaluate each separately. Synthetic frameworks attempt to view competence holistically, focusing evaluation on the performance in real-world activities. Developmental frameworks focus on stages of, or milestones, in the progression toward competence. Most frameworks have one predominant perspective; some have a hybrid nature.

PMID:

 

23676179

 

DOI:

 

10.3109/0142159X.2013.788789