밀러의 피라미드에 대한 새로운 관점: Is와 Do 레벨의 평가 (Med Educ, 2016)

밀러의 피라미드에 대한 새로운 관점: Is와 Do 레벨의 평가 (Med Educ, 2016)

A fresh look at Miller’s pyramid: assessment at the ‘Is’ and ‘Do’ levels

Mohamed Al-Eraky1,2 & Hesham Marei3,4

도입

INTRODUCTION

조지 밀러 (George Miller)의 획기적인 피라미드는 지난 20 년간 보건 전문 교육 분야의 평가 실무를 이끌 기위한 프레임 워크로 사용되었습니다.

The ground-breaking pyramid of George Miller1 has been used as a framework to guide assessment practice in health professions edu- cation over the past two decades.

피라미드 구조에 대한 가정들

ASSUMPTIONS OF PYRAMIDAL STRUCTURES

피라미드는 많은 문명에 의해 만들어졌습니다. 건축 관점에서 피라미드 구조의 레벨 구성은 계층 구조와 테이퍼링이라는 두 가지 가정을 의미합니다. 

• '계층 구조'는 레벨 2가 레벨 1보다 뛰어나다는 것을 의미합니다. 

• '테이퍼링'은 정점쪽으로의 높이가 바닥에있는 것보다 표면적이 작음을 의미합니다. 

실무 (Does 수준)에서 독립적인 전문가를 평가할 때, 정확하고 신뢰성있게 측정하는 것이 가장 어렵습니다. 피라미드에서 테스트되는 스킬이 높을수록 임상 적으로 더 authentic한 평가가 필요합니다 .2 그러나 Miller 피라미드의 계층 구조에 대한 오해의 여지가 있다. 왜냐하면, 그 어떤 단계도 quality, validity, reliability, authenticity에 관하여 특별히 더 우위에 있지 않기 때문이다. 따라서 우리는 Miller의 레벨이 세그먼트 화 된 피라미드 (그림 1b)의 방식으로 재구성 될 수 있다고 상상할 수있다. 왜냐하면 높은 상위 단계가 반드시 더 높은 품질의 평가를 보증하지 않으며, 대신 점증하는 요구와 더 많은 자원의 필요성을 나타 내기 때문이다.

Pyramids have been built by many civilisations. From an architectural perspective, the organisation of levels in a pyramidal construction implies two assumptions: hierarchy and tapering. ‘Hierarchy’meansthat Level 2 is superior to Level 1 and so on. ‘Tapering’ means that higher levels towards the apex are smaller in surface area than those at the base. Assessment of independent professionals in real practice (at the Does level) is clearly the most diffi- cult to measure accurately and reli- ably. The higher the skills being tested in the pyramid, the more clinically authentic the assessment needs to be.2 Yet the hierarchy in Miller’s pyramid could be mislead- ing, because no level is (actually) superior with regard to quality, validity, reliability and authenticity.2 We therefore, can imagine that Mill-er’s levels can be reconfigured in a segmented pyramid (Fig. 1b), because the higher levels do not promise higher quality of assessment, but instead represent escalating demands and the need for more resources. 

두 번째 특징은 테이퍼링이며, 레벨이 정점쪽으로 갈수록 작아지는 데 이는 두 가지 가설로 해석 할 수 있습니다. 

• 첫째, 아마도 더 적은 수의 학생들이 'narrow'top에 도달 할 것으로 예상됩니다. 밀러의 피라미드는 결과가 아닌 평가를 위한 영역을 묘사하기 때문에이 가설은 무효화됩니다. 

• 둘째, 역량과 성과 (apex)를 평가할 수있는 도구가 지식을 평가할 수있는 도구 (base)보다 적다. 이것은 또한 평가자가 피라미드를 자신있게 올라갈 수있게 해주는 WPBA (workplace-based assessment) 도구가 점점 더 많아짐에 따라 무효화됩니다. 

다시 말하지만, 우리는 밀러 피라미드의 tapering이 두 가지 이유에서 기만적인 것으로 생각할 수 있습니다. 

• (i) 학생들은 이제 정보에 쉽게 액세스 할 수 있어서, 단순한 지식 평가의 가치가 낮아졌다. 

• (ii) WPBA에 대한 현대 연구의 관심과 본질은 더 높은 차원의 중요성을 강화시키고, 위쪽으로 넓어 지도록 제안한다. 

그렇다면 실제로 피라미드를 뒤바꿀 수 있으며 실제 사례에서 평가를 위해 더 많은 공간 (가치)을 제공 할 수 있습니다 (그림 1c).

The second feature is tapering, as the levels are getting smaller towards the apex, which can be interpreted by two hypotheses. First, perhaps fewer students are expected to reach the ‘narrow’ top. This hypothesis is nullified, because Miller’s pyramid depicts domains for assessment, not results. Second, fewer instruments are available to assess competence and performance (at the apex) than those available to assess knowledge (at the base). This too is nullified by the growing num- ber of workplace-based assessment (WPBA)3 instruments that enable assessors to more confidently climb the pyramid. Again, we think that tapering in Miller’s pyramid could be deceptive for two reasons: (i) students now can easily access information, which minimises the value of assessment of mere knowledge; and (ii) the mounting interest and body of modern research in WPBA reinforce the significance of higher levels and suggest broadening (not tapering) towards the top. Then, perhaps we may invert the pyramid, to offer more space (value) for assessment in real practice (Fig. 1c).

계층 구조와 테이퍼링 외에도 Miller의 모델에는 실제 피라미드에없는 세 번째 가정이 있습니다. 학습자가 실제로 잘 수행하면 Knows와 Knows는 어느 정도의 수준을 얻었지만 그 역reverse은 확실하지 않은 것으로 추측되며 이는 평가 도메인의 중첩을 제안합니다 (그림 1d).

In addition to hierarchy and taper- ing, there is a third assumption in Miller’s model, which is absent in real pyramids. If learners perform well in practice it is presumed that they attain the Knows and Knows how levels, but the reverse is uncer- tain, which suggests nesting of assessment domains (Fig. 1d).

그러나이 중첩 개념은 도전받을 수 있습니다. 의사가 적절한 인지 기반없이 특정 작업을 수행할 수 있습니까? 때로는 그렇다. 주기적으로 테스트하지 않으면 지식이 쇠퇴하지만, 퍼포먼스는 시간이 지남에 따라 향상될 수 있다. 숙련 된 기술자, 간호사 및 외과 의사조차도 유능한 사람 일 수 있지만 지식이없는 사람도있을 수 있습니다. 일부 절차의 이론적 근거를 잊을 수 있기 때문입니다. 이러한 결과는 평가자에게 지식이 지원되지 않는 교수형 다락방(hanging attic)  (그림 1e)의 가능성을 경고합니다.

Yet, this concept of nesting can be challenged. Can practitioners mas-ter particular tasks without a proper cognitive base? Answer: Yes, sometimes. Knowledge decays if not tested periodically and per- formance is enhanced by practice over time. Seasoned technicians, nurses and even surgeons may be competent, but not necessarily knowledgeable, because they may forget the theoretical basis of some procedures. These findings alert assessors to the possibility of a hanging attic (Fig. 1e), where performance is not supported by knowledge.

Fig. 1은 코스의 성격, 교육의 단계, 평가 시스템의 통합 정도 및 성숙도와 관련된 변수를 고려하여 결정될 수있다. 예를 들어, 

• 원래 모델 (그림 1a)은 지식에 중점을 둔 기초과목 (해부학과 같은)의 학부의학교육에서 평가에 적합하지만 

• 반전 된 피라미드 (그림 1c)는 외과 레지던트 프로그램에서 WPBA의 가치를 보여주고, 

• 매달린 다락방 (그림 1e)은 분석가에게 WPBA의 기본 지식을 경계해야한다고 경고합니다.

Selecting a particular arrangement in Fig. 1 can be decided in view of variables related to: the nature of the course, stage of education, extent of integration and maturity of the assessment system. For instance, the original model (Fig. 1a) suits assessment of under- graduate students in pure-content subjects (like anatomy) with more emphasis on knowledge, whereas the inverted pyramid (Fig. 1c) sig- nifies the value of WPBA in surgi- cal residency programmes. The hanging attic (Fig. 1e) alerts asses- sors to be vigilant to the baseline knowledge in WPBA.

새롭게 등장한 평가영역

EMERGING DOMAINS FOR ASSESSMENT

밀러의 피라미드는 평가를 이끌어내는 이정표이지만, 현대 평가에서 진화하는 구조를 수용 할 수있을 정도로 포괄적입니까? 직업 교육, 감성 지능, 양심, 공감, 반성, 메타인지, 팀워크, 리더십, 문화적 경쟁력, 직업적 정체성  등의 의학 커리큘럼에서 검색 및 평가하고자하는인지 적 및 비인지 적 구성 요소의 목록이 많이 있습니다.  밀러의 피라미드의 네 층은 위의 진화하는 구조를 포함하고 있는가?

Miller’s pyramid is a milestone to guide assessment, but we ask: is it still comprehensive enough to accommodate the evolving constructs in modern assessment? There is a long list of cognitive and non-cognitive components that medical curricula seek to deli- ver and assess, such as: profession- alism,4 emotional intelligence,5 conscientiousness,6 empathy,7 reflection,8 metacognition,9 team- work,10 leadership,11 cultural com- petence12 and professional identity.13 Do the four layers of Miller’s pyramid encompass the above evolving constructs?

'Is'수준에서의 평가

ASSESSMENT AT THE ‘IS’ LEVEL

밀러의 피라미드는 학습자가 know and does하는 것을 평가하지만, 그거 실제로 누구인가(is)를 평가하지는 않는다. Jarvis-Selinger et al.는 의사의 직무 뿐만 아니라, '의사가 되기 위해서 필요한 것'들에 대해 더 광범위한 관점을 가져야 한다고 주장했다. 전문직업성의 평가는 관찰 가능한 행동을 넘어서서 개인의 근본적인 태도, 가치 및 신념을 탐구하기 위해 확대되어야합니다. 이것이 바로 Cruess와 동료들이 졸업생의 전문성을 평가하기 위해 Miller의 피라미드에 다섯 번째 레벨을 추가 한 이유입니다.

Miller’s pyramid assesses what a learner knows and does, but not what he or she really is. Jarvis- Selinger et al. inspired a move away from the exclusive focus on doing the work of a physician toward a broader one that also includes being a physician.14 Assessment of professionalism should extend beyond observable behaviours to explore the individ- ual’s underlying attitudes, values and beliefs that drive (un)profes- sional behaviours. That is why Cruess and colleagues have recently added a fifth level (Is)to Miller’s pyramid to assess profes- sional identity of graduates.15

평가가 학생의 행동이 아니라 학생 개인을 tagging하지 않도록 유념해야 하지만, 자신의 직업적 정체성 획득에 대한 각 개인의 발전 상황을 모니터링하는 것이, 의학 교육을 받는 첫 번째 날부터 주된 목표가되어야합니다. 

Monitoring the progress of each individual toward the acquisition of their professional identity should be the principal objective of medical education from day one, even as we must be careful to not fuel a judgemental ambiance of assessment that results in tagging students them- selves instead of their behaviours.

'Do'수준에서의 평가

ASSESSMENT AT THE ‘DO’ (TOGETHER) LEVEL

즉 의학 교육에서의 근본적인 딜레마는 Cruess 등이 최근에 Miller 's 피라미드에 추가 한 것 이상의 수준을 추가하게 할 것입니다. 대학은 개인의 능력에 따라 학위를 수여하지만, 졸업 후 의사는 다기능 팀의 일원으로 일하고, 유능한 의사가 무능한 팀을 창출 할 수 있습니다 .17 환자 진료의 제공은 intraprofessional에서 interprofessional로 이동했습니다. 이는 집단 역량에 초점을 둔 평가 결과를 강조합니다 .18 따라서 우리는 'Do'(together) 수준에서 학습자를 팀으로서 평가할 필요성을 인식했습니다.

That said, there is a fundamental dilemma in medical education that would prompt us to add a level beyond Cruess et al.’s recent addi- tion to Miller’s pyramid. Universities award degrees based on an individ- ual’s ability.16 Then, after gradua- tion, doctors work as members of multiprofessional teams and individ- ually competent physicians can cre- ate incompetent teams.17 The delivery of patient care has moved fromintraprofessional to interpro- fessional practice, which highlights the consequence of assessment that focuses on collective competence.18 We, therefore, recognised the neces- sity to assess learners in teams at the ‘Do’ (together) level.

팀 기반 학습, 다중 전문 교육 및 직업 간 교육과 같은 현대 교육 전략은 팀원에 대한 새로운 패러다임 평가를 채택해야합니다.

Modern educational strategies, such as team-based learning, multi- professional education and inter- professional education, require adopting a new paradigmof assess- ment of teammembers.

팀의 평가는 여러 가지 이유로 어려움을 겪었지만, 'Does' 수준의 평가는 밀러가 펜을 종이에 넣었을 때의 꿈일뿐입니다. 평가자는 집단역동성 (과정)과 제품 (결과)에 대한 평가 기준을 명확히 정의해야합니다. 그러나 'Do'수준에서의 평가의 어려움은 그룹 성과를 개별 성적으로 변환하여 공정성과 형평성에 대한 우려를 불러 일으키는 것입니다. Miller의 피라미드에 'Is'와 'Do'레벨을 통합하여 Miller가 자신의 원래 개념으로 할 수 있었던 방식으로 우리 분야를 이끌 수 있을지도 또 다른 과제입니다.

Assessment of teams is challenging for a number of reasons, but assessment at the ‘Does’ level was just a dreamwhen Miller put pen to paper. Assessors have to define clear criteria for eval- uation of group dynamics (process) and the product (outcome). The daunting task of assessment at the ‘Do’ level, however, is to translate group performance into individual grades, which raises concerns for fairness and equity. Just as daunting is how we incorporate the ‘Is’ and ‘Do’ levels into Miller’s pyramid in a way that has the potential to steer our field the way Miller was able to do with his original conception.

피라미드 바깥에서 생각하기: 평가 '궤도'

THINKING OUTSIDE THE PYRAMID: THE ASSESSMENT ‘ORBITS’

그러나 우리는 피라미드 밖에서 생각하고 새로운 프레임 워크를 제안하고자합니다. 즉, 학생들 사이를 중심으로 회전하는 Five Assessment 'Orbits'를 제안합니다.

Yet, we yearn to think outside the pyramid and suggest a novel framework, namely the Five Assess- ment ‘ Orbits’, revolving around and between students.

Fig. 그림 2에서 볼 수 있듯이 '궤도'는 학생 A의 근원을 중심으로 자신의 개인적 특성을 평가합니다. 실제로 학습 및 스타일에 대한 접근 방식을 유도합니다. '수준'에서의 학습 평가는 학생들이 왜 특정한 방식으로 행동 하는지를 해석하고 교사가 자신의 행동을 합리화하고 더 많은 지침, 정보 피드백 및 상담 판매를 제공 할 수 있도록 도와줍니다. 'Do' 궤도는 한 팀에서 (함께) 함께 일할 때 학생 A, B, C의 수행 능력을 나타냅니다. 필기 시험에서 평가할 수있는 모든인지 능력을 포용하기 위해 두 가지 수준의 Miller를 하나의 궤도 (Knows)로 병합했습니다. 'Shows'및 'Does'궤도는 Miller 모델의 최상위 계층과 동일한 기능을 수행합니다.

As in Fig. 2, the ‘Is’ orbit revolves proximal to student A to assess his or her per- sonal qualities, which actually drive his or her approach to learning and style of performance. Assess- ment for learning at the ‘Is’ level can be used to interpret why stu- dents act in a specific manner and assists teachers to rationalise their behaviours and provide more guid- ance, informed feedback and coun- selling. The ‘Do’ orbit addresses performance of students A, B and C when they work (together) in a team. We merged two levels of Mill- er’s into one orbit (Knows)to embrace all cognitive abilities that can be assessed in written exams. The ‘Shows’ and ‘Does’ orbits serve the same functions as in the top lay- ers in Miller’s model.

예를 들어, 

• 노드 1 (Is 9 Do)은 팀의 대인 관계에 영향을 미치는 개인의 특성 (예 : 외향성, 개방성, 동등성 및 첨부 스타일)을 표시합니다. 

• 노드 2 (Knows 9 Do)는 그룹 역학의 인지 기반과 팀 구성원이 다양한 역할을 채택하는 방법을 나타냅니다. (Belbin (공장, 코디네이터, 셰이퍼, 모니터, 구현 자 및 마무리 자 등)에 설명 된대로) 

• 노드 3 및 4는 시뮬레이션 및 실제 연습에서 팀의 성과를 평가한다.

For instance, 

• Node 1 (Is - Do) marks the personal qualities that impact the interpersonal dynamic of teams, such as: extraversion, open- ness, agreeableness and attach- ment styles. 

• Node 2 (Knows - Do) indicates the cognitive base behind group dynamics and how team members embrace different roles, as described by Belbin (such as plant, coordinator, shaper, moni- tor, implementer and finisher).20 Nodes 3 and 4 assess performance of teams in simulations and in real practice, respectively.

평가 궤도는 세계적으로 유명한 역량 프레임 워크의 간과 된 요구를 충족시킵니다. 예를 들어, 'Is'궤도는 감정적 인 개인적 지능에 관련된 Dundee Three-Circle Model의 외층에 나타난 결과를 평가할 수있는 공간을 제공한다. 21) 'Do'궤도는 전통적 역할에 대한 평가를 포용한다 CanMEDS.22의 공동 작업자이자 관리자 / 리더

The Assessment Orbit fulfils the overlooked needs of world- renowned competency frameworks. For instance, the ‘Is’ trajectory offers a space to assess the out- comes indicated in the outer layer of the Dundee Three-Circle Model related to emotional and personal intelligences.21 The ‘Do’ orbit embraces assessment of the tradi- tional roles of collaborator and manager/leader in CanMEDS.22

결론

CONCLUSION

평가 궤도 프레임 워크는 교육자에게 피라미드 구조에 뿌리 내린 계층 구조 또는 테이퍼링과 같은 기능을 암시하지 않으면서 새로운인지 및 비인지 구조를 평가할 필요성을 경고합니다. 

• 'Is'궤도는 우리가 의사가 될 수 있는 (또는 되지 않을 수도있는) 졸업생들의 개인적 특성에 영향을 미친다. 

• 'Do'(together) 수준의 팀 평가는 학생들 사이의 경쟁력 순위 결정 (storming)에서 팀으로의 규범 수행 및 수행에 이르는 패러다임 변화를 제공합니다.

The Assessment Orbits framework alerts educators to the need to assess emerging cognitive and non-cognitive constructs without implying features such as hierar- chy or tapering that are ingrained in pyramidal structures. 

• The ‘Is’ orbit attends to the per- sonal qualities of graduates ‘who’ we may (or may not) trust to be our physicians. 

• Assessment of teams at the ‘Do’ (together) level offers a paradigm shift in assess- ment from competitive ranking (storming) among students toward norming and performing as teams.

1 Miller GE. The assessment of clinical skills/competence/ performance. Acad Med 1990; S63–7. :65 

14 Jarvis-Selinger S, Pratt DD, Regehr G. Competency is not enough: integrating identity formation into the medical education discourse. Acad Med:1185–90. 2012; 87 

15 Cruess RL, Cruess SR, Steinert Y.Amending Miller’s pyramid to include professional identity formation. Acad Med 2015; :1. 90 

---

Med Educ. 2016 Dec;50(12):1253-1257. doi: 10.1111/medu.13101.

A fresh look at Miller's pyramid: assessment at the 'Is' and 'Do' levels.

Al-Eraky M1,2, Marei H3,4.

Author information

1

Medical Education Department, College of Medicine, University of Dammam, Saudi Arabia.

2

Faculty of Medicine, Zagazig University, Egypt.

3

College of Dentistry, University of Dammam, Saudi Arabia.

4

Faculty of Dentistry, Suez Canal University, Egypt.

Abstract

In its silver jubilee, we celebrate the ground-breaking pyramid of George Miller by submitting a fresh look at it. We discuss two questions. (i) Does the classical pyramidal structure perfectly portray the relationships of the four levels that were described by Miller? (ii) Can the model of Miller fulfill the unmet needs of assessors to measure evolving essential constructs and accommodate the increasingly sophisticated practice of assessment of health professionals? In response to the first question, Miller's pyramid is revisited in view of two assumptions for pyramidal structures, namely: hierarchy and tapering. Then we suggest different configurations for the same classical four levels and indicate when to use each one. With regard to the second question, we provide a rationale for amending the pyramid with two further dimensions to assess personal qualities of students at the 'Is' level and their performance in teams at the 'Do' (together) level. At the end of the article, we yearn to think outside the pyramid and suggest the Assessment Orbits framework to assess students as individuals and in teams. The five Assessment Orbits alert educators to assess the emerging cognitive and non-cognitive constructs, without implying features such as hierarchy or tapering that are ingrained in pyramidal structures. The 'Is' orbit attends to the personal qualities of graduates 'who' we may (or may not) trust to be our physicians. Assessment of teams at the 'Do' level (together) offers a paradigm shift in assessment from competitive ranking (storming) among students toward norming and performing as teams.

© 2016 John Wiley & Sons Ltd and The Association for the Study of Medical Education.

PMID:

 

27873421

 

DOI:

 

10.1111/medu.13101