위임결정내리기: 밀러의 피라미드 확장(Acad Med, 2021)

위임결정내리기: 밀러의 피라미드 확장(Acad Med, 2021)
Entrustment Decision Making: Extending Miller’s Pyramid

 

 

1989년 제28차 의학 교육 연구 컨퍼런스에서 조지 E. Miller(1918–1998)는 학습자 평가에 대해 다음과 같이 말했다.
At the 28th Research in Medical Education conference in 1989, George E. Miller (1918–1998), discussing the assessment of learners, stated:

(성공적인 의사가 전문적 서비스를 제공하는 것만큼) [복잡한 사항의 판단]에 필요한 [모든 데이터]를 제공할 수 있는 [단 하나의 평가 방법]은 없습니다. 그러면 평가가 발생할 수 있는 프레임워크를 제안하는 것으로 시작하겠습니다. 1
No single assessment method can provide all the data required for judgment of anything so complex as the delivery of professional services by a successful physician. And so let me begin by suggesting a framework within which that assessment might occur. 1

그리고 나서 그는 그 단순함에 탁월하고 세월의 시험을 견뎌낸 상징적인 모델을 계속해서 선보였습니다. 1
he then proceeded to present the iconic model that, brilliant in its simplicity, has withstood the test of time. 1

밀러의 피라미드는 무엇인가?
What Is Miller’s Pyramid?

피라미드는 보건 직업의 학습자를 평가하기 위한 체계이며, 하위 단계의 평가 대상이 상위 레벨에 통합되는 교육 궤적 전반의 단계를 반영한다(그림 1 참조).
The pyramid is an organizing framework for assessing learners in the health professions, reflecting phases across the educational trajectory, in which targets of assessment in the lower levels are incorporated within higher levels (see Figure 1).

 

이 모델은 종종 표준화된 객관적 시험을 강조하는 기존의 평가 접근방식과 실무 인증의 직업적 필요성을 병합한다. Miller의 피라미드에서 competence 단계는, 성능performance보다 낮은 수준("knows how")에 존재하고, 더 이상 최신의 competence 및 performance 개념화와 맞지 않을 수 있지만, 2,3 핵심 프레임워크는 매우 유용한 것으로 입증되었습니다. 이 Perspective에서는 역량competence이라는 단어를 피라미드 레벨을 가로지르는 일반적인 의료 능력을 의미하기 위해 사용한다. 
The model merges traditional assessment approaches, often emphasizing standardized, objective testing, with the vocational need of certification for practice. While Miller’s terminology of competence, positioned at a lower level than performance (“knows how”), may no longer align with more current conceptualizations of competence and performance, 2,3 the core framework has proven to be very useful. In this Perspective, we use the word competence to signify a general medical ability that cuts across the levels of the pyramid. 2 

Miller의 피라미드 레벨에 따라 표현되는 역량 구조의 여러 측면은 [완전히 연관되지 않은 평가]에 각기 다른 가치의 기여를 한다. 4 Miller의 피라미드 수준을 구별하기 위한 또 다른 주장은 학습자가 명시된 평가 기준을 충족하도록 노력과 행동을 조정한다는 것이다. 즉, 평가가 학습을 주도한다(Miller의 주장 중 하나). 이러한 가정을 고려할 때, 평가는 학습의 원하는 결과와 가장 일치하는 행동을 자극하는 환경에서 학습을 안내하도록 프로그래밍되어야 한다. 예를 들어, [지식이나 기술의 숙달mastery]이 평가의 초점일 때, 학습자들은 숙달로 이어지는 [의도적인 연습deliberate practice]에 대해 인정받아야 한다. Miller의 피라미드는 모든 레벨이 중요하며, 각 역량 측면과 관련된 학습 및 평가가 교육 전반에 걸쳐 반복적으로 구축됩니다.

The multiple facets of the competence construct represented by the different levels of Miller’s pyramid make valuable and different contributions to assessment that do not perfectly correlate. 4 Another argument for distinguishing levels of Miller’s pyramid is that learners adapt their efforts and behavior to meet stated assessment criteria; in other words, assessment drives learning (one of Miller’s assertions 1). Given this assumption, assessment should be programmed to guide learning 5 in an environment that stimulates the behavior aligning most with the desired outcomes of learning. For example, when mastery of knowledge or skills is the focus of assessment, learners should be acknowledged for the deliberate practice that leads to mastery itself. All levels of Miller’s pyramid are important, and the learning and assessment associated with each facet of competence build iteratively throughout the training.

1990년 이후 특히 작업장 기반 평가WBA의 품질에서 진전이 이루어졌으며, 이는 Miller의 "does" 수준입니다. 시간 경과에 따른 작업장 기반 관찰 및 평가의 여러 지점이 포함된 다중 도구는 최근 소위 프로그램 평가 및 커리큘럼에 포함된 [평가에 대한 시스템 접근방식]과 잘 맞는다. 
Since 1990, progress has particularly been made in the quality of workplace-based assessment, that is, at Miller’s “does” level. 6,7 Multiple tools with multiple points of workplace-based observations and assessment over time fit well with what has more recently been called programmatic assessment 5,8 and a systems approach to assessment embedded in a curriculum. 9 

역량 기반 의학교육(CBME)을 향한 전 세계적인 움직임은 피라미드와 일치하는 다양한 형태의 직장 기반 평가를 주요 초점으로 통합했다. 이러한 발전에도 불구하고, 임상 직장에서 학습자를 안정적으로 평가하는 것은 여전히 큰 과제이다.  

The worldwide movement toward competency-based medical education (CBME) has incorporated workplace-based assessment in various forms, 10,11 which align with the pyramid, 12 as a major focus. Despite these developments, reliably assessing learners in the clinical workplace remains a huge challenge.

• 평가를 위한 표준화된 조건의 결여 
• 관용 오차 및 후광 효과와 같은 평가자 바이어스 
• 연습생 관리trainee care 품질과 의료health care 결과 간의 관련성 근거 부족 

이들은 'does' 수준에서 작업장 기반 평가 표준의 개발을 가로막는 장벽 중 몇 가지입니다. 평가자를 훈련하고, 타당성 증거가 있는 도구를 사용하면 이러한 문제 중 일부를 완화할 수 있지만 제거할 수는 없습니다. 17

• The lack of standardized conditions for assessment;
• rater bias, such as generosity error and halo effects; and
• the paucity of evidence that relates trainee care quality to health care outcomes

are a few of the barriers that have precluded the development of standards of workplace-based assessment at the “does” level. 13–16 Training raters and using instruments with validity evidence can mitigate some of these challenges but not eliminate them. 17

의학에서 디플로마스의 이중 역할
The Dual Role of Diplomas in Medicine

[WBA의 심리측정적 부적절성]을 해결하기 위한 지속적인 노력이 필요하지만, 보다 근본적인 것도 주목할 만하다. 의학 학위는 (다른 고등 교육 프로그램과는 달리) 단순히 학문적 성취의 증거 그 이상이다. 의학 졸업장은 의학 졸업자들이 종종 졸업식 당일부터 환자를 안전하게 돌볼 준비가 되어 있다는 것을 (명시적 또는 암시적으로) 증명합니다. 즉, 학습자를 평가함에 있어 심사관과 프로그램이 [이중의 책임]을 갖습니다.
While continued efforts to address psychometric inadequacies of workplace-based assessment are needed, something more fundamental also deserves attention. Degrees in medicine, more so than in other programs of higher education, go beyond just a testimony of academic accomplishment. A medical diploma attests (implicitly or explicitly) that medical graduates are prepared to safely care for patients, often from the very day of graduation. This means that examiners and programs have a dual responsibility in assessing learners:

• (1) 학습자가 요구받은 바를 성공적으로 수행했는지 확인(예: 합격, 과정 학습, 과제 및 순환 완료, 시뮬레이션 환경에서 실습된 기술, 임상 환경에서 기대 성과를 입증)
• (2) 환자 관리의 품질을 보장하고 보호한다(즉, 학습자가 졸업 후 직면하는 책임을 맡을 수 있는지 확인하고, 신규 졸업자가 안전하고 효과적인 치료를 제공할 수 있는지를 대중에게 보장한다).
  
  
• (1) to verify that learners have successfully done what they were asked to do (i.e., passed examinations; completed coursework, assignments, and rotations; practiced skills in simulated contexts; and demonstrated expected performance in the clinical environment) and
• (2) to ensure and protect the quality of patient care (i.e., verifying that learners can assume the responsibilities they face after graduation and assuring the public that the new graduate can provide safe and effective care).

의사 면허증은 법적 책임을 부여하며, 전문의 자격증은 완전히 감독되지 않는 의료 행위를 허용한다. 따라서, 의학 학습자를 평가하는 것은 단순히 과정 완료와 진행 결정을 확인하거나 졸업장을 수여하는 것뿐만 아니라, 학습자가 의료 분야에서 전문적인 활동을 할 준비가 되어 있다는 확신을 표명하는 것이다. 이 [이중 책임]은 학습자에게 환자 관리에 참여할 수 있는 권한을 부여하는 판단에 정보를 제공해야 합니다.

A medical license affords a legal responsibility; a specialty certification affords fully unsupervised practice. So, assessing medical learners is not just to verify course completions and progress decisions or award a diploma but also to express confidence that the learner is prepared for professional activities in health care. This dual responsibility should inform the judgments to grant learners the permission to engage in patient care. 18

위탁: 관찰된 성과 또는 조치 평가 이상의 확대
Entrustment: Extending Beyond the Assessment of Observed Performance or Action

Miller가 출판된 지 약 20년이 지나고 CBME가 광범위하게 채택된 지 약 10년이 지난 후, 의료 교육계는 위임 가능한 전문 활동(EPA)의 개념을 채택하기 시작했습니다. 2005년에 만들어진 용어인 EPA는 "연습생이 [감독되지 않고 이 활동을 실행하는 데 필요한 역량을 입증한 후], 연습생에게 완전히 위임할 수 있는 전문적 실무의 단위(작업 또는 작업 그룹)"로 정의할 수 있다. 
About 2 decades after Miller’s publication and 1 decade after the widespread adoption of CBME, the medical education community began adopting the concept of entrustable professional activities (EPAs). 19 An EPA, a term coined in 2005, can be defined as “a unit of professional practice (a task or group of tasks) that can be fully entrusted to a trainee, once he or she has demonstrated the necessary competence to execute this activity unsupervised.” 20 

위탁의사결정은 직장 내 의료연수생을 평가하기 위한 또 다른 접근법 또는 규모 그 이상이다. 이 개념은 점진적으로 지도감독을 줄여가면서 학습자가 임상 실무에 단계적이고 안전하게 참여할 수 있도록 CBME를 운영하기 위해 도입되었다. 
Entrustment decision making is more than another approach or scale to assess medical trainees in the workplace. 21 The concept was introduced to operationalize CBME through a stepwise and safe engagement of learners in clinical practice with a progressive decrease of supervision. 22 

EPA를 구현하려면 [고립된 임상 역량이나 능력]에 대한 [작업장 기반 평가]에서 [학습자가 EPA를 안전하고 효과적으로 수행할 수 있는 능력]에 기초하여 학습자에게 [의료 제공 과제와 책임을 맡길지 여부에 대한 의사결정]으로 초점을 전환해야 한다. 결정적 판단Critical judgement은 특정 의료 활동을 수행할 준비가 된 학습자의 수준에 대응하여 필요한 관리 수준과 관련하여 이루어집니다. 
Implementing EPAs requires a shift in focus from workplace-based assessment of isolated clinical competencies or abilities to decisions on whether to entrust learners with health care delivery tasks and responsibilities on the basis of the learners’ capability to safely and effectively perform those EPAs. 23 The critical judgment comes into play with respect to the required level of supervision, in response to a learner’s level of readiness to perform a particular health care activity. 24 

그러나 덜 분명한 것은 [종합적 위탁 결정summative entrustment decision]이 필요한 경우 적절한 지원을 확보하는 것을 포함하여 [미지의 미래 상황을 다루는 훈련생의 능력에 대한 신뢰]를 포함하고 있다는 것이다. 이 (미래를 직시하는) 신뢰는 이전에 관찰, 학습 및 적용된 것에 기초한다.

However, what is less overt is that a summative entrustment decision incorporates trust in the trainee’s ability to handle unknown future situations, including securing adequate support if needed; this (future-facing) trust is based on what was previously observed, learned, and applied.

학습자 또는 졸업자에게 의료 서비스를 맡기는 결정의 성격
The Nature of Decisions to Entrust a Learner or Graduate With Health Care Tasks

예상되는 임상 역량의 다양성과 폭은 교육 중에 관찰될 수 있는 것보다 더 넓다. 앞으로 만나게 될 환자는 이전에 진단하고 치료한 환자와 동일하지 않을 것이며, 의료 훈련생이 관찰한 환자와는 맥락이 다를 것이다. 의료 분야의 모든 활동은 숙련된 임상의라도 어느 정도의 위험을 수반한다. 따라서 위임 결정은 [알 수 없는 상황에서 수행하려는 학습자의 준비 상태 추정]과 [향후에 학습자를 신뢰하는 데 수반되는 위험을 허용할 수 있다는 결정]을 함축한다. 
The variety and breadth of expected clinical competencies are wider than can possibly be observed during training. Subsequent patients will not be the same as those previously diagnosed and treated, and contexts will differ from the ones in which the medical trainee was observed. Any activity in health care involves some level of risk, even for experienced clinicians. Entrustment decisions, 18,25 therefore, imply an estimation of the learner’s readiness to perform in unknown contexts and the determination that the risks involved in trusting the learner are acceptable going forward. 26,27 

학습자가 x라는 시점부터 y라는 EPA를 수행할 수 있도록 하는 포괄적 위탁 결정은, 유럽 대륙에서 운전면허증을 수여하는 것과 유사하다. 즉, 영국 땅에서 해저터널(프랑스-영국 간 해저 터널)을 벗어나면 도로 왼쪽에서 안전하게 운전할 수 있다고 믿는 것과 유사하다.

Making a summative entrustment decision that—from moment x on—the learner is permitted to perform EPA y is similar to awarding a driver’s license in continental Europe and trusting the driver will drive safely on the left side of the road when emerging from the Chunnel (underwater tunnel between France and the United Kingdom) on British soil. 

관리자가 있는 사전 예방적 감독(위탁 레벨 2)에서 사후 대응적 감독(위탁 레벨 3)으로 이동하더라도 위험을 수용할 수 있습니다. 다시 말해, 위탁 학습자가 행동할 수 있는 모든 상황을 통제하기는 불가능하며, 사전 관찰 결과가 EPA가 실행enactment될 수 있는 가능한 모든 맥락을 포함했다고 제안하는 것은 기만적이다.

Even a move from proactive supervision, with a supervisor present (entrustment level 2), to reactive supervision, with a supervisor quickly available (entrustment level 3), may imply accepting risks. In other words, it is impossible to control for all possible situations in which the entrusted learner will act, and it is deceptive to suggest that prior observations have covered every possible context for the enactment of the EPA.

따라서 위임 결정에는 [위험에 대처하고, 도움을 요청하고, 의료 상황의 결과가 예상과 다를 때 적응하는 학습자의 능력]에 대한 평가가 포함되어야 한다. 보다 간결하게, 미래에 초점을 맞춘 위탁 결정에는 [적응형 전문지식]의 추정이 포함되어야 한다. 적응형 전문 지식 또는 적응형 역량을 평가하려면 임상 환경에서 성과를 관찰하는 것 이상이 필요합니다. 

Entrustment decisions should, therefore, include the assessment of a learner’s ability to cope with risks, ask for help, and adapt when the outcomes of health care situations are different than what was expected. More succinctly, entrustment decisions, which focus on the future, should include an estimation of adaptive expertise. Assessing adaptive expertise or adaptive competence requires more than observing performance in the clinical environment.

감독 수준에 초점을 맞춘 척도는 후향적 성격(활동에 대해 얼마나 많은 감독을 제공했는가?) 또는 전향적 성격(학습자가 이 EPA에 대한 감독을 줄일 준비가 되어 있다고 생각하는가?)으로 작성되었다. 이 중 오직 후자만이 진정한 위탁을 나타낸다. 방사선학에서 ALARA(합리적으로 달성 가능한 한 낮은 수준)는 의미 있는 시험을 수행하고 피폭과 그에 따른 위험을 최소화하기 위해 가능한 최저 수준의 방사선을 제공한다. 마찬가지로, [감독되지 않은 실천unsupervised practice에 대한 준비도]에 부합하는 [가장 낮은 수준의 퍼포먼스 리스크]가 최종 위탁 결정을 가이드할 수 있다.

 Scales that focus on supervision levels have been created with either a retrospective nature (how much supervision was provided with an activity?) or a prospective nature (do I feel the learner is ready for less supervision for this EPA?). Only the latter represents true entrustment. In radiology, ALARA (as low as reasonably achievable) seeks to provide the lowest level of radiation possible to perform a meaningful test and minimize exposure and its resultant risks. 28 Likewise, the lowest level of acceptable performance risks corresponding with readiness for unsupervised practice may guide summative entrustment decisions and privilege.

 

밀러의 피라미드 확장 
Extending Miller’s Pyramid

Miller의 중요한 연설 이후, 임상 직장에서 평가에 대한 많은 접근법이 개발되었지만, 모두 학습자가 임상 환경에서 무엇을 하는지, 즉 Miller의 레벨 4를 관찰하는 데 초점을 맞추고 있다. 하지만, 앞서 설명한 것처럼, 밀러의 "does" 레벨를 넘어서는 무언가가 있습니다. 
Since Miller’s seminal address, many approaches to assessment in the clinical workplace have been developed, 29,30 but all have focused on observing what learners do in the clinical environment, that is, Miller’s level 4 (the “does” level). However, as delineated earlier, there is something beyond the top of Miller’s “does” level. 31,32 

[관찰된 수행능력]이야말로 학교나 프로그램이 사회에 정말로 전달해야deliver 할 것이다: 이것은 [환자, 동료, 그리고 고용주들이 "신뢰할 수 있는" 졸업생]을 의미한다. [의사 교육 프로그램 완료 시 암묵적으로 부여되는 이러한 추정된 신뢰presumptive trust]는 훈련 중의 직접적인 관찰을 넘어 의사들이 스스로 찾아낸 어떤 직장에서도 확대되며, 이는 Miller의 피라미드에 새로운 정점이 필요하다는 것을 시사합니다. 
Observed performance in practice is what schools or programs should really deliver to society: graduates that patients, colleagues, and employers can “trust.” This presumptive trust, 21,33 implicitly conferred at the completion of a physician’s educational program, extends beyond direct observation during training to any workplace physicians find themselves in, suggesting the need for a new pinnacle on Miller’s pyramid.

모든 레벨과 마찬가지로, 이 최상위 레벨에는 하위 레벨에서 충분한 성취도가 포함되고 가정되어야 하므로, 새로운 최상위 레벨은 "Does" 레벨을 대체하는 대신 다른 무언가를 평가합니다. 이것은 새로운 생각이 아닙니다. 2016년 알 에라크와 마레이는 밀러의 피라미드에 대한 신뢰를 통합할 것을 제안했다. 34

Like all levels, this top level should naturally include and assume sufficient achievement at lower levels, so rather than replacing the “does” level, the new top level assesses something different. This is not a new thought: In 2016, Al-Eraky and Marei proposed incorporating trust in Miller’s pyramid. 34

이러한 생각을 염두에 두고, 우리는 "Does" 수준 상위에 단계를 추가하고, 현재 설명 구절을 약간 수정함으로써 Miller의 피라미드를 개조할 것을 제안합니다(그림 2). 5개 레벨은 레벨에 맞는 평가의 초점에 간략하게 설명될 수 있다. 표 1은 부분적으로 Yudkowsky et al.35의 연구에서 영감을 받은 평가의 초점과 가능한 방법을 간략히 설명한다.

With these thoughts in mind, we propose an adaptation of Miller’s pyramid by adding a level above the “does” level and making slight adaptations to the current explanatory phrases (Figure 2). The 5 levels may be briefly explained in the focus of the assessment that fits with the level. Table 1 elaborates briefly on the focus and possible methods of assessment, in part inspired by the work of Yudkowsky et al. 35

 

이 적응에서 피라미드 상단은 학습자에게 교육 이수 증명서를 수여하는 결정에 도달하는 과정을 반영하며, 의료 면허 또는 전문 등록이나 인증으로 이어지며, 이는 허가자가 감독되지 않은 행동을 할 수 있는 허가를 제공하고 고유 위험을 인식하도록 한다. 현재, 의사들은 커리큘럼의 모든 필수 요소들을 성공적으로 마친 후에 그들의 졸업장을 받고, [똑딱거리는 시계]는 임상 훈련의 미리 설정된 끝에 도달한다. 행정 기관은 수습생이 졸업할 권리가 있음을 확인하며, 그렇게 됩니다. 
In this adaptation, the top of the pyramid reflects the process for reaching the decision to award a learner an attestation of the completion of training, leading to a medical license or specialty registration or certification, which provides permission to act unsupervised and makes the grantors cognizant of the inherent risks. Currently, physicians earn their diploma after successfully completing all the required elements of the curriculum, and the ticking clock gets to the preset end of clinical training experience. An administrative body then confirms that the trainee has the right to graduate, and so it happens.

대학원 의학 교육에서 프로그램 이사는 단일 역량 위원회와 함께 교육 과정 내내 학습자를 감독한다. 그러나 [unsupervised practice]을 향한 단계는 [관찰된 역량과 위탁에 따른 미래 위험]보다는 여전히 [시간]에 의해 결정된다. 

In graduate medical education, a program director, along with a single competency committee, oversees learners throughout the course of training, but the step toward unsupervised practice is still often determined by time rather than by observed competence and the future risk that comes with entrustment.

하지만 의과대학에서는 학생 수가 많기 때문에 한 명의 개인이나 위원회가 입학에서 졸업까지 학생들의 진보를 면밀히 따르는 것은 불가능하다. 따라서, 면허의 책임과 관련된 미래 위험의 엄청난 단계의 실현은 [시간이 아닌 위탁에 대한 준비에 기초]하여 졸업 결정을 추진해야 한다.

In undergraduate medical education, however, the large number of students make it impossible for a single individual or committee to closely follow students’ progress from matriculation to graduation. Thus, the realization of the immense step of being granted the responsibility of a license, and the future risk involved, should drive the decision to graduate based on readiness for entrustment, not time.

 

업무 현장에서 [임시적으로ad hoc 이루어지는 위임]에 대한 [작은 단계]들은 학습자를 졸업, 면허 또는 인증하는 [큰 결정]보다 오히려 더 분별력 있게 이루어지는 것으로 보입니다. 의대 교육을 포함한 고등 교육 학위를 따는 것은 종종 통과된 시험과 평가의 누적으로도 충분하지만, 졸업생 개개인에게 MD 졸업장의 중요성을 실제로 감독하는 위원회나 교육자는 거의 없다. [면허시험]은, 아무리 잘 해봐야at most, 면허가 암시하는 큰 위탁 결정을 서포트하기에는 불완전한 수단에 불과하다. 소규모 대학원 의대 교육 프로그램에서는 대규모 프로그램보다 더 많은 감시가 있을 수 있지만, [사전에 예정된 훈련 종료 시점]과 [전문의 시험 시기]가 종종 수습생이 프로그램을 이수하도록 허용하는 결정을 지배한다.
The small steps informing entrustment, taken ad hoc in the workplace, seem to be made with more discernment than the big decision to graduate, license, or certify learners. To earn a diploma in higher education, including medical education, the accumulation of passed tests and assessments often suffices, but there are seldom committees or educators who really oversee the significance of the MD diploma for individual graduates. Licensing exams are, at most, an imperfect measure to support the big entrustment decision that the license implies. In small graduate medical education programs, there may be more oversight than in larger programs, but the scheduled end of training and timing of the board exam often dominate the decision to allow a trainee to complete the program.

EPA의 도입으로, 중간 지대가 생겼다. EPA는 경계가 있는 전문적 실무 단위로서 각 EPA를 합리적으로 감독, 평가, 모니터링, 문서화 및 위탁할 수 있다. 교육자 또는 가급적 임상 역량 위원회(CCC)는 충분한 다면적인 정보로 사려 깊은 최종 위탁 결정을 내릴 용기를 가져야 하고 권한을 부여받아야 하며, 그러한 교육자 또는 위원회는 그러한 결정에 대해 책임을 져야 한다. 일부 프로그램은 EPA에 대한 서명된 인증서 양식(책임 인정서 또는 STAR)으로 이러한 결정을 내리며, 이는 해당 책임을 명시적으로 반영한다. 36 더 비공식적으로, 그 책임은 다음과 같은 질문에 대한 대답이 될 수 있다. "이 학습자가 내 가족을 돌볼 수 있을까?" 37 또는 "지원자 중에서 선택할 수 있다면 이 졸업생을 내 학과에 고용할 수 있을까?" 

With the introduction of EPAs, there is a middle ground. EPAs are units of professional practice with boundaries, allowing each EPA to be reasonably overseen, assessed, monitored, documented, and entrusted. Educators or, preferably, a clinical competency committee (CCC), should have the courage—and be empowered—to make thoughtful summative entrustment decisions with sufficient, multifaceted information, and those educators or the committee should then be accountable for those decisions. Some programs make these decisions with a signed certificate form for EPAs (with a statement of awarded responsibility or STAR), which reflects that accountability explicitly. 36 More informally, that accountability can be the answer to a question: “Would I have this learner take care of my own family members?” 37 or “Would I hire this graduate for my department if I could choose among applicants?”

[학습자가 감독 없이도 진료를 수행할 수 있다]는 위원회(또는 다른 기관의)의 신뢰의 발달은 의사결정 기관이 환자가 그나 그녀에 대한 추정 신뢰를 정당화할 수 있을 만큼 충분히 그 분야를 숙달했다고 보장할 수 있는 [충분한 정당성과 확신]을 필요로 한다. [본질적으로 제한된 과거의 관찰]에 기초하여 [종합적인 위탁 결정]을 내리려면 지식, 경험 및 용기가 필요합니다. 이러한 추론은 "Trusted"라는 단계를 (이것이 내포한 위험risks와 함께) Miller의 피라미드에 "Does" 수준을 넘는 새로운 수준으로 이끈다.

The development of a committee’s (or other body’s) trust that a learner can execute an activity unsupervised requires justification and conviction strong enough to enable the deciding body to assure patients the learner has mastered the domain sufficiently to justify a patient’s presumptive trust in him or her. It requires knowledge, experience, and courage to make a summative entrustment decision based on inherently limited previous observations. This reasoning makes “trusted”—with its inherent risks—a new level for Miller’s pyramid, beyond the “does” level.

 

위탁 준비 상태 평가
Assessing Readiness for Entrustment

위탁 결정에는 [학습자가 임상 치료와 관련된 위험성을 이해]하고 있으며, [예상치 못한 상황에 대처할 수 있다는 확신]이 필요하다. 38 항상 잘못될 가능성이 있으며, 학습자가 예기치 않은 상황에서 무엇을 해야 하는지를 아는 것이 중요하다. 학습자와 의료 감독자 모두 위임 결정이 내려질 때 이러한 위험을 알고, 평가하고, 수용해야 합니다.
An entrustment decision requires a sense that the learner understands the risks involved in clinical care and confidence that the individual can deal with the unexpected. 38 There is always the potential for things to go wrong, and it is critical that the learner knows what to do in unexpected circumstances. Both learners and clinical supervisors must know, weigh, and accept these risks when entrustment decisions are made.

의료전문가가 위임 결정을 내릴 때 무엇을 고려하는지 생각해본다면, 학습자에게 책임을 넘기거나transferring, 필요한 감독량을 결정할titrating 때, [여러 변수]가 나타난다. 흥미롭게도, 이런 능력의 대부분은 신뢰성trustworthiness과 관련된 특성이고, 과제-특이적이지 않다. 주로 EPA-특이적 역량에 추가하여 성실성, 신뢰성, 겸손 및 주체성agency으로 요약된다. 위탁은 [신뢰성]과 [평가 중인 영역에서 이전에 입증된 역량]의 두 가지를 모두 다 필요로 하는 것으로 보인다. 이러한 측면이 모여서 [위임 결정에 관련된 위험의 무게]를 재는 데 사용될 수 있다.

In considering what clinicians take into account when making entrustment decisions, when transferring responsibility to a learner, or when titrating the amount of supervision needed, multiple variables emerge. 39–42 Interestingly, most of these facets of competence are characteristics related to trustworthiness; are not task specific; and have been summarized as integrity, reliability, humility, and agency, in addition to an EPA-specific capability. 18,21,43 Entrustment seems to require both trustworthiness and previously demonstrated competence in the domain being assessed. Together these facets can be used to weigh the risks involved in an entrustment decision.

아직까지 신뢰, 위험 평가, 적응형 전문성을 통합하는 구체적인 평가 접근법은 제한적이다. 44,45 이러한 접근법은 의료전문인력 교육의 평가 개발에 있어 더 중요한 역할을 할 수 있다.
Specific assessment approaches that incorporate trust, risk assessment, and adaptive expertise are limited currently. 44,45 Along with better measures of the quality of care learners deliver, 46 these approaches may become more important in the development of assessment in health professions education.

[위임에 대한 준비]는 라이센스와 인증에 함축되어implied 있다. 단, 개정된 피라미드의 최상위 수준은 그러한 중요한 순간big moment뿐만 아니라, [EPA 프레임워크에 기초한 프로그램 평가]에도 적용된다. 학습자가 개별 EPA의 신뢰를 받는 경우, 감독 없이 안전하고 효과적으로 특정 EPA를 수행할 수 있는 것으로 간주된다. 단, 전체적으로 EPA가 전문 분야의 전문적인 활동을 정의하기 때문에, 학습자는 프로그램 완료 시점에 직접 환자 관리와 관련된 모든 EPA에 대해 이와 동일한 수준의 성과를 달성할 것으로 기대된다. 수련을 마친 이후, 커리어가 진행되면서, 한 명의 의사에게 맡겨지거나, 그가 수행할 자격이 있는 전문적인 활동에 변화가 있을 것이다. 의사의 [진료 범위에 기반을 둔 개인의 EPA 포트폴리오의 역동적 특성]을 고려한다면, [의사가 위임받고 수행할 자격이 있는 작업]은 시간이 지남에 따라 바뀌어질adapting over 필요가 있다.47

Readiness for entrustment is implied in licensing and certification. However, the top level of the revised pyramid applies not only to those big moments but also in programmatic assessment based on an EPA framework. If a learner is trusted with an individual EPA, he or she is considered able to perform the given EPA safely and effectively without supervision. However, because EPAs in aggregate define the professional activities of a specialty, a learner would be expected to achieve this same level of performance for all EPAs associated with direct patient care at the time of program completion. Over a practitioner’s career, there will be changes in the professional activities he or she is entrusted and entitled to perform. The dynamic nature of an individual’s EPA portfolio, which is based in a physician’s scope of practice, suggests the need for adapting over time what practitioners are entrusted with and entitled to do. 47

CCC는 개별 EPA 또는 EPA에 대한 진행 결정을 전체적으로 내릴 때 위탁에 초점을 맞출 수 있고 또 그렇게 해야 하지만 개별 감독자는 가능하면 관찰, 사고, 권고에서 [위임의 요소]를 고려해야 한다. 이러한 요소에는 다음이 포함될 수 있다.

• 학습자가 도움을 구하는 행동을 보이는 것,
• 새로운 상황에서 이전 학습을 적용할 수 있는 학습자의 능력,
• 자기 능력의 한계 지점에서 진료practice에 필요한 수준의 감독을 요청하는 것

While CCCs can and should focus on entrustment when making progression decisions for individual EPAs or EPAs in aggregate, 48 individual supervisors should consider elements of entrustment in their observations, thinking, and recommendations, whenever possible. These elements may include, but are not limited to,

• learners exhibiting help-seeking behaviors,
• learners’ ability to apply previous learning in a new situation, and
• learners asking for the degree of needed supervision to practice at the edge of their competence.

즉, [비-과제 특이적 특징]을 포함하는 위임 사고방식은 위원회(CCC 또는 기타)에만 국한되지 않는다. [위임 사고entrustment thinking]는 모든 WBA의 일부입니다. [피라미드의 하위 수준]에서는 학습자가 실제로 수행했거나 수행한 작업에 기반한 판단이 적절하다. [높은 수준]에서 준비 상태에 대한 추론이 필요하다. 그러한 추론을 뒷받침하는 실용적인 접근법의 예로는 [위탁 기반 토론]과 [현실적인 실시간 반시뮬레이션]이 있다. 위탁 결정을 알리는 데 있어 resident-sensitive quality measure의 사용 및 가치에 대한 최근 보고서도 유망하다.

In other words, entrustment thinking, including the non–task-specific features, is not confined to committees (CCC or other) but is part of all workplace-based assessments. At lower levels of the pyramid, judgment based on what a learner actually does or has done is appropriate; at the higher levels, an inference of readiness is needed. Examples of practical approaches to support such inferences are entrustment-based discussions 45 and realistic, live semisimulations. 44,49 A recent report of the use and value of resident-sensitive quality measures in informing entrustment decisions also holds promise. 50

결론적 생각
Concluding Thoughts

Miller의 피라미드처럼 상징적인 모델의 확장을 제안하는 것은 신중한 고려를 필요로 한다. 다른 사람들도 피라미드의 변형을 만들어냈다.

• Miller의 삼각형 또는 프리즘이라고 부르거나,
• Bloom의 지식, 기술 및 태도의 차이를 하나의 차원으로 추가했거나,
• 피라미드를 뒤집어서 "실행" 레벨 3의 중요성을 강조했거나,
• 피라미드 34 주변에 "측정 궤도"를 추가했거나,
• 직업적 정체성을 피라미드 꼭대기에 더하였다.
  
  

Suggesting an extension of a model as iconic as Miller’s pyramid requires careful consideration. Others have created variations of the pyramid,

• calling it Miller’s triangle or prism;
• adding Bloom’s distinctions of knowledge, skills, and attitudes as a dimension 51;
• turning the pyramid upside down to stress the importance of the “does” level 3;
• adding “assessment orbits” around the pyramid 34; and
• adding professional identity on top of the pyramid. 52 

우리는 그러한 변화를 고려했지만, 학습자를 평가하는 데 사용되는 접근방식에 분명한 초점과 실질적인 가치를 가지고 피라미드에 [이미 반영되어 있는 기존 접근방식에 추가된 개념]으로 피라미드의 변형adaptation을 제한하기로 결정했다. 최고 레벨은 의사 정체성의 핵심을 반영하는 "is" 단계라고 부르는 Crues 등의 확장판에는 [앞에서 설명한 개인 특성(능력, 무결성, 신뢰성, 겸손, 주체성agency)]이 포함됩니다. 따라서, 우리가 Miller의 피라미드에 새롭게 제안한 5단계는 정체성 형성과 관련된 개인적 특성("is")에다가 [익숙한 것에서 낯선 것으로의 적응 능력에서 수반되는 위험의 완화(trusted)]를 결합한 것이다.

We considered such variations but decided to limit the adaptation of the pyramid to a concept that has a clear focus and practical value for the approach used to assess learners and adds to existing approaches already reflected in the pyramid. Cruess et al’s extension, 52 calling the top level “is” to reflect the core of a physician’s identity, embraces the personal characteristics we have described earlier (capability, integrity, reliability, humility, and agency).53 Thus, our proposed new pinnacle for Miller’s pyramid combines personal characteristics linked to identity formation (“is”) with the mitigation of risk that is promised in the capacity to adapt from the familiar to the unfamiliar (“trusted”).

"Trusted"는 두 가지 방법으로 읽을 수 있습니다.

• 하나는 [평가 및 결정]과 관련이 있습니다. 즉, 감독 없이 작업을 수행할 수 있는 중요한 순간입니다. 그것이 우리의 초점이다.
• 다른 하나는 [존재의 상태]이다. [신뢰받는 것]은 의사 및 기타 의료전문가의 가장 중요한 특성 중 하나로 간주될 수 있으며, 전문성 개발을 지속하는 데 중요한 영향을 미칠 수 있다. 

[마땅한 신뢰deserved trust]는 [특성]이 아니라, 지속적인 자기 인식, 성찰 및 유지관리가 필요한 [상태]이며, 모든 의료전문가에게 필요한 것이다.

“Trusted” can be read in 2 ways.

• One is related to assessment and to a decision, that is, as a pivotal moment that leads to permission to act without supervision—it is the focus of our contribution.
• The other is a state of being. Being trusted may be regarded as one of the most crucial characteristics of physicians and other health care professionals and has important implications for continuing professional development.

Deserved trust is not a trait but a state that requires ongoing self-awareness, reflection, and maintenance, by all health care professionals.

 

 

---

Acad Med. 2021 Feb 1;96(2):199-204.

 doi: 10.1097/ACM.0000000000003800.

Entrustment Decision Making: Extending Miller's Pyramid

Olle Ten Cate 1, Carol Carraccio 2, Arvin Damodaran 3, Wade Gofton 4, Stanley J Hamstra 5, Danielle E Hart 6, Denyse Richardson 7, Shelley Ross 8, Karen Schultz 9, Eric J Warm 10, Alison J Whelan 11, Daniel J Schumacher 12

Affiliations expand

• PMID: 33060399
• DOI: 10.1097/ACM.0000000000003800Abstract
• The iconic Miller's pyramid, proposed in 1989, characterizes 4 levels of assessment in medical education ("knows," "knows how," "shows how," "does"). The frame work has created a worldwide awareness of the need to have different assessment approaches for different expected outcomes of education and training. At the time, Miller stressed the innovative use of simulation techniques, geared at the third level ("shows how"); however, the "does" level, assessment in the workplace, remained a largely uncharted area. In the 30 years since Miller's conference address and seminal paper, much attention has been devoted to procedures and instrument development for workplace-based assessment. With the rise of competency-based medical education (CBME), the need for approaches to determine the competence of learners in the clinical workplace has intensified. The proposal to use entrustable professional activities as a framework of assessment and the related entrustment decision making for clinical responsibilities at designated levels of supervision of learners (e.g., direct, indirect, and no supervision) has become a recent critical innovation of CBME at the "does" level. Analysis of the entrustment concept reveals that trust in a learner to work without assistance or supervision encompasses more than the observation of "doing" in practice (the "does" level). It implies the readiness of educators to accept the inherent risks involved in health care tasks and the judgment that the learner has enough experience to act appropriately when facing unexpected challenges. Earning this qualification requires qualities beyond observed proficiency, which led the authors to propose adding the level "trusted" to the apex of Miller's pyramid.
• Copyright © 2020 by the Association of American Medical Colleges.