양질의 의료 유도하기: EPA, 역량, 마일스톤의 적용을 통한 수련생 평가와 지도감독의 정렬(Acad Med, 2016)

양질의 의료 유도하기: EPA, 역량, 마일스톤의 적용을 통한 수련생 평가와 지도감독의 정렬(Acad Med, 2016)

Driving Care Quality: Aligning Trainee Assessment and Supervision Through Practical Application of Entrustable Professional Activities, Competencies, and Milestones
Carol Carraccio, MD, MA, Robert Englander, MD, MPH, Eric S. Holmboe, MD, and Jennifer R. Kogan, MD

의료 교육의 목적은 [지속적인 감독 없이 양질의 치료를 제공할 수 있는 의료진]을 준비시키는 것이다. [양질의 치료]는 안전, 효과, 시기적절, 효율성, 공정성 및 환자 중심적으로 정의될 수 있다. 미국은 대학원 의학 교육 인증 위원회와 미국 의학 전문가 위원회의 핵심 역량에 기초한 대학원 의학 교육(GME) 체제로 전환한 지 15년이 지났지만 여전히 전체 건강 결과에서 11개국 중 꼴찌를 기록하고 있습니다.

The purpose of medical education is to prepare a physician workforce that can provide high-quality care—defined as safe, effective, timely, efficient, equitable, and patient centered—without a need for ongoing supervision.1,2 Fifteen years after the shift to a graduate medical education (GME) system based on the Accreditation Council for Graduate Medical Education and the American Board of Medical Specialties’ core competencies, the United States still ranks last of 11 countries in overall health outcomes.3

서비스 대상 환자 집단의 요구를 해결하기 위해 의사가 요구하는 역량에 기반을 둔 역량 기반 의료 교육(CBME)은 위에서 설명한 품질 격차를 해결하기 위해 GME 전반에 걸쳐 구현되었다.6 그러나 CBME의 구현은 연습생 성과를 평가하기 위한 의미 있는 조치가 만연해 있지 않다는 것을 드러냈고, [평가는 CBME의 발전에 있어 주요 속도 제한 단계]이다.6
Competency-based medical education (CBME), whose foundation is built on the competencies required by physicians to address the needs of patient populations being served, has been implemented across GME to address the quality gaps outlined above.6 Implementation of CBME, however, exposed the pervasive lack of meaningful measures to assess trainee performance, and assessment continues to be a major rate-limiting step in the advancement of CBME.6


Kogan 등7은 최근 학습자 평가의 과제를 "교육적 문제이자 동시에 임상진료 문제"로 다시 개념화할 것을 제안했다. 이를 위해 그들은 품질 관리 및 감독을 위한 책임 있는 평가(AAQCS) 등식을 제안했다. [수련생 성과 × 적절한 감독 = 안전하고 효과적인 환자 중심 진료.]
Kogan et al7 have recently suggested that the challenges in learner assessments be reconceptualized as “both an educational and clinical care problem.” In so doing, they proposed the Accountable Assess- ment for Quality Care and Supervision (AAQCS) equation: Trainee performance × Appropriate supervision = Safe, effective patient-centered care.

AAQCS는 [안전하고 효과적이며 환자 중심적인 의료]는 [훈련생의 성과 수준(특정 맥락에서 훈련생의 역량 수준에 대한 평가)]과 [이에 부합하는 적절한 감독(관리 품질을 보장하는 데 필요한 개입 수준)]의 곱(product)에서만 나온다고 강조한다. AAQCS의 주요 기여는 환자 성과가 평가 방정식의 종속 변수임을 강조하는 것이다.

• 즉, 수련생 성과가 환자에 미치는 영향을 고려하지 않는다면, 연습생 성과 평가의 근본적인 목적을 잃는 것과 같다.
• 반대로, 환자 진료 품질에 미치는 영향을 고려하지 않는다면, 감독의 기본 목적도 상실된다.

AAQCS emphasizes that safe, effective, patient-centered care only results from the product of appropriate supervision (required level of intervention to ensure care quality) matched to the trainee’s level of performance (assessment of a trainee’s level of competence in a particular context). The major contribution of AAQCS is that it emphasizes that patient outcomes is the dependent variable of the assessment equation.

• That is, the fundamental purpose of assessing a trainee’s performance is lost when the impact of that performance on patients is not considered.
• Furthermore, the fundamental purpose of supervision is lost when its impact on patient care quality is not considered.

따라서 AAQCS 등식의 중요한 기여는 [치료 성과]에 대한 [교육생과 감독자의 상호의존성]을 입증한다는 것이다. 
Therefore, an important contribution of the AAQCS equation is that it demonstrates the interdependence of trainees and supervisors on care outcomes. 

그 정의상, EPA는 [(훈련생 능력에 초점을 맞춘) 역량이나 마일스톤]과는 달리 [치료 결과에 초점을 맞춘 작업 단위]이다.8

By definition, EPAs are units of work that focus on outcomes of care, in contrast to competencies and milestones, which focus on trainee abilities.8

 

교육생 성과 평가
Assessment of Trainee Performance

CBME에서 교육생을 평가하기 위한 기본 전략은 workplace assessment이다.9,10 [실제 임상 환경에서 교육생을 관찰하고 평가하는 것]으로 정의되며, 작업장 평가는 Miller의 피라미드 "does" 수준을 목표로 한다.
A foundational strategy to assess trainees in CBME is workplace assessment.9,10 Defined as observing and assessing trainees in the authentic clinical environment, workplace assessment targets the “does” level of Miller’s pyramid,

이상적으로는 전문가가 실제 관리 제공 상황에서 학습자의 역량을 평가하기 위해 [직접 관찰하는 것]이 바람직하다. 그러나 연구자들은 여러 전문가가 동일한 실습생을 같은 조우했을 때에도 학습자 성과에 대한 판단이 다양하다는 것을 발견했다.9,12
Ideally, experts engage in direct observation of learners to assess their competence in the context of actual care delivery. However, researchers have found that even when several experts observe the same trainee in the same encounter, there is variability in their judgments about learner performance.9,12

이 평가자의 variability에 대한 많은 설명이 있다.

• 평가자는 연습생과 자신(표준으로서의 자신)을 비교하거나 유사한 수준의 교육(표준 기준)에서 다른 사람에게 기대하는 바를 비교하는 등 연습생을 평가하는 다양한 기준을 사용합니다. 
• 일반적인 평가 도구는 평가자에게 학습자 성과를 평가하기 위해 수치 척도를 사용하도록 요청하며, 오류는 자연스러운 [서술 기반 사고 프로세스]를 [수치 값으로 전환]하는 과정에서 발생할 수 있다.
• 평가관 변동성의 다른 원인에는 평가자에 의해 사용되는 인지 과정의 제한, 인지 오류, 문자 그대로의 서술은 덜 사용하고 평가자 전문지식에 기초한 추론은 더 많이 하는 것, 평가자 자신의 임상 기술 및 사회적 맥락을 포함한 판단이 이루어지는 맥락 등이 포함된다.

There are many explanations for this variability. 

• Assessors use variable standards by which they assess the trainee, such as comparing trainees with themselves (self as standard) or comparing trainees with what they would expect of others at a similar level of training (normative standard).13 
• Typical assessment tools ask raters to use numerical scales to assess learner performance, and error may result from the conversion of natural, narrative-based thought processes to numerical values.14 
• Other causes of rater variability include limitations in cognitive processes used by raters,15 cognitive errors,16 use of less literal descriptions and more inferences based on rater expertise,17 raters’ own clinical skills,13 and the context in which the judgment is made including social context.17,18
  
  

적절한 감독
Appropriate Supervision

작업장 평가의 목적은 연습생의 역량을 평가하는 것이지만, 또 다른 중요한 기능은 [연습생에게 필요한 감독 수준을 알리는 것]입니다.7 즉, 작업장 평가는 [훈련생이 할 수 있는 것]과 [안전하고 효과적인 환자 중심 치료를 위해 필요한 것 ]사이의 차이를 교수진에게 알려야 한다. 이 개념은 AAQCS 방정식에서 두 번째 독립 변수인 적절한 감독에 의해 강조된다.
Although the purpose of workplace assessment is to assess trainee competence, another critical function is to inform the level of supervision a trainee requires.7 That is, workplace assessment should inform faculty of the gap between what a trainee is capable of doing and what is required for safe, effective patient-centered care. This concept is highlighted in the AAQCS equation by the second independent variable, appropriate supervision.

AAQCS 등식의 [적절한 감독] 변수는 명확히 할 가치가 있는 두 가지 점을 강조한다.

• "적절한" 감독을 어떻게 정의할 것인가? 
• 감독의 이중적 목적(환자 돌봄의 퀄리티 확보 + unsupervised practice를 향한 학습자의 발달 궤적 확보)을 어떻게 다룰 것인가?

The appropriate supervision variable of the AAQCS equation highlights two points that deserve clarification: 

• how to define “appropriate” supervision, and 
• how to address the dual purpose of supervision—ensuring quality patient care and learner development on the trajectory toward unsupervised practice. 

Kennedy 등 19명은 "임상 감독"을 "Care의 퀄리티를 보장하기 위해 감독자가 수행하는 환자 관리 활동"으로 정의했다. 이러한 정의에 기초하여, 한 환자가 특정 상황에서 받는 [Care의 퀄리티]은 [수습자와 감독자의 결합된 임상 역량]에 따라 달라진다.
Kennedy et al19 defined “clinical oversight” as “patient care activities performed by supervisors to ensure quality of care.” Based on this definition, the quality of care that the patient receives in a given encounter is dependent on the combined clinical competence of the trainee and the supervisor.


[작업장 평가의 신뢰성]과 관련된 여러 어려움을 고려한다면, 이러한 평가에 기초하여 [감독 수준]과 [수련생 성과 수준]을 일치시키는 데 상당한 변화가 있을 수 있습니다. 궁극적으로, 이는 단기적으로 care quality에 부정적인 영향을 미칠 수 있으며, 특정 상황에서 관리 결과를 초래하고, 장기적으로는 교육생들로 하여금 졸업 시 감독되지 않은 실습에 참여할 준비가 되어 있지 않은 교육생으로 이어질 수 있다.

Given the challenges with reliability of workplace assessments, there is likely significant variability in matching the level of supervision to level of trainee performance on the basis of these assessments. Ultimately, this can adversely affect care quality in the short run with undersupervision leading to a negative care outcome in the given encounter and in the long run with oversupervision leading to trainees who are not ready to engage in unsupervised practice upon graduation.

[(임상) 감독]을 정의할 때 Kennedy20은 또한 "훈련자 학습을 최대화하기 위한 임상 감독을 설계하는 것이 장기적인 환자 관리의 질에 영향을 미치는 가장 강력한 방법이 될 것"이라고 제안했다. 향후 이 교육생과의 만남에서 환자가 받게 될 care의 퀄리티는,

• [감독자가 특정 encountrer에서 보여준 care의 modelling]에 영향을 받을 뿐만 아니라,
• 학습자가 competence에서 capability(새로운 맥락에서 competence을 입증할 수 있는 능력)로 나아가는 [전문적 발달을 서포트하는 감독자의 능력]에도 영향을 받을 것이다.

When defining supervision, Kennedy20 has also suggested that “designing clinical supervision to maximize trainee learning will be the most powerful way to impact the quality of patient care in the long-term.” The quality of care that patients receive in future encounters with this trainee will

• not only be affected by the modeling of care done by the supervisor in a given encounter
• but the supervisor’s ability to support the professional development of the learner beyond competence to capability (the ability to demonstrate competence in new contexts).21 

Vygotsky의 ZPD는 최상의 학습은 연습생들이 자신이 수행하기에 편한 수준 이상으로(즉, 능력의 최상단에서) 일하도록 도전할 때 발생한다고 시사한다. 이는 이상적으로, 연습생의 개발 수준과 일치하는 감독적 접근방식을 요구한다. 예를 들어,

• 초보자를 위한 지시적 접근법,
• 고급 초보자를 위한 협력적 접근법,
• 역량 있는 교육생을 위한 비지시적 접근법이 포함될 수 있다.23

Vygotsky’s22 zone of proximal development suggests that the best learning occurs when trainees are challenged, with support, to work beyond the level at which they are comfortable performing (i.e., at the upper edge of their competence), which ideally calls for a supervisory approach that is matched to the developmental level of the trainee.23 This might include, for example,

• a directive approach for novices,
• a collaborative approach for advanced beginners, and
• a nondirective approach for trainees who are competent.23

교육생에 대한 [원치 않는 평가의 다양성variability]은 관리 품질과 학습자 개발 모두에 부정적인 영향을 미칠 위험이 있다. 교수진이 [연습생이 할 수 있는 일]과 [안전하고 효과적이며 환자 중심적인 치료] 사이의 차이를 식별할 수 없다면, 진료의 공백을 메우는 특정 감독 행동에 관여하는 동시에 학습자 계발을 촉진할 수 없을 것이다.
Unwanted variability in assessment of trainees risks negatively impacting both care quality and learner development. If faculty are not able to identify the gap between what a trainee can do and safe, effective, patient-centered care, they will not be able to engage in the specific supervision behaviors that fill the gaps in care while also promoting learner development.

안전하고, 효과적이며, 환자 중심의 관리를 위해: 평가 및 감독할 교수진 개발
Toward Safe, Effective, Patient- Centered Care: Developing Faculty to Assess and Supervise

문헌의 교훈.
Lessons from the literature

교수개발
Faculty development.

교육생 성과 평가에서 [원치 않는 가변성unwanted variability]을 완화하기 위해 교수개발이 매우 중요합니다. 교수진이 공유된 정신 모델을 개발하고 임상 역량을 이해하는 데 도움이 되는 그룹 방법과 기법은 성과 평가에서 나타나는 일부 가변성을 제거하는 데 도움이 될 수 있다. 본질적으로, 이러한 기법은 [학습자 역량을 평가할 때 고려해야 할 행동]과 이러한 [행동이 사전 정의된 성과 수준에 어떻게 부합되는지]에 대한 [강력한 스크립트]를 제공하기 위해 고안되었습니다. 이러한 기법은 교육생 성과와 환자가 필요로 하는 임상 개입 수준에 대한 보다 정확한 평가 및 판단으로 이어질 수 있을 뿐만 아니라, 학습자에게 형성적 피드백을 위한 자료substrate를 제공할 수 있습니다.

Faculty development is critical for mitigating unwanted variability in assessment of trainee performance. Group methods and techniques that help faculty develop shared mental models and understanding of clinical competencies can help to eliminate some of the variability seen in performance assessments.25 In essence, these techniques are designed to provide a robust script of what behaviors to look for in assessing learner competence and how those behaviors align with predefined levels of performance. These techniques can lead to more accurate assessments and thus judgments about trainee performance and level of clinical intervention needed by the patient, as well as provide substrate for formative feedback to learners.

글로벌 평가 사용.
Use of global assessments.

문헌에 따르면 전문가들의 손에서 전반적인 판단에 대한 글로벌 평가가 체크리스트보다 더 신뢰할 수 있다.26 따라서 글로벌 등급 양식을 [체크리스트로 대체하는 것]은 원치 않는 가변성을 줄이기 위한 전략이 아니다. 우리는 체크리스트의 모든 항목을 완료할 수는 있지만 효과적인 관리 제공을 가능하게 하는 방식으로 필요한 작업을 통합할 수 없는 학습자를 관찰한 경험에 익숙하다. 학습된 중요한 교훈은 객관성과 신뢰성이 동의어가 아니라는 것이다. 전문가의 손과 적절한 표본 추출 조건에서 이루어지는 주관적 평가가 체크리스트보다 더 신뢰할 수 있다.26

Literature suggests that global assessments of overall judgment in the hands of experts are more reliable than checklists.26 Thus, replacing global rating forms with checklists is not a strategy for reducing unwanted variability. We are familiar with the experience of observing a learner who can complete all items on a checklist but cannot integrate the required tasks in a way that enables effective care delivery. An important lesson learned is that objectivity and reliability are not synonymous; subjective assessments in the hands of experts and under conditions of appropriate sampling are more reliable than checklists.26

내러티브 스크립트 사용.
Use of narrative scripts.

평가자 평가의 일부 변동성은 보증되지 않으며 최소화하는 것이 바람직하지만, 어떤 변동성variability은 [서로 다른 평가자]가 [동일한 학습자]를 보는 [다양한 렌즈를 제공함]으로써 포괄적인 학습자 피드백에 의미 있는 정보를 제공합니다.9
While some variability in rater assessments is unwarranted and due to error that is desirable to minimize, some variability contributes meaningful information to comprehensive learner feedback by providing different lenses through which raters see the same learner.9

의사들이 [나름의 독특하고 지속적으로 업데이트되는 질병 스크립트와 패턴 인식에 의존하는 임상적 추론]을 하듯이, 평가자는 새로운 학습자에 대한 인상을 형성하기 위하여 메모리에 저장된 스크립트를 활용한다.27,28 이러한 스크립트는 풍부한 서술 형태의 행동의 회상으로서 존재합니다. 평가자 개개인의 경험과 스크립트의 고유성은, 오류가 아니라, 다양한 관점에 기반한 가변성을 만들어낸다.
Much as physicians do in clinical reasoning, which relies on unique and continuously updated illness scripts and pattern recognition, raters draw on scripts stored in memory to inform impressions of new learners.27,28 These scripts exist as recollections of behaviors in the form of rich narratives. The uniqueness of an individual assessor’s experiences, and thus her or his scripts, creates variability that is not due to error but, rather, to perspective.

단, 격리된isolated 평가자의 스크립트가 다수의 스크립트와 상당히 다른 이유가 관점 때문일 수도 있지만, 이미 낡은 스크립트이기 때문일 수 있다. 전자의 경우, 관점은 유용한 형태적 피드백을 제공할 수 있지만, 최종 결정의 기초가 되어서는 안 된다. 후자의 경우 피드백은 not relevant하다. 어느 쪽이든 평가에 주관적 판단을 사용할 때 신뢰도를 보장하기 위해 적절한 표본 추출이 여전히 필수 요건으로 남아 있다.29
Of note, the script of an isolated assessor may be quite different from those of the majority based either on perspective or an outdated script. If the former, the perspective can provide useful formative feedback but should not be the basis of a summative decision. If the latter, the feedback is not relevant. Either way, adequate sampling remains an essential requirement for ensuring reliability when subjective judgment is used in assessment.29

효과적인 감독 기술.
Effective supervision skills.

분명한 필요성에도 불구하고, 훈련생들의 감독은 종종 불충분하다. 문헌에는 관리 품질을 보장하고 교육자가 학습자 계발을 보장하는 의료전문가로서의 이중 역할을 탐색할 수 있도록 교수진 개발이 필요하다는 내용이 나와 있습니다.20 다양한 감독 스타일이 있지만, [필수적이고 효과적인 감독 기술]을 뒷받침하는 기본 원칙이 있습니다. 학습자 평가를 담당합니다.30 효과적인 감독 원칙을 배우고 실천해야 하며, 감독자는 역할의 지속적인 개선을 지원하기 위해 감독관으로서의 성과에 대한 피드백을 요구합니다.

Despite the clear need, supervision of trainees is often inadequate. The literature illustrates the need for faculty development to help supervisors navigate their dual roles as clinicians ensuring care quality and educators ensuring learner development.20 Although there are a variety of supervision styles, there are fundamental principles underpinning essential, effective supervisory skills that need to be packaged for those charged with learner assessment.30 The principles of effective supervision must be learned and practiced, and supervisors require feedback on their performance as supervisors to support continuous improvement in the role.

과거 구축: EPA, 역량 및 이정표를 통해 작업장에 AAQCS 방정식 적용
Building on the past: Applying the AAQCS equation in the workplace through EPAs, competencies, and milestones

EPA, 핵심 역량 및 전공과별 마일스톤을 통합하는 [통합 프레임워크]는 수련생 평가 및 적절한 관리감독의 과제 중 일부를 해결할 것이다.
A unifying framework integrating EPAs, core competencies, and specialty milestones will address some of the challenges of trainee assessment and appropriate supervision.

EPA는 교수진이 임상 감독 맥락에서 관찰할 수 있는 사항에 초점을 맞추는 데 더 도움이 될 수 있으므로 의미 있는 평가를 제공할 수 있는 능력을 강화할 수 있다.
EPAs may prove more helpful in focusing faculty on what they are able to observe in the context of clinical oversight, thus enhancing their ability to provide meaningful assessments.

각 EPA에 정보를 제공하는 필수 역량에 EPA를 매핑하면 각 성능 수준에서 이정표의 행동 설명을 통합하기 위한 단계가 설정되므로, 예를 들어 초보 또는 고급 초급자가 프로페셔널 활동에 참여할 때 어떤 모습인지에 대한 공유 멘탈 모델을 만들 수 있다. 
Mapping EPAs to the essential competencies that inform each EPA sets the stage for integrating the behavioral descriptions of the milestones at each performance level, thus enabling the creation of a shared mental model of what a novice or advanced beginner, for example, looks like when engaged in the professional activity (Supplemental Digital Appendix 1, http://links.lww.com/ACADMED/A308).

예를 들어, 보충 디지털 부록 1에는 EPA "응급실, 응급실 또는 입원 환경에서 급성, 공통 진단을 받은 환자를 관리"하는 역량(왼쪽 열 왼쪽 열)과 그 진보적 이정표 34(이후 열은 왼쪽 초보 성과에서 가장 전문가 성과까지 읽힌다)가 수록된다. 

For example, Supplemental Digital Appendix 1 lists the competencies (left-hand column) and their progressive milestones34 (subsequent columns read from most novice performance on the left to most expert performance on the right) for the EPA “manage patients with acute, common diagnoses in ambulatory, emergency, or inpatient setting.” 

라벨이 평가자의 성과 수준 선택에 미치는 영향을 최소화하기 위해 column에는 발달 레벨만 부여된다. 매트릭스를 보면 이정표의 첫 번째 열을 읽으면 핵심 행동을 통합하고 합성할 수 있다("조기 학습자의 행동" 참조). 표의 맨 아래 행 바로 뒤에 나와 있습니다. 학습자가 직장에서 특정 EPA를 수행했을 때 이러한 행동에 참여하는 모습을 보여주는 단초가 된다.

To minimize the influence of a label on the assessor’s choice of performance level, the columns are just given a level of development. Looking at the matrix, if one reads down the first column of milestones, one can integrate and synthesize the salient behaviors (see “Behaviors of an early learner”) as illustrated just after the bottom row of the table. Immediately following these behaviors is a vignette of what a learner would look like engaged in those behaviors as he or she carried out the given EPA in the workplace. 

각 후속 column에 대해 동일한 연습을 수행하여 [가장 오른쪽 열을 읽어 내려오면 이 EPA를 수행하는 전문가의 행동을 synthesis and integration]할 수 있으며, 이를 사용해 [전문 학습자의 임상적 비네트]를 개발할 수 있다.
The same exercise can be done for each subsequent column, so that reading down the right- most column would allow synthesis and integration of the behaviors of an expert performing this EPA, which can then be used to develop a clinical vignette of the expert learner.

따라서 이러한 vignettes은 EPA를 수행하는 데 필요한 필수 역량과 각각의 이정표를 기반으로 구축되며, 각 개발 단계에서 학습자의 공통 정신 모델을 제공한다. 교수 개발을 위한 성과 평가 훈련 방법과 유사하게, 이 공유 정신 모델의 생성은 서로 다른 평가자, 심지어 전문가도 동일한 임상 상황에서 동일한 학습자를 관찰할 때 발생하는 원치 않는 판단의 가변성을 해결하는 데 도움이 될 수 있다.12,25 
Thus, these vignettes are built on the essential competencies and their respective milestones that are required to perform the EPA, and provide a common mental model of the learner at each stage of development. Creation of this shared mental model, similar to performance appraisal training methods for faculty development,35–37 may be helpful in addressing the unwanted variability in judgment that occurs when different raters, even experts, observe the same learner in the same clinical encounter.12,25 

학습자 평가에 vignettes를 사용하면 [세 가지 방법으로 평가 신뢰도를 높일 수 있습니다].

• 학습자 성과를 평가할 때 [서술적 설명을 상기하는 자연스러운 경향]에 따라 평가 도구의 형식을 정렬
• 서술적 설명에서 [수치값으로 변환하는 데 필요한 인지 부하 감소]
• 설명을 [숫자 값으로 변환하여 발생할 수 있는 오류 제거]

The use of vignettes in learner assessment may actually add to assessment reliability in three ways. It may assist in

• aligning the format of assessment tools with the natural tendency to recall narrative descriptions when rating learner performance,17
• reducing the cognitive load that is required to convert from the narrative descriptions to numerical values,38 and
• eliminating the errors that may result from translating descriptions to numerical values.14

 

Regehr 등의 연구는 교수진이 [개별 역량에 기초하여 학습자를 평가]할 때보다, [역량을 통합한 표준화된 서술적 비네트에 연습생 성과를 일치시킬 때] 수행 수준을 더 잘 구별할 수 있음을 보여주었다. 역량과 수준별 이정표가 Vignet에 포함된 것처럼, 특정 성능 레벨에 대해 미리 결정된 표준이 시리즈의 각 Vignett에 포함되었습니다.40

Work by Regehr et al39,40 has demonstrated that faculty were better able to distinguish between levels of performance when matching trainee performance to standardized narrative vignettes that integrated competencies than when assessing learners on the basis of individual competencies. Predetermined standards for a given performance level were embedded within each vignette in the series, just as the competencies and their level-specific milestones are embedded in our vignettes.40


EPA를 역량과 연계하여 관리 품질을 개선하는 데는 두 가지 잠재적 이점이 있다. 첫째, [전문적인 활동을 수행하는 훈련생의 능력에 대한 평가]와 [활동을 안전하고 효과적으로 수행하는 데 필요한 감독 수준] 사이에는 직접적인 관계가 있습니다.32 훈련생에 대한 더 나은 평가 결정은 관리 품질을 보장하기 위해 적절한 감독자에게 더 나은 정보를 제공할 수 있습니다. EPA를 [위임 의사결정에 중요한 역량과 이정표]에 현명하게 매핑하면, [EPA를 수행하기 위해 통합되어야 하는 학습자 행동]을 보다 세분화된 시각으로 볼 수 있는 줌 렌즈를 제공한다. [교육생들의 현재 행동]을 [발달 이정표 내에서 표현되는 바람직한 행동]과 대조하는 것은 supervision practice에 보다 구체적으로 도움이 될 수 있습니다.
There are two potential benefits of linking EPAs to competencies and their milestones to improve care quality. First, there is a direct relationship between assessment of a trainee’s ability to perform a professional activity and the requisite level of supervision needed to ensure that the activity is safely and effectively carried out.32 Better assessment decisions of the trainee can better inform appropriate supervision to ensure care quality. Judiciously mapping EPAs to the competencies and milestones that are critical to entrustment decisions provides a zoom lens that allows a more granular view of learner behaviors that must be integrated to perform the EPA. Contrasting a trainee’s current behaviors with the desired behaviors represented within the developmental milestone narratives can more specifically inform supervision practices. 

EPA를 역량 및 그 이정표에 연계함으로써 얻을 수 있는 두 번째 이점은 피드백의 기질 역할을 하는 학습 로드맵을 제공한다는 것이다. 이는 향후 치료 상황에서 환자 진료 품질을 개선할 수 있다. 일부 학습자가 동료보다 [더 세밀하게 감독을 받아야 하거나], 다른 동료는 가능한데 특정 학습자는 [불가능하다는 사실]을 아는 것만으로는 충분하지 않습니다. 감독관은 그 이유를 알고 있어야 합니다.

The second benefit of linking EPAs to competencies and their milestones is that it provides a learning road map that serves as the substrate for feedback, which can improve patient care quality in future care encounters. It is not enough to know that some learners need to be more closely supervised than their peers or that they cannot be entrusted when their peers can—supervisors must know why.


마일스톤은 [글로벌한 인상]을 [구체적인 건설적인 실행 가능한 피드백]으로 세분화함으로써 어려움에 처한 감독관들에게 어휘를 제공할 수 있다. 이정표는 학습자와 관리자가 예상 학습자 발달에 대해 공유된 이해를 제공할 수 있습니다. 이는 최근 Crossley41이 "만약 피드백 제공자와 피드백 수령자가 성과와 진행에 대해 논의하는 공통 언어 또는 지도를 가지고 있지 않으면 [피드백 전달에 있어] 신뢰성이 붕괴된다"고 강조했듯이 중요하다. 위탁 결정이 2진수(예, 아니요)이긴 하지만 위탁으로 이어지는 관리 수준을 기술하는 것이 교육생들의 작업장 평가를 위한 중요한 프레임워크로 제안되었습니다.32

The milestones can provide a vocabulary for supervisors challenged by breaking down global impressions into specific constructive actionable feedback. Milestones can provide learners and supervisors with a shared understanding of expected learner development. This is important, as Crossley41 recently highlighted that “credibility [in feedback delivery] is disrupted if the provider and recipient have no common language or map for discussing performance and progression.” Although the entrustment decision is a binary one (yes–no), describing levels of supervision leading up to entrustment has been proposed as a valuable framework for workplace assessment of trainees.32 

요약 Summary

이러한 통합 프레임워크는 [교육생 성과 평가] 및 [적절한 감독]의 복잡성 뿐 아니라, 치료 품질에 영향을 미치는 [이 둘의 상호 의존성]을 다루기 시작하는 출발점을 제공한다. 위임으로 이어질 수 있는 감독 수준이 제안되었으며, 다음 과제 중 하나는 필요한 감독 수준에 대한 암묵적이고 상황적인 결정에서 EPA, 역량 및 이정표를 기반으로 한 보다 명확하고 신중한 모델로 이동하는 것이다.

this unifying framework gives us a starting point from which to begin to address the complexities of trainee performance assessment and appropriate supervision as well as their interdependence in impacting care quality. Levels of supervision leading up to entrustment have been proposed, and one of the next challenges will be moving from implicit and circumstantial decisions about needed level of supervision to a more explicit and deliberate model based on EPAs, competencies, and milestones.

 

---

Acad Med. 2016 Feb;91(2):199-203.

 doi: 10.1097/ACM.0000000000000985.

Driving Care Quality: Aligning Trainee Assessment and Supervision Through Practical Application of Entrustable Professional Activities, Competencies, and Milestones

Carol Carraccio 1, Robert Englander, Eric S Holmboe, Jennifer R Kogan

Affiliations collapse

Affiliation

• 1C. Carraccio is vice president, Competency-Based Assessment, American Board of Pediatrics, Chapel Hill, North Carolina. R. Englander was senior director, Competency-Based Learning and Assessment, Association of American Medical Colleges, Washington, DC, at the time this article was written. E.S. Holmboe is senior vice president, Milestone Development and Evaluation, Accreditation Council for Graduate Medical Education, Chicago, Illinois. J.R. Kogan is associate professor of medicine, Department of Medicine, Perelman School of Medicine, University of Pennsylvania, Philadelphia, Pennsylvania.

• PMID: 26509601
• DOI: 10.1097/ACM.0000000000000985Abstract
• To address the long-standing challenge of meaningful trainee assessment, the authors reviewed and expanded on the Accountable Assessment for Quality Care and Supervision (AAQCS) equation. The equation proposes that care quality is the product of the interaction between trainee performance (measured by workplace assessment) and supervision (required level of intervention to ensure care quality) in the context of the environment where the care occurs: Trainee performance × Appropriate supervision = Safe, effective patient-centered care. Assessing trainee performance and matching that performance to "appropriate" supervision, however, is fraught with challenges. The authors suggest a unifying framework that integrates entrustable professional activities (EPAs), competencies, and milestones to inform trainee assessment and supervision, thereby enabling the practical application of the AAQCS equation in the workplace. Because the unit of measure for an EPA is the outcome of whether the trainee can safely and effectively perform the professional activity without supervision, the proposed unifying framework directly aligns with the dependent variable in the AAQCS equation: care quality.The value of applying a unifying framework that integrates EPAs, competencies, and milestones to the AAQCS equation in the clinical learning environment lies in its ability to provide supervisors with a shared mental model of performance expectations for trainees, reducing unwanted variability and improving assessment accuracy; guidance for aligning performance milestones of trainees with the needed level of supervisor intervention to ensure care quality; and substrate for specific feedback to improve the trainee's professional development as a way to ensure future care quality.