위임 결정: 환자를 평가 공식으로 가져오기 (Acad Med, 2017)

위임 결정: 환자를 평가 공식으로 가져오기 (Acad Med, 2017)
Entrustment Decisions: Bringing the Patient Into the Assessment Equation
Olle ten Cate, PhD

 

 

EPA는 임상 작업장의 교육 및 평가를 위한 구조를 제공하며, 초기에 졸업후 의학 교육(GME)을 위해 고안되었다. 학습자가 이러한 과제를 무감독적으로 수행하는 데 필요한 역량을 보유하고 있음을 증명한 후에는 학습자에게 맡길 수 있는 잘 정의된 과제입니다. GME와 UME의 위탁 원칙은 본질적으로 다르지 않다.
EPAs provide a structure for teaching and assessment in the clinical workplace and were initially conceived for graduate medical education (GME). They are well-defined tasks that may be entrusted to learners once the learners have demonstrated that they possess the required competencies to perform these tasks unsupervised. the principles of entrustment in GME and UME are not essentially different. 

전통적인 교육 관점에서 평가는 학습자가 시험을 통하여 정해진 기준을 충족했는지를 입증하여 그 여부를 판단합니다. (평가는) 학습자와 학교 또는 교육자의 두 당사자 사이의 대화입니다. [학습자]는 자신의 지식, 기술 및 행동을 [표준을 제시하는 사람]이 만족할 수 있도록 시연하는 것을 목표로 합니다. 이러한 평가가 측정 목표를 측정할 수 있도록 유효해야 합니다.
Assessment, from the traditional perspective of education, determines whether a learner meets set standards, as demonstrated during an examination. It is a dialogue between two parties—the learner and the school or the educator. The learner aims to demonstrate her or his knowledge, skills, and behaviors to the satisfaction of those who set the standards. To ensure such assessments are measuring what they aim to be measuring, they should be valid

교육 과학과 심리학 분야에서 교육 평가의 타당도는 더 이상 시험의 고정된 속성이 아니라 [목적에 따라 달라지는 속성]으로 간주된다.
즉, 타당도란 학습자가 받는 점수의 결과라고 할 수 있다.
In the world of educational science and psychology, the validity of an educational assessment is no longer viewed as a fixed property of the test but as a property of its purpose—that is, the consequences of the score the learner receives 

EPA를 포함하는 작업장 기반 커리큘럼에는 다른 차원이 추가된다. 문제는 학습자가 [잘 수행했는지 여부]뿐만 아니라, [관리감독의 수준을 낮출 준비가 되어 있는지 여부]입니다. 이 새로운 차원은 [평가 문제]이자 [환자 안전 문제]입니다. 학습자를 환자와 단둘이 둘 준비가 되었습니까? 그러면 환자는 타당성 논의의 일부가 됩니다. 작업장 기반 평가는 관대성 오류 또는 실패라는 선입견으로 비판을 받아왔다.7 환자를 평가 방정식에 포함함으로써, 이제 교육자는 [환자를 교육할 뿐만 아니라 환자를 돌볼 책임이 있기 때문에] 이러한 편견에 대응하는 데 도움이 될 수 있다.8 만약 평가가 환자 안전에 미치는 영향을 고려한 위임 결정으로 구성된 경우, 의료전문가는 학습자에게 (의료행위를) 맡기기 전에 두 번 생각하고 잠재적으로 환자에 대한 위험을 고려하게 된다.
  
In workplace-based curricula that incorporate EPAs, another dimension is added. The question is not only whether the learner performed well but also whether the learner is ready for a decrease in the level of supervision. This new dimension is both an assessment issue and a patient safety issue. Is the learner ready to be left alone with the patient? The patient then becomes part of the validity argument. Workplace-based assessments have been criticized for leniency bias, also called generosity error or failure-to-fail.7 Bringing the patient into the assessment equation may serve to counter this bias, because of the now dual responsibility of educators to train learners as well as to care for patients.8 Clinicians may think twice before entrusting a learner and potentially putting their patients at risk if the assessment is framed as an entrustment decision with patient safety implications. 

위탁 결정은 임상 환경에서 매일 발생한다. 대부분은 상황에 따라 특별하고 임시적이다. 이러한 임시적 결정은 결코 학습자가 [졸업 전에 감독 없이 의료행위를 할 수 있도록 허가하는 총괄적 결정의 성격]을 가지지 않는다. 지금까지 학습자가 전문의가 될 때 진정한 의미의 총괄적 위임 결정이 내려졌고, 이 시점에는 모든 실습 구성 요소를 한 번에 수행할 수 있도록 위임되었다. 역량 기반 의학 교육은 학습자가 미리 정해진 시점이 아니라 언제든 준비가 될 때 이 시점에 도달해야 한다고 제안한다.9 그러나 전문의 자격증은 이러한 (시간에 따른) 유연성을 쉽게 허용하지 않습니다.

Entrustment decisions happen every day in clinical settings. Most are situation- specific and ad hoc. These decisions never have the summative nature of the decision to license a learner to practice unsupervised before graduation. Until now, the only true summative entrustment decision is made when learners register for a specialty; at that point, they are entrusted to perform every component of practice at once. Competency-based medical education suggests that learners should reach this point whenever they are ready for it, rather than at a preset moment in time.9 But a license to practice a specialty does not easily allow for this suggested flexibility. 

단, EPA는 교육자가 [모든 실천요소]에 대한 위임 결정을 한 번에 내리는 것이 아니라, 합리적으로 관찰 및 평가할 수 있는 [개별 단위 실천individual units of practice]에 대한 의사결정을 할 수 있도록 한다. 따라서 EPA는 역량 기반 의학교육을 보다 시간 가변적으로 만들 수 있도록 한다. EPA에 관한 위임 결정은 아직 법적 구속력이 없지만, EPA 기반 모델의 본질은 학습자가 자신의 전문성을 실천할 수 있는 완전한 허가를 받기 전에, [실천단위]에 대한 책임을 지도록 요구한다. 또한 이 모델은 [허가받는 순간에 모든 감독을 갑자기 없애는 것]이 아니라, 학습자가 [감독되지 않은 연습에 대해 더 점진적이고 안전하게 준비할 수 있도록] 합니다. 학습자가 환자 관리의 전체 범위를 책임지기 전에 별도의 EPA를 책임질 수 있도록 하려면 교육자가 가능하면 EPA에 대한 감독을 제공해야 하며, 학습자를 책임 있는 위치에 두는 환경을 조성해야 한다.
EPAs, however, allow educators to make entrustment decisions not for every component of practice at once but for individual units of practice that can be reasonably observed and evaluated. EPAs thus enable competency-based medical education to be more time-variable. While entrustment decisions regarding EPAs are not yet legally binding, the essence of an EPA-based model requires learners to assume responsibility for units of practice before they are fully licensed to practice their specialty. This model also prepares learners more gradually and safely for unsupervised practice than a sudden abolishment of all supervision at the moment of licensing. Enabling learners to be responsible for separate EPAs before they are responsible for the full breadth of patient care requires educators to provide supervision at a distance for those EPAs whenever possible and to create an environment that places learners in a responsible position. 

최종적인 위임 결정에는 세심한 타당도 검사가 필요하다. 이는 매우 중요한 결정이기 때문입니다.

• 관찰이 의도된 대로 EPA와 실제로 관련되는가(내용 타당도)?
• 평가 양식이 진정으로 학습자가 요구하는 관리자의 타당한 평가를 캡처할 수 있으며, 의료전문가가 이를 이해하고 잘 사용하고 있는가(응답 프로세스 타당도)?
• (짧은 샘플링된 관찰, 사례 기반 토론, 종단적 관찰 및 기타 출처와 같은) 정보 출처의 수와 다양성이 의사결정에 대한 지지에 부합합니까 (내부 구조 타당도)?
• 다른 의료팀 구성원도 이 의사결정을 일반적으로 지지할 것인가? (다른 변수와의 관계 타당도)
• 마지막으로, 학습자에게 더 많은 자율성을 부여하기로 결정했을 때 어떤 결과가 초래될까요(결과 타당도)?

Summative entrustment decisions, require careful validity testing, as they are high-stakes decisions.

• Do observations truly pertain to the EPA as it was meant (content validity)?
• Can the rating form truly capture a valid estimation of the supervision a learner requires, and do clinicians understand it and use it well (response process validity)?
• Do the number and diversity of sources of information—such as short, sampled observations; case-based discussions; longitudinal observations; and other sources—align in their support for the decision (internal structure validity)?
• Would the decision be generally supported by other health care team members (relationship to other variables validity)?
• And finally, what will be the consequences of the decision to grant the learner more autonomy (consequences validity)?  

EPA 개념은 GME를 위해 만들어졌다. 이제 문제는 UME로 변환될 수 있는지 여부이다. 이 질문에 답하려면 먼저 몇 가지 하위 질문을 해야 한다.

• 첫째, 의대생은 어느 정도 EPA와 단둘이 있을 수 있는가? 즉, 얼마나 많은 책임을 부여하고, 얼마나 많은 책임을 정당화하며, UME에서 위임 결정이 의도된 결과를 가져올 수 있는가?
• 둘째, 위임 결정의 유효성을 어떻게 주장할 수 있는가? 즉, 위임 결정을 내리는 데 무엇이 필요하며, 어떻게 이러한 결정이 근거가 될 수 있습니까?
• 마지막으로, UME에서 시간 가변성이 어떻게 실현될 수 있을까? 

The EPA concept was created for GME. The question now is whether it can be translated to UME. To answer this question, we must first ask several subquestions. 

• First, to what extent can medical students be left alone with EPAs? That is, how much responsibility can they be given, how much responsibility is justified, and can entrustment decisions in UME really have the intended consequences? 
• Second, how can the validity of entrustment decisions be argued? That is, what does it take to make entrustment decisions, and how can they be grounded? 
• And finally, how can time variability, if ever, be realized in UME? 

학습자가 전공의 과정에 들어가기 전에 숙달해야 하는 EPA(EPA)를 정의하는 것은 이번 호에서 로미스와 동료1이 잘 설명한 EPA 개념을 GME에서 UME로 변환하는 한 단계이다. 그러나, [위임 의사 결정의 도입]과 [시간 가변적인 위임 과정의 생성]은 상당히 다른 문제이다.
Defining the units of practice (EPAs) that learners must master before entering residency is one step in translating the EPA concept from GME to UME, which was well described by Lomis and colleagues1 in this issue. However, the implementation of entrustment decision making and the creation of a time- variable entrustment process are quite different issues.

저와 제 동료들은 의대생이 [EPA에 대한 간접 감독 수준]까지 교육을 받을 수 있다고 제안했습니다(즉, 물리적으로 감독자가 없는 상태에서 EPA의 집행은 가능하지만 감독관이 신속하게 도와줄 수 있어야 함).— 즉, 감독 등급의 3단계에 도달하는 것은 중요한 성과이다. 10 시스템이 학생들이 예상 및 예상치 못한 사건을 보고, 해석 및 관리하고 필요한 경우 도움을 조직할 수 있도록 신뢰해야 하기 때문이다.

My colleagues and I have suggested that medical students may be trained up to the level of indirect supervision for EPAs (i.e., the execution of an EPA without a supervisor physically present but with one quickly available)—that is, to level 3 of the supervision scale.10 Reaching this level is a significant achievement, as the system must trust students to report, interpret, and manage expected and unexpected happenings and to organize help if needed.


그런 다음, 이 수준의 포괄적인 위탁 결정에 도달하기 위해서는 "학습자와 임상 교수 교육자 모두 위임 경험에 참여하고 신뢰를 추구하기 위해 협력할 것"을 요구한다. 이 상호주의는 중요하다. 교육자가 자신의 한계를 파악하고 도움을 요청할 수 있는 경우에만 학습자를 신뢰한다면, 학습자가 주저하거나 굴욕 없이 도움을 제공할 수 있는 교육자를 신뢰할 수 있어야 합니다.
Arriving at a summative entrustment decision for this level then requires, that “both learners and clinical faculty educators engage in the entrustment experience, partnering in the pursuit of trust.” This reciprocity is important. If educators only trust learners if they can discern their limitations and ask for help,11 learners must be able to trust educators to provide that help without hesitation or humiliation.


Brown과 동료는 [위임 위원회]를 설립할 것을 제안했다. 이는 GME의 임상 역량 위원회에 상응하는 것이다. 타당한 총괄적 위임 결정은 [개별 교육자]가 하는 것이 아니라, 서로의 판단을 신뢰하고 그러한 결정에 정보를 제공하는 정보 소스를 감독하고 평가할 수 있는 [복수의 임상의사]가 하는 것이 타당하다. 최종위탁 결정은 일련의 임시위탁 결정으로 통지될 수도 있다.
Brown and colleagues2 in their article in this issue suggested establishing entrustment committees (comparable to the clinical competency committees in GME). Doing so makes sense, as valid summative entrustment decisions should not be made by individual educators but by multiple clinicians who trust each other’s judgments and who can oversee and weigh the information sources that inform such decisions. Summative entrustment decisions also may be informed by a series of ad hoc entrustment decisions.


의대생을 위한 일괄적인 위탁 결정은 중대한 결과를 초래해야 한다. 학생들은 자신이 의료 커뮤니티에 합법적으로 참여할 수 있는 신뢰를 받고 있음을, 즉 환자의 의료 서비스를 책임지고 있음을 깊이 느껴야 합니다. 이러한 상황에서는 환자가 직접 보이지 않는 관리자가 환자 안전을 실현할 수 있습니다.
A summative entrustment decision for a medical student should have serious consequences. Students must deeply feel that they are being trusted to legitimately participate in the health care community—that is, that they are responsible for the health care of patients. In these situations, patient safety can be realized by a supervisor who is present but not directly visible.


마지막으로, UME에서 시간 가변적 위탁 프로세스가 실현될 수 있는가? 나는 이 목표에 도달하는 것이 두 가지 접근방식을 통해 가능하다고 믿는다. 첫 번째 방법은 미리 정해진 졸업 순간을 포기하는 것입니다("당신이 Class of 2022라면, 졸업 예정일은 2022년 5월 13일 금요일 입니다). 두 번째는 [선택적elective EPA]를 만들고 학생들이 졸업하는 포트폴리오의 변화를 허용하는 것이다. 두 가지 접근 방식 모두 실무에서 얻은 예를 가지고 있다. 미국과 달리 네덜란드 같은 다른 나라에서는 의과대학이 정해진 순간에 시작하지만 각 학생의 진도에 따라 다른 순간에 끝난다. 그런 다음 전공의 과정이 시작되는 시점도 가변적이다. 
Finally, can a time-variable entrustment process be realized in UME? I believe that reaching this goal is possible through two approaches. The first is to abandon the preset moment of graduation (“If you are a member of the Class of 2022, your graduation date will be Friday, May 13, 2022”). The second is to create elective EPAs and allow for variation in the portfolios with which students graduate. Both approaches have examples from practice. Unlike in the United States, in other countries such as the Netherlands, medical school starts at a fixed moment but ends at a variable moment depending on each student’s progress. Residencies then also start at variable moments. 


고정된 졸업식에서 벗어나 Continuum Project의 소아과 교육은 EPA 및 역량 기반 UME-GME 연결을 원활하게 제공합니다. 마찬가지로, 최종 학년의 의대생을 위해 핵심 EPA와 더불어 3개의 선택 중환자 EPA 패키지를 제공하는 University Medical Center Utrecht의 첫 번째 프로그램이 최근에 확립되었다. 
Moving away from a fixed graduation, the Education in Pediatrics Across the Continuum Project (https://www.aamc. org/initiatives/epac) offers a smooth EPA- and competency-based UME–GME connection. Similarly, the first program at the University Medical Center Utrecht to offer a package of three elective critical care EPAs for final-year medical students, in addition to the core EPAs, was recently established.  

작업장에서의 평가는 환자진료를 제공하기 위해 위탁과 너무 오래 분리되었다. [환자를 교육 평가 방정식에 포함시키는 것]이야말로 교육적 책임을 의료적 책임과 밀접히 관련시키는 것이다.
Assessment in the workplace has too long been separated from entrustment to provide patient care. Bringing the patient into the educational assessment equation is marrying educational and health care responsibilities.

3 Favreau MA, Tewksbury L, Lupi C, et al. Constructing a shared mental model for faculty development for the Core Entrustable Professional Activities for Entering Residency. Acad Med. 2017;92:759–764.

 

 

---

Acad Med. 2017 Jun;92(6):736-738.

 doi: 10.1097/ACM.0000000000001623.

Entrustment Decisions: Bringing the Patient Into the Assessment Equation

Olle Ten Cate 1

Affiliations collapse

Affiliation

• 1Th.J.(Olle) ten Cate is professor of medical education and director, Center for Research and Development of Education, University Medical Center Utrecht, Utrecht, The Netherlands.

• PMID: 28328736
• DOI: 10.1097/ACM.0000000000001623Abstract
• With the increased interest in the use of entrustable professional activities (EPAs) in undergraduate medical education (UME) and graduate medical education (GME) come questions about the implications for assessment. Entrustment assessment combines the evaluation of learners' knowledge, skills, and behaviors with the evaluation of their readiness to be entrusted to perform critical patient care responsibilities. Patient safety, then, should be an explicit component of educational assessments. The validity of these assessments in the clinical workplace becomes the validity of the entrustment decisions.Modern definitions of the validity of educational assessments stress the importance of the purpose of the test and the consequences of the learner's score. Thus, if the learner is a trainee in a clinical workplace and entrusting her or him to perform an EPA is the focus of the assessment, the validity argument for that assessment should include a patient safety component.While the decision to allow a learner to practice unsupervised is typically geared toward GME, similar decisions are made in UME regarding learners' readiness to perform EPAs with indirect supervision (i.e., without a supervisor present in the room). Three articles in this issue address implementing EPAs in UME.The author of this Commentary discusses the possibility of implementing true entrustment decisions in UME. He argues that bringing the patient into the educational assessment equation is marrying educational and health care responsibilities. Building trust in learners from early on, gradually throughout the continuum of medical education, may reframe our vision on assessment in the workplace.