위임 결정: 교육과정 개발과 평가의 함의(Med Teach, 2020)

위임 결정: 교육과정 개발과 평가의 함의(Med Teach, 2020)

Entrustment decisions: Implications for curriculum development and assessment

Ara Tekiana , Olle Ten Cateb , Eric Holmboec , Trudie Robertsd and John Norcinie

도입

Introduction

2005년 도입 이후 의대생과 대학원생들의 교육·평가에 위임 가능한 전문 활동(EPA)이 주요 초점이 되고 있다. 개인의 능력을 지칭하는 역량과 대조적으로 EPA는 전문적인 작업의 단위일 뿐이며 누가 그러한 일을 하는가와 무관하다. 교육 병원의 교수진은 실행해야 할 실천 단위를 염두에 두고 특정 학습자가 해당 임상 과제를 수행할 책임을 받을 준비가 되어 있는지, 그리고 필요한 적절한 수준의 감독이 필요한지 판단해야 한다. (10 Cate 2005).

Since their introduction in 2005, entrustable professional activities (EPAs) have become a major focus in the teaching and assessment of medical students and postgraduate trainees. In contrast to the competencies, which refer to the ability of individuals, EPAs are merely units of professional work, and independent of who does that work. With a unit of practice that is to be executed in mind, faculty in a teaching hospital must make judgments about whether a particular learner is ready to receive the responsibility to perform that clinical task, and what is the appropriate level of supervision required. (ten Cate 2005).

위임이란 무엇이며 왜 중요한가?

What is entrustment and why is it important?

1995년 경영학 문헌에 실린 논문에서 메이어는 신뢰의 유용한 정의를 제공하였다: '다른 당사자가 다른 당사자를 감시하거나 통제할 수 있는 능력과 관계없이, 다른 당사자가 신탁자에게 중요한 특정 행동을 할 것이라는 기대에 근거하여 다른 당사자의 행동에 취약할 수 있는 의지'

In a 1995 paper in the management literature Mayer provided a useful definition of trust: ‘The willingness of a party to be vulnerable to the actions of another party based on the expectation that the other will perform a particular action important to the trustor, irrespective of the ability to monitor or control that other party.’

사회에서, 우리가 의심의 여지가 없는 혹은 추정적인 신뢰를 통해, 신뢰의 개념을 당연하게 여기는 예는 수없이 많다. 신뢰trust는 경솔함이 아니라 사회참여에 필요한 조건이다.

In society, there are numerous instances where we take the concept of trust for granted, through unquestioned or presumptive trust. This is not thoughtlessness, but a necessary condition for participation in society.

'학습자'는, 아직 훈련 중이기 때문에, 추정적 신뢰가 직접 확립될 수 없다. 즉, 학습자에 대해 '추정적 신뢰'를 갖기 위한 전제조건이 있다. 2016년 10명의 케이트와 동료들은 세 단계의 신뢰를 구별했다. 

• 교육자가 처음 학습자를 만났을 때 빨리 발전할 수 있는 신뢰가 있다. 이것은 첫 인상을 바탕으로 한 '초기 신뢰'(Hauer 2015)이다. 

• 그러나 교육자의 역할은 이러한 첫인상을 여러 가지 다양한 관찰을 바탕으로 '근거 있는 신뢰'를 부여하면서 타인이 지지할 수 있는 견고한 이미지로 끌어올리는 것이다. 

• 근거 있는 신뢰는 '총괄적 위임 결정'이 필요한 감독을 감소시키는 동시에 더 높은 수준의 책임으로 행동할 수 있게 한다. 임상교육사가 학생과 레지던트에게 일상적으로 내리는 '즉석 위임 결정'과 달리, '총괄적 위임'은 임상진료 특권에 대한 인증의 성격을 띠고 있다.

For ‘learners,’ presumptive trust cannot be directly established, since they are still in training. As such, there are prerequisites to ‘presumptive trust’ for learners. Ten Cate and colleagues 2016, have distinguished three levels of trust. When an educator first meets a learner, there is trust that can quickly develop. This is ‘initial trust’ based on first impressions (Hauer 2015). However, the role of the educator is to elevate these first impressions into a robust image that can be supported by others, yielding a ‘grounded trust,’ based on multiple and varied observations. Grounded trust enables a ‘summative entrustment decision’ to act at a higher level of responsibility, with a concomitant decrease in required supervision. ‘Summative entrustment’ has the nature of certification for privileges in clinical care, as opposed to the ‘ad hoc entrustment decisions’ that clinical educators take on a daily basis with students and residents.

총괄적 위임은 교육팀 또는 임상역량위원회에서 충분한 정보를 바탕으로 심의가 필요했다 (10 Cate et al. 2015; Smit et al. 2019). 그러면 학생들은 다음 단계의 연수에 인도될 수 있다. 임상 교사들은 더 높은 수준에서 이 학습자에 대한 추정적 신뢰로부터 시작할 수 있다. 따라서 학습자에 대한 신뢰의 연속은 (1) 초기 신뢰로 시작하여 (2) 기초grounded 신뢰로 발전하고, 마지막으로 (3) 추정적 신뢰로 발전한다(10 Cate et al. 2016).

Summative entrustment required informed deliberation in an educational team or clinical competency committee (ten Cate et al. 2015; Smit et al. 2019). The student can then be delivered to the next phase of training here clinical teachers can start with presumptive trust in this learner at a higher level. Therefore, the continuum of trust for learners begins with (1) initial trust, develops into (2) grounded trust, and finally (3) presumptive trust (ten Cate et al. 2016).

1일차 레지던트는 MD학위 소지자에게 기대될 수 있는 전문적인 활동을 수행할 수 있도록 신뢰해야 하지만, 보다 복잡한 차원에서 활동을 위탁받을 수 있도록 평가를 받아야 한다.

A resident on day one should be trusted to perform any professional activity that may be expected of those with an MD degree, but need to be evaluated to be entrusted with activities on a more complex level.

그렇다면 어떤 요소가 신뢰의 세 단계 사이의 전환에 기여하는가? 연습자 요인, 감독 요인, 인식된 유익성 및 인식된 위해성이 있다.

So what factors contribute to transitions between the three levels of trust? There are trainee factors, supervisor factors, perceived benefits, and perceived risks.

신뢰를 가능하게 하는 연습생 요소로는 직무에 관한 학습자의 특정한 능력, 성실성의 일반적인 징후(진실성과 자비심), 신뢰성(양심성과 안정적 행동), 겸손(자신의 한계를 지키고 필요할 때 도움을 요청하며 피드백에 개방됨)과 능동성(일, 팀, 자신에 대한 적극적 태도).

Among trainee factors that enable trust are the learner’s specific ability regarding a task, general signs of integrity (truthfulness and benevolence), reliability (conscientiousness and stable behavior), and humility (observing own limits and asking for assistance when needed; being open to feedback) (Chen and ten Cate 2018), and agency (proactive attitude toward work, team and self).

감독자 요인 중 신뢰성향은 사람마다 다르다. 즉, 일부 감독자는 쉽게 신뢰하는 반면 다른 감독자는 더 많은 증거를 요구할 수 있다.

Among supervisor factors, the propensity to trust varies among people; that is, some supervisors may trust easily while others may require more evidence.

감독관이 학습자가 학습을 통해 배우기를 원하는 경우 교육적 편익도 있다. 또한 맥락적 편익도 있다. 예를 들어, 바쁜 시간에 손이 필요하기 때문에 학습자를 신뢰해야 하는 상황이 발생하는 경우.

There are educational benefits, where a supervisor wants a learner to learn by doing; there are also contextual benefits, for example where the situation calls for trusting a learner just because hands are needed at hectic times;

물론 가장 중요한 것으로 위험성이 있다 - 치료 팀과 병원과 같은 환자와 환경뿐만 아니라 개인 학습자에게도 위험성이 있다.

there are of course most importantly, risks–risks for patients and environment such as the care team and the hospital but also individual learner.

임상 작업장에서의 그러한 결정은 임상 교육자가 특정 환자 및 특정 맥락에서 학습자가 한 순간에 의료에 참여하도록 하는 특별하고 상황에 따라 달라지는 즉각적 결정일 수 있다. 종합 위임결정은 교육 팀(북미 대학원 교육에서는 임상 역량 위원회라 불림)에서 여러 명의 프로그램 책임자 낼게 되며, EPA를 기반으로 하는 경우 위임 결정을 내린다.

Such decisions in the clinical workplace might be ad hoc, context-dependent daily decisions that clinicianeducators make for learners to participate in healthcare at one moment, with a specific patient, and in a particular context. Summative entrustment decisions are made in educational teams, in North American postgraduate training called Clinical Competency Committees where a program director with a team of specialists, come to an entrustment decision if the program is based on EPAs.

위임결정은 교육생의 특성, 감독자, 맥락의 함수이다. 

• 분명히, 연습생은 필요한 활동을 능숙하게 수행할 수 있어야 하지만, 다른 학습자 특성은 성실성, 신뢰성, 겸손, 주체성을 포함한 신뢰를 쌓는 데도 중요하다. 

• 감독 요인은 이러한 결정에도 영향을 미친다. 그들은 신뢰하는 성향에서 크게 다를 수 있다(Sterkenburg et al. 2010). 

• 마지막으로, 맥락은 이러한 결정에 중요하다. 구체적으로, 감독자와 학습자 모두에게 환자에 대한 위험이 최소인 혜택이 있는 경우가 있을 수 있다.

An entrustment decision is a function of the characteristics of the trainees, the supervisors and the context. Clearly, the trainee must be capable to skillfully perform the required activity but other learner characteristics are also important to building trust including integrity, reliability, humility and agency. Supervisor factors influence these decisions as well; they can differ vastly in their propensity to trust (Sterkenburg et al. 2010). Finally, the context matters to these decisions. Specifically, there may be instances where there is benefit for both the supervisor and the learner with minimal risk to patients.

평가에 대한 EPA의 의미는 무엇인가?

What are the implications of EPAs for assessment?

EPA는 '충분히 유능한 학습자에게 위탁할 수 있는 전문적인 연습 또는 과제의 단위'이다(10 Cate et al. 2015). 이 정의의 두 가지 측면은 평가에 영향을 미친다. 첫째는 전문적인 연습이나 과제의 단위에 초점을 맞춘다. 이러한 작업의 특성은 평가의 청사진, 채택된 시험 방법 및 점수 계산 방법에 영향을 미친다. 두 번째는 기준 설정 방식에 영향을 미친다.

An EPA is a ‘unit of professional practice or task that can be entrusted to a sufficiently competent learner’ (ten Cate et al. 2015). Two aspects of this definition have implications for assessment. The first is a focus on units of professional practice or tasks. The nature of these tasks influences an assessment’s blueprint, the test methods employed, and how scores are calculated. The second is a focus on decisions of entrustment, which have implications for the way standards are set.

프로페셔널 태스크

Professional tasks

각 EPA는 이력 수집 및 신체 검사 수행, 공통 진단 및 선별 검사 권고 및 해석, 임상 접촉에 따른 차등 진단 우선 순위 지정, 명령 및 처방전 입력 및 논의, 의사의 일반 절차 수행과 같은 통합 성과를 나타낸다. 이러한 수행능력에는 복수의 통합 역량이 필요하다.

Each EPA represents an integrated performance such as gathering a history and performing a physical examination, recommending and interpreting common diagnostic and screening tests, prioritizing a differential diagnosis following a clinical encounter, entering and discussing orders and prescriptions, and performing general procedures of physicians. These performances require multiple, integrated competencies.

개별 역량은 (효과적인 수행능력performance를 달성하기 위해 통합되어야 하기 때문에) EPA에는 필요하지만 충분하지 않은 조건이다.

These individual competencies are a necessary but not sufficient condition for an EPA since they need to be integrated to achieve an effective performance.

EPA를 목표로 한 평가는 블루프린트에 두 가지 차원을 둔다. 하나는 작업 또는 EPA에 대한 것이고, 다른 하나는 작업과 관련된 조건 또는 환자에 대한 것이다.

An assessment aimed at EPAs has two dimensions at the core of the blueprint. One describes the tasks or EPAs and the other describes the conditions or patients relevant to it.

역량이나 이정표와 같은 다른 차원을 추가할 수 있지만, 이 두 가지 차원이 EPA의 평가를 위한 핵심이다.

Other dimensions, such as competencies or milestones, can be added, but these two are core for the assessment of EPAs.

블루프린트가 표본추출을 위한 기초라는 점에 유의해야 한다.

It is important to note that a blueprint is a basis for sampling.

또한 EPA는 실천 활동을 구성하기 때문에 시험 방법과 자료에 영향을 미친다. 연습 활동은 몇 가지 역량에 기초하여 구축된 통합 성과를 의미한다.

EPAs also influence the test methods and materials since they constitute practice activities. A practice activity implies an integrated performance that is built on several competencies

따라서 평가 방법은 통합된 성과를 도출하는 시나리오 또는 비그넷을 제공할 필요가 있다. 직장에서의 평가가 그러한 시나리오의 풍부한 원천이지만, 사용될 수 있는 다양한 다른 방법들이 있다.

Consequently, the method of assessment needs to offer a scenario or vignette that elicits an integrated performance. While assessments in the workplace are a rich source of such scenarios, there are a variety of other methods that could be used.

EPA 평가는 채점에도 영향을 미친다. EPA 평가는 기본 역량에 의한 성과가 아니라 작업 단위에 대한 성과를 반영하는 방식으로 수행되어야 한다. 다르게 말하면, 측정의 초점은 EPA이지 역량이 아니다.

An assessment of EPAs also influences scoring—it must be carried out in a fashion that reflects performance on the units of work, not the performance by underlying competencies. Put differently, the focus of measurement is the EPA and not the competence.

EPA의 경우 작업별 또는 환자별로 점수를 개발한 다음 작업 단위 성능을 반영하는 전체 점수를 개발하기 위해 점수를 집계해야 한다. 평가의 초점은 EPA의 위임 개념이다. 학습자가 프로토콜의 모든 세부사항을 완료하지 않았거나 사전 지정되지 않은 행동을 추가적으로 했더라도, 포괄적인 평가 체크리스트 구성요소보다, '이것은 잘 수행되었고 향후 유사한 EPA로 학습자를 신뢰할 수 있다'는 전체적인 그림이 더 중요하다.

for EPAs, scores need to be developed for each task or each patient, and then they need to be aggregated to develop an overall score that reflects performance on units of work. The focus of the assessment is for EPAs the concept of entrustment. Even if a learner has not completed all details of a protocol, or has added non pre-specified actions, the holistic picture of ‘this was done well and the learner can be trusted with similar EPAs in the future’ is more important than the comprehensiveness of the components of an assessment checklist.

위임

Entrustment

특정 목적을 위해 수행이 충분한지 여부에 대한 결정은 평가에 기초하여 정기적으로 이루어진다. 일반적으로 이는 표준제정자의 판단에 허용되는 환자 진료를 반영하는 성과로 표현된다. 표준 설정 판단의 초점은 환자의 상황에 따른다situated. 단, EPA의 경우, 학습자의 수행능력이 감독 없이 또는 간접 감독만으로도 할 수 있겠다는 신뢰감을 고취시키는지에 따라 결정된다. 이는 학습자에만 관심을 갖던 평가의 초점을 환자를 포함하도록 이동시킨다. (10 Cate 2017b)

Decisions about whether a performance is good enough for a particular purpose, based on an assessment, are made routinely. Usually, this is expressed as a performance that reflects acceptable patient care in the judgment of the standard-setters. The focus of the standard-setting judgment is situated in the patient. For EPAs, however, decisions are based on whether the performance inspires trust in the learner to work unsupervised or with indirect supervision. This effectively shifts the focus from learner alone to include the patient (ten Cate 2017b).

실무적인 문제로서, (EPA)는 질문을 연습생의 유능함에서 연습생의 신뢰가능성 여부를 바꾼다. 이는 연습생의 역량에서 신뢰할 수 있는 것에 대한 심판의 감각으로 초점을 옮긴다.

As a practical matter, it changes the question from whether the trainee is competent to whether the trainee is trustworthy. This shifts the focus from the competence of the trainee to the judges’ sense of what is trustworthy.

안고프의 방법에서 심사위원들은 이제 수험생들의 역량에 대해 판단을 내려야 한다. EPA의 판단은 보더라인 '신뢰성'의 맥락에서 이루어진다(10 Cate 등). 인쇄 중). 보더라인 리그레션의 경우, '명확한 패스', '통과', '경계선', '실패'가 아닌 '위탁할 준비가 되지 않음', '직접 감독 하에서는 신뢰할 수 있음', '간접 감독 하에서는 신뢰할 수 있음', '감독되지 않은 관행에 대해서는 신뢰할 수 있음'과 같은 앵커들이 규모에 포함될 수 있다.

in Angoff’s method the judges are now asked to make judgments about the competence of examinees. for EPAs judgments are made in the context of borderline ‘trustworthiness’ (ten Cate et al. In press). For the borderline regression method, the scale might include anchors such as ‘not ready for entrustment,’ ‘trustworthy under direct supervision,’ ‘trustworthy under indirect supervision,’ and ‘trustworthy for unsupervised practice’ rather than ‘clear pass,’‘pass,’ ‘borderline,’ and ‘fail.’

마지막으로, 위임 결정은 점수 설정과 표준 설정을 결합하기 때문에 관찰 설정setting이 약간 다르다. 퍼포먼스가 얼마나 좋았는지를 판단한 다음에, 실제 위탁 결정을 하기에 충분한지도 판단할 필요가 있다. 두 관찰자가 동의하지 않을 때는, [퍼포먼스가 얼마나 좋은지]에 대해 서로 다른 판단을 내리고 있거나, [신뢰할 수 있는 것]에 대한 자신의 인식의 차이를 보이고 있기 때문일 것이다.

Finally, observational settings are a little bit different because entrustment decisions combine both scoring and standard settings. It’s necessary to judge how good the performance was and then whether it’s good enough for an actual entrustment decision. When two observers disagree, it might be because they are making different judgments about how good the performance is, or differences in their own sense of what can be trusted.

학부 환경에서 EPA의 당면 과제는 무엇인가?

What are the challenges of EPAs in an undergraduate setting?

2014년 AAMC에 의해 미국 학부 차원에서 13개의 핵심 EPA가 도입된 이후, 이들 EPA의 구현, 모니터링 및 평가에 대해 상당한 논의가 있었다. 일반적으로 위임 개념은 세계적으로 상당히 매력적이지만, 주요 어려움은 이러한 핵심 EPA를 작업 단위로 식별하고 강력한 평가 시스템을 개발하는 데 있다(Taylor et al. 2017; Tekian 2017).

Since the introduction of the 13 Core EPAs by AAMC in 2014 at the undergraduate level in the US, there has been considerable discussion about the implementation, monitoring and evaluation of these EPAs. The entrustment concept in general has been quite appealing worldwide, however, the major difficulty lies in the identification of these Core EPAs as units of work and developing a robust assessment system (Taylor et al. 2017; Tekian 2017).

2017년에 AAMC는 13개의 문서를 발표하여 이러한 EPA를 평가하고 적절한 교수진 개발 활동을 수행하는 방법을 상세히 기술하였다(Obeso et al. 2017). 13개의 핵심 EPA를 탐구하기 위해, 11개의 의과대학이 현재 그들의 구현을 시범적으로 시행하고 있다.

In 2017, AAMC published 13 documents, elaborating how to assess each of these EPAs, and conduct appropriate faculty development activities (Obeso et al. 2017). To explore the 13 Core EPAs, 11 medical schools are currently piloting their implementation.

영국에서는 학부 차원에서의 위탁에 대한 이해와 이행은 미국의 맥락과 달랐다. 의과대학에서의 임상 노출은 예년보다 훨씬 이른 교육과정 시점에서 일어나고 있다. 예를 들어, 영국의 경우, 많은 전통적인 입학 학교에서 18세 전후의 학생들이 의미하는 첫 해에 임상 환경에 들어가는 것은 드문 일이 아니다. 병 때문에 겁을 먹거나 연약함을 느낄 수 있는 환자에게는 돌봄의 일정 부분을 그런 후배에게 맡기는 것이 불편할 수 있다. 따라서 학생들이 아직 의미 있는 환자 책임이 없는 환경에 있는데 EPA를 적용하는 것은 적절하지 않다.

In the UK, the understanding and implementation of entrustment at the undergraduate level has been different than the US context. Clinical exposure in medical schools is occurring at much earlier points in the curriculum than in previous years. In the UK for example, it is not uncommon for students to enter the clinical environment in their first year which in many traditional entry schools would mean when the student is around 18 years old. For a patient, who may feel frightened or vulnerable because of their illness, it can feel uncomfortable to have certain parts of their care entrusted to such a junior person. Consequently, it’s less appropriate to apply EPAs in a setting where students do not yet have meaningful patient responsibilities.

영국에서 의대생들에게 제공되는 clinical teaching이 의사뿐만 아니라 다양한 치료사와 간호사 등 다양한 유형의 전문가들에 의해 수행된다는 것은 눈에 띄는 위협이다. 이러한 상황에서, 종종 제기되는 질문은 [전문직간 팀이 어떻게 개별 의대생에게 특정 시기에 무엇을 기대해야 하는지를 알 수 있느냐]에 관한 것이다. 그들이 한 첫 번째 간단한 일은 학년마다 학생들에게 다른 색깔의 배지를 주는 것이었다. 이것은 어떤 임상의나 의료 전문가가 어떤 학생을 보자마자 그들이 어떤 연도에 훈련을 받았는지 알 수 있다는 것을 의미한다. 공유된 정신적 모델을 만드는 것을 목표로 하는 교수진 개발도 필요하다. 

In the UK, it is a noticeable threat that the clinical teaching provided for medical students is undertaken by different types of professionals–not only medical doctors but a wide range of therapists and nurses. As such, a question that often get raised is how an interprofessional team knows what to expect from an individual medical student, at a particular time in their development into a graduate doctor. The first simple thing they did was to give students in different years different colored badges. This means that any clinician or healthcare professional could tell as soon as they saw a student which year in their training they were in. Faculty development aimed at creating a shared mental model, 

'리즈 기대 가이드'(LEF 2018) 학년별 기대치가 명확해졌다.

‘Leeds Expectations Guide’ (LEAF 2018). Expectations by year of study have been clarified.

그래서 심지어 병동 사무원이나 간호사, 의료 보조원들도 이 때 이 학생에게 무엇을 기대해야 할지 알 수 있다.

So even the ward clerk, nurse, or health care assistance can see what to expect from this student at this time.

가이드 내에는 학생들이 매 학년마다 숙달할 것으로 기대되는 핵심 임상 기술이 수록되어 있으며, 해당 기술에 대한 역량 수준이 제시되어 있다.

Within the guide are core clinical skills that students are expected to master in each year of study, the level of competence for that skill is shown.

평가 및 피드백에 대한 리드의 기대치(LEEP): 지도(2018년)는 학생과 교직원 모두에게 인기가 매우 높은 것으로 나타났다.

The Leeds Expectations for Assessment and Feedback (LEAF): Guidance (2018) was found to be extremely popular with both students and staff.

대학원 환경에서 EPA의 당면 과제는 무엇인가?

What are the challenges of EPAs in the postgraduate setting?

CanMEDS를 사용하든 미국의 6가지 일반 역량을 사용하든 역량 기반 접근법을 구현하면서 인식된 초기 과제 중 하나는 이러한 역량 프레임워크의 해석과 이해가 프로그램마다 매우 다양하다는 것이었다. 게다가, 교수진들에 의한 특정 역량의 가르침과 평가는 불완전하거나 시대에 뒤떨어질 수 있다.

One of the early challenges recognized with implementing a competency-based approach, whether using CanMEDS or the United States’ six general competencies, was the interpretation and understanding of these competency frameworks varied widely among programs. Furthermore, the teaching and assessment of certain competencies by faculty can be incomplete or out of date.

우리는 또한 시스템이 잘 작동하기 위해서는 [시스템이 무엇을 생산해야 하고, 시스템이 어떻게 효과적으로 기능해야 하는지]에 대한 공유된 정신적 모델을 사람들이 가져야 한다는 것을 시스템 과학으로부터 배웠다(Cabrera and Cabrera 2015).

We have also learned from systems science that in order for systems to work well people have to possess a shared mental model of what the system should produce and how it functions effectively (Cabrera and Cabrera 2015).

이제 역량 또는 EPA에 대해 생각해 보자. 현재 사용 중인 역량과 EPA의 공유된 정신적 모델을 가지고 있는가?

Thinking now about a competency or EPA, do we have shared mental models of the competencies and EPAs currently in use?

미국 내과계의 '다중 진료 설정에 걸친 만성 질환 환자의 관리' EPA 사례를 참고하십시오. 중요한 질문은 '만성질환을 관리하기 위한 나의 정신적 모델은 무엇인가?'가 되어야 한다. 모든 내과 교수진은 고품질 만성 질환 관리를 수행하고 실행하는 데 필요한 모든 능력(즉, 역량)을 포함하는 이 EPA에 대한 강력한 정신 모델을 가지고 있는가?

Consider the EPA example of ‘manage care of patients with chronic diseases across multiple care settings’ from the internal medicine community in the U.S. The important question should be, ‘what’s my mental model for managing chronic disease?’ Do all internal medicine faculty have a robust mental model for this EPA that includes all the necessary abilities (i.e. competencies) to perform and execute high quality chronic disease care?

이 사례는 EPA의 목적과 설명에 대한 specification이 필요하다는 점을 강조한다(Taylor et al. 2017). 그렇지 않으면, 강력한 최신 규격이 없으면 혼란과 오해, 그리고 공유된 정신 모델의 결여로 이어질 것이다.

This example stresses the need for clear specification in the purpose and description of EPAs (Taylor et al. 2017). Otherwise, the absence of a robust, up-to-date specification will lead to confusion, misinterpretation and lack of a shared mental model.

고려해야 할 또 다른 문제는 효과적인 치료를 위한 임상 치료 제공 모델과 증거가 점점 더 빠른 속도로 변화하고 있다는 것이다. 만성질환 관리가 좋은 예다.

Another issue to consider is that clinical care delivery models and evidence for effective care are changing at an ever accelerating pace. Chronic disease management is a good example.

1990년대 미국 퍼시픽 노스웨스트 출신의 푸젯사운드의 그룹건강협동조합은 만성질환에 대한 효과적인 치료를 제공하기 위한 새로운 모델을 개발하였다(Wagner et al. 1996). 이 모델은 준비된 사전 예방적 실천 팀과 협업하면서 환자가 자신의 치료 관리에 대한 정보를 얻고 적극적으로 임하는 것이 중요하다는 점을 강조했다. 그들은 팀과 함께 일하는 환자의 중요성과 각 팀 구성원이 자신의 역할을 명확하게 이해할 필요가 있다는 것을 인식했다. 이러한 만성 질환 관리 모델은 지난 20년 동안 두드러져 왔지만, 이러한 증거 기반 모델조차도 현재의 건강 관리 요구를 충족시키기 위해 (또 다시) 수정되고 있다. 현재의 핵심 이론은 공동 생산 모델이다(Batalden et al. 2016). 공동 생산의 원칙을 사용함으로써 의료 종사자들은 주요 간병인이 의료 전문가가 아니라 부모와 자식이라는 것을 더 잘 이해할 수 있었다.

In the 1990s, Group Health Cooperative of Puget Sound from the Pacific Northwest in the U.S. developed a new model for delivering effective care for chronic conditions (Wagner et al. 1996). The model highlighted the importance of patients being informed and active in their own care management while working collaboratively with a prepared, proactive practice team. They recognized the importance of patients working with teams and that each team member needed to have a clear understanding of their roles. This kind of model for chronic care has been prominent for the last twenty years, but even this evidence-based model is being modified to meet current health care needs. The key theory driving the current evolution is co-production (Batalden et al. 2016). Using principles of co-production helped health care professions better understand the primary caregivers are the parents and child, not the health care professionals.

요컨대 공동 제작은 고도로 효과적인 만성 관리를 제공하는 진화하는 정신적 모델의 한 예다.

In short, co-production is an example of an evolving mental model of providing highly effective chronic care.

역량 및 EPA 관점에서, '공동 생산'과 '전문직 간 관리'의 맥락 안에서 개별 의사가 효과적으로 수행하는데 필요한 활동은 무엇인가? 우리는 위임이라는 렌즈를 통해 통합된 활동을 바라보고 있으며, 그것을 평가하기를 원하지만, 활동을 구성하는 필수적인 요소를 이해하지 못한다면 EPA 또는 그 문제에 대한 역량을 효과적으로 평가하지 않을 것이고, 평가할 수 없을 것이다.

From a competency and EPA perspective, what are the activities that would be necessary for an individual physician to perform effectively within the context of coproduction and interprofessional care? We certainly want to look at integrated activities through the lens of entrustment and assess that, but if we don’t understand the essential components that make up the activity, we will not and cannot assess the EPA, or for that matter a competency, effectively.

만성 질환 관리와 같은 매우 정교한 활동인 경우, EPA로서 하나 또는 두 가지 역량 구성요소를 선택할 수 없고 적절히 정의할 수 없는 경우 이는 정말 어려운 일이 된다. EPA를 효과적인 학습 및/또는 평가 도구로 만들기 위해 많은 역량과 관련 지식, 기술 및 태도를 통합해야 한다.

This becomes really challenging when it’s a very sophisticated activity such as chronic disease care–one or two competency components cannot be chosen and appropriately defined as an EPA. It requires the integration of many competencies and their associated knowledge, skills and attitudes in order to make the EPA an effective learning and/or assessment tool.

세분화된 역량과 통합된 EPA의 특성 사이에는 항상 내재된 긴장이 존재할 것이다. 이것은 가치 있는 지속적인 지적 투쟁의 일부가 될 것이다. EPA가 의료 교육에서 구축될 때는 프로세스와 구성 요소에 대해 신중해야 하며, EPA에 너무 많은 양을 투입하는 동시에 핵심 요소를 잊지 않도록 주의해야 한다. EPA는 교육자가 과제의 강력한 정신적 모델을 구축하고 특히 평가와 커리큘럼 설계의 주요 목적에 부합하도록 도와야 한다.

There will always be an inherent tension between the granularity of the competencies and the integrated nature of the EPAs. This will be part of the worthwhile ongoing intellectual struggle. When EPAs are built in medical education, it is important to be thoughtful about the process and components, being careful not to put too much into an EPA while at the same time not forgetting key elements. An EPA should help educators build robust mental models of the task and be aligned with their primary purpose, especially assessment and curricular design.

두 번째로 고려해야 할 문제는 위임 판단에 대한 것이며, 교수들이 자신의 개인적 정신 모델에 따라 의료에 대한 접근방식이 다르기 때문이다. 

• 어떤 경우에는, 당신은 훈련생들의 위를 맴돌면서 아무것도 못하게 하는 '헬리콥터 교수진'(헬리콥터 부모에게)이 있을 수 있다. 일부 외과의들이 연습생에게 수술실에서 많은 시술을 하도록 내버려두지 않는 수술에서 이러한 현상이 나타나는 예가 있다. 그렇다면 어떻게 위임판단을 내릴 수 있을까(Sandhu et al. 2017) 

• 스펙트럼의 다른 쪽 끝에는 감독해야 하지만 감독하지 않는 주치의가 있다. 이런 주치의는 레지던트가 높은 수준의 자율성과 직접 감독 부족에 대한 준비가 되어 있지 않은 경우 환자를 위험에 빠뜨린다. (10 Cate 2018)

The second issue to consider involves entrustment judgements because faculty vary in their own approaches to care based on their own personal mental models. In one case, you may have ‘helicopter faculty’ (akin to a helicopter parent) who hover over the trainees and not allow them to do anything. There are examples of this phenomenon from surgery, where some surgeons do not let the trainee do much of a procedure in the operating room. How, then, will they be able make an entrustment judgement (Sandhu et al. 2017)? At the other end of the spectrum, there is the attending that should be in the room to supervise but is not–an attending that puts the patient at risk if the resident is not ready for this level of autonomy and lack of direct supervision (ten Cate 2018).

캐나다의 최근 연구는 교수 외과의사들 간의 원칙과 선호에 관한 문턱threshold의 개념을 탐구했다(Apramian et al. 2015). 

• 원칙은 수술에서 핵심으로 간주되고 이론적으로는 협상할 수 없다. 

• 선호는 단순히 레지던트가 교수진(즉, 거주자의 선호)과 다르게 업무를 수행할 수 있는 것으로서, 교수의 관점에서 선호는 문제가 되지 않고, 수용 가능하다. 선호는 의사마다 달랐는데, 이는 두 외과의사 간의 허용 가능한 차이를 나타내며, 학습자가 자신에게 가장 적합한 경로를 선택해야 했다.

A recent study in Canada explored the concept of threshold regarding principles and preference among faculty surgeons (Apramian et al. 2015). Principles are viewed as core in surgery and theoretically non-negotiable. Preferences simply refer to approaches where a resident may perform the task differently from the faculty (i.e. the resident’s preference) and from the faculty’s perspective these preferences are fine and acceptable. Preferences were seen as idiosyncratic, representing acceptable differences between two surgeons where the learner should choose the best path that works for them.

이것은 반드시 문제가 되는 것은 아니지만 측정의 관점에서 난제를 발생시킨다. 어떤 특정한 수술 기술의 경우, 교수진과 학습자 모두에게 [절차의 어떤 구성요소가 핵심 원리와 관련이 있는지] 또는 [어떤 구성요소가 진정으로 특이한 선호인지]를 아는 것이 중요하다. 불행히도, Apramian 연구는 11명의 출석 외과의사들 사이에서 핵심 원칙에 합의했지만, 그러한 원칙의 개인적인 적용에 대해서는 거의 합의되지 않았다는 것을 발견했다. 한 외과의에게 원칙인 것은 다른 외과의에 대한 선택적 선호일 수 있으며, 또한 선호로 간주되는 (중요하지 않은) 것에 대해 사람마다 큰 차이가 있었다(Apramian et al. 2015). 그들이 논문에서 언급했듯이, '외과의사가 학습자가 유능하다고 평가하는 정도는 외과의사 자신의 원칙과 선호의 문턱에 의해 형성될 수 있다.' 그렇다면 이 11명의 외과의사 중 위탁을 위한 정신적 모델은 무엇일까?

This is not necessarily a problem but does generates a challenge from a measurement perspective. For any particular surgical skill, it will be important for both the faculty and learner to know which components of a procedure relate to core principles and which components are truly idiosyncratic preferences. Unfortunately, the Apramian study found amongst 11 attending surgeons that while they agreed on core principles, there was little agreement on the personal application of those principles. What is a principle for one surgeon may be an optional preference for another surgeon–and there was wide variability about what was considered inconsequential preference (Apramian et al. 2015). As they noted in the paper, ‘The degree to which a surgeon assesses a learner to be competent may be shaped by the surgeon’s own threshold of principle and preference.’ What then, is the mental model for entrustment among these 11 surgeons?

내과에서 또 다른 연구는 교수들이 외래진료에서 레지던트 성과를 판단하기 위해 사용하는 기준틀이 다양하다는 점을 강조하였다. 44명의 교직원이 일련의 대본 비디오테이프와 라이브 대본 미팅을 보기 전에 8개의 스테이션 OSCE를 통과했다. 그 후 학습이 끝날 무렵 교수진들의 보고가 있을 때, 몇몇은 본질적으로 '솔직히 말하자면, 내가 이런 기술들을 어떻게 하고 있는지 잘 모르겠어. 나는 내 의료행위를 관찰받아본 적이 없다.'

Another study in internal medicine highlighted the different frames of reference used by faculty to judge resident performance in outpatient care. Forty-four faculty were put through an eight-station OSCE prior to watching a series of scripted video-tapes and live scripted encounters. During a subsequent debriefing of the faculty at the end of the study day, some essentially reflected along the lines of ‘I have to be honest with you, I’m not really sure in how I’m doing in some of these skills. I’ve never been observed doing this.’

예를 들어, 나쁜소식 전하기에서 대부분의 교수들은 나쁜 소식을 전할 수 있는 프레임워크를 모르고 있었다. 그러나, 그들이 비디오와 라이브 미팅을 판단하기 위해 사용한 주요 frame of reference(즉, 멘탈 모델)는 자기 자신(즉, '내가 이 기술을 어떻게 수행할 것인가')이었다. 교수진의 근본적인 정신적 모델과 역량은 방 안에 있는 코끼리다. 여러 연구에서 알 수 있듯이 '자신'이 참고의 틀이라면, 이는 역량과 위탁에 대한 판단에 분명히 영향을 미칠 것이다. 너무 자주 의사들은 '자기'가 유능하다는 가정으로 측정이 시작되기 때문에 이것은 훨씬 더 많은 주의를 요하는 사안이다. 현실은 이것이 항상 사실인 것은 아니며, 교직원이 효과적인 위탁 판단에 필요한 숙련도가 아닐 수도 있다는 것이다.

For example, there was a breaking bad news station and most of the faculty were unaware of a framework for breaking bad news. Yet, the primary frame of reference (i.e. mental model) they used to judge the videos and live encounters was self (i.e. ‘how I would perform this skill’). The underlying mental models and competence of the faculty is the elephant in the room. If ‘self’ is the frame of reference, as several studies show, this will clearly affect judgements about competencies and entrustment. This is an issue requiring much more attention because too often measurement starts with the assumption that ‘self’ is competent. The reality is this is not always true, and that faculty may not be at the level of proficiency needed for effective entrustment judgments.

요약

Summary

이 논문에서는 위임을 정의하고, 3단계 신뢰도를 기술했으며, 여기에 훈련생 및 감독자 요인과 인지된 유익성, 인지된 위해성이 영향을 미침을 설명했다.

It defines entrustment, describes the three levels of trust, and presents trainee and supervisor factors that influence it, perceived benefits, and perceived risks.

이 정의의 두 가지 측면은 평가에 영향을 미친다. 

(1) 평가의 블루프린트, 채택된 시험 방법 및 평가에 영향을 미치는 전문적 실무의 단위에 초점을 맞춘다. 

(2) 점수를 계산하는 방법 및 표준 설정 방법에 영향을 미치는 위탁 결정에 초점을 맞춘다.

Two aspects of this definition have implications for assessment, (1) a focus on units of professional practice which influences an assessment’s blueprint, the test methods employed, and (2) how scores are calculated and a focus on decisions of entrustment, which have implications for the way standards are set.

Obeso V, Brown D, Aiyer M, Barron B, Bull J, Carter T, Emery M, Gillespie C, Hormann M, Hyderi A, et al., eds. 2017. Toolkits for the 13 Core entrustable professional activities for entering residency. Washington (DC): Association of American Medical Colleges; https:// aamc.org/initiatives/coreepas/publicationsandpresentations.

ten Cate O. 2017a. Managing risks and benefits: key issues in entrustment decisions. Med Educ. 51(9):879–881.

ten Cate O. 2017b. Entrustment decisions: bringing the patient into the assessment equation. Acad Med. 92 (6):736–738.

ten Cate O, Hart D, Ankel F, Busari J, Englander R, Glasgow N, Holmboe E, Iobst W, Lovell E, Snell LS, et al. 2016. Entrustment decision making in clinical training. Acad Med. 91(2):191–198.

ten Cate O, Schwartz A, Chen HC. (In press). Assessing trainees and making entrustment decisions: on the nature and use of entrustment and supervision scales. Acad Med.

---

. 2020 Mar 15;1-7.

 doi: 10.1080/0142159X.2020.1733506. Online ahead of print.

Entrustment Decisions: Implications for Curriculum Development and Assessment

Ara Tekian 1, Olle Ten Cate 2, Eric Holmboe 3, Trudie Roberts 4, John Norcini 5

Affiliations 

Affiliations

• 1Department of Medical Education, College of Medicine, University of Illinois at Chicago, Chicago, IL, USA.
• 2Center for Research and Development of Education, University Medical Center Utrecht, Utrecht, The Netherlands.
• 3Accreditation Council for Graduate Medical Education, Chicago, IL, USA.
• 4Leeds Institute of Medical Education, Leeds, UK.
• 5Foundation for Advancement of International Medical Education and Research, Philadelphia, PA, USA.

• PMID: 32174226
 
• DOI: 10.1080/0142159X.2020.1733506

Abstract

With increased interest in the use of entrustable professional activities (EPAs) in undergraduate and postgraduate medical education, comes questions about their implications for curriculum development and assessment. This paper addresses some of those questions, discussed at a symposium of the 2017 conference of AMEE, by presenting the components of an EPA, describing their importance and application, identifying their implications for assessment, and pinpointing some of challenges they pose in undergraduate and postgraduate settings. It defines entrustment, describes the three levels of trust, and presents trainee and supervisor factors that influence it as well as perceived benefits, and risks. Two aspects of EPAs have implications for assessment: units of professional practice and decisions based on entrustment, which impact an assessment's blueprint, test methods, scores, and standards. In an undergraduate setting EPAs have great appeal, but work is needed to identify and develop a robust assessment system for core EPAs. At the postgraduate level, there is tension between the granularity of the competencies and the integrated nature of the EPAs. Even though work remains, EPAs offer an important step in the evolution of competency-based education.

Keywords: Written; medicine; outcome-based; postgraduate; undergraduate.