학부의학교육에서 Core EPA에 대한 비판(Acad Med, 2018)

학부의학교육에서 Core EPA에 대한 비판(Acad Med, 2018)

Critical Thoughts About the Core Entrustable Professional Activities in Undergraduate Medical Education

Edward Krupat, PhD

역량 기반 의료 교육(CBME)의 세계는 끊임없이 진화하고 있습니다. Accreditation Council for Color Medical Education가 정의했던 것처럼 최초 초점은 역량(의료전문가가 지식과 기술을 입증해야 하는 부문)에 초점을 맞춘 후, 이후에 milestone(역량에 이르는 path에 대한 마커) 제안되었다. ACGME의 6가지 핵심 역량이 의사의 직무, 행동 또는 책임을 구체적으로 명시하지 않았다는 점을 지적하며, 10개의 Cate는 GME에서 책임 있는 전문적 활동(EPA)의 개념을 제안하였다. EPA는 모든 레지던트가 교육을 마칠 때까지 독립적으로 수행할 수 있는 신뢰할 수 있는 핵심 업무 또는 책임을 말한다.

The world of competency-based medical education (CBME) is constantly evolving. Following the initial focus on competencies (domains in which health professionals are expected to demonstrate knowledge and skills), as defined by the Accreditation Council for Graduate Medical Education (ACGME),6–8 the concept of milestones9,10 (observable markers along the path to competence) was proposed. Concerned that the ACGME’s six core competencies did not specify concretely the tasks, actions, or responsibilities required of a physician, ten Cate proposed the concept of entrustable professional activities (EPAs) in the context of graduate medical education (GME).11,12 These EPAs represented a pragmatic list of activities—a core set of tasks or responsibilities that all residents could be trusted to do independently by the time they completed their training.

GME에서 EPA를 점점 더 수용하면서, 미국 의과대학협회(AAMC)는 "의과대학과 레지던트 사이의 전환점에서의 성과 격차"를 인정했고, AAMC는 존경 받는 교육자들로 구성된 위원회를 소집하여, 공통의 틀 안에서 GME와 UME를 만들겠다는 목표를 가지고, 졸업하는 모든 MD에 기대되는 활동들을 식별하였다.

With the growing acceptance of EPAs in GME, the Association of American Medical Colleges (AAMC) recognized a “performance gap at the transition point between medical school and residency.”13 AAMC convened a panel of respected educators to identify those activities that might be expected of all graduating MDs, with the goal of having GME and UME work within a common framework.

핵심 EPA를 piloting하고 testing하는 데 상당한 조직적 자원이 투입되었다.15 일부 교육자들은 EPA를 중요하며 패러다임 전환이라고 설명했지만, 점점 더 많은 수의 교육자들이 CBME와 특히 EPA에 대해 의구심을 나타냈다. 한 관찰자는 "더 많은 시간, 노력, 좌절, 그리고 자원이 투자되기 전에, 역량, 마일스톤, Core EPA로의 돌격"을 늦추기를 요구한다. "17 진단 추론의 오류의 맥락에서 Moulton과 동료 23,24는 "늦춰야 할 때엔 늦춰야 한다"고 이야기 했다.

Considerable organizational resources have gone into piloting and testing the Core EPAs.15 Some educators have described EPAs as important and paradigm shifting16; however, a growing number have expressed reservations about CBME in general and EPAs in particular.17–22 One set of observers asks us to slow “the headlong rush to competencies, milestones and COREEPAs … before even more time, effort, frustration and resources are invested.”17 In the context of errors in diagnostic reasoning, Moulton and colleagues23,24 have talked about “slowing down when you should.”

내용과 초점에 대한 우려

Concerns About Content and Focus

역량 영역(예: 의료 지식) 또는 개인과 관련된 특성(예: 전문성)에 초점을 맞추는 대신, 핵심 EPA는 13개의 ambulatory 및 병원 기반 "활동" 목록을 구성합니다(workplace-based 작업으로 표현되는 전문적 행동의 단위 설명). 모든 의대생은 이 목록을 졸업(그리고 결과적으로 인턴십 1일차)까지 성취할 수 있어야 한다.1,4

Rather than focusing on domains of competence (e.g., medical knowledge) or characteristics associated with individuals (e.g., professionalism), the Core EPAs constitute a list of 13 ambulatory and hospital-based “activities” (discrete units of professional behavior expressed as workplace-based tasks) that all medical students should be able to accomplish by their graduation (and, consequently, on Day 1 of internship).1,4 

Tekian18은 핵심 EPA를 여러 가지 측면에서 비판하면서 그 중 3가지(예: 전문가 간 팀에서의 협력)는 실제로는 별개의, single-encounter 기반의 의료 업무가 아니라고 지적했으며, 한편으로 어떤 것들은 교육목표이지 과제가 아니라고 지적했다(예: 임상 질문을 만들고 근거를 찾기).

Tekian18 has criticized the Core EPAs on several counts, noting that three of them (e.g., collaborating in an interprofessional team) are not actually discrete, single- encounter-based medical tasks, while others sound more like educational objectives than tasks (e.g., forming clinical questions and retrieving evidence).

게다가, 코어 EPA 중 어떤 것은 지나치게 광범위하고, 어떤 것은 매우 구체적이어서 uneven하게 보인다. 이러한 EPA를 결정하는 전문가 패널은 "lumper(모든 것을 하나의 카테고리로 넣고싶어 하는 사람)"와 "splitter(모든 것을 각각의 카테고리로 두고 싶어하는 사람)"으로 구성되어 있으며, 각 그룹이 자신의 방식으로 만든 것 같다.

In addition, the Core EPAs seem to me like an uneven lot, with some extremely broad and others very specific. I can imagine that the expert panel that decided on these EPAs was composed of “lumpers” (who preferred to group things into broad categories) and “splitters” (who preferred to generate finer categories), and that each group had its way on some things.

예를 들어 병력을 수집하고 신체 검사(EPA 1)를 수행하는 것은 일반적으로 학생-의사의 두 가지 핵심 작업으로 간주되지만, 이러한 두 가지 활동이 하나로 결합되었습니다. 한편, 임상 접촉의 서면 문서화(EPA 5)와 구두 발표(EPA 6)는 "임상 접촉 요약"이라는 단일 EPA로 묶일 수 있지만, 패널 구성원은 이를 두 가지 활동으로 구분하기로 결정했다.

For example, gathering a history and performing a physical exam (EPA 1) are typically thought of as two core tasks of the student–physician, yet these two activities were combined. On the other hand, written documentation (EPA 5) and oral presentation (EPA 6) of a clinical encounter could have been included as a single EPA, “summarizing a clinical encounter,” but the panel members chose to list these as two separate activities.

핵심 EPA는 발달 측면에서도 균일하지 않다. 일부는 의사가 되는 데 있어 가장 중요한 부분인 반면, 다른 것들은 꽤 advanced 수준인 것처럼 보인다.

the Core EPAs are also uneven from a developmental perspective. Some of them are part of the bread-and-butter of being a physician, whereas others appear to be quite advanced.

일부에서는 평가 양식에서 저학년 학생들에 대해서 특정 EPA를 생략하거나 "적용되지 않음" 범주를 포함해야 한다고 주장했다. 예를 들어, 핸드오버(EPA 8)에 대한 학습 및 응급 치료가 필요한 환자 인식(EPA 10)

Some argued that the assessment form should omit certain EPAs for students in their early years or include a “Does not apply” category. For instance, learning about handovers (EPA 8) and recognizing patients requiring urgent care (EPA 10)

숙련된 GME 교육자들은 제게 시스템 고장을 식별하는 것은 졸업하는 의대생에게 기대하지 못할 것임은 말할 것도 없고, 심지어 그들의 2년차 레지더트에게도 기대하기 쉽지 않다고말해왔습니다.

Experienced GME educators have told me that identifying system failures (EPA 13) seems aspirational for their second-year residents, let alone graduating medical students.

그러나 나는 핵심 EPA에 대해 훨씬 더 근본적인 우려를 갖고 있다. 이 접근법의 지지자들은 competencies vs EPA의 문제가 둘 중 하나either-or로 간주되어서는 안 된다는 점에 주목한다.

I have a far more fundamental concern about the Core EPAs, however. Advocates of this approach note that the issue of competencies versus EPAs should not be seen as something that is either–or.

이 말은 원칙적으로는 맞다. 그러나, 실제로는, 이것은 인간 인식의 가장 기본적이고 보편적인 원칙 하나를 무시한다: 바로 그림-배경 관계이다. 우리가 두 가지 "객체"를 볼 때, 그 중 한 가지(그림)가 우리의 관심을 끌고 집중한다. 다른 것(배경)은 먼 곳으로 후퇴하고 그것이 당연하게 여겨집니다; (배경)은 관심 대상이 아니라 맥락의 역할을 합니다.

In principle this is fine. In practice, however, this ignores one of the most basic and universally recognized principles of human perception: figure– ground relationships.25,26 When we are considering two “objects,” one (figure) engages our attention and is focused upon. The other (ground) recedes into the distance and is taken for granted; it serves as context, not as the object of interest.

Core EPA를 figure로 만들고, 반대로 [전문직업성, 환자와 의사 소통 능력, 인종/민족성, 성별 또는 성적 성향에 관계없이 양질의 환자 치료를 제공하는 능력] 등을 ground로 만드는 것이 정말 우리에게 좋은 것인가?

Is it to our advantage to make the Core EPAs figure, while relegating to ground professionalism, the ability to communicate with patients, and the ability to deliver quality patient care regardless of race/ethnicity, gender, or sexual orientation?

EPA 옹호자들은 "역량"에 대해 악의를 갖고 있지 않은 듯 하다. 설령 그렇다고 하더라도, "역량"은 그것이 우리 교육목표의 전면에 놓여지지 않는다면, 교육과정 map에서 2등시민으로 밀려날 것이다. 핵심 EPA를 채택하는 의과대학이 사명을 다시 쓰지는 않겠지만, 만약 형성평가와 총괄평가가 이 13개의 EPA에 초점을 맞춘다면, 교수와 학생 모두 거기에만 신경쓸 것이라는 예측이 절대 과장은 아니라고 생각한다. 그 상황에서 무엇이 figure가 되고 무엇이 ground가 될 것인지에 대해서는 일말의 의심의 여지도 없다.

EPA advocates seem to bear no ill will toward the competencies.1,6 Even so, competencies are likely to become second-class citizens in the curricular map if they are not at the forefront of our educational objectives and assessments. Medical schools that adopt the Core EPAs will not be rewriting their mission statements, but I do not think it is an exaggeration to say that if formative and summative assessments come to be focused on students’ ability to perform these 13 EPAs, this is what both faculty and students will care about most. I have little doubt as to which will become figure and which ground.

나는 또한 Core EPA에는 aspirational한 것이 전혀 없으며, 여기에는 [의학이 전문직업적 가치관를 핵심에 두는 소명]이라는 것을 암시하는 어떤 것도 없다는 것이 걱정된다. 이미 나 이전에 다른 사람들이 환원주의적, 구체적 직무 기반의 초점을 두는 것이 [상호연결성의 문제]와 [의사가 되는 더 넓은 의미]에 초점을 맞추지 않음으로써 젊은 의사의 정체성 형성에 영향을 미칠 것이라는 우려를 나타냈다. 

I am also concerned that there is nothing aspirational in the Core EPAs and nothing in their language that implies that medicine is a calling with a core set of professional values. Others before me28–30 have expressed concerns that a reductionist, concrete-task-based focus will affect the identity formation of young physicians by not focusing on issues of interconnectedness and the broader meaning of being a physician. 

한 걸음 더 나아가면, 핵심 EPA가 과연 환자와 사회에 어떠한 상징적인 메시지를 전달하는지 묻지 않을 수 없다. EPA 중심의 교육은 진료의 기술적 요건을 충족하는 방법을 알고, 병원을 효율적으로 운영하는데 필요한 작업을 수행하는 의사를 생성한다. 하지만 inspired professionals를 양성하기 위해서는, 우리는 교육 목적과 평가에서 우수한 doctoring의 한 부분으로서 (activities 뿐만 아니라) 더 넓은 가치와 방향을 보여줄 수 있는 방법을 찾아야 합니다.

Taking this one step further, I ask to what extent the Core EPAs also say something symbolically to patients and society. An EPA-focused education will produce physicians who know how to satisfy the technical requirements of care and to fulfill the tasks that enable a hospital to run efficiently. However, to produce inspired professionals, within our educational objectives and assessments we need to find a way to feature the broader values and orientations—as well as the activities—that are part of great doctoring.

또한 여러 근거들은 레지던트 프로그램 책임자들이 잠재적 전공의들에 대해 Core EPA에 대해 entrustable한지가 아니라, 그들의 개인적 자질(예: 다른 사람과 일하는 능력, 신뢰성 및 정직성)에 더 관심이 있다는 것을 보여준다.

The evidence indicates, however, that program directors are most interested in potential residents’ personal qualities (e.g., their ability to work with others, reliability, and honesty—elements of professionalism), rather than whether they are entrustable on this or that Core EPA.33,34

측정과 평가에 대한 우려

Concerns About Measurement and Assessment

제 관심의 두 번째 측면은 평가 과정 자체입니다.

The second dimension of my concerns involves the assessment process itself,

긍정적인 측면에서는 신뢰의 개념이 직관적으로 매력적이다. 대부분의 의사들은 그들의 훈련생을 얼마나 잘 믿을 수 있는지와 관련된 차원을 따라 생각하는 것에 익숙하고 편안하다.

On the positive side, the concept of trust is intuitively appealing. Most physicians are familiar and comfortable with thinking along a dimension that relates to how well they can trust their trainees,

그럼에도 불구하고, 나는 EPA 평가의 많은 측면이 사회과학의 측정 이론에 충분히 informed 되지 않았다고 믿는다.

Nonetheless, I believe that many aspects of EPA assessment are not sufficiently informed by measurement theory in the social sciences,

객관성에 대한 우리의 열망에도 불구하고, 우리가 사람들의 행동과 특성의 온도를 얻기 위한 온도계를 발명하기 전까지는, 우리는 주관적인 평가 과정을 가지게 된다. 이러한 점을 감안한다면, 우리의 주요 목표 중 하나는 우리가 상호 합의(즉, 신뢰성)를 증가시킬 수 있는 접근방식을 찾는 것이다. 그렇게 하기 위해서, 측정 이론에서 제시한 황금률은 Keep it simple이다: 행동을 보고 하나의 평가 척도에 따라 판단하고, 등급을 매긴다. 어떠한 비용을 들여서라도 최소화해야 하는 것은, [관찰]과 [판단] 사이에 이루어지는 추론의 layer이다.37

Despite our desire for objectivity, until we invent a thermometer to take the temperature of people’s behaviors and characteristics, we are left with a subjective process of assessment. Given this, one of our main goals is to find an approach by which we can increase interrater agreement (i.e., reliability). To do so, the golden rule in measurement theory is to keep it simple: See a behavior and judge it according to a single evaluative scale, thereby making a rating. What should be minimized at all costs is making judgments in which layers of inference are placed between the observation and the judgment.37

이 기준에 따라 entrustment가 어떤 layer에 따라 이뤄지는지 열거해 봅시다. 

To see how assessment via entrustment fares according to this criterion, let us enumerate the layers. 

먼저, 우리는 그 행동을 관찰하고 나서 그것이 효과적으로 수행되었는지 여부를 스스로 판단합니다. 여기서 멈춘다면, 합리적인 평가 시스템이 될 것입니다.

First, we observe the behavior, and then we determine for ourselves whether it has been performed competently—which, if stopped here, would be a reasonable rating system.

다음으로, 우리는 신뢰도를 고려하고, 스스로에게 "이 학생이 (유사한 문제를 가진 유사한 환자에 대해) 유사한 행동을 할 것을 얼마나 믿을 수 있는지"에 대해 자문하는 동시에, 그 때 얼마나 이 학생을 가까이에서 감독해야 하는지를 고려하면서, 이 모든 것들이 맥락특이성의 한계에도 불구하고 이뤄져야 한다는 것을 인정해야 한다.

Next, we consider trustworthiness and ask ourselves how much trust the student inspires in us to perform a similar behavior (on a similar patient with a similar problem), while simultaneously considering how closely this student would need to be supervised to do so, all the time acknowledging the limits of making generalizations because of context specificity.38,39

Layer가 늘어나면 늘어날수록, 신뢰도 판단은 결국 지식과 기술을 넘어 진실성, 양심, 한계치 파악과 같은 특징에 대한 평가까지 포함된다는 것을 암시한다.

Adding more layers, research suggests that entrustability judgments ultimately go beyond knowledge and skillfulness to include assessments of characteristics such as truthfulness, conscientiousness, and discernment of limitations.40,41

좋은 측정에 대한 또 다른 rule of thumb은 [모든 관련 당사자들이 주어진 척도의 endpoint 또는 앵커에 대해 정확하게 동일한 방식으로 의해 명확하게 인식, 정의, 이해되도록 하는 것]이다. 이것은 중요하지만 극도로 어렵다.

Another rule of thumb in good measurement is to ensure that the end points, or anchors,42,43 for any given scale are clearly recognized, defined, and understood by all relevant parties in exactly the same way. This is important yet extremely difficult.

GME에서는 레지던트가 [전혀 감독받지 않고도 업무를 수행하도록 위임될 수 있음]을 나타내는 문구로 척도의 한쪽 끝을 고정한다. [전혀 감독받지 않는 것]으로 절대적으로 표현된 이 anchor은 설득력이 있다. 이러한 anchor을 총괄평가용도로 사용하면 어떤 졸업생이 완전한 독립성을 발휘하여 감독 없이 EPA를 수행할 수 있음을 인증한다. 그러나 UME의 경우 positive end의 anchor는 학생이 [간접 감독 하에 주어진 EPA를 실천하도록 위임할 수 있음]을 나타낸다. 이 anchor은 토대가 훨씬 약하고, 훨씬 덜 잘 정의되어 있다. 간접감독은 얼마나 간접적인 것을 뜻하는가?

In GME, the entrustment scale is anchored on the positive end by wording indicating that the resident can be entrusted to perform a task completely unsupervised. This anchor, stated in absolute terms as the total absence of supervision, is compelling. Using such an anchor summatively, a program certifies that its graduates are entrusted to practice in complete independence, to perform the EPAs with no oversight or supervision. In UME, however, the anchor on the positive end indicates that the student can be entrusted to practice a given EPA under indirect supervision. This anchor is far less grounded; it is far less well defined. How indirect is indirect supervision?

어떤 사람들은 "학생이 실제적으로 다른 사람을 감독할 수 있는지 여부"를 가지고 positive end를 정의하자는 것과 같은 다른 anchor들을 제안하였다. 직관적으로는 좋아보일지 몰라도, 이는 좋은 측정의 핵심적 규칙을 위반하고 있다. 그것은 바로, 어떤 스케일은 하나의 차원에 대해서만 차이가 있어야 한다는 것이다one dimension at a time. EPA를 잘 수행할 수 있으면서, 동시에 다른 사람들을 감독하고 싶지 않은 학생은 어떻게 할 것인가? 우수한 측정 관행은 평가 기준의 교란을 방지하기 위해 척도를 단차원적으로 정의하도록 요구하지만, 이 제안은 그 원칙에 반한다.

others have proposed different anchors, such as defining the positive end point in terms of whether the person could be “allowed to supervise others in practice.”3 As intuitively compelling as this example seems, it violates another cardinal rule of good measurement, which is that a scale should vary along only one dimension at a time. Could we not imagine a trainee who is quite capable of performing an EPA yet whom we would not want supervising others in that EPA? Good measurement practice demands that scales be defined unidimensionally so as to avoid confounding the rating criteria, but this proposal runs counter to that principle.

Core EPA에 대한 또 다른 문제들

Other Problems Inherent in Working With the Core EPAs

여러 가지 논리적인 모순

several logical inconsistencies

첫째, 이러한 EPA는 UME와 GME 간의 차이를 메우기 위한 것이기 때문에, UME와 GME 등급 범주를 나란히 배치하여 두 가지 설정에 사용되는 일관성을 결정할 수 있습니다. 예를 들어, GME entrustment의 하한선에서는 종종 "적극적이고 완전한 감독 하에만 EPA를 실천할 수 있다."가 있다. 그러나 어떻게 의대를 졸업하기 위해 간접적이고 최소한의 감독만으로 EPA를 할 수 있었던 인턴이 적극적이고 완전한 감독을 필요로 하는 것으로 평가될 수 있는가?

First, because these EPAs were meant to bridge the gap between UME and GME, we can place the UME and GME rating categories side by side to determine the consistency with which they are used in the two settings. For instance, at the low end of GME entrustment, one often finds “allowed to practice EPA only under proactive, full supervision.”3 Yet how could an intern be rated as requiring proactive, full supervision when in order to graduate medical school this same person had to be certified as able to practice with indirect, or minimal, supervision?

심지어 능력이 뛰어난 학생들 사이에서도 높은 기준을 충족하는 능력과 그들이 그렇게 하는 속도에 차이가 존재할 것이다. 

even among the talented individuals , differences will exist in their ability to meet high standards and the pace at which they do so; 

그러나 어떻게 거의 모든 의과대학 또는 레지던스 코호트의 모든 구성원이 동일한 시점에 까다롭고 세심하게 평가된 EPA 규격 세트를 만족하게 될 것인가?

Yet how is it that almost every member of every medical school class or residency cohort would come to meet a demanding and carefully assessed set of EPA standards at the same moment

우리 모두가 인정하고 싶지 않은 한 가지 가능한 대답은, 그 기준이 충분히 낮아서 사실상 모든, 심지어 성적이 좋지 않은 학생들조차 제 시간에 그 기준을 충족할 수 있다는 것이다. 훨씬 더 회의적인 생각으로서, Witteles와 Verghese45는 과중한 업무에 시달리는 평가자들이 때로는 정확하고 의미 있는 평가를 하려고 하기보다는 학생들에게 '기대되는 수준'에 체크를 하고 있을 것이라고 추측했다.

One possible answer, which we would all prefer to reject, is that the standards are sufficiently low that virtually everyone, even poorly performing students, can meet them on time. Offering an even more skeptical thought, Witteles and Verghese45 have speculated whether overworked assessors may sometimes be checking boxes for where students are supposed to be rather than attempting to provide assessments that are accurate and meaningful.

사회적 인지 이론에서 도출된 또 다른 설명은 표준과 평가자들의 편을 더욱 들어준다: UME와 GME의 맥락이 다르기 때문에, 같은 표준도 암시적으로 다르게 여겨진다. UME 학생으로서 entrustable하다고 평가된 바로 그 행동이 레지던트 기준에 대해서는 preentrustable한 것으로 보일 수 있다. 왜냐하면 인턴/레지던트는 환자들의 웰빙에 대해 훨씬 더 큰 책임을 지기 때문이다. 이러한 대조효과를 언급하면서, 사회심리학자들은 평가자들이 서로 다른 환경에서 서로 다른 기준으로 행동을 판단하기 때문에, 자신도 모르게 서로 다른 판단을 내릴 수 있다고 제안한다.

Another explanation, deriving from social cognitive theory, is more charitable to the standards and assessors: Standards implicitly differ when seen in the differing contexts of UME and GME. The very same behavior that was rated as entrustable against the responsibilities of UME studenthood may appear to be preentrustable against the standards of residency where house staff hold far greater responsibility for patients’ well- being. Referring to contrast effects,46,47 social psychologists suggest that raters may unwittingly make differing judgments as the result of judging behavior against different standards in different settings.

다른 두 가지 밀접하게 관련된 개념들(기대 효과와 자기 충족적 예언들)로 인해서, 우리가 어떤 행동에 대한 특정한 기대를 가질 때 (예: 경험과 훈련의 증가할수록 신뢰도가 더 높아짐) 이러한 것들은 우리가 기대하는 방향으로 판단하도록 무의식 수준에서 영향을 미칠 수 있다.

Two other closely related concepts, expectancy effects and self- fulfilling prophesies, posit that when we hold specific expectations for behavior (e.g., that trustworthiness is greater with increased experience and training), these may influence us, below the level of awareness, to make judgments in the direction of our expectations.48,49

생의학 연구에서 우리는 이중맹검 연구를 고집합니다.

In biomedical research, we insist on double-blind studies,

그러나 in vivo 임상 기술 평가에서 평가자는 평가 대상자를 잘 아는 상태에서 평가를 내린다. 결과적으로, 평가자는 (자신의 교수개발 수준이나 동기부여의 수준에 관계없이) 무의식적이고 자동적으로 편견을 가질 수 있다. 사실상, 우리가 사용하고 있는 "기준"은 우리가 인식하고 있는 것보다 더 유연할 수 있습니다.

But in clinical skills assessments made in vivo, raters are almost never blinded to the experience level of the person being rated. As a result, raters may be subject to various nonconscious, automatic biases, whatever their level of faculty development or motivation. In effect, the “ruler” we are using may simply be more elastic than we realize,

결론과 제언

Conclusions and Recommendations

가족 내에서 요리법을 알려줄 때, 많은 할머니들이 우리에게 소금 한 꼬집이나 후추 한 방울을 넣으라고 지시한다. 만약 내가 entrustment의 개념이 온스나 밀리그램과 같은 어떤 객관적인 것으로 바뀐다면, 나는 매우 기뻐할 것이다. 하지만, 많은 재능 있는 사람들이 쏟아내는 노력에도 불구하고, EPA 기반 시스템을 도입함으로써 학생들에게 유용한 형태별 피드백을 제공하거나 방어적인 결정을 내릴 수 있는 신뢰할 수 있는 등급이나 유효한 판단을 내릴 수 있는 능력이 향상되었다고 생각하지 않는다.

When sharing family recipes, many of our grandmothers instructed us to add a pinch of salt or a sprinkle of pepper. If I believed that the concept of entrustment had turned a pinch or sprinkle into something objective such as ounces or milligrams, I would be overjoyed. However, for all the effort expended by so many talented people, I do not believe that the adoption of an EPA-based system has increased our ability to make reliable ratings or valid judgments, to provide students with useful formative feedback, or to make defensible summative decisions about progression.

내용에 관해서, 나는 EPA를 향한 움직임이 [우리에게 무엇이 좋은가]가 아니라 [할머니가 아는 무슨 요리를 할 줄 아는가]에 너무 많이 집중하게 만들었다고 믿는다. Core EPA는 병원 팀이 원활하게 작동하도록 하는 mundane and technical한 기술에 너무 많은 관심을 기울이고 있습니다. 그로 인해 더 추상적 개념으로 표현되는 의사의 역할과 행동에서 우리를 멀어지게 한다. 그러나 우리가 더 열심히 노력한다면 행동적으로 조작화할 수 있을 것이다. 방법론적 관점에서, 의사들이 신뢰를 레퍼런스틀로 사용하는 것에 편안할 수 있지만, EPA를 통한 평가는 추론이나 주관성을 감소시키지 않는다.

As for content, I believe that the movement toward EPAs has made us focus too much on what Grandma knows how to cook, not what is good for us.50 The Core EPAs direct too much of our attention toward the mundane and technical skills that allow hospital teams to function smoothly, thereby distracting us from those roles and behaviors of physicians that are more abstract in concept, yet could be operationalized behaviorally if only we worked harder at doing so. Methodologically, although physicians may be comfortable using trust as their frame of reference, assessment via EPAs does not decrease inference or subjectivity.

소소한 제안.

a few modest proposals

첫째, 일부에서는 EPA와 역량이 나란히 공존할 수 있다고 주장하지만, 66.8은 figure and ground 원칙을 상기해보면, 저는 교육자들이 둘 중 하나에 초점을 맞출 것이라고 생각합니다. 따라서 단일 하이브리드 모델을 제안합니다.

First, while some have argued that EPAs and competencies can coexist side by side,6,8 recalling the principle of figure and ground, I believe that educators are likely to focus on one or the other—to the extent that they are seen as separate entities. Therefore, I would like to propose a single hybrid model

목록 1에는 의사가 수행할 수 있는 측정 가능한 활동으로, 다양한 역량 또는 신뢰 또는 감독 수준에서 실습생으로서, 1일차 레지던트와 그 이후의 위대한 의사들로도 명시되는, 제가 제안한 의학 과제(TOM)가 포함되어 있습니다.

List 1 contains my proposed Tasks of Medicine (TOMs), stated as measurable activities that physicians can be expected to do, at varying levels of competence or trust or supervision, as clerks, as residents on Day 1, and as great physicians well beyond.

성직자, 인턴, 거주자에 대해 서로 다른 기준, 표준, 기대치가 존재할 수 있기 때문에, 동일한 행동들은 상황에 따라 다르게 판단될 수 있다. 따라서, 우리는 초보자부터 마스터, 3학년 학생부터 수석 거주자, 20년 실무자까지 모든 범위의 설명자를 개발할 필요가 있다.

because different frames of reference, standards, and expectations may exist for clerks, interns, and residents, identical behaviors may be judged differently depending on their context. Therefore, we need to develop a single set of descriptors that covers the full range from beginner to master, from third-year student to chief resident to 20-year practitioner.

List 1

의료 과제 또는 위대한 의사의 행동: ACGME 역량과 핵심 EPA의 행동 요소를 통합하려는 하이브리드 모델 

Tasks of Medicine, or What Great Physicians Do: A Hybrid Model Attempting to Integrate Behavioral Elements of the Core EPAs With the ACGME Competencies 

레지던트 첫날, 책임 있는 의사는 최소한의 지침이나 도움을 받을 수 있다. 

레지던트를 마치면, 책임 있는 의사는 지시나 도움 없이 할 수 있다.

On the first day of residency, an entrustable physician can, with minimal instruction or assistance 

By the completion of residency, an entrustable physician can, with no instruction or assistance

• 환자진료를 위한 정보 수집 및 적용

o 완전하고 정확한 병력

o 환자 검사

o 시험을 적절하게 주문한다.

o 적절한 출처에서 증거 검색

• 정보 통합 및 활용

o 진단 실시

o 치료 계획 개발

o 필요한 환자에게 긴급치료를 인식하고 시작

• 타인과 효과적으로 작업

o 환자 기록의 구두 보고서 및 문서상 접점을 제공한다.

o 효과적으로 핸드오버 제공

o 다른 의료 전문가와 효과적으로 작업

o 환자 및 가족과의 관리 및 신뢰 관계 개발

o 환자와 가족의 사전동의 획득

• 대규모 상황에 대한 인식을 보여주는 의료 연습

o 인종, 민족, 소득 등에 관계없이 다양한 주민에게 효과적인 관리 제공

o 시스템 고장 식별 및 해결 시도

• 책임, 자각 및 개선을 위한 욕구 입증

o 피드백에 기반한 자기계발에 노력

o 윤리적인 실천 과정에서 신뢰성과 정직성 입증

o 환자 진단 및 치료의 장점과 한계를 인지합니다.

• Collect and apply information in the care of patients

o Take a complete and accurate history

o Examine patients

o Order tests appropriately

o Retrieve evidence from appropriate sources

• Synthesize and utilize information

o Make diagnoses

o Develop treatment plans

o Recognize and initiate urgent care for those patients who require it

• Work effectively with others

o Give oral reports and document encounters in patient records

o Give and receive handovers effectively

o Work effectively with other health professionals

o Develop caring and trusting relationships with patients and families

o Obtain informed consent from patients and families

• Practice medicine demonstrating awareness of the larger context

o Provide effective care to diverse populations regardless of race, ethnicity, income, etc.

o Identify and attempt to address system failures

• Demonstrate responsibility, self-awareness, and desire for improvement

o Make efforts at self-improvement based on feedback

o Demonstrate reliability and honesty in the course of ethical practice

o Recognize strengths and limitations in the diagnosis and treatment of patients

Abbreviations: Core EPAs indicates Core Entrustable Professional Activities for Entering Residency; ACGME,

Accreditation Council for Graduate Medical Education.

4 Englander R, Flynn T, Call S, et al. Toward defining the foundation of the MD degree: Core Entrustable Professional Activities for Entering Residency. Acad Med. 2016;91:1352–1358.

6 Carraccio C, Englander R, Gilhooly J, et al. Building a framework of entrustable professional activities, supported by competencies and milestones, to bridge the educational continuum. Acad Med. 2017;92:324–330.

31 Krupat E, Frankel R, Stein T, Irish J. The Four Habits Coding Scheme: Validation of an instrument to assess clinicians’ communication behavior. Patient Educ Couns. 2006;62:38–45. XXX

18 Tekian A. Are all EPAs really EPAs? Med Teach. 2017;39:232–233. ==

---

Acad Med. 2018 Mar;93(3):371-376. doi: 10.1097/ACM.0000000000001865.

Critical Thoughts About the Core Entrustable Professional Activities in Undergraduate MedicalEducation.

Krupat E1.

Author information

1

E. Krupat is associate professor, Department of Medicine, Beth Israel Deaconess Medical Center, Boston, Massachusetts. At the time of writing, the author was also director, Center for Evaluation, Harvard Medical School, Boston, Massachusetts.

Abstract

The Core Entrustable Professional Activities for Entering Residency (Core EPAs) have taken a strong hold on undergraduate medicaleducation (UME). This Perspective questions their value added and considers the utility of the Core EPAs along two separate dimensions: (1) the ways they change the content and focus of the goals of UME; and (2) the extent to which entrustable professional activity (EPA)-based assessment conforms to basic principles of measurement theory as practiced in the social sciences. Concerning content and focus, the author asks whether the 13 Core EPAs frame UME too narrowly, putting competencies into the background and overlooking certain aspirational, but important and measurable, objectives of UME. The author also discusses the unevenness of EPAs in terms of their breadth and their developmental status as core activities. Regarding measurement and assessment, the author raises concerns that the EPA metric introduces layers of inference that may cause distortions and hinder accuracy and rater agreement. In addition, the use of weak anchors and multidimensional scales is also of concern. The author concludes with a proposal for reframing the Core EPAs and Accreditation Council for Graduate Medical Education competencies into broadly defined sets of behaviors, referred to as "Tasks of Medicine," and calls for the development of a systematic and longitudinal research agenda. The author asserts that "slowing down when you should" applies to medicaleducation as well as patient care, and calls for a reevaluation of the Core EPAs before further commitment to them.

PMID:

 

28857790

 

DOI:

 

10.1097/ACM.0000000000001865