역량과 마일스톤 기반의, 교육 연속체의 경계를 잇기 위한 EPA 프레임워크 개발(Acad Med, 2017)

역량과 마일스톤 기반의, 교육 연속체의 경계를 잇기 위한 EPA 프레임워크 개발(Acad Med, 2017)

Building a Framework of Entrustable Professional Activities, Supported by Competencies and Milestones, to Bridge the Educational Continuum

Carol Carraccio, MD, MA, Robert Englander, MD, MPH, Joseph Gilhooly, MD, Richard Mink, MD, MACM, Dena Hofkosh, MD, MEd, Michael A. Barone, MD, and Eric S. Holmboe,

ACGME(American Medical Colleges, AAMC)에 의한 성과 기반 학부 의료 교육(UME)의 기반으로서 ACGME(Accreditation Council for Council Education) 및 ABMS(American Board of Medical Specialties)의 6가지 핵심역량 채택, ACGME 및 FoABMS에 의한 인증(MOC)의 유지보수는 의학에서 학습과 평가의 원활한 연속성을 창출할 수 있는 전례 없는 기회를 제공했다.1–3

The adoption of the six core competencies of the Accreditation Council for Graduate Medical Education (ACGME) and the American Board of Medical Specialties (ABMS) as the foundation for outcomes-based undergraduate medical education (UME) by the Association of American Medical Colleges (AAMC), for graduate medical education (GME) by the ACGME, and for board certification as well as maintenance of certification (MOC) by the ABMS has provided an unprecedented opportunity to create a seamless continuum of learning and assessment in medicine.1–3

2005년 네덜란드에서 10개의 케이트6에 의해 처음 도입된 EPA는 UME와 GME 수준에서 의사 역량에 대한 의미 있는 평가를 위한 프레임워크로서 국제적으로 주목을 받고 있다.7–11 관측 가능한 작업의 측정 단위로서, EPA는 안전하고 효과적인 수행을 위해 역량 통합을 요구하는 특정 전문가 또는 하위 전문가의 중요한 일상 활동을 설명한다.

EPAs, first introduced by ten Cate6 in the Netherlands in 2005, are receiving increasing attention internationally as a framework for meaningful assessment of physician competence at both the UME and GME levels.7–11 As measureable units of observable work, EPAs describe important routine activities of a given specialist or subspecialist that require integration of competencies for safe and effective performance.

레지던트를 위한 전문 EPA가 개발되었으며, AAMC는 레지던트 수련 진입을 위한 핵심 EPA를 개발했다.7,9–11 수련 진입에 대한 핵심 EPA는 훈련생이 직접 감독 없이 레지던트 1일에 13개의 EPA를 수행할 수 있어야 한다는 기대를 세웠다.

Specialties have developed EPAs for residents, and the AAMC has developed Core EPAs for Entering Residency.7,9–11 The Core EPAs for Entering Residency set the expectation that trainees should be able to perform 13 EPAs on Day 1 of residency without direct supervision

소아과 커뮤니티는 EPA와 이정표의 두 가지 체계를 통합했다.14 이러한 통합은 UME에서 GME로, GME에서 실천으로 이어지는 교육 연속체 전반의 평가를 이끄는 경로를 제공한다.

The pediatrics community has integrated the two frameworks of EPAs and milestones.14 This integration provides a pathway that leads to assessment across the educational continuum from UME to GME and from GME to practice.

소아과 마일스톤 프로젝트

The Unfolding of the Pediatrics Milestone Project

2009년, ACGME와 미국소아학회(ABP)는 소아학계를 초청하여 소아학 이정표의 개발을 개시했다. 이 3년간의 노력의 지침 원칙, 과정 및 결과의 창조에 대해 이전에 설명한 바 있다.15 전체 소아과 이정표 문서는 학술 소아과 보충 자료로 발행된다.16

In 2009, the ACGME and the American Board of Pediatrics (ABP) invited the pediatrics community to initiate the development of the milestones for pediatrics. Creation of the guiding principles, process, and outcome of this three-year endeavor has previously been described.15 The full pediatrics milestone document is published as a supplement to Academic Pediatrics.16

요컨대 소아과 마일스톤는 초보 학습자(초기의 의대생)로 시작하여 연속체를 따라 진보된 초급자, 그 다음에는 유능한 학습자, 능숙한 학습자, 그리고 마지막으로 전문 학습자(수년간의 계획적 실습 후)로 나아가는 발달 연속체에 걸친 행동에 대한 서술이다. 역량(예: "환자에 대한 필수적이고 정확한 정보 수집")과 그에 따른 내러티브는 맥락에 독립적이므로 기술이 입증될 임상 환경이나 장차 만나게 될 환자의 복잡성까지 정의하지는 않는다.

In brief, the pediatrics milestones are narrative descriptions of behaviors across the developmental continuum beginning with a 

• novice learner (early medical student) and 

• progressing along the continuum to advanced beginner, 

• then to competent learner, 

• proficient learner, and, 

• finally, expert learner (after years of deliberate practice). 

The competencies (e.g., “gather essential and accurate information about the patient”) and thus their narratives are context independent and therefore do not define the complexity of the patient encounter or the clinical environment in which the skills will be demonstrated.

일반 소아과 EPA

Identifying General Pediatrics EPAs

EPA는 복수의 역량을 통합해야 하는 진료 제공에 집중함으로써, [임상의사가 평가하는 것]을 [실제 환경에서 수행하는 것]과 일치시켜 평가에 의미와 가치를 더한다.

By focusing on care delivery, which requires the integration of multiple competencies, EPAs align what clinicians assess with what they do in the authentic environment, adding meaning and value to assessment.

소아과 레지던트 대 실습 전환에 대한 바람직한 결과를 정의하는 17개 EPA의 마지막 첫 번째 반복은 차트 1과 2의 중간 열에 나타나며, 차트 1에는 6개가, 차트 2에는 나머지 11개가 있다.

The final first iterations of the 17 EPAs defining the desired outcomes for the pediatrics residency-to-practice transition appear in the middle columns of Charts 1 and 2, with 6 in Chart 1 and the remaining 11 in Chart 2.

Pangaro와 10 Cate18은 분석적, 합성성, 발달적의 세 가지로 분류할 수 있는 평가를 위한 개념적 프레임워크를 제안한다. 

• ACGME 역량은 핵심 영역을 역량의 더 상세한 설명으로 세분화하므로 분석적 프레임워크로 간주된다. 

• 마일스톤은 발달적 프레임워크의 한 예로서, 시간에 따른 단계의 논리적 진행을 나타낸다. 

• EPA는 복수의 역량 영역을 결합하는 합성적 프레임워크를 나타낸다.

Pangaro and ten Cate18 suggest conceptual frameworks for assessment that can be categorized as analytic, synthetic, or developmental. The ACGME competencies would be considered an analytic framework, breaking down core domains into further detailed descriptions of competencies. Milestones are an example of a developmental framework, representing a logical progression of steps over time. Finally, EPAs represent a synthetic framework that combines multiple domains of competence.

일단 확인되면 EPA는 해당 특정 EPA에 대한 위탁 의사결정에 중요한 역량과 이정표에 현명하게 매핑된다.19 소아과에서는 이 매핑 과정을 통해 특정 EPA와 해당 이정표에 대한 중요 역량의 행렬을 만든다(표 3 참조).

Once identified, EPAs are judiciously mapped to those competencies and milestones critical to making an entrustment decision for that specific EPA.19 Through this mapping process we create, for pediatrics, a matrix of the critical competencies for a given EPA and their respective milestones (see Chart 3).

차트 3에서 초보자 행동들은 두 번째 칸에 설명되어 있고, 세 번째 칸에는 진보된 초보자, 네 번째 칸에는 유능한 학습자, 다섯 번째 칸에는 능숙한 학습자, 여섯 번째 칸에는 전문가가 있다.

in Chart 3, the behaviors of the 

• novice are described in the second column, 

• advanced beginner in the third, 

• competent learner in the fourth, 

• proficient learner in the fifth, and 

• expert in the sixth column.

예를 들어, 차트 3의 세 번째 열에 있는 행동을 임상용 vignette로 통합하면 EPA를 수행하는 고급 초심자의 그림을 그릴 수 있다.

For example, integrating the behaviors in the third column of Chart 3 into a clinical vignette paints a picture of an advanced beginner performing the EPA.

각 칼럼의 행동에 의해 그려진 공유된 정신 모델은 학습자와 멘토 또는 학습자, 그리고 어떤 행동이 입증되었고 어떤 행동이 바람직한지에 대한 임상 역량 위원회 사이의 논의를 주춧돌로 만드는 앵커를 의미한다. 

The shared mental models painted by the behaviors in each column are meant to be anchors that frame a discussion between the learner and a mentor or the learner and a clinical competency committee around which behaviors have been demonstrated and which behaviors are desired. 

Regehr 등 20은 이 평가 전략에 대한 지원을 제공한다. 다섯 가지 성능 수준 각각에 대한 비디오 비그넷을 만드는 것은 EPA와 이정표를 평가하는 데 있어 교수진 개발을 위한 추가 도구를 제공한다.21

Regehr et al20 provide some support for this assessment strategy. Creating video vignettes of each of the five performance levels provides an additional tool for faculty development in the assessment of EPAs and milestones.21

소아과 이정표는 초기 의대생부터 진료를 마친 소아과 의사까지 연속적으로 걸쳐 있다는 점에서 특이했다. 따라서 전임의에게도 적용할 수 있는 성과 수준을 포함한다. 

The pediatrics milestones were unique in that they spanned the continuum from early medical students to practicing pediatricians, thus including performance levels applicable for fellows. 

소아과 세부전공을 위한 EPA

Identifying EPAs for the Pediatrics Subspecialties

2013년 3월, ABP는 CoPS(Council of Pediative Subscription)의 도움을 받아, ABP가 인증한 각 소아병 세부전공에서 교육 리더를 위한 워크숍을 소집하여 세부전공에 공통적인 EPA를 식별하였다.22

In March 2013, the ABP, with the help of the Council of Pediatric Subspecialties (CoPS), convened a workshop for education thought leaders from each of the ABP-certified pediatrics subspecialties to identify EPAs common to the subspecialties.22

이 그룹은 합의 과정을 통해 두 가지 공통 세부전공 EPA(차트 2와 3 참조)를 추가로 식별했으며, 하나는 해당 분야에서 리더가 되는 것이며, 다른 하나는 학술 활동에 관한 것이었다.

Through a consensus process, the group identified two additional common subspecialty EPAs (see Charts 2 and 3), 

• one on leading within the profession and 

• a second on scholarly activity.

UME-GME 연속체를 가로지르는 다리

The Bridge Across the UME-to-GME Continuum

소아과 EPA에 대한 연구가 시작된 직후, AAMC는 전공의 진입을 위한 핵심 EPA를 식별하기 위해 다원적 제도 패널을 구성했다.

Shortly after work began on the pediatrics EPAs, the AAMC constituted a multidisciplinary drafting panel to identify the Core EPAs for Entering Residency.

전공의 진입을 위한 핵심 EPA가 생기면서, 소아학계는 이제 모든 전공의를 위한 일반 소아학 EPA와 의대생을 위한 EPA를 연결하는 다리를 건설할 수 있는 기반시설을 갖추게 되었고, 이는 다시 전임의 과정을 위한 소아과 EPA와 연결된다.

With the creation of the Core EPAs for Entering Residency, the pediatrics community now had the infrastructure to build the bridge that connects EPAs for medical students with general pediatrics EPAs for all residents, which in turn connects to the pediatrics EPAs for fellowships.

EPA 목록의 검토는 직접 정렬을 보여주거나, [학생 EPA]가 [전공의 EPA]를 위한 빌딩 블록 역할을 하는 자연적 연관성을 보여준다. 다시 [전공의 EPA]는 [전임의 EPA]를 위한 빌딩 블록 역할을 한다. 학습과 평가의 연속을 가로지르는 이 다리는 하든과 스탬퍼24가 강조했던 것을 연상시킨다. "마지막 전체적인 목표가 달성될 때까지 매 방문마다 학생들의 역량이 증가하는" 나선형 커리큘럼의 가치.

Review of the lists of EPAs illustrates the natural linkages that represent either a direct alignment or where student EPAs serve as building blocks for residency EPAs, the latter serving as building blocks for fellowship EPAs . This bridge across the continuum of learning and assessment is reminiscent of what Harden and Stamper24 highlighted as the value of the “spiral curriculum,” where the “competence of students increases with each visit until the final overall objectives are achieved.”

잃어버린 고리: MOC를 GME EPA로

The Missing Link: Guiding MOC With GME EPAs

이러한 상황이 가능하다. 어떤 레지던트가 훈련을 마칠 때 17개의 모든 EPA를 수행하도록 위임받고 많은 수의 청소년 환자들을 돌보는 일반적 소아과 진료를 시작한다. 그런데 이들 중 많은 사람들은 불안 장애나 우울증으로 고생하고 있었다.

consider this scenario: A resident is entrusted to perform all 17 EPAs at the completion of training and enters a general pediatrics practice that cares for a large number of adolescent patients, many of whom are struggling with either an anxiety disorder or depression.

이 신규 전문의는 환자 진료에 필요한 숙련도와 전문성을 향해 계속 발달 궤적을 따라 움직이면 도움이 된다는 것을 깨닫는다. 이러한 관점에서 볼 때, EPA는 개인이 격차를 식별하고 그러한 격차를 채우기 위한 학습 활동을 모색하는 데 도움이 되는 실무에 대한 성찰에 초점을 둘 수 있다. 

The new practicing physician realizes that patients will benefit if he or she continues to move along the developmental trajectory toward proficiency and expertise. Seen in this light, EPAs may focus reflection on practice that helps individuals identify gaps and seek learning activities to fill those gaps. 

지속적인 전문 개발 및 MOC를 통한 개선에 대한 투자를 사용하여 의사의 경력에 걸쳐 체계적인 학습 과정을 촉진해야 한다. 훈련 중에 gap이 확인되면 개별화된 커리큘럼의 일부로 학습 활동을 시작하고 MOC로 계속 진행할 수 있다. 또한 의사의 경력으로 확인된 새로운 EPA가 있거나 범위의 변화가 있을 수 있다. 10 Cate et al.,25에 따르면, "위임 결정은... 그 EPA에 대한 practice가 없거나 너무 적다면 만료되어야 한다.."

Investment in improvement through continuous professional development and MOC should be used to facilitate a process of structured learning throughout a physician’s career. When gaps are identified during training, learning activities can be initiated as part of an individualized curriculum and continued into MOC. In addition, there may be new EPAs identified as a physician’s career evolves or changes in scope. According to ten Cate et al,25 “entrustment decisions should … have an expiration date if no or too little practice has occurred.”

역량기반 교육의 연속체를 향한 중요한 기여

The Critical Contributions of the Continuum to Competency-Based Education

레지던트와 펠로우를 위한 EPA는 실제 현장에서 기대하는 바를 기반으로 하며, 따라서 후진적 비전 프로세스를 사용하여 GME에 대한 기대와 결과를 설정한다. 따라서, 이러한 연속체가 UME와 GME의 작업을 실습 의사가 원하는 결과와 일치시킬 수 있다.

The EPAs for residents and fellows are based on what one expects in practice, and thus a backward-visioning process is used to set expectations and outcomes for GME.26 Thus, the continuum enables the alignment of the work of UME and GME with the desired outcomes for practicing physicians.

예를 들어, UME에서는 상황 인식, 질병 심각도, 조치 계획 및 우발적 계획뿐만 아니라 handover를 하거나 받는 사람으로서 효과적으로 관여할 수 있는 커뮤니케이션 기술(예: 환급 기술)을 포함하는 템플릿을 도입하여 핸드오버의 기반을 마련하는 것이 필수적이다. 이러한 기초적 기술 및 내용 지식은 GME 기간 동안 발전되어야 하며, 더 깊은 학습을 제공하고 궁극적으로는 위임할 준비를 제공하기 위해 이전에 있었던 것을 기반으로 강화해야 한다.

For example, in the UME setting it is essential to lay the foundation for handovers by introducing a template, which includes situation awareness, illness severity, action planning, and contingency planning as well as the communication skills to effectively engage as either a sender or a receiver of the handover (e.g., skill at readbacks). These foundational skills as well as content knowledge must be advanced during GME, building on and reinforcing what came before to provide deeper learning and ultimately readiness for entrustment.

다음 단계

Next Steps

ACGME의 전무이사를 지낸 데이비드 리치 박사는 이런 평가를 내렸다.

Dr. David Leach, a former executive director of the ACGME, said of assessment that it is

평가assessment는 여러 역량이 통합된integrated 버전에 의존하는 반면, 측정measurement은 역량의 특정speciated 버전에 의존한다. 이러한 역설은 쉽게 해결될 수 없다. 역량이 구체화될수록 전체whole와 관련성이 떨어진다.35

dependent on an integrated version of the competencies, whereas measurement relies on a speciated version of the competencies. The paradox cannot be resolved easily. The more the competencies are specified, the less relevant to the whole they become.35

교육 연속체에 걸친 EPA, 역량, 마일스톤의 통합은 이 역설의 해결을 위한 로드맵을 제공한다.

The integration of the EPAs, compe- tencies, and milestones across the educational continuum provides the road map to resolving this paradox.

18 Pangaro L, ten Cate O. Frameworks for learner assessment in medicine: AMEE guide no. 78. Med Teach. 2013;35:e1197–e1210.

---

Acad Med. 2017 Mar;92(3):324-330. doi: 10.1097/ACM.0000000000001141.

Building a Framework of Entrustable Professional Activities, Supported by Competencies and Milestones, to Bridge the Educational Continuum.

Carraccio C1, Englander R, Gilhooly J, Mink R, Hofkosh D, Barone MA, Holmboe ES.

Author information

1

C. Carraccio is vice president of competency-based assessment, American Board of Pediatrics, Chapel Hill, North Carolina. R. Englander was senior director of competency-based learning and assessment, Association of American Medical Colleges, Washington, DC, at the time this article was written. J. Gilhooly is adjunct professor of pediatrics, Oregon Health & Science University, Portland, Oregon. R. Mink is chief, Division of Pediatric Critical Care Medicine, and director, pediatric critical care fellowship, Harbor-UCLA Medical Center, Torrance, California, and professor of pediatrics, David Geffen School of Medicine at UCLA, Los Angeles, California. D. Hofkosh is professor of pediatrics and associate dean for faculty affairs, University of Pittsburgh School of Medicine, Pittsburgh, Pennsylvania, and president, Association of Pediatric Program Directors, McLean, Virginia. M.A. Barone is associate professor of pediatrics and director of medical student education, Johns Hopkins University School of Medicine, Baltimore, Maryland. E.S. Holmboe is senior vice president of milestone development and evaluation, Accreditation Council for Graduate Medical Education, Chicago, Illinois.

Abstract

The transition to competency-based medical education (CBME) and adoption of the foundational domains of competence by the Accreditation Council for Graduate Medical Education, Association of American Medical Colleges (AAMC), and American Board of Medical Specialties' certification and maintenance of certification (MOC) programs provided an unprecedented opportunity for the pediatrics community to create a model of learning and assessment across the continuum. Two frameworks for assessment in CBME have been promoted: (1) entrustable professional activities (EPAs) and (2) milestones that define a developmental trajectory for individual competencies. EPAs are observable and measureable units of work that can be mapped to competencies and milestones critical to performing them safely and effectively.The pediatrics community integrated the two frameworks to create a potential pathway of learning and assessment across the continuum from undergraduate medical education (UME) to graduate medical education (GME) and from GME to practice. The authors briefly describe the evolution of the Pediatrics Milestone Project and the process for identifying EPAs for the specialty and subspecialties of pediatrics. The method of integrating EPAs with competencies and milestones through a mapping process is discussed, and an example is provided. The authors illustrate the alignment of the AAMC's Core EPAs for Entering Residency with the general pediatrics EPAs and, in turn, the alignment of the latter with the subspecialty EPAs, thus helping build the bridge between UME and GME. The authors propose how assessment in GME, based on EPAs and milestones, can guide MOC to complete the bridge across the education continuum.

PMID:

 

26959225

 

DOI:

 

10.1097/ACM.0000000000001141

[Indexed for MEDLINE]