전문적 실천의 타당한 기술을 전달하기 위한 EPA 구성 접근법 (Teach Learn Med, 2021)

전문적 실천의 타당한 기술을 전달하기 위한 EPA 구성 접근법 (Teach Learn Med, 2021)

Constructing Approaches to Entrustable Professional Activity Development that Deliver Valid Descriptions of Professional Practice 
David Taylora , Yoon Soo Parkb , Christopher Smitha , Olle ten Catec , and Ara Tekianc

 

 

도입
Introduction

위임가능전문활동(EPA)은 [매우 세분화된 교육 프레임워크(예: CANMED 또는 ACGME 역량)]에서 [authentic한 임상 작업의 설명]으로 학습자 평가 방향을 변경함으로써 CBME를 발전시키는 것을 목표로 하는 의료 교육 구조로 부상했다. 
Entrustable Professional Activities (EPAs) have emerged as a construct in medical education that aims to advance CBME by re-orienting learner assessment away from highly granular educational frameworks (such as CanMEDS or ACGME competencies) toward authentic descriptions of clinical work. 

이러한 품질 보증을 신뢰할 수 있도록 하기 위해, 전문가가 채택한 EPA는 임상 실무에 필요한 필수 작업에 대한 의미 있고 정확한 설명을 구성해야 한다. 채택된 EPA와 실제 전문가 관행 작업 사이의 이러한 긴밀한 정렬이 없다면 EPA 기반 평가는 의도한 대로 실천요강 준비 상태를 포착하지 못할 수 있다. 실제로 일부 EPA에 대한 타당성 근거의 부족은 문헌에서 제기된 주요 우려사항의 기초가 된다.14–17 
In order for this quality assurance to be credible, the EPAs adopted by a specialty must constitute a meaningful and accurate description of the essential work required for clinical practice. Without this tight alignment between the EPAs adopted and the actual work of professional practice, EPA-based assessments may not capture practice readiness as intended. In fact, a lack of validity evidence for some EPAs underlies major concern raised in the literature.14–17 

 

특정 전공을 위한 EPA 프레임워크를 구성할 때 반드시 하나의 최적 접근방식이 있는 것은 아니다. EPA는 광범위하고 적거나 상세하고 많을 수 있다. EPA는 병렬적일 수도 있고, 위계적으로 내포될nested 수 있다(즉, 보다 세분화된 EPA는 이후 교육 단계에서 대규모 EPA의 일부를 구성할 수 있다).19 EPA 구현에 대한 이러한 접근방식은 유효할 수 있지만(즉, 목적에 적합), EPA 자체의 건설은 EPA의 실제 효과에 긍정적 또는 부정적 영향을 미칠 수 있다.20–22
When constructing a framework of EPAs for a specialty, there is not necessarily one optimal approach. EPAs may be broad and few or detailed and many; they may be parallel or hierarchically nested (i.e. more granular EPAs may constitute a subset of larger EPAs at later stages of training).19 While these approaches to implementing EPAs can be valid (i.e. fit for purpose), the construction of the EPAs themselves can positively or negatively influence their effectiveness in practice.20–22

교육 평가에서 [구인 타당도에 대한 주장]은 [특정 목적이나 결정을 위한 테스트의 결과 사용을 정당화하는 증거]를 제시하는 것이다.23
In educational assessment, arguments for construct validity present evidence that justifies the use of results from a test for a specific purpose or decision.23

재계의 업무 분석 문헌은 [구인 타당도 주장construct validity arguments]이 교육적 테스트 이상으로 얼마나 중요한지를 예시한다. 현장 분석은 다음을 이해하고 설명하는 데 초점을 맞춥니다.25 

• 작업의 수행 방식,
• 필요한 항목
• 어떻게 조직에 들어맞는지fit into 

The work analysis literature from the business world exemplifies how construct validity arguments are important beyond educational testing. The field of work analysis focuses on understanding and describing jobs:

• how they are done,
• what is required, and
• how they fit into organizations.25

[작업 지향 분석(예: 작업 인벤토리)] 또는 [근로자 지향 분석(예: 인지 작업 분석)]에 사용된 방법을 조사하는 문헌은 분석에서 나온 제품의 사용을 정당화하기 위해 타당도 주장의 사용을 이용한다. 
Literature examining methods used in both work-oriented analysis (e.g. task inventories) or worker-oriented analysis (e.g. cognitive task analysis) exploit the use of validity arguments to justify use of the product from the analysis. 

[EPA 개발]은 기본적으로 [특정 전문직의 직무tasks를 정의하는 작업 분석의 한 형태]이며, 일반적으로 확립된 합의 방법을 사용한다. 구인 타당도 증거는 개발 프로세스를 통해 생성된 [EPA가 실제 임상의사가 기대하는 전문적인 작업을 정확하고 유용하게 기술하고 있음]을 입증해야 한다. 
EPA development is fundamentally a form of work analysis in which the tasks of a profession are defined, typically using established consensus methods. Evidence of construct validity should substantiate that the EPAs generated through the process accurately and usefully describe the professional work expected of clinicians in practice. 


유능한 졸업생을 보장하는 데 있어 위험 요소를 고려할 때 EPA 개발에 대한 [구인 타당도 주장]은 적절할 뿐만 아니라 필수적이다.29 
Considering the stakes in ensuring capable graduates, construct validity arguments for EPA development are not only appropriate, but essential.29 Expanding on validity approaches used in the work analysis literature, we describe how integrating considerations from each of the five domains of Messick’s unified framework for construct validity (as described in The Standards) into commonly used methods for EPA development defends the suitability of the EPAs for their role.23

전문가 선정
Selection of experts

EPA 개발을 위한 방법을 구성할 때 프로젝트 리더는 [프로세스의 각 단계에 참여할 전문가를 선정]하기 위한 접근방식과 필요한 전문성을 고려하는 것으로 시작해야 한다. 이것은 간단해 보일 수 있지만, 전문가 참여자의 사려 깊은 선택은 EPA의 내용을 궁극적으로 결정할 것이기 때문에 매우 중요하다. 그 핵심에서 내용 타당도 증거는 콘텐츠 관련성과 대표성에 대한 확립된 전문가들의 판단을 분명히 한다.34 EPA 개발에서 내용타당도 주장은 참여한 전문가에 초점을 맞춘다. 즉, 전공이나 직업에 대해서 EPA 개발 과정에 참여한 [전문가들의 전문성] 및 [종합적인 대표성]이 중요하다. 전문가 선정의 경우 EPA가 전문가 작업profession's work의 타당한 표현이라는 것을 뒷받침하는 중요한 증거는 프로젝트에 통합된 확인된 전문성 영역, 전문가 간의 전문가 대표성의 달성 및 전문가 선정에 대한 편견 방지에서 나온다.38 
In constructing methods for developing EPAs, project leaders should begin by considering the expertise required and the approach for selecting experts to participate in each stage of the process. Although this may seem straightforward, thoughtful selection of expert participants is crucial as these people will ultimately determine the content of the EPAs. At its core, content validity evidence articulates judgments by established experts for content relevance and representativeness.34 In EPA development, content validity arguments focus on the experts involved—the relevance of their expertise and collective representativeness amongst experts for the specialty or profession. For expert selection, important evidence supporting EPAs as a valid representation of a profession’s work comes from the identified domains of expertise incorporated in the project,35 achievement of professional representativeness amongst experts,36,37 and the avoidance of bias in expert selection.38 

전문 지식 영역 식별
Identifying domains of expertise


[관련된 전문성 영역relevant domains of expertise]을 식별하는 것은 매우 중요하다. EPA는 특정 직업의 작업을 설명하지만, EPA의 구조에는 복수의 소스로부터의 입력이 필요하다.

• 위임 결정이 [감독되지 않은 의료행위]로 이어지는 경우와 같이 EPA가 고부담일 경우, 프로젝트 리더는 환자, 학습자, 제휴 보건 전문가 및 보건 규제자를 포함하기를 원할 수 있다.
• 이보다는 부담이 낮은 커리큘럼 목적을 위해 건설된 EPA의 경우, 전문가 선택은 가장 핵심적인 전문 분야인 EPA 및 평가에 대한 임상 전문성과 교육 전문성에만 초점을 맞출 수 있다.

Identifying relevant domains of expertise is crucial. Although EPAs describe the work of a particular profession, their construction requires input from multiple sources.

• For high stakes EPAs, such as those for which decisions of entrustment lead to unsupervised practice, project leaders may wish to include patients, learners, allied health professionals, and health regulators, among others.
• For EPAs constructed for lower stakes curricular purposes, expert selection may focus on only the most salient domains of expertise— clinical expertise and educational expertise for EPAs and assessment.

포함된 전문지식의 영역을 확장하여 [더 대표적인 팀]을 구성하면 최종 제품에 대한 [최종 타당도 주장이 강화]되지만 [자원 가용성과 EPA의 의도된 목적]과 균형을 이루어야 한다. 

Building a more representative team by broadening the domains of expertise included will strengthen the ultimate validity argument for the final product but must be balanced against resources availability and the intended purpose of the EPAs. 

대규모 자원 영향 없이 전문지식의 영역을 넓히는 한 가지 접근방식은 [리액터 패널reactor panel]을 사용하는 것이다.
One approach to broadening domains of expertise without large resource implications is the use reactor panels,

[리액터 패널]에는 EPA와 관련된 다양한 배경의 인력 풀을 모집할 수 있고, 이들은 제안된 EPA를 검토하고 채택 전에 피드백을 제공하는 역할을 한다.
Reactor panels enlist a pool of people from different backgrounds relevant to EPAs to review proposed EPAs and provide feedback prior to adoption.

이러한 [사후 분석 접근법]은 실제 개발 팀 자체를 관련 리소스 함의로 확장하지 않고 중요한 추가 관점을 통합하고 대표성을 확대합니다. 
This post-hoc approach incorporates important additional perspectives, broadens representativeness, without expanding the actual development team itself with the associated resource implications. 


전문가선정
Expert selection

전문가를 선정할 때 세 가지 중요한 고려 사항이 있다.

• 전문가를 정의하는 데 사용되는 기준 설정,
• 전문 분야/분야를 대표하는 팀을 구성,
• 선정 시 체계적 편견을 피하는 것

Three important considerations stand out in selection of experts: 

• setting the criteria used for defining an expert, 
• building a team that is representative for the profession/areas of expertise, and 
• avoiding systematic bias in selection.

비록 직관적이기는 하나, 참여자는 EPA 개발에 있어 자신의 역할에 대해 신뢰할 수 있는 전문가여야 한다. 이는 내용 타당도 주장의 기초가 된다. 40,41 타당도 주장을 위해서는 자격과 전문지식에 대해 잠재적 전문가를 검증하는 신중한 선정 과정이 필요하다. 선발 프로세스에서 [명확한 포함 기준]을 갖춤으로써 필요한 전문 지식을 적절하게 포착할 수 있는 중요한 보증을 제공할 수 있다.

• 임상 전문가 선정 기준에는 위원회 인증, 최소 경력 기간, 임상 실무의 양 및 전문가 또는 '마스터' 임상의사로서의 현지 인정이 포함될 수 있다.
• 교육 전문가 선정 기준에는 커리큘럼, 평가, 특히 EPA에 대한 훈련과 경험이 있어야 한다.
• 학습자 또는 환자와 같은 다른 전문가의 경우, 포함 기준은 단순히 경험이 될 수 있습니다.

Although intuitive, participants must be credible experts for their role in EPA development—this is foundational to content validity arguments.40,41 Arguments demand a careful process of selection that vets potential experts on qualifications and expertise. Clear inclusion criteria for the selection process provides important assurance that the expertise required is properly captured. 

• For clinical expertise, criteria may include board certification, minimum years of experience, volume of clinical practice, and local recognition as an expert or ‘master’ clinician. 
• Similarly, education experts would be expected to have training and experience with curriculum, assessment, and specifically EPAs. 
• For other experts, such as learners or patients, inclusion criteria may simply be experience.

EPA 타당도 주장을 위해서는 전문가 패널의 대표성이 필수적이다. EPA가 직업의 작업을 설명하려면 다양한 인구통계학적 배경을 가진 학술 및 비학술적 실무 환경의 전문가와 다양한 사회경제적 및 민족적 배경의 환자를 serve한 경험 등이 필요하다.
Representativeness of the expert panel also is essential to validity arguments for the EPAs. Ensuring that EPAs describe a profession’s work demands inclusion of experts from academic and nonacademic practices, from rural and urban practice settings, with a range of demographic background, and serving patients of diverse socioeconomic and ethnic backgrounds.


특히 전문가 선정 시 [전문가 지정designation을 방어할 만큼 엄격]하면서도, [다양한 참여가 가능할 정도로 자유로운] 포함 기준을 갖는 것은 쉽지 않은 일이다. [엄격한 기준]과 [대표성] 사이에서 이러한 균형을 이루는 것이 내용 타당도를 뒷받침하는 강력한 논쟁의 본질입니다.
Notably, expert selection can create a challenge for inclusion criteria that are sufficiently strict to defend expert designation, yet liberal enough to enable diverse participation. Achieving this balance between stringent criteria and representativeness is the essence of a strong argument supporting content validity.

 

전문가 선택의 편향 방지
Avoiding bias in expert selection

선발 과정의 편향은 늘 발생한다. 공통의 관점을 공유하거나, 유사한 배경에서 왔거나, 프로젝트 리더와 함께 긍정적인 사전 작업 경험이 있는 전문가에게 끌리는 것은 당연합니다. 이러한 요인 중 일부는 그룹 통합과 워크플로우에 긍정적으로 영향을 줄 수 있지만, 그 성격과 정도에 따라 이러한 편견은 전문가로부터 수집된 응답에 약간의 체계적 오류를 도입할 것이다.42 타당도 관점에서, 편견과 체계적 오류에 대한 통제는 [응답 프로세스 영역]의 타당도 증거이다.43
Biases are the norm in selection processes; it is natural to gravitate toward experts who share common perspectives, come from a similar background, or with whom there has been a positive prior work experience with project leaders. Although some of these factors can positively affect group integration and workflow, depending on their nature and extent, these biases will introduce some systematic error into responses collected from experts.42 From a validity perspective, controlling for bias and systematic error is validity evidence in the domain of response process.43

EPA 개발에 대한 [프로그램 책임자PD의 참여]는 합리적이고 적절하지만, 전문가 패널에 균질성과 관점의 제한을 초래함으로써 전문가 선발에 강력한 편향을 일으킬 위험이 있다. 
Program director involvement in EPA development is sensible and appropriate, however a strong bias toward their selection risks introducing homogeneity and restriction of perspectives on the expert panel. 

[필요한 전문성(예: 임상 전문지식, EPA에 대한 전문지식)을 식별]하고 [전문가를 선정하는 일]은 EPA 개발 및 일반적으로 합의 이니셔티브에서 가장 중요한 과제이다. "올바른" 사람이 참여한다는 보장은 직업의 진정한 표현으로서 EPA의 타당성 주장에 필수적이며 교육 프로그램의 위탁 의사결정에 유용하다.
Identifying the expertise required (e.g. clinical expertise, expertise for EPAs) and selecting experts is perhaps the most important task in EPA development, and consensus initiatives in general. Assurance that the “right” people are involved is essential to validity arguments for the EPAs as a true representation of the work of the profession and as useful for making entrustment decisions in education programs.

후보 EPA 식별
Identification of candidate EPAs

전문가 교육
Instruction of experts

EPA와 그 구조에 대한 오해는 일반적이며 최종 결과물에 쉽게 반영될 수 있다.14, 19,44,45 후보 EPA의 초기 목록이 종종 최종 제품에 큰 영향을 미친다는 사실을 인지하고, 타당도에 대한 위협을 피하기 위해서는 초기부터 전문가 교육이 중요하다. 

• EPA에 대한 공통된 이해(EPA의 정의, 표준 및 적용 포함)를 확립하면 전문가가 개발 프로젝트에서 목표와 그 역할에 대해 명확히 이해할 수 있다.
• 또한 지침은 전문가들이 사용 중인 개발 방법(예: 조사, 합의 패널)을 명확히 이해할 수 있도록 한다. 이는 전문가들이 방법(예: 도구, 조사 항목)에 적절히 참여하도록 보장하는 데 필수적이다.
• 서로 지리적으로 떨어진 전문가들에 대한 온라인 교육 방법 또는 회의에서의 직접 교육 세션 중 어느 것을 통해서든 교육(프로젝트 전반에 걸쳐 진행 중인 지침)은 매우 중요합니다. 

Misconceptions about EPAs and their construction are common and can easily work their way into the final product.14,19,44,45 Recognizing that the initial list of candidate EPAs often strongly influence the final product,31,39 expert instruction early is important to avoid this threat to validity.

• Establishing a shared understanding of EPAs (including the definition, standards, and application of EPAs) ensures experts have a clear understanding of the goals and their role in the development project.
• Additionally, instruction helps ensure experts have a clear understanding of the development methods being used (e.g. surveys, consensus panels); this is essential for ensuring experts engage with the methods (e.g. tools, survey items) appropriately.46,47
• Whether through online instructional methods for distributed experts or in-person training sessions at meetings, education (and on-going instruction throughout the project) is crucial. 

후보 EPA 식별을 위한 접근방식
Approach to identifying candidate EPAs

전문가의 선발과 교육을 하고 나면, 예비 또는 "후보" EPA의 식별을 진행한다. 후보 EPA는 여러 가지 방법으로 식별할 수 있다. 예를 들어 

• 임상 실무에서 수행한 작업의 사전 기록
• 자신의 관행을 성찰하고 전문 활동을 항목화하는 의료진(예: 명목 그룹 기법)
• 안전 점검 및 회색 문헌에 발표된 것과 같은 EPA 외부 소스를 검토.

 
Following selection and instruction of experts, EPA development proceeds with identifying preliminary or “candidate” EPAs. Candidate EPAs can be identified in several ways, including:

• prospective logging of work done in clinical practice;48
• clinicians reflecting on their own practices and itemizing professional activities (e.g. nominal group techniques);11,30,39 and
• looking to external sources for EPAs, such as those published in the peer-reviewed and gray literature.4,11,30,49 

이러한 접근법 각각은 장점을 제공하지만 나름의 한계와 편향을 가져온다. 예를 들어,

• [전향적 사건 기록]은 일일 작업의 정확한 목록을 생성하지만 드물고 중요한 작업을 놓칠 수 있습니다.
• [기존 작업 성찰]은 자원을 거의 필요로 하지 않지만 가용성 편견의 영향을 받는다.
• [다른 영역의 EPA에 의존]하면 교육 조직과 전문 실무 참여의 중요한 차이를 놓칠 수 있다. 

EPA 식별 또는 일반적인 작업 분석에 이상적인 단일 프로세스는 없다.28 

Each of these approaches offers advantages but brings its own limitations and bias. For example,

• prospective event logging generates authentic lists of daily tasks but can miss rare, important tasks.
• Reflection on prior work requires few resources but is subject to availability bias.
• Relying on EPAs from other jurisdictions may miss important differences in organization of training and entry into professional practice.

There is no single, ideal process for identifying EPAs, or for work analysis in general.28 


그룹 작업group work의 맥락에서 나타나는 편향도 특정한 주의를 요한다. 합의 패널과 같은 그룹은 몇 가지 이점을 제공할 수 있다.42 대면 회의를 통해 피드백, 해석 및 개정이 그룹 토론을 통해 유동적으로 이루어질 수 있다. 이는 이해를 명확히 하고 합의를 진전시키며 결과의 품질을 향상시킬 수 있다.42 
Bias that emerges in the context of group work warrants specific attention. Groups, such as consensus panels, can offer several advantages.42 Meeting face-to-face allows feedback, interpretation, and revision to occur fluidly through group discussion; this can clarify understanding, advance consensus, and improve the quality of the outcomes.42 


또한 집단 사고 및 토론 편향과 같은 함정에 빠질 수도 있다.50,51 예를 들어, 가장 카리스마 있거나 가장 권위 있는 사람들의 의견이 토론을 지배하고, 개정을 추진하고, 결론을 도출할 수 있다.46,52 또한 영향력 있는 리더를 가진 그룹은 상충되는 피드백이나 모순되는 의견을 다룰 가능성이 낮다.42 
It can also introduce pitfalls such as groupthink and discussion bias, among others.50,51 Here, the opinions of the most charismatic or most prestigious can dominate discussions, drive revisions, and shape conclusions.46,52 Further, groups with influential leaders are less likely to address conflicting feedback or contradictory opinions.42 


[unsupervised practice]에 대한 준비 상태 결정과 같은 고부담 의사결정에 사용할 EPA를 개발하고자 한다면, 리더는 중요한 전문적 과제를 놓치지 않도록 더욱 강력한 접근방식을 채택해야 한다. 여기에는 최소한 이전에 발표된 EPA의 통합과 대표적인 전문가에게 상당한 자원 투자가 필요하지 않은 접근방식인 전문적 작업을 설명하도록 하는 것이 포함되어야 한다.

When identifying EPAs to be used in high stakes decisions, such as determining readiness for unsupervised practice, leaders should adopt a more robust approach to ensure important professional tasks are not missed. At a minimum, this should include incorporating previously published EPAs and having representative experts describe their professional work— approaches that do not require significant resource investment.

후보 EPA 수정
Revision of candidate EPAs

EPA 후보 수정에는 피드백 수집, 해석 및 EPA 변경이 포함된다.이 [반복 프로세스]는 EPA를 해당 직업의 작업에 대한 보다 타당한 설명으로 이동시키는 것을 목표로 합니다. 그러나 오류가 발생할 수도 있습니다.
revision of candidate EPAs involves collecting feedback, interpreting it, and making changes to the EPAs.ThisiterativeprocessaimstomoveEPAstoward a more valid description of the work of the profession. However, it can also introduce error.

설문을 이용한 수정
Revisions using survey methods

Delphi와 같은 설문조사 방법에서, 퍼실리테이터는 전문가들의 조사 응답에 기초하여 매 라운드 후 EPA를 개정한다. 따라서 개정안은 수집된 평가 데이터의 품질과 개정 과제를 맡은 평가 데이터의 해석에 따라 달라집니다. EPA 개발을 위한 설문조사를 구성할 때 흔히 발생하는 실수는 초점을 [EPA 명칭으로만 제한하는 것]이다. 전문가에게 EPA에 대한 상세한 설명을 제공하지 않고 조사를 통해 수집된 피드백은 EPA의 의미에 대한 다양한 이해를 반영할 수 있다. 이것은 평가관자 간 신뢰도를 떨어뜨리고 개정안을 복잡하게 만들 것이다.
In survey methods such as Delphi, facilitators revise the EPAs after each round based on the survey responses from experts. Revisions therefore depend on both the quality of survey data collected and its interpretation by those tasked with revisions. A common mistake in constructing surveys for EPA development is to limit the focus to just the EPA title. Without providing detailed descriptions of the EPAs to experts, the feedback collected through the survey may reflect different understandings of an EPA’s meaning. This will undermine interrater reliability in the survey and complicate revisions.

양질의 설문 조사 데이터가 있더라도 수정 작업을 맡은 담당자가 데이터를 올바르게 해석하는 것이 중요합니다.
Even with good quality survey data, interpreting the data correctly by those tasked with revisions is essential.

평가 응답의 평가자 간 신뢰도를 추적하는 것도 타당도 주장을 강화하는 또 다른 방법이다.11 품질에 대한 직접적인 척도는 아니지만, 전문가 간에 서로 다른 이해 또는 관련성에 대한 의견 불일치가 있는 EPA를 식별하는 데 도움이 될 수 있다.

• [평가자 간 신뢰성이 낮다]는 것은 전문가 관점의 광범위한 가변성(가능한 이상치 의견 포함)을 나타내며, 후보 EPA의 잠재적 문제에 대한 심층 평가가 필요할 수도 있고, 이상치outlier를 응답한 패널 멤버를 추적하는 데 사용할 수 있다.
• [평가자 간 신뢰성이 높으면] 전문가가 제공한 동의에 대한 신뢰를 얻을 수 있으며, 이는 재현 가능한 합의를 나타냅니다.

Tracking interrater reliability of survey responses is another way to strengthen validity arguments.11 Although not a direct measure of quality, it can help identify EPAs for which there is different understanding among experts or disagreement regarding relevance.

• Low interrater reliability indicates wide variability in expert views (including possible outlier opinions), which can be used to trigger an in-depth evaluation for potential problems with a candidate EPA or to track outlier panel members.
• High interrater reliability can provide confidence in agreement provided by experts, representing a reproducible consensus.

[Attrition]은 또 다른 잠재적 관심사이다. 초기 및 지속적인 참여는 프로젝트에 대한 전문가들의 관심 수준, 의견의 강도 또는 리더에 대한 연관성에 의해 추진될 수 있다.57 이는 프로세스가 진행됨에 따라 나타나는 전문가 풀 구성에 잠재적인 편향을 초래한다.
Attrition is another potential concern. Initial and continuing participation may be driven by the experts’ level of interest in the project, strength of opinion, or associations to its leaders.57 This introduces a potential bias in the composition of the expert pool that emerges as the process proceeds. 

그룹 방법을 사용한 개정 
Revision using group methods 

그룹 작업과 관련된 이점과 위협은 앞에서 자세히 다루었지만 이 경우에도 동일하게 관련이 있다. [회원 점검]과 [삼각측정]과 같은 통제 수단을 도입하면(예: 제3의료 교육자가 개정을 검토하도록 하는 것) 개정 프로세스에 대한 타당성 주장을 더욱 개선할 수 있다.
The advantages and threats associated with group work were addressed in detail earlier but are equally relevant here. Introducing controls such as memberchecks and triangulation (e.g. having revisions reviewed by third party medical educators) further improves validity arguments for the revision process.

EPA 수정이 설문조사든, 그룹 작업이든, 또는 이 둘의 조합으로 이루어지든 EPA의 상당한 진화를 예상할 수 있다. 
Whether revisions are accomplished through survey-based approaches, group work, or a combination, considerable evolution of the EPAs can be expected. 

합의 과정을 통한 EPA 평가
Evaluating EPAs from consensus process

EPA 식별, 설명 및 개정 후에는 제안된 EPA가 EPA 표준에 따라 구성되고 작업장 기반 사정에 유용한지 여부를 평가하는 것이 중요하다. 
After identifying, describing, and revising the EPAs, it is important to evaluate whether the EPAs proposed accurately reflect professional practice, are constructed in line with EPA standards, and are useful for deployment in workplace-based assessment. 

전문적 실무의 정확한 반영
Accurate reflection of professional practice

개발된 EPA의 평가는 EPA가 전문적 관행을 정확하게 포착했는지 검증해야 한다. 다시 말하지만, 이는 EPA 자체의 고유 품질이 아닌 전문가들의 근거 있는 판단이다. 정확성에 대한 한 가지 근거는 EPA 식별 및 개정에 따른 대응 데이터의 [정량적 분석]에서 나온다. [EPA 평가 결과]에서 [높은 전문가 간 신뢰도]가 확인된다면, 전문가 간의 합의와 EPA가 전문적인 작업을 기술하는 데 있어 EPA의 타당성을 뒷받침한다. (높은 수준의 합의 또한 전문가 간의 균질성을 반영할 수 있다는 점을 인식하는 것이 중요하다.) 
Evaluation of the EPAs developed should affirm that they accurately capture professional practice. Again, this is a grounded judgment of experts, not an inherent quality of the EPAs themselves. One source of evidence for accuracy comes from quantitative analysis of response data from the identification and revision of the EPAs. Excellent interrater reliability in ratings of the EPAs shows agreement among experts and support for the validity of the EPAs in describing professional work. (It is important to recognize that a high level of agreement may also reflect homogeneity among experts.) 

합의 패널에서는 의견의 정성적 검토를 통해 관점의 공통성 또는 불일치를 식별할 수 있다. [평가자 코멘트를 보다 엄격하게 비교 분석]하거나, [평가자 간에 표현된 일치 및 불일치 의견에 대한 검토]는 평가의 신뢰성에 대한 주장을 추가할 수 있다. 어떤 개발 방법을 사용하든, [평가자 간의 일관성/신뢰성의 확립]은 제안된 EPA가 [전문적 실천의 재현가능한 반영]이라는 주장을 강화한다. 여기에서 신뢰성 증거는 [내부 구조에 대한 타당도 증거]와 일치합니다.
In consensus panels, qualitative review of comments can identify commonality or discordance in perspectives. A more rigorous comparative analysis of rater comments or a less involved review of concordant and discordant opinions expressed among raters can add to the argument for reliability of ratings. Regardless of the development method used, establishing consistency/reliability across raters strengthens the argument that the proposed EPAs are a reproducible reflection of professional practice. Reliability evidence here aligns with validity evidence for internal structure.

EPA 평가에는 [내용 타당도 근거 조사]가 포함될 수 있다. [해당 전문직에 EPA를 매핑하는 구조화된 프로세스]는 유용한 평가 기법이다. 목표는 두 가지이다. 

• 첫째, 합의 과정에서 포착되지 않은 실제의 신뢰할 수 있는 전문적 작업을 식별하는 것이고, 
• 둘째, 전문 분야의 핵심 작업을 나타내지 않는 개발 프로세스에서 식별된 EPA를 찾는 것이다.

Evaluation of the EPAs may also include examination for content validity evidence. A structured process for mapping the EPAs identified onto the profession they describe is a useful evaluative technique. The goal is two-fold:

• first, to identify entrustable professional tasks in practice that have not been captured in the consensus process; and
• second, to spot EPAs identified in the development process that do not represent core work in the specialty. 

 

또한 EPA는 [다른 국가jurisdiction]의 [같은 전공 또는 전문직]에서 개발된 EPA와 비교/대조해볼 수 있다. 수렴 또는 발산는 [다른 변수와의 관련성 타당도]의 증거를 제공할 수 있다.11
Additionally, EPAs can be compared and contrasted with EPAs developed for the same specialty or profession in other jurisdictions. Convergence and/or divergence can provide evidence of validity in relation to other variables.11


확립된 표준에 부합하는 EPA
EPAs align with established standards

또한 EPA가 문헌에 확립된 표준을 준수하는 것이 중요하다. 기존에 확립된 표준established standards은 [competent professional standard에 근거하여 향후 임상 수행능력을 신뢰성 있게 예측하는 학습자 평가]를 위한 EPA의 사용을 지원하기 위해 의도적으로 작성되었다. 이러한 목표를 달성하는 것은 [unsupervised practice(또는 임상 책임의 gated promotion)을 위한 관문의 역할]을 하여, CBME에 필수적입니다.

It is also important the EPAs align with established standards in the literature. These standards were intentionally laid out to support the use of EPAs to enable learner assessment that reliably predicts future clinical performance with respect to a competent professional standard. Achieving this goal is fundamental to their deployment in CBME as gateways to unsupervised practice (or other gated promotions in clinical responsibility). 

이러한 확립된 표준에 대한 정렬을 위한 EPA 평가는 품질 측정(즉, 표준과의 정렬) 및 개선 영역을 식별하도록 특별히 설계된 루브릭을 사용해 수행할 수 있다. Taylor 등은 또한 교육 전문가가 EPA에 적용하는 품질 관리 루브릭quality control rubric의 적용에 신뢰성을 입증하기 위해 일반화 연구를 사용했다. 이러한 루브릭 중 하나를 사용하여 도출된 데이터를 분석하여 [EPA 평가rating]에 있어 [전문가들의 일관성]에 대한 추가 증거를 찾을 수 있다.
Evaluating EPAs for alignment with these established standards can be done using rubrics specifically designed to measure quality (i.e. alignment with standards) and identify areas for improvement.44,45 Taylor et al also used a generalizability study to show reliability in the application of a quality control rubric applied by education experts to their EPAs.45 Data derived from using one of these rubrics can be analyzed to look for additional evidence of consistency among experts in rating the EPAs.11,58 

EQual,_a_Novel_Rubric_to_Evaluate_Entrustable.17.pdf

0.13MB

평가 프로그램에 EPA를 배치할 수 있다.
EPAs can be deployed in programs of assessment

마지막으로 (확인되고 설명된) [EPA가 단순히 직업의 이상적인 설명이 아니라 사용 가능한 것임을 보장]하려면 커리큘럼에서 EPA 운영 담당자들과의 초기 논의가 중요하다. 저자들은 EPA가 '타당한 것'으로 채택된 후에 이어진 수의 감소reduction in numbers를 포함하여 EPA의 프레임워크가 구현 단계에서 상당한 개정이 필요한 여러 가지 상황을 목격했다. EPA 개발의 식별, 개정 및 평가 단계에서 [실현 가능성에 주의]를 기울이면 이로 인해 발생하는 복잡성을 방지하고 제품이 목적에 적합함을 보장할 수 있다. 앞서 설명한 것처럼 학습자, 일선 평가자, 커리큘럼 리더 등을 포함할 수 있는 [리액터 패널]은 제안된 EPA의 강점, 약점 및 사용 편의성에 대한 피드백을 제공한다.

Finally, early discussions with those responsible for operationalizing EPAs in curricula are crucial for ensuring that EPAs (as they are identified and described) are not simply an idealized description of the profession but feasible to use. The authors have witnessed several situations in which a framework of EPAs required significant revision at the phase of implementation, including reduction in numbers after the EPAs had been adopted as ‘valid’. Attention to feasibility during the identification, revision, and evaluation phases of EPA development can help avoid the complications this creates and ensure the product is fit for purpose. As described earlier, reactor panels, which may include learners, frontline assessors, curriculum leaders, and others, provide feedback on the strengths, weaknesses, and usability of proposed EPAs.59

EPA의 공식 채택
Formal adoption of EPAs

EPA 개발에 대한 [결과적 증거consequential evidence]는 EPA 프레임워크 채택이 주요 이해관계자(학습자, 환자 및 사회)에 미치는 영향을 검토한다. 결과 증거를 확립하려면 먼저 EPA에 대한 위탁 의사결정 프로세스와 환자 치료에 대한 책임을 학습자에게 위임하는 데 이 프로세스를 적용하는 방법을 명확히 설명해야 한다. 환자와 학습자에게 발생하는 Consequences가 드러나는 것은 결국 위탁 결정의 operationalizing이다.
Consequential evidence for EPA development looks at the impact that adoption of the EPA framework will have on the key stakeholders: learners, patients, and society. Establishing consequential evidence first requires clear articulation of the entrustment decisionmaking process for the EPAs and how it will be applied in delegating responsibility to learners for patient care. It is in operationalizing entrustment decisions that consequences—for patients and for learners—emerge.

• 이러한 EPA의 구현이 학습자에게 실무로 전환하기 위한 불필요하게 어려운 장벽, 즉 환자 안전을 유의미하게 발전시키지 않는 장벽을 만들고 있는가? 
• 아니면 반대로, 환자안전에 대한 사회의 이익을 불충분하게 보호하는 위탁의 기준이 되는가?

 

• Does the implementation of these EPAs create an unnecessarily challenging barrier to learners to transition into practice, a barrier that does not meaningfully advance patient safety? 
• Or contrastingly, does it set a standard for entrustment that insufficiently protects society’s interests for patient safety? 

이는 수련과정에서 생성된 결과 데이터가 없을 경우 명확히 표현하기 어려울 수 있는 정성적 판단이다. 그럼에도 불구하고, 이는 직장 기반 평가에 대한 그러한 중요한 변화에서 기술해야 할 가장 필수적인 근거 소스 중 하나이다. 가능한 경우 의료 시스템 내의 건강 결과 데이터를 고려하고 알려진 환자 안전 문제를 고려해야 한다. 또한 EPA 채택이 가질 수 있는 교육생 사이에서 [certification rates에 예상되는 영향]과 [제공자에 대한 사회적 요구]를 고려해야 한다. 
This is a qualitative judgment that can be difficult to articulate in the absence of outcome data from training. Nonetheless, it is among the most essential sources of evidence to describe in such a high-stakes change to workplace-based assessment. It should include consideration of health outcomes data within the health care system where available and consider known patient-safety concerns. It should also consider societal needs for providers and any anticipated impact on certification rates among trainees that adoption of the EPAs may have. 

리소스 밸런싱 및 유효성 필요성
Balancing resources and the need for validity

모든 EPA 기반 평가 또는 모든 위탁 결정이 학습자 또는 환자에 대한 높은 위험 결정을 나타내는 것은 아니다. 임상실습 시작 또는 수료, 레지던트 등록 및 레지던트 내 교육 단계를 포함한 중간 단계의 교육을 위해 EPA가 개발되고 있다. 이러한 한계liminal EPA 또는 내포nested EPA의 식별 및 설명 작업은 그에 따른 consequence가 낮으며, 따라서 타당성 증거에 대한 부담도 낮다.

Not all EPA-based assessments, nor all entrustment decisions, represent high stakes decisions for learners or patients. Increasingly, EPAs are being developed for intermediate stages in training including entry to or completion of clerkship,21,32 entry to residency,2,4 and even stages of training within residency.3 Work identifying and describing these liminal or nested EPAs carries less consequence, and thus a lower burden for evidence of validity. 

EPA 개발에 있어 타당성에 대한 증거를 어디까지 추구할지를 결정하는 공식은 없다. 다른 프로젝트와 마찬가지로 리더는 프로젝트의 목표에 따라 상대적 편익과 비용을 판단해야 한다. 가끔은 정말 단순한 것이 더 낫다.
There is no formula for determining how far to pursue evidence for validity in developing EPAs; as in other projects, leaders must judge the relative benefits and costs given the goals of the project. Sometimes simpler really is better.

결론
Conclusion

이러한 목적으로 식별 및 채택된 EPA는 해당 직업의 작업을 정확하게 포착해야 한다. 또한 EPA는 적용 상황에 적합해야 한다. 의대 졸업을 위해 설계된 EPA는 다른 관할권의 의대 졸업자에게 예상되는 practice에 따라 반드시 달라져야 한다. (예를 들어, 독립적인 실무, 제한된 실무 또는 대학원 의학 교육 프로그램의 추가 훈련). 보건 전문가 교육에 있어 EPA 프레임워크의 성공적인 구현은 해당 프레임워크의 구성과 적용 상황에 세심한 주의를 기울이는 것으로 시작해야 한다.

EPAs identified and adopted for this purpose must accurately capture the work of the profession. Further, EPAs must also be suited to their context of application—EPAs designed for the end of medical school should necessarily vary depending on the practice expectations for medical school graduates in different jurisdictions (e.g. independent practice, restricted practice, or further training in graduate medical education programs). Successful implementation of EPA frameworks in health professions training must begin with careful attention to their construction and context of application.




TouchieC,BoucherA,AllenT,etal.Entrustableprofessional activities for the transition from medicalschool to residency.Ottawa;2016:1–25. https://afmc.ca/sites/default/files/documents/AFMC_Entrustable_Professional_Activities_EN_0.pdf. 

210716 EPA Development Constructing Approaches UME Residency AFMC_Entrustable_Professional_Activities_EN-2021 (★★).pdf

0.97MB

. Chen HC, McNamara M, Teherani A, Cate OT,O’Sullivan P. Developing entrustable professional activities for entry into clerkship. Acad Med. 2016;91(2):247–255. doi:10.1097/ACM.0000000000000988. 

 

 

---

Teach Learn Med. Jan-Mar 2021;33(1):89-97.

 doi: 10.1080/10401334.2020.1784740. Epub 2020 Jul 7.

Constructing Approaches to Entrustable Professional Activity Development that Deliver Valid Descriptions of Professional Practice

David Taylor 1, Yoon Soo Park 2, Christopher Smith 1, Olle Ten Cate 3, Ara Tekian 3

Affiliations collapse

Affiliations

• 1Department of Medicine, Queen's University, Kingston, Canada.
• 2Department of Medical Education, University of Illinois at Chicago, Chicago, Illinois, USA.
• 3Center for Research and Development of Education, University Medical Center Utrecht, Utrecht, The Netherlands.

• PMID: 32634323
• DOI: 10.1080/10401334.2020.1784740AbstractKeywords: Assessment; competency-based medical education; consensus; construct validity; entrustable professional activities.
• Issue: Entrustable Professional Activities (EPAs) describe the core tasks health professionals must be competent performing prior to promotion and/or moving into unsupervised practice. When used for learner assessment, they serve as gateways to increased responsibility and autonomy. It follows that identifying and describing EPAs is a high-stakes form of work analysis aiming to describe the core work of a profession. However, hasty creation and adoption of EPAs without rigorous attention to content threatens the quality of judgments subsequently made from using EPA-based assessment tools. There is a clear need for approaches to identify validity evidence for EPAs themselves prior to their deployment in workplace-based assessment. Evidence: For EPAs to realize their potential in health professions education, they must first be constructed to reflect accurately the work of that profession or specialty. If the EPAs fail to do so, they cannot predict a graduate's readiness for or future performance in professional practice. Evaluating the methods used for identification, description, and adoption of EPAs through a construct validity lens helps give leaders and stakeholders of EPA development confidence that the EPAs constructed are, in fact, an accurate representation of the profession's work. Implications: Application of a construct validity lens to EPA development impacts all five commonly followed steps in EPA development: selection of experts; identification of candidate EPAs; iterative revisions; evaluation of proposed EPAs; and formal adoption of EPAs into curricula. It allows curricular developers to avoid pitfalls, bias, and common mistakes. Further, construct validity evidence for EPA development provides assurance that the EPAs adopted are appropriate for use in workplace-based assessment and entrustment decision-making.