졸업후의학교육에서 공유의사결정을 위한 EPA 식별하기: 국가 델파이 연구(Acad Med, 2021)

졸업후의학교육에서 공유의사결정을 위한 EPA 식별하기: 국가 델파이 연구(Acad Med, 2021)
Identifying Entrustable Professional Activities for Shared Decision Making in Postgraduate Medical Education: A National Delphi Study 
Anouk Baghus, MD, MSc, Esther Giroldi, PhD, Jean Muris, MD, PhD, Anne Stiggelbout, PhD, Marjolein van de Pol, MD, PhD, Angelique Timmerman, PhD, and Trudy van der Weijden, MD, PhD 

공유 의사 결정(SDM)은 현재 환자를 의료 의사 결정에 참여시키기 위해 선호되는 접근 방식이며 좋은 환자 치료의 정점으로 간주됩니다.1-6 이 대화형 프로세스에서 임상의와 환자는 함께 환자의 정보에 입각한 선호도와 임상 증거를 바탕으로 신중한 결정을 내리기 위해 협력합니다.7 
Shared decision making (SDM) is the current preferred approach to involve patients in medical decision making and is considered the pinnacle of good patient care.1–6 In this interactive process, clinicians and patients work together to make deliberate decisions based on the patient’s informed preferences and clinical evidence.7

임상의와 환자 모두 SDM의 중요성을 인식하고 있지만,8,9 SDM은 임상에서 일상적으로 적용되지 않습니다.10,11 이러한 성과 격차로 인해 전 세계적으로 SDM 교육이 더욱 강조되고12,13 중요한 의료 역량 프레임워크에 SDM이 포함되었습니다.14,15 일상적인 임상에서 SDM 적용의 낮은 일관성은 SDM 기술 학습과 실행 사이의 전이가 복잡하다는 것을 반영하는 것일 수 있습니다.12,13,16 
Although the importance of SDM is recognized by both clinicians and patients,8,9 SDM is not routinely applied in clinical practice.10,11 This performance gap has resulted in more emphasis on training in SDM worldwide12,13 and including SDM in important medical competency frameworks.14,15 The low consistency in application of SDM in routine clinical practice may reflect the complexity of transfer between learning and practicing SDM skills.12,13,16

우리는 이러한 전이transfer를 지원함으로써 전문적 실무에서 SDM의 지속 가능한 구현을 강화할 수 있을 것으로 기대합니다. 이러한 전이는 실제 임상 환경에서 복잡한 기술을 학습하고, 강력한 경험에 의해 촉발되고, 임상 성과에 대한 성찰에 의해 주도될 때 가장 효과적이라고 가정합니다.17-19 우리는 자기 주도적 직장 학습에 SDM을 통합하는 것이 효과적일 것으로 기대하지만, 임상 실습에서 SDM에 필요한 역량에 대한 합의가 부족하면 원하는 교육 결과에 부정적인 영향을 미칠 수 있습니다.20,21 
We expect that supporting this transfer will enhance sustainable implementation of SDM in professional practice. This transfer is assumed to be most effective when complex skills are learned within the authentic clinical environment, triggered by powerful experiences and driven by reflection on clinical performance.17–19 Although we expect that integrating SDM in self-directed workplace learning will be effective, the lack of consensus on the needed competencies for SDM in clinical practice may negatively affect desired training outcomes.20,21

졸업후 의학 교육은 복잡한 역량의 자기주도적 직장 학습을 위한 이상적인 학습 환경으로 여겨집니다.22 복잡한 역량을 임상 실무로 이전하는 것은 많은 졸업후 의학 교육 프로그램에서 위탁 가능한 전문 활동(EPA)을 공식화함으로써 최적화됩니다.23-26 역량은 태도, 지식, 행동을 결합하는 일반적인generic 성격이지만, EPA는 이러한 역량을 임상 실무로 전환하는 전문직의 언어로 공식화됩니다. EPA는 집중적인 관찰과 피드백을 지원하는 데 사용되므로 학습자의 레퍼토리에 복잡한 SDM 행동을 통합하는 데 사용할 수 있습니다.18,19 이 연구의 목적은 졸업후 의학 교육 중에 가르쳐야 하는 SDM 및 관련 행동 지표에 대한 EPA에 대한 합의를 도출하는 것이었습니다.
Postgraduate medical education is believed to be the ideal learning environment for self-directed workplace learning of complex competencies.22 The transfer of complex competencies to clinical practice is optimized in many postgraduate medical training programs by formulating entrustable professional activities (EPAs).23–26 While competencies are generic in nature—combining attitude, knowledge, and behavior—EPAs are formulated in the language of the profession that translates these competencies into clinical practice. EPAs are used to support focused observation and feedback and can therefore be used to foster the integration of complex SDM behavior into the learner’s repertoire.18,19 The aim of this study was to reach consensus on EPAs for SDM and associated behavioral indicators that need to be taught during postgraduate medical education.

방법
Method

배경
Context

우리는 모든 의학 전문과에서 사용할 수 있는 SDM을 위한 EPA를 개발하는 것을 목표로 했습니다. 네덜란드에서는 네덜란드 왕립 의학협회에서 정한 국가적 요구사항에 따라 의학 전문 부서가 네덜란드 졸업후 의학 교육의 커리큘럼을 조정합니다. 교육 기간은 전문 분야에 따라 2년에서 7년까지 다양하며, 프로그램은 직장 기반 교육과 정규 교육이 균형을 이루고 있습니다. 2015년부터 네덜란드의 졸업후 의학 전문 교육 프로그램에서는 CanMEDS 역량 프레임워크에 따라 레지던트를 교육해야 합니다. 대부분의 전문과목에서 이러한 역량은 레지던트의 개발과 필요한 감독 수준을 결정하는 데 사용되는 특정 EPA로 변환됩니다.24,27 일부 졸업후 커리큘럼에서는 임상에서 필요한 구체적인 업무와 행동이 명시되어 있지 않지만 SDM이 중요한 주제 또는 커뮤니케이션 역량 중 하나로 언급됩니다. 

We aimed to develop EPAs for SDM that can be used in all medical specialties. In the Netherlands, medical specialty departments coordinate the curricula of Dutch postgraduate medical education, based on national requirements set by the Royal Dutch Medical Association. The duration of the training programs varies between 2 and 7 years, depending on the specialty, and the programs balance workplace-based training and formal education. Since 2015, postgraduate medical specialty training programs in the Netherlands have been required to train residents according to the CanMEDS competency framework. For most medical specialties, these competencies are translated into specific EPAs used to determine the development of the resident and the level of supervision needed.24,27 In some postgraduate curricula, SDM is mentioned as an important theme or as one of the communication competencies although the specific tasks and behaviors that are needed in clinical practice are not spelled out.

디자인
Design

우리는 2017년 4월부터 8월까지 네덜란드 전문가들을 대상으로 수정된 온라인 델파이 연구를 실시하여 졸업후 의학교육을 위한 SDM EPA 및 기본 행동 지표에 대한 합의를 도출했습니다.

• 델파이 기법은 의학교육 연구에 널리 사용되는 합의 방법입니다.28-31 이 기법은 특정 주제에 대한 합의에 도달하기 위해 설문지 또는 "라운드"를 여러 번 반복하여 사용하며, 각 연속 라운드마다 연구자는 이전 라운드의 결과를 피드백합니다. 합의에 도달하려면 최소 2번의 라운드가 연속적으로 진행되어야 합니다.32-34

We conducted a modified online Delphi study among Dutch experts between April and August 2017 to reach consensus on SDM EPAs and underlying behavioral indicators for postgraduate medical education.

• The Delphi technique is a widely used consensus method for medical education research.28–31 This technique uses multiple iterations of questionnaires or “rounds” to reach agreement on a specific topic; for each successive round, the researcher feeds back the results of the previous round. At least 2 successive rounds must be carried out to reach consensus.32–34 

우리는 기존 문헌과 인터뷰 연구를 통해 첫 번째 델파이 라운드에서 사용된 EPA 및 행동 지표 목록을 개발했습니다.

• 첫째, A.B.는 SDM 프레임워크, 역량 및 행동을 설명하는 주요 출판물을 검토하고13,21,35-37 스노우볼 방법과 웹 오브 사이언스에서 관련 인용을 통해 보완했습니다.
• 둘째, 네덜란드의 SDM, 의사-환자 커뮤니케이션, 의학교육 전문가를 대상으로 인터뷰 연구(다른 곳에 보고될 예정)를 실시했습니다. A.B.는 17회의 반구조화된 대면 인터뷰를 실시했습니다. 모든 인터뷰는 데이터 수집 및 분석의 반복적인 과정을 통해 오디오 녹음, 전사, 주제별 분석이 이루어졌습니다.
• 문헌 검토와 인터뷰 결과를 종합하여 ten Cate의 가이드라인에 따라 EPA와 행동 지표를 공식화했습니다.24
• 우리는 이 목록을 SDM 전문가로 구성된 국가 자문위원회와 논의하고 다양한 배경(의사, SDM 연구자, 교육자)을 대표하는 연구팀이 설문지의 내용과 형식에 대해 합의에 도달할 때까지 이 목록을 편집했습니다. 

We developed the list of EPAs and behavioral indicators used in the first Delphi round by using existing literature and an interview study.

• First, A.B. reviewed key publications describing SDM frameworks, competencies, and behaviors,13,21,35–37 complemented by the snowball method and relevant citations from the Web of Science.
• Second, we conducted an interview study (which will be reported elsewhere) with Dutch experts in SDM, doctor–patient communication, and medical education. A.B. conducted 17 semistructured face-to-face interviews. All interviews were audiotaped, transcribed, and thematically analyzed during an iterative process of data collection and analysis.
• Combining the findings of the literature review and interviews, we then formulated the EPAs and behavioral indicators according to ten Cate’s guidelines.24 
• We discussed this list with our national advisory board, consisting of SDM experts, and edited this list until our research team, representing a variety of backgrounds (medical doctors, researchers in SDM, and educationalists), reached consensus regarding the content and formatting of our questionnaire.

참여자
Participants

우리는 의도적 표본 추출을 통해 잠재적 전문가 패널의 명단을 작성했으며,38 SDM, 의사-환자 커뮤니케이션, 의학 교육에 대한 전문성과 특별한 관심을 기준으로 삼았습니다. 가정의학과 직업 교육에는 의료 커뮤니케이션 교육이 포함된 오랜 전통이 있기 때문에 이 분야에서 일하는 전문가를 우선적으로 고려했습니다. 전체 목록에는 다음 등이 포함되었습니다. 

• (1) 일상적인 환자 진료에 종사하는 임상의,
• (2) SDM에 특별한 관심이 있는 환자 대표,
• (3) 의료 커뮤니케이션, SDM 또는 근거 기반 의학(EBM) 분야의 트레이너, 코디네이터, 교육 개발자,
• (4) SDM, 의료 커뮤니케이션, 환자 참여 분야의 연구자

연구 목적, 절차, 시간 투자에 대한 정보를 담은 이메일을 통해 57명의 잠재적 전문가 패널을 초대했습니다. 그런 다음 사전 동의를 얻은 후 참여에 동의한 사람들을 첫 번째 델파이 라운드에 초대했습니다(네덜란드 의학교육협회 윤리심의위원회, 파일 번호 894). 연구 기간 동안 이전 라운드를 완료한 모든 전문가 패널은 다음 델파이 라운드에 초대되었습니다. 연구 조교가 전문가들의 익명성을 유지하기 위해 분석 전에 모든 설문조사 데이터를 가명 처리했습니다.
We compiled a list of potential expert panel members using purposive sampling,38 based on expertise and special interest in SDM, doctor–patient communication, and medical education. Because family medicine vocational training has a long tradition of including training in medical communication, experts working in this field were preferred. The full list included

• (1) clinicians active in routine patient care;
• (2) patient representatives with a special interest in SDM;
• (3) trainers, coordinators, and educational developers in medical communication, SDM, or evidence-based medicine (EBM); and
• (4) researchers in SDM, medical communication, and/or patient participation.

We invited 57 potential expert panel members via an email with information about the purpose of the study, procedure, and time investment. We then invited those who agreed to participate to the first Delphi round after obtaining informed consent (Ethical Review Board of The Netherlands Association for Medical Education, file number 894). During the study, all expert panel members who finished a previous round were invited to participate in the next Delphi round. A research assistant pseudonymized all survey data before analysis to maintain the experts’ anonymity.

데이터 수집
Data collection

웹 기반 서비스 도구인 Qualtrics(미국 유타주 프로보 소재)를 사용하여 3라운드의 수정된 온라인 델파이 연구를 수행했습니다. 그림 1은 각 라운드의 중점 사항과 그 결과를 요약한 것입니다. 델파이 1, 2, 3라운드는 각각 2주, 3주, 6주 동안 진행되었습니다(1라운드, 4월 19일~5월 2일, 2라운드, 5월 29일~6월 19일, 3라운드, 7월 13일~8월 25일). 연구에 참여하지 않은 전문가 7명을 대상으로 1차 설문지를 시범 실시한 후 설문지의 텍스트와 레이아웃을 수정했습니다. 

We performed a 3-round modified online Delphi study using the web-based service tool Qualtrics (Qualtrics, Provo, Utah). Figure 1 summarizes the focus of each round and their outcomes. The first, second, and third Delphi rounds lasted 2, 3, and 6 weeks, respectively (Round 1, April 19 to May 2; Round 2, May 29 to June 19; Round 3, July 13 to August 25). After piloting the first-round questionnaire with 7 experts who did not participate in the study, we modified the text and layout of the questionnaire.

우리는 졸업후 교육을 마친 후 전공의들이 수행할 수 있는 EPA에 대한 합의를 도출하는 것을 목표로 했습니다. 각 EPA와 행동 지표에 대해 다음 두 가지 문항을 제시했습니다:

• "나는 이 EPA/행동 지표를 교육 커리큘럼에 포함시키고 싶다",
• "이 EPA/행동 지표는 임상에서 적용할 수 있다".

전문가들은 7점 리커트 척도(1=강력히 동의하지 않음~7=강력히 동의함)로 EPA와 행동 지표를 평가하도록 요청받았습니다. 첫 번째 탐색 라운드에서 응답자들은 이 두 가지 문항에 대해 EPA 및 행동 지표 목록을 평가했습니다. 각 라운드에서 의견과 피드백(예: 점수 설명, 텍스트 변경에 대한 제안, 추가 EPA 및 행동 지표)을 위한 열린 텍스트 상자를 제공했습니다. 첫 번째 라운드에서는 참가자의 인구통계학적 특성을 평가했습니다.
We aimed to achieve consensus on EPAs that residents are able to carry out after completing their postgraduate education. We presented these 2 statements for each EPA and behavioral indicator:

• “I do like to include this EPA/behavioral indicator in the educational curriculum” and
• “this EPA/behavioral indicator is applicable in clinical practice.”

Experts were asked to rate the EPAs and behavioral indicators on a 7-point Likert scale (1 = strongly disagree to 7 = strongly agree). In the first exploratory round, respondents rated a list of EPAs and behavioral indicators on these 2 statements. In each round, we provided open text boxes for comments and feedback (e.g., clarification of scores and suggestions for textual changes and additional EPAs and behavioral indicators). We assessed the demographic characteristics of the participants during the first round.

각 설문 항목에 대한 1차 결과의 개인 절대 점수와 그룹 평균 점수에 대한 개요를 제공하고, 1차 분석 후 EPA 및 행동 지표에 대한 수정 사항을 반영한 새로운 버전의 설문지를 제공하는 것으로 2차 조사를 시작했습니다. 다시 한 번 전문가들에게 1차에서 사용된 2개의 문항에 대해 각 EPA와 행동 지표를 평가해 달라고 요청했습니다. 이번 라운드에서는 다음을 목표로 삼았습니다.

• (1) 최종 목록에 포함해야 할 EPA 및 행동 지표에 대한 합의를 도출하고,
• (2) 여전히 합의가 이루어지지 않은 EPA 및 행동 지표를 다시 수정하는 것

We started the second round by providing an overview of the absolute personal scores and mean group scores resulting from the first round, for each questionnaire item, and a new version of the questionnaire, reflecting revisions we had made to the EPAs and behavioral indicators after our analysis of the first round. Again, we asked experts to rate each EPA and behavioral indicator on the 2 statements used in the first round. In this round, we aimed

• (1) to reach consensus on which EPAs and behavioral indicators needed to be included in a near-final list and
• (2) to revise again those EPAs and behavioral indicators for which there was still not consensus.

3차 회의는 두 부분으로 진행되었습니다. 

• 먼저, 2차 라운드에서 전문가들이 합의에 이르지 못한 행동 지표와 2차 라운드 분석 후 재구성한 행동 지표를 제시했습니다. 전문가들에게 재구성한 행동 지표에 대한 평가를 요청하고, 이번 라운드에서 합의에 도달하면 새로운 버전이 최종 EPA 및 행동 지표 목록에 추가될 것임을 알렸습니다.
• 둘째, 두 번째 라운드에서 합의에 도달한 EPA 및 행동 지표의 목록을 제시했습니다. 전문가들에게 다음과 같은 질문을 던졌습니다: "졸업후 의학교육을 위한 거의 최종 단계에 이른 이 SDM EPA 및 행동 지표 목록에 동의하십니까?" 응답 옵션은 "예"와 "아니오"였습니다.

The third round had 2 parts.

• First, we presented the behavioral indicators on which our experts had not reached consensus in the second round and which we had reformulated after the analysis of the second round. We asked the experts to rerate the reformulated behavioral indicators, informing them that the new versions would be added to the final list of EPAs and behavioral indicators if they reached consensus during this round.
• Second, we presented a list of EPAs and behavioral indicators on which they had reached consensus in the second round. We asked the experts this question: “Do you agree with this near-final list of SDM EPAs and behavioral indicators for postgraduate medical education?” Response options were “yes” and “no.”

데이터 분석
Data analyses

설문지의 정량적 구성요소는 Windows용 SPSS 24(IBM Corp., Armonk, New York)의 기술통계 프로그램을 사용하여 분석했습니다. 델파이 연구에서 합의에 대한 표준 정의가 없기 때문에2 연구팀은 첫 번째 두 라운드에서 개별 EPA 및 행동 지표에 대한 합의를 중앙값이 6점 이상이고 전문가 패널의 75% 이상이 "나는 이 EPA/행동 지표를 교육 과정에 포함시키고 싶다"는 문항에 6점 이상을 부여하는 것으로 정의하기로 합의했습니다. 우리는 교육 커리큘럼에 포함되어야 하는 SDM EPA 및 행동 지표에 대한 전체 개요를 개발하는 것을 목표로 했기 때문에 이 문항에 중점을 두었습니다. 우리는 3라운드에서 거의 최종 단계에 이른 EPA 및 행동 지표 목록에 대한 합의를 전문가 패널의 80% 이상 동의로 정의했습니다. 
We analyzed the quantitative components of the questionnaires using descriptive statistics in SPSS 24 for Windows (IBM Corp., Armonk, New York). Since there are no standard definitions for consensus in a Delphi study,2 the research team agreed to define consensus on individual EPAs and behavioral indicators in the first 2 rounds as a median score of ≥ 6 and ≥ 75% of the expert panel assigning a score of ≥ 6 to the statement, “I do like to include this EPA/behavioral indicator in the educational curriculum.” We focused on this statement since we aimed to develop a complete overview of SDM EPAs and behavioral indicators that need to be included in the education curriculum. We defined consensus on the near-final list of EPAs and behavioral indicators as ≥ 80% agreement of the expert panel in Round 3.28

A.B.는 열린 텍스트 상자에 제공된 모든 정성적 피드백을 그룹화하여 반복되는 주제를 식별했으며, 연구팀은 각 라운드가 끝난 후 EPA와 행동 지표를 재구성해야 하는지, 그렇다면 어떻게 재구성해야 하는지 논의하는 데 사용했습니다. 전문 번역가가 최종 EPA와 행동 지표를 영어로 번역한 다음, 영어와 SDM 및 의학교육 관련 용어에 능통한 네덜란드 원어민이 이를 다시 네덜란드어로 번역하여 번역의 정확성을 검증했습니다. 연구팀은 최종 영어 번역본을 승인했습니다. 
A.B. grouped all the qualitative feedback provided in the open text boxes to identify recurring themes, which the research team used after each round in discussing whether the EPAs and behavioral indicators should be reformulated and if so, how. A professional translator translated the final EPAs and behavioral indicators into English, and then a native Dutch speaker proficient in English and terms specific to SDM and medical education translated them back into Dutch to verify the accuracy of the translations. The research team approved the final English translation.

결과
Results

델파이 절차
Delphi procedure

초청된 57명의 잠재적 전문가 패널 중 35명이 참여에 동의했습니다(응답률 61%). 32명의 전문가 패널이 1차 설문을 완료했습니다(응답률 91%). 2명의 전문가가 시간 부족으로 설문지를 작성하지 않았고, 1명의 전문가가 의학교육에 대한 지식 부족으로 불참을 결정했습니다. 1차 설문을 완료한 전문가 32명 전원이 2차 및 3차 설문에도 참여했습니다. 전문가들의 연령은 31세에서 61세(평균 47세)였으며, 여성이 21명(66%)이었습니다. 전문가 패널에는 관련성이 있다고 판단되는 모든 직업적 배경이 포함되었습니다(참가자 특성은 표 1 참조). 
Of the 57 invited potential expert panel members, 35 consented to participate (a response rate of 61%). The first round was completed by 32 expert panel members (a response rate of 91%). Two experts did not complete the questionnaire due to a lack of time, and 1 expert decided not to participate due to a lack of knowledge of medical education. All 32 experts who completed the first round also completed the second and third rounds. The experts’ ages ranged from 31 to 61 years (a mean of 47 years), and 21 were women (66%). All professional backgrounds that we considered relevant were represented in our expert panel (see Table 1 for participant characteristics).

델파이 결과
Delphi results

1라운드: 1라운드에서는 전문가 패널에게 6개의 EPA와 26개의 행동 지표를 제시했습니다(라운드 요약은 그림 1과 디지털 부록 1(https://links.lww.com/ACADMED/A997)을 참조하세요). 전문가들의 피드백을 바탕으로 5개의 EPA를 수정했습니다. 

• 2개의 EPA("레지던트는 환자의 개인적 상황에 맞게 의사소통을 조정한다" 및 "레지던트는 환자에게 공유 의사 결정의 바람직성에 대해 알린다")와 관련 행동 지표가 중복되어, 이 두 개의 EPA를 "레지던트는 환자와 공유 의사 결정의 바람직성에 대해 논의한다"로 통합하고 관련 행동 지표를 이 새로운 EPA에 따라 재배치했습니다.
• 전문가들은 다른 두 가지 EPA의 중복에 대해서도 언급했습니다: "레지던트는 환자의 선호도를 탐색한다" 및 "레지던트는 환자가 옵션을 숙고하는 데 도움을 준다"와 관련된 행동 지표가 중복된다는 점을 언급했습니다. 따라서 새롭게 구성된 이 EPA에 따라 모든 행동 지표를 재정렬했습니다: "레지던트는 환자의 선호도와 숙고를 탐색한다."
• 전문가들은 "레지던트가 환자에게 관리 옵션에 대해 알려준다"는 EPA가 너무 지시적이라고 평가했기 때문에, "레지던트가 환자와 관리 옵션에 대해 논의한다"로 다시 공식화했습니다.
• "전공의는 환자와 함께 충분한 논의를 거쳐 결정을 내린다"는 EPA는 전문가들이 긍정적으로 평가하고 수정 제안을 하지 않아 변경하지 않았습니다. 

Round 1. In the first round, we presented 6 EPAs and 26 behavioral indicators to the expert panel (for a summary of the rounds, see Figure 1 and Supplemental Digital Appendix 1 at https://links.lww.com/ACADMED/A997). We revised 5 EPAs using the experts’ feedback.

• Due to overlap between 2 EPAs (“The resident tailors the communication to the patient’s personal context” and “the resident informs the patient about the desirability of shared decision making”) and their associated behavioral indicators, we combined those 2 EPAs into “the resident discusses the desirability of shared decision making with the patient” and rearranged their associated behavioral indicators under this new EPA.
• Experts also mentioned overlap between 2 other EPAs: “The resident explores the patient’s preferences” and “the resident assists the patient in deliberating the options” and their associated behavioral indicators. Therefore, we rearranged all behavioral indicators under this newly formulated EPA: “The resident explores the patient’s preferences and deliberations.”
• Because the experts evaluated the EPA “the resident informs the patient about the options for management” as too directive, we reformulated this EPA as “the resident discusses the options for management with the patient.”
• We did not change the EPA “the resident takes a well-argued decision together with the patient” because the experts evaluated it positively and made no suggestions for revision.

acadmed_2020_10_28_baghus_acadmed-d-19-02400_sdc1.pdf

0.07MB

제시된 26개의 행동 지표 중 전문가의 질적 피드백을 바탕으로 2라운드 전에 15개를 수정했습니다(보충 디지털 부록 1: https://links.lww.com/ACADMED/A997 참조). 

• "레지던트는 환자의 선호도가 환자의 관점, 개인적 목표 및 가치와 어떻게 관련되는지 명확히 설명한다"와 "레지던트는 환자가 선택지를 고려할 때 관점, 개인적 목표 및 가치를 고려하여 상담한다"라는 두 가지 행동 지표를 새로운 행동 지표로 통합했습니다: "레지던트는 환자의 선호도가 환자의 관점 및 개인적 목표와 가치에 충분히 부합하는지 논의한다."
• 또한 15개의 개정된 행동 지표 중 13개의 문구를 약간 변경했습니다. 나머지 11개 행동 지표는 긍정적으로 평가되었거나 전문가들이 수정에 대한 제안을 하지 않았기 때문에 변경하지 않고 그대로 두었습니다. 

Of the 26 behavioral indicators presented, we revised 15 before Round 2, using the experts’ qualitative feedback (see Supplemental Digital Appendix 1 at https://links.lww.com/ACADMED/A997).

• We combined the 2 behavioral indicators “the resident clarifies how the patient’s preferences relate to their perspective and personal goals and values” and “the resident counsels the patient in deliberating the options, taking perspectives and personal goals and values into account” into a new behavioral indicator: “The resident discusses whether the patient’s preferences fit in sufficiently with their perspective and personal goals and values.”
• Furthermore, we made minor textual changes to 13 of the 15 revised behavioral indicators. We left the remaining 11 behavioral indicators unchanged because they were evaluated positively and/or the experts offered no suggestions for revision.

2라운드. 2라운드에서는 1라운드의 결과물인 4개의 EPA와 25개의 행동지표를 제시했습니다(그림 1 및 디지털 부록 1 참조: https://links.lww.com/ACADMED/A997). 2라운드에서 합의가 이루어졌고 전문가들이 4가지 EPA에 대해 관련 정성적 피드백을 제공하지 않았기 때문에, 변경되지 않은 EPA를 최종 목록에 포함시켰습니다. 17개의 행동 지표에 대한 합의가 이루어졌습니다. 전문가들이 변경에 대한 관련 제안을 하지 않았기 때문에 이러한 지표는 변경하지 않고 최종 목록에 포함시켰습니다. 합의가 이루어지지 않은 8개 행동 지표 중 전문가들의 정성적 피드백을 바탕으로 2개 지표를 재구성했습니다.

• "전공의가 중립적인 태도로 자신의 선호도를 심의에 반영한다"는 행동 지표는 "입주자가 표시된 경우 자신의 선호도를 반영한다"로 재구성했습니다.
• 행동 지표 "레지던트는 (환자의) 선호도에 대한 다른 관련 의료 전문가, 친척, 친구의 정보가 의사 결정 과정에 도움이 되는 경우 심의에 포함한다"를 "레지던트는 선호도 심의에 관련성이 있는 경우 관련 제3자(의료 전문가, 친척, 친구 포함)가 제공한 정보를 포함한다"로 재구성했습니다.
• 나머지 6개 행동 지표는 전문가들이 합의에 이르지 못했고 관련 수정 제안을 하지 않았기 때문에 삭제했습니다.

Round 2. We presented the 4 EPAs and 25 behavioral indicators resulting from Round 1 in the second round (see Figure 1 and Supplemental Digital Appendix 1 at https://links.lww.com/ACADMED/A997). Because consensus was reached and the experts provided no relevant qualitative feedback on the 4 EPAs during Round 2, we included the unchanged EPAs in the near-final list. Consensus was reached on 17 behavioral indicators. Because the experts did not provide any relevant suggestions for change, we included these indicators unchanged in the near-final list. Of the 8 behavioral indicators on which no consensus was reached, we reformulated 2 using the experts’ qualitative feedback.

• The behavioral indicator “the resident introduces own preferences into the deliberation in a neutral manner” was reformulated as “the resident introduces own preferences where indicated.”
• The behavioral indicator “the resident involves information from other concerned health care professionals, relatives, and friends about the (preferences of the) patient in the deliberations, if contributing to the decision-making process” was reformulated as “the resident includes the information provided by involved third parties (including health care professionals, relatives, and friends) if this is relevant for the deliberation of preferences.”
• We removed the remaining 6 behavioral indicators because the experts did not reach consensus and did not provide any relevant suggestions for revision.

3라운드. 3라운드에서는 2라운드의 결과로 재구성한 2개의 행동 지표와 2라운드에서 전문가들이 합의에 도달한 4개의 EPA와 17개의 행동 지표의 거의 최종적인 목록을 제시했습니다. 그림 1 및 보충 디지털 부록 1 참조(https://links.lww.com/ACADMED/A997)). 
Round 3. In the third round, we presented the 2 behavioral indicators we had reformulated as a result of Round 2 and the near-final list of 4 EPAs and 17 behavioral indicators on which the experts had reached consensus in Round 2. See Figure 1 and Supplemental Digital Appendix 1 at https://links.lww.com/ACADMED/A997).

전문가들은 재구성된 2개의 행동 지표를 평가했습니다. 

• "레지던트는 지시된 경우 자신의 선호도를 소개한다"는 행동 지표에 대해서는 합의에 이르지 못했는데, 이는 "이 행동 지표를 교육 과정에 포함시키고 싶다"는 문항에 대해 56%의 전문가만이 6점 이상을 부여했기 때문입니다. 선호도를 중립적으로 진술하기 어렵기 때문에 레지던트의 선호도가 의사 결정 과정에서 환자에게 지나치게 영향을 미칠 수 있다는 의견이 주를 이뤘습니다.
• "레지던트는 선호도 심의와 관련이 있는 경우 관련 제3자(의료 전문가, 친척, 친구 등)가 제공한 정보를 포함한다"는 행동 지표를 최종 목록에 추가했는데, 중간값이 6점으로 합의가 이루어졌고 전문가의 81%가 6점 이상이었기 때문입니다(표 2 참조).

The experts rated the 2 reformulated behavioral indicators.

• No consensus was reached on the behavioral indicator “the resident introduces own preferences where indicated” because only 56% of the experts scored ≥ 6 on the statement “I do like to include this behavioral indicator in the educational curriculum.” The main argument given was that the resident’s preference might influence the patient too much in the decision-making process since it is hard to state a preference in a neutral manner.
• We added the behavioral indicator “the resident includes the information provided by involved third parties (including health care professionals, relatives, and friends) if this is relevant for the deliberation of preferences” to the final list since consensus was reached with a median score of 6, and 81% of the experts had a score ≥ 6 (see Table 2).

세 차례의 델파이 라운드 끝에 졸업후 의학교육을 위한 4개의 SDM EPA와 18개의 행동 지표에 대한 합의가 이루어졌습니다(표 2 참조). 32명의 전문가 중 30명(94%)이 이 SDM EPA 및 행동 지표 목록에 동의했습니다. 이 목록에 동의하지 않은 2명의 전문가는 어떠한 질적 피드백도 제공하지 않았습니다. 합의에 도달한 4개의 EPA는 모두 "이 EPA/행동 지표는 임상 실무에 적용 가능하다"는 문항에서 높은 평가를 받았지만, 합의에 도달한 18개의 행동 지표 중 11개에 대해서만 75% 이상의 전문가 패널이 이 문항에 6점 이상을 부여했습니다(표 2 참조). 
After 3 Delphi rounds, consensus was reached on 4 SDM EPAs and 18 behavioral indicators for postgraduate medical education (see Table 2). Of the 32 experts, 30 (94%) agreed on this list of SDM EPAs and behavioral indicators. The 2 experts who did not agree with this list did not give any qualitative feedback. All 4 EPAs on which consensus was reached also received high ratings on the statement “this EPA/behavioral indicator is applicable in clinical practice”; however, this statement was scored ≥ 6 by ≥ 75% of the expert panel on only 11 of the 18 behavioral indicators on which consensus was reached (see Table 2).

토론
Discussion

주요 결과 요약
Summary of main findings

이 델파이 연구에서 네덜란드의 다학제 전문가 32명으로 구성된 패널은 SDM의 일상적 적용을 늘리기 위해 전공의가 졸업후 의학교육 과정에서 교육받아야 하는 4개의 EPA와 18개의 관련 행동 지표에 대해 합의에 도달했습니다. 최종 목록에 대한 94%(n = 30)의 동의는 높은 수준의 합의가 이루어졌음을 나타냅니다. 
In this Delphi study, a multidisciplinary Dutch panel of 32 experts reached consensus on 4 EPAs and 18 associated behavioral indicators for SDM that residents should be trained in during postgraduate medical education to increase the routine application of SDM. The 94% (n = 30) agreement on the near-final list indicates a high degree of consensus.

주요 결과에 대한 반성
Reflection on main findings

개발된 EPA는 잘 알려진 SDM 모델과 일치하며,35,36 졸업후 의학 교육의 최종 숙련도 수준에 맞게 공식화된 SDM 행동을 설명하고 적절한 SDM을 일상적으로 적용할 수 있는 임상의를 배출하는 것을 목표로 합니다.23 기본 행동 지표는 직장 학습 중 개별 학습 요구에 따라 EPA의 구성 요소를 해결할 수 있는 여지를 제공함으로써 맞춤형 학습 과정을 지원합니다. 개발된 EPA의 의도는 이론과 실무를 연계하고 전문적 실무 단위를 설명하여 역량을 연결하는 것입니다.24 2015 CanMEDS 의사 역량 프레임워크에서 SDM의 운영은 일반적으로 3가지 역량에 설명되어 있습니다. 이는 다음에 중점을 둡니다.14

• 각 환자의 고유한 요구와 선호도, 임상 상태와 상황에 맞게 SDM을 적용하는 것,
• 환자 및 그 가족을 존중하고 비판하지 않으며 문화적으로 안전한 방식으로 논의하는 것,
• 환자의 건강에 관한 정보에 입각한 결정을 지원하기 위한 의사소통 기술과 전략을 사용하는 것

The developed EPAs, which are in line with well-known SDM models,35,36 describe SDM behaviors formulated for the end-stage proficiency level of postgraduate medical training, and aim to deliver clinicians that are able to routinely apply adequate SDM.23 The underlying behavioral indicators support tailored learning processes by providing room to address the building blocks of the EPAs, depending on individual learning needs during workplace learning. The intention of the developed EPAs is to align theory and practice and bridge competencies by describing units of professional practice.24 In the 2015 CanMEDS physician competency framework, the operationalization of SDM is generic and described in 3 enabling competencies. These focus on

• adapting SDM to the unique needs and preferences of each patient and to his or her clinical condition and circumstances;
• facilitation of discussions with patients and their families in a respectful, nonjudgmental, and culturally safe manner; and
• use of communication skills and strategies to support informed patient decisions regarding their health.14 

SDM EPA는 여러 임상적 만남에서 발생할 수 있는 의사 결정의 기본 과정을 설명하기 위해 고안되었습니다. 여기에는 의학 지식, 커뮤니케이션, 협업, EBM과 같은 역량 영역이 통합되어 있습니다. 이러한 방식으로 진행하면서 우리는 2014년 Warm 등이 레지던트를 위한 관찰 가능한 실습 활동의 매핑에 관한 연구에서 프로세스 지향으로 분류한 EPA를 개발하고자 했습니다. 이러한 EPA는 의료 분야(예: 비뇨기과 의료 분야의 요실금 평가)에 특화된 내용 중심 EPA와 구별되어야 합니다.39 2019년 EPA에 대한 범위 검토에서 Shorey와 동료들은 이러한 전문 분야별 EPA 개발에 초점을 맞춘 12개의 연구를 살펴봤는데, 대부분 의학 졸업후 교육에 관한 것이었습니다.26 SDM은 의학적 요구와 환자의 가치 및 선호도를 고려하여 의료 분야의 구체적인 임상 업무에 매핑된 역량을 상황에 맞게 적용해야 하므로, 이 연구에서 개발된 SDM EPA는 그 실행을 지원할 수 있습니다.40 
Our SDM EPAs are intended to describe the underlying process of decision making, which may take place over several clinical encounters. They integrate competency domains, such as medical knowledge, communication, collaboration, and EBM. In proceeding in this manner, we intended to develop EPAs that Warm et al categorized in their 2014 study on the mapping of observable practice activities for residents as process oriented. These EPAs must be distinguished from content-oriented EPAs, which are specific for the medical discipline (e.g., evaluating urinary incontinence in the medical discipline of urology).39 In a 2019 scoping review of EPAs, Shorey and colleagues looked at 12 studies that all focused on the development of these specialty-specific EPAs, mostly for medical graduate education.26 The SDM EPAs developed in this study may support their implementation, as SDM requires a context-specific application of competencies mapped to concrete clinical tasks of the medical discipline, taking the medical needs and the values and preferences of the patient into consideration.40

시사점
Implications

다음 단계는 기존의 역량 기반 직장 커리큘럼에 SDM EPA를 구현하는 것입니다. SDM 교육의 효과에 관한 문헌을 검토한 결과, 의료 전문가를 대상으로 한 대부분의 개입은 단일 교육 세션으로 구성되었으며, 시간이 지남에 따라 임상에서 SDM의 지속 가능한 적용이 감소하는 것으로 나타났습니다.12,41-43 임상에서 학습과 지속 가능한 적용 사이의 전달 격차를 해소하고 미래 임상의의 전문 레퍼토리에 SDM EPA를 통합하는 것을 지원하기 위해 종단적 직장 교육이 필요합니다.22 확인된 EPA는 임상에서 SDM 과정을 관찰하고 이러한 관찰을 기반으로 의미 있는 피드백을 제공하기 위한 도구로 사용될 수 있습니다. SDM EPA가 전문성 개발을 지원하려면 개별 학습 과정이 시작점이 되어야 하며, 이를 통해 EPA를 박스 체크 연습으로 사용하는 것을 방지할 수 있습니다. 현재 전문의 수련에서 EPA가 사용되는 방식에 따라, 확인된 EPA는 레지던트의 역량 수준을 평가하는 데 지침이 될 수도 있습니다. 또한, 적절한 역할 모델링은 직장 기반 학습에 필수적이므로 임상 수퍼바이저의 지속적인 전문 교육에 EPA를 통합하여 SDM 역량을 강화할 수 있습니다. SDM은 EBM의 핵심 구성요소이며, 문헌에 따르면 레지던트들이 환자 중심 의사소통과 같은 복잡한 기술을 의료 전문 지식과 통합할 때 가장 효과적으로 학습하는 것으로 나타났기 때문에,18,19 졸업후 EBM 커리큘럼에 SDM EPA를 통합할 것을 제안합니다.17,19 추가 연구를 통해 SDM 학습에 대한 잠재적 장벽 및 촉진 요인을 해결하고 학습자에게 임상에서 SDM을 실천할 수 있는 구체적인 언어의 예를 제공할 필요가 있습니다.
A next step is the implementation of the SDM EPAs in existing competency-based workplace curricula. A review of the literature on the effects of training SDM showed that most interventions with health professionals consisted of single training sessions and that sustainable application of SDM in clinical encounters diminished over time.12,41–43 Longitudinal workplace training is necessary to bridge the transfer gap between learning and sustainable application in clinical practice and to support integration of the SDM EPAs into the professional repertoire of future clinicians.22 The identified EPAs can be used as a tool for observing the SDM process in clinical encounters and for providing meaningful feedback based on these observations. For the SDM EPAs to support the development of expertise, individual learning processes should be a starting point to prevent using the EPAs as a box-checking exercise. In line with how EPAs are currently used in medical specialty training, the identified EPAs may also guide the assessment of the resident’s level of competence. Additionally, the EPAs can be incorporated into the continuous professional education of clinical supervisors to enhance their SDM competence since adequate role modeling is essential in workplace-based learning. Because SDM is a key component of EBM and literature shows that residents learn complex skills such as patient-centered communication optimally when these skills are integrated with medical expertise,18,19 we suggest integrating SDM EPAs into the postgraduate EBM curricula.17,19 Further research needs to address potential barriers to and facilitators for learning SDM and to provide learners with examples of concrete language to practice SDM during their clinical encounters.

강점과 한계
Strengths and limitations

저희가 알기로는 SDM에 대한 EPA와 행동 지표에 대한 연구는 이번이 처음입니다. 델파이 기법은 EPA와 행동지표에 대한 합의를 도출하는 데 적합한 접근법이라고 생각하며, 전문가들이 익명으로 개별적으로 설문지를 작성하도록 하여 다른 패널의 직접적인 영향을 제한하고 개별 의견에 동등한 가중치를 부여했습니다.29-31 이전 라운드의 결과를 다음 라운드에 피드백함으로써 다른 전문가들의 평가와 관련하여 초기 의견을 재고하도록 장려하고자 했습니다. 
To our knowledge, this is the first study on EPAs and behavioral indicators for SDM. We believe the Delphi technique is a suitable approach to gain consensus on EPAs and behavioral indicators; we limited direct influence of other panel members and weighted individual opinions equally by having the experts fill in questionnaires anonymously and individually.29–31 By feeding back the results of the previous round to the next, we intended to promote reconsideration of initial opinions in relation to other experts’ ratings.

참여자의 배경이 다양하고 관련성이 있다고 판단되는 모든 배경이 참여함으로써 개발된 EPA의 품질이 향상되었다고 생각합니다. 이러한 EPA의 품질은 졸업후 의학 교육에 적용하기가 더 쉬워질 수 있습니다. 첫 번째 라운드를 완료한 32명의 전문가 패널은 모두 델파이 프로세스 전체를 완료했는데, 이는 주제에 대한 전문가들의 관심, 연구의 중요성, 그리고 라운드의 빠른 연속성을 반영하는 결과입니다. 첫 번째 델파이 라운드에서는 포괄적인 사전 작업을 바탕으로 개발한 EPA와 행동 지표를 사용했습니다. 전통적인 델파이 연구에서는 전문가들이 직접 EPA와 행동 지표를 생성할 수도 있었지만, 이러한 접근 방식은 전문가들에게 너무 많은 시간이 소요될 수 있다고 생각했습니다. 전문가들이 질적 피드백을 제공하도록 장려하여 이러한 영향을 최소화하고자 했지만, 이러한 선택이 EPA 및 행동 지표 목록의 구성에 영향을 미쳤을 수 있습니다. 전문가들의 의견을 분석한 결과, EPA 및 행동지표의 내용에 큰 변화가 필요하지 않다고 판단했으며, 이 결과는 연구를 위해 개발한 EPA 및 행동지표의 적절성을 확인한 것으로 보입니다. 
We believe the quality of the developed EPAs was improved by the differences in the participants’ backgrounds and by the presence of all backgrounds we considered relevant. The quality of these EPAs may make it easier to implement them in postgraduate medical education. All 32 expert panel members who completed the first round completed the entire Delphi process, which reflects experts’ interest in the theme, the importance of the study, and the quick succession of the rounds. For the first Delphi round, we used EPAs and behavioral indicators that we had developed based on our comprehensive preliminary work. Although in a traditional Delphi study, experts could have generated EPAs and behavioral indicators themselves, we believe that this approach would have been too time consuming for the experts. Our choice may have influenced the composition of the list of EPAs and behavioral indicators although we intended to minimize such influence by encouraging the experts to give qualitative feedback. Based on our analysis of the experts’ input, we determined no substantial changes to the content of the EPAs and behavioral indicators were needed; this result seems to confirm the appropriateness of the EPAs and behavioral indicators that we developed for the study.

이 델파이 연구는 언어와 문화에 매우 민감하기 때문에 네덜란드의 국가 단위로 한정하여 실시했습니다. 그럼에도 불구하고 EPA에는 다른 국가에서도 각자의 국가적 필요에 맞게 적용할 수 있는 일반적인 요소가 포함되어 있습니다. 졸업후 의학 교육에 적용하려고 했음에도 불구하고 이 델파이 연구에 레지던트를 참여시키지 않은 이유는 EPA와 SDM의 개념이 레지던트에게 너무 복잡하다고 생각했기 때문입니다. 하지만 전공의를 포함시켰다면 SDM 교육을 받을 때 전공의가 직면하는 전이 격차에 대해 더 많은 인사이트를 얻을 수 있었을 것입니다. 
We limited our implementation of this Delphi study to the national level, in the Netherlands, because SDM is very sensitive to language and culture. Nonetheless, the EPAs include generic elements that other countries can adapt to their national needs. We decided not to invite residents to participate in this Delphi study despite the intended implementation in postgraduate medical training because we believe that the concepts of EPAs and SDM are too complex for residents. However, including residents might have given us more insight into the transfer gap they face when being trained in SDM.

결론
Conclusions

우리는 SDM 교육의 질과 임상에서 SDM의 적용을 개선하기 위해 졸업후 의학 교육을 위한 SDM의 EPA와 관련 행동 지표를 개발하는 데 성공했습니다. 
We succeeded in developing EPAs and associated behavioral indicators for SDM for postgraduate medical education to improve the quality of SDM training and the application of SDM in clinical practice.

 

---

Acad Med. 2021 Jan 1;96(1):126-133. doi: 10.1097/ACM.0000000000003618.

Identifying Entrustable Professional Activities for Shared Decision Making in Postgraduate Medical Education: A National Delphi Study

Anouk Baghus 1, Esther Giroldi 2, Jean Muris 3, Anne Stiggelbout 4, Marjolein van de Pol 5, Angelique Timmerman 6, Trudy van der Weijden 7

Affiliations collapse

1A. Baghus is a PhD student and resident, Department of Family Medicine, Care and Public Health Research Institute, Maastricht University, Maastricht, the Netherlands; ORCID: http://orcid.org/0000-0002-6481-9256 .

2E. Giroldi is assistant professor, Department of Family Medicine, Care and Public Health Research Institute and Department of Educational Development and Research, School of Health Professions Education, Maastricht University, Maastricht, the Netherlands; ORCID: http://orcid.org/0000-0003-3254-4849 .

3J. Muris is professor, Department of Family Medicine, Care and Public Health Research Institute, Maastricht University, Maastricht, the Netherlands; ORCID: http://orcid.org/0000-0002-8780-476X .

4A. Stiggelbout is professor, Department of Biomedical Data Sciences, Leiden University Medical Center, Leiden, the Netherlands; ORCID: http://orcid.org/0000-0002-6293-4509 .

5M. van de Pol is associate professor, Department of Primary and Community Care, Radboud University Medical Center, Nijmegen, the Netherlands; ORCID: http://orcid.org/0000-0002-0977-7954 .

6A. Timmerman is assistant professor, Department of Family Medicine, Care and Public Health Research Institute, Maastricht University, Maastricht, the Netherlands; ORCID: http://orcid.org/0000-0002-8114-8802 .

7T. van der Weijden is professor, Department of Family Medicine, Care and Public Health Research Institute, Maastricht University, Maastricht, the Netherlands; ORCID: http://orcid.org/0000-0002-7469-3781 .

PMID: 32739926

PMCID: PMC7769188

DOI: 10.1097/ACM.0000000000003618

Free PMC article

Abstract

Purpose: Although shared decision making (SDM) is considered the preferred approach in medical decision making, it is currently not routinely used in clinical practice. To bridge the transfer gap between SDM training and application, the authors aimed to reach consensus on entrustable professional activities (EPAs) for SDM and associated behavioral indicators as a framework to support self-directed learning during postgraduate medical education.

Method: Using existing literature on SDM frameworks and competencies; input from an interview study with 17 Dutch experts in SDM, doctor-patient communication, and medical education; and a national SDM expert meeting as a starting point, in 2017, the authors conducted a modified online Delphi study with a multidisciplinary Dutch panel of 32 experts in SDM and medical education.

Results: After 3 Delphi rounds, consensus was reached on 4 EPAs-(1) the resident discusses the desirability of SDM with the patient, (2) the resident discusses the options for management with the patient, (3) the resident explores the patient's preferences and deliberations, and (4) the resident takes a well-argued decision together with the patient. Consensus was also reached on 18 associated behavioral indicators. Of the 32 experts, 30 (94%) agreed on this list of SDM EPAs and behavioral indicators.

Conclusions: The authors succeeded in developing EPAs and associated behavioral indicators for SDM for postgraduate medical education to improve the quality of SDM training and the application of SDM in clinical practice. These EPAs are characterized as process EPAs for SDM in contrast with content EPAs related to diverse medical complaints. A next step is the implementation of the SDM EPAs in existing competency-based workplace curricula.

Copyright © 2020 The Author(s). Published by Wolters Kluwer Health, Inc. on behalf of the Association of American Medical Colleges.