보건의료전문직교육 박사과정학생의 기대: EPA 프레임의 국제적 수정 델파이 연구(Adv Health Sci Educ Theory Pract. 2022)

보건의료전문직교육 박사과정학생의 기대: EPA 프레임의 국제적 수정 델파이 연구(Adv Health Sci Educ Theory Pract. 2022)
Expectations for PhDs in health professions education: an international EPA‑framed, modified Delphi study 
Roghayeh Gandomkar1,2 · Reza Zaeri2 · Olle ten Cate3

 

서론
Introduction

[의학연구소]가 추진하고 현재 [의학, 간호 및 기타 건강 영역의 교육]을 범위로 하는 용어로 확립한 개념화인 [보건의료 전문직 교육(HPE)]은 성숙했다. 이 성숙은 20세기 중반부터 시작되어, 21세기에 속도가 빨라져서, 전문 교육 학자들을 고용하고 생산하는 연구 분야로 발전했다. 많은 의과대학, 간호대학 및 기타 학교에서 교육 방법의 개발, 혁신 및 최적화, 보건 전문 인력의 평가 및 자격을 지원하기 위해 그러한 학자를 고용하고 고용합니다.
Health professions education (HPE), a conceptualization promoted by the Institute of Medicine (Knebel and Greiner, 2003) and now established terminology for the breadth of education in medicine, nursing and other health domains, has matured, from mid-20th century, with increased rapidity in the 21st century, into field of study that both employs and produces specialized educational scholars (Cleland et al., 2021; ten Cate, 2021). Many medical schools, schools of nursing and other schools hire and employ such scholars to support curriculum development, innovation and optimization of the methods of teaching, assessment and qualification of the health professional workforce.

동시에, HPE의 전문 분야에서 고급 학위, 석사 또는 박사 학위를 취득할 수 있는 가능성이 빠르게 확대되고 있습니다. 많은 "HPE 학술활동을 위한 부서"은 그러한 학위를 제공하며, 그 중 몇몇은 국경을 넘어 지원자들을 끌어들이고 먼 교육 방식을 사용한다. 전반적으로, 이것은 HPE에서 상당한 수의 MHPE 및 PhD 프로그램으로 이어졌다. HPE의 모든 박사 학위 중에서, 많은 수가 [교육 과학]과 같은 [일반 대학원 학위] 또는 [의학 전공 분야]와 같은 보건 직업의 졸업 경력을 가진 이 방향으로 석사 학위를 처음 취득했습니다. HPE의 주요 학술지에서, 많은 독창적인 연구 논문들은 현재 HPE에서 박사 학위를 가진 한 명 이상의 저자들을 보여주거나 HPE에서 박사 학위를 추구하는 주요 저자를 가지고 있거나, 논문의 장 역할을 하기도 한다. 
At the same time, the possibilities to obtain an advanced degree, a Master's or PhD degree in the specialized area of HPE are quickly expanding (Tekian, 2014; Tekian and Harris, 2012). Many "Units for HPE scholarship" (Varpio et al., 2017a, b; Humphrey-Murto et al., 2020) offer such degrees, several of which attract applicants across international borders and employ distant modes of education. All in all, this has led to a substantial number of MHPE and PhD programs in HPE. Of all PhDs in HPE, a large number have first obtained a Master's degree in this direction, either as a primary postgraduate degree, such as in educational sciences, or with a graduate background in a health profession, such as a medical specialty. In leading HPE journals, many original research papers now either show one or more authors with a PhD degree in HPE or have a lead author who pursues a PhD degree in HPE, having the paper also serve as a dissertation chapter, or both (Doja et al., 2014).

또한 HPE 박사(철학박사) 또는 EdD(교육박사) 또는 석사(HPE 또는 교육학 박사) 또는 이에 준하는 학위를 요구받거나 원하는 교육직에 대한 공석 신청에 대한 요구가 증가하고 있다. 4000명 이상의 가입자를 가진 DR-ED@list.msu.ed와 같은 목록 서비스는 정기적으로 이러한 빈 자리를 게시합니다. 우리는 2020년 10월과 2021년 10월 사이에 DR-ED와 의학 교육 연구 이사회(SDRME)의 목록 서비스에서 [구인 게시물]을 빠르게 검색했고, 매주 또는 그 이상의 빈도로 PhD/EdD 또는 MHPE가 필수 또는 매우 권장되는 자격으로 포함된 광고를 발견했다. 이러한 광고에 포함된 업무나 책임의 유형은 HPE의 [PhD에 대한 기대]가 무엇인지에 대한 인상을 제공합니다. 2021년 10월 1일에서 21일 사이에 게시된 7개의 광고 샘플은 책임으로서

• 평가(전문가 상담, 절차 및 정책 설계, 심리 측정 분석),
• 연구 및 학술활동,
• 데이터베이스 관리(내부 및 외부 검토를 위한 성과 지표 분석),
• 커리큘럼 및 교육 개발,
• 프로그램 평가
• 교수 개발 및 멘토링,
• 일반적인 정책 개발.

일부 지원자들은 이러한 기대에 부응할 수 있고, 다른 지원자들은 그렇지 않을 수 있으며, 고용주들은 어떤 지원자들을 기대할 수 있는지 확신하지 못할 수 있다. 
Also increasing are calls for application for vacancies in education positions, for which a PhD (Doctor of Philosophy) in HPE, or EdD (Doctor of Education) or Master's degree (in HPE or in education) or equivalent is demanded or desired. Listservs such as DR-ED@list.msu.ed, with 4000+ subscribers, regularly post such vacancies. We did a quick search of job postings on the listservs of DR-ED and of the Society of Directors in Medical Education Research (SDRME) between October 2020 and October 2021 and found ads weekly or more often that included PhD/EdD or MHPE as a required or highly recommended qualification. The types of tasks or responsibilities included in these ads provide an impression of what expectations for PhDs in HPE are. A sample of 7 ads, posted between 1 and 21 October 2021, included as responsibilities

• assessment (expert consultation, designing procedures and policies, psychometric analyses),
• research and scholarship,
• database management (analysis of performance metrics for internal and external review),
• curriculum and instructional development,
• program evaluation,
• faculty development and mentoring, and
• general policy development.

Some applicants may meet these expectations, others may not, and employers may be unsure what applicants they can expect.

박사 과정은 [특정한, 종종 좁은 연구 분야]에서 [논문을 완성하는 것]에 초점을 맞추어 다양할 수 있지만, 다른 프로그램은 박사 과정 학생들이 [다양한 연구 방법, 이론, 커리큘럼 개발 전략 및 정책에 익숙해질 것]을 요구한다. HPE의 박사 교육에 대한 국내, 국내 및 국제적 [접근 방식은 다양한 것]으로 보인다. 박사 학위 또는 EdD 학위가 가져오는 기대의 명확성은 개별 학자, 고용주, 야심찬 박사 학위 학생, 감독자 및 이러한 학위를 위한 교육 과정을 제공하는 기관에 유용할 수 있다. 
While doctoral programs can vary with a focus on just completing a dissertation in one specific, often narrow, area of research, other programs require doctoral students to become acquainted with a variety of research methods, theories, curriculum development strategies and policies. Local, national and international approaches to doctoral training in HPE appear to diverge (Pan and Lee, 2012; Leja and Wardley, 2002; Pugsley et al., 2008). Clarity in expectations a PhD or EdD degree brings along can be useful for individuals scholars, employers, aspiring doctoral students, supervisors, and institutions providing curricula to educate for these degrees.

이러한 전문가들이 무엇을 위해 고용될 수 있는지에 대한 일반적인 기대가 있을 수 있지만, 우리는 HPE의 박사 과정이 준비되어 있다고 기대할 수 있는 활동에 대한 어떤 합의도 알지 못한다. 현재 저자 중 한 명은 HPE에서 박사 학위 논문의 표준을 제공하는 프로젝트에 참여했지만, 그렇다고 해서 HPE에서 박사 학위를 받은 사람이 고용주에게 기대할 수 있는 활동을 반드시 조명하는 것은 아니다. 
While there may be general expectations of what these professionals can be hired for, we are not aware of any consensus about the activities that can be expected PhDs in HPE are ready to do. One of the current authors was involved in a project to provide standards for PhD dissertations in HPE (ten Cate, 2005), but that does not necessarily shed light on the activities that graduated PhDs in HPE can anticipate an employer will expect from them.

우리가 아는 한, HPE PhD 기대를 명확히 하기 위해 한 국가에서 단 하나의 국가적 합의 연구가 수행되었다. [HPE 박사학위 프로그램을 보유한 5개 학과가 있는 이란]에서는 HPE 박사 34명과 HPE-PhD 위원회 심사위원 9명을 대상으로 2019년 [전국 델파이 연구]가 이 질문으로 진행됐다. 이러한 기대를 개념화하기 위해 위탁 전문 활동(EPA)의 접근 방식이 사용되었다. EPA는 개인이 감독 없이 활동을 수행하는 데 필요한 역량을 보유하는 것을 입증하면 그들에게 맡길 수 있는 전문적인 관행의 단위이다. 이 개념은 의료 전문가를 위해 개발되었지만, 보건 전문 교육에서 박사의 작업 분야를 개념화하는 데 적합하다고 여겨졌다. 이란 연구는 HPE PhD 졸업생들을 위한 24개의 EPA에 대한 국민적 합의를 이끌어냈고, 다음과 같은 세 그룹으로 분류되었다: 교육 발전, 연구와 장학금, 그리고 교육 관리.
To our knowledge, only one national consensus study, in one country, has been conducted to clarify HPE PhD expectations. In Iran, a country that has five Departments with programs for a PhD degree in HPE, a national Delphi study among 34 PhDs in HPE and 9 HPE-PhD Board examiners was carried out in 2019 with this question. The approach of entrustable professional activities (EPAs) was used to conceptualize these expectations (Zaeri and Gandomkar, 2022). An EPA is a unit of professional practice that can be entrusted to an individual once they have demonstrated to possess the required competencies to carry the activity out unsupervised (ten Cate and Taylor, 2021). While developed for medical professionals, this concept was deemed suitable to conceptualize the work field of PhDs in health professions education. The Iran study led to national consensus about 24 EPAs for HPE PhD graduates, categorized in three groups: educational development, research and scholarship, and educational management.

이러한 EPA를 출발점으로 삼아, 현재의 국제 델파이 연구는 보다 [일반화된 타당성]과 [HPE의 PhD에 합리적으로 적합한 활동에 대한 광범위한 합의]를 추구하기 위해 고안되었다. 본 연구의 주요 목적은 HPE-PhD 훈련 프로그램에 반드시 포함되어야 하는 활동을 결정하는 것이 아니었지만, 본 연구의 결과는 이러한 프로그램뿐만 아니라 박사 학위를 취득하려는 개인과 HPE 박사 학위를 가진 학자를 고용하려는 고용주에게 정보를 제공할 수 있다. HPE의 박사과정 교육은 점점 더 국제적인 노력이 되고 있으며, 화상회의를 통한 원격 멘토링이 잘 받아들여지고 있기 때문에 HPE의 박사과정 졸업생을 위한 EPA에 대한 국제적 합의를 모색하는 것은 유용한 노력으로 여겨졌다. 
Using these EPAs as a starting point, the current international Delphi study was conceived to seek more generalized validity and a wider consensus of reasonably suitable activities for PhDs in HPE. While the primary purpose of our study was not to determine what activities should necessarily be incorporated in HPE-PhD training programs, the results of this study could inform such programs, as well as the individuals aspiring to obtain a PhD degree and employers, seeking to hire scholars with a PhD in HPE. PhD training in HPE is an increasingly international endeavor, and remote mentoring through video conferencing has become well accepted praxis, so seeking international consensus for EPAs for doctoral graduates in HPE was considered a useful endeavor.

방법들
Methods

설계.
Design

우리는 2020년 9월부터 2021년 5월 사이에 [3라운드 수정된 델파이 기법]을 사용했다. [델파이 기법]은 주제 전문가들을 대상으로 특정 주제에 대한 설문조사를 여러 번 반복하여 수행함으로써 합의를 추구하는 널리 사용되는 방법이다. 각 연속 라운드에 대해 전문가는 전문가 그룹의 이질성을 유지하기 위해 [다른 전문가의 영향을 받지 않고 독립적으로 입력을 제공]한다. 본 연구에서 각 라운드는 SurveyMonkey를 사용하여 디지털로 배포된 설문조사로 구성되었습니다. 테헤란 의과 대학 연구 윤리 위원회는 이 연구에 대한 윤리적 승인을 승인했다. 모든 참가자들은 온라인 설문지를 작성하기 전에 정보 서한을 받고 동의 성명서를 제공받았다. 
We used a three-round modified Delphi technique between September 2020 and May 2021. The Delphi technique is a widely used method of seeking consensus by administering multiple iterations of surveys on a specific topic to subject experts (Humphrey-Murto et al., 2017a). For each consecutive round, experts provide their input independently, without being influenced by other experts to maintain heterogeneity of the expert group (Humphrey-Murto et al., 2017b). In our study, each round consisted of a survey that was distributed digitally using SurveyMonkey (Survey Monkey Inc., San Mateo, California). The Tehran University of Medical Sciences Research Ethics Committee granted ethical approval for the study (ID: IR.TUMS.MEDICINE.REC.1399.178). All participants received an information letter and were provided consent statements before completing the online questionnaire.

참가자
Participants

첫 번째 단계로 SDRME 리스트 서비스를 사용하여 모든 회원을 대상으로 한 공개 초대를 통해 SDRME(Society of Research of Medical Education) 회원 중 [편의 샘플링]과 [targeted experts]를 활용하였다. SDRME에는 주로 북미인 회원이 있기 때문에, 우리는 그런 다음 서로 다른 지리적 영역에서 자체 네트워크를 사용하여 HPE 훈련에 참여하는 지식을 바탕으로 [목적적 샘플링]을 사용하여 전문가에게 접근했다. 총 148명의 잠재적인 전문가 패널에게 접근하여 연구 목적, 절차 및 예상 시간 투자에 대한 정보를 담은 초대 메일을 보냈습니다. 
As a first step, we used convenience sampling and targeted experts among the members of the Society of Directors of Research in Medical Education (SDRME), through an open invitation for all members, using the SDRME listserv. As the SDRME has predominantly North-American members, we then approached experts using purposive sampling, based on our knowledge of their involvement in HPE training from different geographical areas, using our own networks. In total, we approached 148 potential expert panel members and sent an invitation email with information about the purpose of the study, procedure, and the expected time investment.

절차.
Procedure

우리는 이란에서 HPE PhD 졸업생을 위해 개발된 EPA 프레임워크(24개의 EPA 타이틀과 그들의 설명)를 출발점으로 사용했다. 우리는 첫 번째 델파이 라운드(R1)(모든 EPA에 걸쳐 240개 질문)에 대해 각 EPA에 대해 동일한 10개 질문(리커트 유형 척도가 있는 5개 및 개방형 5개)으로 설문조사를 개발했다. 이러한 질문은 HPE PhD 졸업생에 대한

• EPA의 관련성,
• 제목의 명확성,
• 규격의 포괄성 및
• EPA의 고장 시 잠재적 위험 및
• 한계의 적절성과 관련이 있다.

We used the in Iran developed EPAs framework for HPE PhD graduates (24 EPA titles and their descriptions) as a starting point (Zaeri and Gandomkar, 2022). We developed a survey with the same 10 questions (five with Likert type scale and five open-ended) for each EPA for the first Delphi round (R1) (240 questions across all EPAs). These questions concerned

• relevance of the EPA for HPE PhD graduates,
• clarity of the title,
• comprehensiveness of the specifications and
• the potential risks in case of failure in the EPA, and
• appropriateness of the limitations (ten Cate and Taylor, 2021).

[후속 델파이 라운드]는 이전 라운드에서 [합의 기준을 충족하지 못한 항목에만 초점]을 맞추고 있는 경우가 많지만, 2차(R2)에서는 1차 델파이 라운드의 모든 분석을 기반으로 [EPA 제목과 내용이 크게 수정]되었다. [Full survey](그러나 EPA당 하나의 개방형 질문만 있음)는 R2의 모든 EPA에 대해 반복되었다. 설문조사의 의견과 조사자에게 보내는 직접 이메일의 몇 가지 추가 의견을 바탕으로 한 중요한 일반적인 관찰은 HPE-PhD 프로그램과 비교하여 HPE-PhD 졸업자와 관련된 EPA의 중요성에 대한 보다 명확한 설명이 필요하다는 것을 지적했다. 이로 인해 R2의 모든 EPA에 대해 세 가지 항목이 추가되었다:

• (1) 나는 현재 대부분의 HPE 박사들이 감독 없이 이것을 할 수 있다고 믿는다.
  
• (2) 대부분의 HPE 박사는 감독 없이 이를 수행할 수 있는 것이 바람직하다.
  
• (3) 이 EPA가 HPE-PhD 교육에 포함되어야 하는가? 

그 조사는 R2의 162개 항목으로 구성되었다. 각 EPA 설명의 각 섹션에 대해 텍스트가 '변경'되었는지 '변경되지 않았는지'를 표시했다.

While often subsequent Delphi rounds are shorter and focus only on items that have not meet consensus criteria in a previous round, in our second round (R2), EPA titles and contents underwent major revisions based on all analyses of the first Delphi round. The full survey (but with only one open-ended question per EPA) was repeated for all EPAs in R2. An important general observation, based on comments in the survey and a few additional comments in direct emails to the investigators, pointed at a need for more clarity about the significance of the EPAs related to HPE-PhD graduates versus to HPE-PhD programs. This resulted in three additional items for all EPAs in R2:

• (1) I believe that currently most PhDs in HPE can be trusted to do this without supervision,
• (2) It is desirable that most PhDs in HPE can be trusted to do this without supervision, and
• (3) Should this EPA be included in HPE-PhD training?

The survey consisted of 162 items in R2. For each section in each EPA description we indicated whether the text had been ‘changed’ or ‘not changed’.

[3차(R3)에서는 조사가 제한적]이었다. EPA 설명의 적절성에 대한 [EPA당 전반적 질문 1개, 의견을 위한 개방형 질문 1개], 2차에서 [0.80 미만]의 내용 유효성 지수(CVI) 지수(아래 참조)]를 보여준 EPA에 대한 추가 질문(45개 항목)만 포함했다.
In the third round (R3), the survey was limited. It contained one overall question per EPA on adequacy of the EPA description, one open-ended question for comments and only additional questions for EPAs that showed a content validity index (CVI) index (see below) less than 0.80 in the second round (45 items).

모든 질문(하나의 예/아니오 질문 유형 제외)은 각 EPA에 대한 의견을 위한 공간에 완전히 동의하지 않을 때까지 5점 리커트 척도로 답변해야 했다(전체 조사는 보충 디지털 부록 1 참조). 델파이 과정 내내 패널들의 익명성을 유지하면서 후속 라운드의 설문조사를 통해 전문가들에게 이전 라운드의 결과 요약을 제공했다. 설문조사와 함께, 그들은 이메일을 통해 개정에 대한 배경 정보와 함께 EPA 제목과 설명의 pdf 버전을 받았다. 각 단계에 대해, 조사는 이전 라운드에서 5개 이상의 EPA에 대해 조사를 완료한 참가자에게 전송되었다. 참가자들은 각 설문 조사 라운드에 응답하는 데 3주가 걸렸다.

All questions (except one yes/no question type) had to be answered on a 5-point Likert scale from fully agree to fully disagree with space for comments about each EPA (see Supplemental Digital Appendix 1 for the full survey). We provided a summary of results from the previous round to the experts with the survey of the subsequent round, while maintaining anonymity among the panelists throughout the Delphi process. Together with the survey, they received a pdf version of the EPA titles and descriptions with background information on the revisions through email. For each phase, the survey was sent to participants who had completed the survey about five or more EPAs in the previous round. Participants had three weeks to respond to each survey round.

10459_2022_10136_MOESM1_ESM.docx

0.03MB

 

데이터 분석
Data analysis

[기술 통계량]은 각 Delphi 라운드 후 Microsoft Excel 2016을 사용하여 계산되었으며, 빈도, 평균 및 표준 편차 및 해당하는 경우 [내용 유효성 지수(CVI)]를 포함했습니다. 계측기가 측정되는 구조에 대한 적절한 항목 표본을 갖는 정도인 CVI는 각 질문에 대해 '완전 동의' 또는 '동의'를 선택한 패널의 수를 패널의 총 수로 나눈 값으로 계산되었다. CVI 값의 범위는 0 ~ 1입니다. [컷오프 점수]로

• [0.8 이상]을 선택하여 충분한 [내용 타당도]를 indicate하였습니다.
• [0.50~0.79]의 CVI는 항목을 수정해야 한다는 것을 암시했다; [0.50 미만]의 [관련성]에 대한 CVI가 제거 이유가 되었다; [다른 조사 질문]의 경우 CVI가 0.8 미만일 경우 리비전 하였다.

Descriptive statistics were calculated using Microsoft Excel 2016 (Microsoft Corporation, Redmond, Washington) after each Delphi round, and included frequencies, means and standard deviations, and content validity indices (CVIs) where appropriate. The CVI, the degree to which an instrument has an appropriate sample of items for the construct being measured (Dalkey and Helmer, 1963), was computed as the number of panelists choosing 'fully agree' or 'agree' for each question, divided by the total number of panelists. CVI values can range from 0 to 1. As a cut-off score,

• we chose 0.8 or higher to indicate sufficient content validity.
• A CVI of 0.50–0.79 implied that the item required revision; a CVI for relevance below 0.50 constituted a reason for elimination; for other survey questions a CVI below 0.8 specified revision (Humphrey-Murto and de Wit, 2019; ten Cate, 2006).

3차는 적정성 문제에 대해 [사전설정 합의 비율]을 [80% 이상]으로 설정했다.
For the third round, a predetermined consensus percentage was set to 80% or higher for the adequacy question.

[정성적 논평]은 모든 저자에 의해 여러 차례 검토되었으며 EPA의 제목, 내용 및 구조의 수정을 위해 고려되었다. CVI가 적절하더라도, EPA의 제목이나 내용은 응답자들은 [관련 의견을 제안]했고, [연구자들 간의 합의 논의 후]에는 수정되기도 하였다. 
Qualitative comments were reviewed by all authors several times and were considered for modification of the title, content and structure of EPAs. Title or content of EPAs underwent changes even if the CVI was adequate but respondents proposed relevant comments, and only after consensus discussion among the researchers.

결과.
Results

18명의 국제 전문가들이 이 연구에 참여하기로 동의했다. 초기 EPA 개발에 관여하지 않은 저자 중 한 명(OtC)도 1차 델파이(R1) 라운드에 참여했다. 모든 참가자가 R1 설문 조사를 시작했습니다. R1에서 세 명의 응답자가 처음 몇 개의 EPA만 완료했다; 그들은 분석에 포함되지 않았다. 다른 4명의 참가자들은 (2-14세 사이의) 몇 가지 질문에 대답하지 않았다; 
그들은 분석에 포함되었다. 총 16명의 참가자의 답변이 R1에 포함되었다. 2차 델파이 라운드(R2)는 참가자 18명 중 16명이 참여해 15명이 전수조사를 마쳤다. 한 응답자는 5개의 EPA를 완료했으며 추가 분석에서 제외되었다. R2 참가자 15명 전원이 R3 설문 조사를 완료했습니다.  
Eighteen international experts agreed to participate in the study. One of the authors (OtC), not involved in the development of initial EPAs, participated in the first Delphi (R1) round as well. All participants started the R1 survey. In R1, three respondents completed only the first few EPAs; they were not included in the analysis. Another four participants did not answer several (between 2 and 14) questions; they were included in the analyses. It total, 16 participants' answers were included in R1. For the second Delphi round (R2), 16 out of 18 participants started and 15 completed the full survey. One respondent completed 5 EPAs and was excluded from further analysis. All 15 participants of R2 completed the R3 survey.

지리적으로 모든 델파이 지역에 참여한 15명의 전문가들은 미국(n = 8), 네덜란드(n = 2), 독일(n = 2), 호주, 남아프리카, 영국(각각 1명) 출신이었다. SDRME 회원은 8명(53.3%), 정교수는 9명(60.0%), 부교수는 5명(33.3%), 조교수는 1명으로 53.3%가 여성이었다. 
Fifteen experts who participated all Delphi round geographically, were from the United States (n = 8), the Netherlands (n = 2), Germany (n = 2), and Australia, South Africa and the United Kingdom (each with one participant). Eight (53.3%) participants were SDRME members, 9 (60.0%) were full professors, 5 (33.3%) were associate professors, and one was assistant professor. 53.3% of the participants were female.

1차 델파이 라운드
First Delphi round

표 1은 R1에 기초한 EPA의 관련성에 대한 EPA 제목과 CVI 및 수단(SD 포함)을 제공한다. 6개의 제안된 EPA는 관련성을 위해 0.8보다 큰 CVI를 보여주었고, 3개(EPA 21, 23, 24)는 HPE PhDs에 대한 필수적인 기대가 아닌 것으로 간주되는 활동을 다루었다(CVI < 0.5). 그들은 추가 분석에서 제외되었다. 대부분의 EPA는 조사의 모든 질문에 대해 0.5≤CVI < 0.8을 보였다(보조 디지털 부록 2 참조). 
Table 1 provides EPA titles and CVIs and means (with SDs) for relevance of EPAs based on R1. Six proposed EPAs showed CVIs larger than 0.8 for relevance, and three (EPAs 21, 23 and 24) addressed activities that were deemed not essential expectations for HPE PhDs (CVI < 0.5). They were removed from further analyses. Most EPAs showed 0.5 ≤ CVI < 0.8 for all questions in the survey (see Supplemental Digital Appendix 2).

10459_2022_10136_MOESM2_ESM.docx

0.03MB

 

우리는 모든 논평과 이것들의 요지에 대한 우리의 해석에 기초하여 [EPA 설명을 크게 다시 썼다]. 모든 EPA 설명은 (적어도 평균적으로) 짧아졌다. 우리는 또한 EPA 세트의 세 가지 구성요소를 두 개('연구 및 학술활동'과 '교육 개발')로 통합하고 교육 관리는 생략했다. 우리는 이 범주가 HPE PhD 졸업생에게 가장 적합한 섹션으로 인식되지 않는다고 느꼈다;  그리고 대부분의 EPA는 낮은 관련성 점수로 자격을 얻었다.
We significantly reworded EPA descriptions, based on all comments and our interpretations of the gist of these. All EPA descriptions became shorter (at least on average). We also merged three components of the set of EPAs into two ('Research and scholarship' and 'Educational development') and left out Educational management. We felt this category was least recognized as a suitable section for HPE PhD graduates; and the majority of its EPAs were qualified with low relevance scores.

[표 2]는 R2에 대한 개정된 EPA 구조와 명칭을 보여준다. 개별 EPA의 관점에서, 전문가들은 새로운 EPA 명칭을 제안하지 않았다. 어떤 경우에는, 중복되는 것으로 보이는 한두 개의 EPA가 제목과 내용의 일부 변경과 함께 하나의 원래 EPA로 [병합]되었다(즉, EPA 15, 1, 3 및 6). EPA 2(연구 수행 및 분석)와 3(연구팀 협업, 지시 및 감독)이 [결합]되어 [3개의 새로운 EPA로 형성]되었다: '질적 교육 연구 수행'(EPA 2), '양적 교육 연구 수행'(EPA 3), '혼합 방법 및 합의 교육 연구 수행'(EPA 4). 너무 광범위해 보이는 EPA가 여러 EPA로 [분할된 경우]도 있었다. 예를 들어, EPA 4: '과학 보고서 작성, 출판 및 커뮤니케이션'은 '경험적 연구 보고서 작성 및 출판'(EPA 5), '문헌 검토서 작성'(EPA 6), '회의 및 기타 회의에서의 발표'(EPA 7)로 구분되었다. 이를 통해 '연구 및 장학'에 8개, '교육 개발'에 10개 등 총 18개의 EPA가 생성되어 R2에 사용되었다.

Table 2 shows the revised EPA structure and titles for R2. In terms of individual EPAs, no new EPA titles were suggested by experts. In some cases, one or two EPAs that seemed to show much overlap were merged into one original EPA with some changes in the title and content (i.e. EPAs 15, 1, 3 and 6). EPAs 2 (Conducting and analyzing research) and 3 (Collaborating, directing and supervising research teams) were combined and shaped as three new EPAs: 'Conducting qualitative educational research' (EPA 2), 'Conducting quantitative educational research' (EPA 3) and 'Conducting mixed methods and consensus educational research' (EPA 4). In some other cases, EPAs that seemed too broad were split into several EPAs. For instance, EPA 4: 'Writing, publishing and communicating scientific reports' were divided in 'Writing and publishing empirical research reports' (EPA 5), 'Writing literature reviews' (EPA 6) and 'Presenting at conferences and other meetings' (EPA 7). This resulted in a total of 18 EPAs, 8 for 'Research and scholarship' and 10 for 'Educational development' and used for R2.

 

2차 델파이 라운드
Second Delphi round

표 2는 EPA 직함과 CVI, 수단(SD 포함) 및 R2에 대한 EPA 빈도를 제공한다. 전반적으로 모든 문항의 CVI 점수는 상당히 향상되었고 대부분 0.8점보다 높았다. 하나의 EPA "학생 지원 서비스의 설계, 구현 및 평가"는 여전히 HPE PhDs(CVI < 0.5)에 대해 충분히 관련성이 없는 기대로 간주되었고, R3에 대한 입력으로 제거되었다. 흥미롭게도, 4개 EPA의 경우, 응답자의 20% 미만이 현재 HPE의 대부분의 박사가 감독 없이 EPA를 수행할 수 있다는 데 동의하거나 전적으로 동의했지만, 전문가의 86.7%는 대부분의 박사가 '감독 없이 회의 및 기타 회의에서 발표'를 수행할 수 있다는 데 동의하거나 전적으로 동의했다(1987=4).20 ± 0.65). 
거의 모든 EPA(18개 중 16개)의 경우, 참가자의 50% 이상이 HPE의 대부분의 박사학위자가 감독 없이 이를 수행할 수 있다고 신뢰할 수 있는 것이 바람직하다는 데 동의하거나 전적으로 동의했다. 응답자의 50% 이상이 11개 EPA에 대해 '이 EPA는 PhD 교육의 핵심' 옵션을 선택했다. 우리는 통계와 논평, 그리고 보다 논리적인 순서에 기초하여 EPA를 위한 텍스트를 개선했다.
Table 2 provides EPA title and CVIs and means (with SDs), and frequencies for EPAs for R2. Overall, CVI scores in all questions improved considerably and were mostly higher than 0.8. One EPA “Designing, implementing and evaluating student support services” was still deemed not a sufficiently relevant expectation for HPE PhDs (CVI < 0.5) and was removed as input for R3. Interestingly, for four EPAs, less than 20% of respondents agreed or totally agreed that currently most PhDs in HPE can be trusted to do those EPAs without supervision, but 86.7% of experts agreed or totally agreed that most PhDs can be trusted to do 'Presenting at conferences and other meetings without supervision' (mean = 4.20 ± 0.65). For almost all EPAs (16 out of 18), more than 50% of participants agreed or totally agreed that it is desirable that most PhDs in HPE can be trusted to do this without supervision. More than 50% of respondents selected the option 'this EPA is core in PhD training' for 11 EPAs. We made improvements in texts for EPAs based on statistics and comments and a more logical order.

델파이 3차전
Third Delphi round

17개 EPA 모두가 적정성에 대해 80% 이상의 합의를 했다. [3개의 EPA]는 '교육 품질 보증 시스템의 설계, 적용 및 수정'(0.67), '개별 학생과 교직원에 대한 멘토링, 코칭 및 조언'(0.67), '교육 전략 프로젝트 및 정책 개발 선도'(0.60)의 관련성에 대해 CVI ≥ 0.80에 도달하지 못했다. 한 EPA는 항목 명확성에 대해 0.60의 CVI를 얻었다. 다른 질문들은 충분한 CVI ≥ 0.80에 도달했다. 우리는 제공된 의견을 바탕으로 EPA 프레임워크에 작은 변화를 주었다. 표 2에서 알 수 있듯이 EPA 1, 5, 6, 7, 8, 15는 [모든 PhD 졸업생에게 바람직하며 PhD 교육에서 핵심]으로 간주된다는 점에서 80% 일치 기준을 충족한다. 최종 EPA 프레임워크는 명칭, 정당성, 사양 및 한계, 고장 시의 위험과 함께 부록 3에 제시되어 있다. EPA 명칭은 표 3에서 확인할 수 있다. 
All 17 EPAs had agreements of 80% or higher for adequacy. Three EPAs did not reach CVI ≥ 0.80 for relevance: 'Designing, applying and revising educational quality assurance systems' (0.67), 'Mentoring, coaching, and advising individual students and faculty' (0.67), and 'Leading educational strategic projects and policy developments' (0.60). One EPA obtained a CVI of 0.60 for item clarity. Other questions reached the sufficient CVI ≥ 0.80. We made small changes in the EPA framework based on the supplied comments. As Table 2 shows, EPAs 1, 5, 6, 7, 8, and 15 meet the 80% agreement mark for both being desirable for all PhD graduates and to be regarded as core in PhD training. The final EPA framework, with their titles, a justification, specification and limitations, and risks in case of failure, is shown in the Supplemental Digital Appendix 3. The EPA titles can be found in Table 3.

10459_2022_10136_MOESM3_ESM.docx

0.04MB

논의
Discussion

HPE 장학금을 받은 15-16명의 국제 전문가들의 귀중한 도움으로, 우리는 HPE 박사 학위를 가진 교육자들의 기대에 틀림없이 속하는 17개의 EPA를 식별할 수 있었다. 17개의 EPA 중 8개는 연구와 장학의 영역과 관련이 있고, 9개는 교육 개발과 관련이 있다. 일부는 이러한 연구 결과를 박사 과정 학생이 훈련받는 가장 필수적인 작업인 저평가된 연구 및 장학 활동으로 비판할 수 있지만, 우리의 연구 결과는 대부분의 HPE 박사가 고용된 것으로 알려진 HPE 장학 부서의 작업 특성과 일치한다. 칼케와 바르피오는 [연구를 수행]하고 [교육 서비스(교육 설계 및 평가, 교수진 개발, 인증 지원 등)를 제공하는 것]을 캐나다 HPE 장학금 단위에서 수행되는 두 가지 주요 활동으로 꼽았다.  
With the valuable help of 15–16 international experts in HPE scholarship, we were able to identify 17 EPAs that arguably belong to the expectations of educators with a PhD degree in HPE. Of the 17 EPAs, 8 relate to the domain of research and scholarship, and 9 pertain to educational development. Some may critique these findings as undervaluing research and scholarship activities which are presumably the most essential tasks a PhD student is trained for, but our findings do concord with the nature of the HPE scholarship units’ works that most HPE PhDs reportedly are hired for. Kahlke and Varpio (2019) named conducting research and providing educational service (such as consults on instructional design and assessment, faculty development, accreditation support) the two dominant activities conducted in Canadian HPE scholarship units.

원래 이란 연구에서는 [교육 관리 작업]이 두드러졌지만, 델파이 응답자들은 최종 프레임워크에서 많은 활동을 제거하고 일부를 [교육 개발 영역]에 통합하도록 했다. 관리와 개발의 일부 중복 외에도 문화적 문제가 있을 수 있다. 이란에서는 최근 몇 년 동안 [관리 업무]를 이용할 수 있게 되었기 때문에 박사에게 더 쉽게 요청하는 반면, 다른 국가에서는 [지정된 이사와 보조자]를 고용할 수 있는 기회가 더 많을 수 있습니다. 즉, HPE 박사학위의 목적은 다르게 볼 수 있다. 즉, [교육 전문가 연구원]이 되는 것과 더 [광범위한 교육 전문가]가 되는 것. 우리의 델파이 샘플이 국제적이었지만, 이러한 불일치는 또한 우리의 연구 결과의 일반화 가능성에 한계를 둔다.

While educational management tasks were prominent in the original Iranian study, our Delphi respondents made us remove many of its activities from the final framework and integrate some in the educational development domain. Besides some overlap of management with development, there may also be a cultural issue. In Iran, managerial tasks are more readily asked from PhDs, as they have come available in recent years, while other countries may have more opportunities to employ designated directors and assistants. In other words, the purpose of the PhD degree in HPE can been viewed differently, i.e. to be an educational expert researcher, versus to be a broader educational professional. While our Delphi sample was international, this discrepancy also puts a limitation to the generalizability of our findings.

17개의 EPA 중 6개는 박사과정 교육의 핵심이자 모두에 대한 기대로 간주되었다. 그러나 단 하나의 EPA(회의 및 기타 회의에서 발표)만이 대부분의 현재 HPE Phds가 감독되지 않은 상태에서 이를 수행할 수 있다고 신뢰할 수 있다는 데 높은 동의를 얻은 반면, 12개 EPA의 경우 소수의 응답자(40% 미만)만이 일반적으로 감독되지 않은 상태에서 현재 HPE Phds를 수행할 수 있다는 데 동의했다. 즉, 델파이 패널 구성원들은 [HPE PhDs에 대한 그들의 기대가 많은 HPE PhDs의 현재 현실을 훨씬 능가한다]는 데 동의할 것이다. 몇몇 델파이 패널들이 박사과정 교육에 참여하고 있다는 점을 감안할 때, 우리는 이러한 은밀한 자기비판을 어떻게 이해해야 할까?
Of the 17 EPAs, 6 were considered both core to PhD training and desired expectations for all. However, only one EPA (presenting at conferences and other meetings) found high agreement that most current HPE PhDs can be trusted to do this unsupervised, whereas for 12 EPAs only a minority of the respondents (less than 40%) would agree that current HPE PhDs can generally be trusted to do these unsupervised. In other words, our Delphi panel members would agree that their expectations for HPE PhDs far exceed the current reality for many HPE PhDs. How must we understand this covert self-criticism, given that several Delphi panel members are involved in PhD training themselves?

[박사학위를 가진 학자]들에 대한 기대와 [박사과정 교육과정]에 대한 요구사항은 동일하지 않다. 우리의 조사 목적은 그러한 커리큘럼에 대한 (공유된) 처방에 도달한 것이 아니라 HPE의 박사 학위에 대한 [업무 기대]에 대한 통찰력이었다; 
우리는 우리 패널들이 이것을 잘 이해했다고 믿는다. 
Expectations for scholars with a PhD degree and requirements for a PhD training curriculum are not identical. The purpose of our investigation was not arrive at (shared) prescription for such curriculum, but at insights into work expectations for PhDs in HPE; we believe our panel members have understood this well.

이를 위해 델파이 절차를 수정하였습니다. 우리의 접근법은 

• (1) 비판적 검토에 적합한 EPA의 기존 프레임워크로 시작한다, 
  
• (2) 국제 버라이어티 분야의 독립적이고 잘 정의된 전문가들을 초대한다, 
  
• (3) 반복적인 절차를 사용한다 
  
• (4) 다양한 목적에 도움이 될 수 있는 개정된 프레임워크에 도달하기 위해. 

To this end, we modified the Delphi procedure. Our approach was

• (1) to start with an existing framework of EPAs suitable for critical review,
• (2) to invite independent, well defined experts in international variety,
• (3) to use an iterative procedure, and
• (4) to arrive at a revised framework that could serve multiple purposes.

우리는 상호 영향을 피하기 위해 패널들 사이의 익명성을 관찰했지만, 명확화를 위해 필요한 경우 응답자들과 직접 대화했다. 우리는 [박사 과정의 졸업 기준에 대한 결정]을 허용하는 ["타당한" 도구]로서 EPA 프레임워크에 도달하려고 하지 않았다. 목적은 박사 학위를 희망하는 학자들, 후보자들, 감독자들, 그리고 잠재적인 고용주들을 위한 방향이나 방향감을 만드는 것이었다. 이러한 기대를 모두 충족시키는 PhD 졸업생은 거의 없습니다. 많은 사람들이 어떤 EPA에서 우수할 가능성이 높지만 다른 EPA에서는 우수하지 않을 가능성이 있습니다.  [박사 학위]는 오히려 그들이 [이전에 마주치지 않았던 의무를 수행할 준비가 될 수 있는 배우고, 일하고, 발견하는 과정을 통해 성숙한 개인]으로 간주될 수 있다. 그러나 과학적 사고에 대한 경험, HPE 문헌에 대한 일반적인 지식, 특정 연구 접근법에 대한 경험, 그러나 다른 연구 방법에 대해서는 접선적으로만 익숙하기 때문에 대부분 해결할 수 있다. [박사 교육에서 깊게 다루지 않은 영역]에서도 졸업생들은 그 학문적인 일을 할 수 있는 [능력을 개발할 수 있다]고 신뢰할 수 있다. 

We observed anonymity among the panelists to avoid mutual influences, but we did interact with respondents directly if needed for clarification. We did not seek to arrive at an EPA framework as a “valid” instrument to allow for decisions about graduation standards in PhD programs. The purpose was to create a sense of direction or orientation for scholars aspiring to seek a PhD degree, for candidates, for supervisors and for potential employers. Clearly few, if any, PhD graduates will meet all these expectations; many are likely to excel in some EPAs and not in others. PhDs may rather be regarded as individuals who have matured through a process of learning, working and discovering that may make them ready to be tasked with obligations they have not encountered before but that they can tackle mostly because of their experience with scientific thinking, general acquaintance with the HPE literature, experience with particular research approaches, but only tangentially familiar with other research methods. Even in domains not deeply touched upon in PhD training, graduates may be trusted to develop the capability to do that scholarly work.

[EPA]는 원래 대학원 의학 교육을 위해 고안되었으며 다양한 다른 HPE 프로그램으로 확장되었다. 이 프로그램들은 모두 의료에서 행동할 수 있는 [능력, 권리, 의무]의 인정을 결합한 위탁 결정으로 특징지어진다. 

• 'Right'는 라이센스를 받은 권한 또는 자격 증명('학습자를 위한 감독하에서')을 말합니다
  
• '의무'는 환자의 치료('학습자를 위한 감독하에서')를 의미한다.

EPA의 명확한 특성화 및 사용은 다른 영역에서는 적합하지 않을 수 있다. 그러나 최근 몇 년 동안 연구는 윤리, 데이터 처리, 개인 정보 보호, 실험실 안전 및 기타 선행 과학 행위와 관련된 요소에 대한 절차 표준화 과정을 거쳤으며, 이는 잠재적인 위임가능성entrustability 문제를 동반할 수 있다. 교육 관행 또한 교육에서 더 표준화되었다. 이를 통해 번역 과학 훈련 및 교수 자격과 같은 다른 영역에 대해 EPA를 제안할 수 있다. 현재 우리의 기여는 이러한 확장에 기여하고 있으며, 이는 EPA 정의의 느슨한 사용의 위험이 있음을 인정한다. 그러나 우리는 EPA 설명의 타당성을 평가하기 위해 공식적인 방법을 적용하지는 않았지만, 우리는 설명의 성격을 지속적으로 인식하고 있으며 원래 개념에 가능한 한 가깝게 유지하고 있다. 그러나 우리는 예를 들어 이러한 EPA에 반영된 작업의 '감독'이 환자 치료와 다르다는 것을 인정한다. 우리는 HPE에서 PhD에 대한 EPA를 정의함에 있어 개념의 적용 가능성을 한계까지 확장했다고 믿는다.
EPAs were originally conceived for postgraduate medical education (ten Cate and Taylor, 2021; Shorey et al., 2019) and expanded to various other HPE programs (O’Dowd et al., 2019; Meyer et al., 2019; Bramley and McKenna, 2021; Goodell et al., 2019; ten Cate, 2016). These programs are all characterized by entrustment decisions that combine the recognition of ability, right and duty to act in health care (ten Cate, 2016).

• 'Right' refers to licensed privileges or credentials ('under supervision' for learners) and
• 'duty' refers to patient care ('under supervision' for leaners).

That clear characterization and use of EPAs may be less suitable in other areas. However, research, in recent years, has gone through a process of standardization of procedures regarding ethics, data processing, privacy, lab safety, and other factors related to good scientific conduct, which arguably come with potential entrustability issues as well. Teaching practices have also become more standardized in education. This allows EPAs to be proposed for other domains, such as translational science training (Weggemans et al., 2021), and teaching qualifications (van Bruggen et al., 2021). Our current contribution adds to this expansion, which, we acknowledge, risks a looser use of the EPA definition. However, while we did not apply formal methods to evaluate the validity of the EPA descriptions (Taylor et al., 2017; Post et al., 2016), we have continuously been aware of the nature of the descriptions and kept them as closely as possible to the original concept. But we acknowledge for example that 'supervision' of work reflected in these EPAs is different than in patient care. We believe that in defining EPAs for PhDs in HPE we have about stretched the applicability of the concept to its limits.

이 경우에는 이점이 있습니다. [제안된 EPA 프레임워크]는 [국가 간 HPE 훈련]을 진전시키고, [훈련생과 졸업생의 개인 개발 및 고용 결정]에 inform할 수 있는 잠재력을 가지고 있다. EPA 프레임워크는 훈련생에게 예상되는 활동의 범위와 깊이를 제공하고 전문적 역할에 대한 이해를 심화시킬 수 있다. PhD 프로그램 책임자는 이 프레임워크를 활용하여 본 연구에서 제안된 전문 활동, 특히 핵심 EPA에 기초한 교육을 제공하고 개별 학습 과정을 모니터링하며 관찰을 기반으로 의미 있는 피드백을 제공할 수 있다. 다음 단계는 HPE PhD 프로그램을 adapt하고 EPA 프레임워크 사용의 영향을 평가하는 것이다. 
In this case we do see benefits. The proposed EPA framework has the potential to advance HPE training across countries and to inform trainees' and graduates' personal development and employment decisions. The EPA framework can offer trainees the extent and depth of the expected activities and deepen their understanding of the professional role. PhD program directors may utilize the framework to provide training grounded in professional activities proposed in this study, specifically the core EPAs, monitoring the individual learning processes, and providing meaningful feedback based on observations. A next step would be to adapt HPE PhD programs and evaluate the impact of using the EPA framework.

우리의 응답률은 낮은 것으로 간주될 수 있습니다. 델파이 연구의 경우, 모든 반복을 완료한 15명의 패널리스트가 드물지는 않지만, 특히 이것이 상당한 노력을 반영하고 모든 패널이 적절한 전문가로서 자격을 얻을 수 있다면, 접근한 최초의 전문가 목록은 148명이었다. 포함된 6개국은 [서구권]을 대표하며, [비서구권 문화]와 다른 HPE PhDs의 예상 활동에 대한 의견을 가질 수 있다. 분명히 [관리 중심 EPA]는 이란 연구에서 덜 평가되었지만, 17개의 결과 EPA는 모두 리커트 척도에서 3.5보다 컸고, 13/17(76%)는 관련성에 대한 점수가 4.0을 넘었다. 우리는 규제의 틀을 만들 의도가 없었기 때문에, 우리는 참가자들의 편견이 어느 정도 중요성이 있었다고 생각하지 않는다. 
Our response rate may be considered low. While for a Delphi study, 15 panelists who completed all iterations is not unusual, particularly if this reflected significant effort and all can be qualified as suitable experts, the initial list of experts approached was 148. The six countries included represent the Western world and might have opinions on expected activities from HPE PhDs that differ from non-Western cultures. While clearly management-focus EPAs were less valued that in the Iranian study, all 17 resulting EPAs had a mean score for relevance larger than 3.5 on a Likert scale, and 13/17 (76%) larger than 4.0. As we had no intention to create a regulatory framework, we do not believe the bias of participants was present in any level of significance.

또 다른 한계는 이 연구가 24개 EPA의 기존 프레임워크와의 합의를 찾기 시작했다는 것이다. 우리는 새로운 EPA를 추가하기 위해 패널 구성원들을 의도적으로 초대하지 않았다. 이러한 목적으로 사용될 수 있는 각 EPA와 함께 풍부한 자유 텍스트 공간이 있었지만, 우리는 새로운 EPA에 대한 아이디어를 놓쳤을 수 있다. 
Another limitation is that the study set out to find agreement with an existing framework of 24 EPAs. We did not deliberately invite panel members to add new EPAs. While there was abundant free text space with each EPA which could have been used for this purpose, we may have missed ideas for new EPAs.

결론들
Conclusions

HPE PhD 프로그램의 수는 점진적으로 증가하고 있다. 동시에, 학술 기관의 교육 개발과 혁신을 지원하기 위해 HPE의 박사 학위 취득자를 고용하는 것에 대한 요구가 증가하고 있다. 국제 전문가 패널이 인정한 바와 같이, 우리는 HPE 박사 학위를 가진 교육자들의 합리적인 기대를 거의 반영하는 EPA 프레임워크를 제시했다. 그것은 국가 간 HPE 교육을 진전시키고 고용 결정을 알릴 수 있는 잠재력을 가지고 있다. 우리는 박사과정에 대해 규범적인prescriptive 척하지 않지만, 우리는 HPE PhD 프로그램이 [연구 기술] 외에도 [교육 이론과 개발]에 초점을 맞추고, 선택 사항으로 [관리 기술]을 가질 것을 추천할 것이다. 그러나 우리는 HPE보다 훨씬 더 많은 박사과정 교육이 [내용과 길이 면에서 개별화되어 있다]는 것을 깨달아야 한다. 이는 [핵심 EPA]와 [선택 EPA]의 구별을 더욱 유용하게 만든다. 
The number of HPE PhD programs is progressively expanding. At the same time, there are increasing demands in employing PhD graduates in HPE to support education development and innovation in academic institutions. We presented an EPA framework that, as acknowledged by a panel of international experts, arguably reflects reasonable expectations of educators with a PhD degree in HPE. It has the potential to advance HPE training across countries and inform employment decisions. While we do not pretend to be prescriptive for doctoral programs, we would recommend HPE PhD programs to focus, besides on research skills, also on educational theory and development, and have managerial skills as an option. We should however realize that, much more than in HPE, PhD education is individualized in content and length. That makes the distinction between core EPAs and elective EPAs even more useful.

---

Adv Health Sci Educ Theory Pract. 2022 Jul 14. doi: 10.1007/s10459-022-10136-4. Online ahead of print.

Expectations for PhDs in health professions education: an international EPA-framed, modified Delphi study

Roghayeh Gandomkar 1 2, Reza Zaeri 3, Olle Ten Cate 4

Affiliations collapse

1Health Professions Education Research Center, Tehran University of Medical Sciences, Tehran, Iran. rgandomkar@tums.ac.ir.

2Department of Medical Education, School of Medicine, Tehran University of Medical Sciences, No. 57, Hojjatdust Alley, Naderi St., Keshavarz Blvd., Tehran, Iran. rgandomkar@tums.ac.ir.

3Department of Medical Education, School of Medicine, Tehran University of Medical Sciences, No. 57, Hojjatdust Alley, Naderi St., Keshavarz Blvd., Tehran, Iran.

4Center for Research and Development of Education, University Medical Center Utrecht, Utrecht, The Netherlands.

PMID: 35836036

DOI: 10.1007/s10459-022-10136-4

Abstract

Health professions education (HPE) has matured into field of study that employs and produces specialized educational scholars. Many academic institutions employ such scholars to support development and innovation in education. Simultaneously, the possibilities to obtain a PhD degree in HPE are expanding. Clarity in the expectations that such a degree brings along can be useful for scholars, employers and institutions. Anticipating that the views of what a PhD in HPE is or should be can vary between institutions, cultures and countries, we conducted an international Delphi study to identify EPAs for HPE PhDs. We used a framework of 24 EPAs resulted from a national consensus study in Iran as input to seek more generalized validity and a wider consensus of reasonably suitable activities. A three-round modified Delphi study was conducted with participation of 15 international experts. Final framework consisted of 17 relevant EPAs with a justification, specifications and limitations, and risks in case of failure per EPA (all had overall CVI > 0.8 for adequacy of description). Eleven EPAs were considered by the majority to be core to PhD training, 16 to be desirable for HPE PhDs as a capability to carry out without supervision, but the majority would trust current HPE PhDs to carry out only 5 of the 17 without supervision. The EPAs identified in this study arguably reflect the expectations of educators with a PhD degree in HPE. The framework has the potential to advance HPE training across countries and to inform personal development and employment decisions.

Keywords: Delphi study; Entrustable professional activities; Health profession education; PhD.

© 2022. The Author(s), under exclusive licence to Springer Nature B.V.