보건의료전문직 교육에서 근거의 사용: 태도, 실천, 장애, 지원 (Med Teach, 2019)

보건의료전문직 교육에서 근거의 사용: 태도, 실천, 장애, 지원 (Med Teach, 2019)
Use of evidence in health professions education: Attitudes, practices, barriers and supports
Aliki Thomasa , Larry D. Gruppenb , Cees van der Vleutenc, Gevorg Chilingaryand, Fatima Amarie and Yvonne Steinertf

 

서론
Introduction

지난 20년 동안 보건 전문가(HP) 교육자(예: 임상 교사, 커리큘럼 기획자)와 정책 입안자(학장, 프로그램 책임자)가 교육 및 평가 관행과 정책에 증거 정보를 바탕으로 한 접근 방식을 적용해야 한다는 목소리가 높았다. 이러한 접근 방식은 의미 있고 효과적인 교육을 제공하는 학습자와 사회에 대한 책임을 보장하는 데 도움이 될 수 있다. 근거 활용 건강 전문 교육(EIHPE)을 향한 추진력은 체계적인 검토 및 기타 지식 합성을 통해 HP 교육자들에게 교육 연구의 최신 결과를 제공하는 BME(Best Evidence in Medical Education) 협업과 같은 이니셔티브의 성장에도 반영됩니다(Harden et al. 2000). 

In the last two decades, there has been a resounding call for health professions (HP) educators (e.g. clinical teachers, curriculum planners) and policy-makers (deans, program directors) to apply an evidence-informed approach to teaching and assessment practices and policies. Such an approach could help ensure accountability to learners and society in providing meaningful and effective education (van der Vleuten et al. 2000; Durning et al. 2012). The drive toward evidence-informed health professions education (EIHPE) is also reflected in the growth of initiatives such as the Best Evidence in Medical Education (BEME) Collaboration, which makes available the latest findings from education research to HP educators via systematic reviews and other knowledge syntheses (Harden et al. 2000).

EIHPE에 대한 추진은 교육자들이 증거 정보에 근거한 교육 및 평가 결정을 내리기 위해 BEME 검토가 어떻게 사용되는지를 탐구하는 것을 목표로 하는 여러 국제 이니셔티브를 창출하는 것으로 이어졌다(BEME 웹사이트; Maggio et al. 2018). 예를 들어, BME Collaboration의 구성원들은 의뢰된 많은 체계적인 검토가 종종 교육자들에게 전달되지 않는다고 제안합니다. 42개의 BEME 가이드의 품질, 접근성 및 관련성에 대한 최근 메타 합성은 결과의 접근성과 관련성을 향상시킬 수 있는 상당한 여지를 발견했다. 이러한 이니셔티브와 HP 교육자들이 모범 사례를 수용하고 채택해야 한다는 요구가 증가하고 있음에도 불구하고, 현재의 HPE 실천이 현장의 기존 증거 기반을 반영하는지에 대한 경험적 연구는 거의 없다. 
The drive for EIHPE has led to the creation of several international initiatives aiming to explore how BEME reviews are used by educators to make evidence-informed teaching and assessment decisions (BEME website; Maggio et al. 2018). For example, members of the BEME Collaboration suggest that many commissioned systematic reviews often do not reach educators. A recent meta-synthesis of the quality, accessibility, and relevance of 42 BEME guides (Maggio et al. 2018) found substantial room for enhancing accessibility and relevance of findings. Despite these initiatives, and the growing push for HP educators to embrace and adopt best practices, there is scant empirical research on whether current HPE practices reflect the existing evidence base in the field.

의료 분야에서 증거 정보에 근거한 접근 방식은 오랫동안 실무에서 결정을 내릴 때 "현재의 최상의 증거를 양심적이고, 명시적이며, 신중하게 사용하는 것"을 목표로 해왔다(Sackett et al. 2000). 연구실습 "갭"을 인정하면서 지식번역(KT)에 대한 관심이 급증하고 있다. KT는 다음의 것을 목표로 하는 성장중인 분야 이다.

• 연구-실천 격차의 성격과 규모를 파악
  
• 실무자가 실무자에게 정보를 제공하기 위해 연구를 사용하는 것을 금지하는 개별적 및 조직적 요인을 조사
  
• 임상의의 연구 결과 사용을 지원하기 위한 이론 중심 전략의 영향을 평가

In healthcare, evidence-informed approaches have long aimed for the “conscientious, explicit, and judicious use of current best evidence” in making decisions in practice (Sackett et al. 2000). Recognition of a research-practice “gap” has led to a burgeoning interest in knowledge translation (KT), a growing field that aims to

• identify the nature and magnitude of research-practice gaps;
• examine the individual and organizational factors that inhibit practitioners from using research to inform practice; and
• assess the impact of theory-driven strategies to support clinicians’ use of research findings (Graham 2012; Canadian Institutes of Health Research 2016).

HPE의 KT는 상대적으로 새로운 학문 분야를 대표하기 때문에, 우리는 KT가 연구자, 교육자, 학습자, 교수진 및 기타 이해관계자(예: 의사 결정자, 프로그램 책임자)의 노력을 통해 교육 연구의 생성, 보급 및 활용을 지원할 것으로 기대한다(Thomas 및 Steinert 2014; Thomas and Bussi 2016a, 2016b). 그러나 EIHPE를 촉진하기 위해 KT 개입의 설계, 구현 및 영향을 평가하는 데 공동의 노력을 기울이려면, 우리 커뮤니티는 HPE 이해관계자들이 교육적 의사 결정에 이 접근 방식을 사용하는지, 그리고 어떻게 사용하는지를 조사하는 것이 중요하다. 
As KT in HPE represents a relatively new area of scholarship, we anticipate that KT will involve efforts by researchers, educators, learners, faculty developers, and other stakeholders (e.g. decision-makers, program directors) to support the creation, dissemination, and utilization of educational research (Thomas and Steinert 2014; Thomas and Bussieres 2016a, 2016b). However, if concerted efforts are to be dedicated toward designing, implementing, and assessing the impact of KT interventions to promote evidence-informed HPE, it is vital that our community investigates if, and how, HPE stakeholders utilize this approach for educational decision-making.

HP 교육자의 HPE 증거에 대한 태도, HP 교육자가 교육 연구를 인식하고 접근할 수 있는지, 교육자가 연구 결과를 사용하여 교수 및 평가 관행을 알 수 있는지 등을 탐구하는 경험적 연구는 제한적이다. Onyura et al(2015)은 연구 결과 사용을 촉진하거나 방해하는 의학 교육자 환경의 특징을 연구했으며, 여러 억제 요인(예: 사용 가능한 증거의 품질 저하, 시간 제약)과 촉진 요인(예: 교수진 개발)을 발견했다. 이 소규모 정성적 연구는 연구 사용에 대한 지지와 장벽을 식별하는 것뿐만 아니라 대규모 조사와 같은 대체 방법론과 HP 교육자의 더 큰 표본을 사용하여 새로운 가설을 테스트해야 할 필요성을 강조했다.

There is limited empirical research exploring HP educators’ attitudes toward HPE evidence, whether HP educators are aware of, and can access, educational research, and whether educators use research findings to inform their teaching and assessment practices. Onyura et al. (2015) studied features of medical educators’ environments that facilitated or impeded the use of research findings and found a number of inhibiting (e.g. poor quality of available evidence, time constraints) and facilitating (e.g. faculty development) factors. This small-scale qualitative study underscored the importance of identifying supports and barriers to research use as well as the need to test emerging hypotheses using larger samples of HP educators and alternative methodologies such as large-scale surveys.

본 연구는 HPE 내에서 연구 활용과 연구 활용의 결정 요인(태도, 장벽 및 지원)에 관한 현재의 관행을 파악하고자 한다. 구체적으로, 우리는 다음과 같이 대답하고자 했다.

• 교육 연구 증거를 사용하여 교육 및 평가 행위에 inform하는 것에 대하여 HP 교육자들의 태도는 어떠한가?
  
• HP 교육자들은 그들의 실습에서 교육적 연구 증거를 어느 정도까지 사용하고 있는가?
  
• HP 교육자의 관점에서 본 증거 정보 교육의 개인 및 조직 지원 및 장벽은 무엇인가?

The present study seeks to identify current practices regarding research utilization and the determinants (attitudes, barriers and supports) of research utilization within HPE. Specifically, we sought to answer:

1. What are HP educators’ attitudes toward using educational research evidence to inform their teaching and assessment practices?
2. To what extent do HP educators use educational research evidence in their practice?
3. What are the individual and organizational supports and barriers of evidence-informed education from the perspective of HP educators?

방법론
Methodology

연구설계
Study design

이 연구는 유럽 의학 교육 협회(AMEE)의 회원들을 대상으로 HPE의 연속체에 걸쳐 작업하는 횡단적인 설문 조사로 구성되었다. 이 연구는 맥길 대학의 기관 검토 위원회로부터 윤리적인 승인을 받았다.
The study consisted of a cross-sectional survey of members of the Association for Medical Education in Europe (AMEE) working across the continuum of HPE. The study was granted ethics approval from McGill University’s Institutional Review Board.

참가자
Participants

적격 참가자에는 AME 회원 및 스코틀랜드 글래스고에서 열린 2015 AME 컨퍼런스 참석자가 포함되었으며 HP 교육자였습니다. 우리는 'HP 교육자'를 교육 계획, 운영 및 연구에 관련된 사람뿐만 아니라, 학술 및 임상 환경에서 가르치는 개인으로 정의했다. AMEE 회원은 다양한 자격 증명(임상 학위 및/또는 대학원 학위)과 역할을 가진 다양한 국가, 보건 전문직(예: 의학, 간호 및 재활) 및 학문 분야(예: 교육, 심리학 및 정신계량학)를 대표한다. 글래스고에서 열린 2015년 AME 회의 참석자(~n = 1200명) 및/또는 모든 AME 회원(~n = 3200명(AMEE 회원 포함)이 모집되었으며, 표본이 추출된 보수적인 추정 모집단으로 1200명에서 3200명까지의 총 참가자를 대상으로 연구에 참여할 자격이 주어졌다.
Eligible participants included AMEE members and/or attendees of the 2015 AMEE conference in Glasgow, Scotland who were HP educators. We defined ‘HP educators’ as individuals who teach in academic and clinical settings, as well as those involved in educational planning, administration and/or research. AMEE members represent a wide range of countries, health professions (e.g. medicine, nursing, and rehabilitation), and academic disciplines (e.g. education, psychology, and psychometrics), with different credentials (clinical degrees and/or graduate degrees) and roles. All AMEE members (∼n = 1200) and/or attendees of the 2015 AMEE conference in Glasgow (∼n = 3200—including AMEE members) were recruited and eligible to participate in the study for a total number of participants ranging from 1200 to 3200 as the conservative estimated population from which our sample was drawn.

연구 절차 및 데이터 수집
Study procedure and data collection

AMEE 담당자가 채용 이메일과 온라인 설문 조사 링크를 모든 적격 참가자에게 전달했습니다. 그들은 첫 번째 초대장으로부터 2주 후에 하나의 리마인더 이메일을 보냈다.
An AMEE representative forwarded a recruitment email and a link to the online survey to all eligible participants. They sent one reminder email 2 weeks after the initial invitation.

측량기
Survey instrument

문헌을 검토한 결과 우리의 관심 구조를 측정하는 기존 설문지가 없었다. [3단계 프로세스]를 통해 EIHPE에 대한 HP 교육자의 태도를 측정하고, 증거 정보 접근법과 관련된 현재 관행을 조사하며, 교육 관행을 알리기 위해 증거를 사용하는 데 대한 지지와 장벽을 식별하기 위한 설문지를 개발했다. 우리는 "증거"를 과학 교육 연구에서 얻은 결과로 정의했다.
A review of the literature revealed no existing questionnaires measuring our constructs of interest. Through a three-phase process, we developed a questionnaire to measure HP educators’ attitudes toward evidence-informed HPE, examine current practices associated with an evidence-informed approach to HPE, and identify the supports and barriers to using evidence to inform educational practices. We defined “evidence” as results obtained from scientific educational research.

1단계: 문헌 검토
Phase 1: review of the literature

우리는 (1) EIHPE에 대한 문헌을 검토하여 HPE(Onyura et al. 2015; Thomas and Law 2014)의 베스트 프랙티스를 둘러싼 담론의 최전선에서 구조를 식별하고, (2) 임상 분야에서 임상의사의 증거 사용에 영향을 미치는 것으로 알려진 주요 요인을 식별했다.
We reviewed the literature on (1) EIHPE to identify constructs at the forefront of discourses surrounding best practices in HPE (Onyura et al. 2015; Thomas and Law 2014) and (2) the rich body of literature on EBP and KT in the clinical realm in order to identify the major factors known to influence clinicians’ use of evidence in clinical practice.

2단계: 아이템 개발
Phase 2: item development

딜먼의 맞춤형 설계 방법(Dillman et al. 2009) 및 문헌 검토에서 태도, 관행, 지지 및 장벽을 탐구하는 항목의 첫 번째 버전을 개발했습니다. 내용, 방법론 및 측정 전문지식(n = 8)을 가진 HPE 임상의와 연구자(심리측정학자를 포함)의 국제 전문 그룹을 초청하여 내용 타당성에 대한 설문지를 검토하였다. 피드백은 설문지 작성에 필요한 항목 수와 시간, 항목 명확성, 문화적 특수성, 사회적 선호도의 위험성을 중심으로 이루어졌다. 우리는 이 피드백을 바탕으로 설문조사를 수정했습니다.
Using the principles outlined in Dillman’s Tailored Design Method (Dillman et al. 2009) and our review of the literature, we developed the first version of items exploring attitudes, practices, and supports and barriers. An interprofessional, international group of HPE clinician-educators and researchers (including a psychometrician) with content, methodological and measurement expertise (n = 8) were invited to review the questionnaire for content validity. Feedback centered on the number of items and time required to complete the questionnaire, item clarity, cultural specificity, and the risk of social desirability. We revised the survey based on this feedback.

3단계: 설문조사 항목의 파일럿 테스트
Phase 3: pilot testing of survey items

수정된 설문지는 목표 모집단을 대표하지만 표본 추출 프레임에는 포함되지 않은 교육자 부분 집합(n = 10)으로 시범 테스트되었다. 피드백을 바탕으로 명확성을 높이고 설문조사를 단축하기 위해 추가 개정이 이뤄졌다. 최종 조사는 4개 섹션(부록 A)으로 나눠진 49개 항목으로 구성됐다. 섹션 1-3의 항목은 5점 Likert 척도를 사용했다. 섹션 4는 참가자의 인구통계학적 세부 정보를 캡처했다. 이 조사는 온라인 플랫폼을 통해 배포되었다.

The revised questionnaire was pilot tested with a subset of educators (n = 10), representative of our target population but not included in our sampling frame. Based on the feedback, additional revisions were made to improve clarity and shorten the survey. The final survey consisted of 49 items divided across four sections (Supplementary Appendix A). Items in Sections 1–3 used a 5-point Likert scale. Section 4 captured participants’ demographic details. The survey was distributed via the online platform “Fluid Surveys.”

데이터 분석
Data analysis

데이터는 SAS® 소프트웨어 9.4를 사용하여 분석되었습니다. 전체 표본에 대한 태도, 관행 및 보고된 장벽과 지지대에 해당하는 각 조사 항목에 대한 응답뿐만 아니라 인구통계학적 특성 모두를 기술하기 위해 기술 통계(빈도와 백분율)가 수행되었다. 섹션 1과 섹션 2에 대한 5개의 응답 앵커가 세 가지 범주로 축소되었다. 섹션 1(태도)의 경우, 반대(D)와 반대(SD)를 조합하여 '반대'를 형성하고, 동의(A)를 동의(SA)와 결합하여 '동의'를 구성하였다. 섹션 2(실천)의 경우, 자주(O)와 자주(VO)가 '자주'로, 자주(F)와 자주(VF)가 합쳐져 '자주'로 형성되었다.

Data were analyzed using SAS® software 9.4. Descriptive statistics (frequencies and percentages) were carried out to describe both the demographic characteristics as well as the responses for each survey item corresponding to attitudes, practices, and reported barriers and supports for the whole sample. The five response anchors for Sections 1 and 2 were collapsed into three categories.

• For Section 1 (attitudes), Disagree (D) and Strongly disagree (SD) were combined to form “Disagree,” and Agreed (A) was combined with Strongly Agreed (SA) to form “Agree.”
• For Section 2 (practices), Often (O) and Very Often (VO) formed ‘often’ and Frequent (F) and Very frequent (VF) were combined to form “frequent.”

표 1에 요약된 바와 같이, 인구통계학적 변수와 업무 관련 변수는 범주를 축소하고 새로운 범주를 생성하는 반복적인 프로세스를 사용하여 재구성되었다. 예를 들어, 첫 번째 질문인 "당신의 전문적인 자격은 무엇입니까?"는 처음에는 9개의 응답 범주(치과의사, 간호사, 직업치료사(OT), 약사, 의사, 물리치료사(PT), 음성언어병리학자(SLP), 나는 임상의가 아닙니다, 기타(구체적으로 지정하십시오)를 포함했습니다. 의료 전문가가 아닌 참가자(예: 의사가 아닌, 물리치료사가 아닌)는 "기타" 또는 "나는 임상의가 아니다"를 선택했다. 우리는 소수의 관측치(예: OT, PT, SLP)가 포함된 원래 응답 코드 중 몇 개를 접어서 참가자의 응답을 기록하고 "동맹 건강"이라는 새로운 변수를 만들었다. 또한 '치과의사', '약사' 등 관측치가 거의 없는 응답 카테고리는 '의사' 카테고리로, '기타'는 '나는 임상의가 아니다'로 무너졌다. 그 결과 "동맹 건강", "의사/약사/치과의사" 및 "나는 임상의/기타 의사가 아니다"라는 세 가지 응답 범주가 나왔다.
The demographic and work-related variables were regrouped using an iterative process of collapsing categories and creating new ones, as outlined in Table 1. For instance, the first question “What are your professional qualifications” initially included nine response categories (Dentist, Nurse, Occupational Therapist (OT), Pharmacist, Physician, Physiotherapist (PT), Speech Language Pathologist (SLP), I am not a clinician, Other (please specify)). Participants who were not health care professionals (e.g. not a doctor, not a physical therapist), selected “Other” or “I am not a clinician.” We recoded participants’ responses by collapsing several of the original response codes containing few observations (e.g. OT, PT, SLP) and created a new variable called, “Allied health.” In addition, response categories with few observations, such as “Dentist” and “Pharmacist” were collapsed with the “Physician” category and “Other” with “I am not a clinician.” This resulted in three response categories: “allied health,” “physician/pharmacist/dentist,” and “I am not a clinician/other.”

몬테카를로 추정치가 5 미만인 카이-제곱 통계는 세 가지 조사 섹션의 항목 부분 집합에 대한 인구 통계 변수 간의 차이를 조사하기 위해 수행되었다.

Chi-square statistics with Monte Carlo estimates for the presence of expected counts less than five were carried out to examine differences among the demographic variables on a subset of items in each of the three survey sections.

결과.
Results

표 1은 참가자의 인구통계학적 특성과 실천적 특성을 보여준다. 318명의 참가자가 완성된 설문지를 제출했으며, 추정 샘플 3200을 기준으로 10%의 응답률을 산출했다(3200은 빈도 계산에서 가장 보수적인 기준이다). 응답자의 거의 3분의 2가 의사/약사/치과의사였고 22.6%는 임상의가 아니라고 보고했다. 31%는 박사 학위를 최고 학위로, 10.5%는 연구원으로 확인되었으며, 56%는 대학 관련 환경에서 근무했으며, 10.9%(n = 32)는 주로 병원 기반이었다. HPE 교육자로서의 평균 경력 연수는 10년 미만 37.5%, 11~20년 30.6%, 20년 이상 31.9%로 상당히 균등하게 분포되어 있었다.
Table 1 presents the participants’ demographic and practice characteristics. Three hundred eighteen participants submitted completed questionnaires, yielding a response rate of 10% based on an estimated sample of 3200 (3200 is the most conservative basis for our frequency calculations). Almost two-thirds of respondents were physicians/pharmacists/dentists and 22.6% reported that they were not clinicians. Thirty-one percent reported having a doctorate as their highest degree, 10.5% identified as researchers, and 56% worked within a university-affiliated setting compared to 10.9% (n = 32) that were primarily hospital-based. The average number of years of experience as an HPE educator was distributed fairly equally with 37.5% having less than 10 years of experience, 30.6% having 11–20 years of experience, and 31.9% having over 20 years of experience.

표 2-4는 (1) 참가자가 일하는 환경 유형, (2) 주요 업무 역할, (3) 전문 자격, (4) HP 교육자로서의 경험, (5) 최고 학위를 바탕으로 세 섹션 각각에 대한 통계적으로 유의한 카이-제곱 값을 나타낸다.
Tables 2–4 contain the statistically significant chi-square values for items within each of the three sections based on (1) type of setting at which participants work; (2) primary work role; (3) professional qualifications; (4) years of experience as a HP educator; and (5) highest degree obtained.

 

 

 

섹션 1: 증거 정보에 근거한 HPE에 대한 태도
Section 1: attitudes toward evidence-informed HPE

표 5는 EIHPE에 대한 태도와 관련된 결과를 요약한다. 응답자의 83%는 교육 관행에 대한 결정을 내릴 때 연구 결과를 이용한다고 말했다. 교육적 의사결정을 지도하는 데 있어 가장 중요한 정보원으로서 경험을 묻는 질문에는 응답이 고르게 확산되었다(32%가 동의하지 않았고, 34.3%가 중립, 33.6%가 동의했다). 96.7%가 이 분야의 최신 증거를 바탕으로 관행을 바꾸는 데 열려 있었지만, 거의 60%가 교육자가 HPE 연구 결과를 덜 활용한다는 데 동의했습니다. 증거 정보에 입각한 HP 교육자가 되는 것이 너무 시간이 많이 걸린다는 데 동의한 비율은 매우 적었습니다. 90%는 HPE에 대한 증거 정보에 근거한 접근 방식을 통해 교육 관행이 개선될 수 있다는 데 동의했다. 그러나 그럼에도 불구하고, 거의 동일한 비율의 응답자들이 HPE 실무에 대한 결정이 내려질 때 증거 사용이 거의 역할을 하지 않는다는 것에 동의(37.9%)하고 동의하지 않았다(40.3%)고 말했다.
Table 5 summarizes the results in relation to attitudes toward EIHPE. Eighty-three percent of respondents indicated using research findings when making decisions about educational practices. When asked about experience as the most important source of information in guiding educational decisions, the responses were evenly spread (32% disagreed; 34.3% were neutral, 33.6% agreed). Although 96.7% were open to changing their practices based on the latest evidence in the field, almost 60% agreed that educators make less use of HPE research findings. A very small proportion (17.5%) agreed that being an evidence-informed HP educator is too time-consuming. Ninety percent agreed that educational practices could be improved through a more evidence-informed approach to HPE. Despite this, however, an almost equal proportion of respondents agreed (37.9%) and disagreed (40.3%) that the use of evidence almost never plays a role when decisions about HPE practices are made.

근무환경의 유형, 주요 업무 역할, 보건 전문 교육자로서의 기간 및 최고 학위는 EIHPE에 대한 태도와 유의하게 연관되어 있었다. [대학 기반 환경]에서 일하는 참가자들은 HPE를 기반으로 의사 결정을 내릴 가능성이 높았으며, HPE에 대한 증거 정보에 근거한 접근 방식이 지역사회 기반 및 병원 기반 환경에 비해 교육 관행의 질을 향상시킨다고 믿었다. 주로 임상의나 교사로 확인된 응답자들은 [과정 평가course evaluations]가 [연구 증거]보다 교육적 결정을 안내하는 데 더 중요하다고 보고했다. 11년 이상의 경험을 가진 사람들은 HPE에 대한 증거 정보에 근거한 접근법이 경험이 적은 사람들(<10년)에 비해 HPE의 품질을 향상시킨다는 것에 동의할 가능성이 높기 때문에, 수년 간의 경험은 태도와도 관련이 있었다. 
[10년 이하 경험이 있는 그룹]에서 증거의 사용은 HPE 관행에 대한 결정이 내려질 때 거의 역할을 하지 않는다.
Type of work setting, primary work role, years as a health professions educator and highest degree were significantly associated with attitudes toward EIHPE. Participants working in a university-based setting were more likely to make decisions based on HPE and believe that an evidence-informed approach to HPE improves the quality of educational practices compared to those in community-based and hospital-based settings. Respondents who primarily identified as a clinician or teacher reported that course evaluations are more important in guiding educational decisions than research evidence. Years of experience were also related to attitudes, as those with 11 or more years of experience are more likely to agree that an evidence-informed approach to HPE improves the quality of HPE compared to those with less experience (<10 years); for this latter group, the use of evidence almost never plays a role when decisions about HPE practices are being made.

획득한 최고 학위의 경우, DVM(Doctors in Vetrician Medicine)을 가진 참가자들은 대학원 수료증/석사, 박사학위 소지자, 박사학위 소지자에 비해 과학 문헌보다는 동료로부터 교육 실무에 대해 배우는 것을 선호했다. EIHPE에 대한 태도는 다른 직업을 대표하는 응답자들 사이에서 유의미한 차이가 없었다.

In terms of highest degree obtained, participants with a Doctorate in Veterinary Medicine (DVM) preferred to learn about educational practices from colleagues rather than from the scientific literature, compared to those with a graduate certificate/masters, MDs, MDs with a graduate degree, and those with a PhD. There were no significant differences in attitudes toward EIHPE among respondents representing different professions.

섹션 2: 관행
Section 2: practices

표 6은 응답자가 EIHPE 관련 활동에 참여하는 빈도를 나타낸다. 참가자의 절반은 정기적으로 회의에 참석했고 거의 3분의 2는 교수진 개발 활동에 참석했습니다. 70%는 강의실이나 임상 환경에서 가르쳤고, 3분의 2는 정기적으로 커리큘럼 설계에 종사했다. 절반이 조금 넘는 사람들이 연구 활동에 자주 참여했고 75% 이상이 논문을 검색했다. 56%는 교실에서 가르치는 것을 알리기 위해 HPE 연구 결과를 이용했고, 43.6%는 임상 환경에서, 54.3%는 학습자를 평가하기 위해 이용했다.

Table 6 presents the frequency with which respondents engaged in EIHPE-related activities. Half of participants regularly attended conferences and almost two-thirds attended faculty development activities. Seventy percent taught in the classroom or clinical setting and two-thirds regularly engaged in curriculum design. A little over half frequently took part in research activities and more than 75% searched for scientific articles. Fifty-six percent used HPE research findings to inform teaching in the classroom, 43.6% in the clinical setting, and 54.3% to assess learners.

교육teaching에 정보를 활용하기 위한 HPE 연구의 사용과 관련하여, [혼합 환경(즉, 주로 대학 및 병원/지역 기반)에서 일하는 사람들]은 [대학 또는 지역사회 환경 또는 정책 수준에서 일하는 사람들]에 비해 HPE 연구 결과를 사용할 가능성이 더 높았고, [대학 기반 환경에서 일하는 사람들]은 [병원 기반 환경에서 일하는 사람들]보다 HPE 연구 결과를 사용할 가능성이 더 높았다. [대학에 기반을 둔 개인들]은 다른 모든 분야에서 일하는 사람들에 비해 학습자의 평가를 위해 HPE 연구를 사용할 가능성이 더 높았다. 한 가지 예외는 [병원 기반 환경에서 일하는 사람들]이 [정책 수준에서 일하는 사람들]에 비해 연구 결과를 사용할 가능성이 더 높았다는 것이다. 지역사회 기반 환경에서 일하는 사람들은 다른 모든 그룹에 비해 훨씬 더 많은 시간을 할애한다고 보고했다.
Regarding use of HPE research to inform teaching, those working in a mixed (i.e. primarily university and hospital/community-based) setting were more likely to use HPE research findings compared to those working in a university or community setting or at the policy level, and those working in a university-based setting were more likely to use HPE research findings than those working in a hospital-based setting. University-based individuals were more likely to use HPE research for assessment of learners compared to those working in all other areas; one exception is that those working in a hospital-based setting were more likely to use research findings compared to those working at the policy level. Those working in community-based settings reported having significantly more demands on their time compared to all other groups.

교사 및 임상의, 연구를 포함하지 않는 여러 역할을 가진 사람들, 그리고 주로 연구에 종사하는 사람들은 교수와 커리큘럼 설계를 알리기 위해 HPE 연구 결과를 사용할 가능성이 더 높았다. 연구 유무에 관계없이 여러 역할을 가진 사람들은 임상의나 연구원들에 비해 HPE 연구를 사용할 가능성이 더 높았다. 비임상사(예: 전임 연구자, 정책 직책에 있는 사람)와 관련 보건 전문가들은 MD보다 과학적 증거를 더 자주 찾지만, 교육 정보를 제공하기 위해 실제로 보고된 HPE 연구 결과를 사용하는 경우 그 반대의 경우가 발견되었다. 마지막으로, 가장 경험이 많은 사람들은 HPE 커리큘럼 설계에 더 자주 참여했고 HPE 연구를 사용하여 그들의 교수 행동에 inform하였다.
Teachers and clinicians, those with multiple roles not including research, and those working primarily in research were more likely to use HPE findings to inform teaching and curriculum design. Those with multiple roles with and without research were more likely to use HPE research compared to clinicians and researchers. Though non-clinicians (e.g. full-time researchers, those in policy positions) and allied health professionals search for scientific evidence more often than MDs, the reverse was found for actual reported use of HPE research findings to inform teaching. Finally, those with the greatest number of years of experience more frequently engaged in HPE curriculum design and used HPE research to inform their teaching practices.

섹션 3: 지지대 및 장벽
Section 3: supports and barriers

표 7은 참가자의 HPE 연구 이용을 촉진하거나 방해하는 요인을 요약한 것이다. 참가자의 4분의 3은 HP 교육자가 될 수 있는 자신의 능력에 자신감을 보였다. 87%는 문헌에 접근할 수 있다고 보고했으며, 3분의 1 미만이 문헌을 읽을 충분한 시간을 가지고 있었으며, 42%는 HPE 연구를 실무에 적용할 수 있는 능력을 제한하는 다른 우선순위를 가지고 있었다. 문학에 대한 비판적 평가는 15% 미만으로 어려웠다. 거의 50%가 동료들이 HPE 연구 결과를 교육 관행에 적용하도록 장려한다고 답했으며, 절반 이상이 교육 기관 내의 교사와 지도자들이 교육 관행을 바꾸는 것을 꺼린다고 보고했다.
Table 7 summarizes the factors that facilitate or hinder participants’ ability to use HPE research. Three-quarters of participants were confident in their ability to be an evidence informed HP educator. Eighty-seven percent reported having access to the literature, less than one third had sufficient time to read the literature and 42% had other priorities limiting their ability to apply HPE research in their practices. Critical appraisal of the literature was difficult for less than 15%. Almost 50% indicated that their colleagues encourage them to apply HPE research findings to educational practices and just over half reported that teachers and leaders within their institutions are reluctant to change educational practices.

직무역할과 전문자격만을 기준으로 업무환경 내에서 자신감, 경쟁우선순위, 비판적 평가능력, HPE 연구의 유용성 등의 요소에 유의한 차이가 있었다. 임상의는 증거에 정통한 교육자가 될 수 있는 능력에 대해 가장 자신감이 없었고, 다역할을 하는 사람들은 연구가 주된 책임인 참여자에 비해 더 자신감이 있었다. 임상의는 여러 역할을 가진 사람(연구가 있거나 없거나)보다 시간 제약이 많다고 보고했다. 연구, 행정 및 교육을 포함하는 책임이 있는 개인(즉, 다중 역할)도 교사 및 연구자에 비해 시간 제약이 더 많다고 보고했다. 의학박사와 비임상사는 HPE 연구 결과를 교육 관행에 적용할 수 있는 능력을 제휴 의료 전문가와 비교하여 현저하게 제한하는 다른 우선 순위를 가지고 있다고 보고했다. MD들은 일반적으로 (AHP나 비임상인에 비해) 자신이 소속된 조직의 교사들이 교육 관행을 바꾸는 것을 꺼린다는 데 동의할 가능성이 더 높았다.

There were significant differences regarding factors such as confidence, competing priorities, critical appraisal skills, and availability of HPE research within the work setting based on work role and professional qualifications only. Clinicians were the least confident in their ability to be an evidence-informed educator, and those in multiple roles were more confident compared to participants whose primary responsibility is research. Clinicians reported having more time constraints than those with multiple roles (with and without research). Individuals whose responsibilities include research, administration, and teaching (i.e. multiple roles) also reported having more time constraints compared to teachers and researchers. MDs and non-clinicians reported having other priorities that significantly limit their ability to apply HPE research findings to educational practices compared to allied health professionals. MDs were generally more likely to agree that teachers in their organization are reluctant to change educational practices compared to allied health professionals and non-clinicians.

논의
Discussion

AME 회원과 컨퍼런스 참석자의 이 부분 집합에서 EIHPE에 대한 태도는 대체로 긍정적이며, 참가자들은 대부분 HPE 증거를 기반으로 교수 및 평가 관행을 변경할 준비가 되어 있는 것으로 보인다. 교육자들이 현장에서 이용할 수 있는 연구 증거를 사용한다면 HPE가 개선될 것이라는 전반적인 합의가 있다. 응답자들이 보건 분야에서 양질의 연구를 수행하고 보급하는 것을 촉진하는 국제 HPE 협회의 회원이기 때문에 이는 놀라운 일이 아니다. 참가자들은 [경험]이 HPE에서 중요한 역할을 한다는 공감대가 있었음에도 불구하고, 그들의 교수와 평가 관행에 inform하기 위해 [연구]를 사용했다고 보고했다. 이것은 교사들이 궁극적으로 증거를 해석하고 주어진 상황에서 사용할 수 있는 준비성을 평가해야 하기 때문에 중요한 고려 사항인 교육 의사 결정에서 증거가 사용되는 방식을 항상 경험이 안내할 것이라는 개념을 강조한다.
In this subset of AMEE members and conference attendees, attitudes toward EIHPE are largely positive and for the most part, participants appear ready to change their teaching and assessment practices based on HPE evidence. There is overall agreement that HPE would be improved if educators used the available research evidence in the field. This is unsurprising as respondents are members of an international association of HPE that promotes the conduct and dissemination of quality research in the health professions. Participants reported using research to inform their teaching and assessment practices even though there was consensus that experience plays an important role in HPE. This highlights the notion that experience will likely always guide the manner in which evidence is used in educational decision-making, an important consideration as teachers must ultimately interpret the evidence and assess its readiness for use in a given situation.

EIHPE에 대한 태도는 일차적 소속, 대학원 교육, HPE 역할 및 HPE 경험 수준에 따라 달라지는 것으로 보인다. 학술기관에 (일차적으로) 소속된 것은 증거 사용에 대한 보다 긍정적인 태도와 관련이 있다. 이 발견은 미래의 의료 전문가에 대한 연구와 훈련을 지원하라는 학술 기관의 의무와 일치한다. 우리의 데이터는 EIHPE에 대한 태도가 연구 학위를 가진 사람들(예: 연구 석사, 박사 학위를 가진 MD) 사이에서 더 긍정적이라는 것을 시사한다. 이것이 전문적인 문화, 시간 제약 또는 임상 치료에서 증거 기반 접근법과 HPE에 대한 증거 기반 접근법의 본질적인 경쟁 우선 순위 때문이든 간에 추가 탐구가 필요하다.
Attitudes toward EIHPE appear to depend on primary affiliation, graduate education, HPE roles, and the level of HPE experience. Affiliation (primary) with an academic institution is associated with more positive attitudes about using evidence. This finding is consistent with academic institutions’ mandates to support research and training of future health care professionals. Our data suggest that attitudes toward EIHPE are more positive amongst those with research degrees (e.g. MDs with research master’s, PhDs). Whether this is due to professional culture, time constraints, or the inherent competing priorities of an evidence-based approach in clinical care, and an evidence-based approach to HPE requires further exploration.

임상 환경에서 교수와 평가를 주로 책임지는 사람(clinician teacher)은 [학생 평가에서 수집된 정보]를 course review and revisions을 위한 주요 근거 자료로 간주한다. 비록 학생 피드백이 개인의 교수와 평가 전략에 변화를 가져오는 데 사용될 수 있지만, 이 정보는 그러한 변화를 정당화하는 데 사용될 수 있는 몇 가지 "증거" 출처 중 하나만을 나타낸다(다른 출처에는 학생 성과와 인증 결과에 대한 종단 데이터가 포함될 수 있다). (Uijtdehaage 및 O'Neal 2015) 학생이 누구를 평가하고 있는지, 교직원이 실제로 어떻게 수행하는지 적절한 주의를 기울이지 않고 무분별하게 과정 평가를 완료하는 경우가 많다는 증거를 고려할 때 학생 데이터는 어느 정도 신중히 사용해야 한다. 이것이 왜 그런지는 불확실하지만, 학생 피드백이 특정 교사와 특정 교육 및 학습 경험에 대해 제공된다는 점을 감안할 때, 의미 있고 맥락적으로 관련이 있으며 따라서 후속 교육 결정에 영향을 미칠 가능성이 있는 "증거"의 형태를 제공한다고 추측할 수 있다. 흥미롭게도, 정책 결정 직책(예: 인가, 면허)에 있는 사람들은 높은 수준의 책임이 요구되는 높은 결정을 내린다. 그러한 개인들은 HPE에 대한 증거 정보에 근거한 접근법을 채택하고 교육 정책 결정을 정당화하는 데 중요한 것으로 인식할 수 있다.

Those who are primarily responsible for teaching and assessment in the clinical setting (i.e. clinician teachers) consider information gleaned from student evaluations as the primary source of evidence for course review and revisions. Although student feedback can be used to bring about change to one’s teaching and assessment strategies, this information represents only one of several sources of “evidence” that may be utilized to justify such changes (other sources may include longitudinal data on student performance and accreditation results) (Uijtdehaage and O'Neal 2015). Student data should be used with some degree of caution given the evidence that students often complete course evaluations in a mindless manner without due attention to whom they are evaluating and how a faculty member is actually performing. Although it is uncertain why this may be the case, we could speculate that given that student feedback is provided for a specific teacher and for a specific teaching and learning experience, it provides a form of “evidence” that is meaningful and contextually relevant and therefore likely to influence subsequent instructional decisions. Interestingly, those in policy-making positions (e.g. accreditation, licensure) make high-stakes decisions for which a high level of accountability is required. Such individuals may embrace an evidence-informed approach to HPE and perceive it as critical for justifying educational policy decisions.

경험이 많은 교사들은 EIHPE를 더 긍정적으로 보고 경험이 적은 동료들보다 훨씬 더 많은 증거를 사용했다고 보고했다. HPE 연구와 교육 관행에서의 사용에 기인하는 가치는 교육자들이 경험을 쌓을수록 증가할 수 있다. 그러나 이 발견은 [임상의]가 실무에 오래 종사할수록 연구 평가 수행에 숙련도가 떨어지고(McCluskey 2003), 임상적 결정을 내릴 때 발표된 연구에 의존할 가능성이 낮다는 점에서 [EBP에 대한 연구]와 대조된다.
Seasoned teachers viewed EIHPE more positively and reported using the evidence significantly more than less experienced colleagues. The value attributed to HPE research and its use in educational practices may increase as educators gain experience. This finding, however, contrasts with the research on EBP in that the longer clinicians were in practice, the less skilled they were in conducting appraisals of research (McCluskey 2003) and the less likely they were to rely on published research to make clinical decisions (Cameron et al. 2005; McCluskey and Lovarini 2005; Copley and Allen 2009; Copley et al. 2010).

샘플 큐레이션에 사용된 방법을 바탕으로 많은 참가자들이 정기적으로 교육 회의에 참석하고 KT의 한 형태인 교수 개발 활동에 참여하고 있다고 보고했습니다(Thomas and Steinert 2014). 응답자의 절반 이상이 교육 관행을 뒷받침하기 위해 체계적인 검토와 독창적인 연구 결과를 사용했다고 보고했으며, 3분의 1만이 교육 행정 결정의 목적을 위해 그렇게 했다. 이는 부분적으로 HPE 연구에 대한 많은 리뷰의 품질 때문일 수 있다. 가장 주목할 만한 것은 HPE 문헌을 정기적으로 검색하고(75% 이상), HPE 연구에 관여하고(50% 이상) 보고하는 참여자 비율(EBP 문헌에 보고된 비율보다 더 큰 비율)이다. 이러한 유망한 발견은 HPE 연구의 역량을 높이고 임상의와 연구원 간의 파트너십을 구축하는 데 활용될 수 있다. 이러한 파트너십은 실무에 대한 보다 학술적인 접근 방식을 촉진할 수 있는 잠재력을 가지고 있는 것으로 인식되기 때문이다.
Based on the method used to curate our sample, many participants reported regularly attending educational conferences and participating in faculty development activities, a form of KT (Thomas and Steinert 2014). More than half of respondents reported using systematic reviews and results from original research to support their educational practices, and only one third did so for the purposes of educational administration decisions. This may be due in part to the quality of many reviews of HPE research (Maggio et al. 2018). Most remarkable is the large proportions of participants (larger proportions than those reported in the literature on EBP; Thomas and Law 2014) that regularly search the HPE literature (more than 75%) and who report being involved in HPE research (more than 50%). These promising findings may be leveraged to increase capacity in HPE research and build partnerships between clinicians and researchers as such partnerships are recognized as having the potential to promote more scholarly approaches to practice (Jagosh et al. 2012; Jull et al. 2017; Witteman et al. 2018).

우리의 연구 결과는 [경험 연수years]와 [작업 환경 유형]이 HPE 관행과 관련이 있음을 시사한다. [경험이 많은 교육자]들은 그들의 젊은 교육자들보다 그들의 교육 관행을 알리기 위해 연구를 사용할 가능성이 더 높다. EIHPE에 대한 태도가 그렇듯이, 이는 경험이 임상적 맥락에서 과학적 증거의 사용에 부정적인 영향을 미친다는 EBP에 대한 연구와 대조된다. 우리는 교육자들이 그들의 경력을 발전시키면서 증가하는 증거에 대해 배우고 있을 수 있지만, 또한 학술 회의(예: AMEE)에 참석함으로써 연구에 더 많이 노출될 수 있다고 가정한다. 이는 고무적인 발견이며, 적절한 교수진 개발, 자원 및 지원(시간, 과학 데이터베이스에 대한 접근, 회의 참석 지원)을 통해 이러한 교육자들은 증거 정보에 기반한 접근 방식을 수용하고 적용하는 학술 교육자의 행동을 효과적으로 모델링할 수 있다.
Our findings suggest that the number of years of experience and type of work setting are associated with HPE practices. Experienced educators are more likely to use research to inform their educational practices than their younger counterparts. As is the case with attitudes toward EIHPE, this contrasts with the research on EBP having shown that experience negatively influences the use of scientific evidence in clinical contexts (McCluskey 2003; Cameron et al. 2005; Thomas and Law 2013). We posit that educators may be learning about the rising body of evidence as they progress in their careers, but they may also be more exposed to the research by attending scholarly conferences (e.g. AMEE). This is an encouraging finding, and with the appropriate faculty development (Thomas and Steinert 2014), resources, and supports (time, access to scientific databases, support to attend conferences) these educators can effectively model the behaviors of the scholarly educator that embraces and applies an evidence-informed approach to HPE.

[대학에 소속된 개인]과 [교육 정책 직책에 있는 사람들]은 그들의 교수와 평가 관행을 알리기 위해 HPE 연구를 사용하여 더 많은 HPE 연구를 수행하고 있다. 여러 환경에 걸쳐 다양한 유형의 HPE 활동에 참여하는 사람들에게 행정 및 커리큘럼 설계 측면에서 연구 및 지원과 같은 다양한 기회가 제공될 수 있다. 대조적으로, 주로 [지역사회 환경에 기반을 둔 교육자들]에게는 기회와 가용 시간이 더 적을 수 있다. 결과적으로, 그들은 연구에 참여하기 위해 더 많은 지원과 지원을 필요로 하고 그들의 교육 관행을 뒷받침하기 위해 HPE 증거를 사용한다. HPE의 모든 영역에서 HPE 연구의 성공적인 활용을 증가시키기 위한 노력(예: 커리큘럼 설계, 교수 관행)은 그러한 다양한 맥락의 필요성을 고려하고 그러한 맥락 내에서 개인의 필요에 맞춘 KT 개입을 설계해야 할 것이다.

Individuals affiliated with a university and those in educational policy positions conduct more HPE research and report using HPE research to inform their teaching and assessment practices. Those involved in numerous types of HPE activities across several settings may be afforded various opportunities such as research and support in terms of administration and curriculum design. In contrast, there may be fewer opportunities and less available time for educators based primarily in community settings; as a result, they require more support and outreach to engage in research and use HPE evidence to support their teaching practices. Efforts to increase successful uptake of HPE research in all areas of HPE (e.g. curriculum design, teaching practices) will need to consider the mandates of those various contexts and design KT interventions that are tailored to individuals’ needs within those contexts.

우리의 결과는 [EIHPE에 대한 서포트]로 작용하는 것으로 보이는 세 가지 주요 요소가 있음을 시사한다:

• 스스로 증거 정보를 가진 교육자가 될 수 있는 능력과 HPE 과학 문헌을 평가할 수 있는 능력에 대해 확신하고,
• HPE 문헌에 접근할 수 있으며(직장이나 다른 곳에서 접근이 허용되었는지는 명확하지 않았지만)
• 동료들은 증거를 사용하려는 그들의 노력을 지지한다.

이러한 요인들은 EIHPE를 추구하는 데 있어 승리 조건으로 작용할 수 있다.
Our results suggest that there are three main factors that appear to act as supports for EIHPE:

• participants are confident in their ability to be evidence-informed educators and to appraise the HPE scientific literature,
• they have access to the HPE literature (although it was not clear if access was granted at the workplace or elsewhere) and
• their colleagues are supportive of their efforts to use the evidence.

These factors may serve as winning conditions in the pursuit of EIHPE.

예상대로 EIHPE에는 경쟁 우선 순위, HPE 문헌의 양, 직장에서의 연구 가용성 등 여러 장벽이 있었다. 흥미롭게도, 거의 절반이 동료들이 그들의 교육 관행에 증거를 사용하도록 권장한다고 보고했지만, 동등한 비율의 동료들과 관리자들이 현상을 바꾸는 것을 꺼린다고 보고했다. 우리의 연구 결과는 [증거의 낮은 품질과 가용성, 부적절한 지식 전달 접근 방식, 업무와 역할 과부하, 변화에 대한 교수진과 학생 저항]이라는 네 가지 주요 장애물을 발견한 Onyura et al.(2015)이 보고한 것과 유사하다. 우리의 공동 연구 결과는 HPE 연구의 활용을 촉진하기 위해 맞춤형 KT 개입의 설계, 구현 및 평가를 안내할 수 있다. 
As expected, there were a number of barriers to EIHPE including competing priorities, the volume of HPE literature and the availability of research at the work place. Interestingly, although almost half reported that colleagues encouraged them to use evidence in their educational practices, an equal proportion reported that their peers and managers were reluctant to change the status quo. Our findings mirror those reported by Onyura et al. (2015) who found four main barriers to research use:

• poor quality and availability of evidence,
• inadequate knowledge delivery approaches,
• work and role overload, and
• faculty and student resistance to change.

Together, our joint findings can guide the design, implementation, and evaluation of tailored KT interventions to promote the uptake of HPE research (Thomas and Bussieres 2016a).

우리는 EIHPE의 장벽에 대한 결과에 대해 두 가지 가능한 설명을 제공한다. 

• 첫째, 태도와 마찬가지로, 그 집단들은 꽤 이질적이다. 한 그룹(또는 문맥)에서 장애요인으로 간주되는 것이 다른 그룹(또는 문맥)에서 활성화 요인이 될 수 있다. 따라서, 교육자들이 유사한 장벽에 직면할 수 있는 보다 동질적인 집단에서 이러한 유형의 연구를 수행하는 것의 중요성은 크다. 
• 두 번째 가능한 설명은 "증거 정보 HPE 관행"의 특이성 개념에 있다. 이 연구에서, 우리는 EIHPE에 대한  일반적인 지지와 장벽에 대한 질문을 했다. 우리는 특정한 평가나 모범 사례를 가르치지 않았다. 이로 인해 참가자의 혼란 및/또는 불확실성이 초래되었을 수 있다. 임상 연구에서, KT 조사원들은 특정 증거 정보에 근거한 관행에 대한 지지와 장벽을 연구한다.(예: 특정 조건을 가진 환자 그룹에 대한 특정 평가 또는 치료 개입의 사용). 따라서 응답자들은 그 특정 실무에 대한 답을 고정할 수 있다. 특정 교육 관행에 대한 질문이 없는 상황에서, 우리의 참가자들은 중립적인 범위 어딘가에 놓여 있는 실제로 그들의 연구 사용을 도울 수 있거나 방해할 수 있는 것에 대해 매우 일반적인 답변을 제공할 수 있을 뿐이다.

We offer two possible explanations for the findings on the barriers to EIHPE.

• First, as with attitudes, the groups are quite heterogeneous. What is viewed as a barrier in one group (or context) may be an enabling factor in another. Hence, the importance of conducting this type of research in more homogenous groups where educators may face similar barriers.
• The second possible explanation lies with the notion of specificity of “evidence-informed HPE practices”; in this study, we asked questions about supports and barriers to EIHPE in general. We did not refer to a particular assessment or teaching best practice. This may have led to some confusion and/or uncertainty on the part of participants. In clinical research, KT investigators study the supports and barriers to a specific evidence-informed practice (e.g. the use of a specific assessment or treatment intervention for a patient group with a specific condition). Respondents can, therefore, anchor their answers to that particular practice. In the absence of questions asking about a specific educational practice, it is possible that our participants could only provide a very general response on what would help or impede their use of research in practice, lying somewhere in the neutral range.

제한 사항
Limitations

약 320명의 AME 회원 및/또는 회의 참석자들로부터 답변을 받았습니다. 이 두 그룹 간의 중복 정도를 규명할 수는 없지만, 이는 10%의 응답률을 나타내며, 이 연구에서와 같은 이종 샘플에 대해 허용 가능한 것으로 판단된다(Cook et al. 2000) 및 탐색적 성격의 연구를 위해. 두 번째 한계는 모집단의 이질성과 더 나아가 표본이다. AME 데이터는 여러 다른 인구통계학적 범주를 사용하여 요청되며, 이들 중 많은 범주는 상호 배타적이지 않을 수 있다. 예를 들어, 임상 의사(예: 의사)와 대학원 학위 소지자 둘 다로 자신을 식별하는 구성원은 둘 이상의 범주로 분류된다. 이것은 분석에 관련된 인구통계학적 범주를 결정하고 통계 모델링을 위한 독립 변수로 사용할 때 복잡성의 계층을 추가한다. 세 번째 한계는 태도와 관련된 항목들을 포함한다. 조사 설계에 모범 사례를 사용하고 조사 도구에 대한 타당성 증거를 구축하는 엄격한 프로세스를 사용함에도 불구하고, 이 구조는 측정하기가 여전히 어렵다.
We received responses from close to 320 AMEE members and/or conference attendees. While it is not possible to establish the degree of overlap between these two groups, this represents a 10% response rate, which is deemed acceptable for a heterogenous sample such as the one in this study (Cook et al. 2000) and for a study of an exploratory nature. The second limitation is the heterogeneity of the population and by extension, the sample. AMEE data are solicited using a number of different demographic categories, many of which may not be mutually exclusive. For example, a member that self-identifies as both a clinician (e.g. physician) and a holder of a graduate degree is classified in more than one category. This adds a layer of complexity when determining the demographic categories involved in the analyses and using these as independent variables for statistical modeling. The third limitation involves items related to attitudes. Despite using best practices in survey design and a rigorous process of building validity evidence for the survey instrument, this construct remains challenging to measure.

결론 및 향후 방향
Conclusions and future directions

HPE 커뮤니티로서, 우리는 졸업생들이 노동력으로 전환할 준비가 되어 있는지 확인하고 환자와 그들의 가족에게 최첨단 의료 서비스를 제공해야 합니다. 이를 위해서는 교육 환경이 학습자에게 임상 실습에 필요한 지식, 기술 및 태도를 제공해야 한다. 우리의 많은 교육 결정은 입학, 평가, 승진, 그리고 교과 개혁과 같은 중요한 문제에 영향을 미친다. 우리의 [교육적 우수성]과 [이해관계자에 대한 책무를 추구]하려면 엄격한 교육 연구에 의해 알려지고 기반을 둔 교육 관행을 포함해야 한다.

As an HPE community, we must ensure that our graduates are ready to transition to the workforce and provide state of the art care to patients and their families. This requires that the educational environment provide learners with the knowledge, skills, and attitudes needed for clinical practice. Many of our educational decisions impact high stakes matters such as admissions, assessment, promotion, and curricular reform. Our pursuit of educational excellence and accountability to our stakeholders should include educational practices informed by, and grounded in, rigorous educational research.

여기에 보고된 연구는 HPE에서의 KT의 장학금에서 중요한 첫걸음을 내딛는 것이다. 증거 정보 관행에 대한 문헌은 주로 생물 의학에서 유래하지만, HPE 임상의, 교육자, 의사 결정자 및 연구자로 구성된 이질적인 그룹에 대한 이 대규모 탐색 연구는 HPE에서 연구 사용의 결정 요인에 대한 태도와 인식된 결정에 대한 경험적 증거를 생성했다.

The research reported here represents an important first step in the scholarship of KT in HPE. Although the literature on evidence-informed practices stems primarily from biomedicine, this first large-scale exploratory study of a heterogeneous group of HPE clinicians, educators, decision-makers, and researchers has generated empirical evidence on the attitudes toward and perceived determinants of research use in HPE.

우리는 임상적 맥락과 교육적 맥락이 여러 면에서 다르다는 것을 인식한다. 

• 각각은 자체적인 "actors" 집합이 있고(학습자 대 환자, 교사 대 임상의)과
• 고유한 구조 집합(환자 모집단 및 건강 상태에 걸친 보건 서비스 조직 대 연속체에 걸친 교육 프로그램)을 가지고 있다. 

We recognize that the clinical and educational contexts differ in many ways;

• each has its own set of “actors” (learners vs. patients, teachers vs. clinicians) and
• its unique set of structures (organization of health services across patient populations and health conditions vs. educational programs across the continuum).

따라서, 각 그룹의 이해관계자들은 역사적으로 "증거 정보에 근거한 관행EIP"을 다른 것을 의미하는 것으로 해석했을 수 있다. 임상 실습 대 HPE 실습에서 ["증거"라는 단어의 서로 다른 개념화와 해석]은 복잡성을 더한다. 증거 기반의 특성, 가용성 및 품질에 대한 인식이 다를 수 있기 때문이다.
Stakeholders in each group may have historically interpreted “evidence-informed practice” to mean different things (Sackett et al. 2000; Wolf 2000; Levinson 2010; Thistlethwaite et al. 2012). Adding to the complexities surrounding different conceptualizations and interpretations of the word “evidence” in clinical practice vs. HPE practice is the recognition that the nature, availability, and quality of the evidentiary base are likely different (van der Vleuten et al. 2000; Norman 2007; van der Vleuten and Driessen 2014; Yardley 2014).

우리는 또한 각 맥락에서 의사 결정 과정 간의 직접적인 비교를 이끌어내는 것이 현명하지 않다는 것을 인정한다. 이러한 중요한 고려 사항에도 불구하고, 임상 과학에서 EBP와 KT에 대한 강력한 문헌은 본 논문에서 보고된 탐색적 연구뿐만 아니라 EIHPE의 행동 결정 요인을 탐구하는 강력한 기반을 제공했다.

We also acknowledge that it is unwise to draw direct comparisons between the decision-making processes in each context. These important considerations notwithstanding, the robust body of literature on EBP and KT in the clinical sciences provided a strong foundation upon which to explore the behavioral determinants of EIHPE as well as for conducting the exploratory research reported in this paper.

EIHPE가 학자들 사이에서 점점 더 많은 관심을 얻음에 따라, 에 대한 논의도 증가하고 있다. 

• (1) HPE에서 "증거"를 구성하는 것(야들리 외 2010; 시슬스웨이트 외 2012); 
  
• (2) "실제 세계"에서의 교육 연구의 관련성 (Broekkamp and Van Hout-Wolters 2007; Regehr 2010; Yardley 2014) 
  
• (3) 사용 가능한 증거의 품질 및 강도(Norman 2007; Cook and Beckman 2010; Cook 2012) 
  
• (4) 교육 환경에서 구현을 위한 증거 준비 상태(Wolf 2000; Cook 2012) 
  
• (5) 교육 연구의 맥락 특이성이 다양한 교육 환경 및 학습자 수준에서의 적용을 잠재적으로 제한하는 것

이러한 질문은 지속적인 경험적 조사의 초점이 되어야 할 것이다.

As EIHPE gains increasing attention amongst scholars, so are discussions on

• (1) what constitutes “evidence” in HPE (Yardley et al. 2010; Thistlethwaite et al. 2012);
• (2) the relevance of educational research in the “real world” (Broekkamp and Van Hout-Wolters 2007; Regehr 2010; Yardley 2014);
• (3) the quality and strength of available evidence (Norman 2007; Cook and Beckman 2010; Cook 2012);
• (4) the readiness of evidence for implementation in educational settings (Wolf 2000; Cook 2012); and last but not least,
• (5) the context-specificity of the educational research, potentially restricting its application in different educational settings and with different levels of learners.

These questions will need to be the focus of continued empirical investigation.

이 연구는 향후 연구를 위한 몇 가지 방법을 강조했다. 

• 첫째, 이 연구는 탐색적이며, 태도에 대한 데이터에서 도출된 결론은 기껏해야 추측일 뿐이다. 태도와 행동 의도 사이의 연관성을 고려할 때, 이는 결국 임상 의사 결정에 대한 문헌에서 입증되는 모범 사례의 채택으로 이어질 수 있으며, 강력한 심리 측정 개발 및 다차원적 개념일 가능성이 있는 것을 검증함으로써 HPE 맥락에서 이러한 관계를 추가로 탐구하는 것이 가치가 있을 것이다.
  
• 둘째, 특정 맥락에서 보다 동질적인 교육자 그룹과 연구를 반복하고 특정 모범 사례를 대상으로 할 수 있다. 이를 통해 평가 또는 선택 모범 사례의 수용에서 결정 요인이 무엇인지 보다 명확하게 이해할 수 있으며 실제 태도와 HPE 실천요강에 대한 최신 데이터도 제공할 수 있다. 
• 셋째, Thomas and Bussieres(2016a)가 지적한 바와 같이, HPE 분야는 구현 연구implementation research의 과학에 의해 뒷받침된 KT에 대한 보다 체계적인 접근법의 혜택을 받을 수 있다. 이것은 우리가 할 수 있게 할 것이다. 
  
  • (1) 이용 가능한 연구와 모범 사례 사이에 gap이 실제로 존재하는지 확인하기 위해 현재 사례를 확인한다. 
    
  • (2) 이러한 격차gap의 크기를 평가한다. 
    
  • (3) 현재 관행의 결정 요인을 식별하고 이해한다. 
    
  • (4) 격차 해소를 목표로 이론 중심의 맞춤형 KT 전략을 개발한다. 
    
• 마지막으로, AME와 BEME의 협업은 학습자에게 증거 기반 교육과 평가를 제공하기 위한 교육자의 노력을 지원하기 위한 이니셔티브를 개발하고 있습니다. 우리는 이러한 그룹이 HPE에 대한 보다 증거 정보에 근거한 접근 방식을 달성하기 위해 교사, 연구원 및 정책 위치에 있는 사람들을 포함한 모든 주요 이해 관계자들과 협력할 것을 제안한다.

This study highlighted several avenues for future research.

• First, this research is exploratory, and conclusions drawn from the data on attitudes are speculative at best. Given the link between attitudes and behavioral intention, which, in turn, may lead to the adoption of best practices (Ajzen 1991; Bonetti et al. 2006; Godin et al. 2008) as substantiated in the literature on clinical decision-making, it would be worthwhile to further explore this relationship in the HPE context via robust psychometric development and testing of what is likely a multidimensional concept.
• Second, we could replicate the study with more homogenous groups of educators in specific contexts and target specific best practices. This would allow for a clearer understanding of what the determinants may be, for example, in the uptake of an assessment or a selection best practice and it would also provide recent data on actual attitudes and HPE practices.
• Third, as indicated by Thomas and Bussieres (2016a), the HPE field could benefit from a more systematic approach to KT underpinned by the science of implementation research. This would allow us to
  • (1) identify current practices in order to ascertain whether gaps between available research and best practices actually exist;
  • (2) assess the magnitude of those gaps;
  • (3) identify and understand the determinants of current practices; and
  • (4) develop theory-driven tailored KT strategies aimed at reducing the gaps.
• Lastly, both AMEE and the BEME collaboration are developing initiatives to support educators in their efforts to provide learners with evidence-based teaching and assessment. We propose that these groups collaborate with all major stakeholders including teachers, researchers, and those in policy positions to achieve a more evidence-informed approach to HPE.

 

 

---

 

Med Teach. 2019 Sep;41(9):1012-1022. doi: 10.1080/0142159X.2019.1605161. Epub 2019 May 3.

Use of evidence in health professions education: Attitudes, practices, barriers and supports
Aliki Thomas 1, Larry D Gruppen 2, Cees van der Vleuten 3, Gevorg Chilingaryan 4, Fatima Amari 5, Yvonne Steinert 6

Affiliations collapse

Affiliations

1School of Physical and Occupational Therapy, Institute of Health Sciences Education, Centre for Interdisciplinary Research in Rehabilitation of Greater Montreal, McGill University , Montreal , Canada.

2Medical School, University of Michigan , Ann Arbor , MI , USA.

3Department of Educational Development and Research, Maastricht University , Maastricht , the Netherlands.

4Feil and Oberfeld Research Centre, Jewish Rehabilitation Hospital, Centre for Interdisciplinary Research in Rehabilitation of Greater Montreal , Laval , Canada.

5School of Physical and Occupational Therapy, McGill University , Montreal , Canada.

6Department of Family Medicine, Institute of Health Sciences Education, McGill University , Montréal , Canada.

PMID: 31050311

DOI: 10.1080/0142159X.2019.1605161

Erratum in

Correction.

[No authors listed]Med Teach. 2019 Sep 24:1. doi: 10.1080/0142159X.2019.1664035. Online ahead of print.PMID: 31550187 No abstract available.

Abstract

Introduction: Health professions educators are increasingly called upon to apply an evidence-informed approach to teaching and assessment practices. There is scant empirical research exploring educators' attitudes, practices, and perceived barriers and supports to using research evidence in educational practice. Methods: We conducted a survey of AMEE members to explore three domains related to evidence-informed health professions education: (1) attitudes; (2) practices; and (3) supports and barriers. Analyses involved descriptive statistics to characterize participants' responses per domain, exploratory factor analysis, and multivariate regression analyses. Results: Three hundred ninety-six (∼10%) participants representing health professions educators (HPEs) and non HPEs (e.g. PhDs) and different roles (e.g. teacher, administrator) completed the survey. Attitudes toward evidence-informed HPE were generally favorable. Several barriers preclude participants from engaging in evidence-informed approaches to health professions education (HPE). Discussion: This study provides preliminary evidence on the attitudes toward and perceived barriers and supports of research use in HPE from different groups of HP educators, clinicians, and administrators. The findings for each of the three domains require additional exploration using qualitative methodologies. Conclusion: Targeted interventions designed to increase the uptake of research in HPE should consider different stakeholder groups' perceptions regarding these approaches, current vs. best practices, and factors that may impede evidence-informed approaches.