상아탑 대 실천-지향 연구의 미신: 의학교육 무작위 연구의 체계적 문헌고찰(Med Educ, 2020)

상아탑 대 실천-지향 연구의 미신: 의학교육 무작위 연구의 체계적 문헌고찰(Med Educ, 2020)
The myth of ivory tower versus practice-oriented research: A systematic review of randomised studies in medical education 
Martin G. Tolsgaard1,2 | Kulamakan Mahan Kulasegaram3,4 | Nicole N. Woods3,4 | Ryan Brydges3,5,6 | Charlotte Ringsted7 | Liv Dyre1,2 

1 서론
1 INTRODUCTION

의학교육 연구의 질과 관련하여 반복되는 주제는 실용적 목적이 결여된 이론적 연구1와 이론적 기반이 결여된 응용 연구 사이의 긴장에서 비롯됩니다.2-4 이 주제에 대한 영향력 있는 논문에서 Albert 등4,5 은 의학교육 분야에서 사용자를 위한 생산과 생산자를 위한 생산이라는 두 가지 유형의 연구에 대한 개념적 모델을 제안했습니다.

• 사용자를 위한 생산은, 임상의와 교육자가 구체적인 문제를 해결하고 대학과 임상 부서에 서비스를 제공하는 것을 목표로 합니다. 이러한 유형의 연구에는 이론적 프레임워크가 부족한 경우가 많으며5 주로 임상의가 임상 저널에 발표하는 것으로 알려져 있습니다.6 임상의와 교육자가 연구에 이론을 포함하지 않는 이유에 대해서는 몇 가지 제안된 이유가 있습니다. Albert 등은 의학교육 분야에서 영향력 있는 인사들을 인터뷰했는데, 그 중 한 명은 '의사들은 당신의 이론을 듣는 데 관심이 없다 [...] 그들이 알고 싶은 것은 어떻게 하면 더 효과적이고 비용이 적게 드는 것을 만들 수 있는가'라고 말했습니다.5
• 사용자를 위한 생산자는 자신의 연구를 이론적 틀 안에 위치시키는 데 실패할 수 있지만5,6 프로그램 평가에 엄격한 실험 방법론을 적용함으로써(예: 무작위 설계에서 강력한 실험 통제 사용) 보완합니다.3 그러나 이론적 틀이 없으면 이론적 문제를 발전시키는 것은 물론 실제 문제를 해결하는 데도 실패할 수 있습니다.7 

A recurring theme related to medical education research quality results from the proposed tension between theoretical work lacking a practical purpose1 and applied research lacking a theoretical foundation.2-4 In an influential paper on the topic, Albert et al4, 5 proposed a conceptual model for two types of research within the field of medical education—Production for Users and Production for Producers.

• At one pole, Production for Users, clinicians and educators aim to solve concrete problems and provide service to universities and clinical departments. This type of research often lacks theoretical frameworks5 and is thought to be published mostly by clinicians in clinical journals.6 There are several proposed reasons for why clinicians and educators may fail to include theory in their research. Albert et al interviewed a number of influential figures in medical education, one of which stated that ‘doctors are not interested in listening to your theory[…] What they want to know is how they can make something more effective and cost less’.5 
• Although Producers for Users may fail to situate their research within a theoretical framework,5, 6 they (supposedly) compensate by applying strict experimental methodologies to programme evaluations—for example, by using strong experimental controls in a randomised design.3 However, without theoretical frameworks they may fail in solving practical problems as well as in advancing theoretical issues.7

 

• 다른 극인 생산자를 위한 생산에서 알버트 등은 지식 구축과 이론 개발을 통해 과학적 정당성을 획득하는 학문적 연구자들을 설명합니다.4 이러한 연구자들은 이론을 학습의 일반적인 현상을 이해하는 렌즈로 사용하고,8 국지적 관찰을 기존 지식 기반에 맥락화하는 방법으로 사용합니다.9 적어도 20년 동안 교육 과학자들은 의학교육 연구에서 이론을 더 많이 사용할 것을 요구해 왔습니다.5, 10-14 의학교육 연구에서 이론의 부족은 의학교육 저널에 제출된 논문이 거부되는 주요 원인으로 남아 있습니다.7, 15-17 반면에 고도로 이론적인 연구에 대한 비판자들은 그것이 교육 실무 및 정책 개발에 실질적인 영향을 미치는지 의문을 제기합니다.6, 7, 18 

At the other pole, Production for Producers, Albert et al describe disciplinary researchers, who acquire their scientific legitimacy through knowledge building and theory development.4 These researchers use theory as the lens through which they understand the general phenomena of learning,8 and as a way to contextualise local observations into an existing knowledge base.9 For at least two decades, education scientists have called for an increased use of theory in medical education research.5, 10-14 The lack of theory in medical education research remains a major cause of rejection of papers submitted to medical education journals.7, 15-17 On the other hand, critics of highly theoretical research question whether it has any real impact on educational practice and policy development.6, 7, 18

이러한 사고방식에 따르면, 일반적으로 받아들여지는 통념은 의학교육 연구가 교육자와 임상의에게 도움을 주는 것을 목표로 하는 실용 지향적 연구와 이론을 발전시키는 데 중점을 두지 않고 실제 적용에 중점을 두지 않는 이론 발전 연구라는 두 가지 극으로 나뉜다는 것을 암시한다고 볼 수 있습니다. 이 신화에서 발생하는 잠재적 문제는 각 극의 연구가 목표, 이론 또는 의제를 공유하지 않아 분야 전체를 발전시키지 못하는 사일로 효과입니다.6, 7 
Following this line of thinking, we suggest that a commonly accepted myth implies that medical education research is perennially divided between two singular poles: practically oriented research aiming to serve educators and clinicians with little focus on advancing theory and research aiming to advance theory with little focus on practical applications. A potential problem arising from this myth is silo effects, where research at each pole does not share goals, theories or agendas; thereby failing to advance the field as a whole.6, 7

파스퇴르의 사분면
Pasteur's quadrant

알버트 등의 분석 이후 15년 이상이 지났습니다. 그 사이 이 분야는 전 세계적으로는 물론 학문적으로도 성숙하고 다양해졌습니다. '상아탑' 이론가와 '현장' 실무자 사이의 격차는 여전히 의학교육 연구의 정당성에 관한 논쟁의 대상이지만,1,7 연구자들이 실용적인 문제 해결과 지식 발전이라는 목표가 상호 배타적이기보다는 상호 보완적일 수 있다는 것을 깨닫게 되면서 그 격차는 좁혀지고 있습니다.7, 19 스토크스는 '[이론적] 이해의 지평을 넓히려는 동시에 활용을 위한 고려에 영감을 받는' '활용 영감 기초 연구'(파스퇴르의 4분면)의 잠재력을 강조하는 연구 분류의 틀을 제시합니다. 나머지 사분면에는 실용적 응용에 대한 고려 없이 오로지 지식의 발전을 추구하는 이론 지향적 기초 연구(보어의 사분면), 이론의 발전에는 관심이 없고 실용적인 문제 해결만을 목적으로 하는 순수 응용 연구(에디슨의 사분면), 비이론적, 비실용적 연구를 대표하는 희귀 연구로 추정되는 무사용, 무이론 사분면이 포함됩니다(그림 1). 따라서 스토크스의 프레임워크는 과학적 사일로의 형성, 과학적 전통이 연구 목표, 과학적 엄격성 및 보고 표준에 미치는 영향 등 의학교육의 연구와 그 과제를 이해하는 데 보다 미묘한 관점을 제공할 수 있습니다. 
Over 15 years have passed since Albert et al’s analysis. The field has matured and has diversified globally as well as disciplinarily. Although the gap between ‘ivory tower’ theorists and ‘in-the-trenches’ practitioners is still a subject of debate regarding the legitimacy of medical education research,1, 7 the gap may be closing as researchers realise that the goals of solving practical problems and advancing knowledge may be complementary rather than mutually exclusive.7, 19 Stokes provides a framework for classifying research emphasising the potential of ‘use-inspired basic research’ (Pasteur's quadrant) that ‘seeks to extend the frontiers of [theoretical] understanding but is also inspired by considerations for use’. The remaining quadrants include theory-oriented basic research that is guided exclusively by its quest for advancing knowledge with no thought for practical application (Bohr's quadrant), pure applied research (Edison's quadrant) that is driven only with the purpose of solving practical problems with no interest for the development of theory, and a no-use, no-theory quadrant for presumably rare research representing non-theoretical and non-practical studies (Figure 1). As such, Stokes’ framework may offer a more nuanced perspective for understanding research in medical education and its challenges, including the formation of scientific silos and the impact of scientific traditions on research goals, scientific rigour and reporting standards.

이 리뷰에서는 의학교육 연구가 사용자 대 생산자라는 두 극으로 나뉘어져 있다는 통념에 대해 살펴보기로 했습니다. 의학교육에는 다양한 연구 접근법이 있습니다. 가용성 측면에서 우리는 임상 학술지뿐만 아니라 교육 학술지에서도 무작위 배정 연구를 찾을 수 있을 것으로 예상했고, 이를 통해 서로 다른 과학적 전통을 가진 영역에서 비교를 할 수 있을 것으로 기대했습니다. 무작위 배정 연구는 임상 연구자뿐만 아니라 분야별 과학자 모두에게 널리 사용되고 이해되는 접근 방식이라는 점을 고려하여 무작위 배정 연구에 초점을 맞추기로 결정했습니다. 예를 들어, 무작위 연구는 의학 및 심리학 연구 모두에서 이론 구축뿐만 아니라 효능 연구 및 실제 임상시험에도 사용됩니다.20 특히 의학교육에서는 이론 구축에 기여하는 무작위 연구의 여러 예가 있지만,21-24 비이론적 연구에 대한 우려도 제기되고 있습니다.3, 5, 25, 26 이러한 이유로 우리는 이론과 실제 적용에 따라 의학교육에 연구 사일로가 존재하는지에 대한 이해를 높이기 위한 출발점으로 무작위 디자인을 사용한 특정 연구 선택에 검토의 초점을 맞췄습니다. 
In this review, we set out to examine the myth that medical education research remains divided between the two poles of production for users vs producers. There are a lot of different research approaches in medical education. In terms of availability, we expected to find randomised studies in both clinical journals as well as in education journals, which would allow us to make comparisons across domains with different scientific traditions. We chose to focus on randomised studies, given the approach is popular and understood on both sides of the aisle—by clinician researchers as well as by disciplinary scientists. For example, randomised studies are used in both medical and psychological research for theory building but also for efficacy studies and practical trials.20 In medical education specifically, there are several examples of randomised studies contributing to theory building,21-24 though there are also concerns raised about non-theoretical research.3, 5, 25, 26 For these reasons, we focused our review on a specific selection of studies using a randomised design as a starting point for building a better understanding of whether research silos exist in medical education according to the use of theory and applications for practice.

우리는 다음과 같은 가설을 세웠습니다:

• (a) 의학교육 연구는 두 개의 극으로 나뉘기보다는 보어의 사분면에서 파스퇴르의 사분면을 거쳐 에디슨의 사분면에 걸쳐 있다.
• (b) 의학교육 저널에 발표된 연구는 주로 보어의 사분면에 속하는 반면, 임상 저널에 발표된 연구는 주로 에디슨의 사분면에 속한다,
• (c) 파스퇴르의 사분면에 속하는 연구는 다른 세 사분면에 비해 인용률이 높고,
• (d) 무사용, 무이론 사분면은 소수의 저품질 연구로 구성되며,
• (e) 이 사분면은 다양한 연구 품질 지표와 관련이 있습니다.

We hypothesised that:

• (a) rather than being divided between two different poles, medical education research spans from Bohr's quadrant across Pasteur's quadrant and to Edison's quadrant,
• (b) research published in medical education journals predominantly falls into Bohr's quadrant, whereas research published in clinical journals predominately falls into Edison's quadrant,
• (c) research that falls into Pasteur's quadrant achieves higher rates of citation compared with the other three quadrants,
• (d) that the no-use, no-theory quadrant would comprise a small number of low-quality studies and
• (e) that quadrant would be related to various indicators of research quality.

2 방법
2 METHODS

우리는 2018년에 발표된 무작위 의학교육 연구를 체계적으로 검토하여 Stokes의 프레임워크에 따라 분류하고 방법론적 엄격성, 보고 기준 및 저널 특성을 조사하여 신화적 분열을 조사했습니다. 
We conducted a systematic review of randomised medical education studies published in 2018 to classify them according to Stokes’ framework and explore their methodological rigour, reporting standards and journal characteristics in order to examine the mythic divide.

이 검토는 의학교육에서 검토를 수행하기 위한 권고사항27 에 따라 설계되었으며 PRISMA 가이드라인에 따라 보고되었습니다.28 우리는 다음과 같은 검토 질문에 답하는 것을 목표로 했습니다: 2018년에 발표된 무작위 의학교육 연구 표본에서, 연구는 스토크스 4분면에 어떻게 분포되어 있으며 방법론적 엄격성, 보고 기준 및 저널 특성은 어떻게 비교되는가?
The review was designed according to the recommendations for conducting reviews in medical education27 and reported according to the PRISMA guideline.28 We aimed to answer the following review question: In a sample of randomised medical education studies published in 2018, how are studies distributed across Stokes’ quadrants and how do their methodological rigour, reporting standards and journal characteristics compare?

연구 참여 자격
Eligibility

광범위한 의학교육 무작위 연구의 완전성을 보장하기 위해 광범위한 포함 기준을 사용했습니다. 2018년 1월 1일부터 2018년 12월 31일 사이에 출판된 연구를 포함시켰으며, 이를 통해 분석 전에 출판된 논문의 인용이 축적될 수 있는 기간을 조사했습니다. 의학교육과 관련된 모든 무작위 배정 연구를 포함했습니다. 의학교육 연구는 '의대생, 레지던트, 펠로우, 교수진 개발 또는 의사를 위한 평생 의학 교육과 관련된 모든 독창적인 연구'로 정의했습니다.29 이 정의에 따라 수의학, 간호학, 약학 및 치의학 교육 연구는 제외했습니다. 우월성 설계, 비열등성/동등성 설계, 평행군 연구, 교차 및 요인 설계 연구를 포함한 모든 유형의 설계를 포함했습니다. 의사 무작위 배정 연구는 제외되었지만 단순, 블록, 클러스터 무작위 배정 연구와 같은 모든 유형의 진정한 무작위 배정 연구는 포함되었습니다.  
We used broad inclusion criteria to ensure completeness of a wide range of randomised studies in medical education. We included studies published between 1 January 2018 and 31 December 2018, thereby examining a window within which citations of published papers would have had time to accumulate prior to our analysis. We included all randomised studies involving medical education. Medical education research was defined as ‘any original research study pertaining to medical students, residents, fellows, faculty development or continuing medical education for physicians’.29 Using this definition, veterinary, nursing, pharmacist and dental education studies were excluded. We included all types of designs, including superiority designs, non-inferiority/equivalence designs, parallel-group studies, cross-over and factorial design studies. Pseudo-randomised studies were excluded, whereas all types of true randomisation such as simple, block and cluster randomised studies were included.

검색 전략
Search strategy

검색 전략은 전문 사서의 도움을 받아 MEDLINE, Embase, CINAHL, PsychINFO, ERIC, Web of Science 및 Scopus에서 주요 용어를 검색하기 위해 개발되었습니다. 이러한 용어에는 의학교육과 관련된 무작위* 및 MeSH 용어(예: 교육, 전문가)에 대한 절단 검색이 포함되었습니다. 의학교육으로 분류되지 않은 연구(예: 보건 전문직 교육, 시뮬레이션, 학부 의학교육, 기술 강화 교육, 임상 추론, 기술 평가, 교육 전문가, 학생 보건 직업, 인턴십 및 레지던트, 교육과정 계획, 교육 방법, 자기 주도적 학습 등)도 검색에 포함되었습니다. 시뮬레이션 기반 의학 교육에 대한 최근 리뷰와 관심 기간에 발표된 연구의 저자 기록에 대한 참조 목록을 검색에 추가했습니다. 저자의 기록과 의학교육 연구를 자주 게재하는 학술지(Acad Med, Med Educ, AHSE, Med Teach, JAMA, Ann Surg, JGIM)를 직접 검색하여 온라인 검색에 가능한 한 많은 관련 무작위 연구를 포함시키기 위해 반복적인 방식으로 검색 전략을 구체화했습니다. 각 카테고리에 해당하는 연구 목록은 요청 시 제공됩니다. 
The search strategy was developed with the help of expert librarians to search MEDLINE, Embase, CINAHL, PsychINFO, ERIC, Web of Science and Scopus for key terms. These terms included truncated search on random* and MeSH terms relating to medical education (eg Education, Professional). Related domains were also included in the search to account for research not categorised under medical education (eg health profession education, simulation, undergraduate medical education, technology-enhanced education, clinical reasoning, skills assessment, education professional, student health occupation, internship and residency, curriculum planning, instructional method, self-directed learning, etc). We added reference lists of recent reviews in simulation-based medical education and authors’ records of studies published in the period of interest to the search. The authors’ own records and a hand-search through journals that often publish medical education research (Acad Med, Med Educ, AHSE, Med Teach, JAMA, Ann Surg, JGIM) were used to refine the search strategy in an iterative way to include as many relevant randomised studies as possible in the online search. A list of the studies falling into each category is available on request.

선정
Selection

확인된 모든 연구는 제목과 초록을 기준으로 저자 MGT와 LD가 개별적으로 심사하고, 점수를 쌍으로 비교하여 적격성을 결정했습니다. 제목이나 초록만으로는 적격성을 판단하기에 불충분한 경우 전문을 검토했습니다. 이견이 있는 경우 합의에 도달할 때까지 토론을 통해 해결했습니다. 
All identified studies were screened individually by the authors MGT and LD based on titles and abstracts and scores were compared in pairs to determine eligibility. The full text was reviewed when the title or abstract was insufficient for determining eligibility. Disagreement was solved by discussion until consensus was reached.

주요 개념의 운영 및 데이터 추출
Operationalisation of key concepts and data extraction

저자 MGT와 LD는 사전 정의된 코드북에 따라 포함된 모든 연구를 독립적으로 그리고 중복해서 검토했습니다. 
Authors MGT and LD worked independently and in duplicate to review all included studies based on a predefined codebook.

(가) 이론 (나) 교육 개념 및 (다) 교육 도구의 사용을 코딩했습니다.

• 이론은 '세상을 이해하는 데 도움이 되는 개념 간의 관계에 대한 추상적인 설명'30으로 정의했습니다(예: 인지 부하 이론 또는 자기조절 학습 이론).
• 교육 개념은 이론에서 파생된 아이디어 또는 원리(예: 숙달 학습 또는 분산 연습)로 정의했습니다.
• 마지막으로 교육 도구는 특정 과제에 사용되는 도구 또는 장치(예: 시뮬레이션 또는 e-러닝)로 정의했습니다.

We coded the use of (a) theory (b) educational concepts and (c) educational instruments.

• We defined theory as ‘an abstract description of the relationship between concepts that help us to understand the world’ 30; for example cognitive load theory or self-regulated learning theory.
• Educational concepts were defined as ideas or principles derived from theory; for example mastery learning or distributed practice.
• Finally, educational instruments were defined as tools or devices used for a particular task; for example simulation or e-learning.

포함된 연구를 수행하기 위한 실질적인 교육적 및 임상적 근거를 조사했습니다. 

• 교육적 근거는 저자가 연구에서 특정 교육적 개입을 사용한 이유를 정당화할 수 있는 경우 존재하는 것으로 점수가 매겨졌습니다. 
• 임상적 근거의 존재는 저자가 연구가 필요한 이유를 설명하는 데 도움이 되는 임상적 배경 섹션을 포함하면 있는 것으로 점수가 매겨졌습니다. 

이러한 조작을 사용하여 Stokes의 프레임워크에서 두 가지 축(임상 및 교육적 활용에 대한 고려 사항 대 지식의 발전)을 따라 연구를 코딩했습니다. 

• 임상적 또는 교육적 근거가 포함된 연구는 오른쪽에 있는 두 사분면(에디슨 사분면 또는 파스퇴르 사분면) 중 하나로 분류되었습니다.
• 교육적 개념이나 이론을 사용한 연구는 두 개의 위쪽 사분면(보어 사분면 또는 파스퇴르 사분면)으로 분류되었습니다.

We examined the practical educational and clinical rationale for conducting the included studies. The educational rationale was scored as present if authors justified why they used the specific educational intervention(s) in their study. The presence of a clinical rationale was scored as present if the authors included a clinical background section to help explain why the study was needed. Using these operationalisations, we coded studies along two axes (considerations for clinical and educational use vs advancement of knowledge) in Stokes’ framework.

• Studies that included a clinical or educational rationale were classified in one of the two right-sided quadrants (Edison's or Pasteur's Quadrants).
• Studies that used educational concepts or theory were classified in the two upper quadrants (Bohr's or Pasteur's Quadrants).

보고의 질과 방법론적 엄격성은 타당성 근거가 확립된 세 가지 도구를 사용하여 평가되었습니다: 임상시험 보고 통합 표준(CONSORT) 성명서,31 Jadad 척도,32 의학교육 연구 품질 도구(MERSQI) 척도.29 이 중 두 가지 도구는 무작위 임상시험을 위해 설계되었으며 생의학 연구 영역에서 유래한 반면(CONSORT 성명서 및 Jadad 척도), MERSQI는 의학교육 연구 방법을 평가하기 위해 설계되었습니다. 
Reporting quality and methodological rigour was assessed using three instruments with established validity evidence: The Consolidated Standards of Reporting Trials (CONSORT) statement,31 the Jadad scale,32 and the Medical Education Research Study Quality Instrument (MERSQI) scale.29 Two of these instruments were designed for randomised clinical trials and originated from within the biomedical research domain (CONSORT statement and the Jadad scale), whereas MERSQI was designed for evaluating medical education research methods.

• CONSORT 성명서는 무작위 대조 연구의 불완전한 보고 문제를 완화하기 위해 1996년에 고안되어 2010년에 개정된 보고 지침입니다. 현재 대부분의 임상 저널에서 CONSORT 성명서를 지지하고 있으며, 제출된 모든 무작위 배정 연구에 대해 CONSORT 준수를 요구하고 있습니다. CONSORT 항목은 있음(점수 = 1점) 또는 없음(점수 = 0점)으로 채점되었습니다. 

The CONSORT statement is a reporting guideline designed in 1996 and revised in 2010 aimed at alleviating problems with incomplete reporting of randomised controlled studies. The CONSORT statement is now supported by the majority of clinical journals, in which adherence to CONSORT is a requirement for all submitted randomised studies. The CONSORT items were scored as present (score = 1) or absent (score = 0).

• Jadad 척도는 무작위배정의 적절성, 맹검의 효과성, 연구 참여자 감소에 중점을 두고 임상시험의 방법론적 품질을 평가하기 위해 고안되었습니다. Jadad 척도의 최대 점수는 5점입니다.

The Jadad scale is designed for the assessment of methodological quality of clinical trials focusing on adequacy of randomisation, effectiveness of blinding and attrition of study participants. The maximum score on the Jadad scale is five.

• MERSQI 척도는 의학교육 연구의 방법론적 강점을 평가하기 위해 특별히 개발되었습니다. 여기에는 사용된 평가 도구의 타당성 증거, 연구 유형, 응답률, 통계 분석의 적절성 및 사용된 결과의 분류와 관련된 항목이 포함됩니다.

The MERSQI scale is developed specifically for evaluating methodological strength of medical education research. It includes items relating to validity evidence of assessment instruments used as well as type of study, response rate, adequacy of statistical analyses and classification of outcomes used.

마지막으로 학술지 유형에 따라 학술지 특성을 코딩했습니다. 의학교육 연구만을 전문으로 하는 저널은 의학교육 저널로, 의학교육이 아닌 주제를 주로 다루는 저널은 임상 저널로 코딩했습니다. 예를 들어, 외과 교육 저널은 의학교육 저널로 코딩되었고 일반 내과학 저널은 임상 저널로 코딩되었습니다. 인용은 포함된 연구에 대해 기록되었으며 2020년 8월 5일에 업데이트되었습니다. 
Finally, journal characteristics were coded in terms of journal type. Journals specifically dedicated to medical education research were coded as such, whereas journals primarily focused on non-medical education topics were coded as a clinical journal. For example, the Journal of Surgical Education was coded as a medical education journal whereas Journal of General Internal Medicine was coded as a clinical journal. Citations were recorded for included studies and updated 5 August 2020.

저자 그룹은 5개의 무작위 의학교육 연구를 시범적으로 검토하고 코드북의 각 주요 용어와 도구를 사용하는 방법에 대한 합의에 도달할 때까지 평가에 대해 논의했습니다. 저자는 각 적격 연구에 독립적으로 점수를 매겼으며 점수를 쌍으로 비교했습니다. 의견 불일치는 토론을 통해 해결했습니다. 
The author group piloted five randomised medical education studies and discussed their ratings until reaching consensus on how to use each of the key terms and instruments in the codebook. Authors scored each eligible study independently and scores were compared in pairs. Disagreement was resolved by discussion.

데이터 분석
Data analyses

연구는 지식의 발전과 실제 사용에 따라 스톡스의 사분면으로 플롯되었습니다.
Studies were plotted into Stokes’ quadrants based on advancement of knowledge and practical use.

CONSORT 문항, 자다드 척도, MERSQI에 대한 합산 점수를 계산했습니다. (a) 저널 유형(임상/의학교육 저널), (b) 개념 또는 이론 포함 여부(예/아니오), (c) 임상/교육적 근거 사용 여부(예/아니오)의 주효과와 상호작용 효과를 세 가지 도구 각각에 대한 점수와 비교하기 위해 2x2x2 ANOVA를 실시했습니다.
Sum scores were calculated for the CONSORT statement, the Jadad Scale and the MERSQI. A 2x2x2 ANOVA was conducted to compare the main effects and interaction effects of (a) journal type (clinical/medical education journal), (b) inclusion of concepts or theory (yes/no) and (c) the use of a clinical/educational rationale (yes/no) on scores for each of the three instruments.

대조군 사용은 (a) 무중재 대조군 (b) A + B 대 A(무언가 + 무언가 대 무언가), (c) 활성 비교군 사용으로 분류했습니다.17 이 분류는 기존 중재에 '무언가'를 추가하는 변형을 포함한 무중재 대조군이 학습자의 학습 방법에 대한 일반적인 이해를 증진시키는 데 거의 도움이 되지 않는다는 기존 문헌의 합의에 근거했습니다.17 (a) 저널 유형(임상/의학교육 저널), (b) 개념 또는 이론 포함 여부(예/아니오), (c) 인용 횟수에 대한 임상/교육적 근거 사용 여부(예/아니오)의 주 효과와 상호작용 효과를 비교하기 위해 2 × 2 × 2 ANOVA를 실시했습니다.
The use of control groups was categorised into (a) no-intervention control group (b) A + B vs A (something + something vs something) and (c) use of active comparison groups.17 This categorisation was based on existing agreements in the literature that no-intervention control groups, including the variant of adding ‘something’ to existing interventions, often do little to advance our general understanding of how learners learn.17 A 2 × 2 × 2 ANOVA was conducted to compare the main effects and interaction effects of (a) journal type (clinical/medical education journal), (b) inclusion of concepts or theory (yes/no) and (c) the use of a clinical/educational rationale (yes/no) on number of citations.

평가자 간 일치도는 카파 통계를 사용하여 결정했습니다.
Inter-rater agreement was determined using kappa statistics.

3 결과
3 RESULTS

연구 흐름 및 기준 데이터
Study flow and baseline data

초기 검색에서 총 3224개의 잠재적 연구가 확인되었습니다. 중복을 제거한 후 2672개의 연구가 선별되었고, 이 중 150개의 연구가 포함 기준을 충족하여 분석되었습니다. 연구 선별 및 선정의 흐름도는 그림 2에 나와 있습니다.
A total of 3224 potential studies were identified from the initial search. After removing duplicates, 2672 studies were screened and of these, 150 met the inclusion criteria and were analysed. Flowchart of study screening and selection is shown in Figure 2.

주요 결과
Main findings

• 가장 많은 수의 연구인 70건/150건(46.7%)이 실용적 기초 연구(파스퇴르 사분면)로 분류되었고,
• 순수 응용 연구가 61건/150건(40.7%)으로 그 뒤를 이었습니다(에디슨 사분면).
• 실제 교육이나 임상 적용을 염두에 두지 않고 지식을 발전시키는 것을 목표로 한 연구는 3건(150건/150(2.0%), 보어의 사분면)에 불과했습니다.
• 나머지 16/150(10.7%)의 연구는 사용 없음, 이론 없음 사분면으로 분류되었습니다(표 1).

개념 및 이론 사용에 대한 카파값은 상당히 높았고(각각 κ = 0.71 및 0.69), 교육 및 임상적 근거에 대한 카파값은 보통이었습니다(각각 κ = 0.63 및 0.52). 
The highest number of studies, 70/150 (46.7%), were categorised as use-inspired basic research (Pasteur's Quadrant), closely followed by pure applied research, 61/150 (40.7%), Edison's Quadrant). Only three studies aimed to advance knowledge with no thought for practical educational or clinical application 3/150 (2.0%), Bohr's Quadrant). The remaining studies, 16/150 (10.7%), were categorised into the no-use, no-theory quadrant (Table 1). Kappa values for the use of concepts and theory were substantial (κ = 0.71 and 0.69, respectively) and moderate for educational and clinical rationale (κ = 0.63 and 0.52, respectively).

활성 대조군active control groups의 사용은 사분면에 따라 차이가 있었는데, 보어 사분면 3/3(100%), 파스퇴르 사분면 49/70(70%)으로 분류된 연구에서 가장 높은 비율을 보였고, 무사용, 무이론 사분면 10/16(63%), 에디슨 사분면 30/61(49%)로 가장 낮은 비율을 보였습니다(χ2(3) = 8.93, P = .03). 개념과 이론을 사용한 연구는 개념과 이론을 사용하지 않은 연구에 비해 활성 비교군을 사용할 가능성이 더 높았습니다(49/73(67.1%) 대 39/77(50.6%); χ2(1) = 8.46, P = .04, OR 2.0 (95% CI 1.0-3.9).
The use of active control groups differed across the quadrants with the highest proportion in studies categorised in Bohr's, 3/3 (100%) and Pasteur's quadrants, 49/70 (70%) and lowest in the no-use, no-theory quadrant, 10/16 (63%) and Edison's quadrant, 30/61 (49%); χ2(3) = 8.93, P = .03. Studies that used concepts and theory were more likely to use active comparison groups compared with those that did not use concepts and theory, 49/73 (67.1%) vs 39/77 (50.6%); χ2(1) = 8.46, P = .04, OR 2.0 (95% CI 1.0-3.9).

사분면에 걸친 연구 분포는 의학교육 저널과 임상 저널 간에 각각 유의미한 차이가 있었습니다(χ2(3) = 12.89, P = .005, 표 1). 교육 개념과 이론을 포함하는 연구의 비율은 임상 학술지와 의학교육 학술지 간에 차이가 있었습니다: 각각 45/111(40.5%) vs 28/39(71.8%); χ2(1) = 9.79, P < .001, OR = 3.92 (95% CI 1.61-9.52). 실제 교육적 또는 임상적 근거를 포함하는 연구의 비율은 임상 학술지 97/111(87.4%) 대 의학교육 학술지 34/39(87.2%); χ2(2) = 0.002, P = .99로 학술지 간 차이가 없었으며, χ2(2) = 0.002, P = .99로 나타났습니다. 
The distribution of studies across the quadrants was significantly different between medical education journals and clinical journals, respectively; χ2(3) = 12.89, P = .005, Table 1. The proportion of studies that included educational concepts and theory differed between clinical journals compared with medical education journals: 45/111 (40.5%) vs 28/39 (71.8%) respectively; χ2(1) = 9.79, P < .001, OR = 3.92 (95% CI 1.61-9.52). There were no differences between journals with regard to the proportion of studies that included a practical educational or clinical rationale; clinical journals 97/111 (87.4%) vs medical education journals 34/39 (87.2%); χ2(2) = 0.002, P = .99.

인용 횟수에 대한 저널 유형(F(1,142) = 0.03, P = .86), 이론(F(1,142) = 0.08, P = .78) 또는 실제 사용(F(1,142) = 0.09, P = .78)에 대한 유의미한 주 효과는 없었습니다(표 2). 이러한 변수 간의 상호작용도 통계적으로 유의미하지 않았습니다. 
There were no significant main effects for journal type (F(1,142) = 0.03, P = .86), theory (F(1,142) = 0.08, P = .78) or practical uses (F(1,142) = 0.09, P = .78) on number of citations (Table 2). Nor were any interactions between these variables statistically significant.

이론을 포함할 경우 CONSORT 점수가 약간 높았지만 유의미하게 높았습니다. 그러나 그 외에는 저널 유형, 이론 및 실제 사용 여부가 CONSORT, Jadad 및 MERSQI 점수에 미치는 유의미한 주효과나 상호작용은 없었습니다(표 3). 세 평가 도구의 개별 항목에 대한 카파값은 매우 다양했습니다: CONSORT κ 범위 0.12~1.00, Jadad κ 범위 0.61~0.73, MERSQI κ 범위 0.28~0.79.

• 성과가 단순한 항목은 카파 값이 높았습니다(예: '제목에서 무작위 임상시험으로 식별' κ = 0.92).
• 해석의 여지가 있는 항목의 경우 낮은 카파 값이 일반적이었습니다(예: '각 그룹의 중재에 대한 설명이 복제할 수 있을 만큼 충분히 상세함', κ = 0.12).

The inclusion of theory was associated with slightly but significantly higher CONSORT scores. Otherwise, however, there were no significant main effects or interactions for journal type, theory and practical uses on CONSORT, Jadad and MERSQI scores (Table 3). Kappa values from the individual items on the three assessment instruments varied widely: CONSORT κ range 0.12-1.00; Jadad κ range 0.61-0.73; MERSQI κ range 0.28-0.79.

• Items with simple outcomes had high kappa values (eg ‘identification as randomised trial in title’ κ = 0.92).
• Low kappa values were common for items that were open for interpretation (eg ‘description of interventions in each group with sufficient detail to allow replication’, κ = 0.12).

4 토론
4 DISCUSSION

무작위 연구 표본을 검토한 결과, 의학교육 연구의 두 가지 주요 극으로 나뉜다는 신화를 뒷받침할 만한 증거를 찾지 못했습니다. 초기 가설과는 달리, 표본으로 추출한 무작위 연구의 대부분은 파스퇴르와 에디슨의 사분면에 속했습니다. 따라서 의학교육 연구가 '상아탑 이론가'와 '현장 실무자'로 대표되는 상반된 두 극으로 구성되어 있다는 견해는 의학교육 실험 연구에 대해서는 더 이상 유지될 수 없습니다. 오히려 [이론과 교육 개념의 사용]과 관련하여 임상 학술지와 의학교육 학술지에 게재된 연구 사이에 틈새가 존재하는 것으로 보입니다. 
In reviewing a sample of randomised studies, we found no evidence to support the myth of a divide between two main poles of medical education research. Contrary to our initial hypothesis, the majority of sampled randomised studies fell into Pasteur's and Edison's Quadrants. Thus, the view that medical education research consists of two opposing poles represented by ‘ivory tower theorists’ and ‘in-the-trenches practitioners’ cannot be upheld for experimental research in medical education. Rather, it seems that if any cleft exists, it is between studies published in clinical journals and medical education journals with respect to their use of theory and educational concepts.

[임상 학술지는 대부분 비이론적 연구를 발표한다]는 가정은 의학교육 분야에서 오랫동안 널리 받아들여져 온 생각입니다.4-6, 9, 18, 33 우리의 데이터에 따르면 이 개념에 어느 정도 진실이 있는 것 같습니다. 이는 공식적인 의학교육 교육을 받지 않은 임상의 독자, 연구자 및 편집자에게 교육 이론은 접근하기 어려운 것으로 간주될 수 있다는 점을 반영할 수 있습니다.5 
The assumption that clinical journals publish largely non-theoretical research is a long-standing and widely held idea in medical education.4-6, 9, 18, 33 Based on our data, it seems that there is some truth to this notion. This may reflect that educational theory may be considered inaccessible to clinician readers, researchers and editors who have not received any formal medical education training.5

의학교육 연구가 '열악한 관계the poor relation'라는 주장은 임상 저널에서 여러 번 반복되어 왔습니다.29, 34 종종 임상 영역 내에서 개발된 보고 지침 및 방법에 대한 낮은 준수가 연구 품질이 좋지 않다는 증거로 사용되었습니다.34 본 표본의 CONSORT 성명서 준수는 의학교육 영역 내35 및 외부의 이전 보고서와 유사했습니다.36 확실히 개선의 여지가 있지만, 의학교육의 실험 연구가 임상 영역 내 연구보다 특별히 나쁘다는 징후는 보이지 않습니다. 임상과 의학교육 학술지 간에 CONSORT, Jadad 또는 MERSQI 점수에 차이가 없다는 것은 방법론 및 보고 품질이 특정 학문의 전통에 의해 독점되지 않는다는 것을 시사합니다. 오히려 이론을 포함한 연구는 활성 대조군을 사용할 가능성이 더 높았으며, 이론을 포함하지 않은 연구보다 CONSORT 점수가 약간 더 높았습니다. 따라서 이론의 포함 여부가 실험적 의학 교육 연구의 질을 나타내는 지표가 될 수 있다는 경험적 증거가 있습니다. 
The claim that medical education research is ‘the poor relation’ has been echoed in clinical journals a number of times.29, 34 Often, the low adherence to reporting guidelines and methods developed within the clinical domain has been used as evidence of poor research quality.34 Adherence to the CONSORT statement in our sample was similar to previous reports within35 and outside the domain of medical education.36 Although there is certainly room for improvement, there are no indications that experimental research in medical education is particularly worse than its counterparts within the clinical domain. Finding no differences in CONSORT, Jadad or MERSQI scores between clinical and medical education journals suggests that methodological and reporting quality is not monopolised by any specific disciplinary tradition. If anything, studies including theory were more likely to use active control groups and they received slightly higher CONSORT scores than studies failing to include theory. As such, there is some empirical evidence that the inclusion of theory may be an indicator of quality in experimental medical education research.

표본에 포함된 연구를 이론, 실습 또는 두 가지 모두의 발전을 목표로 하는지 여부에 따라 Stokes의 4사분면에 따라 분류했을 때,19 전체 연구의 약 11%가 [비-활용, 비-이론 사분면]에 속하는 것으로 나타났습니다. 이 사분면은 품질이 낮은 연구 표본을 대표할 것으로 예상했지만 평균 인용 횟수는 다른 세 사분면의 연구와 다르지 않았습니다(표 2). 스토크스는 이 사분면의 존재를 예측하면서 이 사분면이 '일반적인 설명 목적이나 응용 용도를 고려하지 않고 특정 현상을 체계적으로 탐구하는 연구'를 대표할 것이라고 추측했습니다. 스톡스에 따르면, 무사용, 무이론 사분면의 연구는 보어와 에디슨의 사분면 연구의 중요한 선구자가 될 수 있다고 합니다. 
When classifying the studies in our sample according to Stokes’ four quadrants in terms of whether they aim to advance theory, practice, or both,19 we found that about 11% of all studies fell into the no-use, no-theory quadrant. We expected this quadrant to represent a sample of low-quality studies but found an average citation count that was no different from studies in the other three quadrants (Table 2). Stokes predicted the existence of this quadrant and speculated that it would represent research that systematically ‘explores particular phenomena without having in view general explanatory objectives or any applied use’. According to Stokes, studies in the no-use, no-theory quadrant could be important precursors for research in Bohr's and Edison's quadrants.

이렇게 제안된 지식과 아이디어의 확산은 [탐구하는 근본 현상을 설명하는 데 도움이 되는 이론의 필요성을 강조하는 고품질 연구를 수행하는 방법]이라는 기존의 견해와 다릅니다.10, 35 그러나 지식과 아이디어가 학문적 사일로 안에 숨어 있지 않다는 증거가 늘어나고 있으며37, 아이디어의 확산이 미리 정의된 도그마를 따라야 한다고 믿을 이유가 거의 없습니다. 연구의 가치는 [실용적이냐 이론적이냐의 구별]에 있지 않을 수 있으며,19 양극단을 만들고 신화를 강화하려는 이러한 시도는 의학교육의 연구 질에 대한 논의에 역효과를 가져오는 경향이 있기 때문입니다.9 오히려 우리는 연구가 얼마나 새로운 아이디어와 지식을 분야 전체에 잘 전달하는지 고려해야 합니다.7 예를 들어 최근 데이터 과학의 발전이 제공하는 미래의 무사용, 무이론 4분면 연구는 명확한 이론적 틀이나 실용적 근거가 부족하더라도 의학교육 연구 분야에 유용한 통찰을 제공할 수 있습니다.38 

This proposed spread of knowledge and ideas differs from existing views on how to conduct high-quality research, which emphasise the need for theory to help explain the underlying phenomena being explored.10, 35 However, there is growing evidence that knowledge and ideas do not stay hidden inside disciplinary silos37 and there is little reason to believe that spread of ideas need to follow predefined dogmas. The value of research may not lie in the distinction of whether or not it has a practical or a theoretical scope,19 as such attempts to create poles and reinforce myths tend to be counter-productive to the conversation on research quality in medical education.9 Rather, we may need to consider how well studies bring forward new ideas and knowledge to the field as a whole.7 For example, future no-use, no-theory quadrant research provided by recent advances in data science may offer valuable insights to the field of medical education research despite lacking explicit theoretical frameworks or practical rationales.38

이 검토에는 몇 가지 한계가 있음을 인정합니다. 첫째, 표본은 무작위 연구로 제한되었는데, 이는 발표된 의학교육 연구의 일부에 불과하며 '상아탑'에 속한다고 비난받을 가능성이 가장 높은 연구 유형을 반영하지 못할 수 있습니다. 이 리뷰에서는 실험적 의학교육 연구의 관점에서 이론과 실제적 근거의 사용을 검토했으며, 연구 결과가 의학교육 연구의 다양한 스펙트럼을 모두 반영하지 못한다는 점을 충분히 인정합니다. 무작위 배정 연구에 초점을 맞춘 이유는 이러한 연구가 생산자를 위한 생산(Production for Producers) 극과 사용자를 위한 생산(Production for Users) 극의 연구 사이의 긴장을 대표할 가능성이 높기 때문에 의학교육의 연구 품질에 대한 기존의 통념을 면밀히 조사할 수 있기 때문이었습니다. 모든 유형의 연구 방법을 검토에 포함하지는 않았지만, 이는 더 연구할 가치가 있는 경험적 문제입니다. 
We acknowledge some limitations to this review. First, the sample was limited to randomised studies, which only represent a small corner of published medical education research and may not reflect the types of research that are most likely to be accused of belong in the ‘ivory tower’. In this review, we examined the use of theory and practical rationale from the perspective of experimental medical education research, fully acknowledging that our findings do not apply the diverse spectrum of medical education research. The rationale for focusing on randomised studies was that these studies were likely to represent tensions between research at the Production for Producers pole as well as the Production for Users pole and thereby allow us to scrutinise existing myths on research quality in medical education. Although we did not include all types of research methods in our review, this is an empirical issue that is worth studying further.

둘째, 학술지를 의학교육과 임상 학술지로 구분했는데, 이는 일부 의학교육 학술지는 다른 학술지(예: Advances in Health Sciences Education)보다 임상 적용에 더 중점을 두는 반면, 임상 학술지는 의학교육 논문을 많이 게재하는 학술지(예: Journal of General Internal Medicine)부터 그렇지 않은 전문 학술지까지 다양하기 때문에, 단순화했다고 볼 수 있습니다. 또한 인용 횟수를 저널 지표로 사용했는데, 이는 여러 가지 이유로 비판을 받을 수 있으며, 가장 중요한 것은 서로 다른 학문 분야 간에 쉽게 비교할 수 없다는 점입니다.39, 40 그럼에도 불구하고 인용 횟수는 여전히 출판사와 저자 모두에게 관심의 대상이며, 이러한 이유로 그 한계를 고려할 때 여전히 고려할 만한 가치가 있습니다. 
Second, we divided journals into medical education and clinical journals, which is a simplification as some medical education journals are clearly more focused on clinical applications (eg Journal of Surgical Education) than others (eg Advances in Health Sciences Education) whereas clinical journals may range from those publishing large number of medical education papers (eg Journal of General Internal Medicine) to specialty journals that do not. Moreover, we used citations as journal metrics, which may be criticised for a number of reasons, most importantly for not being easily comparable between different academic areas of research.39, 40 Nonetheless, citations are still a matter of interest for both publishers and authors and for these reasons they remain relevant to consider given their limitations.

마지막으로, 이 검토에 사용된 보고 및 품질 체크리스트의 일부 항목에서 평가자 간 신뢰도가 낮았습니다. 가장 낮은 카파 점수를 받은 항목은 해석의 여지가 가장 많은 항목이었으며, 이는 최근의 유사한 검토 결과와 일치합니다.35 
Finally, the inter-rater reliability was low for some items in the reporting and quality checklists used in this review. The items that received the lowest kappa scores were the ones that were most open to interpretation, which is consistent with recent similar reviews.35

5 결론
5 CONCLUSION

무작위 설계를 사용한 대규모 연구 표본에서 '상아탑 연구'와 '현장 실무'로 대표되는 의학교육 연구의 양 극단에 대한 신화를 뒷받침할 증거를 찾지 못했습니다. 임상 학술지에 실린 무작위 연구 중 이론이나 교육 개념을 사용한 연구는 절반도 되지 않아 임상 학술지의 비이론적 의학교육 연구에 관한 일반적인 가정을 확인했습니다. 잘 응용된 의학교육 연구와 이론적 의학교육 연구가 서로에게 얼마나 많은 정보를 제공하는지, 그리고 의학교육 연구를 게재하는 학술지 간의 사일로 효과를 피하는 방법을 명확히 하기 위한 노력이 필요합니다. 
We found no evidence to support the myth of a divide in medical education research between two poles represented by ‘ivory tower research’ and ‘in-the-trenches practice’ in a large sample of studies using randomised designs. We did confirm prevailing assumptions regarding non-theoretical medical education research in clinical journals as less than half of the randomised studies in these journals made any use of theory or educational concepts. Efforts are needed to clarify how well-applied and theoretical medical education research inform each other and how to avoid silo effects between scientific journals publishing medical education research.

 

---

Med Educ. 2021 Mar;55(3):328-335. doi: 10.1111/medu.14373. Epub 2020 Oct 19.

The myth of ivory tower versus practice-oriented research: A systematic review of randomised studies in medical education

Martin G Tolsgaard 1 2, Kulamakan Mahan Kulasegaram 3 4, Nicole N Woods 3 4, Ryan Brydges 3 5 6, Charlotte Ringsted 7, Liv Dyre 1 2

Affiliations collapse

Affiliations

1Department of Obstetrics, Juliane Marie Centre, Copenhagen University Hospital Rigshospitalet, Copenhagen, Denmark.

2Copenhagen Academy for Medical Education and Simulation (CAMES), Rigshospitalet, Copenhagen, Denmark.

3The Wilson Centre, University Health Network, Toronto, ON, Canada.

4Department of Family & Community Medicine, University of Toronto, Toronto, ON, Canada.

5Allan Waters Family Simulation Centre, St. Michael's Hospital, Unity Health Toronto, Toronto, ON, Canada.

6Department of Medicine, University of Toronto, Toronto, ON, Canada.

7Centre for Health Science Education, Faculty of Health, Aarhus University, Aarhus C, Denmark.

PMID: 32935373

DOI: 10.1111/medu.14373

Abstract

Context: A long-standing myth in medical education research is a divide between two different poles: research aiming to advance theory with little focus on practical applications ('ivory tower' research) and practically oriented research aiming to serve educators and decision-makers with little focus on advancing theory ('in-the-trenches' practice). We explored this myth in a sample of randomised medical education studies using Stokes' four-quadrant framework for the classification of research perspective.

Methods: We searched MEDLINE, Embase, CINAHL, PsychINFO, ERIC, Web of Science and Scopus for studies in medical education using a randomised design that were published between 1 January 2018 and 31 December 2018. We used Stokes' four-quadrant framework to categorise the studies according to their use of theory, concepts and their justification for practical use. We compared medical education research published in medical education journals and clinical journals.

Results: A total of 150 randomised studies were included in the analysis. The largest segment of studies (46.7%) was categorised as use-inspired basic research (Pasteur's Quadrant), closely followed by pure applied research (40.7%, Edison's Quadrant). Only a few studies were categorised as aiming to advance knowledge with no thought for practical educational application (2.0%, Bohr's Quadrant). The proportion of studies that included educational concepts and theory differed according to publication in clinical journals or medical education journals: 40.5% vs 71.8%, respectively, P < .001. There were no differences between journals with regard to the proportion of studies that included a practical educational or clinical rationale (P = .99).

Conclusion: In a large sample of studies using randomised designs, we found no evidence to support the myth that medical education research divides between two singular poles represented by 'ivory tower research' and 'in-the-trenches practice'. We did confirm prevailing assumptions regarding an emphasis on non-theoretical medical education research in clinical journals.

© 2020 John Wiley & Sons Ltd and The Association for the Study of Medical Education.