기술, 정확화, 명확화 연구: 목적에 따른 의학교육연구의 분류 프레임워크 (Med Educ, 2008)

기술, 정확화, 명확화 연구: 목적에 따른 의학교육연구의 분류 프레임워크 (Med Educ, 2008)

Description, justification and clarification: a framework for classifying the purposes of research in medical education

David A Cook,1 Georges Bordage2 & Henk G Schmidt3

INTRODUCTION

의학 교육 연구는 최근 몇 년 사이에 상당한 성장을 보였으나 1,2), 그러한 연구가 실제 교육에 도움이 되는 정보를 주지 못한다는 징조가있다. 예를 들어, 최근 최고의 의학 교육 (BEME) 리뷰는 효과적인 고 충실도 시뮬레이션을위한 몇 가지 조건을 뒷받침하는 약한 증거를 찾아내었으나, 강력한 연구는 거의 발견되지 않았다고 지적했습니다 .3 Cook은 사실상 거의 모든 웹-기반 학습에 대한 연구가 유의미한 application을 할 수 없다고 지적햇다. Norman은 커리큘럼 수준의 연구가 절망적일 정도로 confounded 되었으며 과학을 발전시키지 못한다고 지적했다 .5,6

Medical education research has witnessed substantial growth in recent years,1,2 yet there are indications that such research may not be informing educational practice. For example, a recent best evidence medical education (BEME) review found weak evidence supporting several conditions for effective high-fidel- ity simulation but noted that few or no strong studies could be found.3 Cook has argued that virtually all existing research into web-based learning has little meaningful application.4 On a more general basis, Norman noted that curriculum-level research is hopelessly confounded and fails to advance the science.5,6

이 실망스러운 상황에 대한 해결책은 무엇입니까? 저자는 최근 몇 년 동안 이론과 개념 틀을 더 많이 사용하고, 관련 주제에 초점을 맞추고, 의미있는 결과를 더 나타내며, 연구 방법과 보고를 개선해야 함을 주장했다. 이것은 타당한 조언이지만 의학 교육에 대한 연구는 여전히 근본적이고 명백하게 널리 퍼져있는 문제, 즉 과학적 접근 방법의 부족으로 어려움을 겪고 있습니다. 이것이 과학적 연구 디자인과 방법이 없다는 것을 암시하지는 않습니다. 많은 연구가 엄격한 디자인을 채택하고 있기 때문입니다. 오히려 의학 교육에 대한 많은 연구 조사가 시간이 지남에 따라 분야를 발전시킬 수 있는 것이라는 일련의 inquiry를 따르지 못했다는 점을 지적했습니다. 생물학, 화학 및 천체 물리학과 같은 다른 분야의 지식뿐만 아니라 우리의 의학 지식을 발전시킨 연구는 관찰, 결과를 설명하기위한 모델 또는 가설의 형성, 모델 또는 가설에 기반한 예측, 그리고 그 가설의 검증에 이르는 cycle을 밟으며, 그 결과는 다음 cycle에 대한 관찰에 영향을 준다. Scientific method라 불리는 이러한 단계들은 그 자체로 중요 할뿐만 아니라, 한 연구의 결과가 후속 연구가 형성 될 기초를 제공하기 때문에 이 과정이 반복적으로 이뤄지는 것이 필수적입니다. 이 과정을 통해 우리는 울혈 성 심부전이 어떻게 전개되는지, 페니실린이 어떻게 박테리아를 죽이는 지, 왜 태양이 태양 주위를 돌고 있는지를 이해하게되었습니다. 더 중요한 것은이 정보를 통해 우리는 울혈 성 심부전을 치료하고 새로운 항생제를 디자인하며 달에 로켓을 보낼 수있는 방법을 예측할 수 있습니다.

What is the solution to this seemingly disappointing state of affairs? Authors have, in recent years, called for 

• greater use of theory and conceptual frame- works,7–9 

• focus on relevant topics,10 

• more meaningful outcomes,11–13 and 

• improvements in research meth- ods and reporting.6,14–17 

This is sound advice, but research in medical education still suffers from a more fundamental and apparently widespread prob- lem, namely, the lack of a scientific approach. By this we are not implying the absence of scientific study designs and methods, for many studies employ rigorous designs. Rather, we have noted that many research studies in medical education fail to follow a line of inquiry that over time will advance the science in the field. Research that has advanced our knowl- edge of medicine, as well as our knowledge in other fields such as biology, chemistry and astrophysics, is characterised by a cycle of 

• observation, 

• formulation of a model or hypothesis to explain the results, 

• prediction based on the model or hypothesis, and 

• testing of the hypothesis, 

• the results of which form the observations for the next cycle. 

Not only are the steps in this cycle – otherwise known as the scientific method – important, but the iterative nature of the process is essential because the results of one study provide a foundation upon which subsequent studies can build. It is through this process that we have come to understand how congestive heart failure develops, how penicillin kills bacteria, and why the planets revolve around the sun. More importantly, this information allows us to predict ways to treat congestive heart failure, design new antibiotics and send rockets to the moon.

불행히도,이러한 접근법이 의학 교육 연구에서 비교적 드문 것 같습니다. 대신 의학 교육자는 첫 번째 단계 (관찰)와 마지막 단계 (테스트)에 중점을 두지 만 중간 단계 (모델 작성 또는 이론 작성 및 예측)를 생략하며, 더 중요하게는 기존의 연구결과에 기반한 cycle을 유지하는데 실패한다. 이것은 결국 어떤 교육법과 평가법이 우리의 교육적 노력에 더 도움이 될 것인지를 예측하는 능력을 제한합니다.

Unfortunately, this approach seems relatively uncommon in medical education research. Instead, medical educators focus on the first step (observa- tion) and the last step (testing), but omit the middle steps (model formulation or theory building, and prediction) and, perhaps more importantly, fail to maintain the cycle by building on previous results. This in turn limits our ability to predict which instructional methods and assessments will enhance our educational efforts.

이 문제를 더 잘 이해하고 잠재적 인 해결책을 파악하려면 연구의 목적을 고려하는 것이 도움이됩니다. 연구의 목적은 기술, 정당화, 명확화.

To better understand this problem and identify potential solutions, it is helpful to consider the purposes of research, which we have divided into 3 categories: description; justification, and clarification.

기술 연구는 과학적 방법의 첫 번째 단계, 즉 관찰에 초점을 둡니다. 예는 새로운 교육 개입, 새로운 평가 방법에 대한 제안 또는 새로운 행정 프로세스에 대한 설명입니다. 그러한 보고서에는 결과 데이터가 포함되거나 포함되지 않을 수도 있지만, 기술 연구의 정의에 따르면, comparison은 하지 않습니다.

Description studies focus on the first step in the scientific method, namely, observation. Examples would be a report of a novel educational intervention, a proposal for a new assessment method, or a description of a new administrative process. Such reports may or may not contain outcome data, but by definition they make no comparison.

정당화 연구는 과학적 방법의 마지막 단계에 중점을두고 하나의 교육 개입을 다른 개입과 비교하여 연구한다. "새로운 개입이 효과가 있는가?" 흔한 사례로 문제 기반 학습 (PBL) 커리큘럼을 전통적인 커리큘럼과 비교하고, 새로운 웹 기반 학습 과정을 동일한 주제에 대한 강의와 비교하거나, 인터뷰없이 정맥 절개 기술을 향상시키는 과정을 비교할 수 있습니다. 이러한 연구에는 무작위 시험과 같은 엄격한 연구 설계를 사용할 수 있지만 모델의 공식화 및 예측 없이는 결과를 향후 연구나 실습에 적용할 수 없다.

Justification studies focus on the last step in the scientific method by comparing one educational intervention with another to address the question (often implied):  Does the new intervention work?  Typical studies might compare a problem-based learning (PBL) curriculum with a traditional curriculum, compare a new web-based learning course with a lecture on the same topic, or compare a course to improve phlebotomy skills with no inter- vention. Rigorous study designs such as randomised trials can be used in such studies but, without prior model formulation and prediction, the results may have limited application to future research or practice.

명확화 연구는 주로 이전 연구를 기반으로 한 관측/모델/이론으로부터 시작해서, 예측을 하고, 그 예측을 검증하게 된다. 예측에 대한 확인은 기존의 모델을 지지하는 반면, 예측과 반대되는 결과가 나오면, 이론이나 모델을 수정하고 개선 할 수있는 방법을 제안하여 enlightening한다. 그러한 연구는 "어떻게 작동합니까? 왜 작동합니까?"와 같은 질문에 답하는 것이다. 그러한 연구는 종종 고전적 실험을 사용하여 수행되지기도 하지만, 상관관계 연구, 자연 발생적 그룹 간의 비교 연구, 질적 연구가 사용될 수 있습니다. 명확화 연구의 특징은 연구 결과에 의해 확인되거나 논박 될 수있는 개념적 틀이나 이론이 있다는 것입니다. 그러한 연구는 기술 연구나 정당화 연구보다 의학 교육에 대한 이해를 향상시키는 데 훨씬 많은 도움이 될 것입니다. 실제로 기존의 개입에 초점을 맞춤으로써 기술 및 정당화 연구는 과거를 바라보는 반면, 명확화 연구는 미래 발전의 길을 조명합니다.

Clarification studies employ each step in the scientific method, starting with observations (typically building on prior research) and models or theories, making predictions, and testing these predictions. Confirma- tion of predictions supports the proposed model, whereas results contrary to predictions can be just as enlightening – if not more – by suggesting ways in which the theory or model can be modified and improved. Such studies seek to answer the questions:  How does it work?  and  Why does it work?  Such research is often performed using classic experi- ments, but correlational research, comparisons among naturally occurring groups and qualitative research can also be used. The hallmark of clarifica- tion research is the presence of a conceptual frame- work or theory that can be affirmed or refuted by the results of the study. Such studies will do far more to advance our understanding of medical education than either description or justification studies alone. Indeed, description and justification studies, by focusing on existing interventions, look to the past, whereas clarification studies illuminate the path to future developments.

슈미트 (Schmidt)는 2005 년 유럽 의학 교육 협회 회의에서 PBL에 관한 문헌을 체계적으로 조사한 결과를 발표했다 .18 다양한 연구 디자인을 대표하는 850 개의 연구 결과에서 543 건 (64 %)의 기술 248 개 (29 %)의 정당성 연구, 59 개 (7 %)의 정화 연구가 있었다.

Schmidt, during the 2005 meeting of the Association for Medical Education in Europe, presented the results of a systematic survey of the literature on PBL.18 From the 850 studies identified, representing a variety of study designs, he noted 543 (64%) description studies, 248 (29%) justification studies, and only 59 (7%) clarification studies.

Table 1 Purposes of medical education research studies

Description

Describes what was done or presents a new conceptual model. Asks: What was done? There is no comparison group. May be a description without assessment of outcomes, or a single-shot case study (single-group, post-test only experiment)

Justification

Makes comparison with another intervention with intent of showing that 1 intervention is better than (or as good as) another. Asks: Did it work? (Did the intervention achieve the intended outcome?). Any experimental study design with a control (including a single-group study with pre- and post-intervention assessment) can do this. Generally lacks a conceptual framework or model that can be confirmed or refuted based on results of the study

Clarification

Clarifies the processes that underlie observed effects. Asks: Why or how did it work? Often a controlled experiment, but could also use a case–control, cohort or cross-sectional research design. Much qualitative research also falls into this category. Its hallmark is the presence of a conceptual framework that can be confirmed or refuted by the results of the study

METHODS

우리는 의학 교육 연구 (학술 의학, 보건 과학 교육의 발전, 의학 교육 및 의학 교육 및 학습) 및 전문 외과 1 개와 의학 1 개에 대한 2 개의 전문 학술지에 집중적으로 초점을 맞춘 4 개의 주요 저널을 선정했습니다. 교육 연구 (American Journal of Surgery)와 일반 내과학 저널 (Journal of General Internal Medicine)을 자주 출판합니다. 우리는 2003 년과 2004 년에 발표 된 실험 보고서를 체계적으로 검색했다. 실험은 연구자가 다른 변수 (종속 변수)에 미치는 영향을 평가하기 위해 변수 (치료, 개입 또는 독립 변수라고도 함)를 조작하는 연구로 광범위하게 정의했다 실험 디자인을 사용한 평가 연구를 포함하여이 정의를 충족시키는 모든 연구를 포함했습니다. 초록 보고서는 제외되었습니다. 2 년 연구 기간 동안 6 개의 저널에 포함 된 1459 개의 논문 제목과 초록을 검토 한 결과, 185 개의 실험이 확인되었습니다. 이 중에서 우리는 전체 검토를 위해 110 개의 기사로 구성된 무작위 샘플을 저널로 계층화했습니다. 연구자 쌍에 의한 전체 텍스트 검토 결과, 5 건의 연구가 실험이 아니며 최종 분석을 위해 105 건의 기사가 남았습니다. 저널 선택과 표본 크기에 대한 정당화를 포함한이 검색에 대한 자세한 내용은 Cook et al.17

We selected the 4 leading journals that focus exclu- sively on medical education research (Academic Med- icine, Advances in Health Sciences Education, Medical Education and Teaching and Learning in Medicine) and 2 specialty journals – 1 for surgery and 1 for medicine – that frequently publish education research (the American Journal of Surgery and the Journal of General Internal Medicine). We systematically searched these journals for reports of experiments published in 2003 and 2004. We defined experiments broadly as any study in which researchers manipulate a variable (also known as the treatment, intervention or independent variable) to evaluate its impact on other (dependent) variables, and included all studies that met this definition, including evaluation studies with experimental designs. Abstract-length reports were excluded. Based on a review of titles and abstracts of the 1459 articles contained in the 6 journals during the 2-year study period, 185 experi- ments were identified. Of these we selected a random sample, stratified by journal, of 110 articles for full review. Full text review by pairs of researchers revealed that 5 studies were not experiments, leaving 105 articles for final analysis. For details of this search, including justifications for journal selection and sample size, see Cook et al.17

RESULTS

고찰

DISCUSSION

가설에 따르면 의학 교육에 대한 실험적 연구는 주로 기술 연구보다는 정당화 또는 명확화를 목적으로 수행되었습니다 (84 % 대 16 %). 게다가 Schmidt의 PBL 연구와 마찬가지로 명확화 연구가 드물었습니다. 우리 연구 표본의 12 %만이 어떻게? 또는 왜? 를 질문했다. 이러한 추세가 지속된다면, 의학 교육의 과학은 매우 천천히 진보 할 운명이된다. 이러한 추세를 바꾸기 위해 우리는 의학 교육 연구의 착상과 디자인에 이론적 또는 개념적 모델이나 프레임 워크를 더 많이 사용해야한다고 요구합니다.

As hypothesised, experimental studies in medical education were mainly conducted for justification or clarification purposes compared with descriptions (84% versus 16%). Furthermore, as in Schmidt s study on PBL,18 clarification studies were uncommon: only 12%of the experiments in our sample of studies asked  How?  or  Why?  questions. If this trend continues, the science of medical education is destined to advance very slowly. To alter this trend, we call for greater use of theoretical or conceptual models or frameworks in the conception and design of medical education studies.

더 많은 명확화 연구를 요구하면서, 우리는 또한 일부 기술 연구가 계속 필요함을 인정한다. 미래의 혁신과 연구를위한 토대를 마련하면서 교육 공동체에 대한 설명과 보급을받을 수있는 진정으로 혁신적인 아이디어와 중재가 항상있을 것입니다. 마찬가지로, 우리는 정당화 연구의 지속적인 역할, 특히 고차원 결과 (행동 및 환자 또는 실천 지향적 결과)를 보거나 새로운 중재를 평가할 때 계속해서 역할을 기대합니다. 그러나 이러한 정당화 연구는 교수 및 학습 과정에 대한 우리의 이해를 발전시키는 데는 제한적이고, 미래의 실행 및 연구에 대한 영향 역시 제한적이라는 것을 인식해야합니다. 우리는 기술 연구 또는 정당화 연구가 사라져야 한다고 이야기하는 것이 아니며, 3가지 목적 중 더 나은 균형을 위해 21) 그래서 연구의 훨씬 더 많은 부분이 명확화 문제를 다루어야 한다고 말하는 것이다. 더욱이 우리는 기술 연구와과 정당화 연구가 이전의 명확화 연구와 타당한 개념적 틀을 토대로 구축되어야한다고 제안한다.

While calling for more clarification research, we also acknowledge the continued need for some descrip- tion studies. There will always be truly innovative ideas and interventions that merit description and dissemination to the education community, laying the groundwork for future innovation and research. Likewise, we anticipate a continued role for justification studies, particularly when looking at higher-order outcomes (behavioural and patient- or practice-oriented outcomes) or when evaluating novel interventions. However, it must be recognised that these studies have a limited impact on our understanding of the teaching and learning process and in turn have limited influence on future practice and research. We are not arguing for the disappear- ance of description or justification studies, but for a better balance21 among the 3 purposes so that a much larger proportion of research addresses clari- fication questions. Furthermore, we suggest that description and justification studies should build on previous clarification studies and sound conceptual frameworks.

이 연구는 실험적 연구에 초점을 맞추었지만 모든 명확화 연구가 실험적 일 필요는 없습니다. 명확하지 않은 설계 (예 : 상관 연구, 자연 발생 그룹 간 비교, 질적 연구)를 사용하여 명확화 연구를 수행 할 수 있습니다.

Although this study focused on experimental research, not all clarification research needs to be experimental. Clarification research can be carried out using non-experimental designs (e.g. correla- tional studies, comparisons among naturally occurring groups, and qualitative research).

의학 교육에서 연구 목적의 분류는 기존 연구에 대한 성찰을 자극할 수 있으며, 연구자가 이해를 명확하게하는 질문을하도록 장려할 수 있다. 기존 연구의 등급을 매기는 것은 분류를 오용하는 것이다. 마찬가지로, 우리는 연구의 목적에 대해서 어느 정도의 가치 판단을 내포하고 있지만, 기술 연구나 정당화 연구라는 이유로 reject하는 것은 적절하지 않습니다. 연구의 각 부분이 의학 교육의 과학을 발전시키는 지식의 증대에 기여하는 한, 언제나 그러한 연구의 역할이 있을 것입니다.

This classification of purposes of studies in medical education will be most useful inasmuch as it stimu- lates reflection on existing research and encourages researchers to ask questions that will clarify our understanding. It would be a misuse of the classifi- cation if it were the sole criterion by which to grade existing research. Likewise, although we do imply some degree of value judgment attached to research among these purposes, it would be inappropriate to reject a given study solely because it represented description or justification. There will always be a role for such research as long as each piece of research contributes to a growing body of knowledge that advances the science of medical education.

12 Shea JA. Mind the gap: some reasons why medical education research is different from health services research. Med Educ 2001;35:319–20.

13 Chen FM, Bauchner H, Burstin H. A call for outcomes research in medical education. Acad Med 2004;79:955– 60.

5 Norman GR. Research in medical education: three decades of progress. BMJ 2002;324:1560–2.

6 Norman G. RCT = results confounded and trivial: the perils of grand educational experiments. Med Educ 2003;37:582–4.

8 Prideaux D, Bligh J. Research in medical education: asking the right questions. Med Educ 2002;36:1114–5.

9 Dolmans D. The effectiveness of PBL: the debate con- tinues. Some concerns about the BEME movement. Med Educ 2003;37:1129–30.

---

Med Educ. 2008 Feb;42(2):128-33. doi: 10.1111/j.1365-2923.2007.02974.x. Epub 2008 Jan 8.

Description, justification and clarification: a framework for classifying the purposes of researchin medical education.

Cook DA1, Bordage G, Schmidt HG.

Author information

1

Division of General Internal Medicine, Mayo Clinic College of Medicine, Rochester, MN 55905, USA. cook.david33@mayo.edu

Abstract

CONTEXT:

Authors have questioned the degree to which medical education research informs practice and advances the science of medicaleducation.

OBJECTIVE:

This study aims to propose a framework for classifying the purposes of education research and to quantify the frequencies of purposes among medical education experiments.

METHODS:

We looked at articles published in 2003 and 2004 in Academic Medicine, Advances in Health Sciences Education, American Journal of Surgery, Journal of General Internal Medicine, Medical Education and Teaching and Learning in Medicine (1459 articles). From the 185 articles describing education experiments, a random sample of 110 was selected. The purpose of each study was classified as description ('What was done?'), justification ('Did it work?') or clarification ('Why or how did it work?'). Educational topics were identified inductively and each study was classified accordingly.

RESULTS:

Of the 105 articles suitable for review, 75 (72%) were justification studies, 17 (16%) were description studies, and 13 (12%) were clarification studies. Experimental studies of assessment methods (5/6, 83%) and interventions aimed at knowledge and attitudes (5/28, 18%) were more likely to be clarification studies than were studies addressing other educational topics (< 8%).

CONCLUSIONS:

Clarification studies are uncommon in experimental studies in medical education. Studies with this purpose (i.e. studies asking: 'How and why does it work?') are needed to deepen our understanding and advance the art and science of medical education. We hope that this framework stimulates education scholars to reflect on the purpose of their inquiry and the research questions they ask, and to strive to ask more clarification questions.

PMID:

 

18194162

 

DOI:

 

10.1111/j.1365-2923.2007.02974.x

[Indexed for MEDLINE]