의학교육에서 무작위대조군연구와 메타분석의 역할(Med Teach, 2012)
Randomized controlled trials and meta-analysis in medical education: What role do they play?
DAVID A. COOK
Mayo Clinic College of Medicine, USA
도입
Introduction
교육 연구자들은 어떤 상황에서 무엇이 누구에게 작동하는지 이해하려고 노력합니다. 다르게 말하자면, 현재의 교육 환경을 고의적으로 변경하면 학습이 향상되고 바람직한 결과가 도출 될 것입니다. 이를 위해 증거는 반드시 다원적이며, 깊은 이해는 다양한 증거 자료 (삼각 측량)를 고려함에 기인합니다. 교육 환경은 복잡하고 수많은 얽힘 요소와 때로는 여러 개인의 특이한 행동을 수반합니다. 연구 자체는 상황에 따라 크게 달라지며, 엄격하게 말하자면 연구가 수행 된 독특한 환경 밖에서 연구 결과가 적용되지 않습니다. 그러므로 증거는 그 자체로는 말하지 않는다 - 그것은 다른 교육자들의 실질적인 결정을 알리기 위해 원래의 맥락, 한계 및 개념적 틀에 비추어 해석을 요구한다.
Education researchers seek to understand what works, for whom, in what circumstances. Stated differently, we wish to predict what will happen if we make deliberate changes to the current education environment – will improved learning and other desirable outcomes accrue? To this end, evidence is necessarily pluralistic, and deep understanding derives from considering multiple sources of evidence (triangulation). Educational environments are com- plex, involving numerous interweaving factors and the some- times idiosyncratic behaviors of multiple individuals. Research itself is highly context dependent, and strictly speaking, no study’s results apply outside of the unique environment within which it was conducted. Therefore, evidence does not speak for itself – it requires interpretation in light of its original context, limitations, and conceptual framework in order to inform the practical decisions of other educators.
그러나 전술 한 세션 전반에 걸친 저류는 내러티브, 수사학, 리얼리즘 방법이 (실행 불가능하거나, 통계적 말장난에 불과한) 무작위 연구와 메타 분석과 같은 양적 방법을 대체 할 수 있어야한다고 주장했다. 즉, 진실은 주관적이고 개인의 관점에 의존하는 포스트 모던 인식론으로 급격히 이동해야합니다. 나는 질적 패러다임에 기반한 연구가 우리의 이해를 풍부하게 할 수 있다는데 동의한다. 그러나 이 학자들이 제안한 극적 변화는 너무 과도한 것이다.
However, an undercurrent throughout the aforementioned session suggested that narrative, rhetoric, and realist methods should supplant quantitative methods such as randomized trials and meta-analysis which were noted to be ‘‘infeasible’’ and comprised of ‘‘statistical hocus-pocus.’’ In other words, the field should shift sharply toward a postmodern epistemology in which truth is subjective and dependent on an individual’s perspective. I agree that research grounded in qualitative paradigms can greatly enrich our understanding. However, thedramatic shift proposed by these scholars would swing thependulum too far.
개인적 표명
Personal disclaimers
나는 나의 현재 인식론을 분명히 밝히고 싶다. 나는 다음을 믿는다 :
In the spirit of reflexivity, I also wish to make clear my current epistemology. I believe that:
(1) 인과 관계를 통제하는 보편적 인 진리가있다. 우주는 주관적이지 않습니다.
(1) There are universal truths that govern cause–effect relationships. The universe is not subjective.
(2) 진리에 대한 우리의 이해는 우리의 개인적인 신념, 경험 및 배경에 의해 항상 불완전하고 오염 될 것입니다. 따라서 세계에 대한 우리의 해석은 반드시 주관적입니다.
(2) Our understanding of these truths will always be imperfect and tainted by our personal beliefs, experi- ences, and contexts. To this end, our interpretations of the world are necessarily subjective.
(3) 세계에 대한 우리의 이해는 이론과 개념 틀의 관점에서 가장 잘 표현된다. 이론은 훌륭한 연구에 필수적입니다. 그것들은 연구들 사이에 공통적 인 연결 고리를 제공하고 예측과 실제 적용을 용이하게합니다 (Bordage 2009).
(3) Our understanding of the world is best expressed in terms of theories and conceptual frameworks. Theories are essential to good research. They provide the common link between studies and facilitate prediction and practical application (Bordage 2009).
(4) 모든 흥미로운 증거가 원인 - 영향 관계를 포함하지는 않습니다. 그러나 교육자와 교육 연구자가 어떤 상황에서 어떤 것이 효과가 있는지 이해하려고 할 때, 어떤 단계에서는 인과 관계에 관한 증거를 요구합니다.
(4) Not all interesting evidence involves cause–effect relationships. However, understanding what works, for whom, in what circumstances – a primary goal of educators and education researchers – requires, at some level, evidence regarding cause-and-effect.
(5) 모든 연구는 의사결정에 도움이 되도록 실용적인 목적이 있어야 한다. 이것은 모든 연구에서 문제를 다루어야한다는 의미는 아닙니다. 반대로, 가장 유용한 연구는 왜, 언제, 어떻게 작동 하는지를 명확히 설명하는 이론을 구축하려는 노력이다. 그러나 Lewin (1951, p.159)이 말한 것처럼 ''좋은 이론만큼 실용적인 것은 없다. '
(5) All research should be done with the ultimate practical purpose of informing decisions. This does not mean that all research should address the question, ‘‘Does it work?’’ On the contrary, the most useful research will be theory-building efforts that clarify why, when, and how something works. However, as Lewin (1951, p. 159) stated, ‘‘There is nothing so practical as a good theory.’’
무작위 연구의 역할: 다섯 가지 신화
The role of the randomized trial: Five myths
신화 1 : RCT는 의학 교육에서 실행 불가능하고 드물다.
진실 : RCT는 수없이 많으며 중요하고 통찰력있는 결과를 산출합니다.
Myth 1: RCTs are infeasible and infrequent in medical education
Fact: RCTs are numerous and yield important, insightful results
RCT는 명확하게 실현 가능하고 실제로는 매우 흔하게 이뤄지고 있다. RCT 결과의 중요성을 방어하는 것은 더 어렵지만 , RCT는 인터넷 기반 교육에서 자체 평가 질문, 반복 및 피드백의 유용성을 확인했습니다 (Cook et al., 2006; Kerfoot et al., 2007). Kopp et al., 2008); 시뮬레이션 트레이닝에서 터미널 피드백과 동시 발생 (Chang et al., 2007); 심전도 해석을 학습 할 때 대조적 인 예가있다 (Hatala et al., 2003). 그들은 또한 예기치 않은 결과를 발견했다. 예를 들어 사례 기반 및 비 사례 기반의 질문이 거주자의 학습에 유사한 영향을 미치고 (Cook et al. 2009), 교육적 가상 환자가 보다 authentic한 형식보다 우월 할 수있다 (Friedman et al., 1991).
RCTs are clearly feasible and actually fairly common. Defending the importance of the results of RCTs is more difficult, but for sake of illustration, RCTs have confirmed the utility of self-assessment questions, repetition, and feedback in Internet-based instruction (Cook et al. 2006; Kerfoot et al. 2007; Kopp et al. 2008); concurrent over terminal feedback in simulation training (Chang et al. 2007); and contrasting examples when learning electrocardiogram interpretation (Hatala et al. 2003). They have also identified unexpected findings, such as that case-based and non-case-based ques- tions have similar impact on residents’ learning (Cook et al. 2009) and that a pedagogic virtual patient may be superior to a more authentic format for medical students (Friedman et al. 1991).
신화 2 : RCT는 이상적인 학습 설계입니다.
진실 : 이상적인 연구 설계는 연구 문제에 달려있다.
Myth 2: The RCT is the ideal study design
Fact: The ideal study design depends on the research question
제대로 수행되면 개인차로 인해 결과가 나타날 가능성이 줄어들어, 원인 - 결과 관계의 추론이 강화됩니다.
Properly done, this lessens the chance that observed results are due to individual differences and strengthens the inference of a cause–effect relationship.
그러나 결과의 해석에 영향을 미칠 수있는 모든 타당성 위협 및 편향을 해결해주지는 않습니다 (자세한 내용은 Cook & Beckman (2008) 참조). 어떤 사람들은 RCT가 편향에 덜 취약하다고 제안했다. 논리적으로는 그럴지도 모르지만, 임상 의학 (Benson & Hartz 2000, Concato et al 2000)과 의학 교육 (Cook et al. 2011b)에서의 경험적 증거에 따르면, 실제로 RCT와 비-무작위 비교의 결과가 평균적으로는 유사한 수준이다 (즉, 연구간에 체계적인 편향이 없음).
However, it does not address many other validity threats and biases that can impact the interpretation of results (for a detailed discussion, see Cook & Beckman (2008)). Some have proposed that RCTs are less susceptible to bias. While this is logically possible, empiric evidence in both clinical medicine (Benson & Hartz 2000; Concato et al. 2000) and medical education (Cook et al. 2011b) suggests that in reality the results of RCTs and non-randomized comparisons are, on average, similar (i.e., there is not systematic bias across studies).
더욱이 RCT조차도 비교가 여러 실험 조건이 동시에 변화하면, 비교가 confounded되어 해석이 불가능할 수 있다 (Cook 2009). 예를 들어 웹 기반 학습과 강의를 비교하는 RCT를 상상해보십시오. 웹 강좌가 멀티미디어 비디오 클립을 추가하고 웹 그룹의 학습자가 원하는대로 강좌를 검토하고 강사가 학생들에게 질문 할 수있는 마지막 5 분을 예약 한 경우 강좌가 매체인지 여부를 구분할 수 없습니다 강의 방법), 교육 방법 (멀티미디어 및 학습자 제어 대 리뷰 세션) 또는 어떤 결과가 도출되는지를 관찰하는 조합. 무작위 디자인은 차이가 존재함 (또는 존재하지 않음)을 확인해주지만 여러 가지 가능한 설명을 해소시켜주지는 않는다.
Moreover, even RCTs can be uninterpretable if the comparison is confounded by the simultaneous variation of multiple experimental conditions (Cook 2009). For example, imagine a RCT comparing web-based learning with lecture. If the web course adds multimedia video clips and allows learners in the web group to review the course as desired and the lecturer reserves the last 5 min for students to ask questions, then it will be impossible to distinguish whether it is the medium (web vs lecture), the instructional methods (multimedia and learner control vs review session), or some combination that leads to whatever result is observed. The randomized design assures us that the difference (or lack thereof) is real but does not help disentangle the multiple possible explanations.
가장 중요한 것은 RCT가 모든 중요하고 가치있는 연구 질문에 적절한 것은 아니라는 점입니다. RCT는 가정 된 관계를 테스트 할 수는 있지만, 역사적인 경향을 평가하거나, 인간 개입에 부합하지 않는 관계를 테스트하거나, 상황이 어떻게되었는지에 대해 대답 할 수는 없습니다.
Most importantly, RCTs are not appropriate for all signif- icant and worthwhile research questions. RCTs can test hypothesized relationships, but they cannot evaluate historical trends, test relationships not amenable to human intervention, or answer why things happened the way they did.
신화 3 : 무작위 화는 중요한 연구를 보장합니다.
진실 : 방법이 좋다고 무의미한 질문이 보완되지 않습니다. 더욱이 무작위화가 반드시 좋은 방법인 것도 아니다.
Myth 3: Randomization will guarantee an important study
Facts: Strong methods will not compensate for a pointless question. Moreover, randomization does not equate with strong methods
많은 연구자 - 불행히도 많은 리뷰어 -는 무작위화가 자동으로 중요성과 엄격함을 부여한다는 선입견을 가지고 있다. 위에서 언급했듯이 무작위 추출은 단지 끝까지 수단 일뿐입니다. 즉, 인과 적 해석을 강화시킵니다. 그러나, 그러한 해석의 가치에 대해 말하지 않으며, 다른 연구 약점을 완전히 보완하지도 않습니다.
Many researchers – and unfortunately many reviewers – operate under the impression that randomization automatically imbues significance and rigor. As noted above, randomization is merely a means to an end – namely, it strengthens causal interpretations. However, it does not speak to the value of those interpretations, nor does it fully compensate for other study weaknesses.
많은 조사관이 RCT를 사용하여 교육 과학을 발전시키는 데 필요한 질문을 연구했습니다. 가장 현저하게, 적어도 178 개의 RCT는 간섭이없는 다양한 새로운 교육 기술 (인터넷 기반 교육, 가상 환자 및 기술 향상 시뮬레이션)을 비교했다 (Cook et al. 2008b, 2010a, 2011a). 거의 모든 이른바 정당화 연구 (Cook et al. 2008a)는 교육에 큰 효과가 있음을 확인하고 효과 크기는 대체적으로 크다 (Hedges 'g 40.8). 우리가 의사를 가르치면 가르치지 않는 것보다 더 많은 것을 배울 수 있다는 것을 확인하기 위해 굳이 실제로 RCT를 시도해야 하는가? 우리는 더 많은 RCTs (또는 non-RCTs)에게 "그것이 효과가 있습니까?"라고 묻습니다. 비공식적으로 대답은 거의 항상 '예'일 것입니다. 그러나 중요한 이익을 찾지 못하는 것은 부적절한 권한 (아래 참조) 또는 부정확 한 측정으로 인한 것일 수 있습니다. 대신, 우리에게 필요한 것은 비교 효과성 연구 - 두 가지 적극적인 교육 개입의 비교하는 것 - 이다.
Many investigators have used RCTs to study questions thatfail to advance the science of education. Most prominently, atleast 178 RCTs have compared various new instructionaltechnologies (Internet-based instruction, virtual patients, andtechnology-enhanced simulation) with no intervention (i.e., acontrol arm) (Cook et al. 2008b, 2010a, 2011a). Nearly, all ofthese so-called justification studies (Cook et al. 2008a) confirmsignificant benefits to instruction, and the effect size isuniversally large (Hedges’ g 40.8). Does it really require arandomized trial to confirm that if we teach medical studentsthey will learn more than if we do not teach them? We do notneed more RCTs (or non-RCTs) asking ‘‘Does it work?’’! Notonly will the answer nearly always be ‘‘Yes,’’ but failure to finda significant benefit is likely due to inadequate power (seebelow) or imprecise measurement. Instead, we need comparative effectiveness studies – comparisons of two active educational interventions.
그러나 "전통적인 방식으로 일하는 것과 비교하면 어떻게 작동 하는가?"와 같은 또 다른 형태의 정당화 연구 (Cook et al. 2008a)는 필요하지 않다. 더 나은 접근법을 설계하는 데있어서 앞으로 나아가는 대신 과거를 뒤돌아 보는 것으로는 교육 과학을 발전시키지 못합니다.
However, we also do not need studies that ask, ‘‘How does it work compared with the traditional way of doing things?’’ – another form of the justification study (Cook et al. 2008a). By looking backward (at the old way) instead of forward (to designing better approaches), such studies fail to advance the science of education.
미디어 비교 연구는 일반적으로 큰 차이를 발견하지 못합니다 (www.nosignificantdifference.org). 더 중요한 것은, 차이가 발견되면 RCT 디자인은 조사자가 그 차이를 일으킨 원인을 분석 할 수 없도록합니다.
Media-comparative studies typically find no significant difference (www.nosignificantdifference.org). More importantly, when a difference is found, the RCT design does not permit the investigators to dissect out what caused that difference.
RCT는 어떤 상황에서 - 교육 과학을 발전시키는 명확한 질문 (Cook et al. 2008a)이 효과가 있는지에 대한 이해를 증진시키는 데 계속해서 중요한 역할을 할 것입니다. 잘 계획된 RCT는 이론을 테스트하고 효과적인 교육을 정의하는 기능과 메커니즘을 탐구 할 수 있습니다.
RCTs will continue to play an important role in advancing our understanding of what works, for whom, under what circumstances – the clarification questions that advance the science of education (Cook et al. 2008a). Well-planned RCTs can test theories and explore the features and mechanisms that define effective instruction.
그러나 RCT는 교란변수로 인한 문제나 부적절한 표본 크기에서 오는 결함에 대해 다른 설계보다 취약합니다. 혼란은 위에 언급 된 것과 다른 곳에서 논의되었습니다 (Cook 2009). 표본 크기와 관련하여 예상 효과 크기가 클 때 (예 : 비교와 비교), 작은 표본으로 충분할 수 있습니다. 그러나 두 가지 적극적인 교육 중재를 비교할 때 예상되는 효과 크기는 훨씬 더 작습니다. 효과 크기가 작다고 해서, 반드시 그 결과가 사소하다고 볼 수는 없다. 실제로 노먼 (Norman, 2011)은 "많은 효과적인 의학 요법이 효과 크기가 훨씬 작다는 점에서 교육은 의학보다 더 나은 모양입니다. 그러나 우리가 의학 연구를 포기할 것을 주장하는 사람은 아무도 없습니다. 왜냐하면 인체는 너무 복잡해서 이해할 수 없기 때문입니다. " 교육 연구가 활발한 개입의 비교로 점차 변화함에 따라, 우리는 작은 영향에 놀라거나 경시해서는 안된다. 그러나 이러한 연구에서는 '유형 II'오류 (즉, 실제로 차이가있을 때 통계적으로 유의미한 차이를 찾지 못함)를 피하기 위해 훨씬 더 큰 표본이 필요합니다.
However, RCTs are as susceptible as any other design to the common flaws of confounding and inadequate sample size. Confounding has been discussed above and elsewhere (Cook 2009). Regarding sample size, when the anticipated effect size is large (as in the comparison of instruction vs no intervention), a small sample may suffice. However, when comparing two active instructional interventions, the anticipated effect size will be much smaller. Small effect sizes do not necessarily equate with trivial results. Indeed, as Norman (2011) states, ‘‘Education is in better shape than medicine in that many effective medical therapies have much smaller effect sizes. Yet no-one is suggesting we abandon medical research because the human body is just too darn complex to ever be understood.’’ As education research increasingly turns to comparisons of active interventions, we should not be surprised by or scornful of small effects. However, such studies will require a much larger sample to avoid ‘‘type II’’ error (i.e., failing to find a statistically significant difference when in fact a difference does exist).
신화 4 : RCT는 복잡한 중재를 연구하는 데 사용할 수 없다.
진실 : 다른 연구 분야에서 RCT의 복잡성을 처리하는 방법을 배울 수 있습니다.
Myth 4: RCTs cannot be used to study complex interventions
Fact: We can learn from other research fields how to handle complexity in RCTs
저자들은 교육 환경의 복잡성에 대해 애석해했으며 (Mennin 2010, Regehr 2010) 전통적인 정량적 연구 방법이이 문제를 해결하기에 부적절하다는 우려를 표명했습니다. 그러나 노르만 (2011)은 지적한 바에 의하면, "저자들은 ... 분명히 복잡한 관측 된 사건이 발생한 물리적 세계에서 복잡성, 불확실성 및 혼돈의 새로운 현실을 수용하기 위해 우리의 방법이 변해야한다고 주장하지만, 이 현상들은 고전적, 환원 주의적, 실험적 방법으로 조사된 것이다. "
Authors have lamented the complexity of education environments (Mennin 2010; Regehr 2010) and expressed concern that traditional quantitative research methods will be inade- quate to handle this problem. Yet, Norman (2011) has pointed out, ‘‘Although these authors ... claim that our methods must change to accommodate the new reality of complexity, uncertainty and chaos, in the physical world where [apparently complex observed events] originated, these phenomena were investigated with classical, reductionist, experimental meth- ods.’’
더 중요한 것은 의료, 복합 요법 및 개별화 된 의학에 대한 심리 사회적 접근법을 연구하기 위해 현재 개발중인 연구 방법에서 많은 것을 배울 수 있다는 것입니다. RCT는이 전략의 핵심 부분을 구성 할 것이다 (Hawe et al. 2004).
More importantly, we can learn much from the research methods currently being developed to study psychosocial approaches to medical care, combination therapies, and individualized medicine. RCTs will constitute a key part of this strategy (Hawe et al. 2004).
그러나 이것은 모호함에 항복하는 저질의 연구를 용인하지 않습니다. 복잡성에 대한 분석을 적절히 계획하지 못한 복잡한 개입에서 연구자는 절망적으로 혼란에 빠질 수 있습니다. Norman (2003)은 커리큘럼 수준에서, 실험 방법을 어떻게 적용할지를 생각하지 않는 것은 결과적으로 복제불가능하고 해석불가능한 결과만을 가져 오기 때문에 복잡한 개입에 대한 대규모 연구 (소위 '웅장한 교육 실험')를 비난했다. 설계가 아니라 중요한 것에 대한 실험의 개념화가 중요합니다.
However, this does not excuse poorly designed studies that surrender to ambiguity. Investigators of complex interventions who fail to appropriately plan the analysis of that complexity will find their results hopelessly confounded. Norman (2003) condemned large-scale studies of complex interventions (the so-called ‘‘grand education experiment’’) because ‘‘unthinking application of experimental methods at the level of curriculum leads to small, unreplicable and uninterpretable results.’’ It is not so much the design, but rather the conceptualization of the experiment that matters.
신화 5 : 하나의 아주 좋은 RCT만으로 충분하다.
진실 : 모든 연구는 아무리 좋은 것이라 할지라도 양동이의 물 한 방울일 뿐이다.
Myth 5: One very good RCT is enough
Fact: Every study, no matter how good, is only one drop in the bucket of evidence
연구자 - 특히 초보 연구자 -은 얇게 썬 빵 이후로 자신의 생각과 연구를 최고의 것으로 간주하는 경향이 있습니다. 시간이 갈수록 추가 연구가 진행되고 관점이 밝혀지면서 각 연구가 아무리 좋은 것이라도 한 방울의 증거에 불과함을 깨닫게 된다 (Cook 2010). 새로운 아이디어는 그것을 만든 사람이 믿는 것 만큼 새롭지 않으며 중요한 연구 결과는 연구자가 희망하는 만큼 세상을 바꿀 수 없습니다.
Researchers – particularly junior investigators – tend to look at their idea and their study as the best thing since sliced bread. With time and the conduct of additional research comes perspective, and with perspective comes the understanding that each study, no matter how good, is only one drop in the bucket of evidence (Cook 2010). A novel idea is rarely as new as the innovator believes, and important study findings rarely change the world as much as the investigator anticipates.
따라서 가장 통찰력있는 결론을 가진 가장 엄격한 RCT조차도 이전에 수행 한 작업을 바탕으로 구축되며 이후의 연구에서 개선 될 것입니다. 지속적인, 계획적 노력은 성공적인 연구의 핵심입니다 (Bordage 2007). I (Cook 2010)가 이전에 언급했듯이,
Thus, even the most rigorous RCT with the most insightful conclusions will build on work that has gone before and in turn will be improved upon in subsequent research. Sustained, programmatic effort is the key to a successful research enterprise (Bordage 2007). As I (Cook 2010) stated previously,
약물을 시장에 내놓기 위해서는 수년간의 부지런한 연구가 필요하고, 사람의 상태를 개선하기 위해 약물을 단독으로 또는 조합하여 효과적으로 사용하는 방법을 이해하는 데 추가로 수년이 소요됩니다. 우리는 교육 과학에 그다지 기대하지 않아야합니다. 마법의 총알도 없고 단축키도 없습니다. 증거는 양동이에 담겨 있으며, 천천히 축적되고, 보상은 지연되지만, 일할 가치가 있을 것입니다.
It takes years of diligent research to bring a drug to market, and additional years to understand how to effectively use the drug alone or in combination to improve the human condition. We should expect nothing less in education science. There are no magic will bullets, and no shortcuts. Evidence The as bucket. accumulate slowly, drops in a reward, although delayed, will be worth the work.
메타분석의 역할: 네 가지 신화
The role of meta-analysis: Four myths
종종 교육자와 연구자는 이미 밝혀진 증거를 모르는 채로 일한다. 예를 들어, 최근의 체계적인 검토는 시뮬레이션 훈련을 개입없이 비교 한 600 가지 이상의 연구를 확인했다 (Cook et al. 2011a). 거의 모든 연구가 같은 결론에 도달했습니다. 즉, "시뮬레이션을 사용하여 사람들을 가르치면 배우게 될 것입니다." "이 사실을 확인하기 위해 실제로 600 번의 연구가 필요 했을까? 개별 조사자가 알고있는 이러한 증거의 몸무게는 얼마입니까? BEME 철학 (Harden et al., 1999)은 현재의 실습과 미래의 연구에 정보를 제공하는 데 중요한 역할을합니다.
Educators and researchers often operate in ignorance of existing evidence. For example, a recent systematic review identified over 600 studies comparing simulation training with no intervention (Cook et al. 2011a). Nearly all of these studies arrived at the same conclusion: namely, ‘‘If you teach people using simulation, they will learn.’’ Did it really require 600 studies to confirm this truism? How much of this body of evidence were individual investigators aware of? The Best Evidence Medical Education philosophy of evidence synthesis (Harden et al. 1999) plays a critical role in informing both current practice and future research.
나는 이전에 체계적 고찰과 서술적 고찰을 대조했다 (쿡 2008). 양적 및 질적 원천 연구와 마찬가지로 연구 합성에 대한 이러한 접근법은 상호 배타적 인 것이 라기보다는 보완 적입니다.
I have previously contrasted systematic and narrativereviews (Cook 2008). As with quantitative and qualitative original research, these approaches to research synthesis are complementary rather than mutually exclusive.
신화 1 : 메타 분석은 의학 교육에서 실행 불가능하고 드물다.
진실 : 메타 분석은 점점 더 많이 사용되고 있으며 중요한 통찰력있는 결과를 산출합니다.
Myth 1: Meta-analyses are infeasible and infrequent in medical education
Fact: Meta-analyses are increasingly used and yield important, insightful results
교육 연구에서 메타 분석의 유용성을 고려할 때,이 방법은 심리 치료의 효과를 평가하는 수단으로 사회 과학에서 유래되었다는 것을 기억하는 것이 중요하다 (Glass 1976). 의학 교육에서의 메타 분석은 드물지만, 결코 없지 않다.
In considering the utility of meta-analysis in the study of education, it is important to remember that the method originated in the social sciences (not clinical medicine) as a means to evaluate the effectiveness of psychotherapy (Glass 1976). Meta-analyses in medical education have been infre- quent, but are by no means absent.
필자가 주도한 메타 분석에는 두 가지 주요 목적이있다. 첫째, 교육 기술을 '전통적'방법과 비교하지 않고 개입하지 않는 것에 대한 내 개념적 주장을 뒷받침하는 것이다 (Cook 2005). 둘째, 현장에서 가정 된 모범 사례를 확인하십시오. 전 목적은 분명히 성공적이었습니다. 나는 훈련과 비훈련을 비교하는 연구에서 확고한 확고한 결과를 얻었고, 새로운 기술을 전통적 기술을 비교하는 연구에서는 차이는 무시할 만한 수준이었다 (Cook et al., 2008b, 2010a, 2011a). 두 번째 목적은 개념적으로 비슷한 질문을 다루는 연구의 부족으로 인해 부분적으로 만 달성되었다 (아래에서 다시 돌아올 점) (Cook et al. 2010a, 2010b).
The meta-analyses I have led have had two main purposes: first, to support my conceptual arguments regarding the futility of studies comparing educational technologies against ‘‘tradi- tional’’ methods and against no intervention (Cook 2005), and second, to confirm hypothesized best practices in the field. The former purpose has been clearly successful: I have large confirmed consistent findings of benefits in studies comparing training vs no training and negligible differences in studies comparing new technologies vs traditional (Cook et al. 2008b, 2010a, 2011a). The second purpose has been only partially attained, due in large part to a paucity of studies addressing conceptually similar questions (a point to which I will return below) (Cook et al. 2010a, 2010b).
신화 2 : 메타 분석은 통계적인 hocus-pocus입니다.
진실 : 메타 분석은 알려진 강점과 한계를 지닌 엄격한 연구 방법입니다.
Myth 2: Meta-analysis is statistical hocus-pocus
Fact: Meta-analysis is a rigorous research method, with known strengths and limitations
교육 (또는 다른 분야)에서 메타 분석의 역할을 고려할 때 이 방법의 한계를 이해하는 것이 중요합니다. Lau et al. (1997)은 "통계적 테스트는 상식, 임상 적 통찰력, 생물학적 타당성의 결여를 보완 할 수 없다"고 말했다. 불행히도 많은 사람들은 어떻게 메타분석을 해야하는지 또는 어떻게 분석해야하는지를 이해하지 못한다. 이것은 연구자 (방법을 잘못 적용한 사람)와 독자 (세부 사항에서 길을 잃거나 결과를 지나치게 해석하지 못하는 사람) 모두에게 문제입니다.
In considering the role of meta-analysis in education (or any other field), it is essential to understand the limitations of the method. As Lau et al. (1997) stated, ‘‘Statistical tests cannot compensate for lack of common sense, clinical acumen, and biological plausibility.’’ Unfortunately, many people do not understand howto performor interpret a meta-analysis. This is a problem both for researchers (who mis-apply the method) and for readers (who might get lost in the details, or over- or under-interpret the results).
메타 분석은 공통적 인 질문, 개념적 틀 또는 이론으로 연결된 일련의 연구에서 효과에 대한 최선의 추정치를 결정하고 이러한 연구 간의 불일치 (이질성)를 강조하고 조사하기위한 강력한 기술입니다. 아마도 의학 교육에서 메타 분석을 수행하려고 할 때 가장 어려운 단계는, 분석의 대상이 되는 원저들이 공통의 질문을 다루는지 여부에 대한 판단일 것이다. 일관되지 않은 척도를 분석적으로 측정하는 것이 이러한 결정에 도움이 될 수 있지만, 궁극적으로 이는 수치적인 결정이 아닌 개념적 결정이다. 비일관성inconsistency가 높다면 결과를 해석 할 수 없게 된다. 불일치성이 높은 경우, 연구자는 연구가 실제로 공통적 인 문제를 다루고 있는지를 성찰해보아야 하며, 이 변이의 원인을 이해하기 위한 추가 분석을 수행할 수도 있고, 메타 분석 대신 대안적 synthesis 방법 (예 : critical review)의 사용을 고려해 볼 수도 있다.
Meta-analysis is a powerful technique for determining the best estimate of effect across a series of studies linked by a common question, conceptual framework, or theory, and for highlighting and exploring the inconsistencies (heterogeneity) among these studies. Perhaps, the most challenging aspect of conducting a meta-analysis in medical education is determining whether the original studies address a common question or framework. Analytic measures of inconsistency can help with this determination, but ultimately this is a conceptual – not a numeric – decision. High inconsistency does not by itself render the results uninterpretable. However, in the setting of high inconsistency, investigators should reflect on whether the studies are indeed addressing a common question, conduct further analyses to understand the sources of this variation, and consider using alternate synthesis methods (e.g., critical review) in addition to or instead of meta-analysis.
신화 3 : 좋은 시스템 검토를 위해서는 메타 분석이 필요합니다.
진실 : 메타 분석은 증거 합성을 위한 많은 접근 방식 중 하나 일뿐입니다
Myth 3: Meta-analysis is required for a good system- atic review
Fact: Meta-analysis is only one of the many accepted approaches to evidence synthesis
Meta-analysis, narrative review, critical review, and realist review(Pawson et al. 2005)는 모두 체계적인 검토systematic review에서 증거 합성의 수용 가능한 방법이다. 메타 분석은 효과를 가장 잘 예측할 수는 있지만 연구 설계에 결함이 있거나, 성과 평가 방식이 다양하거나, 보고가 부실하거나, 또는 공통적인 개념 틀을 공유하는 연구가 너무 적은 경우에는 non-quantitative한 합성을 추구 할 수밖에 없다.
Meta-analysis, narrative review, critical review, and realist review (Pawson et al. 2005) are all acceptable methods of evidence synthesis in a systematic review. Meta-analysis provides a best estimate of effect, but it cannot overcome problems among the original research studies such as flawed study designs (see Colliver et al. (2008) for a detailed in discussion), wide variation outcome assessment, poor reporting (inadequate description of the intervention or results; see Cook et al. (2011b)), or too few studies sharing a common conceptual framework. If these deficiencies are severe, the reviewer may have no choice but to pursue a non-quantitative synthesis.
메타 분석은 또한 집중된 질문에 대해 알려진 것을 요약하는 데 중점을 둡니다. Evidence gap을 규명하고, 서로 다른 발견을 탐구하고 해석하며, 새로운 개념적 틀을 개발하는 것에는 적합하지 않다. 이러한 목표를 위해서는 전형적으로 비정량적 합성이 필요합니다 (Cook 2008).
Meta-analysis also focuses on summarizing what is known about a focused question. It is less well-equipped to identify evidence gaps, explore and interpret disparate findings, or develop new conceptual frameworks. For these objectives, a non-quantitative synthesis is typically required (Cook 2008).
신화 4 : 이제 더 많은 메타 분석이 필요합니다.
진실 : 의학 교육에서 메타 분석의 미래는 밝다. 앞으로도 상당 부분은 여전히 중요하다.
Myth 4: We need lots more meta-analysis now
Fact: The future of meta-analysis in medical educa- tion is bright – but largely still in the future
메타 분석은 현재 의학 교육 연구에서 제한된 역할을합니다. 대부분의 연구 질문에 대해 공통의 개념적 고리를 공유하는 연구의 수는 의미있는 메타 분석을 허용하기에 너무 적기 때문이다. 우리는 공통적 인 개념 프레임 워크, 운영상 정의 된 중재 (독자가 기본 키 기능과 메커니즘을 식별 할 수 있도록 허용), 엄격하고 적절하게 조정 된 결과를 필요로합니다. 그러나 의료 교육에서 증거의 양과 질이 계속해서 확대됨에 따라 메타 분석은 이러한 증거를 종합하는 데 점점 더 큰 역할을 할 것으로 믿습니다.
Meta-analysis currently plays a limited role in medical education research. This will likely continue for the near future because for most research questions the number of studies sharing a common conceptual link is too few to permit meaningful meta-analysis. We need common (and clearly stated) conceptual frameworks, operationally defined inter- ventions (that permit readers to discern the underlying key functions and mechanisms), and rigorous and appropriately aligned outcomes. However, as the volume and quality of evidence in medical education continues to expand, I believe meta-analysis will play an increasingly greater role in synthe- sizing this evidence.
Conclusion
Cook DA. 2008. Narrowing the focus and broadening horizons: Complementary roles for nonsystematic and systematic reviews. Adv Health Sci Educ 13:391–395.
Cook DA. 2009. Avoiding confounded comparisons in education research. Med Educ 43:102–104.
Cook DA, Beckman TJ. 2008. Reflections on experimental research in medical education. Adv Health Sci Educ Theory Pract 15(3):455–464.
Cook DA, Levinson AJ, Garside S. 2011b. Method and reporting quality in health professions education research: A systematic review. Med Educ 45:227–238.
Cook DA, Levinson AJ, Garside S, Dupras DM, Erwin PJ, Montori VM. 2010b. Instructional design variations in internet-based learning for health professions education: A systematic review and meta-analysis. Acad Med 85:909–922.
Gruppen LD. 2008. Is medical education research ‘hard’ or ‘soft’ research? Adv Health Sci Educ Theory Pract 13:1–2.
Bordage G. 2007. Moving the field forward: Going beyond quantitative- qualitative. Acad Med 82(Suppl. 10):S126–S128.
Bordage G. 2009. Conceptual frameworks to illuminate and magnify. Med Educ 43:312–319.
Thistlethwaite, Hammick, Davies, Greenhalgh, Dornan, Calese S. 2012.What is evidence? Reflections on the AMEE symposium, Vienna, August2011. Med Teach 34(6).
Wong G, Greenhalgh T, Westhorp G, Pawson R. 2012. Realist methods inmedical education research: What are they and what can they contribute? Med Educ 46:89–96.
Med Teach. 2012;34(6):468-73. doi: 10.3109/0142159X.2012.671978. Epub 2012 Apr 10.
Randomized controlled trials and meta-analysis in medical education: what role do they play?
Author information
- 1
- Office of Education Research, Division of General Internal Medicine, Mayo Clinic College of Medicine, Mayo 17, 200 First Street SW, Rochester, MN 55905, USA. cook.david33@mayo.edu
Abstract
- PMID:
- 22489980
- DOI:
- 10.3109/0142159X.2012.671978
- [Indexed for MEDLINE]
'Articles (Medical Education) > 의학교육연구(Research)' 카테고리의 다른 글
| 절대표준에서 벗어나자: 무작위대조군시험과 교육연구 (J Grad Med Educ. 2011) (0) | 2017.07.20 |
|---|---|
| 의학교육연구에서 역설적 긴장의 가치 (Med Educ, 2010) (0) | 2017.07.20 |
| 길 잃은 중개연구: 왜 의학교육연구가 실제세계의 복잡성을 받아들여야 하는가 (Med Educ, 2014) (0) | 2017.07.20 |
| 논문의 제목에 무슨 단어가 주로 사용되는가? 길이, 구두법, 워드클라우드 (Med Educ, 2016) (0) | 2017.07.20 |
| 오컴의 면도날 무디게 하기: 의학교육연구와 복잡성 (J Eval Clin Pract. 2010) (0) | 2017.07.20 |