의학교육연구의 평판: 준실험연구와 타당도 위협(Teach Learn Med, 2008)

의학교육연구의 평판: 준실험연구와 타당도 위협(Teach Learn Med, 2008)

The Reputation of Medical Education Research: Quasi-Experimentation and Unresolved Threats to Validity

Jerry A. Colliver

Statistics and Research Consulting, Southern Illinois University School of Medicine, Springfield, Illinois, USA

William C. McGaghie

Office of Medical Education and Faculty Development, Northwestern University Medical School, Chicago, Illinois, USA

(연구의 근거는) 학습자에 대한 단기 교육 효과와 환자를 위한 의료 혜택 측면에서 교육 및 학습 관행의 장기 효능을 보여 주어야합니다 .1,2 의학 교육과 임상 의료는 별개의 것이 아닙니다. 목표, 프로세스 및 결과를 통해 연결됩니다.

The evidence must show the short-run educational effectiveness for learners and, downstream, the long-run efficacy of teaching and learning practices in terms of health care benefits for patients.1,2 Medical education and clinical medical care are not separate; they are linked via their goals, processes, and outcomes.

그러나 의학 교육 연구의 질은 종종 비판을 받는다. 이러한 비판은 의학 교육 연구의 유용성에 대한 자신감을 떨어 뜨리고, 최상의 의학 교육 사례의 형성을 지연 시키며, 의학 교육 연구 결과를 임상적으로 번역하는 것을 좌절시킨다. 여기에는 저널 편집자들의 책임이 있다.

• 스티븐 J. 루리 (Stephen J. Lurie) 미국 의학 협회 저널에 기고 한 글은 "양질의 연구가 필요하다는 것에 대한 광범위한 공감에도 불구하고, 가능한 최상의 프로그램을 설계하는 방법에 대해 교육자를 안내하는 증거는 거의 없다. 그들을 향상 시키십시오. "7

• 최근 BMJ의 한 기사에 실린 "의학 교육 연구는 빈약 한 관계를 유지한다"는 의학교육연구가 정체되어 있고 "방법 론적 정밀성이 부족하다"고 주장했다.

• Adv Health Sci Educ의 편집자인 제프리 노먼 (Geoffrey Norman)은 의학 교육 연구가 "어느 곳도 여기보다 더 나쁜 곳은 없다"는 말로 의학 교육 연구자들을 저주했다.

However, the quality −12 of research in medical education is frequently criticized.3 Such criticism reduces confidence in the utility of medical education research, retards formation of a body of best evidence medical education practices, and frustrates translation of medical education research outcomes into clinical practice. Journal editors lead the charge. 

• Writing in Journal of the American Medical Association, associate editor Stephen J. Lurie asserts, “Despite a broad consensus on the need for high- quality studies, little evidence exists to guide educators on how to design the best possible programs, or how to evaluate and improve them.”7 

• A recent British Medical Journal article titled “Medical Education Research Remains the Poor Relation” [of medical research] argued that “research into medical education is stagnating” and “lacks methodological rigour.”10 

• Advances in Health Sciences Education editor Geoffrey Norman damned medical education investigators with faint praise with the statement that research in medical education “may not be worse than anywhere else.”11

준-실험

QUASI-EXPERIMENTATION

의학 교육에서의 대부분의 연구는 무작위 화 및 제어가 부족한 준 실험적 설계를 사용합니다. 그리고 이것은 연구 결과 해석에 대한 불확실성을 초래합니다.

Most research in medical education uses quasi-experimental designs that lack randomization and control, which −15 leads to uncertainty about interpreting research outcomes.13

준 실험의 창립자 인 도널드 캠벨 (Donald Campbell)은 의학 교육과 같은 응용 분야에서 사용하기 위해 통제 된 무작위 실험 -15에 대한 실용적인 대안으로 준-실험 설계를 도입 및 개발했습니다 .13 대부분의 의학 교육 연구는 실제적이고 윤리적인 제약 때문에 무작위화 및 통제가 어렵기 때문입니다. 개입, 결과 및 비교는 또한 사전 계획 및 통제(군) 없이 "natural field experiments"으로 발생할 수있다 .15 그러한 연구는 예상치 못한 중요한 연구 상황을 이용하기 위해 기회주의적인 데이터 수집 및 분석을 필요로한다.

Donald Campbell, the founder of quasi-experimentation and our mentor, introduced and developed quasi-experimental designs as a practical alternative to controlled randomized experiments −15 for use in applied field settings like medical education.13 Most medical education research could not be conducted with- out quasi-experimentation, because randomization and control are difficult to achieve because of practical and ethical constraints in field settings. Interventions, outcomes, and comparisons may also occur as “natural field experiments” without preplanning and control.15 Such studies require opportunistic data collection and analysis to take advantage of unanticipated, yet important, research situations.16

타당성에 대한 위협

THREATS TO VALIDITY

그러나 준 실험적 설계에는 무작위화와 통제군이 없어서 지불해야 할 대가가 있습니다. 준 실험적 연구는 의도 된 연구 결론의 타당성을 위협하는 편견과 혼란에 노출되어있다. Shadish 등은 주장했다.

But there is a price to pay for the lack of randomization and control with quasi-experimental designs. Quasi-experimental studies are subject to biases and confounds that represent threats to the validity of intended research conclusions. Shadish et al.15 asserted,

준 실험에서, 연구자는 대안적 설명을 하나씩 열거하고, 그 중 어느 것이 그럴듯한지 결정한 다음, 논리, 디자인 및 측정을 사용하여 각 관찰 효과를 설명 할 수있는 방식으로 작동하는지 평가해야합니다. 어려운 점은 이러한 대체 설명이 완전히 열거 될 수없고, 그 중 일부는 연구 맥락과 관련이 있으며, 논쟁을 회피하기 위해 필요한 방법은 연구마다, 대안마다 다르다는 점이다. (14 쪽)

In quasi-experiments, the researcher has to enumerate alternative explanations one by one, decide which are plausible, and then use logic, design, and measurement to assess whether each one is operating in a way that might explain any observed effect. The difficulties are that these alternative explanations are never completely enumerable in advance, that some of them are particular to the context being studied, and that the methods needed to eliminate them from contention will vary from alternative to alternative and from study to study. (p. 14)

연구원, 검토 자 및 편집자는 준 실험이 단순히 디자인의 분류법이라는 것을 인식해야합니다. 준 실험은 theory of generic confounds로서, 연구의 타당성에 잠재적인 위협을 제기하는 각각의 설계와 관련되어 있다.13 준 실험의 주요 기여는 이러한 결함을 조명하는 것이며, 주어진 연구의 맥락에서 결과를 평가할 때 이것을 고려할 것을 경고하는 것이다. 이것이 준 실험에서 무작위화와 통제군의 부족을 극복하려고 시도하는 방법입니다.

Researchers, reviewers, and editors must recognize that quasi-experimentation is more than just a taxonomy of designs. Quasi-experimentation is also a theory of generic confounds associated with each design that pose −15potential threats to the validity of the research conclusion.13 We believe the major contribution of quasi-experimentation is illumination of these flaws with an admonition to assess their consequences in the context of a given study. This is how quasi-experimentation tries to overcome the lack of randomization and control.

결과와 관련된 위협은 보고서의 중심적인 위치에 자리잡아야 하며, 특히 결과와 결론 부분에 타당도 위협에 대해서 명백하고 가능성 있는 설명을 제시해야합니다.

the associated threats must occupy a central place in the study and its report, especially those that pose an obvious, plausible threat to valid research results and conclusions.

근거는 연구 맥락이나 참고문헌을 통해 제시되어야 하며, 교란변수가 관찰된 효과를 설명하는 것이 아님을 보여야 한다.

Evidence must be presented in the study context or by reference to other research that shows the confound does not account for an observed effect.

연구자, 검토 자 및 편집자는 준 실험적 연구의 맥락에서 어떤 일반적인 위협을 배제해야하는지 결정한 다음, 그 위협이 어느 정도까지 배제될 것인지 결정해야 한다. 이 모든 것이 연구 보고서에 명시적으로 기술되어야합니다. 성찰적인 의사 결정은 준-실험의 중요한 부분입니다. 이것이 결여될 경우 연구 도구의 집합으로서의 준 실험의 일반적인 신뢰성이 감소할 뿐만 아니라, 준 실험에 크게 의존하는 의학 교육과 같은 연구 분야의 확실한 신뢰성도 저하된다. 

researchers, reviewers, and editors should decide which generic threats must be ruled out in the context of a quasi-experimental study and then determine whether they have been and to what extent. All of this must be stated explicitly in the research report. Reflective decision making is a critical part of quasi-experimentation. Its absence reduces the general credibility of quasi-experimentation as a set of research tools and the specific credibility of research fields like medical education that rely heavily on quasi-experimentation. 

정말 어려운 것은 이것이다. 위협을 배제 할 수없는 경우, 연구자은 연구 결과가 confound로 인한 것이거나, 연구 결과가 개입의 효과를 입증하지 못하거나, 어떤 결론도 내려질 수 없다고 마무리지어야 한다. 이러한 관점이 초록, 결과, 고찰 부분에서 다뤄져야 하며, 심지어는 제목에서도 다뤄져야 할 수 있다.

Here’s the really hard part:If a threat cannot be ruled out, the researcher must capitulate and conclude that a research effect may be due to a confound,that research findings do not establish the effect of an intervention, or—even harder—that nothing can be concluded. This position should be reflected in a report’s abstract, Results section, and Discussion section, and maybe even the report title.

결론

CONCLUSION

준-실험을 불완전하고 무비판적으로 적용한다면 의학 교육 연구의 질에 대한 반복적인 비판이 있을 것이다. 문제는 준 실험의 불가피한 부분인 방법론적 결함이 아니라, 연구자, 리뷰어, 편집자가 연구 결함을 직접 해결하지 못하거나, 결론을 도출 할 때 그 영향을 고려하지 못하는 것입니다.

Incomplete and uncritical application of quasi- experimentation, in our opinion, is a major source of the repeated criticisms about the quality of research in medical education. The problem is not just methodological flaws, which are an inevitable part of quasi-experimentation, but the failure of researchers, reviewers, and editors to directly address research defects and consider their impact when drawing research conclusions.

무작위 통제 시험은 대부분의 의학 교육 연구에서 수행가능한 범위를 넘어서기 쉽다. 오히려 우리는 타당성 위협을 심각하게 받아들이고, 연구 결과와 결론에 미치는 영향을 비판적으로 평가함으로써 준-실험을 사용하는 방식을 개선해야 한다.

Randomized controlled trials may be beyond the reach of most medical education research. Rather we must improve the way we use quasi-experimentation by taking threats to validity seriously and critically evaluating their impact on research results and conclusions.

---

Teach Learn Med. 2008 Apr-Jun;20(2):101-3. doi: 10.1080/10401330801989497.

The reputation of medical education research: quasi-experimentation and unresolved threats to validity.

Colliver JA, McGaghie WC.

Abstract

BACKGROUND:

Medical education research is often criticized for its methodological flaws. This raises questions about the prospect of evidence-based medical education practice. Critics call for more rigorous research with randomization, greater control, and tight execution. But randomization and control are rarely achieved in applied field settings, the site of most medical education research. Consequently, research in medical education has relied on quasi-experimentation, which by definition is compromised methodologically.

SUMMARY:

So is medical education research doomed to a reputation for flawed research that undermines the promise of evidence-based practice? We think not. We argue in this article that the problem is due to incomplete and uncritical use of quasi-experimentation. This practice ignores a critical step in the quasi-experimental process, a step that follows the design and execution of the research, that is, ruling out threats to validity posed by methodological flaws.

CONCLUSION:

Validity threats must be evaluated critically when drawing research conclusions, to establish a credible evidence base for medical education practice.

PMID:

 

18444194

 

DOI:

 

10.1080/10401330801989497

[Indexed for MEDLINE]