의학교육에서 실험연구에 대한 성찰(Adv in Health Sci Educ, 2010)

의학교육에서 실험연구에 대한 성찰(Adv in Health Sci Educ, 2010)

Reflections on experimental research in medical education

David A. Cook Æ Thomas J. Beckman

도입

Introduction

의학 교육 연구는 활력과 추진력을 얻고 있습니다.

Research in medical education is gaining vitality and momentum.

일부 연구자는 교육 연구를 엄격한 연구 방법을 필요로하지 않는 soft 과학으로 간주하는 반면, 다른 연구자는 adaptation없이 임상 연구 방법을 적용하여 엄격한 교육 연구를 수행하려고합니다 .1 우리는 의학 교육 연구가 엄격해야한다는 데 동의합니다.

It seems that some authors view education research as a soft science that does not require rigorous research methods, while others seek to conduct rigorous education research by applying clinical research methods without adaptation.1 We agree that medical education research should be rigorous.

Campbell과 Stanley (1963)는 실험적 연구 설계의 고전적인 분류법에서 실험을 "변수를 조작하여, 그것이 다른 변수에 미치는 영향을 관찰하는 연구"라고 정의했다. 비-무작위화 연구는 종종 '준-실험'이라고 불리며, 우리는 무작위 화 되었거나, 무작위 화되지 않았거나, 그리고 통제되지 않은 설계를 모두 포함하는 용어로 '실험'이라는 용어를 사용할 것이다.

Campbell and Stanley (1963), in their classic taxonomy of experimental study designs, defined an experiment as, ‘‘research in which variables are manipulated and their effects upon other variables observed.’’ Although nonrandomized studies are often referred to as ‘‘quasi-experimental,’’ we will use the term‘‘experiment’’ to refer to all randomized, nonrandomized, and uncontrolled designs in which variables are manipulated and observations made.

우리는 교육 실험을 설계하고보고 할 때 발생하는 6 가지의 오해와 오류를 지적 할 것입니다 : 무작위 화에 대한 과도한 자신감; 예비 테스트에 대한 의존도; 다 중 개입 비교, 다 요인 개입 및 단일 그룹 예비 검사 - 사후 테스트 연구의 광범위한 사용; 그리고 개입을 명시 적으로 정의하지 않았다.

We will address six common misconceptions and errors in designing and reporting education experiments: undue confidence in randomization; over reliance on the pretest; widespread use of no-intervention comparisons, multifactorial interventions, and single- group pretest–posttest studies; and failure to explicitly define the interventions.

(1) 무작위 화는 만병 통치약이 아닙니다.

(1) Randomization is not a panacea

무작위 추출의 목적은 연구 그룹 간의 알려졌거나 알려지지 않은 차이점들을 통제하는 것입니다. 그러나 참가자 특성의 차이는 연구 조사의 내부 타당도에 대한 위협 중 하나일 뿐이다. 캠벨 (Campbell)과 스탠리 (Stanley, 1963)는 다음의 타당도 위협 요인을 지적했다. 

• 역사 (연구와 무관 한 동시적이고 계획되지 않은 사건), 

• 성숙 (시간이 지남에 따라 참가자의 변화), 

• 시험 (연구 결과에 대한 사전 테스트의 효과), 

• 도구 (채점 시스템, 평가자 피로 등)

• 평균으로의 회귀 (Bland and Altman 1994), 

• 선택 (모집 및 / 또는 각기 다른 그룹으로의 개인 배정),

• 사망률 (후속 조치에 따른 손실) ( 1 번 테이블).

The purpose of randomization is to control for differences, both known and unknown, between study groups. However, differences in participant characteristics constitute only one threat to the internal validity of a research study. Campbell and Stanley (1963) list additional threats, including 

• history (simultaneous, unplanned events unrelated to the study), 

• maturation (changes in participants over time), 

• testing (the effect of taking a pretest on study outcomes), 

• instrumentation (changes in scoring system, calibration, or rater fatigue), 

• regression to the mean (Bland and Altman 1994), 

• selection (bias in the recruit- ment and/or assignment of individuals to different groups), and 

• mortality (loss to follow-up) (see Table 1).

다른 저자는 이런 것들도 언급했다.

• 위치의 차이 (환경 또는 이용 가능한 자원의 차이를 암시 함), 

• 참가자 태도 / 동기 부여 (예 : Hawthorne 효과), 

• 구현 (교수의 전문 지식이나 선입견의 변화 및 교육의 '양')

• 교과 과정 밖에서 배우기 (종종 개입 그룹들 사이에 불평등하게 분배 됨)

Other authors have added to this list additional factors such as 

• differences in location (implying differences in the environment or available resources), 

• participant attitude/motivation (for example, the Hawthorne effect), 

• implementation (variation in expertise or preconceptions of the instructors and in the ‘‘quantity’’ of instruction), and 

• learning outside the curriculum (which is often inequitably distributed among intervention groups) (Beckman and Cook 2004; Fraenkel and Wallen 2003; Norman 2003).

비교 그룹은 이러한 위협의 상당 부분을 완화하는 데 도움이 될 수 있지만, 무작위화는 선택 및 성숙도로 인한 위협만을 제어할 수 있다.

A comparison group can help mitigate many of these threats, but randomization is only required to control threats from selection and maturation.

무작위 배정만으로 연구의 타당성을 보장하지 않습니다.

• 쿡과 캠벨 (Cook and Campbell, 1979)은 고전적인 텍스트에서 "무작위 할당이 고품질 연구의 일반적인 촉진자가 될 수 없다"고 지적했다.

• 이어서 Cronbach는이 성명서를 승인하고 "무작위화는 관련성을 희생시키면서 달성된다"고 덧붙였다. (Cronbach, 1982)

• 최근 Norman (2003)은 많은 교육 연구에서 모호성과 치료에서의 이질성 (구현 위협)에 의한 분산이 참가자 들간의 차이 (즉, 무작위 화에 의해 다루어지는 위협)로 인해 발생하는 편차보다 크다고 주장했다.

mere presence of randomization does not guarantee a study’s validity. 

• Cook and Campbell (1979), in their classic text, noted, ‘‘The case for random assignment cannot be made on the grounds that it is a general facilitator of high-quality research.’’ 

• Cronbach subsequently endorsed this statement and added, ‘‘Randomization may be achieved at the expense of relevance.’’ (Cronbach 1982) 

• More recently, Norman (2003) argued that in much education research the variance introduced by ambiguity and heterogeneity in treatments (imple- mentation threat) outweighs the variance arising from differences among participants (i.e. the threats addressed by randomization).

무작위 추출은 가장 강력한 연구 설계에 필요하며 가능할 때마다 수행해야합니다. 그러나 잘 설계된 비-무작위화 연구에서도 타당한 추론을 이끌어낼 수 있습니다. 사실, 교육 (Wilson and Lipsey 2001)과 임상 의학 (Benson and Hartz 2000, Concato et al 2000)에서의 연구에 대한 검토는 비-무작위 연구 디자인에서 기인하는 bias 가능성은 작은 편임을 보여준다.

On the contrary: randomization is required for the strongest study design, and should be performed whenever feasible. Yet valid inferences can certainly be derived from well-designed non- randomized studies. In fact, reviews of research in both education (Wilson and Lipsey 2001) and clinical medicine (Benson and Hartz 2000; Concato et al. 2000) suggest that bias from non-randomized study designs is likely small.

핵심 위협을 신중하게 통제하는 비-무작위 연구는 잠재적인 sources of invalidity를 적절히 다루지 못하는 무작위 연구보다 재현 가능성이 높은 추론을 이끌어낼 가능성이 높다.

A non-randomized study that carefully controls for key threats is likely to support more reproducible inferences than a randomized study that fails to adequately attend to potential sources of invalidity.

(2) 사전시험이 연구설계를 약화시킨다

(2) Pretests often weaken the study design

많은 교육자들이 사전 테스트 - 사후 테스트 무작위 디자인을 실시합니다. 참가자는 둘 이상의 조건에 무작위로 할당되고, 사전 테스트를 거치며, 어떤 유형의 개입을 거친 후, 사후 테스트를 받는 과정을 gold standard로 여겨왔다. 우리는 이 신화를 없애기를 희망하며, 무작위화 된 시험 후 설계randomized posttest-only design에만 더 많은주의를 기울일 것을 제안합니다. 1963 년 Campbell and Stanley (1963)는 

Many educators hold the pretest–posttest, randomized design—in which participants are randomized to two or more conditions, take a pretest, undergo an intervention of some type, and then take a posttest—as the gold standard in education research. We wish to dispel this myth, and suggest that greater attention be given to the randomized posttest- only design. In 1963, Campbell and Stanley (1963) wrote, 

"사전 시험은 교육 및 심리학 연구자의 사고에 깊숙이 박혀있는 개념이지만, 실제로 실험 디자인에는 필수적이지는 않다 ... [무작위 사후 시험 설계] 과제에서 진정한 무작위성에 관해서 의문이 없으면 보통 [무작위 사전 시험 - 사후 설계]보다 선호된다. ‘

‘While the pretest is a concept deeply embedded in the thinking of research workers in education and psychology, it is not actually essential to true experimental designs… [The randomized posttest-only design] is usually to be preferred to [the randomized pretest–posttest design] unless there is some question as to the genuine randomness of the assignment. [It] is greatly underused in educational and psychological research.’’ 

최근 Fraenkel and Wallen (2003)은 "각 그룹에는 적어도 40 명이 참여한다면, [무작위로 추출한 posttest-only 디자인]은 아마도 실험적 연구에서 사용하기에 가장 좋은 디자인 일 것입니다"

More recently, Fraenkel and Wallen (2003) state, ‘‘[The randomized posttest-only design] is perhaps the best of all designs to use in an experimental study, provided there are at least 40 participants in each group.’’

왜 그러한가? 적절한 무작위화가 이루어진다면, 연구 그룹 간 지식(+기본 지식 및 기술 포함)이 동일해지는 것이다. 따라서, 예비 검사는 무작위 그룹이베이스 라인에서 동등한 지 확인하는 데 필요하지 않다. 또한 사전 테스트를 사용하면 몇 가지 단점이 생깁니다 (표 2 참조).

Why is this so? Recall that proper randomization should equalize participant differ- ences—including baseline knowledge and skills—among the study groups. Thus, the pretest is not necessary to ensure that randomized groups are equivalent at baseline (except for chance). Furthermore, using a pretest creates several disadvantages (see Table 2).

게다가, 일반적인 오해와는 달리, 사전 시험으로 연구 참여자들 간의 baseline 차이를 적절하게 교정 할 수 없으며 (Cronbach and Furby 1970), 사전 시험이 민감도 또는 통계력을 증가 시킨다는 관념이 사실도 아니다 (Norman and Streiner 2007). 사후 테스트에서 사전 테스트를 빼면 안정적인 개인차가 제거되지만, 그 대신 사전 테스트 및 사후 테스트에서 측정 오류가 두 번 생기는 것이다.

Furthermore, contrary to common misconceptions, pretests cannot adequately correct for baseline differences between study participants (Cronbach and Furby 1970), and the notion that a pretest increases sensitivity or statistical power is not necessarily true (Norman and Streiner 2007). While subtracting pretest from posttest does remove stable individual differences, it does so at the cost of introducing measurement error twice—from pretest and posttest

이것은 예비 테스트가 반드시 나쁜 것이라는 것을 의미하지 않습니다. Cronbach (1982)는 

"예비 테스트가 프로그램의 자연스러운 부분인 경우, 분명히 예비 테스트에 사후 테스트를 더하여 조사하는 것이 적합합니다. 문제는 단순히 평가를 위해 추가 된 예비 테스트이다. "

This does not mean that pretests are necessarily bad. Cronbach (1982) suggested, 

‘‘To investigate pretest-plus-instruction is obviously suitable when the pretest is a natural part of the operating program. Pretests added for the sake of the evaluation are the suspect ones.’’

사전 테스트는 특정 상황에서 유용합니다 .3 

• 무작위 화가 가능하지 않은 경우 사전 테스트는 그룹의 유사성을 판단하는 데 도움이 될 수 있지만 다른 변수에서 발견 된 차이를 수정하지는 않습니다. 

• 무작위 시험에서 예비 시험은 

• 표본 크기가 작을 때 유용 할 수 있습니다. (작은 표본의 경우 무작위 그룹이 우연으로 다르기 때문에 통계적 힘을 증가시킵니다.) 

• 높은 중퇴율 (남아있는 사람들과의 탈락을 비교), 또는 

• 연구 집단과 유사하지 않은 학습자에게 결과를 일반화하려는 경우.

Pretests are useful under certain circumstances.3 

• When randomization is not possible, pretests can help to judge the similarity of groups (but not to correct for differences found in other variables). 

• In randomized trials, pretests may be useful 

• when sample size is small (because randomized groups are likely to be rather different [due to chance] for small samples, and also to increase statistical power [caveats above in mind]), 

• when researchers anticipate a high dropout rate (to compare dropouts to those who remain), or 

• when trying to generalize results to learners who may not be similar to the study population. 

 이러한 상황을 제외하고 연구자는 교육에서 무작위, 대조 시험에서 사전 검사를 피하는 것이 낫다.4.

Except in these situations, researchers may wish to avoid pretests in randomized, controlled trials in education.4

(3) 무-개입, 위약-통제 연구의 실용성은 제한적이다

(3) No-intervention and placebo-controlled studies have limited application

무-개입 통제군과의 비교는 교육 실천에 대한 정보는 거의 제공하지 않습니다.

while comparison with a no-intervention control demonstrates proof of concept of a novel educational intervention, it does little to inform educational practice.

무-개입-통제군을 사용한 교육 실험은 학습이 발생할 수 있다는 것만을 보여줄 뿐이다. 그러나 학습자가 학습에 시간을 할애하면 어떻게든 학습이 이루어진다는 것을 이미 알고 있습니다 (그림 1 참조). 따라서 최신 워크샵의 주제에 대한 이점을 확인하는 것은 개입이 왜 효과가 있었는지, 현재의 실천에 어떻게 통합되는지, 기존 개입과 비교하는 방법, 또는 어떻게 개선 될 수 있는지에 대해 알려주지 않으므로 흥분되는 일이 거의 없습니다. 간단히 말해서, 그러한 '정당화'연구 (Cook et al. 2008)는 가르치는 방법에 대한 우리의 이해를 발전시키지 못한다.

A no-intervention-controlled educational experiment showing significant effect tells us only that learning can occur. However, we already know that if learners spend time learning they will learn (see Fig. 1). So confirming a benefit from the latest workshop on the topic du jour is rarely exciting because it tells us nothing of why the intervention worked, how it integrates into current practice, how it compares with existing interven- tions, or how it can be improved for the next go-round. In short, such ‘‘justification’’ studies (Cook et al. 2008) do not advance our understanding of how to teach.

의미있는 정보를 제공하기 위해서는 주의깊게 설계된 적극적인 개입들의 일대일 비교가 필요합니다. 두 개입 사이의 차이점에 초점을 맞추고, 명시적으로 정의하고, 복제 할 수 있어야합니다.

To meaningfully informpractice, head-to-head comparisons of carefully designed active interventions will be necessary. The differences between the two interventions will need to be focused, explicitly defined, and replicable.

이 규칙에는 예외가있을 수 있습니다. 예를 들어, CME에서 많은 개입은 의사의 행동과 환자의 결과에 예상되는 효과를 보여주지 못했습니다. 이러한 연구는 약한 교육 설계가 효과가 없음을 보여주며, 강력한 개입의 발전이 필요함을 주장한다. 그러나 우리는 의사 행동 (및 다른 "상위 주문"결과 (Kirkpatrick 1996))을 효과적으로 바꾸는 방법에 대한 우리의 이해는, 신중하게 선택된carefully-selected 능동적 개입의 비교를 통해 더 나아질 것이라고 주장한다.

There may be exceptions to this rule. For example, many interventions in continuing medical education have failed to demonstrate expected effects on physician behavior and patient outcomes. Such studies have highlighted the ineffectiveness of weak instructional designs and encouraged the development of stronger interventions. However, we maintain that our understanding of how to effectively change physician behavior (and other ‘‘higher- order’’ outcomes (Kirkpatrick 1996)) will be better advanced through comparisons of carefully-selected active interventions.

(4) 다요인 개입에는 교란변수가 너무 많다

(4) Multifactorial interventions are hopelessly confounded

복잡한 개입이 상당한 이익을 보일 때, 구체적인 결과 (예 : 지식이나 행동)를 수정할 수 있지만, 개입의 어떤 구성 요소 (예 : 교육 방법과 경험)가 이 변화를 결정했는지에 대해 거의 알려주지 않습니다 (그림 2 참조) . 이 때, 다원적 개입은 정확하게 복제 될 수 없기 때문에 일반화 가능성이 제한적이다 (Norman 2003). 그리고 개입의 일부만을 수행하는 것이 효과적 일 수도 있고 아닐 수도 있다.

When complex interven- tions show significant benefit, they demonstrate that a specific outcome (e.g. knowledge or behavior) can be modified but tell us little about which components of the intervention (e.g. instructional methods and experiences) determined this change (see Fig. 2). Such investigations have only limited generalizability (Norman 2003) because the multifactorial intervention cannot be replicated precisely, and implementing only a portion of the intervention may or may not be effective.

노먼 (Norman)은 의학 교육 연구가 "결과에 기여하는 다양한 요인들이 인과 관계 이론에 기초하여 체계적으로 다양 할 때"의미있는 결과를 제공 할 것이라고 제안했다. (Norman 2003)

Norman suggests that medical education research will provide meaningful results when the ‘‘various factors that contribute to a result are systematically varied … based on a theory of causation.’’ (Norman 2003)

(5) 단일 그룹 사전-사후 검사는 타당도 위협이 많다

(5) Single-group pretest–posttest designs suffer from many validity threats

단일 그룹 사전 테스트 - 사후 테스트 연구는 참가자 자신이 통제집단으로 작동하는 실험입니다 (Campbell and Stanley, 1963). 그러한 연구는 의학 교육에 흔하다 (Baernstein et al., 2007; Cook et al., 2007). 그러나 동시 제어 그룹이 없으면이 설계는 내역, 성숙도, 테스트, 계측, 회귀, 위치 및 태도를 비롯한 다양한 유효성 위협에 취약합니다.

Single-group pretest–posttest studies are experiments in which participants act as their own control (Campbell and Stanley 1963). Such studies are ubiquitous in medical education (Baernstein et al. 2007; Cook et al. 2007). Yet without a concurrent control group, this design is susceptible to numerous validity threats including history, maturation, testing, instrumentation, regression, location, and attitude.

(6) 개입은 철저하게 기술되어야 한다.

(6) Interventions must be thoroughly described

교육 개입은 종종 부적절하게 묘사된다 (Cook et al., 2007; Price et al. 2005). 일반적으로 표준화 된 준비 또는 목록 화 된 프로토콜을 사용하는 약물 및 절차 적 중재에 대한 임상 시험과 달리 교육 연구는 다양한 방법으로 구현할 수있는 워크샵, 강의, 소그룹 세션 및 컴퓨터 기반 응용 프로그램을 포함합니다. 보고서에 각 주제에 대한 전체 커리큘럼이 포함될 것으로 기대하는 것은 바람직하지 않지만 저자는 다른 교육 기관의 누군가가 중재를 재현 할 수있는 근거가되는 주요 교육 방법과 이론 및 근거를 설명해야합니다 (Des Jarlais 외. 2004). 이 문제를 강조하면서 최근 연구 (Cook et al. 2007)는 8 %의 개입 설명이 불완전하게 기술되었음을 발견했다. '개입이 없었다'고 해도 학습자는 일반적으로 표준 커리큘럼이나 자기 주도 학습과 같은 일종의 대체 교육에 종사한다. 그러나 이 정보는 흔히 교육 실험 보고에서 생략되곤 한다. (Cook 외. 2007).

Educational interventions are often inadequately described (Cook et al. 2007; Price et al. 2005). In contrast to clinical trials on drugs and procedural interventions, which typically use standardized preparations or codified protocols, education research involves workshops, lectures, small group sessions, and computer-based applications that can each be implemented in various ways. While it would be unreasonable to expect a report to contain the entire curriculum for each topic addressed, authors must outline the key instructional methods and the theory and evidence upon which they are based in sufficient detail that someone at another institution could replicate the intervention (Des Jarlais et al. 2004). Highlighting this problem, a recent study (Cook et al. 2007) found that 8% of intervention descriptions were incompletely described. Even when ‘‘no intervention’’ is intended, learners typically engage in some kind of alternate education such as the standard cur- riculum or self-directed learning. Yet this information is frequently omitted in reports of education experiments—20% incomplete or absent in the study above (Cook et al. 2007).

Final thoughts

---

Adv Health Sci Educ Theory Pract. 2010 Aug;15(3):455-64. doi: 10.1007/s10459-008-9117-3. Epub 2008 Apr 22.

Reflections on experimental research in medical education.

Cook DA1, Beckman TJ.

Author information

1

Mayo Clinic College of Medicine, Rochester, Minnesota 55905, USA. cook.david33@mayo.edu

Abstract

As medical education research advances, it is important that education researchers employ rigorous methods for conducting and reporting their investigations. In this article we discuss several important yet oft neglected issues in designing experimental research in education. First, randomization controls for only a subset of possible confounders. Second, the posttest-only design is inherently stronger than the pretest-posttest design, provided the study is randomized and the sample is sufficiently large. Third, demonstrating the superiority of an educational intervention in comparison to no intervention does little to advance the art and science of education. Fourth, comparisons involving multifactorial interventions are hopelessly confounded, have limited application to new settings, and do little to advance our understanding of education. Fifth, single-group pretest-posttest studies are susceptible to numerous validity threats. Finally, educational interventions (including the comparison group) must be described in detail sufficient to allow replication.

PMID:

 

18427941

 

DOI:

 

10.1007/s10459-008-9117-3

[Indexed for MEDLINE]