가르치면 배울 것이다: 의학교육에 효과성 비교연구가 필요한 이유(Adv in Health Sci Educ, 2012))

가르치면 배울 것이다: 의학교육에 효과성 비교연구가 필요한 이유(Adv in Health Sci Educ, 2012))

If you teach them, they will learn: why medical education needs comparative effectiveness research

David A. Cook

의대생을 가르치면 배울 수 있습니까? 대답은 자명 한 것처럼 보일 수 있습니다. 그러나 교육 연구자들은 반복적으로이 질문을 던져야 한다고 생각하는 듯 하다. 놀랍게도 (또는 전혀 놀랍지 않게도) 반복해서 같은 결과를 얻는다.

If you teach a medical student, can they learn? The answer may seem self-evident. Yet education researchers seem compelled to repeatedly ask this question. And surprisingly (or not), they repeatedly come up with the same answer.

그림 1은 개입없이 여러 형태의 훈련을 비교 한 4 가지 별도의 메타 분석 (Cook et al. 2010a, 2008b, 2011a, McGaghie et al. 2011)에서 요약 한 750 가지 이상의 연구 결과를 보여줍니다.

Figure 1 shows the results of over 750 studies, summarized from 4 separate meta-analyses (Cook et al. 2010a, 2008b, 2011a, McGaghie et al. 2011), comparing various forms of training with no intervention. 

• For example, a meta-analysis of Internet-based education found 126 studies comparing training with no intervention (either a single-group pretest–posttest study, or a no-intervention comparison group; Cook et al. 2008b). Only 2 studies failed to favor the training group for outcomes of knowledge, and the average effect size was 1.0—which according to Cohen (1988) would be considered a large effect.Results were similarly large for outcomes of skills and behaviors. 

• Another meta-analysis found similar results for computer-based virtual patients (Cook et al. 2010a). 

• Most recently, two meta-analyses of simulation-based education confirmed similarly strong benefits, with effect sizes ranging 0.8–2.0 (Cook et al. 2011a; McGaghie et al. 2011).Moreover, these results held true across various learner subgroups (medical students,postgraduate physician trainees, physicians, nurses and nursing students, and others), study designs (there were over 150 randomized trials), and multiple other subgroup analyses.Only when actual impact on patients was considered was a lower effect size noted, and then it was still a moderately-large 0.50. 

출판 편향(출판되지 않은 상태로 남아있는 null 효과를 보여주는 작은 연구의 경향)을 조정 한 후에도, 이러한 메타 분석은 교육에 유리한 큰 효과를 나타냈다.

Even after adjusting for possible publication bias (the tendency of small studies showing null effects to remain unpublished), these meta- analyses showed large effects favoring instruction.

대답은 자명하다. 학생들은, 가르치면 배울 것이다.

The answer seems clear: if you teach students, they will learn.

그렇다면 왜 자꾸 이것을 확인하고 있는가?

Why do we keep asking if students can learn?

그렇다면 왜 교육자들은이 질문을 계속 제기합니까? 이 관행에 3 가지 이유가 있다고 생각한다. 

첫째, 할 수 있기 때문이다. 이 메타 분석에서 연구의 거의 3 분의 2는 학습자의 기준을 자신의 통제로 사용하는 단일 그룹 사전 테스트 - 사후 테스트 연구였습니다. 이러한 연구는 정상적인 교육 과정에서 수행하기가 비교적 쉽고 윤리적 위험을 최소화하며 사전 계획을 거의 필요로하지 않습니다. 대조군 연구 에서조차 하나의 그룹에서 중재를 보류하는 물류는 대체 능동 비교를 계획하고 조율하는 것보다 간단합니다. 교육 연구에 대한 자금 부족 (Reed et al. 2005)을 감안할 때, 교육자들이 개입없이 비교에 끌리는 것은 놀라운 일이 아니다.

Why, then, do educators persist in asking this question? I suspect three reasons contribute to this practice. First, they can. Nearly two-thirds of the studies in these meta-analyses were single-group pretest–posttest studies, using the learners’ baseline as their own control. Such studies are relatively easy to conduct in the course of normal instruction, pose minimal ethical risk, and require little advance planning. Even for studies with a control group, the logistics of withholding an intervention from one group are simpler than planning and orchestrating an alterative active comparison. Given the lack of funding for education research (Reed et al. 2005), it comes as no surprise that educators gravitate to comparisons with no intervention.

둘째, 이러한 연구는 중요해 보입니다. 비개입군과의 비교 연구는 좋은 생각처럼 보입니다. 우리는 새로운 코스 / 커리큘럼 / 도구가 효과가 있는지 여부를 알고 싶어한다, 그렇지 않은가? 사전 테스트 - 사후 테스트를 통해 비교 교육을받지 않은 그룹과의 비교 또는 더 나은 비교는 그러한 효과를 분명히 보여주고 지속적인 사용을 정당화합니다.

Second, it appears important. Studies making comparison with no intervention seem like a good idea—after, we want to know whether or not the new course/curriculum/tool ‘‘works,’’ right? A pretest–posttest comparison of change, or—better—comparison with a group that received no additional training, would clearly demonstrate such effectiveness, and justify continued use.

셋째, 다른 사람들이 그렇게 하고 있다. 교육 문헌에  비개입군과의 비교 연구가 만연되어있을뿐만 아니라, 이러한 연구를 수행하는 임상가-교사들은 임상 문헌에 대한 리뷰에서 수많은 유사한 사례를 볼 수 있습니다. New England Journal of Medicine이나 JAMA가 tamoxifen이나 lisinopril과 위약을 비교 한 연구 결과를 발표했다면, 최고의 의학 교육 저널은 개입이없는 새로운 지침 도구를 비교 한 연구를 발표해서는 안됩니까?

Third, they see others do it. Not only is the education literature rife with no-intervention comparison studies, but the clinician-teachers who often conduct such studies see ubiq- uitous examples in their reviews of the clinical literature. If the New England Journal of Medicine or JAMA publishes studies comparing tamoxifen or lisinopril with placebo, shouldn’t the top medical education journals publish studies comparing a novel instruc- tional tool with no intervention?

문제는 물론 겉으로 드러난 것이 사실이 아닐 수 있다는 것입니다. Feasibility는 자체로 연구를 보증하는 좋은 이유는 아닙니다.

The problem, of course, is that appearances can be deceiving. Feasibility is not a good reason, in itself, to warrant a study.

질문을 다시 프레이밍하기

Reframing the question

임상 의학에서 치료법이 효과적으로 확립되면 후속 연구는 대체 접근법의 비교 효과, 즉 두 가지 적극적인 개입의 비교에 초점을 맞 춥니 다. 사실, 동등한 대안equipoise이 없다면 중재를하지 않는 비교 연구를 수행하는 것은 비 윤리적 일 것입니다. 그러한 비교는 무엇이 효과가 있는지에 대한 이론적 및 경험적 증거에 따라 설명 할 때 가장 의미 있고 유용한 결과를 낳을 가능성이 큽니다 (Giacomini 2009). 비교 효과 연구는 최종 결과뿐 아니라 결과를 이끌어내는 프로세스 (효과적이 고 비효율적 인 프로세스)를 평가합니다. 따라서 그들은 실제로 치료법을 시행하는 것과 관련된 비용, 장벽, 예상치 못한 결과 및 효과적인 전략을 고려합니다.

In clinical medicine, once a therapy has been established as efficacious, subsequent research focuses on the comparative effectiveness of alternative approaches, i.e., com- parison of two active interventions. Indeed, in the absence of equipoise it would be unethical to conduct a no-intervention-comparison study. Such comparisons are most meaningful—and most likely to yield useful results—when guided by theoretical and empirical evidence of what should work (Giacomini 2009). Comparative effectiveness research evaluates not only the bottom-line outcomes, but also the processes (both effective and ineffective) that led to those outcomes. Thus, they consider the costs, barriers, unforeseen consequences, and effective strategies associated with implementing therapies in practice.

의학 교육에도 같은 원칙이 적용됩니다. 어떤 단일 성분이나 그 혼합물이 어느 정도의 활동성을 가질 것이라고 말하는 것은 상대적으로 안전합니다. 그러나 주어진 학습 목표에 대해 최적의 효과적인 개입을 모으기 위해서는 잠재 구성 요소 각각의 강점, 약점 및 비용, 효과가 각기 다른 응용 분야에 따라 어떻게 달라지며 상호 작용하는 방법을 이해해야합니다. 이를 위해서는 능동적 개입 (Albert et al., 2007)을 비교하는 이론-유도 및 이론-구축 연구가 필요하다. 또한 후속 구현을 위한 실질적인 지침을 제공하는 견고한 평가가 필요하다 (Cook 2010). 이들 연구는 교육 또는 평가 개입의 이점뿐만 아니라 재정적 비용 (Zendejas 외 다수), 부작용 및 기타 치료 비용을 설명해야합니다.

The same principles apply in medical education. It’s relatively safe to say that any single ingredient or combination thereof will have some degree of activity. But to assemble an optimally effective intervention for a given learning objective we need to understand the strengths, weaknesses, and cost of each of the potential components, howtheir effectiveness varies for different applications, and how they interact with one another. For this, we need theory-guided and theory-building studies comparing active interventions (Albert et al. 2007). and robust evaluations that provide practical guidance for subsequent implementations (Cook 2010). These studies must account not only the benefits of an instructional or assessment intervention, but also the financial expense (Zendejas et al. in press), adverse effects, and other costs of therapy.

물론 모든 임상 개입이 약물을 포함하는 것은 아닙니다. 여러 연구들은 진료 경로, 절차 및 심리 사회적 개입을 다루고 있으며, 교육 연구 (Boutron 외. 2008)와 상당한 유사성이 있다. 교육자는 그러한 연구 프로그램으로부터 많은 것을 배울 수있다 (Hawe et al. 2004).

Of course, not all clinical interventions involve drugs; many involve care pathways, procedures, and psychosocial interventions that bear a striking resemblance to education research (Boutron et al. 2008), and educators can learn much from such research programs (Hawe et al. 2004).

적극적 비교 연구의 유의사항

Caution in research with active comparisons

그러나 비교 효과 패러다임으로 전환 할 때 연구자는 적어도 두 가지 잠재적 함정에 주의해야합니다. 첫째, 두 가지 적극적 개입을 비교 한 연구는 예상 효과 크기가 더 작아지기 때문에 개입없이 비교하는 연구보다 훨씬 큰 표본 크기가 필요합니다.

However, in transitioning to a comparative effectiveness paradigm researchers must be wary of at least two potential pitfalls. First, studies comparing two active interventions will require much larger sample sizes than studies making comparison with no intervention, because the expected effect size will be smaller.

마찬가지로, 임상 교육 중에 피드백을 전달하는 두 가지 접근법 간의 효과의 차이는 임상 교육과 No teaching의 차이보다 적을 것입니다. 

• 그림 1의 데이터에 기초하여, 교육-무교육의 비교의 효과 크기는 약 0.8-1.0으로 추정 될 수있다. 

• 두 가지 서로 다른 접근법을 비교한 효과 크기는 연구중인 접근법의 특성에 따라 다르나, 합리적으로 0.1-0.4의 범위를 가질 수있다 (Cook et al (2010b) 참조). 

효과 크기가 0.8 인 경우 통계적으로 유의미한 차이를 보이기 위해 연구원은 52 명 (그룹당 26 명)이 필요합니다. 효과 크기가 0.3 인 경우 필요한 샘플은 351 개 (그룹당 176 개)입니다. 교육 연구자들은 표본 크기 계산을 거의보고하지 않지만 (Cook et al. 2011b), 그렇게하더라도 비현실적으로 높은 기대 효과를 사용합니다.

Likewise, the difference in effectiveness between two approaches to delivering feedback during clinical teaching will be less than the difference between clinical teaching and no teaching. Based on data in Fig. 1, the latter effect size could be estimated at approximately 0.8–1.0. The effect size for the former will depend on the specifics of the approaches under study, but might reasonably range 0.1–0.4 (see Cook et al (2010b) for some examples). To show a statistically significant difference for an effect size of 0.8 a researcher needs 52 participants (26 per group); for an effect size of 0.3 the required sample is 351 (176 per group). Education researchers rarely report sample size calculations (Cook et al. 2011b) but even when they do, they often use unrealistically high anticipated effects.

두 번째 함정은 교란변수이다. 교란변수는 관찰 된 결과에 대해 하나 이상의 설명이있을 때 발생합니다. 큰 표본 크기, 결과에 대한 맹검처리, 다수 기관 등록이 교란변수를 보상 할 수 없습니다 (사실 다기관 연구는 교란변수에 취약하다, Regehr 2010 참조). 교란변수를 해결할 수있는 유일한 방법은 가능성이 있는 변수를 식별하고 제어 (제거 또는 조정)하는 것입니다.  혼란스러운 연구의 한 가지 공통적 인 예는 새로운 교육 기술과 이전 접근법을 비교 한 것입니다. 그러한 'media-comparative'연구가 절망적으로 혼란에 빠지게 된 것은 거의 30 년 전에 처음으로 관측되었고 (Clark 1983), 여러 번 재연되었다 (Friedman 1994, Cook 2005). 교란변수를 피하기 위해서 연구자는 '연구'개입뿐만 아니라 (종종 무시되곤 하는) 비교 집단을 고려해야 하며, 두 집단 사이의 가장 중요한 차이점이 무엇인지 고려해야 한다.

The second pitfall is confounding. Confounding occurs when there is more than one explanation for the observed results. A large sample size, blinded outcome assessment, or multi-institutional enrollment cannot compensate for confounding (in fact, multi-institutional studies are particularly susceptible to confounding; see Regehr 2010). The only way to address confounding is to identify and control (eliminate or adjust for) the potential confounding variables. One particularly common example of confounded research is the comparison of a new educational technology against an older approach. That such ‘‘media-comparative’’ studies are hopelessly confounded was first articulated nearly 30 years ago (Clark 1983), and has been re-articulated multiple times (Friedman 1994; Cook 2005). Avoiding confounding requires researchers to consider not only the ‘‘study’’ intervention but also the comparison group (something they seem to often neglect; see Cook et al. 2011b, 2007) and most importantly the differences between the two.

그림 2는 약 90 개의 미디어 비교 연구의 pooled 효과 크기를 사용하여이 두 문제를 모두 보여줍니다. 이 90 개의 연구에 대한 개별 효과 크기는 다양했지만 평균 효과는 매우 작았으며 (한 경우를 제외하고는 모두 <0.1) 통계적으로 유의하지 않았습니다. 결과는 사소 할뿐만 아니라 confounded되어있다. 거의 모든 경우에있어서 두 연구 사이에 교육적 설계에 있어 다수의 중대한 변화가 있었으며, 하위 집단 분석 (Cook et al., 2008b)은 이러한 변화가 관찰 된 차이의 대부분을 설명 할 수 있다고 제안했다.

Figure 2 illustrates both of these problems using the pooled effect sizes of approxi- mately 90 media-comparative studies. The individual effect sizes for these 90 studies varied widely, but the average effects were very small (B0.12 in all but one instance) and not statistically significant. But not only are the results trivial, they are also confounded. In nearly all instances there were multiple educationally-important changes in the instruc- tional design between the two study arms, and subgroup analyses (Cook et al. 2008b) suggested that these changes could account for much of the observed differences.

어디로 가야 하는가?

Where do we go from here?

의학 교육 연구의 미래는 밝다. 그러나 교육 연구자들은 무 간섭 평가를 넘어서고 연구를 적절히 수행 할 필요가 있으며 교란의 가능성을 고려해야합니다.

The future is bright for medical education research. But education researchers need to move beyond the no-intervention comparison, they need to adequately power their studies, and they need to consider the possibility of confounding.

학생은 가르치면 배울 것입니다. 우리가 직면한 질문은, 학습을 가능한 한 고통스럽지 않고 적절하고 효율적으로 만드는 방법입니다.

If we teach them, they will learn. The question we face is how to make learning as painless, relevant, and efficient as possible.

---

Adv Health Sci Educ Theory Pract. 2012 Aug;17(3):305-10. doi: 10.1007/s10459-012-9381-0. Epub 2012 Jun 14.

If you teach them, they will learn: why medical education needs comparative effectivenessresearch.

Cook DA.

PMID:

 

22696095

 

DOI:

 

10.1007/s10459-012-9381-0

[Indexed for MEDLINE