교육개입의 성과 연구: 설계의 문제(BMJ, 2002)
Researching the outcomes of educational interventions: a matter of design
David Prideaux professor of medical education
Office of Education, School of Medicine, Flinders University, Box 2100
GPO, Adelaide, South Australia 5001
David.Prideaux@flinders.edu.au
RCT는 교육 개입 평가에 중요한 한계가 있다.
RCTs have important limitations in evaluating educational interventions
문제 기반 학습은 1990 년대 초반에 출판 된 세 권의 책과 최근에 출판 된 책이 적어도 네 편이나 많이 나온 리뷰의 주제였습니다 .1-4 이러한 관심은 놀라운 일이 아닙니다. 놀라운 사실은 이렇게 인기있는 교육 접근법의 효과가 학생 만족도 영역을 제외하고는 작다는 것이다. 리뷰에 따르면, 면허 시험에서의 성과로부터 확인할 수 있는 PBL에 의한 지식 습득은 좋게 봐줘봐야 불분명한 정도이다.
Problem based learning has been the subject of at least four much quoted reviews, three published in the early 1990s and one more recently.1–4 Such attention is not surprising. What might be surprising is that the effects of such a popular educational approach are seemingly small, except in the area of student satisfaction. According to the reviews the extent of knowledge gained by such measures as performance in licensing examinations is at best unclear.
이 호에서 Smits와 동료의 논문은 대학원 및 계속 교육에서의 PBL에 대한 리뷰를 제공한다. (p153) 그러나 통제 된 연구 설계에 대한 저자의 포함 기준을 충족시킨 연구는 6 건에 불과하다.
The paper by Smits and colleagues in this issue provides a review of problem based learning in postgraduate and continuing education (p 153).5 It is, however, based on only six studies which met the authors’ inclusion criteria for controlled study designs.
노먼과 슈미트 (Norman and Schmidt)는 커리큘럼 중재에 대한 연구에 대한 무작위 통제 실험 시도에 대해 비판하며, 그러한 연구가 실패 할 운명임을 암시한다. 이것은 얼마 전 준-실험과 다양한 질적 설계를 수용하기 위해 무작위 디자인의 패권을 포기한 비-의학 영역의 연구자들에게는 익숙한 모습이다.
Norman and Schmidt provide a critique of the randomised control trial approach to researching curriculum interventions suggesting that such studies are doomed to fail. This is familiar to edu- cational researchers outside medicine who some time ago abandoned the supremacy of randomised designs to embrace a range of quasi-experimental and qualita- tive designs.
교육 개입 연구를위한 무작위 통제 연구의 한계점 중 세 가지가 논문에서 강조됩니다. 첫 번째는 무작위 배정입니다. 무작위 화는 이론적으로 교육 연구에서 가능하지만 종종 불가능하거나 정당화 될 수 없습니다. 대학원 및 계속 교육 프로그램의 참여자들에게 학습 방법에 대한 선택여지를 전혀 주지 않는 것이 정당화될 수 있는가? 게다가 노먼과 슈미트 (Norman and Schmidt)가 지적한 것처럼 무작위 배정은 Blinding을 유지하는 것에 달려있다 .7 Blind 상태를 유지하는 것은 교육 개입에 관한 연구에서는 거의 불가능하다.
Three of the limitations of randomised control studies for studying educational interventions are highlighted by the paper. The first is randomisation. While randomisation is theoretically possible in educational research it is often not feasible nor justifiable. Is it justifiable to enrol medical professionals in postgraduate and continuing education programmes in which they are given no choice over the learning methods they will engage in? Furthermore, as Norman and Schmidt point out, randomisation relies on the maintenance of blind allocation.7 Maintaining blinding is rarely possible in research on educational interventions.
두 번째 문제는 변수 제어입니다. 최소한 중재 자체는 다양 할 수 있습니다. PBL에는 많은 변형이 있습니다. 교육 과정은 상황에 따라 다릅니다. 시설 및 자원, 교사 및 학생 동기 부여, 개인의 기대 및 제도적 기풍을 비롯한 수많은 요소가 프로세스에 영향을 미칩니다. 이론적으로는 변수들을 통제하는 것이 가능하지만, 그렇게함으로써 개입의 성공 또는 실패를 결정하는 주요 요인들이 제거 될 수도 있다.
The second issue is control of variables. At the very least the intervention itself may be variable. There are many variants of problem based learning. The process of education depends on the context. A myriad of factors, including facilities and resources, teacher and student motivation, individual expectations, and institutional ethos affect the process. Again it is theoretically possible to control for such variables but in doing so the key factors that determine the success or failure of the intervention may be removed.
세 번째 쟁점은 적절한 결과 척도의 선택에 관한 것이다. 의학 교육 및 의학 교육 연구에 대한 분명한 결과의 정의에는 많은 관심이 있습니다. 그러나 개입에 적합한 결과 척도를 선택해야 한다. 예를 들어, CME에서 환자의 건강 개선이 교육 효과를 측정하는 적절한 방법인가? 이것은 결국 의사의 통제 범위 내외의 다양한 요인에 의해 영향을받습니다.
The third issue concerns the choice of appropriate outcome measures. There is much interest in the defining of clear outcomes for medical education and hence for medical education research.910 But the outcomes must be appropriate for the intervention. For example, is improved patient health an appropriate measure of educational effectiveness in continuing medical education? After all it is influenced by a whole range of factors within and outside a doctor’s control.
BMJ. 2002 Jan 19;324(7330):126-7.
Researching the outcomes of educational interventions: a matter of design. RTCs have important limitations in evaluating educational interventions.
Comment in
Comment on
- PMID:
- 11799017
- PMCID:
- PMC1122058
'Articles (Medical Education) > 의학교육연구(Research)' 카테고리의 다른 글
| 비추고 확대하기 위한 개념 프레임워크(Med Educ, 2009) (0) | 2017.08.04 |
|---|---|
| 의학과 의학교육의 질적연구 평가(Med Teach, 2005) (0) | 2017.08.04 |
| 체계성의 한계에 대하여 (Med Educ, 2008) (0) | 2017.07.25 |
| 의학교육연구의 평판: 준실험연구와 타당도 위협(Teach Learn Med, 2008) (0) | 2017.07.25 |
| 무작위 대조군 연구 = 교란되고 사소한 연구결과: 대(grand) 교육실험의 위험성(Med Educ, 2003) (0) | 2017.07.25 |