교육연구에서 '교란된 비교'를 피하는 법(Med Educ, 2009)

교육연구에서 '교란된 비교'를 피하는 법(Med Educ, 2009)

Avoiding confounded comparisons in education research

David A Cook

연구의 목적은 '제안 된 사실이나 원칙을지지하거나 반박 할 증거를 얻는 것'이다 .1) 유감스럽게도 연구 (및 일반적으로 삶)는 수집 된 증거를 모호하지 않게 해석하는 우리의 능력을 손상시키는 것으로 가득 차있다. 이러한 간섭 기능에는 '교란변수'또는 '타당도 위협'이라는 레이블이 붙어 있습니다.

The purpose of research is to ‘obtain evidence to support or refute proposed facts or principles’.1 Unfortunately, research (and life in general) is full of things that impair our ability to unambiguously interpret the evidence collected. These interfering features are labelled ‘confounders’ or ‘validity threats’.2

연구자은 참가자와 상황의 차이로 인해 발생하는 교란변수를 쉽게인지합니다. 그러나 실험적 또는 준-실험적 교육 연구에서는 개입 그 자체가 적어도 동일한 수준의 교란변수로 작용한다.2,3

Researchers readily acknowledge confounders that arise from differences in participants and contexts . However, in experimental and quasi-experi- mental education research, an equally (if not more) important potential confounder is the inter-vention itself.2,3 

잘 문서화 된 예는 전통적인 교수법에 대한 컴퓨터 보조 교육의 비교입니다 .4 저자가 25 년 동안 지적한 바와 같이, 컴퓨터 보조 교육의 우열에 대해 광범위한 진술을하는 것은 불가능합니다. '컴퓨터를 이용한'방법에 대한 정의는 물론 '전통적' 방법 역시 너무나도 많은 방식으로 정의된다.

A well-documented example is the comparison of computer-assisted instruction against traditional teaching methods.4 As authors have noted for over 25 years,5,6 it is impossible to make broad state- ments about the superiority or inferiority of computer-assisted instruction compared with tradi- tional teaching methods because there are too many ways to define ‘computer-assisted’ and too many ways to define ‘traditional’.

Confounded comparison의 다른 예로는 강의 대 시뮬레이터, 7 강의 대 표준화 된 환자 (SP), 8 문제 기반 학습 대 무수히 많은 방식으로 정의되는 전통적인 교육 형식의 비교 등이 있습니다. Variability가 지배하는 상황에서 한 방법의 세계적 우위에 관한 진술을하는 것은 사실상 불가능합니다.

Other examples of confounded comparisons include lecture versus simulator,7 lecture versus standardised patient (SP),8 and problem-based learning versus the countless defi- nitions of traditional teaching formats. It is virtually impossible to make statements regarding the global superiority of one method over another when variability reigns.

이 문제에 관한 두 개의 연구는 관심 변수를 신중하게 조작함으로써 이 함정을 깔끔하게 피할 수 있습니다. 웨이 리치 (Weyrich) 등 11)의 연구는 교수진이 지도 한 지침 기술을 시니어 학생이 지도 한 수업과 비교하여 객관적으로 구조화 된 임상 시험 체크리스트 또는 글로벌 평점에 차이가 없음을 발견했습니다.

Two articles in this issue neatly avoid this pitfall by carefully oper- ationalising the variables of inter- est. The study by Weyrich et al.11 compared faculty-led instruction in procedural skills with instruction led by senior students and found no difference in objective struc- tured clinical examination check- lists or global ratings.

이 연구들은 어떻게 교란변수를 피했을까? 이에 대한 대답은 computer assisted instruction에서 non-confounded 연구를 가능하게하기 위해 이전에 제안 된 것과 기본적으로 동일하다.

What is it about these studies that avoided major confounding? The answer, I believe, is fundamentally the same as that proposedpreviously for enabling non-confounded research in computer-assisted instruction.6

수업 설계는 전달 방법과 교수 방법의 두 가지 수준에서 광범위하게 개념화 될 수 있습니다. 

• 전달 방법에는 매체 (예 : 대면, 컴퓨터, 시뮬레이션, 텔레비전)와 구성 ( '특정 의료기관 내 큰 그림 차이', 강의, 소그룹 또는 SP와 같은 6 가지 대면 교육)이 있다. 

• 교수 방법은 '학습 프로세스를 지원하는 교육 테크닉'들로 구성되며, 여기에는 자기평가, 그룹토론, 피드백 등이 있다.

• Instructional design can be broadly conceptualised in two levels: delivery methods and instructional methods. Delivery methods include both the medium (e.g. face-to-face, com- puter, simulation, television) and the configuration (‘the big picture differences within a given med- ium’,6 like lecture, small-group, or SP for face-to-face teaching). 

• Instructional methods comprise ‘teaching techniques that support learning processes’,6 such as advance organisers, self-assessment, group discussion and feedback.

이 모델의 핵심은, 여러 가지 교수 설계를 비교할 때 설계가 within level에서 하나의 요소에 대해서만 달라야 한다는 점이다. 종종 하나의 과목에서 여러 가지 전달 방법과 여러 가지 교수 방법을 사용합니다. 그러나 연구를 위해서는 한 번에 한 가지만 비교 그룹에서 변경할 수 있으며, 이 때 달라지는 것은 ​​항상 교수 방법이어야합니다.

The key to this model is that, when comparing different instructional designs, the designs must vary by only one element within (and not between) levels. A course will often employ multiple delivery methods and multiple instructional meth- ods. But for research purposes, only one thing at a time can change in the comparison group and it should almost always be the instructional method.

왜? 인터뷰 기술을 가르치는 방법을 비교 한 연구를 상상해보십시오 : 비디오 클립이있는 파워 포인트 강의와 개인화 된 피드백을 제공하는 SP와의 일대일 경험 대 토론. 여러 가지 교육 방법이 동시에 변경되었으므로 SP 자체의 사용에 대한 설명을하는 것은 불가능합니다. 서로 다른 전달 방법에는 거의 항상 서로 다른 교수 방법이 따라오기 때문에, 전달 방법 간의 non-confounded comparison은 사실상 불가능합니다.

Why? Imagine a study comparing methods to teach interviewing skills: a PowerPoint lecture with video clips and facilitated discussion versus a one-on-one experience with an SP who provides personalised feedback. It would be impossible to make any statement about the use of SPs per se because multiple instructional methods have been varied simultaneously. As different delivery methods nearly always invoke different instructional methods, non-confounded comparisons between delivery methods are virtually impossible.

더욱이 전달 방법들 사이에서 교수 방법을 동일하게하려는 시도는, 전형적으로 각 전달 방법을 독특하고 유용하게 만드는 요소를 사라지게 만든다. 각각의 전달 방법에는 거기에 자연스럽게 어울리는 교수 방법이 존재한다.

Moreover, attempts to equalise the instructional methods between delivery methods typically wash out the things that make the latter unique and useful. Different delivery methods lend themselves naturally to certain instructional methods.

(실증주의 전통에서) 연구의 의도는 현 상황을 넘어서 새로운 환경으로 일반화하는 것이기 때문에, 전달 방법의 비교가 불가피하게 교란된다는 사실은 중대한 문제가 된다. 어떤 전달 방법이 우월한지 알고 싶을 때마다 항상 '그때 그때 다르다.'라고 할 수 밖에 없게 된다. 예컨대, 주제, 목표, 학습자 및 기타 많은 변수에 따라 다르다는 것이다. 따라서 던져야 할 질문은 '언제 특정한 전달 방법을 사용해야 하는가?'이다.

Because the intent of research (in the positivist tradition) is to gener- alise beyond the current situation to new settings, the fact that com- parisons of delivery methods are unavoidably confounded presents a significant liability. As much as we might want to know which delivery method is superior, the answer will always be: ‘It depends’. It depends on the topic, the objectives, the learners and many other variables. Thus, a better question is: ‘When should we use a particular delivery method?’

'언제'라는 질문을 어떻게 연구 할 수 있습니까? 모든 해결책을 가지고 있지는 않지만, 적어도 잠정적으로 무작위 대조 연구가 도움이되지 않을 것이라고 말할 수 있다. 나는 다양한 접근법의 고유 한 강점과 약점을 면밀히 검토하는 연구에서 더 많은 유용한 증거가 유추 될 것이라고 생각한다. 해답은 특정 전달 방법과 구체적인 교육 목표 및 역량을 연결하기 위하여 질적 데이터, 상관 분석, 비용 효율성 정보, 다양한 이론과 개념적 틀을 활용한 논리적 주장 등이 될 것이다.

How can we study the ‘When’ questions? I don’t pretend to have all the solutions, but tentatively suggest that randomised controlled trials will be unlikely to help much. I think more usable evidence will derive, at least initially, fromstudies that closely examine the unique strengths and weaknesses of various approaches. More often I believe the answers will comprise qualitative data, cor- relational analyses, cost-effective- ness information, and logical arguments drawing upon diverse theories and conceptual frame- works to link specific delivery methods with specific instructional objectives and competencies.

특정 전달 방법의 강점은 그 전달 방법에서만 가능해지는 교수 방법(컴퓨터 보조 지시를위한 반복되고 개별화 된 연습), 그리고 그 전달 방법이 극복하게 해주는 로지스틱 장벽 (예 : 시간과 장소의 유연성)에서 나온다. 그리고 약점은 그 반대에서 파생됩니다 (예 : 컴퓨터 보조 교육에서는 신체 검사를 할 수 없고, 초기 개발 비용이 든다).

The strength of a given delivery method derives from the instruc- tional methods it enables (such as repeated, individualised practice for computer-assisted instruction) and from the logistic barriers it overcomes (such as flexibility in time and location). Weaknesses derive from the converse (e.g. for computer-assisted instruction, the impracticality of physical examina- tion and up-front development costs).

교수 방법은 어떻습니까? 교수 방법 사이의 비교에서 교란변수를 회피할 수 있더라도, 결코 직접적인 해답을 제공하지는 않습니다. 주어진 교수 방법의 정의는 연구마다 다르며, 교수 방법은 학생, 교사, 주제 및 지역 맥락과 복잡한 방식으로 상호작용하기 때문이다. Weyrich 등 11)은 동료간 학습이 성공할 수 있음을 보여 주지만 그 결과는 다른 주제, 다른 기관 또는 훈련이 덜한 동료 교사에게 일반화되지 않을 수도 있습니다.

What about instructional methods? Although comparisons between instructional methods can be designed to avoid confounding, they by no means provide straight- forward answers. Not only does the definition of a given instructional method vary from study to study, but the instructional methods interact in complex ways with students, teachers, topics and local contexts. Weyrich et al.11 demonstrates that peer-assisted learning can be successful, but the results may not generalise to other topics, other institutions, or peer teachers with less training.

마찬가지로 Hull et al.의 혼합 학습에 대한 연구 12)는 또한 개별적으로 효과적인 교수 전략이 반드시 additive하게 작용하지 않으며, 어떤 경우에는 부정적으로 상호 작용할 수도 있음을 보여줍니다.

Likewise, Hull et al.’s study12 of blended learning also illustrates that individually effective instructional strategies are not necessarily additive, and may in some instances negatively interact.

---

Med Educ. 2009 Feb;43(2):102-4. doi: 10.1111/j.1365-2923.2008.03263.x.

Avoiding confounded comparisons in education research.

Cook DA1.

Author information

1

Division of General Internal Medicine, Mayo Clinic College of Medicine, Rochester, Minnesota 55905, USA. cook.david33@mayo.edu

Comment on

• Optimal sequencing of bedside teaching and computer-based learning: a randomised trial. [Med Educ. 2009]
• Peer-assisted versus faculty staff-led skills laboratory training: a randomised controlled trial. [Med Educ. 2009]

PMID:

 

19161476

 

DOI:

 

10.1111/j.1365-2923.2008.03263.x