두 개입이 동일하다는 것은 무엇인가? 교육에서 보고 가이드라인의 함의 (Med Educ, 2018)

두 개입이 동일하다는 것은 무엇인가? 교육에서 보고 가이드라인의 함의 (Med Educ, 2018)

When are two interventions the same? Implications for reporting guidelines in education

Tanya Horsley1 & Glenn Regehr2

보건전문교육(HPE) 문헌에는 '임상의 교육자가 [효과적인 것으로 입증된 개입에 대한 연구 증거]를 실제로 translate할 수 있도록 하기 위해, 증거 기반 실무 교육 시험의 [개입 세부사항에 대한 완전한 보고]가 필수적'이라는 목소리가 높아지고 있다.1 이러한 노력을 지원하기 위해, 교육 개입에 대한 보고의 완전성을 평가하기 위해 특별히 고안된 체크리스트(GHEET2, TIDieR3)의 수가 증가하고 있다. 흥미롭게도, 이 운동은 그들 자신의 기관에서 교육적 개입을 복제하기를 원하는 교육자들뿐만 아니라, 연구 전반에 걸쳐 증거를 종합하려는 연구자들에게도 가치가 있을 수 있다.

there is a growing chorus of voices in the health professional education (HPE) literature suggesting that ‘complete reporting of intervention details of evidence-based practice education trials is essential to enable clinician educators to translate research evidence about interventions shown to be effective into practice’.1 To support such efforts, the number of checklists specifically designed to assess the completeness of reporting for educational interventions (such as the GREET2 and TIDieR3) is increasing. Interestingly, this movement may be valuable not only for educators who are hoping to replicate an educational intervention in their own institution, but also for researchers who are trying to synthesise evidence across studies

이러한 근거 합성 과정에 참여하는 사람들에게 중요한 질문은 [특정 교육 모델을 나타낸다고 알려진 어떤 연구를 "실제로 그 모델의 구현"이라고 판단받을 자격이 있는가] 하는 것이다.

For those engaging in this process of evidence synthesis, the key question is which studies, purported to represent a particular educational model, actually qualify for inclusion as an implementation of that model?

그러나 일반적 및 개입적 특정 보고 지침을 모두 작성하려는 이러한 노력은 특정 개입을 제정하거나 상황에 따라 개입을 완전히 복제하는 것이 무엇을 의미하는지 의문을 제기한다.

However, these efforts to create both general and intervention-specific reporting guidelines raise questions about what it means to enact a particular intervention or to wholly replicate that intervention across contexts.

복제는, 그 정의상, 특정 개입이 높은 수준의 '동일성'으로 복제, 재생산 또는 반복된다는 것을 암시한다. 그러나 Varpio와 동료들은 교육 프로그램이나 혁신을 다른 환경에서 구현하는 것은 표면 구현에서 거의 확실히 타협이 필요할 것이라고 제안했다. 이러한 변화(또는 아이러니하게도 표면 특성 또는 개입 요소를 동일하게 유지하려는 노력)는 기술혁신의 기본 원칙이 새로운 환경에서 이전, 변형 또는 폐기되는 결과를 초래할 수 있다.6

Replication by its very definition suggests an intervention is duplicated, reproduced or repeated with a high-level of ‘sameness’. Yet, Varpio and colleagues have suggested that implementing an educational programme or innovation in a different setting will almost certainly require compromises in the surface implementation. These changes (or, ironically, efforts to keep the surface characteristics, or intervention elements, the same) may result in the innovation’s underlying fundamental principles being either transferred, transformed or abandoned in the new setting.6

이러한 생각은 Hawe의 '개입 무결성intervention integrity' 개념과 일치한다.7 Hawe는 어떤 복잡한 개입도 [(표준 요소의 집합이 아닌) 원칙이나 이론에 근거한 유연한 적용]으로 개념화되어야 한다고 주장해왔다. 이러한 개념화에서, 표준 요소 집합은 더 이상 개입의 능동적active 구성요소로 보이지 않고 단지 기초적인 원리나 이론을 표현하는 메커니즘으로만 보여진다. 따라서, "개입 무결성"은 [가설로 세운 복잡성(교육적) 과정의 이론이나 원리가 '적합성의 증거evidence of fit'를 갖는 것]으로 정의된다.7

This idea is consistent with Hawe’s notion of ‘intervention integrity’.7 Hawe has argued that any complex intervention should be conceptualised as a flexible application based on principles or theories, rather than as a set of standard elements. In this conceptualisation, the set of standard elements are no longer seen as the active ingredients of an intervention, but merely as the mechanism to express the underlying principles or theories. Thus, intervention integrity is defined as having ‘evidence of fit’ with the theory or principles of the hypothesised complex (educational) process.7

이는 교육 개입의 적용과 보고를 표준화하려는 현재의 노력에 대해 비판적인 의문을 제기한다. 우리가 특정한 맥락에서 교육적 개입을 시행할 때, 성공적인 구현이 이루어졌음을 보장하기 위해 우리는 무엇을 주의해야 하며, 그리고 맥락에 걸친 구현 사이에 충분한 '동일성'을 결정할 수 있도록 무엇을 보고해야 하는가? 요컨대, 교육 모델은 구체적인 실천요강인가, 아니면 실천요강이 창조하고자 하는 학습조건인가? 복제(교육자용) 또는 통합(연구자용)이 가능하도록 어느 정도 동일성의 측정치를 달성하는 것이 목표라는 데 동의한다면, 복잡한 개입의 모든 가시적 요소(예: 워크숍 기간)를 '체크-리스팅'하는 것에서 벗어나서, [개입을 뒷받침하는 원칙이나 이론에 따르는 보고]로 진화해나가야 함을 상상해야 할지도 모른다.

This raises critical questions for current efforts to standardise the application and reporting of educational interventions. As we implement an educational intervention in a particular context, to what should we be attentive to ensure successful implementation has occurred, and what should be reported to enable the determination of sufficient ‘sameness’ between implementations across contexts? In short, is the educational model the specific practices or is it the conditions of learning that the practices intend to create? If we agree that the goal is to achieve some measure of sameness so as to allow for replication (for educators) or aggregation (for researchers), we might have to imagine an evolution of reporting that moves away from ‘check-listing’ all visible elements of a complex intervention (e.g. length of workshop) and instead attends to the principles or theories that underlie it.

이러한 생각들은 의학 교육에서 이론과 실천의 접점, 그리고 우리가 우리의 실험 연구에서 확립하기를 바라는 인과관계의 수준에 대한 오랜 논의를 촉발시킨다.8

These ideas invoke the long-standing discussions about the interface of theory and practice in medical education and the level of causality that we are hoping to establish in our experimental studies.8

즉, 어떤 개입이 연구에서 '성공'을 입증하지 못한다면, 우리는 다음 중 어떻게 결론을 내려야 하는가?. 

• 교육 개입을 뒷받침하는 학습의 이론적 모델을 의심해야 하는가?(즉, 교육 모델의 철학이 잘못되었는가?).

• 또는 단지 이 맥락에서 특정 교육적 practice가 교육 모델의 기반이 되는 학습 조건을 만들지 못했다고 생각해야 하는가?(즉, 교육 모델을 성공적인 구현하지 못했기 때문인가?) 

그리고 도입implementation 후 긍정적인 효과가 나타난다면, 어느 정도까지 그 성과가 [교육 모델에 의해 가정된 학습 조건에 적절하게 특정 practice를 실행]했기 때문이라고 봐야 하는가? 혹은 심리학적 또는 사회적 절차와 같은 다른 메커니즘을 통해 학습에 영향을 받은 것으로 보면 안 되는가?

That is, if an intervention fails to demonstrate ‘success’ in a study, should we conclude 

• that the theoretical model of learning underpinning the educational intervention must be questioned (i.e. that the philosophy of the educational model is wrong) or 

• merely that the particular educational practices in this context failed to create the learning conditions upon which the educational model is based (i.e. that this was an unsuccessful implementation of the educational model)? 

And if we see a positive effect following implementation, to what extent can we confidently attribute this to the particular practices having properly invoked the conditions of learning hypothesised by the educational model, rather than those practices having influenced learning through some other mechanism, such as psychological or social processes (e.g. a novelty effect)?

아마도 이러한 이유로 전통적인 역학접근법을 이용하여 '대교육grand educational experiment 실험'9을 실시하려는 노력이 비난받아온 것일지도 모른다.

It is, perhaps, for this reason that efforts to conduct ‘grand educational experiments’9 using traditional epidemiological approaches have been criticised.

복잡한 개입의 보고 가이드에는 두 가지를 고려해야 한다. 

• 첫째, 학습방법의 세부적인 내용을 보고할 필요가 있는 것처럼, 교육개입의 세부사항(하웨이가 '표준요소'라고 부를 것)도 철저히 보고해야 한다. 그러나 연습이 필수 학습 조건에 미치는 영향에 영향을 미칠 수 있는 모든 변수의 보고는 불가능하다.

two conditions require consideration within reporting guidelines of complex interventions. 

First, just as it is necessary to report the details of the study methods,10,11 the details of the educational intervention (what Hawe would call the ‘standard elements’) should be reported thoroughly. However, the reporting of all variables that might affect the impact of practices on the required learning conditions is untenable.

• 따라서 [표준 요소 보고] 외에도 [특정 현장에서 구현된 표준 요소가 개입의 기반이 되는 교육 모델을 뒷받침하는 학습 조건을 만든 정도]를 보고하는 메커니즘의 개발을 제안할 것이다. 즉, 무작위 조정 시험에서 무작위화 절차가 성공적이었음을 입증하기 위해 인구통계학적 보고와 동등한 교육적 '조작 검사'를 사용하고 보고할 것을 제안한다.

 Thus, in addition to reporting the standard elements, we would propose the development of mechanisms that report the extent to which the standard elements, as implemented at a particular site, created the learning conditions that underpin the educational model on which the intervention was based. In other words, we suggest the use and reporting of educational ‘manipulation checks’, the educational equivalent of demographic reporting to demonstrate that the randomisation procedure was successful in randomised controlled trials.

---

Comment

 

. 2018 Feb;52(2):141-143.

 doi: 10.1111/medu.13496.

When are two interventions the same? Implications for reporting guidelines in education

Tanya Horsley 1, Glenn Regehr 2

Affiliations 

Affiliations

• 1Ottawa, Ontario, Canada.
• 2Vancouver, British Columbia, Canada.

• PMID: 29356081
 
• DOI: 10.1111/medu.13496