의학교육 연구에 대해서 다시 생각해보기(2) - 증거에 대한 요구(Imperative of Proof)

(출처 : http://aveneca.com/yesno.html)

과도하게 근거만을 추구하게 되면 결과 중심적인 연구에만 집착하게 될 수 있다. 왜 그렇게 되었는가에 대한 질문은 건너뛰고, 효과가 있는지 없는지만 보려고 하게 된다. '아니오'라는 답이 나오면 자꾸 이것저것 수정만 해보고, '예'라는 답을 얻자마자 그걸로 만족해버린다.

이렇게 되면 결국 교육 연구 커뮤니티에서 우리가 공유하게 되는 정보는 마치 "각자 물건 하나씩 가져와 발표하기"처럼 되어버리며, 학습 과정과 교육 방법에 관한 범커뮤니티적 이해에는 아무런 도움이 되지 못한다.

이러한 관점에서 보면 '효과가 있었는가?' 라는 질문보다 더 나은 질문은 언제나 존재하며, 단순히 '효과가 있다'라는 답보다 더 나은 답도 항상 존재한다. 

---

교육을 연구하는 사람들에게 '가설 검증 패러다임'은 대단히 실용적인 방향으로 발전해서, 연구의 목적이 '노출(exposure)과 결과(outcomes) 사이에 타당한 연결고리를 만드는 것'이 되었다. 특히 큰 범위에서 '근거중심의학'의 범주 안에 들어있다고도 볼 수 있는 의학교육에 있어서는, 이와 같은 목적은 어떤 교육학적 개입 방법의 효과에 대한 근거를 요구하는 방향으로 더 나아갔다. Eva의 말을 빌리자면 "효과가 있다는 근거"를 찾는 것이라고도 할 수 있다.

Yet, in the hands of education researchers, the hypothesis-testing paradigm developed in a highly practical direction,13 and the approach came to be defined less by the epistemology (the elaboration of causal theories through hypothesis testing) and more by the methodology by which the epistemology was enacted (the randomised control trial).14 With this shift, the goal of research in this tradition was reinvented as a much more practical desire ‘to establish credible links between exposures and outcomes’.15 Particularly in medical education, which has been functioning for some time in the larger context of the evidence-based medicine movement, this goal evolved further into a demand for evidence of the efficacy for education interventions, which, again as Eva has suggested, has been equated with ‘proof that something works’.9 

많은 교육 프로그램 개발자들에게 있어서, 이렇게 증거를 요구하는 것은 프로그램 평가를 '총괄평가'의 특성을 갖도록 했을 뿐만 아니라, 그 개입방법이 실제로 효과가 있었는가(worked)에 대해서만 집중을 하게 만들었다. '총괄평가'를 하는 전형적인 접근 방법은 아래와 같다.

For many programme developers, this imperative of proof has led to summative models of programme evaluation and to an almost exclusive focus on the question of whether the intervention ‘worked’16 (i.e. whether those who received the intervention improved on a predetermined outcome measure). One implication of this summative approach to programme evaluation is that a typical process of education innovation looks something like this:

1 identify a content area that needs to be taught;

2 develop a teaching module to match the content and implement the module;

3 test to see if it ‘works’;

4 try to figure out what went wrong;

5 tweak the design and delivery;

6 test to see if it works now (if it does not, go back to step 4 or, eventually, give up), and

7 publish the success as demonstrating that the content area can be taught in this way.

프로그램 개발에 대한 이와 같은 접근 방법의 결과는 프로그램 수정이 총체적인 데이터 수집을 기반으로 이뤄지는 것이 아니라, 우선 도입한 후 사후 짐작을 바탕으로 이뤄진다는 것이다. 따라서 프로그램은 기껏해봐야 차선의 수준에서 개선이 이뤄지며, 더 흔하게는 종합적이고 지속적인 개선이 이뤄지기도 전에 폐기되기 일쑤이다.

The result of such an approach to programme development is that any iterative modifications made to the programme are based on post hoc guesses rather than on systematically collected data. Thus, programmes are, at best, improved in a suboptimal way and, more often, are abandoned before they have a chance to mature effectively through systematic and sustained innovation.17 

더 심각한 것은 프로그램이 '효과가 있든' 아니면 버려졌든, 우리는 효과가 있는지에만 집중을 했기 때문에 그 결과로부터 아무것도 배우지 못한다. 

More importantly for the science of education, regardless of whether the programme ultimately ‘works’ or is abandoned, we don’t learn anything meaningful from these efforts because we are more focused on whether a programme works than on why it does or doesn’t and the implications of its ‘success’ or ‘failure’ both for our  understanding of learning and, through this understanding, for future education practices.

교육 프로그램 개발자만이 이렇게 증거를 따지고 드는 것이 아니다. '가설 검증'의 전통을 바탕으로 이론을 연구하는  연구자들도 이론이 일반화될 수 있고 적용가능한지에 대한 검증을 하는 대신 증거만 만들어내고자 한다. 이러한 식으로 이론적 연구를 하는 사람들은 안타깝게도 앞서 프로그램 개발자들이 밟았던 전철을 그대로 밟는다. 

Interestingly, the limitations of having adopted an imperative of proof are not restricted to the developers. Even for those who focus on the study of theory in the hypothesis-testing tradition, there has been some gravitational pull towards producing proof of a theory rather than a test of its applicability and generalisability. Thus, for many who attempt to engage in theoretical work in the context of this imperative, a distressingly similar road to theory ‘development’ can be travelled:

1 identify a data pattern expected from the theory;

2 develop a study to demonstrate that result;

3 run the pilot subjects to see if the experimental manipulation ‘works’;

4 if it does not, try to figure out what went wrong;

5 tweak the materials and instructions;

6 test to see if it works now (if not, go back to step 4 or, eventually, give up), and

7 publish the success as demonstrating that the theory is plausible.

이 과정에서, 우리는 종종 확증편향에 빠지게 되고, 가지고 있는 데이터를 설명할 수 있는 다른 요소를 찾거나, 더 시간을 들여서 깊이 들여다보고자 하지 않는다. 다시 한번, 우리는 그 이론이 작동하는 조건만을 찾으려고 들기 때문에 아무것도 배우지 못한다. 그 이론이 언제 작동하고 언제 작동하지 않는지, 또는 더 넓은 이해를 바탕으로 성공 / 실패에 담긴 함의가 무엇인지를 알아내는 것에는 관심을 갖지 않았기 때문이다.

In the process, we often fall prey to the confirmation bias (i.e. if our results are predicted by our theory, then our theory must be right)13 and spend little time looking deeper into what else might explain our data or what else might be going on in our dataset. But again, importantly for the science of education, we don’t learn anything meaningful from the ultimate result because we are more focused on finding the conditions that prove our theories than we are on when they do or don’t work and the implications of the ‘success’ or ‘failure’ of our studies for our broader understanding of the theories we are exploring.

따라서 과도하게 근거만을 추구할 때에 지나치게 결과 중심적인 연구에만 집착하게 될 수 있다. 왜 그렇게 되었는가에 대한 질문은 건너뛰고, 효과가 있는지 없는지만 보려고 하게 된다. '아니오'라는 답이 나오면 자꾸 이것저것 수정만 해보고, '예'라는 답을 얻자마자 그걸로 만족해버린다.

Thus, by having adopted too completely the imperative of proof for determining the quality and value of our research efforts, we have brought about a general movement towards a ‘decision-oriented’ model of education research.17 Rather than dwelling on the questions of what is going on, we jump straight to the issue of whether it worked. We keep tweaking when the answer is ‘No’, but are satisfied as soon as the answer is ‘Yes’.

그 결과로 교육 연구 커뮤니티에서 우리가 공유하게 되는 정보는 마치 "각자 물건 하나씩 가져와 발표하기"처럼 되어버려서 학습 과정과 교육 방법에 관한 범커뮤니티적 이해에는 아무런 도움이 되지 못한다.

As a result, the information we share with the larger education research community through the talks we give and the studies we publish tends to feel more like a ‘show-and-tell’ exercise than an engaging and challenging contribution to the community’s understanding of learning processes and education practices.

이러한 관점에서 보면 '효과가 있었는가?' 라는 질문보다 나은 질문은 언제나 존재하며, 단순히 '효과가 있다'라는 답보다 더 나은 답도 항상 존재한다. 다만 증거에 대한 요구가 알게 모르게 우리를 통과/실패의 이분법적인 가치만을 가장 좋은 '근거'로 생각하도록 만드는 것이다. 

From the perspective of improving our education science, therefore, there is always a better question than ‘Did it work?’ and there is always a better answer than ‘Yes’. Yet the imperative of proof that underlies much of this work implicitly and explicitly values these dichotomous pass ⁄ fail questions as representing the highest form of ‘evidence’, creating one of the gravitational pulls that shape much of the work carried out in the field.

---

Med Educ. 2010 Jan;44(1):31-9. doi: 10.1111/j.1365-2923.2009.03418.x.

It's NOT rocket science: rethinking our metaphors for research in health professions education.

Regehr G.

Source

Centre for Health Education Scholarship, Faculty of Medicine, University of British Columbia, Vancouver, British Columbia, Canada. glenn.regehr@ubc.ca

Abstract

CONTEXT:

The health professional education community is struggling with a number of issues regarding the place and value of research in the field, including: the role of theory-building versus applied research; the relative value of generalisable versus contextually rich, localised solutions, and the relative value of local versus multi-institutional research. In part, these debates are limited by the fact that the health professional educationcommunity has become deeply entrenched in the notion of the physical sciences as presenting a model for 'ideal' research. The resulting emphasis on an 'imperative of proof' in our dominant research approaches has translated poorly to the domain of education, with a resulting denigration of the domain as 'soft' and 'unscientific' and a devaluing of knowledge acquired to date. Similarly, our adoption of the physical sciences''imperative of generalisable simplicity' has created difficulties for our ability to represent well the complexity of the social interactions that shape education and learning at a local level.

METHODS:

Using references to the scientific paradigms associated with the physical sciences, this paper will reconsider the place of our current goals for education research in the production and evolution of knowledge within our community, and will explore the implications for enhancing the value of research in health professional education.

CONCLUSIONS:

Reorienting education research from its alignment with the imperative of proof to one with an imperative of understanding, and from the imperative of simplicity to an imperative of representing complexity well may enable a shift in research focus away from a problematic search for proofs of simple generalisable solutions to our collective problems, towards the generation of rich understandings of the complex environments in which our collective problems are uniquely embedded.

Comment in

• A call for more RCTs (Research that is conceptual and thoughtful). [Med Educ. 2010]
• The value of paradoxical tensions in medical education research. [Med Educ. 2010]