의학교육 연구에 대해서 다시 생각해보기(4) - 일반화가 가능한 해답의 문제점, 교육의 '과학'

(출처 : http://blog.affiliatetip.com/archives/affiliate-marketing-is-not-rocket-science/)

우리가 지금 가지고 있는 이론이 일반적으로 '참'일수는 있지만, 특정한 상황에 대해 일반화시킬 만큼 실용적인 가치를 가지지는 못한다. 비록 그것이 참이라고 하더라도 구체적인 교육현장에서, 교육과정 개발을 위해서 무엇을 해야 하는지에 대해서는 확실한 도움이 되지 않는다는 것이다.

따라서 우리의 과학적 논의(논문 등)의 가치는 일반적인 해답을 찾는 것이 아니라 각자가 가진 문제에 대해서 더 나은 사고를 하는데 도움이 되어야 한다. 마찬가지로 논문을 읽는 것은 나와있는 해답을 맹목적으로 가져다 쓰기 위한 것이 아니라, 다른 사람이 문제를 해결한 방식을 나의 문제에 어떻게 적용할 것이며, 그러기 위해서는 무엇이 필요하며, 왜 그렇게 해야 하는지를 생각할 수 있는 과정이어야 한다.

Richard Shillington의 데이터 분석에 대한 묘사를 빌리자면, 교육에 대한 논문은 '생각을 도와주는 것'이지 '생각을 대체하는 것'이어서는 안된다.

---

이 문제에 대한 또 다른 관점을 하나 더 언급하고자 한다. 인지심리학에서 다루는 '약한'문제해결법와 '강한'문제해결법에 대한 것이다. 인지심리학에서의 정의에 따르면 '약한'문제해결법은 다양한 상황에 광범위하게 일반화가 가능한 대신, 특정 상황에 대한 적용가치는 떨어진다.

In order to provide another perspective on these issues, I would like to invoke a construct from cognitive psychology: the distinction between ‘weak’ and ‘strong’ problem-solving routines.25 As defined in cognitive psychology, weak problem-solving routines are those processes that are broadly generalisable to many situations, but are of limited applicable value in any particular situation.

이런 종류의 문제해결법은 많은 문제상황에 일반화시켜 적용할 수 있을지 몰라도, 특정 상황에서 무얼 해야하는지에 대해서는 크게 도움이 되지 않는다. 반대로 '강한'문제해결법은 매우 구체적인 상황과 맥락에 특정되어있다.

Although it is true that this problem-solving routine is generalisable to pretty much every problem-solving situation we might encounter, from the perspective of application, it is of no practical value in helping us decide what to do next in a particular situation. By contrast, strong problem-solving routines are routines that have become highly specialised to a very specific type of problem in a very specific context

강한 문제해결법은 비록 경험에 의존하여 편견이 있을 수 있어 이로 인해 사고의 폭을 제한하며, 전문가들의 '한정된 해결방법 세트'라든가, 한 문제를 다른 문제에 대해 유사하게 적용하지 못한다 라는 이유 등으로 폄하되기도 하지만, 최근 들어서는 전문가의 특징으로서 인정받고 있다. 

These strong problem-solving routines are now recognised and celebrated as a hallmark of expertise, 25 although they are also identified and denigrated as ‘limits’ to human thinking in the form of ‘heuristics and biases’,26 the ‘restricted solution sets’ of experts,27 and ‘failures of analogical transfer’ from one problem to the next.28

우리가 지금 가지고 있는 이론이 일반적으로 '참'일수는 있지만, 구체적 상황에 대해 일반화시킬 만큼 실용적인 가치를 가지지는 못한다. 비록 그것이 참이라고 하더라도 일상 교육현장에서, 교육과정 개발을 위해서 무엇을 해야 하는지에 대해서는 확실한 도움이 되지 않는다는 것이다.

Our current theories may be generally ‘true’, but they are too generalisable to be of practical local value: even if we choose to acknowledge their ‘truth’, we still do not have a clear sense of what to do with this ‘truth’ in terms of improving the daily practice of teaching and curricular development.

또한 실용적이고 임상적으로 가치있는 결과를 내기 위한 연구를 해야 한다는 요구가 생기고 있다. 개개의 상황과 맥락마다 효과적으로 적용되어질 수 있는, 보여질 수 있는 가장 성공적인 개입방법이 가장 좋은 '강한'문제해결법일 수 있겠지만, 개개의 상황에 맞는 방법들은 잘 일반화되기가 쉽지 않다.

At the same time, relevant to the second set of debates regarding the call for research with practical, clinically valuable outcomes, it may be that the most demonstrably successful interventions can best be understood as strong problem-solving routines in that they are effectively adapted to local constraints and contexts, but, as a result, they are too deeply embedded in the local curricular context to be of much general value

이 두 가지 문제를 종합해보면, 일반화할 수 있는 교육 이론은 개개 상황에 대한 실용적인 가치를 가지기에는 너무 약하고, 너무 국소화된 문제해결법은 일반화하기가 어렵다고 할 때, 교육 문제에 대해 종합적으로 일반화된 해결법을 내놓는 것은 불가능하다는 결론에 다다르게 된다.

Combining these two constructions of the problem of education research has serious implications for the field. If generalisable education theories are too weakly generalisable to be of local practical value, and if localised solutions are too strongly embedded in the local context to be of general practical value, we must conclude that there may be no generalisable solutions to our collective education problems

---

Norcini는 상황이 가진 특수함은 '의학교육에 대한 한 가지 사실'이라고 말했다.

Norcini has been credited with suggesting that context specificity is ‘the one fact of medical education’. 8

그러나 아마 이제는 상황 특수성을 의학교육연구의 핵심적 사실로 생각해야 할 때가 된 것 같다. 만약 그렇다면 우리 분야에 맞는 '과학'을 정의하고 구성할 필요가 있다. 즉, 만약 구체적 상황이 '줄일 수 없는 공변량'이라면 '복제 가능한 교육 프로그램'은 도달할 수 없는 목표이다. 따라서 의미있는 수준에서 일반화할 수 있는 해결책이 없다면 과학, 그리고 과학적 논의의 목적과 가치는 무엇이 되어야 할까?

Perhaps the time has also come to consider the possibility that context specificity is also a core ‘fact’ of medical education research. If so, we as a research community must begin grappling with the definition and construction of ‘science’ for our field. That is, if local context is the ‘irreducible covariate’, if the search for ‘replicable educational programmes’ is an implausible goal, if there are no meaningfully generalisable solutions in health professional education, then what is the purpose and value of science and scientific discourse in the health professional education field?

이 문제에 대한 답을 하기 위해서는 교육의 과학이라는 것은 흔히 부딪치는 문제에 대한 일반화가능한 해결책을 찾는 것이 아니라, 문제를 바라보는 더 바람직한 방법을 공유하는 것이 되어야 한다고 생각한다.

As a start towards addressing this question, I would like to suggest that the science of education is not about creating and sharing better generalisable solutions to common problems, but about creating and sharing better ways of thinking about the problems we face.

따라서 우리의 과학적 논의(논문 등)의 가치는 일반적인 해답을 찾는 것이 아니라 각자가 가진 문제에 대해서 더 나은 사고를 하는데 도움이 되어야 한다. 마찬가지로 논문을 읽는 것은 나와있는 해답을 맹목적으로 가져다 쓰기 위한 것이 아니라, 다른 사람이 문제를 해결한 방식을 나의 문제에 어떻게 적용할 것이며, 그러기 위해서는 무엇이 필요하며, 왜 그렇게 해야 하는지를 생각할 수 있는 과정이어야 한다.

Thus, the value of our scientific discourse (our talks and papers) will arise not from our ability to create a general solution that will apply to everyone’s problems or even our ability to solve each other’s problems, but rather from our ability to help each other think better about our own versions of the problems. Likewise, the value of reading the literature will not depend on our finding a solution that we can blindly adopt, but, rather, on reflecting on how to incorporate others’ interpretations of a problem into our own context, on what needs to be adapted to make those interpretations relevant to our context, and on why that adaptation is necessary.

Richard Shillington의 데이터 분석에 대한 묘사를 빌리자면, 교육에 대한 논문은 '생각을 도와주는 것'이지 '생각을 대체하는 것'이어서는 안된다.

To borrow Richard Shillington’s description of data analysis, the education literature should be ‘an aid to thinking, not a replacement for’.30

따라서 논문이나 학회 발표 등은 어떤 방식을 맹목적으로 도입하기 위한 것이 아니어야 한다. 문제에 대한 새로운 이해방식을 드러내고, 기존의 이해방식의 한계를 밝힐 수 있어야 한다.

Thus, we should not construct our papers and talks around the idea that we have an answer to some problem that others can blindly adopt. Our scientific discourse should not focus on the answers at all. Rather, it should focus on expressing a new understanding of the problem or on the flaws in traditional understandings of the problem.

---

교육은 이론만 만들어가는 학문이 아니며, 교육은 실천의 학문이다. 

Of course, education is not only a theory-building discipline; it is also a field of practice and, by focusing this discussion on a movement towards understanding, I do not suggest that we ignore the goal of positively affecting education practice.

교육에 대한 연구는 로켓을 만드는, 공식을 잘 만들어서 대입하기만 하면 확실하게 정의된 결과가 나오는 구조화된, 선형의 시스템이 아니다. 교육에 대한 연구는 물리학과의 유사점을 찾는다면 양자역학이나 카오스이론에 더 가까운 것이라고 할 수 있다.

Education research is not rocket science, which is built on a structured, linear system with a straightforward set of factors which we can stick into a well-articulated formula to predict a clearly defined outcome. Rather, if we must make analogies to the physical sciences, we might do better to look to quantum mechanics and chaos theory

---

Med Educ. 2010 Jan;44(1):31-9. doi: 10.1111/j.1365-2923.2009.03418.x.

It's NOT rocket science: rethinking our metaphors for research in health professions education.

Regehr G.

Source

Centre for Health Education Scholarship, Faculty of Medicine, University of British Columbia, Vancouver, British Columbia, Canada. glenn.regehr@ubc.ca

Abstract

CONTEXT:

The health professional education community is struggling with a number of issues regarding the place and value of research in the field, including: the role of theory-building versus applied research; the relative value of generalisable versus contextually rich, localised solutions, and the relative value of local versus multi-institutional research. In part, these debates are limited by the fact that the health professional educationcommunity has become deeply entrenched in the notion of the physical sciences as presenting a model for 'ideal' research. The resulting emphasis on an 'imperative of proof' in our dominant research approaches has translated poorly to the domain of education, with a resulting denigration of the domain as 'soft' and 'unscientific' and a devaluing of knowledge acquired to date. Similarly, our adoption of the physical sciences''imperative of generalisable simplicity' has created difficulties for our ability to represent well the complexity of the social interactions that shape education and learning at a local level.

METHODS:

Using references to the scientific paradigms associated with the physical sciences, this paper will reconsider the place of our current goals for education research in the production and evolution of knowledge within our community, and will explore the implications for enhancing the value of research in health professional education.

CONCLUSIONS:

Reorienting education research from its alignment with the imperative of proof to one with an imperative of understanding, and from the imperative of simplicity to an imperative of representing complexity well may enable a shift in research focus away from a problematic search for proofs of simple generalisable solutions to our collective problems, towards the generation of rich understandings of the complex environments in which our collective problems are uniquely embedded.

Comment in

• A call for more RCTs (Research that is conceptual and thoughtful). [Med Educ. 2010]
• The value of paradoxical tensions in medical education research. [Med Educ. 2010]