의학교육연구의 퀄리티에 대한 논의의 폭 넓히기(Med Educ, 2009)

의학교육연구의 퀄리티에 대한 논의의 폭 넓히기(Med Educ, 2009)

Broadening the debate about quality in medical education research

Kevin W Eva

조수처럼 정기적으로 의학 교육 연구의 세계는 경험적으로 접근 한 접근을 촉진시키는 홍수와 누적 된 발견의 힘을 비난하는 쇠퇴 사이에서 끊임없이 진동하는 것으로 나타납니다.

As regular as the tide it would appear that the world of medical education research finds itself in an endless oscillation between the flood of promoting the empirically- grounded approach and the ebb of criticising the strength of the findings that have accumulated.

두 가지 국제 회의에서 우리 분야의 연구의 엄격함과 관련성이 부족하다는 점을 지적한 후 기준을 높이기위한 노력을 기울였다. 둘 다 Todres 등이 2007 년에 발표 한 논문을 인용하며, 의학 교육 연구의 전체 2/3는 자연 관찰이었고 3 % 미만은 무작위 통제 시험 (RCT) 디자인을 사용했다는 것을 지적했다. 이 호에 실린 편지에서 Jones 등 2)은 2007 년 기사에서 RCT (또는보다 일반적으로는 정량적 인 방법)를 옹호하지는 않았지만, 어떤 연구 설계를 사용하든지, 그 설계에 대한 최고 수준의 실천에 익숙해 져야한다고 주장한다.

at two international conferences coaxed the field towards rais- ing its standards after pointing out that both the rigour and relevance of research in our field is lacking. Both used Todres, et al.’s1 2007 paper to point out that a full two thirds of medical education re- search studies were observational in nature while less than three per cent utilised randomised controlled trial (RCT) designs. In a letter published in this issue Jones, et al.2 clarify that they did not intend to advocate for RCTs (or quantitative methods more gener- ally) in that 2007 article, but rather, that their message was that what- ever research design is used it should be used to the highest standards of practice for that design.

그러나 생물 의학 공동체의 증거 위계 구조가 교육적 측면에서 부적절하다고 말할 수는 있지만, 어떤 진행중인 연구가 학문적 진보를 이루는지 여부를 판단하는 방법에 관한 대안적 지침을 제공하는 것은 매우 다른 것임을 깨달았습니다. 우리 분야에서 다른 표준이 필요하다고 생각한다면, 그 표준이 무엇인지 결정할 책임은 우리에게 있습니다.

I realized, however, that it is one thing to say that the biomedical community’s hierarchy of evidence is insufficient in educational contexts, but quite another to offer an alternative model that provides guidance regarding how to judge whether or not the research being performed is enabling progress to be made. If we think our work in the field needs to be held to a different standard, the onus falls upon us to determine what that standard should be.

근본적인 문제는 다양성입니다. 브라이언 호지스 (Brian Hodges)는 다음과 같이 말했다.

A fundamental problem in this regard is diversity. Brian Hodges has so eloquently taught us, 

다른 담론 (세상을 보는 방법)이 명백하게 또는 암묵적으로 서로 충돌할 수 있으며, 이는 그 분야와 개별 학생 모두에게 잠재적으로 부정적 영향을 줄 수 있다.

that different discourses (ways of seeing the world) can conflict with one another, either explicitly or implicitly, with poten- tially negative repercussions for both the field and individual stu- dents.7 

그러나 전반적으로 내 경험에 따르면, 의학교육 연구 분야에서 일하는 대부분의 사람들은 한 연구자가 개인으로서 보유하고 있는 가정, 방법 및 세계관이 HPE와 관련된 모든 문제를 해결해줄 수 없음을 인식하고 있다. 이것의 문제는 rigour에 대한 보편적인 표준을 정의하기가 어렵다는 것이다. 상대적으로 좁은 의학 분야에서도 임상의와 연구자가 문헌을 비판적으로 평가할 수 있도록 돕기 위해 개발되어, 이제는 널리 사용되고 있는 'users' guide'가 있는데, 이 시리즈에서도 마지막에는 '어떻게 이 가이드를 사용할 것인가'에 대한 users' guide를 제공하고 있다. 8

On the whole, however, my experience has led me to believe that most people working within the field of medical education research recognize that the assumptions, methods, and world- views that any of us hold as indi- viduals are insufficient to address every issue of relevance to educa- tors in the health professions. The challenge this creates in terms of defining universal standards for rigour are substantial. Even within the relatively narrow field of med- icine the now omnipresent ‘users’ guides,’ developed to assist clini- cians and researchers in critically appraising the literature, the last in the series effectively amounting to a users’ guide on how to use the users’ guides.8

나는 그 답이 과학적 진보가 방법과 관련이 없다는 인식에 어딘가에 있다고 제안 할 것이다.

I would propose that the answer lies somewhere in the recognition that scientific pro- gress has little to do with method.

Isaac Asimov는 '과학에서 듣는 가장 흥미로운 구절은 '유레카! ''(나는 그것을 발견했습니다!)가 아니고 ''그것 참 흥미롭군요... ''라고 말했습니다. 연구자로서 우리의 목표는 관심있는 현상 (그리고 실제적인 관련성)을 식별하고, 그러한 현상에 대한 호기심이 기존의 경험적 발견과 이론을 탐구하고, 그 특정 현상을 이해할 수 있는 연구 방법을 생성하도록 유도하는 것이다. (현상이 교육과 관련된 경우 일반적으로 그렇듯이) 현상이 복잡하면 어떤 한 방법이라도 불충분 할 수 있습니다. 사실, 리차드 보이드와 다른 과학 철학자들은 realist들이 [과학에서의 방법은 이론이 방법에 의해 유도되는 것 만큼이나 과학 이론에 의해 만들어지는 것]이라고 주장 할만큼 멀리까지 간다고 생각했다. realist 들은 모든 새로운 관찰은 reality에 대한 이해에 한 걸음 더 다가갈 수 있게 해주며, 현재의 신념은 언제까지나 현실의 근사치로만 여겨진다고 믿는다.

Isaac Asimov once said ‘The most exciting phrase to hear in science, the one that heralds discoveries, is not ‘‘Eureka!’’ (I found it!) but ‘‘That’s funny…’’’. As researchers our goal should be to identify phenomena of interest (and prac- tical relevance) and to let curiosity about those phenomena drive an exploration of existing empirical findings and theories as well as driving the generation of research methods tailored to the purpose of better understanding that particu- lar phenomenon. Any one method is likely to be insufficient if the phenomenon is complex (as is typically the case if the phenome- non is related to education). In fact, Richard Boyd and other phi- losophers of science considered realists go so far as to argue that methods in science are produced by scientific theory just as much as theory is driven by method. The realists believe that every new observation brings us closer to understanding reality even while current beliefs are only ever con- sidered approximations of reality.9

이 사설에서 나는 의학교육 연구를 논의 할 때 '근거'라는 단어를 사용하는 것을 의도적으로 피했다. 왜냐하면 이 단어(Evidence)가 이제는 너무 협소하게 사용되어, 'available body of information'이 아니라, 무엇인가가 작동work한다는 증거proof를 의미하게 되었기 때문이다. 10 최상의 RCT는 특정 교육 개입이 효과적 이었음을 증명할 수 있지만, 특정 코스 나 워크샵보다 일반적인 현상에 대해 이해하지 못한다면, 더 넓은 지역 사회에 실질적인 도움이되지는 않을 것입니다 .11 Scholarship이란 문헌에 나타난 경험적 발견을 자신의 지역 상황의 요구와 제약에 가장 잘 적응시키는 방법을 결정하는 것에 관한 것입니다 (그리고 자신의 적응adaptation이 목표를 충족 시키도록 지속적인 품질 향상 운동에 참여하는 것). Scholarship이란 단순히 처방집에서 가장 효과적인 교육 치료법을 주문하는 것이 아닙니다.

Throughout this editorial I have deliberately avoided using the word ‘evidence’ when discussing research in medical education. That is because the word has been hijacked to narrowly come to mean proof that something works rather than the broader definition of an available body of information.10 The very best RCT may prove that a specific educational intervention was effective, but if it does not advance understanding of a more general phenomenon than that particular course or workshop then it will not be of substantial use to the broader community.11 Scholarship is about determining how to best adapt the empirical findings present in the literature to the needs and constraints of one’s local context (and engaging in continuous quality improvement exercises to ensure that one’s adaptations are meeting their mark). It is not about simply ordering the most effective educa- tional therapy off the formulary.

의학 교육에서 수행되는 연구의 질을 판단한다는 측면에서, 이것이 의미하는 바는 사용자 안내서와 같은 '객관적인'체크리스트가 불충분하다는 것입니다. 어떤 방법론적 기준을 몇 가지나 충족시키는지를 단순히 정량화하는 것 만으로는 불충분 할 것이다.

What this means in terms of judg- ing the quality of research being performed in medical education is that any ‘objective’ checklist, such as those advocated by the users’ guides, will be insufficient. Any simple quantification of the fre- quency with which certain method- ological standards are met will be insufficient.

그러나 나는 우리가 의학교육 연구의 퀄리티를 정의하기를 바라며, 이 때 특정 연구방법론을 사용하였는지 여부가 아니라, 어떤 문제에 대해서 얼마나 정교하게sophisticated하게 이해하게 되었는가를 기준으로 해야 한다.

In doing so, however, my sincere hope is that we will define the quality of medical education research based on judgments of whether or not progress is being made with regard to how sophisti- cated our understanding of the problems becomes, rather than on whether or not a particular research methodology has been adopted.

그럼에도 불구하고 특정 방법 론적 기준을 토대로 우리의 노력을 정의하는 것은, 우리의 생각과 교육 혁신에서 진정한 주장을 진정할 수있는 절호의 기회를 놓치는 것이다.

Still, the extent to which we define our efforts purely based on any particular methodological criteria is the extent to which we miss a great opportunity to truly stake claims to progression in our thinking and our educational innovations.

---

Med Educ. 2009 Apr;43(4):294-6. doi: 10.1111/j.1365-2923.2009.03342.x.

Broadening the debate about quality in medical education research.

Eva KW.

PMID:

 

19335567

 

DOI:

 

10.1111/j.1365-2923.2009.03342.x