의학교육연구의 질에 관한 논의 확대(Med Educ, 2009)

의학교육연구의 질에 관한 논의 확대(Med Educ, 2009)

Broadening the debate about quality in medical education research

Kevin W Eva

두 사람 모두 Todres의 2007년 논문을 인용하며 의학교육연구의 2/3은 observational 연구이며, 3%이하만이 RCT를 활용했다고 지적했다. 이번 호에서 Jones 등은 2007년 논문이 RCT를 지지하기 위한 것은 아니었다고 밝혔다. 그들이 전하고자 했던 메시지는, 연구 디자인이 어떻든 그 설계에 관한 최고의 스탠다드를 적용해야 한다는 것이었다고 한다. 이는 중요한 해명이다. 의학교육연구가 대부분 관찰연구라는 사실을 바탕으로 의학교육연구가 정체되어있다고 주장하는 것으로부터 관찰연구가 다른 방법론에 비해서 열등한 것이라는 추론을 내리는 함정에 빠져서는 안된다고 Dornan은 말한다.

Both used Todres, et al.’s1 2007 paper to point out that a full two thirds of medical education re- search studies were observational in nature while less than three per cent utilised randomised controlled trial (RCT) designs. In a letter published in this issue Jones, et al.2 clarify that they did not intend to advocate for RCTs (or quantitative methods more gener- ally) in that 2007 article, but rather, that their message was that what- ever research design is used it should be used to the highest standards of practice for that design. This is an important clarifi- cation. One could easily be forgiven for inferring that claims of stagnation within medical educa- tion research accompanied by the observation that the majority of studies in the field are observa- tional implies that observational studies (and the qualitative research encompassed in that broad label) are less desirable than other methods, as indicated by Dornan, et al.,3 in their reply.

이 editorial은 이 토론을 반복하기 위한 것이 아니라 우리가 이 연구를 어떻게 전개시킬까에 대해 성찰하기 위함이다. 

This edito- rial is not intended to simply rehash that discussion, but rather, is aimed at prompting reflection on how we might move the dis- cussion forward by changing the terms of the debate.

생의학계의 '근거의 위계'는 교육적 맥락에서는 불충분하며, 수행된 연구가 진전을 가져왔는가에 대한 평가를 위해서는 대안적 모델이 필요하다. 만약 우리의 연구가 다른 기준에 따라 평가되어야 한다면 그 기준이 무엇이 되어야 하는가를 정하는 책임은 우리에게 있다.

It was then that I realized, however, that it is one thing to say that the biomedical community’s hierarchy of evidence is insufficient in educational contexts, but quite another to offer an alternative model that provides guidance regarding how to judge whether or not the research being performed is enabling progress to be made. If we think our work in the field needs to be held to a different standard, the onus falls upon us to determine what that standard should be.

이 때 근본적 문제는 다양성이다.

A fundamental problem in this regard is diversity.

이에 대해서 너무 이상적인 모습만 그려서는 안된다. Brain Hodges가 우리에게 우아하게 가르쳐 준 바와 같이 서로 다른 담화(세상을 바라보는 관점)가 서로 (암묵적이든 명시적이든) 충돌할 수 있으며 , 두 분야는 물론 학생에게도 부정적 결과를 가져올 수 있다. 그러나 전체적으로는 내 경험에 따르면 의학교육연구에 종사하는 대부분의 사람들은 우리 중 그 누구의 가정/방법/세계관도 교육의 모든 이슈를 설명하기엔 부족하다는 것을 안다. 전세계적으로 통용되는 기준을 정의하는 데 있어서 이것이 야기하는 문제는 엄청나다.

One should not paint too Utopian a view in thisregard as it is undoubtedly true, asBrian Hodges has so eloquently taught us, that different discourses (ways of seeing the world) can conflict with one another, either explicitly or implicitly, with poten- tially negative repercussions for both the field and individual stu- dents.7 On the whole, however, myexperience has led me to believe that most people working within the field of medical education research recognize that the assumptions, methods, and world- views that any of us hold as indi- viduals are insufficient to address every issue of relevance to educa- tors in the health professions. The challenge this creates in terms of defining universal standards for rigour are substantial. 

우리 스스로 발전을 이뤘다고 생각하는 것을 더 잘 보여주는 준거의 집합을 어떻게 제안할 수 있을까?

How then can we put forward a set of criteria that will enable the next set of authors who choose to conduct a review of the quality of research in medical education to better represent the goals of the field and the progress that we think is being made? It is a critically important question be- cause, quite frankly, it would not bother me in the least if the Todres, et al. study were repeated 10 years from now only to bemoan that the distribution of research methods was unchanged.

 

Isaac Asimov는 '과학계에서 들을 수 있는 말 중 가장 흥분되는 말은 '유레카!'라는 새로운 발견의 도래를 알리는 말이 아니라, '그거 흥미로운데요...' 라는 말이다' 라고 한 적이 있다. 연구자로서 우리의 목표는 관심이 되는 현상을 밝혀내고, 이 현상에 대한 호기심이 기존의 경험적 발견을 탐색하게끔 하고, 그 특정 현상을 더 잘 이해하기 위한 연구방법 뿐 아니라 이론을 만들어내는 것이다. 현상이 복잡하다면 어떤 방법도 독자적으로는 불충분하다.

Isaac Asimov once said ‘The most exciting phrase to hear in science, the one that heralds discoveries, is not ‘‘Eureka!’’ (I found it!) but ‘‘That’s funny…’’’. As researchers our goal should be to identify phenomena of interest (and prac- tical relevance) and to let curiosity about those phenomena drive an exploration of existing empirical findings and theories as well as driving the generation of research methods tailored to the purpose of better understanding that particu- lar phenomenon. Any one method is likely to be insufficient if the phenomenon is complex (as is typically the case if the phenome- non is related to education).

실제로  Richard Boyd 와 다른 과학철학자들은 이론이 방법에 의해서 만들어지는 것 만큼이나 방법이 이론에 의해서 만들어진다고 했다.

In fact, Richard Boyd and other phi- losophers of science considered realists go so far as to argue that methods in science are produced by scientific theory just as much as theory is driven by method.

이 editorial에 있어서 나는 고의적으로 'evidence'라는 단어를 사용하지 않았다. 이는 이 단어의 의미가 '활용가능한 정보의 총체'라는 의미가 아니라 '뭔가 효과가 있었던 것'이라는 협소한 의미로 갈취되었기 때문이다. 의학교육연구와 같이 복잡한 영역에서 나는 더 광범위한 정의에 초점을 맞춰야 한다고 생각한다. 우리의 실제 목표와 관련된 경험적(empirical) 정보의 축적을 통한 발전을 위해 고군분투하는 것이며, 다양한 종류의 정보에 순위를 매겨 고정시키거나, evidence의 위계를 협소하게 정의하지 말아야 한다.

Throughout this editorial I have deliberately avoided using the word ‘evidence’ when discussing research in medical education. That is because the word has been hijacked to narrowly come to mean proof that something works rather than the broader definition of an available body of information.10 In complex domains like medical education research I think we are better served by focusing on the broader definition, striving for progress through the accumulation of empirical (i.e., based on verifi- able observations) information that is relevant to our practical aims than we are by getting locked into placing different types of informa- tion into a static and inevitably narrowly defined hierarchy of evidence.

바로 그 최고의 RCT라는 것조차 '효과적'이라고 밝혀질 수 있지만, 그 조차도 특정 워크숍이나 과정에 대한 것을 넘어서는 더 일반적인 현상의 이해에 도움이 되지 않는다면, 더 폭넓은 커뮤니티 차원에서는 충분히 활용가능한 것이 아닐 수 있다. Scholarship란 문헌에 존재하는, 특정 맥락으로 제한되는 경험적 결과를 적용할 수 있는 최선의 방법을 찾는 것이다. 이는 가장 효과적인 교육 처방을 공식에 따라서 주문하는 것과 같이 단순화 될 것이 아니다.

The very best RCT may prove that a specific educational intervention was effective, but if it does not advance understanding of a more general phenomenon than that particular course or workshop then it will not be of substantial use to the broader community.11 Scholarship is about determining how to best adapt the empirical findings present in the literature to the needs and constraints of one’s local context (and engaging in continuous quality improvement exercises to ensure that one’s adaptations are meeting their mark). It is not about simply ordering the most effective educa- tional therapy off the formulary. That pill doesn’t exist.

의학교육 연구의 질에 대해 판단할 때 이것이 의미하는 바는, 어떤 '객관적' 체크리스트도 불충분하다는 것이다.

What this means in terms of judg- ing the quality of research being performed in medical education is that any ‘objective’ checklist, such as those advocated by the users’ guides, will be insufficient.

의학교육 연구는 성장하고 있다.

The field of medical education research continues to grow

이 모든것이 많은 사람들이 이미 수행된 연구의 가치를 찾고 있음을 보여주는 간접적 증거이다. 우리는 Todre의 근본적 메시지에 관심을 기울여야 한다. 즉 우리 분야의 지속적 발전을 위해서는 다양한 재정지원 기관에 우리가 하는 것을 팔(sell) 방법을 생각해야 한다.

This all provides indirect evidence that a large body of people are finding value in the research that is being done. That said, we do need to heed Todres, et al.’s fundamen- tal message that to continue our progress we need to find better ways to sell what we do to various funding agencies and government organizations.

그렇게 함으로써, 나의 진정한 바람은 의학교육연구의 질을 평가할 때, 특정 방법론이 적용되었는지 아닌지를 가지고 평가하기보다는, 문제를 이해하는 데에 있어 우리가 얼마나 정교한지를 생각해볼 때, 과연 그 연구를 통해서 그러한 진전이 이루어졌는지를 기준으로 평가하는 것이다.

In doing so, however, my sincere hope is that we will define the quality of medical education research based on judgments of whether or not progress is being made with regard to how sophisti- cated our understanding of the problems becomes, rather than on whether or not a particular research methodology has been adopted.

---

Med Educ. 2009 Apr;43(4):294-6. doi: 10.1111/j.1365-2923.2009.03342.x.

Broadening the debate about quality in medical education research.

Eva KW.

PMID:

 

19335567

 

[PubMed - indexed for MEDLINE]