'연구 성과'고르기 : 더 큰 그림을 보자

'연구 성과'고르기 : 더 큰 그림을 보자

Choosing study outcomes: keeping an eye on the big picture

Phillippa Poole1 & Boaz Shulruf 2

의학교육은 의과대학 선발의 준비과정로부터 시작되는 연속체이다.

"Medical education is a continuum which begins with preparation for selection to medical school"

각 단계마다 공식(formal) 교육과정과 비공식(informal) 교육과정이 갖는 영향력의 균형이 달라지는 것처럼, 이해관계자와 임상학습환경이 갖는 영향도 매번 바뀐다. 그리고 이같은 환경은 그 전에 무엇을 어떻게 배웠든지간에 의사로서의 수행능력에 영향을 미친다.

"At each stage, the balance between  the impacts of the formal and the informal curricula on learning varies, as do the stakeholders and clinical learning environments. These environments may impact upon performance, notwithstanding any prior learning.4"

Engestrom Y. Expansive learning at work: toward an activity theory reconceptualisation. J Educ Work 2001;14:133–56.

보건의료와 교육은 둘 다 다른 요소(agent)들이 어떻게 하느냐에 따라서 반응하고 재반응(act and react)하가며 복잡하게 적응해가는 시스템(complex adaptive systems)이다.

"Health care and education are both complex adaptive systems in which parallel agents constantly act and react to what other agents do.5"

Waldrop M. Complexity: The Emerging Science at the Edge of Order and Chaos. Harmondsworth: Penguin 1994;380

Cook과 West에 의해서 제기된 방법론적 문제들이 있다. 희석(Dilution), 작은 샘플크기, 인과관계 설명의 어려움, 선택에 의한 비뚤림, 그리고 시험에 대해 가르쳐 주는 것(teaching to the test) 등이 있다.

"some of the methodological issues raised by Cook and West, namely: dilution; small sample sizes; difficulty in establishing causation; biased outcome selection, and teaching to the test.1"

Cook D, West C. Perspective: reconsidering the focus on ‘outcomes research’ in medical education: a cautionary note. Acad Med 2013;88:162–7.

첫째로 두 논문은 개발도상국의 상황에서 CME활동을 보여주었다.

둘째로 CME활동을 더 열심히 하는 의사의 환자에서 더 잘 낫는다는 것을 보여주었다.

셋째로 유익한 교육활동이나 연구활동이 비싸거나 광대해야만 하는 것은 아니라는 것을 보여주었다.

마지막으로 의학교육이나 성과연구에서 '성과(outcome)'을 어떻게 선택할 것인가에 대해서 다시 한번 생각해보게 한다.

"Firstly, each paper9,10 validates, in the context of a developing country, a CME activity that has been used elsewhere for years. Secondly, they each suggest that patients of doctors who are more engaged in CME activities may do better, supporting the place of CME within health services. Thirdly, neither the educational activity nor the research needed to be expensive or expansive to be informative. Finally, the papers9,10 trigger reflection on the choice of outcomes in medical education, and whither outcomes research."

Boushehri E, Khamseh ME, Farshchi A, Aghili R, Malek M, Ebrahim Valojerdi A. Effects of morning report case presentation on length of stay and hospitalisation costs. Med Educ 2013;47:711–6.

Mamede S, Loyens S, Ezequiel O, Tibirica S, Penaforte J, Schmidt H. Effects of reviewing routine practices on learning outcomes in continuing medical education. Med Educ 2013;47:701–10.

대부분의 독자들은 '성과'를 떠올릴 때 Kirkpatrick 평가모형의 위계에 익숙할 것이다. 다른 프레임은 학습자, 환자, 시스템 수준을 보기도 한다.

"Most readers will be familiar with Kirkpatrick’s hierarchy of evaluation, within which outcomes may be considered at the levels of, respectively, learner reaction, learning, behaviour or results.11 Other frameworks consider outcomes at the learner, patient and system levels. 3,12 "

Nabulsi M, Harris J, Letelier L, Ramos K, Hopayian K, Parkin C, Porzsolt F, Sestini P, Slavin M, Summerskill W. Effectiveness of education in evidence-based healthcare: the current state of outcome assessments and a framework for future evaluations. Int J Evid Based Healthc 2007;5:468– 76.

Tilson J, Kaplan S, Harris J, Hutchinson A, Ilic D, Niederman R, Potomkova J, Zwolsman S. Sicily statement on classification and development of evidencebased practice learning assessment tools. BMC Med Educ 2011;11:78.

이 이란에서의 연구는 환자 재원기간이 2일 감소했다는 것을 보여주면서 통상적인 아침 회진에서 다뤄진(presented)환자들에서 비용이 감소했다는 것을 같이 보여주었다. 이러한 결과는 Kirkpatrick 모델에서 '결과' 단계에 해당하는 것이며, Tilson의 모델에서 '환자'와 '시스템' 단계에 해당하는 것이다.

"The Iranian study shows a tantalising reduction of 2 days in patient length of stay and a parallel decrease in the costs of patients presented at a routine morning report.9 These are outcomes that can be categorised as referring to Kirkpatrick’s11 ‘results’ level, or Tilson et al.’s12 ‘patient’ and ‘system’ levels"

보건의료교육은 전 세계에서 보건의료에 지출하는 비용 중 2%도 되지 않으며, 이는 이 분야가 노동집약적이고 재능에 의해 움직이는 산업인 것을 고려하면 무척 낮은 수준이다.

"Health professional education consumes less than 2% of health expenditure worldwide, which is low for a ‘labour-intensive and talent-driven industry’.6"

Bhutta Z, Chen L, Cohen J et al. Education of health professionals for the 21st century: a global independent commission. Lancet 2010;375:1137–8.

연구를 수행한 사람에서의 관점, 그리고 그 연구가 어떤 목적으로 쓰일지에 대한 고려가 필요하다. 모든 연구결과는 '기전(mechanism)'과 '맥락(context)'의 조합을 통해 나타난다. 어떤 방식이 좋은지를 따질 때는 이 둘을 모두 고려해야 한다.

"Hence, consider the perspective from which the research is conducted and the purposes to which the research may be put.18 Any research outcome must result from a combination of ‘mechanism’ plus ‘context’; research into what works must take both of these aspects into account.19"

Yardley S, Dornan T. Kirkpatrick’s levels and education ‘evidence’. Med Educ 2012;46:97–106.

Pawson R, Tilley N. Realistic Evaluation. London: Sage Publications 1997;235.

의사들의 건강과 장기간에 걸친 의사들의 자기만족감도 중요한 부분이 되어간다.

"Outcomes that refer to doctors’ health and their satisfaction with their roles over long periods of time are increasingly important.21"

Wallace J, Lemaire J, Ghali W. Physician wellness: a missing quality indicator. Lancet 2009;374:1714–21.

---

Med Educ. 2013 Jul;47(7):645-8. doi: 10.1111/medu.12210.

Choosing study outcomes: keeping an eye on the big picture.

Poole P, Shulruf B.

Source

Department of Medicine, University of Auckland, Auckland, New Zealand. p.poole@auckland.ac.nz

Comment on

• Effects of morning report case presentation on length of stay and hospitalisation costs. [Med Educ. 2013]
• Effects of reviewing routine practices on learning outcomes in continuing education. [Med Educ. 2013]

(http://apod.nasa.gov/apod/ap030426.html)