Kirkpatrick의 4단계 평가 모델을 활용한 이종욱-서울 프로젝트 1차년도 성과 평가

서울대학교 의과대학 의학교육학교실

이승희, 신좌섭, 김도환, 김은정, 황진영, 윤현배





2011년 시작된 '이종욱-서울 프로젝트'는 라오스 국립의대 교수진에게 의학 및 의료기술 교육을 제공하는 사업이다.  이 프로젝트는 한국의 보건의료 발전 모델을 개발도상국에 적용하는 중요한 시도로 받아들여지고 있을 뿐만 아니라 유사한 원조 프로젝트가 여러 국가들로 확대되고 있다는 점에서 그 중요성을 더한다. 따라서 우리는 프로젝트 효과성을 평가하여 개선 방향을 제시하고 나아가 이종욱-서울 프로젝트의 미래 방향에 대한 기초자료로 삼고자 한다.

Purpose: The Lee Jong-Wook Seoul Project, which began in 2011, is a training program that aims to educate faculty members of Lao University of Health Sciences in medical knowledge and skills. The project has tremendous significance, attempting to apply the Korean health care developmental model to developing countries. Precise evaluation of the project outcome must be performed to enhance the effectiveness, improve the shortcomings, and adjust the future direction of the program.


교육프로그램의 성과 평가는 Kirkpatrick의 4단계 모형을 기반으로 수행되었다. 프로그램 진행 중간과 종료 시점에 지도교수와 교환교수에게 2회의 설문조사를 하였으며, 이를 바탕으로 Kirkpatrick 모형의 1단계와 2단계를 평가하였다. 3단계는 1차년도 교환교수들이 연수를 마치고 귀국 8개월 후에 라오스 현지를 방문하여 교환교수와 그들의 동료를 대상으로 다면평가를 실시하였다.

Methods: Trainers and exchange professors were asked to fill out questionnaires in the middle and at the end of the program. Eight months after its completion, an evaluation team visited Lao and interviewed each exchange professor individually. Also, 360-degree feedback was obtained from their colleagues. We analyzed the answers to the questionnaires, based on Kirkpatrick’s 4-level model.


1단계(반응) 수준의 평가에 대해서는 지도교수와 교환교수 모두 비슷한 수준의 긍정적 응답을 보였다. 2단계(학습) 수준의 평가에서는 지도교수, 교환교수 모두 지식 및 술기의 향상이 있었다는 것에는 공통적인 의견을 나타냈으나, 그 수준에 있어서는 교환교수가 스스로의 성취도를 조금 더 과대평가하는 경향이 있었다. 3단계(전이) 수준의 평가에 있어서 교환교수가 연수 프로그램에서 얻은 지식, 경험, 자료를 많이 공유하고 있다는 것을 알 수 있었다. 

Results: The trainers and exchange professors had positive reactions to the program. All participants felt that their knowledge and skills improved (in their respective fields), although the actual improvement was not extensive, according to their trainers' assessments. The 360-degree feedback demonstrated that the participants actively passed on their experience, knowledge, and skills to their colleagues on returning to work.


4단계의 평가가 이루어지지 않았고, 평가 측면에서 학업성취평가, UHS내 양적 데이터 수집, 다면평가 데이터 수집 등의 측면에서 아직 극복해야 할 난관(challenge)이 많지만 1차년도 이종욱-서울 프로젝트를 통해 교환교수들은 많은 것을 학습하고 현지에서 활용하고자 노력한다는 것을 확인할 수 있었다.

Conclusion: Although a 4-level evaluation was not conducted and despite the limitations in examining academic achievement, interviewing Lao professors, and acquiring quantitative data at Lao University of Health Sciences, this project has demonstrated its value in the development of individual professors and their colleagues.



Fig. 1 
Brief Description of the Four Levels of Kirkpatrick's Evaluation Model



Table 1 
Profile of Exchange Professors

M: Male, F: Female, UHS: University of Health Sciences.

a)Completed 6 month-training.



Table 2 
Reaction to Training Program

Data are presented as mean±SD.

a)t-test between trainers' and exchange professors' responses at final evaluation, b)Based on the assumption that the major class of the same school year average is 50 in Seoul National University College of Medicine



Table 3 
Evaluation of Knowledge at Pre-training and Post-training

Data are presented as mean±SD.

a)t-test between trainers' and exchange professors' responses at final evaluation, b)Based on the assumption that the major class of the same school year average is 50 in Seoul National University College of Medicine.



Table 4 
Changes in Behavior Related to Teaching



Table 5 
Changes in Behavior Related to Medical Practice



Table 6 
Evaluation of Training Program Management






Korean J Med Educ. 2014 Mar;26(1):41-51. Korean.
Published online 2014 March 05.  http://dx.doi.org/10.3946/kjme.2014.26.1.41 
© The Korean Society of Medical Education. All rights reserved.
Evaluation of first year outcomes of Lee Jong-Wook Seoul Project using Kirkpatrick's four-level evaluation approach

Seunghee Lee, Jwa-Seop Shin*, Do-Hwan Kim, Eun Jeong Kim, Jinyoung Hwang and Hyun Bae Yoon

Department of Medical Education, Seoul National University College of Medicine, Korea.

*Corresponding Author: Jwa-Seop Shin. Department of Medical Education, Seoul National University College of Medicine, 103 Daehak-ro, Jongno-gu, Seoul 110-799, Korea. Tel: +82.2.740.8175, Fax: +82.2.745.6373,Email: hismed1@snu.ac.kr 
Received October 17, 2013; Revised November 19, 2013; Accepted November 21, 2013.


+ Recent posts