의학전문대학원 신입생 선발에서의 Multiple Mini-Interview

의학전문대학원 신입생 선발에서의 Multiple Mini-Interview

강원대학교 의학전문대학원 1외과학교실, 2약리학교실, 3가정의학교실, 4해부학교실, 5미생물학교실, 6내과학교실, 7진료능력개발센터

노혜린1,7, 이희제2, 박승배1, 양정희3,7, 김대중4, 김상현5, 이승준6, 채기봉1

서론

좋은 학생을 선발하는 것이 좋은 의사를 선발하는 시작이기에 의학전문대학원의 선발면접은 매우 중요하다[1].

의학과 학생 선발면접에서는 불명예스러운 전문인이 될 가능성이 있는 사람을 걸러내는 작용도 크다[2]. 이를 통해 대학은 사회에 대한 공정성의 책임을 다하게 된다[3]. 선발면접은 의사가 되기를 원하는 다양한 그룹의 응시자에게도 모두 공정한 평가의 기회를 제공해야 한다[3].

우리나라에서 주로 사용하는 의학과 학생 선발면접 형태는 다수의 면접관이 한 명 또는 다수의 응시자를 10분 내외의 짧은 시간 동안 구술 면접하는 방식이다.

이러한 면접 형태는 평가의 신뢰도를 확보하기 어렵다는 것이 단점이다. 

• 평가가 짧은 시간에 이루어지며 면접관이 사전에 충분히 면접 문항을 볼 시간이 부족하기 때문이다. 
• 면접관은 면접문항의 평가목적을 제대로 파악하지 못하고 면접을 시작할 수도 있다. 
• 또한 명확한 채점 기준이 없어 같은 응시자에 대한 점수가 면접관마다 다를 수 있다. 
• 면접관이 질문하는 형태에 따라 질문의 의미가 달라질 수도 있다. 
• 응시자마다 면접관이 달라지거나 평가문항이 달라져 형평성이 문제될 수 있다. 

따라서 이러한 면접에서는 면접관 간의 점수 차이를 줄이기 어렵고 평가의 신뢰도, 더 나아가 면접의 필요성까지 의심받게 된다. 

면접 평가의 주된 오차 요인 중 하나는 면접관에서 나온다. 

특히 면접의 결과가 선발, 배치의 기능 등 중요한 교육적 의사결정에 사용될 경우 평가자와 관련된 신뢰도는 반드시 고려해야 할 대상이 된다[4].

최근 객관구조화진료시험과 비슷한 형태로 진행되는 면접시험인 Multiple Mini-Interview (MMI)가 개발되었다[5]. 객관구조화진료시험에서 학생들은 주어진 시간 내에 여러 개의 시험방을 차례로 돌면서 부여된 진료 과제를 수행하게 된다[6]. MMI 역시 여러 개의 면접방을 차례로 돌면서 면접관과 함께 부여된 과제에 대해 면접하게 된다[7,8]. Eva et al.[5]은 MMI를 통해 0.65의 신뢰도를 확보할 수 있었다고 보고하였다.

대상 및 방법

1. 대상

2. 면접방과 면접관 배치

본교 입학전형회의에서 정한 가장 중요한 원칙은 기밀 유지였다. 이 원칙에 따라 모든 면접을 하루 내에 끝낼 것, 사례개발교수와 면접문항개발위원이 중심이 되어 기밀을 유지하며 사례를 개발할 것, 기밀 유지를 철저히 하기 위해 사례의 영역 선정이나 보완 등을 위한 자문패널 동원은 피할 것, 면접교수와 면접사례는 면접 전날 결정할 것, 실험적 연구는 면접 전날 저녁에 시행할 것, 모든 면접관은 교수로 할 것, 표준화환자는 활용하지 말 것 등의 세부 원칙을 결정하였다.

3. 평가 영역과 주제 선정

4. 사례 및 채점표 개발

의학적 상황에 익숙하지 않은 학생들을 고려하여, 쉬운 의학적 상황이나 비의학적 상황으로 제시하였다. 미리 준비된 답변보다는 본인이 가지고 있는 본연의 생각과 모습이 드러날 수 있도록 사례와 질문을 구성하였다. 암기된 전문지식을 회상하여 답하기 보다는 활성 지식을 논리적 사고를 바탕으로 이끌어내는 데 주력하였다. 남녀의 차이, 나이, 전공에 따라 더 유리하거나 불리하지 않도록 상황을 만들었다.

이와 함께 면접관들이 추가로 질문할 구조화된 탐색 질문을 사례별로 개발하였다. 핵심 질문이 상황에 대한 질문(situational question)인데 비해, 탐색 질문에는 구체적인 자신의 경험에서의 성과를 묻는 질문(accomplishment question)을 위주로 작성하였다[9].

5. 면접 진행방법

6. 면접 훈련

7. 실험적 연구

각 영역에 개발된 사례들 중 각각 1개씩이 면접 전날 선택되었다. 이 사례들로 면접 전날 실험적 연구(pilot study)를 거쳤다. 2007년 당시 자원한 2학년 학생 8명을 대상으로 하였다.

8. 자료처리 및 분석

신뢰도는 McMaster 대학에서 개발한 urGENOVA의 Windows 프로그램인 g string 4.1.0 (http://www.mcmaster.ca/perd/download)을 이용하여 일반화가능도계수로 구하였다. 오차 요인은 면접방(Station, S), 면접관(Rater, R), 채점항목의 종류(이분법적 채점 또는 총괄채점)(Group, G), 문항(Item, I) 등 4가지로 하였다.

결과

1. 전체 및 영역별 점수

2. 입학전형에 활용된 다른 성적과의 상관관계

3. 면접 영역 간의 상관관계 

면접 총점은 모든 면접 영역의 점수와 보통 수준의 상관관계(0.6~0.7)를 보였다.

4. MMI의 신뢰도

MMI의 신뢰도(Generalizability coefficient)는 0.791이었다. 면접관, 면접관과 문항간의 상호작용, 면접관과 응시자, 그리고 문항형태와의 상호작용 등의 분산성분은 0.0000이었다.

5. 학생들의 반응

1) 5점 척도 설문 결과

학생들은 MMI 형태의 시험에 만족한다(4.21±0.69)고 답하였다. 학생들은 이러한 평가방식이 약간 낯설었으며(3.35±1.03), 다른 면접에 비해 약간 더 긴장하였다(3.35±1.03)고 하였다.

2) 서술식 답변

6. 면접관들의 반응

1) MMI에 대한 면접관들의 5점 척도 설문 결과

면접관들은 면접시간은 적절하였으며(4.50±0.52), 사례는 응시자 수준에 적절하였다(4.14±0.66)고 답하였다.

2) MMI에 대한 면접관들의 서술식 답변

고찰

면접은 면접관과 응시자가 서로 대화를 통해서 얻고자 하는 자료나 정보를 수집하여 평가하는 방법이다[4]. 따라서 면접에 의한 평가는 면접관의 선입견이나, 응시자의 특성과 의사소통능력 등에 의해 좌우될 수 있다[5,10]. 주관적 판단에 의하지 않은, 신뢰 있는 평가가 되기 위해서는 별도의 노력이 필요하다. 모든 응시자에게 표준화된, 똑같은 질문을 하고, 질문에 대한 견본 답변을 제공하며, 면접관을 훈련하고, 다수의 면접관을 사용하는 구조화 면접이 신뢰도를 향상시킨다고 여러 연구에서 보고하고 있다[8,10,11].

MMI는 모든 응시자에게 표준화된, 똑같은 사례를 주고 질문에 대한 견본 답변을 제공하며, 다수의 면접관을 사용하는 구조화 면접의 일종이다. MMI는 기존의 구조화 면접에서 더 나아가 짧은 시간 다수의 사례를 사용함으로써 신뢰도를 더 높인 것이다.

Calgary 의과대학의 경우 9개의 8분짜리 면접방에서 MMI를 시행하였으며, 5개의 평가문항에서 10점 척도로 평가하였다[12]. 일반화가능도 이론에 의한 연구결과, 1개의 면접방에 12명의 면접관이 한꺼번에 들어가는 경우, 신뢰도는 0.55에 그치지만, 12개의 면접방에 각각 1인의 면접관이 들어가는 경우 신뢰도는 0.85였다. 사례를 많이 사용하고 각 사례당 채점자 수를 제한하는 것이 사례를 적게 하고 채점자를 많이 동원하는 것보다 신뢰도가 좋다는 것이다. Eva et al.[5]은 신뢰도를 높이기 위해 사례가 다른 면접방의 수를 늘릴 것을 제안하였다.

MMI의 장점은 응시자의 능력을 다각도에서 평가할 수 있으며, 응시자가 한 방에서 면접관에게 실수를 하였더라도 다른 방에서 만회할 기회가 있다는 것 등이다[5]. 그 외에도 응시자가 면접 받는 시간이 증가한다는 것, 그에 비해 면접관이 면접하는 시간의 증가는 없다는 것, 면접관이 다른 면접관의 영향을 받지 않고 독립적이고 주도적인 평가가 가능하다는 것, 이를 통해 면접관 또한 시간의 부담을 줄이면서도, 신뢰 있고 공정한 평가가 가능해진다는 것 등이 MMI의 장점이다.

중요한 당락이 결정되는 평가의 경우 0.90 이상의 신뢰도가 필요하다[13]. 

나이, 인종 등의 응시자의 특성이 면접 당락에 영향을 미칠 수 있다고 보고되고 있다[14]. 본 연구결과, MMI의 전체 점수는 나이, 전공, 거주지 등에 따른 차이를 보이지 않았다.

MMI 총점은 여자 응시자에서 약간 더 높았다

MMI 점수는 학사과정성적, 공인영어성적, 의학교육입문검사점수와 상관관계가 없었다. 이 결과는 MMI가 성적에 의한 후광효과를 배제하는 데 일조하였음을 알려준다. 응시자의 성적을 면접관에게 공개한 경우 면접관들이 인성 영역 평가에 영향을 받았다고 보고되고 있다[14,15]. 공정한 평가를 위해 면접관에게는 응시자에 대한 어떠한 정보도 주어서는 안 된다[12].

면접의 신뢰도가 높기 위해서는, 채점기준에 표준화된 일관성 있는 면접관의 채점이 필요하다. 기존 연구에서 구조화 면접의 경우 면접관의 일치도가 높다고 보고되고 있다[1,10,11].

면접에서의 평가자들이 자신의 평가에 확신을 갖기가 쉽지 않다. 연구에 따르면 평가에 대한 주관적 확신은 전체 면접시간에 비례하였다[10]. 평가자는 30분 이하의 면접에서는 평가 결과에 확신을 갖지 못하였다. Pendleton & Wakeford[10]는 면접에 최소한 1시간은 필요하다고 하였으며 1시간을 여러 명 이상의 평가자가나누어 써도 된다고 하였다.

외국 사례에서는 교수나 의사, 보건의료종사자, 지역사회인사, 학생 등 다양한 배경의 면접관을 활용하여 면접을 시행하고 있다[7,11].

그동안 면접의 중요성에 비해 면접의 필요성에 대한 믿음은 뚜렷하지 않았다[17]. 기존 연구에서는 면접 점수가 다른 입학전형 영역의 점수와 낮거나 보통의 상관관계를 보였다[5]. 본 연구결과에서 MMI 점수와 학사과정성적, 공인영어성적, 의학교육입문검사점수와 상관관계가 없었는데, 이는 MMI가 면접 이외의 영역에서는 평가하지 못하는 영역을 평가하고 있음을 의미한다.

면접에서는 의학전문대학원에서 가르쳐질 수 없는 영역을 평가해야한다는 인식이 많다[15]. 

• Bullimore[18]는 정직성 등의 인적 특성은 18세까지 형성되므로, 의학전문대학원 선발면접에서 중요하게 평가해야한다고 하였다.
• Lowe et al.[19]은 윤리적 지식이나 도덕적 추론, 윤리적 주제에 대한 신념 등은 의학전문대학원 교육과정을 통해 얼마든지 배울 수 있는 것들이므로, 굳이 평가할 필요는 없다고 하였다. 반면, 윤리적 이슈에 대한 태도나 윤리적 민감성은 타고난 것이며, 잘 변하지 않기에 타당성 있는 검사를 통해 평가되는 것이 바람직하다고 하였다.

본 MMI에서는 의사소통 영역을 평가하기 위해 앞에 가상의 인물이 있다고 가정하고 이야기해보도록 하였다. 외국 사례에서는 의사소통 영역을 평가하기 위해 표준화환자를 사용하기도 한다[5].

MMI에 대한 응시자들의 반응은 매우 긍정적이었다. 특히 이들은 면접 진행이나 면접 과정에서의 진행요원과 면접관의, 친절하고 응시자를 존중하는 태도를 보고 긴장감이 누그러졌으며, 학교에 대한 호감도 가지게 되었다고 하였다.

Reiter et al.[20]은 MMI를 시행하기 2주 전에 MMI에 대한 정보를 접한 응시자와 그렇지 않은 응시자 간에 평가 결과의 차이가 없었다며, 사례가 미리 공개되어도 평가에는 영향을 주지 않았다고 결론지었다. 이러한 연구 결과가 우리나라에서도 일반화될 수 있을지에 대해서는 의문의 여지가 있다.

---

Multiple Mini-Interview in Selecting Medical Students

HyeRin Roh,1,7 Hee Jae Lee,2 Sung Bae Park,1 Jeong Hee Yang,3,7 Dae-Joong Kim,4 Sang Hyun Kim,5Seung-Joon Lee,6 and Gibong Chae1

1Department of Surgery, School of Medicine, Kangwon National University, Chuncheon, Korea.

2Department of Pharmacology, School of Medicine, Kangwon National University, Chuncheon, Korea.

3Department of Family Medicine, School of Medicine, Kangwon National University, Chuncheon, Korea.

4Department of Anatomy, School of Medicine, Kangwon National University, Chuncheon, Korea.

5Department of Microbiology, School of Medicine, Kangwon National University, Chuncheon, Korea.

6Department of Internal Medicine, School of Medicine, Kangwon National University, Chuncheon, Korea.

7Clinical Performance Center, School of Medicine, Kangwon National University, Chuncheon, Korea.

Corresponding Author: HyeRin Roh, Gibong Chae. Department of Surgery, Kangwon National University Hospital 17-1 Hyoja-3-dong, Chuncheon 200-701, Korea. TEL) 033-258-2306, CELL) 011-372-3621, FAX) 033-258-2169, Email: hyerinr@kangwon.ac.kr

Abstract

Purpose Selecting medical students through interviews seems difficult and the reliability of the results is one of the major concerns. The purpose of this study was to investigate the reliability and acceptability of the Multiple Mini-Interview (MMI) in selecting medical students of Kangwon National University. Methods Eighty-four applicants participated in the MMI which consists of 3 8-minute stations that have 9 checklist items and 3 global items. The 3 domains that we chose were motivation to become a doctor, communication and interpersonal skills, and ethical decision-making. We placed 2 interviewers in each room. The interviewers were chosen from our faculty. We analyzed the reliability of the MMI with urGENOVA for PC. We conducted a survey of these applicants and interviewers. Results The reliability was 0.791. Students answered that the interview was impressive and enjoyable. Students were also satisfied with the level and quality of the MMI cases. They described that they were evaluated objectively. Interviewers also responded positively. They stated that more stations and more efforts to develop the cases were needed to improve the reliability and validity. Conclusion The MMI was acceptable to our applicants and faculty. It is reliable for assessing medical school applicants in Korea. We should develop more stations and better cases to increase the reliability and validity of the MMI.

Keywords: Admission interview, Medical students selection, Generalizability, Multiple mini-interview.