○의과대학생의 임상수행능력에 대한 표준화 환자의 서술형 평가내용 분석

의과대학생의 임상수행능력에 대한 표준화 환자의 서술형 평가내용 분석

Content Analysis of Standardized-Patients' Descriptive Feedback on Student Performance on the CPX

이영희, 이영미, 김병수

Young Hee Lee, Young-Mee Lee and Byung Soo Kim

고려대학교 의과대학 의학교육학교실

Department of Medical Education, Korea University College of Medicine, Seoul, Korea

[[[[[

서론

학생의사의 임상수행능력을 평가하는 유용한 방법 중의 하나는 표준화 환자(standardized patients)를 활용하는 것이다. 표준화 환자는 신체진찰 기술을 가르치거나[1], 커뮤니케이션 기술을 평가하거나[2], 나쁜 소식 전하기와 어려운 환자 다루기 같은 상황에 학생들을 노출시킬 때 사용되어왔다[3,4]. 표준화 환자는 의도적으로 설계된 의료면담 상황에서 실제 환자의 입장에서 학생들의 다양한 행동과 태도에 대해 정확한 평가와 형성적 피드백을 제공할 수 있는 장점이 있다[5]. 2006년부터 현재까지 수행되어온 임상수행능력시험(clinical performance examination, CPX) 평가양식은 구조화된 양적 평가와 서술형 평가로 구성되어 있다. 구조화된 평가양식은 모든 사례에 공통적인 항목으로서 진료 전반에 대한 만족도, 인사 및 소개, 병력청취, 환자-의사관계를 평가하도록 구성되어 있고, 사례에 따라 병력청취, 정보나누기, 신체진찰, 환자교육, 의사예절 등을 포함하고 있다. 서술형 평가양식에는 표준화 환자가 학생의사에게 꼭 해주고 싶은 말을 학생의사가 잘한 점과 앞으로 고쳐야 할 점으로 나누어 자유롭게 기술하도록 하고 있다.

구조화된 평가표의 환자-의사관계는 7개 항목으로 구성된 평점표에 따라 포괄적으로 평가하도록 되어 있기 때문에 환자-의사 관계에서 학생의사가 수행해야 할 핵심 커뮤니케이션 행동의 수행 여부를 세밀하게 평가하기 어렵다. 반면에 서술형 평가는 구조화된 항목으로 평가하지 못한 유의미한 내용을 CPX 상황에 따라 생생하게 기록하므로 개별적이고 다양하며 심층적인 정보를 제공해 준다. 또한 서술형 평가내용은 표준화 환자가 학생들의 행동과 태도 중 인상 깊었던 것을 2~3분 이내의 짧은 시간동안 작성하기 때문에 면담기간동안 가장 크게 각인된 인상과 느낌만이 기록된다. 즉, 서술형 평가의 환자-의사 관계 내용은 7개 항목으로 묶어 포괄적으로 평가하고 있는 구조화된 환자-의사 관계 채점표가 놓칠 수 있는 개별적이고 세부적인 정보를 제공함으로써 구조화된 평점표의 기능을 보완할 수 있다. 그 동안 CPX 관련 선행 연구들은 구조화된 평가지의 양적 데이터를 활용한 연구들이 주를 이루었고[6,7,8], 서술형 평가내용을 대상으로 한 연구는 없었다.

연구자들은 CPX 평가체제에서 서술형 평가의 기능을 점검해 보고, 그것의 교육 평가적 의미와 활용가능성을 검토해 보고자 하였다. 즉, CPX에서 표준화 환자가 학생의사의 수행에 대해 기술한 자유기술형 피드백 내용을 체계적으로 분석하여 환자-의사 관계 측면에서 학생의사의 ‘강점’과 ‘약점’을 파악하고, 이러한 자유기술형 피드백이 정량적 평점표에 비하여 환자-의사 관계 영역의 수행능력에 대해 추가적으로 제공하는 정보가 무엇인지를 파악하는 것이 이 연구의 목적이다.

대상 및 방법

1. 연구 대상 및 자료 수집

서울․경기 CPX 컨소시엄 소속 대학 중 2006년 및 2007년에 CPX 시험에 참여하였던 18개 대학을 연구대상으로 하였다. 시험에 응시했던 학생 수는 2006년 1,732명, 2007년 1,681명이었다. 각 대학에서 시험을 치렀던 CPX 문제 수는 학생 1인당 최소 5개부터 최대 10개까지였으며, 총 분석 사례수는 2006년 12,650개, 2007년 12,814개였다(Table 1). 표준화 환자의 서술형 평가 내용 중 분석범위는 ‘학생의사가 잘한점’과 ‘학생의사가 앞으로 고쳐야 할 점’이라고 기록한 내용 중 환자-의사 관계부분에 한정하였으며, 모든 학생에게 동일한 피드백을 제공하여 신뢰성이 낮다고 판단된 서술형 기록은 분석대상에서 제외하였다.

2. 연구 방법 및 절차

1) 연구 방법

이 연구의 분석대상이 된 서술형 평가 자료는 이론적 배경을 토대로 수집된 자료라기보다 CPX 현장에서 학생의사의 행동에 대한 표준화 환자의 생각과 느낌을 구조화된 틀에 얽매이지 않고 직접 기록하도록 한 실제적 자료였다. 기록물로서의 자료의 특성에 맞게 이 연구는 질적 연구 방법과 연구절차를 따랐다. 질적 연구는 텍스트(text)와 이미지(image)자료에 의존하고, 자료 분석에 있어서 독특한 단계(step)를 가지며, 다양한 탐구전략을 선택한다는 점에서 양적 연구와 다르다[9,10]. 선택된 탐구전략은 연구 절차에 지대한 영향을 미치며, 이러한 절차들은 하나로 통일되어 있기보다는 매우 다양하다[9,10].

이 연구는 질적 연구방법의 하나인 내용분석(content analysis) 방법을 활용하였다. 양적 연구방법이 가설로부터 시작해 이를 검증하는 방식으로 연구가 이루어지는데 반해, 내용분석 방법은 비구조화된 탐구대상 자료가 함축하고 있는 메시지의 특성을 특정한 분석 준거나 관점에 근거하여 해석함으로써 자료의 특성을 체계적, 객관적으로 규명하는 방법이다[11,12]. 내용분석을 위한 단위(준거)로는 단어, 주제, 인물, 문단, 항목, 개념, 의미 등이 일반적으로 쓰이는데[13], 이 논문에서는 표준화 환자가 기록한 단어와 의미를 준거로 하였다.

2) 연구 절차

연구수행 절차는 자료의 간소화, 자료의 성격 파악 및 코딩, 내용분석, 의미파악의 4단계 과정을 따랐다.

a. 1단계(자료의 간소화): 연도별, 대학별로 입력되어 있는 CPX 채점표 원자료(엑셀파일)는 각 파일의 크기가 매우 방대했으므로, 이를 단순화하기 위해 ‘학생의사가 잘한 점’과 ‘학생의사가 앞으로 고쳐야 할 점’에 대한 서술형 평가결과 외의 자료, 즉 ‘전체만족도’, ‘인사’, ‘병력’, ‘정보나누기’, ‘임상예절’, ‘환자교육’ 및 ‘신체진찰’의 데이터를 파일에서 삭제하였다. 

b. 2단계(자료의 성격 파악 및 분석범위 설정): ‘잘한 점’과 ‘고쳐야 할 점’에 관한 서술형 평가 내용은 면담과정에서 학생의사가 표준화 환자에게 보여준 ‘행동(fact)’과 그 행동으로 인해 환자가 느낀 ‘감정(feeling)’에 대한 기술로 구분되었다. 학생의사의 행동에 대해 환자가 느낀 감정은 표준화 환자마다 그 감정을 표현하기 위해 사용한 단어의 주관성과 표준화 환자 개인별 편차가 컸기 때문에 분석에서 배제하였고 학생의사가 보여준 ‘행동’에 관한 내용만 분석하였다.

c. 3단계(코딩): 학생 각 개인에 대한 서술형 평가는 아무런 기술도 되어있지 않은 것부터 한 문장에 환자-의사 관계의 여러 측면을 복합적으로 기술한 것까지 다양했다. 가장 복합적인 내용을 기준으로 했을 때, 학생 1인에 대해 최대 5개까지 최소단위행동(codes)을 추출할 수 있었다. 따라서 학생 1명의 1개 사례에 대한 표준화 환자의 서술형 평가에 대해 최소 0개에서 최대 5개까지 최소단위행동을 추출하였다. 최소단위행동은 학생의사가 보여준 커뮤니케이션 관련 행동의 가장 세분화된 단위이며 개념 추출을 위한 토대가 되었다. 최소단위 행동 추출 방법을 예시하면 다음과 같다.

<예 1> “아무 말씀도 안 하시고 가만히 계실 때 당황했다. 뭐라도 계속 물어보시고 앞으로 어떻게 치료할 건지 왜 이렇게된 건지 설명해 주실 거라 믿었건만 약을 써보자고 한 이후에 침묵하실 때에는 이해가 잘 안 됐다. 그리고 조금 혀 짧은 발음들이 들려서 신뢰감이 좀 부족한 듯 느껴진다.” 

⇒ ‘부적절한 침묵’, ‘치료방법에 대한 설명 부족’, ‘비언어적 행동(발음)’의 3개 최소단위행동 추출

<예 2> “일단 가운이 청결하지 않고 면도도 제대로 하지 않으신 상태인데 구취까지 좀 심하셔서 안 그래도 머리가 아픈데 신경이 쓰였다. 좀 물어보시다가 갑자기 침묵하실 때는 뭘 어떻게 해야 하는지 당황스러웠고 계속 MRI, MRA 검사를 해보고 그 결과를 봐야 얘기할 수 있다고 하셨는데 왜 해야 하는지 모르겠다.”

⇒ ‘부절적한 용모(구취, 가운 청결)’, ‘부적절한 침묵’, ‘신체검사하는 이유 설명하기’의 3개 최소단위행동 추출

d. 4단계(내용분석 및 의미파악): 코딩이 완료된 자료는 내용분석 방법에 따라 개념화(conceptualizing), 범주화 또는 유목화(categorizing)의 과정을 통해 결과를 도출하고 설명 및 해석(theorization)을 하였다. 각 단계별로 추출된 최소단위행동, 개념(concepts) 및 범주(categories)에는 고유번호를 지정한 후 자료를 수량화함으로써 체계화하였고 개념화와 범주화 및 유목화가 가능하도록 하였다. 연구의 절차와 분석과정을 요약하면 Fig. 1과 같다.

3) 분석 방법

먼저 연구자가 직접 2개 대학의 서술형 평가 자료를 분석한 후, 최소단위행동에 잘한 점과 개선할 점에 대한 코딩시트(coding sheet)를 작성하였고, 이것을 토대로 2명의 자료분석원(coder)이 18개 대학 자료를 코딩했다. 코딩 과정에서 새롭게 형성된 최소단위행동은 코딩시트에 추가하였고, 유사한 것들은 병합하면서 최종적으로 장점 86개, 단점 74개의 최소단위행동을 추출하였다. 새로운 추가하거나 병합할 최소단위행동에 대한 점검을 위해 자료분석원과 연구자 간에 수차례 논의 과정을 거쳤다.

최종 추출된 커뮤니케이션의 최소단위행동에 대해 유사한 의미를 갖는 것끼리 유목을 구성함으로써 ‘개념’을 추출한 결과, 86개의 ‘잘한 점’ 코드는 41개 개념으로(Table 2), 74개의 ‘고쳐야 할 점’ 코드는 40개 개념(Table 3)으로 수렴되었다. 개념들 간의 속성과 관계를 비교하여 다시 유사 개념끼리 유목화 함으로써 최종 범주를 도출하였다. 범주는 연구 결과의 설명 및 해석을 위한 틀로서 학생의사가 보여준 행동의 장·단점 비교분석이 가능해야 했으므로 ‘잘한 점’ 범주와 ‘개선할 점’ 범주를 가능한 유사한 군으로 묶고자 노력하였다. 그 결과 최종적으로 ‘잘한 점’ 범주 10개, ‘개선할 점’ 범주 10개를 공통적인 범주로 추출할 수 있었고, ‘개선할 점’ 범주에만 1개 범주가 더 추가되었다(Tables 2, 3). 각 코드별, 개념별, 범주별로 각각 부여한 고유번호에 따라 코딩이 완성된 자료덩이(dataset)는 SPSS WIN version 12.0 (SPSS Inc., Chicago, USA)을 통해 다중응답분석(multiple response analysis)을 시행하였다.

결과

1. 기술통계량

2. 환자-의사 커뮤니케이션 범주별 분석 결과

1) 학생의사가 ‘잘한 점’과 ‘고쳐야 할 점’ 범주와 하위 개념들

2) ‘잘한 점’과 ‘고쳐야 할 점’의 범주별 다중응답분석 결과

3. CPX 사례별 분석 결과

고찰

이 연구는 CPX 평가체제에서 표준화 환자가 자유기술한 피드백 내용을 체계적으로 분석하여 환자-의사 관계 측면에서 학생의사의 강점과 취약점을 파악하고, 정량적 평점표에 비하여 서술형 평가가 환자-의사 관계 영역의 수행능력에 대해 추가적으로 제공하는 정보가 무엇인지를 확인함으로써 피드백 장치로서 서술형 평가의 교육 평가적 의미와 기능을 점검하고자 하였다.

질적 연구방법의 하나인 내용분석 방법에 따라 서울·경기 CPX 컨소시엄 소속 18개 대학의 2006년과 2007년 자료를 분석한 결과, 환자-의사 관계 측면의 내용으로서 ‘잘한 점’ 범주 10개(41개 개념 포함), ‘고쳐야 할 점’ 범주 11개(40개 개념 포함)를 추출하였다(Tables 1, 2).

이들 범주와 개념을 CPX 평가표의 구조화된 채점 항목 7개와 각 항목별 세부기술 내용과 비교해 본 결과, 자유기술형 평가내용은 구조화된 평가표가 제시하는 모든 항목을 포괄하고 있었고, 추가적으로 구조화된 평가지가 포괄하지 못하는 세밀하고 심층적인 정보까지 담고 있음이 발견되었다. 구조화된 평가표에는 없었지만 자유기술형 피드백 내용 속에서 추출되었던 커뮤니케이션 항목은 ‘적절한(부절적한) 호칭,’‘안심시켜 줌(못줌)’, ‘말투’, ‘신체접촉(touch)’, ‘침묵’, ‘호의적인(솔직, 성실, 진지 등) 태도’, ‘내원이유 확인’, ‘환자의 이해 정도를 확인하는 질문’, ‘부적절한 질문(예: 애매한 질문, 한꺼번에 많은 질문)’, ‘신중한, 차분한 설명’, ‘환자질문에 대한 설명’, ‘진단통보 미숙’, ‘부적절한 설명(한꺼번에 많은 설명, 엉뚱한 설명, 똑같은 설명 반복, 말을 돌리면서 정확히 설명하지 않음)’, ‘성급한 결론’, ‘체계적 부족’ 등이었다. 이러한 항목들은 CPX 상황에서 환자-의사 관계 측면의 구조화된 채점표를 보완할 수 있는 구체적인 피드백 정보로 활용될 수 있다.

현재 CPX 평가표의 서술형 평가 결과는 구조화된 평가 결과와 함께 학생들 개개인에게 통보하도록 하고 있다. 구조화된 평가 결과는 해당 대학의 환자면담 영역별, 사례별 최고점과 최하점, 그리고 학생개인이 획득한 점수를 보여주어 사례별 합격/불합격 여부와 전체 그룹 속에서 학생 개인의 상대적 위치를 보여준다. 환자-의사 관계의 양적 평가는 학생의 성취도에 대한 진단적 혹은 총괄적 평가 기능을 제공하지만 형성적 평가로서의 기능을 수행하는데 한계가 있다. 반면 각 시험 사례별로 제시되는 ‘잘한 점’과 ‘개선할 점’에 대한 서술형 평가는 시험상황에서 학생의사가 사례별로 수행했던 각각의 행동에 대해 표준화 환자가 느꼈던 생각과 감정을 구체적으로 아주 생생하게 전달하기 때문에 단일 점수로 표기되는 구조화된 평가보다 개별적이고 구체적인 정보를 제공한다. 좋은 피드백은 양질의 정보를 제공함으로써 학습에 있어서 자기반성을 촉진시키고, 현재의 수행과 바람직한 수행 간의 격차를 줄일 수 있게 해 주므로[14,15,16], 서술형 평가는 양적 평가와는 다른 측면에서 다양하고 세밀한 정보를 제공하여 학생들이 자신의 수행을 점검해 볼 수 있는 유용한 피드백 기능을 수행한다고 볼 수 있다.

한편, 환자중심적 의료면담을 수행하는데 있어 중요한 커뮤니케이션 기술들이 표준화 환자의 서술형 평가에서도 중요하게 인식되고 있음이 확인되었다. 즉, CPX 상황에서 표준화 환자로부터 ‘잘한 점’과 ‘고쳐야 할 점’의 상위 3순위 범주에 속했던 ‘설명하기’, ‘정서적 지지’, ‘태도’, ‘비언어적 행동’의 항목들과 잘한 점으로 더 많은 평가를 받았던 ‘경청하기’와 ‘환자교육 및 상담’, 그리고 고쳐야 할 점으로 더 많이 지적되었던 ‘질문하기’, ‘합의도달’은 환자중심적 커뮤니케이션의 중요 항목들로서, Cole & Bird [17]가 주장했던 의학면담의 세 가지 기본적 기능, 즉 라포 형성하기, 좋은 면담자료 수집하기, 순응도 높이기를 달성하기 위해 필수적으로 갖추어야 할 기술들이다.

이상의 결과를 통해 다음과 같은 결론을 내릴 수 있다. 

첫째, 학생들에게 상대적으로 취약한 커뮤니케이션 기술은 있으며, 이러한 기술들에 대한 교육이 의료 커뮤니케이션 수업에서 강화될 필요가 있다. 이 연구에서 ‘개선할 점’으로 가장 많은 지적을 받은 ‘비언어적 행동’ 교육이 특히 강화되어야 한다. 말은 포장된 생각을 전달할 수 있지만 비언어적 행동은 솔직한 생각을 표현하기 때문에 언어보다 더 많은 것을 전달한다[18]. 의사가 환자와 커뮤니케이션을 잘하기 위해 경청하고 공감적 커뮤니케이션을 실천해도, 비언어적 커뮤니케이션이 적절하지 않으면 그 의도가 온전히 전달되지 못할 수 있다. 이러한 기술들은 학생 자신이 스스로 인식하기 어렵고 단기간에 변화를 이끌어 내기도 쉽지 않기 때문에 반복된 훈련 기회를 제공함으로써 지속적으로 계발시켜야 한다.

둘째, 환자-의사 관계 측면에서 학생들이 ‘잘하는 것’과 ‘취약한 점’은 CPX 사례에 따라 달라질 수 있으므로, 교육장면에서 다양한 사례 개발과 사례 체험 교육 기회가 확대될 필요가 있다. 신체검진이 어려운 사례, 두통이나 감기 같은 흔한 증상에 기초한 진단 결정 사례, 설명이 어려운 사례, 우울, 갱년기 장애, 스트레스 등 심리사회적 정보수집이 필요한 사례 등 다양한 사례를 통해 학생들의 커뮤니케이션 교육의 효과를 높여야 한다.

셋째, 이 연구에서 추출된 장·단점 범주는 7개 항목으로 구성된 구조화된 환자-의사관계 평점표가 담지 못하는 보다 세부적인 정보를 보여주었다. 따라서 서술형 평가 자료가 구조화된 양적 평가표의 보완기능을 수행하는 형성평가도구로써 적극 활용되도록 해야 한다. 그러기 위해서는 표준화 환자가 서술형 평가의 의의를 명확히 인식하고, 평가를 함에 있어서 학생의사의 임상수행능력 개선에 도움이 되도록 피드백 할 수 있는 방법과 기술을 갖추도록 교육해야 한다. 표준화 환자는 평가해야 할 행동의 기준(criteria)과 표준(standards)에 대한 깊이 있는 지식을 가져야 하고[15,16], 학생들을 돕고자 하는 마음과 자신이 기술한 내용이 타당한지에 대한 관심, 자기만 독특한 피드백 패턴(예: 잘한 점을 덜 평가하고, 고쳐야 할 점을 더 많이 평가하는 경향 등) 등에 대해 인식해야 한다. 

이 연구의 제한점은 질적 자료로서 분석대상 자료가 갖는 한계를 갖고 있다는 점이다. 즉, 이 연구는 연구 대상 자료가 표준화 환자의 주관적 판단에 따라 특정 항목이 더 빈번하게 기록되거나, 반대로 덜 기술된 문제를 극복하지 못하는 한계가 있다. 따라서 향후 연구에서는 표준화 환자 개인별 선호 항목을 고려한 분석이 추가될 필요가 있다. 또한 추가적인 연구로서 표준화 환자의 피드백을 통해 학생들이 자신의 커뮤니케이션 행동에 대해 어떤 새로운 생각과 변화를 가지게 되었는지에 대한 연구도 진행되어야 할 것이다. 

결론적으로, CPX 평가체제에서 환자-의사 관계평가는 서술형 평가가 갖는 보완적 기능을 최대한 활용함으로써 학생들의 임상수행 결과에 대한 보다 체계적인 피드백을 제공할 수 있을 것이다. 서술형 피드백의 목적은 환자-의사 관계에 필요한 지식과 기술을 발달시키는 것뿐만 아니라, 학생들이 자기 주도적 학습을 할 수 있는 힘을 길러주기 위한 방법으로 사용되어야 한다.

---

Korean J Med Educ > Volume 22(4); 2010 > Article

Original Article

Korean Journal of Medical Education 2010;22(4): 291-301. doi: http://dx.doi.org/10.3946/kjme.2010.22.4.291

의과대학생의 임상수행능력에 대한 표준화 환자의 서술형 평가내용 분석 이영희, 이영미, 김병수 고려대학교 의과대학 의학교육학교실 Content Analysis of Standardized-Patients' Descriptive Feedback on Student Performance on the CPX Young Hee Lee, Young-Mee Lee, Byung Soo Kim Department of Medical Education, Korea University College of Medicine, Seoul, Korea. Corresponding Author: Young-Mee Lee ,Tel: +82.2.920.6098, Fax: +82.2.928.1647, Email: ymleehj@korea.ac.kr Received: 8 October 2010;  Accepted: 3 November 2010. 2 Cited By ABSTRACT PURPOSE: The goal of this study was to explore what kind of additional information is provided by the descriptive comments other than the rating scales, on the physician-patient interaction (PPI) in the clinical performance examination (CPX) and its feedback role in identifying students' strengths and weaknesses in communication skills. METHODS: The data were collected from 18 medical schools in Seoul and Gyeonggi region, which participated in the CPX for fourth-year medical students in 2006 and 2007. In total 12,650 examination cases in 2006 and 12,814 cases in 2007 were analyzed. Descriptive comments from the standardized patients (SPs) were analyzed by content analysis, which includes a 4-step process: coding, conceptualizing, categorizing and explanation. RESULTS: Ten categories (41 concepts) for 'strength' and 11 for 'weakness' (40 concepts) in the PPI were extracted. Among them, 10 categories were the same in both strength and weakness: providing adequate interview atmosphere, attentive listening, providing emotional support, non-verbal behaviors, professional attitude, questioning, explanation, reaching agreement, counseling & education and conducting adequate physical examination. For the 'structured and organized interview', only weakness was described. In 'providing emotional support' and 'adequate interview atmosphere', comments on strengths were more frequently mentioned than weaknesses. However, communication skills that were related to non-verbal behaviors were more frequently considered weaknesses rather than strengths. The numbers and content of the SP's comments on students' strengths and weaknesses in the PPI varied depending on the case specificities. CONCLUSION: The results suggest that the SPs' descriptive comments on student' performance on the CPX can provide additional information versus structured quantitative assessment tools such as performance checklists and rating scales. In particular, this information can be used as valuable feedback to identify the advantages and dicadvantages of the PPI and to enhance students' communication skills.