포트폴리오 평가와 의학교육에의 적용 ●

포트폴리오 평가와 의학교육에의 적용

가톨릭대학교 의과대학 의학교육학과

김 선

서 론

교육평가란 교육의 목표가 얼마나 잘 달성되었는지를 검토하는 작업으로서 교육과정에서 필요로 하는 학생에 관한 정보를 수집하고, 교육과정의 효율성을 판단하며, 이에 대한 달성도를 밝히는 과정이기 때문에 전체 교육과정 중 빼어놓을 수 없는 부분 중의 하나이다.

성태제 (2002)는 교육평가를 교육과 관련된 모든 것을 체계적이고 과학적으로 측정하고 관찰하여 가치와 질 등을 판단하는 주관적 행위라 하였다.

채선희 (1998)는 우리가 ‘어떻게 평가할 것인가’라는 기술적인 문제에만 치중해 온 경향이 있다고 하면서, ‘무엇을 그리고 왜 평가하는가’라는 문제를 간과해왔다고 지적하였다. 따라서 교육을 평가함에 있어서는 평가의 목적, 평가의 주체, 평가의 대상, 평가의 기준, 평가의 방법의 다섯 가지 영역을 구분하고, 이들 각각의 특성과 관계를 명확히 이해해야 한다는 것이다.

그러나 최근 교육패러다임이 변하면서 학습결과 뿐만이 아니라 학습과정에도 관심을 기울이고 있으며, 학습과정에서 학습자들의 능동적인 참여를 강조하고, 통합된 지식과 기술을 평가하며 평가 형태 또한 일회적이 아닌 메타인지적인 관점에서 학습을 보는 지속적인 평가가 요구되고 있다.

포트폴리오는 수업과의 연계선상에서 학생의 성취수행을 평가하며, 특정 학습내용 범위를 초월하여 학생의 학업성취를 광범위하게 기술 묘사할 수 있는 방법이다. 뿐만 아니라 학생들이 무엇을 할 수 있는지, 무엇을 할 수 없는지에 대한 정보를 제공하여 학생들의 강점과 약점을 정확하게 파악할 수 있고 (김동일, 2001), 학생들로 하여금 학습활동에 참여하게 하고 자신의 학습활동에 대하여 책임을 질 수 있도록 격려하는 방법이다.

본 론

가. 포트폴리오의 이해

1) 개념 및 목적

포트폴리오 (Portfolio)는 이탈리아어의 ‘나르다’라는 의미의 ‘포르타레 (portare)’와 ‘종이’라는 의미의 ‘폴리오 (folio)’의 합성어로 ‘종이를 나르는 것’이라는 의미를 지니고 있다. 흔히 종이 끼우개, 서류 가방의 의미로 사용되는데, 포트폴리오의 기원은 건축가나 예술가, 사진 작가들이 그들의 능력과 활동을 설명하기 위해서, 또는 은행가가 고객을 유치하기 위한 목적으로 사용해 왔다 (김명선, 김석우, 2001).

이러한 객관식 평가는 단편적인 사실의 기억과 회상에 초점을 두고, 학생들이 수동적으로 주어진 답지 중에 하나를 고르게 하는 것이기 때문에 정보화시대에 필요한 고차원적 사고기능을 측정하기 부적합하다는 지적이다.

포트폴리오를 한 마디로 학습자가 지속적으로 모아둔 학습과제물의 모음집이라고 정의하기도 한다.

포트폴리오란 자신이 쓰거나 만든 작품을 지속적이면서도 체계적으로 모아 둔 개인별 작품집이나 서류철을 이용하여 평가하는 방법이다

석문주 외(1998)는 Taylor가 기술한 포트폴리오 평가의 목적을 정리하였는데, 크게 학생과 교사의 두 측면에서 기술하였다. 

학생을 위한 포트폴리오의 목적은 

①코스 내용과 기술에 관한 학습의 평가, 

②창의적 과정에 대한 통찰 증가, 

③학습과정에서 주체성 획득, 

④시간의 경과에 따른 자신의 성장 인식, 

⑤작업에 반영되는 평가 기술의 증진, 

⑥수동적 학습자에서 능동적 학습자로 변화, 

⑦자신감의 획득, 

⑧성공적 학습자로서의 개인적 이미지 개선이다. 

포트폴리오 평가의 교사를 위한 목적은 

① 개개 학생의 성장과 진전 영역에 대한 증거 제공, 

② 각 활동에 대한 가장 좋은 것에 대한 준거 식별, 

③ 작업 과정에 대한 학생들의 사고 제공, 

④ 완성된 작업에 대한 반응을 통한 상호 의사 전달과 협동의 개선, 

⑤코스 내용과 학생 목표의 개발, 평가 및 수정, 

⑥ 학생의 요구충족을 위한 수업전략 개발, 

⑦ 학생의 성장에 대한 부모, 다른 교사, 행정가의 이해를 촉진하기 수단을 제공하는 것이다.

2) 포트폴리오의 특징

포트폴리오의 특성과 장점에 대해서 배호순(2000)은 여섯가지를 제시하고 있다. 

① 수업과 연계시킨 학생의 성취수행 평가, 

② 학생의 학업성취를 광범위하게 기술 묘사하며 특성 학습내용의 범위 초월 가능, 

③ 특정 내용영역에서의 학생의 성장을 정확히 기록, 

④ 학생들 스스로 자신의 강점과 약점 파악, 

⑤ 학생들을 학습활동에 참여하게 하고 책임을 지도록 격려, 

⑥ 학부모나 교육행정가의 가치로운 정보의 원천.

Oosterhof (1994)는 포트폴리오의 특성을 종합적인 관점에서 다음과 같이 7가지 항목으로 정리하고 있다. 

① 개별화된 교수목표에 용이하게 적용할 수 있다, 

② 산출물의 평가에 초점을 둔다, 

③ 전형적으로 학생의 약점보다는 장점을 파악할 수 있게 해 준다, 

④ 평가과정에 학생을 적극 참여시킨다, 

⑤ 학생의 성취에 관하여 타인들과 의사소통하는 것을 촉진할 수 있다, 

⑥ 시간을 집중적으로 활용할 수 있다, 

⑦ 포트폴리오 평가의 신뢰도에 관해서는 별로 알려진 것이 없다

Marswh와 Willis (1999)는 

① 학생들로 하여금 자신의 지식을 구성하는 데 능동적으로 참여할 수 있게 해 준다, 

② 학생들 자신을 평가할 수 있도록 격려해 준다, 

③ 학생들이 평가를 위하여 광범위하고 다양한 항목을 활용할 수 있도록 허용해 준다, 

④ 학생들로 하여금 사고능력과 표현능력을 과시하도록 요구한다, 

⑤ 학생들이 알고 있고 할 수 있는 바를 공평하고 민감하게 묘사할 기회를 제공해 준다, 

⑥ 믿을 만한 학생의 성취근거를 학부모 및 지역사회에 제공할 수 있다는 점을 포트폴리오의 장점으로 꼽았다.

3) 평가 절차와 도구

현재까지의 포트폴리오 평가 절차는 표준화되어 있다거나 정해진 방법이 있는 것은 아니다

Worthen (1993)은 포트폴리오의 계획 및 준비단계를 다음과 같은 5단계로 정리하고 있다. 

① 원하는 포트폴리오의 모습을 결정한다. 

② 포트폴리오에 포함시킬 내용을 결정한다. 

③ 포트폴리오 견본을 선정하는 시기와 방법을 결정한다. 

④ 포트폴리오를 평가하는 방법을 결정한다. 

⑤ 포트폴리오 활용하는 방법을 결정한다.

McMillan (1997)은 평가설계 및 준비단계에서 중시할 사항을 다음과 같은 질문형식으로 정리하였다.

◦ 학습목표는 명료한가?

◦ 포트폴리오 사용목적이 분명하게 설정되었는가?

◦ 적절한 포트폴리오의 수집함이 준비되었고 그를 용이하게 활용할 수 있는가?

◦ 수집할 포트폴리오 내용물을 선정하는 절차가 분명하게 정해져 있는가? 

◦ 포트폴리오 내용이 학습목표에 부합되는가?

◦ 자기 반성적 평가내용과 그 절차를 학생이 숙지하고 있는가?

◦ 점수체제가 설정되었는가?

Knight와 Gallaro (1994)는 포트폴리오의 절차를 목표와 목적, 도구개발, 자료수집, 자료분석, 자료활용 단계로 구분하고 각 단계별 주의해야할 사항을 다음의 질문형태로 정리하였다.

◦ 목표 및 목적의 개발에서 목적이 과정 중에 포함되어야 하는가?

◦ 도구의 개발 : 적절한 작품 견본을 어떻게 확인할 것인가, 개인별 작품 견본에 필요한 평정체제를 어떻게 개발하고 타당화할 것인가?

◦ 자료의 수집: 누가 포트폴리오를 수집하고 관리할 것인가?

◦ 자료의 분석: 프로그램 수준에서 개인별 작품(성취수행)의 기대수준이나 기준을 어떻게 설정할 것인가, 근거의 비중을 어떻게 정할 것인가, 그 과정을 어떻게 타당화할 것인가?

◦ 자료의 활용: 수집된 근거에 입각하여 행동할 것인가, 자료 분석 결과에 근거하여 행동할 것인가?

4) 포트폴리오 평가의 문제점

평가부분과 관련하여서는 타당도와 신뢰도로 나누어 살펴볼 수 있다

포트폴리오는 학습주제나 학습에 대한 반응의 수준을 잘 표준화, 일반화 할 수 없다는 점이 문제이다. 평가의 영역이 넓은 포괄성을 지니기 때문에 점수화에 큰 어려움이 있는 것이다. 또한 평가시 평정자의 지각과 편견이 들어가서는 안되기 때문에 평가자의 훈련이 고도로 필요한 것도 하나의 지적 사항이다.

따라서 포트폴리오 검사를 제작할 때 

① 특정한 사용을 위한 타당화의 논쟁, 

② 적용 가능한 기술적, 윤리적 기준의 근원과 적용될 구체적 기준, 

③ 검사의 해석과 사용에 대한 지지에서 각기 적용할 만한 기준에 상응하는 증거의 특성을 고려, 

④ 사용과 관련된 결과의 의미 등을 강조해야 한다. 

따라서 신뢰도의 문제를 극복하기 위한 노력으로는 표준화된 수행평가, 평가자들의 훈련과 재훈련이 있다(석문주 외, 1998).

포트폴리오 프로그램은 특히 교수자에게 부담이 많다.

포트폴리오의 점수화, 시간제약, 교수자의 저항, 비용 등이다

우선 포트폴리오 평가의 타당성과 신뢰성을 확립하기 위해서는...

현장실험을 거친 문서화된 채점안내서의 준비하고 명료하고 구체적인 준거를 제시할 필요가 있다. 

또한 모든 점수에 대하여 해석이 딸린 실제 예를 제시하고, 

충분한 연습과 피드백 제공, 

채점하기 전에 여러 채점자들간의 일치도를 과시하기, 

정기적인 신뢰도 점검 실시, 

필요한 경우의 재훈련, 

적절하고 신뢰로운 자료수집 활동의 기록 정리도 많은 도움이 될 수 있다.

Herman, Aschbacher와 Winters(1992)가 제시한 포트폴리오 평가의 기본적인 구비 조건을 시사해주는 다음의 준거 항목들을 눈여겨 볼 필요가 있다. 

① 좋은 포트폴리오 평가란 무엇을 의미하는가? 왜 필요하며, 어떤 목적으로 활용하려는가? 

② 포트폴리오에 어떤 과제가 포함되는가? 

③ 어떤 준거와 기준을 적용해야 하는가?  

④ 채점 및 평정과 판단에서 어떻게 일관성을 유지하려는가? 

⑤ 평가 결과는 의도한 목적에 타당한 것인가? 

⑥ 평가 결과를 어떻게 활용하려는가?

결국 포트폴리의 문제점을 극복하기 위한 방안을 정리하면, 

첫째, 평가 과정에서 어떻게, 무엇이 평가되어 지는지에 대해 학생들의 의견을 반영하여 관심을 갖게 한다. 

둘째, 학생들의 수행에 대해 제공되는 정보의 종류를 학생들로 하여금 세밀히 조사하도록 한다. 이를 통해 학생들이 평가 과정 자체로부터 학습할 기회를 갖게 하고, 숫자에 의존하는 것이 아닌 상세한 개인적 피드백을 제공한다. 

셋째, 평가준거를 명확히 하여 학생들 스스로가 학습을 할 수 있도록 유도해야 한다

나. 포트폴리오의 의학교육에의 적용

앞에서 언급한 바와 같이 실제 상황에서의 수행정도를 평가하는 참평가 (authentic assessment)의 대안평가로 포트폴리오가 많은 관심을 받고 있다고 하였다.

“Tomorrow's Doctors”를 발표한 Genenral Medical Council (1993)에서도 학습자중심 교육을 강조하면서 의대생들에게는 전문적 발달이 중요하므로 기존의 전통적인 학습평가방법과 함께 문제중심학습 방법과 포트폴리오 평가의 중요성을 역설하였다.

영국의 Royal College 의과대학은 일반의들의 훈련과 지속적인 전문성 발달 과정에 변화를 주었는데, 1993년 “Porfolio-based learning in General Practice”라는 저서를 펴내면서 본격적으로 포트폴리오 기법을 활용하였다.

Chief Medical Officer는 1997년 GMC가 “The New Doctor”라는 책을 발간하자, 운영위원회를 조직하여 “Portfolio for pre-registration house officers(PRHOs)”라는 포트폴리오 접근방법을 제시했다.

Sheffield 의과대학에서는 준거지향적인, 프로파일 중심 평가를 사용해 왔다. 이 대학에서는 공식적인 기말 시험을 면제받을 수 있는 방법을 학생들에게 제시했는데 바로 개인의 포트폴리오 기록들을 제출하는 것이다.

정보화시대에 걸맞는 포트폴리오의 형태도 시도되었다. 영국의 WISDOM 프로젝트라고 하는 것인데, 앞으로의 의료행위에는 컴퓨터의 상용이 필수적인 것이 될 것이므로 일차진료의들을 훈련시키기 위한 목적으로 컴퓨터를 통한 의사소통 기술을 높이고, 인터넷을 이용하여 가상 교실을 만드는 것이다.

문제중심학습을 이용한 교육과정을 중심으로 학생들을 교육하는 네델란드의 Maastricht 의과대학에서는 최근 학생평가에서 포트폴리오 기법을 도입하였다.

결 론

교육평가는 교육의 패러다임의 변화에 따라 함께 변한다. 최근 교육평가 변화의 동향은 행동주의적 관점에서 인지적 관점으로 변한다는 것이다. 즉, 학습결과에 대한 관심뿐만이 아닌 학습과정에 대한 관심이 높아져 가는 것이다. 단편적이고 분절된 기능평가가 아닌 통합적이고 간학문적인 평가가 요구되고 있다 (김경자 역, 2000). 따라서 안다는 것과 할 수 있다는 것의 의미에 대한 변화가 생기면서 기능의 재생이 아닌 지식의 적용과 활용을 강조하고 있다. 또한 지필 평가에서 참평가 (authentic assessment)로의 변화가 일고 있다.

또한 하나의 속성을 평가하는 것이 아니라 학생들의 다양한 능력과 재능을 개발하고 보여줄 수 있는 다차원적인 평가고 변화하고 있으며, 개인만 강조하던 평가에서 협동을 중시하는 그룹 활동을 강조하는 평가를 요구하고 있다.

그러나 교육평가에서의 ‘제3의 물결’이라고 칭하고 있는 포트폴리오 방법이 도입단계에서는 교수자들의 많은 시간과 노력을 요구하고 평가문화가 제대로 정립되지 않은 현재 한국 교육적 상황에서는 교사들의 자발적인 참여가 저조할 가능성이 있다.

---

Korean J Med Educ. 2003 Aug;15(2):73-81. Korean. Published online 2003 August 31.  http://dx.doi.org/10.3946/kjme.2003.15.2.73

Copyright © 2003 The Korean Society of Medical Education

Portfolio Assessment and its Application in Medical Education
Sun Kim, PhD
Department of Medical Education, Catholic University College of Medicine, Seoul, Korea.