(http://en.wikipedia.org/wiki/Instructional_design)

Instructional Design (also called Instructional Systems Design (ISD)) is the practice of creating "instructional experiences which make the acquisition of knowledge and skill more efficient, effective, and appealing."^[1] The process consists broadly of determining the current state and needs of the learner, defining the end goal of instruction, and creating some "intervention" to assist in the transition.

Ideally the process is informed by pedagogically (process of teaching) and andragogically (adult learning) tested theories of learning and may take place in student-only, teacher-led or community-based settings. The outcome of this instruction may be directly observable and scientifically measured or completely hidden and assumed. There are many instructional design models but many are based on the ADDIE model with the five phases: analysis, design, development, implementation, and evaluation. As a field, instructional design is historically and traditionally rooted in cognitive and behavioral psychology, though recently Constructivism (learning theory) has influenced thinking in the field.^[2][3][4]

(http://www.wikihow.com/Prepare-a-Workshop)

How to Prepare a Workshop

Edited by IngeborgK, Upwardly Mobile, Eliz483th, Milind and 3 others

A workshop is an informative or instructional class focused on teaching specialized skills or exploring a particular subject. Workshop presenters are usually educators, subject matter experts, managers or other leaders who possess knowledge of a particular subject or mastery of specific skills. Workshops may be only one or two hours in length or extend across weeks of time. To prepare a workshop, a presenter must first identify the core objective of the program, as well as the needs of the participants. Workshop leaders can strengthen the effectiveness of their presentations through careful planning, organization and presentation practice. Here are the steps for preparing a workshop.

• Plan your introduction. Decide how you will introduce yourself, the topic and the participant members.
• List the skills and/or topics you will cover. Create a comprehensive bulleted list. Include subtopics, as needed.
• Decide on the order of the topics. Move the most important skills or information to the early part of the workshop.
• Incorporate interactive activities. Find relevant activities or games to increase engagement and participation. Activities may occur in small or large groups.
• Include a question and answer portion. Depending on the workshop objective and topic, invite participants to ask questions either throughout the workshop or in scheduled time slots.
• Decide how you will conclude the workshop. You might include a short review of learned skills, announce the next level in a series of workshops and/or implement a participant feedback form.

자유는 사람들이 말할 수 있는 것이고, 민주주의는 정부가 듣는 것이다.

Freedom is when the people can speak; democracy is when the government listens
–Alastair Farrugia

충분한 정보를 가진, 서로 소통하는 시민권이 최고의 리더십이다.

An informed and connected citizenship provides the best leadership on Earth
–Jim Fournier

성년의 도전은 순수함을 잃은 후에도 이상을 유지하는 것이다.

The challenge of adulthood is holding onto your idealism after you have lost your innocence.
–Bruce Springsteen

달을 향해 쏴라. 설령 맞추지 못하더라도 근처의 별에 도달할 것이다.

Shoot for the moon – even if you miss you will land among the stars
–Les Brown

우리는 여기 모두 어떤 이유 때문에 모였습니다. 그리고 저는 그 이유 중 일부분은, 어둠으로부터 사람들을 이끌기 위해 작은 횃불 하나를 던지는 것이라 믿습니다.

We’re here for a reason. I believe a bit of the reason is to throw little torches out to lead people through the dark
–Whoopi Goldberg

우리는 사람들을 우리가 하는 행동의 중심에 두어야 합니다. 그것이 인류 안정의 핵심입니다.
No shift in the way we think or act is more critical than this: we must put people at the center of everything we do. That is the essence of human security
–Kofi Annan

우리가 선택할 수 있는 것은 변화가 올지 오지 않을지가 아니라, 우리가 그 변화를 우리의 이상에 맞춰서 이끌 수 있는지 그리고 모든 사람이 무엇을 필요로 하는가에 맞춰진 사회적 질서로 이끌 수 있는가이다.

Our choice is not whether change will come, but whether we can guide that change in the service of our ideals and toward a social order shaped to the needs of all our people.
–Robert F. Kennedy

한 사람을 측정하는 궁극적 지표는 그가 안정적이고 편안한 상태에 있을 때가 아니라 도전과 논란의 한가운데에 있을 때이다.

The ultimate measure of man is not where he stands in moments of comfort and convenience, but where he stands at times of challenge and controversy.
–Dr. Martin Luther King Jr.

리더는 다른 사람들보다 더 많이 보고, 다른 사람들보다 더 멀리 보고, 다른 사람들보다 더 먼저 보는 사람이다.

A leader is one who sees more than others see, who sees farther than others see, and who sees before others see.
–Leroy Eimes

당신의 사람들을 명예롭게 하지 않는다면, 그들이 당신의 명예를 떨어뜨릴 것이다. 일이 끝나고, 목표가 달성되었을 때 사람들이 "우리 스스로 해냈어!"라고 말하면 그것이 바로 좋은 리더인 것이다.

"If You Fail To Honor Your People, They Will Fail To Honor You;
It Is Said Of A Good Leader That When The Work Is Done, The Aim Fulfilled, The People Will Say, "We Did This Ourselves."
–Lao Tzu

리더십은 자신의 공황상태를 다른사람에게 숨기는 능력이다.
"Leadership Has Been Defined As The Ability To Hide Your Panic From Others."
–Anonymous

리더십은 다음 세대에게 이득이 갈 결정을 내릴 용기를 필요로 한다.

"Leadership Requires The Courage To Make Decisions That Will Benefit The Next Generation."
–Alan Autry

리더십의 핵심은 비전을 가져야 한다는 점이다. 모든 경우에 있어서 분명히, 힘주어 말해야 할 것은 바로 비전이다.

"The Very Essence Of Leadership Is That You Have To Have A Vision. It's Got To Be A Vision You Articulate Clearly And Forcefully On Every Occasion."

— Theodore Hesburgh

최고의 리더는 이루고자 하는 일을 해낼 수 있는 사람을 뽑을 수 있는 감각이 있으면서, 그렇게 뽑은 사람이 일을 하는 동안 간섭하지 않을 수 있는 절제력 이있는 사람이다.

"The Best Leader Is The One Who Has Sense Enough To Pick Good Men To Do What He Wants Done, And The Self-Restraint To Keep From Meddling With Them While They Do It."
–Theodore Roosevelt

물결 거칠 때야말로 리더십에 대한 진정한 시험을 할 수 있는 때이다. 물결이 고요할 때는 모두가 좋은 선장이다.
"Rough Waters Are Truer Tests Of Leadership. In Calm Water Every Ship Has A Good Captain."
–Swedish proverb

군대의 침입에는 저항할 수 있을지 모르나, 시대가 도래한 생각에는 저항할 수 없을 것이다.

An invasion of armies can be resisted, but not an idea whose time has come
– Victor Hugo

낡은 문화가 죽어갈 시기에, 새로운 문화는 불안정을 두려워하지 않는 소수의 사람들에 의해 만들어진다.
When the forms of the old culture are dying, the new culture is created by a few people who are not afraid to be insecure
–Rudolf Bahro

한 지역의 정보가 전세계의 지혜를 이끌 수 있다.

Local information can lead to global wisdom
–Steven Johnson

창의력은 선생과 학생이 한 사람 안에 존재할 때 나타나는 학습과정이다.
Creativity is a type of learning process where the teacher and the pupil are located in the same individual
–Arthur Koestler

우리 모두 리얼리스트가 되자. 그러나 마음 속엔 불가능한 꿈을 품자

Let us be realists, let us do the impossible

(Let's be realists, let's dream the impossible)
–Ernesto “Che” Guevara

진보의 예술은 변화 속에 질서를 유지하고, 질서 속에 변화를 이끄는 것에 있다.
The art of progress is to preserve order amid change, and to preserve change amid order
–Alfred North Whitehead

삶은 당신을 갈아버릴 수도 있고 빛나게 할 수도 있다. 그리고 그것은 당신의 선택이다.

Life will either grind you down or polish you up. And which it does is your choice
–Roger Walsh

당신이 있는 그 곳이 시작점이다.

Wherever you are is the entry point
–Kabir

내 고등학교 선생님인 줄리아 콜맨은 이렇게 말했다 "시대의 변화에 적응하면서도 변하지 않는 원칙을 지켜야 한다"

As my high school teacher, Miss Julia Coleman, used to say : “We must adjust to changing times and still hold to unchanging principles”
–Jimmy Carter

권력에 대한 사랑을 사랑의 힘으로 바꾸게 하소서

Let us transform the love of power into the power of love
–Nirmala Deshpande

매일 스스로에게 물어보라. 오늘은 무엇을 배웟지? 오늘은 누구를 도왔지?

Ask yourself at the end of each day, what did I learn? Who did I help?
–Zina Jacques

성공에 대한 이상을 봉사에 대한 이상으로 바꿀 때이다.

It is high time that the ideal of success should be replaced by the ideal of service
–Albert Einstein

우리의 특별한 의무는 누구든 우리의 도움이 필요하면 최선을 다해서 도와야 한다는 것이다.

It is our special duty, that if anyone needs our help, we should give him such help to the utmost of our power
–Cicero

입닥칠 기회를 절대로 놓치지 마라

Never miss a good chance to shut up
–Will Rogers

인정받고자 하는 기대를 가지지 말고 다른 사람을 돕기 위해 옳다고 생각하는 일을 하라.

Do what you think is right to help other people without expecting recognition
–Tony Reyna

못 보는 것보다 볼 수 있는데 비전이 없는 것이 더 안 좋은 것이다.

“The only thing worse than being blind is having sight and no vision.”

― Helen Keller

완전한 삶(full life)를 살이 귀해서는 다른 사람들이 무엇을 필요로 하는가에 대한 책임을 질 용기가 있어야 한다.

To live the full life one must have the courage to bear the responsibility of the needs of others

– Aung Sung Suu Kyi

밖에서 불평만 하고 투덜대기만 해서는 싸울 수 없다. 안으로 들어가서 상대의 강점과 약점을 파악해야 한다.

You cannot fight by being on the outside complaining and whining. You have to get on the inside to be able to assess their strengths and weaknesses and then move in.

–Shirley Chisholm

다른 어떤 것보다 성공하고자 하는 스스로의 의지가 가장 중요하다는 것을 잊지 말라.

Always bear in mind that your own resolution to succeed is more important than any other one thing.

– Abraham Lincoln

막연한 용기는 도처에 널렸지만, 실제적인 용기는 찾기 어렵다.

There is plenty of courage among us for the abstract, but not for the practical

– Helen Keller

행동이 없는 비전은 백일몽이고, 비전이 없는 행동은 악몽이다.

“Vision without action is a daydream. Action without vision is a nightmare.”

– Japanese Proverb quotes

무엇을 가지고 있지 않은지를 생각하기보다는 무엇이 있고, 그것으로 무엇을 할 수 있을지를 생각하라.

Now is no time to think of what you do not have. Think of what you can do with what there is.

– Ernest Hemingway

모든 사람의 목소리가 들리도록 하라.

Let the voices of all of the people be heard.

–Nelson Mandela

인류 진보의 궁극적 지표는 과학자나 기업대표가 아니라 모든 사람들이 스스로의 삶에 영향을 미치는 것에 대한 의사결정을 할 수 있느냐는 것이다.

The ultimate sign of human progress is a world where people, not just scientists and corporate chiefs, but all of the people, are allowed to make decisions that affect their lives.

– Jay Walljasper

역사의 모든 변화와 모든 진보는 불편함으로부터 나온다. 말썽꾼이 없고, 반대자가 없다면 우리는 아직도 동굴 속에 살았을 것이다.

All change in history, all advance, come from the non-conformity. If there had been no troublemakers, no dissenters, we should still be living in caves.

– Alan John Percivale Taylor

중요한 문제에 침묵을 지킬 때 우리의 삶은 끝난다.

Our lives begin to end the day we become silent about thiings that matter.

–Martin Luther King, JR.

우리는 여전히 우리를 둘러싼 상황보다는 우리의 관계에서 즐거움이 가능하다는 사실을 배우고 있다. 우리가 함께 하는 한, 다른 사람이 우리를 돕고 있다고 느끼는 한, 우리는 인내할 것이다.

We are learning that joy is still available, not from the circumstances, but from our relationships. As long as we’re together, as long as we feel others supporting us, we persevere.

–Margaret Wheatley

함께 일함으로서 문제를 해결할 수 있는 사람들의 능력을 믿어야 한다.

You have to trust people’s ability to develop their capacity for working collectively to solve problems.

–Myles Horton

궁수는 과녁을 빗겨나면 스스로를 돌아본다. 과녁을 맞히지 못한 것은 과녁의 문제가 아니고, 목표를 달성하기 위해서는 스스로를 향상시켜야 한다.

When the archer misses the mark, he turns and looks for the fault within himself. Failure to hit the bull's eye is never the fault of the target. To improve your aim, improve yourself.

– Gilbert Arland

우리는 모두 같은 직물(fabric)으로 만들어져 있으며, 우리는 모두 하나의 망(web)의 일부분이다.

The important lesson to realize is that we are all made of the same fabric, we’re part of the same web

–Dr. Victoria Elizabeth Foe

내 고뇌를 없애기 위해서는 내가 다른 사람과 모든 자연과의 관계속에 존재함을 인지해야 한다.

If I am to eliminate my own sufferings, I must act in the knowledge that I exist in dependent relationships with other human beings and the whole of nature

– H.H. Dalai Lama

The use of portfolio learning in medical education

DAVID SNADDEN & MARY THOMAS

Tayside Centre for General Practice, University of Dundee, Scotland, UK

포트폴리오 학습이란 무엇인가? What is portfolio learning?

포트폴리오에는 '학습과 관련된 문서'들, 그리고 '그로부터 무엇을 배웠는가'에 대한 설명이 포함된다. '학습과 관련된 문서'는 다음의 것들을 포함한다.

In practice portfolios include documentation of learning, and an articulation of what has been learned. The documentation can include:

· records of events or experiences;

· lists of critical reviews of articles read;

· projects carried out;

· teaching sessions attended;

· videoclips, educational events and patients seen.

'그로부터 무엇을 배웠는가' 에는 다음의 것들이 포함된다.

The articulation of what has been learned may include: 

· written reflective accounts of the events documented;

· personal reflections kept in the form of a journal or diary.

문제가 무엇인지, 무엇을 배웠는지, 앞으로 무엇을 더 배워야 하며 그 계획은 어떻게 되는지에 대한 성찰이 포함된다.

These would include reflections on problem areas, what has been learned, what has still to be learned and plans for how new learning will be tackled.

배경 The background to portfolio learning in medical education

포트폴리오가 새로운 것은 아니다.

Portfolios are not new,

평가도구로서도 매력적인데, 일정 기간에 걸쳐 임상 수행능력을 평가할 수 있을 뿐만 아니라, authentic assessment의 한 방법이기도 한다.

They are also attractive as assessment tools in that they have a potential to assess clinical performance over a period of time, constituting one form of authentic assessment

학습에 따라서 학습자의 행동, 직관, 수행능력이 달라진다. 성인학습자적, 자기주도적, 성찰적 학습은 수동적 학습을 장려하는 환경에서는 일어나기 힘들다.

In other words learning which impacts on the behaviour, intuition and performance of the learner. Adult, self-directed and reflective learning are deemed less likely to occur in environments where passive learning is encouraged,

Brookfield와 Boud는 교육 프로그램 자체가 성찰적인 요소(reflective component)를 포함함으로써 상호작용을 촉진시켜야 한다고 주장했다.

Brookfield (1986) and Boud (Boud & Walker, 1993) suggest that educational programmes should be interactive, include reflective components and be related to experience.

포트폴리오 학습 : 미국 교육 시스템에서의 발전 
Portfolio learning: its development in the American school system.

비록 포트폴리오가 그래픽아트 분야에서 오랜기간 사용되어오긴 했지만, 북미 교육 시스템 내에서 포트폴리오는 성찰을 촉진시키기 위한 기제였다.

Portfolios as mechanisms to enhance reflection were developed within the North American school system - though it could be argued that portfolios in terms of the graphic arts have been in existence for many years.

포트폴리오 학습은 빠르게 도입되었으나, 평가 측면에서 포트폴리오의 활용과 개발에 대한 평가는 제대로 이루어지지 않은 채 도입된 것이었다.

The rapid adoption of portfolio learning, including its use in assessment, seems, however, to have been implemented with little true evaluation of the use and development of portfolios

평가자들간의 컨센서스는 쉽게 달성되지 않았고, 준거, 효과적 수련, Rubric, 상식(Common values), 학생 수행능력에 대한 이해 등에 따라서 많이 달라졌다. 

Consensus amongst raters was not achieved easily and depended on clearly articulated criteria, effective training, and rubrics that reflected shared experience, common values and a deep understanding of student performance.

그럼에도 불구하고 포트폴리오 평가의 도입은 교사들의 활동에 영향을 주었다.

Nevertheless the implementation of portfolio assessment seems to have influenced the activity of classroom teachers.

이들 초등학교 프로젝트는 포트폴리오 기반 학습이 학교에서 이루어지는 것이 교사와 학생 모두에게 쉽지 않은 일이지만, 교실의 분위기를 드라마틱하게 바꾸고, 교사-학생간 상호작용의 특성을 변화시켰으며, 학생과 교사 모두가 활발하게 평가를 위한 준거를 개발하고 적용시키는 모습으로 바꾸어놓았다. 

These elementary school projects lead to the conclusion that portfolio-based learning, in the school context, is challenging for teachers and students, can dramatically alter the climate of the classroom and the nature of teacher/student interactions and has brought assessment into the classroom with students and teachers actively engaged as they generate and apply criteria to each other’s work.

간호학과 의학에서의 포트폴리오 Portfolios in nursing and medicine

영국에서 포트폴리오는 간호학 교수들에 의해서 전격적으로 도입되었으며, 지금은 간호사와 조산사 수련 기관에서의 형성평가와 총괄평가를 위해서 사용되고 있다. 

In the UK portfolios have been adopted with enthusiasm by the nursing profession and are now used for both formative and summative assessment in several nurse and midwifery training institutions (Jasper, 1995a) and have also been supported by the UK Central Council for Nursing and Midwifery to track professional development (Jasper, 1995b).

하지만 다음과 같은 문제가 드러났다.

· 개별적 평가와 대규모 평가에서 활용시 갈등 There may be conflict for portfolios serving both the purposes of individual learning/assessment and large-scale assessment.

· 업무가 표준화되지 않은 상태에서 포트폴리오 평가가 가능한가? Can portfolios be assessed if the work is not standardized?

· 학생의 태도, 감정, 행동을 평가하는 준거는 무엇이 되어야 하는가? What criteria should be involved in making judgements about students’ attitudes, feelings and behaviour?

· 프라이버시와 기밀과 같은 개인적인 내용은 어떻게 해야 하는가? What about issues of privacy and confidentiality as some portfolios contain highly personal material?

교사들은 포트폴리오가 좋은 학습 도구라고 생각했다.

the tutors felt that a portfolio was a valuable learning tool from their point of view and that of their students.

학생측에서 가장 큰 문제는 무엇을 해야하는가에 대한 불확실성에 대한 걱정과 개인적 감정을 기록하는 것에 대한 불안감이었다.

The main problems for students were uncertainty regarding what was expected of them and anxiety about recording personal feelings..

Glen과 Hight는 영국 간호사와 조산사 교육에서 포트폴리오를 논하면서, 포트폴리오의 주요 기능은 교육 변화의 촉매재라고 하였다. 즉, 포트폴리오를 만드는 과정이 그 결과보다 중요하다는 것이다.

Glen & Hight (1992), writing on the place of portfolios in nursing and midwifery education in the UK, also raised the question of whether the main function of portfolios was that of a catalyst for educational change, in other words was the process of developing portfolios more important than the product.

포트폴리오 기반 학습은 이제 영국의 일반진료에도 적용되고 있다.

Portfolio-based learning has now been actively promoted in general practice in the UK.

Practitioner와 Mentor가 함께 일하는 방식으로 GP에 대한 보수교육의 목적으로 활용되었다.

Portfolio development in general practice has continued with descriptions of portfolios being used to support continuing education for established general practitioners in which practitioner and mentor work together, the practitioner then submitting a portfolio which is assessed against a number of criteria to allow the award of postgraduate education credits (Treasure, 1996; Challis et al., 1997).

이 시점에서 포트폴리오와 로그북의 차이를 강조하는 것이 필요할 것이다. 로그북은 수행한 업무의 모음으로서 비판적 성찰을 담고 있지 않으며, 학습을 촉진한다기보다는 정기적으로 하는 업무(chores)에 가깝다.

It is perhaps important, at this point, to emphasize the difference between portfolios and the log-books that have been introduced into some higher specialist training programmes. Such log-books are collections of tasks carried out, they do not contain critical reflections and may be seen as chores rather than as a way of stimulating learning

포트폴리오는 자신의 수행에 대한 비판적 성찰을 담고 있으며, 로그북에서는 이루어지지 않는 새로운 방식의 학습이 이뤄진다.

Portfolios contain critical reflection on practice and as such challenge the learners’ performance and learning in a way that log-books do not.

교육자들 사이에서는 포트폴리오 기반 학습이 유명해졌지만, 여전히 이론가들이나 교육과정을 조직하는 사람들은 여전히 몇 가지 의문을 갖는다.

Despite the popularity of portfolio-based learning amongst educationalists, theorists and course organizers there still seem to be a number of outstanding questions:

· What do learners think of portfolio learning?

· What is the effect of portfolio learning on their education?

· Is there a valid assessment component?

· Is there a place for these ideas in general medical education?

이 질문들은 Scottish General Practice Training Regions에서 두 연구에 의해서 설명되었다. 

These questions were addressed in an action research project carried out in two Scottish General Practice Training Regions (Tayside and Highland) which has helped develop a number of principles concerning how portfolio learning can be developed in general practice and whether it has a place.

의학교육에서 포트폴리오 개발 Developing a portfolio in medical education

포트폴리오는 어떻게 생겼는가? What does a portfolio look like?

사용자가 만족한다면 어떻게 생겼는지는 중요하지 않다.

It really does not matter as long as the user is happy with it.

포트폴리오란 무엇인가? What is in a portfolio?

포트폴리오의 구성요소들은 성인학습자 그리고 성찰적 학습(reflective learning)의 개념에 기반하고 있다. 학습과정에 걸쳐서 스스로의 요구와 아젠다를 설정해야 하며, 자신의 임상수행, 그 기간동안 어떤 경험을 했는지도 설명할 수 있어야 한다. 

The components of a portfolio described here are based on the concepts of adult and reflective learning. Throughout learners are asked to identify their own needs and agendas, often through reflection on their own clinical practice and experiences they have in their learning period.

다음은 포트폴리오에 들어갈 수 있는 것들이다.

The following are examples of what a portfolio can contain:

· critical incidents of events with patients;

· a reflective journal or diary;

· tutorials and learning plans, and re¯ection on them;

· routine clinical experiences;

· exam preparation material;

· video recordings of consultations and other relevant material;

· audits and project work;

· critical reviews of articles;

· feedback material;

· management material.

• Critical incidents of events with patients. Critical incidents are those incidents in a working day that are memorable for going well or going badly. (특별히 기억에 남거나 잘 하지 못했던 것들)
  
  
• A reflective journal or diary. Again this does not need to be extensive, but does require some discipline in committing thoughts to paper. The benefit of this is that it encourages learners to reflect on what they are doing, what they are finding difficult and what they are trying to plan for. 
  
  
• Tutorials and learning plans. Descriptions of tutorials that have happened and the follow up of learning needs that have resulted from them can be useful, but more important are some brief reflective notes on which areas within the tutorial were identified as strengths, and which as problem areas for the particular leaner.
  
  
• Routine clinical experiences. There is a lot of routine work in medicine, therefore it is important to focus occasionally on routine incidents in the same way that critical incidents are described above.
  
  
• Exam preparation material. Exams and assessments are an inevitable part of education. Most students and young doctors prepare for examinations through course work and material collected from this and reflection on these can help in their preparation.
  
  
• Video recordings of consultations and associated material. Communication training is now commonplace in medicine and videos of simulated and genuine clinical consultations are used more and more to teach and assess progress in this area.
  
  
• Audits or other project work carried out. Similarly, audits and other project work can form part of a portfolio, again giving evidence of work carried out.
  
  
• Articles and texts reviewed critically. Current emphasis on critical appraisal suggests that all students and doctors should be able to review articles and books critically.
  
  
• Anything else. The important thing is to give learners freedom in what they collect and how, so anything else they wish to include can become part of a portfolio.

포트폴리오는 어떻게 활용할 수 있는가? How can the material in a portfolio be used?

몇 가지로 활용될 수 있다.

- 개인적 발전을 추척하는 방법

- 토론을 촉진하고 미래 학습의 계획을 세우는 Formative Learning

- 공식적(총괄)평가 도구

Portfolios can be used in a number of ways:

· as a method of personal development and a way of tracking progress;

· formatively as a learning tool to stimulate discussion and to plan future learning;

· as a formal (summative) assessment tool.

개인적 발전을 추척하는 방법으로서의 포트폴리오
As a method of personal development and a way of tracking progress. 

포트폴리오는 튜터나 멘토의 지원 없이도 자기주도학습의 목적으로 사용될 수 있다.

Portfolios can be used for self-learning as a personal activity without support and input from a tutor or mentor.

그러나 튜터의 지원이 없는 상태에서 포트폴리오를 만드는 사람은 거의 없을 것이다. 포트폴리오와 그 주변 시스템을 세팅할 때 효과적인 튜터와 멘토의 네트워크는 그 시스템의 성공에 있어 매우 중요하다.

Lack of tutor support, however, will mean that few will create a portfolio. In setting up any system based around portfolios an effective network of tutors and mentors will be important in determining the effectiveness and success of the system.

토론을 촉진하고 미래 학습 계획을 세우는 도구로서의 포트폴리오

Formatively as a learning tool to stimulate discussion and to plan future learning. 

어떤 포트폴리오든지 그것이 활용되는 과정에 따라 그 유용성이 달라진다. 비록 스스로 성찰하는 것이 종종 도움이 되지만, 진정한 의미의 성찰은 다른 사람(튜터)의 도움이 필요하다.

The content of any portfolio is only as useful as the process by which the materials is used. Although reflecting to oneself through a reflective journal is therapeutic for some, real and challenging reflection requires another person, the trainer or tutor.

다음의 스텝을 따르게 된다.

이 과정에서 도움이 될 만한 질문은 다음과 같은 것들이 있다.

Here are some examples of the sorts of questions that can be helpful in this process:

· What happened?

· What did you notice/find intriguing/exciting/worrying?

· What could you learn from this?

· How would you go about learning it?

· How would you know you have learned it?

이러한 과정이 끝나면, 포트폴리오를 이용한 학습 계획을 세워야 한다. 학습의 다음 단계가 무엇인지 적어보는 것은 나중에 진짜로 그것을 달성했는지, 혹은 어떤 행동이 이뤄졌는지 확인하는데 중요하다. 또한 포트폴리오는 피드백 기회를 제공하기도 한다.

At the end of all this it is important to commit to the portfolio some sort of learning plan. Writing down the next steps in a learning process is an important way of checking up later to see what has happened or what action has been taken. In addition to this the portfolio can give a valuable opportunity to stimulate feedback.

공식적(총괄) 평가도구로서의 포트폴리오

As a formal (summative) assessment tool. 

포트폴리오는 어느 기간에 걸친 수행능력을 평가하는 한 방법으로서 매력적인 평가도구이다. 즉, 이론을 잘 적용하는지, 수행능력이 어떠한지를 평가할 수 있다. 이것을 Authentic assessment라 부른다. 그러나 공식적 평가 목적으로서 포트폴리오를 활용할 경우 순수하게 학습적 목적으로 활용할 경우와 전혀 다른 내용이 들어갈 수 있다는 것이 강조될 필요가 있다.

Portfolios are attractive as assessment tools as they appear to be one way of assessing performance in practice over a period of time, in other words they assess the application of theory and the performance of the student or doctor. This is now called an authentic assessment. It must be stressed, however, that if portfolios are to be used for formal assessment purposes learners may keep quite different material than if the portfolio is to be used for purely learning purposes.

공식적 평가는 어떤 자료가 수집되는가에 있어서 부정적 영향을 주기 쉽다.

negative impact formal assessment would have on the material collected

포트폴리오를 평가하기 어려운 한 가지 이유는, 그것이 개인적 내용을 담고 있기에 객관성이 거의 없으며, 학생간 의사간 비교가 어렵게 된다는 점이다. 평가는 또한 노동집약적인데, 평가자는 학습자의 목표와 그에 따라 어떤 근거를 수집하였는지를 꼼꼼히 살펴보아야만 한다.

One of the reasons that portfolios are difficult to assess is that they contain personalized material with few points of objectivity that allow comparisons to be made between students or doctors. Assessment is also labour intensive and requires careful reading and response to a learner’s objectives and evidence of whether they have been met. 

개인적 학습과 성장을 촉진하는 기전으로서는 효과적이나 비교를 위한 평가에는 어려움이 있다.

This means they are effective as mechanisms to support and facilitate personal learning and growth, but cumbersome in comparative assessments.

대규모 포트폴리오 평가의 질에 대한 연구는 거의 없으며, 지금까지 이뤄진 것도 대부분 미국 학교 시스템 내에서 이루어져왔다.

There is little research available in the literature on the technical quality of large-scale portfolio assessments, and what has been done is largely within the American school system.

새로운 평가 방법이 학습에 대한 새로운 아이디어로부터 만들어져야 하는 어려움과 포트폴리오 평가의 어려움을 말해준다.

This illustrates the difficulties in assessing portfolios and how new methods of assessment will need to be developed in the context of new ideas on learning.

평가에 대한 전통적인 관점에 사로잡혀 있다면 포트폴리오의 효과적 평가는 어렵다. 다른 말로 하면, 학생간 서로 비교하여 학점을 주고, 점수를 주는 것은 본질적으로 비-표준화된 방법인 포트폴리오에 적합하지 않은 것이다. 포트폴리오는 비-비교적 평가 방법이 개발되기 전까지는 평가가 어려울 수 밖에 없다. 

This in essence means that the effective assessment of portfolios will continue to be difficult if we remain trapped within our traditional view of assessment. In other words, assessment based on comparing students with each other and with issuing grades or marks does not fit easily with portfolios which are essentially non-standardized. Portfolios will remain difficult to assess until new non-comparative assessment methods are developed. While the emphasis on grading, excellence and comparison between students and doctors remains in assessment and medicine, it is likely that portfolios will have a greater place as a learning tool than as a summative assessment tool,

포트폴리오는 다양한 방법으로 사용가능하며, 학생과 의사 모두에게 포트폴리오가 무엇을 위해 사용되고, 어떻게 사용할 것이 기대되는지를 명확히 해줘야 한다. 몇 개의 ground rule 이 매우 중요하다.

Also, as portfolios can be used in a number of ways it has to be absolutely clear for students and doctors what the portfolios will be used for and how they are expected to use it. For this reason the early establishment of some ground rules is very important

Ground rules.

· 포트폴리오에 쓰인 것은 누가 보는가? Who sees what is written in the portfolio?

· 누가 포트폴리오를 쓸 수 있는가? Who can write in a portfolio?

· 쓰여진 내용에 대해서 어떤 일을 하게 되는가? What will happen to the written material?

· 평가는 어떻게 되는가? Where does assessment ®t in?

· 언제 포트폴리오가 사용되며, 시간은 얼마나 할당되는가? When will the portfolio be used and how much time will be set aside for it?

· 어디에 보관될 것인가? Where it will be kept?

아래는 위에 대한 몇 가지 아이디어들이다. 

Here are some ideas on these topics that have come from our research. These may seem a bit restrictive, but they help give learners a feeling of control and confidence at the start of using a new learning system. In practice they become quite open with their portfolios as they represent a record of their development; the ground rules, however, are essential in allowing this openness to develop

누가 보는가? Who gets to see the portfolio?

의무기록과 비슷한 수준의 보안이 유지되는 것이 중요하다.

it is important that they are treated with the same degree of confidentiality as any medical record

가장 효과적인 성찰 코멘트는 교사와 학습자가 정기적으로 볼 때 가능하다.

The most effective reflective comments seem to be those that both trainer and learner regularly see.

누가 쓰는가? Who writes in it? 

어떤 부분은 교사와 학습자의 기여가 모두 포함될 수 있다.

Some portfolios may contain contributions from trainer and learner. 

어디에 사용되며 얼마나 시간이 배정되는가?

When will the portfolio be used and how much time will be set aside for it? 

학습자의 요구에 맞는 교육과정 개발에 사용될 수 있음. 

Used imaginatively a portfolio will help develop a curriculum for a student or doctor that is relevant to a learner’s needs.

쓰여진 내용에 대해서 어떤 일을 하게 되는가? 

What happens to the written material in the portfolio?

학습자의 포트폴리오는 자기자신의 것이며, 훈련에 관한 자기만의 기록이다. 무엇이 될 것인가는 학습자에 달렸다.

Learners’ portfolios are theirs, they are their own personal record of their training, it is up to them what happens to them.

시작하기 

Getting started

가장 중요한 것은 교수와 학생에게 어떻게 사용할 것인지 정보를 주는 것이다.

More important is the information that is given to faculty and students on how to use portfolios

교수와 학생에게 포트폴리오와 친해지게 하기

Workshops to familiarize faculty and students 

대부분의 의사와 학생은 포트폴리오 학습에 대한 우려가 해소될 때 까지 사용하려고 하지 않을 것이다. 교사와 학습자를 모두 모아놓고 이 장애물을 해결하기 위해서는 토론과 도전을 통해서 아이디어를 모아야 한다.

Most doctors and students will not consider portfolio learning unless some of their concerns and apprehensions are dealt with. Bringing groups of learners and teachers together to explore ideas through discussion and challenge is fundamental in dealing with some of these barriers.

워크숍을 통해서 우려를 해소하고, ground rule을 개발하고, 앞서 언급된 세 개의 튜토리얼 스텝을 연습할 수 있다.

Workshops can deal with concerns, develop ground rules, refine written notes and help staff practice the three tutorial steps described earlier.

워크숍에서 중요한 부분은 포트폴리오를 사용한 사람과 사용하지 않은 사람이 서로 만나는 것이다.

An important part of any workshop is to meet others who have and have not used portfolios

또한 다른 전공의 사람을 만나는 것도 마찬가지로 중요하다.

Equally important is exposure to people from other disciplines

FAQ

Some frequently asked questions

시간이 많이 드나요? Does keeping a portfolio take a lot of time?

Portfolios do take a little time, but not as much as first imagined. In many ways portfolios are a parallel to medical records. Few doctors see patients without writing something down about them to help them next time they or their colleagues see a patient.

A few minutes at the end of each day is all that is needed

상호 관계에 영향을 미치나요? Does a portfolio influence relationships?

This is a difficult question to answer.

Where the relationship is good portfolios seem to work well, but they are less likely to do so where the relationship has some problems.

모든 사람이 만족하나요? Is everyone happy to use a portfolio?

No. Some learners have great difficulty seeing the relevance of intense reflective learning. Young doctors have a variety of learning styles and some who have very active styles of learning in terms of their desire to acquire knowledge do not wish to use such a system, often perceiving it as time wasting or not fitting their needs.

얼마나 오래 사용하나요? How long do people use portfolios for?

One of the most interesting phenomena of portfolio use amongst GP registrars is the bridging phenomenon (Snadden & Thomas, 1998). The transition from working in the fairly sheltered environment of hospital to the culture of uncertainty and isolation that is general practice is not easy. Portfolios assist in the transition by capturing and supporting the young doctor’s difficulties in adapting to a complex and changing environment.

포트폴리오를 쓰면 도움이 된다고 느끼나요? Do people feel they have benefited from keeping a portfolio?

For those that keep portfolios there are several benefits. They help focus teaching sessions on material that is

relevant to them.

In addition to this they help track learning by keeping a record of what the learner has achieved. More importantly the learner can examine areas in which he/she is not confident and plan new learning based on these.

Portfolios explore performance in practice and as such they are a challenging, and confidence building, learning mechanism for both learner and teacher.

Conclusion

A well-completed portfolio will give a young doctor or student and his/her teacher a written record of what has been accomplished in a training period.

Research Article

Read More: http://informahealthcare.com/doi/abs/10.1080/01421599880904

포트폴리오 평가와 의학교육에의 적용

가톨릭대학교 의과대학 의학교육학과

김 선

서 론

교육평가란 교육의 목표가 얼마나 잘 달성되었는지를 검토하는 작업으로서 교육과정에서 필요로 하는 학생에 관한 정보를 수집하고, 교육과정의 효율성을 판단하며, 이에 대한 달성도를 밝히는 과정이기 때문에 전체 교육과정 중 빼어놓을 수 없는 부분 중의 하나이다.

성태제 (2002)는 교육평가를 교육과 관련된 모든 것을 체계적이고 과학적으로 측정하고 관찰하여 가치와 질 등을 판단하는 주관적 행위라 하였다.

채선희 (1998)는 우리가 ‘어떻게 평가할 것인가’라는 기술적인 문제에만 치중해 온 경향이 있다고 하면서, ‘무엇을 그리고 왜 평가하는가’라는 문제를 간과해왔다고 지적하였다. 따라서 교육을 평가함에 있어서는 평가의 목적, 평가의 주체, 평가의 대상, 평가의 기준, 평가의 방법의 다섯 가지 영역을 구분하고, 이들 각각의 특성과 관계를 명확히 이해해야 한다는 것이다.

그러나 최근 교육패러다임이 변하면서 학습결과 뿐만이 아니라 학습과정에도 관심을 기울이고 있으며, 학습과정에서 학습자들의 능동적인 참여를 강조하고, 통합된 지식과 기술을 평가하며 평가 형태 또한 일회적이 아닌 메타인지적인 관점에서 학습을 보는 지속적인 평가가 요구되고 있다.

포트폴리오는 수업과의 연계선상에서 학생의 성취수행을 평가하며, 특정 학습내용 범위를 초월하여 학생의 학업성취를 광범위하게 기술 묘사할 수 있는 방법이다. 뿐만 아니라 학생들이 무엇을 할 수 있는지, 무엇을 할 수 없는지에 대한 정보를 제공하여 학생들의 강점과 약점을 정확하게 파악할 수 있고 (김동일, 2001), 학생들로 하여금 학습활동에 참여하게 하고 자신의 학습활동에 대하여 책임을 질 수 있도록 격려하는 방법이다.

본 론

가. 포트폴리오의 이해

1) 개념 및 목적

포트폴리오 (Portfolio)는 이탈리아어의 ‘나르다’라는 의미의 ‘포르타레 (portare)’와 ‘종이’라는 의미의 ‘폴리오 (folio)’의 합성어로 ‘종이를 나르는 것’이라는 의미를 지니고 있다. 흔히 종이 끼우개, 서류 가방의 의미로 사용되는데, 포트폴리오의 기원은 건축가나 예술가, 사진 작가들이 그들의 능력과 활동을 설명하기 위해서, 또는 은행가가 고객을 유치하기 위한 목적으로 사용해 왔다 (김명선, 김석우, 2001).

이러한 객관식 평가는 단편적인 사실의 기억과 회상에 초점을 두고, 학생들이 수동적으로 주어진 답지 중에 하나를 고르게 하는 것이기 때문에 정보화시대에 필요한 고차원적 사고기능을 측정하기 부적합하다는 지적이다.

포트폴리오를 한 마디로 학습자가 지속적으로 모아둔 학습과제물의 모음집이라고 정의하기도 한다.

포트폴리오란 자신이 쓰거나 만든 작품을 지속적이면서도 체계적으로 모아 둔 개인별 작품집이나 서류철을 이용하여 평가하는 방법이다

석문주 외(1998)는 Taylor가 기술한 포트폴리오 평가의 목적을 정리하였는데, 크게 학생과 교사의 두 측면에서 기술하였다. 

학생을 위한 포트폴리오의 목적은 

①코스 내용과 기술에 관한 학습의 평가, 

②창의적 과정에 대한 통찰 증가, 

③학습과정에서 주체성 획득, 

④시간의 경과에 따른 자신의 성장 인식, 

⑤작업에 반영되는 평가 기술의 증진, 

⑥수동적 학습자에서 능동적 학습자로 변화, 

⑦자신감의 획득, 

⑧성공적 학습자로서의 개인적 이미지 개선이다. 

포트폴리오 평가의 교사를 위한 목적은 

① 개개 학생의 성장과 진전 영역에 대한 증거 제공, 

② 각 활동에 대한 가장 좋은 것에 대한 준거 식별, 

③ 작업 과정에 대한 학생들의 사고 제공, 

④ 완성된 작업에 대한 반응을 통한 상호 의사 전달과 협동의 개선, 

⑤코스 내용과 학생 목표의 개발, 평가 및 수정, 

⑥ 학생의 요구충족을 위한 수업전략 개발, 

⑦ 학생의 성장에 대한 부모, 다른 교사, 행정가의 이해를 촉진하기 수단을 제공하는 것이다.

2) 포트폴리오의 특징

포트폴리오의 특성과 장점에 대해서 배호순(2000)은 여섯가지를 제시하고 있다. 

① 수업과 연계시킨 학생의 성취수행 평가, 

② 학생의 학업성취를 광범위하게 기술 묘사하며 특성 학습내용의 범위 초월 가능, 

③ 특정 내용영역에서의 학생의 성장을 정확히 기록, 

④ 학생들 스스로 자신의 강점과 약점 파악, 

⑤ 학생들을 학습활동에 참여하게 하고 책임을 지도록 격려, 

⑥ 학부모나 교육행정가의 가치로운 정보의 원천.

Oosterhof (1994)는 포트폴리오의 특성을 종합적인 관점에서 다음과 같이 7가지 항목으로 정리하고 있다. 

① 개별화된 교수목표에 용이하게 적용할 수 있다, 

② 산출물의 평가에 초점을 둔다, 

③ 전형적으로 학생의 약점보다는 장점을 파악할 수 있게 해 준다, 

④ 평가과정에 학생을 적극 참여시킨다, 

⑤ 학생의 성취에 관하여 타인들과 의사소통하는 것을 촉진할 수 있다, 

⑥ 시간을 집중적으로 활용할 수 있다, 

⑦ 포트폴리오 평가의 신뢰도에 관해서는 별로 알려진 것이 없다

Marswh와 Willis (1999)는 

① 학생들로 하여금 자신의 지식을 구성하는 데 능동적으로 참여할 수 있게 해 준다, 

② 학생들 자신을 평가할 수 있도록 격려해 준다, 

③ 학생들이 평가를 위하여 광범위하고 다양한 항목을 활용할 수 있도록 허용해 준다, 

④ 학생들로 하여금 사고능력과 표현능력을 과시하도록 요구한다, 

⑤ 학생들이 알고 있고 할 수 있는 바를 공평하고 민감하게 묘사할 기회를 제공해 준다, 

⑥ 믿을 만한 학생의 성취근거를 학부모 및 지역사회에 제공할 수 있다는 점을 포트폴리오의 장점으로 꼽았다.

3) 평가 절차와 도구

현재까지의 포트폴리오 평가 절차는 표준화되어 있다거나 정해진 방법이 있는 것은 아니다

Worthen (1993)은 포트폴리오의 계획 및 준비단계를 다음과 같은 5단계로 정리하고 있다. 

① 원하는 포트폴리오의 모습을 결정한다. 

② 포트폴리오에 포함시킬 내용을 결정한다. 

③ 포트폴리오 견본을 선정하는 시기와 방법을 결정한다. 

④ 포트폴리오를 평가하는 방법을 결정한다. 

⑤ 포트폴리오 활용하는 방법을 결정한다.

McMillan (1997)은 평가설계 및 준비단계에서 중시할 사항을 다음과 같은 질문형식으로 정리하였다.

◦ 학습목표는 명료한가?

◦ 포트폴리오 사용목적이 분명하게 설정되었는가?

◦ 적절한 포트폴리오의 수집함이 준비되었고 그를 용이하게 활용할 수 있는가?

◦ 수집할 포트폴리오 내용물을 선정하는 절차가 분명하게 정해져 있는가? 

◦ 포트폴리오 내용이 학습목표에 부합되는가?

◦ 자기 반성적 평가내용과 그 절차를 학생이 숙지하고 있는가?

◦ 점수체제가 설정되었는가?

Knight와 Gallaro (1994)는 포트폴리오의 절차를 목표와 목적, 도구개발, 자료수집, 자료분석, 자료활용 단계로 구분하고 각 단계별 주의해야할 사항을 다음의 질문형태로 정리하였다.

◦ 목표 및 목적의 개발에서 목적이 과정 중에 포함되어야 하는가?

◦ 도구의 개발 : 적절한 작품 견본을 어떻게 확인할 것인가, 개인별 작품 견본에 필요한 평정체제를 어떻게 개발하고 타당화할 것인가?

◦ 자료의 수집: 누가 포트폴리오를 수집하고 관리할 것인가?

◦ 자료의 분석: 프로그램 수준에서 개인별 작품(성취수행)의 기대수준이나 기준을 어떻게 설정할 것인가, 근거의 비중을 어떻게 정할 것인가, 그 과정을 어떻게 타당화할 것인가?

◦ 자료의 활용: 수집된 근거에 입각하여 행동할 것인가, 자료 분석 결과에 근거하여 행동할 것인가?

4) 포트폴리오 평가의 문제점

평가부분과 관련하여서는 타당도와 신뢰도로 나누어 살펴볼 수 있다

포트폴리오는 학습주제나 학습에 대한 반응의 수준을 잘 표준화, 일반화 할 수 없다는 점이 문제이다. 평가의 영역이 넓은 포괄성을 지니기 때문에 점수화에 큰 어려움이 있는 것이다. 또한 평가시 평정자의 지각과 편견이 들어가서는 안되기 때문에 평가자의 훈련이 고도로 필요한 것도 하나의 지적 사항이다.

따라서 포트폴리오 검사를 제작할 때 

① 특정한 사용을 위한 타당화의 논쟁, 

② 적용 가능한 기술적, 윤리적 기준의 근원과 적용될 구체적 기준, 

③ 검사의 해석과 사용에 대한 지지에서 각기 적용할 만한 기준에 상응하는 증거의 특성을 고려, 

④ 사용과 관련된 결과의 의미 등을 강조해야 한다. 

따라서 신뢰도의 문제를 극복하기 위한 노력으로는 표준화된 수행평가, 평가자들의 훈련과 재훈련이 있다(석문주 외, 1998).

포트폴리오 프로그램은 특히 교수자에게 부담이 많다.

포트폴리오의 점수화, 시간제약, 교수자의 저항, 비용 등이다

우선 포트폴리오 평가의 타당성과 신뢰성을 확립하기 위해서는...

현장실험을 거친 문서화된 채점안내서의 준비하고 명료하고 구체적인 준거를 제시할 필요가 있다. 

또한 모든 점수에 대하여 해석이 딸린 실제 예를 제시하고, 

충분한 연습과 피드백 제공, 

채점하기 전에 여러 채점자들간의 일치도를 과시하기, 

정기적인 신뢰도 점검 실시, 

필요한 경우의 재훈련, 

적절하고 신뢰로운 자료수집 활동의 기록 정리도 많은 도움이 될 수 있다.

Herman, Aschbacher와 Winters(1992)가 제시한 포트폴리오 평가의 기본적인 구비 조건을 시사해주는 다음의 준거 항목들을 눈여겨 볼 필요가 있다. 

① 좋은 포트폴리오 평가란 무엇을 의미하는가? 왜 필요하며, 어떤 목적으로 활용하려는가? 

② 포트폴리오에 어떤 과제가 포함되는가? 

③ 어떤 준거와 기준을 적용해야 하는가?  

④ 채점 및 평정과 판단에서 어떻게 일관성을 유지하려는가? 

⑤ 평가 결과는 의도한 목적에 타당한 것인가? 

⑥ 평가 결과를 어떻게 활용하려는가?

결국 포트폴리의 문제점을 극복하기 위한 방안을 정리하면, 

첫째, 평가 과정에서 어떻게, 무엇이 평가되어 지는지에 대해 학생들의 의견을 반영하여 관심을 갖게 한다. 

둘째, 학생들의 수행에 대해 제공되는 정보의 종류를 학생들로 하여금 세밀히 조사하도록 한다. 이를 통해 학생들이 평가 과정 자체로부터 학습할 기회를 갖게 하고, 숫자에 의존하는 것이 아닌 상세한 개인적 피드백을 제공한다. 

셋째, 평가준거를 명확히 하여 학생들 스스로가 학습을 할 수 있도록 유도해야 한다

나. 포트폴리오의 의학교육에의 적용

앞에서 언급한 바와 같이 실제 상황에서의 수행정도를 평가하는 참평가 (authentic assessment)의 대안평가로 포트폴리오가 많은 관심을 받고 있다고 하였다.

“Tomorrow's Doctors”를 발표한 Genenral Medical Council (1993)에서도 학습자중심 교육을 강조하면서 의대생들에게는 전문적 발달이 중요하므로 기존의 전통적인 학습평가방법과 함께 문제중심학습 방법과 포트폴리오 평가의 중요성을 역설하였다.

영국의 Royal College 의과대학은 일반의들의 훈련과 지속적인 전문성 발달 과정에 변화를 주었는데, 1993년 “Porfolio-based learning in General Practice”라는 저서를 펴내면서 본격적으로 포트폴리오 기법을 활용하였다.

Chief Medical Officer는 1997년 GMC가 “The New Doctor”라는 책을 발간하자, 운영위원회를 조직하여 “Portfolio for pre-registration house officers(PRHOs)”라는 포트폴리오 접근방법을 제시했다.

Sheffield 의과대학에서는 준거지향적인, 프로파일 중심 평가를 사용해 왔다. 이 대학에서는 공식적인 기말 시험을 면제받을 수 있는 방법을 학생들에게 제시했는데 바로 개인의 포트폴리오 기록들을 제출하는 것이다.

정보화시대에 걸맞는 포트폴리오의 형태도 시도되었다. 영국의 WISDOM 프로젝트라고 하는 것인데, 앞으로의 의료행위에는 컴퓨터의 상용이 필수적인 것이 될 것이므로 일차진료의들을 훈련시키기 위한 목적으로 컴퓨터를 통한 의사소통 기술을 높이고, 인터넷을 이용하여 가상 교실을 만드는 것이다.

문제중심학습을 이용한 교육과정을 중심으로 학생들을 교육하는 네델란드의 Maastricht 의과대학에서는 최근 학생평가에서 포트폴리오 기법을 도입하였다.

결 론

교육평가는 교육의 패러다임의 변화에 따라 함께 변한다. 최근 교육평가 변화의 동향은 행동주의적 관점에서 인지적 관점으로 변한다는 것이다. 즉, 학습결과에 대한 관심뿐만이 아닌 학습과정에 대한 관심이 높아져 가는 것이다. 단편적이고 분절된 기능평가가 아닌 통합적이고 간학문적인 평가가 요구되고 있다 (김경자 역, 2000). 따라서 안다는 것과 할 수 있다는 것의 의미에 대한 변화가 생기면서 기능의 재생이 아닌 지식의 적용과 활용을 강조하고 있다. 또한 지필 평가에서 참평가 (authentic assessment)로의 변화가 일고 있다.

또한 하나의 속성을 평가하는 것이 아니라 학생들의 다양한 능력과 재능을 개발하고 보여줄 수 있는 다차원적인 평가고 변화하고 있으며, 개인만 강조하던 평가에서 협동을 중시하는 그룹 활동을 강조하는 평가를 요구하고 있다.

그러나 교육평가에서의 ‘제3의 물결’이라고 칭하고 있는 포트폴리오 방법이 도입단계에서는 교수자들의 많은 시간과 노력을 요구하고 평가문화가 제대로 정립되지 않은 현재 한국 교육적 상황에서는 교사들의 자발적인 참여가 저조할 가능성이 있다.

Portfolio Assessment and its Application in Medical Education
Sun Kim, PhD
Department of Medical Education, Catholic University College of Medicine, Seoul, Korea.

Portfolios for assessment and learning: AMEE Guide no. 45

JAN VAN TARTWIJK1 & ERIK W. DRIESSEN2

1Leiden University, 2University of Maastricht, The Netherlands

오늘날의 의사들은 지식이 많아지고 주장도 강해진 환자들을 대해야 하며, 새로운 것이 발견되거나 새로운 근거가 쌓이면 이를 매일매일의 진료에 적용시켜야 하는 압박도 받고 있다. 

Today’s doctors find themselves confronted not only with patients who are increasingly knowledgeable and assertive, but also with pressure to apply new findings and evidence in day-to-day practice, and with the necessity to collaborate with other health professionals in ever larger teams and communities.

이 복잡한 상황에서 의사들은 의사소통, 조직화, 팀워크, 프로페셔널리즘을 효과적으로 향상시킬 필요가 있고, 이러한 'Generic Competencies'는 종종 'Hard clinical skills'와 대비되어 'Soft skills'로 불리곤 한다.

To deal with these complexities, doctors need generic competencies to enhance effective communication, organisation, teamwork and professionalism. These generic competencies are sometimes labelled as doctors’ ‘soft skills’ in contrast to ‘hard clinical skills’.

그 결과 각종 협회와 정부는 이 Generic competencies를 교육과 평가에 도입할 것을 요구하고 있다.

As a result, professional associations and governments began to voice increasingly urgent demands to include these generic competencies in education and assessment (General Medical Council 2000).

그러나 이들 역량을 개발하는 것과 그 결과를 평가하는 것은 단순하지 않다.

However, stimulating the development of competencies (Box 1) and the assessment of its result is complicated

이미 1990년에 밀러는 임상역량과 관련된 과제가 무엇인지 기술한 바 있다.

Already in 1990, Miller described the challenges involved in assessing clinical competence.

Knows how단계는 시험으로 평가할 수 있다.

The Knows how level can also be assessed by written tests.

한 단계 올라가면, 관심은 가상의 상황에서 학습자가 지식을 활용할 수 있는가를 보는 것으로 옮겨간다.

One level up, at level 3, the issue of interest is that learners demonstrate their ability to use their knowledge to take appropriate action in a simulated environment

피라미드의 가장 윗 레벨은 복잡한 일상 진료환경에서의 독립적인 수행능력과 관계되어 있다.

The top of the pyramid is concerned with independent performance within the complex environment of day-to-day practice.

일반적으로, 이 단계를 적절히 수행하기 위해서는 다양한 역할을 통합적으루 수행할 수 있어야 한다. (의료전문가, 상담가, 의사-환자 관계의 참여자, 리더십 등등)

Typically, adequate performance at this level requires integrated performance of different roles; not only the role of medical expert but also that of counsellor, participant in the doctor–patient relationship, a leadership role in relation to nursing staff, etc. Good performance at the Does level implies competence.

1990년 밀러는 가장 윗 단계를 평가하기 위한 도구가 없다는 것을 발견하였고, 동시에 Teacher education분야의 학자들은 비슷한 문제를 겪고 있었다. 여기서도 문제는 실제 상황에서 어떻게 수행능력을 평가하는가였다. Shulman은 Teacher Assessment Project에서 일차, 이차 교육에서 교사를 평가하는 새로운 접근법을 제안하였다.

In 1990, Miller observed that there were no instruments to evaluate performance consistent with the top of the pyramid (Miller 1990). At the same time, scholars in the field of teacher education and teacher assessment were struggling with the same problem (Bird 1990). Here too, the key challenge was how to assess performance in real life settings. Shulman (1998) describes the Teacher Assessment Project that was set up with the purpose of exploring and developing new approaches to the evaluation of teaching in primary and secondary education.

예술과 건축학 분야에서의 포트폴리오라는 개념이 도입되기에 이르렀다.

As part of efforts to achieve fair judgement of teacher performance in a broad array of settings and situations, the portfolio concept was borrowed from the arts and architecture (Box 2).

의학교육분야에 포트폴리오는 1990년대에 도입되었고, 평가와 전문성 함양을 촉진하는 도구로서 사용되었다.

Since portfolios were introduced in medical education in the early 1990s (Royal College of General Practitioners 1993), their use as an instrument for both assessment and encouraging professional growth has increased enormously (Snadden et al. 1999; Friedman Ben David et al. 2001).

Portfolio goals, content and organisation

Portfolios as a multipurpose instrument

평가도구로서 포트폴리오 Portfolios for assessment. 

포트폴리오가 처음 교육분야에 도입되었을 때에는 건축학이나 예술 분야의 그것과 무척 흡사했다.

When portfolios were originally introduced in education as instruments for authentic assessment, they closely resembled the portfolios of architects and artists,

삼각측량의 원칙에 근거하여 역량에 대한 타당한 결론을 이끌어 내는데 필요한 모든 종류의 근거를 모으는 것이었다.

Building on the principle of triangulation (Denzin 1978; Denzin & Lincoln 2000) all kinds of evidence can be brought together in those portfolios that, in combination, give the possibility to draw valid conclusions about competence (Box 3).

그러나 교사 평가의 목적을 위한 포트폴리오에서 Bird가 발견한 것은 포트폴리오의 과정이 단순히 종이를 모으는 작업에 그치게 되기가 쉽다는 점이었다.

However, in one of the first explorations of portfolios for teacher assessment, Bird (1990) wrote that the portfolio procedures for assessment might easily degenerate into exercises in amassing paper.

"~한 것을 했다는 것을 보이시오"라는 것과 같은 지시사항은 수행능력에 대한 특정한 근거를 낼 것을 요구했다.

Instructions starting with ‘Show how you . . .’ might clarify for portfolio owners that they are asked to provide specific evidence about their performance.

Collins는 포트폴리오의 각 근거에 캡션(caption)을 달 것을 제안했다.

Collins (1991) suggested that captions should be attached to the evidence in the portfolio:

포트폴리오의 중요한 요소 중 하나는 캡션이다. 캡션이란, 각 서류에 그 서류가 무엇인지, 왜 근거로서 가치가 있는지를 설명해주기 위해 붙이는 작은 종이이다. 캡션은 포트폴리오 개발 과정에 필수적이며, 캡션이 없는 서류는 평가자에게 의미가 없다.

One essential component of the portfolio was the document caption. The caption is a little sheet attached to each document stating what the document is (. . .) and why it is valuable evidence. (. . .) Captions proved to be essential to the portfolio development process. Documents without captions were meaningless to the raters. ( p. 153)

학습을 위한 포트폴리오 Portfolios for learning

포트폴리오는 성인학습자의 학습을 촉진하고 반성적 학습을 하게 하는 수단이다. 그래픽아트 부분으로부터 도입된 포트폴리오는, 학습자의 학습이 '발생한' 근거를 수집하는 것에 기반한다.

Portfolio learning is a method of encouraging adult and reflective learning for professionals. Derived from the graphic arts it is based on developing a collection of evidence that learning has taken place. (p. 192)

연구자들은 포트폴리오 학습에 있어서 감독과 비판적 성찰의 중요성을 강조한다.

They emphasise the importance of supervision and critical reflection for portfolio learning:

학습자와 멘토의 상호작용을 통해 학습을 더욱 나아가게 하는 촉매제로서 작용할 때 가장 좋다. 포트폴리오가 단순한 보거나 경험한 사건의 모음집이어서는 안되며, 그 학습으로부터의 비판적 성찰을 한 내용을 담고 있어야 한다.

The system works well when it operates through the interaction of a learner and mentor using the material as a catalyst to guide further learning. It is essential that the portfolio does not become a mere collection of events seen or experienced, but contains critical reflections on these and the learning that has been made from them. ( p. 192)

성찰을 촉진하는 도구로서의 포트폴리오 A portfolio can also stimulate reflection

많은 경우에 포트폴리오는 긴 시간동안 축적된다.

In many cases, portfolios are assembled over a longer period of time.

한 가지 방법은 포트폴리오에 학습활동과 성취내역 뿐만 아니라 학습목표를 포함시키는 것이다.

One way to do so is to include learning objectives in the portfolio as well as a document trail of related learning activities and accomplishments (Mathers et al. 1999; Oermann 2002).

학습자로 하여금 성찰을 유도하고 발전에 대해 논하게 하려는 목적을 가진 포트폴리오는 학습자의 성찰을 중심으로 작성되어야 한다.

Portfolios whose primary objective is to foster learning by stimulating learners to reflect on and discuss their development will be organised around learners’ reflections.

다양한 목적의 도구 A multipurpose instrument 1. 

포트폴리오의 활용 범위와 적용 범위가 넓어졌다.

Inevitably, these developments have widened the applicability of the label portfolio to a broad range of instruments.

이제 중요한 질문은 특정 포트폴리오가 처음 의도한 목적에 맞는가이다.

The question to be answered is whether a certain portfolio is fit for its intended purpose

특정한 교육적 세팅에 맞춰져서 제작된 포트폴리오는 다른 교육 설정에서는 잘 들어맞지 않을 수 있다. 그리고 잘 맞지 않는 포트폴리오는 언젠가는 반드시 버려지게 된다.

portfolios tailored to particular one educational setting may not fit into the educational configuration(s) of other settings (Spandel 1997). An ill-fitting portfolio will inevitably be discarded sooner or later

명백히, 포트폴리오는 한 가지 이상의 목표를 달성하기 위해 사용될 수 있다.

Obviously, a portfolio can be used to achieve more than one goal.

현실에서는 대부분의 포트폴리오는 삼각형의 어느 한 꼭지점에만 위치해있지 않다. 교육 포트폴리오에서 논쟁이 되는 한 가지 이슈는 하나의 포트폴리오와 평가와 성찰이라는 두 가지 목적을 모두 달성할 수 있느냐이다. 이 Dual Function에 반대하는 논리로는, 평가가 효과적인 멘토링에 꼭 필요한 성찰의 질을 저하시킨다는 점이다. 

In practice, the majority of portfolios are not situated in one of the corners of the triangle (Buckley et al. 2009). A controversial issue in the literature on educational portfolios is whether it is acceptable to have one portfolio for both assessment and reflection (Snyder et al. 1998). An argument against this dual function is that assessment may jeopardise the quality of reflection thereby detracting from the portfolio’s effectiveness for mentoring purposes.

반면, 포트폴리오를 평가하지 않을 경우 학습자가 거기에 투자한 시간과 에너지에 대한 보상을 하지 않는 꼴이 된다.

Portfolios that are not assessed, on the other hand, do not ‘reward’ learners for the time and energy they invest in them.

효과적인 포트폴리오는 확실하면서도 유연한 구조를 가지고 있으면서, 개개의 학습자에게 각자만의 발달을 묘사할 기회를 주는 것이어야 한다. 명확한 지침은 중요하지만, 포트폴리오의 내용을 세부적으로 다룰 때에 포트폴리오는 매우 관료적인 도구가 된다. 포트폴리오는 학습자가 포트폴리오의 내용에 대하여 일정한 자유가 있을 때 더욱 강력하다.

An effective portfolio has a clear but flexible structure, giving individual learners’ opportunities to describe their own unique development (Pearson & Heywood 2004; Driessen et al. 2005b; Grant et al. 2007). Clear instructions are important, but when the content of a portfolio is prescribed in detail, portfolios are often experienced as highly bureaucratic instruments (Davis et al. 2001; O’Sullivan et al. 2004; Pearson & Heywood 2004; Kjaer et al. 2006). Portfolios meet with stronger appreciation when learners have a certain amount of freedom to determine the content of their own portfolios (Snadden & Thomas 1998a; Driessen et al. 2005b).

전자 포트폴리오 Electronic portfolios

하이퍼링크.

In e-portfolios, hyperlinks can be inserted to make connections between evidence, overviews and reflections.

종이 포트폴리오는 부피가 크다. 또한 단 한 부밖에 없다는 단점도 있다.

A paper-based portfolio can be cumbersome because of its bulk. Imagine an assessor who needs to take 15 paper portfolios home! Furthermore, there is generally only one copy of a paper portfolio.

스크린으로 보고 읽는데 익숙하지 않은 멘토는 결국 인쇄하게 된다.

Mentors who do not like to read a portfolio on screen will still have to print it. In most systems it is not possible to make notes on the portfolio itself

관련 소프트웨어와 하드웨어 사용에 익숙한 사람에게만 쓸 수 있다.

E-portfolios can only be used by learners and teachers who are sufficiently skilled in using the relevant software and hardware

안정적이고 높은 수준의 정보기술이 필요하다.

An e-portfolio requires a stable and high quality information technology infrastructure that is not always available

여러가지의 사용자 친화적인 포트폴리오 시스템이 있다.

Nowadays, many dedicated portfolio systems are available, which are usually user-friendly (Dornan et al. 2002; www.eportfolioservice.nl).

워드프로세서나 HTML에디터를 사용할 수도 있다.

Apart from dedicated systems, learners can produce an e-portfolio using standard word-processors or HTML editors, preferably ones that they and their teachers are familiar with(Gibson & Barrett 2003).

많은 포트폴리오 시스템이 갖는 한계는 한 가지 또는 두 가지의 포트폴리오 타입만 제공한다는 것이다.

Another reason is that many portfolio systems are limited because they are built to accommodate no more than one or two portfolio types.

종합하면, 표준 소프트웨어 툴은 인터넷으로 접속하기 한계가 있고, 직무기반 평가도구로서 한계가 있으나 학습자가 만들고자 하는 포트폴리오를 만들 수 있게 해주며 보기에 좋다.

In summary, standard software tools have disadvantages from the perspective of managing access to the portfolio using the internet or to include work based assessment instruments, but they usually provide all the options learners need to produce a portfolio that works well and looks great.

많은 멘토들은 웹기반 포트폴리오의 사용이 편해서 더 좋아한다.

but mentors were also unanimous in their appreciation of the greater ease of use of web-based portfolios compared to the more familiar paper-based ones.

포트폴리오와 경험으로부터의 학습 Portfolios and learning from experience

경험으로부터 학습하는데 있어서 멘토의 역할은 중요하다.

Research shows that the role of the mentor is crucial to the successful use of portfolios aimed at learning from experience (Finlay et al. 1998; Snadden & Thomas 1998a; Mathers et al. 1999; Pearson & Heywood 2004; Driessen et al. 2005b; Grant et al. 2007).

이론적 근거 Theoretical background

구성주의에 기반한 최근의 학습에 대한 관점에서, 사람들은 기존에 알고 있는 것, 믿고 있는 것으로부터 새로운 지식과 이해를 '구성'해낸다.

The contemporary view of learning, based on constructivism, is that people ‘construct’ new knowledge and understanding based on what they already know and believe (Bransford et al. 2000).

한 사람의 행동을 바꾸는 것은 그 사람의 현실에 대한 인식이다.

It is this personal perception of reality that guides a person’s actions.

성찰은 '인식 구조를 바꾸는 것'과 관련해서 이러한 프레임워크에서 중요한 개념이다. 성찰과 같은 메타인지(meta-cognitive)기술이 새로운 세팅이나 사건으로부터 배운 것을 전이(transfer)하는데 도움이 된다는 것을 밝혔다.

Reflection is an important concept in this framework, which relates to changing cognitive structures. Research has shown that meta-cognitive skills, such as reflection, increase the degree to which learners transfer what they have learned to new settings and events (Bransford et al. 2000).

성찰에 대해서 연구한 사람들은, 구성주의적 관점을 공유하는데, 그것은 진화하고, 변하고, 경험에 반응하는 정신구조(mental structure)에 의해서 행동이 변한다는 것이다.

all authors writing about reflection share the constructivist view that human behaviour is guided by mental structures that are not static but flexible, evolving and changing in response to experiences.

짧게 줄이면, 성찰이란 것은 자신의 경험에 대한 이해를 더 살피고 더 면밀히 검토하는 것이다. 성찰에는 세 가지 종류가 있는데 

한 가지는 특정 목적을 달성하기 위한 means에 대한 것이고, 

두 번째는 means뿐만 아니라 goals에 대한 것이며, 

세 번째는 critical reflection이다. 

In short, reflection means exploring and elaborating one’s understanding of an experience (Eva & Regehr 2008). Building on van Manen’s work (1977), Hatton and Smith (1995) distinguish three types or levels of reflection. The first type is concerned with the means to achieve certain ends. The second type is not only about means, but also about goals, the assumptions upon which they are based, and the actual outcomes. The third typeof refection is referred to as critical reflection

이 세 가지의 성찰은 위계가 있는 것이 아니며, 다양한 맥락과 상황에서 한 종류에서 다른 종류로 옮겨가는 것이다.

Hatton and Smith (1995) emphasise that these three types of reflection should not be viewed as hierarchical. Different (educational) contexts and situations may lend themselves more to one kind of reflection than to another.

성찰과 전문가적 성장Reflection and professional development

경험함으로써 학습하고자 하는 사람을 돕고자 할 때, medical teacher에게 중요한 것은 '어떻게 학습자들로 하여금 경험을 성찰하고 그것으로부터 배울 수 있게 할 수 있을까?'이다. 이 guide에서는 한 가지를 더하려고 하는데, 바로 '어떻게 포트폴리오를 통해 성찰의 질을 높일 수 있을까?'이다. 

For medical teachers who want to help learners learn from practice, the key question to answer is: ‘How can I stimulate my learners to reflect on their experiences and learn from them?’ For this AMEE guide the additional question is ‘. . . and how can a portfolio help to improve the quality of reflection?’

ALACT 모델을 제시했다.

Korthagen designed the Action, Looking back, Awareness, Creating alternative methods and Trial (ALACT) model (Figure 3) to describe the spiralling process that effective learners go through when faced with a situation for which no routine solution is available (Korthagen et al. 2001).

• Action. The cycle starts with action undertaken for a specific purpose

• Looking back on action: Self directed assessment seeking. 
• ALACT 사이클은 학습자가 지난 행동, 특히 그것이 성공적이지 못했거나 기대하지 않은 일이 일어날 경우 그 단계에 초점을 둔다. 
  The ALACT cycle then moves to the stage where learners look back on a previous action, usually when that action was not successful or something unexpected happened
• 자기평가는 일반적으로 좋지 못하며(poor), 그 대신 self-directed assessment seeking을 대안으로 제시한다.
  Eva and Regehr (2008) write that most of the time self-assessment is conceptualised according to a ‘guess your grade’ model of which the quality is generally poor (Davis et al. 2006). As an alternative they propose self-directed assessment seeking, which they describe as a process by which a learner takes personal responsibility for looking outward, explicitly seeking feedback and information from external sources of assessment data, to direct performance improvements that can help them to validate their self-assessment.
• In Box 4, we give suggestions for a number of strategies to be used by medical teachers in this phase, derived from the work by Korthagen et al. (2002).

• Awareness of essential aspects: Reflection. 
• 수행의 질과 상황의 특징에 대한 결론을 이끌어내었다면, 그 다음은 필수적 측면에 대한 awareness를 높이는 것이다. 이 단계에서 학습자들은 벌어진 일에 대한 새롭고 더 나은 이해를 발전시키게 된다.
  After conclusions have been drawn about the quality of performance and the characteristics of the situation, the next step in the ALACT model is to foster awareness of essential aspects. In this phase, learners try to develop a new and better understanding of what has happened, i.e. they reflect on their performance.
• 멘토는 반드시 모든 정답을 알 필요는 없다. 중요한 것은 옳은 질문을 던지는 것이다.
  Teaching strategies – To stimulate learners to reflect and learn from their experiences, mentors do not need to have all the right answers. The most important thing for them is to ask the right questions

• Creating or identifying alternative methods of action: Change
• 새로운 목표와 다른 전략을 해석해내는 것이 중요하다.
  It is important to explicate (new) goals and alternative strategies.
• 구체적인 목표를 정해주는 멘토와 학습한 경우 멘토와 같이 하지 않은 경우에 비해서 더 많이 향상된다.
  Learners who work with a mentor set more specific goals and improve more than those who do not work with a mentor (Smither et al. 2003).

• Trial. The last step in the ALACT cycle is trial. This is also the start of a new cycle in the spiral of professional development in this model.

Using portfolios as tools for assessment

Snadden과 같은 저자나 Webb 등과 같은 저자들은 standardized psychometric assessment criteria에 non-standardized portfolio를 끼워맞춰서는 안된다고 주장한다. 그들은 포트폴리오평가는 기본적으로 다양한 질적 정보를 해석하는 일이므로, 평가 단계가 질적 연구 기법에 기반하여 이뤄져야 한다고 지적한다.

Authors like Snadden (1999) and Webb et al. (2003) all come to the conclusion that we should not try to fit non-standardised portfolios to standardised psychometric assessment criteria. They point out that portfolio assessment is primarily concerned with interpreting various forms of qualitative information and suggest that assessment procedures should be developed that are based on methods used in qualitative research.

. What is assessed?

. Why is this assessed?

. How is this assessed?

. Who assesses?

. When is this assessed?

What?

포트폴리오는 직무기반 평가에 적합하다. 다른 말로 하면, 밀러의 피라미드에서 Does 단계를 평가하는데 도움이 된다.

portfolios are particularly suited to work-based assessment. In other words, they have added value at the Does level of Miller’s pyramid (Miller 1990).

평가 단계에서 역량을 평가할 때 매우 세세하고 '~을 할 수 있다'로 점철된 긴 리스트와 overview를 제공하지만 평가를 하기에는 기반이 부족한 global description 사이의 균형을 잡는 것은 무척 중요하다.

In aligning competency descriptions with assessment procedures it is of the essence to strike the right balance between very concrete but also very detailed and long lists of ‘is able to’ statements, on the one hand, and very global descriptions providing an overview but too little to support assessment, on the other hand

두 가지를 복합한 좋은 방법은 scoring rubric을 사용하는 것이다.

A way to combine the best of both approaches is to use scoring rubrics. A scoring rubric is a global performance descriptor that lists the criteria for a competency and articulates a limited number of gradations of quality for each criterion.

각각의 학습자와 멘토에게 있어서 scoring rubric은 역량 개발을 위한 로드맵과 같은 것이며, 학습자의 현재 역량 수준을 진단해주고 향후 발전을 위한 방향을 제시해준다.

For learners and their mentors, scoring rubrics can be a roadmap for competence development. It can help them diagnose a learner’s current level of competence and point the way to further development.

Why?

선발, 진단, 증명

Assessing competencies can be done for three reasons: selection, diagnosis and certification.

How?

평가의 질은 어떤 과정으로 평가하느냐에 달려있다.

The quality of the assessment of competencies is crucially determined by the procedure that is used.

의학교육에서 Webb은 포트폴리오 평가가 질적정보와 관련되어 있기 때문에 질적 연구를 위해서 개발된 아이디어를 도입하였다. Guba와 Lincoln은 credibility와 dependability를 달성하기 위한 연구를 하였다.

In medical education, Webb et al. (2003) pointed out that portfolio assessment is primarily concerned with qualitative information and they introduced the idea to use routines developed for qualitative research. Guba and Lincolns’ (1989) strategies to achieve credibility and dependability of assessment can be translated to portfolio assessment (Webb et al. 2003; Tigelaar et al. 2005).

포트폴리오 뿐만 아니라 질적 연구와 관련한 주요 문제는 시간이 많이 든다는 점이다.

The major problem with qualitative research methods as well as with portfolio assessment is the required substantial time investment.

Who?

포트폴리오에 대한 연구에서 주로 나오는 것은 멘토와 평가자가 한 사람이 되면서 생기는 feasibility와 acceptability의 문제이다.

A problem that is much debated in the portfolio literature is the feasibility and acceptability of combining the roles of mentor and assessor into one person

이러한 이유에서, 대부분의 전문가는 멘토가 총괄평가에는 관여하지 않거나 평가위원회에 제안을 해서는 안된다고 한다. 하지만 일부는 'Support를 위한 평가와 High-stakes 의사결정을 위한 평가 사이의 긴장은 사라지지 않을 것'이라고 하면서 '그러한 긴장이 교사와 교육자들에 의해서 잘 다뤄지고 있다'라고 주장하기도 한다.

For this reason, the majority of the experts were of the opinion that mentors should not be involved in summative assessment nor make recommendations to an assessment committee. However, there was a minority who agreed with Snyder et al. (1998, p. 59), who wrote that ‘The tension between assessment for support and assessment for high stakes decision making will never disappear. Still, that tension is constructively dealt with daily by teacher educators throughout the nation’.

When?

선발, 진단평가, 증명

Selection / Diagnostic assessment / Certification

성공적인 포트폴리오 도입을 위한 요소들 Factors influencing the success of the introduction of a portfolio2

교육 변화에 대한 문헌들을 보면, 리더십 뿐만 아니라 사람들(교수, 학습자)의 마음을 얻는 것에 대한 내용이 있다. 

In the literature on educational change, winning the hearts and minds of the people involved, both teachers and learners, as well as the quality of leadership are identified as key factors for lasting educational improvement (Martin et al. 2003; Hargreaves & Fink 2004).

People

교사는 새로운 접근법에 대한 교육적 가치를 인식하면 지지적이 되고, 교육적 변화에 투자를 마다하지 않는다. 

Teachers are more likely to support and invest in educational changes if they acknowledge and subscribe to the educational value of the new learning approach, internalise and support the innovation, and are empowered to assume ownership of it.

Academic leadership

교사를 자극하여 학생 중심의 접근법을 도입하도록 하는데 성공한 교육리더들이 있다. 이들 리더의 특징은 교사들과 토론하고 협상한다는 것이다. Bland의 연구를 보면 리더십이 아래로부터 올라오고 또 올라와서 결국 교육과정 변화에 중요한 요소가 된다.

A group of educational leaders was identified who were successful in stimulating teachers to adopt a student focused approach to teaching. A characteristic of these educational leaders is that they discuss and negotiate these changes with the teachers. Similar findings are reported by Bland et al. (2000), who reviewed the available literature with the aim to identify a set of characteristics that are associated with successful curricular change in medical education. They write that leadership comes up again and again as critical to the success of curricular change.

Infrastructure

An increasing number of Faculties of Medicine are choosing to work with electronic rather than paper portfolios. In the section ‘e-portfolios’, we described the reasons for this choice

Concluding remarks

포트폴리오를 성공적으로 도입하기 위해서는 않은 조건들이 달성되어야 한다. 그리고 설령 그렇다고 하더라도, 포트폴리오가 모든 문제를 해결해주지는 못한다.

The literature shows that many conditions need to be fulfilled to enable successful introduction of a portfolio (Driessen et al. 2007b), and even then a portfolio is not a cure for all pains.

포트폴리오를 도입하는 것은 신발을 사는 것과 같다. 가장 좋은 선택은 목적이 무엇인지에 달려 있으며, 신발이 잘 맞기까지는 많은 시간이 걸린다.

‘introducing portfolios is just like buying shoes: the best choice depends on purpose and a really good fit happens over time, with lots of use and the right give and take by the user ’. (p. 573)

Portfolios for assessment and learning: AMEE Guide no. 45.

의학전문대학원생이 스스로 평가한 커뮤니케이션 능력점수와 표준화 환자가 평가한 의학전문대학원생의 커뮤니케이션 능력 점수의 일치도

부산대학교 의학전문대학원 1인문사회의학교실, 2재활의학과

제민지1, 이수현1, 이창형2, 김성수1

(http://www.emadashi.com/tag/communication-skills-verbal-convesation-successful/)

서론

(AAMC)는 2015년부터 의학전문대학원 입학 시험(the Medical College Admission Test)에 사회 과학(social science) 영역을 50% 가량 출제하여 의예과(pre-med) 학생들의 인문학적 소양을 평가하겠다고 밝혔다[1]. 또한 Accreditation Council for Graduate Medical Education (ACGME)와 American Board of Medical Specialties (ABMS)에서는 의사가 갖추어야 할 6가지 핵심 능력 중 하나로 대인관계 커뮤니케이션 기술(interpersonal and communication skills)을 제시하고 있다[2]. 이처럼 미국의 의료계에서는 의료서비스 질의 개선을 위해 의사의 공감능력과 커뮤니케이션 기술에 대한 평가가 중요함을 강조하고 있다[3]. 

국외 선행 연구에 의하면, 의료진의 커뮤니케이션 능력은 환자에게 긍정적인 효과를 주는 것으로 보고되고 있다.

의료진의 커뮤니케이션 능력을 파악하는 데 핵심이 되는 공감 능력을 측정하는 방법에는 의료진이 스스로 본인의 공감 능력을 평가하는 방법과 환자가 의료진의 공감 능력을 평가하는 방법이 있다. 이 때 환자가 평가한 의료진의 행동을 분석하는 것이 의료진의 환자에 대한 태도를 바꾸는 데 있어 효과적이다[7]. 

• 왜냐하면 의료진의 공감 능력을 측정할 때, 의료진의 자가 평가(self-reporting)만을 반영할 경우 환자가 실제로 느끼는 감정이 배제될 수 있으며 환자의 치료 결과에도 부정적인 영향을 미칠 수 있기 때문이다[8]. 
• Stewart et al. [9]은 환자가 측정한 의료진의 커뮤니케이션 능력 수준과 다른 관찰자가 분석한 의료진의 커뮤니케이션 능력 수준을 비교․분석한 연구에서, 환자가 측정한 결과만이 환자의 긍정적인 치료 결과와 유의미한 관련이 있다고 보고하였다. 
• 또한 Kruger & Dunning [10]은 개인의 커뮤니케이션 능력 수준을 측정할 때 자가 평가 방식만을 이용할 경우, 상대방이 느끼는 것보다 자신의 능력을 더 높게 평가하는 경향이 나타난다고 보고한 바 있다.

국외에서는 의료진이 스스로 측정한 본인의 커뮤니케이션 능력 수준과 다른 관찰자가 측정한 의료진의 커뮤니케이션 수준 간의 차이를 비교하거나 일치도를 분석하는 연구가 진행되고 있다. 레지던트를 대상으로 한 Millis et al. [11]의 연구에 의하면, 표준화 환자(standardized patient, SP)에게 자신의 커뮤니케이션 능력을 낮게 평가를 받은 레지던트들이 본인의 능력을 높게 평가하는 경향이 있는 것으로 보고되었다[11].

최근 국내에서도 의사의 지식 영역뿐만 아니라 환자를 대하는 태도 영역까지 종합적으로 평가하기 위해 2009년 의사 국가고시부터 실기시험을 시행하고 있으며, 그 중에서도 의료커뮤니케이션 영역은 임상수행시험(clinical performance examination)에서 10%의 비중을 차지하고 있다[12]. 

또한 Kim et al. [8]의 연구에 의하면, 의사의 공감적 커뮤니케이션 능력과 환자의 만족도 및 치료 순응도 사이에는 높은 상관관계가 있으며, 특히 의료진의 정서적 공감 능력이 높을수록 환자의 만족도와 치료 순응도가 높아지는 것으로 나타났다. Yoo et al. [14]의 연구에서는 의사의 환자 중심형 커뮤니케이션 스타일은 환자의 진료 만족도와 의사 신뢰도를 높여 환자의 재방문 의도에 간접적인 효과를 주는 것으로 나타났다.

대상 및 방법

1. 연구 대상

2. 연구 방법

1) 측정 도구

본 연구에서는 의학전문대학원생의 커뮤니케이션 능력 수준을 알아보기 위해 Kim et al. [8]이 개발한 의사의 공감적 커뮤니케이션 능력 측정 도구와 Millis et al. [11]이 재구성한 레지던트의 대인관계 커뮤니케이션 능력 측정 도구를 수정․ 보완하여 사용하였다.

2) 측정 방법

본 연구에서는 의학전문대학원생이 스스로 평가한 본인의 커뮤니케이션 능력 점수와 SP가 평가한 의학전문대학원생의 커뮤니케이션 능력 점수의 일치도를 분석하기 위해, MedCalc version 12.3.0 (MedCalc Software, Mariakerke, Belgium)을 이용하였다.

일반적으로 두 집단의 비교를 설명할 때에는 t-test, Pearson r, intra-class correlation coefficient (ICC), 최소자승법(least square method) 등의 방법을 주로 사용한다. 하지만 이러한 방법들은 두 집단이 서로 일치하는지를 측정할 때 일치하는 범위를 과장하거나 상관관계가 낮을 수도 있는 단점이 있다[11]. 특히 두 변수를 비교할 때 주로 쓰는 Pearson r의 경우, 코더 간 신뢰도(inter-coder reliability)에서 가장 큰 문제점을 보인다[15]. 다시 말해 두 변수 사이의 선형 관계를 평가할 때 쓰이는 Pearson r은 곡선형의 관계인 두 변수의 관계에서는 매우 낮은 상관이나 ‘0’에 가까운 상관을 나타낼 수도 있다[15]. 그렇다고 해도 이 두 변수 사이에 관계가 없다고 단정 지을 수는 없다. 

반면 Lin’s concordance는 Pearson r의 결점을 보완하여, 관찰된 새로운 값들이 기존의 값들을 얼마나 잘 설명하는지를 보여준다. Lin’s concordance는 원점을 통과하는 하나의 기울기를 가지므로 값들의 일치 정도에 대한 정확도와 신뢰도가 높아지는 장점이 있다[15]. 일반적으로 Lin’s concordance는 최근 의학통계에서 새로운 기구나 측정 방법의 효율성을 평가할 때 많이 사용하는 기법이다. 하지만 본 연구처럼 동일한 정보에 대한 복수의 관찰자를 활용할 때에도 Lin’s concordance를 이용하는 것이 값들의 일치도를 파악하는 데 있어 더욱 타당하다고 할 수 있다.

Lin’s concordance는 측정된 값들의 산포도를 그렸을 때 데이터들이 기울기가 1인 직선(the 45-degree line)에 가까울수록 두 집단의 데이터가 일치하는 것으로 본다. 또한 Lin’s concordance의 rc값(Lin’s concordance correlation coefficient)은 관찰된 데이터가 기울기가 1인 직선으로부터 얼마나 떨어져 있는지를 정확하고 정밀하게 알아볼 수 있게 한다. 결국 rc는 기울기가 1인 직선에 근접할수록 함수로서 가치가 높아진다고 할 수 있다. rc는 Pearson’s r (the measure of precision)과 Cb (the measure of accuracy)의 곱으로 계산되며, rc와 Cb가 1에 가까울수록 두 집단이 서로 상관관계가높은 것이다.

rc값(Lin’s concordance correlation coefficient)으로 의학전문대학원생의 자가 평가 점수와 SP 평가 점수 간의 일치 정도를 파악하였다.

결과

1. 의학전문대학원생의 커뮤니케이션 능력 수준

Table 1은 의학전문대학원생이 스스로 평가한 커뮤니케이션 능력 수준과 SP가 평가한 의학전문대학원생의 커뮤니케이션 능력 수준을 각각 최상, 상, 중, 하, 최하로 분류하여 분석한 결과이다. 

공감적 커뮤니케이션 능력 중 인지적 공감 능력에 대해서는, 

공감적 커뮤니케이션 능력 중 정서적 공감 능력에 대해서는,

대인관계 커뮤니케이션 능력에 대해서는,

이를 통해 볼 때, 의학전문대학원생이 인식하고 있는 본인의 커뮤니케이션 능력 수준과 SP가 인식한 의학전문대학원생의 커뮤니케이션 능력 수준에는 차이가 있다는 것을 알 수 있다.

2. SP가 평가한 의학전문대학원생의 공감적 커뮤니케이션 능력과 대인관계 커뮤니케이션 능력 간의 상관관계

Table 2는 SP가 평가한 의학전문대학원생의 공감적 커뮤니케이션 능력과 대인관계 커뮤니케이션 능력 간의 상관관계를 분석한 결과이다. SP에게 인지적 공감 능력을 높게 평가받은 의학전문대학원생일수록 정서적 공감 능력(r=0.869, p<0.01)과 대인관계 커뮤니케이션 능력도 높게 평가받았다(r=0.840, p<0.01).

이를 통해 볼 때, SP에게 공감적 커뮤니케이션 능력을 높게 평가받은 의학전문대학원생일수록 대인관계 커뮤니케이션 능력 역시 높게 평가받은 것을 알 수 있다(Table 2).

3. 의학전문대학원생이 스스로 평가한 커뮤니케이션 능력 점수와 SP가 평가한 의학전문대학원생의 커뮤니케이션 능력 점수의 일치도

Table 3은 의학전문대학원생이 스스로 평가한 커뮤니케이션 능력 점수와 SP가 평가한 의학전문대학원생의 커뮤니케이션 능력 점수의 일치 정도를 알아보기 위해 Lin’s concordance를 이용하여 분석한 결과이다.

이상의 Lin’s concordance의 결과를 볼 때, 의학전문대학원생이 스스로 평가한 커뮤니케이션 능력 점수와 SP가 평가한 커뮤니케이션 능력 점수 간에는 매우 낮은 일치도를 보이고 있다는 점을 알 수 있다.

고찰

의료진이 자신의 커뮤니케이션 능력을 이해하는 것은 의료면담을 보다 효과적으로 진행하는 데 도움을 줄 수 있다. 의료진이 자신의 커뮤니케이션 능력을 향상시키기 위해서는 환자가 평가한 의료진의 커뮤니케이션 능력 수준을 분석하여 반영하는 것이 효과적이다[7].

의학전문대학원생의 자가 평가 점수와 SP 평가 점수가 커뮤니케이션 능력의 3가지 하위 요소(인지적 공감 능력, 정서적 공감 능력, 대인관계 커뮤니케이션 능력)에서 모두 불일치하였다.

의학전문대학원생의 자가 평가 점수와 SP 평가 점수의 불일치는 기존에 알려진 자기 고양 편향(self-enhancement bias)으로 설명할 수도 있다. 자기 고양 편향은 전체적으로 자신을 지나치게 긍정적으로 평가하는 경향성을 일컫는 것으로, 자신의 능력을 측정할 때뿐만 아니라 성격을 측정하는 데에서도 매우 일반적으로 일어나는 현상이다[16]. 이러한 현상이 나타나는 이유는 자기 자신을 실제보다 더 낫다고 보는 환상이 개인의 정신 건강 및 심리적 안녕감에 긍정적인 영향을 미치기 때문이다[17]. Epley & Dunning [16]의 연구에서도 타인의 행동을 평가할 때보다 본인이 스스로 자신의 행동을 평가할 때 더 큰 오류를 보이는 경향이 있었다.

한 가지 척도만으로도 측정하고자 하는 목적을 이룰 수 있다면 여러 가지 도구를 모두 사용하는 것보다 연구의 효율성을 높일 수 있다. 특히 본 연구의 결과에서는 공감적 커뮤니케이션 척도와 대인관계 커뮤니케이션 척도는 매우 높은 정적 상관관계를 보이고 있었다. 이러한 사실은 두 도구가 측정하고자 하는 초점이 다름에도 불구하고 실질적으로는 유사한 내용을 측정하고 있다는 점을 보여준다. 그러나 기존 연구에서 의사-환자 간의 대인관계 커뮤니케이션의 핵심 요소로 공감 능력을 꼽고 있다[11]. 그러므로 의학전문대학원생의 커뮤니케이션 능력을 평가함에 있어서도 공감 능력에 초점을 맞추는 것이 중요하다고 할 수 있다. 즉, 의학전문대학원생의 커뮤니케이션 능력을 측정함에 있어 대인관계 커뮤니케이션 척도보다는 인지적 공감 능력과 정서적 공감 능력을 구체적으로 평가하는 공감적 커뮤니케이션 척도를 우선적으로 적용하는 것이 더 효율적이라고 할 수 있을 것이다.

또한 의료진의 커뮤니케이션 능력에 대한 의사와 환자의 인식 차이를 줄이기 위해서는 의학전문대학원생의 교육과정에서부터 커뮤니케이션 능력을 향상시킬 수 있는 실질적인 프로그램 모듈의 개발이 필요하다. 예를 들어, Riess et al. [20]은 레지던트의 공감 능력을 향상시키기 위해 the three 60-minute empathy training modules을 개발하였다. The three 60-minute empathy training modules는 공감에 대한 기본적 개념 교육, 어려운 환자(difficult patient)를 위한 공감 능력, 공감 능력과 나쁜 소식 전하기 등의 3가지 모듈로 구성되어 있다.

Concordance between Self and Standardized Patient Ratings of Medical Students' Communication Skills

Min Ji Je,1 Su Hyun Lee,1 Chang Hyung Lee,2 and Sung Soo Kim1

1Department of Social Studies of Medicine, Pusan National University School of Medicine, Yangsan, Korea.

2Department of Rehabilitation Medicine, Pusan National University School of Medicine, Yangsan, Korea.

Corresponding Author: Sung Soo Kim. Department of Social Studies of Medicine, Pusan National University School of Medicine, 49 Busandaehak-ro, Yangsan 626-815, Korea. Tel: +82.51.510.8036, Fax: +82.51.510.8026, Email: tigerkss@pnu.edu

Received October 29, 2012; Revised December 28, 2012; Accepted January 31, 2013.

표준화 환자를 이용한 진료수행시험에서 교수와 표준화 환자의 채점 정확도

경희대학교 의학전문대학원 의학교육학교실

박재현, 고진경, 김선미, 유효빈

(http://www.redorbit.com/education/reference_library/health_1/medical_procedures/1112733763/auscultation/)

서론

수행평가에서 채점자의 신뢰도에 관한 문제는 오래된 논쟁거리이다.

중요한 시험에 적합한, 신뢰할 만한 채점관은 누구일까? 첫 번째 후보는 임상교수들이다. 다음 후보는 진료수행시험에 참여하는 표준화 환자이다. 이들은 현실적 어려움이 많은 임상교수를 대신해서 ‘표준화된’ 채점을 하기에 적합한 대상들이다. 

그러나 자격시험과 같이 중요한 시험에서 채점관 역할을 하기에 충분한 역량을 갖추고 있는지, 혹시 시험의 신뢰도나 타당도를 떨어뜨리게 되지는 않을지 우려하는 목소리도 적지 않다.

진료수행시험을 먼저 도입한 북미와 유럽에서도 유사한 논란이 있었다. 

임상교수와 표준화 환자 간의 진료수행평가의 채점 결과를 비교하는 연구논문이 여러 편 발표되었다. 

Martin et al. [2]은 의사와 표준화 환자의 채점 결과를 정답기준(golden standard)과 비교한 연구에서 의사채점자의 정확성이 더 높다는 결론을 내렸다. McLaughlin et al. [3]은 학생들은 표준화 환자 채점자에 대해 긍정적인 태도를 가지고 있으나 표준화 환자의 점수는 의사보다 전반적으로 높았고, 다른 측정(MCQ) 결과와의 관련성이 낮았다고 보고하였다.

반면, Kopp & Johnson [4]의 연구에 의하면 의사와 표준화 환자의 채점 결과의 일치도가 81~92% 사이였으며, 시험의 후반부로 갈수록 일치도가 높아졌다. 이들은 표준화 환자가 신뢰할만한 채점자의 역할을 할 수 있다는 결론을 내렸다. MacRae et al. [5]은 병력청취와 신체진찰에서 표준화 환자의 채점표 점수가 의사의 평가결과와 높은 상관관계를 나타냈음을 보고하였다. Kwon et al. [6]도 표준화 환자와 임상교수의 채점결과가 병력과 신체진찰 영역에서의 일치도가 높아 표준화 환자의 채점 결과를 임상교수의 것을 대신해 사용할 수 있다고 논의하였다. 그러나 환자-의사관계에서는 일치율이 크게 떨어졌음을 함께 보고하였다.

임상교수와 비교하는 방법을 택하지 않고 표준화 환자의 채점 결과의 신뢰성만 집중적으로 조사한 연구들도 있다. 

Vu et al. [7]에 의하면 표준화 환자의 채점정확도는 ‘좋음’에서 ‘매우 좋음’ 수준을 보였다. 또한 이들의 채점정확도는 채점표의 길이와 문항의 유형 및 명료함에 영향 받았으나 하루 중의 시기나 시험기간 중 날짜에는 영향 받지 않았다고 보고하였다. De Champlain et al. [8]은 표준화 환자와 관찰자의 채점 결과를 정답기준과 비교하고, 표준화 환자와 정답기준과의 높은 일치율을 제시하였다. Heine et al. [9]은 정답기준을 작성하여 비교함으로써 표준화 환자의 채점오류의 유형(누락오류[omission]/첨가오류[commission])과 빈도를 분석하였다. 표준화 환자들은 신체진찰보다는 병력청취에서 더 많은 오류를 범했고, 누락오류보다는 첨가오류를 더 자주 범하였다. 전반적으로 표준화 환자의 채점 정확성은 높은 수준이었고, 발생된 오류는 대부분 학생들에게 호의적인 결과로 나타났다.

위에서 제시한 선행연구들의 연구방법과 결과를 비교분석해 보면 임상교수와 표준화 환자의 채점 정확성을 분석하기 위한 최선의 방법을 선택할 수 있다. 

먼저 정확성 판정을 위한 기준을 살펴보면, 먼저 임상교수와 표준화 환자의 채점 결과를 비교하여 일치도를 구하는 방법이 있다.

또는 따로 개발한 정답기준과 비교하여 채점 결과의 정확성을 파악하는 방법도 있다[2,8,9,10]. 방법적인 측면에서 볼 때 오류가능성을 안고 있는 임상교수의 결과를 기준으로 하여 일치도나 상관을 구해 표준화 환자의 채점 정확성을 판정하는 방법보다는 정답기준을 작성하여 이를 근거로 채점 정확성을 판단하는 것이 더 명확한 연구방법으로 판단된다

분석의 수준도 결정해야 한다. 각 문항점수를 분석하는 방법과 사례별로 합산하여 분석하는 방법이 있다. 

분석의 수준이 높아질수록 연구자가 원하는 결과를 얻기 쉽다. 즉, 문항점수보다는 사례점수를, 사례점수보다는 여러 사례의 총점을 비교할 때 신뢰도는 높아지고, 동시에 다면적인 정보를 얻을 수도 있다[11]. 그러나 문항수준의 분석은 점수의 합산을 통해 조정되지 않은 실제 채점 결과의 정확성을 알려준다. 그러므로 번거로울 뿐 아니라 이미 시행된 시험에 대해 낮은 신뢰도를 보고하게 될 수도 있지만 문항수준의 분석은 확인해 볼만한 가치가 있다.

만약 표준화 환자의 채점 정확성이 충분히 높게 나타난다면 이 연구는 국가고시와 같은 대규모 진료수행시험에서 표준화 환자를 채점관으로 선정하는 것에 대한 근거를 제공할 수 있을 것이다.

대상 및 방법

1. 표본과 연구도구

학생들의 진료수행능력 평가는 임상교수와 표준화 환자에 의해 이원적으로 이루어졌다. 임상교수는 시험이 진행되는 동안 시험장 내에 머물면서 학생들의 진료과정을 직접 관찰하고 평가하였다. 채점표는 병력청취, 신체진찰, 임상예절, 환자-의사관계를 평가하는 문항으로 구성되었으며, 사례에 따라 환자교육이나 진단계획 등에 관한 문항이 추가되었다

병력청취와 임상예절은 ‘했음/하지 않았음’의 2단계로, 

신체진찰이나 환자교육은 ‘했음/제대로 하지 않았음/하지 않았음’의 3단계로 표시하도록 하였다. 한편 

환자-의사관계는 ‘매우 동의함’부터 ‘전혀 동의하지 않음’ 사이의 5점 척도 내에서 학생의 수준을 평정하도록 하였다

2. 정답기준(answer key)

임상교수와 표준화 환자가 기록한 점수의 정확성을 판정하는 정답기준은 두 명(SK, HY)의 표준화 환자 트레이너가 개발하였다. 이들은 학생 60명이 표준화 환자를 대면하는 장면을 보고 각각 60개의 평가기록표를 작성하였다. 두 사람의 채점자는 각기 다른 장소에서 녹화장면을 보면서 독립적으로 평가기록표를 작성하였으며, 평가를 마친 후 평가기록표의 각 문항을 비교하여 일치하지 않은 결과에 대해서는 대면장면을 다시 확인하고 토의를 통해 합일된 의견을 구하였다. 판정이 모호한 몇 개의 문항에 대해서는 제3의 채점자(JK)가 확인하여 최종판정을 내렸다. 이러한 과정을 통해 개발된 정답기준은 각 학생이 표준화 환자 대면과정에서 보인 행동에 대한 가장 적절한 판정을 담고 있다.

3. 문항수준의 분석

문항수준의 일치도는 일치도 통계(agreement statistics)와 Kappa 계수를 구하여 분석하였다. 

일치도 통계는 채점자가 피험자의 수행을 어떤 유목이나 범주로 분류할 때 사용하는 방법으로, 두 채점자가 일치하게 채점한 피험자의 비율을 산출한다. 

Kappa 계수는 일치도 통계가 우연에 의해서 일치하게 평정된 경우를 포함하고 있어 두 채점자 간의 일치도가 과대 추정되는 문제점을 해결하기 위하여 제안된 방법이다. Kappa 계수는 일치도 통계에서 우연에 의하여 두 채점자의 평정결과가 일치하는 확률을 제거한 수치이므로 일치도 통계보다 항상 낮게 추정된다[12,13].

채점표 영역 중 환자-의사관계는 다른 영역과 달리 5점 척도상에서 문항에 동의하는 정도를 평정하도록 되어있어 위와 같은 일치도(agreement) 분석이 적합하지 않다. 그래서 환자-의사관계 문항들은 서열척도로 평가된 자료에서 채점자 간 신뢰도를 측정하는 대표적인 방법인 급내상관계수(intraclass correlation coefficient, ICC)를 구하여 분석하였다[14]. 

ICC는 자료의 분포가 분산이 아주 적은 경우 결과가 무의미하게 나타나므로 비교하는 두 집단의 분산분석을 선행한 후 해석하였으며, 이차원변량모형(two-way random effects)과 절대동의서(absolute agreement) 방식으로 계산하였다[15].

4. 사례수준의 분석

각 사례에서 학생들이 획득한 점수를 비교하여 임상교수와 표준화 환자, 그리고 정답기준의 사례별 총점이 어떻게 다른지 분석하기 위하여 사례(4개)와 채점자(3수준: 임상교수, 표준화 환자, 정답기준)를 요인으로 하여 반복측정에 의한 이원분산분석을 시행하였다

결과

1. 문항수준의 일치도 분석

Table 4는 임상교수와 정답기준을 비교한 결과와 표준화 환자와 정답기준을 비교한 결과이다. 분석한 문항은 환자-의사 관계를 제외한 문항들이며, 일치율과 Kappa 계수를 제시하였다. 

일치율의 경우 0.85 이상이면 높은 것으로 해석하고[12], Kappa 계수의 경우 0.41~0.60이면 보통 수준(moderate agreement), 0.61~0.80이면 높은 수준(substantial agreement), 그리고 0.81~1.0이면 거의 완벽하게 일치(almost perfect agreement)하는 것으로 해석한다[16].
분석결과에 따르면, 표준화 환자와 임상교수는 정답기준과 유사한 일치율을 보였다. 그러나 Kappa 계수를 참조하면 두 평가 그룹은 정답기준과 일치도가 달랐다. 표준화 환자는 모든 사례에서 정답기준과 보통 수준의 일치도를 보였다. 즉, 표준화 환자는 보통 수준의 채점 정확성에 도달하였다. 반면, 임상교수는 사례 2에서 정답과의 일치도가 크게 떨어졌다. 전반적으로 표준화 환자의 채점정확도가 임상교수보다 높은 편이다.

채점표에서 비교적 비중이 큰 병력청취와 신체진찰 영역의 정확도를 Kappa 계수로 비교한 결과를 Table 5에 제시하였다.

Table 6은 환자-의사관계 문항에서 임상교수, 표준화 환자의 평가결과와 정답기준 간의 ICC를 분석한 결과이다. ICC는 일반적으로 0.75 이상이면 높은 것으로 해석한다[17]. 연구결과를 살펴보면 임상교수가 채점한 첫 번째 문항의 F 통계량이 유의하지 않은 것을 제외하고 모든 문항이 정답기준과 분산에 차이가 있으므로 ICC의 해석이 가능하다. 그러나 임상교수와 표준화 환자 모두 모든 문항의 ICC가 0.75에 근접하지 않았다. 문항수준의 분석에서 환자-의사관계의 채점 정확성은 채점자를 막론하고 매우 낮았다

2. 사례수준의 일치도 분석

사례와 평가자를 요인으로 사례점수를 반복측정 분산분석한 결과를 Table 7에 제시하였다. 먼저, Mauchly 구형성검정(test of sphericity) 결과를 살펴보면 자료의 구형성을 만족하지 못하므로(chi-square estimate=15.30, df=2, p<0.001)일변량분석결과를 참조하였다. 일반적인 반복측정 분산분석에서는 개체 간 효과가 연구자의 주요 관심사이나 이 연구는 채점자 간 신뢰도를 검정하고자 하기 때문에 동일한 피험자에 대한 채점자 간 차이를 분석한 개체 내 효과에 주목해야 한다. Table 7에 따르면 채점자 간에는 통계적으로 유의미한 차이가 없으며(F=3.28, p>0.05), 채점자와 사례 사이에 상호작용도 없었다(F=1.76, p>0.05). 즉, 임상교수와 표준화 환자의 사례점수(percent-correct scores)는 정답기준의 사례점수와 차이가 없으므로 두 채점자 그룹 모두 정확하게 채점한 것이다.

즉, 교수와 표준화 환자 모두 엄격하게 채점하는 경향(error of harshness)이 있고, 표준화 환자는 교수보다는 더 호의적으로 채점하였다.

단, 위에서 보고한 결과는 환자-의사관계 문항을 제외한 사례점수이다. 환자-의사관계 문항을 포함한 점수로 같은 분석을 해보면 위와는 매우 다른 결과가 나타난다. 채점자 간 차이가 통계적으로 인정되어(F=8.59, p=0.001) 임상교수(60.39±13.02)와 표준화 환자(60.37±14.56)의 채점 결과는 정답기준(65.08±10.18)과 다르므로 두 그룹 모두 채점 정확성을 담보할 수 없다는 결론에 이르게 된다. 그러나 앞서 문항수준의 분석에서 나타난 환자-의사관계 문항과 평정척도의 차별성과 잠재적 문제점을 인정하여 본 연구에서는 환자-의사관계 문항을 제외하고 분석한 결과를 최종결과로 보고하였다.

고찰

이 연구에서도 선행연구와 마찬가지로 사례수준의 분석은 문항수준의 분석보다 신뢰도 판정이 후하게 내려졌다[8]. 평가의 신뢰도를 분석할 때에는 분석자료가 더 많은 정보를 포함할수록, 예를 들어 더 많은 문항을 가진 시험지이거나, 더 많은 피험자를 가진 시험일수록 신뢰도가 높게 평가된다. 같은 원리로 진료수행시험에서 스테이션의 수를 늘리거나 다수의 채점자를 배정하면 시험의 신뢰도가 높아진다[18].

문항수준의 분석결과를 살펴보면 교수 채점자들의 정확성이 표준화 환자들보다 떨어진다(Table 4 Kappa 계수 참조).

그런데 임상교수들에게 익숙한 검사일수록 오히려 검사를 ‘제대로’ 한 경우와 그렇지 않은 경우를 판단하는 기준의 일관성이 떨어지기 쉽다. 왜냐하면 임상교수들은 각자의 필요나 습관에 따른 검사방법에 익숙하기 때문이다.

이러한 현상에 대해서 De Champlain et al. [8]은 일반적으로 신체진찰의 채점 정확성이 병력청취보다 높게 나타나나 ‘수행을 제대로 한 경우’와 ‘수행을 하긴 했으나 정확히 하지 못한 경우’를 구분해서 평정하도록 되어 있는 채점표를 쓰는 경우 사례에 따라 신체진찰의 채점 정확성이 크게 떨어질 수도 있다고 논의한 바 있다.

문항수준의 분석결과에 따르면 표준화 환자의 채점 정확성이 임상교수보다 더 높다. 이는 정답기준과 비교해서 임상교수의 채점 정확성이 표준화 환자보다 더 높았다고 보고한 Martin et al.[2]의 연구와 상반된 결과이다.

그러나 선행연구를 이 연구와 면밀히 비교한 결과, 연구팀은 중요한 차이점을 발견할 수 있었다. Martin et al.의 연구에서는 정답기준이 임상교수들에 의해 개발된 반면, 이 연구에서는 표준화 환자 트레이너들에 의해 개발되었다. 임상교수가 만든 기준에 임상교수의 채점 결과는 더 잘 들어맞았고, 표준화 환자 트레이너가 만든 기준에는 표준화 환자의 채점 결과가 더 일치하였다.

환자-의사관계 문항은 채점자에 상관없이 매우 낮은 채점 정확도를 보였다. 이는 Kwon et al. [6]이 환자-의사관계 문항에서 채점자 간 낮은 일치도를 보고한 것과 동일한 결과이다. 환자-의사관계 문항의 낮은 신뢰도는 선행연구뿐 아니라 이 연구 내에서 정답기준을 개발한 두 트레이너 간 일치도 분석에서도 재확인할 수 있다. 다른 영역의 문항에서는 매우 높은 수준의 일치도를 보인 트레이너들은 환자-의사관계 문항에서는 매우 낮은 상관을 보였다(Table 3).

한편, 임상교수와 표준화 환자의 환자-의사관계 채점 정확성을 비교해 보면 다른 영역과는 상반된 경향성이 나타난다. 즉, 임상교수와 정답기준의 일치도가 표준화 환자와 정답기준의 일치도보다 더 높은 것이다. 여기에서 연구팀은 또 하나의 중요한 채점자 특성을 발견하였다. 임상교수들과 정답기준을 개발한 트레이너들은 학생들의 진료장면을 직접, 혹은 화면을 통해 관찰한 반면, 표준화 환자들은 진료의 대상자로 학생과의 상호작용에 직접 관여하였다. 즉, 이들은 관찰자와 참여자로서 시험장면을 보는 시점이 달랐다.

사례점수를 가지고 정답기준, 임상교수 채점, 표준화 환자 채점을 개체 내 요인으로 두고, 4개 사례를 개체 간 요인으로 두어 반복측정 분산분석을 한 결과, 정답기준, 임상교수 채점, 표준화 환자 채점 간에는 점수의 차이가 없었다. 즉, 오류로 점수를 더하거나 뺀 문항을 모두 합산한 결과(net score)에 따르면 임상교수와 표준화 환자가 채점한 점수는 정답기준과 점수가 같았다. 이는 표준화 환자 채점과 임상교수 채점의 일치도에 대해서 긍정적인 결론을 내린 많은 선행연구를 지지하는 결과이다[4,5,6,7,8,9].

위의 논의를 종합하면 표준화 환자와 임상교수의 채점 정확성이 확보되었다는 결론을 내릴 수 있다. 이러한 결론을 통해 대규모 진료수행시험에서 표준화 환자가 임상교수를 대신해 학생들의 진료수행능력을 신뢰성 있게 평가할 수 있으리라는 실제적 판단을 내릴 수 있다. 철저한 훈련이 주어진다면 표준화 환자들은 사례개발자가 평가하고자 의도한 행동이나 지식을 일관성 있게 평가할 수 있는, 신뢰할 만한 채점관의 역할을 수행할 수 있을 것이다. 그러나 이러한 주장은 충분한 훈련과 명료한 채점표가 제공된다는 전제 하에 설득력이 있음을 기억해야 한다. 채점자의 오류를 줄이기 위한 채점표와 훈련의 조건에 대해서 Williams et al. [19]은 채점표를 간결하게 구성하고, 평정단계도 가능한 줄여야 하며, 채점자가 사례와 채점문항을 이해하는 것뿐 아니라 수행평가가 가지는 한계점까지도 이해하도록 충분히 훈련할 것을 제안하였다. 또한 채점자에게 시험이 진행되는 과정에서 적절한 피드백을 줄 것도 함께 권고하였다. 실제로 Wallace et al. [10]의 연구에 의하면 표준화 환자에게 무작위(random) 피드백을 주었을 경우에 피드백을 주지 않거나 계획된 피드백을 주었을 때보다 높은 채점 정확성을 보였다.

Faculty Observer and Standardized Patient Accuracy in Recording Examinees' Behaviors Using Checklists in the Clinical Performance Examination

Jaehyun Park, Jinkyung Ko, Sunmi Kim and Hyobin Yoo

Department of Medical Education, Kyung Hee University School of Medicine, Seoul, Korea.

Corresponding Author: Jinkyung Ko. Department of Medical Education, Kyung Hee University School of Medicine, 1 Hoegi-dong, Dongdaemun-gu, Seoul 130-701, Korea. TEL) 02-961-9102, FAX) 02-969-0792,Email: michkay@khu.ac.kr

Received April 13, 2009; Accepted June 25, 2009.