학부의학교육 초기에 포트폴리오 활용(Med Teach, 2003)

학부의학교육 초기에 포트폴리오 활용(Med Teach, 2003)

Use of portfolios in early undergraduate medical training

ERIK W. DRIESSEN, JAN VAN TARTWIJK, JAN D. VERMUNT & CEES P.M. VAN DER VLEUTEN

Department of Educational Development and Research, Faculty of Medicine, Maastricht University, The Netherlands

도입

Introduction

학생들이 (학교에서 수업받는 단계를 지나) 독립적으로 의사의 업무를 수행하게 될 때 '실제'상황의 복잡성에 압도당하는 것으로 나타납니다. 그들의 최우선 순위는 이러한 상황에 대처하는 것입니다. 학생들은 커리큘럼의 앞 부분(=교과서)에서 얻은 통찰력과 모순되더라도, 생존에 도움이되는 전략을 따른다.

when students are deemed to perform the task of an independent doctor, they prove to be overwhelmed by the complexity of ‘real-life’ situations. Their first priority will be to cope with these situations. They will accept strategies that will help them to survive, even if they are incompatible with their insights from the first part of the curriculum.

특히 학생들의 이론적 지식은 잘못된 방식으로 구성되어 있다. 환자는 불만과 증상을 나타내지만, 학생들의 지식은 진단을 중심으로 구조화됩니다 (Prince et al., 2000). 임상실습생은 "이론은 잊어라. 실전에서 우리는 이런 식으로 일을 한다"는 말을 자주 듣는다. 따라서 그들은 의과대학의 초기 단계에서 습득한 이론 지식을 억제하는 동시에, 의사로서의 수행 능력을 이끌어 낼 실질적인 지식과 전략을 개발합니다.

Moreover, particularly during the practical period, the students’ theoretical knowledge is structured the wrong way: a patient presents him/herself with complaints and symptoms, whereas the students’ knowledge is structured around diagnoses (Prince et al., 2000). Clerks are often almost literally told: ‘Forget theory: in practice we do things this way’. Thus, they develop practical knowledge and strategies that will guide their performance as doctors, suppressing the theoretical knowledge acquired in the earlier stages of the study.

Authentic learning과 이론 교육의 결합은 학생들로 하여금 이론과 실천을 더 잘 연계시킬 수있게합니다.

The combination of authentic learning and theory instruction should better enable students to relate theory to practice.

Authentic learning을 지도하고 평가하는 중요한 도구는 포트폴리오입니다. 포트폴리오에서 학생들은 자신의 행동을 체계적으로 되돌아보고, 이론적 지식의 도움을 받아 분석하고, 대체 방법을 지정합니다. 우리는 이러한 형태의 체계적인 자기 조절을 '성찰'이라고 부른다(Korthagen, 2001).

An important tool for coaching and assessing authentic learning is the portfolio. In a portfolio students look back on their actions systematically, analyse them with the aid of, theoretical knowledge and designate alternative methods of action. We will refer to such a form of systematic self-regulation as ‘reflection’ (Korthagen, 2001).

보통 포트폴리오는 높은 학년 수준에서 실제 학습을 평가하고 코칭을하기에 특히 적합하지만, 우리는 교육과정 초반에 포트폴리오를 도입하는 것이 적절하다고 느꼈습니다. 그 목적은 학생들의 성찰적 능력을 개발하는 것이 었습니다. 의과대학 1학년과 4학년 모두에게 스스로의 학습을 성찰하는 것은 자명한 것은 아닙니다 (Wade & Yarbourgh, 1996).

Although the portfolio is especially suited for coaching and assessing authentic learning at more senior levels of training, it was felt appropriate to introduce the portfolio in the early years of the curriculum. The express purpose was to develop the students’ reflective ability. For students of both the first and the final year of medical training, reflecting on their own learning is not self-evident (Wade & Yarbourgh, 1996).

성찰을 자극하는 것 외에도 우리는 커리큘럼에서 포트폴리오를 조기에 도입할 수 있는 세 가지 다른 이유가있었습니다.

• 두 번째는 학생들이 공부하는 동안 pastoral care을 받을 수있는 멘토링 시스템을 만드는 것이 었습니다. 

• 세 번째는 학생들에게 학습과 평가에 대한 책임을 더 많이 부여하는 것이 었습니다. 

• 마지막 목표는 포트폴리오를 평가 시스템의 일부로 만들어 학생들이 모든 평가 피드백을 검토하고 통합하도록 강제하는 것입니다.

In addition to stimulating reflection, we had three other reasons for an early introduction of portfolio in our curriculum. The second reason was to create a mentoring system in which student could receive pastoral care during their studies. A third was to give students more responsibility for their learning and assessment. The last goal was to make the portfolio part of the assessment system, forcing students to review and integrate all assessment feedback.

Maastricht 1학년 포트폴리오

The Maastricht portfolio in the first year of medical studies

따라서 우리는 포트폴리오 시스템을 설계 할 때 의료 교육 외부 및 내부의 포트폴리오 시스템 경험을 활용했다.

In designing our portfolio system, we had therefore to transpose the experience with portfolio systems outside and within medical training to a situation of first-year medical students.

구조화 

Structuring

많은 포트폴리오 시스템이 너무 많은 '지정 항목'을 가지고 있다. 학생들이 포트폴리오를 편집하는 자유가 거의 주어지지 않는다면, 자기들이 관찰한 것을 포함하려고 하지 않을 것이다 (Murphy et al., 1997). 학생의 소유권은 성찰을 성공적으로 자극하는데 중요한 기여를합니다.

Many portfolio systems prove to have too much of a prescribed character: it has become evident that, if students are afforded little freedom compiling the portfolio, they will not readily include their observations (Murphy et al., 1997). Student ownership is an important contributor to successful stimulation of reflection.

그러나 포트 폴리오에 대한 구조가 거의 또는 전혀없는 경우에는 학생들이 어떻게해야하는지 잘 모릅니다 (Wade & Yarbourgh, 1996, Gearhart & Wolf, 1997). 너무 적은 구조를 제공하는 포트폴리오 시스템은 종종 처음으로 포트폴리오를 컴파일하는 학생들에게 좌절감을 안겨줍니다.

If, however, little or no structure is provided for the port-folio, students often have no idea how to go about it (Wade& Yarbourgh, 1996; Gearhart & Wolf, 1997). Portfolio systems that provide too little structure often lead to frustrating experiences, especially for students who are compiling a portfolio for the first time.

학생 스스로의 성과에 대한 자체 평가 및 분석은 설명 자료를 체계적으로 참고함으로써 역할별로 구성됩니다.

Self-assessment and analysis of the student’s own performance is organized on a role-by-role basis, underpinned by systematic reference to illustrative materials.

포트폴리오 구조는 다음과 같다

The structure of the portfolio is as follows:

• curriculum vitae;

• role as medical expert;

• role as researcher;

• role as healthcare worker;

• role as person;

• general:

– 강점과 약점 요약 summary of strengths and weaknesses analysis;

– 프로그레스 인터뷰 보고, 최종 인터뷰 보고report of progress interview and/or of exit interview/ advice

• annexes.

학생들은 자료를 자유롭게 선택할 수 있습니다. 각 전문직의 역할에 대해, 여러 가지 탐색 질문을 공식적으로 제공하여, 학생들이 '스스로 돌아보기' 부분을 어떻게 작성할지 안내하였다. 탐색 질문은 학습에 대한 성찰을 격려하는 방향으로 제시되었다 (Spandel, 1997). 질문은 학생들의 사고 과정을 구성합니다.

The students are free in their choice of materials. For each professional role, a number of probing questions have been formulated to guide the student in writing the introspective part. Posing probing questions is a way to encourage reflection on learning (Spandel, 1997). The questions structure the students’ thought processes.

각 전문직의 역할에 대해 학생들은 무엇을, 어떻게 배웠으며, 어떻게 향상 시키려고하는지 보여줍니다.

For each professional role, the students show what and how they have learned and how they wish to improve.

학생들을 돕기 위해 각 역할에 대해 설명하는 설명서가 제공됩니다. 매뉴얼에는 또한 올해의 포괄적(글로벌) 목표, 학생들이 스스로에게 물어볼 수있는 가능한 질문, 문제가 되는 역량 분야에서의 향상정도를 문서화하는 데 사용할 수있는 잠재적 정보 출처 등이 포함되어 있습니다.

To aid the students in this, a manual is provided in which each role is explained. The manual also contains the global objectives of the year, possible questions the students may ask themselves and potential sources of information that may be used to document the advancement in the areas of competence in question, illustrated by examples.

상자 1을 설명하기 위해 보건 의료 종사자로서의 역할에 대한 요구 사항, 프로빙 질문 및 정보 출처 (부록 1)가 나와 있습니다.

To illustrate this Box 1 shows the requirements, probing questions and sources of information for the role as healthcare worker (Appendix 1).

박스 2는 개별 학생의 포트폴리오의 샘플 조각을 포함하고있다 (부록 2).

Box 2 contains a sample fragment from a portfolio from an individual student (Appendix 2).

멘토링

Mentoring

성찰을 자극하기위한 포트폴리오의 효과적인 사용을위한 중요한 요소는 포트폴리오에 대한 다른 사람들과의 정기적 인 토론이다 (Wolf et al., 1995; Golberg et al., 1996)

A crucial factor for the effective use of portfolios aimed at stimulating reflection is regular discussion of the portfolio with others (Wolf et al., 1995; Golberg et al., 1996)

왕립 일반의 대학 (Royal College of General Practitioners)은 다음과 같은 세 가지 이유로 포트폴리오를 사용하여 학습자와 멘토 간의 협력을지지합니다 (RCGP, 1993). 

• 첫째로, 멘토는 학생들이 학습 요구를 인식하고 학습 계획을 수립하도록 도와줍니다. 

• 두번째, 멘토는 환자와 함께 일하는 실제적 측면뿐만 아니라 감정적 측면이 학습 과정의 일부가되도록 보장합니다. 

• 멘토와 협력하는 세 번째 이유는 멘토가 포트폴리오 자료의 타당성을 검증 할 수 있다는 것입니다.

The Royal College of General Practitioners advocates cooperation between the learner and the mentor in working with portfolios for three reasons (RCGP, 1993). In the first place, the mentor assists the students in recognizing their learning needs and setting up a learning schedule. In the second place, the mentor ensures that not only the practical but also the emotional aspects of working with patients become part of the learning process. A third reason for working with mentors is that the mentor is able to validate the portfolio materials.

우리는 멘토링 시스템을 선택했습니다. 단일 멘토는 포트폴리오 개발에 20 명의 학생들을 지원하고 일반적인 pastoral 지도를 제공합니다. 1 년에 최소 2 회, 학생과 멘토가 개인 인터뷰, 진행 인터뷰 및 연말 인터뷰를 실시합니다.

We opted for a mentoring system. A single mentor provides support for 20 students in developing their portfolios and provides general pastoral guidance. At least twice a year, student and mentor conduct an individual interview, a progress interview and an end-of-year interview.

연말 평가의 경우, 멘토는 자기 학생의 포트폴리오를 평가하지 않습니다. 그는 코치 및 고문으로만 역할을 한다. 멘토의 책임은 포트폴리오를 감독하는 것 이상의 것입니다. 멘토는 일반적인 pastoral 기능을 가지고 있습니다.

For the end-of-year assessment, the mentor does not assess his/her own students’ portfolios. He/she serves as only coach and adviser. The mentor’s responsibility goes beyond supervising the portfolio: he/she also has a general pastoral function.

평가

Assessment

학생들에게 어떤 형태의 보상 (크레딧)없이 완전한 포트폴리오를 갖게하는 것이 결국에는 효과가없는 것으로 간주되었습니다. 반면 포트폴리오 완성은 통과의 목적으로 '시험 성과'가되는 것이 아닙니다. 이러한 이유로, 우리는 전체 평가 프로그램의 modest한 부분으로 포트폴리오를 선택했는데, 포트폴리오는 다음 학년으로 진급될 수 있도록 적절하게 수행되어야했습니다.

Having students complete portfolios without some form of reward (credits) was considered to be ineffective in the long run. On the other hand, portfolio completion was not to become a ‘test-achievement’ ritual for the purpose of passing. For this reason, we opted for the portfolio as a modest part of the entire assessment programme, which needed to be carried out properly, however, in order for the student to be promoted to the next year.

평가와 성찰이라는 두 가지 목표가 단일 포트폴리오에서 결합 될 수 있습니까? 포트폴리오가 평가되는 경우 학생들이 약점을 의도적으로 감출 가능성이 있습니다. 문헌에서 이를 때때로 "시험 목적을위한 포트폴리오의 부패"라고 부른다 (Huot, 1994). 이러한 부패는 종종 포트폴리오 평가의 신뢰성을 향상시키기 위해 채택 된 전략의 결과입니다.

Can two different goals—assessment and reflection—be combined in a single portfolio? There is a possibility that students choose not to show their weaknesses if the portfolio is also assessed. In the literature, this is sometimes referred to as “the corruption of portfolios for testing purposes” (Huot, 1994). Such corruption is often the result of strategies employed to improve the reliability of portfolio assessment.

상호 신뢰도 (inter-rater reliability)로 인식되는 신뢰도는 세 가지 전략으로 개선 될 수 있습니다 : 

• 포트폴리오 표준화; 

• 분석 기준을 사용하여 평가 목적화; 

• 평가자의 수 증대. 

Reliability, perceived of as inter-rater reliability, may be improved by three strategies: portfolio standardization; assessment objectification by using analytical criteria; and increasing the number of assessors. 

처음 두 가지 전략은 포트폴리오의 기초가되는 철학과 맞지 않는다(at right angles). 원래 포트폴리오는 고유 한 개인 경험과 결합 된 진정한 자료에 근거하여보다 질적 인 결정을 내리기 위해 도입되었습니다 (Schulman, 1998). 포트폴리오 표준화와 신뢰도 향상을 목적으로 분석 기준을 사용하는 것은 다양한 authentic 상황에서 학생들의 개인적 학습경험을 묘사할 공간을 제한하기 때문에 타당성을 위협합니다. 

The first two strategies are at right angles with the philosophy underlying the portfolio. Originally, portfolios were introduced to make more qualitative decisions on the basis of authentic materials coupled to unique personal experience (Schulman, 1998). Portfolio standardization and the use of analytical criteria with the aim of improving reliability will threaten validity, because it limits the room for describing students’ personal learning experiences in different authentic situations. 

평가자 간 신뢰도를 높이기위한 세 번째 전략, 즉 평가자의 수를 늘리는 것은 이론상 효과적인 전략이다. 심지어 평가자 간 연계성이 낮을지라도 더 많은 평가자를 참여시켜 보상 할 수 있습니다. 그러나 대부분의 교육 기관에서이 전략은 너무 비용이 많이 들며, 특히 많은 수의 학생을 평가해야하는 경우에 특히 그렇습니다.

The third strategy for enhancing inter-rater reliability, i.e. increasing the number of assessors, is an effective strategy in theory. Even low inter-rater reliability may be compensated by involving more assessors. However, for most educational institutions this strategy is too expensive, especially if large numbers of students need to be assessed.

포트폴리오를 평가할 때 우리는 평가자가 '전문적인 판단'을 하게 되는, 전체적이고 질적인 접근법을 피할 수 없다 (Norman et al., 1991). 그러나 어느 정도 표준화가 도입 될 수 있습니다.

In assessing portfolios, we cannot avoid a more holistic and qualitative approach requiring a more ‘professional judgement’ on the part of the assessor (Norman et al., 1991). However, some degree of standardization may be introduced.

이를 달성하기 위해 평가 절차에 여러 포트폴리오 토론 시간을 도입했습니다 : 진도 인터뷰 및 멘토와 학생 간의 퇴사 인터뷰, 그리고 위원회의 포트폴리오 별 평가.

To attain this, we introduced multiple portfolio discussion moments in the assessment procedure: progress interviews and exit interviews between mentor and student, followed by a separate assessment of the portfolio by a committee.

평가 절차는 순차적으로 구성됩니다.

• 포트폴리오의 품질을 결정하기가 어려울 경우, 평가위원회의 한 명 이상의 평가자가 절차에 관여합니다.

• 멘토, 학생 및 / 또는 평가자가 포트폴리오에 표시된 성과 평가에 이의가없는 경우 추가 평가사가 참여하게됩니다.

• 이어서 전체 평가위원회에서 포트폴리오에 대해 논의합니다.

• 절차 시작시 멘토, 학생 및 평가자가 포트폴리오에 표시된 성과의 질에 동의한다면, 평가위원회의 한 구성원 만이 포트폴리오를 읽고 등급을 매기는데, '부족', '충분'또는 '장점이 있습니다.

The assessment procedure is organized sequentially: 

• if it is difficult to determine the quality of the portfolio, more than one assessor from the assessment committee is involved in the procedure. 

• If mentor, student and/or assessor disagree on the assessment of the performance shown in the portfolio, an additional assessor will be involved. 

• Subsequently, the complete assessment committee discusses the portfolio. 

• If at the start of the procedure mentor, student and assessor agree on the quality of the performance shown in the portfolio, only one member of the assessment committee reads and grades the portfolio: ‘insufficient’, ‘sufficient’ or ‘with merit’.

첫 번째 평가

A first evaluation

모든 학생들은 연구 초기 단계에서 포트폴리오를 구성할 수 있다고 답했습니다.

All students reported that they were capable of compiling a portfolio in the initial stage of their studies.

나는 우리가 포트폴리오를 일찍 시작하는 것은 괜찮다. 왜냐하면 그래야 익숙해 질 수 있기 때문입니다. (학생 5)

I think it is okay that we start with it [portfolio] so early, because then you can get used to it. (Student 5)

학생들은 자신의 진전에 대한 성찰에 대한 인센티브로서의 포트폴리오에 대한 긍정적 인 견해를 가지고있었습니다. 실제로 인터뷰 한 학생 중 95 %는 포트폴리오가 강점과 약점 분석을 수행하는 중요한 자극이라고 지적했습니다.

The students had a positive opinion of the portfolio acting as an incentive to reflection on their progress. Indeed, 95% of the students interviewed indicated that the portfolio was an important stimulus to carry out strengths and weaknesses analyses.

전체적으로 80 %의 학생들이 강점과 약점 분석을 도움이된다고 생각했습니다.

In all, 80% of the students regarded the strength and weaknesses analyses as helpful:

포트폴리오는 학생들이 행동을 재조정하는 데 체계적으로 노력하도록 권장했습니다. 87 %는 포트폴리오가 학습 목표를 수립하는 데 도움이된다는 사실을 관찰했습니다.

The portfolio therefore encouraged them to work systematically on readjusting their actions: 87% observed that the portfolio had helped them to formulate learning objectives.

포트폴리오의 구조는 기대에 부합하는 것으로 나타났습니다. 한편으로는 학생들에게 기대했던 것에 대한 명확한 그림을 제공하는 한편, 동시에 포트폴리오를 개인화 할 자유를 부여했습니다.

The structure of the portfolio proved to meet expectations: on the one hand, it gave the students a clear picture of what was expected of them, whereas it also gave them freedom to personalize their portfolio.

제시된 역할 중 하나로서 healthcare worker는 학생들이 이 분야에서 관련 실제적 경험이 거의 없었기 때문에 수행하기가 어려웠습니다.

One of the professional roles—that of healthcare worker— proved difficult to perform in practice, because the students had little relevant experience in this area.

Conclusion

초기 학부 의학 교육에서 포트폴리오를 도입 한 주된 이유는 학부 초기에 성찰 능력을 개발하는 것이 었습니다. 반사적 능력은 연습과 평생 학습에서 배우는 중요한 기술로 간주됩니다.

The main reason for the introduction of portfolios in early undergraduate medical training was to develop the reflective ability of early undergraduate students. Reflective ability is seen as an important skill to learn from practice and for lifelong learning.

포트폴리오에 관한 문학은 포트폴리오 효과성에 기여하는 요소가 

• 지지적인 멘토 시스템, 

• 명확한 포트폴리오 구조, 

• 적절한 평가 절차 

• 조기에 모호하지 않은 포트폴리오 인트로

...을 포함한다고 제안합니다. 우리 포트폴리오의 첫 번째 경험에 따르면 이러한 요소가 실제로 중요합니다.

Literature on portfolios suggests that the factors contributing to portfolio effectiveness include 

• a supportive mentor system, 

• clear portfolio structure, 

• an appropriate assessment procedure and 

• early and unambiguous portfolio introduction. 

The first experiences with our portfolio suggest that these factors are indeed crucial.

성찰 능력에 대한 포트폴리오 효과에 대한 연구는 종종 실망스러운 결과를 나타낸다 (Wade & Yarbourgh, 1996; Beijaard 외., 2002). 많은 경우 포트폴리오의 목적이 학생들에게 불분명 해 보입니다. 결과적으로 포트폴리오는 종종 피상적이 된다. 즉, 학생들은 포트폴리오를 반영하고 컴파일하는 방법을 배워야합니다. 교사의 지원은이 학습 과정에 필수적입니다.

studies of the effect of portfolios on reflective ability often show disappointing results (Wade & Yarbourgh, 1996; Beijaard et al., 2002). In many cases, the purpose of portfolios seems unclear to students. As a result, portfolios are often superficial. In other words, students have to learn how to reflect and compile a portfolio. Teacher support is essential to this learning process.

Practice points

Factors contributing to portfolio effectiveness   include:

• 학생을 지도하는 지지적 멘토 제도;

• 학생들로 하여금 포트폴리오의 내용과 형태를 결정할 수있게하는 명확한 포트폴리오 구조;

• 학생 자기 성찰을 중심으로 포트폴리오 구성;

• 초기 및 모호하지 않은 포트폴리오 도입;

• 성찰을 방해하지 않는 평가 절차.

• supportive academic mentor system to coach the   student;

• clear portfolio structure allowing students to deter  mine content and form of the portfolio;

• organization of the portfolio around student self  reflection;

• early and unambiguous portfolio introduction;  

• assessment procedure that does not hamper reflection.

---

Med Teach. 2003 Jan;25(1):18-23.

Use of portfolios in early undergraduate medical training.

Driessen E1, van Tartwijk J, Vermunt JD, van der Vleuten CP.

Author information

1

Department of Educational Development and Research, Faculty of Medicine, Maastricht University, The Netherlands. e.driessen@educ.unimaas.nl

Abstract

The ability to reflect on one's own action is seen as an important skill for a doctor. A thorough introduction of the portfolio planned in the earlystages of their studies seems to be the way to train medical students in reflection. This article describes the use of portfolios in earlyundergraduate medical training. The literature on portfolios suggests three aspects that are crucial for the effectiveness of portfolios: structure, coaching and assessment. The portfolio system was designed by transposing the experience with portfolio systems outside and inside medical training to a situation of first-year medical students. During the academic year 2001-02 242 first-year medical students compiled a portfolio. Student experience was collected by semi-structured interviews. The majority of students were of the opinion that analysing one's competences in a portfolio was instructive and meaningful. With regard to learning how to reflect and recognize learning needs, however, mentor coaching proved to be necessary. The results thus far show that the portfolio is a worthwhile addition to existing assessment and learning tools.

PMID:

 

14741854

 

DOI:

 

10.1080/0142159021000061378