UME에서 성찰 용도로의 포트폴리오 활용 조건(Med Educ, 2005)

UME에서 성찰 용도로의 포트폴리오 활용 조건(Med Educ, 2005)

Conditions for successful reflective use of portfolios in undergraduate medical education

Erik W Driessen,1 Jan van Tartwijk,2 Karlijn Overeem,1 Jan D Vermunt3 & Cees P M van der Vleuten1

도입

INTRODUCTION

포트폴리오는 진료 평가를위한 정보의 출처가 될뿐 아니라 학생들의 경험을 성찰하는 데 도움을주기 위해 의학교육에 널리 사용됩니다 .1 성찰은 학생들이 자신의 행동을 돌아보고 반복하는 자기조절의 순환적 과정이다. 그들을 분석하고, 대안을 생각하고, 실제로 이것을 시도하고, 다시 돌아본다 .2이 과정의 목적은 경험으로부터 배우는 것입니다. 따라서 성찰는 전문직업적 발달을 위한 조건이됩니다 .2

Portfolios are widely used in health care education, not only as a source of information for authentic assessment but also to help students reflect on their experiences.1 We regard reflection as a cyclic process of self-regulation in which students look back on their actions, analyse them, think up alternatives, try these out in practice, look back on them, etc.2 The objective of this process is to learn from experience. Reflection thus becomes a condition for professional development.2

연구 결과에 따르면 포트폴리오만으로는 성찰이 발생할 것이라는 보장이 없습니다.

Research has shown that a portfolio is no guarantee that reflection will occur. 

피어슨 (Pearson)과 헤이우드 (Heywood)는 GP에 의한 포트폴리오의 성찰적 사용을 조사했다.

Pearson and Heywood investigated the reflective use of a portfolio by general practice registrars.3

피어슨 (Pearson)과 헤이우드 (Heywood)는 다음을 성찰의 근거로 인정했다. 정보의 기록이 능동적인 회상과 결합되어야 하며, 능동적인 회상이란 그 정보에 대한 자기 성찰 또는 그 정보를 가지고 트레이너와 토론하는 것으로 구성되어야 한다. 3 대다수의 기록원과 그들의 트레이너들은 포트폴리오를 성찰에 사용하지 않았으며, 포트폴리오의 목적이 불분명하다고 말했습니다. 더욱이, 많은 trainer들은 포트폴리오를 사용할 동기가 없으므로, trainee에게 사용을 권장하지도 않았다. 이것은 포트폴리오를 성찰 목적으로 사용하지 않는 것과 관련이 있습니다. 마지막으로 형식이 엄격하게 규정되었을 경우 수용가능성을 더욱 악화 시켰습니다.

Pearson and Heywood considered as evidence of reflection  …recording information … combined with active recollection , consisting of  …either a memory of self-reflection on the information, or discussion of the information with the trainer .3 It appeared that the majority of the registrars and their trainers did not use the portfolio for reflection and that its purpose was unclear. Moreover, many trainers were not motivated to work with the portfolio and thus did notencourage its use. This correlated with poor use of the portfolio for reflection. Finally, the strictly prescribed format further hampered acceptability. 

교사 교육에 관한 연구에 따르면 포트폴리오는 특정 조건이 충족되는 경우에만 성찰을 자극한다는 것이 밝혀졌습니다. Wade와 Yarbrough는 포트폴리오를 유용하게 사용하기위한 다음과 같은 조건을 확인했습니다. 

• 포트폴리오가 무엇이며 사용 의도가 무엇인지에 대한 인트로덕션

• 학생의 오너십

• 명확한 구조 

• 코치 또는 강사와의 토론에서 포트폴리오의 적절한 사용.

Research in teacher education has revealed that portfolios only stimulate reflection if certain conditions are met. Wade and Yarbrough identified the following conditions for reflective portfolio use: 

• a good introduction to the portfolio and its intended use, 

• student ownership, 

• a clear structure, and 

• appropriate use of the portfolio in discussions with coaches or trainers.4

성찰은 많은 혁신적인 의학 커리큘럼의 중요한 특징인 실제 실행real practice의 맥락에서 학습을 위한 전제 조건입니다. 포트폴리오는 학습 환경이 호의적인 경우 성찰적 기술을 촉진할 수 있습니다.

Reflection is a prerequisite for learning in the context of real practice, which is a prominent feature of many innovative medical curricula. A portfolio can foster reflective skills, provided the learning environment is favourable.

방법

METHODS

연구 맥락

Context of the study

In the curriculum of Maastricht Medical School, the Netherlands, authentic learning is introduced in Year 1, during which the students’ learning environment consists of authentic and real cases. Although portfolios are predominantly used at more senior levels of training, it was decided that it would be appropriate to introduce a portfolio early in the curriculum to help students develop reflective ability. The portfolio consisted of 3 parts:

• [학생들의 개인적인 발전에 대한 4 가지 전문적 역할에 대한 자기 평가서 작성]과 [추가적 역할 개발 목적으로 자기 평가에서 파생 된 학습 목표]

• 자기 평가를 뒷받침하는 예시 자료

• 첫 번째 두 부분에 대한 학생들의 개인 멘토에 의한 (서면) 피드백.

• written self-assessments of students’ personal development in 4 professional roles and the learning goals students derive from these self-assessments to further their role development;

• illustrative materials underpinning the self-assessments, and

• (written) feedback by students’ personal mentors on the first 2 parts.

Every year students discuss their portfolios in at least 2 one-to-one meetings with their personal mentors. Mentors evaluate portfolio quality and address aspects that need improvement. Their written feedback is added to the portfolios.

Students’ reflective skills are assessed (pass or fail) annually by the Portfolio Committee. 

• In the preclinical phase, reflective ability is assessed. 

• In the clinical phase, portfolios contribute to the assessment of students’ clinical performance. 

All mentors sit on the Portfolio Committee, but mentors do not assess the portfolios of the students they are mentoring.

멘토

Mentors

We interviewed all mentors (n ¼ 13) who were coaching Year 1 and 2 students during the period of the study.

인터뷰

Interviews

Three topics were addressed in each interview:

• the mentor’s (implicit) definition of reflective skills;

• the portfolio’s effectiveness in stimulating students to reflect on their experiences and development, and

• conditions for successful reflective portfolio use.

분석

Analyses

The interviews were analysed according to the principles of grounded theory, using the program ATLAS ⁄ ti. After the first 5 interviews, 3 interviews were coded independently by 2 researchers (EWD and JvT). 

• Coding comprised selecting citations and assigning labels to them. 

• The outcomes were compared and any differences discussed until consensus was reached. 

• The researchers then re-read the interviews to check that no relevant information had been overlooked. 

• The resulting refined interview schema was used in the interviews with the remaining 8 mentors. 

• The final step of the analysis was member checking, or determining whether interviewees agreed that data and conclusions accurately reflected interview content.7 

• For this purpose, 2 of the interviewees read and commented on the results and conclusions of the study. This part of the analysis did not necessitate any changes.

결과

RESULTS

성찰 기술의 정의

Definition of reflective skills

대부분의 멘토의 눈에는 성찰이 프로페셔널의 특성에 초점을 맞추어야 하며, 그 목적은 퍼포먼스의 강점과 약점을 파악하여 개선 방향을 제시하는 것이어야 한다. 멘토들에게 성찰이란 [왜 어떤 것이 그러한 상태인가]라는 질문에 대답하기 위해 원인을 확인하는 방법이었다. 이러한 "왜-"질문은 필수적이라고 여겨졌다. 한 멘토는 성찰이 없는 포트폴리오를 다음과 같이 묘사했다.

In the eyes of most mentors, reflection focuses on professional attributes and its purpose is to offer directions for improvement by identifying strengths and weaknesses in performance. The mentors saw reflection as a method of identifying causes in order to answer the question of why things are as they are. The  why-question  was regarded as essential. One mentor described a portfolio without reflection:

 ... whys와 wherefores을 묻지 않는 단순한 사실들의 모음. (멘토 1)

 ...as a collection of facts without questioning the whys and wherefores.  (Mentor 1)

멘토는 "왜-" 질문에 대해서 개인의 관점 바깥에서의 질문을 던지는 것이 학생들에게 중요하다고 말했다. 멘토는 다른 사람들의 의견에 대한 개방성을 객관성의 전제 조건으로 보았습니다.

Mentors attached great importance to students addressing why-questions from a position outside their personal perspectives. They saw openness to the opinions of others as a prerequisite for objectivity:

 자신의 태도와 행동을 객관화하고 모든 편견을 제거하여 자신의 입장을 명확하게 파악하고 다른 사람이 어떻게 보았는지 이해할 수있게하십시오. (멘토 2)

 That you can objectify your own attitude and behaviour and try to eliminate all bias so as to obtain a clear view of your position and understand how you are seen by others.  (Mentor 2)

포트폴리오를 [학생의 경험에 대한 성찰과 발달을 자극]하기 위한 목적으로 활용하는 효과성

Effectiveness of the portfolio in stimulating students to reflect on their experiences and development

모든 멘토들은 포트폴리오를 작성하고 반사 보고서를 작성하는 것이 학생들의 성과에 대한 비판적 태도를 육성하고 자신의 발전을 관리하는 데 도움이되었다고 말했습니다. 멘토들은 포트폴리오가 학생들의 경험을 소급하여 체계적으로 검토하도록 자극했을뿐만 아니라 개발 방향도 제시했다고 말했다. 이 과정은 학생들의 발달 속도에 영향을 미치는 것으로 나타났습니다.

All mentors said that compiling portfolios and writing reflective reports fostered a critical attitude in students towards their own performance and helped them manage their own development. The mentors said that the portfolio not only stimulated students to examine their experiences retrospectively and systematically, it also offered directions for development. This process was seen as affecting the pace of students’ development:

멘토들은 능력, 태도, 동기가 학생들이 얼마나 쉽게 반영했는지를 결정했다고 말했다.

The mentors said that ability, attitude and motivation determined how easily students learned to reflect:

자신의 성과를 비판적으로 평가할 능력이 부족한 학생들을 찾아야 할 필요성이 멘토에 의해 강조되었는데, 이는 의사의 중요한 기술로 간주되기 때문입니다. 학생들과 함께 포트폴리오를 토론하는 것은이 그룹을 식별하는 한 가지 방법입니다.

The need to identify those students who lack the ability to critically appraise their own performance was emphasised by the mentors, because this is considered to be a vital skill for medical doctors. Discussing portfolios with students is 1 way of identifying this group.

성공적인 포트폴리오 활용을 위한 조건

Conditions for successful reflective portfolio use

성공적인 성찰 포트폴리오를위한 네 가지 범주의 조건 : 

• 훌륭한 코칭; 

• 구조 및 지침; 

• 성찰을 위한 적절한 경험과 자료;

• 총괄 평가.

Four categories of conditions for successful reflective portfolio : good coaching; structure and guidelines; adequate experiences and material for reflection, and summative assessment.

코칭

Coaching

코칭은 성찰에서 중요한 역할을합니다. 대부분의 학생들에게 성찰은 자연스럽게 일어나지 않기 때문에 코치 나 멘토는 학생들이 스스로의 퍼포먼스를 성찰할 때 던져야 할 질문을 학생들에게 제시하는 것이 중요합니다. 몇몇 멘토들은 이것이 많은 학생들에게 어렵다는 것을 깨닫지 못했다고 말했습니다.

Coaching plays a crucial role in reflection. As reflection does not come naturally to most students, it is an important task for coaches or mentors to show students what questions to ask themselves when reflecting on their performance. Several mentors said they had not realised this was difficult for many students.

 나는 학생들에게 자기 분석이 그렇게 어려운 것인지 몰랐다. '(멘토 12)

 I didn t know self-analysis was so difficult for students. ’ (Mentor 12)

코칭의 또 다른 중요한 기능은 학생들이 학습 요구를 파악하고 학습 계획을 수립하도록 도와주는 것이 었습니다. 멘토에 따르면, (학생들이 가지고 있던) 학습 계획은 [관련 학습 목표를 향한 심사숙고한 현실적인 단계]라기보다는 그저 [결심한 것들의 목록] 일뿐이었습니다.

Another important function of coaching involved helping students to identify learning needs and design learning plans. According to the mentors, these learning plans were often no more than a list of resolutions, rather than well thought out, realistic steps towards relevant learning goals.

성공적인 동기 부여 포트폴리오 사용에있어 학생 동기는 중요한 요소로 언급되었습니다. 멘토들은 학생들에게 성찰 포트폴리오 사용의 이점을 납득시키기 위해 상당한 시간이 필요할 때가 있다고 지적했습니다.

Student motivation was also mentioned as an important factor in successful reflective portfolio use. The mentors indicated they sometimes had to go to considerable lengths to convince students of the benefits of reflective portfolio use:

구조 및 가이드라인

Structure and guidelines

멘토에 따르면, 포트폴리오는 잘 구성되어야하며, 가이드라인은 학생들에게 기대되는 것과 성찰에 적합한 주제가 무엇인지 학생들에게 알려야합니다. 몇몇 멘토들은 또한 학생들이 성찰하는 법을 익히게 되면 구조적으로 더 개방적인open 포트폴리오 구조가 바람직하다고 지적했습니다. 약한weaker 학생들은 구조와 지침이 필요했지만 지나치게 구체적인 구조는 좋은 성찰 기술을 가진 학생들에게는 장애가 될 수 있습니다.

According to the mentors, a portfolio should be well structured and guidelines should tell students what is expected of them and what are suitable subjects for reflection. Several mentors also pointed out that a more open portfolio structure was preferable once students had learned how to reflect. Although weaker students needed structure and guidelines, too much structure may become an obstacle for students with good reflective skills.

경험과 재료

Experiences and material

효과적인 포트폴리오를 위한 또 다른 조건은 성찰을 위한 주제로서 다양하고 충분한 양의 흥미로운 경험이었다. 멘토들은 학생-멘토 모임이 (시간적으로) 너무 가깝게 계획된 경우 경험 부족이 문제가 있다고보고했습니다. 또한 학생들에게 성찰을 위한 주제subject가 없다면 이것은 다소 쓸모없는 exercisre가 됩니다 :

Another condition for an effective portfolio was sufficient variety and quantity of interesting experiences as subjects for reflection. The mentors reported that lack of experiences was problematic if student)mentor meetings were planned too closely together. If students have no subjects for reflection, it becomes a rather futile exercise:

그들이 스스로를 반복하고 있는 것처럼 보입니다. 즉 의무적이기 때문에 그저 해야 할 일을하고있는 것처럼 보입니다. (멘토 8)

It seems to me that they are actually repeating themselves, i.e. they are doing what they have to do just because it is obligatory.  (Mentor 8)

총괄 평가

Summative assessment

멘토들은 포트폴리오가 학생들과 멘토에 의해 진지하게 받아 들여지는 것을 보장하기 위해 성찰 기술에 대한 총괄 평가에 사용되어야 한다고 지적했다. 성찰 포트폴리오 사용은 학생과 멘토 모두에게 노동 집약적입니다. 평가가 없다면 포트폴리오가 덜 진지하게 받아들여지고, 학생들과 멘토는 필요한 시간과 에너지를 투자하는 것이 가치 있다고 생각하지 않는다는 생각하게 되었다.

The mentors indicated that the portfolio should be used for summative assessment of reflective skills to ensure that it is taken seriously by students and mentors. Reflective portfolio use is labour intensive for both students and mentors. There was agreement among the mentors that, without assessment, portfolios would be taken less seriously and students and mentors would not consider it worthwhile investing the necessary time and energy: 

포트폴리오를 평가할 때 학생들은 포트폴리오를 훨씬 더 심각하게 받아들인다고 생각합니다. (멘토 5)

I really think students take the portfolio much more seriously when the portfolio is assessed.  (Mentor 5)

• 위에서 언급 한 조건이 충족되지 않으면,

• 학생들이 성찰할 새롭고 관련있는 경험을 충분히 경험하지 못한 경우,

• 학생들에게 너무 많은 규칙과 지침이 주어 지거나

• 포트폴리오 내용이 멘토와의 진지한 토론의 대상이 아닌 경우.

멘토들은 일반적으로 학생들이 포트폴리오에서 정직하고 학생-멘토 회의에서 개방적이었다고 생각했습니다. 그들은 학생들을 멘토를 평가자로 보지 않는다고 생각했다.

if the above mentioned conditions are not met, 

if there are not enough new and relevant experiences for students to reflect on, 

if students are given too many rules and guidelines, or 

if portfolio content is not the subject of serious discussions with mentors. 

Mentors generally thought that students were  honest  in their portfolios and  open  in student-mentor meetings. They did not think students looked upon them as assessors:

고찰

DISCUSSION

인터뷰 참여자들은 포트폴리오 작성 및 토론이 학생들의 성찰 능력 개발을 향상시키는 데 동의했습니다. 단지 소수의 학생들만이 성찰 기술을 개발하지 못합니다.

The interviewees agreed that compiling and discussing portfolios enhanced the development of students’ reflective abilities. Only a small minority fails to develop reflective skills.

지지적 교사 (멘토링) 또는 동료 의견은 성찰 포트폴리오의 성공에 주요 요인으로 널리 인식됩니다. 3,4,8 Pearson과 Heywood는 성찰이 주로 supervisor에 의해 자극되었고, 포트폴리오는 (성찰을 위한 자극에) 아주 약간의 추가적인 도움만을 제공한다고까지 말하기도 했다.

A supportive teacher (mentoring) or peer feedback are widely recognised as key factors in the success of reflective portfolios.3,4,8 Pearson and Heywood even went so far as to say that reflection was primarily stimulated by supervisors and that a portfolio offered little added value as a stimulus for reflection.3

또한 이들은 그들이 연구 한 포트폴리오의 목적이 다소 불분명하다고보고했다. 트레이너는 열의가 없으며 포트폴리오 형식이 너무 rigid했다. 마찬가지로 Wade와 Yarbrough는 성찰 포트폴리오의 효율성에 중요한 요소로 '구조'를 언급했다. 우리의 연구에서 멘토들은 매우 구체적으로 짜여진 구조와 완전히 자유로운 구조 사이에서 조심스러운 균형을 주장했습니다. 

• 구체적으로 짜여진 구조는, 구조가 부족할 때 좌절감을 유발할 수있는, 특히 학생들이 포트폴리오 작성을 처음 시작할 때 주로 도움이 될 것으로 생각되었습니다 .9 

• 그러나 성찰 능력이 뛰어난 학생들에게는 개인적인 자질을 보여줄 수있는 여지를 제공해야합니다. Wade와 Yarbrough가 말했듯이, 학생들은 자신의 포트폴리오에 대한 소유권을 가져야합니다 .4

The same authors reported that the purpose of the portfolio they studied was rather unclear, trainers were poorly motivated and the portfolio format was too rigid.3 Similarly, Wade and Yarbrough identified structure as an important factor in the effectiveness of a reflective portfolio.4 In our study, mentors advocated a careful balance between a highly prescribed structure and full freedom. A well defined structure was thought to be mainly helpful at first, when lack of structure might cause frustration, especially when students are new to portfolio compiling.9 However, students with good reflective skills should be offered leeway to display their personal qualities. As Wade and Yarbrough put it, students should have ownership of their portfolios.4

멘토들은 또한 포트폴리오의 효과가 [학생이 성찰에 활용할 수 있는 의미있는 경험을 했는지]에 달려 있다고 지적했습니다. 이것은 조기 학부 의학 교육에 포트폴리오를 성공적으로 도입하는 데 결정적인 요소가 될 수 있습니다. 임상실습 기간에 비해서 의학과 1학년기간에 대부분의 학생들은 관련성이 높거나relevant 뚜렷한 경험이 없습니다. 도전적인 경험에 노출되지 않은 상태에서 성찰하도록 지시받은 학생들은 Snadden과 Thomas가 겪었던 현상인 "포트폴리오 피로portfolio tiered" 상태가 될 수 있습니다.

The mentors also pointed out that the effectiveness of the portfolio depended on students having different and meaningful experiences on which to reflect. This may well be a decisive factor in the successful introduction of a portfolio in early undergraduate medical education. In the first pre-clinical years, most students have fewer relevant and salient experiences than during clinical training. Students who are told to reflect without being exposed to challenging experiences can easily become  portfolio tired ,a phenomenon also encountered by Snadden and Thomas in the context of general practice training.8

우리 연구의 결과는 총괄 평가가 학생들과 멘토가 포트폴리오에 대해 지나치게 casual한 태도를 갖는 것을 막는다는 것을 보여줍니다. 효과적인 포트폴리오는 학생들과 멘토로부터 상당한 노력과 시간을 필요로합니다. 포트폴리오가 점수화되지 않은 경우, 학생과 멘토는 이러한 작업이 노력할만한 가치가 있는지 의문을 가질 수 있습니다. 문헌에서 우리는 이러한 현상에 기인 한 실망스러운 포트폴리오 경험의 사례를 발견했다. Snadden과 Thomas는 GP 연수생 포트폴리오가 일반적으로 평가되지 않는다는 결과를 보고했다 .8 GP들은 다른 총괄평가가 시간을 잡아먹게 된 즉시 포트폴리오 작업을 중단 한 것처럼 보였다. 

The results of our study show that summative assessment prevents students and mentors from adopting too casual an attitude towards the portfolio. Effective portfolios require substantial effort and time from students and mentors. If a portfolio is not graded, students and mentors may question whether the whole exercise is worth the effort. In the literature we found some examples of disappointing portfolio experiences that may be attributable to this phenomenon.8,10 Snadden and Thomas reported a study in which a portfolio of general practice trainees was not assessed summatively.8 Trainees appeared to stop working on their portfolios as soon as other, summative, assessments made demands on their time.

성찰은 학생들이 전문적인 성과를 향상시키는 데 도움이되는 사고 과정으로, '멘토'로 특징지어진다. 보편적인 견해는 성찰은 학생들의 미래의 의료 전문가로서 직접적으로 관련된 행동과 그 결과에 초점을 맞추어야한다는 것이었다. 교사 교육과 같은 다른 분야에서는 교사의 개인적인 정체성과 신념에 중점을 두는 경향이 있는데, 이는 이것들이 전문적 개발에 결정적인 역할을하기 때문입니다 .11

Reflection was characterised by the mentors as thought processes that help students improve their professional performance. The prevailing opinion was that reflection should focus on actions – and their consequences – which are directly related to students’ future work as medical professionals. In other fields, such as teacher education, more emphasis tends to be placed on student teachers’ individual identities and beliefs, because these are regarded as crucial to their professional development.11

5 Driessen EW, van Tartwijk J, Vermunt JD, van der Vleuten CPM. Use of portfolios in early undergraduate medical training. Med Teach 2003;25(1):18–23.

6 Driessen E, van der Vleuten C, Schuwirth L, van Tartwijk J, Vermunt J. The use of qualitative research criteria for portfolio assessment as an alternative to reliability evaluation: a case study. Med Educ 2005;39(2):214–20.

---

Med Educ. 2005 Dec;39(12):1230-5.

Conditions for successful reflective use of portfolios in undergraduate medical education.

Driessen EW1, van Tartwijk J, Overeem K, Vermunt JD, van der Vleuten CP.

Author information

1

Department of Educational Development and Research, Faculty of Medicine, University of Maastricht, Maastricht, The Netherlands. e.driessen@edu.unimaas.nl

Abstract

AIM:

Portfolios are often used as an instrument with which to stimulate students to reflect on their experiences. Research has shown that working with portfolios does not automatically stimulate reflection. In this study we addressed the question: What are the conditions for successful reflective use of portfolios in undergraduate medical education? METHODOLOGY/RESEARCH DESIGN: We designed a portfolio that was aimed at stimulating reflection in early undergraduate medical education, using experiences described in the medical educationliterature and elsewhere. Conditions for reflective portfolio use were identified through interviews with 13 teachers (mentors), who were experienced in mentoring students in the process of developing their portfolios. The interviews were analysed according to the principles of grounded theory.

RESULTS:

The conditions for successful reflective use of portfolios that emerged from the interviews fell into 4 categories: coaching; portfolio structure and guidelines; relevant experiences and materials, and summative assessment. According to the mentors, working with a portfolio designed to meet these conditions will stimulate students' reflective abilities.

CONCLUSION:

This study shows that portfolios are a potentially valuable method of assessing and developing students' reflective skills in undergraduate medical training, provided certain conditions for effective portfolios are recognised and met. Portfolios have a strong potential for enhancing learning and assessment but they are very vulnerable and may easily lead to disappointment. Before implementing portfolios in education, one should first consider whether the necessary conditions can be fulfilled, including an appropriate portfolio structure, an appropriate assessment procedure, the provision of enough new experiences and materials, and sufficient teacher capacity for adequate coaching and assessment.

PMID:

 

16313582

 

DOI:

 

10.1111/j.1365-2929.2005.02337.x

[Indexed for MEDLINE]