포트폴리오에 미래가 있는가?(Adv in Health Sci Educ, 2017)

포트폴리오에 미래가 있는가?(Adv in Health Sci Educ, 2017)

Do portfolios have a future?

Erik Driessen1

포트폴리오에 미래가 있는가?

Do portfolios have a future?

포트폴리오에 대한 이러한 세계적인 돌풍이 미래의 성공으로까지 이어질 것인가?

will this global rush on portfolios perpetuate their presumed success in the future?

포트폴리오 미래 질문은 역량 기반 교육, 성찰, 평가라는 더 큰 주제에 접근할 수 있도록 해줍니다.

The portfolio future question enables me to approach some bigger topics: competency-based education, reflection and assessment.

• 교육자들이 좋아하는 포트폴리오가 왜 학생과 교사들의 그러한 저항에 맞닥뜨리는가?

• Why do portfolios meet with such resistance from students and teachers, while educators love them?

• 학생들에게 성찰하게 하고, 그들의 성찰을 평가하는 것은 윤리적인가?

• Is it ethical to require students to reflect and then grade their reflections?; and

• 역량 기반 교육이 근무지 기반의 학습에서 학습자에게 힘을 실어 줍니까, 방해가 됩니까?

• Does competency-based education empower or hamper the learner during workplace-based learning?

다양한 종류의 포트폴리오

Different variations of a portfolio

포트폴리오를 계획할 때 무엇을 생각하십니까? 사실 포트폴리오의 형태와 용도가 너무 다르기 때문에 이에 대해 일반적인 발언을 하는 것은 거의 불가능하다. 그러나 이들의 다양한 변화에도 불구하고, 우리는 두 가지 중요한 유형, 특히 성찰형 포트폴리오와 포괄적 포트폴리오를 구별할 수 있다(Roberts et al. 2014).

What do you see when you envision a portfolio? Portfolios in fact differ so much in their form and use that it is almost impossible to make general statements about them. Despite their many variations, however, we can distinguish two overarching types, specifically the reflective portfolio and the comprehensive portfolio (Roberts et al. 2014).

성찰형 포트폴리오의 생존가능성은 낮다고 생각하나, 포괄적 포트폴리오에서는 가능성을 보고 있다.

It is for comprehensive portfolios that I do see potential, although I am less convinced of the viability of reflective portfolios.

1. 성찰형 포트폴리오

Reflective portfolios

성찰형 포트폴리오는 주로 성찰기술의 개발을 목표로 한다. 그것은 학생들이 그들의 학습이나 직업에서 중요하다고 생각되는 측면에 대한 성찰을 쓰도록 요구한다.

The reflective portfolio is largely aimed at the development of reflective skills. It requires students to write up a reflection on an aspect that is considered important to their learning or profession.

Maastricht의 1학년 학생들은, 자신이 받은 평가 피드백을 바탕으로 네 가지 역할을 성찰한다(Driessen et al. 2003). Roberts et al. (2014)는 이러한 유형의 포트폴리오를 언급하기 위해 '형성적 포트폴리오'라는 용어를 사용하지만, 이것은 혼란스럽다고 생각합니다.

first-year students in Maastricht to reflect on four roles based on the assessment feedback they received (Driessen et al. 2003). While Roberts et al. (2014) use the term formative portfolio to refer to this type of portfolio, in my view this is confusing:

형성평가와 총괄평가를 구분하는 것을 더 좋아하지 않는 이유는 이러한 구분이 첫눈에 보는 것보다 덜 명확하기 때문이다. 이 주제에 대한 비판적 관점을 위해 나는 Man Sze Lau의 "형성평가는 좋고 총괄평가는 나쁜가"라는 논문을 참조한다. 따라서 본 논문의 목적상 성찰형 포트폴리오라는 "성찰에 주된 초점을 두는 포트폴리오로서, 그 포트폴리오는 그 자체로 존재하거나, 기존 과목에 추가되는 것일 수 있다"

reason why I prefer not to distinguish between formative and summative assessment is because this distinction is less clear than one would think at first sight. For a critical perspective on this topic I refer to Man Sze Lau’s ‘‘Formative is good, summative is bad’’ paper (2015). Hence, for the purpose of this paper the term reflective portfolios refers to portfolios with a strong focus on reflection that are either self-contained or an addition to an existing course.

2. 포괄적 포트폴리오

Comprehensive portfolios

포괄적 포트폴리오는 커리큘럼에 통합된다. 즉, 평가 프로그램의 일부를 구성한다(Eva et al. 2015; van der Vleuten et al. 2012). 예를 들어, 학부 실습전 평가 프로그램(Daneffer 및 Henson 2007) 또는 국가단위 졸업후 역량바탕 평가 프로그램(Munen-van Loon et al. 2013) 등이 될 수 있다.

Comprehensive portfolios are integrated into the curriculum, i.e., they form part of an assessment program (Eva et al. 2015; van der Vleuten et al. 2012). This can be an undergraduate preclinical assessment program (Daneffer and Henson 2007) or a national postgraduate competency-based assessment program (Moonen-van Loon et al. 2013), for example.

이러한 프로그램에서 포트폴리오는 프로그램의 목적을 실현하기 위해 다른 도구들과 함께 사용된다. 포트폴리오는 다른 (평가)도구에서 생성된 모든 정보를 종합한다. 포괄적인 포트폴리오의 목표는 두 가지이다. 하나는 학생들의 학습 과정을 서포트하는 것이며, 다른 하나는 학생들의 진척도를 평가하는 것이다. 포괄적 포트폴리오에는 성찰이 포함될 수 있지만, 그 내용은 성찰적 포트폴리오보다 훨씬 더 다양하다

In these programs the portfolio is used in combination with other instruments to realize the program’s purpose. The portfolio brings together all the information that the other instruments have generated. The goal of comprehensive portfolios is twofold: to support the student’s learning process and to assess the student’s progress. Comprehensive portfolios can contain reflections, but their content is much more diverse than that of reflective portfolios.

대중과의 관계

Public relations

포트폴리오의 소멸을 막기 위해 우리가 다루어야 할 가장 중요한 문제는 포트폴리오에 대한 '나쁜 평판'이다. 지난 20년간은 포트폴리오는 "행복한 포트폴리오 개발자들과 짜증내는 포트폴리오 사용자들"로 특징지어져 왔다.

The most important issue we must address to prevent portfolio’s demise is its bad reputation. The last two decades have been characterized by happy portfolio developers and grumpy portfolio users.

과학자들은 수년 동안 이러한 저항의 이유를 조사하기 위해 노력했다(Driessen et al. 2007. 우리는 포트폴리오가 그 자체만으로는 작동하지 않는다는 것을 발견했다. 포트폴리오의 중요한 특성은 취약성이다. 포트폴리오의 이러한 특성으로 인하여, 포트폴리오는 멘토링, 개방형 구조, 학습 환경 지원, 사용자에 대한 직접적 학습 이익 등과 같은 다수의 조건이 충족된 경우에만 작동합니다(Driessen et al., 2005).

Scientists, have sought to investigate this resistance for many years (Driessen et al. 2007). We found that portfolios do not work by themselves. An important characteristic of portfolios is their vulnerability: they only work if several conditions have been fulfilled, e.g., mentoring, open structure, supporting learning environment and a direct learning gain for their users (Driessen et al. 2005).

성찰형 포트폴리오의 경우, 후자의 조건은 충족하기가 거의 불가능해 보인다. 많은 학생들은 성찰을 학습 전략으로 여기지 않는데, 특히 포트폴리오 작성시 인위적이고 고정된 형식을 사용하도록 강요당하고, 이러한 성찰의 결과를 바탕으로 학습의 방향을 잡아줄direct 기회가 거의 없을 때 특히 그렇다. 대부분의 전임상 학습은 틀이 정해져 있으며, 학생들이 자신의 학습 요구에 맞게 환경을 조정할 수 있는 유연성이 적다. 이 모든 것은 학생과 교사가 성찰형 포트폴리오에 불만을 갖게하고, 결과적으로 동기부여와 참여가 낮아지게 된다. (안필드 외 2015) 결과적으로, 학생과 교사는 포트폴리오를 그저 또 하나의 해야 할 과제로 여긴다. 그러므로, 나는 성찰형 포트폴리오가 미래의 방향이라고 생각하지 않으며, 무엇보다 학생들로 하여금 성찰하게 하고, 그 성찰을 평가하는 경우에 특히 그러하다.

In the case of reflective portfolios this latter condition appears almost impossible to satisfy. Many students do not value reflection as a learning strategy, especially not when they are forced to use an artificial and fixed format and they have little opportunity to direct their learning as a result of these reflections. Most preclinical learning is structured and there is limited flexibility to adapt the environment to the student’s learning needs. All this causes students and teachers to be unsatisfied with their reflective portfolio, and, consequently, to become less motivated and engaged (Arntfield et al. 2015). As a result, they regard portfolios as just another assignment they have to do. Therefore, I do not believe that reflective portfolios are the way of the future, especially not when considering the problems involved in requiring students to reflect and assessing these reflections.

고백

Confessions

의무적인 반성만큼 의사와 의대생을 자극하는 것은 거의 없는 것 같다. (Tomlinson 2015)

Few things seem to irritate doctors and medical students so much as mandatory reflection. (Tomlinson 2015)

반영은 가치 있는 능력이지만, 역량 기반 교육에서도 인기 있는 학습 방법이 되었습니다. 역량 기반 학습의 첫 도입부터 학생들과 주민들은 훈련과 평가 프로그램의 일환으로 의무적인 반성을 강하게 거부했다.

While reflection is a valuable competence, it has also become a popular learning method in competency-based education. From the first introduction of competency-based learning students and residents fiercely resisted mandatory reflection as part of their training and assessment program.

Brian Hodges는 "['책무성'이라는 담론으로 인한 고부담 외부 시험]과 (등장은 더 늦었지만 절대 덜 열성적이지 않은) ['자기-주도'와 '성찰'이라는 내부적 동기부여] 사이에 긴장이 고조되고 있다며 우려하였다. 성찰을 평가와 혼합하면 성찰은 고해성사가 된다. 즉, 학생은 고해성사를 하고, 외부의 '판사'가 "학생이 수행한 성찰의 정확성과 객관성을 제시하고 다듬는"것이다. 학생들이 성찰적 포트폴리오에 개인적인 감정을 밝혀야 하고, 알려지지 않은 평가자에 의해 이러한 감정들을 평가받도록 강요하는 것은 얼마나 해로운가? (Ghaye 2007)

Brian Hodges, worries about ‘‘the growing tension between high stakes external examinations driven by a discourse of ‘accountability’ and a more recent, but no less passionate, investment in internally motived notions of ‘self-direction’ and ‘reflection’’’ (Hodges 2015, p. 261). Mixing reflection with assessment leads, to reflection as confession: the student reflects (confesses) and an external judge (confessor) ‘‘guides and shapes the accuracy and objectivity of the student’s reflection.’’ How harmful is it to force students to disclose personal feelings in their reflective portfolios and have these feelings assessed by a sometimes unknown assessor? (Ghaye 2007)

나는 의학 교육에서 성찰을 활용하는 것에 장점이 있다고 확신한다. Dewey가 성찰을 정의내릴 때 "당신의 미래 행동이 "행동과 신념과 그것을 뒷받침하는 가정에 대한 체계적이고 비판적인 평가와 분석"에 의해 인도될 수 있도록 하는 것"이라고 말한 것을 지지한다. (Driessen et al. 2008. 827).

I am convinced that reflection in medical education has merits. I endorsed Dewey’s definition of reflection as letting ‘‘your future behavior be guided by systematic and critical evaluation and analysis of actions and beliefs and the assumptions that underlie them’’ (Driessen et al. 2008, p. 827).

나는 또한 "성찰은 비판적사회적탐구가 되어야 하며, 사회적 및 시스템적 권력, 사고과정과 권력관계에 내포된 가정에 더 명확한 관심을 가져야 하며, 이를 통해 변화와 행동을 이끌어야 한다"는 Ng 등의 주장에 동의한다.

I also subscribe to Ng et al.’s assertion that reflection should more be seen as a critical social inquiry, requiring ‘‘more explicit attention to social and systemic forces, and the assumptions embedded in thought processes and power relations, with an aim toward transformation and action’’ (Ng et al. 2015, p. 465).

요컨대, 성찰은 나를 딜레마에 빠지게 한다: 나는 배우고 연습하는 것이 중요하다는 것을 알지만, 나는 또한 이미 짜여진 구조에서 이뤄지는 의무적인 성찰에 대한 의구심을 갖고 있다. 아마도 [안전하고 개방적인 환경에서, 신뢰받는 사람과 나누는 성찰적 대화]를 강조하는 학습환경과 포트폴리오가 앞으로 나가가야 할 길일 것이다. 하지만, 이런 환경을 조성하기에는 의학 교육이 갈 길이 멀다.

In sum, reflection places me in a dilemma: while I recognize its importance to learning and practice, I also seriously doubt mandatory pre-structured reflection. A learning environment and a portfolio that values a reflective dialogue with a trusted person in an open and safe way, is probably the way to go. However, it is a long road for medical education to create such an environment.

병원의 카프카

Kafka at the hospital

GME에서 교육자들이 역량 기반 교육에 처음 집중했을 때, 저는 교육자들이 평가 도구를 찾는 데 급급했던 모습을 기억합니다. 저는 그 교육자로 하여금, 잠시 생각을 멈추고 그들이 평가하려고 계획하고 있는 역량을 어떻게 가르칠지에 대해 생각해보게 만들기 위해 온갖 노력을 해야만 했습니다. (오설리번 논평 2015 페이지 277)

When educators in graduate medical education first focused on competency-based education, I remember a rush to find assessment instruments. I struggled to have those same educators pause long enough to think about how they would teach the competencies they planned to assess. (O’Sullivan Commentary 2015, p. 277)

역량 기반 학습 포트폴리오는 많은 양의 세부적인 성과, 역량, EPA, 이정표를 기록하는 도구가 되었다. 훈련 기간이 끝날 때쯤 학생들은 그들이 모든 요구조건을 충족시켰다는 것을 증명해야 하고, 선생님들은 이것을 점검해야 한다. 늘 시간이 부족한 임상에서는 가르치기에도 부족한 그 시간 내에 (피드백과 학습에 대해 토론하는 대신) 포트폴리오를 체크하기도 해야 한다. 이런 식으로 포트폴리오들은 직장에서 우리의 학습자들을 empower하는 대신에, 관료적 행위로 퇴보한다.

In competency-based learning portfolios have become instruments for the recording of large quantities of detailed outcomes, competencies, entrustable professional activities and milestones. At the end of the training period students have to prove that they have met all the requirements and their teachers have to check this. In time-scarce clinical practice the limited time for teaching is used for checking portfolio checklists instead of discussing feedback and learning. In this way portfolios degenerate into bureaucratic exercises instead of empowering our learners in the workplace.

생각을 위한 음식

Food for thought

모든 학생들, 레지던트, 의사, 기타 의료 종사자들은 역량 기반 커리큘럼에서 포트폴리오를 compile하는 방식을 채택했다. 그러나, 그들은 종종 성찰형 포트폴리오에서 얻는 이득이 거의 없음을 깨달았으며, 학자들은 성찰형 포트폴리오에서 성찰을 의무화하는 것의 윤리성에 의문을 제기한다. 학생들, 레지던트들, 교사들, 학자들은 모두 역량 기반 교육에서 포괄적 포트폴리오의 구현을 둘러싼 관료주의를 비난한다.

On all continents students, residents, physicians and other health care workers have adopted the practice of compiling a portfolio in their competency-based curricula. Yet, they often perceive little gain from their reflective portfolios, while scholars question the ethics of obligatory reflection in reflective portfolios. Students, residents, teachers and scholars alike condemn the bureaucracy surrounding the implementation of comprehensive portfolios in competency-based education.

해결책은 무엇인가?

Is there a way out?

의학교육에서 포트폴리오의 선구자들이 [포트폴리오 평가] 대신 [포트폴리오 학습] 또는 [포트폴리오 기반 학습]을 말하고 있으며(Snaddden et al. 1996; Snadden and Thomas 1998), 포트폴리오를 "학습자와 관리자의 상호작용을 통해 [토론 및] 추가 학습을 유도하기 위한 촉매 역할을 하는 시스템"으로 정의하였다 (Snaddden et al. 1996, 페이지 148). 따라서, 가장 바람직하게는, 포트폴리오는 학습자와 멘토에게 "생각을 위한 음식"을 제공하는데, 포괄적 포트폴리오의 경우 학습과 과거의 성과에 대한 정보와 피드백을 풍부하게 제공할 수 있으며, 여기에 학습자의 의도와 계획에 대한 학습자의 관점이 더해지게 된다. 이러한 자료는 학습자와 멘토 사이에 퍼포먼스, reassurance, 향후 학습 및 실습 지침에 대한 대화를 가능하게 만든다(Tunissen 및 Eppich).

It is with good reason that the portfolio pioneers in medical education spoke of portfolio learning or portfolio-based learning instead of portfolio assessment (Snadden et al. 1996; Snadden and Thomas 1998) and defined portfolio as a ‘‘system [that] operates …through the interaction of a learner and supervisor using the material as a catalyst to guide [discussion and] further learning’’ (Snadden et al. 1996, p. 148). Hence, portfolios at best provide learners and their mentors with food for thought, which in the case of comprehensive portfolios can be especially rich, with information and feedback on learning and past performance, the learner’s perspective on this combined with the learner’s intentions and plans for the coming period. These materials can feed the conversations between learners and mentors about performance, reassurance, and directing future learning and practice (Teunissen and Eppich in press).

문제의 근본 원인은 이것이다

the root cause of the problem,

우리는 배움에 관심을 기울이지 않는다; 우리는 이상적인 경우에만 모든 학습자들이 멘토링을 받을 수 있는 멘토의 시간을 보장한다. 이것은 정당하지 못하다. 왜냐하면 멘토링은 우리의 의학 교육 도구 상자에서 이용 가능한 가장 강력한 학습 방법일 것이기 때문이다.

we pay no heed to learning; only in the ideal world do we ensure mentor time for every learner. This is unjust, for mentoring is likely the most powerful learning method available in our medical education toolbox (Driessen and Overeem2013).

25년 간의 포트폴리오가 드디어 그 이야기를 명확히 드러내고 있습니다. 멘토링 없이는 포트폴리오에 미래가 없으며, 우리의 역량바탕교육 프로그램을 방해하는 관료적 장애물에 그칠 것이다. 

• 우리는 학습자들에게 우리 자신을 헌신합시다. 

• 학습자와 멘토 간의 토론을 guiding하고, 학습을 지원하는 포트폴리오를 구축합시다. 

• 학생들에게는 포트폴리오 데이터를 바탕으로 학생의 경험을 파악하고, 개선 계획을 수립할 수 있도록 도와주는 멘토들을 제공합시다(Eva et al. 2015). 

• 포트폴리오를 환자 차트처럼 사용합시다. 차트는 의사와 환자에게 웰빙과 치료에 대해 논의할 수 있는 매우 유용한 정보를 제공한다. 

• 포트폴리오가 학습자 차트가 되게 하여, 그것이 '학습 궤적'을 포괄적 기록이 되도록 하자. 이 포괄적 기록은 학습자와 멘토가 상호 신뢰하는 관계 속에서 학습을 촉진하기 위하여 의미 있는 대화를 나눔으로써 더 잘 돌아갈 것이다.

프로그래램 방식 평가에 대한 최근의 요구는 그러한 학습 차트 없이는 성공할 수 없다(van der Vleuten et al. 2012; Driessen et al. 2012).

Twenty-five years of portfolio reveal a clear story: without mentoring, portfolios have no future and are nothing short of bureaucratic hurdles in our competency-based education programs. 

• Let us therefore commit ourselves to our learners. 

• Let us establish a portfolio that supports learning by guiding the discussion between the learner and the mentor. 

• Let us provide them with mentors who help them to use the portfolio data to make sense of their experiences and frame plans for improvement (Eva et al. 2015). 

• Let us use the portfolio just as the patient chart. It provides doctor and patient with very useful information to discuss well-being and treatment. 

• Let it also be a learner chart that comprehensively documents progress in a learning trajectory which is lubricated by meaningful dialogue between learner and mentor in a trusting relationship to foster learning. 

Recent calls for programmatic assessment cannot succeed without such a learning chart (van der Vleuten et al. 2012; Driessen et al. 2012).

Eva, K. W., Bordage, G., Campbel, G., Galbraith, R., Ginsburg, S., Holmboe, E., & Regehr, G. (2015). Towards a program of assessment for health professionals: From training into practice. Advances in Health Sciences Education,. doi:10.1007/s10459-015-9653-6.

Man Sze Lau, A. (2015). ‘Formative good, summative bad?’A review of the dichotomy in assessment literature. Journal of Further and Higher Education,. doi:10.1080/0309877X.2014.984600.

O’Sullivan, P. S. (2015). What’s in a learning environment? Recognizing teachers’ roles in shaping a learning environment to support competency. Perspectives on Medical Education, 4, 277–279.

---

Adv Health Sci Educ Theory Pract. 2017 Mar;22(1):221-228. doi: 10.1007/s10459-016-9679-4. Epub 2016 Mar 30.

Do portfolios have a future?

Driessen E1.

Author information

1

Department of Educational Development & Research, Faculty of Health Medicine and Life Sciences, Maastricht University, Maastricht, The Netherlands. e.driessen@maastrichtuniversity.nl.

Abstract

While portfolios have seen an unprecedented surge in popularity, they have also become the subject of controversy: learners often perceive little gain from writing reflections as part of their portfolios; scholars question the ethics of such obligatory reflection; and students, residents, teachers and scholars alike condemn the bureaucracy surrounding portfolio implementation in competency-based education. It could be argued that mass adoption without careful attention to purpose and format may well jeopardize portfolios' viability in health sciences education. This paper explores this proposition by addressing the following three main questions: (1) Why do portfolios meet with such resistance from students and teachers, while educators love them?; (2) Is it ethical to require students to reflect and then grade their reflections?; (3) Does competency-based education empower or hamper the learner during workplace-based learning? Twenty-five years of portfolio reveal a clear story: without mentoring, portfolios have no future and are nothing short of bureaucratic hurdles in our competency-based education programs. Moreover, comprehensive portfolios, which are integrated into the curriculum and much more diverse in content than reflective portfolios, can serve as meaningful patient charts, providing doctor and patient with useful information to discuss well-being and treatment. In this sense, portfolios are also learner charts that comprehensively document progress in a learning trajectory which is lubricated by meaningful dialogue between learner and mentor in a trusting relationship to foster learning. If we are able to make such comprehensive and meaningful use of portfolios, then, yes, portfolios do have a bright future in medical education.

KEYWORDS:

Assessment; Competency-based education; Medical education; Portfolio; Reflection

PMID:

 

27025510

 

PMCID:

 

PMC5306426

 

DOI:

 

10.1007/s10459-016-9679-4

[Indexed for MEDLINE] 

Free PMC Article