의학교육에서 포트폴리오: 왜 성공여부가 다양한가? 체계적 문헌고찰 (Med Educ, 2007)

의학교육에서 포트폴리오: 왜 성공여부가 다양한가? 체계적 문헌고찰 (Med Educ, 2007)

Portfolios in medical education: why do they meet with mixed success? A systematic review

ERIK DRIESSEN,1 JAN VAN TARTWIJK,2 CEES VAN DER VLEUTEN

1 & VAL WASS

도입

INTRODUCTION

CBME의 어려움은 통합되고, 일관성 있고, 종단적으로 역량 개발을 formative하게 지원하는 도구를 찾고, 역량이 달성되었는지를 summative하게 평가하는 것이다. 포트폴리오는 그러한 도구이다.

The challenge has been to find instruments that formatively support the development of competence in an integrated, coherent and longitudinal fashion and summatively assess whether competence is being achieved.4,5 The portfolio is acclaimed as such an instrument.6

컨텐츠와 포맷의 다양함에도 불구하고 포트폴리오들은 기본적으로 완료된 작업, 피드백, 진행 상황, 역량 향상 계획에 대해 보고한다. 또한 포트폴리오는 성찰을 자극할 수 있는데, 포트폴리오에 포함하기 위한 증거를 수집하려면 과거로 돌아보고 자신이 이룬 것을 분석해야 하기 때문이다.

Despite variations in content and format, portfolios basically report on work done, feedback received, progress made, and plans for improving competence. Additionally, portfolios may stimulate reflection, because collecting evidence for inclusion in a portfolio requires looking back and analysing what one has accomplished.

성찰은 경험, 문제, 기존 지식을 구조화하거나 재구조화하려는 정신적인 과정으로 정의할 수 있습니다.15 이는 학습자가 자신의 발달을 이해하고 학습 계획을 세우는 데 도움이 될 수 있다.15 직무 수행과 역량 개발을 성찰하려면 자기평가를 해야 한다. 즉 학습자는 자신의 성과를 (외부) 표준과 비교해야 한다.

Reflection can be defined as the mental process of trying to structure or restructure an experience, a problem, or existing knowledge.15 This can help learners to understand their development16 and plan their learning.15 Reflecting on task performance and development of competence implies self-assessment or self-rating:17 learners have to compare their own performance with (external) standards.

방법

METHODS

Data sources

Selection of studies

We excluded studies concerning: portfolios for other health professions (nursing, dentistry, dietetics, veterinary medicine), administrators, managers, teachers and trainers in hospitals, management, finance, education, teaching, specialist trainers and academic portfolios; portfolio-related instruments, such as logbooks, personal digital assistants, and personal development plans, and descriptive articles without evaluative data.

Data abstraction

RESULTS

Search results

이러한 연구들 중 많은 것들이 방법론적 한계를 가지고 있었다. 2개의 연구를 제외하고, 21,28개의 모두 단일 그룹 설계를 가지고 있었다. 대다수는 하나의 기관에서 행해졌다. 5가지 연구에서 참여자들은 스스로 선택된 자원한 참가자였다.20,28–31 많은 연구는 포트폴리오의 도입 방법, 표본 추출 프레임, 연구 방법, 데이터 분석 또는 결과에 대한 상세한 설명이 부족했고, 이로 인해 연구의 질을 평가하기 어려웠으며, 결과를 일반화하기 어려웠다

Many of these studies had methodological limitations. With the exception of 2 studies,21,28 all had a single-group design. The majority were conducted in a single institution. In 5 studies, participants were self-selected volunteers.20,28–31 Many studies lacked a detailed description of the portfolio, how it was introduced to its users, the sampling frame, the study method, data analysis or outcomes, which limited our ability to fully appraise the quality of the study or generalise the findings.

목적1. 학습

Goal 1. Learning

전임상 단계에서 수행한 두 가지 연구는 포트폴리오가 1학년 학생들의 성찰 학습에 기여했다고 보고했고, 한 연구는 포트폴리오가 학생들의 개인적, 직업적 발전에 기여했다고 보고했다. 두 개의 연구는 임상 전 종양학 프로그램을 조직, 모니터링 및 평가하고 학생들이 악성 질병이 환자에게 미치는 영향을 이해하는 데 도움이 되는 포트폴리오의 성공적인 사용을 보고했습니다. CME에서 포트폴리오가 사용된 연구는 복합적인 결과를 낳았다. 일부에서는 포트폴리오가 성찰 학습을 촉진하고 CME의 계획과 모니터링을 지원한다고 보고하였다.

Two studies performed in the pre-clinical phase of medical school reported that portfolios contributed to Year 1 students  reflective learning32,33 and 1 study reported that portfolios contributed to students  personal and professional development.22 Two studies reported successful use of portfolios in organising, monitoring and evaluating a pre-clinical oncology programme and helping students understand the impact of malignant disease on patients.21,34 Studies where portfolios were used in CME yielded mixed results. Some reported that portfolios could stimulate reflective learning28,30 and support the planning and monitoring of CME.30

다양한 맥락에 걸친 많은 연구는 기관의 포트폴리오 준비 및 도입에 관한 문제점을 보고했다. 이것의 예는 포트폴리오의 목적이 명확하게 정의되지 않았거나 학습자와 교사들이 포트폴리오와 그것이 포함하고 있는 것에 대해 불충분하게 알고 있었다고 주장했다.35–38 한 연구에서 레지던트와 트레이너 모두의 불충분한 헌신이 포트폴리오의 제한된 사용으로 이어졌다.35 그러나 포트폴리오 설계가 트레이너와 트레이너 모두의 informing, training, gaining commitment에 초점을 맞춘 5개 연구에서는 포트폴리오가 대학원 교육에 적합한 것으로 확인되었다.39–43 한 연구는 포트폴리오의 목적과 절차에 대한 staff의 적절한 브리핑과 함께 실제 도입되었으며, 이는 포트폴리오 점수와 학생 만족도에 긍정적인 영향을 미쳤다.

Many studies across a range of contexts reported problems related to the poor preparation and introduction of portfolios by the institution. Examples of this claimed either that the purpose of the portfolio was not clearly defined35 or that learners and teachers were poorly or insufficiently informed about the portfolio and what it entailed.35–38 In 1 study this resulted in poor commitment from both residents and their trainers and limited use of the portfolio.35 However, in 5 studies where portfolio design centred on informing, training and gaining commitment from both trainers and trainees, portfolios were found to be suitable for graduate training.39–43 One study demonstrated that hands-on introduction with a proper briefing of students by staff on the portfolio s purpose and procedures had a positive effect on portfolio scores and student satisfaction with the portfolio.44

포트폴리오의 사용은 포트폴리오가 단독으로 사용되지 않고 다른 교육 활동의 일부였을 때 더 성공적이었다. 이러한 교육 활동에는 학생들을 종양 환자와 짝짓기, 튜토리얼 그룹 구성 또는 멘토링, 인터뷰 링크 등이 포함됩니다.

The use of the portfolio in undergraduate education was more successful when portfolios were not used in isolation but were part of other educational activities.21,22,32,34 These educational activities included pairing students with oncology patients,21,34 organising tutorial groups35 or mentoring,32 or linkage to an interview.22

CME에서 포트폴리오의 사용 결과를 보면, 종종 최대한의 잠재력을 활용해내지 못함을 암시했다. 이는 주로 과중한 업무부하에 의한 시간 제약20,31과 포트폴리오 유지에 시간이 많이 소요된다는 인식과 관련이 있었다.20,28,45 때때로 외부적인 요인도 문제의 원인이 되었는데, 여기에는 IT 기술 부족 문제(예: 소프트웨어 다운로드에 필요한 IT 기술 부족)등이 있다. 졸업후교육에서는 시간 부족이 한 가지 이슈이다. 연수생과 그 감독자들은 포트폴리오가 너무 시간이 많이 소요되어 사용을 기피할 수 있다고 우려했다. 매더스 등은 실현가능성을 돕기 위해 포트폴리오가 더 똑똑해져야 한다고 호소했다(서류작업이 줄어야). 이러한 효율적인 포트폴리오의 사용을 조사하는 연구는 학부 임상실습생들은 포트폴리오가 노동집약적이다고 생각하지 않았다는 점에서 이러한 가정을 뒷받침한다.

Results of the use of portfolios in CME often suggested that portfolios were not used by doctors to their full potential. This was related mainly to time constraints imposed by high daily workloads20,31 and the perception that maintaining the portfolio was time-consuming.20,28,45 On occasion, studies referred to extraneous issues, including difficulties with information technology, such as problems with downloading necessary software20 or lack of IT skills.31 Lack of time was also an issue for postgraduate training.38,41,46 Trainees and their supervisors were concerned that the portfolio might be too time-intensive and for this reason avoided using it.38,41,46 Mathers et al. made a plea for portfolios to be  smarter  (less paperwork) to aid feasibility.28 A study investigating the use of such an efficient portfolio supports this supposition, as undergraduate clerks did not find the portfolio labour-intensive.47

포트폴리오의 형식은 또한 학습에 기여한 것에 영향을 주었다. 효과적인 포트폴리오는 학습자가 자신만의 고유한 개발을 설명할 수 있는 기회를 제공하는 명확하면서 동시에 유연한 구조를 가지고 있습니다.32,35,48 명확한 지침이 중요했습니다. 대부분의 사용자는 자신이 어떤 종류의 정보를 넣어야 하는지 알고 싶어했다. 흔히 포트폴리오의 내용이 자주 규정되는 임상적 맥락에서, 포트폴리오는 관료적 도구로서 경험되었다. 학습자가 자신의 컨텐츠를 결정할 수 있는 일정량의 자유를 얻었을 때 포트폴리오에 대해 더 긍정적으로 평가하였다.

The format of the portfolio also influenced the contribution it made to learning. An effective portfolio had a clear but flexible structure, allowing learners opportunities to describe their own unique development.32,35,48 Clear instructions were important. Most users wanted to know what kind of information they were expected to provide.29,44,49 In clinical contexts where the content of a portfolio was often highly prescribed, portfolios were experienced as bureaucratic instruments.35–37,45,46 Portfolios were more highly appreciated when learners were given a certain amount of freedom to determine their content.32,50

많은 연구에서 멘토들의 적절한 지원이 부족하다고 보고되었습니다.20,31,35 다른 연구들은 교사, 트레이너 또는 교육 감독자들에 의한 멘토링이 포트폴리오의 성공에 중요한 기여를 했다고 확인했습니다.21,28,32,37,39–4멘토에는 교사, 트레이너, 감독관 또는 동료가 포함되어 있습니다. GP trainee들은 보조 트레이너가 있을 때 그들의 포트폴리오를 더 많이 이용했다. 멘토링의 중요한 영향 때문에, [멘토의 영향]과 [포트폴리오 자체를 완성하는 실용성]을 구분하는 것은 때때로 어려웠다. 분명히, 멘토링은 선생님들과 감독관들의 시간을 필요로 합니다. 하지만, 성찰 능력의 발전과 이해와 이해에 초점을 맞춘 깊은 학습 전략을 장려하는 것을 목표로 한 멘토링은 그럴 만 한 가치가 있었다.

Many studies reported the lack of adequate support from mentors.20,31,35 Other studies confirmed that mentoring by teachers, trainers or educational supervisors made an important contribution to the success of the portfolio.21,28,32,37,39–41,48 Mentors included teachers, trainers, supervisors or peers.31 General practice trainees made more use of their portfolios when they had a supportive trainer.35,38,41 Because of the significant impact of mentoring, it was difficult sometimes to discriminate between the effects of the mentor and the practicalities of completing the portfolio itself.35 Obviously, mentoring requires teacher and supervisor time.32 However, mentoring aimed at stimulating the development of reflective ability32 and deep learning strategies focused on comprehension and understanding28,43 merited the effort.

목적2. 평가

Goal 2. Assessment

포트폴리오 평가의 타당성을 조사하는 연구는 그것이 실제로 성찰 능력에 대한 타당한 시험이라는 것을 증명했다. 성찰의 질은 최종 평가 등급에서 가장 강력한 예측 변수였다. 레이아웃과 작문 스타일과 같은 다른 기준은 무시할 만한 효과를 가지고 있었다. 6개의 연구는 포트폴리오의 평가자간 신뢰성을 추정했다. 이 6개 연구의 평균 신뢰도는 0.63으로, 한 평가자가 다른 평가자로 무작위로 교체될 경우 추정된 신뢰도를 나타낸다. 그러나 2, 3 또는 4명으로 평가자가 증가하는 경우 신뢰도는 각각 0.77, 0.84 및 0.87로 증가합니다. 일반적으로 고부담 테스트에는 0.80의 값이 필요합니다.27 연구는 다수의 조치가 (훈련 받은) 평가자의 소규모 그룹 사용, 실제 평가 전 및 포트폴리오의 일부 사용 후 평가자들 간의 논의와 같은 여러 가지 평가간 합의에 긍정적인 영향을 미친다는 것을 제시했다. 

A study investigating the validity of portfolio assessment51 demonstrated it was indeed a valid test of reflective ability. Quality of reflection was the strongest predictor of the final assessment grade. Other criteria, such as lay-out and writing style, had negligible effect. Six studies estimated the inter-rater reliability of portfolios.45,46,48,51–53 The average reliability across these 6 studies was 0.63, representing the estimated reliability if one assessor were to be randomly replaced by another. However, with 2, 3 or 4 raters, the reliability would increase to 0.77, 0.84 and 0.87, respectively. A value of 0.80 is usually required for high-stakes tests.27 The studies suggested that a number of measures had a positive impact on inter-rater agreement: use of a small group of (trained) assessors;45,46,51–53 

• discussion among the raters before the actual assessment46,51–53 and after assessing part of the portfolio,46,53 and 

• the use of global criteria with rubrics.45,46,53

일반적으로, 학생 자신보다 교사와 평가자들이 포트폴리오 평가에 대해 더 많이 지지했다. 예를 들어, 심사관들이 평가를 위한 포트폴리오 사용에 대해 긍정적이었던 연구에서, 최종 학년 학생들은 내용이 사전에 정해진 포괄적인 포트폴리오가 너무 많은 서류 작업이 필요하며, 만약 공식적으로 평가를 하기 위해서는 어떻게 포트폴리오를 구성해야 하는지에 대한 더 advance information이 필요하다고 보고했다.

In general, there was more support for the formal assessment of portfolios from teachers and examiners than from students themselves.36,44,45 For example, in a study in which examiners were positive about the use of portfolios for assessment, final year undergraduate students reported that a comprehensive portfolio with prescribed content involved far too much paperwork and, if they were to be formally assessed, they needed more advance information about how to construct the portfolio.36

평가와 학습을 위한 포트폴리오의 사용은 종종 상충되는 것으로 보여진다. 즉, 학생들은 포트폴리오가 평가될 때 그들의 성찰에서 덜 솔직할 수 있다. 그러나, 하나의 포트폴리오에서 형태별 멘토링과 종합평가의 조합을 검토하는 2개의 연구는 이것이 문제가 아니라고 보고했다. 한 연구는 포트폴리오 평가가 학생들의 개방성에 영향을 미치지 않았다고 보고했으며, 다른 한 연구는 지원support과 평가의 조합이 GP와 그들의 CME tutor들에게 문제가 되지 않는다고 주장했다. 두 가지 연구는 만약 포트폴리오가 공식적으로 평가되지 않는다면, 다른 총괄평가도구가 더 우선시되고, 포트폴리오의 사용이 제한된다는 것을 보여주었다.

The use of the portfolio for assessment and learning is often seen as conflicting: students may be less open in their reflections when their portfolios are to be assessed. However, 2 studies examining the combination of formative mentoring and summative assessment in 1 portfolio reported that this was not an issue. One study described mentors  reports that portfolio assessment had no effect on students  openness32 and another claimed that the combination of support and assessment did not appear to be problematic for general practitioners and their CME tutors.28 Two studies showed that if portfolios were not formally assessed, other summative assessment instruments were prioritised and the use of portfolios tailed off.35,43

고찰

DISCUSSION

우리의 검토는 이전 문헌과 일치하며, 포트폴리오의 성공적인 사용에 있어 몇 가지 핵심 이슈가 결정적이며, 다른 분야의 연구 결과들과 일관된다.

Our review is in agreement with earlier literature, showing that several key issues are decisive in the successful use of a portfolio,55 and is consistent with findings from studies in other disciplines.

McMullan은 최근 간호학 연구에서 지원과 명확한 지침이 없다면 학생들과 멘토들이 실제로 포트폴리오 사용에 대해 점점 더 스트레스를 주게 되며, 사기를 떨어뜨린다고 결론지었다.

McMullan concluded in a recent study in nursing that, without support and clear guidelines, students and mentors became increasingly stressed and demoralised about the use of portfolios in practice.57

성공 요인

Success factors

포트폴리오로의 다양한 목표는 명확해야 하지만, 동시에 성공적으로 결합될 수 있습니다. 포트폴리오들은 학습의 형성적 촉진과 총괄평가에 동시에 사용될 수 있다. 이는 문헌에서의 이전의 논쟁과는 대조적인데, 기존 문헌은 평가와 학습을 위한 포트폴리오의 사용이 학생들의 포트폴리오가 평가될 때 그들의 성찰이 덜 open될 수 있기 때문에 상충되는 것으로 보았다. 문헌의 체계적인 검토에서 학습과 평가의 두 가지 목표를 결합하는 것은 문제를 일으키는 것으로 보이지 않는다. 오히려, 총괄평가는 포트폴리오 학습이 다른 평가 대상과 함께 그 지위를 유지하도록 하는 데 중요한 것으로 밝혀졌다.

The various goals of working with a portfolio need to be clear but can be successfully combined.28,32 Portfolios can be used concurrently in both the formative promotion of learning and summative assessment. This is in contrast to previous debate in the literature, where the use of portfolios for assessment and learning was seen as conflicting on the grounds that students may be less open in their reflections when their portfolios are to be assessed.58–60 From a systematic review of the literature, combining the 2 goals of learning and assessment does not appear to cause problems. On the contrary, summative assessment was found to be important to ensure that portfolio learning maintained its status alongside other assessed subjects.35,43

포트폴리오를 별도의 독립적인 도구가 아니라 다른 교육 활동과 통합할 수 있는 활동으로 보는 것이 바람직하다.

It is advisable to regard a portfolio not as a separate, independent instrument but as an activity that can be integrated with other educational activities.21,22

포트폴리오 지원에 멘토를 제공함으로써 학습의 효율성을 높일 수 있다. 멘토링은 상당한 시간 투자가 필요하지만 성공적인 포트폴리오 사용에 있어 중요한 것으로 보입니다. 포트폴리오 평가를 인터뷰와 결합하면 평가의 효과를 높일 수 있다.

Effectiveness of learning is enhanced by providing a mentor to support the portfolio. Mentorship requires a substantial time investment, but appears to be crucial to successful portfolio use.21,28,32,35,37,39,41,43,48 The effectiveness of assessment can be enhanced by combining the portfolio assessment with an interview.22,36,47

의학교육 포트폴리오의 통합에 대한 가장 큰 도전은 평가에 의해 driven되는 학생들의 눈에 포트폴리오의 지위가 유지되어야 한다는 것이다. 이 검토는 이것이 기관 평가 절차의 일부여야 한다는 것을 시사한다.연구 결과, 놀라울 정도로 높은 수준의 내부 신뢰도를 발견했습니다. 이것은 다른 도메인의 발견과 대조된다.

A major challenge for the integration of a portfolio into medical education is that its status must be maintained in the eyes of assessment-driven students. This review suggests that it must be part of the institutional assessment procedures.32,35,43 We found surprisingly high levels of inter-rater reliability in the studies.45,46,48,51–53 This contrasts with findings in other domains,

간호사의 포트폴리오 평가를 검토하는 과정에서 McCready는 

• 숙련된 평가자, 

• 포트폴리오 구축에 대한 명확한 지침, 

• holistic 평가 절차를 요구합니다.

In her review of portfolio assessment in nursing, McCready54 also calls for experienced assessors, explicit guidelines for portfolio construction and a holistic assessment procedure.

포트폴리오 성공에 영향을 미치는 또 다른 문제는 유연한 학습 중심 형식입니다. 포트폴리오 콘텐츠의 모든 세부사항이 규정되어 있는 엄격한 구조는 포트폴리오 사용자들로부터 부정적인 반응을 이끌어 내고 역효과를 낸다.이 검토와 다른 문헌에서 발견한 사실은 너무 많은 구조가 너무 적은 구조보다 더 큰 위험을 의미한다는 것을 나타내는 것으로 보인다. 이는 학습자가 광범위한 역량의 개발과 평가를 지원하기 위해 명확한 방향과 지침이 필요하다는 사실을 부인하지 않는다. 그러나 [포트폴리오의 모든 세부사항에 대한 세부적인 지침을 주기보다는], 명확한 지침과 잘 정의된 포트폴리오 목표를 제시함으로써 방향을 결정해야 한다.57 여기서는 균형을 잡는 것이 중요하다.

Another issue that impacts on portfolio success is a flexible learner-centred format. A rigid structure in which every detail of portfolio content is prescribed elicits negative reactions from portfolio users and is regarded as counterproductive.28,32,35,36 Findings in this review and other literature56,57 appear to indicate that too much structure implies a greater risk than too little structure. This does not deny the fact that learners do need clear directions and guidance to support the development and assessment of broad competencies.29,57 However, direction should be achieved through clear guidelines and well defined portfolio goals rather than minute directives for every detail of the portfolio.57 Striking the right balance is crucial here.

시간은 또 다른 주요 문제이다. 포트폴리오를 만들 것을 요구하는 많은 학습자들과 그들의 감독관이나 멘토들은 포트폴리오를 만들고 판단하는 것이 시간이 너무 많이 걸리거나, 그냥 불가능할 것이라고 우려한다. 임상 전 학생들에게 시간 제약이 덜 문제가 된다는 사실은, 이 학생들이 상대적으로 더 많은 시간을 마음대로 쓸 수 있다는 것을 나타낼 수 있다. 임상 환경에서 학습자가 임상 실습의 압박 속에서 시간을 찾기가 쉽지 않습니다. 우리가 검토한 연구에서 설명한 포트폴리오 중 상당수는 사용자 친화적이지 않았고 방대한 양의 서류 작업이 포함되어 있어 포트폴리오 사용자는 엄격하고 세부적인 지침을 준수해야 했다. 너무 많은 구체적인 의무적인 콘텐츠가 들어있는 포트폴리오는 관료성을 만들고, 그 결과 어떠한 교육 목적도 제공하지 못할 뿐만 아니라, 학습자들이 그들의 직접적이고 살아있는 경험의 바깥outside에서 콘텐츠를 찾도록 강요한다.

Time, or rather lack of it, is another key issue. Many learners who are asked to create a portfolio, and their supervisors or mentors, are concerned that building and judging portfolios will be exceedingly time-consuming or downright impossible.20,28,31,38,41,45,46,64 The finding that time constraints appear to be less of a problem for preclinical students may indicate that these students have relatively more time at their disposal. For learners in clinical settings, it is clearly difficult to find time amidst the pressures of clinical practice. Many of the portfolios described in the studies we reviewed were not user-friendly and involved huge amounts of paperwork, forcing portfolio users to comply with strict and detailed guidelines.35,36,45,46 Too much specific obligatory content makes portfolios bureaucratic, with the result that they both fail to serve any educational purpose and force learners to search for content outside their direct and lived experiences.32,57

Table 1 Summary of factors promoting portfolio success

목표들 

포트폴리오와의 협업 목표를 명확하게 소개

목표 결합(학습 및 평가)

포트폴리오 소개 

절차, 형식 및 내용에 대한 명확한 지침 제공

정보 기술 관련 문제에 주의

멘토링 ⁄ 상호작용 

교사, 강사, 감독자 또는 동료의 멘토링 제공

평가 

평가의 이해관계에 따라 2-3명의 평가 패널 사용

평가자 교육

전체 점수 매기기 사용(글로벌 성능 설명자)

포트폴리오 형식 

포트폴리오 목적 및 절차에 대한 설명과 함께 실제 소개를 사용합니다.

포트폴리오 형식을 유연하게 유지

포트폴리오 컨텐츠에 대해 지나치게 규범적이지 않음

서류 작업이 너무 많으면 안 됩니다.

커리큘럼 내 위치 

포트폴리오를 커리큘럼의 다른 교육 활동에 통합

Goals 

Clearly introduce the goals of working with a portfolio

Combine goals (learning and assessment)

Introducing the portfolio 

Provide clear guidelines about the procedure, the format and the content

Be cautious for problems with information technology

Mentoring ⁄ interaction 

Provide mentoring by teachers, trainers, supervisors or peers

Assessment 

Use assessment panels of 2)3 assessors depending on the stakes of the assessment

Train assessors

Use holistic scoring rubrics (global performance descriptors)

Portfolio format 

Use a hands-on introduction with a briefing on the portfolios purpose and the procedures

Keep the portfolio format flexible

Avoid being overly prescriptive about the portfolio content

Avoid too much paperwork

Position in the curriculum 

Integrate the portfolio into other educational activities in the curriculum

연구 한계

Study limitations

"포트폴리오"라는 명칭이 너무 광범위함

Several limitations in this review should be considered. Firstly, the label  portfolio  refers to a broad range of instruments. The purpose, context, structure and content of the portfolios described in the literature reviewed here differed considerably.

함의

Implications for research and practice

비록 문헌에 따르면 포트폴리오가 항상 성공적인 것은 아니지만, 많은 연구들은 포트폴리오가 어떻게 구현되었고 왜 실패했는지에 대해 조사하지 않았다.

Although the literature indicates that portfolios are not always successful, many studies did not examine how they were implemented and why they failed.

---

Med Educ. 2007 Dec;41(12):1224-33.

Portfolios in medical education: why do they meet with mixed success? A systematic review.

Driessen E1, van Tartwijk J, van der Vleuten C, Wass V.

Author information

1

Department of Educational Development and Research, Faculty of Health, Medicine and Life Sciences, Maastricht University, Maastricht, The Netherlands. e.driessen@educ.unimaas.nl

Abstract

CONTEXT:

The move towards competence-based medical education has created a need for instruments that support and assess competence development. Portfolios seem suitable but mixed reports of their success are emerging.

METHODS:

To examine the effectiveness of portfolios, we searched PubMed and EMBASE using the keyword 'portfol*', PsychInfo and ERIC using the keywords 'portfol*' and 'medical education' and references of retrieved papers for empirical studies on portfolios in all phases of medical education. Thirty of 1939 retrieved papers met the inclusion criteria and were analysed. Data were collated against the research question, number of subjects, design, setting, findings and limitations, purpose and content, mentoring and assessment. We analysed impact using a modified version of Kirkpatrick's hierarchy.

RESULTS:

Because differences across studies precluded statistical meta-analysis, the data were analysed by context, goals and procedure. Positive effects were strongest in undergraduate education. Important factors for success were: clearly communicated goals and procedures; integration with curriculum and assessment; flexible structure; support through mentoring, and measures to heighten feasibility and reduce required time. Moderately good inter-rater reliability was reported and global criteria and discussions among raters were beneficial. Formative and summative assessment could be combined. Without assessment, portfolios were vulnerable to competition from other summative assessment instruments.

CONCLUSIONS:

For portfolios to be effective in supporting and assessing competence development, robust integration into the curriculum and tutor support are essential. Further studies should focus on the effectiveness and user-friendliness of portfolios, the merits of holistic assessment procedures, and the competences of an effective portfolio mentor.

PMID:

 

18045373

 

DOI:

 

10.1111/j.1365-2923.2007.02944.x