미국 의과대학에서 포트폴리오 활용 현황(Med Teach, 2016)

미국 의과대학에서 포트폴리오 활용 현황(Med Teach, 2016)

Status of portfolios in undergraduate medical education in the LCME accredited US medical school

JASON CHERTOFF1, ASHLEIGH WRIGHT1, MAUREEN NOVAK1, JOSEPH FANTONE1, AMY FLEMING2,

TOUFEEQ AHMED2, MARIANNE M. GREEN3, ADINA KALET4, MACHELLE LINSENMEYER5,

JOSHUA JACOBS6, CHRISTINA DOKTER7 & ZAREEN ZAIDI1

1University of Florida, USA, 2Vanderbilt University, USA, 3Northwestern University, USA, 4New York University, USA,

5West Virginia School of Osteopathic Medicine, USA, 6Washington University, USA, 7Michigan State University, USA

도입

Introduction

• '포트폴리오'라는 용어는 전통적으로 예술가들이 자신의 작품을 포터블 컬렉션으로 묘사하는 데 사용되어 왔습니다. 

• 포트폴리오는 다양한 목적으로 모아진 학생 작품 모음으로도 설명되었습니다 (Arter & Spandel 1992). 

• 학업 성취도 평가

• 지속적인 학업 성과물 아카이브 구축,

• 학생들이 학습자 발달을 모니터링하여 학습 표준에 부합하는지 판단 (Arter & Spandel 1992).

• The term ‘‘portfolio’’ has traditionally been used by artists to describe a portable collection of their work. 

• A portfolio has also been described as a compilation of student work assembled for many purposes, which may include: 

• evaluating academic achievement, 

• creating a lasting archive of academic work products, and 

• determining whether students have met learning standards by monitoring learner development (Arter & Spandel 1992). 

Bird (1990)는 학생평가 및 의학교육에서 포트폴리오를 사용한다는 아이디어를 처음 소개했습니다. 

• Driessen은 authentic 평가뿐만 아니라 자기-비판적 의사로 교육하기 위해 성찰적 사고를 자극하기위한 포트폴리오 사용에 대해 설명합니다 (Driessen 2008). 

• 포트폴리오에는 시간이 지남에 따라 학생의 역량 개발 (Van der Vleuten 외 2014)과 자료 수집을 통한 학습자의 전문적 성장에 대한 문서화 (Tochel et al. 2009)를 추적 할 수있는 "서류dossier 기능"이 있습니다. 

• 전자 포트폴리오는 학생에 대한 집계 된 정보의 시각적 표현을 효과적으로 제공 할 수 있고 공식 및 비공식 피드백의 저장소 역할을 할 수 있습니다 (Van der Vleuten 외 2014). 

• 포트폴리오가 잘 구현되고 다른 평가 방법으로 삼각측량된다면, 학습자의 전문성 개발을 지원할 수 있다는 증거가있다 (Driessen et al., 2007, Van Tartwijk & Driessen 2009).

An essay by Bird (1990) introduced the idea of using portfolios in student assessment and in medical education 

• Driessen describes using portfolios not only for authentic assessment but also for stimulating reflective thinking in order to educate self-critical doctors (Driessen 2008). 

• Portfolios have a ‘‘dossier function’’ that allows tracking a student’s development of competency over time (Van der Vleuten et al. 2014) and documentation of professional growth of a learner through a collection of material (Tochel et al. 2009). 

• Electronic portfolios can effectively provide a visual representation of aggregated information about students and serve as a repository of formal and informal feedback (Van der Vleuten et al. 2014). 

• There is evidence that if portfolios are well implemented and triangulated with other assessment meth- odologies, they can support the professional development of learners (Driessen et al. 2007; Van Tartwijk & Driessen 2009).

포트폴리오는 마일스톤 및 EPA 적용에 특히 적절한데, 감독이 없는 상태에서의 의료 행위에 대한 의사의 발달 과정을 문서화하기 때문이다 (Frank et al. 2010; Ten Cate 2013)

Portfolios are especially relevant to the application of milestones and EPAs through the documentation of developmental progression of a physician to unsupervised medical practice (Frank et al. 2010; Ten Cate 2013).

포트폴리오는 특히 직장 기반 평가WBA의 문서화, 집계, 분석에 적합한데, 이는 역량 기반 교육, 이정표, EPA, 밀러 피라미드의 'does'에 필수적이기 때문이다. (Driessen 외 2003 ). 다른 형태의 평가와 마찬가지로, 교육자들은 포트폴리오 뒤에있는 교육적 철학을 설명하고, 포트폴리오와 관련하여 "무엇", "왜", "어떻게", "누가", "언제"라는 질문에 대답 할 필요가 있습니다 (Van Tartwijk & Driessen 2009). 그러나 포트폴리오 구현은 쉽지 않습니다. Tartwijk et al. 이해 관계자로부터의 바이인buy-in 또는 참여 약속, 학업 리더십 지원 및 인프라 제공 (Van Tartwijk & Driessen 2009)과 등 포트폴리오 성공을 위해 많은 조건을 충족해야한다고 설명합니다.

Portfolios are particularly well suited to provide space for documenting, aggregating, and analyzing workplace-based assessment which is fundamental for competency-based education, milestones and EPA’s or the ‘‘does-level’’ of the Millers pyramid (Driessen et al. 2003). Like other forms of assessment, educators need to address the educational philosophy behind portfolios and answer the ‘‘what’’, ‘‘why’’, ‘‘how’’, ‘‘who’’ and ‘‘when’’ questions in regards to the portfolio (Van Tartwijk & Driessen 2009). However, implementation of portfolios is not straightforward. Tartwijk et al. document that many conditions need to be fulfilled for portfolio success including buy-in or commitment of interest from stakeholders, support from academic leadership and provision of infrastructure (Van Tartwijk & Driessen 2009). 

포트폴리오 형식은 다양 할 수 있으며 주로 종이 기반 또는 전자 형식 일 수 있습니다. 오늘날 많은 학생들이 디지털 원주민이며 신기술 (웰스 외 2015)에 적응할 수 있기 때문에, 전자 포트폴리오가 고생스럽다labor고 느끼지 않는다는 증거가있다 (Burch & Seggie 2005). 이것은 기술에 취약한 많은 교수들과 대조되며, 교수들이 저항하는 한 가지 이유이기도 하다. 포트폴리오를 CPD에 사용하는 것은 개별 학습 스타일과 기술 지원에 의해 수용가능성과 사용이 영향을 받아 그 성과가 일관되지 않다고 지적했다 (Dornan et al., 2002). 연구 결과에 따르면 종이 기반 포트폴리오에 비해 전자 포트폴리오가. 

• 학생 동기 부여를 강화하고,

• 멘토에게는 더욱 사용자 친화적

• 더 나은 맞춤 설정이 가능하고

• 데이터 조작이 쉬우며

• 정보를 공유하고 전달하는 능력이 증가했다

사실, 일대일 비교했을 때 사용자는 하이퍼링크를 통해 증거를 빨리 검색하고 강사가 편리하게 다양한 사이트에서 액세스 할 수 있으므로 전자 포트폴리오를 사용하기가 더 쉽다고 동의했습니다 (Driessen 외 2007; Tochel et al., 2009).

The format of portfolios can vary widely, and can be primarily paper-based or electronic. Evidence shows that medical not intensive students do find electronic portfolios labor (Burch & Seggie 2005) as many of today’s students are ‘‘digital natives’’ and are adaptable to new technologies (Wells et al. 2015). This contrasts with many faculty who are less facile with technology, which may contribute to some of the faculty resistance. Others have noted that acceptability and use in continuing professional development influenced by individual learning styles and technical support may result in mixed success (Dornan et al. 2002). Research shows that when compared to paper-based portfolios, electronic portfolios: 

• enhance student motivation, 

• were more user-friendly for the mentors (Driessen et al. 2007), 

• offered better customization, 

• ease for data manipulation, and 

• increased ability to share and transfer information (Tochel et al. 2009; Vernazza et al. 2011). 

In fact, when compared head-to-head, users unanimously agree that electronic portfolios were easier to use as they allow faster retrieval of evidence through hyperlinks, and enable access from a variety of sites at the instructor’s convenience (Driessen et al. 2007; Tochel et al. 2009).

포트폴리오의 목적, 구조 및 내용 (Dannefer & Henson 2007, Buckley et al. 2009)에는 포트폴리오를 활용하여 포트폴리오의 반영을 서술하는 것을 포함하여 상당한 성격이 반영되어있다.

• 성찰 저널, 성찰 에세이, 자기 평가, 개선을 위한 행동 기술  (Driessen et al 2003; Pitkala & Mantyranta 2003; Pitka¨la¨ & Ma'ntyranta 2004; Rees & Sheard 2004; Rees et al 2005);

• 학습 목표의 문서화 및 성취 (Lonka et al., 2001; Supiano et al., 2002; Grant et al., 2006);

• 개인적 및 직업적 개발 평가 (Gordon 2003); 

• 대학원 교육 준비 (Rees & Sheard 2004, Rees 외. 2005).

Considerable variation has been noted in the purpose, structure and content of portfolios (Dannefer & Henson 2007; Buckley et al. 2009) including descriptions of utilization of portfolios to promote reflection through often mandatory written reflections including 

• reflective journals, reflective essays, self-evaluations and descriptions of actions to achieve improvement (Driessen et al. 2003; Pitkala & Mantyranta 2003; Pitka¨la¨ & Ma¨ntyranta 2004; Rees & Sheard 2004; Rees et al. 2005); 

• documentation of and achievement of learning goals (Lonka et al. 2001; Supiano et al. 2002; Grant et al. 2006); 

• assessment of personal and professional development(Gordon 2003); and 

• preparation for postgraduate training (Rees & Sheard 2004; Rees et al. 2005).

방법

Methods

대상자

Subjects

An online 21-question survey (Table 1) was delivered using Qualtrics, LLC software (UT). Invitations to participate in this survey were e-mailed to allopathic medical school deans or their educational representatives of Liaison Committee for Medical Education (LCME); accredited medical schools (the accrediting body in the US). Within this e-mail, all participants received a personalized link to the survey, with those not responding receiving a maximum of three reminder e-mails. Data was collected from 10/1/14 to 03/31/15, and participants’ responses were stored in a confidential online database provided by Qualtrics, LLC software.

설문 개발

Survey development

Construction of the survey was guided by the literature. Key sections included 

• demographic information, 

• structure and IT aspects of portfolios, 

• perceived satisfaction, 

• barriers and factors contributing to engagement with the portfolio. 

The questions pertaining to satisfaction and engagement included a 5-point Likert scale (strongly disagree to strongly agree) as well as free text space. Open-ended questions asked participants to describe success factors, barriers and other information about portfolio usage at their institution.

자료 분석

Data analysis

Categorical and ordinal data were analyzed using descriptive statistical tools provided by Qualtrics, LLC software. The qualitative data was examined using an inductive content analysis approach. Two of the authors (ZZ, AW) independently analyzed the data. Themes were identified and coded, and comments assigned to themes. Inter-rater reliability of identified themes and comments assigned to themes were calculated using Miles and Huberman’s formula (Huberman & Miles 2002) as follows:

Inter-rater reliability was 100% after discussion between the two authors. To ensure trustworthiness of the qualitative data analysis, criteria for trustworthiness recommended by Barzansky (Barzansky et al. 1985) were applied and triangulation was achieved by comparing results to available literature. A survey respondent was asked to do a member check i.e. review results and comment on the themes captured.

결과

Results

포트폴리오를 활용했다는 응답자의 76 %는 포트폴리오가 주로 전자적인 반면, 주로 종이 기반의 포트폴리오와 종이 기반의 전자 포트폴리오를 사용한 보고서는 각각 7 %와 14 %에 불과하다고 답했습니다. 포트폴리오에 대해 가장 자주보고 된 IT 플랫폼은 공급 업체가 제공 한 것 (64 %)입니다.

Seventy-six percent of the respondents who indicated that they utilized portfolios stated that their portfolios were primarily electronic, while only 7% and 14% reported using portfolios that were primarily paper-based and a combination of paper-based and electronic, respectively. The most frequently reported IT platform for portfolios were vendor-supplied (64%).

포트폴리오 구현에 영향을 미치는 요인에 대해 질문하는 개방형 질문 (표 2)의 질적 분석은 성공 요인과 실행 장벽이라는 두 가지 주요 주제를 나타 냈습니다. 몇 가지 성공 요인이 확인되었습니다. 여섯 가지 성공 요인 하위 항목은 다음과 같은 중요성을 강조합니다.

• (1) 포트폴리오 코치 / 멘토 참여시키기

• (2) 교수 개발,

• (3) 명확한 목표 설정 / 포트폴리오 청사진 개발,

• (4) 조정 된 실행 노력,

• (5) 학생 참여 및 구매 및

• (6) 평가와 관련된 이슈의 영향.

Qualitative analysis of the open-ended questions (Table 2) asking about factors impacting implementation of portfolios revealed two main themes: success factors and barriers to implementation. Several success factors were identified. The six success factor subthemes highlight the importance of: 

• (1) engaged portfolio coaches/mentors, 

• (2) faculty development, 

• (3) laying down clear objectives/development of a portfolio blueprint, 

• (4) coordinated implementation effort, 

• (5) student engagement and buy-in and 

• (6) impact of assessment related issues.

참여자는 또한 포트폴리오 구현에 대한 주요 장벽을 확인했습니다 (표 2). 7 개의 장벽 하위 영역이 확인되었습니다.

• (1) 교수 개발 부족,

• (2) 열악한 IT 지원,

• (3) 통합 부족,

• (4) 필요한 기술을 개발하는 시간과 비용 문제

• (5) 학생의 성찰적 쓰기에 대한 (낮은) 수용

• (6) 학생의 "바이 인 (buy-in)"의 가치가 부족

• (7) 레지던트 디렉터와 인정기구의 불명확한 이용.

Participants also identified key barriers to implementation of portfolios (Table 2). Seven barrier subthemes were identified: 

• (1) lack of faculty development, 

• (2) poor IT support, 

• (3) lack of integration, 

• (4) time and cost issues todevelop the required technology,

•  (5) acceptability of reflectivewriting by students, 

• (6) lack of student ‘‘buy-in’’ to its valueand 

• (7) unclear utilization by residency directors and accredit-ing bodies. 

참가자들은 종종 학생들이 가치를 인식하지 못하기 때문에 "메타 성찰"을 위해서는 "문화의 변화"가 필요하다고 지적했다. 한 응답자의 대표적인 의견은 다음과 같다 :

Participants noted that ‘‘meta-reflection’’ (reflection beyond reflection or deeper journey of thought) required ‘‘culture change’’ as students often do not appreciate its value. A representative comment from one respondent was: 

소프트웨어가 불필요하게 구현되는 경우 의과대학생의 시간 낭비입니다. 포트폴리오를 구축하는 데는 많은 시간이 필요하며 학습 곡선이 있습니다. 자신의 목표를 알지 못하면 전자 포트폴리오를 구현하지 말고 항상 licensing board와 상담하십시오. 아니면 다른 보건 과학 분야의 학생들로부터 간단한 기본 포트폴리오 요구 사항을 구현하는 것이 더 안전합니다

It’s a waste of medical students’ time if a software is implemented unnecessarily. It takes a lot of time to build a portfolio and there’s learning curve. Do not implement an e-portfolio unless you know your objectives and always consult with licensing board.Otherwise, it is safer to implement a simple basic portfolio requirement for students from other health sciences discipline instead of medical undergraduates

Discussion

포트폴리오의 특징

Features of portfolios

포트폴리오를 사용하는이 연구의 대다수 학교는 전자 플랫폼을 활용했습니다. 또한 대다수의 학교는 캠퍼스 외부의 포트폴리오에 액세스 할 수 있도록 지원하여 태블릿 및 휴대 기기를 비롯한 여러 플랫폼을 통해 액세스 할 수 있도록했습니다. 개인용 정보 단말기 (PDA) 나 핸드 헬드 모바일 장치를 사용하는 모바일 임상 전자 포트폴리오는 긍정적 인 결과로 문서화되었지만 인터페이스 문제에 대한 몇 가지 제한 사항이 있습니다 (Garrett & Jackson 2006). 의학 교육에서 포트폴리오의 '교내 밖'사용을 고려해야하는 한 가지 측면은 적절한 '방화벽'을 유지할 필요성이다. 즉 무단 액세스를 차단하고 외부 통신을 허용하여 환자의 기밀성을 보장하도록 설계된 컴퓨터 시스템 네트워크이며, 왜냐하면 의과대학생 포트폴리오에는 환자와의 만남 (예 : 환자 기록)과 직접 관련 된 기록이 있을 수 있기 때문이다.

The majority of schools in this study using portfolios utilized electronic platforms. Additionally, the majority of schools provided access to the portfolio off-campus, granting access through multiple platforms including tablets and mobile devices. Mobile clinical electronic portfolios using personal digital assistants (PDAs) or hand-held mobile devices have been documented with positive results but with some limitations secondary to interface issues (Garrett & Jackson 2006). One aspect that must be considered in the use of portfolios ‘‘off- campus’’ in medical education is the necessity to maintain appropriate ‘‘firewalls’’, i.e. a part of a computer system network that is designed to block unauthorized access while permitting outward communication to ensure patient confidentiality, as artifacts placed in medical student portfolios may be directly related to a patient encounter (e.g. patient write-ups).

최근의 리뷰에 따르면 포트폴리오를 형성 및 총괄 평가에 사용할 수 있다는 사실이 입증되었지만 (Van Tartwijk & Driessen 2009, Van der Vleuten 외 2014), 이번 결과는 학생들이 피드백을 제공하고 progress를 문서화하는 것의 가치를 인식하는 것이 중요하다는 것을 나타냅니다 . 지나치게 엄격한 포트폴리오 구조가 학생들로부터 부정적인 반응을 이끌어내는 것으로 나타 났다 (Mathers et al., 1999; Driessen et al. 2003, 2005) 학습자는 포트폴리오의 내용을 결정할 수 있는 자유가 있는 것을 좋아하나(Driessen et al. 2005), 어떤 구조와 지침은 필요하다 (McMullan 2006). Donato는 대학원 의학 교육 (Donato & George 2012)의 포트폴리오에 대한 '청사진'을 개발하기위한 가이드 라인을 문서화하고 있지만, 학부 의학 교육에서이 주제에 관한 문헌은 거의 없습니다.

While, recent reviews have established that portfolios can be used for formative and summative assessment (Van Tartwijk & Driessen 2009; Van der Vleuten et al. 2014) our results indicate that it is important that students recognize their value in providing feedback and documenting their progress. An overly rigid portfolio structure has been shown to elicit negative reactions from students (Mathers et al. 1999; Davis et al. 2001; Driessen et al. 2003, 2005) and some freedom to determine content of portfolios leads to appreciation by learners (Driessen et al. 2005), however, some structure and guidance is required (McMullan 2006). Donato documents a guideline for developing a ‘‘blueprint’’ for portfolios in graduate medical education (Donato & George 2012), but there is little literature on this topic in undergraduate medical education.

72 %의 기관이 종단적 역량 기반 포트폴리오를 개발 한 것으로보고되었지만, 24 % (7/29) 기관 만이 "포트폴리오를 통해 시간의 경과에 따라 역량을 그래픽으로 보여 주었다"는 문항에 긍정적으로 응답했다. (각기 다른 맥락에서 다양한 평가 도구와 평가자를 사용하여 구체적인 목표와 학습 성과를 달성하였는지)를 종단적 문서화한 것은 학습자가 여러 역량 영역에서 한 눈에 그 진전을 보일 수 있도록 도와줍니다 (Van der Vleuten 등, 2012). 이 '대시 보드'접근 방식은 교육 프로그램을 통해 시간이 지남에 따라 특정 이정표 및 역량 달성을 문서화하는 데 잠재적으로 매우 효과적 일 수 있습니다.

Though 72% of institutions reported developing a longitudinal competency-based portfolio, only 24% (7/29) institutions agreed or strongly agreed with the statement that their portfolio provided the graphic display of competencies over time. Longitudinal documentation of achievement of specific goals and learning outcomes using a variety of assessment tools and assessors, in different contexts helps to show learners their progress across multiple competency domains at a glance (Van der Vleuten et al. 2012). This ‘‘dashboard’’ approach can be potentially very effective in documenting achievement of specific milestones and competencies over time as one progresses through an educational program.

성공 요인과 장애 요인

Success factors and barriers

Driessen et al. (Driessen et al. 2003)은 멘토가 학부생 훈련을 통해 20 명의 학생들에게 지원을 제공하는 효과적인 프로그램을 설명합니다. 교수진은 '포트폴리오 코치'또는 멘토 역할에 대해 교육 받아야합니다. 따라서 질적 분석에서 두 번째로 중요한 주제는 교수 개발입니다.

Driessen et al. describe (Driessen et al. 2003) an effective program where mentors provide support to 20 students throughout their undergraduate training. Faculty has to be trained for the role of a ‘‘portfolio coach’’ or mentor. Therefore, it is logical that faculty development was the second most important theme identified in the qualitative analysis.

학생들의 저항은 성찰에 대한 기술 부족 때문이었다. '메타 성찰'에 대한 개념을 위해서는 "문화 변화"가 필요했는데, 왜냐하면 학생들은 메타 성찰에 대해서 싫증내했으며, 성찰적 학습에 대한 경험이 거의 없었고, 그것이 무슨 도움이 되는지 거의 몰랐기 때문이다.

Students resistance stemmed from lack of skill in reflection and the concept of ‘‘meta-reflection’’ required ‘‘culture change’’ as students often find it to be tedious (Korthagen et al. 2001), have little experience in reflective learning and do not recognize its benefit.

이와는 대조적으로 가난한 IT 지원, "부피가 큰 기술", 코스 목표와 기술의 통합 부족, 기술 개발에 필요한 시간 및 관련 비용은 모두 본 연구에서 장벽이었고 다른 연구자들에 의해보고되었습니다 (Driessen 외. 2007 ).

In contrast poor IT support, ‘‘bulky technology’’, lack of integration of technology with course objectives, time needed to develop the technology and associated costs were all noted to be barriers in our study and reported by others (Driessen et al. 2007).

Limitations

---

Med Teach. 2016 Sep;38(9):886-96. doi: 10.3109/0142159X.2015.1114595. Epub 2015 Dec 10.

Status of portfolios in undergraduate medical education in the LCME accredited US medicalschool.

Chertoff J1, Wright A1, Novak M1, Fantone J1, Fleming A2, Ahmed T2, Green MM3, Kalet A4, Linsenmeyer M5, Jacobs J6, Dokter C7, Zaidi Z1.

Author information

1

a University of Florida , USA .

2

b Vanderbilt University , USA .

3

c Northwestern University , USA .

4

d New York University , USA .

5

e West Virginia School of Osteopathic Medicine , USA .

6

f Washington University , USA .

7

g Michigan State University , USA.

Abstract

AIM:

We sought to investigate the number of US medical schools utilizing portfolios, the format of portfolios, information technology (IT) innovations, purpose of portfolios and their ability to engage faculty and students.

METHODS:

A 21-question survey regarding portfolios was sent to the 141 LCME-accredited, US medical schools. The response rate was 50% (71/141); 47% of respondents (33/71) reported that their medical school used portfolios in some form. Of those, 7% reported the use of paper-based portfolios and 76% use electronic portfolios. Forty-five percent reported portfolio use for formative evaluation only; 48% for both formative and summative evaluation, and 3% for summative evaluation alone.

RESULTS:

Seventy-two percent developed a longitudinal, competency-based portfolio. The most common feature of portfolios was reflective writing (79%). Seventy-three percent allow access to the portfolio off-campus, 58% allow usage of tablets and mobile devices, and 9% involve social media within the portfolio. Eighty percent and 69% agreed that the portfolio engaged students and faculty, respectively. Ninety-seven percent reported that the portfolios used at their institution have room for improvement.

CONCLUSION:

While there is significant variation in the purpose and structure of portfolios in the medical schools surveyed, most schools using portfolios reported a high level of engagement with students and faculty.

PMID:

 

26652913

 

DOI:

 

10.3109/0142159X.2015.1114595