포트폴리오 기반 평가프로그램의 근거: 학생은 근거로 무엇을 선택하는가?(Med Teach, 2012)

포트폴리오 기반 평가프로그램의 근거: 학생은 근거로 무엇을 선택하는가?(Med Teach, 2012)

Evidence within a portfolio-based assessment program: What do medical students select to document their performance?

ELAINE F. DANNEFER1, S. BETH BIERER1 & SOPHIA P. GLADDING2

1Case Western Reserve University, USA, 2University of Minnesota, USA

도입

Introduction

단일 스냅 샷은 전체 퍼포먼스 그림을 구성하는 데 충분하지 않습니다.

A single snapshot will not suffice to form an overall picture of performance.

의학 교육자로서의 우리의 과제는 연수생의 능력에 대한 유효한 결론을 도출하는 데 필요한 '성과 스냅 샷'의 유형과 양을 결정하는 것입니다.

Our challenge, as medical educators, is to determine the types and quantity of ‘‘performance snapshots’’ needed to draw valid conclusions about trainees’ competence.

이상적으로, 이 퍼포먼스 데이터베이스는 연수생의 진행 및 전반적인 성과를 문서화하는 데 충분한 고품질 피드백을 제공해야합니다. 이러한 데이터베이스에는 광범위한 평가 증거가 포함되어야하며, 평가 데이터의 품질을 판단하여 연수생의 전반적인 성과를 나타내는 데이터 요소의 조합을 결정해야합니다 (Schuwirth & van der Vleuten 2011).

Ideally, this performance database should provide sufficient, high-quality feedback to document trainee progress and overall performance. Such a database should contain a broad array of assessment evidence, making it necessary to judge the quality of different pieces of assessment data to determine which combination of data points represents a trainee’s overall performance (Schuwirth & van der Vleuten 2011).

포트폴리오는 학습자가 성능의 종합적인 그림을 형성하기 위해 서로 다른 평가 증거를 구성하도록 장려하는 데 특히 적합한 도구로 인식되었습니다 (van Tartwijk & Driessen 2009). 그러나 포트폴리오에 포함시킬 평가 데이터를 누가 선택해야하는지에 대한 논쟁이 있습니다.

Portfolios have been recognized as a tool particularly well suited to encourage learners to organize disparate assessment evidence to form a composite picture of performance (van Tartwijk & Driessen 2009). Debate exists, however, about who should select assessment data to include in portfolios.

어떤 사람들은 학생들이 선택한 실적증거를 신뢰할 수 있는지 질문합니다. 특히 포트폴리오가 고부담 결정에 사용되는 경우에 그러하다.

Others question if students can be trusted to select evidence that represents their actual performance, especially when portfolios are used for high-stakes decisions

누가 포트폴리오 증거를 선택 하는가에 대한 논쟁은 타당도의 한 가지 조건을 강조합니다. 타당도는 포트폴리오에 포함시킬 평가 증거를 누가 선택했는지에 관계없이 충족되어야합니다.

The debate about who selects portfolio evidence underscores one condition of validity. This condition must be met regardless of who selects assessment evidence for inclusion in portfolios.

평가 프로그램

Assessment program

The Cleveland Clinic Lerner College of Medicine (CCLCM) started in 2002 as a 5-year undergraduate medical school program affiliated with Case Western Reserve University . We now explain the components and processes of the assessment program outlined in Figure 1.

전자 퍼포먼스 데이터베이스

Electronic performance database

CCLCM 학생들은 5 년간의 교육 프로그램 전반에 걸쳐 지속적인 형성적 피드백을받습니다. 이 피드백에는 

• 다양한 유형의 평가 (예 : 수필, 시뮬레이션, 직접 관찰 등)

• 다양한 평가자(교수, 피어, 자기자신)로부터 받은 평가

• 다양한 학습 컨텍스트 (예 : 세미나, 소그룹 세션, 실험실 설정 및 외래 진료소).

CCLCM students receive continuous formative feedback throughout the 5-year instructional program. This feedback includes 

• different types of assessments (e.g., essays, simulations, direct observations, etc.), 

• from multiple assessors (e.g., faculty, peer, and self), and 

• learning contexts (e.g., seminar, small group session, laboratory setting, and outpatient clinic). 

Table 1 summarizes all assessments CCLCM generates for firstyear medical students by method, assessor, and context.

대부분의 평가는 학생의 강점과 개선이 필요한 분야에 대한 서술형 피드백을 제공합니다. 학생들이 자신의 성과를 관리하는 데 도움이되는 교정 및 피드백이 풍부한 양질의 데이터를 제공하는 데 중점을두고 있습니다. 결과적으로 평가자를 대상으로 서술적인 피드백을 제공 할 수있는 상당한 리소스가 있습니다. '대학에서 생성한' 모든평가는 각 학생의 전자 실적 데이터베이스에 자동으로 업로드됩니다.

Most assessments provide narrative feedback about a student’s strengths and areas needing improvement .Emphasis is placed on providing quality data, rich in corrective and reinforcing feedback to help we students devote regulate their performance. Consequently, considerable resources to train assessors to give targeted, narrative feed-back. All ‘‘College-generated’’ assessments are automatically uploaded into each student’s electronic performance database.

퍼포먼스의 모니터, 검토, 보고 프로세스

Process to monitor, review, and report performance

입학시 각 학생에게는 지도교수가 배정됩니다.

Each student is assigned a physician advisor at matriculation.

학생들은 1, 2, 4 학년 말에 요약 포트폴리오를 구성합니다. 포트폴리오 지침을 통해 학생들은 실적을 문서화하기 위해 전자 데이터베이스에서 대표적인 균형 잡힌 증거를 선택할 수 있습니다. 학생들은 각 역량별로 에세이를 작성해야합니다.

Students construct summative portfolios at the end of Years 1, 2, and 4. Portfolio instructions direct students to select representative, balanced evidence from their electronic database to document their performance. Students must write an essay for each competency.

학생들은 각 요약 포트폴리오를 작성할 때 100개 이상의 citation을 넣을 수 없습니다. 총 자료인용 횟수가 제한되어있기 때문에 학생들은 포함 할 데이터를 선택할 때 매우 전략적인 자세를 취해야합니다. 데이터의 의미와 품질을 판단해야합니다.

Students cannot exceed 100 citations when constructing each summative portfolio. Limiting the total citations during portfolio construction requires students to be highly strategic when selecting data for inclusion. They must make judgments about the meaning and quality of the data.

지도교수는 포트폴리오 에세이와 인용 된 증거가 각 학생의 일work과 성과를 정확하게 나타내는 지 확인하기 위해 지정 학생이 작성한 요약 포트폴리오를 1 년 내내 읽습니다. 의사 고문이 포트폴리오 내용의 정확성을 확인하고 서명 한 후 포트폴리오를 검토를 위해 진급사정위원회에 제출합니다.

Physician advisors read the summative portfolios their assigned students construct to ensure the portfolio essays and cited evidence accurately represent each student’s work and performance throughout the year. After physician advisors have verified and signed off on the accuracy of portfolio contents, the portfolios are submitted to the promotion  committee for review

진급결정

Promotion decision process

진급위원회는 학생 진급 결정을위한 기초로서 성적 또는 포괄적 인 시험보다는 요약 포트폴리오를 사용합니다

A promotion committee uses summative portfolios rather than grades or comprehensive examinations as the basis for student promotion decisions

Methods

First, we examined the evidence cited in portfolio essays to ascertain what types and sources were selected. Second, we obtained feedback from promotion committee members concerning the quality of evidence via a questionnaire

Citation coding procedures and data

A research assistant extracted essays from the e-Portfolio database for seven of the nine competencies included in the Year 1 summative portfolios that students submitted during the 2009–2010 academic year

Quality ratings

Promotions committee members involved with portfolio reviews (n¼18 faculty) completed a 21-item, web-based questionnaire after reading students’ Year 1 summative port-folios. 

결과

Results

고찰

Discussion

우리의 연구 결과는 의사 소통과 프로페셔널리즘 같은 [학습 과정과 코스를 가로 지르는 broad-base 역량]이 [상황 의존적 또는 점진적 경험이 필요한 역량] (예 : 임상 추론)보다 더 많은 평가 기회를 제공함을 나타냅니다. Health care systems와 같은 Competencies는관련 학습 경험 및 평가와 일치하는 표준을 개발하는 데 더 많은 주의와 자원이 필요할 수 있습니다.

Our findings suggest broad-based competencies which cut across courses and learning contexts such as Communication and Professionalism provide more and/or better assessment opportunities than competencies requiring context-dependent or progressive experience (e.g., Clinical Reasoning). Care Systems Competencies such as Health may require more attention and resources to develop standards that align with relevant learning experiences and assessments.

우리는 학생들이 포트폴리오에 대한 증거를 성찰하고 의도적으로 선택하도록 요구함으로써 학습의 소유권을 획득하도록 권장하는 시스템을 설계했습니다 (Arter & Spandel 1992). 학생들은 총괄 포트폴리오 작성할 때 이용할 수만 있다면 'College-generated' '증거를 선택하는 것으로 보입니다. 학생들은 자신의 성과에 대해 포트폴리오에 인용 할 수있는 충분한 양질의 증거가없는 경우에만  자기-생성 자료를 사용하거나, 보다 개인적인 관점을 제시하는 경향이있었습니다.

We designed a system that encourages students to take ownership of their learning by requiring that they reflect on and purposefully select portfolio evidence (Arter & Spandel 1992). It appears that students will select ‘‘College-generated’’ evidence for their summative portfolios when available. Students tended to use self-generated data and give a more personalized view of their performance only when they did not have sufficient, high-quality evidence to cite in their portfolios.

평가의 프로그램적 방식은 퀄리티와 정보가 풍부한 평가 자료를 보장하기 위해 deliberate한 설계 및 평가 절차가 필요합니다 (Baartman 외 2007, Dijkstra 외 2009). 우리 프로그램에서 학생들은 자신의 역량을 문서화하기 위하여 지난 1년간 축적된 형성평가 자료들를 해석, 선택, 결합 할 책임이 있습니다. 이 책임을 학생들에게 부여함으로써, 우리는 학생들이 자기조절 과정을 내면화하는 데 도움이되는 경험을 제공합니다 (Altahawi 외 .2011). 본 연구는 이 과정에서 학생들을 지원하도록 고안된 프로그램에서, (포트폴리오의) 퀄리티에 대한 (교수의) 인식은 [학생들이 선택할 수있는 충분한 평가 데이터의 가용성]에 달려 있음을 제시합니다.

A programmatic approach requires deliberate design and evaluation procedures to ensure quality, information-rich assessment data (Baartman et al. 2007; Dijkstra et al. 2009).In our program, students are given the responsibility to interpret, select, and combine formative assessments received during the year to document their performance. By giving this responsibility to students, we provide an experience that helps them internalize the self-regulation process (Altahawi et al.2011). This study suggests that, in a program designed to support students in this process, the perception of quality is dependent on the availability of sufficient assessment data from which students can select. 

---

Med Teach. 2012;34(3):215-20. doi: 10.3109/0142159X.2012.652241.

Evidence within a portfolio-based assessment program: what do medical students select to document their performance?

Dannefer EF1, Bierer SB, Gladding SP.

Author information

1

Cleveland Clinic Learner College of Medicine, Case Western Reserve University, Cleveland, OH, USA. dannefe@ccf.org

Abstract

BACKGROUND:

Decisions about performance in programs of assessment that provide an array of assessment evidence require judgments about the quality of different pieces of assessment data to determine which combination of data points best represent a trainee's overall performance.

AIM:

In this article, we examine the nature of evidence selected by first-year medical students to include in a portfolio used to make promotion decisions.

METHODS:

We reviewed portfolios to examine the number, type, and source of assessments selected by students (n = 32) to document their performance in seven competencies. The quality of assessment data selected for each competency was rated by promotion committee members (n = 14).

RESULTS:

Findings indicate that students cited multiple types and sources of available assessments. The promotion committee rated evidence quality highest for competencies where the program provided sufficient evidence for students to cite a broad range of assessments. When assessments were not provided by the program, students cited self-generated evidence.

CONCLUSION:

We found that when student-constructed portfolios are part of an overall assessment system, students generally selectevidence in proportion to the number and types of assessments available.

PMID:

 

22364453

 

DOI:

 

10.3109/0142159X.2012.652241