포트폴리오 평가의 신뢰도 평가의 대안으로 질적연구 기준 활용(Med Educ, 2005)

포트폴리오 평가의 신뢰도 평가의 대안으로 질적연구 기준 활용(Med Educ, 2005)

The use of qualitative research criteria for portfolio assessment as an alternative to reliability evaluation: a case study

E Driessen,1 C van der Vleuten,1 L Schuwirth,1 J van Tartwijk2 & J Vermunt3

도입

INTRODUCTION

많은 평가 도구가 그러했듯, 포트폴리오라는 용어는 다양한 방법을 다루는 컨테이너적 개념이 되었습니다 .1,2 모든 포트폴리오의 핵심은 학생이 자신의 학습 프로세스 및 역량 수준의 증거로 수집하는  정보입니다. 증거는 역량에 따라 구성되며 교육 성과 및 개인적 및 직업적 발전에 대한 성찰로써 보완 될 수 있습니다 .3 포트폴리오는 주로 실제 상황에서의 성과를 평가하고, 학습자가 성과에 대해 성찰하도록 권장합니다 .4 포트폴리오를 총괄평가의 목적으로 사용하게 된다면 심리측정적 특성이 신뢰성 측면에서 엄격한 요구 사항을 충족해야합니다.

As has happened with many assessment instruments, the term  portfolio  has become a container concept covering a diversity of methods.1,2 At the heart of every portfolio is information collected in evidence of the owner’s learning process and⁄ or competence levels. The evidence is often organised by competencies and may be supplemented with reflections on educational achievement and personal and professional development.3 Portfolios were primarily introduced to assess performance in authentic contexts and encourage learners to reflect on their performance.4 When portfolios are used for summative rather than formative assessment, the psychometric qualities must meet stringent requirements, particularly in terms of reliability.

피할 수없는 결론은 포트폴리오를 총괄평가적 목적으로 사용할 때 극도의주의가 필요하다는 것입니다 .7

The inevitable conclusion is that extreme caution is warranted when portfolios are used for summative purposes.7

포트폴리오 평가에서 내부자 신뢰도를 향상시키기위한 몇 가지 전략이 있습니다.

There are several strategies for improving interrater reliability in portfolio assessment:

1 표준화 : 예를 들어, 내용을 구성하고 증거의 출처 수를 제한;

2 엄격한 성과 기준을 갖춘 체크리스트를 활용하여 평가자 교육 및 판단의 구조화

3 많은 평가자를 사용하여 평가자 효과를 평균화.

• 1 standardisation: for example, by structuring content and restricting the number of admissible sources of evidence;

• 2 rater training and the structuring of judgement through checklists with strict performance criteria, and

• 3 using large numbers of raters to average out any rater effects.

처음 2 가지 전략의 단점은 타당성을 위태롭게한다는 것입니다. 포트폴리오는 학생들이 개인적, 정통적, 교육적 경험과 경험을 실제 사례로 제출할 수있게 해 주므로 크게 유용합니다. 이러한 경험을 표준화하면 필연적으로 포트폴리오의 교육적 가치가 떨어집니다.

The disadvantage of the first 2 strategies is that they jeopardise validity. Portfolios are valuable largely because They enable students to present documentation of their personal, authentic, educational experiences and experiences in real practice. Standardising those experiences would inevitably detract from the portfolio’s educational value.

상세한 체크리스트는 쉽게 평가를 trivialise 할 수 있습니다.

detailed checklists can easily trivialise assessment

평가자의 수를 늘리는 것은, 포트폴리오 판단이 시간-소모적인 성격을 갖는다는 것과 같은 실용적인 제약만 아니라면, 효과적인 전략이 될 것입니다.

Increasing the number of raters would be an effective strategy, were it not for practical constraints, such as the time-consuming nature of portfolio judgement.

요약하면, 포트폴리오 평가는 열악한 신뢰성과 부실한 타당성이라는 두 가지 classic evil의 사이에 끼어들 것으로 보입니다.

In summary, portfolio assessment appears to be caught between the 2 classic evils of poor reliability and poor validity.

포트폴리오의 타당성과 신뢰성에 관한 논의에 퍼져있는 일반적인 오해는 주관성은 낮은 신뢰도와 같고, 객관성이 높은 신뢰도와 동일하다는 것입니다. 이것은 늘 그런 것은 아니다. 객관적인 검사가 신뢰할 수 없을 수도 있고(단일 항목, 객관식 검사), 더 중요한 것은 주관적인 판단도 적절한 수의 다양한 판단이 수집되고 대조되는 경우 신뢰할 수 있다는 것입니다 .12 어떤 형식의 평가이든, 공정한 결정을 위해서는 그 평가결과가 역량을 최적으로 반영해야합니다. 이는 편향과 오류의 최소화함으로써, 평가가 여러 candidate간에 비교 가능해야한다는 것을 의미합니다.

Common misconceptions pervading this discussion are that subjectivity equals unreliability and that objectivity equals reliability. This is not universally true: objective examinations may be unreliable (cf. a single-item, multiple-choice examination) and – more importantly – subjective judgements can be reliable provided an adequate number of different judgements are collected and collated.12 In any formal assessment procedure a fair decision must optimally reflect the demonstrated competence. This implies that assessments must be comparable across candidates, with minimisation of bias and error.

질적 연구에서의 신뢰성 (내부 타당도 참조)과 의존성 (신뢰도 참조).

credibility (cf. internal validity) and dependability (cf. reliability) in qualitative research.13

질적 데이터의 신뢰성을 평가하기 위해 링컨과 구바는 전통적인 기준을 일련의 유사한 방법론적 기준으로 체계적으로 대체했습니다. 핵심 기준은 결과 내에서의 진실 가치와 관련된 신뢰도로서, 제공되는 증거에 의해 믿을 수 있고 뒷받침된다 .13 credibility and dependability을 보장하기 위해 많은 방법 론적 전략이 제안되었다.

To assess the trustworthiness of qualitative data, Lincoln and Guba have systematically replaced traditional criteria by a set of parallel methodological criteria. A central criterion is credibility, which relates to the truth value within the findings so that they are both believable and supported by the evidence provided.13 A number of methodological strategies have been suggested to ensure credibility and dependability.14

다음 3 가지 전략은 credibility를 확보하는 데 중요합니다.

• 삼각 측량 (서로 다른 정보원을 결합 함);

• 장기간의 참여 (연구원의 충분한 시간 투자),

• 멤버 체킹 (수집 된 그룹의 구성원이 데이터 검토).

The following 3 strategies are important for reaching credibility: 

• triangulation (combining different information sources); 

• prolonged engagement (sufficient time investment by the researcher), and 

• member checking (testing the data with the members of the group from which they were collected). 

dependability 실현을 위한 전략 - 신뢰성의 펜던트)

• 감사 추적 설정 (즉, 외부 점검을 가능하게하는 평가 프로세스의 문서화) 및

• 의존성 감사 (즉, 외부 감사원과의 품질 평가 절차)를 수행합니다

The strategies for realising dependability – the pendant of reliability ) involve 

• establishing an audit trail (i.e. documentation of the assessment process to enable external checks) and 

• carrying out a dependability audit (i.e. quality assessment procedures with an external auditor).

연구 맥락

CONTEXT OF THE STUDY

이 사례 연구는 네덜란드의 마스트리히트 대학 (Maastricht University)의 학부 의학 커리큘럼 1 학년에 사용 된 포트폴리오 평가 절차를 탐구했습니다. 포트폴리오의 구조는 의사의 4 가지 역할 : 의료 전문가, 과학자, 의료 종사자 및 사람에 의해 제공되었습니다. 각 역할에 대한 글로벌 기준이 고안되었으며 학생들은 연말까지이 기준을 충족 시켰음을 증명하는 증거를 수집해야했습니다. 학생들은 의대교수들에게 멘토링을 받았습니다.

This case study explored the portfolio assessment procedure used in Year 1 of the undergraduate medical curriculum at Maastricht University, the Netherlands. The structure of the portfolio was provided by 4 different roles of a doctor: medical expert, scientist, health care worker and person. Global criteria were devised for each role and students had to collect evidence demonstrating that by the end of the year they had met those criteria. The students were mentored by medical school staff.

학년 초에 포트폴리오 시스템이 소개되었고 학생들은 포트폴리오 연습을 실시했습니다. 포트폴리오에서 학생들은 의사의 4 가지 역할과 관련하여 개인적인 강점과 약점에 대한 분석을 제시해야했습니다. 이러한 성찰은 평가와 시험에서의 피드백과 완료된 과제와 같은 증거에 의해 뒷받침되어야했습니다. 학생들은 또한 다음 학기 동안 학습 계획을 작성해야했습니다.

At the beginning of the academic year the portfolio system was introduced and students carried out some portfolio exercises. In the portfolio students had to present an analysis of their personal strengths and weaknesses in relation to the 4 roles of a doctor. These reflections had to be backed up by evidence, such as feedback from evaluations and tests and completed assignments. Students were also required to draw up a learning plan for the next period. 

학년도 중반에 학생들은 피드백을 준 멘토에게 포트폴리오를 제출했습니다. 진행 회의에서 학생과 멘토는 포트폴리오와 4 가지 역할에 대한 학생의 역량 개발에 관해 논의했습니다. 학생은 자신이 받은 피드백에 따라 포트폴리오를 조정할 것으로 가정했습니다. 학년 말에 이 제출, 피드백, 조정의 사이클이 반복되었습니다. 이 포트폴리오 형식은 다른 곳에서 더 자세하게 설명되어 있습니다.

Halfway through the academic year the students submitted their portfolios to their mentors, who gave feedback. In a progress meeting student and mentor discussed the portfolio and the student’s competence development regarding the 4 roles. It was assumed that the student would adjust the portfolio in accordance with the feedback received. At the end of the academic year this cycle of submission, feedback and adjustment was repeated. This portfolio format has been described in greater detail elsewhere.17

형성평가와 총괄평가

Formative and summative assessment

1 학년 포트폴리오의 목적은 주로 형성 적이었습니다. 평가 프로그램의 일환으로 피드백을 촉진하고 학생들이 역량 개발을 모니터하고 성찰, 계획, 재교육 기술을 개발하도록 돕기위한 것입니다.

The purpose of the Year 1 portfolio was primarily formative. It was intended to promote feedback as part of the assessment programme and help students monitor their competence development and develop reflective, planning and remediation skills.

포트폴리오는 또한 총괄적인 목적으로 사용되었습니다. 이것은 다음과 같은 두 가지 이유로 바람직하다고 판단되었습니다.

The portfolio also served a summative purpose. This was considered desirable for 2 reasons:

• 경험에 따르면 온전한 형성 평가는 점차 기세를 잃는 경향이 있다. 그리고 약간의 시간이 지나면 학생들의 학습을 원하는 방향으로 이끌 수있는 새로운 자극이 필요합니다.

• 포트폴리오 평가는 professional progress에 뒤쳐졌거나, 성찰/계획/재교육 능력이 부족한 학생을 식별 할 수있는 독특한 기회를 제공하기 때문입니다. 포트폴리오가 고부담 평가이고, 공정한 결정이고, 의사 결정 오류를 최대한으로 예방하는 것이 본질이다.

• 1 because experience has taught that purely formative assessment tends to lose momentum and after some time a new impetus is needed to steer student learning into the desired direction,18

• 2 because portfolio assessment offers a unique opportunity to identify students who are lagging behind in professional progress and who show insufficient ability to reflect, plan and⁄ or take remedial action. it will be clear that the portfolio is a high stakes assessment and fair decisions and maximum prevention of decision errors are of the essence.

포트폴리오 평가 절차

THE PORTFOLIO ASSESSMENT PROCEDURE

포트폴리오의 질을 평가하기 위해 다음의 다소 글로벌 한 기준이 사용되었습니다.

The following, rather global, criteria were used to assess the quality of the portfolios:

• 강점과 약점 분석의 질;

• 증거의 질.

• 강점과 약점에 대한 분석을 성찰한 정도에 대한 증거

• 학습 목표의 명확성과 실행 가능성

• 학습 목표를 달성 한 정도.

• the quality of the analyses of strengths and weaknesses;

• the quality of the evidence;

• the extent to which the evidence reflected the analyses of strengths and weaknesses;

• the clarity and feasibility of the learning objectives, and

• the extent to which the learning objectives were achieved.

이러한 기준은 포트폴리오 사이클에서 다음 단계를 표현합니다 : 

• 역량 개발에 대한 성찰; 

• 증거 모으기; 

• 증거를 성찰에 연계

• 학습 목표를 수립하여 역량 개발

These criteria express the following steps in the portfolio cycle: 

• reflect on competence development; 

• sample evidence; 

• link evidence to reflection; 

• formulate learning objectives, and develop competence.

포트폴리오 프로세스의 모든 단계에서 평가가 발생했습니다.

Assessment occurred in all phases of the portfolio process:

• 멘토와 학생 정기 모임에서 포트폴리오를 편집하는 동안;

• 멘토와 학생이 최종 학년을 추천 한 연말 회의에서

• 포트폴리오 평가위원회 (PAC)에 포트폴리오를 제출 한 후 최종 점수 결정

• 1 during the compilation of the portfolio in regular meetings of mentor and student;

• 2 in the end-of-year meeting when mentor and student recommended the final grade, and

• 3 after submission of the portfolio to the portfolio assessment committee (PAC) for final grading.

포트폴리오 컴파일

Compiling the portfolio

1 년 동안 학생들은 건설적인 구두 및 서면 서사 피드백을 제공 한 멘토와 적어도 2 회의 세션에서 진도를 논의했습니다.

Over the course of the year the students discussed their progress in at least 2 sessions with their mentor, who provided constructive oral and written narrative feedback.

멘토가 감독자와 평가자의 역할을 모두 수행하는 것은 어렵지만 불가능하지는 않다. 비슷한 역할 조합이 관련된 전형적인 예는 지도교수와 박사 과정 학생 간의 관계입니다.

The mentor’s combined role of supervisor and assessor can be a difficult, albeit not impossible, task. Aclassic example of a situation involving a similar role combination is the relationship between supervisor and PhD student.

이 두 차례의 세션은 멘토가 경험과 정보를 공유하는 인터뷰 세션으로 보완되었습니다. 이 접근법의 목적은 멘토가 이중 역할을 수행하는데 어려움이 없도록 지원하고, 학생들에게 피드백을 위한 건전한 토대를 마련하는 것이 었습니다.

These sessions were supplemented by intervision sessions, in which the mentors shared experiences and information. The purpose of this approach was to support the mentors in their difficult double role and build a sound foundation for feedback to the students.

Recommendation by mentor and student

학생과 멘토가 성적에 동의하면, 학생은 추천서에 서명했습니다. 학생이 동의하지 않으면 서명하지 않았습니다. 그 경우에, 포트폴리오는 위원회에 제출되었습니다.

When student and mentor agreed on the grade, the student signed the recommendation. The student did not sign if there was disagreement, which the student indicated on the assessment form. Subsequently, the portfolio was submitted to the committee.

Portfolio assessment committee

평가 절차의 마지막 단계는 평가위원회의 순차적 판단 절차로 구성됩니다. 그림 1은 흐름도의 평가 절차를 나타냅니다.

The final step of the assessment procedure comprised a sequential judgement procedure by the assessment committee. Figure 1 presents the assessment procedure in a flowchart.

최종 결정은 학생의 멘토를 제외한 상태에서 위원회 구성원 간의 합의로 결정한다. 멘토는 평가자가 아니라 가장 먼저 감독자이기 때문에 멘토는 최종 결정에 투표권이 없습니다.

The final decision was based on consensus among the committee members, excluding the student’s mentor. As the mentor is first and foremost a supervisor, rather than an assessor, the mentor had no vote in the final decision.

고찰

DISCUSSION

우리는 결정 과정의 신뢰성을 극대화하기 위해 절차 과정에 몇 가지 절차적인 보호 장치를 통합했다 .13) 평가 프로세스의 핵심 요소는 다음과 같다 :

We incorporated some procedural safeguards into the assessment process to achieve maximum credibility of the decisions.13)15 Essential elements in the assessment process were:

• 피드백주기

• 멘토의 최종 추천이 학생을 불쾌하게 하거나 놀라게 하지 않도록 포트폴리오를 작성동안 멘토링 프로세스를 통합

• 이 요소는 장기간 참여와 구성원 점검의 신뢰성credibility 전략과 관련이있다.

• feedback cycles, incorporated into the mentoring process during the compilation of the portfolio to ensure that the mentor’s final recommendation did not come as a(n) – unpleasant – surprise to the student; this element relates to the credibility strategies of prolonged engagement and member checking;

• 멘토의 코치 역할과 평가자 사이의 균형을 유지함.

• 학생을 가장 잘 아는 사람이 가장 관련있는 정보를 제공했는지 확인

• 이는 멘토-학생 관계에 피해를 최소화하는 동시에, 장기간 참여의 신뢰성credibility 전략과 관련이있다.

• maintaining a careful balance between the mentor’s roles of coach and assessor, ensuring that the person who knew the student best provided the most relevant information while at the same time minimising any damaging effect to the mentor)student relationship; this relates to the credibility strategy of prolonged engagement;

• 결정 과정에 학생 개입

• 학생의 참여를 보장하고 학생이 멘토와 다른 관점으로 의사 소통 할 수 있도록합니다.

• 이것은 회원 확인의 신뢰성credibility 전략과 관련이있다.

• student involvement in the decision process to ensure commitment on the part of the student and allow the student to communicate a different point of view to that of the mentor; this relates to the credibility strategy of member checking, and

• 상충정보가 있을수록 더 많은 정보 수집을 필요로하는 순차적 판단 절차

• 절대적으로 이러한 상황에 필요한 경우에 자원을 사용할 수 있도록 남겨둠으로써 보다 신뢰성있는 판단을 할 수 있록 함

• 결과적으로, 더 많은 자원 (즉, 멘토 시간)이 학생 코칭에 사용되었고, 포트폴리오의 주요 목적에 부합한다

• 이 요소는 삼각 측량의 신뢰성 전략과 관련이 있습니다.

• a sequential judgement procedure in which conflicting information necessitated more information gathering, ensuring efficient use of resources by reserving efforts to achieve more reliable judgement in cases where this was absolutely necessary. As a result, more resources (i.e. mentor time) were available for coaching students, which is in line with the main purpose of the portfolio. This element relates to the credibility strategy of triangulation.

Dependability는 감사 추적 설정 및 외부 감사인의 사용으로 확보 할 수 있습니다. 두 가지 전략 모두 평가 절차를 모니터하는 데 사용되었습니다. 감사 추적은 평가 프로세스의 여러 단계에 대한 포괄적 인 문서로 구성됩니다.

• 시험위원회가 승인 한 공식적 평가 계획;

• 포트폴리오 및 평가 지침;

• 단계별 결과 개요

• 학생 당 서면 평가서.

Dependability can be reached by establishing an audit trail and by the use of external auditors. Both strategies were used to monitor our assessment procedure. The audit trail consisted of comprehensive documentation of the different steps of the assessment process: a formal assessment plan approved by the examination board; portfolio and assessment guidelines; overviews of the results per phase, and written assessment forms per student.

멘토링 프로세스는 자원 집약적 이었지만 대부분의 멘토는 멘토링 및 형성적 피드백 제공에 시간을 쏟았으며, 공식 평가에서는 작은 부분만 소비하였다. 비공식적 인 브리핑을하는 동안 멘토들은 판단 절차가 그들을 과도하게 부담시키지 않았 음을 지적했다.

Although the mentoring process was resource intensive, most of the mentors’ time was spent on mentoring and formative feedback and only a minor portion on formal assessment. During an informal debriefing the mentors indicated that the judgement procedure had not burdened them disproportionately.

포트폴리오 평가를 위해서는 질적 연구의 기준이 신뢰도와 같은 정량적 연구의 기준보다 더 적합 할 수 있습니다 . 반복적인 평가 (정량적 평가의 정신측정 접근법)로 일관성을 보기보다는, 정보가 포화 상태가 될 때까지 판단 프로세스에 정보를 추가했습니다 (질적 인 접근) .20

for portfolio assessment, criteria from qualitative research might be more appropriate than criteria from quantitative research, like reliability.3 Instead of looking at consistency across repeated assessments (a quantitative psychometric approach), we added information to the judgement process until saturation of information was reached (a qualitative approach).20

---

Med Educ. 2005 Feb;39(2):214-20.

The use of qualitative research criteria for portfolio assessment as an alternative to reliabilityevaluation: a case study.

Driessen E1, van der Vleuten C, Schuwirth L, van Tartwijk J, Vermunt J.

Author information

1

Department of Educational Development and Research, Maastricht University, PO Box 616, 6200 MD Maastricht, The Netherlands. e.driessen@educ.unimaas.nl

Abstract

AIM:

Because it deals with qualitative information, portfolio assessment inevitably involves some degree of subjectivity. The use of stricter assessment criteria or more structured and prescribed content would improve interrater reliability, but would obliterate the essence of portfolioassessment in terms of flexibility, personal orientation and authenticity. We resolved this dilemma by using qualitative research criteria as opposed to reliability in the evaluation of portfolio assessment. METHODOLOGY/RESEARCH DESIGN: Five qualitative research strategies were used to achieve credibility and dependability of assessment: triangulation, prolonged engagement, member checking, audit trail and dependability audit. Mentors read portfolios at least twice during the year, providing feedback and guidance (prolonged engagement). Their recommendation for the end-of-year grade was discussed with the student (member checking) and submitted to a member of the portfoliocommittee. Information from different sources was combined (triangulation). Portfolios causing persistent disagreement were submitted to the full portfolio assessment committee. Quality assurance procedures with external auditors were used (dependability audit) and the assessment process was thoroughly documented (audit trail).

RESULTS:

A total of 233 portfolios were assessed. Students and mentors disagreed on 7 (3%) portfolios and 9 portfolios were submitted to the full committee. The final decision on 29 (12%) portfolios differed from the mentor's recommendation.

CONCLUSION:

We think we have devised an assessment procedure that safeguards the characteristics of portfolio assessment, with credibility and dependability of assessment built into the judgement procedure. Further support for credibility and dependability might be sought by means of a study involving different assessment committees.

PMID:

 

15679689

 

DOI:

 

10.1111/j.1365-2929.2004.02059.x

[Indexed for MEDLINE]