학생의 학습에 평가프로그램의 영향: 이론 vs 실천(Med Educ, 2015)

학생의 학습에 평가프로그램의 영향: 이론 vs 실천(Med Educ, 2015)

The impact of programmatic assessment on student learning: theory versus practice

Sylvia Heeneman,1,2 Andrea Oudkerk Pool,1,3 Lambert W T Schuwirth,2,3,4 Cees P M van der Vleuten2,3 &

Erik W Driessen2,3

도입

INTRODUCTION

AFL은 커리큘럼과 구체적인 교육 환경으로 전환translate되어야 한다. 학생들은 자신의 성과에 대한 충분하고 의미 있는 정보를 받아야 한다. 두 번째 필수적 요소는 학생들은 이러한 정보로부터 의미를 적극적으로 추상화하고 이를 사용하여 학습을 관리하고 성과 개선의 소유권ownership을 획득함으로써, 다음 번에 더 나은 성과를 달성하고 학습자로서 진보할 수 있다.9

Assessment for learning needs to be translated into curricula and concrete educational settings. students should receive enough and meaningful information on their performance. A second sine qua non is that students actively abstract meaning from this information and use it to manage their learning and gain ownership of their performance improvement, allowing them to perform better the next time and to progress as learners.9

학습에 도움이 될 수 있는 평가 환경의 요소 또는 특성에 관한 많은 연구가 보고되었다. 여기에는 

• 지지적 학습 환경과 신뢰할 수 있는 피드백, 

• 형성적 평가, 

• 서술적 피드백, 

• 피드백을 성찰하고 사용할 기회가 포함됩니다.13

A number of studies have reported on elements or characteristics of assessment environments that may be conducive to learning. These include 

a supportive learning environment and credible feedback,12 

formative assessment, narrative feedback and the opportunity to use feedback in reflection.13

METHODS

Setting

The research setting is a 4-year, graduate-entry Master’s programme (50 students per year), designated the Physician–Clinical Investigator (P-CI) programme, at Maastricht University, the Netherlands. The curriculum is competency-based and uses the CanMEDS framework.18 In the programme, programmatic assessment is implemented; the structure and components are shown in Table 1.11

평가 프로그램은 다음 기능을 통해 학습에 대한 평가를 강화하도록 설계되었습니다. 

• (i) 평가 및 과제 형식의 다양성은 progress 및 역량 개발에 대한 정보와 피드백을 개별 학습자에게 제공하는 것을 최적화하는 데 사용됩니다. 

• (ii) 동업자와 교사의 서술적 피드백을 퍼포먼스에 대한 풍부한 정보를 제공하기 위해 사용한다. 

• (iii) 모든 피드백과 정보를 포트폴리오로 하게 되며, 이것은 학생이 개인적인 성찰을 위해, 학습 내용을 자기-조절하고, 특정 학습 목표를 통해 학습에 대한 후속 조치를 취하는 데 사용합니다. 

• (iv) 모든 학생들이 개인 멘토에 의해 지도된다.

• (v) 평가 및 과제 또는 과제(표 1)는 학생들에게 합격/불합격 결정만을 초래하지 않으며, 궁극적 종합적 의사결정에 도움이 되도록 의도한다는 점에서 직접적으로 총괄적이지 않다. 

• (vi) 다음 단계로 승격하기 위한 높은 수준의 결정은 포트폴리오에서 수집된 모든 정보에 기초한다.

The programme of assessment is designed to foster assessment for learning through the following features: 

• (i) diversity in assessment and assignment formats is used to optimise the provision of information and feedback to individual learners about their progress and competency development throughout the year; 

• (ii) narrative feedback from peers and teachers is used to provide rich information on performance; 

• (iii) all feedback and information are combined into a portfolio and used by students for personal reflection, to self-regulate their learning and to follow up on learning through specific learning objectives; 

• (iv) all students are coached by a personal mentor; 

• (v) assessments and assignments or tasks (as shown in Table 1) are not directly summative in the sense that they do not result only in a pass/fail decision for the student, but are meant to be informative and contribute to the eventual summative decision at the end of a study phase, and 

• (vi) a high-stakes decision for promotion to the next phase is based on all information collected and collated in the portfolio.

Methodology and data collection

A qualitative approach was chosen to explore the students’ own experiences in their natural context,19 using an interpretative, constructivist approach.20 Individual semi-structured interviews with 17 students (seven men and 10 women) were conducted. Students were sampled using maximum variation sampling to ensure that the multiple perspectives of individuals were represented.21

Ethical considerations

Analysis of interviews

Interviewing and analysis were conducted iteratively in order to facilitate the exploration of new themes and categories in subsequent interviews. Verbatim transcripts of the interviews were made and analysed using a type of theory-based thematic analysis, template analysis, in which a succession of coding templates, consisting of hierarchically structured themes, were applied to the data.28

결과

RESULTS

학습을 지원 또는 억제하는 것으로 간주되는 종합 평가 프로그램의 요소

Elements of the comprehensive programme of assessment considered to support or inhibit learning

종합적인 평가 프로그램의 평가 및 평가 활동은 지원 및 억제 효과를 모두 가지고 있었다. 이것은 또한 개별 학생과 프로그램 내에서의 사회적 상호 작용과 같은 요소에 대해서도 마찬가지였다. 표 3

Evaluation and assessment activities from the comprehensive programme of assessment, had both supporting and inhibiting effects. This also held true for factors inherent in the individual student and in the programme, such as social interaction amongst students and the curriculum. Table 3

학습 환경 평가에서 학습의 능동적 구성에 중요한 것으로 간주되는 학습의 레이어

Layers of learning considered important for the active construction of learning in an assessment for learning environment

학생들은 몇몇 '학습 레이어'를 인식했다. 여기에는 

• 돌아올 평가 및 과제에 의해 촉진되는 학습 활동, 

• 실제 평가 중 학습, 

• 종합적인 평가 프로그램에 의해 생성된 정보와 피드백을 통한 학습 등이 포함됩니다.

Students perceived several ‘layers of learning’. These included 

• learning activities instigated by upcoming assessments and assignments, 

• learning during the actual assessment, and 

• learning from the information and feedback generated by the comprehensive programme of assessment.

평가 및 과제 수행 시 발생하는 학습 활동: 사전 평가 효과

Learning activities instigated by assessment and assignment tasks: pre-assessment effects

평가 또는 과제는, 형성적 과제로서, 정보를 제공하고 포트폴리오에서 사용하도록 설계되었다. 그러나 대부분의 학생들이 이러한 과제가 총괄적인 합격/불합격 결정과 관련이 있다고 보았기 때문에, 실제로는 그렇게 인식되지 않닸다. 이는 평가일이 다가옴에 따라 연구 활동이 증가된 사전 평가 효과를 가져왔다.

Assessments or assignments were designed to give information, as formative tasks, and to be used in the portfolio. This was perceived differently by most students because these tasks were seen to be associated with summative pass/fail decisions. This resulted in pre-assessment effects of increased study activity as the assessment day drew nearer.

만약 당신이 당신의 지식 테스트를 통과하지 못한다면, 당신은 재시험을 봐야 한다. 합격 또는 불합격의 개념은 여전히 존재한다. (인터뷰 11)

if you do not pass your knowledge tests, you have to resit them. So, the concept of pass or fail still exists really. (Interview 11)

'패스'만 받으면 충분하다는 메시지는 그들이 탁월함을 위해 노력하도록 동기를 부여하지 않았다. 평가 과제가 같은 순간에 다른 (평가) 활동과 경쟁해야 할 때, 탁월함보다는 허용 가능한 기준을 목표로 하는 이러한 경향은 특히 지배적이었다.

The message that a ‘pass’ was enough did not motivate them to strive for excellence. This tendency to aim for acceptable standards rather than excellence was especially dominant when the assessment task had to compete with other (assessment) activities at the same moment,

평가 활동 중 학습: 순-평가 효과

Learning during assessment activities: pure assessment effects

모든 학생들은 구두 시험이 배움에 매우 유용하다고 느꼈다. 어떤 사람이 사실 대신에 그리고 전문가 앞에서 메커니즘에 대해 설명해야 하는 기대는 학생들이 더 깊은 이해를 하도록 만들었다. 또한 전문가와의 상호작용은 직접적인 학습 효과(즉, 순수 평가 효과)가 있었다.

All students felt that oral examinations were very valuable for learning. The expectancy that one would be required to explain mechanisms instead of facts, and in front of an expert, constructed the students’ learning towards a deeper understanding. In addition, the interaction with the expert had a direct learning effect (i.e. a pure assessment effect):

종합적인 평가 프로그램에 의해 생성된 정보와 피드백을 통해 학습: 평가 후 효과

Learning from information and feedback generated by the comprehensive programme of assessment: post-assessment effects

동료의 피드백은 성찰을 위한 좋은 자료 출처로 평가되었고, 프로페셔널리즘이나 협업과 같은 그룹 작업과 관련된 역량에 유용했다.

Peer feedback was valued as a good source of material for reflection, and was useful for competencies related to group work, such as professionalism and collaboration.

피드백은 프로그램에서 너무 밀접하게(고밀도로) 계획되어 있어서 피드백을 전달하고 받고 피드백을 성찰하는 것이 지겨웠다weariness. 또한, 피드백의 밀도는 품질에 영향을 끼쳤다; 때때로 피드백 라운드에서 제기된 것과 동일한 피드백을 동료 피드백이 재현하면서 반복되었다.

Feedback was too densely planned in the programme, leading to a weariness of delivering and receiving feedback and reflecting on the feedback. In addition, the density of feedback affected its quality; sometimes the same feedback was repeated as peers reproduced issues that had already been raised in feedback rounds,

학생들은 피드백을 제공하라는 압박감을 느꼈으며, 이는 학습에 효과적인 것은 아닌 세부 사항('개선 사항 조사')에 대한 피드백으로 이어졌습니다.

students felt pressurised to offer feedback, which, as they said, led to feedback on details (‘searching for improvement points’), not all of which were effective for learning:

저는 단지 여러분이 원하는 부분이 있다는 것을 알게 됩니다: 저는 여전히 개선을 위해 몇 가지 요점을 제기해야 하고, 그리고 여러분은 몇 가지 사소한 세부 사항을 찾기 위해 깊게 파고들어야 합니다 [...] 그리고 나서, 그 코멘트를 결정하는 것은 매우 어렵습니다.

I just find that there comes a point where you feel like: I still have to bring up some points for improvement, and then you have to dig deep to find some little detail [...] And then it’s very tricky to determine if the comment concerns a genuine issue or if it’s just far-fetched. (Interview 10)

학생들은 성찰이 외부와 내부의 동기 모두에 의해 이루어졌다고 지적했다.

Students indicated that reflection was driven by both external and internal motivations.

포트폴리오는 노동 집약적인 것으로 인식되었고, 학생들은 포트폴리오와 바쁜 프로그램의 요구 사이에 부정적인 상호작용을 언급했다. 이로 인해 포트폴리오 작업에 대해 계산적이게appraisal 되었고, 포트폴리오 평가를 통과하는데 필요한 작업이 얼마나 되는지 따지게되었다. 이는 포트폴리오에서 일하는 내적 동기가 감소되거나 제한적이라는 인식과 관련되었다.

The portfolio was perceived as labour-intensive and students noted a negative interaction between it and the demands of a busy programme. This led to an appraisal of working on the portfolio, in which work done was weighted according to the work needed to pass the portfolio assessment. This was associated with a perception of decreased or limited intrinsic motivation for working on the portfolio.

'건강 옹호자'와 같은 일부 역량은 커리큘럼에서 덜 다루어졌으며, 이는 또한 외부적 동기 부여에 의해 주도된 성찰을 낳았다.

some competencies, such as that of ‘health advocate’, were less recognised in the curriculum, and this also led to reflection driven by external motivation.

학생의 작은 부분군(남학생)은 포트폴리오가 전체적으로 외부적 동기부여에 의해 주도된 부정적인 경험이었다고 지적했다. 이는 과정에서의 인식된 강제적 특성과 관련이 있으며, 학생이 신뢰할 수 있는 것으로 평가했을 때만 피드백을 사용하는 것과 유사한 경향이다.

A small subgroup of (male) students indicated that the portfolio as a whole was a negative experience, driven mainly by external motivation. This was linked to the perceived compulsory nature of the process, a tendency to use feedback only when it was valued as credible by the student

모든 학생들은 그들의 멘토들과의 만남과 토론과 피드백을 통해 배운 것에서 이득을 보고하였다. 대부분의 학생들은 포트폴리오에 대한 성찰적인 글쓰기가 피드백과 학습의 자율적 규제에 유용하고 가치 있다고 생각했다.

All students reported benefiting from meetings with their mentors and having learned from the discussions and feedback. Most students perceived the reflective writing for the portfolio as valuable and as useful for learning from the feedback and for the self-regulation of learning:

고찰

DISCUSSION

우리는 평가 프로그램 자체뿐만 아니라 개별 학생 또는 프로그램과 관련하여 학습을 지원하거나 억제하는 요소를 식별하였습니다. 분석 결과, 어떤 요소가 학습을 지원할지 또는 억제할지는 그 요소를 학습자가 어떻게 인지하느냐에 따라 결정된다는 것이 밝혀졌습니다.

we identified elements that supported or inhibited learning which related not only to the assessment programme itself, but also to the individual student or to the programme . The analysis revealed that whether or not an element would support or inhibit learning depended on how it was perceived by the individual learner.

따라서 조사 결과는 다음과 같이 나타났다. 

• (i) 평가 프로그램의 일부로서 구두시험은 긍정적이고 순수한 평가 학습 효과를 가지고 있다.

• (ii) 채점 시스템(예: 합격/불합격 또는 채점)이 학습 반응에 중요한 결정 요인이었다. 

• (iii) 학습 및 성찰 활동에 대한 동기 부여가 일부 학생들에게는 외부적이었다. 

• (iv) 포트폴리오의 성찰 활동은 긍정적으로 간주되었으며, 전체 평가 프로그램에 의해 생성된 정보와 피드백의 후속 조치를 지지하는 것으로 보였으며, 사후 평가 학습 효과와 학습의 자기조절을 유발하였다.

Thus, findings showed that: 

• (i) oral examinations as part of programmatic assessment had positive, pure assessment learning effects; 

• (ii) the grading system (i.e. pass/fail only or marks) was an important determinant of the learning response; 

• (iii) motivation for learning and reflective activities was extrinsic for some students, and 

• (iv) reflective activities in a portfolio were regarded positively and were seen as supportive of the follow-up of the information and feedback generated by the comprehensive programme of assessment, evoking a post-assessment learning effect and self-regulation of learning.

평가 및 과제 활동의 형성적 특성은 학생들게 원래의 의도대로 인식되지 않았으며, 오히려 사전 평가 효과가 우선되는 총괄평가 활동으로 해석되었다.4

It was evident that the formative nature of the assessment and assignment activities was not regarded as such by the students; rather, these were interpreted as summative assessment activities for which pre-assessment effects prevailed.4

이론적인 개념들을 실행으로 해석하는 것이 계획대로 되지 않는 것은 드문 일이 아니다.

It is not uncommon for the translation of theoretical concepts into practice not to go as planned.

본 연구에서는, 이러한 구현 관련 요인들은

• 시간의 접근에 대한 절차와 바쁜 프로그램의 영향 

• 피드백을 제공할 의향 

• 친화력 부족 또는 부정적 동기 

• 총괄평가의 지속적인 메시지(예: 재교육 세션의 결과) 

In the current study, these implementation-related factors were recognised in addition to 

• the effects of procedures and a busy programme on access to time or 

• willingness to provide feedback, 

• lack of affinity or negative motivation, and 

• a persistent message of summative assessment (e.g. as a result of the organisation of remediation sessions).

이 학생들의 과거 교육 경험을 전체적으로 보면, 그들이 고전적이고 종합적인 합격/불합격 시스템에 몰두했다는 것을 잊어서는 안 된다.

It should not be forgotten that these students have been immersed in a classical, summative pass/fail system during their entire previous education.

기존의 평가 정보에 입각한 관행에서 벗어나 가치 있는 정보 제공자로서의 평가의 비전을 향해 나아가는 것은 쉽지 않을 수 있습니다. Taras36,37은 모든 평가는 판단을 내리는 총괄 평가에서 시작한다고 주장했다. 형성적 평가는 실제로 후속 피드백 루프를 나타냅니다. 이 피드백 루프에서 학생은 원하는 실제 성과를 모니터링하기 위해 총괄 평가와 피드백을 사용하게 되며, 후속 학습 목표를 수립합니다.

It may not be easy to break away from conventional assessment-informed practices and move towards a vision of assessment as a valuable information-provider. Taras36,37 argued that all assessment starts with summative assessment, in which a judgement is given, and that formative assessment actually represents the subsequent feedback loop, in which the summative assessment and feedback are used by the student to monitor the desired and actual performance, and make learning objectives for follow-up.

이러한 효과는 타라스, 36,37에 의해 영감을 받은 '형성적 평가 루프' 또는 평가 후 평가 작업 완료 또는 피드백을 받은 후 학습이 이루어지는 평가 후 효과로 칭할 수 있다.3

This effect could be termed the ‘formative assessment loop’, as inspired by Taras,36,37 or as a post-assessment effect, whereby learning takes place after the assessment task has been completed or feedback received.3

이는 또한 평가의 촉매 효과로 설명되며, 이것은 평가가 피드백을 생성하며, 교육을 강화하고 지원할 기회를 만들고, 이론에 따라 학습을 전진시킬 수 있다.38 요약하면, 평가 및 과제를 '형성적'이라고 지칭하는 것은 이론과 맞지 않을 수 있으며, 학생의 인식과도 맞지 않을 수 있다. 그러나 프로그램적인 평가 접근법을 사용하는 것은 여전히 사후 평가 효과를 통한 학습으로 이어질 수 있다.

This has also been described as the catalytic effect of assessment, in which the assessment generates feedback, which, in turn, creates the opportunity to enhance and support education, and to move learning forward.38 In summary, designating assessment and assignment tasks as ‘formative’ may not align with the theory, and will not match the perception of students, but using a programmatic assessment approach may still lead to learning via a post-assessment effect.

성적등급제는 또한 학습 반응에 영향을 미치는 것으로 나타났습니다.

The grading system was also shown to influence the learning response.

윌킨슨43은 패스 기준이 정의되어야 한다고 강조했다. 현재 상황에서 criterion-referenced standards은 성과를 '실패', '통과' 또는 '매우 뛰어남'을 대표하는 것으로 지정하는 데 사용되었지만, 합격/불합격'을 사용하는 평가 과제의 맥락에서 학생들은 이것을 명확하게 인지하지 못했다. 따라서 학교의 기대치를 명확히 전달하고, 조심스럽게 도입하는 것이 필요할 것이다.

Wilkinson43 emphasised that the pass standard must be defined. Although criterion-referenced standards were used to designate performance as representative of ‘fail’, ‘pass’ or ‘excellent’ in the current setting, this was less clearly perceived by students in the context of the assessment task using pass/fail grading, which again indicates that careful implementation and the communication of expectations is important.

패스에 만족하거나, 학습을 위한 외부 동기 부여요소로서 성적이 필요하다고 말하는 학생이 반드시 평생 학습자가 되지 못하는 것은 아니다: 다른 평가나 과제의 우선순위 결정과 같은 다른 맥락적 요소가 그 당시에는 우선할 수 있다. 포트폴리오 시스템에 (글자) 등급을 추가하는 것이 지식과 기술에 관한 학생들의 확신과 자신감을 증가시킨다는 어떤 증거들이 있다.44 총괄평가 프로그램에서의 피드백과 점수들의 조합은 신중하게 설계되어야 할 필요가 있다.

A student who is satisfied with a pass or expresses a need for a grade as an extrinsic motivator to learn is not necessarily a poor lifelong learner: other contextual factors may prevail at that time, such as the prioritising of another assessment or assignment tasks. There is some evidence that adding a (letter) grade to a portfoliobased system increases students’ affirmation and self-assurance regarding knowledge and skills.44 The combination of feedback and grades in a comprehensive programme of assessment needs to be carefully designed with awareness of the effects on student learning.

소수의 학생들에게는 포트폴리오의 성찰적 실천이 유용하다고 인식되지 않았다. 이 학생들은 포트폴리오 평가를 통과하는데 필요한 것만을 하기 위한 제한된 내적 동기부여와 신중한 노력을 보여주었다. 그러나, 이것이 항상 흑백논리의 문제는 아니었다. 그리고 외부적인 동기에도 불구하고, 학생들은 총괄평가 프로그램에 의해 생성된 정보로부터 배웠다고 말했다. 이는 개인, 업무 및 상황에 따라 피드백에 대한 조절초점(촉진 또는 예방)이 혼합될 수 있다고 보고한 Watling 등,26의 결과와 일치한다.

For a minority of students, the reflective practice in the portfolio as such was not perceived as useful; these students demonstrated limited intrinsic motivation and a deliberate effort to do only what was necessary to pass the portfolio assessment. However, this was not always a black-and-white issue, and despite the extrinsic motivation, students indicated that they did learn from the information generated by the comprehensive programme of assessment. This aligns with the findings of Watling et al.,26 who reported that the regulatory foci (promotion or prevention) to feedback may blend depending on the individual, task and context.

4 Cilliers FJ, Schuwirth LWT, van der Vleuten CPM. Modelling the pre-assessment learning effects of assessment: evidence in the validity chain. Med Educ 2012;46:1087–98. XXX

---

Med Educ. 2015 May;49(5):487-98. doi: 10.1111/medu.12645.

The impact of programmatic assessment on student learning: theory versus practice.

Heeneman S1, Oudkerk Pool A, Schuwirth LW, van der Vleuten CP, Driessen EW.

Author information

1

Department of Pathology, Faculty of Health, Medicine and Life Sciences, Maastricht University, Maastricht, The Netherlands; Faculty of Health, Medicine and Life Sciences, School of Health Professions Education, Maastricht University, Maastricht, The Netherlands.

Abstract

CONTEXT:

It is widely acknowledged that assessment can affect student learning. In recent years, attention has been called to 'programmaticassessment', which is intended to optimise both learning functions and decision functions at the programme level of assessment, rather than according to individual methods of assessment. Although the concept is attractive, little research into its intended effects on students and their learning has been conducted.

OBJECTIVES:

This study investigated the elements of programmatic assessment that students perceived as supporting or inhibiting learning, and the factors that influenced the active construction of their learning.

METHODS:

The study was conducted in a graduate-entry medical school that implemented programmatic assessment. Thus, all assessmentinformation, feedback and reflective activities were combined into a comprehensive, holistic programme of assessment. We used a qualitative approach and interviewed students (n = 17) in the pre-clinical phase of the programme about their perceptions of programmaticassessment and learning approaches. Data were scrutinised using theory-based thematic analysis.

RESULTS:

Elements from the comprehensive programme of assessment, such as feedback, portfolios, assessments and assignments, were found to have both supporting and inhibiting effects on learning. These supporting and inhibiting elements influenced students' construction of learning. Findings showed that: (i) students perceived formative assessment as summative; (ii) programmatic assessment was an important trigger for learning, and (iii) the portfolio's reflective activities were appreciated for their generation of knowledge, the lessons drawn from feedback, and the opportunities for follow-up. Some students, however, were less appreciative of reflective activities. For these students, the elements perceived as inhibiting seemed to dominate the learning response.

CONCLUSIONS:

The active participation of learners in their own learning is possible when learning is supported by programmaticassessment. Certain features of the comprehensive programme of assessment were found to influence student learning, and this influence can either support or inhibit students' learning responses.

© 2015 John Wiley & Sons Ltd.

Comment in

• The impact of programmatic assessment on student learning: what can the students tell us? [Med Educ. 2015]

PMID:

 

25924124

 

DOI:

 

10.1111/medu.12645

[Indexed for MEDLINE]