피드백 문해력 발달: 피드백을 수용하도록(AEHE, 2018)

피드백 문해력 발달: 피드백을 수용하도록(AEHE, 2018)

The development of student feedback literacy: enabling uptake of feedback

David Carlessa and David Boudb

aFaculty of Education, University of Hong Kong, Hong Kong, Hong Kong; bMelbourne City Centre, Deakin University, Melbourne, Australia

도입

Introduction

이전 정의(Boud and Molloy 2013; Carless 2015)를 바탕으로 한 피드백은 학습자가 다양한 출처에서 얻은 정보를 이해하고 이를 사용하여 학습 전략을 강화하는 과정으로 정의된다. 이 정의는 주로 강점, 약점, 개선 방법에 대해 학생들에게 정보를 주는 교사에 대한 피드백이라는 개념을 넘어, sense-making 및 후속 작업을 개선하기 위해 코멘트를 사용하는 과정에서 학생의 중심적 역할을 강조한다.

Building on previous definitions (Boud and Molloy 2013; Carless 2015), feedback is defined as a process through which learners make sense of information from various sources and use it to enhance their work or learning strategies. This definition goes beyond notions that feedback is principally about teachers informing students about strengths, weaknesses and how to improve, and highlights the centrality of the student role in sense-making and using comments to improve subsequent work.

학생들의 progress에 대한 자기평가에 대한 정보는 동료, 교사, 친구, 가족 또는 자동화된 컴퓨터 기반 시스템과 같은 다양한 출처에서 올 수 있다.

Information may come from different sources e.g. peers, teachers, friends, family members or automated computer-based systems to support student self-evaluation of progress.

피드백 문해력이 있는 학생의 특징

Features of student feedback literacy

피드백 인식

(1) 이러한 과정에서 업무 개선에 있어 피드백의 역할과 적극적인 학습자 역할을 이해하고 높이 평가한다.

(2) 피드백 정보가 다양한 형태로, 그리고 다양한 출처에서 온 것임을 인지한다.

(3) 테크놀로지를 이용하여 피드백에 접근, 보관, 재방문한다.

Appreciating feedback

Feedback literate students:

(1) understand and appreciate the role of feedback in improving work and the active learner role in these processes;

(2) recognise that feedback information comes in different forms and from different sources;

(3) use technology to access, store and revisit feedback.

판단 내리기

(1) 자신의 업무와 타인의 업무에 대해 건전한 학술적 판단을 할 수 있는 능력을 개발한다.

(2) 동료 피드백 프로세스에 생산적으로 참여한다.

(3) 시간 경과에 따라 자기 평가 능력을 개선하여 보다 강력한 판단을 내린다.

Making judgments

Feedback literate students:

(1) develop capacities to make sound academic judgments about their own work and the work of others;

(2) participate productively in peer feedback processes;

(3) refine self-evaluative capacities over time in order to make more robust judgments.

영향 관리

(1) 비판적 피드백을 받을 때 정서적 평형을 유지하고 방어적이 되지 않는다.

(2) 동료 또는 교사의 제안을 적극적으로 유도하고, 필요에 따라 그들과 대화를 지속한다.

(3) 내부 및 외부 피드백에 근거하여 지속적인 개선을 위해 노력하는 습관을 개발한다.

Managing affect

Feedback literate students:

(1) maintain emotional equilibrium and avoid defensiveness when receiving critical feedback;

(2) are proactive in eliciting suggestions from peers or teachers and continuing dialogue with them as needed;

(3) develop habits of striving for continuous improvement on the basis of internal and external feedback.

실천

(1) 피드백 정보에 대한 대응 조치를 취해야 할 의무를 인식하고 있다.

(2) 지속적인 개선을 목적으로 다양한 피드백 경험에서 추론할 수 있다.

(3) 피드백에 대응하기 위한 전략의 레퍼토리를 개발한다.

Taking action

Feedback literate students:

(1) are aware of the imperative to take action in response to feedback information;

(2) draw inferences from a range of feedback experiences for the purpose of continuous improvement;

(3) develop a repertoire of strategies for acting on feedback.

피드백 독해력 발달을 위한 활동

Enabling activities to develop student feedback literacy

동료피드백 써보고 받아보기

Composing and receiving peer feedback

동료의 피드백이나 동료의 리뷰는 또래들의 일에 대한 학생들의 평가와 판단을 포함한다(Nicol, Thomson, Breslin 2014). 동료의 일에 노출되는 것은 학생들이 자신의 일과 다른 이들의 작품을 비교하기 때문에 자신의 작품을 더 효과적으로 스스로 평가하도록 돕는다(McConlogue 2015). 

Peer feedback or peer review involves students evaluating and making judgments about the work of peers (Nicol, Thomson, and Breslin 2014). Being exposed to the work of peers helps students self-evaluate their own production more effectively because they are making comparisons between their own work and that of others (McConlogue 2015). 

동료에게 코멘트를 제공하는 것은 흔히 [기준 적용, 문제 진단 및 솔루션 제안]과 같은 고차적원 프로세스를 수반하는 인지적 개입이 더 많기 때문에 이를 받는 것보다 더 유익하다(Nicol, Thomson 및 Breslin 2014). 이러한 과정을 통해 안전 점검은 사회 구성주의 원칙 내에서 협력적 상호작용을 지원한다.

Providing comments to peers is often more beneficial than receiving them because it is more cognitively-engaging: involving higher-order processes, such as application of criteria, diagnosing problems and suggesting solutions (Nicol, Thomson, and Breslin 2014). Through these processes, peer review supports collaborative interaction within social constructivist principles.

동료 피드백에 대한 훈련과 지원이 없이는 예상되는 이득이 하지 않을 것이다(Patton 2012; Tai et al. 2016). 학생들은 실질적인 코칭을 받아야만 동료 평가를 통해 피드백 독해력이 발달한다. 

Without training and support for peer feedback, anticipated gains are unlikely to occur (Patton 2012; Tai et al. 2016). Students are primed to develop their feedback literacy through peer reviews when they receive substantial coaching. 

이러한 과정을 모범적으로 다루는 과정에서 교사 조사관(민 2006년)은 문제를 식별하고 설명하고 구체적인 제안을 하는 등 다양한 유형의 피드백을 모델링하기 위해 학생 에세이를 사용했다. 두 사이클 동료의 피드백이 있은 후, 교사-연구자는 학생들이 동료들의 과제물에 대한 코멘트 개선을 위한 코칭을 제공했다.

In an exemplary treatment of these processes a teacher-researcher (Min 2006) used a sample student essay to model different types of feedback, including identifying and explaining problems, and making specific suggestions. Then after two cycles of peer feedback, the teacher-researcher coached students in improving their commentaries on the work of peers. 

이를 통해 구체적이고 관련된 피드백의 작성 능력이 개선되었고, 동료 피드백의 수용이 입증되었다(Min 2006). 요컨대, 피어리뷰는 학생이 동료 피드백의 가치를 인식하고, 이를 효과적으로 수행하는 방법을 지도받음으로써 학생 피드백 읽고 쓰는 능력을 시킨다.

Reviewers demonstrated improvement in composing specific and relevant feedback, and receivers evidenced uptake of peer feedback (Min 2006). In sum, peer review seeds student feedback literacy when students appreciate the value of peer feedback and are coached in how to carry it out effectively.

모범 사례 분석

Analysing exemplars

다른 사례로부터 배우는 것은 학문적 담론으로 들어오는induction 한 부분이다. 모범사례란 퀄리티 영역을 보여주고, 평가 기대치를 명확히 하기 위해 사용되는, 신중하게 선정된 학생 과제물 표본이다(Carless and Chan 2017). 

Learning from examples of different genres is part of induction into academic discourses. Exemplars are carefully chosen samples of student work which are used to illustrate dimensions of quality and clarify assessment expectations (Carless and Chan 2017). 

기대치를 명확히 함으로써, 모범 사례는 평가 기준과 요구조건에 대한 학생 불안을 감소시킨다(Yucel et al. 2014). 또한 모범 사례는 예상치 못한 교사 판단에서 비롯될 수 있는 원치 않는 놀라움의 일부를 제거함으로써 표준과 관련하여 학생들의 평정심을 유지하는 데 도움을 줄 수 있다(2016년까지).

Through making expectations clear, exemplars reduce some of the inevitable student anxiety about assessment standards and requirements (Yucel et al. 2014). Exemplars can also help to maintain student equilibrium in relation to standards by removing some of the unwanted surprise that can arise from unexpected teacher judgments (To 2016).

교사들은 학생들이 모범사례를 따라할 것을 우려하는 경우가 종종 있다(Handley와 Williams 2011). 이러한 우려는 아마도 대학교 교수와 학생 모두에게 있어서 표본을 통해 배우고 적응adapt하는 것이 학문적 apprenticeship의 핵심 요소라는 점에서 완전히 정당화되지는 않을 것이다. 모범 사례는 모델 정답이 아니라 분석 및 진행 중인 작업과 비교할 수 있는 표본이다. 

Teachers sometimes have misgivings about the use of exemplars in that they worry that students may see them as models to be imitated (Handley and Williams 2011). These concerns are perhaps not fully justified in that learning from, and adapting, samples is a core element of academic apprenticeship for both university teachers and students. Exemplars are not model answers but samples to be analysed and compared with work in progress. 

양질의 성과물은 다양한 방식으로 나타난다는 점을 강조하기 위해 여러 가지 예를 사용할 수 있다(Sadler 1989). 교사에 대한 능숙한 해설은 양질의 일자리에 대한 주요 측면을 강조하고 교사의 판단 뒤에 숨겨진 논리를 명확히 한다(To and Carless 2016). 모범 사례에 대한 대화는 학생들의 견해와 관점을 바탕으로 하여, 퀄리티를 평가하는 작업의 복잡성에 대한 진정한 상호작용이 이루어지도록 해야 한다(Carless와 Chan 2017).

Multiple exemplars can be used to emphasise that quality is manifested in various ways (Sadler 1989). Skilful teacher-orchestrated discussion of exemplars highlights key aspects of quality work and clarifies the reasoning behind teacher judgments (To and Carless 2016). Dialogues about exemplars should build on students’ views and perspectives so that there is genuine interaction around the complexities of judging quality (Carless and Chan 2017).

교사 역할

The teacher role

활성화 활동Enabling activities은 교사들이 학습자의 능동적 참여를 위한 적절한 커리큘럼 환경을 조성하고 관련 지침, 코칭 및 모델링을 제공하는 경우에만 학생 피드백 능력 개발에 성공할 가능성이 높다. 교사의 주요 역할은 활성화 활동 위한 이론적 근거를 설명하는 것이다

• 어떻게 작동하는지 설명하고, 

• 학생들에게 잠재적인 이점을 설명하고, 

• 학생들이 해결해야 하는 과제를 설명하는 것

Enabling activities are only likely to be successful in developing student feedback literacy if teachers create suitable curriculum environments for active learner participation, and also provide related guidance, coaching and modelling. A key teacher role is to communicate the rationale for enabling activities; 

• explain how they operate, 

• elaborate the potential benefits for students, and 

• address challenges that students might encounter. 

교수들은 [학생들이 충분히 이익을 얻기 위해서는 pro-active해야 한다]는 기대를 명확히 해야한다. 대화를 통해, 교사들은 피드백에 대한 교사와 학생의 의견 불일치를 줄이기 위해 노력할 수 있다. 학자들은 그것을 학생보다 지속적인 학습에 더 중요하다고 본다. (Adcroft 2011) 학생들이 피드백을 사용할 기회를 탐색하는 방법을 배우기 위해서는 동기 부여와 안내를 필요로 한다(Price, Handley, Millar 2011).

Teachers need to set expectations that students will be pro-active if they are to benefit fully. Through dialogue, teachers can strive to reduce dissonances between teacher and student views about feedback, in that academics see it as more central to ongoing learning than students (Adcroft 2011). Students need motivating and guiding as they learn to navigate opportunities to use feedback (Price, Handley, and Millar 2011).

피드백의 흡수를 모델링하는 것은 중요하지만, 교사들이 잘 못하는 것 중 하나는 학생들이 피드백을 사용하도록 지원하고 장려하는 것이다. 학자들이 피어리뷰 방식의 피드백에 어떻게 노출되는지에 대해 논하는 것은 

• 비평에 대한 반응을 모델링하고, 

• 몇 가지 감정적인 문제들을 공유하고, 

• 행동의 필요성을 설명하기 위해 사용될 수 있다. 

Modelling the uptake of feedback is an important but underplayed part of a teacher’s repertoire in supporting and encouraging students to use feedback. Discussing how academics are exposed to feedback from peer review can be used to 

• model responses to critique, 

• share some of the emotional challenges, and 

• illustrate the need for action. 

그러한 모델링은 [자기 발전을 학문적 습관의 핵심 요소로서 강조함으로써] 교사와 학생 사이의 거리를 줄이는 데 역할을 한다. 

Such modelling plays a role in reducing distance between teachers and students by emphasising self-improvement as a core element of academic habits. 

교사 그룹은 커리큘럼 설계와 프로그램 전반의 피드백 접근 방식을 통해 학생 피드백 독해력의 발달을 지원할 수 있다(Boud and Molloy 2013). 학생들이 느끼는 피드백의 일관성, 범위, 유형 등은 [피드백이 전체 프로그램에 걸쳐서 학습 기회의 연계된 시리즈]로 여겨질 때 더욱 의미가 있다(Jessop, El Hakim, Gibbs 2014). 

Groups of teachers can support the development of student feedback literacy through curriculum design and programme-wide approaches to feedback (Boud and Molloy 2013). The consistency, range and types of feedback students experience are more meaningful when seen as a linked series of learning opportunities across an entire programme (Jessop, El Hakim, and Gibbs 2014). 

학생들에게 making judgement에 관한 실질적인 경험을 제공하는 것은 선택 사항이 아니라 커리큘럼의 전략적 부분이다(Sadler 2010). 이렇게 커리큘럼을 설계함으로써 

• 평가적 판단에 참여하는 것은 교육과 학습의 정상적인 부분이 되고, 

• 동료의 상호작용이 교육적으로 가치를 갖게 되며, 

• 학생들은 피드백을 생성하고 행동할 기회를 갖게 될 수 있다. 

이러한 종류의 커리큘럼 내에서, 학생들은 프로그램에 걸쳐 일관성 있게 포함된 활동을 통해 점차적으로 더 높은 수준의 정교함을 개발한다.

Providing students with substantial experience in making judgments is not an optional extra but a strategic part of the curriculum (Sadler 2010). Such curriculum designs establish that participation in evaluative judgment is a normal part of teaching and learning, peer interaction is seen as a worthwhile aspect of pedagogy, and students have opportunities to generate and act on feedback. Within this kind of curriculum, students develop feedback literacy through activities embedded coherently across programmes and at progressively higher levels of sophistication.

평가 설계는 학생 피드백 능력의 개발 가능성에 영향을 미치는 추가 특징이다. 그것은 중요성이 부족해서가 아니라 논문의 주요 초점에 부차적인 것이기 때문에 여기에서 간단하게 언급되었다. 교사가 평가 작업을 설계하는 방식에 따라서 생산적인 피드백 프로세스를 위한 기회가 열리 수도 닫힐 수도 있다(Carless et al. 2011). 

Assessment design is an additional feature which impacts on the prospects for the development of student feedback literacy. It is mentioned only briefly here, not due to a lack of importance but because it is secondary to the main focus of the paper. The way teachers design assessment tasks opens up or closes down opportunities for productive feedback processes (Carless et al. 2011). 

다단계 과제, 팀 프로젝트 또는 e-포트폴리오는 서로 다른 형태의 내부 및 외부 피드백 기회를 자연스럽게 수반하는 평가의 예다. 평가 설계 내에서, 교사들은 학생들이 피드백을 생성, 수신 및 사용하는 일관성 있는 반복적 시퀀스를 통해 feedback literacy에 관한 학생들의 학습 기회를 촉진한다.

Multi-stage assignments, team projects or e-portfolios are examples of assessments which naturally involve opportunities for different forms of internal and external feedback. Within assessment designs, teachers facilitate opportunities for student development of feedback literacy through coherent iterative sequences in which students generate, receive and use feedback.

함의

Implications

첫째, 피드백 과정에 대해 교사와 학생 간의 메타 대화(meta-dialog)가 필요하다. 메타 다이얼로그는 특정 작업의 세부 사항보다는 평가와 피드백의 프로세스와 전략을 논의한다. 그들은 

• [지속적인 학습에서 피드백의 역할], 

• [피드백 주기가 얼마나 효과적인지], 그리고 

• [피드백을 생산적으로 사용하는 어려움]에 초점을 맞출 수 있다. 

메타 다이얼로그는 학생들의 피드백 과정에 대한 이해와 교사와 학생 의견 사이의 좁은 차이를 용이하게 할 수 있는 기회를 제공한다.

Firstly, there is a need for meta-dialogues between teachers and students about feedback processes. Meta-dialogues discuss processes and strategies of assessment and feedback rather than the specifics of a particular piece of work. They can be profitably focused on the role of feedback in ongoing learning, how effective feedback cycles can be developed, and the challenges of using feedback productively. Meta-dialogues provide opportunities to facilitate students’ appreciation of feedback processes and narrow gaps between teacher and student perceptions of feedback.

둘째, enabling activities는 학생 피드백 문해력 개발을 지원하고 평가 판단을 촉진할 잠재력을 실현하기 위해 커리큘럼의 핵심 요소가 되어야 한다. 피드백 문해력이 높은 학생들은 [교사들에게 그들의 발달상황을 알려주고, 교사에 대한 의존도를 줄이기 위한 일환으로] 평가적 판단에 대한 능력을 개발한다. 자기 평가를 하는 반복된 경험을 통해 학생들은 내부 피드백을 생성하는 법을 배우고 점차 더 정교한 학업적 판단을 하는 전문성을 습득한다. 동료의 피드백은 학습자가 인정하고 의도적인 코칭을 포함해야 한다. 모범 사례는 모델이 아니라 고퀄리티 작업의 특성을 명확히 하고 판단을 하는데 있어서 학생들의 능력을 계발하는 대화의 기회로 보아야 한다.

Secondly, enabling activities need to become core elements of the curriculum in order to realise their potential to support the development of student feedback literacy and promote evaluative judgment. Feedback literate students develop their capacities in evaluative judgment as part of reducing their reliance on teachers to inform them about their progress. Through repeated experiences of making self-evaluations, students learn to generate internal feedback and gradually acquire expertise in making more sophisticated academic judgments. Peer feedback needs to be appreciated by learners and include purposeful coaching. Exemplars should be seen not as models but as opportunities for dialogues that clarify the characteristics of quality work and develop student capacities in making judgments.

셋째, 학생들이 함께 피드백을 토론하는 학습 활동은 특히 유용하다(Price, Handley, Millar 2011). 학생들은 그들이 받은 피드백에서 의미를 함께 구성하거나, 또는 피드백 논평의 데이터 뱅크를 활용하여 피드백에 이해해볼 수 있다. 

Thirdly, learning activities in which students discuss feedback together are particularly useful (Price, Handley, and Millar 2011). Students could co-construct meanings from feedback that they have received or alternatively they could be exposed to a databank of feedback comments and invited to make sense of them. 

넷째, 커리큘럼 설계와 관련 학습 활동은 학생 피드백 능력의 핵심 특징, 즉 실천의 필요성을 가능하게 한다. 후속 작업을 통해서 학생들은 피드백 루프를 closing하기 위해서 앞서 받은 코멘트를 어떻게 사용했는지 보여달라는 요청을 받거나 요구받을 수 있다(O'Donovan, Rust, Price 2016). 정보가 피드백이 되기 위해서는 학생들이 작업물의 향상을 위해서 피드백에 기반한 실천을 하거나 또는 학습 전략을 향상시키는 행동을 해야 한다. 이러한 교육학적 의미는 사회 구성주의 학습 이론과 대체로 일치한다.

Fourthly, curriculum design and related learning activities enable a core feature of student feedback literacy: the need for action. In subsequent work, students can be prompted or required to show how they have used previous comments as part of closing feedback loops (O’Donovan, Rust, and Price 2016). Information becomes feedback only when students act on it to improve work or learning strategies. These pedagogical implications are broadly consistent with social constructivist learning theories.

학생들의 피드백 읽고 쓰는 능력을 향상시키기 위한 커리큘럼 설계는 프로그램 전체에 체계적으로 포함되어 있다면 더 효과적으로 실행될 것이다. 예를 들어, 학생들은 첫 학기에 피드백 읽고 쓰는 능력에 대한 개념을 소개하고, 단계적 활동을 통해 그것을 점진적으로 개발할 것으로 예상할 수 있다. 피드백에 대한 학생들의 반응이 이전 피드백 경험(Price, Handley, Millar 2011)의 영향을 받는다는 점을 고려할 때, 생산적인 피드백 기풍을 확립하기 위해 첫 해에 충분한 자원을 투자하는 것이 중요하다. 학생들은 피드백의 가치를 경험해야 그 장점도 인정받을 수 있다.

Curriculum designs to enhance students’ feedback literacy will be implemented more effectively if they are systematically embedded throughout programmes. For example, students could be introduced to the notion of feedback literacy in their first semester and be expected to develop it progressively through staged activities. Given that student response to feedback is influenced by previous feedback experiences (Price, Handley, and Millar 2011), it is important that sufficient resources are invested in the first-year so that a productive feedback ethos is established. Students need to experience the value of feedback so that its benefits are appreciated.

---

Abstract

Student feedback literacy denotes the understandings, capacities and dispositions needed to make sense of information and use it to enhance work or learning strategies. In this conceptual paper, student responses to feedback are reviewed and a number of barriers to student uptake of feedback are discussed. Four inter-related features are proposed as a framework underpinning students’ feedback literacy: appreciating feedback; making judgments; managing affect; and taking action. Two well-established learning activities, peer feedback and analysing exemplars, are discussed to illustrate how this framework can be operationalized. Some ways in which these two enabling activities can be re-focused more explicitly towards developing students’ feedback literacy are elaborated. Teachers are identified as playing important facilitating roles in promoting student feedback literacy through curriculum design, guidance and coaching. The implications and conclusion summarise recommendations for teaching and set out an agenda for further research.

Keywords: Feedback, feedback literacy, assessment