오해와 불일치: 총괄평가 피드백에 대한 집단적 환멸(Research in Education, 2017)

오해와 불일치: 총괄평가 피드백에 대한 집단적 환멸(Research in Education, 2017)

Misunderstandings and mismatches: The collective disillusionment of written summative assessment feedback

Jane Rand

York St John University, UK

피드백은 '미끌미끌'하다(Boud and Molloy, 2013a: 5). 그 목적은 수정correction에서 종적 발달에 이르기까지 넓고(Price et al., 2010), 종종 (단순화되어) daulism과 연관된다. 예를 들어 형성적 또는 총괄적, 튜터- 또는 피어-, 서면  또는 언어 등과 같다. dualism이 도움이 되지 않는 경우도 많지만, '해석적 이원론'은 개념으로서 피드백의 '실용적, 이론적 감'을 잡는 데 도움이 될 수 있다. 피드백의 지각 한계 내에 있는 공간은 여러분이 점유하는 공간에 따라 피드백의 의미가 바뀌기 때문에 미끄럽다. 즉, 학습자, 교사, 외부 심사관, 몇 가지 이름을 붙일 수 있는 품질 보증인이기 때문이다.

Feedback is ‘slippery’ (Boud and Molloy, 2013a: 5). Ranging in purpose from correction to longitudinal development (Price et al., 2010), it is often associated with (simplified) dualisms, for example formative and summative, tutorand peer-, written, and verbal; although dualisms are often unhelpful, ‘interpretive dualism’, Soja’s (1996: 5) principle of describing perceptual limits (or the points beyond which things no longer exist), can help to make ‘practical and theoretical sense’ of feedback as a concept. The space(s) within these perceptual limits of feedback are slippery because the meaning of feedback changes according to the space(s) you occupy: learner, teacher, external examiner, quality assurer to name a few.

이원주의의 위험은 [양 극단 binary limit 안쪽에서 차이를 위장하기 때문에] 한 쪽이 다른 한 쪽과의 비교를 통해서 평가될 수 있도록 허용한다는 것이다(Pile, 1994) 그러나 피드백은 다음 두 가지의 사이에 있다고 볼 수 있다. 

• Carless(2015)가 말하는 '구 패러다임' 사고, 즉 '교육적 반응이 옳은지 그른지를 학습자에게 알리는 데 사용되는 수많은 절차 중 하나' (Kulhavy, 1977: 211)

• 현대적 사고: '학생들이 다양한 소스의 피드백에 참여하여 이를 활용하여 그들의 일을 향상시키고 학습을 발전시키는 과정'

이 현대적 패러다임은 'telling'에서 다음으로 옮겨간다.

The danger with dualisms is that they permit one side to be valued over the other (Pile, 1994) because they disguise differences within the binary limits. Feedback, however, can be perceived between what Carless (2015) refers to as ‘old paradigm’ thinking: ‘any of the numerous procedures that are used to tell a learner if an instructional response is right or wrong’ (Kulhavy, 1977: 211), and contemporary thinking: as ‘a process in which students engage with feedback from various sources and make use of it to improve their work and/or develop their learning’ (Carless, 2015: 192). This, contemporary paradigm, moves from ‘telling’ to

학습자가 [교사를 포함한 다양한 출처로부터] 작업에 대한 정보를 얻는 과정. 최종 목적은 일을 개선하는 것이다. 이를 위해서 [주어진 작업에 대한 적절한 기준과 작업 자체의 품질 사이의 유사성과 차이점]을 인식해야 한다. 

(Boud and Molloy, 2013a: 6)

...[a] process whereby learners obtain information about their work [from a variety of sources, including but not limited to teachers] in order to appreciate the similarities and differences between the appropriate standards for any given work, and the qualities of the work itself, in order to generate improved work. (Boud and Molloy, 2013a: 6)

학생들의 보고된 피드백에 대한 불만족에 관한 현대 연구 내에서 공통적인 주제는 다음과 같다: 

• 너무 일반적이거나 모호하다. 

• 지침이 부족하다(또는 개선을 위한 제안은 포함하지 않는다). 

• 그것은 부정적인 것에 초점을 맞추고, 종종 명확하지 않으며, 평가 기준과 관련이 없다(Higins et al., 2001; Rae and Cochrane, 2008; Weaver, 2006). 

Themes common within contemporary research around students’ reported dissatisfaction with feedback include that: 

• it is too general, or vague; 

• it lacks guidance (or includes no suggestions for improvement); 

• it focuses on the negative, is often not clear, and is unrelated to assessment criteria (Higgins et al., 2001; Rae and Cochrane, 2008; Weaver, 2006). 

그러나 반면에, 초보(그리고 때로는 neophyte가 아닌) 학습자들은 피드백의 존재 자체가 개선된 성과를 가져오기에 충분하다는 것을 때때로 지각한다(Beard et al., 2014; O'Donovan et al., 2015). 문제는 많은 학생들이 자신이 받은 (서면) 피드백을 절대 읽지 않는다고 보고한다는 것이다.

Yet, on the other hand, neophyte (and sometimes, not-so-neophyte) learners sometimes perceive that the presence of feedback, in and of itself, is sufficient to bring about improved performance (Beard et al., 2014; O’Donovan et al., 2015), even though many students report never reading the (written) feedback that they receive (Weaver, 2006).

이론적으로, 피드백은 학생들의 성장, 개발, 학습, 성취에 가장 강력한 영향 중 하나로 간주된다(Rae와 Cochrane, 2008). 실제로 그것은 고등 교육의 대량화와 병행하여 증가하는 척도에서 경쟁적이고 다중적인 관점이 되었다.

Theoretically, feedback is considered as one of the most powerful influences on student growth, development, learning, and achievement (Rae and Cochrane, 2008); in practice it has become contested and multiperspectival in increasing measure, in parallel with the massification of higher education.

본 논문은 특히 '줄글로 전달되는 학생 수행능력에 관한 정보'(Jolly and Boud, 2013: 105)를 학습 단위의 평가(총괄 평가)에 초점을 맞춘다. 나는 피드백에서 '집단적 환멸'에 대한 Hounsell의 주장(2008: 2)에서 더 나아간다.

• 학생들이 평가 피드백을 잘못 이해하거나 대부분 접근할 수 없다고inaccessible 보는 것(Carless, 2006; Higgins et al., 2001; Weaver, 2006) 

• 학생 해석과 강의자 의도의 불일치(Rae and Cochrane, 2008; Sopina and McNeill, 2015; Weaver, 2006). 

This paper focuses specifically on written feedback: ‘information about student performance conveyed by prose’ (Jolly and Boud, 2013: 105) on assessment at the end of a unit of study (summative assessment). I develop Hounsell’s argument (2008: 2) around ‘collective disillusionment’ in feedback: 

• the result(s) of students misunderstanding assessment feedback discourses or finding them largely inaccessible (Carless, 2006; Higgins et al., 2001; Weaver, 2006), and 

• the mismatches between student interpretations and lecturers’ intentions of feedback (Rae and Cochrane, 2008; Sopina and McNeill, 2015; Weaver, 2006). 

피드백 위험에 대한 집단적 환멸은, 보르디외(1984, 2010)의 용어, 반박과 부정으로 궁극적으로는 제거된다. 그러나 피드백은 학습에 대한 가장 강력한 단일 영향 중 하나로 동시에 위치한다.

Collective disillusionment in feedback risks, in Bordieu’s (1984, 2010) terms, refusals and negations and ultimately therefore elimination; yet feedback is simultaneously positioned as one of the most powerful single influences on learning.

서면(요약) 피드백

Written (summative) feedback

서면(요약) 피드백은 여전히 학술 프로그램에서 가장 일반적인 관행 중 하나이다. 그것은 1대1 토론과 (재)드래프트를 위한 기회와 함께 위치하는 지원적이고 형태적인 (Oxford/Cambridge 튜토리얼) 학습 지원 시스템 내에서 시작되었으나 현재는 대부분 분리되었다(Nicol, 2010). 

Written (summative) feedback is still one of the most common practices in academic programmes. It originated within, but is now largely detached from, a supportive and formative (Oxford/Cambridge tutorial) learning support system, positioned alongside one-to-one discussion and opportunities for (re-)drafting (Nicol, 2010). 

현대의 담론에서 그것은 다음과 같이 이해된다. 

'...평가 대상 작업에 해당 속성이 있는지 여부를 나타내기 위해 특정 기준 또는 특성에 대한 상자에 체크 표시를 포함할 수 있는 사전 설계 등급 일람표, 양식 또는 '점수 시트'를 사용하여 제공되는 정보(Jolly and Boud, 2013: 105).

Within contemporary discourse it is understood as: 

‘...information given [often] using pre-designed rating schedules, forms or ‘‘score sheets’’ that might contain a tick in a box against a particular criterion or characteristic to indicate whether the work being assessed has that attribute’ (Jolly and Boud, 2013: 105).

컨텍스트에서 평가 피드백 저하: 대량화, 시장화, 오해 및 불일치

Assessment feedback discourses in context: Massification, marketisation, misunderstandings, and mismatches

대량화의 영향(고등교육에 참여하는 적격 인구의 15~40%를 가리키는 말로 이해됨)은 문제가 있다. 교육을 하나의 산업으로 형성하는 포스트모던 이념은 긴장 상태에 있으며, 이는 교육을 '잔혹한 낙관론'으로 규정하며, 인간 발전을 지향하는 학원에 의해 설립되고 지배되기 때문에, 학생 등록과 소득 창출을 지향하는 제도에 박차를 가하기 때문이다. (Barnett, 1997: 6; McCardle-Clinton, 2008). 학자들에게 있어서 소비자 사회로의 전환에 따른 대량화 및 시장화 고등 교육 시스템은 '고등 교육의 과정과 지점에 대한 부적절한 개념'(Barnett, 1997: 163), 교육은 '준비된 식사'와 같은 '포장'이 되고 '쉽게 소비하기 위해' 만들어진다(Mcardle-Clinton, 2008: 95).

The impact of massification (understood as the term that refers to 15–40% of an eligible population participating in Higher Education) is problematic. The postmodern ideology that shapes education as an industry is in tension, subject to what Berlant (2011) defies as ‘cruel optimism’, because it is founded on, and dominated by an academy geared towards human development, thrust into a system that is geared towards student enrolment and income generation (Barnett, 1997: 6; McCardle-Clinton, 2008). For academics, a massified and marketised higher education system, predicated on the shift to a consumer society, results in ‘inadequate notions of the process and point of higher education’ (Barnett, 1997: 163), where education has become ‘encapsulated’, like a ready-meal, and ‘packaged for easy consumption’ (McCardle-Clinton, 2008: 95).

HE의 대량화는 학습의 틀을 좁히는 결과를 가져왔고, 이는 일반적으로 역사적으로 보다 반복성이 덜하다(Nicol, 2010; Rae and Cochrane, 2008; Taras, 2006).

Massification of HE has resulted in a narrow framework of learning, and one which is typically less iterative than historically (Nicol, 2010; Rae and Cochrane, 2008; Taras, 2006).

캡슐화된 교육 실습에서의 규모의 경제가 평가 실무에서는 복제되지 않았다(Glover와 Brown, 2006). 모듈화는 지도, 상호작용, 실습 및 학생들의 수행에 대한 체계적인 지식 개발 기회를 감소시켰다(Boud and Molloy, 2013b; Hounsell, 2008). 지식과 피드백은 단편적이 되었으며, 한 모듈에서 다른 모듈로 학습을 진전시킬 기회가 감소했다(Yorke, 2001).

The economies of scale in capsule education teaching practice have not been replicated in assessment practice (Glover and Brown, 2006). Modularisation has resulted in decreased opportunities for guidance, interaction, practice, and students’ development of systematic knowledge of their performance (Boud and Molloy, 2013b; Hounsell, 2008). Knowledge and feedback is piecemeal in nature (Glover and Brown, 2006), and there are reduced opportunities to carry forward learning from one module to another (Yorke, 2001).

피드백의 표현

The representation of feedback

학생들이 피드백에 만족하지 않는다는 것을 인식하는 것은 한 가지다.

Recognising that students are dissatisfied with feedback is one thing

이것이 가치 있는 이유 탐구.

Exploring why this might be is valuable;

평가 피드백은 대부분 오해되거나 적어도 학습자가 완전히 접근할 수 없다(Carless, 2006; Higgins et al., 2001; Weaver, 2006). (암묵적 가정을 포함하여) 학생들은 피드백의 이해와 사용에 대한 조언이 필요하다. 그래야만 피드백에 engage하고, 그것으로부터 배울 수 있는 능력을 개발하고, 피드백이 '배움의 잠재력을 방해'하는 장벽이 되지 않을 수 있다.

Assessment feedback discourses are largely misunderstood or at least not fully accessible to learners (Carless, 2006; Higgins et al., 2001; Weaver, 2006). Students need advice on understanding and using feedback, including its tacit assumptions, in order both to develop the capacity to engage with it and learn from it (Carless, 2006; Hounsell, 2008; Weaver, 2006) and to avoid feedback becoming a barrier that ‘distort[s] the potential for learning’ (Carless, 2006: 220).

연구에 따르면, 학생들의 해석과 강의자들의 피드백의 의도는 종종 일치하지 않는 것으로 나타났다. (Rae와 Cochrane, 2008; Sopina와 McNeill, 2015; Weaver, 2006) 학생과 강사는 피드백을 극단적으로 달리 개념화할 가능성이 높으며(Higgins et al., 2001), 피드백의 성격에 대한 인식과 그것이 사용되는 사용 간의 차이를 초래한다(Glover와 Brown, 2006).

Research indicates that student interpretations, and lecturers’ intentions, of feedback are often mismatched (Rae and Cochrane, 2008; Sopina and McNeill, 2015; Weaver, 2006). Students and lecturers are likely to conceptualise feedback in dramatically different ways (Higgins et al., 2001), resulting in a disparity between the perceptions of the nature of feedback and the use to which it is put (Glover and Brown, 2006):

이러한 포지션은 '집단적 환멸'의 주제로 피드백을 제공한다(Hounsell, 2008: 2; 강조 추가). 학생 성장, 개발, 학습, 성취에 가장 강력한 단일 영향 중 하나인 피드백이, 집단적 환멸로 인하여 피드백에 대한 불만족이나, 반박과 부정으로 이어질 수 있고, 따라서 결국 제거될 수 있기 때문에 문제가 된다.

This positions feedback as the subject of ‘collective disillusionment’ (Hounsell, 2008: 2; emphasis added). This is problematic because collective disillusionment in feedback – one of the most powerful single influences on student growth, development, learning, and achievement – could result in disaffection towards it (Ahmed, 2014) or, in Bordieu’s terms in refusals and negations (1984, 2010), and ultimately therefore in elimination.

현대의 서면 피드백은 transmission 모드로 작동하며, '빈약한 대화'로 특징지어지는 less-iterative 시스템을 나타낸다(Nicol, 2010: 501). 그것은 '...개선을 위한 1차적 수단이라는 부담을 지우고, 교사학생 토론(Nicol, 2010; Sadler, 2010: 541)에 근거한 역사적 관행을 대체할 것으로 기대된다.

Contemporary written feedback operates in a transmission mode (Rae and Cochrane, 2008), symptomatic of a less-iterative system characterised by ‘impoverished dialogue’ (Nicol, 2010: 501). It is expected to ‘...carry the burden of being the primary instrument for improvement’ and to replace historic practice based on teacher–student discussion (Nicol, 2010; Sadler, 2010: 541).

여기 다시 긴장감이 감돈다. 피드백(학생들이 학습 개선의 근거로 사용하는 정보로서 넓은 원칙으로 이해)이 오해와 불일치에 의해 지배된다면, 집단적 환멸이 크게 나타난다. 현대의 (대규모) 고등 교육 프레임워크에서, 글로 쓰여진 피드백은 거부와 부정의 위험이 있는 동시에, 학습에 가장 강력한 단일 영향 중 하나이기도 하다. 그 결과, 배움은 심각하게 위협받고 있다.

Here is the tension again. If feedback (understood in broad principle as being information used by students as a basis for improving learning) is dominated by misunderstandings and mismatches, collective disillusionment looms large. Written feedback within a contemporary (mass) higher education framework is at risk of refusal and negation, whilst simultaneously being positioned as one of the most powerful single influences on learning. Learning then is seriously threatened

피드백의 표현은 어떤 종류의 일을 하는가?

What kind of work does the representation of feedback do?

본 논문은 영국 대학의 모듈화된 학부 사회과학 프로그램에 종사하는 학생들과 관련된 소규모 연구의 경험적 자료를 바탕으로 한다. 이 연구는 학생연구원이 연구팀 내에 위치하는 파트너십 기반 모델을 채택했다.

this paper draws on empirical data from a small-scale study involving students engaged in a modularised undergraduate social science programme in a British University. The study adopted a partnership-based model in which a student-researcher was positioned within a research team

참가자로서뿐만 아니라 연구 설계, 수행 및 평가 내에서 학생들을 참여시키는 것은 우리의 연구, 실습 및 연구 실천을 향상시키는 데 핵심적인 역할을 한다. 이러한 파트너십 기반의 접근방식이 '용맹'인지(O'Donovan et al., 2015)를 고려했을 때, 위험에 직면했을 때 용기를 보여주는 것인지에 관심이 쏠린다. 우리가 차지하고 있는 공간에 따라 반응이 달라질 것이다. 이 공간들은, 또 다른 이원론을 그리기 위해, 노르덴스바 ̈rd(2011년)가 '소비자 은유 대 시민 은유'로 식별하는 지각 한계 안에 있다.

Engaging students within the design, conduct, and evaluation of research, and not just as participants, is central to improving our research, our practice, and our research practice. Considering whether such a partnership-based approach is ‘brave’ (O’Donovan et al., 2015), whether it demonstrates courage in the face of danger is intriguing. Responses will differ according to the space(s) we occupy. Those spaces, to draw on another dualism, lie within the perceptual limits of what Nordensva¨rd (2011) identifies as ‘[T]he consumer metaphor versus the citizen metaphor’.

피드백 양식의 수정사항(과정 제출 및 서면 피드백의 전자 프로세스에 포함됨)은 다음과 같은 세 가지 주요 특징으로 구성되었다.

The modifications to the feedback form (embedded within an electronic process of coursework submission and return of written feedback) comprised three key features:

. 피드백을 위한 섹션(제출된 작업이 텍스트 내 주석을 동반하거나 더 상세하지만 전면 시트에 국한될 수 있는 범위에서 요약 평가)

. a section for feed-back (a summary evaluation of the extent to which the submitted work demonstrated the module learning outcomes) that could be either short and accompanied by in-text annotations, or more detailed but limited to the front-sheet;

. 개발을 위한 세 가지 우선순위 측면을 중심으로 구성된 피드 포워드를 위한 섹션(미래 작업 개선을 위한 영역에 집중) 이러한 섹션은 (숫자) 등급 표시기 앞에 있으며, 그 뒤에 (수정된 양식에서) 다음과 같은 내용이 뒤따랐다.

. a section for feed-forward (focussing on areas for improvement in future work) structured around three priority aspects for development. These sections preceded the (numeric) grade indicator, which (in the modified form) was followed by;

. 학생들이 (수치) 세분화된 등급을 더 잘 평가할 수 있도록 하기 위해 대학 종합 평가 기준(등급 밴드별로 구분된 일련의 기준)을 시각적으로 분석할 수 있는 물리적 강조.

. the physical highlighting of the University generic assessment criteria (a series of criteria differentiated by grade band) to provide a visual analysis of strengths and areas for development, geared towards helping students better appreciate the (numeric) fine-grading.

연구 설계 및 실행 시 고려 사항

Considerations in the design and practice of the study

이 후 학생 연구자('EM')는 현재의 연구와 실무를 숙지하기 위해 평가 피드백에 관한 문헌의 초기 검토를 이끌었다.

After this the student-researcher (‘EM’) led an initial review of the literature on assessment feedback to familiarise herself with current research and practice.

EM은 조사를 위한 초기 영역을 식별했다(표 1).

EM identified initial areas for investigation (Table 1).

전자파 및 나 자신 사이에서 이러한 주제에 대한 논의는 탐사를 위한 세 가지 광범위한 목표를 식별하는 것으로 이어졌다.

Discussion of these themes between EM and myself led to the identification of three broad objectives for exploration:

1. 학생들이 (서면) 총괄 피드백에 어떻게 engage하는가? 즉, 학생들은 어떻게 종합 피드백을 이해하고 접근하며 경험하는가?

1. How do students engage with (written) summative feedback? That is, how do students understand, approach, and experience summative feedback?

2. 총괄적 피드백의 결과로 학생들이 자신의 업무의 강점과 발전에 대한 이해를 얼마나 포괄적으로 하고 있는가?

2. How comprehensive is students’ understanding of the strengths and areas for development of their work as a result of the summative feedback?

3. 학생들은 종합 피드백을 받은 결과 무엇을 하는가?

3. What do students do as a result of receiving summative feedback?

EM는 그러한 그룹 토론을 용이하게 한 이전의 경험이 없기 때문에 EM과 나 자신 사이의 논의 후에 포커스 그룹 내에서 사용하기 위한 일련의 프롬프트가 생성되었다. 이 프롬프트는 서면 요약 피드백에 대한 학생들의 경험의 탐구를 지원하는 것 외에도 학생들이 (필로 표시된) 피드백 양식을 평가하고 개선을 위한 권고사항을 제시하는 방법에 대해 대화를 할 수 있도록 설계되었다.

A series of prompts for use within the focus group were created, following discussion between EMand myself, as EMhad no previous experience of facilitating such a group discussion. In addition to supporting the exploration of students’ experience(s) of their written summative feedback, the prompts were designed to enable students also to engage in dialogue around how they would evaluate, and make recommendations for improvement to, the (piloted) feedback form(Table 2).

정규 학생 30명은 1학년에서 2학년까지의 비율을 약 1:2로 하여, 4개의 뚜렷한 학습 프로그램(학과의 프로그램의 약 절반)을 대표하는 연구에 참여하기로 동의했다.

Thirty full-time students consented to participate in the research, representing four distinct programmes of study (approximately half of the Department’s programmes), with a ratio of firstto second-year student of approximately 1:2.

5개의 포커스 그룹 회의가 열렸다. EM은 각각의 오디오 녹음을 기록하고 포스트 잇 노트를 수집했다.전자적으로 TM 데이터. 우리는 전체 대본을 검토하고, 초기 반응을 논의하며, 서로의 질문을 하고(해명과 검증을 위해), 떠오르는 '의미단위'를 고려하고(웰링턴, 2015) 보다 심층적인 분석의 기초가 되는 주제를 파악하기 위해 만났다.

Five focus group meetings were held; EM transcribed the audio-recording for each and collated the post-it noteTM data electronically. We met to review the full transcripts, discuss our initial reactions, ask questions of each other (for clarification and verification), consider emerging ‘units of meaning’ (Wellington, 2015), and discern themes for the basis of a deeper analysis.

학생들은 어떻게 종합 피드백을 이해하고, 접근하고, 경험하는가?

How do students understand, approach, and experience (written) summative feedback?.

학생들이 어떻게 서면 피드백을 경험하는지에 대해 들은 내용은 문헌에서 잘 리허설되었다(예: Boud and Molloy, 2013a,b; Carless, 2006; Glover and Brown, 2006; Hounsell, 2008; Weaver, 2006; Zimbardi 등, 2016 참조). 거의 모든 학생들은 코멘트 내용을 읽기 전에 (양식 하단의) 성적부터 본다고 보고했다. 비록 많은 학생들이 글을 읽지 않는다고 보고했지만, 대부분의 학생들은 필기된 코멘트들을 이차적으로 검토했고, 종종 학생이 점수가 '나쁘다'고 인식했을 때 특히 코멘트를 읽는 것을 미룬다고 보고했다. 대부분의 학생들은 코멘트를 한 번만 읽는다고 보고했다. 이렇게 하는 것에 대한 명확한 근거는 없었고, 오히려 피드백은 읽고 버리는 것, 또는 어떤 면에서 '일회용'으로 개념화되는 것으로 보였다. 일부 학생들은 피드백이 후속 모듈과는 관련이 없을 것이라고 생각했기 때문에 피드백을 한 번만 읽는다고 보고했다.

What we heard about how students experience written feedback is well rehearsed in the literature (see for example, Boud and Molloy, 2013a,b; Carless, 2006, 2007; Glover and Brown, 2006; Hounsell, 2008; Weaver, 2006; Zimbardi et al., 2016). Overwhelmingly, students reported locating their grade (at the bottom of the form) before reading the written comments. Most students reviewed the written comments as a secondary activity, although many reported never reading the written comments, and often students reported delaying reading the comments particularly if they perceived the grade as ‘bad’. Most students reported reading the comments only once. There was no explicit rationale for this, rather feedback appeared to be conceptualised as disposable or in some way ‘single-use’. Some students reported reading the feedback only once because they felt it would have no relevance to subsequent modules.

학생들은 자신의 피드백을 자주 이해하지 못한다고 설명했으며, 종종 다음과 같이 자신을 혼란스럽게 했다.

Students described not understanding their feedback more often than understanding it, often reporting themselves as confused by:

1. 모호함:

2. 생소하거나 불필요하게 전문화된 것으로 인식되는 용어의 사용:

3. 불일치:

1. Vagueness:

2. The use of terms that are unfamiliar, or perceived as unnecessarily specialised:

3. Inconsistencies:

학생들은 일반적으로 모듈을 통과했을 때 안도감을 느꼈고 피드백을 이해하기 어려울 때 좌절감을 느꼈다고 보고했다. 비록 예전에 갖고 있던 '단일 사용' 또는 일회용 피드백이래는 개념이 현대 'throw away' 사회 또는 학습에 대한 의도적인 표면 접근법의 반영이 될 수 있지만, 대체적인 해석은 피드백의 수용에 있어서 연구되지 않은 영역임을 시사한다.

Students generally reported experiencing relief when they passed modules, and frustration when feedback was difficult to understand; and, although the (earlier) conceptualisation of ‘single-use’ or disposable feedback could be a reflection of a contemporary ‘throw away’ society or of deliberate surface approaches to learning (Nicol, 2010), an alternative interpretation suggests the under-researched area of emotional investment in the receipt of feedback (Poulos and Mahony, 2008).

영향(감정을 넘어선 반응력)에 대한 그녀의 연구에서, 아메드(2014년)는 감정affect는 object에 대해서 가까워지거나 멀어지는 결과를 초래할 수 있다고 경고한다. 그리고 새들러(2010: 539)는 비동기적이고 일반적으로 독백적인 성격 때문에 쓰여진 것에 대해 상당한 'affective outlay'을 하도록 피드백 작성자들에게 주의를 준다. 피드백을 영향력 있고 관계 있는 것으로 경험하는 방법의 특성(만약, 그렇다면/따라서)도 데이터에서 명백했다.

In her work on affect (responsive forces beyond emotion), Ahmed (2014) warns of the risk that affect can result in towardness or awayness in relation to its object(s), in this case: feedback. And Sadler (2010: 539) cautions writers of feedback to ensure they commit considerable ‘affective outlay’ to what is written, because of its asynchronous, typically monologic, nature. The nature of how feedback is experienced as affective and relational (if, then/so) was also evident in the data:

피드백의 결과로 학생들이 자신의 업무의 강점과 영역을 이해하는 것은 얼마나 포괄적인가?

How comprehensive is students’ understanding of the strengths and areas for development of their work as a result of the feedback?.

학생들은 요약 서면 피드백에서 장점이나 긍정적인 진술을 식별하기 어려웠으며, 그 결과 요약과 텍스트 내 의견 사이의 불일치가 있을 때 특히 오해가 발생했다고 설명했다.

Students described finding it hard to discern strengths or positive statements in the summary written feedback, resulting in misunderstandings particularly connected to inconsistencies between the summary and in-text comments:

학생들은 긍정적인 것에 대한 분명한 욕구를 표현했다. 또한 binary하게, (건설적) 비판에 대한 반대한다.

Students expressed an explicit desire for positives, as approval, and in binary opposition to their perception of the disapproval of (constructive) criticism:

학생들은 서면 요약 피드백을 받은 결과 무엇을 하는가?

What do students do as a result of receiving written summative feedback?.

압도적으로 학생들은 요약 서술문 또는 텍스트 내 코멘트를 읽기 전에 점수부터 확인했다고 밝혔다.

overwhelmingly students identified that they located the grade before reading the summary narrative or in-text comments (if at all):

세 가지 우선순위 개발 지점이 일반적으로 도움이 된다고 여겨졌지만, 이것은 대체로 그것들이 summary narrative의 '분해' 즉 증류로 인식되었기 때문이다. 이 증류로부터, 한 학생은 더 상세하고 분석적이며 자율적인 반응을 보고했다: '그래, 나는 먼저 점수를 보고, 그 다음에 내 과제를 다시 읽어서 강조된 내용을 확인했고, 거기에 주석을 단 어떤 것이든 그것을 피드백 시트와 연결하려고 했다.'

Whilst the three priority development points were generally considered to be helpful, this was largely because they were perceived as ‘breaking down’, or distilling, the summary narrative. From this distillation, one student reported a more detailed, analytic, autonomous response: ‘Yeah I looked at the mark first and reread my assignment to see what had been highlighted as well, and anything annotated on there as well and tried to link that with the feedback sheet’.

시범 형태에 대한 학생들의 평가.

Students’ evaluation of the piloted form.

학생들은 자신에게 도움이 되는 서면 피드백을 제공하는 상위 세 가지 특성을 고려하도록 요청받았고, 다음과 같이 식별되었다.

Students were asked to consider the top three characteristics that make any written feedback helpful to them, and identified:

1. 후속 평가를 개선할 수 있는 방법의 명확한 식별.

2. 긍정적 코멘트가 있음

3. 접근성/가용성(전자적 형식은 피드백을 읽을 수 있고 '향후 사용을 위해 저장'할 수 있다는 것을 의미한다.

1. Clear identification of ways to improve subsequent assessments.

2. The inclusion of positive comments.

3. Accessibility/availability (an electronic format means that feedback is legible and could be ‘saved for future use’).

기준 (2)는 '장점'의 식별과 '긍정적' 코멘트를 명시적 구별한다는 것을 확인했다는 점에서 흥미롭다. 즉, 개선 방법이 논리적으로 따라올 수 있는 평가 요약보다는, 학생들은 (개선해야 할 방법과 함께) 칭찬 또는 승인에 대한 선호가 있음을 보여준다. 이는 교육의 affective fabric을 보여준다(Staunaes, 2016): 피드백의 형식에 의해서 학생들의 정서적 회복력이 무력화되기도 한다.

Criterion (2) is interesting insofar as it confirms the explicit distinction of ‘positive’ comments from the identification of ‘strengths’; suggesting a preference for praise or approval alongside ways in which to improve, rather than an evaluative summary from which ways to improve might logically follow. This illuminates the affective fabric of education (Staunaes, 2016): students’ emotional resilience appears in some way disabled by the format of the feedback.

학생들이 양식에 대해 어떤 개선을 권고할 것인지를 묻는 질문에 학생들은 압도적으로 양식의 하단에서 상단으로 점수(grade)을 재배치할 것을 제안했다. 많은 이들은 또한 요약 서술과 우선순위 개발 영역 간의 균형을 변경하여 전자의 수를 줄이고 후자의 것을 더 많이 요청하며, '비판'을 받을 기회를 줄이고 '사물을 바르게' 하는데 필요한 것을 더 많이 식별할 것을 제안했다.

When asked what recommendations for improvement(s) to the form students would make, overwhelmingly they suggested relocating the grade from the bottom to the top of the form. Many also suggested an alteration in the balance between the summary narrative and the priority development areas, requesting less of the former and more of the latter; suggesting less opportunity to receive ‘criticism’ and more identification of what is necessary to ‘put things right’.

영향?

Impact?

그럼에도 불구하고 중요한 한 가지 결과는 학생들이 후속 연도에 유용한 것으로 보고되었다. 즉, 성적은 피드백 양식의 상단으로 재배치되었다. 어떤 의미에서 이것은 'brave'한 것이다. (O'Donovan et al., 2015; 이것은 확실히 논쟁적이고, 평가 피드백에 대한 학습 이론과 현대 문헌에 부합하지 않으며, 지역적이고, 맥락화된 근거에 기반한 것이고, (국지적으로) 피드백이 어떤 representation을 갖는지에 의해서 정당화된다.

One small, but nonetheless significant, outcome was reported by students as being useful them in the follow-up year: the grade was repositioned to the top of the feedback form. In some senses this is ‘brave’ (O’Donovan et al., 2015); it is certainly controversial, and justified not through engagement with learning theory and the contemporary canon of literature on assessment feedback, but through attending to a local, contextualised, evidence base and paying attention to the kind of work the (local) representation of feedback does.

연구자 및 지식인으로서 우리는 '체계적이고 비판적이며 자기 비판적인 조사'에 대한 윤리적 책임을 지고 있다(Bassey, 1990: 35; 강조). 학생들과 연구에 참여하고 또한 우리의 연구의 설계, 수행 및 평가 내에서 학생들을 참여시키는 것은 우리의 연구, 우리의 관행, 그리고 우리의 연구 관행을 향상시키는 데 중심적이다. 이것은 또한 '이론적으로 건전한 접근법(To Evalually sound approachs to evaluation feedures)' (O'Donovan et al., 2015)을 채택할 수 있는 진정한, 상황화된, 근거 기반을 채택할 수 있는 방법이다.

As researchers and intellectuals we have an ethical responsibility for ‘systematic, critical and self-critical inquiry’ (Bassey, 1990: 35; emphasis added). Engaging with students in research and also engaging students within the design, conduct, and evaluation of our research is central to improving our research, our practice(s), and our research practice(s). It is also a way in which genuine, contextualised, evidence bases, from which ‘theoretically sound approaches [to assessment feedback]’ (O’Donovan et al., 2015) can be adopted.

도발자의 역할을 가정하면

Assuming the role of provocateur

학습은 심각한 위협을 받고 있다. 대규모화되고 시장화된 고등 교육 시스템에서 피드백의 표현representation of feedback이 학생들에게 하는 일work의 종류는 직접적으로 그러한 위협에 기여한다.

There is a danger that learning is under serious threat. The kind(s) of work the representation of feedback does for students in a massified and marketised Higher Education system directly contributes to that threat.

지식사회는 학습이 의미하는 사회적 인식론을 운영한다. 이 때 학습은 '... 목적을 함양하고 대응, 또는 의식적 사고를 가능하게 하는 가치 있는 종류의 발전' 이다. 학습은 '학생들이 다양한 소스의 피드백에 참여하여 그것을 개선하기 위해 사용하는 과정'에서 발전하는 것이다. 가치있는 종류의 학습을 개발하기 위해서, 그것은 피드백을 따른다.

A knowledge society operates a social epistemology (Barnett, 1997) in which learning means ‘... developments of worthwhile kinds, with some insight, that fosters purpose and that enables response, or conscious thinking’ (Barnett, 1997: 159), and learning is understood to develop from ‘process[es] in which students engage with feedback from various sources and make use of it to improve’ (Carless, 2015: 192). To develop worthwhile kinds of learning then, it follows that feedback

대상자가 학생이라면, 우리는 오늘날의 학생들이 (정책적으로) 소비자로서, 대학 시장에서 상품과 서비스의 제공자로서 위치하며, 지적 변화를 나타내는 "being"에서 "having"으로의 이동이 있었다는 것을 인정해야 한다.일부 학생들은 이론적 내용과의 투쟁에 반대하여 권리를 이행하는 데 만족을 추구한다(Williams, 2011: 172).

If the subjects are students, we must appreciate that today’s students are positioned (by policy) as consumers, in a market of universities as providers of products and services, and there has been ‘...a move from‘‘being’’ to ‘‘having’’ [that] represents an intellectual shift...with some students seeking satisfaction in the fulfilment of their rights as opposed to a struggle with theoretical content’ (Williams, 2011: 172).

그리고 대상이 학생이고, 평가 피드백이 (학생) 학습에 가장 강력한 단일 영향 중 하나라면, 사회 인식학에 필수적인 피드백은 학생들 내에서의 목적을 증진시키고 학생들에게 유용해야 한다. – 그것은 가치있어야 한다. 하지만 Boud와 Molloy는 경고한다. '[대량화와 모듈화 때문에] 보다 최근의 평가 체제는 가치 있는 학습 기회를 희생함으로써 발생했다.'

And if the subjects are students, and if assessment feedback is one of the most powerful single influences on (student) learning, then feedback integral to a social epistemology must foster purpose within students and be useful to students – it must be valuable. Yet Boud and Molloy (2013b: 699) warn that ‘[the] more recent regime of assessment may have arisen [because of massification and modularisation] at the expense of worthwhile learning opportunities’.

피드백은 참여를 위하여 재구성되어야 한다. 상호작용이 가능하고 독립적인 피드백(Boud and Molloy, 2013b)은 물론 피험자가 학생만이 아님을 인식한다. 학생과 학자 모두가 피드백을 정의하는 미끄러운 공간을 차지하고 있다.

Feedback must be reframed for participation. Mutually constructed and codependent feedback (Boud and Molloy, 2013b) recognises, of course, that the subjects are not only students. Students and academics (and others) occupy the slippery spaces that define feedback.

학생과 학자들이 피드백을 정의하는 공간을 공유한다면 피드백에 대한 집단적 환멸은 같은 방식으로 존재할 수 없다. 피드백에 대한 공동 연구를 통해 환멸을 줄일 수 있는데, 여기서 정책 동인의 꼬리가 학습견을 흔들어 보려는 시도가 중단된다(적어도). 그러나 이것은 새롭고 용감하며 접근법을 필요로 할 것이다. '규칙, 프로세스 및 자원 배분에 대한 근본적인 변화를 수반하는 것 같다.' (O'Donovan et al., 2015: 946).

Collective disillusionment in feedback cannot exist in the same way if students and academics share the spaces that define feedback. Disillusionment can be reduced through shared research into feedback, where the tail of policy drivers is interrupted (at least) in its attempt(s) to wag the learning dog. But this will require new, brave, approaches, ‘...likely to involve fundamental changes to rules, processes and resource allocations’ (O’Donovan et al., 2015: 946).

---

Misunderstandings and mismatches: The collective disillusionment of written summative assessment feedback

Jane Rand

First Published July 3, 2017 Research Article

https://doi.org/10.1177/0034523717697519

Article information

Abstract

Feedback is slippery, its meaning changes according to the space(s) you occupy within the perceptual limits that define it; these can range from feedback perceived as correction, to feedback perceived as longitudinal developmental. This provocation focuses on written summative assessment feedback, a format that remains one of the most common practices within academic programmes, that has the potential to be one of the most powerful influences on student growth, development, and learning, and yet which many students report never reading. I develop the argument that written summative assessment feedback is the subject of collective disillusionment – the result of students misunderstanding assessment feedback discourses, and the mismatch(es) between student interpretations and lecturers’ intentions of feedback. As provocateur, I argue that collective disillusionment not only risks the negation of written feedback, but it also seriously threatens learning. I draw upon empirical data to illuminate how paying attention to the kind(s) of work the representation of feedback does can contribute to feedback being reframed for participation and offer an open invitation for further dialogue via Research in Education.