학습을 위한 피드백 모델: 설계의 문제(Assessment & Evaluation in Higher Education, 2013)

학습을 위한 피드백 모델: 설계의 문제(Assessment & Evaluation in Higher Education, 2013)

Rethinking models of feedback for learning: the challenge of design

David Bouda* and Elizabeth Molloyb

aFaculty of Arts and Social Sciences, University of Technology, Sydney, Australia; bFaculty

of Medicine, Nursing & Health Sciences, Monash University, Victoria, Australia

고등 교육 기관은 학생들이 제공하는 피드백의 부적절함에 대해 교육 과정의 다른 측면보다 더 비판 받고 있습니다.

Higher education institutions are being criticised more for inadequacies in the feedback they provide to students than for almost any other aspect of their courses.

피드백 샌드위치 (Molloy 2010)처럼 좋은 피드백을위한 많은 요리법이 옹호됩니다. 그러나 이 처방은 그 자체로는 효과적이지 않다. 그것들은 좋은 기관적 에티켓이 될 수는 있지만, 모든 상황에 한 가지 규칙이 맞지는 않는다는 증거가있다 (Shute 2008). 학습 설계에 대한 많은 다른 요소들이 고려 될 필요가있다.

Many recipes for good feedback are advocated, like the feedback sandwich (Molloy 2010) . But, in themselves, these nostrums are not effective. They may represent good institutional etiquette, but evidence suggests that one rule does not fit all situations (Shute 2008). Many other factors of learning design need to be considered.

이 논문의 목적은 고등 교육에서 학생들의 피드백에 대한 수수께끼 같은 현상을 탐구하는 것이다.

The aim of this paper is to explore the puzzling phenomenon of student feedback in higher education

그것은 개선을위한 두 가지 가능한 방향을 탐구합니다. 첫 번째는 피드백 루프가 완료되었는지 확인하기 위해 피드백의 원래 개념으로 돌아가는 것입니다. Sadler (1989, 121)는 [학습을 개선하기위한 전략을 제공하지 않거나], [성과 정보가 학습자에게 어떻게 영향을 주는지를 조사하거나 모니터링하지 않으면] 피드백은 그저 'dangling data'에 그칠 수 있다고 강조했다. 흥미롭게도, 고등 교육 및 전문 교육에서 피드백 문건의 대부분은 교사의 피드백에 초점을 맞 춥니 다. 즉, 어떻게 더 자료를 더 dangle할지에 대한 것일 뿐이다.

It explores two possible directions for improvement. The first of these is to return to the original concept of feedback from the applied sciences to ensure that the feedback loop is completed. As Sadler (1989, 121) emphasised, without providing strategies for improving learning and without searching for and monitoring how performance information subsequently influences the learner, feedback may simply be viewed as ‘dangling data’. Interestingly, the bulk of the feedback literature in higher and professional education focuses on the microskills of the teacher in feedback – that is, how to better dangle the data.

두 번째 방향은 교사로부터 학생에게 전달되는 정보라는 일방적인 피드백 개념을 재고하는 것이다. 여기서 벗어나 피드백을 bilateral and multilateral한 것으로 생각함으로써, 피드백은 학생들이 다양한 다른 사람들의 정보에 의지하여 자신의 판단에 inform하는 능동적 학습자로 자리매김하는 정보가 된다.

The second direction is to rethink the unilateral notion of feedback from one in which information is transmitted from the teacher to the student to a bilateral and multilateral one which positions students as active learners seeking to inform their own judgements through resort to information from various others.

변화하는 평가와 피드백 맥락

The changing context of assessment and feedback

지난 50 년 동안 고등 교육에서 느린 움직임이 있었다. 성과 결정 요인으로서 최종 시험에 중점을 두는 것에서 보다 다양하고 지속적인 형태의 평가를 사용하는 방향으로 나아갔다.

Over the past 50 years or so there has been a slow movement in higher education from an emphasis on final examinations as the determinant of performance towards the use of more diverse, and more continuous, forms of assessment (Heywood 2000).

그 이후로 학생 수의 증가와 1 인당 기금 삭감에 따라, 평가 횟수와 regularity가 크게 감소하였고, 이로 인해 학생에게 제공되는 정보의 양이 크게 줄어 들었습니다.

Since then, and in response to increases in student numbers and reductions in per capita funding, the number of assessed tasks and their regularity has greatly reduced the amount of information provided to students about their work.

최근의 평가 체제는 가치있는 학습 기회를 희생시키면서 발생할 수 있습니다.

This more recent regime of assessment may have arisen at the expense of worthwhile learning opportunities.

피드백을 가능하게하는 조건은 총과 평가의 구조적 변화에 의해 감소되었다.

The conditions that make feedback possible have been diminished by the structural shift in summative assessment.

피드백 관행을 개선하기 위해서는 커리큘럼에서 평가와 피드백의 지위에 대한 보다 근본적인 재고가 필요합니다. 이를 통해 우리는 피드백에 대한보다 견고한 견해를 갖게 될 것입니다. 즉, 주로 교사의 역량보다는 학습의 필요에 초점을 맞추는 것입니다.

In order to improve feedback practices, a rather more fundamental rethinking of the place of assessment and feedback within the curriculum is needed. This will enable us to have a more robust view of feedback: one that focuses primarily on the needs of learning rather than the capacities of the teacher.

피드백의 기원

Origins of feedback

교정 피드백에 대한 개념은 산업 혁명의 핵심 아이디어 였고 초기 증기 엔진 개발에 필요한 부분이었다 (Bunch and Hellemans 2004). 그 때 사용 된 피드백의 개념은 엔진 또는 실제 기계 시스템이 출력을 모니터링하고이 정보를 시스템으로 다시 공급하여 시스템을 제어함으로써 규제 될 수 있다는 것입니다. 피드백에 대한 비슷한 생각은 생물의 변화하는 조건에 대한 적응과 관련하여 생물학에서 널리 퍼졌지만, 이들 중 어느 것도 20 세기 중반까지 교육에 사용되지 않았습니다.

The notion of corrective feedback was a key idea of the industrial revolution and a necessary part of the development of early steam engines (Bunch and Hellemans 2004). The concept of feedback used then was that an engine, or indeed any mechanical system, could be regulated through monitoring its output and feeding this information back into the system to control it. Similar ideas about feedback were prevalent in biology, with regard to the adaptation of organisms to changing conditions, but none of these were taken up in education until the mid-twentieth century.

역사적으로 교사들은 어떤 피드백 이론도 없는 상태에서 학생의 작업을 수정했습니다. 채점은 교수법의 본질적인 과정으로 간주되었습니다. 성적이 좋지 않은 학생은, 진행 상황을 알려주는 것이 자신의 공부에 더욱 부지런히 적응해야한다는 의도라고 이해해야 했다.

Historically, teachers had corrected student work without any theory of feedback being involved. Marking was regarded as a process intrinsic to teaching: students were informed of their progress with the intention that they should apply themselves more diligently to their studies if they did not perform well.

이러한 피드백의 개념은 [관찰 가능한 성과에 기반한 외부 정보 제공]에 중점을 둔 강한 행동적 강조점을 가지고 있습니다. 그것은 피드백에서 내부 또는 자기 평가적인 기능을 제거하려고 시도했다 (Butler and Winne 1995). 이것은 말하자면 (피드백을 받는 사람의) 의식적인 의지없이도, 다른 사람들을 변화시키는 것이 가능하다는 것으로 보이는 다소 놀라운 가정이라고 할 수 있다.

This notion of feedback has a strong behavioural emphasis that focuses on the external provision of information based on observable performance. It attempted to eliminate any internal or self-evaluative function in feedback (Butler and Winne 1995). The rather surprising assumption appearing to be that it was possible to change others without conscious volition on their part.

피드백의 두 번째 주요 발전은 이와 병행하여 이루어졌습니다. 피드백은 인간 시스템과 시스템 과학에서 광범위하게 채택되었습니다. 1950 년 초 Norbert Wiener는 피드백의 개념을 다음과 같이 논의했습니다.

The second major development in feedback came in parallel with this. Feedback was taken up extensively for human systems and in system science. As early as 1950, Norbert Wiener, discussed the notion of feedback as follows:

피드백은 퍼포먼스의 결과를 시스템에 다시 삽입함으로써 시스템을 제어하는 ​​것입니다. 이러한 결과가 단순히 시스템 및 규제에 대한 비판을위한 수치 데이터로 사용된다면 우리는 통제 엔지니어의 간단한 피드백을 얻을 수 있습니다. 그러나, 성과로부터 proceeds backward하는 정보가 성과의 일반적인 방법과 패턴을 바꿀 수 있다면, 우리는 "학습"이라고 불릴 수있는 과정을 가지고 있는 것이다.

Feedback is the control of a system by reinserting into the system the results of its performance. If these results are merely used as numerical data for criticism of the system and its regulation, we have the simple feedback of the control engineer. If, however, the information which proceeds backwards from the performance is able to change the general method and pattern of the performance, we have a process which may very well be called learning.

마침내 교육에 "피드백"이라는 용어가 들어왔을 때, Ramaprasad (1983)와 다른 사람들이 다른 방법을 시도 했음에도 불구하고, pre-industrial적인 의미에서 [정보가 활용되는데 필요한 어떤 메커니즘도 없이] 학생들이하는 일에 영향을 미치려고 의도 된 정보를 의미하게되었다는 것은 아이러니하다. 이러한 관점에서 피드백은 '말하기'와 동의어가됩니다. 즉, 교사가 학생에게 정보를 전달하는 것입니다. 마치 학생들이 참여하고 자신이해야 할 일에 대해 자신의 판단을 내릴 필요가없는 것처럼 말입니다. 여기서 가정하는 것은, 학생이 지시받은 내용에 따라 행동하기만 한다면, 자신의 수행 능력을 향상시킬 수 있다는 것이다. 이러한 가정은 훨씬 더 무모한 가정에 기반하는데, 전달된 정보가 변화를 유도하기에 충분했다는 것, 피드백은 모호하지 않았으며, 학생은 선생님이 의도한 것과 같은 방식으로 해석한다는 가정에 기반한다.

It is ironic then that when the language of feedback was finally adopted in education, despite attempts by Ramaprasad (1983) and others to do otherwise, it became used in a pre-industrial sense to mean information provided to students intended to influence what they do without any necessary mechanism to ensure that the information was utilised. Feedback became synonymous with ‘telling’, that is the oneway transmission of information from teacher to student, as if students did not need to be involved and make their own judgements about what they should do. The assumption being that, if only students acted on what they were told, they could improve their performance. Such an assumption rested on an even bolder set of assumptions that the information transmitted was sufficient for such change to occur, that it was unambiguous and would be interpreted the same way by the student as was intended by the teacher.

정보 자체에 대한 이러한 가정에 덧붙여 피드백의 이러한 사용은 초기 엔지니어가 의도한 관점에서 교정적corrective하지 못함이 분명합니다. 즉, 학생들에게 제공된 정보가 그들이 한 일에 어떤 영향을 주었는지를 결정하기 위한 학생들의 작업 모니터링이 존재하지 않는다. 바람직한 의도가 아니라 실제 효과를 담보하기 위한 통제 루프를 완료하지 않으면, 학생들에게 안정적으로 영향을 미칠 수 없습니다. 학생들의 학습에 영향을 미치기 위한 교사의 행동을 조정하기 위해서는 피드백 루프가 필요합니다. 이 정보가 없으면 교사는 자신의 행동 결과를 알 수 없고, 결국 학습의 질을 향상시키기 위해 효과적으로 행동 할 수 없습니다.

It is apparent that in addition to these assumptions about the information itself, this use of feedback could not be corrective in the sense that the early engineers intended. That is, without monitoring students’ work to determine if the information provided to them had an effect on what they did. Without this completion of the control loop to ascertain actual effects rather than desired intentions, students could not be reliably influenced. The completion of a feedback loop is needed to adjust the actions of teachers to ensure an impact on student learning. Without this information, teachers are blind to the consequences of their actions and cannot therefore act effectively to improve the quality of learning.

피드백 마크1: 엔지니어링 모델에서 좋은 피드백은 무엇인가?

Feedback Mark 1: What is good feedback practice in an engineering model?

단순한 정보가 아니라 피드백이라는 용어가 사용된다면 원하는 방향으로 효과가 있음을 감지 할 수있는 방법이 필요합니다. 피드백 사이클이 완료되어야합니다. 식별 가능한 효과가 없으면 피드백이 발생하지 않은 것이다.

If the term feedback is used, rather than simply information, there needs to be a way of detecting that there has been an effect in the direction desired. The cycle of feedback needs to be completed. If there is no discernable effect, then feedback has not occurred.

이 때 선생님 또는 정보를 제공하는 사람에게는 효과를 내고 그 효과를 알아챌 책임이 부여된다. 피드백이 이런 방식으로 이해되면 피드 포워드는 별도의 개념이 아니라 피드백의 필수 특성이 된다.

This places the onus on the teacher, or the person otherwise providing information, to do what is needed to have an effect and to notice the effect. When feedback is understood in this way, feed forward is not a separate notion but a necessary characteristic of feedback.

두 번째 과제의 적어도 일부는 학생이 첫 번째 과제에서 판단 된 학습 성과 중 일부를 시연하는 것을 허용해야 한다. 따라서 피드백 발생을 위해 작업이 overlap될 필요가 있습니다. 다른 학습 결과를 다루는 격리 된 작업 세트는 피드백이 발생할 가능성이 최소화된다.

at least part of the second task permits the student to demonstrate some of the learning outcomes judged in the first. Therefore, there needs to be an overlap of tasks for feedback to occur. Sets of isolated tasks that address different learning outcomes minimise the possibility of feedback occurring.

결과를 달성하는 것이 특히 중요하거나 어려운 경우, 또는 덜 반응하는 학생의 경우, 원하는 목표를 달성하기 위해 두 번 이상의 피드백이 필요할 수 있습니다.

For particularly important or difficult to attain outcomes, or for less-responsive students, more than one cycle of feedback may be needed to reach the desired end.

이 모델에서 중요한 것은, 퍼포먼스 정보의 효과에 대한 지식을 활용하여 학생에게 제공되는 정보의 성격을 수정하는 것입니다. 즉 [교사의 학습]을 위한 피드백 루프가 수립되어 학생들의 작업에 대한 '개입'의 질을 향상시킵니다.

Importantly in this model, knowledge of the effects of the performance information is utilised to modify the nature of the information provided to students. That is, a feedback loop for the learning of teachers is established so that they improve the quality of the ‘interventions’ they make on students’ work.

이러한 결과는 엔지니어링 피드백의 주요 특성을 도입할 때 필연적으로 동반된다. 피드백은 전송된 정보가 아니라, 사용된 정보이다. 이는 이 모델의 피드백이 코스나 프로그램 설계의 명시적인 부분으로 개념화되어야하며, 루틴의 또는 개념화되지 않은 부분으로 오해되지 말아야 함을 의미합니다.

These consequences necessarily flow from the adoption of the key characteristic of engineering feedback: that feedback involves information used, rather than information transmitted. It means that feedback in this model needs to be conceptualised as an explicit part of the design of a course or programme, and not misconceived as a routine, and unconceptualised, part

이 모델에서의 피드백의 특별한 초점은 Ramaprasad의 피드백 정의에서 나온 것이다. '피드백은 실제 수준과 시스템 매개변수의 참조 수준 간의 차이에 대한 정보로서, 어떤 식으로든 그 격차gap를 바꾸는 데 사용되는 것.'(Ramaprasad 1983, 4 ). '실제 수준과 참조 수준 간의 차이에 대한 정보를 사용하여 갭을 변경할 때에만 피드백이라고 할 수 있다.'(Ramaprasad 1983, 6).

The particular focus of feedback in this model follows from Ramaprasad’s definition of feedback: ‘Feedback is information about the gap between the actual level and the reference level of a system parameter which is used to alter the gap in some way’ (Ramaprasad 1983, 4). ‘The information on the gap between the actual level and the reference level is feedback only when it is used to alter the gap’ (Ramaprasad 1983, 6). 

이러한 견해는 Sadler (1989, 78)가 효과적인 피드백을위한 3 가지 조건을 확인하도록 촉구했다 :

• (1) 적용해야 할 기준에 대한 학생의 지식;

• (2) 그 기준을 학생들 자신의 일과 비교,

• (3) 학생이 둘 사이의 틈을 메우기위한 행동을 취함.

Such a view prompted Sadler (1989, 78) to identify three conditions for effective feedback: 

• (1) student knowledge of the standards that needs to be applied; 

• (2) having to compare those standards to the students’ own work and 

• (3) the student taking action to close the gap between the two. 

위의 세 가지 중 두 번째와 세 번째 조건을 위해서는 학생이 적극적으로 피드백에 참여해야합니다. 그리고 이것은 타고나는 것이 아니다. 새들러는 학생들이 '피드백을 어떻게 해석해야하는지, 피드백과 그들이 produce한 작업의 특성을 어떻게 연결시키는 지, 미래에 어떻게 자신의 업무를 개선 할 수 있는지'에 대한 교육을 받을 필요성이 있다고 강조한다. [Sadler 1989, 78 ). 너무 자주 학생들은 자신의 수행 능력에 대한 진단 정보가 제공 될 때 어떤 행동을 취해야하는지 알고 있다고 가정합니다.

The second and third conditions both require the student to actively engage with the feedback. Knowing how to do this cannot be taken as given. Sadler draws attention to the need for students to ‘be trained in how to interpret feedback, how to make connections between the feedback and the characteristics of the work they produce, and how they can improve their work in the future’ (Sadler 1989, 78). Too often it is assumed that students know what action to take when provided with diagnostic information about their performance.

Mark 1 피드백은 여전히 ​​학생들에게 전달되는 정보라는 말의 패러다임에 맞습니다. 정보가 수신되고 작동되도록하기 위해 피드백 루프를 완료하는 감지 메커니즘이 있다는 점만 다릅니다.

Mark 1 feedback still fits within a paradigm of telling, that is information transmitted to students. It only varies from this in that there is a detection mechanism – completing the feedback loop – to ensure that information is received and acted on.

그러나이 모델에 대한 원칙이 무엇이든,이 모델은 고등 교육에서 매일 가르치고 배우는 데 실용성을 테스트하지 못합니다. 고등 교육의 실용적인 딜레마는 현실적으로 제공 될 수있는 피드백의 양과 유형이 [자원 제약]은 물론 학생을 '스푼-피딩'하지 말아야 한다는 전통과 기대에 의해서도 심각하게 제한된다는 것입니다. 엔지니어링 피드백 모델이 교육적으로 완전히 수용 가능하다 할지라도, 선택적으로 사용되는 것 이외에는 다른 방법이 없다.

However, whatever might be principled objections to it, this model fails the test of practicability in everyday teaching and learning in higher education. The practical dilemma of higher education is that the amount and type of feedback that can realistically be given is severely limited by resource constraints and, of course, the tradition and expectation of not ‘spoon-feeding’ students. Even if the engineering feedback model was entirely acceptable educationally, it could not be used other than selectively.

해결책은 대리 교사 또는 활발한 교사를 더 추가하는 것이 아니라 모델을 변경하는 것입니다. 학생들이 졸업하고이 모델이 가정 한 학습 지원에 대한 기반 구조가 사라지고 없어져 가면서 (Boud and Falchikov 2007).

The solution may not be to add more surrogate teachers or more energised teachers, but to change the model. as students will graduate and the infrastructure of support for learning that this model assumes has to fade and disappear (Boud and Falchikov 2007).

피드백 마크2: 지속가능한 모델에서 좋은 피드백이란 무엇인가?

Feedback Mark 2: What is good feedback practice in a sustainable model?

피드백 마크 1의 주된 한계는 [학습자가 다른 사람들에게 학습에 필요한 정보를 확인하고 제공해달라고 요구해야 한다]는 가정이며, [학습은 다른 사람들이 이 과정을 어떻게 진행하는지에 달려 있다]는 것이다.

The main limitation of Feedback Mark 1 is the assumptions that learners require others to identify and provide the information they need to learn, and that learning is driven by how others go about this process. 

이것은 학습자에게 작은 의지만을 가진 낮은 지위, 제한된 주도성, 교사 또는 교수 시스템에 대한 의존성 등을 부여합니다.

This accords learners a lowly status with little volition, limited agency and dependence on teachers or a teaching system.

학습자의 적극적인 역할을 인정한다면, 피드백의 개념은 mechanistic한 것에서 responsive한 것으로 옮겨 갈 필요가있다. 즉, 학습자의 역할이 [자신의 이해의 constructor]라는 것을 받아 들일 필요가있다.

As soon as the active role of learners is acknowledged, then conceptions of feedback need to move from the mechanistic to the responsive. That is, the role of learners as constructors of their own understanding needs to be accepted.

Hounsell (2007)은 지속 가능한 평가에 대한 Boud의 논의 (2000)를 토대로 지속가능한 피드백이라는 개념을 도입했습니다. 지속 가능성에 대한 피드백은 학생들이 전향 적으로, 자신의 삶과 졸업을 넘어선 경력을 쌓을 수 있도록 도와주는 역할을합니다.

Hounsell (2007), building on Boud’s discussion of sustainable assessment (2000), introduced the notion of sustainable feedback. Sustainability of feedback would ‘be a function of its contribution to equip students to learn prospectively, in their lives and careers beyond graduation’.

그들은 지속가능한 피드백의 네 가지 특성을 확인했다.

• (1) 학생들에게 자신의 퍼포먼스 퀄리티에 대한 인식을 높이는 학습에 관한 대화를하는 것;

• (2) 학생들이 자신의 학습을 모니터링하고 평가하는 역량을 개발하도록 자극받는 피드백 과정을 촉진하는 것;

• (3) 목표 설정 및 학습 계획 수립을 위한 기술 개발을 지원함으로써 지속적인 평생 학습을위한 학생 역량 강화

• (4) 시간이 지남에 따라 학생들의 참여를 용이하게하기 위한 평가 과제를 설계하여 [다양한 출처에서의 피드백이 생성되고], [처리되며], [여러 단계의 과제 수행에있어 성과를 높이기 위해 사용됨]

They identified four characteristics of sustainable feedback:

• (1) involving students in dialogues about learning which raise their awareness of quality performance;

• (2) facilitating feedback processes through which students are stimulated to develop capacities in monitoring and evaluating their own learning;

• (3) enhancing student capacities for ongoing lifelong learning by supporting student development of skills for goal setting and planning their learning and

• (4) designing assessment tasks to facilitate student engagement over time in which feedback from varied sources is generated, processed and used to enhance performance on multiple stages of assignments.

제안 된 틀은 연구 영역에서 effective practitioner가 되기 위해 전념 한 학생들을 전제로합니다.

The framework proposed is premised on students committed to becoming effective practitioners in the domain of their study.

그러한 헌신은 학생을 다음의 것을 추구하고자 무엇이든 하는 적극적인 학습자로 본다.

• 그들이 무엇이 필요한지 이해하는 것

• 연구의 맥락에서 좋은 일을 구성하는 것

• 좋은 일자리를 창출하려는 노력이 지식 영역 내에서 적절한 기준과 기준을 충족시키는 지 여부.

학습자가 이미 여기에 준비가 되어있는 경우는 거의 없으므로, 피드백을 찾고 효과적으로 활용하기 위해 자신의 역량을 개발하고 기질을 발휘하여 효과적으로 운영 할 필요가 있습니다.

Such commitment places them as active learners who seek to do whatever they need to understand 

• what is required of them, 

• what constitutes good work within the context of their study and 

• whether their efforts at producing good work meet the appropriate standards and criteria within the knowledge domain. 

Learners rarely enter courses prepared for this, so there is a need to help develop their capacity, and disposition, to operate effectively to seek and utilise feedback.

이 접근법은 평가를 즉각적인 과업 이외의 학습에 대한 학습자 판단을 developing and informing하는 프로세스의 핵심 요소로 평가하는 practice view을 취합니다. 즉, 평가는 학습자의 practice에 inform하기 위한 교육적 목적이 있으므로, 다른 사람들의 표준을 충족시키는 작업을 생산하도록 할 뿐만 아니라, (사용가능한 모든 범위의 자원을 활용하여) 생산 과정에 대한 정보에 대해 informed judgement를 내릴 수 있다.

This approach takes a practice view that sees assessment as a key element of the process of developing and informing the learner’s judgements for learning beyond the immediate task (Boud 2009). That is, there is an educative purpose of assessment to inform the practice of learners so that not only do they have the capabilities to produce work that meets the standards of others, but also they can make their own informed judgements about the process of production of that work, drawing upon the full range of resources available to them.

Mark 2를 제정하는 것은 학습 시스템의 세 가지 핵심 요소를 중심으로 구축됩니다.

Enacting Mark 2 is built around three key elements of a learning system:

학습자와 학습자가 원래 가진 것

Learners and what they bring

학생들은 이전 경험을 통해 고등 교육을 받게됩니다. 학생들은 입학에 필요한 지식과 학습 기술을 개발했지만 학부 프로그램을 위해 다 갖춘 것은 아닙니다. 교사들은 학생들이 강탈 당하지 않고 강하게 동기를 부여받지 못하고 능동적 인 학습자가 아니라 '배운다'는 기대를 가지고 있다고보고합니다.

Students enter higher education shaped by their prior experiences. They have developed knowledge and learning skills sufficient for entry, but they are not necessarily equipped for an undergraduate programme. Teachers report that students may be disengaged, not strongly motivated and have expectations not of being an active learner, but of ‘being taught’.

많은 교전 이니셔티브의 강조는 학생들이 수업 및 과제에 적극적으로 참여할 수 있도록하는 것이지만, 이것만으로는 학생들이 피드백으로부터 이익을 얻을 수있는 역량을 구축하기에 충분하지 않습니다.

While the emphasis of many engagement initiatives is on gaining students’ active participation in classes and tasks, this alone is not sufficient to build the capacity of students to benefit from feedback.

피드백 마크 2는 학습자를 다른 사람들의 의견을 받기만 하는 사람이 아니라, 개선을 위한 지식의 도출자elicitor로서 학습자의 적극적인 지위를 요구합니다. 학생들이 자신을 변화의 주체로 여기고 자신의 학습을 주도 할 수있는 생산적인 학습자로서의 정체성을 개발하지 않는 한, 자신의 학습에 대한 유용한 정보를 받아들이지도 못하고 사용하지 못할 수도 있습니다.

Feedback Mark 2 requires the active positioning of learner as elicitors of knowledge for improvement, not just the recipients of inputs from others. Unless students see themselves as agents of their own change, and develop an identity as a productive learner who can drive their own learning, they may neither be receptive to useful information about their work, nor be able to use it.

니콜 (Nicol)과 맥팔레인 딕 (Macfarlane-Dick) (2006)은 일곱 가지 좋은 의견을 제시합니다. 그들의 원칙 뒤에있는 가정은 우리가 공유하는 것입니다 : '학생들은 이미 자기조절을 하고있지만 일부 학생들은 다른 학생들보다 자기조절을 더 잘 한다. (Nicol 2009, 338) 그리고 weaker 학생들이 바로 자신의 sense of control을 향상시킬 수있는 기회가 필요한 학생들입니다. 니콜 (Nicol)은 '학생들은 학업에 참여할 때 언제나 비공식적으로 학습의 자기조절을 하고 있습니다.'(338)

Nicol and Macfarlane-Dick’s (2006) in their seven principles of good feedback. The assumption behind their principles is one that we share: ‘that students are already engaged in self-regulation but that some students are better at self-regulation than others; and it is the weaker students that need opportunities to enhance their sense of control’ (Nicol 2009, 338). Nicol recognises that ‘students are always informally engaged in the self-regulation of learning when they participate in academic tasks’ (338) and that

학생들이 교사로부터 피드백을 받았을 때, 학업 성취도를 높이기 위해 정보를 사용하려면 자기 평가에 참여해야합니다. 즉, 피드백 메시지를 해독하고 내재화하고 자신의 업무를 판단하고 수정하는 데 사용해야합니다. (339)

when students receive feedback from teachers they must engage in self-assessment if they are to use that information to improve academic performance: that is, they must decode the feedback message, internalise it and use it to make judgements about and modify their own work. (339)

그는 고등 교육 교사가 [전문가 피드백 제공에 모든 노력을 집중하는 대신] 찾고, 해석하고, 사용하는 능력을 길러야한다고 주장했다.

He argues that higher education teachers should build on this capacity to seek, interpret and use, rather than focus all their efforts on providing expert feedback.

이 평가 역량을 개발하는 것은 피드백 마크 2의 핵심이며 모든 고등 교육 커리큘럼의 중심에 제안합니다. 학생과 교사 모두 개인적인 정보 제공 및 수신 행위가 아니라, 적극적인 학습자 육성을 통한 학습 촉진을위한 방법으로 피드백을보아야합니다. 즉, 피드백을 'telling'로 보지 않고, 'appreciating'으로 보아야 한다. 그것은 '말하기'또는 '읽기'가 아니라 연기에서 끝납니다. 그러므로 그것은 교육자가 학생들에게하는 과정이 아닙니다. 교수 및 학습의 모든 이해 관계자는 피드백의 목적이 자기조절이 되도록 명시적으로 지향해야하며, 판단을 내리고 판단에 기반하여 수행하는 능력을 향상시키는 수단으로보아야합니다. 이것은 seeking feedback으로 학습자의 성향을 키우는 것으로 시작됩니다.

Developing this evaluative capacity is central to Feedback Mark 2 and we suggest at the heart of any higher education curriculum. Both students and teachers need to see feedback as a way of promoting learning through fostering active learners, not as individual acts of information provision and reception. That is, feedback is not viewed as ‘telling’, but as ‘appreciating’. It ends not in ‘telling’, or even‘reading’, but in acting. It is therefore not a process that is done to students, by educators. All stakeholders in teaching and learning need to be explicitly orientated to the purpose of feedback as self-regulating, and to view it as a means to increase capability in making judgements and acting upon them. This starts with the foster-ing of learner dispositions towards seeking feedback.

교육과정과 그것이 촉진하는 것

The curriculum and what it promotes

여기에서 논의되는 피드백의 다양한 개념은 '학생들에게 유용한 정보'라는 일반적인 아이디어를 뛰어 넘습니다. 그들은 커리큘럼에 스며드는 것이어야 한다.

The various notions of feedback discussed here go beyond the commonplace idea of ‘helpful information to students about their work’. They need to be seen as permeating the curriculum.

Grundy는 교과 과정을 '사회적 구성이라고 본다. 구성의 형태와 목적은 사람과 세상의 개념을 내포하는 근본적인 인간의 이익에 의해 결정될 것이다'(1987, 19).

Grundy sees curriculum as ‘a social construction … the form and purposes of that construction will be determined by some fundamental human interests which imply concepts of persons and their world’ (1987, 19).

지속 가능한 피드백의 개념은 Barnett and Coate (2005)의 고등 교육 커리큘럼에 대한 학생들의 견해와 고의적 인 관계에 잘 맞습니다. 그들은 다음을 쓴다.

The sustainable notion of feedback fits well with Barnett and Coate’s (2005) view of the curriculum in higher education as deliberately designed to engage students, among others. They write of

공간의 상상력있는 디자인, 학생들 사이에 새로운 에너지를 생성하고 영감을 줄 수있는 공간, 그래서 세 가지의 engagement를 촉진- 앎, 함, 됨. (3) [이탤릭체]

the imaginative design of spaces as such, spaces that are likely to generate new energies among students and inspire them, and so prompt their triple engagement – in knowing, acting and being. (3) [their italics]

Barnett과 Coate는 '커리큘럼 규칙 및 템플릿' 및 '모든 학습 프로그램의 요소를 미리 지정'하는 것에 회의적이다(2005, 3).

Barnett and Coate are sceptical of ‘curricula rules and templates’ and of specifying ‘in advance the elements of every programme of study’ (2005, 3).

(학습 관점 또는 평가 관점이 아니라) 광범위한 커리큘럼 관점을 통해서만 피드백을 적절히 배치 할 수 있습니다.

It is only through taking a curriculum perspective, which is broader than a learning view or an assessment view, that feedback can be adequately located.

이러한 견해는 피드백을 [학생 참여의 중심적 특징]으로 지위를 부여하는 커리큘럼을 지향하는 방향으로 재배치 할 수있게한다. 따라서 피드백은 의사 소통, 앎, 판단, 행동을 위한 핵심 교과 과정 공간이됩니다.

Such a view enables feedback to be repositioned towards being seen as an attribute of the curriculum that locates it as a central feature of student engagement. Feedback becomes therefore a key curriculum space for communicating, for knowing, for judging and for acting.

특히 중요한 것은 학생들이 자신의 일과 다른 사람의 일에 대해 판단을 내리는 것입니다. 프로그램 초기부터 학생들은 자신의 성과를 판단하고 이 평가가 다른 사람들의 평가와 어떻게 비교되는지 볼 기회가 필요합니다. 이것은 그들이하는 일에 대한 인식을 개발하고 알지 못하거나 할 수없고 할 수없는 일을 인식하도록 도와 줄 수 있습니다. 그러한 인식이 없으면 학생들은 추가 학습을 계획 할 수 없습니다.

Of special importance is the practice of students in making judgements about their own work and that of others. From early in the programme, students need opportunities to judge their own performance, to see how this appraisal compares with appraisal by others. This can assist them to develop awareness of what they do and do not know or can and cannot do. Without such awareness students cannot plan for further learning.

교육자가 직면 한 과제는 학습자자가 분석에 대한 이러한 기대를 교과 과정에 체계적으로 구축하는 것입니다. 규칙적인 자기 분석은 습관이 되어서, 자기 평가가 외부 평가와 어떻게 비교되는지를 찾는 것이 제 2의 본성이 되고, 지적 위험을 감수하는 불편한 사건이 아닌 learning practice의 일부가됩니다.

The challenge for educators is to systematically build these expectations of learner self-analysis into the curriculum. The regularity of self-analysis builds habits, so that self-judgement and seeking how this compares to external appraisal becomes second nature, and part of learning practice, rather than an uncomfortable episode of intellectual risk taking. 

Table 1

피드백 마크2의 교육과정 특징

Table 1. Curriculum features characteristic of Feedback Mark 2.

Feature Examples

학습자가 피드백의 목적에 맞춤

Learners orientated to the purposes of feedback

Explicit learning outcomes relating to developing judgements and collaboration with peers, clear expectations that students actively participate in classes and that information received will lead to action

학습자가 자기조절을 촉진하는 활동에 참여

Learners participate in activities promoting self-regulation

Activities to build student engagement and foster self-regulation through self-testing of understanding, students reflecting on how the standard required compares to their execution of the task or planning what information they need to meet learning outcomes

학습자가 피드백-탐색 성향을 개발

Learner disposition for seeking feedback is developed

Development of feedback seeking skills through early practice activities including identification of appropriate criteria, formulating comments on others’ work, practice in identifying what kind of comments are needed on assignments

작업의 production을 위한 기회가 주어짐

Opportunities provided for production of work

Opportunities for students to produce work of the kind that is central to learning outcomes through multiple tasks well designed for this purpose, not all of which might be formally graded

(자기)보정 메커니즘

Calibration mechanisms 

Channels to enable learners to check knowledge sources, develop understanding, calibrate their judgement against expert work and peer work, regular opportunities to judge their own work before it is marked

과제의 점진적 난이도 증가

Incremental challenge of tasks 

Development of sequences of tasks that progressively and realistically challenge learners, assessment tasks progressively build capacity to tackle more complex problems

피드포워드를 허용하는 nested task

Nested tasks to allow for ‘feed forward’ 

Timing and design of tasks to permit input from others (teachers, peers, practitioners and learning management systems, as appropriate) and self on each task, to be utilised to benefit performance on subsequent tasks

Seeker와 Provider로서의 학습자

Learner as ‘seeker and provider’ 

Opportunities to practice giving as well as receiving of feedback. Orientation of learners to dimensions of the target performance (they need to engage with the desired learning outcomes, so they can make and articulate a comparative judgement)

학습 환경과 그것이 제공하는 것

Learning milieu and what that affords

"as it is designed"로서의 교육 과정도 학습자와 그들이 수행에 영향을 미칠 수 있지만, "as it is enacted"로서의 교육과정은 학생들에 직접적인 영향을 미친다. enact 된 커리큘럼의 상당 부분은 학습 결과 및 코스 descriptor에 공식적으로 문서화 된 것이 아니며 학생들이 직원들과 서로, 그리고 그들이 운영되는 상황과 일상적으로 상호 작용할 때 발생합니다. 커리큘럼을 일상 학습 환경으로 번역하는 것이 이 접근법을 실현하는 데 중요합니다. 이 환경은 요구 사항 및 커리큘럼 규격뿐만 아니라 교직원의 기대와 타인, 특히 동료와의 상호 작용으로 구성됩니다.

While the curriculum ‘as it is designed’ may influence learners and what they do, it is the curriculum ‘as it is enacted’ (Barnett and Coate 2005) that has a direct impact on students. Much of the curriculum as enacted is not what is formally documented in learning outcomes and course descriptors, but occurs in the everyday interactions students have with staff, with each other and the context in which they operate. The translation of the curriculum into the everyday learning milieu is crucial in realising this approach. This milieu is constituted from not only requirements and curriculum specifications, but more importantly from expectations of teaching staff and interactions with others, especially peers. 

피드백 마크 2는 지속적인 개선을 촉진하고 학생들이 지식을 찾고 응용할 수있는 기회를 창출하는 학습 환경에 달려 있습니다.

Feedback Mark 2 is dependent on a learning environment that fosters continual improvement and creates opportunities for knowledge seeking and application by students.

이러한 학습 환경은 다 만들어져 나오는 것이 아니라, 코스를 담당하는 개별 교사, 직원, 학생들이 함께 작업하여 적절한 환경을 구축해야합니다.

These learning environments do not come ready made but need to be constructed not only by individual teachers responsible for courses, but also by staff and students working together to construct suitable milieu.

이 피드백 개념에 필요한 학습 환경의 주요 특징은 대화가 번창flourish하는 것임을 알 수 있습니다. Carless et al. (2011) 학생들이 양질의 성과가 무엇인지 분별하고 실천하기위해서는 자신의 작업, 적절한 판단 기준의 구성요소, 스스로의 학습계획 수립 모니터링에 관한 대화에 참여해야한다고 강조했습니다. 표준과 기준을 해석하고 그 표준이 어떻게 나타나는지를 분별하기 위해 대화가 필요합니다.

The prime characteristic of the necessary learning milieu for this conception of feedback is that it is one in which dialogue flourishes. As Carless et al. (2011) have emphasised, students need to engage in dialogue about monitoring their own work, what constitutes appropriate standards of judgement and plan their own learning if they are to discriminate what is quality performance and enact it. Dialogue is also needed to interpret standards and criteria and discern how they are manifested in

그들 자신의 일과 다른 일의 일. 여기에 대화는 대면 또는 일대일 대화로 문자 그대로, 하지만 하지 않아야 도출에 볼 수있는 다른 배우들 (교사, 동료, 실무자, 소비자와 학습 시스템)와 다른 종류의 상호 작용의 모든 형태로 인식과 판단, 그리고 개선 된 행동을 위해 필요한 것을 식별합니다.

their own work and that of others. Dialogue here should not be taken literally as face-to-face or one-to-one conversations, but as all forms of interactions of different kinds with different actors (teachers, peers, practitioners, consumers and learning systems) with a view to eliciting perceptions and judgements, and discerning what is needed for improved action.

학습 환경을 고려할 때 중요한 또 다른 차원은 신뢰이다. 학습자는 신뢰할 수있는 정보를 토대로 행동합니다. 의견이 변덕스럽거나 ill-considered하거나, 학생을 고려하지 않으면 학생은 자신의 의견을 바탕으로 행동하지 않습니다. 

A further important dimension in considering the learning milieu is what Carless(2009) has identified as trust. Learners will only act on the basis of trustworthy information. If they believe that comments are capricious or ill considered, or do not take the student as person into account, they will not act on the basis of them. 

일반적으로 신뢰 관계는 학생과 교사간에 가정되며, 적어도 권력 관계 또는 가정 된 전문 지식 (좋은 일의 좋은 판단자로서의 지위를 보장해야 함)이 있어야 교사의 의견을 진지하게 받아 들일 수 있다고 가정합니다. 그러나 다른 사람들과 함께, 신뢰 관계를 구축해야합니다. 다른 학생과의 관계에서는, 타인에 의해 valid하다고 인정된 정보를 점진적으로 공유함으로써 발생할 수 있습니다. (학생 사이에는) assumed trust가 default가 아닐 수 있습니다.

Typically, a relationship of trust is assumed between student and teacher or at least an assumption that power relations or assumed expertise (warranting status as a good judger of good work) might lead to the teacher’s comments being taken seriously. However, with others, a relationship of trust needs to be built. With other students, this can occur as a result of progressive sharing of information recognised by the other to be valid: there may be no default position of assumed trust. 

그러한 관계가 번성하고 훼손되지 않는 맥락을 제공하는 학습 환경을 구축하는 역할이있다.

There is a role in the establishment of a learning milieu to provide a context in which such relationships can flourish and not be undermined

예를 들어 학생들은 신뢰를 구축 할 수있는 '동등성'에 대한 가정을 손상시킬 수있는, 서로에 대한 성적을 제시하게 요구받을 수 있다. 권력 관계는 신뢰를 비롯한 학습환경의 여러 특징에 깊은 영향을 미친다.

for example, students being asked to generate grades for each other which might compromise assumptions of ‘peerness’ on which trust can be built. Power relations profoundly influence trust and indeed other features of the learning milieu.

어떤 관계에서는 이상적인 호혜적 의사 소통을 성취 할 수 없게 하는 구조적이고 지위적 제약이 종종있다 (Hughes 2004). 대학 교사의 총괄 평가 역할은 대화가 금지 될 수있는 예일 수 있습니다. 마찬가지로 선생님의 지위가 높다는 사실은 학생 자신의 성적 평가를 저해 할 수 있습니다. 즉, 그들은 교사의 견해에 동의하고 자신의 판단을 평가 절하한다.

there are often structural and positional constraints (Hughes 2004) that the ideal of reciprocal communication cannot be achieved within some relationships. The summative assessment role of university teachers is perhaps an example of where dialogue may be inhibited. Likewise, the perceived high status of the teacher may inhibit students’ own self-evaluation of performance. That is, they acquiesce to the teacher’s viewpoint and devalue their own judgements.

학습자의 과제는 적절한 표준 및 기준에 대한 이해를 얻고 이들에 대한 성과를 모니터링하는 것뿐만 아니라이 학습을 실제 적용하고 자신의 업무를 판단 할 수있는 새로운 기회를 찾는 것입니다. 피드백 루프의 완성은 학습자가 자기 조절 과정에서 스스로를 속일 수 없도록 보장하기 위해 필요합니다. 이 교정 작업은 종종 다른 사람의 사용과 반복적 인 작업 참여가 필요할 것입니다.

The challenge for learners is not only to acquire understanding of the appropriate standards and criteria and monitor their performance against these, but also to find new opportunities to put this learning into practice and find ways of judging their own work. Completion of the feedback loop is necessary to ensure that learners are not fooling themselves in the process of self-regulation. This work of calibration will often require the use of others and iterative task engagement.

함의

Implications

요약하면, 학습 위치 피드백에 대한 피드백을 재고하는 것 :

In summary, rethinking feedback for learning repositions feedback:

(1) [교사의 행동]에서 [교사가 참여하는 학생의 행동]에 이르기까지 (일방적 공동 제작, 독백에서 대화로).

(2) 선생님의 거의 독점적 인 사용에서부터 다른 많은 선생님의 것 (단일 출처에서 여러 출처로).

(3) 개인으로서의 학생 행동에서 반드시 동료를 포함하는 것에 이르기까지 (개인주의에서 집단주의로).

(4) 고립 된 행동의 집합에서 시간이 지남에 따라 설계된 일련의 발달 (단일 항목에서부터 커리큘럼에 이르기까지).

(1) From an act of teachers to an act of students in which teachers are part (from unilateral to co-constructed; from monologue to dialogue).

(2) From the almost exclusive use of teachers to that of many others (from single source to multiple sources).

(3) From an act of students as individuals to one that necessarily implicates peers (from individualistic to collectivist).

(4) From a collection of isolated acts to a designed sequence of development over time (from unitary items to curriculum).

학습 중심 접근 방식을 주장한다고해서 교사가 피드백에 redundant해지지는 않습니다. 그러나 오히려 그러한 재배치는 교사에게 다른 역량의 요구를 요구합니다. 교사는 학습 환경의 설계자와 지지자가됩니다. 학생이 agency를 가지고 일할 수있는 조건을 수립합니다. 지속 가능한 피드백의 초점은 [피드백 제공]에서 [학습 환경의 설계, generative task의 seeding, 학생과 교수 간의 상호작용 촉진]에 중점을 둡니다.

The insistence of a learning-centred approach does not render the teacher redundant in feedback. But rather, such repositioning demands of the teacher a different set of competencies. Teachers become designers and sustainers of the learning milieu; establishing conditions in which students can operate with agency. The focus of sustainable feedback shifts 

• from the provision of feedback 

• to the design of learning environments, 

• the seeding of generative tasks and 

• the fostering of interactions with and between students and staff.

우리는 피드백의 초점이 이동해야한다고 제안합니다. 교사는 지금까지보다 학생들의 학습에 관한 더 나은 정보를 필요로하며, 학생들은 그들이 필요로하는 종류의 정보를 끌어내는 기술을 더 잘 발휘할 필요가 있습니다. 이것들은 여전히 ​​피드백 과정이지만, 상호 구성되고 상호 의존적인 것들입니다. 이 변화에서 성공의 척도도 변합니다. 이 변화에서 성공의 척도도 변합니다. 그들은 움직인다.

• 시의 적절하고 상세한 정보 제공에 초점을 두는 것에서

• 자기조절 육성을 위한 타이밍의 적절성과 정보의 성격에 초점을 맞춘 것입니다.

we suggest that the focus of feedback has to shift. Teachers need better quality information about student learning than they have been getting, and students need to better exercise their skills in eliciting the kinds of information they need. These are still feedback processes, but ones that are mutually constructed and co-dependent. The measures of success also change in this shift. They move 

• from a prime focus on timely and detailed information 

• to one in which the focus is on the appropriateness of timing and the nature of information for fostering self-regulation.

---

Abstract

Student feedback is a contentious and confusing issue throughout higher education institutions. This paper develops and analyses two models of feedback: the first is based on the origins of the term in the disciplines of engineering and biology. It positions teachers as the drivers of feedback. The second draws on ideas of sustainable assessment. This positions learners as having a key role in driving learning, and thus generating and soliciting their own feedback. It suggests that the second model equips students beyond the immediate task and does not lead to false expectations that courses cannot deliver. It identifies the importance of curriculum design in creating opportunities for students to develop the capabilities to operate as judges of their own learning.

Keywords: feedback, sustainable assessment, impact on learning, curriculum design