잠재교육과정 다시보기: 총괄평가가 학습에 주는 영향 연구의 비판적 고찰(Assessment & Evaluation in Higher Education, 2010)

잠재교육과정 다시보기: 총괄평가가 학습에 주는 영향 연구의 비판적 고찰(Assessment & Evaluation in Higher Education, 2010)

The hidden curriculum revisited: a critical review of research into the influence of summative assessment on learning

Gordon Joughin*

도입

Introduction

종합평가가 학생들의 학습을 촉진한다는 믿음은 고등교육계에 널리 퍼져 있고, 오래 지속되며, 깊이 자리잡고 있다.

The belief that summative assessment drives students’ learning is widespread, longstanding, and deeply held in higher education circles.

그러나, 이러한 믿음의 경험적 기초는 거의 명확하게 표현되지 않으며, 그 토대가 된 연구는 자주 인용되지만 거의 상세하게 설명되거나 비판적으로 고려되지 않는다.

However, the empirical basis of this belief is rarely articulated, with foundational research cited frequently but rarely elaborated upon or considered critically.

서로 6년 이내에 출판된 세 가지 고전 연구가 이 탐험의 핵심이다. 베커, 기어, 휴즈의 학년 만들기: 대학 생활의 학문적 측면(1968년), 스나이더의 숨겨진 커리큘럼(1971년), 밀러와 패릿의 up to the mark: 시험 게임 연구(1974년)이다.

Three classic studies, published within six years of each other, are at the heart of this exploration: Becker, Geer, and Hughes’ Making the grade: The academic side of college life (1968); Snyder’s The hidden curriculum (1971); and Miller and Parlett’s Up to the mark: A study of the examination game (1974).

세 개의 고전

The classic studies

위에서 언급한 세 작품은 출판된 이후 널리 인용되었으며, 그 중심 사상은 수많은 영향력 있는 책, 기사, 논문, 보고서 등에서 인정되어 왔다. 영국에서 출판된 고등교육의 평가에 관한 대부분의 핵심문헌은 이들 작품 중 하나 이상을 참조한다.

The three works noted above have been widely cited since their respective publications, and their central ideas have been acknowledged in numerous influential books, articles, papers, and reports. Most key texts on assessment in higher education published in the UK make reference to one or more of these works.

적어도 35년이 지난 후에도 이 작품들은 여전히 자주 인용되고 있다.

After at least 35 years, these works continue to be cited as frequently as ever.

그들에게 자주 주어지는 의존성을 고려할 때, 우리가 이러한 작업이 평가와 학습에 대해 무엇을 말하고 있는지, 그들이 보고하는 연구의 특성, 그리고 그들의 발견을 현대적 맥락에 적용할 수 있는지에 대해 명확히 이해하는 것이 특히 중요하다.

Given the reliance that is frequently placed upon them, it is particularly important that we have a clear understanding of what these works have to say about assessment and learning, the nature of the studies they report, and the applicability of their findings to contemporary contexts.

Making the grade (1968)

The hidden curriculum (1971)

Up to the mark: A study of the examination game (1974)

위의 각 연구들은 학생들의 행동에 대한 우리의 이해에 중요한 기여를 했다.

Each of the above studies has made an important contribution to our understanding of student behaviour.

동시에, 위에서 언급한 이러한 연구의 수많은 한계들은 우리가 그들의 발견을 현대 학생들과 고등 교육 기관에 적용하는데 신중하도록 만들어야 한다.

At the same time, the numerous limitations of these studies noted above should make us cautious in applying their findings to contemporary students and higher education institutions:

● 대학생들이 엘리트 집단이었던 시기에 모든 연구가 진행됐다.

● 두 연구(스나이더와 베커 외)는 우리가 현재 발견할 것으로 기대하는 학생 반응의 변화를 식별하지 못하는 방법을 사용하여 학생들을 동질 집단으로 취급한다.

● 연구 중 2개 전공(Miller and Parlett – Law; Snyder – Improganization)으로 제한되었다.

● 이 두 연구는 작은 학생 표본에 기초하였다. 

● 에든버러 연구의 관련 측면은 매우 구체적인 평가 유형 – 최종 검사에 초점을 맞췄다.

● All of the studies were conducted at a time when university students were an elite group.

● Two of the studies (Snyder and Becker et al.) treat students as a homogeneous group, using methods that would not identify the sort of variation in student responses that we would now expect to find.

● Two of the studies were limited to one or two disciplines (Miller and Parlett – law; Snyder – science and engineering).

● These two studies were based on small student samples. 

● The relevant aspect of the Edinburgh study focused on a very specific type of assessment – the final examination.

이러한 연구들은 복제되지 않았고, 또한 복제되지도 않을 것이다: 그것들은 특정한 연구 패러다임에서 생겨났고, 현재 일반적으로 가능한 것보다 더 많은 자원집약적이었으며, 그들의 발견은 몇 년간의 연구 끝에야 나타났다.

These studies have not been replicated, nor are they likely to be: they arose from a particular research paradigm, were more resource-intensive than is now normally possible, and their findings emerged only after several years’ work.

평가가 학습 접근법에 미치는 영향

The influence of assessment on students’ approaches to learning

평가가 학생들의 학습의 원동력으로 작용한다면, 서로 다른 형태의 평가는 서로 다른 방식으로 공부에 영향을 미칠 것으로 예상할 수 있다.

If assessment acts as a driving force of students’ study, it might be expected that different forms of assessment would affect study in different ways.

그 학생의 학습 접근방식은 학생들이 '객관적인' 시험과 에세이 형식의 시험을 위해 어떻게 공부했는지를 비교하는 초기 작업에 의해 정해졌다. 후속 연구는 학생들의 학습 접근방식이 그들이 수행하거나 준비하고 있는 평가 과제의 형태에 영향을 받는다고 제안했다. 또한 이것이 학생들의 과제에 대한 다양한 인식에 의해 매개된다고 보고 있다.이러한 연구와 이와 유사한 연구와 관련하여 두 가지 심각한 어려움이 발생한다.

The tenor of the student approaches to learning studies was set by the early work comparing how students studied for ‘objective’ tests and essay-style tests. Subsequent studies suggested that students’ approaches to learning are influenced by the form of assessment task they are undertaking or preparing for, with a growing recognition of the mediating function performed by students’ varying perceptions of the task. Two serious difficulties arise in relation to these and similar studies.

첫째로, 이러한 연구들 중 많은 것들이 그들의 맥락에 대한 중요한 세부사항을 제공하지 못한다. 구체적으로, 그들은 일반적으로 고려 중인 평가 과제의 인지적 요구를 명시하지 못한다. 결과적으로, 학생들이 특정한 평가 형식이나 그 형식과 관련된 인지적 요구 수준에 반응하고 있는지 알 수 없다. 예를 들어, 학생들이 객관식 시험 준비과정에서 표면적 접근법을 채택한다면, 그들은 시험할 내용이 사실을 묻는 것으로 예상하거나 시험 형식 자체가 표면 접근법을 장려하기 때문에 그렇게 했을 수 있다.

Firstly, many of these studies fail to provide important details of their context. Specifically, they typically fail to specify the cognitive demands of the assessment tasks under consideration. As a result, it is not possible to know if students are responding to a particular assessment format or to levels of cognitive demand associated with that format. For example, when students adopt a surface approach in preparing for a multiple-choice test, they may do so because they anticipate that the content being tested will be factual, or because the test format per se encourages a surface approach.

둘째로, 평가가 학생들의 학습 접근법에 영향을 미칠 수 있다고 하더라도, 그것은 한 방향으로만 영향을 미칠지도 모른다.

Secondly, to the extent that assessment may influence students’ approaches to learning, it may do so in one direction only.

학문에 대한 깊은 접근을 유도하려는 시도는 반대되는 결과를 낳았다.

attempts to induce deep approaches to learning had the opposite result

표면적인 접근을 유도하고 텍스트를 그저 재생산하는 태도를 취하는 경향을 강화하는 것이 쉽다는 것은 분명하다. 그러나, 깊은 접근을 유도하려고 할 때, 그 어려움은 상당히 깊은 것처럼 보인다. (53)

It is obviously quite easy to induce a surface approach and enhance the tendency to take a reproductive attitude when learning from texts. However, when attempting to induce a deep approach the difficulties seem quite profound. (53)

이러한 발견은 램스덴(1997년)과 해기스(2003년)가 강력하게 지지하여 '학습 접근에 대한 평가의 영향은 [더 적절한 평가 형태가 학습에 대한 깊은 접근을 유도할 수 있는 것]이 아니라 [부적절한 평가 형태가 표면적 접근을 유도할 수 있는 것이다]라는 결론에 이른다(Joughin 2009, 22년). 확실히 평가는 그 자체로 학생 학습의 질을 향상시키는데 사용될 수 있다는 견해는 현재 이용 가능한 증거에 의해 뒷받침되지 않는다.

This finding is strongly endorsed by Ramsden (1997) and Haggis (2003), leading to the conclusion that ‘the influence of assessment on approaches to learning may not be that more appropriate forms of assessment can induce a deep approach to learning, but rather that inappropriate forms of assessment can induce a surface approach’ (Joughin 2009, 22). Certainly the view that assessment, on its own, can be used to improve the quality of student learning is not supported by the evidence currently available.

새로운 연구 주제

A new research agenda

아마도 그러한 연구의 가장 근본적인 질문은 '숨겨진 교과과정'이라는 개념이 여전히 적용되는가 하는 것이다.

Perhaps the most fundamental question for such research is whether the very notion of ‘the hidden curriculum’ still applies.

학생들에게 공식적으로 요구되는 것과 교사들이 그들의 학생들에게서 실제로 원하는 것 사이의 상당한 차이가 있다. 더욱이 공식적인 요구가 평가 과제의 개요와 서술이 아무리 상세하고 세심하게 표현된다 하더라도, 오직 그 기대 중 일부만이 명확히 전달될 것이다; 그 기대는 학생마다, 그리고 선생마다 서로 다른 방식으로 인식될 가능성이 있다.

students experienced a significant gap between formal statements of requirements and what teachers actually wanted from their students. Moreover, formal statements in course outlines and descriptions of assessment tasks, however detailed and carefully expressed, will only partly communicate clear expectations; they are likely to be perceived in different ways not only by different students but also by different teachers.

히긴스, 하틀리, 스켈튼(2002년)은 베커 외 연구소의 현대 대학 적용 가능성에 대해 의문을 제기하는 경우는 드물다.

Higgins, Hartley, and Skelton (2002) are rare in their questioning of the applicability of Becker et al.’s work to contemporary universities,

'하지만 영국이라는 맥락에서 오늘날의 학생들에게 이것이 사실일까?'(59) 

‘But is this true for today’s students in the context of the UK?’ (59). 

마찬가지로 알려지지 않은 것은 이전의 학생들보다 더 복잡한 사회 경제적 삶을 살고 있는 현대 학생들이 1950년대와 1960년대 초의 캔자스 주 사촌들과 마찬가지로 가능한 한 높은 학점을 얻고자 하는 열망에 의해 지배되고 있는지 여부다.

Equally unknown is whether contemporary students, with more complex social and economic lives than their earlier counterparts, are as dominated by the desire to achieve the highest grades possible as were their Kansas cousins in the 1950s and early 1960s.

---

The hidden curriculum revisited: a critical review of research into the influence of summative assessment on learning

Gordon Joughin*

Academic Development Unit, University of Wollongong, Wollongong, Northfields Avenue, NSW 2522, Australia

That summative assessment drives learning has become one of the most frequently stated maxims in the literature of assessment and learning in higher education. However, a careful review of the empirical research often cited in support of this proposition may cause us to reconsider its veracity and to seek a more nuanced understanding of the research findings. Seminal research on the influence of assessment on learning in higher education was reviewed on the basis of its context, research methods used, sampling, reported findings, and the generalisability of these findings. This study found that the treatment of the research reported in frequently cited works such as Making the grade, The hidden curriculum, and Up to the mark has often oversimplified, and thus misrepresented, the research findings, leading to singular interpretations of complex, multi-faceted phenomena. Other research suggesting limitations to the capacity of assessment per se to improve students’ approaches to learning is often misunderstood or under-emphasised, leading to the risk of exaggerated claims for the capacity of ‘alternative’ forms of assessment to foster effective learning processes in students. The findings of this review lead to a proposed agenda for empirical research to address what seem to be serious gaps in our understanding of fundamental aspects of the interactions between assessment and learning. 

Keywords: hidden curriculum; approaches to learning; critical review; assessment and learning; cue-consciousness