학습을 위한 평가 AfL 가 대형강의에서도 가능한가? 과제와 대응전략(Asia-Pacific Journal of Teacher Education, 2019)

학습을 위한 평가 AfL 가 대형강의에서도 가능한가? 과제와 대응전략(Asia-Pacific Journal of Teacher Education, 2019)

Is assessment for learning feasible in large classes? Challenges and coping strategies from three case studies

Yueting Xua and Gary Harfittb

aSchool of English and Education, Guangdong University of Foreign Studies, Guangzhou, China; bFaculty of Education, The University of Hong Kong, Hong Kong SAR, China

도입

Introduction

학습에 대한 평가(AfL)는 설계와 실습에서 학생 학습을 우선시하는 평가 접근방식으로서, 잘 구현되면 학생 학습의 중요한 동인으로 널리 인식되고 있다(Wiliam, 2011). AfL은 학습 잠재력 때문에 중국을 포함하여 고등교육(HE) 교육학의 일부가 되었다(Carless, 2017; Sambell, McDowell & Montgomery, 2013).

Assessment for learning (AfL), an assessment approach that prioritises student learning in its design and practice, is widely recognised as a critical driver of student learning when implemented well (Wiliam, 2011). Due to its learning potential, AfL has become part of higher education (HE) pedagogy (Carless, 2017; Sambell, McDowell, & Montgomery, 2013), including the Chinese contexts.

AoL의 원칙은 중국에서 평가의 문화와 잘 맞지만, AfL, 또는 "학습자 및 교사들이 [학습에 사용할 증거]를 찾고 해석하여, 학습자가 어디에 있고, 어디로 가야 하며, 어떻게 가장 잘 도달해야 하는지를 결정하는 과정"(ARG, 2002, 페이지 1)은 "도입된" 개념이다. 평가의 형성적목적을 강조하고, 학습의 다음 단계에서 사용할 수 있는 설명을 만드는 것을 목표로 한다(베리, 2011). ARG가 확인한 세 가지 요인 중, 

• 학습자가 어디에 있는지 판단하는 것은 수업이나 시험에서 교사들이 수집한 정보를 통해 이루어질 수 있다;

• 학생들을 그들이 가야 할 곳으로 이동시키는 것은 교사들이 학습 기준을 명확히 하고 학생들의 현재 학습에 기반을 둘 것을 요구한다. 

• 원하는 목표를 달성하는 최선의 방법은 효과적인 피드백 및 피드포워드를 통해 이뤄질 수 있다

분명히, 이 모든 것들은 평가에서 교사의 지식과 기술, 즉 평가문해력(AL)을 요구한다(Smith, 2011).

While principles of AoL are aligned with the culture of testing in China, AfL, or “the process of seeking and interpreting evidence for use by learners and their teachers to decide where the learners are in their learning, where they need to go and how best to get there” (ARG, 2002, p. 1), is an “imported” concept. It emphasises the formative purpose of assessment and aims at creating descriptions that can be used in the next stage of learning (Berry, 2011). Among the three factors identified by the ARG, 

• judgments about where learners are can be made through teachers’ gleaning information from class work or tests; 

• moving students forward to where they need to go requires teachers to clarify learning criteria and to build on students’ current learning; and 

• the best way to get to the desired goal can be achieved through effective feedback and/or feed forward. 

Clearly, all these require teachers’ knowledge and skills in assessment, namely assessment literacy(AL) (Smith, 2011).

유교 문화권에서, AfL은 한정된 목적(예: 총괄평가의 평성적 사용)부터 확장된 목적(예: 포트폴리오)에 이르기까지 형성적 평가의 "연속체" 상에서 여러 가지 형태를 취할 수 있지만, 중국 교육적 맥락에서의 구현은 복잡하다(베리, 2011). AfL은 교사의 업무의 맥락 안에서 상호작용하는 다양한 요소들(예: 교사, 학생, 기관) 사이의 관여와 공생을 요구한다(Carless, 2011). 그러나 현실은 이러한 각각의 요인들이 시행 과정에서 실질적인 장벽을 전면에 내세울 수 있다는 것이다.

Although AfL can take many forms on a formative “continuum” from a restricted end (e.g., formative use of summative tests) to an extended one (e.g., portfolios) in a Confucius-heritage culture (Carless, 2011), its implementation in a Chinese educational context is complicated (Berry, 2011). It requires engagement and symbiosis among various factors (e.g., teacher, students, and institution) that interact within the context of teachers’ work (Carless, 2011). The reality, however, is that each of these factors may bring to the fore practical barriers in the process of implementation.

제도적 요소를 예로 들면, 커리큘럼과의 오정렬misalignment, 큰 학급 규모, 시간 제약(Liu & Su, 2017) 등은 모두 AfL을 실천하는 데 생기는 실질적인 장애물이다. 중국에서, 큰 학급 크기는 중국 특이적인 맥락적 문제다. CE 교실의 학생-교사 비율은 대학 등록이 급속히 확대됨에 따라 163:1(왕, 2009년)로 보고되고 있다(Xie, 2014년). 또 다른 변수는 교사 요인이다. AfL을 시행하는 교사들은 그들의 신념과 전문지식 면에서 그러한 과정에 대한 준비가 되어 있지 않다(Marshall & Drummond, 2006).

Taking the institution factor as an example, misalignment with curriculum, large class size, and time constraint (Liu & Xu, 2017) are all practical obstacles to AfL practice. In China, large class size is a particular contextual challenge. The student-teacher ratio in CE classrooms is reported to be 163:1 (Wang, 2009) due to the rapid expansion of university enrollment (Xie, 2014). Another variable is the teacher factor. Teachers who implement AfL are unprepared for such processes in terms of their beliefs and expertise (Marshall & Drummond, 2006).

대규모 수업 AfL 실천 프레이밍: 생태학적 관점에서 본 교사의 주체성

Framing AfL practice in large classes: teacher agency from an ecological perspective

대규모 수업은 종종 학생 학습에 부정적인 영향을 미친다고 인식되지만(Bigs, 1999), 다음과 같은 평가 관행에 내재된 장애물이 보고되었다. 

• 채점에 소요되는 고된 시간과 노력(Harfitt, 2013) 

• 수업 지원에 대한 접근 감소(Ballantyne, Hughes & Mylonas, 2002) 

• 대화형 피드백을 위한 기회 감소(Carless, 2015).

While large classes are often perceived to have negative effects on student learning (Biggs, 1999), inherent obstacles to assessment practice have been reported, including 

• an arduous amount of time and effort spent on marking (Harfitt, 2013), 

• reduced access to tutorial support (Ballantyne, Hughes, & Mylonas, 2002), and 

• reduced opportunities for dialogic feedback (Carless, 2015).

이러한 어려움들이 위압적으로 들릴지 모르지만, 대규모 학급에서 평가를 어떻게 그리고 어느 정도까지 방해하는지에 대한 추정이 쉽지는 않다. 그 효과가 다양하고 맥락적인 것으로 볼 때(Bigs, 1999), 학급 규모가 그 자체로 학생 수행의 두드러진 특징이 아닐 수도 있다(Hornsby & Osman, 2014). 이보다 더 중요한 것은 참가자들, 즉 학습자들과 교사들이다. 수상 경력이 있는 많은 교사들이 대형 강의(카리스, 2015년)에 참여했다는 점을 감안하면 대형 강의의 효과를 판단하는 데 있어 교사의 역할과 영향력이 더 두드러진 것으로 보인다.

Although these challenges may sound daunting, easy extrapolations cannot be made concerning how and to what extent large classes impede assessment. Given that its effects are varied and contextual (Biggs, 1999), class size in and of itself is arguably not a distinguishing feature of student performance (Hornsby & Osman, 2014). What matters instead are the participants, namely, learners and their teachers. Given that many awardwinning teachers have been involved in teaching large classes (Carless, 2015), it seems that the role and influence of teachers are more prominent in determining the effectiveness of teaching large classes.

그러나, [교사들의 효과적인 실천]은 그들에게 주어진 특정한 생태학적 조건과 상황에서, [어떻게 그리고 어느 정도까지 agency를 행사할 수 있느냐]에 따라 크게 좌우된다. 이것은 행위자actor들이 "문제상황에 대한 그들의 반응을 비판적으로 형성하는" 방식에 관한 것이다. 교사들이 교육 시나리오에 어떻게 반응하는지를 평가하기 위해, 기관은 "행위자-상황 transaction의 새로운 현상"으로 이해될 필요가 있다는 것을 의미한다. 즉, agency란 교사들이 가지고 있는 자질이 아니라, 교사들의 "시간 관계적 맥락과 행동"을 가진 "engagement의 질"이다.

Effective practice of teachers, however, largely depends on how and to what degree they are able to exercise agency in and through particular ecological conditions and circumstances; this concerns the way in which actors “critically shape their responses to problematic situations” (Biesta & Tedder, 2007, p. 138). It means that to evaluate how teachers respond to educational scenarios, agency needs to be understood as “an emergent phenomenon of actor-situation transaction” (Biesta, Priestley, & Robinson, 2015, p. 626). In other words, agency is not a quality that teachers have, but “a quality of the engagement” of teachers “with temporal-relational contexts-for-actions” (Biesta et al., 2015,p.626).

우리는 이 논문에서 기관의 생태학적 관점을 채택하고 공간적으로 그리고 시간적으로 agency의 이해의 중요성을 강조한다. 즉, agency의 성과는 과거의 경험, 현재와의 투사적 평가 및 가능성에서 비롯된 개인의 노력과 특정한 환경에서 이용 가능한 문화, 구조 및 물질적 자원 및 제약 사이의 상호 작용이다. 교사들이 그들의 agency을 enact할 수 있는 정도는 [어떻게 교사가 상황적 가능성과 제약들 사이에서 그들의 믿음, 가치 그리고 속성을 동원하느냐]에 달려 있다(Priestley, Edwards, Priestley, 2012). 교사들이 전문적 agency의 enact을 지원할 수 있는 긍정적인 속성은 탄력성, 책임성, 헌신, 자율성 및 관리를 포함할 수 있다(Edward, 2015).

We adopt this ecological perspective of agency in this paper and emphasise the importance of understanding agency both spatially and temporally. In other words, achievement of agency is an interplay between individual efforts which derived fromone’s past experience, projective evaluations and possibilities with the present, and cultural, structural and material resources and constraints available in particular settings. The extent to which teachers are able to enact their agency depends on how they mobilise their beliefs, values and attributes among contextual possibilities and constraints (Priestley, Edwards, Priestley, & Miller, 2012). Positive attributes that may support teachers to enact their professional agency can include resilience, responsibility, commitment, autonomy and care (Edward, 2015).

특정한 생태학적 조건 하에서, 주체적agentic 교사들은 학생 배움을 지원하기 위해 적절한 전략을 채택하여, 대규모 학급에서 발생하는 도전을 혁신의 기회로 전환할 수 있다. (Hornsby & Osman, 2014) 일부 연구는 오디오 피드백(Savin-Baden, 2010)과 혼합 학습 접근법(Snowball, 2014)의 온라인 교수 및 학습과 같은 기술이 교사가 학습자에게 보다 간결한 피드백을 제공하는 데 도움이 될 수 있다고 제안한다. 또한 동료 평가는 학생들이 평가 과제에 대비하고 필요한 물류를 자동화할 경우 교사의 평가 작업량을 줄일 수 있다(Ballantyne et al., 2002; Mostert & Snowball, 2013). 또한 지속적인 평가는 대규모 수업에서의 자습서 참석을 개선할 수 있다(예, 2009). 

Under particular ecological conditions, agentic teachers adopting appropriate strategies are able to convert specific challenges brought by large classes into innovative opportunities in support of student learning (Hornsby & Osman, 2014). Some studies suggest that technology such as audio feedback (Savin-Baden, 2010) and online teaching and learning in a blended learning approach (Snowball, 2014), may help teachers provide more succinct feedback to learners. In addition, peer assessment may reduce teachers’ assessment workloads if he/she prepares students for the assessment tasks and automates the necessary logistics (Ballantyne et al., 2002; Mostert & Snowball, 2013). Continuous assessment may also improve tutorial attendance in large classes (Yeh, 2009). 

그러나 이러한 생태학적 조건, 즉 행동의 맥락(Biesta & Tedder, 2007)은 [이 과정에서 적극적인 역할을 수행하지 못할 경우] 자동으로 교사들이 쉽게 사용할 수 있는 자원이 되지는 않을 것이다. 따라서, 학급 규모 자체보다는 전문적인 주체적 교사들을 확보하는 데 더 연구초점을 두어야 한다(Mulryan-Kyne, 2010).

These ecological conditions, or contexts-for-actions (Biesta & Tedder, 2007), however, will not automatically become resources readily available for teachers’ use if they fail to play an active role in the process. Thus, research suggests that a heavier focus should be placed on ensuring professionally agentic teachers, rather than on class size per se (Mulryan-Kyne, 2010).

방법

Methods

RQ1: 대규모 학급이 교사의 아프리카 관행에 어떤 도전 과제를 제시하는가?

RQ1: What challenges do large classes present to teachers’ AfL practices?

RQ2: 대형 강의실의 교사들은 어떤 대처 전략을 사용하는가?

RQ2: What coping strategies do teachers of large classes use?

연구 맥락

Research context

3명의 참가자가 가르치는 수업은 각각 57명, 50명, 45명으로 구성됐다. 모든 학생들은 그들의 전반적인 영어 실력을 향상시키기 위해 고안된 일반 영어 강좌에 등록되었다. 세 명의 교사가 사용한 평가 계획은 다양했지만(표 1 참조), 이들의 공통점에는 최종 시험과 수업 출석의 많은 비율과 비논리적 요소로서의 참여 우선순위가 포함되었다.

The classes taught by the three participants consisted of 57, 50, and 45 students respectively. All of the students were enrolled in a General English course designed to enhance their overall English proficiency. Although the assessment plans used by the three teachers varied (see Table 1), their commonalities included the large proportion of the final examination and class attendance and participation being prioritised as an inherent component.

참가자

Participants

데이터 수집

Data collection

데이터 분석

Data analysis

분석을 용이하게 하기 위해 정성 데이터 분석 소프트웨어인 NVivo 9.0을 사용했다.

A qualitative data analysis software, NVivo 9.0, was used to facilitate the analysis.

한계

Limitations

결과

Findings

불충분한 주의집중 대처하기

Dealing with inadequate attention to individual students

첫 번째로 관찰된 과제는 개별 학생의 부적절한 관심으로, 이는 교사가 학생들의 진행 상황을 모니터링하고 이후의 교육 및 피드백 활동에 필요한 학습 데이터 수집을 방해했다. 그것은 교사와 대규모 수업의 학생들 사이에 신체적 근접성이 낮은 것에 따르는 직접적인 효과다.

The first observed challenge is inadequate attention to individual students, which hindered the teachers’ ability to monitor student progress and to collect learning data necessary for subsequent instruction and feedback actions. It is a direct effect of a low degree of physical proximity between the teacher and students in large classes.

린다의 수업에서는 57명의 학생들 모두가 집단으로 앉도록 요구받았지만, 그녀는 덜 반응하는 그룹들은 무시하면서 좀더 활동적인 그룹에만 관심을 기울일 수 있었다(린다: [CO-EPs-2, 3, 5, 8, 11, 13]. 로사의 경우, 그녀는 고정된 좌석 배치 때문에 교실 뒤에 앉아 있는 학생들을 항상 보고 들을 수 없었다(로사: [CO-EPs-2-14]). 마찬가지로 메이는 "멀티미디어" 교실에서 그녀와 눈을 마주치지 않기 위해 일부러 컴퓨터 화면 뒤에 숨었기 때문에 그녀의 학생들 중 일부를 볼 수 없었다.

In Linda’s class, even though all of the 57 students were required to sit in clustered groups, she only managed to pay attention to the more active groups while neglecting the less responsive ones (Linda: [CO-EPs-2, 3, 5, 8, 11, 13]). In Rosa’s case, she could not always see and hear those students sitting at the back of the classroomdue to the fixed seating arrangements (Rosa: [CO-EPs-2-14]). Similarly, May could not see some of her students because they deliberately hid behind their computer screens to avoid eye contact with her in their “multi-media” classroom (May:[CO-EPs-1-10]).

린다는 그 후 그룹화 전략을 강제했다. 그녀는 학생들을 무작위로 그룹으로 묶고, 수업 시간에 그룹으로 함께 앉아 수업이 끝난 후 몇 가지 과제에 대해 협력할 것을 요구했다(린다:[CO-EPs-1-14]). Linda는 나중에 이러한 전략이 자신이 추가적인 관심과 지원을 제공할 수 있는 [반응도가 낮은 그룹을 식별]하는 데 유용하다는 것을 알게 되었다(Linda:[COEPs-2-14]).

Linda then mandated a grouping strategy. She put students in groups randomly, and required them to sit together as groups in class and to collaborate on some tasks after class (Linda:[CO-EPs-1-14]). Linda later found this strategy useful in identifying the less responsive groups to whom she could provide extra attention and support (Linda:[COEPs-2-14]).

같은 도전에 대응해 메이가 내놓은 해법은 이름과 얼굴을 외우는 것이었다. 첫 번째 수업에서 그녀는 모든 학생들의 머리 사진을 찍고 첫 주(5월:[CO-EP-1]) 동안 각 학생들을 알아보려고 했다. 어떤 학생이라도 이름을 부르며 쉽게 찾아올 수 있는 이 능력은 그녀의 학생들에게 깊은 인상을 주었다.

Responding to the same challenge, May’s solution was to match names with faces. In the first class, she took headshots of every student and tried to recognise each of them during the first week (May:[CO-EP-1]). This ability to effortlessly call on any student by name impressed her students (May: [CO-EPs-2-8]).

대규모 수업에서 학생들의 의도적인 익명성에도 불구하고, 메이의 전략은 효과적으로 개인 가시성을 높이고 결석을 줄였다(May:[CO-EPs-3-10]). 그것은 좋은 환경을 육성하고 유지하기 위한 노력의 일환이었다. 즉, 학생들이 아프리엘의 필수 목표인 자기 규제 학습자가 되도록 하는 "진료의 에토스"(Sutton, 2012, p. 39)가 되었다.

Despite students’ deliberate anonymity in large classes, May’s strategy effectively increased individual visibility and reduced absenteeism (May:[CO-EPs-3-10). It was part of her effort to nurture and maintain a conducive environment, or “ethos of care” (Sutton, 2012, p. 39), which would lead to students’ becoming self-regulated learners, an essential goal of AfL.

개별화된 피드백 제공기회 감소에 대한 대처

Coping with reduced opportunities for individualised feedback

두 번째 어려움은 개별화된 피드백의 기회 감소이다. 세 교사 모두 시간적 제약을 한 요인으로 꼽았다.

The second challenge is reduced opportunities for individualised feedback. All three teachers pointed to time constraints as a factor.

커리큘럼(및 다른 교사들)에 보조를 맞추어야 한다는 강한 압력을 감안하여, 로자와 메이는 주로 전체 수업 방식(Rosa:[CO-EPs-13]), 5월:[CO-EPs-1-10])을 채택했고, 종종 전체 반에 문제를 제시하고, 어떤 학생으로부터 신속하고 정확한 응답을 기다리고 있다. 만약 빠른 응답이 나오지 않는다면, 교사가 스스로 질문에 대답할 것이다. 이러한 방식의 파장은 학생 대다수를 좌절시키는 동시에 적극적 학생만 참여시켰다는 것이었다.

Given the intense pressure to keep pace with the curriculum (and other teachers), Rosa and May largely adopted a whole-class teaching style (Rosa:[CO-EPs-1-13]); May:[CO-EPs-1-10]), often posing a question to the entire class and waiting for a quick, correct response from any student. If a quick response was not forthcoming, they would answer the question themselves. The repercussions of this practice were that it only engaged high performers while discouraging and disengaging the majority of the class.

이에 대처하기 위해 린다는 두 가지 전략을 채택했다. 하나는 "온라인 청취 모듈"을 위한 시간대를 이용하여 작성 컨퍼런스(Linda : [CO-EPs-3,7,10,13])를 실시하는 것으로, 이 세션은 언어 실험실에서 듣기 연습을 실시하도록 요구하는 "학습 모국어 자체" 세션이다. 비록 린다가 신체적으로 수업에 있을 필요는 없었고, "많은 동료들처럼 채점이나 학술적인 독서를 하기 위해 시간을 쓸 수도 있었다"(린다:[I-4: LL23], 그녀는 자발적으로 자신의 자유시간을 희생해 개별 학생들과 글쓰기 숙제에 대해 이야기를 나누었다.

To cope, Linda adopted two strategies. One was to conduct writing conferences (Linda: [CO-EPs-3,7,10,13]) using the timeslots for “online listening modules”, which are “learning-on-your own” sessions that require students to do listening exercises in the language laboratory. Although Linda did not have to physically be in class, or could have used the time to “do some marking or academic reading like many colleagues” (Linda:[I-4: LL23], she voluntarily sacrificed her free time to talk with individual students about their writing assignments.

Linda의 두 번째 전략은 인지적 비계 및 사회적 영향을 주는 지원을 통해 동료 피드백을 가능하게 하여 교사 피드백을 보충할 수 있도록 하는 것이었다(Linda:[CO-EP -3,6,10,13]). 다음 수업 발췌문은 학생 구두 발표 중 린다의 피드백을 설명하였다. 첫 번째 예에서, 그녀는 학생들이 "체면을 챙기는" 걱정을 버리고 비판적인 논평을 하도록 격려함으로써 사회적 영향을 주는 지원을 제공했다. 두 번째 예에서, 그녀는 학생들에게 프레젠테이션에 대한 질문을 제기하는 방법을 모델링하고 이해를 증진시키기 위해 동료 피드백을 바꾸는 인지적 비계를 제공했다.

Linda’s second strategy was to enable peer feedback through cognitive scaffolding and social-affective support so that it could supplement teacher feedback (Linda:[CO-EPs -3,6,10,13]). The following class excerpts illustrated Linda’s feedback enabling processes during student oral presentations. In the first example, she offered social-affective support by encouraging students to abandon the “face-saving” concern and to give critical comments. In the second example, she provided students with cognitive scaffolding by modelling how to raise questions for a presentation and rephrasing peer feedback to enhance comprehension.

린다와 달리 로사는 위챗(중국에서 가장 인기 있는 소셜 미디어 플랫폼)을 통해 학생들과 함께 오디오 피드백을 사용했다. 학생들의 프레젠테이션 개요를 받은 후, 그녀는 이 온라인 그룹(Rosa:[D-WeChat])을 통해 오디오 피드백을 전달했고, 이 그룹은 그 후 전 학급이 접근할 수 있었다.

Unlike Linda, Rosa used audio feedback with her students via WeChat (the most popular social media platform in China). After she received students’ presentation outlines, she delivered audio feedback through this online group (Rosa:[D-WeChat]), which was then accessible to the entire class.

이와는 대조적으로, 메이느 개별화된 피드백에 대한 기회 감소의 도전을 극복하는 데 거의 기여하지 않았으며([CO-EPs-3-14]), 두 가지 설명적 요인(5월: [I-7-LL78-96])을 제시하였다. 첫째, 그녀는 먼 새 캠퍼스에서 집으로 가는 버스(80km 떨어진 곳)를 놓칠 수 없었기 때문에 개인들에게 피드백을 주기 위해 방과 후에 머물 수 없었다. 둘째, 그녀는 소셜 미디어를 거의 사용하지 않았고, 따라서 이러한 플랫폼을 통해 학생들과 학습에 대해 이야기할 기회를 놓쳤다. 메이의 상황에서 개인화된 피드백이 거의 불가능해 보이는 것은 유감스러운 일이었다.

In contrast, May did little to overcome the challenge of reduced opportunities for individualised feedback (May: [CO-EPs-3-14]) and offered two explanatory factors (May: [I-7-LL78-96]). First, she could not stay after class to give feedback to individuals because she could not afford to miss her bus home (80 km away) from the distant new campus. Second, she rarely used social media, and thus missed the opportunity to talk with students about their learning via these platforms. It was unfortunate that individualised feedback seemed almost impossible in May’s practice.

압도적인 채점 업무 관리 

Handling overwhelming marking responsibilities 

또 다른 문제는 채점이었다. 표시하기 위한 많은 쓰기 과제들이 교사들이 신뢰할 수 있고 시기적절하게 표시하는 능력에 영향을 주고 방해했다.

Another challenge was marking. A heavy number of writing assignments to mark influenced and impeded the teachers’ abilities to mark in a reliable and timely manner.

그 후 로사는 공식 점검을 위해 "기술적으로 편리한" 캠퍼스를 보여주기 위해 그녀의 대학이 구입한 자동 에세이 채점(AES) 웹사이트에 적극적으로 지원을 요청했다(Rosa: [D-AES]. 이 웹사이트의 존재는 지속가능하기 보다는 무작위였지만, 제출된 에세이마다 문법, 단어 선택, 구조 및 기계적 문제에 관한 등급과 피드백을 모두 제공하였다. 제출된 초안이 많을수록 피드백이 증가하고 수정이 많을수록 부여된 등급이 높아진다(Rosa: [D-AES]).

Rosa then actively sought support from an automatic essay scoring (AES) website that her university had purchased to showcase their “technologically facilitated” campus for the official inspection (Rosa: [D-AES]). While the existence of this website was random rather than sustainable, it provided both grades and feedback concerning grammar, word choice, structure, and mechanical issues for each submitted essay. The more drafts submitted, the more feedback obtained and the more revisions made, the higher the grades awarded (Rosa: [D-AES]).

좋은 샘플에만 피드백을 제공하는 Rosa의 관행은 문제가 있어 보일 수 있지만, 그녀는 더 많은 전반적global 이슈(즉, 내용과 구조)에 그녀의 피드백을 집중하는 방식으로, AES 웹사이트를 잘 이용했다(5월 : [D-AES]. 이와는 대조적으로, 린다와 메이는 이 웹사이트에 접속하지 못했고, 학생 과제를 적시에 표시하지 못한 것을 후회했다.

Although Rosa’s practice of providing feedback to the good samples only might seem problematic, she did make good use of the AES website by focusing her feedback on more global issues (i.e., content and structure) (May: [D-AES]). By contrast, Linda and May did not have access to this website and regretted not being able to mark student assignments in a timely manner.

학생을 평가에 참여시킴으로써 위기를 기회로 전환

Turning challenges into opportunities by involving students in assessment

교사들이 직면하고 있는 네 번째 도전은 수업 중에 학생들을 평가에 참여시킬 기회가 적다는 것이었다. 이는 동료 평가 활동에는 대개 다른 사람의 작업을 평가하는 방법에 대한 관련 교육이 필요하기 때문이며, 이는 매우 시간이 많이 소요될 수 있고 따라서 대규모의 환경에서 더 비현실적으로 보일 수 있다.

The fourth challenge confronting the teachers was fewer chances to involve students in assessment during class. This is because peer assessment activities usually require relevant training on howto evaluate others’ work, which can be very time-consuming and therefore seems more impractical in large-class settings.

이 전략은 시간 제약 문제를 해결했지만, 학생과 교사 모두에게 더 많은 헌신을 요구했다. 일부 학생들은 처음에 추가 작업에 대해 불평했지만, 로사는 완료된 피드백 시트에 대해 추가 학점을 제공했다(Rosa: [CO-EPs-4-13]. 결국 대부분의 동료 피드백은 "양심적으로" 수행되었다. (로사: [I-5: L3])

While this strategy remedied the issue of time constraints, it demanded more commitment from both students and teachers. Although some students complained about the extra work at the beginning, Rosa offered extra credits for completed feedback sheets (Rosa: [CO-EPs-4-13). Eventually most of the peer feedback was done “quite conscientiously.” (Rosa: [I-5: L3])

로자와는 달리 메이는 퀴즈 관리 방식을 바꿔 학생들을 '피평가자'에서 '평가자'로 변화시켰다(5월: [CO-EPs-4-8]). 퀴즈는 전통적으로 학습된 내용이 실제로 학습되었는지 여부를 측정하는 것을 목표로 하는 AoL 활동이다. 그녀의 처음 두 번의 받아쓰기가 학생들을 낙담시켰을 때, 메이는 그녀의 연습을 적응시켰다. 세 번째 퀴즈부터, 그녀는 학생들에게 그룹별로 최소한 한 개의 받아쓰기 목록을 작성하도록 요구했는데, 그 중에서 그녀는 무작위로 하나를 선택했다.

Unlike Rosa, May transformed her students from “‘assessees” to “assessors” by changing how she administered quizzes (May: [CO-EPs-4-8]). Quizzes are conventionally an AoL activity aiming at measuring whether what was taught has actually been learned. When her first two dictations discouraged her students, May adapted her practice. From the third quiz onwards, she required students to work out at least one dictation list in groups, from which she would randomly pick one.

고찰

Discussion

대규모강의에서 유용한 AfL의 형태

Useful forms of AfL in large classes

AfL의 타당성 : 교사기관과 시간적, 상황적 조건 간의 타협

Feasibility of AfL: compromises made between teacher agency and temporal and contextual conditions

대규모 수업의 도전과 교사들의 대처 전략과 관련된 발견들은 AfL의 실현가능성은 교사의 agency와 시간적, 상황적 조건 사이의 타협이라는 것을 암시한다. 조사 결과를 면밀히 살펴보면 시간적, 상황적 조건이 AfL의 실현가능성을 위해 필요하지만 불충분한 조건을 구성하여 교사의 주체적agentic 선택과 행동에 가능성과 도전을 모두 제공할 수 있음을 알 수 있다. 이 주장은 기관의 적절하고 적절한 자원의 제공을 강조한 이전 연구(MulryanKyne, 2010)와 일치하지만, 우리의 연구결과는 이러한 맥락적 및 시간적 조건이 작용하는 두 가지 상황을 명시한다. 한 상황에서, 어떤 조건들이 촉진적으로 보일 수 있지만, 일시적일 뿐이며, 교사 agency가 없이 자동적으로 행동의 기회로 바뀌지는 않는다.

Findings related to the challenges of large classes and the teachers’ coping strategies suggest that the feasibility of AfL is something of a compromise between teacher agency and specific temporal and contextual conditions. A scrutiny of the findings reveals that temporal and contextual conditions constitute a necessary but insufficient condition for feasibility of AfL, providing both possibilities and challenges for teacher agentic choices and actions. While this argument aligns with prior research that highlighted the provision of adequate and appropriate resources by the institution (MulryanKyne, 2010), our findings specify two situations where these contextual and temporal conditions work. In one situation, these conditions might seem facilitative, but often transient and do not automatically turn into opportunities for actions without teacher agency.

위와 같은 교사들의 agentic 선택과 행동에 대한 분석은, 교사의 agency가 대규모 수업에서 주로 AfL 실현가능성의 정도를 결정하는 원동력임을 보여준다. 그러나, 어떻게 교사 기관이 시간적, 상황적 조건을 갖춘 학생 학습을 위해 유용한 타협을 할 수 있느냐는 교사들이 인지적이고 정서적으로 어느 정도 준비가 되어 있느냐에 달려 있다. 

The above analyses of the teachers’ agentic choices and actions indicate that teacher agency is the driving force that mainly decides the extent of AfL feasibility in large classes. However, how teacher agency is able to make useful compromises for student learning with temporal and contextual conditions largely depends on the extent to which teachers are cognitively and affectively prepared. 

인지적 준비는 교사의 과거 경험을 자원으로 크게 끌어들이는 교사 agency의 시간적 차원에 의해 가능하게 할 수 있다. 이상적으로, 교사들은 그들의 과거 경험이나 현재 진행중인 교사 교육 프로그램에서 상당한 수준의 AL을 획득하고 특정 교실에서 적응적으로 사용하는 방법을 배울 것으로 예상된다. 특히, 우리는 드루카 외 연구진(2015)의 견해뿐만 아니라, AL 제정에 대한 Smith의 결론에 따르면, 성공적인 AfL 실천을 위한 전제조건으로 적절한 교육적 맥락에서 교사들은 AfL의 근거, 원칙 및 특징을 알 필요가 있다.

Cognitive preparations can be made possible on the temporality dimension of teacher agency that draws heavily on teachers’ past experiences as resources. Ideally, teachers are expected to acquire a substantial level of AL in their preand in-service teacher education programmes and learn how to use it adaptively in specific classrooms (MacLellan, 2004;Xu&Brown,2016). Specifically, we support Smith’s(2011) conclusion about AL as the prerequisite to successful AfL enactment, as well as DeLuca et al.’s(2015) view concerning the rationale, principles, and features of AfL required by teachers in appropriate educational contexts.

이러한 지식은 평가 과정이나 워크숍과 같은 공식적인 훈련 기회를 통해 교사들에게 전통적으로 전달되지만, 세 가지 사례 교사들의 경험은 [직장에서 배우는 것]과 [스스로 배우는 것]이 그들의 AL을 준비하는 두 가지 실용적인 방법이라는 것을 암시한다. 예를 들어, 방문 학자로서 린다의 관찰 경험은 그녀의 AL을 작문 컨퍼런스를 개최하고 동료들의 피드백을 가능하게 하기 위해 준비했다. 또 다른 예에서, 로사의 기술에 대한 독학적인 전문지식은 AES 웹사이트와 오디오 피드백을 비교적 쉽게 사용할 수 있도록 그녀의 AL을 준비했다. 비록 불충분하지만, 무작위로 수집된 이러한 경험들은 교사들이 기관의 달성에 대해 인지적으로 준비한 AL 선생님에게 중요한 입력이다.

While such knowledge is conventionally delivered to teachers through formal training opportunities, such as assessment courses and workshops, the three case teachers’ experiences suggest that learning on the job and teaching oneself are two practical ways of preparing their AL. For example, Linda’s observational experience as a visiting scholar had prepared her AL for conducting writing conferences and enabling peer feedback. In another example, Rosa’s self-taught expertise in technology had prepared her AL in terms of using the AES website and audio feedback with relative ease. Although insufficient, these randomly collected experiences are important input for teacher AL, which prepared teachers cognitively for their achievement of agency.

그러나 인지적 대비만으로는 교사들이 그들의 대리점을 행사하고 시간적, 상황적 조건으로 학생들의 학습에 도움이 되는 타협을 하기에는 충분하지 않다. 우리의 발견은 그것이 회복력, 책임감, 보살핌과 같은 긍정적인 믿음, 가치, 속성을 수반하는 감정적 대비가 결합될 필요가 있음을 시사한다(Edward, 2015; Priestley et al., 2012). 이 사례에서 주목할 만한 예로는 린다가 컨퍼런스 작성에 소요된 여분의 시간, 이름과 얼굴을 일치시키기 위해 메이즈 스포트, 로사의 오디오 피드백과 AES 웹사이트 사용 등이 있는데, 이 모든 것들은 추가적인 노력이 필요했다. 기관 성취에 대한 감정적인 레퍼토리의 일부로서 이러한 속성은 실제로 교사들이 그들의 AL을 활성화하고 학생 배움을 위한 전문적인 결정을 내리는 것을 지원했다.

Cognitive preparedness alone, however, is not sufficient for teachers to exercise their agency and make compromises that benefit student learning with the temporal and contextual conditions. Our finding suggests that it needs to be joined by affective preparedness, which entails positive beliefs, values, and attributes such as resilience, responsibility, and care (Edward, 2015; Priestley et al., 2012). Notable examples from the cases include the extra time that Linda spent on writing conferences, May’sefforts to match faces with names, and Rosa’s use of audio feedback and AES website, all of which required extra commitment. These attributes as part of affective repertoire for agency achievement actually supported teachers to activate their AL and to make professional decisions for student learning.

결론

Conclusions

우리의 중심적인 발견은 AfL이 여전히 대규모 수업에서 실현가능하지만, 선생님들이 그들 자신의 주체성agency과 시간적 그리고 상황적 조건 사이에서 내리는 타협에 달려있다는 것을 암시한다. 그들의 타협이 학생들의 학습에 용이하게 하는 정도는, 다시 말해서, 교사를 얼마나 인지적으로(즉, AL능력) 그리고 정서적으로(즉, AfL에 대한 헌신) 준비시키는가에 달려 있다. 

Our central finding suggests that AfL is still feasible in large classes but depends on the compromises that teachers make between their own agency and temporal and contextual conditions. The extent to which their compromises made are facilitative to student learning, in turn, relies on how cognitively (i.e., AL) and affectively (i.e., commitment to AfL) prepared teachers are. 

교사들이 기술을 이용하고 학생들이 참여시킨 평가를 이용하는 것은 유용한 타협안의 예들이다. 그것은 인지적으로 그리고 정서적으로 준비된 agency가 대규모 학급(또는 이와 유사한 불이익 구조적 환경)의 부정적인 영향을 최소화하고 AfL의 학습적 잠재력을 가져올 수 있음을 시사한다. 대규모 학급이 현실인 상황의 경우, 동료가 관여하는 AfL 활동뿐만 아니라 기술 중심의 커리큘럼과 학습 커뮤니티를 개발하기 위해 자원이 더 잘 할당될 수 있다(재할당될 수 있다.

The case teachers’ use of technology-facilitated and student-involved assessments are examples of useful compromises made. It suggests that agentic practitioners who are both cognitively and affectively ready can minimise the negative effects of large classes (or any other similar disadvantaged structural environment) and bring out the learning potential of AfL. For those contexts where large classes are a reality, resources might be better (re)allocated to develop technology-facilitated curricula and learning communities, as well as peer-involved AfL activities.

---

Is assessment for learning feasible in large classes? Challenges and coping strategies from three case studies

Yueting Xu &Gary Harfitt

Pages 472-486 | Received 10 May 2017, Accepted 24 Nov 2018, Published online: 11 Dec 2018

ABSTRACT

While assessment for learning (AfL) has been widely used in college English classrooms in China where teachers usually teach large classes, how AfL is implemented in the large-class higher education (HE) context is relatively underexplored. To address this gap, this study explores some of the challenges presented by large classes and the teachers’ coping strategies through case studies of three university English teachers’ AfL practices. Challenges are identified surrounding how the teachers dealt with (a) inadequate attention to individual students, (b) reduced opportunities for individualised feedback, (c) overwhelming marking responsibilities, and (d) involving students in assessment, with strategies of putting students in groups, matching names with faces, conducting teacher-student conferences, utilising technology to facilitate feedback processes, enabling peer feedback, and transforming students from assessees to assessors. Findings are framed around useful forms of AfL in large classes and the feasibility of AfL in terms of compromises between teacher agency and their temporal and contextual conditions. The paper concludes with implications for teacher assessment training, teacher education and policy-making.

KEYWORDS: Assessment for learning (AfL), large classes, teacher agency, assessment literacy (AL)