수업에 능동적 참여했을 때 [실제 학습]과 [학습 느낌]의 측정(PNAS, 2019)

수업에 능동적 참여했을 때 [실제 학습]과 [학습 느낌]의 측정(PNAS, 2019)

Measuring actual learning versus feeling of learning in response to being actively engaged in the classroom

Louis Deslauriersa,1, Logan S. McCartya,b, Kelly Millerc, Kristina Callaghana, and Greg Kestina

학생들은 소극적인 강의 환경보다 교실에서 적극적으로 활동할 때 더 많이 배운다. 광범위한 연구는 특히 대학 수준의 과학 코스에서 이러한 관찰을 뒷받침한다. 또한 연구에 따르면, 적극적인 교수 전략은 강의 출석, 참여, 학생들이 이 분야에 대한 전문가적 태도를 습득하는 것을 증가시킨다(3, 799). 이러한 압도적인 증거에도 불구하고, 대부분의 강사들은 적어도 대규모 대학 수업과정(10–12)에서는 여전히 전통적인 방법을 사용하고 있다.

Students learn more when they are actively engaged in the classroom than they do in a passive lecture environment. Extensive research supports this observation, especially in college-level science courses (1–6). Research also shows that active teaching strategies increase lecture attendance, engagement, and students’ acquisition of expert attitudes toward the discipline (3, 7–9). Despite this overwhelming evidence, most instructors still use traditional methods, at least in large-enrollment college courses (10–12).

왜 이런 열등한 교육방법이 계속되는 것일까? 

• 강사들은 시간 부족, 자원 부족, 부서 지원 부족, 학습내용커버 대한 우려, 교수 평가(13– 18) 우려 등을 능동적 교육 전략을 채택하지 못하는 장애물을 많이 꼽는다. 

• 그들은 또한 학생들이 적극적인 교육 전략에 저항하고 전통적인 방법(10, 14, 17, 19, 22)을 선호한다고 인식한다. 

• 실제로 적극적 교육을 시도하는 강사의 3분의 1이 결국 소극적 강의로 돌아가는데, 그 이유(23개)로 학생들의 불만을 많이 들었다. 

• 강사들은 학생들이 서로 강제적으로 교류하는 것을 싫어하고(15, 17, 24), 자기 자신의 학습에 대한 책임감이 증가하는 것에 대해 원망하고(21, 22), "맹자가 맹인을 리드할 수 없다"(19)고 불평한다고 말한다. 

Why do these inferior methods of instruction persist? Instructors cite many obstacles preventing them from adopting active teaching strategies, such as insufficient time, limited resources, a lack of departmental support, concerns about content coverage, and concerns about evaluations of their teaching (13– 18). They also perceive that students resist active teaching strategies and prefer traditional methods (10, 14, 17, 19–22). Indeed, one-third of instructors who try active teaching eventually revert to passive lectures, many citing student complaints as the reason (23). Instructors report that students dislike being forced to interact with one another (15, 17, 24), they resent the increase in responsibility for their own learning (21, 22), and they complain that “the blind can’t lead the blind” (19). 

보다 최근의 문헌에 따르면, 강사들이 적극적인 학습을 설명하고 촉진한다면, 그것에 대한 학생들의 태도는 한 학기에 걸쳐 향상될 수 있다(25, 26). 그러나, 이러한 연구들은 학습자료에 적극적으로 관여engage하는 것에 대한 학생들의 고유하고 편견 없는 반응을 측정하지 않는다. 교사의 촉진promotion 없이 학생들이 능동적인 학습에 어떻게 자연스럽게 반응하는지에 대해서는 알려진 바가 없다. 또한 이전의 연구에서는 능동적인 교육 과정과 수동적인 교육을 위해 서로 다른 교육 과정 자료를 사용했으며, 교육 과정의 효과와 교육 과정 자료를 혼동할 가능성이 있었다.

More recent literature shows that if instructors explain and facilitate active learning, student attitudes toward it can improve over the course of a semester (25, 26). However, these studies do not measure students’ inherent, unbiased response to being actively engaged with the material. There is nothing known about how students naturally react to active learning without any promotion from the instructor. In addition, previous studies used different course materials for active versus passive instruction, potentially confounding the effect of pedagogy with that of course materials.

전통적인 강의의 학생들과 비교했을 때, 활동적인 수업의 학생들은 덜 배운다고 느끼지만, 실제로는 더 많이 배운다. 학생들은 (학습 시험 점수가 능동적 학습을 했던 학생들보다 낮았음에도) 수동적 강의에서 수업의 질을 더 높게 평가했고, "모든 물리학 수업은 이런 식으로 가르치면 좋겠다"는 선호도를 보였다. 이러한 연구결과는 한 분야의 초심자는 자신의 능력에 대한 판단능력이 형편없다라는 관측과 일치하며, 강의의 [인지적 유창성]이 오해를 불러일으킬 수 있다(30, 31).

Compared with students in traditional lectures, students in active classes perceived that they learned less, while in reality they learned more. Students rated the quality of instruction in passive lectures more highly, and they expressed a preference to have “all of their physics classes taught this way,” even though their scores on independent tests of learning were lower than those in actively taught classrooms. These findings are consistent with the observations that novices in a subject are poor judges of their own competence (27–29), and the cognitive fluency of lectures can be misleading (30, 31).

자료 및 방법

Materials and Methods

우리는 실제 학습을 능동적 학습(실험적 처리)과 수동적 강의(제어)의 두 가지 대조적인 교육 방법에 따라 학생들의 학습감(FOL)과 비교했다. 전체 의전은 하버드 대학에서 가을과 봄 동안 가르치는 물리 과목에서 두 번 반복되었다.

We compared actual learning to students’ feeling of learning (FOL) following each of 2 contrasting instructional methods: active learning (experimental treatment) and passive lecture (control). The entire protocol was repeated twice in physics courses taught during fall and spring at Harvard University.

실제로, 비록 더 진보된 과정의 학생들은 종종 매우 예외적이지만, 이 연구의 학생들은 다른 주요 연구 대학의 물리학과에 필적하는 배경을 가지고 있다. 예를 들어 본 연구에 참여한 학생들은 역학에 대한 기본적인 개념 지식을 측정하는 포스 개념 인벤토리(FCI)와 물리학 관련 학생들의 인식이 전문가(7, 8)와 얼마나 유사한지를 측정하는 콜로라도 과학 조사에 대한 학습 태도검사(CLASS)를 완성했다. 본 연구(표 1)의 선행 시험 FCI 점수는 하케(1)가 발행한 메타분석에서 대학 점수의 분포가 높은 곳에 있는 점수와 유사하며, 이는 본 연구의 학생들이 다른 일류 대학과 대등한 수준의 고등학교 수준의 준비를 갖추고 있음을 확인시켜 준다.

Indeed, although the students in the more advanced course are often quite exceptional, the students in this study have backgrounds comparable to those of physics majors at other major research universities. For instance, the students who took part in this study completed the Force Concept Inventory (FCI), which measures basic conceptual knowledge about mechanics (32), and the Colorado Learning Attitudes about Science Survey (CLASS), which measures the extent to which students’ perceptions about physics are similar to those of experts (7, 8). The pretest FCI scores in this study (Table 1) are similar to those clustered near the high end of the distribution of university scores in the meta-analysis published by Hake (1), which confirms that the students in our study have high school preparation comparable to that at other top universities.

실험적인 개입은 각 코스 12주에 2회 연속으로 수업하는 동안 이루어졌다. 학생들은 무작위로 2개 그룹에 배정되었고, 2개의 다른 교실, 즉 A교사가 있는 A교실과 B교사가 있는 B교실에 보고하라는 지시를 받았다. 1교시 회의에서는 정적 평형을 주제로 A교사는 능동적 학습을, B교사는 수동적 강의로 같은 주제를 가르쳤다. 2교시 회의에서는 유체를 주제로 A교사는 소극적인 강의를, B교사는 능동적인 학습을 사용했다. 각 수업 기간이 끝날 때마다 학생들은 학급과 그들의 FOL에 대한 그들의 인식에 대한 간단한 조사를 끝마쳤고, 이어서 학습에 대한 객관식 시험(TOL)이 이어졌다. 표 2는 실험 설계를 요약한 것이다.

The experimental intervention took place during 2 consecutive class meetings in week 12 of each course. Students were randomly assigned to 2 groups and told to report to 2 different classrooms: room A with instructor A and room B with instructor B. For the first class meeting, on the topic of static equilibrium, instructor A used active learning, while instructor B taught the same topic using a passive lecture. For the second class meeting, on the topic of fluids, instructor A used a passive lecture while instructor B used active learning. At the end of each class period, students completed a brief survey about their perceptions of the class and their FOL, followed by a multiple-choice test of learning (TOL). Table 2 summarizes the experimental design.

연구 설계는 일관성을 보장하고 편견을 피하기 위해 다음과 같은 여러 가지를 통제했다. 

The study design featured a number of controls to ensure consistency and avoid bias: 

1) 두 강사 모두 선행 연구(3, 6, 36)에 상세히 기술된 모범 사례를 사용하여 광범위하고 동일한 [능동적 학습]에 관한 훈련을 받았다. 

1) Both instructors had extensive, identical training in active learning, using best practices as detailed in prior research (3, 6, 36). 

2) 두 강사 모두 유창하고 전통적인 강의를 해 본 경험이 있다. 

2) Both instructors also had comparable experience in delivering fluent, traditional lectures. 

3) 강의 슬라이드, 유인물 및 각 수업 시간에 제공되는 서면 피드백은 능동적인 강의와 수동적인 강의에 대해 동일했다. 

3) The lecture slides, handouts, and written feedback provided during each class were identical for active instruction and for passive lecture. 

4) 학생은 2개 그룹에 개별적으로 무작위로 배정되었으며, 이들 그룹은 여러 가지 물리학 배경과 숙련도 측정에서 구별할 수 없었다(표 1). 

4) Students were individually randomly assigned to 2 groups, and these groups were indistinguishable on several measures of physics background and proficiency (Table 1). 

5) 각 학생은 학생 간의 다른 가능한 변동을 제어하는 교차 학습 설계에서 두 가지 유형의 교육을 모두 경험했다. 

5) Each student experienced both types of instruction in a crossover study design that controls for other possible variation between students. 

6) 실험적인 개입 이전에 학생들은 어떤 강사에게도 노출되지 않았다. 

6) Students had no exposure to either of the instructors before the experimental intervention. 

7) 같은 결과를 가진 2개의 다른 과정으로 전체 의전을 반복했는데, 총 149명의 학생이 참가하였다. 

7) The entire protocol was repeated in 2 different courses with the same results; a total of 149 students participated. 

8) 강사들은 다른 작가가 독자적으로 준비한 TOL을 보지 못했다. 

8) The instructors did not see the TOLs, which were prepared independently by another author. 

9) TOLs의 저자는 강의 자료나 강의 슬라이드에 접근할 수 없었고, 각 주제에 대한 상세한 학습 목표 목록만을 바탕으로 시험을 작성했다.

9) The author of the TOLs did not have access to the course materials or lecture slides and wrote the tests based only on a list of detailed learning objectives for each topic.

대조군에서는 강사가 유인물을 바탕으로 슬라이드를 제시하고 설명과 시범을 보여주며, 예시 문제를 풀었다. 학생들은 강의를 들으면서 교사를 따라 답안을 채워나갔다. 정보가 전달되는 유창성을 극대화하는데 중점을 두었다. 유인물을 사용하고 문제 해결에 집중하는 것은 이들 강의에서 흔히 볼 수 있는 것과는 달랐다. 스테인스의 분류법(12)을 사용하여, 통제군의 이러한 수업접근법은 엄격하게 didactic한 것이며, 통상적인 클래스 회의에서 발견된 보충 그룹 활동은 하나도 없었다.

In the control group, the instructor presented slides based on the handouts, gave explanations and demonstrations, and solved the example problems while students listened and filled in the answers along with the instructor. Emphasis was placed on maximizing the fluency with which the information was delivered. The use of handouts and focus on problem-solving was different from the usual lectures in these courses. Using the taxonomy of Stains (12), these classes in the control group were strictly didactic in approach, with none of the supplemental group activities found in the usual class meetings.

실험군에서 강사는 의도적 연습deliberate practice의 원리를 이용해 학생들을 적극적으로 참여시켰다(3, 36, 37): 강사가 강의실을 돌아다니며 질문을 하고 도움을 주는 동안 학생들이 작은 그룹으로 협력하여 표본 문제를 해결하도록 지시받았다. 학생들이 각각의 문제를 시도한 후에, 강사는 통제 그룹에 주어진 해결책과 같은 완전한 해결책을 제공했다. 수업 기간 내내 학생들이 적극적으로 참여하면서 실험군은 완전 학생 중심(12명)이 됐다.

In the experimental group, the instructor actively engaged the students using the principles of deliberate practice (3, 36, 37): students were instructed to solve the sample problems by working together in small groups while the instructor roamed the room asking questions and offering assistance. After the students had attempted each problem, the instructor provided a full solution that was identical to the solution given to the control group. Students were actively engaged throughout the class period, making the experimental group fully student-centered (12).

이 두 그룹의 결정적인 차이점은 학생들에게 각각의 문제를 해결하는 방법을 직접 지시했는지 아니면 해결책을 제시하기 전에 작은 그룹으로 나누어 스스로 문제를 해결하도록 요구받았는지 여부였다. 즉, 두 그룹의 학생들은 유인물과 강사로부터 정확히 같은 정보를 받았고, 자료와의 적극적인 관여만 켜졌다가 꺼졌다 하는 것이다.

The crucial difference between the 2 groups was whether students were told directly how to solve each problem or were asked to try to solve the problems themselves in small groups before being given the solution. In other words, students in both groups received the exact same information from the handouts and the instructor, and only active engagement with the material was toggled on and off.

결과 및 고찰

Results and Discussion

학생들은 그들의 동의 수준을 5점짜리 리커트 등급으로 평가했는데, 1점은 강하게 반대하며 5점은 강하게 동의한다. 학생들은 먼저 "강사가 정보를 제공하는 동안 이 수업은 나를 듣는 사람으로 주로 참여시켰다"는 진술을 평가했다. 예상대로 수동 강의의 학생들은 능동 강의 학생들보다 더 강력하게 동의했다(평균 = 3.9). 실험 그룹에서조차 강의 시간의 약 50%는 각 그룹 활동에 이어서 미니-강의가 제공되었으며, 이 때 강사가 간결하고 목표한 피드백을 제공하였다는 점에 유의할 필요가 있다

Students rated their level of agreement on a 5-point Likert scale, with 1 representing strongly disagree and 5 representing strongly agree. Students first evaluated the statement “This class mostly involved me as a listener while the instructor presented information.” As expected, the students in the passive lecture agreed more strongly (mean = 3.9) than those in the active classroom (mean = 2.9, P < 0.001). Note that even in the experimental group, about 50%of the class time featured the instructor giving concise, targeted feedback as mini-lectures following each group activity (3, 6, 36). 

그 후 학생들은 4개의 추가 진술로 그들의 동의 수준을 평가함으로써 그들 자신의 FOL을 평가했고, 그들은 각각 수업으로부터 인식된 학습의 일부 측면을 조사하였다. 주요 FOL 항목은 학생들에게 "이 수업에서 많은 것을 배운 것 같다"는 진술을 평가해 달라고 요청했다. 나머지 FOL 질문들은 이 1차 질문과 매우 관련이 깊었기 때문에 우리는 이 질문을 단독으로 사용하거나 학생들의 전체 FOL을 측정하기 위해 4개 조사항목의 합계를 사용할 수 있었다. 그림 1은 이 조사에서 질문된 4개의 FOL 질문을 나열하고 있다.

The students then assessed their own FOL by rating their level of agreement with 4 additional statements, each of which probed some aspect of their perceived learning from the class. The primary FOL item asked students to evaluate the statement “I feel like I learned a great deal from this class.” The remaining FOL questions were highly correlated with this primary question, so we could use either this question alone or a composite of all 4 survey items to measure students’ overall FOL. Fig. 1 lists the 4 FOL questions asked in the survey.

그림 1과 2에 표시된 막대 그래프는 이러한 FOL 및 TOL 결과의 몇 가지 측면을 강조한다. 특히 다음과 같은 관측(모든 것은 보다 상세한 통계분석에 의해 확인됨): 

• 1) 모든 FOL 반응은 수동적 강의 환경에 대한 일관성 있는 학생 선호를 보여준다. 

• 2) TOL의 점수는 반대로 능동적인 교실에서 상당히 높다. 

• 3) 이러한 경향은 두 가지 주제에서(통계든 유체든) 모두 유사하다. 

교차 연구 설계(표 2)를 고려할 때, 수동적 학습과 능동적 학습 사이의 TOL 및 FOL 점수의 변화는 주제, 강사 또는 강의실의 선택에 의해 크게 영향을 받지 않은 것으로 보인다.

The bar graphs shown in Figs. 1 and 2 highlight several aspects of these FOL and TOL results. We note, in particular, the following observations (all of which are confirmed by a more detailed statistical analysis): 1) All of the FOL responses show a consistent student preference for the passive lecture environment. 2) Scores on the TOL, by contrast, are significantly higher in the active classroom. 3) These trends are similar for both the statics and fluids topics. Given the crossover study design (Table 2), it appears that the shift in TOL and FOL scores between passive and active learning was not strongly affected by the choice of topic, instructor, or classroom.

표 3은 이러한 통계적 모델을 요약한다. 

• 모델 1은 학생들의 전체 FOL을 예측하는데, 이것은 주요 요소 분석에 따라 가중치가 부여된 FOL 조사 응답의 복합체다. (기본 FOL 질문 2를 이 복합 변수 대신 단독으로 사용할 경우 전체 분석은 사실상 동일하다.) 능동적 수업의 학생들은 수동적 강의에 비해 절반 이상 낮은 FOL을 보고했다. 

• 모델 2는 TOL에서 학생들의 성적을 예측한다. 이 경우 능동적 수업의 학생들은 시험에서 SD(0.46)의 절반 가까이 높은 점수를 받았다. 이러한 결과는 매우 유의하다(P < 0.001).

Table 3 summarizes these statistical models. 

• Model 1 predicts students’ overall FOL, which is a composite of the FOL survey responses weighted according to a principal components analysis. (The entire analysis is virtually identical if the primary FOL question 2 is used alone in place of this composite variable.) The students in active classrooms reported more than half an SD (0.56) lower FOL compared with those in passive lectures. 

• Model 2 predicts students’ performance on the TOL. In this case, students in active classrooms scored almost half an SD (0.46) higher on the examination. These results are highly significant (P < 0.001). 

• 또한 교차 연구 설계는 각 개별 학생에 대해 범주형 변수를 추가함으로써 추가적인 사람 수준person-level 변화를 제어할 수 있게 해준다(각 학생을 자신의 control로 간주). 이러한 추가 공변량을 사용하여 의미 있는 변화를 찾을 수 없다. 

• 반대로, 무작위 실험에 대해 예상한 바와 같이, 통계 모델에서 학생 수준의 공변량(CLASS 점수, FCI 점수, 중간 평균, 성별)을 모두 제거하면, 능동 학습의 효과에 대한 점 추정치도 의미 있는 변화(SE의 절반 이하)를 보이지 않는다.

• In addition, the crossover study design allows us to control for any additional person-level variation by adding a categorical variable for each individual student (treating each student as his or her own control); we find no meaningful change using these additional covariates. 

• Conversely, as expected for a randomized experiment, if we remove from the statistical model all student-level covariates (CLASS score, FCI score, midterm average, and gender) the point estimates of the effects of active learning also show no meaningful change (less than half the SE).

교육연구에서는 데이터를 개별 학생 수준에서 분석할 것인지 아니면 그룹 차원에서 분석할 것인지(일반적으로 교실별로 분석할 것인지, 학교별로 분석할 것인지) 문제가 자주 발생한다.

In educational research, a question often arises whether to analyze the data at the individual student level or at the group level (typically by classroom or by school).

[기존 집단]이 치료 대 대조군 조건에 노출되는 경우, 무작위화 및 처리 모두 그룹 수준에서 적용되므로 통계 분석이 이러한 [집단을 설명해야] 한다. 대학 과학 강좌에 대한 많은 연구가 군집을 정확하게 설명하지 못하며, 실제로 Freeman 등 (4)은 메타 분석에서 이러한 감독을 시정해야 했다. 한편, 학생이 개별적으로 무작위화되거나, 실험이 각 학생이 두 가지 조건을 모두 받는 교차 연구라면, 그 치료가 (불가피하게) 학급 수준에서 전달되더라도, 개인 차원의 분석이 적절하다.

if preexisting groups are exposed to treatment versus control conditions, the statistical analysis should account for these clusters, since both randomization and treatment are applied at the group level. Many studies of college science courses do not correctly account for clustering, and indeed Freeman et al. (4) had to correct for this oversight in their meta-analysis. On the other hand, if students are individually randomized, or the experiment is a crossover study in which each student receives both conditions, then an individual-level analysis is appropriate, even if the treatment is (inevitably) delivered at the class level.

학생들은 각 수업 시간이 끝날 때마다 즉시 FOL과 TOL 조사를 받았기 때문에 교실 밖에서는 동료들의 영향이 없을 수 있었다. 더욱이, SI 부록에 나타난 바와 같이, 능동적 학습과 수동적 학습에 대해 관측되지 않는 매우 큰 동료 효과를 가정하더라도, 우리의 결과는 여전히 매우 중요한 것으로 남아 있을 것이다(P < 0.001).

Students took the FOL and TOL surveys immediately at the end of each class period, so there could be no peer effects outside the classroom. Moreover, as shown in SI Appendix, even if we postulate an extremely large unobserved peer effect on active versus passive learning, our results would still remain highly significant (P < 0.001).

우리는 이 관찰의 이면에 있는 인과관계를 이해하려고 노력했다. 기존 문헌에 대한 조사는 두 가지 가능한 요인을 제시한다. 

• 1) 강의의 [인지적 유창성]은 학생들이 실제보다 더 많이 배우고 있다고 오도할 수 있으며, 

• 2) 어떤 [주제의 초심자]는 [메타인지가 잘 되지 않아] 얼마나 배웠는지를 판단하기에는 부적합하다. 

우리는 또한 세 번째 요소를 제안한다. 

• 3) 대학 수업에서 집중적, 능동적 학습에 익숙하지 않은 학생들은, 능동적 학습에 수반되는 증가하는 인지적 어려움struggle로 인해 그 어려움이 실제로는 효과적 학습의 신호라는 것을 인식하지 못할 수 있다.

we sought to understand the causal factors behind this observation. A survey of the existing literature suggests 2 likely factors: 

• 1) the cognitive fluency of lectures can mislead students into thinking that they are learning more than they actually are (30, 31) and 

• 2) novices in a subject have poor metacognition and thus are ill-equipped to judge how much they have learned (27–29). 

We also propose a third factor: 

• 3) students who are unfamiliar with intense active learning in the college classroom may not appreciate that the increased cognitive struggle accompanying active learning is actually a sign that the learning is effective.

가장 중요한 변형 단서 중 하나는 인지 과제의 [겉보기 유창성]이다. [인식된 유창성]은 판단과 인식(31)에 광범위한 영향을 미친다. 실험실 맥락에서 이전의 연구는 유창한 강사와 유창하지 않은 강사(30)의 5분짜리 비디오에서 사실을 기억하는 학생들의 인식 능력을 비교했다. 유창하지 않은 강사disfluent는 눈을 마주치는 것을 피했고, 분명하게 말하지 않았으며, 유창하지 않은 강사는 학생들의 실제 리콜이 유창한 강사와 같음에도 불구하고 인지적 보유를 낮추기 위해 노력했다. 연구 결과, 학생들이 어려운 것을 억지로 헤쳐나갈 때, 그 결과 나타나는 비유창성disfluency이 더 깊은 인지 처리(31, 40)로 이어진다는 사실도 밝혀졌다. 

One of the most important metacognitive cues is the apparent fluency of cognitive tasks. Perceived fluency has broad impacts on judgment and perception (31). In the laboratory context, previous research has compared students’ perceived ability to recall facts from a 5-min video from a fluent versus a disfluent lecturer (30). The disfluent lecturer—who avoided eye contact, did not speak clearly, and lacked flow—led to lower perceived retention even though students’ actual recall was the same as it was with the fluent lecturer. Research has also shown that when students are forced to struggle through something that is difficult, the consequent disfluency leads to deeper cognitive processing (31, 40). 

우리의 연구에서, 적극적으로 가르치는 그룹의 학생들은 처음에 어떻게 해결해야 할지 몰랐던 어려운 물리 문제를 통해 동료들과 고군분투struggle를 해야 했다. 이러한 유형의 수업에서 수반되는 인지적 노력은 [학생들이 자신의 능력에 대해 부정확하게 부풀려진 인식을 확인하는 유창한 강의]와 대조적이며, 학생들로 하여금 자신의 이해 부족에 좌절하고, 이를 고통스럽게 인식하게 할 수 있다.

In our study, students in the actively taught groups had to struggle with their peers through difficult physics problems that they initially did not know how to solve. The cognitive effort involved in this type of instruction may make students frustrated and painfully aware of their lack of understanding, in contrast with fluent lectures that may serve to confirm students’ inaccurately inflated perceptions of their own abilities.

우리 학생들의 인식에 대해 더 알아보기 위해, 우리는 연구의 일부 학생들과 일대일 구조적인 후속 인터뷰를 실시했다. 학생들은 두 학기 모두에서 뽑혔고 전체 모집단의 대표 표본으로 CLASS 점수, FCI 점수, 최종 과정 점수를 측정하였다. 문헌과 일관되게, 대부분의 학생들(17명 중 15명)은 보다 [유창한 수동적 강의]에 비해 [능동적인 수업]의 가르침이 불편하고 흐름flow이 부족하다는 것을 알았다. 학생들은 (능동적 학습된에 대한 우려에 관하여) 

• 그룹 활동에서 강사 피드백으로 전환될 때마다 반복되는 방해interruption(14개 응답), 

• 수업 중 발생한 오류가 시정되지 않을 우려(10개 응답), 

• 전반적인 좌절감과 혼란(14개 응답)을 들었다. 

To learn more about our students’ perceptions, we conducted follow-up one-on-one, structured interviews with a subset of students from the study (17 students total). The students were drawn from both semesters and provided a representative sample of the entire population as measured by their CLASS scores, FCI scores, and final course grades. Consistent with the literature, most students (15 of 17) found the instruction in the active classrooms disjointed and lacking in flow when compared with the more fluent passive lecture. Students also cited the frequent interruptions that accompanied each transition from group activities to instructor feedback (14 responses), a concern that their errors made during class would not be corrected (10 responses), and a general feeling of frustration and confusion (14 responses) when discussing their concerns about the actively taught classes. 

또 학생들이 단체로 일하는 것을 항상 즐기는 것은 아니라는 통념이 있지만, 인터뷰에서 집단 활동을 쟁점으로 제기한 학생은 한 명도 없었다. 이와는 대조적으로, 학생 1명을 제외한 모든 학생들은 수동적인 강의를 더 즐겁고 이해하기 쉽다고 언급했다. 면접이 끝날 때마다 학생들에게 연구 결과를 보여 주었다. 그 결과에 대해 코멘트를 한 후, 각 학생들에게 "이 결과를 보는 것이 여러분이 공부하는 방식에 영향을 미칠 것인지"라는 질문을 받았고, 17명의 학생들 중 14명이 그렇게 될 것이라고 말했다.

In addition, although conventional wisdom suggests that students do not always enjoy working in groups, none of the students raised group work as an issue during interviews. In contrast, all but 1 of the students found the passive lecture more enjoyable and easier to follow. At the end of each interview, students were shown the results of the study. After commenting on the results, each student was asked “if seeing these results will impact the way you study,” and 14 out of 17 students said that it would.

또한, FOL 질문 2: "이 강의에서 많은 것을 배운 것 같다"라는 질문을 통해 학생들의 FOL을 예측하는 선형 회귀 모델을 통해 FOL과 인지된 유창성 사이의 연관성을 조사했다. "교사는 가르침은 효과적이었다"라는 진술과 동의한 결과, [강사가 매우 유창하다고 인식한 학생]들은 [강사가 유창하지 않다고 인식한 학생]들에 비해 절반 이상의 SD(0.51) 높은 FOL을 보고하였다(P < 0.001). 특히, 교육 유형(능동적 대 수동적)은 FOL을 예측하는 데 유의하지 않았고, 강사의 유창성을 어떻게 인식하는지만 관련이 있었다. 

In addition, we investigated the connection between FOL and perceived fluency with a linear regression model predicting students’ FOL, given by FOL question 2: “I feel like I learned a great deal from this lecture.” Students who perceived the instructor to be highly fluent, as measured by agreement with the statement “The instructor was effective at teaching,” reported more than half an SD (0.51) higher FOL compared with those who perceived the instructor as disfluent (P < 0.001). Notably, the type of instruction (active vs. passive) was not significant in predicting FOL; only the perceived fluency of the instructor was relevant. 

우리는 학생들이 교육 효과에 대한 질문을 유창함의 척도로 해석하는 것을 검증하기 위해 추가로 일대일 구조적인 인터뷰를 실시했다. 이 인터뷰들은 학생들이 이 질문을 주로 1) 설명의 명확성, 2) 발표의 구성, 3) 원활한 강의 흐름으로 해석한다는 것을 보여주었다. 또한, 학생들은 예를 들어 수업 준비가 충분히 되지 않았거나 너무 피곤해서 세심한 주의를 기울이지 못한 경우, 개인적으로 자신이 배운 것이 별로 없다고 느끼더라도 교사가 매우 효과적이라고 보고하는 것을 상상할 수 있는 몇 가지 시나리오를 제시하였다. 학생들의 FOL과 교육의 효과/유효성 사이의 강한 상관관계는 더 [(강사의) 유창함이 높다고 인식하는 것인 높은 FOL과 관련이 있음]을 시사한다.

We conducted additional one-on-one, structured interviews to validate that students interpret the question about teaching effectiveness as a measure for fluency of instruction. These interviews revealed that students interpret this question primarily as 1) clarity of explanations, 2) organization of presentation, and 3) smooth flow of instruction. In addition, students presented several scenarios in which they could imagine reporting that a teacher was highly effective even if they personally did not feel they learned very much—for instance, if they were not sufficiently prepared for a class or too tired to pay close attention. The strong correlation between students’ FOL and the effectiveness/fluency of instruction suggests that greater perceived fluency is related to higher perceived FOL.

우리가 관찰한 결과를 설명할 수 있는 두 번째 요인은 초보자(우리 연구의 학생 등)는 일반적으로 메타인지가 부족하여 자신의 학습을 판단하는데 능숙하지 않다는 것이다. "[정확한 판단을 내리는데 필요한 능력]의 근간이 되는 지식은 곧 [판단이 정확한지를 판별하는 데 필요한 능력]에서 요구하는 지식과 동일하다. 전자가 부족하다는 것은 후자가 부족하다는 것이다."] 이 잘 알려진 효과는 학생들의 FOL이 신뢰할 수 없을지도 모른다고 예측하지만, 이러한 감정이 능동적인 교육 방식과 수동적인 교육 방식에 유리하게 치우쳐져야 하는지는 예측하지 못한다.

A second factor that could account for our observed results is that novices (such as the students in our study) generally have poor metacognition and are not good at judging their own learning. “The same knowledge that underlies the ability to produce correct judgment, is also the knowledge that underlies the ability to recognize correct judgment. To lack the former is to be deficient in the latter.” (27) Although this well-known effect predicts that students’ FOL may be unreliable, it does not predict whether these feelings should be biased in favor of active versus passive styles of teaching. 

위에서 설명한 모델 2에 비선형 상호작용 용어를 추가하여 이 가설을 조사했는데, 이는 TOL에서 학생들의 성적을 예측하는 것이다. FCI에 의해 측정된 학생들의 배경 물리학 지식과 질문 2: "나는 이 강의에서 많은 것을 배운 것 같다."라는 질문 2에 의해 측정된, 적당히 의미 있는 상호작용을 발견했다. 이러한 상호작용는 정정 관계가 있었는데, 이는 [더 많은 사전 지식을 가진 학생들이 FOL과 시험에서의 실제 수행 사이에 더 강한(더 긍정적인) 상관관계를 가지고 있다는 것]을 의미한다. 이러한 관찰과 앞 단락의 관찰을 결합해보면, [초보 학생들은 실제 학습을 판단하는 데 서툴러서, 자신의 학습을 평가할 때 [(교수가) 유창하게 가르쳤다고 느끼는지]와 같은 부정확한 변형 단서에 의존할 것]이라고 해석할 수 있다. 이 두 가지 요소들이 우리가 이 연구에서 관찰한 강력하고 전체적인 부정적인 상관관계를 설명할 수 있을 것이다.

We investigated this hypothesis by adding a nonlinear interaction termto model 2, described above, that predicts students’ performance on the TOL. We found a moderately significant (P < 0.05) interaction between students’ background physics knowledge as measured by the FCI and their FOL as measured by question 2: “I feel like I learned a great deal fromthis lecture.” The sign of this interaction was positive, which means that students with more prior expertise had a stronger (more positive) correlation between FOL and actual performance on the test. Combining this observation with that in the previous paragraph, we propose that novice students are poor at judging their actual learning and thus rely on inaccurate metacognitive cues such as fluency of instruction when they attempt to assess their own learning. These 2 factors together could explain the strong, overall negative correlation we observed in this study.

마지막 요인은 이 연구의 학생들이 (지금까지) 대학에서 완전히 학생 중심적인 수업에 대한 경험이 거의 없었다는 것이다(12). 위에서 설명한 인터뷰에 의해 제안된 바와 같이, 학생들이 능동적 학습과 관련된 혼란과 인지적 노력을 경험했을 때, 학생들은 비유창성disfluency을 비효과적poor 학습의 신호로 인식했지만, 사실은 그 반대였다. 학생 중심의 적극적 학습이 새로운 방식이라는 것 만으로는 이러한 교육방식에 대한 학생들의 부정적인 반응을 설명할 수 있을 것 같지 않다. 

A final factor could be that the students in this study had little prior experience with fully student-centered classrooms in a college environment (12). As suggested by the interviews described above, when students experienced confusion and increased cognitive effort associated with active learning, they perceived this disfluency as a signal of poor learning, while in fact the opposite is true. It is unlikely that the sheer novelty of student-centered active learning alone can account for students’ negative response to this mode of instruction. 

• 첫째, 위에서 언급한 바와 같이 실험(능동적) 그룹과 제어(패시브) 그룹은 모두 이러한 과정에서의 일반적인 교육적 접근 방식에서 변화를 경험했다. 수동적 그룹에서 학생들은 일반적인 과정 강의에서 교차되는 작은 그룹 활동을 전혀 경험하지 못했다. 

• 둘째, 1wk 강좌에 전문가 가정교사와 일대일 과외를 받는 사고실험을 상상할 수 있다. 이것은 그들의 일반적인 교실 경험으로부터의 극적인 변화를 구성하겠지만, 거의 모든 학생들은 그들의 친숙한 강의보다 분명히 더 우수한 이런 방식의 수업을 선호할 것이다.

• First, as mentioned above, both the experimental (active) and control (passive) groups experienced a change from the usual instructional approach in these courses: in the passive group, students experienced none of the small-group activities that were interspersed in the usual course lectures. 

• Second, one can imagine a thought experiment in which students are given one-on-one tutoring with an expert tutor for 1 wk of a course. This would constitute a dramatic change from their usual classroom experience, but nearly all students would likely prefer this style of instruction—which is demonstrably superior (41, 42)—to their familiar lectures.

위에서 논의된 세 가지 요인에 기초하여, 학생들이 [집중적, 능동적 학습에 대해 비교적 부정적인 반응]을 보이는 것은 인지적으로 부담되는cognitively demanding 환경에서 경험한 비유창성disfluency의 결과일 가능성이 있다. 우리는 이러한 태도가 바뀔 수 있는지 알아보기 위해 한 학기 동안 개입을 실시했다. 여기에 기술된 것과 동일한 능동적 학습 전략을 사용한 물리학 코스의 시작 가까이, 강사는 능동적 학습에 대한 간략한 설명과 그 효과에 대한 증거로부터 시작된 20분간의 프레젠테이션을 했다. 그런 다음 그는 [인지된 유창성, FOL 및 실제 학습 사이의 연관성]에 대해 추가적으로 설명하면서, 본 연구에서 관찰한 부정적인 상관관계를 토론했다(본 프레젠테이션의 내용은 SI 부록에서 확인할 수 있다.) .

Based on the 3 factors discussed above, it is likely that a significant part of students’ comparably negative response to this intense style of active learning is a result of the disfluency they experience in this cognitively demanding environment. We carried out a semester-long intervention to see if these attitudes could be changed. Near the beginning of a physics course that used the same active learning strategy described here, the instructor gave a 20-min presentation that started with a brief description of active learning and evidence for its effectiveness. He then presented additional detail about the connections between perceived fluency, FOL, and actual learning, including a discussion of the negative correlations we observed in this study.

프레젠테이션에 이은 학생들의 질문과 토론을 보면, [학생들은 유창함과 FOL이 종종 오해를 불러일으킬 수 있다는 생각에 가장 관심이 있다]는 것을 보여주었다. 학생들은 이 지식이 능동적인 학습에 접근하는 방법을 이해하는 데 유용할 것이라고 지적했다. 학기 말에, 65% 이상의 학생들이 이번 학기 동안 활발한 학습의 효과에 대한 그들의 감정이 현저히 개선되었다고 한 조사에 보고했다. 비슷한 비율(75%)의 학생들은 학기 초의 개입이 강의 중에 이뤄지는 능동적 학습을 더 긍정적으로 받아들이게 되었다고 보고했다.

(The transcript for this presentation can be found in SI Appendix.) Students’ questions and discussion following the presentation indicated that they were most interested in the idea that fluency and FOL can often be misleading. Students indicated that this knowledge would be useful for understanding how to approach active learning. At the end of the semester, over 65% of students reported on a survey that their feelings about the effectiveness of active learning significantly improved over the course of the semester. A similar proportion (75%) of students reported that the intervention at the beginning of the semester helped them feel more favorably toward active learning during lectures.

능동적 학습의 성공은 결정적으로 학생의 동기부여와 참여에 따라 좌우되기 때문에, 학생들이 학기 초에 경험하는 능동적 학습에서의 고군분투가 이점이 있다는 것을 가치있게 평가하는 것이 가장 중요하다. 학생들이 [이런 방식으로는 제대로 배우지 못하고 있다]라는 본능적 반응에 현혹된다면, 그들은 자기조절을 하지 못할 것이고, 성공적으로 학습하지 못할 것이다. 게다가, 그룹 작업 동안, 일부 학생들이 불성실한 태도나 낮은 참여를 보인다면 그룹의 다른 학생들에게까지 부정적인 영향을 미칠 수 있다. 따라서, 학생들은 결국 스스로 한 학기를 마치고 나면 능동적 학습의 가치를 발견할 지도 모르지만, 만약 수업이 진행되는 기간동안에는 여전히 본질적으로 수업이 disfluent 하다고 느낀다면, 첫 번째 과정 동안 그들의 학습은 손상될 것이다.

As the success of active learning crucially depends on student motivation and engagement, it is of paramount importance that students appreciate, early in the semester, the benefits of struggling with the material during active learning. If students are misled by their inherent response into thinking that they are not learning, they will not be able to self-regulate, and they will not learn as successfully. In addition, during group work, poor attitudes or low engagement of a few students can have negative effects on other students in their groups. Thus, although students may eventually, on their own, discover the value of active learning during a semester-long course, their learning will be impaired during the first part of the course while they still feel the inherent disfluency associated with in-class activities.

우리는 강사들이 능동적인 학습과 관련된 인지적 노력의 증가 가치를 명시적으로 제시함으로써 초기에 개입할 것을 권고한다. 또한 강사는 학생들이 실제 학습 내용을 측정할 수 있도록 가능한 한 빨리 시험(또는 다른 평가)을 제공해야 한다. 이 전략들은 학생들이 가능한 한 빨리 적극적인 학습을 할 수 있도록 도울 수 있다. 그런 다음 학기 내내 강사는 

• 연구 기반의 설명explanation과 촉진facilitation 전략(26)을 채택해야 하며, 

• 학생들이 활동 중에 열심히 학습에 참여하도록 권장해야 하며, 

• 인지적 노력의 가치를 일깨워 주어야 한다. 

We recommend that instructors intervene early on by explicitly presenting the value of increased cognitive efforts associated with active learning. Instructors should also give an examination (or other assessment) as early as possible so students can gauge their actual learning. These strategies can help students get on board with active learning as quickly as possible. Then, throughout the semester, instructors 

• should adopt research-based explanation and facilitation strategies (26), 

• should encourage students to work hard during activities, and 

• should remind them of the value of increased cognitive effort. 

또한 과목 전체에 걸쳐 ‘one-minute paper’과 같은 빈번한 피드백을 요청하고 학생들의 우려에 대응해야 한다. 학생들이 그것이 더 깊은 학습으로 이어진다는 것을 받아들이고 때때로 정확히 그 반대가 사실이라고 느낄 수도 있다는 것을 인정한다면 적극적인 학습의 성공은 크게 향상될 것이다.

Instructors should also solicit frequent feedback such as “one-minute papers” throughout the course (43) and respond to students’ concerns. The success of active learning will be greatly enhanced if students accept that it leads to deeper learning—and acknowledge that it may sometimes feel like exactly the opposite is true.

이 권고안은 (이러한 효과의 기초가 되는 인지 원리가 물리학이나 이 과정의 잘 준비된 학생에게만 특정되지 않기 때문에) 다른 학생 집단과 다른 학문에도 적용되어야 한다. 이 점을 설명하기 위해, 다른 학생 그룹 또는 다른 과목의 강좌를 상상해보십시오. 이 강좌는 매우 효과적인 대화형 교육학을 사용하여 자신의 학생 청중에게 맞춘 것이다. 이제 같은 자료를 사용하지만 강의에서 모든 상호작용을 배제하는 학생 사고에 대한 특별한 지식을 가진 유창하고 카리스마 있는 강사를 데려오십시오. 이 강의의 설계는 능동적인 학습만 켜고 끄는 것이다. 

These recommendations should apply to other student populations and to other disciplines as the cognitive principles underlying these effects are not specific to physics or to the well-prepared students in this course. To illustrate this point, imagine a course with a different group of students, or in a different subject, that uses a highly effective interactive pedagogy with course materials tailored to its own student audience. Now bring in a fluent and charismatic lecturer with special knowledge of student thinking who uses the same materials but eliminates all interactive engagement from the course, consistent with the design of this study in which active learning alone is toggled on and off. 

구체적인 예로서, 학생들의 일반적인 어려움과 오해를 대상으로 하는 잘 다듬어진 클리커 질문이 있는 피어 지침(2)을 고려한다. 강사는 학생들이 이러한 질문에 답하고 토론하는 것을 허락하는 대신에 각각의 답을 설명하고 설명하곤 했다. 학생들이 수동적인 강의 환경에서 덜 배울 것이 분명하다. 예를 들어, 클리커 질문에 능동적으로 관여하지 못하는 학생들은, 자신이 가지고 있던 오해를 발견할 수도 없고, 정확한 설명을 스스로 만들어낼 수도 없다. 

As a specific example, consider Peer Instruction (2) with well-honed clicker questions that target common student difficulties and misconceptions. Instead of allowing students to answer and discuss these questions, the lecturer would describe and explain each of the answers. From the research reviewed in ref. 4, it is clear that students would learn less in the passive lecture environment. For instance, students deprived of active engagement with clicker questions could not discover their own misconceptions or construct their own correct explanations. 

그러나 위에서 논의된 인지적 원칙에 입각하면, 유창한 강사는 [학생들이 강의로부터 많은 것을 배운 것처럼 느끼게 함으로써] 학생들의 어려움과 잘못된 생각을 해소할 수도 있다. 실제로, 매우 능숙한 학생들이 그들 자신의 학습을 더 잘 판단할 수 있다는 우리의 관찰에 비추어 볼 때, 우리 연구에 참가한 학생들보다 준비가 덜 된 학생들이 실제 학습과 FOL 사이에 훨씬 더 큰 불일치를 보일 것이라고 기대하는 것은 타당하다.

Yet based on the cognitive principles discussed above, the fluent lecturer could address student difficulties and misconceptions in such a way as to make students feel like they learned a lot from the lecture. Indeed, given our observation that highly proficient students are better able to judge their own learning, it is reasonable to expect that students who are less well prepared than those in our study would show even larger discrepancies between actual learning and FOL.

결론적으로, 우리는 학생들이 자신의 학습에 대한 인식이 능동적 학습 대 수동적 강의의 잘 통제된 구현 하에서 실제 학습과 역상관관계가 있을 수 있다는 것을 발견한다. 이러한 결과는 학기 초에 학생들을 준비시키고 지도하는 것이 중요하다는 것을 지적하며, 강사는 학생에게 [능동적 수업으로부터 이득을 받고 있다는 것을 설득해야 함]을 암시한다. 이러한 준비가 없으면, 학생들은 능동적인 학습에 지속적인 인지적 노력이 필요하다는 이유로 [본능적 불유창성inherent disfluency] 에 현혹될 수 있으며, 이는 다시 그들의 실제 학습에 부정적인 영향을 미칠 수 있다.

In conclusion, we find that students’ perception of their own learning can be anti-correlated with their actual learning under well-controlled implementations of active learning versus passive lectures. These results point to the importance of preparing and coaching students early in the semester for active instruction and suggest that instructors should persuade students that they are benefitting from active instruction. Without this preparation, students can be misled by the inherent disfluency associated with the sustained cognitive effort required for active learning, which in turn can have a negative impact on their actual learning.

이는 본 연구의 학생들과 마찬가지로 학생 중심의 적극적 학습(12)을 완전히 처음 접하는 학생들에게 특히 중요하다. 이러한 결과는 또한 학생들의 학습에 대한 인식에 의존하는 학생들의 교수 평가가 신중하게 사용되어야 한다는 것을 시사한다. 슈퍼스타 강사는 학생들이 능동적 학습이 아니라 수동적 강의를 선호할 만큼 긍정적인 FOL을 만들 수 있다. 또 fluency가 메타인지적 판단에 대한 강력한 영향을 미친다는 점을 감안할 때, 이러한 결과는 다양한 대학 수준의 과목으로 일반화될 가능성이 높다고 기대한다.

This is especially important for students who are new to fully student-centered active learning (12), as were the students in this study. These results also suggest that student evaluations of teaching should be used with caution as they rely on students’ perceptions of learning and could inadvertently favor inferior passive teaching methods over research-based active pedagogical approaches (44, 45)—a superstar lecturer could create such a positive FOL that students would choose those lectures over active learning. In addition, given the powerful general influence of fluency on metacognitive judgments (31), we expect that these results are likely to generalize to a variety of college-level subjects.

---

, 116 (39), 19251-19257

 2019 Sep 24

Measuring Actual Learning Versus Feeling of Learning in Response to Being Actively Engaged in the Classroom

Louis Deslauriers 1, Logan S McCarty 2 3, Kelly Miller 4, Kristina Callaghan 2, Greg Kestin 2

Affiliations 

Affiliations

• 1Department of Physics, Harvard University, Cambridge, MA 02138; louis@physics.harvard.edu.
• 2Department of Physics, Harvard University, Cambridge, MA 02138.
• 3Department of Chemistry and Chemical Biology, Harvard University, Cambridge, MA 02138.
• 4School of Engineering and Applied Sciences, Harvard University, Cambridge, MA 02138.

• PMID: 31484770
 
• PMCID: PMC6765278
 
• DOI: 10.1073/pnas.1821936116

Abstract

We compared students' self-reported perception of learning with their actual learning under controlled conditions in large-enrollment introductory college physics courses taught using 1) active instruction (following best practices in the discipline) and 2) passive instruction (lectures by experienced and highly rated instructors). Both groups received identical class content and handouts, students were randomly assigned, and the instructor made no effort to persuade students of the benefit of either method. Students in active classrooms learned more (as would be expected based on prior research), but their perception of learning, while positive, was lower than that of their peers in passive environments. This suggests that attempts to evaluate instruction based on students' perceptions of learning could inadvertently promote inferior (passive) pedagogical methods. For instance, a superstar lecturer could create such a positive feeling of learning that students would choose those lectures over active learning. Most importantly, these results suggest that when students experience the increased cognitive effort associated with active learning, they initially take that effort to signify poorer learning. That disconnect may have a detrimental effect on students' motivation, engagement, and ability to self-regulate their own learning. Although students can, on their own, discover the increased value of being actively engaged during a semester-long course, their learning may be impaired during the initial part of the course. We discuss strategies that instructors can use, early in the semester, to improve students' response to being actively engaged in the classroom.

Keywords: constructivism; evidence-based teaching; scientific teaching; undergraduate education.

Copyright © 2019 the Author(s). Published by PNAS.