●강의에 출석을 한 학생과 그렇지 않은 학생간 강의평가 점수에 차이가 있을까?

(출처 : http://beckerexhibits.wustl.edu/wusm-hist/modern/)

의과대학 학생들에게 강의를 하고 있는 Dr. Carl Moore (1943)

"군대화된 의과대학" 1943년 St. Louis Post Dispatch는 사진의 제목을 이렇게 붙였다.

전쟁 상황으로 인해 의과대학은 교과과정을 3년으로 축소시켰다. 

이 사진에서 의과대학생들은 모두 군복을 입고 있으며, 

이 학생들은 졸업 후 모두 군의관(army medical officer)으로 복무하게 된다.

Dr. Carl Moore lecturing to medical students in 1943

“Medical School Militarized” read the 1943 St. Louis Post Dispatch headline over this photograph. To aid the war effort, the medical school compressed its curriculum to three years. Here medical students, all in military uniform, are shown attending a lecture in the program which would graduate them as army medical officers.

기술이 발전하면서 학생들은 직접 수업시간에 출석하지 않고도 교육과 교육 자료를 받을 수 있게 되었다. 강의녹화기술(lecture-recording technology)는 세 가지를 기록한다.

(1) 음성

(2) 파워포인트 슬라이드와 같은 시각자료

(3) 교수자

이렇게 기록된 내용은 의과대학 1학년과 2학년 학생들이 자기 컴퓨터나 스마트폰으로 볼 수 있도록 팟캐스트와 같은 자족적(self-contained) 학습모듈로 제공된다.

Advances in classroom technology enable students to obtain educational material without actually attending standard didactic teaching sessions (i.e., lectures). Lecture-recording technology captures up to three channels: (1) the audio content of the lecture, (2) a digital picture of the visual display, usually PowerPoint (Redmond, Washington) slides, and in some cases, (3) a video recording of the lecturer. The three channels of the lecture capture can be processed into a self-contained learning module (commonly called a podcast) that viewers—in this case first- and second-year medical students— can play back on a personal computer or other digital device.

학생들은 매 과목마다 얼마의 시간을 투자할 것인지 스스로 결정할 수 있고, 이 덕분에 학생들은 관심사에 따라 과목마다 서로 접근 방법과 장소를 다르게 결정할 수 있다. 미국의 많은 의과대학들은 이러한 강의녹화기술의 영향력을 인식하여 학생들이 강의를 선택적으로 출석할 수 있도록 하고 있다.

Students have control over the amount of time they spend on any one subject, and this approach also allows them to focus on different subjects in different ways and places. Many medical schools in the United States have recognized the impact of lecture-capture technology and have responded by making student attendance at lectures optional.1

강의녹화기술은 기존의 방식과 비교해서 학생의 학습에 대해 의미있는 차이를 보이지 않았으나, 일부 연구들은 학생들 사이에서 이러한 방법이 제법 인기가 있음을 보여준다.

Research on lecture-capture technology has generally shown no significant impact on student learning when compared with traditional methods; however, some studies suggest that lecture-capture technology is quite popular among students.2–4

가장 흔한 교수들의 우려는 청중을 잃는 것이다. 특히 교수들은 출석률이 낮아지면 교수자와 학습자간의 상호작용이 감소하여 결국 강의의 효과성이 떨어지고, 교수자의 자율권이 감소할 것을 우려한다.

The most common faculty concerns reported to date relate to the loss of an audience. Specifically, faculty fear that low attendance and reduced student–teacher interaction will have an impact on the efficacy of their teaching performance and give them less autonomy in their approach to teaching.5

학생들의 강의평가에 대한 연구는 1920년대부터 이뤄져왔다. 1970년대는 "학생 평가 연구의 황금기"라고 불릴 정도였다. 지난 90년간 연구자들은 교수자의 강의를 평가하는 데 있어서 학생들은 신뢰도와 타당성이 높은 자료원이라는 것을 지속적으로 보여줬다. 그러나 연구자들은 동시에 강의평가결과에 교란요인으로 작용할 수 있는 것들도 밝혀냈는데, 강의실의 크기, 강의의 수준, 학생의 기대 학점, 과목 등이 그것이다.

Research on student evaluations of college teaching is abundant, dating to the 1920s and the work of Remmers6 and colleagues from Purdue University.7,8 This rich history of evaluations includes the 1970s era, which education researchers termed “the golden age of research on student evaluations.”7 Over the past 90 years, researchers have consistently demonstrated that students serve as valid and reliable assessors of faculty teaching performance in college classrooms and lecture halls; however, investigators have also identified various factors that occasionally confound student evaluation results, including class size, level of course, the student’s anticipated grade in the course, and the subject matter or discipline.6–8

우리는 과연 학생의 출석률 또한 교란변수로 작용할 것인가가 궁금해졌으며, 특히 이 연구에서는 OSUCOM 의예과 수업을 들은 학생들을 대상으로 수업에 출석한 학생과 팟캐스트나 다른 보조학습자료로 수업을 들은 학생을 비교했다.

we wondered whether students’ attendance at the lecture might be a confounding factor in their evaluations of faculty. Specifically, the purpose of this study was to compare how students who attended class versus those who relied solely on podcasts and other supplemental learning materials evaluated lecturers in the preclinical medical school curriculum at the Ohio State University College of Medicine (OSUCOM).

팟캐스트와 같이 완전히 강의 그 자체를 제공하는 자료를 활용하더라도, 사람과 사람간의 상호작용은 강의에 출석함으로서 생겨나고, 따라서 개개인의 학습에 미치는 영향이 다를 수 있다.

The person-to-person interaction that develops through the attendance of a traditional didactic lecture may have a different effect on individual learners compared with the reliance on other materials, even if that material includes a complete podcast of the lecture itself.

기존 연구들은 비디오로 녹화된 강의가 학생들이 학습하는데 있어 일정 수준의 가치가 있음을 보여준 바 있다.  학생들의 흥미와 녹화된 강의를 활용하고자 하는 의지에 따라서 학습 습관에 차이가 있을 수 있으나, 강의평가가 이러한 사실을 증명한 적은 없다(not necessarily borne that out). 

다른 연구에서는 수업 외적인 학습자료가 있더라도, 그것을 얼마나 활용하느냐가 실제로 강의에 출석하는 것에는 별로 영향을 주지 않는다는 것도 보여진 바 있다. 또한 학생들의 수행능력에도 영향을 주지 않았다. 우리의 연구 결과도 비슷한 결과를 보여주고 있는데, 비록 의학과2학년 때 약간의 감소는 있었지만 대부분의 학생들은 여전히 강의에 잘 출석하고 있었다.

Previous studies have indicated that students find value in using video-recorded lecture material to learn.2–4 Although students’ interest and willingness to use video-recording technology may have potential ramifications on learning habits, student surveys have not necessarily borne that out.2 Other studies have suggested that despite the availability of external learning material, their use has not had a large impact on actual attendance in formal lecture hall venues9,10 or on student academic performance.3,11 Our data appear similar in that the majority of students still attend lectures, though there may be a small decline in attendance during the Med-2 year (data not shown).

우리 연구에서는 강의에 출석한 학생들이 팟캐스트로 강의를 들은 학생들보다 통계적으로 유의하게 더 높은 점수를 줬다.

We found that students who attended lectures in person rated lecturers significantly higher than those who viewed podcasts of them.

이 결과는 각 학과장들이 승진이나 테뉴어를 결정할 때 강의평가를 어떻게 활용해야 할 것인가에 시사하는 바가 있다. 예를 들어서 동일하게 4점을 받았더라도, 주로 강의실 강의를 한 교수와 팟캐스트 강의를 한 교수를 동등하게 보아서는 안된다는 것이다.

This finding has ramifications on how department leaders should assess lecturers and on the role evaluations should play in determining promotion and tenure. For example, two different faculty each rated a “4” on a 5-point scale by students would not be truly equivalent if one faculty was judged primarily by students who listened to a podcast lecture and the other by students attending a mandatory lecture in person. In turn, department leaders should not assess each of these faculty members in an equivalent manner.

우리 연구에서 한 교수가 통계적으로 아웃라이어(outlier)였는데, 여기에 대한 고찰이 더 필요하다.

The statistical outlier responsible for the significant interaction between faculty degree background (MD versus PhD) and year in medical school (Med-1 versus Med-2) deserves further elaboration.

이 교수는 다른 수업과는 달리 수업에 앞서서 완전히 다 작성된 수업 노트를 제공하지 않는다. 대신 중요한 제목만 적혀있고 많은 공란이 있는 노트를 나눠줘서 강의를 하는 동안 만들어진 강의록들을 넣을 수 있게 하였다. 이 교수는 파워포인트도 사용하지 않으며, 대신 강의시간에 보고, 듣고, 기록하는 내용이 학생의 학습에 중요하다는 철학을 가지고 있다.

He does not, in advance of the lecture, provide students with complete notes like those they receive in other sections of the course. Instead, they receive pages with the major headings (the topics that will be covered) and plenty of blank space on which they can copy the notes the lecturer produces (and provides via overhead projection) as he lectures. He uses no PowerPoint slides. Rather, his philosophy is that hearing, seeing, and writing the lecture material at the same time contributes to retention and aides student learning.

이 통계적 아웃라이어를 제거하고 나면 강의에 출석 여부에 상관없이 학생들의 강의평가 점수는 PhD와 MD사이에 차이가 없었다. Preclinical medical student의 강의평가는 기초과학 내용이 임상과학 내용과 잘 연결이 되어 있을 때 더 높아진다는 연구결과가 있다.

Once we removed the data related to the statistical outlier, we found that students tended to rate clinical faculty (those with MDs) higher than the basic scientists (those with PhDs), regardless of whether they had or had not attended lectures. This phenomenon may reflect the nature of the content delivered by these lecturers, or it could be a subconscious, or even conscious, display of content favoritism. Previous studies of preclinical medical students’ evaluations of their courses have suggested that basic science material, when well integrated with the clinical sciences, can have a significant, positive impact on student evaluations of lecturers.11

또한 우리의 연구에서는 학점이 출석과는 관련이 없지만, 학점을 무엇을 받았느냐가 강의평가 점수와 연관이 있음을 보여주고 있다.

Our results also showed that class grade has a significant impact on how students evaluate faculty, though grade does

not relate to attendance.

이전의 연구에서 더 높은 학점을 받은 학생이 강의평가를 더 제때제때 하고 교수자의 교수능력에 대해서 더 실질적인 코멘트를 해 주는 것으로 나타난 바 있다.

Previous studies have suggested that students who receive higher grades tend to complete their faculty evaluations in a more timely manner and offer more substantive comments about the lecturers’ performance.12

교수들이 학생에 의해서 평가를 받을 때, 학생들의 출석여부가 고려되어야 할 필요가 있다. 이는 교수에 대한 평가가 승진이나 테뉴어 심사에 적용될 때 특히 더 중요할 것이다. 특정한 교수자-학습자 관계에 촛점을 맞추기보다 강의가 강의실의 수업을 넘어서까지 효과를 미치는 것에 집중하는 것이 의과대학 교육의 질을 높이는데 더 도움이 될 것이다.

When faculty are being evaluated by students, the students’ attendance at in-person teaching events needs to be taken into account. This accounting may be of particular importance when faculty are being evaluated by promotion and tenure committees. Focusing instead on specific teacher–learner relationships and their effectiveness outside the classroom may prove to be a better gauge of medical educator quality.

---

Acad Med. 2013 Jul;88(7):972-977.

The Impact of Lecture Attendance and Other Variables on How Medical Students Evaluate Faculty in a Preclinical Program.

Martin SI, Way DP, Verbeck N, Nagel R, Davis JA, Vandre DD.

Source

Dr. Martin is assistant professor of clinical internal medicine, Division of Infectious Diseases, and associate director, Integrated Pathway Curriculum, Ohio State University College of Medicine, Columbus, Ohio. Mr. Way is senior research associate, Center for Education and Scholarship, Ohio State University College of Medicine, Columbus, Ohio. Ms. Verbeck is curriculum coordinator, Med-1 Integrated Pathway, Ohio State University College of Medicine, Columbus, Ohio. Dr. Nagel is professor of clinical internal medicine, Division of General Internal Medicine, and education resource specialist, Center for Education and Scholarship, Ohio State University College of Medicine, Columbus, Ohio. Dr. Davis is assistant professor of clinical internal medicine, Division of Infectious Diseases, and assistant dean for student life, Ohio State University College of Medicine, Columbus, Ohio. Dr. Vandre is associate professor, Department of Physiology and Cell Biology, and director, Integrated Pathway Curriculum, Ohio State University College of Medicine, Columbus, Ohio.

Abstract

PURPOSE:

High-quality audiovisual recording technology enables medical students to listen to didactic lectures without actually attending them. The authors wondered whether in-person attendance affects how students evaluate lecturers.

METHOD:

This is a retrospective review of faculty evaluations completed by first- and second-year medical students at the Ohio State University College of Medicine during 2009-2010. Lecture-capture technology was used to record all lectures. Attendance at lectures was optional; however, allstudents were required to complete lecturer evaluation forms. Students rated overall instruction using a five-option response scale. They also reported their attendance. The authors used analysis of variance to compare the lecturer ratings of attendees versus nonattendees. The authors included additional independent variables-year of student, student grade/rank in class, and lecturer degree-in the analysis.

RESULTS:

The authors analyzed 12,092 evaluations of 220 lecturers received from 358 students. The average number of evaluations per lecturer was 55. Seventy-four percent (n = 8,968 evaluations) of students attended the lectures they evaluated, whereas 26% (n = 3,124 evaluations) viewed them online. Mean lecturer ratings from attendees was 3.85 compared with 3.80 by nonattendees (P ≤ .05; effect size: 0.055). Student's class grade and year, plus lecturer degree, also affected students' evaluations of lecturers (effect sizes: 0.055-0.3).

CONCLUSIONS:

Students' attendance at lectures, year, and class grade, as well as lecturer degree, affect students' evaluation of lecturers. This finding has ramifications on how student evaluations should be collected, interpreted, and used in promotion and tenure decisions in this evolvingmedical education environment.