거꾸로 교실: 보건전문직대학에서 학습과 참여를 촉진하기 위한 과목 재설계(Acad Med, 2014)

거꾸로 교실: 보건전문직대학에서 학습과 참여를 촉진하기 위한 과목 재설계(Acad Med, 2014)

The Flipped Classroom: A Course Redesign to Foster Learning and Engagement in a Health Professions School

Jacqueline E. McLaughlin, PhD, MS, Mary T. Roth, PharmD, MHS, Dylan M. Glatt, Nastaran Gharkholonarehe, PharmD, Christopher A. Davidson, ME, LaToya M. Griffin, PhD, Denise A. Esserman, PhD, and Russell J. Mumper, PhD

최근 몇 년 동안 미국의 대학들은 학생들을 제대로 교육시키지 못한 것으로 인해 상당한 조사scrutiny를 받았다. 고등교육의 질에 대한 계속되는 우려는 1,3,4 개혁에 대한 많은 요구들을 불러일으켜 전통적인 교과과정을 변화시킬 필요성에 관심을 끌고 있다.

In recent years, colleges and universities in the United States have faced considerable scrutiny for their apparent failure to adequately educate students. Ongoing concerns about the quality of higher education have prompted numerous calls for reform,1,3,4 drawing attention to the need to transform traditional curricula

의과, 간호, 약학 대학들은 모두 학생들이 사회의 진화하는 건강 관리 요구를 충족시킬 수 있도록 더 잘 준비하도록 해야 한다는 도전을 받아왔다. 1910년 Flexner 보고서 이후, 교육을 체계화하여 보건 전문가 지망생들에게 전달하는 방식에는 거의 변화가 없었으며, 수업 중 강의는 전국 대부분의 교실에서 계속 이루어지고 있다.10

Medical, nursing, and pharmacy schools all have been challenged to better prepare their students to meet the evolving health care needs of society.5–8 Since the 1910 Flexner report,9 little has changed in the way that education is structured and delivered to aspiring health professionals, and in-class lectures continue to prevail in the vast majority of classrooms across the country.10

점점 더 많은 문헌에서 지속적으로 교실에서 일어나고 있는 일을 재고해야 할 필요성을 지적한다. 수업 시작 10분 후 학생들의 주의가 실질적이고 꾸준히 감소하고 의대생의 평균 주의 시간이 수업 시작 15분에서 20분이라는 연구 결과가 나왔다. 비록 학생들의 관심이 수업 마지막 몇 분 동안 돌아오지만, 14 그들은 그 시간 동안 제시된 자료의 20%만 기억한다.15 게다가, 한 시간 동안 진행되는 강의에서 수동적인 학습은 종종 학생들을 지루하게 하고 풍부한 교육 경험을 빼앗을 수 있다.16 학생들은 스스로 정보를 읽고 배울 수 있지만, 그들은 [생각을 자극하고 도전하고, 문제를 해결하는 데 지도하며, 그들의 학습과 자료의 적용을 장려하는 코치나 멘토 역할]을 할 instructor가 필요하다.17

A growing body of literature consistently points to the need to rethink what is taking place in the classroom. Research shows that students’ attention declines substantially and steadily after the first 10 minutes of class11,12 and that the average attention span of a medical student is 15 to 20 minutes at the beginning of class.13 Although students’ attention returns in the last few minutes of class,14 they remember only 20% of the material presented during that time.15 Furthermore, passive learning in hourlong lectures often bores students and can deprive them of rich educational experiences.16 Students can read and learn information on their own, but they need instructors to act as coaches and mentors to stimulate and challenge their thinking, guide them in solving problems, and encourage their learning and application of the material.17

팀워크, 토론, 자기 성찰, 사례 연구와 같은 적극적인 학습활동은 학생들의 참여와 성찰을 촉진하여 태도와 가치를 탐구하는 동시에, 지식을 습득하고 기술을 강화하도록 장려한다.18 적극적인 학습에 학생들을 참여시키는 것이 학습 성과를 향상시킨다는 것을 보여준다. 그리고 그들의 동기부여와 태도를 개선한다.19–21 또한 능동적인 학습은 고차적 사고, 문제 해결 및 비판적 분석을 촉진하는 동시에 학생과 강사 모두에게 피드백을 제공한다.21,22

Active learning exercises, such as teamwork, debates, self-reflection, and case studies, that prompt students’ engagement and reflection encourage them to explore attitudes and values, while fostering their motivation to acquire knowledge and enhance skills.18 Evidence shows that engaging students in active learning enhances their learning outcomes and improves their motivation and attitudes.19–21 Moreover, active learning stimulates higher-order thinking, problem solving, and critical analysis while providing feedback to both the student and instructor.21,22

뒤집힌 교실(역, 역, 역, 역으로도 알려져 있음)에서 강사들은 강의 내용을 미리 녹음하여 학생들이 스스로 시청할 수 있도록 인터넷에 게시하여 수업 시간이 문제 기반 학습과 탐구 지향 전략과 같은 학생 중심의 학습 활동에 전념할 수 있도록 한다. 이 접근법은 강사에게 광범위한 학습 스타일을 적용할 기회를 주며, 수업 시간에는 문제 해결을 장려하는 교육 과정을 구현할 수 있는 기회를 제공한다. 또한, 수업을 flip하여 강사들이 각 학생에게 적합한 다양한 학습 경험을 개발할 수 있다.17

In the flipped classroom (also known as the reverse, inverse, or backwards classroom), instructors prerecord lectures and post them online for students to watch on their own so that class time can be dedicated to student-centered learning activities, like problem-based learning and inquiry-oriented strategies.17,23–25 This approach provides instructors with opportunities to engage a wide range of learning styles and implement pedagogies that encourage problem solving during dedicated class time. In addition, flipping the classroom empowers instructors to develop different learning experiences appropriate for each student.17

가장 중요한 것은 뒤집힌 교실 모델이 학생 중심이라는 것이다. 각 학생은 자료에 대한 기본적 이해를 가지고 수업에 나와 수업 토론에 충분히 참여할 책임이 있다. 따라서 내용 습득은 스스로 진행되며, 스스로 콘텐츠를 보는 시기와 양을 통제할 수 있게 한다. 강사들은 학습을 용이하게 하기 위해 학생들을 콘텐츠로 안내하고, 상호작용 경험을 정리하고, 학생들이 창의적으로 생각하도록 유도하며, 전문가의 통찰력과 피드백을 제공한다. 강의실 내의 풍부하고 개방적인 경험은 학생들이 중요한 인지 개발을 촉진하고 협업을 통해 혁신을 촉진함으로써 성공을 준비한다.17

Most important, the flipped classroom model is student-centered. Each student is responsible for coming to class with a basic understanding of the material, so that she or he can fully participate and engage in class discussion. Content acquisition then is self-paced and self-guided, enabling students to control when and how much content they view. To facilitate learning, instructors guide students to the content, organize interactive experiences, challenge students to think creatively, and provide expert insight and feedback. Rich, open-ended experiences within the classroom equip students for success by fostering critical cognitive development and promoting innovation through collaboration.17

우리는 1학년 약대생들에게 필요한 대학원의 건강 전문 강좌를 개설했다.

we flipped a graduate-level health professions course in pharmaceutics required for first-year pharmacy students.

본 문서는 보건 직업 학습 환경 및 그 이상의 대규모 학생 코호트에서 학습 경험을 전환하기 위한 혁신적이고 실용적인 전략을 개발, 구현 및 평가하고자 하는 강사 및 교육 프로그램에 대한 지침 역할을 하기 위한 것이다.

This article is intended to serve as a guide to instructors and educational programs seeking to develop, implement, and evaluate innovative and practical strategies to transform the learning experience in a large cohort of students within a health professions learning environment and beyond.

과목 재설계

Course Redesign

우리의 강의 재설계는 우리 학생들의 교육 경험을 변화시키고, 수업 내 활동적인 학습을 강화하려는 학생들의 요구에 부응하려는 열망에서 영감을 받았다. 그 당시, 주로 전통적인 강의로 이루어진 우리 교실에 채용된 방법론이 수십 년 동안 크게 변하지 않았다는 집단 인식의 결과로, 점점 더 많은 수의 교실 혁신들이 노스 캐롤라이나 대학 에셀만 약학대학에 스며들고 있었다. 우리의 코스 재설계의 목표는 

• (1) 학생의 학습을 개선하고 학생을 비판적 사고자, 문제 해결자, 팀 플레이어로 개발한다.

• (2) 학습 과정 전반에 걸쳐 학생과 강사를 완전히 참여시킨다. 

• (3) 창조적 기술과 응용 학습을 통해 고차적 사고를 자극한다.

Our course redesign was inspired by a desire to transform the educational experiences of our students and to meet students’ requests for enhanced in-class active learning exercises.26,27 At the time, an increasing number of classroom innovations were permeating the University of North Carolina (UNC) Eshelman School of Pharmacy as the result of a collective awareness that the methodologies employed in our classrooms, which consisted mainly of traditional lectures, had remained largely unchanged for decades. The goals of our course redesign were to 

• (1) improve students’ learning and develop students as critical thinkers, problem solvers, and team players; 

• (2) fully engage students and instructors throughout the learning process; and 

• (3) stimulate higher-order thinking through the use of creative technologies and applied learning.

과목 설명

Course description

약대생들의 약 120명의 전임교직원과 620명의 의사가 3개의 캠퍼스(채플힐의 주요 UNC 캠퍼스 및 엘리자베스 시티와 아셰빌의 위성 캠퍼스)에 수용되어 있다.

The approximately 120 full-time faculty and 620 doctor of pharmacy students are housed on three campuses (the main UNC campus in Chapel Hill and satellite campuses in Elizabeth City and Asheville).

기초약학 II(PHCY 411)는 1학년 전문직 학생들에게 필요한 1년 과정의 두 번째 과정이다.

Basic Pharmaceutics II (PHCY 411) is the second course in a yearlong sequence required for first-year professional students.

본 코스를 재설계하기 전 9년 동안, 코스 코디네이터(R.J.M)는 전통적인 강의 형식을 사용하여 PHCY 411을 전달하였다(보충 디지털 그림 1, http://links.lww.com/ACADMED/A177 참조). 이 강의는 75분짜리 강의와 가끔 15분짜리 적극적인 학습 활동(퀴즈 또는 페어&쉐어 활동). 학생들의 지식을 평가하기 위해 강사들은 시험을 이용했다. 문제의 약 75%는 객관식이었고, 나머지는 단답형 및 논술형 문제였다.

In the nine years prior to this course redesign, the course coordinator (R.J.M.) delivered PHCY 411 using a traditional lecture format (see Supplemental Digital Figure 1, http://links.lww.com/ ACADMED/A177), which consisted of a 75-minute lecture and an occasional 15-minute active learning activity (quiz or pair & share activity).28,29 To assess students’ knowledge, instructors used examinations—approximately 75% of the questions were multiple-choice, while the remaining were short-answer and essay questions.

새로운 과목 형식

New course format

그림 1에서 보듯이, PHCY 411 뒤집힌 교실에서, 우리는 수업 시간 중 모든 강의를 자습하는 온라인 비디오로 오프로드하고, 예정된 수업 시간을 네 번의 능동적 학습활동으로 채웠다. 뒤집힌 교실의 평가에는 보다 비판적인 사고와 문제 해결 연습을 포함하도록 고안된 풍부한 도구들이 포함되었다.

As shown in Figure 1, in the PHCY 411 flipped classroom, we offloaded all in-class lectures to self-paced online videos and filled the scheduled class time with four active learning exercises. Assessment in the flipped classroom included a rich mixture of instruments designed to encompass more critical thinking and problem-solving exercises.

우리는 우리의 PHCY 411 뒤집힌 교실에서 세 가지 필수 요소, 즉 오프로드된 내용, 학생 중심 학습, 그리고 적절한 평가에 초점을 맞췄다.

we focused on three essential elements in our PHCY 411 flipped classroom: offloaded content, student-centered learning, and appropriate assessment.

수업 전 내용

Offloaded content.

UNC Esselman 약학대학원에서, 우리는 오프로드된 강좌 콘텐츠를 통합 학습 가속기 모듈(iLAM)이라고 부른다. 우리는 Echo360 강의실 캡쳐를 사용하여 25개의 컨텐츠 중심 iLAM을 미리 녹음하여 학생들이 어떤 컴퓨터나 인터넷이 가능한 기기에서도 언제든지 접속할 수 있는 웹 기반 학습 관리 시스템인 Sakai,31에 내장된 웹 사이트로 오프로드했다.31 학생들은 비디오를 일시 중지, 되감기, 빠르게 전달할 수 있었고 각각의 iLAM을 여러 번 볼 수 있게 되었고, 이것은 학생들이 그들 자신의 속도로 배울 수 있게 했다. 2011년 PHCY 411을 제공하기 위해 사용되는 PowerPoint 슬라이드의 iLAM을 채택하고, 중요한 개념, 정보 및 그림만 강조하도록 설계하였다.

At the UNC Eshelman School of Pharmacy, we refer to offloaded course content as an integrated learning accelerator module (iLAM).26,27 We prerecorded 25 content-focused iLAMs using Echo360 Classroom Capture30 and offloaded them to a Web site embedded in Sakai,31 a Web-based learning management system that students could access at any time on any computer or Internet-enabled device.31 Students had the ability to pause, rewind, and fast forward the videos and were allowed to view each iLAM multiple times, which enabled students to learn at their own pace. We adapted the iLAMs from PowerPoint slides used to deliver PHCY 411 in 2011 and designed them to emphasize only critical concepts, information, and illustrations.

최종 콘텐츠 중심의 iLAM을 개발하는 데 있어 한 가지 특별한 도전은 예년에 사용된 약 29시간의 강의를 통합consolidate하는 것이었다. 그러나, 우리는 이 단계가 학생들의 수업 외 준비 시간을 최소화하고 학생들이 수업에 오기 전에 배워야 할 중요한 개념만을 강조하기 위해 필요하다고 생각했다. 각 iLAM의 평균 길이는 34.6분(범위 21~55분)이었으며, 총 25개 강의의 총 시청 시간은 14.4시간이었다.

One particular challenge in developing the final content-focused iLAMs was consolidating about 29 hours of lectures used in previous years. However, we deemed this step necessary both to minimize students’ out-of-class preparation time and to emphasize only the critical concepts students needed to learn prior to coming to class. The average length of each iLAM was 34.6 minutes (range of 21–55 minutes), with a total viewing time for all 25 lectures of 14.4 hours.

학생중심학습

Student-centered learning.

미리 녹음된 iLAM과 배정된 교과서 및 배경 판독값을 수업 전 학생들의 준비 도구로 지정하여, 수업 내 모든 수업 시간은 학생들의 지식을 평가하고 비판적 사고를 촉진하며 토론을 촉진하기 위해 고안된 학생 중심의 학습활동에 전념하였다. 일반적으로 각 75분 수업은 다음과 같은 활동을 수용했다(그림 1 참조).

With prerecorded iLAMs and assigned textbook and background readings designated as preparatory tools for students prior to class, every in-class period was devoted to student-centered learning exercises designed to assess their knowledge, promote critical thinking, and stimulate discussion. In general, each 75-minute class accommodated the following activities (see Figure 1).

활동 #1(청중 응답 및 개방형 질문)28,29 클리커(또는 청중의 반응) 질문과 개방형 질문을 사용하여 할당된 iLAM과 수업 시작 시 판독치에 제시된 기본 개념에 대한 학생들의 이해를 평가했다. UNC Esselman 의 약학대학원은 모든 학생들이 이 프로그램에 합격시에 클릭커를 구매할 것을 요구한다. 수업 중에 강사는 7~10개의 질문 각각에 응답하기 위해 약 30초를 주었다. 그런 다음 강사는 반응을 분석하고 즉각적인 피드백과 관점을 제공했다. 클릭자 질문에 이어 강사는 iLAM, 판독치 또는 기타 관련 출처에 제공된 내용을 다루는 학생들로부터 질문을 받았다.

Activity #1 (audience response and open questions).28,29 We assessed students’ understanding of the basic concepts presented in the assigned iLAMs and readings at the beginning of class using clicker (or audience response) questions and open questions. The UNC Eshelman School of Pharmacy requires that all students purchase a clicker on acceptance into the program. During class, the instructor gave students approximately 30 seconds to respond to each of 7 to 10 questions. The instructor then analyzed the responses and provided immediate feedback and perspective. Following the clicker questions, the instructor invited questions from students that addressed content provided in the iLAMs, readings, or other related sources.

활동 #2(페어&쉐어 활동).28,29 각 수업은 세 가지 다른 유형의 페어&쉐어 활동 중 하나를 포함한다: 신속, 성찰, 사전 예방. 

• 신속한 페어&쉐어 활동에서, 강사는 수업 시간에 토론 질문을 제시하고 학생들이 서로 짝을 이루고 아이디어를 공유할 수 있는 시간을 주었다. 그런 다음 학생들은 강사의 요구에 따라 자신의 아이디어를 강의실에 제시했고, 강사는 피드백, 관점, 그리고 토론을 확대했다. 

• 이와는 대조적으로, 강사는 코스 웹사이트의 포럼 섹션에 수업 24시간에서 36시간 전에 온라인에 서찰적 페어&쉐어 질문을 올렸고, 학생들은 다음 수업 전에 체계적이고 잘 숙고된 답변(필요하다면 참고문헌이 있는 400단어)을 제공해야 했다. 강사는 반사적인 쌍과 질문을 공유하기 위해 특정 응답을 선택하고 수업 중에 토론하기 위해 제시하였다.

• 마지막으로, 학생 자원자들이 proactive하게 페어&쉐어 질문을 준비했다. 이 경우, 강사로부터 의견을 받은 한두 명의 학생이 강의 주제와 관련된 토론의 설계, 준비 및 조정을 담당했다. 본질적으로, 이 학생들은 해당 수업 중에 강사로 기능했다. Proactive 페어&쉐어 연습의 총 실행에는 5시간에서 7시간이 걸렸다.

Activity #2 (pair & share activities).28,29 Each class included one of three different types of pair & share activities: rapid, reflective, or proactive. 

• In rapid pair & share activities, the instructor presented a discussion question in class and gave students time to pair together and share ideas with one another. The students then presented their ideas to the class as requested by the instructor, who then followed up with feedback, perspective, and expanded discussion. 

• In contrast, the instructor posted reflective pair & share questions online 24 to 36 hours before class in the forum section of the course Web site, and students were required to provide a structured and well-thought-out answer (<400 words, with references if needed) prior to the next class. The instructor selected certain responses to reflective pair & share questions and presented them for discussion during class. 

• Finally, student volunteers prepared proactive pair & share questions. In this exercise, one or two students, with input from the instructor, were responsible for designing, preparing, and moderating a discussion related to the class topic. In essence, they functioned as the instructor during the corresponding in-class exercise. Total execution of the proactive pair & share exercise took 5 to 7 hours.

활동 #3(학생 프레젠테이션 및 토론) 이 활동에서, 4~5명의 학생들로 구성된 한 그룹은 배정된 읽기의 요약과 해석을 제시하고, 주제와 관련된 자료들에 대한 다른 학생들의 질문에 대답할 책임이 있다. 각 학급별로 최대 3개 그룹에게 발표 자료를 작성하여 제출하도록 하였다. 주사위 굴리기 방식으로, 강사는 강의실 토론을 주도할 세 그룹 중 하나를 무작위로 선정했다. 모든 그룹은 발표 대상자 선정 여부와 상관없이 발표 자료로 등급이 매겨졌고, 각 그룹의 모든 학생들은 같은 점수를 받았다. 단체들은 학기 중 두 차례 발표 자료를 준비해야 했고, 학생 한 명당 평균 총 작업시간은 3~5시간이었다. 대다수의 집단은 한 번, 단 두 개의 집단은 두 번 발표하도록 선택되었다.

Activity #3 (student presentations and discussion). In this activity, one group of four or five students was responsible for presenting a summary and interpretation of the assigned readings and answering other students’ questions about material related to that class’s topic. For each class, up to three groups were asked to prepare and submit presentation materials. By a dice roll, the instructor randomly selected one of those three groups to present and lead the in-class discussion. All groups were graded on their presentation materials regardless of whether they were selected to present, and all students in each group received the same grade. Groups were required to prepare presentation materials twice during the semester, and the average total work for each student was three to five hours for each preparation. The majority of groups presented once; only two groups were chosen to present twice.

활동 #4(개별 퀴즈 또는 쌍별 퀴즈). 각 수업이 끝날 때마다 강사는 10문제짜리 객관식 퀴즈를 보았다. 그리고 나서, 그는 전체 학생 업무량과 시험 일정에 따라 8개 학급에서 등급에 이르는 퀴즈를 골랐다. 퀴즈가 시행되었을 때, 강사는 학생들에게 그것이 그들의 최종 성적에 기여할지 여부를 통지했다. 각각의 퀴즈는 그 수업의 내용만을 다루었고, 어떤 경우에는 학생들이 짝을 지어 일하도록 허용하고 그 질문들에 대해 공개적으로 토론하도록 했다. 이 활동은 학생들이 코스 내용을 최신 상태로 유지하고 서로 배우도록 격려하고, 과정이 진행됨에 따라 강사에게 귀중한 피드백을 제공하였다.

Activity #4 (individual or paired quiz). At the end of each class, the instructor administered a 10-question multiple-choice quiz on paper; then, he selected the quizzes from eight classes to grade based on overall student workload and exam schedule. At the time the quiz was administered, the instructor notified the students whether it would contribute to their final grade. Each quiz covered only that class’s material, and, in some cases, students were permitted to work in pairs and openly discuss the questions. This activity encouraged students to stay current with the course content and learn from one another, and provided valuable feedback to the instructor as the course progressed.

소강의 .32 PHCY 411 뒤집힌 강의실의 중요한 구성 요소는 강사가 학생들의 학습을 강화하고 필요한 경우 방향을 전환하기 위해 사용하는 소강의이었다. 이러한 소강의는 전형적으로 1분에서 3분 정도 길이였으며, 교실 역학을 기초로 필요할 때 통합되었다. 소강의는 강사가 학생들을 활동적인 학습 환경의 혼란으로부터 "좋은 장소good place"로 되돌려 놓을 수 있는 기회를 제공했을 뿐만 아니라, 학생들로 하여금 [혼란이 있더라도 교수가 명확한 설명과 관점을 제공해줄 것]이라고 알게 함으로써, 학생들이 스스로 탐구하고 확장할 수 있도록 강화했다.

Microlectures.32 A critical component of the PHCY 411 flipped classroom was the microlecture, used by the instructor to reinforce and, if needed, redirect students’ learning. These microlectures were typically one to three minutes in length and were incorporated when needed on the basis of classroom dynamics. Not only did the microlectures provide an opportunity for the instructor to bring the students back to a “good place” from the chaos of an active learning environment but they also reinforced the idea that students could, in fact, explore and extend themselves knowing that the instructor would provide clarity and perspective when confusion ensued.

적절한 평가.

Appropriate assessment.

적절한 평가는 코스 재설계의 중심 신조였다. 클리커 질문, 페어&쉐어 활동과 같은 적극적인 참여 활동은 강사가 학생들의 학습에 대한 실시간 형성평가를 할 수 있도록 하고, 학생들의 지식의 gap이나 오해와 관련하여 즉각적인 피드백을 제공할 수 있도록 했다. 학생 프레젠테이션(최종 성적의 1.6%에 해당) 8개 등급의 퀴즈(총 12.9%), 3개의 예정된 시험(각각 16.1%), 종합 및 누적 최종 시험 1회(32.3%)이 과정 내용에 대한 학생들의 이해를 평가하고 원하는 학습 성과와 목표를 달성할 수 있는 학생들의 능력을 측정했다.

Appropriate assessment was a central tenet of the course redesign. Active engagement activities, like clicker questions and pair & share activities, enabled instructors to make real-time, formative assessments of students’ learning and provide immediate feedback concerning misconceptions or gaps in students’ knowledge. 

• Students’ presentations (worth 1.6% of the final grade), 

• eight graded quizzes (worth a total of 12.9%), 

• three scheduled examinations (each worth 16.1%), and 

• one comprehensive and cumulative final examination (worth 32.3%) 

...assessed students’ understanding of the course content and measured students’ ability to achieve desired learning outcomes and objectives.

학기 초에 배정된 두 개의 프로젝트는 추가적인 실습 기회를 제공하고, 더 높은 수준의 사고를 장려하며, 블룸의 학습 분류 체계 상단과 일치하도록 학생들의 분석, 종합, 평가 능력을 평가했다.34 첫 번째 프로젝트(패키지 삽입 분석, 4.8% 가치) 식품의약품안전청이 승인한 제품의 처방 정보에 PHCY 410 및 PHCY 411에서 학습한 개념을 적용한다. 두 번째 프로젝트(임상적 이론적 제안 개요)는 학생들에게 임상적 단점을 식별하고, 치료를 위한 투여량 양식을 설계하고, 3페이지 분량의 연구 제안 개요를 작성하도록 요청했다. 그러나 본 코스가 끝나기 전에 우리는 이 두 번째 프로젝트를 최대 3.2%의 추가 비용에 해당하는 선택적 보너스 연습으로 전환했다. 강의 시작 시 강사는 두 프로젝트의 예를 코스 웹 사이트에 게시했다.

Two projects assigned at the beginning of the semester provided additional practice opportunities, encouraged higher-order thinking, and assessed students’ ability to analyze, synthesize, and evaluate material, consistent with the top of Bloom’s Taxonomy of Learning.33,34 The first project (package insert analysis, worth 4.8%) required students to apply the concepts they learned in PHCY 410 and PHCY 411 to the prescribing information of a Food and Drug Administration–approved product. The second project (clinical pharmaceutics proposal outline) asked students to identify a clinical shortcoming, design a dosage form for treatment, and write a three-page research proposal outline. However, prior to the end of the course, we converted this second project to an optional bonus exercise worth up to an additional 3.2%. At the beginning of the course, the instructor posted examples of both projects to the course Web site.

마지막으로, 학생들은 온라인에서 성찰적 페어&쉐어 질문에 응답하거나(추가적인 1.6%에 해당), 사전 예방적 쌍과 공유 활동을 촉진하는 것에 대해 보너스 점수를 받았다(추가적인 3.2%에 상당).

Finally, students received bonus points for responding online to reflective pair & share questions (worth up to an additional 1.6%) or facilitating a proactive pair & share activity (worth up to an additional 3.2%).

과목 도입

Course implementation

우리는 그 뒤집힌 교실이 대부분의 학생들에게 새로운 경험일 가능성이 있다는 것을 인정했다. 그들의 이행transition을 용이하게 하기 위해, 우리는 코스에 대한 철저한 설명과 재설계의 동기를 상세히 설명하는 설명을 포함하는 포괄적인 실라버스를 제공했다. 또한, 우리는 학생들이 각 수업 전에 오프로드된 자료를 검토하고 수업 중 훈련에 적극적으로 참여할 것이라는 우리의 기대를 강조하는 코스의 성공 요령을 담은 가이드를 제공했다.

We recognized that the flipped classroom was likely a new experience for most students. To ease their transition, we provided a comprehensive syllabus that included a thorough description of the course and an explanation detailing our motivation for the redesign. In addition, we provided a guide with tips for success in the course, which emphasized our expectations that the students would review the offloaded material prior to each class and would actively engage in the in-class exercises.

이번 학기 내내, 우리는 이 새로운 형식 하에서 학생들의 수업 업무량 균형을 맞추는 능력을 면밀히 모니터했다. 우리는 학생들에게 부담을 주거나 기회를 제한하지 않고, 이 새로운 역동적인 환경에서 학생들의 강의 자료 탐색을 촉진하는 데 전념했다. 우리는 학생들이 학기 중에 계속해서 초기 투자해야 한다는 것을 인정했지만, 우리는 이 투자가 학생들이 시험 전에 공부하는데 시간을 덜 써야 하기 때문에 배당금을 지불했다paid dividends고 믿었다. 통상적인 비공식적인 학생 투표로, 우리는 학점당 수업 외 시간의 총 시간이 UNC 지침과 일치하도록 보장했다. 예를 들어, 학생들의 피드백에 대응하여, 우리는 임상 의학 제안서 개요 프로젝트를 학생들의 작업부하의 균형을 더 잘 맞추기 위해 선택적인 보너스 연습으로 전환하기 위해 학기 내내 약 4분의 3을 선택했다.

Throughout the semester, we closely monitored the students’ ability to balance the course workload under this new format. We were committed to facilitating students’ exploration of the course material in this new dynamic environment without burdening them or limiting their opportunities. We recognized that students had to invest time upfront and continuously during the semester, but we believed that this investment paid dividends as it required students to spend less time studying prior to exams. By routine, informal student polling, we ensured that the total out-of-class time per credit hour was consistent with UNC guidelines. In response to students’ feedback, for example, we chose about three-quarters of the way through the semester to convert the clinical pharmaceutics proposal outline project into an optional bonus exercise to better balance students’ workload.

뒤집힌 교실을 실행할 때, 우리는 교수진 시간과 자원도 고려할 것을 권고한다. 2012년에 교수진은 기존의 강의실을 준비하기 위해 2011년에 필요했던 것보다 뒤집힌 강의실을 준비하는 데 127%의 시간이 더 필요했다(보충 디지털 표 1, http:// 참조). 이러한 투입시간 증가의 이유는 강의 녹화, 능동적 학습활동 준비, 그리고 학업과 시험에 필요한 여분의 시간에 있었다. 그러나 리소스 재사용 능력과 코스 설계에 통합된 효율성 향상으로 2013년에 이러한 시간 약속을 줄일 수 있을 것이다.

When implementing the flipped classroom, we recommend that faculty time and resources also be taken into consideration. In 2012, faculty needed 127% more time to prepare the flipped classroom than they needed in 2011 to prepare the traditional classroom (see Supplemental Digital Table 1, http:// links.lww.com/ACADMED/A177). We attributed this increase in time commitment (93% for the teaching assistant and 170% for faculty) to the extra time required to 

• capture lectures, 

• prepare active learning exercises, and 

• grade projects and examinations. 

However, the ability to reuse resources and greater efficiencies incorporated into the course design will reduce these time commitments in 2013.

우리의 뒤집힌 교실 모델은 특히 사려 깊은 서면 피드백을 제공하는 것과 관련이 있기 때문에, 수업 촉진을 제외하고, 강사의 효율성과 전문성 수준에서 기능하는 고도로 훈련된 교사 보조자를 필요로 했다. 우리의 모델은 또한 보조교사가 주당 20시간(또는 학기당 약 260~270시간)을 이 과정에 할애하여 풀타임으로 일하도록 요구하였다. 2011년과 2012년 모두, 조교수는 Molecular Pharmakistics 부서에서 정규 박사 과정을 밟았고, 수업 참석, 근무 시간, 학생들과 의사소통, 과제 준비 및 등급 부여를 했다(보충 디지털 표 1, http://links.lww.com/ ACADMED/A177 참조).

Our flipped classroom model required a highly trained teaching assistant, who, except for class facilitation, functioned at the level of efficiency and expertise of the instructor, especially as it related to providing thoughtful written feedback. Our model also required that the teaching assistant work full-time, committing 20 hours per week (or about 260–270 hours per semester) to the course. In both 2011 and 2012, the teaching assistant was a full-time PhD student in the Division of Molecular Pharmaceutics who attended classes, held office hours, communicated with students, and prepared and graded assignments (see Supplemental Digital Table 1, http://links.lww.com/ ACADMED/A177).

교수진은 2013년에 2012년에 비해 필요시간이 크게 줄어들겠지만, 보조교사의 소요시간은 거의 동일할 것이다.

Although faculty will see a significant drop in time commitment in 2013 compared with 2012, the teaching assistant’s time commitment will be about the same.

과목 성과

Course Outcomes

과정 전·후 조사의 참여는 자발적이었지만, 코스 평가 참여는 코스에서 점수를 받도록 하였다. 과정 평가에 대한 식별자와 인구통계학적 정보를 수집하지 않았기 때문에, 우리는 학생들의 반응을 다른 수집된 데이터와 연결할 수 없었다.

Participation in the pre-and post- course surveys was voluntary; however, participation in the course evaluation was required to receive a grade in the course. Because we did not collect identifiers and demographic information on the course evaluations, we could not link students’ responses to any other collected data.

표 1은 2011 및 2012년 전체 인구 자료

Table 1 for complete 2011 and 2012 demographics

2012년 조사 응답자 중 82.0%는 25개의 iLAM을 모두 청취한다고 응답했으며, 15.3%는 20~24개의 iLAM을 청취하는 것으로 응답했다. 다음으로 79.3%는 일주일에 한 번 이상 iLAM을 시청하는 것으로 응답했으며, 19.3%는 주당 1개의 iLAM을 시청한다고 응답했다. 학생들은 학기 내내 과정 웹 사이트 194.09 ± 90.02회, iLAM 사이트 39.37 ± 16.84회에 접속했다. 온라인 참여척도와 기말고사 성적 사이의 모든 상관관계는 약했다(r = -0.04 p ~ r = 0.20). p 완료된 추가 신용 활동 수와 원시 최종 코스 등급 사이의 상관관계는 중간 수준이었다(r = 0.34). p

Of survey respondents in 2012, 82.0% reported listening to all 25 iLAMs, while an additional 15.3% reported listening to 20 to 24 iLAMs. Next, 79.3% reported watching iLAMs more than once a week, with an additional 19.3% reporting watching one iLAM per week. On average, students accessed the course Web site 194.09 ± 90.02 times and the iLAM site 39.37 ± 16.84 times throughout the semester. All correlations between online engagement measures and final exam performance were weak (r = −0.04 p to r = 0.20). The correlation between p the number of completed extra credit activities and raw final course grade was moderate (r = 0.34). p

Table 2

게다가, FC에서 출석률이 더 높았고(P = .03) 독립 t 검정에서는 2011년(160.06 ± 14.65)에 비해 2012년(165.48 ± 13.34) 기말고사 성적 사이에 통계적으로 유의미한 차이(P = .001)가 나타났다.

Furthermore, attendance was higher in the flipped classroom (P = .03), and an independent t test showed a statistically significant difference (P = .001) between final exam grades (out of 200 points) in 2012 (165.48 ± 13.34) compared with those in 2011 (160.06 ± 14.65).

Table 3 

코스 후 조사에서 학생들에게 iLAM의 가용성이 가장 큰 이점을 제공하는 3가지 방법을 선택하도록 요청했을 때, 90.0%는 iLAM이 "각 수업 시간에 대비할 수 있도록 도와줬다"고 답했고, 58.0%는 "내 속도로 학습할 수 있게 했다"고 답했고, 47.3%는 "시험 준비를 할 수 있게 했다"고 답했다. 47.3%는 iLAM이 "내 전체 학습 능력을 향상시켰다"고 지적했다. 91%의 학생들은 뒤집힌 교실의 전반적인 수업 형식이 학습을 크게 향상시켰다는 것에 강하게 동의하거나 동의했다. 전통적인 강의 형식에 대한 선호도는 전코스 조사의 109명(72.7%)에서 23명(15.4%)으로 감소했고, 뒤집힌 강의실 형식에 대한 선호도는 41명(27.3%)에서 126명(84.6%)으로 증가했다.

When students were asked on the postcourse survey to select up to three ways that the availability of iLAMs provided the most benefit, 90.0% indicated that the iLAMs “helped me prepare for each class session,” 58.0% indicated that the iLAMs “allowed me to learn at my own pace,” 47.3% indicated that the iLAMs “helped me prepare for the exams,” and 47.3% indicated that the iLAMs “improved my overall learning.” Ninety-one percent of students strongly agreed or agreed that the overall course format of the flipped classroom greatly enhanced their learning. Preference for the traditional lecture format decreased from 109 students (72.7%) in the precourse survey to 23 students (15.4%) in the postcourse survey, while preference for the flipped classroom format increased from 41 students (27.3%) to 126 students (84.6%)

(P < .001, 그림 2 참조). 어떤 학생도 flipped에서 traditional format으로 선호 방식이 바뀌지는 않았다.

(P < .001, see Figure 2). No students changed their preference from the flipped to traditional format.

다음 단계

Next Steps

우리는 내용물을 오프로드하고, 학생들을 적극적인 학습에 참여시키고, 적절한 성과를 평가하는 것이 학생들의 교실에서 학습 경험을 향상시키는데 필수적이라고 믿는다. 뒤집힌 교실의 개선된 결과는 부분적으로 자율성, 관련성 및 역량을 본질적인 동기 부여에 대한 선천적 필요성으로 식별하는 자기 결정 이론에 의해 설명될 수 있다.35

We believe that offloading content, engaging students in active learning, and appropriately assessing performance are essential for enhancing students’ learning experiences in the flipped classroom. Improved outcomes in the flipped classroom can be explained, in part, by self-determination theory, which identifies autonomy, relatedness, and competence as the innate needs for intrinsic motivation.35

여기서 코스 재설계 접근법을 구체적으로 기술했지만, 다양한 오프로드, 능동적 학습 및 평가 접근법을 이용할 수 있을 것이다. 예를 들어 오프로딩은 대신 장 또는 모듈, 캡처한 비디오, 강사 유인물 또는 교과서 뒤에 평가 도구가 내장된 고수준의 애니메이션 eBook을 사용할 수 있다. 또한, 학생들이 교실에서 능동적인 학습에 참여하도록 하기 위해 많은 다양한 도구를 사용할 수 있다.28,29 우리는 [우리가 사용한 구체적인 방법보다] 교실에서 콘텐츠를 오프로드하고 능동적인 학습에 참여하게 만드는 실천이 훨씬 더 중요하다고 믿는다.

Although we have specifically described our course redesign approach, we recognize that various offloading, active learning, and assessment approaches are available. For example, offloading may instead use high-level animated eBooks with built-in assessment tools after chapters or modules, captured video, instructor handouts, or textbooks. In addition, a plethora of different tools are available to engage students in active learning in the classroom.28,29 We believe that the actual practice of offloading content and engaging in active learning in the classroom is far more important than the specific methods we used.

2013년 봄 PHCY 411까지 다음과 같은 실질적인 변경을 수행했다.

To the spring 2013 PHCY 411, we made the following substantive changes:

1. 우리는 더 이상 교과서를 읽어야 한다고 생각하지 않는다. 왜냐하면 많은 학생들이 교과서가 시대에 뒤떨어진 것은 아닐지라도, redundant하다고 생각했기 때문이다.

1. We no longer considered the textbook to be required reading, because many students found it to be redundant, if not outdated.

2. 우리는 강의에서 배운 개념을 가장 잘 응용하는 12개의 현대 연구 논문의 그룹 토론에 기초하여 학생 발표와 토론을 새로운 30분간의 능동적 학습활동으로 대체했다.

2. We replaced the student presentations and discussion with a new 30-minute active learning exercise based on group discussions of 12 contemporary research articles that best apply concepts learned in the course.

3. 강사는 강의 시간 외 온라인에서 웹사이트를 통해 20분짜리 퀴즈를 관리하고 등급을 매겼다.

3. The instructor administered and graded 20-minute quizzes (taken alone or paired) online outside of class time via the course Web site.

4. 패키지 삽입 분석은 필수 과제로 남았지만, 수업 마지막 날 모든 학생들이 학습 경험으로 다른 세 학생의 프로젝트를 검토하고 등급을 매겼다.

4. The package insert analysis remained a required project; however, on the last day of class, all students reviewed and graded three other students’ projects as a learning experience.

5. 개념 확대, 신기술, 속보, 현행 임상시험, 신약제품, 웹링크 등을 위한 정보 포털로 활용할 수 있는 온라인 411 파마코피디아을 개발했다.

5. We developed an online 411 Pharmacopedia to be used as an information portal for expanding concepts, new technologies, breaking news, current clinical trials, new drug products, and Web links.

Conclusions

---

Acad Med. 2014 Feb;89(2):236-43. doi: 10.1097/ACM.0000000000000086.

The flipped classroom: a course redesign to foster learning and engagement in a health professions school.

McLaughlin JE1, Roth MT, Glatt DM, Gharkholonarehe N, Davidson CA, Griffin LM, Esserman DA, Mumper RJ.

Author information

1

Dr. McLaughlin is assistant professor and associate director, Office of Strategic Planning and Assessment, UNC Eshelman School of Pharmacy, Chapel Hill, North Carolina. She was a postdoctoral fellow at the time of the redesign. Dr. Roth is associate professor and director, Office of Strategic Planning and Assessment, and executive director, The Academy, UNC Eshelman School of Pharmacy, Chapel Hill, North Carolina. Mr. Glatt is a PhD student, Division of Molecular Pharmaceutics, UNC Eshelman School of Pharmacy, Chapel Hill, North Carolina. He was teaching assistant for the Basic Pharmaceutics II course at the time of the redesign. Dr. Gharkholonarehe is a pharmacy resident, REX UNC Health Care, Raleigh, North Carolina. She was a student in the Basic Pharmaceutics II course two years before the redesign. Mr. Davidson is director, Office of Educational Technology Research and Development, UNC Eshelman School of Pharmacy, Chapel Hill, North Carolina. Dr. Griffin is teaching assistant professor, Brody School of Medicine, East Carolina University, Greenville, North Carolina. She was a postdoctoral research fellow, Office of Educational Technology Research and Development, UNC Eshelman School of Pharmacy, Chapel Hill, North Carolina, at the time of the redesign. Dr. Esserman is instructor in public health, Yale University, New Haven, Connecticut. She was research assistant professor, Departments of Medicine and Biostatistics, University of North Carolina at Chapel Hill School of Medicine, Chapel Hill, North Carolina, at the time of the redesign. Dr. Mumper is vice dean and professor, Division of Molecular Pharmaceutics, and course coordinator for the Basic Pharmaceutics II course, UNC Eshelman School of Pharmacy, Chapel Hill, North Carolina.

Abstract

Recent calls for educational reform highlight ongoing concerns about the ability of current curricula to equip aspiring health care professionals with the skills for success. Whereas a wide range of proposed solutions attempt to address apparent deficiencies in current educational models, a growing body of literature consistently points to the need to rethink the traditional in-class, lecture-based course model. One such proposal is the flipped classroom, in which content is offloaded for students to learn on their own, and class time is dedicated to engaging students in student-centered learning activities, like problem-based learning and inquiry-oriented strategies. In 2012, the authors flipped a required first-year pharmaceutics course at the University of North Carolina Eshelman School of Pharmacy. They offloaded all lectures to self-paced online videos and used class time to engage students in active learning exercises. In this article, the authors describe the philosophy and methodology used to redesign the Basic Pharmaceutics II course and outline the research they conducted to investigate the resulting outcomes. This article is intended to serve as a guide to instructors and educational programs seeking to develop, implement, and evaluate innovative and practical strategies to transform students' learning experience. As class attendance, students' learning, and the perceived value of this model all increased following participation in the flipped classroom, the authors conclude that this approach warrants careful consideration as educators aim to enhance learning, improve outcomes, and fully equip students to address 21st-century health care needs.

Comment in

• Costs related to a flipped classroom. [Acad Med. 2014]
• In reply to Spangler. [Acad Med. 2014]

PMID:

 

24270916

 

DOI:

 

10.1097/ACM.0000000000000086