의학교육에서 거꾸로교실의 효과성에 대한 체계적 문헌고찰(Med Educ, 2017)

의학교육에서 거꾸로교실의 효과성에 대한 체계적 문헌고찰(Med Educ, 2017)

A systematic review of the effectiveness of flipped classrooms in medical education

Fei Chen,1 Angela M Lui2 & Susan M Martinelli1

도입

INTRODUCTION

최근 전통적인 강의 방식에서 벗어나 학생들의 높은 수준의 사고와 적극적인 참여를 장려하는 다른 교육적 접근법으로 전환하라는 요구가 제기되었다.1 이러한 접근 중 많은 관심을 받은 것은 학생들이 독립적으로 배울 수 있도록 하는 뒤집힌 교실이다. 필수 숙제로써 기본 개념들, 그리고 이것을 얻은 지식을 수업 시간 동안 사용하여 비판적 사고 기회와 지식의 적용에 관여한다. FC라는 용어는 2012년에 만들어졌고 전세계적으로 인기를 얻었다.3 FC는 교실 밖에서 독립적인 학습과 기술 사용의 통합을 촉진하고, 학습자 중심의 활동4 및 보다 효율적인 학생-교사 상호 작용을 촉진할 것을 제안한다.5

There has been a recent call for a shift in medical education away from the traditional lecture approach and toward other instructional approaches that encourage higher-order thinking and active participation from students.1 One such approach that has received much attention is the flipped classroom (FC), which allows students to independently learn foundational concepts as required homework, and then use this gained knowledge during class time to engage in critical thinking opportunities and application of knowledge. The term FC was coined in 20122 and has gained popularity worldwide.3 It is suggested that the FC promotes the integration of independent learning and use of technology outside the classroom, and learner-centred activities4 and more efficient student–teacher interactions inside the classroom.5

전통적인 교실에서는, 기초지식이 강사들에 의해 전달되는 강의를 통해 수동적으로 학생들에게 전달된다. 강의가 끝난 후, 학생들은 이 지식을 교실 밖에서 사용하고 적용한다.

In a traditional classroom, foundational knowledge is passively transferred to students during class through the means of a lecture delivered by instructors. Following the lecture, students use and apply this knowledge outside the classroom setting.

FC의 일반적인 정의는 교실 안과 밖에서 완료된 작업이 전통적인 교실에서 발생하는 것과 반대되는 접근방식이다. 

• 기초지식은 수업 전에 자기 주도적인 학습을 통해 습득된다. 

• 지식 응용과 문제 해결은 교관 중심의 학습 위주의 활동을 통해 교실 내에서 이루어진다. 

이 일반적인 정의는 광범위하여 강의실 내부 및 외부의 활동 이행의 가변성을 허용한다.8 

The general definition of the FC is an approach in which the tasks completed inside and outside of the classroom are opposite to what occurs in a traditional classroom. 

• Foundational knowledge is gained by students through self-paced learning prior to class. 

• Knowledge application and problem solving then occur inside the classroom through instructor-facilitated learner-centered activities.4,6,7 

This general definition is broad, allowing for variability in the implementation of activities inside and outside the classroom.8 

보건과학 교육 분야에서 FC의 사용에 관한 문헌은 지난 몇 년 동안 발전해 왔다. 그러나 이 일의 대부분은 약국과 간호에서 수행되었다.9–20

The body of literature on the use of the FC in the field of health science education has grown over the past several years. However, the majority of this work was carried out in pharmacy and nursing.9–20

보건과학 분야의 대부분의 연구는 FCs.5,6,9,23에 대한 학습자 선호를 입증했지만, 긍정적인 태도만으로는 교사들이 의료 교육에서 FC 접근 방식으로 전환할 수 있는 충분한 설득력 있는 증거가 될 수 없다. 전통적으로 의대 전반부에 이용되었던 비임상 강의실 및 실험실 기반 교육 환경은 다른 건강 직업과 유사할 수 있지만, 이러한 학습 환경은 의학교육 환경 전반(UME, GME, CPD)으로 보면 단연 minority에 해당한다.

Most studies in the health sciences demonstrated learner preference for FCs.5,6,9,23 However, positive attitudes alone may not be sufficiently compelling evidence for teachers to convert to an FC approach in medical education. Although the non-clinical classroom and laboratory-based educational environment traditionally utilised in the first half of medical school may be similar to other health professions, this learning environment is by far in the minority in the overall (undergraduate, graduate and continuing) medical education setting.

비록 의학 교육에서 FC의 사용을 전반적으로 수용하는 것으로 보이지만, 일부 논평들은 FC의 구현과 그 효과에 대한 강력한 증거 부족에 대한 우려를 제기하고 있으며, 따라서 그러한 25-28 교육 개혁의 비용 대 편익에 의문을 제기하고 있다. 이러한 우려는 의학 교육에서 FC의 학습 성과에 초점을 맞춘 연구를 필요로 한다.

Although there appears to be overall acceptance of the use of the FC in medical education, some commentaries have raised concerns about its implementation and the lack of strong evidence for its effectiveness, and therefore question the cost versus benefits of such 25–28 educational reform. These concerns call for research focusing on the learning outcomes of FCs in medical education.

우리는 다음과 같은 세 가지 연구 질문에 답하고자 했다. 

• (i) 의료 교육에서 FC에 발표된 연구의 범위는? 

• (ii) 조사된 연구의 연구 품질은 무엇인가? 

• (iii) 통제된 연구에서 보고한 FC의 영향은?

We sought to answer three research questions: 

• (i) What is the scope of the studies that have been published on FCs in medical education? 

• (ii) What is the research quality of the studies examined? 

• (iii) What are the effects of the FC, as reported by controlled studies?

METHOD

Literature search

Review procedure

Figure 1 summarises the review process and count of articles after each stage.

The first two authors screened the articles according to the inclusion criteria (see Table 1).

결과

RESULTS

의학교육에서 출판된 FC논문 

The scope of published studies on the FC in medical education

국가

Countries of study

Although over half of the 46 articles (n = 25) were focused on medical education in the USA, the concept of the FC in medical education has travelled internationally. The UK (n = 5), Canada (n = 3), Hong Kong (n = 2) and India (n = 2) produced multiple articles. Other countries and regions represented within this body of articles included France, Germany, Israel, New Zealand, Pakistan and Singapore.

전공

Area of specialties

There were 17 distinct medical specialties studied across the 46 articles.

교육단계

Level of medical education

Our search included all 4 years of medical school (including preclinical and clerkship), residency and fellowship.

출판된 논문의 퀄리티

The quality of published studies on FC in medical education

발표된 논문의 품질은 연구 유형 또는 설계 및 사용된 효과의 측정을 포함하여 사용된 방법론에 따라 평가되었다. Boet et al.29에서 설명한 범주를 사용하여 연구를 코드화했다.

The quality of the published articles was evaluated based on the methodology used, including the study type or design and the measure of effectiveness used. Categories described by Boet et al.29 were used to code the studies.

연구 종류

Type of study

46개의 기사에는 13개의 논평, 9개의 통제된 연구, 8개의 행동 연구, 8개의 과정 후 설계 연구, 2개의 연구 전과 후 및 2개의 문헌 검토가 포함되었다. 네 가지 연구는 과정 후 평가와 함께 연구 전후의 설계를 사용했다.

The 46 articles included 13 commentaries, nine controlled studies, eight action research studies, eight post-course design studies, two before and after studies and two literature reviews. Four studies used a before and after study design in conjunction with a post-course survey.

9개의 통제된 연구를 자세히 조사한 결과 이들 연구 중 4개가 설계 전후에 통제된 것을 사용했다(부록 S1 참조). 즉, 이러한 연구는 개입이 시행되기 전후에 치료(FC)와 통제(전통적인 강의) 그룹 모두를 조사했다.

A closer examination of the nine controlled studies showed that four of these studies used a controlled before and after design (see Appendix S1). That is, these studies examined both the treatment (FC) and control (traditional lecture) groups before and after the intervention was implemented.

효과 척도

Measures of effectiveness

본 연구의 효과성 측정은 ....

The studies’ measures of effectiveness were evaluated based on a modified version of Kirkpatrick’s framework29,30 with six levels of classification of intervention outcome: 

(1) perceptions of intervention, 

(2a) changes in attitude, 

(2b) changes in knowledge and skills, 

(3) changes in behaviours, 

(4a) changes in professional practice or 

(4b) changes in patient outcome. 

전반적으로 46개 기사 중 18개는 중재 결과를 보고하지 않았다.

Overall, 18 of the 46 articles did not report the intervention outcomes.

FC의 효과

The effects of FC

학습에 대한 FC의 영향을 평가하기 위해, 제어된 설계를 채택한 9개의 연구가 추가 분석을 위해 선택되었다. 이러한 각 연구의 요약은 표 3에 제시되어 있다.

To assess the effects of the FC on learning, the nine studies that employed a controlled design were selected for further analyses. Summaries of each of these studies are provided in Table 3.

FC에 대한 인식

Perceptions of FC

6개의 통제된 연구는 직접 FC 노출 이후 기간 또는 과정의 종료 시 관리되는 자체 보고 설문조사를 사용하여 FC에 대한 학생들의 인식을 평가했다.

• 학생들은 일반적으로 자기 진행식 학습을 위한 리소스(예: 비디오 및 슬라이드)에 쉽게 액세스할 수 있기 때문에 온라인 모듈의 유용성, 특히 접근 방식에 만족했다.

• 학생들은 또한 수업에서의 학생 참여를 증가시키는 중요한 동기부여 요소였기 때문에, 수업내 세션을 강화시키는 inclass 퀴즈와 숙제, 문제 해결 연습에 만족했다.23

Six controlled studies assessed students’ perceptions of the FC using self-reported surveys administered at the conclusion of a term or course following firsthand FC exposure.3,23,33–36 

• Students were generally satisfied with the approach, particularly the usefulness of the online modules,3 because of easy access to resources (e.g. videos and slides) for self-paced learning.33 

• Students were also satisfied with the inclass quizzes and homework problem-solving practices that reinforced the in-class sessions, as they were critical motivating factors that increased student engagement in class.23

FC이후 태도변화

Attitude changes after using the FC

세 가지 연구는 FC,33,35,36에 노출되어 긍정적인 변화를 보고한 학생들의 태도를 추적했다.

Three studies tracked students’ attitudes following exposure to the FC,33,35,36 all reporting positive changes.

지식, 기술, 태도 변화

Knowledge, skill and behaviour changes with the FC curriculum

지식과 기술의 변화는 결과 변수로써 모든 3,23,33–39개의 통제된 연구에서 평가되었다. FC와 전통적인 강의 교수 접근법으로 학생들의 지식과 기술의 변화를 조사하는 연구는 혼합된 결과를 보여주었다; 일부는 긍정적인 결과를 초래했고 다른 일부는 무시할 만한 차이를 낳았다(표 3).

Changes in knowledge and skill were assessed in all 3,23,33–39 nine controlled studies as outcome variables. Studies examining students’ changes in knowledge and skill with the FC versus the traditional lecture teaching approach revealed mixed results; some resulted in positive findings and others resulted in negligible differences (Table 3).

또한, 이 네 가지 연구 중 Hiitz 외만이 학습자의 compliance 수준을 기록하고, FC 프로토콜에 대한 non-compliance 문제(즉, 31.1% 미준수)를 보고하였다. 그렇게 함으로써 FC의 진짜 효과에 대한 finding을 compromise하였다.

Furthermore, among these four studies, only Heitz et al. documented learners’ level of compliance with the treatment and reported the issue of non-compliance with the FC protocol (i.e. 31.1% non-compliance), thereby compromising findings of the true effects of the FC.

고찰

DISCUSSION

이 문헌 리뷰는 의학 교육에서 FC에 대한 연구의 현재 상태에 대한 네 가지 주요 연구 결과를 강조한다. 

• 첫째, 최근 이 분야의 출판률이 증가하면서 의학 교육에서 FC를 평가하는 작업이 탄력을 받고 있는 것으로 보인다. 

• 둘째, FC가 학습에 미치는 영향은 일관성이 없어서, 일부 이익이 된다고 알려진 것과 전통적인 교수법에 비해 무시할 수 있는 개선만 보고된 것이 혼재한다.

• 셋째, 학생들은 FC 교수법을 좋아한다. 전반적으로, FC는 특히 학생들의 동기부여, 과업가치 및 참여도를 높이기 위한 것이라면, 의학 교육에서 유망한 교수법 접근법으로 보인다. 

• 그러나 대부분의 통제된 연구는 개입에 대한 학습자의 인식과 지식 및 기술의 변화에 초점을 맞춘 반면, 커크패트릭의 높은 수준의 분류(즉, 행동 변화, 전문적 관행 및 환자 결과)에 대해 보고된 것은 제한적이다.

This literature review highlights four key findings on the current status of research on the FC in medical education. 

• First, work evaluating the FC in medical education appears to be gaining momentum as there have been recent increases in the publication rate in this field. 

• Second, the effects of the FC on learning are inconsistent, with some purported benefits and some reports of negligible improvement over traditional teaching methods. 

• Third, students like the FC teaching method. Overall, the FC seems a promising teaching approach in medical education, particularly when the intent is to increase students’ motivation, task value and engagement. 

• However, most of the controlled studies focused on learners’ perceptions of the intervention and changes in their knowledge and skills, whereas limited outcomes were reported on the higher level of Kirkpatrick’s classification (i.e. changes in behaviour, professional practice and patient outcome).

우리의 체계적 검토는 지난 2년 동안 의학 교육에서 FC에 대한 연구의 양과 질이 모두 증가했다는 것을 발견했다.

Our systematic review found an increase in both the quantity and the quality of research on the FC in medical education in the past 2 years.

이는 의학 교육에서 FC에 관한 문헌이 지속적으로 성장하고 있을 뿐만 아니라 보다 엄격한 연구 디자인을 사용하여 진행되고 있음을 시사한다. 의료 교육에서 FC를 사용하기 위한 강력한 경험적 기반을 개발하기 위해 이 궤적을 계속해야 한다.

This suggests that the body of literature on the FC in medical education is not only continuing to grow, but is also being conducted using more rigorous research designs. This trajectory must continue in order to develop a strong empirical basis for (or against) the use of the FC in medical education.

전통적인 학습 방법과 비교하여 FC를 이용할 때 많은 연구들이 지식과 기술 집합의 증가를 조사했으며, 그 중 4개만이 효과 크기를 계산할 수 있는 충분한 통계를 제공했다. FC의 효과는 일반적으로 혼합되었고 확실하지 않았다. 이 분야에서 향후 연구에서 고려해야 할 한 가지 요인은 Heitz et al.,34에서 알 수 있듯이, 연구의 비준수 그룹이 상당히 상당하기 때문에 학생들이 FC 요건(즉, 수업 중 세션 전에 배정된 준비 작업을 완료했는가)을 준수하는 것이다. 궁극적으로, FC 요구 사항을 준수하는지 여부가 (전통적인 교실과 비교했을 때) 지식과 기술의 차이에 큰 영향을 미칠 수 있다.

A number of studies examined gain in knowledge and skill sets when utilising the FC compared with traditional learning methods, only four of which provided sufficient statistics for effect sizes to be calculated. The effects of the FC were generally mixed and inconclusive. One factor that might need to be taken into account in future research in this area is students’ compliance with the FC requirements (i.e. did the students complete the assigned preparatory work before the in-class session) because, as indicated by Heitz et al.,34 the non-compliant group in their study was quite substantial (31%). Ultimately, students’ compliance with FC requirements might drastically affect differential gains in knowledge and skill sets compared with the traditional classroom.

여러 연구들이 FC에 대한 학생들의 인식과 태도를 평가했는데, 이것은 일반적으로 긍정적인 것으로 밝혀졌다.

Multiple studies evaluated students’ perceptions of and attitudes toward the FC, which were generally found to be positive.

학생들이 FC에 대해 긍정적인 태도를 보였고, 이 테크닉이 최소한 지식과 기술 집합 습득에 관해서는 전통적인 학습 방법만큼 성공적인 것으로 밝혀짐에 따라, FC는 의료 교육의 구성요소로 고려될 수 있을 것이다.

As students demonstrated positive attitudes toward the FC and the technique was found to be at least as successful as traditional learning methods with regards to knowledge and skill set acquisition, it follows that the FC could be considered as a component of medical education.

의료 교육에서 FC의 사용을 더욱 확고히 지지(또는 반박)하기 위해서는 Kirkpatrick의 프레임워크의 더 높은 수준을 평가하기 위한 향후 연구를 수행해야 한다.

In order to more firmly support (or refute) the use of the FC in medical education, future studies should be carried out to evaluate the higher levels of Kirkpatrick’s framework.

이 분야의 대부분의 작업은 학부 의대에서 실시되었다. 이러한 연구 결과가 GME까지 일반적일지는 불확실하다. 이것은 특히 이 시기는 교실과 실험실 기반 기초 과학 교육에 초점을 맞추는 경향이 있기 때문에 의과대학 전임상 시기에 수행된 연구에 적용된다.

The majority of work in this area has been carried out in undergraduate medical education. It is unclear if these findings would be generalisable to graduate medical education. This especially holds true for the research carried out in the preclinical years of medical school as this period tends to focus on classroom and laboratory-based foundational science education.

독립적인 변수로서 그리고 학생 지식의 변화의 moderator로서 태도 변화는 검토할 가치가 있을 수 있다. 지식의 변화에 관한 연구의 많은 부분은 지식 습득을 검토했다. 궁극적으로, 이 지식의 보존과 전달retention and transfer을 살펴보는 것이 도움이 될 것이다.

Changes in attitudes, as an independent variable and moderator of change in student knowledge, could be worthy of examination. Much of the work on change in knowledge has examined knowledge acquisition. Ultimately, it would be helpful to look at knowledge retention and transfer of this knowledge

연구의 유효성을 강화하기 위해, 향후 조사는 개입의 영향을 잠재적으로 교란시킬 수 있는 상황적 변수에 대한 통제를 고려해야 한다.

In order to strengthen the validity of studies, future investigations should also consider controlling for contextual variables that might be potentially confounding the impact of interventions.

예를 들어, 무료 개방형 액세스 의약품 교육(FOAM)에 대한 노출이 증가하고 있다.2 이러한 공유되고 쉽게 접근할 수 있는 자원을 통해, FC와 기존 학습 간의 직접 비교의 타당성이 훼손될 수 있다. 다시 말해서, FC와 전통적인 강의 접근법 양쪽의 학생들이 모두 FOAM 교육에 참여한다면 FC 접근법의 진정한 효과는 약화될 수 있다.

For example, there is a rising exposure to free open access medication education (FOAM).2 With these shared and easily accessible resources, the validity of any direct comparisons between the FC and traditional learning could be compromised. In other words, the true effects of the FC approach might be attenuated if students in both FC and traditional lecture approaches are engaged in FOAM education.

마지막으로, 시간적 요인(예: 수업 시간, 수업 외 시간, 임상 작업 시간, 개인 시간)을 고려하는 것이 중요하다. FC의 영향에 대한 현재의 경험적 연구는 아직 이것들을 변수로 검토하지 않았다. 이것은 또 다른 가능한 다음 단계다.

Finally, it is important to take the temporal factors (e.g. time spent in class, outside of class and in clinical work, and personal time) into consideration. Current empirical studies on the effects of the FC have yet to examine these as variables. This is another possible next step.

CONCLUSIONS

---

Med Educ. 2017 Jun;51(6):585-597. doi: 10.1111/medu.13272.

A systematic review of the effectiveness of flipped classrooms in medical education.

Chen F1, Lui AM2, Martinelli SM1.

Author information

1

The University of North Carolina at Chapel Hill, Chapel Hill, North Carolina, USA.

2

University at Albany, The State University of New York, Albany, New York, USA.

Abstract

CONTEXT:

There are inconsistent claims made about the effectiveness of the flipped classroom (FC) in medical education; however, the quality of the empirical evidence used to back up these claims is not evident. The aims of this review are to examine the scope and quality of studies on the FC teaching approach in medical education and to assess the effects of FCs on medical learning.

METHODS:

A literature search was conducted using the major electronic databases in 2016. Peer-reviewed papers were screened and reviewed according to explicit inclusion criteria. The scope and quality of all resultant studies were evaluated. Studies identified as using controlled designs were further synthesised to assess the effects of FCs on learning.

RESULTS:

A total of 118 articles were obtained. Full texts of 82 articles were reviewed. Nine of the included 46 articles used a controlled design when examining the effects of the FC. There were generally positive perceptions of the FC approach. However, the effects of FCs on changes in knowledge and skills were less conclusive as the effect sizes ranged from d = -0.27 to 1.21, with a median of 0.08. The varying direction and magnitude of the effect sizes, together with their 95% confidence interval, which contained zero, suggested the lack of strong evidence for the effectiveness of FCs in promoting knowledge acquisition above and beyond the traditional learning methods.

CONCLUSIONS:

There has been a recent increase of research rigor and variety in measures of effectiveness in studies on the FC in medicaleducation. The FC is a promising teaching approach to increase learners' motivation and engagement. More solid evidence on its effect on changes in knowledge and skills are warranted. Further studies should also examine the long-term effects of FCs with regard to knowledge retention and transfer of knowledge to professional practice and patient care.

© 2017 John Wiley & Sons Ltd and The Association for the Study of Medical Education.

Comment in

• Studies on the effectiveness of flipped classrooms: are we comparing apples to apples? [Med Educ. 2017]
• In response to Vanneman et al. on 'Studies on the effectiveness of flipped classrooms'. [Med Educ. 2018]

PMID:

 

28488303

 

DOI:

 

10.1111/medu.13272