멀티미디어 설계 원칙을 이용하여 수업 진행한 효과(Med Educ, 2013)

멀티미디어 설계 원칙을 이용하여 수업 진행한 효과(Med Educ, 2013)

Teaching for understanding in medical classrooms using multimedia design principles

Nabil Issa,1 Richard E. Mayer,2 Mary Schuller,1 Edward Wang,1 Michael B. Shapiro1 & Debra A. DaRosa1

도입

INTRODUCTION

메이어의 멀티미디어 원칙의 사용4는 대학생들의 retention(표시된 것을 기억)와 transfer(새로운 문제를 해결하기 위해 배운 것을 적용)을 향상시키는 것으로 나타났다.5–7

use of Mayer’s multimedia principles4 has been shown to improve retention (remembering what was presented) and transfer (applying what was learned to solve novel problems) in undergraduate college students.5–7

'멀티미디어'라는 용어는 시각 자료(예: 삽화와 같은 정적 이미지 또는 애니메이션과 같은 동적 이미지)와 언어 자료(예: 인쇄된 단어 또는 구어)의 존재를 말하며, 이러한 맥락에서 학습자에게 새로운 지식을 알리고 설명하는 데 사용된다.

The term ‘multimedia’ refers to the presence of both visual material (i.e. static images suchas illustrations or dynamic images such as animation) and verbal material (i.e. printed words or spoken words), which, in this context, are used to inform and explain new knowledge to learners.

교육자들은 빠르게 진화하는 기술을 교육의 새로운 잠재적 환경으로 사용하는 것의 중요성을 인식했다.8–10

Educators have recognised the importance of using rapidly evolving technologies as new potential environments for education.8–10

효과적인 멀티미디어 교육 자료의 설계는 인간이 어떻게 정보를 배우고 보유하는지에 관련된 선천적인 인지 프로세스를 강화해야 한다.8-10 잘못 설계된 멀티미디어 자료는 학습자들을 압도하고 혼란스럽게 할 수 있다.1 멀티미디어 학습의 인지 이론은 효과적인 증거 기반 멀티미디어 메시지를 개발하기 위한 원칙을 제공한다. 이 이론은 Mayer4에 의해 인지 부하 이론 12와 이중 채널 코딩 이론 13,14에 의해 개발되었으며, 경험적 연구15와 실제 적용에 의해 뒷받침된다.8,16,17

The design of effective multimedia educational materials should enhance the innate cognitive processes involved in how humans learn and retain information.8–10 Poorly designed multimedia materials may overwhelm and confuse learners.11 The cognitive theory of multimedia learning provides principles for developing effective, evidence-based multimedia messages. The theory was developed by Mayer4 based on cognitive load theory12 and dualchannel coding theory,13,14 and is backed by empirical research15 and real-world applications.8,16,17

초기 연구18,19는 rote learning이 즉각적인 보유 후 테스트에서 좋은 성과를 얻는 반면, 의미 있는 학습은 지연된 보유 후 테스트와 즉각적이고 지연된 이전 테스트에서 좋은 성과를 이끌어 낸다는 것을 보여주었다.20,21

Early research18,19 showed that rote learning leads to good performance on immediate retention post-tests, whereas meaningful learning leads to good performance on delayed retention post-tests and on immediate and delayed transfer post-tests.20,21

이전의 연구에서, 5 우리는 메이어의 멀티미디어 설계 원리에 따라 강의 슬라이드를 수정하는 것이 강의 완료 후 1시간 이내에 주어진 체재 후 시험에서 의대생들의 성과를 현저하게 향상시킨다는 것을 발견했다.4

In a previous study,5 we found that revising lecture slides according to Mayer’s multimedia design principles significantly improved medical students’ performance on a post-test of retention given within an hour of lecture completion.4

방법들

METHODS

참가자 및 설계

Participants and design

참가자는 외과 임상실습을 통해 진행 중인 사립 중서부의 한 의대 3학년 학생 80명이었다. 총 학급 크기는 156명이었고, 모든 학생들은 12주간의 외과 임상실습에서 교대로 수업을 받아야 했다.

The participants were 80 third year medical school students at a private, midwestern medical school progressing through their surgery clerkship. Total class size was 156 students, with all students having to rotate through the 12 week surgery clerkship.

재료 및 절차

Materials and procedure

매주 열리는 필수 핵심 커리큘럼 강의 시리즈가 이 연구의 장으로 작용했다. 초점은 쇼크라는 주제에 대한 1시간 강의였다. 이 강의의 전통적인 슬라이드는 Mayer의 멀티미디어 설계 원리를 배우기 전에 강사lecturer가 개발했으며, 대부분 글자가 글머리 기호 형식으로 포함되었다. 수정된 슬라이드는 강사instructor가 개발했으며, 그 후 다른 콘텐츠 전문가(MSh)와 함께 멀티미디어 원칙(REM)의 권위 및 교육자(DD)와 함께 변경 사항을 검토했다.

The required weekly core curriculum didactic lecture series served as the venue for this research. The focus was a 1-hour lecture on the topic of shock. The traditional slides for this lecture had been developed by the lecturer before learning about Mayer’s multimedia design principles and included mostly text in a bullet point format.4 The modified slides were developed by the instructor and changes were then reviewed with another content expert (MSh), as well as with an authority in multimedia principles (REM) and an educator (DD).

강사instructor는 전통적인 강의에서 각 슬라이드의 핵심 사항이나 메시지를 분석한 다음 관련 멀티미디어 원칙을 적용하여 이해를 증진하기 위해 어떻게 변경할 수 있는지 결정했다. 두 강의가 동일한 학습 목표에 대해 미리 제시되었기 때문에 각 슬라이드의 교육 포인트를 변경하지 않고 메이어의 설계 원칙을 적용하는 데 초점을 맞췄다.4

The instructor analysed the key point or message of each slide in the traditional lecture and then determined how it could be changed to enhance understanding through the application of relevant multimedia principles. The modification process focused on adapting Mayer’s design principles without changing each slide’s teaching points as both lectures were premised on the same learning objectives.4

50분 강의의 학습 목표에는 쇼크의 정의, 쇼크의 세포 기능 장애 메커니즘, 쇼크의 aetiology와 분류, 쇼크의 진단 및 관리 원칙이 포함되었다.

Learning objectives for the 50-minute lecture included: definition of shock; mechanisms of cellular dysfunction in shock; aetiology and classification of shock, and principles of diagnosis and management of shock.

그림 1은 Mayer의 설계 원칙을 사용한 수정 프로세스의 대표적인 슬라이드를 보여주고 있다. 

글머리 기호 텍스트가 시각적 표현으로 대체되었다.4 이것은 멀티미디어 원리로 알려져 있다. 

• 메이어의 일관성 원칙에 따라 내용과는 직접 관련이 없는 모든 사진과 텍스트를 삭제했다. 

• 우리는 메이어의 신호 전달 원리에 기초해 더 큰 글꼴과 다른 색상을 사용하여 중요한 교육 포인트를 강조하였다. 

• 그래프와 관련 텍스트는 공간적 인접성 원리에 따라 화면에 인접하게 나타났다. 

• 폐동맥 카테터를 띄울 때 발생하는 전파나 산소전달, 소비, 조직추출의 관계 등 복잡한 내용을 보여주는 슬라이드를 그림이나 그래프의 형태로 시각적 표현으로 제시하였고, 모달리티 원리에 따라 음성 내레이션을 사용하여 이러한 복잡한 현상을 설명하였다.

Figure 1 shows a representative slide for the modification process using Mayer’s design principles. 

• Bulleted text was replaced by visual representation.4 This is known as the multimedia principle. 

• All pictures and text not directly related to the content were deleted based on Mayer’s coherence principle. We highlighted important teaching points by using a larger font and a different colour based on Mayer’s signalling principle. 

• Graphs and related text appeared contiguously on the screen in accordance with the spatial contiguity principle. 

• Slides reflecting complex materials, such as the electric waves generated when floating a pulmonary artery catheter, or the relationships between oxygen delivery, consumption and tissue extraction, were presented as a visual representation in the form of a picture or graph, and used vocal narration to explain these complex phenomena based on the modality principle. 

슬라이드 수정 프로세스를 거치며 기존 슬라이드 세트의 총 35개의 슬라이드에서 수정된 슬라이드 세트의 28개의 슬라이드로 전체 슬라이드 수를 줄이는 데 도움이 되었다(그림 2).

The process of slide modification helped to decrease the total slide count from a total of 35 slides in the traditional slide set to 28 slides in the modified slide set (Fig. 2).

강사는 두 세션 동안 필수적인 자료 처리와 이해를 관리하기 위해 대화 방식의 전달 방식을 사용했다. 두 가지 조건 모두에서 강사는 강의가 끝날 때 데이터가 점진적으로 공개되는 임상 vignette를 제시했다. 각 데이터가 제시된 후, 학생들은 진단에 도달하거나 개입을 하고 그들의 대답에 대한 적절한 정당성을 제시하도록 요청받았다. 강사는 학생들이 주제에 대한 세대적 이해를 증진할 수 있도록 돕기 위해 in-time 피드백을 제공했다. 이전 연구에서 사용된 것과 유사한 방식으로, 두 개의 강의 형식은 강사의 스타일 차이를 통제하기 위해 동일한 강사에 의해 진행되었다.

The lecturer used a conversational style of delivery during both sessions to help manage essential processing and understanding of the material. In both conditions, at the end of the lecture, the lecturer presented a clinical vignette in which data were progressively disclosed. After each set of data had been presented, students were asked to reach a diagnosis or provide an intervention and give appropriate justification for their answer. In-time feedback was provided by the lecturer to help students foster generative understanding of the topic. In a manner similar to that used in our previous research,5 both lecture formats were given by the same lecturer to control for lecturer style differences.

종이로 된 시험 자료에는 종전에 개발된 5항목 보유시험과 5항목 이전시험이 포함되었다.5 

• Retention 시험은 '충격의 정의' '충격의 종류별 열거' '폐동맥 카테터가 제공하는 수치변수는 무엇인가?'와 같은 개방형 질문을 사용하여 평가되었다. 

• Transfer 시험질문도 개방형이었고 응답자는 제시된 정보를 담낭염에 대한 환자성 패혈성 쇼크 2차 임상 증상에 적용해야 했다.

The paper-based test materials included the previously developed five-item retention test and five-item transfer test.5 

• Retention was assessed using open-ended questions, such as: ‘Define shock’; ‘Enumerate the different types of shock’, and ‘What are the numerical variables provided by the pulmonary artery catheter?’ 

• Transfer test questions were also open-ended and required respondents to apply the presented information to a clinical vignette of a patient inseptic shock secondary to cholangitis.

보유 및 이전 시험 문제는 강의 직전(사전 시험)과 강의 후 1시간(즉시 시험) 후 1시간 후에 1회 시험으로 관리되었다. 테스트는 1주, 4주 후에 다시 등록되었다(후 테스트 지연). 같은 시험이 도처에서 사용되었다. 학생들은 10분 동안 시험을 끝마쳤다. 테스트 형식과 질문 유형은 Mayer의 연구에서 멀티미디어 학습 효과에 대한 질문 형식을 사용하여 개발되었다.4 각각의 질문에 대해 1점, 반점 또는 무점이 주어졌다.

The retention and transfer test questions were administered as one examination just before (pre-test) and 1 hour after the lecture (immediate post-test). The tests were re-administered 1 week and 4 weeks later (delayed post-tests). The same examination was used throughout. Students were given 10 minutes to complete the examination. The test format and question types were developed using the question format published in Mayer’s studies on the effects of multimedia learning.4 One point, half a point or no point was given for each of the questions.

이전 연구에서 테스트와 해당 응답 키가 모두 개발 및 현장 테스트되었음.5 원래 연구5에서 시험을 채점한 두 명의 컨텐츠 전문가(NI와 MSc)도 첫 번째 연구를 위해 개발한 채점 루빅을 사용하여 이번 연구에서 점수를 매겼다.

Both the tests and corresponding answer keys were developed and field-tested in our previous study.5 The two content experts (NI and MSc) who scored the tests in the original study5 also scored the tests in the current study using the scoring rubric they had developed for the first study.

본 연구에서는 모든 시험 문제를 한 연구자가 채점했으며 무작위로 선택한 20%의 표본은 다른 임상 연구자에 의해 독립적으로 재점화하여 층간 합의를 검증하였다.

In the current study, all test questions were scored by one researcher and a randomly chosen sample of 20% of the scored tests were re-scored independently by another clinician-researcher to verify inter-rater agreement.

통계학적 분석

Statistical analysis

또한 시험 전 점수를 공변량으로서 사용하여 시험 후 시험 점수의 그룹 차이를 비교하기 위해 공분산(ANCOVA) 분석을 수행했다. 마지막으로, 그룹, 시간 및 그룹*시간 상호작용을 고정 효과로 사용한 일반화된 혼합 효과 모델을 채택하고, 수정 조건 그룹과 기존 조건 그룹 간의 시간에 따른 시험 점수의 변화 궤적을 비교하기 위해 요격을 무작위 효과로 채택했다.

We further conducted analysis of covariance (ANCOVA) to compare the group differences in transfer and retention post-test scores using the pre-test score as a covariate. Finally, we employed a generalised mixed-effects model using group, time and the group*time interaction as fixed effects, and intercept as a random effect to compare the trajectory of change in test scores over time between the modified and the traditional condition groups.

결과

RESULTS

표 1은 사전 테스트, 즉석 테스트, 1주 후 테스트 및 4주 후 테스트의 두 그룹에 대한 전송 테스트의 평균 ± SD 점수를 보여준다.

Table 1 shows the mean ± SD scores on the transfer test for the two groups on the pre-test, immediate post-test, 1-week post-test and 4-week post-test.

그림 3에서 알 수 있듯이, 강의 직후 기존 조건군은 이전(d = 0.61, p < 0.01)과 보유(d = 1.89, p < 0.01) 점수의 유의한 증가를 보였으며, 이와 유사하게 수정된 조건군은 이전 테스트(d = 1.25, p < 0.01)와 보유(d = 유지)에 대한 즉각적인 사후 테스트(d = 1.25, p < 0.01))로 유의한 증가를 보였다. 2.67, p < 0.01>.

As Fig. 3 shows, immediately after lectures, the traditional condition group showed a significant increase in transfer (d = 0.61, p < 0.01) and retention (d = 1.89, p < 0.01) scores; similarly, the modified condition group showed a significant increase from the pre-test to the immediate post-test on transfer (d = 1.25, p < 0.01) and retention (d = 2.67, p < 0.01).

고찰

DISCUSSION

현재의 연구는 멀티미디어 학습의 인지 이론에 기초한 설계 원리를 적용하면 의대생들의 장기 보유와 전이가 개선된다는 것을 보여주었다. 단기 retention 및 transfer과 관련된 우리의 연구 결과는 메이어의 이전 연구와 일치한다.

The current study showed that applying design principles based on the cognitive theory of multimedia learning improves medical students’ long-term retention and transfer. Our findings regarding shortterm retention and transfer are consistent with those noted in Mayer’s earlier work

현재의 연구는 의대생들에게 주어진 멀티미디어 강의에 메이어의 디자인 원칙4를 적용하면 단기 retention뿐만 아니라, 학생들 사이에서 의미 있는 학습의 중요한 지표가 되는 연구 자료의 장기 transfer을 개선할 수 있다는 것을 보여줌으로써 그러한 초기 발견들에 대해 확대한다.

The current study expands on those early findings by showing that applying Mayer’s design principles4 to a multimedia lecture given to medical students improves not just short-term retention, but also longterm transfer of the study material, which researchers have identified as an important indicator of meaningful learning among students.

현재의 연구에는 몇 가지 한계가 있었다. 이번 연구는 단일 학술기관에서 강의 주제와 강사 1명을 이용해 진행됐으며, 강의 발표에 무의식적인 편견을 도입했을 가능성이 있다. 그러나 학생들의 강의 등급은 다르지 않았다. 5.00점 만점에 4.73점, 4.67점이라는 등급은 각각 변형된 조건군과 전통적인 조건군에서 얻었다.

There were several limitations to the current study. The study was carried out at a single academic institution using a single lecture topic and a single lecturer, which may have introduced unconscious bias into the lecture presentations. Ratings of the lectures by the students, however, did not differ; ratings of 4.73 and 4.67 out of 5.00 were obtained from the modified condition group and the traditional condition group, respectively

이 연구를 구축하거나 복제하는 데 관심이 있는 연구원들은 두 그룹의 테스트에 대해서 평가자가 완전히 blind 하기 위해 연구자에 의해 그룹 유형을 지정하도록 코드화되었는지 확인해야 한다.

Researchers interested in building or replicating this research should ensure that the tests from both groups are coded to designate group type by a researcher in order to ensure graders are completely blinded.

멀티미디어 원칙의 채택 정도에 관계없이, 교육 개입에 대한 어떤 종류의 검토와 피드백이든 학습 성과에 차이를 일으킬 가능성이 있다.

It is plausible that any kind of review and feedback on any teaching intervention will cause differences in learning outcomes, regardless of the extent to which multimedia principles were employed.

현재 연구 설계는 독립 변수로서의 시간 인자를 강화하기 위해 이전 연구5에서 사용된 방법론과 자료에 충실했다. 따라서, 시험 문제는 데이터 수집 지점들 사이에 차이가 없었으며, 이는 일부 학생들이 자신의 답을 기억하고 수정하지 않는 것을 선택할 수 있게 했을 수도 있다. 동일한 코호트 학습자에게 동일한 테스트 자료를 반복적으로 사용하는 것은 테스트 효과를 도입했을 수 있다. 기존 연구에서, 학습자는 자료를 단순히 두 번 학습하는 것보다, 자료를 공부하고 연습 시험을 보는 상황에서 지연 시험delayed test(유지 및 전달 기능 모두)를 더 잘 수행하는 것으로 나타났다. 이 연구들의 연구결과는 [시험이 학습에 더 큰 영향을 미친다는 것]을 시사하고 있으며, [시험을 일종의 교육 도구로 채택하는 것]을 옹호하고 있다.

The current study design remained faithful to the methodology and materials used in the earlier study5 in order to enhance the factor of time as the independent variable. Thus, the test questions did not vary between the data collection points, which may have allowed some students to remember their own answers and choose not to revise them. Using the same test material in a repeated fashion for the same cohort of learners may have introduced a testing effect. Learners have been shown to perform better on delayed tests (for both retention and transfer functions) after studying the material and taking a practice test than after studying the material twice.24,25 The findings of those studies24,25 suggest that tests have an enhancing effect on learning and advocate for the adoption of tests as a teaching tool.

본 연구에서, 두 그룹의 학생들 모두 그들이 세션에서 배운 것을 기억했지만, 수정된 강의 조건의 학생들은 전통적인 강의 조건의 학생들보다 훨씬 더 높은 수준의 학습 증가와 지속적 학습을 보여주었다. 이러한 데이터는 교수진이 멀티미디어 원칙을 배우고 이를 강의실 강의나 원격 학습 모듈에 포함하도록 동기를 부여할 수 있는 설득력 있는 증거를 제공해야 한다.

In the present study, students in both groups remembered what they had learned in the session, but students in the modified lecture condition demonstrated increased and sustained learning to a greater extent than students in the traditional lecture condition. These data should provide convincing evidence to motivate faculty staff to learn about multimedia principles and to include them in their classroom lectures or distance learning modules.

3 Association of American Medical Colleges. Effective Use of Educational Technology in Medical Education. Candler C, ed. Institute for Improving Medical Education. Washington, DC: AAMC, 2007.

---

Med Educ. 2013 Apr;47(4):388-96. doi: 10.1111/medu.12127.

Teaching for understanding in medical classrooms using multimedia design principles.

Issa N1, Mayer RE, Schuller M, Wang E, Shapiro MB, DaRosa DA.

Author information

1

Department of Surgery, Northwestern University Feinberg School of Medicine, Chicago, Illinois 60611, USA. nissa@northwestern.edu

Abstract

OBJECTIVES:

In line with a recent report entitled Effective Use of Educational Technology in Medical Education from the Association of American Medical Colleges Institute for Improving Medical Education (AAMC-IME), this study examined whether revising a medical lecture based on evidence-based principles of multimedia design would lead to improved long-term transfer and retention in Year 3 medical students. A previous study yielded positive effects on an immediate retention test, but did not investigate long-term effects.

METHODS:

In a pre-test/post-test control design, a cohort of 37 Year 3 medical students at a private, midwestern medical school received a bullet point-based PowerPoint™ lecture on shock developed by the instructor as part of their core curriculum (the traditional condition group). Another cohort of 43 similar medical students received a lecture covering identical content using slides redesigned according to Mayer's evidence-based principles of multimedia design (the modified condition group).

RESULTS:

Findings showed that the modified condition group significantly outscored the traditional condition group on delayed tests of transfer given 1 week (d = 0.83) and 4 weeks (d = 1.17) after instruction, and on delayed tests of retention given 1 week (d = 0.83) and 4 weeks (d = 0.79) after instruction. The modified condition group also significantly outperformed the traditional condition group on immediate tests of retention (d = 1.49) and transfer (d = 0.76).

CONCLUSIONS:

This study provides the first evidence that applying multimedia design principles to an actual medical lecture has significant effects on measures of learner understanding (i.e. long-term transfer and long-term retention). This work reinforces the need to apply the science of learning and instruction in medical education.

© Blackwell Publishing Ltd 2013.

PMID:

 

23488758

 

DOI:

 

10.1111/medu.12127