의학교육에서 에드가 데일의 배움의 피라미드: 신화의 확장(Med Educ, 2019)

의학교육에서 에드가 데일의 배움의 피라미드: 신화의 확장(Med Educ, 2019)

Edgar Dale's Pyramid of Learning in medical education: Further expansion of the myth

Ken Masters

도입

1 | INTRODUCTION

에드가 데일의 학습 피라미드

1.1 | Edgar Dale's learning pyramid

교육 문헌에서, 학생들에게 학습 보존율을 보여주는, 그리고 보통 Edgar Dale (또는 NTL [National Training Laboratory])에 귀속되는 학습의 피라미드는 흔히 나타난다.1

In educational literature, a Pyramid of Learning, giving student learning retention rates and usually attributed to Edgar Dale (or the National Training Laboratories [NTL]), is a common feature.1

저자가 실시한 2013년 문헌 검토 결과 피라미드와 그 통계는 천문학, 생화학, 화학, 일반교육, 공학, 국제정치, 도서관학, 관리, 물리학, 가금류 과학 및 수의학 분야의 다양한 교육 문헌에 걸쳐 인용되었다. 또한 피라미드는 세계보건기구(WHO) 문서와 같은 비학문 문헌에서도 인용되었다.

A 2013 literature review conducted by the author1 showed that the Pyramid and its statistics had been cited across a diverse range of educational literature in astronomy, biochemistry, chemistry, general education, engineering, international politics, library science, management, physics, poultry science and veterinary science. In addition, the Pyramid had been cited in nonacademic literature, such as World Health Organisation (WHO) documentation.

피라미드의 가장 큰 문제는 피라미드가 전혀 증거에 기초하지 않는다는 것이다.

The chief problem with the Pyramid is that it is based on no evidence at all.

피라미드의 역사

1.2 | History of the Pyramid

피라미드의 역사를 정확히 추적하기는 어렵지만 몇 가지 포인터가 존재한다. 사물을 기억하는 가장 좋은 방법은 (듣거나 읽는 것이 아니라) 이미지를 보는 것이라는 주장은 적어도 170년 전에 제시되었다.2 그러나 이 저자가 교수법에 근거하여 학생 유지의 비율을 설명할 수 있는 가장 이른 언급은 1906년 찰스 로드스3의 글이다. 그는 "우리는 듣는 것의 10분의 1을 기억하고, 보는 것의 10분의 5을 기억하고, 우리가 하는 일의 10분의 9을 기억한다."고 주장한다. 도로들은 이 문장을 인용부호로 표시하지만, 출처를 알려주지 않기 때문에, 인용부호는 그것이 일반적인 표현이라는 것을 나타낼 수 있다.

It is difficult to trace exactly the history of the Pyramid, but a few pointers exist. The argument that the best way to remember things is to see images (rather than hearing or reading) was presented at least 170 years ago.2 The earliest reference that this author can find ascribing proportions of student retention based upon methods of teaching, however, is a 1906 article by Charles Roads,3 who argues that, “We remember one tenth of what we hear, five tenths of what we see, seven tenths of what we say, [and] nine tenths of what we do.” Roads places this sentence in quotation marks, but does not give any source, so the quotation marks possibly indicate that it is a common expression.

1913년부터 Socony Vacuum 정유회사가 백분율로 차트를 만든 20세기 중반까지 숫자4의 다양성이 있었다.5 이후, NTL은 그 수치와 함께 자체 차트를 제작했고, NTL에 따르면, 그 결과에 대한 원래의 연구는 없었지만, NTL은 그 수치를 가지고 "학습 피라미드"를 NTL에 귀속시켰다. 피라미드의 토대가 되는 original research는 지금까지 발견된 적이 없다.6

From 1913, there were variations of the numbers4 until the mid20th century, when the SoconyVacuum Oil Company produced a chart with the percentages.5 Later, “during the 1950s and 1960s” the NTL produced their own chart with their figures and “the Learning Pyramid became attributed to NTL,”6 although, according to the NTL, no original research on which to base the Pyramid has ever been found.6

미국 교육자인 에드거 데일이 피라미드와 그 수치와 어떻게 연관되었는지는 불확실하다. NTL에 따르면, "1954년 뉴욕에서 Edgar Dale Dryden Press가 출판한 "Audio-Visual Methods in Teaching"이라는 책의 43페이지에 약간 다른 숫자를 가진 유사한 피라미드가 나타났다."6 불행하게도, 다양한 판에서 데일의 Audio-Visual Methods를 자세히 읽어본 결과, 그러한 피라미드도 없고, 그런 수치도 나타나지 않았다. 이 텍스트에서 학습 피라미드에 가장 가까운 대상은 "경험의 원뿔"이다. 이 원뿔은 "각자가 제공할 수 있는 상대적 수준의 명료성에 따라 다양한 유형의 교재들을 분류한다"고 한다. 이는 모델일 뿐이며 학습 유지 비율도 없다. 사실, 그것은 학습 보존을 전혀 언급하지 않는다.

It is uncertain how Edgar Dale, an American Educator, became associated with the Pyramid and its figures. According to the NTL, “a similar pyramid with slightly different numbers appeared on page 43 of a book called Audio-Visual Methods in Teaching, published by Edgar Dale Dryden Press in New York, in 1954.”6 Unfortunately, a close reading of Dale's Audiovisual Methods in Teaching in its various editions7-9 has shown no such Pyramid and no such figures. In those texts, the object closest to a Learning Pyramid is a “Cone of Experience.” This Cone “classifies various types of instructional materials according to the relative degree of concreteness that each can provide.”9 It is a model only, and has no percentages of learning retention; in fact, it does not reference learning retention at all.

피라미드와 피라미드의 관련 비율은 완전히 신화적이라고 해도 무방하다.

it is safe to say that the Pyramid and its associated percentages are entirely mythical.

의학교육에서 학습 피라미드

1.3 | The Learning Pyramid in medical education

이 연구의 목적은 이러한 일이 일어나고 있는지 여부를 결정하고 질문에 답하는 것이다. 5년 만에 무엇이 달라졌는가?

The aim of this study is to determine whether or not this is happening and to answer the question: What has changed in 5 years?

방법

2 | METHODS

전체적인 방법은 이전 검토에서 수행된 검색을 반복하는 것이었다.

The overall method was to repeat the search that had been performed in the previous review.

결과

3 | RESULTS

전반

3.1 | Overall

(see Figure 1).

문헌과 출처

3.2 | Articles and their sources

표 1은 발견된 기사의 요약을 보여준다. 예상대로 에드거 데일과 NTL은 이 수치들의 주요 출처로 언급되고 있다. 그러나 뜻밖에도 이제는 구체적으로 피라미드를 반박하는 새로운 출처조차 피라미드를 지지하는 근거로 등장한다.

Table 1 shows a summary of the articles found. As expected, Edgar Dale and the NTL are cited as the main sources of the figures. Unexpectedly, however, new sources that specifically refute the Pyramid now also appear as supporting the Pyramid.

백분율

3.3 | The percentages

대부분의 저자들은 백분율을 인용한다(표 2 참조).

Most of the authors quote percentages (see Table 2).

증가하는 인용

3.4 | Increased citing

발견된 많은 수의 기사(그림 1)와 기사의 날짜(표 1)는 피라미드를 인용하는 경향이 증가하는 것을 나타내는 것으로 보인다. 실제로 2013년 리뷰의 의학 기사와 이 리뷰의 기사의 발행 일자를 도표로 나타낸다면, 그림 2에 도표가 표시되어 있다.

The high number of articles found (Figure 1) and the dates of the articles (Table 1) appear to indicate an increasing trend in citing the Pyramid. Indeed, if one plots the publication dates of the medical articles in the 2013 review and the articles in this review, one has the chart depicted in Figure 2.

마지막으로, 일부 연구자들은 피라미드가 심각한 한계를 가지고 있다는 것을 알고 있고, 심지어 피라미드의 신화적 지위에 대해서도 알고 있으면서도, 그들은 여전히 그것을 인용하고 있다.

Finally, even though some researchers are aware that the Pyramid has severe limitations, and they may even be aware of its mythical status, they are still citing it.

고찰

4 | DISCUSSION

조사 결과: 

• 피라미드를 인용하는 추세가 지속되고 심지어 증가했다고 한다. 

• 피라미드의 출처 수가 증가했다는 것. 

• 피라미드를 반박refutation하는 몇 가지 근거가 반대로 피라미드를 지지confirmation하는 것처럼 인용된다는 것, 

• 피라미드에 이의를 제기할 때에도 피라미드를 지지하는 것으로 인용되고 있다는 것이다.

It has found: 

• that the trend of citing the Pyramid has continued, and even increased; 

• that the number of sources of the Pyramid has increased; 

• that several refutations of the Pyramid are cited as confirmations of the Pyramid; and, 

• finally, that even when the sources dispute the Pyramid, they are still being cited in support of the Pyramid.

인용 트렌드

4.1 | Citation trend

첫 번째 연구 질문은 다음과 같았다. 2013년 검토 이후 피라미드에 대한 참조의 수는 사용량이 감소, 일정 또는 증가하는 추세를 나타내는가?

The first research question was the following: Do the number of references to the Pyramid since that 2013 review indicate a trend of decreasing, constant or increasing usage?

유행이 급격히 증가하고 있다. 이것은 부분적으로 의학 교육 간행물의 증가의 결과일 것이지만, 피라미드가 점점 더 많이 인용되고 있다는 것은 부인할 수 없는 사실이다.

the trend is increasing dramatically. This will, in part, be a result of increased medical education publication overall, but the fact remains that the Pyramid is being increasingly cited.

피라미드의 출처

4.2 | Sources of the Pyramid

두 번째 연구 질문은 다음과 같았다. 피라미드의 출처가 2013년 이전과 동일한가, 아니면 새로운 출처가 나타났는가? 요컨대 피라미드의 출처의 수가 증가했다.

The second research question was: Are the sources for the Pyramid the same as before 2013, or have new sources emerged? In short: the number of sources of the Pyramid has increased.

더 걱정스러운 것은 피라미드를 반박하는 여러 논문들이 현재 피라미드를 지지하는 증거로 인용되고 있다는 사실이다. 예를 들어, 표 1은 피라미드 인용의 흐름을 가로막는 마스터스 20131보다는, 현재 피라미드를 지지하는 최소 3개의 논문이 인용하였기 때문에, 실제로 이 문제에 기여했음을 보여준다.24-26

More worrying is the fact that several papers that are refutations of the Pyramid are now being cited as evidence supporting the Pyramid. For example, rather than Masters 20131 stemming the tide of Pyramid citations, Table 1 shows that it has actually contributed to the problem, as it has now been cited by at least three papers in support of the Pyramid.24-26

왜 반박 출처를 거론하는지 알 수 없다. 연구자들이 초록만 읽고 있거나, 피라미드를 찾아 기사에서 찾은 다음, 그 주위에 있는 어떤 글도 읽지 않는 것인지도 모른다.

It is difficult to know why the citing of refuting sources is happening. It may be that researchers are reading the abstracts only, or that they search for the Pyramid, find it in an article, and then do not read any of the text around it.

4.3 | 신뢰성이 없음에도 불구하고 숫자 인용

4.3 | Citing of the figures in spite of their unreliability

또 다른 걱정스러운 경향은 피라미드가 믿을 수 없다는 사실을 연구자들이 인정함에도 불구하고 여전히 연구자들에 의해 인용되고 있다는 사실이다. 아마도 여기서 문제는 학문적 작업에 있어서 너무 공손한 표현일 것이다: 피라미드를 반박하는 작가들은 그것이 쓰레기라고 구체적으로 말하지 않았고, 그들은 그것을 할 필요가 있다.

Another worrying trend is the fact that the Pyramid is still being cited by researchers in spite of the fact that those researchers acknowledge that it is not to be trusted. Perhaps the problem here is the too polite phrasing in academic work: authors who refute the Pyramid have not stated specifically that it is rubbish, and they need to do that.

2013년 평론에서 너무 공손한 언어가 그 예다. 나는 논문의 본문에 "배움의 피라미드는, 그 퍼센티지를 가진, 신빙성이 떨어지며, 어떤 의학 교육 문헌에서도 받아들여서는 안 된다"라고 꽤 노골적으로 썼다.

An example is the too polite language of the 2013 review. In the body of the paper, I wrote quite plainly: “The Pyramid of Learning, with its percentages, is discredited, and should not be accepted in any medical education literature.”

이것은 메네 외 연구진 33이 그 검토에서 피라미드를 인용하고 "이 피라미드 건설에 대한 과학적 원천은 논쟁의 여지가 있다"고 말하는 이유를 설명할 수 있을 것이다. 텐 케이트와 더닝은 그것을 "흔히 인용되었지만 잘 확립되지 않은 교수법의 계층구조"라고 묘사하고 있다.17 그리고 더 최근에는 "정확한 비율들이 광범위하게 논의되고 있다"고 언급하면서도, 그 수치를 인용하고 있다.

This might explain why Menet et al33 cite the Pyramid from that review and say that “scientific sources for the construction of this pyramid are debatable.” Ten Cate and Durning describe it as an “often cited, but not well founded hierarchy of teaching methods…”17 and, more recently, an editorial in the Journal of Vascular Surgery34 quotes the figures, in spite of noting that “these exact percentages are widely debated.”

따라서, 이제는 논문의 초록에서조차 예의 바른 학문적 발언speak을 중지할 때가 되었다. 결과적으로, 모호함이 없도록 정보를 명확하게 말하는 것이 가장 좋다.

it is time to put a stop to polite academic speak, especially in the article's Abstract. As a result, it is best to state the information clearly so that there is no ambiguity,

그리고, 이것이 (초록에서 반복한) 진술이다: 피라미드는 쓰레기고, 피라미드의 숫자(통계)도 쓰레기다. 그리고 그것들은 에드거 데일에서 나온 것이 아니다. NTL이 원래의 연구에 대한 세부사항을 제공할 수 있을 때까지, 그들의 버전은 또한 쓰레기처럼 취급되어야 한다.

And so, this is the statement (to be repeated in the Abstract): The Pyramid is rubbish, the statistics are rubbish, and they do not come from Edgar Dale. Until the NTL can provide details about the original research, their version must also be treated as rubbish.

4.4 | 낮은 수준의 연구논문 및 의학교육에 미치는 영향

4.4 | Poor research writing and its implications for medical education

연구자들이 1차 출처를 따르지 않고 기사를 제대로 읽지 않는 등 문제의 상당 부분이 잘못된 참고 기술에서 비롯된다는 것은 그 결과에서 명백하다.

It is apparent from the Results that much of the problem stems from poor referencing techniques: researchers’ not following through to primary sources and not reading articles properly.

의학 교육 연구원들은 순수 의학에서 기대할 수 있는 정확성, 근면성, 증거의 동일한 기준을 고수해야 한다. Edgar Dale이 원래 말했던 "경험의 원뿔"는 버려져서는 안 된다. 왜냐하면 그것은 "각자가 제공할 수 있는 상대적 수준의 concreteness에 따른 다양한 유형의 교육 자료"의 분류 체계로서 유용하기 때문이다. 그리고 전문적인 경험과 관찰을 바탕으로 의학 교육에서 하나의 대상으로 받아들여진다.

medical education researchers should hold themselves to the same standards of accuracy, diligence and evidence that one would expect in pure medicine.35-38 Edgar Dale's original Cone of Experience should not be dismissed out of hand, for it is useful as a classification system of “various types of instructional materials according to the relative degree of concreteness that each can provide”9 and is acceptable in medical education as an object based on professional experience and observation.35

4.5 | 피라미드 신화는 왜 지속되는가?

4.5 | Why does the Pyramid myth persist?

오히려 이 논문의 범위를 벗어나기는 하지만, 왜 아직도 신화가 인용되고 있는가를 되돌아보는 것이 유용할 수도 있다. 우리는 이미 연구자들이 그들이 인용하고 있는 출처를 읽지 않거나, 기껏해야 그들을 잠깐 노려보는 문제가 있다는 것을 보았다. 그러나 그 이면에는 능동적인 학습이 수동적인 학습보다 더 가치 있다고 느낄 가능성이 높고, 다소 직관적인 느낌이 있다. 위의 2-4를 인용한 19세기 및 20세기 초반의 출처는 이러한 느낌이 한동안 존재해왔으며, (특히 역사적으로 disadvantaged 그룹에 대해) 능동적 학습에 대한 증거가 있음을 나타낸다.39-42 이러한 영향은 강의실 배치가 능동적인 학습을 위해 특별히 설계된 경우 가장 두드러진다.43 따라서, 이것들이 피라미드의 타당성을 뒷받침하기 위해 결합되었을 가능성이 매우 높다. 가장 결정적으로 피라미드에 존재하는 활동의 깔끔한 숫자 대괄호numerical bracket의 매력을 무시할 수 없다.

Although it is rather beyond the scope of this paper, it might be useful to reflect on why the myth is still being cited. We have already seen that there is the problem of researchers’ not reading the sources they are citing or, at most, glancing briefly at them. Behind that, however, is the likely, and somewhat intuitive, feeling that active learning is more valuable than passive. The 19th-century and early 20th-century sources cited above2-4 indicate that this feeling has existed for some time and there is current evidence in favour of active learning methods, especially for historically disadvantaged groups.39-42 This impact is most noticeable if the classroom arrangement is specifically designed for active learning.43 So, it is very likely that these have combined to support the validity of the Pyramid. Most crucially, one cannot ignore the appeal of the neat numerical brackets of activities that exist in the Pyramid.

그러나 교육 분야에서 일하는 사람이라면 누구나 경종을 울려야 하는 것이 바로 이러한 깔끔한 수치이다. 나는 이 수치들을 어린 교육생으로 처음 보았고 나의 즉각적인 반응은 "그래? 모든 문화, 모든 연령, 모든 주제, 항상 일관되게? 그게 어떻게 막연히 가능한가?" 나는 아직도 어떻게 교육학자가 브라질에서 수학을 공부하는 10세 소년의 학습 보유율이 일본의 제2외국어로서 영문학 공부를 하는 60세 여성의 그것과 동일할 수 있고, 또한 24세 아이비리그 공학 학생과도 동일할 수 있다고 믿을 수 있는지 당혹스럽다. 자신의 개인적 경험을 통해 스스로에게 다음과 같이 물어보십시오. 단순히 남을 가르쳐보면, 배운 모든 것의 90%를 정말로 기억하는가? 이 피라미드를 바탕으로, 세계의 모든 선생님들은 그들이 가르친 모든 것의 90%를 기억한다. 그것은 확실히 "직관"을 환상으로 멀리까지 확장시키는 것이다.

But it is surely those very neat numerical brackets that must set off alarm bells for anybody who works in education. I first saw these figures as a young education student and my immediate reaction was “Really? Across all cultures, all ages, all subjects, consistently for all time? How is that even vaguely possible?” I am still rather perplexed at how an educationist could believe that the learning retention rates for a 10-year-old boy studying mathematics in Brazil could be identical to those of a 60-year-old woman studying English Literature as a second language in Japan, and could also be identical to a 24-year-old Ivy League Engineering student. From your own personal experience, ask yourself: Do you really remember 90% of all that you have learned simply because you taught it? Based on this Pyramid, every teacher in the world remembers 90% of everything they have ever taught. That is surely stretching “intuition” far into fantasy.

피라미드 신화의 더 큰 맥락은 물론 교육에서 몇몇 다른 신화의 시작과 지속이다. 아마도 가장 주제적인 신화는 "학습 스타일"에 관한 것일 것이다. 학습스타일을 매우 간략하게 요약하자면, (복잡한 범위의 이론적 기초와 접근으로) 학생들이 다른 유형의 미디어를 선호하면 학습 보존과 효과의 차이를 초래한다고 주장한다. 학습스타일은 교육에 광범위하게 사용되고 있다. 학습 스타일은 그것의 사용에 반대하거나, (적어도) 신중하고 신중한 사용에 대해 논쟁하는 몇 가지 상세한 연구에도 불구하고 계속 사용된다. 피라미드와 학습 양식 모두에서, 신화를 진압하는 가장 좋은 방법은 이론의 기초가 되는 경험적 증거를 요구하는 것으로 보인다. 경험적 증거가 없거나, 경험적 증거가 오해된 것일 수도 있다.50

The larger context of the Pyramid myth is, of course, the beginning and persistence of several other myths in education. Perhaps the most topical myth concerns that of “learning styles,” which, in very brief summary, argues that students’ preference for different types of media leads to differences in learning retention and effectiveness, with a complex range of theoretical underpinnings and approaches, and is used extensively in education.44-46 The use of learning styles continues, in spite of several detailed studies arguing against their use or for (at best) circumspect and cautious usage.44,45,47-49 In both the Pyramid and learning styles, it appears that the best way to squash the myth is to call for the empirical evidence underlying the theory. It may be that there is no empirical evidence, or that the empirical evidence has been misunderstood.50

4.6 | 본 연구의 한계

4.6 | Limitations of this study

4.7 | 포스트스크립트

4.7 | Postscript

위에 인용된 수치 외에도 2018년도는 피라미드를 인용한 기사가 더 늘었다는 것을 알 수 있다.

In addition to the figures cited above, it is apparent that 2018 shows a further increase in the number of articles citing the Pyramid.

5 | CONCLUSIONS

---

Med Educ. 2019 Oct 1. doi: 10.1111/medu.13813. [Epub ahead of print]

Edgar Dale's Pyramid of Learning in medical education: Further expansion of the myth.

Masters K1.

Author information

1

Medical Education and Informatics, Sultan Qaboos University, Muscat, Oman.

Abstract

INTRODUCTION:

A mythical Pyramid of Learning, usually attributed to Edgar Dale (or the National Training Laboratories [NTL]) and giving student learning retention rates, has been cited in a wide range of educational literature. A 2013 literature review indicated that medical education literature similarly cites this Pyramid. It was hoped that highlighting this myth in that review would reduce references to the Pyramid in future medical education literature. This study aimed at determining what change in Pyramid citation has occurred in the past 5 years.

METHODS:

A documented literature review, following the same process as the original review, was conducted. The search dates were September 2012 to April 2018, and the databases were Academic Search Complete, CINAHL, Medline and Google Scholar. Sources were from peer-reviewed journals or conferences, in English.

RESULTS:

From an initial search result of 992 documents, 41 were found to match the criteria. Trends discovered are: the number of Pyramid citations in medical education literature is increasing dramatically, new sources of the Pyramid are now being used, refutations of the Pyramid are being used to support it, and even researchers who acknowledge the weakness of the Pyramid still cite it.

DISCUSSION AND CONCLUSION:

In spite of the 2013 review, the situation has become worse. One possible reason is that refutations use too polite academic wording, and other researchers then consider the Pyramid to be merely "disputed" or "debated." To kill the myth of the Pyramid, it is necessary for this article's Abstract to state unequivocally: The Pyramid is rubbish, the statistics are rubbish, and they do not come from Edgar Dale. Until the NTL can provide details about the original research, their version must also be treated as rubbish.

© 2019 John Wiley & Sons Ltd and The Association for the Study of Medical Education.

PMID:

 

31576610

 

DOI:

 

10.1111/medu.13813