하나보단 둘이 낫다? (Adv Health Sci Educ Theory Pract, 2019)

Two heads are better than one?

Geoff Norman1

강의에 대한 소규모 그룹 강의의 우위는 교육자들이 모이는 거의 모든 장소에서 교직원 개발 워크숍과 컨퍼런스에서 반복적으로 되풀이되는 만트라다. 전형적으로, "강의에서 배우는 사람은 아무도 없다"는 단호한 진술로 시되는데, 이 "axiom"을 산문화한 바로 그 사람들이 강의로부터 사실상 모든 자신의 교육(또는 그렇지 않은)을 받았을 가능성이 높기 때문에, 인지부조화의 심각한 사례를 만들어낸다.

The superiority of small group instruction over lectures is a mantra repeated over and over at faculty development workshops and conferences, almost any place that educators assemble. Typically, it is prefaced by a flat statement that “No one learns anything from lectures”, which creates a serious case of cognitive dissonance, since the very folks who are proselytizing this “axiom” were likely to have received virtually all their own education (or not) from lectures.

놀랄 것도 없이, 소규모 집단 지도에 대한 증거는 상당히 광범위하지만, 전혀 일관되진 않다. 체계적인 검토에서 나온 일부 증거는 소규모 그룹 지도의 효과 크기가 중간 수준(Lipsey와 Wilson 1993)이지만, 특정되지 않은 통제 조건과 쿡(2009)이 보여준 것처럼 어떤 교육(강의조차)도 없는 것보다 우수하다는 것을 보여주었다. 더욱이, 일부 연구는 non-expert 강사가 운영하는 소규모 그룹의 부정적인 영향을 보여주었다(Eagle et al. 1992; Davis et al. 1992).

Not surprisingly, the evidence about small group instruction, while fairly extensive, is far from uniform. Some evidence from systematic reviews showed that the effect size of small group instruction is moderate (Lipsey and Wilson 1993), however the control condition as not specified and as Cook (2009) showed any education (even lectures) is superior to no education. Moreover, some studies have shown a negative effect of small groups with non-expert tutors of about the same magnitude (Eagle et al. 1992; Davis et al. 1992).

최근의 광범위한 검토는, unguided instruction(발견 학습)는 열등한 교육 전략이며, worked example이 우월하다고 주장했다(Kirschner et al. 2006). 이것 역시 논쟁거리가 되었다(Hmelo- (2007); 슈미트 외 (2007). 하지만 결국 누가 옳았든 간에, 소그룹 교수법이 여러 사람이 주장하는 것처럼 배움의 마법의 총알은 아니다.

A recent extensive review claimed, with evidence, that unguided instruction (discovery learning) is an inferior instructional strategy, and that worked examples are superior (Kirschner et al. 2006). This too was contested (Hmelo-Silver et al. (2007); Schmidt et al. (2007). Still whoever eventually turns out to be right, small groups are not the magic bullet for learning that they are purported to be.

그러나 소그룹들은 그들의 교육적 효과에 대해 유일한 필수적 요소로 간주되지 않는다. 우리는 모두 해결하기 어려운 문제는 작은 그룹에 의해 더 잘 해결될 수 있다는 생각을 가지고 성장했다. "함께 모여서 그것을 브레인스토밍하자"는 모든 질병의 해결책으로 여겨진다. 성공적인 브레인스토밍 전략에 관한 책들이 쓰여져 왔다. 소그룹의 전성기 시절이던 60년대에, 우리가 모든 것을(문자 그대로 모든 것을) 소그룹으로 했던 때에, "창조적 문제 해법synectics"과 같은 불명확한 이름로 불렸던 elaborate ritual은 소그룹들이 모든 것을 제대로 할 수 있다는 것을 보여주는 듯 했다.

However, small groups are not viewed only as a sine qua non for their educational effects. We have all grown up with the idea that any problem that is tough to solve can be solved better by a small group. “Let’s get together and brainstorm that” is viewed as the solution to all ills. Books have been written about successful strategies for brainstorming. In the heyday of small groups, the sixties, where we did everything—EVERYTHING—in small groups, elaborate rituals called obscure names like “synectics” evolved to ensure that the small group would do everything just right.

그러나 문제가 있었다. 나는 증거를 검토한 작은 책을 읽었던 것을 분명히 기억한다. 특히 한 연구는 정말로 황제의 옷을 벗겨냈다. 그들은 브레인스토밍 그룹에 대한 문제 해결책과 분리된 방에 갇혀서 어쩔 수 없이 스스로 생각해 낸 같은 종류의 사람들을 비교했다. 각 개개인이 자기 나름대로 솔루션을 생성하게 한 경우, 브레인스토밍 그룹보다 더 많은(놀랍지 않다) 더 나은(놀랍다) 솔루션을 가지고 있었다.

There was a small fly in the ointment however. I distinctly remember reading a small book that reviewed the evidence. One study in particular really stripped off the emperor’s clothes. They compared problem solutions on brainstorming groups to solutions by the same number and kind of people who were locked in separate rooms and forced to come up with them on their own. When you looked at solutions generated by individuals left to their own devices, they had more (no surprise) and better (surprise) solutions than the brainstorming groups.

사람들을 각각 따로 분리해두고, 아이디어를 생각해 낸 다음, 결과를 종합한다는 생각이 완전히 사라진 것은 아니다. 그것은 이제 "NGT"라고 불린다. 즉, 이는 이름뿐인 그룹이다. 전략은 최종 최적 솔루션 집합에 도달하기 위해 여러 번 반복하면서 그러한 접근법을 수행하도록 진화했다. 최근의 검토 기사(Van De와 Delbecq 1971)는 정확히 같은 결론에 도달한다.

the idea of leaving people alone to come up with ideas and then aggregating results has not been entirely lost. It is now called the “nominal group process”—that is, a group in name alone. Strategies have evolved to conduct such an approach over multiple iterations to arrive at a final optimal set of solutions. A recent review article (Van De and Delbecq 1971) comes to precisely the same conclusion:

...문제 해결 위원회를 위한 그룹 프로세스의 최적 조합: 

(1) 1단계: 사실 조사, 아이디어 생성, 초기 주관적 가능성 추정을 위한 명목상의 그룹 프로세스 사용 

(2) 2단계: 구조화된 피드백을 사용하고, 상호작용적 논의

(3) 3단계: 최종 독립적 개별 판단에 대한 명목 그룹 투표.

…the optimal combination of group processes for a problem-solving committee is: 

(1) the use of nominal group processes for fact-finding, idea generation, or initial subjective probability estimation in the first phase of a committee’s work; 

(2) the use of structured feedback and interacting discussion in the second phase; and 

(3) nominal group voting for final independent individual judgments in the final phase.

그러나, 이러한 결과는 대부분 눈에 띄지 않게 되었다. 반대로, 건강 관리 시스템의 변화로 인해 "건강 관리 팀"과 같은 다분야 그룹에 의해 점점 더 많은 보살핌이 전달되면서 그룹의 우월성에 대한 일부 아이디어들이 최근에 다시 태어났다. 실제로 국립의학원은 진단 오류에 대한 하나의 해결책은 협력적 팀 기반 진단이라고 제안했다(Ball et al. 2015).

However, these results have gone largely unnoticed. Conversely, some of the ideas about superiority of groups have been reborn recently as changes in the health care system result in more and more care being delivered by multidisciplinary groups like “health care teams.” The National Academy of Medicine has, in fact, proposed that one solution to diagnostic errors is collaborative, team-based diagnosis (Ball et al. 2015).

최근까지, 많은 헬스케어가 그룹이나 팀 단위로 이뤄졌다는 증거는 많았지만, 이것이 좋은 일이라는 증거는 많지 않았다. 그러나 3월에 JAMA에 집단진단이 개인진단보다 확실히 우수하다는 것을 보여주는 연구가 나타났다(Barnett et al. 2019).

Until recently, while there was lots of evidence that much health care was delivered in groups or teams, there was not much evidence that this was a good thing. But in March, a study appeared in JAMA that purported to show that group diagnosis was demonstrably superior to individual diagnosis. (Barnett et al. 2019).

...군집단은 접근방식에 관계없이 지속적으로 개인보다 높은 성과를 거두었다. 2명의 사용자(77.7% 정확도)에서 9명의 사용자(85.5% 정확도)로 구성된 그룹은 하위 전문 분야에서 개별 전문가(66.3% 정확도, P < .001년)를 능가했다.

…groups consistently outperformed individuals regardless of approach…. Groups from 2 users (77.7% accuracy) to 9 users (85.5% accuracy) outperformed individual specialists in their subspecialty (66.3% accuracy; P < .001).

큰 표본 크기에 근거하여 얻은 이러한 이득은 실로 인상적이다. 그것은 정말로 당신이 서둘러서 모든 진단은 적어도 두 명의 의사가 해야 한다고 요구하기를 원한다. 그러나 이것은 사실이 아니다.

These gains, based on large sample sizes, are truly impressive. It really wants you to rush out and demand that every diagnosis should be done by at least two physicians. What a pity that they’re not true.

실제로 일어난 일은 다음과 같다. 이 연구는 의사와 레지던트가 표준화된 형식으로 사례를 제출할 수 있고 데이터 뱅크의 사례를 진단할 수 있는 온라인 플랫폼 "휴먼 Dx"를 포함했다.

Here’s what actually happened. The study involved an online platform “Human Dx” where physicians and residents could submit cases in standardized format and could also attempt to diagnose cases in the data bank.

"그룹"이라는 꼬리표가 명목이라는 점이 주목할 만하다. 실제 그룹 프로세스는 없었고, 개개인의 기여에 대한 사후 평균화만 있었다. 이와 같이, 그것은 소규모 그룹의 효과에 대해서는 아무 것도 언급하지 않는다. 오히려, 우리가 이미 알고 있는 크라우드소싱이 효과가 있다는 증거로 볼 수도 있다.

It is notable, that the label “group” is nominal. There was no actual group process; only post hoc averaging of independent contributions. As such, it says nothing about the effectiveness of small groups; rather, it might be viewed as evidence that crowdsourcing works, which we already know.

조금 더 정교한 수준에서, 당신이 그것들을 종합하기로 선택하더라도, 어떤 단일 추정치보다 정보에 입각한 임상의 "n"명이 추정한 확률의 평균이 진실에 더 가까울 것이라는 것은 이치에 맞는다. 그것은 단순히 평균의 표준오차와 표준편차 사이의 "1/√n" 관계를 반영한다.

On a slightly more sophisticated level, it stands to reason that the average of “n” informed clinicians’ estimates of probability is going to be closer to the truth than any single estimate, however you choose to aggregate them. That simply reflects the “1/√n” relation between the standard error of the mean and the standard deviation.

요컨대, 그 논문은 잘못된 질문에 대한 확고한 답을 만들어 낸다. 그들이 해야 할 일은 독립적으로 획득한 "n" 진단(사용한 것과 같은 방법을 사용함)의 정확성을 한 방에서 싸웠던 "n" 집단의 일치로 얻은 단일 차등 진단과 비교하는 것이다.

In short, the paper yields a robust answer to the wrong question. What they should have done is compare the accuracy of “n” diagnoses obtained independently (using methods like the one they did use) to a single differential diagnosis obtained by consensus of a group of “n” who fought it out in a room.

"1954~2014년 기간에 걸쳐 6,500만 개의 논문, 특허 및 소프트웨어 제품을 분석한 결과, 이 기간 동안 

• 소규모 팀은 새로운 아이디어와 기회로 과학기술에 지장을 주는 경향이 있는 반면, 

• 더 큰 팀은 기존 것을 개발하는 경향이 있었다."(Wu 등,2019년). 

그룹 규모와 생산성의 역관계는 보편적인 것으로 보인다.

a study that appeared in Nature that week, based on an analysis of “65 million papers, patents and software products that span the period 1954–2014 and demonstrate that across this period 

• smaller teams have tended to disrupt science and technology with new ideas and opportunities, whereas 

• larger teams have tended to develop existing ones.” (Wu et al. 2019). 

It seems that the inverse relation between group size and productivity is universal.

예로 이것 발견을 확인할 마지막으로, 나는 1964년(1964년 힉스)에 피터 힉스에 의해, 혼자 발표된 이 원래 이론적인 기사로 힉스 입자를 제안하고, 찾았다. 그 당시 나는 문서에서는 2012년 이상 3000명의 작가들(ATLAS검출기를 공동 작업(알.,(알.,(알., 끝도 없이 지겹도록)다로 힉스 입자의 존재를 확인하라셔.

Finally, to confirm this finding by example, I sought out the original theoretical article proposing the Higgs boson, which was published by Peter Higgs, alone, in 1964 (Higgs 1964). I then located the article confirming the existence of the Higgs boson, which appeared in 2012 and had over 3000 authors (ATLAS Collaboration et al., et al., et al., ad infinitum ad nauseam).

결론적으로, 이 editorial의 제목은 거의 옳다. 보다 정확하게 말하면 이렇다. 두(독립적) 머리는 하나의(그룹으로 이뤄진 두 개의)머리보다 낫다.

To conclude, my title is almost right. A more accurate revision: Two (Independent) Heads are Better Than One (Group of Two Heads).

Adv Health Sci Educ Theory Pract. 2019 May;24(2):195-198. doi: 10.1007/s10459-019-09888-3.

Two heads are better than one?

잠재교육과정, 윤리, 프로페셔널리즘: 임상학습환경을 의사의 Becoming과 Being에 초점두기(Ann Intern Med, 2018)

Hidden Curricula, Ethics, and Professionalism: Optimizing Clinical Learning Environments in Becoming and Being a Physician: A Position Paper of the American College of Physicians

Lisa Soleymani Lehmann, MD, PhD; Lois Snyder Sulmasy, JD; and Sanjay Desai, MD; for the ACP Ethics, Professionalism and Human Rights Committee*

숨겨진 커리큘럼은 문화에 내재되어 있고 명시적으로 의도되지 않은 교훈이다.

Hidden curricula are lessons learned that are embedded in culture and are not explicitly intended.

학습자들은 [롤모델의 행동이나 말]이 [전문직이 옹호하는 가치]와 일치하지 않을 때 윤리와 전문성에 대한 상반된 메시지를 받는다.

Learners receive conflicting messages about ethics and professionalism when the actions or words of role models are not consistent with the values espoused by the profession.

숨겨진 커리큘럼의 개념은 새롭지도 않고 의학 교육에만 국한되지도 않는다. 그것은 초등교육을 사회화 과정 (2) 즉 [가입하는being joined 집단의 가치, 기술, 태도가 도입되는adopted 방법]이라고 설명한 필립 잭슨이 확인했다. 의학에서는, 기관에서 인가하는 과정과 강의실의 "공식 커리큘럼", 애드혹 강의의 "비공식 커리큘럼"(침상 회진 등), 가르쳐지지 않은 것에 대한 "존재하지 않는null 커리큘럼"과 구별된다(정의표 참조).

The concept of a hidden curriculum is neither new nor limited to medical education. It was identified by Philip Jackson, who described elementary education as a socialization process (2)—the method by which the values, skills, and attitudes of a group being joined are adopted. In medicine, it is distinct fromthe “formal curriculum” of coursework and classroom lessons sanctioned by the institution, the “informal curriculum” of ad hoc instruction (such as bedside rounds), and the “null curriculum” of what is not taught (see the Table for definitions).

의학의 "문화"는 예시, 이야기, 의식, 상징, 그리고 정의된 위계구조를 통해 전해진다(4, 5).

The “culture” of medicine is passed down through examples, stories, rituals, symbols, and defined hierarchies (4, 5).

숨겨진 커리큘럼은 광범위한 효과를 가지고 있다. 예를 들어, 1차 진료에 대한 시스템적 편견은 미국 의료 시스템이 고령화 인구의 요구를 충족시킬 준비가 되어 있지 않은 데 기여한다(6, 7).

The hidden curriculum has large-scale effects. For example, systemic bias against primary care contributes to the U.S. health care system being unprepared to meet the needs of an aging population (6, 7).

방법

METHODS

이 직책 논문은 ACP 윤리, 전문가 및 인권 위원회(EPHRC)를 대표하여 개발되었다.

This position paper was developed on behalf of the ACP Ethics, Professionalism and Human Rights Committee (EPHRC).

ACP입장과 권고사항

ACP POSITIONS AND RECOMMENDATIONS

1. 숨겨진 커리큘럼은 공식 커리큘럼과 일치하는 긍정적인 커리큘럼이 되어야 한다. 교수진과 선임 임상의사는 공감대를 형성하고, 훈련 환경에서 긍정적이고 부정적인 행동에 대한 반성과 논의를 장려해야 하며, 임상의사의 안녕을 촉진해야 한다. 교실에서 가르치는 것은 머리맡에서 행해지는 것에 의해 강화되고 강화되어야 한다.

1. The hidden curriculum must become a positive curriculum that aligns with the formal curriculum. Faculty and senior clinicians should model empathy, encourage reflection and discussion of positive and negative behaviors in the training environment, and promote clinician wellness. What is taught in the classroom must be reinforced and enhanced by what is practiced at the bedside.

2. 학습 환경은 존중, 탐구, 정직성을 길러야 하며, 학습자를 포함한 모든 개인이 윤리, 전문성, 돌봄 제공에 대한 우려를 제기할 수 있도록 해야 한다. 팀워크와 동료에 대한 존경을 가르치고 입증해야 한다.

2. The learning environment should foster respect, inquiry, and honesty and empower every individual, including learners, to raise concerns about ethics, professionalism, and care delivery. Teamwork and respect for colleagues must be both taught and demonstrated.

3. 리더는 윤리적 우려에 대한 논의를 장려하고, 일상적 의사결정에 가치를 명시하며, 환자의 복지가 핵심 가치인 전문성에 대한 기대를 구체화함으로써 강력한 윤리 문화를 창조하고 유지해야 한다.

3. Leaders should create and sustain a strong ethical culture by encouraging discussion of ethical concerns, making values in everyday decision making explicit, and embodying expectations of professionalism in which patient well-being is a core value.

결론

CONCLUSION

의료 학습 환경의 교육 및 사회적 환경은 복잡한 영향력 체계다. 동료 관계에 걸친 역할 모델과 의학의 위계는 미래의 의사들의 직업적 정체성, 행동 및 태도의 형성에 기여한다. 숨겨진 커리큘럼의 영향에 대한 최선의 해결책은 그것을 밝혀내고, 그것의 긍정적인 측면을 공식적인 커리큘럼에 통합하며, 교육자와 임상의에 의해 그것의 부정적인 측면을 이해하고 완화시키는 접근법의 개발을 이끌어 내는 것이다.

The educational and social milieu of medical learning environments is a complex system of influences. Role models across peer relationships and the hierarchy of medicine contribute to the formation of professional identity, behaviors, and attitudes of future physicians. The best solutions to the influence of the hidden curriculum will uncover it, integrate its positive aspects into the formal curriculum, and lead to development of approaches to understand and mitigate its negative aspects by educators and practicing clinicians.

APPENDIX:EXPANDED RATIONALE FOR HIDDEN CURRICULA,ETHICS, AND PROFESSIONALISM:OPTIMIZING CLINICAL LEARNING ENVIRONMENTS IN BECOMING AND BEING A PHYSICIAN: A POSITION PAPER OF THE AMERICAN COLLEGE OF PHYSICIANS

Position 1 

숨겨진 커리큘럼은 공식적인 커리큘럼과 일치하는 긍정적인 커리큘럼이 되어야 한다. 교수진과 선임 임상의사는 공감대를 형성하고, 훈련 환경에서 긍정적이고 부정적인 행동에 대한 반성과 논의를 장려해야 하며, 임상의사의 안녕을 촉진해야 한다. 교실에서 가르치는 것은 머리맡에서 행해지는 것에 의해 강화되고 향상되어야 한다.

The hidden curriculum must become a positive curriculum that aligns with the formal curriculum. Faculty and senior clinicians should model empathy, encourage reflection and discussion of positive and negative behaviors in the training environment, and promote clinician wellness. What is taught in the classroom must be reinforced and enhanced by what is practiced at the bedside.

역할 모델로서 숙련된 의료진

Experienced Clinicians as Role Models

임상실습생, 인턴, 레지던트들은 환자와 가족과 대화하는 법, 옷 입는 법, 동료들과 교류하는 법, 환자를 진찰하고 돌보는 법을 배우는 견습생들이다. 만약 그들이 동정, 호기심, 존경, 공감의 문화에 참여한다면, 그들은 이러한 미덕을 채택할 가능성이 더 높으며, 특히 그것이 명시적 가치와 기대라고 확인될 때 더욱 그러하다. 이것은 긍정적인 잠재교육과정이다. 그러나 롤모델이 무례하거나 냉소적인 경우, 그러한 특성은 지속적 영향을 미치며, 그런 행동이 수용가능하다고 인식된다. 그것은 환자를 "301호실의 담낭"이라고 지칭하는 것처럼 간단하고 해로울 수 있다. 예를 들어 비만이나 물질 사용 장애로 곤경을 겪는struggle 환자를 대상화하거나 판단적으로 대하는 선임내과의사의 코멘트가 학습자 및 다른 사람들에게 영향을 미친다(9–11).

Clerkship students, interns, and residents are apprentices learning how to speak with patients and family members, dress, interact with colleagues, and examine and care for patients. If they participate in a culture of compassion, curiosity, respect, and empathy, they are more likely to adopt these virtues, especially when they are identified as explicit values and expectations. This is a positive hidden curriculum. If role models are disrespectful or cynical, however, those traits are perceived as acceptable, with lasting effects. It can be as simple—and harmful—as referring to a patient as “the gallbladder in room 301.” Comments by senior physicians who objectify or are judgmental of patients who, for example, struggle with obesity or substance use disorder affect learners and others (9–11).

문제를 의학적으로 다루는 사회에서 의사는 기초적인 것으로 돌아가서 강력한 환자-의사 관계를 모델링하고 "지식의 한계에 대한 겸손"(12)를 보여야 한다. 이것은 의사소통, 경청, 공감을 위한 시간과 윤리와 전문성에 대한 헌신이 필요하다.

In a society that tends to medicalize problems, physicians should get back to basics to model strong patient–physician relationships and demonstrate “humility about the limits of our knowledge” (12). This takes time—for communication, listening, and empathy—and a commitment to ethics and professionalism.

공감과 웰니스

Empathy and Wellness

환자는 공감하는 의사(13명)를 원하고, 공감의 증식은 의학교육의 1차 목표(14)이다. 그러나 의과대학과 레지던트 기간에는 공감이 감소하며, 이는 위태로운compromised 전문성 (15)과 관련이 있을 수 있다. 의사 공감은 긍정적인 임상 결과와 관련이 있지만, 이러한 이점을 실현하려면 공감을 유지하고 강화하는 방법(16)을 개발해야 한다.

Patients want empathic physicians (13), and cultivation of empathy is a primary objective of medical education (14). However, empathy declines during medical school and residency, and this may be associated with compromised professionalism (15). Physician empathy is associated with positive clinical outcomes, but realizing these benefits requires developing ways of maintaining and strengthening empathy (16).

소진이나, 낮은 웰빙, 우울 등에 의하여 이차적인 2차적으로 스트레스를 받는 것이 의사에게 공감의 감소(17, 18)와 관련이 있을 수 있다. 잠재커리큘럼이 학습자의 스트레스distress에 기여할 수 있다(19). 학생들이 동료들로부터 굴욕을 당하고, 사회적 지지가 부족하며, 과중한 업무량을 경험하는 환경은 공감의 감소에 기여할 수 있다. 지속적인 업무 내용 변경과 "압축적 업무"은 높은 수준의 의사 소진(20)과 비전문화에 기여한다. 교수들은 종종 그들 자신의 challenge에 대해 토론하기를 꺼려하는데, 이것은 웰빙을 소외시키는 숨겨진 커리큘럼을 강화할 수 있다.

Clinician distress secondary to burnout, low sense of well-being, or depression can be associated with a decline in empathy (17, 18). The hidden curriculum may contribute to learner distress (19). An environment in which students are humiliated by colleagues, lack social support, and experience intense workload can contribute to diminished empathy. Ongoing changes in work content and “work compression” contribute to high levels of physician burnout (20) and deprofessionalization. Faculty are often reluctant to discuss their own challenges, which can reinforce a hidden curriculum that marginalizes wellness.

의대와 레지던트 프로그램은 전문직업성, 의사 웰빙, 회복력(스트레스에 적응하는 능력)을 길러야 한다. 의대생의 4분의 1 이상이 우울증(21)을 앓고 있으며 미국정신과협회(ANS)는 전공의 자살률(22)에 대해 경각심을 나타냈다. 대학원 의학 교육 인증 위원회는 의사 복지를 촉진하기 위해 전공의와 기관에 대한 새로운 요구사항을 포함시켰다(23)

Medical schools and residency programs should foster professionalism, physician well-being, and resilience (the ability to adapt to stressors). More than one quarter of medical students have depressive symptoms (21), and the American Psychiatric Association has voiced alarm over rates of resident suicide (22). The Accreditation Council for Graduate Medical Education has included new requirements for residencies and institutions to promote physician well-being (23).

긍정적 역할 모델, 전문성, 경험 및 의료인의 건강 증진을 위한 모범 사례 제안

Best Practice Suggestions to Promote Positive Role Models, Medicine as a Profession, Empathy, and Clinician Wellness

환자와 학습자에 대한 공감과 존중을 모델링하는 것은 직업으로서의 의학의 핵심 가치를 재확인한다. 이러한 행동들은 훈련에서 실습을 통한 경험의 연속성에 영향을 미치고 의술과 과학의 실천에서 평생 윤리에 대한 반성을 함양하는 힘을 가지고 있다. 숙련된 임상의들은 그들의 감정적으로 도전적인 경험을 공유하도록 격려되어야 한다.

Modeling empathy and respect for patients and learners reaffirms core values of medicine as a profession. These behaviors have the power to influence the continuum of experiences from training through practice and foster lifelong reflection on ethics in the practice of the art and science of medicine. Experienced clinicians should be encouraged to share their emotionally challenging experiences.

숨겨진 커리큘럼을 공개하고 재정립하기 위한 전략에는 연습생이 환자의 죽음과 같은 정서적으로 도전적인 상황을 설명하기debrief 위해 확보된 시간, 그리고 전문직 정체성의 형성에 기여하는 암묵적 메시지와 긍정적인 경험에 대한 성찰을 위해 확보된 시간이 포함된다. 전문적인 형성은 명확한 커리큘럼 목표 (24)가 되어야 한다.

Strategies for revealing and realigning the hidden curriculum include dedicated time for trainees to debrief emotionally challenging situations, such as the death of a patient, and for reflection on positive and negative experiences and the implicit messages that contribute to formation of professional identity (Appendix Tables 2 and 3). Professional formation should become an explicit curricular objective (24).

웰니스 위원회는 임상의가 스트레스를 해소하고 직원과 연습생들에게 자신의 건강에 참여하는 것의 가치에 대한 메시지를 보내는 것을 도울 수 있다. 지원은 의미 있고, 비밀이 지켜져야 하고, 종적이며, 개인에 맞게 조정되어야 한다. 예를 들면 조언, 코칭, 비밀 동료 지원 단체, 그리고 사망한 환자들을 위한 병원 전체의 추도 예배 등이 있다.

Wellness committees may help clinicians address stress and send a message to staff and trainees about the value of attending to one's own health. Support must be meaningful, confidential, longitudinal, and tailored to individuals. Examples include advising, coaching, confidential peer support groups, and hospitalwide memorial services for deceased patients.

임상 기술 개발: 환자의 서비스에서... 아니면 아이패티엔트?

Clinical Skills Development: In the Service of the Patient ... or the iPatient?

마스터 임상가-교육자인 윌리엄 오슬러는 침대 머리맡에서 배우는 것이 의학 교육의 가장 중요한 부분이며, 그의 묘비가 오직 "그는 의대생을 BST를 위하여 병동으로 데려왔다"(25)라고만 읽히기를 원한다고 말했다. 간단하지만 강력한 침대 머리맡 기술을 보여줌으로써 닥터링doctoring의 기쁨을 나누는 의사는 교사의 위대한 혈통의 일부분이다. 이들은 그런 지식과 연민을 물려주고 학생에게 경이로움을 일깨우는 보상을 아는 사람이다. 심장 잡음을 강조하기 위한 침대 머리맡의 기술처럼 기본적인 것을 보여주고 그것을 환자의 역사와 연관시키는 것은 신체 진단과 중요한 교훈의 힘을 전달한다. 여기에는 뛰어난 임상 기술이 불필요한 영상검사를 피하는 데 도움이 된다는 것을 포함한다.

The master clinician-educator William Osler said that learning at the bedside was the most important part of medical education and wanted his headstone to read only, “He brought medical students into the wards for bedside teaching” (25). The physician who shares the joy of doctoring by demonstrating simple but powerful bedside skills is part of the great lineage of teachers who have passed down such knowledge and compassion and who know the reward of awakening a sense of wonder in a student. Demonstrating something as basic as bedside maneuvers to accentuate a cardiac murmur and correlating it with the patient's history conveys the power of physical diagnosis and important lessons, including that excellent clinical skills help to avoid unnecessary imaging studies.

BST는 효율을 우선시하는 문화에 의해 위협받을 수 있다. 교육자들이 침대 머리맡에서 가르치는 시간은 25% 미만이지만, 이 곳이야말로 학생들이 환자 중심 진료에 기초하는 치료적 관계, 공감, 전문성, 그리고 임상 및 커뮤니케이션 기술에 대해 가장 많이 배우는 곳이다.

Bedside teaching can be threatened by a culture that prioritizes efficiency. Educators spend less than 25% of teaching time at the bedside (26), but that is where students learn the most about therapeutic relationships, empathy, professionalism, and clinical and communications skills that are foundational to patientcentered care.

학생들은 공식적으로 상세한 병력청취와 신중한 신체검사 수행법을 배우면서 환자-의사 관계를 중시하도록 가르친다. 그럼에도 불구하고, 임상실습 기간 동안 학생들은 환자보다 컴퓨터와 더 많은 시간을 보내는 의사와 자주 마주친다. 이는 흔히 모든 곳에 존재하는omnipresent 전자건강기록(28, 29)에 의해 추진되지만, 규정(근무시간 제한 등), 기술 접근 용이성, 의사들에 대한 행정업무의 부담 증가(30) 등에 의해서도 유도된다. 혁신은 환자 관리의 질을 향상시킬 수 있지만 환자와의 상호작용을 대체해서는 안 된다. 학습자가 BST를 경험할 때, 그들은 미래의 교육방식으로 위해 그러한 회진을 선호하는 경향이 있다. 학생들은 회진에서 선생님들이 환자와 상호작용하고 신체 진단을 배우는 것을 볼 수 있는 유일한 기회를 제공한다고 언급하면서, 이것이 환자가 추상적인 질병이나 숙주가 아니라 독특한 사람(26)이라는 관점을 강화한다고 이야기한다.

Students are formally taught to value patient encounters and the patient–physician relationship by learning to take detailed histories and perform careful physical examinations. Nevertheless, during clerkship, students frequently encounter physicians who spend more time with computers than with patients (27). This is often driven by the omnipresent electronic health record (28, 29) but is also promoted by regulations (such as duty hour limits), easy access to technologies, and the increasing burden of administrative tasks (30) on physicians. Innovations can enhance the quality of patient care but should not supplant interactions with patients. When learners “experience bedside teaching, they tend to prefer such rounds for future instruction, commenting that bedside rounds provide them their only opportunity to see teachers interact with patients, learn physical diagnosis, and reinforce the perspective that patients are not abstract diseases or hosts but instead unique persons” (26).

내과 레지던트들은 환자와 직접 접촉하는 데 시간의 9%에서 12%를 소비하고(31~34) 환자의 컴퓨터 차트 검토, 주문 입력 및 문서화에 40%를 소비한다(35). 학생들은 "iPatient"가 전자 건강 기록, 실험실 및 영상 결과 및 기타 테스트에 기초하여 치료되는 작업실 또는 "snug 벙커"로 후퇴하는 것을 알아차린다. 그 팀은 가장 중요한 팀원이라고 할 수 있는 "실제 환자"는 빼 놓은 채로 화면 주위를 서성거리는 것이다.

Internal medicine residents spend 9% to 12% of their time in direct contact with patients (31–34) and 40% of their time on computer chart review, order entry, and documentation away from patients (35). Students notice the retreat to the workroom or “snug bunker,” where the “iPatient” is treated on the basis of the electronic health record, laboratory and imaging results, and other tests (36). The team huddles around the screen without the most important team member: the actual patient.

테크놀로지는 의료 서비스를 발전시키지만 환자, 교수, 전문성에 대한 의도하지 않은 결과가 과소평가될 수 있다. 기초적인 병력청취와 신체검사 기술은 의과대학 초기에 가르치지만 레지던트(37) 기간동안 위축될 수 있다. 또한 이러한 기술을 가르치고 모델링할 수 있는 임상의 수가 줄어드는 것에 대한 우려도 증가하고 있다. 현재의 건강관리 환경에서는 가르치고 역할 모델로서 행동할 시간을 찾는 것은 어려운 일이지만, 가르침은 practice의 의미와 기쁨에 기여할 수 있다. medicine이 천직이나 소명이라는 인식이 쇠퇴하는 것은 현재의 실천 상태에 대한 임상의들의 시각에 영향을 미칠 뿐만 아니라 수련자에게도 전달된다.

Technology advances medical care, but unintended consequences for patients, teaching, and professionalism can be underappreciated. Fundamental history-taking and physical examination skills are taught early in medical school but can atrophy by residency (37). There is also growing concern about the diminishing number of clinicians who are capable of teaching and modeling these skills. Finding the time to teach and act as a role model is challenging in the current health care environment, but teaching can contribute to the meaningfulness and joy of practice. A waning sense of medicine as a vocation or a calling not only affects the views of clinicians about the current state of practice but also is communicated to trainees.

환자와의 상호작용에 초점을 맞추면 의학의 실천에 내재된 인간성과 불확실성을 우리에게 일깨워준다. iPatient에게는 접촉touch과 눈맞춤이 신체적으로든 감정적으로든 어떤 것도 가져다 주지 않지만, 실제 환자들은 touch and eye contact를 크게 중시한다(36). 편안함과 치유적인 연결의 부재는 또한 신뢰와 치료적 관계를 형성하는 능력 그리고 후대에 의해 얼마나 훌륭한 치료를 보고 실천할 것인가에 지속적인 영향을 미칠 수 있다. 테크놀로지가 환자-의사 관계의 신성한 공간을 방해할 필요는 없다.

Focusing on interacting with the patient reminds us and learners of the humanity and uncertainty inherent in the practice of medicine. Touch and eye contact bring nothing, physically or emotionally, to the iPatient, but real patients value them greatly (36). The absence of comfort and healing connections can also have lasting effects on trust and the ability to form therapeutic relationships and on how excellent care will be viewed and practiced by future generations. Technology need not hamper the sacred space of the patient–physician relationship.

급격한 상태 변화를 겪는 환자를 진찰할 때 얻을 수 있는 것을 모델링하면 모든 팀 구성원이 환자를 재검진하고 임상적 추론 기술을 다듬는 데 도움이 된다. (부록 표 1의 표 2 참조). [컴퓨터 앞에 앉기 전에 침대 머리맡에 가는 이유]를 성찰하는 것도 patient-guided assessment의 중요성을 강조하는데 도움이 된다.

Modeling what can be gleaned from examining a patient with a sudden change in condition helps all team members refocus on the patient and refine clinical reasoning skills (see vignette 2 in Appendix Table 1). Reflecting on the reasons for going to the bedside before the computer helps emphasize the importance of patient-guided assessment.

"Medicine에서 가르침(teaching)이란 근본 가치(fundamental value)이다. "doctor"라는 단어가 "가르치다(to teach)"라는 의미의 라틴어 docere에서 왔다는 사실은 동료 및 학습자와 지식을 공유해야 할 의사의 의무를 확인시켜준다. 이러한 지식의 공유는 (수업 등을 통하여) 공식적(formally)으로 이루어질 수도 있으며, 역할모델(role model)로서 이루어질 수도 있다." 기관들은 교육에 대한 그들의 헌신을 확인해야만 하고 그것에 대한 적절한 자원, 시간, 그리고 인정을 제공해야 한다.

Teaching is a fundamental value in medicine. The word doctor, from the Latin docere (“to teach”), affirms the duty of physicians to share knowledge with colleagues and learners, formally and as role models (38). Institutions must affirm their commitment to teaching and provide appropriate resources, time, and recognition for it.

BestPractice 제안 Bedside 지식 재산권 교육 및 임상 스킬 개발을 홍보하기 위한.

Best Practice Suggestions to Promote Bedside Teaching and Clinical Skill Development

침대 옆에서 늘 경험이 풍부한 임상의로 모델링 되야 한다. 학습자를 관찰하고 개인화된 피드백을 공유하는 것이 아마도 임상 기술을 가르치고 침상 의학의 중요성을 전달하는 가장 효과적인 방법일 것이다. "hi-tech, lo-think" 의료 환경에서는 임상 기술과 환자-의사 관계를 희생하지 않고 디지털 스테토스코프, 휴대용 초음파 기계, 시뮬레이션, 비디오 아틀라스 등의 기술을 통합하는 방법의 개발이 시급하다(36).

Presence at the bedside must be modeled by experienced clinicians. Observing learners and sharing individualized feedback is perhaps the most effective method to teach clinical skills and convey the importance of bedside medicine. In a “hi-tech, lo-think” medical environment, the development of ways to integrate technology, such as digital stethoscopes, portable ultrasound machines, simulation, and video atlases, without sacrificing clinical skills and patient–physician relationships is urgently needed (36).

혁신적인 훈련 모델과 훈련생을 침상으로 데려오는 구조화된 침상 의료 커리큘럼은 신체 진단, 임상 추론, 의사소통 기술, 환자 중심 치료를 양성한다.

Innovative training models and structured bedside medicine curricula that bring trainees back to the bedside cultivate physical diagnosis, clinical reasoning, communication skills, and patient-centered care.

Position 2 

학습 환경은 존중, 탐구, 정직성을 길러야 하며, 학습자를 포함한 모든 개인이 윤리, 전문성 및 관리 제공에 대한 우려를 제기할 수 있도록 해야 한다. 팀워크와 동료에 대한 존경을 가르치고 입증해야 한다.

The learning environment should foster respect, inquiry, and honesty and empower every individual, including learners, to raise concerns about ethics, professionalism, and care delivery. Teamwork and respect for colleagues must be both taught and demonstrated.

안전·품질·윤리 향상을 위한 발언문화

A Culture of Speaking Up to Advance Safety, Quality, and Ethics

강력한 윤리적 문화를 조성하려면 팀원들이 자유롭게 우려를 표명할 수 있게 해야 한다(예: 낮은 품질의 케어나 방해 또는 문제가 있는 동료에 대해). 마르티네즈와 동료들은 [역할 모델에 대한 노출]이 [유해한 의료 오류의 공개]와 관련하여 연습생의 태도와 행동을 예측하는 것을 발견했다(43) 부정적인 역할 모델에 대한 더 많은 노출은 더 많은 부정적인 태도와 (공시와 관련된) 비전문적 행동의 가능성 증가와 독립적으로 연관되었다. [고위 임상의가 환자와 가족에 대해서 오류에 대한 책임을 회피하거나 투명하지 않게 처리하는 것을 보는 경우], 혹은 [공포의 문화를 경험하는 경우] 학생과 레지던트는 실수를 관찰하거나 실수를 저질렀을 때 말하지 않게 된다.

Creating a strong ethical culture requires that team members feel free to voice concerns (for example, about low-quality care or disruptive or impaired colleagues). Martinez and colleagues found that exposure to role models predicted trainee attitudes and behavior with regard to disclosure of harmful medical errors (43). Greater exposure to negative role models was independently associated with more negative attitudes and increased likelihood of unprofessional behavior related to disclosure. Students and residents who see senior clinicians evade responsibility to and transparency with patients and families about errors or who experience a culture of fear speak up less when observing or making a mistake.

환자 안전 이니셔티브의 중요성은 강의실에서 배우지만, 가장 설득력 있는 교훈은 임상 환경(44, 45)에서 배운다. 부록 표 1의 vignette 3에서와 같이 각 환자가 마주치기 전과 후에 손씻기를 관찰하는 것은 손씻기 캠페인이나 감염관리 강의보다 학생들의 행동에 더 큰 영향을 미칠 가능성이 있다.

Although the importance of patient safety initiatives is taught in the classroom, the most compelling lessons are taught in clinical environments (44, 45). Observing handwashing before and after each patient encounter, as in vignette 3 in Appendix Table 1, is likely to have a greater effect on student behavior than handwashing campaigns or infection control lectures.

위계

Hierarchy

[탐구, 학술, 지속적 개선의 환경 및 문화를 확립]하기 위해서는 위계계층으 상부에서 [모든 팀 구성원의 기여가 중요하다는 것]을 명시적으로 밝히는 것이 필요하다. 이러한 문화가 확립되어야 학습자가 겪는 윤리적 이슈나 도덕적 고통의 근원을 제기할 수 있다. Gaufberg와 동료들은 숨겨진 커리큘럼을 돌아본 의대생들의 절반이 의료 계층에서 "그들의 분수를 알아야 한다"는 강한 압박감을 느낀다는 것을 발견했다. 학생들은 또한 환자들이 의사 권한을 받아들여야 한다는 압박감을 느낀다고 인식했다(46).

Establishing an environment and culture of inquiry, scholarship, and continuous improvement that fosters the raising of ethical issues and sources of moral distress by learners (38) requires explicit reminders from the top of the hierarchy of the importance of contributions from all team members. Gaufberg and colleagues found that half of medical students reflecting on the hidden curriculum reported feeling intense pressure to “know their place” in the medical hierarchy. Students also perceived that patients felt pressured to accept physician authority (46).

표 3(부록 표 1)에서 학생은 주치의가 이전에 입력에 대한 개방성을 표시했었던 어떤 것을 말했을 수 있다. 학생들에게 [[환자의 최선의 이익]에 초점을 맞춘 우려를 전달하도록 가르치는 것]은 심지어 상급 팀 구성원들이 피드백을 요청하지 않을 때에도 학생들에게 힘을 준다.

In vignette 3 (Appendix Table 1), the student may have said something had the attending physician previously expressed openness to input. Teaching students to convey concerns focused on the best interests of patients empowers students even when senior team members do not invite feedback.

임상 환경에서 역할, 경험 및 평가의 위계적 구조는 귀중한 통찰력을 침묵시킬 위험이 있으며 도덕적 고통과 권력의 남용 가능성을 지니고 있다. 2016년 의과대학 졸업생의 절반 가까이가 교직원들의 공개적인 당혹감을 경험했고, 4분의 1 가까이가 공개적인 굴욕(1)을 경험했다. 졸업생들은 괴롭힘, 성차별주의 혹은 인종 차별주의적인 발언, 원치 않는 성적 진보, 성별에 근거한 훈련이나 보상의 기회 거부, 그리고 가장 흔히 임상 환경에서 나타난다. 졸업생의 36%가 아무 조치도 없을 것으로 보고 신고하지 않은 것으로 나타났고, 27%는 보복이 두려워 신고하지 않은 것으로 나타났다(1).

The hierarchical structure of roles, experience, and evaluation in clinical environments risks silencing valuable insights and carries the potential for moral distress and abuses of power. Almost half of 2016 medical school graduates experienced public embarrassment by faculty, and almost one quarter experienced public humiliation (1). Graduates highlighted bullying, sexist or racist remarks, unwanted sexual advances, denial of opportunities for training or rewards based on gender, and physical harm, most commonly in clinical settings. It is alarming to note that 36% of graduates indicated that they did not report these behaviors because they believed nothing would be done, and 27% did not report them because they feared reprisal (1).

환자 안전 및 평면 계층화를 위한 모범 사례 제안

Best Practice Suggestions to Promote Patient Safety and Flatten Hierarchy

교직원들과 레지던트들은 책임감의 문화culture of accountability 속에서 적극적으로 발언하도록 격려받아야 한다. 지식의 위계는 항상 존재할 것이고, 많은 면에서 다양한 학위와 지식을 가진 팀 구성원을 갖는 것은 효과적인 관리와 교육을 보장하는 데 도움이 된다. 교수개발과 학습 환경의 개입을 통해 개방성openness을 배양할 수 있으며, 이를 통해 학대mistreatment를 감시할 수 있다.

Faculty and residents should actively encourage speaking up in a culture of accountability. Hierarchy of knowledge will always exist, and in many ways having team members with varying degrees and knowledge helps ensure effective care and education. Openness can be nurtured through faculty development and interventions in the learning environment to monitor for mistreatment.

[환자 안전과 관련된 우려를 전달하고 해결하는 방식으로 의사소통 기술을 가르치는 것]이 팀 관계를 위태롭게 만들 가능성은 낮을 것이다. 질문의 형태로 우려를 제기하는 것은 위계적 환경에서 효과적일 수 있으며, 그러한 기법을 가르치는 것은 도덕적 용기를 강화시킬 수 있다(47). 기관은 보고를 권장해야 하는데, 종종 [익명의 메커니즘]이나 [관리나 감독에 직접 관여하지 않는 옴부즈퍼슨]을 사용하는 것이 가장 효과적일 수 있다.

Teaching communication skills in a manner that conveys and addresses concerns related to patient safety may be less likely to jeopardize team relationships. Raising concerns in the form of a question may be effective in a hierarchical setting, and teaching such techniques may bolster moral courage (47). Institutions should encourage reporting, which is often best accomplished using anonymous mechanisms or an ombudsperson not directly involved with care or supervision.

팀워크 및 프로페셔널 관계

Teamwork and Interprofessional Relationships

[정직과 존중을 담아 수행하는 팀워크]는 수준 높은 환자 진료(38)의 특징이다. 의사, 간호사, 레지던트 및 의대생 사이의 위계는 팀워크를 억제할 수 있다(48).

Teamwork performed with honesty and respect is a hallmark of high-quality patient care (38). Hierarchy among physicians, nurses, residents, and medical students can inhibit teamwork (48).

의료 서비스 제공은 점점 더 복잡해지고 있다. 일반적인 메디케어 환자는 1차 진료 의사 2명과 1차 진료 전문의 5명(49)을 본다. 컨설턴트 또는 부문 간의 논쟁은 고품질의 팀 기반 진료(48)를 방해한다. 성공적인 팀들은 존경, 신뢰, 동료애, 열린 의사소통, 그리고 상호 지원으로 특징지어진다. 단어의 선택, 상호작용의 톤, 그리고 문제를 제기하는 것에 대한 안전감 등이 효과적 협력을 유도할 수 있다.

Health care delivery is becoming increasingly complex. The typical Medicare patient sees 2 primary care physicians and 5 subspecialists annually (49). Discord between consultants or disciplines hinders high-quality, team-based care (48). Successful teams are characterized by respect, trust, collegiality, open communication, and mutual support. Choice of words, tone of interactions, and comfort level with raising issues drive the ability to work together effectively.

Vignette 4 (부록 표 1)에서는, 비록 교직 회진 중에 간호사의 방해를 받았을지라도, 환자의 요구가 우선한다. 겸손함을 모델링하고 모든 출처에서 관련 임상 정보를 수집할 기회를 놓쳤다. 검소함과 간호사의 관찰에 대한 고마운 인정은 좀더 적절한 대응이었을 것이다. 매일 라운드에서 간호 참여를 유도하는 구조는 팀워크를 키워 징계 사일로를 극복할 수 있다. 무례하거나 감사하지 않는 문화에 기여하는 근소한 메시지들은 다음 세대에 전달된다.

In vignette 4 (Appendix Table 1), although being interrupted by the nurse during teaching rounds may have been frustrating, patient needs come first. An opportunity to model humility and gather relevant clinical information from all sources was missed. Collegiality and grateful acknowledgment of the nurse's observations would have been a more appropriate response. A structure that invites nursing participation in daily rounds can foster teamwork and overcome disciplinary silos. Subtle and not-so-subtle messages contributing to a culture of disrespect or lack of appreciation are passed to the next generation.

팀워크 및 프로페셔널 관계 증진을 위한 모범 사례 제안

Best Practice Suggestions to Promote Better Teamwork and Interprofessional Relationships

의과대학과 훈련프로그램은 관계와 수준 높은 힘을 기르기 위해 전문직간 교육의 모델을 개발하고 있다. 전문직간 라운드는 로지스틱 측면에서 실행하기가 어렵지만, 병동에서의 가치에 대한 인식은 증가하고 있다. 병원은 병동을 보다 효과적인 임상 마이크로시스템이 되도록 accountable care unit으로 개편하고 있다. Accountable care unit에는 유닛 기반 팀, 구조화된 학제 침대 옆 라운드, 유닛 레벨 성과 보고, 유닛 레벨의 간호사와 의사 공동 책임(50)이 포함된다. 학제간 회진에는 의사, 간호사, 약사, 사회복지사, 사례 관리자, 물리치료사 및 가정치료 전문가가 포함될 수 있다.

Medical schools and training programs are developing models for interprofessional education to build relationships and level power. Although interdisciplinary rounds are logistically challenging to implement, there is increasing recognition of their value on the wards. Hospitals are reorganizing wards into accountable care units so that they are more effective clinical microsystems. Accountable care units include unit-based teams, structured interdisciplinary bedside rounds, unitlevel performance reporting, and unit-level nurse and physician co-leadership (50). Interdisciplinary rounds may include physicians, nurses, pharmacists, social workers, case managers, physical therapists, and home care specialists, creating in-person, synchronous communication.

Position 3

지도자들은 윤리적 우려에 대한 논의를 장려하고, 일상적인 의사결정에 가치를 명시하며, 환자의 복지가 핵심 가치인 전문성에 대한 기대를 구체화함으로써 강력한 윤리 문화를 만들고 유지해야 한다.

Leaders should create and sustain a strong ethical culture by encouraging discussion of ethical concerns, making values in everyday decision making explicit, and embodying expectations of professionalism in which patient well-being is a core value.

윤리와 전문직업성의 문화

A Culture of Ethics and Professionalism

의료진과 학습자는 양식, 프로세스 메트릭스 및 변제에 많은 시간을 할애하여 시간이 부족하다고 보고한다. 체계적이고 조직적인 힘은 연습과 학습 환경에 크게 영향을 미쳤다. 블록과 동료들은 레지던트들이 하루 중 12%만 직접 환자 진료에 쓰고, 하루에 한 명의 환자를 돌보는 데 8분도 걸리지 않는다는 것을 발견했다. 1989년과 2000년(31) 사이에 이루어진 관측에 비해 이러한 시간이 줄어들었다.

Clinicians and learners report insufficient time as a major challenge, with much time spent on forms, process metrics, and reimbursement. Systemic and organizational forces have profoundly affected practice and the learning environment. Block and colleagues found that residents spent only 12% of their day in direct patient care, with less than 8 minutes on the care of any one patient per day. These times were reduced compared with observations made between 1989 and 2000 (31).

2011년 업무 시간 제한은 환자 직접 진료를 위한 시간을 강조하게 만들었다. 대부분의 병원에서는 임상 업무량과 임상의 수가 그대로 유지되었다. 레지던트들은 같은 양의 일을 더 짧은 시간 안에 끝내야 하고, 힘든 선택을 강요하는 업무 압축을 경험하고 있다. 환자 진료는 항상 우선순위가 되어야 하기 때문에, 많은 레지던트들은 제한된 시간 내에 노트와 오더 작성을 완료하기를 것을 선택하고, bedside instruction이나, 가족미팅이나, 컨설턴트와의 토론에 참석하지 않는다. 이런 일이 일어날 때, medicine은 과제를 완료하는 데 더 집중하게 되고 환자나 독특한 교육 기회를 포착하는 것에 덜 집중하게 된다.

A stress on time for direct patient care is the 2011 duty hour restrictions. In most hospitals, the clinical workload and number of clinicians remained the same. Residents have to complete the same amount of work in less time and are experiencing work compression, forcing difficult choices. Because patient care should always be the priority, many residents choose to complete notes and place orders in limited time and miss attending bedside instruction, family meetings, or discussions with consultants. When this occurs, medicine becomes more focused on completing tasks and less focused on the patient and seizing unique educational opportunities.

레지던트는 전문직업성의 충돌을 경험한다(부록 표 1의 5번 참조). 프로그램 책임자와 교직원들은 종종 인가 상태를 유지하기 위해 [의무 시간에 대한 준수]를 강제해야 한다고 느끼는 반면, 훈련생들은 전문직업성이란 [환자의 요구와 교육]을 [의무 시간에 대한 엄격한 준수]보다 우선하는 것이라 믿는다. 훈련생들은 [중증 환자의 치료 목표를 논의하기 위해 가족 모임에 참여하는 것]이 [병원 내에서 근무할 수 있는 시간을 제한하는 규정을 지키는 것]보다 더 중요하다고 당연히 느낄 수 있다. 선임 레지던트와 교직원은 임상의사가 구현해야 할 가치에 대한 역할 모델 대신 '근무시간 경찰'이 될 수 있다. 교수진들은 그렇게 할 때 환자의 관리를 소유하는 전문성이 근무 시간과 상충된다는 메시지를 전달하는 것이 어려울 수 있다. 관행과 정책의 불일치는 윤리와 전문성을 훼손하며, 훈련생과 교수진에게 혼란스럽고 불공평unfair하다. 연습생들에게 갈등을 해결할 수 있는 대화를 장려하는 것은 그들이 전문가로서 발전하는 데 도움이 될 것이다.

Residents encounter conflicts with professionalism (51, 52) (see vignette 5 in Appendix Table 1). Program directors and faculty often feel compelled to enforce adherence to duty hours to maintain accreditation status, whereas trainees believe that professionalism dictates that patient needs and education should be prioritized over strict adherence to duty hours. Trainees may rightly feel that participating in a family meeting to discuss a critically ill patient's care goals is more important than obeying a rule limiting the number of hours they can stay in the hospital. Senior residents and faculty can become the “duty hour police” instead of role models for the values that clinicians should embody. Faculty may find it challenging to convey the message that professionalism means owning the patient's care when doing so conflicts with duty hours. A misalignment of practice and policy undermines ethics and professionalism and is confusing and unfair to trainees and faculty. Encouraging conversations that allow trainees to resolve conflicts will help them develop as professionals.

윤리 및 프로페셔널리즘 문화를 촉진하기 위한 모범 사례 제안

Best Practice Suggestions to Promote a Culture of Ethics and Professionalism

기관의 정책과 구조는 핵심이 되는 직업적 가치를 육성하고 촉진해야 한다. 스케줄링 정책은 각각의 고유한 임상 환경의 장점을 홍보하고 약점을 완화해야 한다. Trainee가 [환자를 돌보기 위해 present하기를 원하는 것]과 [Trainee의 건강 및 환자 안전을 증진하기 위한 규정을 존중하는 것] 사이에서 딜레마에 빠지지 않도록 명확한 기대가 있어야 한다. 프로그램 리더들은 고수할 수 있는 일정을 만들어 충돌을 최소화해야 한다.

Institutional policies and structures should nurture and promote core professional values. Scheduling policies should promote the strengths and mitigate the weaknesses of each unique clinical environment. Expectations should be sufficiently clear so that trainees do not feel caught between wanting to be present to care for patients and respecting regulations intended to promote trainee wellness and patient safety. Program leaders should minimize conflicts by creating schedules that enable adherence.

39. Stanford Medicine. Stanford Medicine 25: Promoting the Culture of Bedside Medicine. 2017. Accessed at http://stanfordmedicine25.stanford.edu on 22 November 2017.

40. University of Washington Medicine. The Colleges. 2017. Accessed at 

www.uwmedicine.org/education/md-program/current-students/the-college on 22 November 2017.

47. Thompson MP. The skills of inquiry and advocacy. Management Commune Q. 1993;7:95-106. XXX

41. Johns Hopkins Medicine Center for Innovative Medicine. Aliki Initiative. 2017. Accessed at www.hopkinscim.org/initiatives/aliki-initiative on 22 November 2017.

44. Lucey C, Souba W. Perspective: the problem with the problem of professionalism. Acad Med. 2010;85:1018-24. [PMID: 20505405] doi: 10.1097/ACM.0b013e3181dbe51f

Ann Intern Med. 2018 Apr 3;168(7):506-508. doi: 10.7326/M17-2058. Epub 2018 Feb 27.

Hidden Curricula, Ethics, and Professionalism: Optimizing Clinical Learning Environments in Becoming and Being a Physician: A Position Paper of the American College of Physicians.

질병 서사: 신뢰도, 진정성, 공감적 목격(Med Humanit, 2011)

Illness narratives: reliability, authenticity and the empathic witness

Johanna Shapiro

포스트-Flexenerian 시대에, 의사들은 점점 더 그 주관성과 비신뢰성 때문에 환자의 이야기를 어떤 회의주의와 불편함으로 보았다. 대신에 그들은 .푸코적 임상 시선의 다양한 기술적 조작으로부터 얻은 공정한 임상 데이터뿐만 아니라 의사들 자신의 실증주의적 과학적 전문지식에 더 의존하게 되었다.

In the post-Flexnerian era, physicians increasingly viewed the patient’s story with a certain scepticism and discomfort because of its subjectivity and perceived unreliability. Instead, they came to depend more on impartial clinical data obtained from various technical manipulations of the Foucauldian clinical gaze , as well as on their own positivist scientific expertise.

그러나 Sayantani DasGupta가 지적하는 바와 같이, 다양한 의학적 이유와 문학적 이유 때문에, 환자의 이야기는 여전히 신뢰할 수 없거나, 부정확하거나, 정직하지 못하거나, 오인될 위험이 있다.5 

However, as Sayantani DasGupta points out, for a variety of both medical and literary reasons, patients’ stories are still at risk of being perceived as untrustworthy, inaccurate, dishonest or mistaken.5 

"신뢰할 수 없는 내레이터"라는 바로 그 용어는, 누구이든 자기 이익 또는 무지 중인, 잘못 이해한 또는 기만적 편견을 가진 것 이야기를 해 주는 사람을 말한다.6

the very term unreliable narrator refers to someone who, either out of self-interest or ignorance, tells a tale that is biased, misguided or deceptive.6

일인칭 시점 네러티브의 비신뢰성과 비진정성

UNRELIABILITY AND INAUTHENTICITY IN FIRST PERSON NARRATIVES 

네러티브의 원리주의 및 신뢰성에 대한 질문 

Questioning narrative fundamentalism and reliability 

Rebecca Garden은 특히 일인칭 시점으로 전달된 질병서사에서 서술자의 진실성에 대한 문제를 다룬다.7 그녀는 그러한 서술의 독자들이 이러한 서술이 객관적 진실 - '진짜 일어난 일'을 나타낸다고 생각하는 경향이 있다는 중요한 점을 지적한다. 과학의 이념이 전문가의 목소리를 특유한 것처럼, 이러한 개인적 경험의 이데올로기는 사건을 직접 겪은 사람의 권위를 높여준다. 그러나 독자와 청취자가 환자의 설명을 액면 그대로 받아들이는 그런 서술적 원리주의는 이야기의 본질을 단순하게 보는 것이다.

Rebecca Garden tackles the question of narrator authenticity in illness narratives,particularly as conveyed in the first person voice.7 She makes the important point that the readers of such narratives, tend to assume that these accounts represent objective truth - ‘what really happened’. Just as the ideology of science privileges the voice of the expert,this ideology of personal experience enhances the authority of the person who underwent the event firsthand. Yet such narrative fundamentalism, in which the reader/listener unquestioningly takes the patient’s account at face value, is a simplistic view of the nature of story.

개인적 동기로 인한 편향

The bias of personal motivation

가든과 다른 문학 학자들이 우리에게 상기시켜 주듯이, 모든 서사는 만들어진shaped 것이거나 '구축된' 것이다; 모든 서술은 일관성, 타당성, 자기 표현, 이전의 역사 수정, 금전적 이득, 심지어 '보상'과 같은 다양한 미학적 개인적 동기를 위해 만들어진, 저자authorial 결정의 결과물이다. 챔버스가 말한 것처럼 '이야기는 결백하지 않다'.8 하드위그는 자서전이란 실수, 누락, 왜곡, 노골적인 거짓을 담고 있어서 '지각적, 도덕적으로 의심스러운 것'이라고 주장한다. 그는 대부분의 사람들은 만성적으로 자기주장이 투명성과 정직성이 결여된 자기주장을 하는 존재라고 주장한다. Paley는 일인칭 이야기에서 우리는 우리 자신을 실제보다 더 친절하고, 영리하고, 더 재미있고, 더 성공적이라고 묘사할 것 같다고 지적한다. 우리는 특정한 사실을 무시하고 다른 사람들을 과장해서 동정심을 얻거나, 실수와 잘못에 대해 감탄하거나 책임을 최소화할 수 있다.10 일인칭 서술은 또한 고해적이고, 용서적이며, 더 큰 사회적 이슈에 대해 무관심하다는 평을 받았다.11

As Garden and other literary scholars remind us, all narratives are shaped, or ‘constructed’; all narratives are the results of authorial decisions, made for a variety of aesthetic and personal motives: coherence, relevance, self-presentation, correcting earlier histories, monetary gain, even ‘payback’. As Chambers once noted tellingly, ‘Stories are not innocent’.8 Hardwig contends that autobiographies are ‘both epistemically and morally suspect’, containing mistakes, omissions, distortions and blatant lies.9 He asserts that most people are chronically self-deceiving beings whose selfpresentations lack transparency and honesty. Paley notes that in first person stories we are likely to portray ourselves as kinder, cleverer, funnier and more successful than we really are. We may ignore certain facts and exaggerate others to win sympathy, invite admiration or minimise responsibility for mistakes and wrongdoing.10 First person narratives have also been criticised as confessional, solipsistic and unconcerned with larger social issues.11

메타-서사의 영향

The influence of meta-narratives

더 나아가, 의식적이거나 무의식적으로 글을 쓰거나 말하는 개인적인 선택을 넘어, 모든 서사는 때로 적극적인 이데올로기를 만드는 데 종사하는 확립된 권력구조에 내재된 외적인 힘에 의해 필연적으로 영향을 받는다.12 사람들은 단순히 그들의 이야기를 갑자기 끄집어내지 않는다. 사람들은 그보다 사실 시간, 역사, 문화, 사회에서의 특정한 위치place의 결과로서 그들에게 가장 쉽게 이용할 수 있는 지배적인 서술적 관습과 메타 내러티브의 힘에 깊이 구속된다. Paley는 '정의로운 세상'에 대한 확신과 같은 대부분의 메타 플롯이 나쁜 상황에 대해서도 유익하고, 긍정적이며 교육적이거나 또는 정신적으로 밝은 사건으로서 성찰적으로 재구성하는 결과를 초래한다고 주장했다.

Further, beyond conscious or unconscious personal choices in writing or telling, all narratives are themselves necessarily influenced by persuasive, at times coercive, external forces embedded in established power structures engaged in active ideology-making.12 People do not simply pull their narratives out of the blue, but in fact are deeply constrained by the power of the dominant narrative conventions and meta-narratives that are most readily available to them as a result of their particular place in time, history, culture and society. Paley contended that most meta-plots, such as the conviction of a ‘just world’, lead to the reflexive recon-figuring of bad situations as events that are actually beneficial, positive and educational or spiritually illuminating

다른 학자들은 만족, 즐거움 또는 감탄을 자극하는 '보기 좋은' 이야기들은 감정적으로 민감한 독자나 듣는 사람들에게 쉽게 믿을 수 있지만, 이것이 정확한 것도 아니고, 진실인 것도 아니다.13 이것은 가족, 친구, 의사들이 [환자가 그들에게 말하는 것에 진실하다고 느끼지 않더라도] 성찰적으로 다른 종류의 환자 이야기를 지지하거나 승인할 수도 있다는 것을 의미한다.

Other scholars have observed that ‘feel-good’ stories that stimulate satisfaction,pleasure or admiration are easily believable to the emotionally susceptible reader or listener, but this does not make them either accurate or true.13 This means that family members, friends and physicians may reflexively favour or approve certain kinds of patient stories over others, although these preferred stories may not feel genuine to the patient telling them.

메타서사의 회복과 탐색의 한계

Limitations of recovery and quest meta-narratives 

가든에 대한 대부분의 관심의 메타서사(부분은 아서 프랭크15의 작품에 바탕을 두고 있다)는 코믹플롯의 메타 내러티브로, 이 코믹플롯은 다소 평범하지만 동정적인 성격을 띠게 되는 행복한 결과를 가리킨다. 종종 이것은 U자형의 형태를 취하는데, 이 U자형태에서 그 행동이 번창하면서, 잠재적으로 비극적인 사건으로 내려가고 행복한 결론에 도달한다.16 질병 이야기의 영역에서, 이 희극 줄거리는 회복의 서술(Frank가 말하는 보상 서술)을 만들어낸다. 간단히 말해서, 이 이야기는 다음과 같은 구조를 고수한다: 환자는 병에 걸리고, 환자는 의료 개입을 받고, 환자는 회복되어 질병 전의 삶으로 돌아온다. 

The meta-narrative of most concern to Garden (based in part on the work of Arthur Frank15) is that of the comic plot,which in Aristotelian terms refers to a happy outcome that befalls a rather ordinary, but sympathetic character. Often this takes the form of a U-shape, in which the action begins in prosperity, descends into potentially tragic events and rises to a happy conclusion.16 In the domain of illness stories, the comic plot produces the recovery narrative (what Frank calls the restitution narrative). Briefly, this narrative adheres to the following structure: patient gets sick; patient receives medical intervention; patient recovers and returns to pre-illness life. 

이러한 서사적 구조들은 '정의로운 세계'라는 가설을 반영하는 것으로 쉽게 볼 수 있는데, 17 모든 것은, 심지어는 파괴적인 의학 조건이나 말기 질병까지도, 가능한 이 모든 세계 중에서 가장 좋은 것을 위한 것이라는 팡로시안 창기법을 제시한다. 그러나 많은 학자들은 회복과 탐구의 메타 내러티브의 서술적 제약이 다른 환자 목소리의 출현을 막는 것을 우려한다. 예를 들어, 분노, 절망, 고통, 실패 또는 항의를 표현하거나, 특히 만성 질환과 장애가 있는 경우, 쉬운 서술적 해결의 결여를 인정하는 것이다.놀이가 없다.

Such narrative structures can easily be seen as reflecting the ‘just world’ hypothesis,17 presenting a Panglossian panegyric that everything, even a devastating medical condition or terminal illness, is for the best in this best of all possible worlds. The well-placed concern of many scholars is that the narrative constraints of both the recovery and the quest meta-narratives prevent other patient voices from emerging, ones that, for example, express anger, despair, suffering, failure or protest, or admit the lack of easy narrative resolution, especially where chronic illness and disability are in play.

사실, 그들(환자)은 '좋은' 환자나 훌륭한 개인으로 인식되기 위해 그들이 말하고자 하는 동기부여를 느끼는 이야기일 수도 있고, 또는 그들이 실제로 사물을 인식하는 방식과는 대조적으로 사물들이 어떻게 존재해야 하는지를 나타내는 이상화되고 문화적으로 접근 가능한 줄거리(사회적 소망 충족의 일종)를 스스로 이용하게 될 수도 있다.18

In fact, they may be telling stories that they feel motivated to tell in order to be perceived as‘good’ patients or commendable individuals; or they may end up availing them-selves of idealised, culturally accessible plots that represent how things should be (a kind of societal wish fulfilment) as opposed to how they actually perceive things to be.18

삼인칭 표현의 비신뢰성

THE UNRELIABILITY OF THIRD PARTY REPRESENTATIONS

만약 1인칭 서사에 그렇게 많은 위험이 있다면, 아마도 모든 환자들이 다른 사람들에게 그들의 이야기를 들려주도록 해야 할 것이다(특히 중요한 다른 사람들 혹은 심지어 그들의 의사들과 같이 신뢰받는 사람들에 의해서). 그러나 타인에 대한 제3자의 표현은 본질적으로 자서전적 글보다 더 신뢰성이 있거나 객관적이지 않다. 그들 역시 teller의 동기, 인식, 가치에 의해 추진되는데, 이 모든 것들은 주관성과 편견의 요소가 강할 수 있다. 예를 들어, 제3자는 특정한 방식으로 이야기를 하는 개인적인 동기를 가질 수도 있고, 또는 훈련으로 제한된 관점을 가질 수도 있고, 또는 다른 사람의 이야기의 프레젠테이션에서 어떤 점을 지적하도록 그들을 강요하는 가치를 가질 수도 있다.

If there are so many risks in first person accounts, perhaps after all patients should let other people tell their stories for them, especially trusted people such as significant others or even their physicians.However, third party representations of others are not inherently more reliable or objective than autobiographical writing.They too are driven by the motives,perceptions and values of the teller, all of which may have strong elements of subjectivity and bias. For example, a third party may have a personal motive for telling a story a certain way; or may have a perspective limited by training19; or may have values that impel them to make a certain point in the presentation of another’s story.

심지어 환원적인 공식으로 인문학자들에 의해 종종 비판되는 환자 차트 노트조차 오로지 '사실'만을 포함하고 있지 않다. 환자의 주요 불만사항에 대한 의사의 견해와 관련된 것에 대한 해석과 증류법 그 자체가 된다.21

Even the patient chart note, often criticised by humanities scholars for its reductive formulation,20 does not contain ‘just the facts’, being itself a distillation and interpretation of what is pertinent in the physician’s view regarding the patient’s chief complaint.21 

Garden의 기사에서 일인칭 서사의 '진실'에 대해 의문을 제기하지만, 다른 사람에 의한 자신의 이야기 유용appropriation에 대해서 더 크지는 아닐지라도 비슷한 정도의 의문을 표현한다. 이는 특히 원작 스토리가 '취약한 대상'이라 할 수 있는 누군가의 것일 때 그러하다. 취약한 대상이란 스스로 말할 수 없거나, 너무 아파서 스스로 말할 수 없거나, 죽었기 때문에 적어도 반말을 할 수 있는 능력이 부족한 개인들을 말한다.

Although Garden’s article raises questions about the ‘truth’ of the first person authorial voice, it expresses equal if not greater concerns about the appropriation of one’s story by another, particularly when the original story belongs to someone who is a ‘vulnerable subject’,22individuals who by virtue of being unable to speak for themselves, too sick to speak for themselves or being dead lack the capacity to at least offer counter-narratives. 

Garden은 그러한 제3자의 글쓰기의 타당성을 평가하는데 있어서 가장 중요한 질문은 [누가 말하는 것으로부터 이익을 얻는가]라고 쓰고 있다. 그녀는 회의주의가 근원의 관점에 상관없이 모든 텍스트에 적용되도록 하는 비판적 사고의 동등한 기회 요소가 되어야 한다고 암시한다. 

Garden writes that the most important question to ask in evaluating the validity of such third person writing is, who benefits from the telling? She implies that scepticism should be an equal opportunity component of critical thinking meriting application to all texts regardless of the perspective of the source. 

제멋대로의 네러티브가 관례적인 서사보다 더 신뢰/진정한가?

ARE UNRULY NARRATIVES MORE RELIABLE/AUTHENTIC THAN CONVENTIONAL ONES? 

초월성의 매력

The allure of the transgressive

이(환자의 서사)들 중 다수는 특히 마약이나 술에 중독된 환자, 경련된 질병으로 고통받거나 비만인 환자들의 이야기를 듣기 불편하다.29 의사는 때때로 이러한 환자의 서술에 대해 평가절하하는 태도를 취한다.

many of these are uncomfortable to listen to, in particular stories of disregarded patients, such as those addicted to drugs or alcohol,27 suffering from contested illnesses28 or who are obese.29 Physicians sometimes bring a devaluing attitude to these patients’ narratives

그럼에도 불구하고, 학자들은 '포용과 반대contestation and opposition'에 대한 이야기들을 적합하거나 회복적인 이야기들보다 더 진실한 것으로 받아들였을지도 모른다.

Nevertheless, scholars may have enthroned stories of ‘contestation and opposition’ as more authentic than those that are conforming or restitutive.

학술적 토론장 내에서, 전향적이고, 경계 폭력적이며, 반항적인 반대론자들은 그들이 더 큰 진위성을 내포하고 있는 징그러운 외부 입장을 채택하기 때문에 정확하게 옹호된다.30 31 그러나 초월과 기쁨에 대한 이야기들이 전향적인 차원을 가질 수 있는 것도 사실이다. 장애인이 반드시 장애인이 없는 사람으로 '변경'하고 싶어하지 않을 것이라는 것을 일부 사람들이 받아들이기 어렵듯이, 건강한 사람도 생명을 회복시키는 질병을 경험하는 데 있어 의미 있고, 심지어 변화적인 측면이 있을 수 있다는 것을 이해하기 어려울 수 있다. 그러한 설명들은 실제로 전통적인 희극적 줄거리와 일치할 수도 있지만, 동시에 그것들은 또한 조심스럽게 유지되는 현대주의자들의 건강/질병, 선/악의 이분법을 위반하는 정신으로 제공될 수도 있다. 경쟁과 반대가 자동적으로 다른 인가된 입장보다 '진실', 신뢰성, 진실성 또는 신뢰성에 대한 더 유효한 기준을 구성하지는 않는다. 잔인하고 끊임없이 추악한 서술이 변혁적인 서술보다 반드시 더 '진정한' 서술이 되는 것은 아니다.

Within the academy, transgressive, boundary-violating, defiant counternarratives are championed precisely because they adopt a gritty outsider position, which has an implication of greater authenticity.30 31 But it is also true that stories of transcendence and joy can have a transgressive dimension. Just as it is hard for some to accept that persons with disabilities would not necessarily want to ‘change’ into persons without disabilities (cf. deaf culture), it may be difficult for a healthy person to understand that there can indeed be meaningful, even transformative aspects of experiencing lifethreatening illness. Such accounts may indeed conform to the conventional comic plot, but at the same time, they also may be offered in a spirit that violates the carefully maintained modernist dichotomies of health/illness, good/bad. Contestation and opposition do not automatically constitute more valid criteria for ‘truth’, reliability, authenticity or trustworthiness than other authorial stances. A brutal, unremittingly ugly narrative is not necessarily a more ‘real’ narrative than a transformative one.

그러나 서술적 일관성과 매끄러움 그 자체가 반드시 그 서사를 허구나 사기로 볼 수 있다고 경고하는 것은 아니다. 예를 들어, 저자가 믿음에서 의미를 발견했다면, 이것 그 자체로 단순히 세계의 일부 지역에서 지배적이고 문화적으로 규범적인 관점을 표현한다고 해서 그 이야기를 하찮게 만들어서는 안 된다. 만약 저자가 그녀의 질병과 평화롭게 되었다면 이것은 반드시 '좀 더 진실한' 절망과 황폐함을 감추는 단순한 해결을 나타내는 것은 아니다.

But narrative coherence and smoothing per se should not necessarily be a red flag for concerns about fakery or speciousness. If the author has found meaning in faith, for example, this in and of itself should not result in trivialising the story simply because it expresses what in some parts of the world is a dominant,culturally normative view. If the author has come to peace with her illness this does not necessarily represent a simplistic resolution masking ‘more authentic’ despair and desolation.

모든 스토리를 네러티브적 겸손함의 맥락에서 접근하기

Approaching all stories from a context of narrative humility 

제1인칭, 제3인칭, 초월적, 통념적인 설명에서 필연적인 서술불신불능(inevitable narrative unreliability) 앞에, 의사와 학자들은 책과 블로그에 기록되어 있는 병 이야기를 어떻게 해석해야 하는가, 아니면 시험실에서 매일 들려야 하는가? 한 가지 제안은 다른 관점을 대표하는 복수의 설명을 추구하는 것이었다.35 그러나 환자 치료에서 이것은 대개 실현 가능하지 않다. 만약 그렇지 않다면, 일인칭의 이야기는, 아무리 불완전하고 흠이 있고, 과도하거나 예외적이지 않더라도, 궁극적으로는 환자의 것이고, 그 특정한 반복 속에서 환자의 진실을 나타내기 때문에 여전히 존경과 공감을 얻을 가치가 있다. 

In the face of inevitable narrative unreliability in first person, third person, transgressive and conventional accounts, how should physicians and scholars interpret the stories of illness that are written down in books and blogs, or that are told daily in exam rooms? One suggestion has been to pursue multiple accounts representing divergent perspectives in order to develop a more nuanced and refined grasp of the other.35 But in patient care this is usually not feasible. When it is not, the first person voice, no matter how incomplete, flawed, transgressive or unexceptional, still merits respect and empathy because ultimately it belongs to the patient and represents the patient’s truth in that specific iteration. 

발화자의 주체성

The agency of the teller

비록 환자들은 지배적인 서술의 종종 억압적인 힘에 의해서 뿐만 아니라 그들이 이용할 수 있는 널리 퍼져 있는 서술적 관습에 의해 영향을 받고 종종 제한을 받지만, 이러한 포스트모더니즘적 비평이 허용하는 것보다 더 큰  agency를 이야기꾼들에게 귀속시키는 것이 가능하다. 즉, 환자들은 외부적인 사회적 압박뿐만 아니라 자신의 욕망과 의도에 따라 자신이 선택한 이야기들에 대해 인식하며 의식적인 선택을 하는 경우가 많다.

Although patients are influenced and often limited by the prevalent narrative conventions available to them, as well as by the often oppressive power of dominant narratives, it is possible to attribute greater agency to the tellers of stories than these postmodernist critiques allow. In other words, patients often make aware and conscious choices about the stories they choose to tell based not only on external societal pressures but also on their own desires and intentions.

이야기는 확실히 억압, 자기 기만, 방종의 장소로서 작용할 수 있지만, 또한 자기권한부여self-empowerment의 행위로도 작용할 수 있다.36 

Stories can act as sites of oppression, self-delusion and dissimulation to be sure, but they can also serve as acts of self-empowerment.36 

적절한 균형

A proper balance

비판적 분석의 매개 변수 안에서, 우리는 그들이 전향적이든 변혁적이든 간에 창구에게 귀중한 이야기들을 허용해야 한다. 

Within the parameters of critical analysis,we must allow for stories that are valuable to the teller,37 whether they take a transgressive or a transformative turn. 

지적이고 철학적 맹목성을 개발하여 학자와 임상의가 똑같이 환자의 욕망과 의도를 왜곡시킬 수 있는 일관성, 불분명성, 적합성, 변혁과 같은 개념에 대한 불분명한 가정을 만들어 내도록 하기 쉽다는 것이 요점이다.

The point is that it is easy to develop intellectual and philosophical blinders so that scholars and clinicians alike end up making uninterrogated assumptions about concepts such as coherence, unruliness, conformity and transformation that may distort the patient’s desire and intention.

환자의 서술 자체는 단순하게 이것 또는 저것으로 나눌 수 있는 것이 아니다. 즉, 지배적인 규범을 구속하는 것에 대한 반항 행위도 아니고, 후세에 긍정적인 이미지를 만들기 위한 연습도 아니다. 모든 이야기에는 필연적으로 자기 표현과 수행이 불가피하기 때문에 authenticity와 inauthenticity의 요소가 모두 포함되어 있으며, 항상 부분적으로 신뢰할 수 있고 부분적으로 신뢰할 수 없다.

Patients’ narratives themselves are not simplistically one thing or another - not entirely an act of rebellion against confining prevailing norms, nor an exercise in crafting a positive image for posterity. All stories necessarily contain elements of both authenticity and inauthenticity, are always partly trustworthy and partly untrustworthy, to some degree are unavoidably self-representations and performances.

서술의 분석과 해석에서, 도덕적으로 우월한 진품/불투명, 참/잘못된 것, 옳/잘못된 것을 넘어서는 것은 두 전문가 그룹이 덜 명확한 위치를 탐색할 수 있도록 할 도울이다. 이를 통해 가치, 개인적 동기, 세계관에 관한 많은 것들은 항상 사람들이 그들 자신의 경험담을 형성하는 방식으로 발견될 수 있다.39

In the analysis and interpretation of narrative,moving beyond morally superior dichotomies of authentic/inauthentic, true/invalid, right/wrong38 will enable both groups of professionals to explore the less definitive position that much about values,personal motivations and worldviews can always be discovered in the way people frame stories of their own experiences.39

서사적 겸손

Narrative humility

서사에 비판적 정신을 불어넣는 것은 저자가 의도한 교훈뿐만 아니라 저자가 의도하지 않았던 교훈을 우리가 배우도록 하기 위해서는 논쟁의 여지가 없을 정도로 중요하다. 그러나 그러한 비판적 사고는 동정적이고 겸손한 맥락 안에서 일어나야 한다. 대스쿱타의 절묘한 표현을 따르자면, 이는 환자의 말은 이해되거나comprehended 숙달될mastered 대상이 아니라는 것을 인정하는 서사적 입장을 말한다. 이 입장에 따르면 환자의 말은 우리가 접근하고 관여하는 역동적인 실체이며, 동시에 그 말의 모호함과 모순에 대해 열린 자세를 유지해야 한다.

Bringing a critical mind to narrative is indisputably important in order for us to learn the lessons the author intended, as well as the lessons the author perhaps did not intend. But such critical thinking should occur within a compassionate and humble context, in the felicitous phrase of DasGupta, a position of narrative humility40 that acknowledges that patients’ tellings are not objects to be comprehended or mastered, but rather dynamic entities that we approach and engage with, while simultaneously remaining open to their ambiguity and contradiction. 

그러한 태도는 자기표현이 전적으로 타인을 달래거나 기쁘게 하거나 지배적인 규범에 순응하거나 잘 인정받는 동기('illness blightsing'41)'에 의해 추진되는 것은 아니라는 가능성을 인정하고 있다. 이는 임상의와 학자들 모두에게 상기시킨다. 참을성 있는 서술은 또한 고통으로부터 의미를 만들고자 하는 욕구에 의해 이끌어질 수 있으며, 42 자신의 가장 높은 개인적 열망과 연결되거나 가족 및 사랑하는 사람들과 함께 자신의 유산에 대한 안목으로 연결될 수 있다. 스토리를 무엇이 유도했던지간에, 그것은 환자가 말하고자 했던 이야기를 남긴다. 

Such an attitude admits the possibility that self-representation is not entirely driven by motives of placating or pleasing others, conforming to prevailing norms or being well-regarded (‘illness brightsiding’41). It reminds clinicians and scholars alike 

• that patient narratives may also be guided by a desire to make meaning out of suffering,42 connect with one’s highest personal aspirations or with an eye to one’s legacy with family and loved ones, and 

• that regardless of what drives the story, it remains the story the patient wanted to tell.

옛 속담에 '진리보다 진실한 것은 무엇인가?'라고 묻는다. 정답은 '좋은 이야기'이다. 심각한 병에 직면한 환자들에게, 그들의 이야기를 하는 것은 그들 삶의 몇 가지 측면 중 어느 정도 통제하에 있는 것이다. 이 '진정한' 이야기들이란 말인가? 거의 확실히, 적어도 환자들이 다른 시점에서 이야기하기로 결정할 수 있는 다른 이야기들보다 더 신뢰할 수 있거나, 더 진실한 이야기라는 의미에서가 아니다(예: 레너드 크리겔이 롱 워크 홈에서 자신과 남성다움을 주제로 소아마비의 개인적 영향에 대한 초기 이해를 그의 후기 견해와 비교한다). 플라잉 솔로: 상상하는 남자다움, 용기, 상실)43 

An old folk proverb asks, ‘What is truer than the truth?’ The answer? ‘A good story’. For patients facing serious illness, telling their stories is one of the few aspects of their lives that remains somewhat under their control. Are these ‘true’ stories? Almost certainly not, at least not in the sense of being truer more reliable, or more authentic than other storiesdeven than other stories the patients may decide to tell at other points in time (eg, compare Leonard Kriegel’s early understanding of the personal impact of polio on themes of self and manhood in A Long Walk Home with his later views as expressed in Flying Solo: Reimagining Manhood, Courage, and Loss).43 

그러나 적어도 환자들에게는 이런 것들이 '좋은 이야기'가 될 수 있다. 환자가 원하는 방식으로 형성되기 때문이며, 환자가 전하고자 하는 의미와 의의를 전하기 때문이다. 이런 관점에서 스토리텔러는는 시적 자격의 특권을 부여받아야 한다. 즉 정교함과 정확성을 개인적 의미와 교환trade한다.

But, at least, for the patients, these can be ‘good stories’ in the sense that they are shaped in the way the patient wants, and convey the meaning and significance that the patient intends to convey.44 From this perspective, the storyteller should be granted the privilege of poetic licence,45 which trades accuracy and precision for personal meaning.

모든 이야기는 현실이 어떤지에 대한 협상이다. 의사와 학자들이 그들의 관심을 질병 서술에 돌릴 때, 환자가 특정 시점에서 특정 이야기의 특정 버전을 말하기로 선택한 것에 대해 감사와 배려가 있어야 한다. 궁극적으로 환자의 이야기는 의사의 것이 아니라 환자의 것이며, 문학적 학자의 것이 아니며, 숙달과 비평뿐 아니라 겸허하고 존경하고 경건하게 접근할 필요가 있다. 프랭크는 'thinking about'과는 대조적으로 'thinking with'라는 개념을 도입했는데, 이것은 서사를 해부하기보다는 서사로 들어가 공감적으로 목격하는 한 형태였다. 이것이 scholarship의 끝이 될 필요는 없지만, 비판적 분석과 해석을 주도하는 것은 문맥일 것이다.

Every narrative is a negotiation about what reality is really like. When physicians and scholars turn their attention to illness narrative, there must be appreciation and regard for the patient’s choosing to tell that particular version of that particular story at that particular point in time. Ultimately, the patient’s story belongs to the patient, not to the physician and not to the literary scholar, and needs to be approached with humility, respect and honouring,46 as well as mastery and critique. Frank introduced the concept of ‘thinking with’ in contrast to ‘thinking about’ stories,47 a form of empathic witnessing that enters into narratives rather than dissects them. This does not have to be the end of scholarship, but it must be the context that drives critical analysis and interpretation.

Garden R. Telling stories about illness and disability: 7. the limits and lessons of narrative. Perspect Biol Med 2010;53:121e35.

Med Humanit. 2011 Dec 1;37(2):68-72. doi: 10.1136/jmh.2011.007328. Epub 2011 Jul 14.

Illness narratives: reliability, authenticity and the empathic witness.

강의시간 동안의 집중력: 8초? 10분? 그 이상? (Adv Physiol Educ, 2016)

Attention span during lectures: 8 seconds, 10 minutes, or more?

Neil A. Bradbury

Department of Physiology and Biophysics, Chicago Medical School, Rosalind Franklin University of Medicine and Science, North Chicago, Illinois

TED와 금붕어

TED and the Goldfish

아주 훌륭한 POPULAR TED 회담은 연사들이 기술에서부터 생물 의학 연구, 문화에 이르기까지 광범위한 주제에 대해 자신의 생각을 발표하는 일련의 회담이다. 모든 연설자에게 주어진 한 가지 핵심 규정은 그들이 그들의 자료를 제시할 수 있는 최대 18분이라는 것이다. 18분을 지시하는 규칙은 18분이 "심각한" 프레젠테이션을 할 수 있을 만큼 길지만 사람의 주의를 끌 수 있을 만큼 짧다는 개념에 근거를 두고 있다. 생리학 커리큘럼에서 "TED" 접근방식을 광범위하게 구현해야 하는가?

THE ENORMOUSLY POPULAR TED talks are a series of talks in which speakers present their ideas on a wide range of topics from technology to biomedical research to culture. One key stipulation given to all speakers is that they have a maximum of 18 min to present their material. The rule dictating 18 min is based on the notion that 18 min is long enough to have a “serious” presentation but short enough to hold a person’s attention. should a “TED” approach be widely implemented in physiology curricula?

실제로 50분짜리 강의는 여전히 많은 기관에서 큰 영향력을 행사하고 있다. 한 학생의 주의력이 10-15분 후에 급격히 떨어진다는 여러 작가의 주장에 근거하여 학생의 주의를 끌기에는 너무 길다는 비판을 받고 있다.

Indeed, the 50-min lecture still holds sway at many institutions. It is criticized as being too long to hold a student’s attention based on several authors’ claims that a student’s attention span declines precipitously after 10–15 min.

2015년, 마이크로소프트가 의뢰하고 타임지에서 토론한 연구에 따르면, 평균적인 집중시간 범위는 사실 8초 밖에 되지 않았다. 정말 그렇다면, 15분 강의에 참여하는 것조차 확실히 영웅적일 것이다.

In 2015, a study commissioned by Microsoft and discussed in Time magazine found that the average attention span was in fact only 8 s. If indeed this is the case, then even participating in a 15-min lecture would be positively heroic.

인간을 위한 8초 주의력 범위는 실제로 사람들이 다른 곳을 보기 전에 웹 페이지에서 보내는 평균 시간을 반영한다. 그래서 고맙게도 우리는 8초짜리 강의 제한은 생략할 수 있지만, 생리학 교과과정은 15분짜리 주의력 범위라는 개념만 접해야 한다는 생각에 여전히 남아 있다. 그러나 이 시기의 지혜에 대한 인식과 동의에도 불구하고 실제로 그러한 논문을 뒷받침할 자료가 있는가?

the 8-s attention span for humans actually reflects the average time a person will spend on a web page before looking somewhere else. So thankfully, we can dispense with the 8-s lecture limit, but we are still left with the idea that a physiology curriculum should only entertain the concept of a 15-min attention span. However, despite the perceived and agreed upon wisdom of this time point, are there actually any data that would support such a thesis?

10분 집중력의 시초

Genesis of the 10-Min Attention Span

학술문학은 현대 학생들의 특징인 10~15분짜리 관심의 범위를 지켜야 한다는 결론을 뒷받침하고 전파하는 기사와 책들로 가득하다. Davis(5)는 저서 Tools for Teaching에서 "...강습 중 학생들의 주의력은 약 10-15분 후에 약해지는 경향이 있다"고 기술하고 있다. 이와 비슷하게 완카트(20)는 강의 시작 시 학생들의 관심이 높지만 10~15분 만에 최저점에 도달했다고 주장한다. 심리학자 윌버트 J. 맥키치를 기리는 에세이에서 벤자민(1)은 "강연이 시작되면 대부분의 학생들이 관심을 기울이고 있으며, 대부분의 학생들에게 관심은 약 10분 정도 지속된다"고 주장한다. 실제로 맥케이치(13)는 강의 시작 10분 전부터 강의 시간이 10분 정도 흐른 뒤 줄어든다며 책 14권(19일자)에 20여 년이 지난 지금도 이 작가의 반향을 불러일으켰다.

The academic literature is replete with articles and books supporting and propagating the conclusion that lectures should adhere to the 10to 15-min attention span that is characteristic of modern students. In the book Tools for Teaching, Davis (5) states that “...student attention during lectures tends to wane after approximately 10–15 minutes.” Similarly, Wankat (20) argues that “Although student attention is high at the start of a lecture, it has reached a low point after 10–15 minutes.” In essays honoring the psychologist Wilbert J. McKeachie, Benjamin (1) asserts that “When the lecture begins, most students are paying attention, and for most students that attention lasts for about 10 minutes.” Indeed, McKeachie (13), in Teaching Tips (8th Ed.), has maintained that “Attention typically increases fromthe beginning of the lecture to 10 minutes into the lecture and decreases after that point,” a sentiment still echoed by this author more than 20 yr later in the 14th edition of the book (19).

이러한 출판물에 관해서는 몇 가지 점이 주목할 만하다. 

• 첫째, 모든 주제들은 모호하고 정량적으로 정의되지 않는 변수(관심)에 대해 정량적으로 정밀한 10-15분 시간 코스에 합의한다. 

• 둘째, 그러한 정확한 시간 범위에 대한 증거적 논의는 무시할 수 있다. 

• 셋째, 위의 모든 보고서는 주의사항에 관한 주요 데이터를 제공하지 않지만 10~15분 주의사항 범위 주장에 대한 근거로서 동일한 단일 초기 보고서를 인용하는 것에 만족한다.

Several points are noteworthy regarding these publications. 

• First, all of themagree on a quantitatively precise 10–15 min time course for a variable (attention) that is nebulous and never quantitatively defined. 

• Second, evidentiary discussion for such a precise time span is negligible. 

• Third, all of the above reports do not provide any primary data on attention but are content to all cite the same single initial report as the basis for the 10to 15-min attention span assertion.

따라서, 10분에서 15분까지가 집중력의 범위라는 널리 퍼진 개념은 결국 1978년 출판된 하나의 핵심 원고에 의존하는 것으로 보인다.

Thus, the propagated concept of a 10to 15-min attention span ultimately appears to rely on a single key manuscript published in 1978 (10) describing the waning of attention during a lecture.

노트 필기

Note Taking

만약 10분에서 15분 정도의 주의력을 가진 모든 인용구가 1978년 Hartley와 Davies(10)의 기사와 함께 나온다면, 분명히 이 기사에 대한 철저한 조사를 할 필요가 있다. 이 출판물에 관해 주목할 만한 것은 주의의 범위가 실제로 기사의 주제가 아니라는 것이다. 오히려, 이 논문의 주제는 사실 "노트 필기"이다.

If all of the citations for a 10to 15-min attention span originate with a 1978 article by Hartley and Davies (10), then a thorough examination of this article is clearly warranted. What is remarkable regarding this publication is that attention span is not actually the subject of the article; rather, the subject of the manuscript is in fact “note taking.”

실제로 노트 필기의 비율은 강의 과정 내내 비교적 일정하게 나타나며, 노트 필기의 변화는 강사가 학생 피로보다는 요점을 말하고 있는지를 반영하는 것으로 보인다. 그러나 여전히 의문점은 남아 있다: 노트필기가 집중력의 대리지표로서 충분한가? 대답은 '아니오'로 보인다.

In fact, the rate of note taking appears to be relatively constant throughout the course of a lecture, and changes in note taking appear to reflect whether the lecturer is making key points rather than student fatigue. However, the question still remains: is note taking a good surrogate for attention? The answer appears to be no.

실제로, Hartley는 저자의 작품(9)과 Maddox와 Hole(12)의 작품을 인용하면서, 노트필기가 반드시 집중력을 나타내는 것은 아니라고 지적한다. 따라서, 노트 필기는 어떤 식으로든 관심을 끌 수 있는 좋은 대용품이 아니며, 비록 그렇다 하더라도, 그것은 학생 참여에 대한 10-15분 제한을 지지하지 않는다.

Indeed, citing the author’s own work (9) and that of Maddox and Hoole (12), Hartley points out that note taking is not necessarily indicative of attention at all. So, note taking is not a good proxy for attention whatsoever, and even if it were, it does not support a 10to 15-min limit on student engagement.

개인별 평가

Personal Assessment

노트 필기가 유용한 척도가 아니라면, 학생들의 주의력 범위를 연구하기 위해 어떤 다른 접근법을 사용할 수 있는가? 스튜어트와 러더포드(18)의 연구는 학생들에게 강의 중 주의력이 어느 정도인지를 직접 물어 영국 의대생들의 관심을 분별하려고 시도했다.

If note taking is not a useful metric, then what other approaches can be used to study student attention spans? A study by Stuart and Rutherford (18) attempted to discern attention of British medical students by asking the students themselves what their attention level was during a lecture.

따라서 주의집중의 차이는 개별 강사의 교수 방식과 관련이 있는 것으로 보였으며, 학생의 주의력 유지 능력과는 관련이 없는 것으로 보였다. 이와 같은 발견은 자명해야 한다. 우리는 모두 10분간의 강의 시간이 너무 길어서 10분간의 강의 시간이 너무 길었던 강의들을 경험했지만, 다른 강의들에게는 1시간이라는 시간이 완전히 부적절해 보인다.

Thus, differences in attention appeared to be related to individual lecturers’ teaching styles and not related to the student’s individual abilities to remain attentive. A finding like this should be axiomatic. We have all experienced lectures where the lecture has been so awful and jejune that 10 min of lecture has been 10 min too long, yet for other lecturers 1 h seems wholly inadequate.

직접 관찰

Direct Observation

존스톤과 퍼시벌(11)은 학생 자신의 평가를 활용하는 것이 아니라 외부 관찰자 2명을 채용하여 주의 범위를 평가하려고 시도했는데, 이 두 명의 임무는 수업을 지켜보고 주의의 표류 시간을 기록하는 것이었다.

Johnstone and Percival (11) attempted to evaluate attention span not by utilizing the student’s own evaluations but by employing two outside observers, whose job it was to watch the class and record the times of perceived attention drift.

그러나 조사 결과의 타당성에 대한 우려를 제기하는 방법론에는 몇 가지 문제가 있다. 비록 두 저자가 동일한 강의를 관찰했을 때 주의력 감퇴가 일어났을 때와 일치한다고 명시되어 있지만, 주의력 감퇴가 무엇인지에 대한 정의는 없었다. 선생을 외면하는 어퍼슨은 그 자료를 반성하고 그것을 이전 작업과 통합하고 있는지도 모른다. 선생님을 뚫어지게 쳐다보는 학생이 어젯밤의 저녁식사를 생각하고 있을지도 모른다.

However, there are several problems with the methodology that raise concerns about the validity of the findings. Although it is stated that when both authors observed the same lecture they were in agreement as to when attention lapses occurred, there was no definition as to what was an attention lapse. Aperson looking away fromthe teacher may be reflecting on the material and integrating it with prior work. A student fixedly staring at the teacher may be thinking about last night’s dinner.

클리커와 집중력

Clickers and Attention

최근, 번스 외 연구진(4)은 "클릭커"를 사용하여 학생들의 관심 문제를 해결하려고 시도했다.

Recently, Bunce et al. (4), attempted to address the question of student attention using “clickers.”

회상과 보존

Recall and Retention

10~15분 강의에 찬성하는 주장 중 하나는 강의에 포함된 자료는 15분 동안 강의하는 동안 유지되지 않는다는 것이다. 이러한 주장을 뒷받침하는 데이터는 존스톤과 퍼시벌(11)에 의해 제시되었다. 그는 후속 시험 중 명백한 "주의 착오" 동안 다룬 자료에 대한 지식을 시험하려고 시도했다.

One of the arguments in favor of a 10to 15-min lecture is that material covered in the lecture is not retained during lectures lasting  15 min. Data in support of this contention were presented by Johnstone and Percival (11), who attempted to test knowledge of material covered during an apparent “attention lapse” during subsequent tests.

Trenaman의 작품에 대한 McLeish의 보고서(15)는 강의의 길이와 그 강의에서 다룬 자료의 보유retention 사이에 역관계가 있다고 주장했다.

McLeish’s report (15) of the work by Trenaman argued that there was an inverse relationship between the length of the lecture and the retention of the material covered in that lecture.

분명히 15분 세션에 비해 40분 세션에서 더 많은 자료가 다루어져 있기 때문에 보유율이 줄어드는 것은 놀랄 일이 아니며, 이는 두 세션에서 다루는 테스트 가능한 항목의 수로 충분히 설명할 수 있다. 본 연구의 결과가 강의 길이와 강의 직후의 재료 보존 사이의 역관계를 규정한다고 해도, 이것이 과연 의미 있는 분석인가? 어떤 생리학 교수도 학생들에게 수업이 끝나자마자 시험을 볼 거승로 생각하지 않을 것이다.

Clearly, more material is covered in a 40-min session compared with a 15-min session, so it is not surprising that retention percentage is reduced, and this can be fully accounted for by the number of testable items covered in the two sessions. Even if the outcome from this study does define an inverse relation between lecture length and material retention immediately following the lecture, is this in any way a meaningful analysis? No physiology course director would expect students to immediately take examinations on the material just covered in a lecture.

다행히도 그러한 분석은 1992년에 Scerbo 등 (16)에 의해 수행되었다. 이전의 보고와 일치하여, 강의 기간 동안 노트 필기의 감소가 관찰되었다. 그러나, 노트 테이크의 감소는 후속 평가 중 커버리지를 부착하는 데 영향을 미치지 않았다.

Fortunately, such an analysis was performed by Scerbo et al. (16) in 1992. Consistent with previous reports, there was an observed decline in note taking during the length of a lecture. However, the decline in note taking had no impact on the retention of covered material during subsequent evaluation.

집중력의 객관적 평가

Objective Assessment of Attention Span

논의된 바와 같이, 주의의 개념은 다소 모호하고 학생들의 주의에 대한 작업 설명은 잘못 정의되어 있다. 주의력 평가에 관한 많은 간행물의 주관적 성격을 고려할 때, 학생 주의를 객관적으로 결정할 필요가 분명히 있는 것으로 보이지만, 어떤 생리적 변수가 쉽고 최소의 침습적 데이터 수집에 적합할 수 있는가? 적어도 두 가지 요인은 주의력과 연관될 수 있다. 아루살(Arousal)은 일반적인 활동 수준과 학생의 대뇌피질의 비특정 자극의 척도를 말한다. 심장 박동수는 꽤 쉽게 수집할 수 있는 자극의 한 가지 표시다.

As discussed, the concept of attention is somewhat nebulous and the working description for student attention ill-defined. Given the subjective nature of many publications on attention assessment, there appears to be clear need for an objective determination of student attention, but what physiological variables are amenable to easy and minimally invasive data collection? At least two factors can be associated with attention: arousal and motivation. Arousal refers to a general level of activity and a measure of nonspecific stimulation of a student’s cerebral cortex. Heart rate is one indication of arousal that is fairly easy to collect.

블라이(2)는 심장 박동수 감소와 커버 소재 유지 사이의 전체적인 상관관계를 찾을 수 없었다.

Bligh (2) was unable to find any overall correlation between declining heart rate and retention of covered material.

의대생 보유에 대한 연구에서, 자일스 외 연구진(8)은 15분에서 30분 사이에 제시된 정보가 가장 잘 회수된 반면 처음 15분 동안 제시된 자료는 가장 나쁜 보존 상태를 가지고 있다는 것을 발견했다. 흥미롭게도, 강의실에서 학생이 앉아있는 좌석 위치는 강의자료 내 특정 내용의 위치만큼이나 학습자료의 유지retention에 많은 영향을 미쳤다. 강의실 앞, 중간, 뒤쪽에 앉은 학생들은 강의 직후 실시한 시험에서 각각 80점, 71.6점, 68.1%를 받았다. 그러나, 이러한 발견들은 그 자체로 좌석 위치보다는 학생이 어디에 앉는지를 결정하는 동기적 요인(관심의 또 다른 구성요소)을 반영할 가능성이 높다.

In a study of medical student retention, Giles et al. (8) found that information presented between the 15and 30-min time segments was recalled best, whereas material presented during the first 15 min had the worst retention. Interestingly, the seating position of the student in the lecture hall had as much impact on material retention as the placement of material within the lecture. Students sitting at the front, middle, and back of the lecture hall scored 80, 71.6, and 68.1%, respectively, on tests given immediately following the lecture. However, these findings likely reflect motivational factors (another component of attention) that determine where a student sits, rather than the seating position by itself.

강의 도중 집중력에 영향을 미치는 요인

Factors Affecting Attention during Lectures

블리(2)는 "강의의 용도는 무엇인가?"라는 책에서 관심에 영향을 미치는 몇 가지 요인을 개략적으로 설명하고 있다. 저자는 강의가 '솔로 퍼포먼스'여야 할 이유가 없다고 주장한다. 2인 1조로 된 교수 간 대화나 그룹 프리젠테이션도 동등한 정도로 유효하다. 마찬가지로, 강의를 듣는 학생들이 강의에 참여하지 못할 이유도 없다. 이것은 아마도 학생들이 선생님이 제기하는 질문에 답할 수 있도록 하는 "클릭커"를 사용하는 것이 가장 좋은 예일 것이다.

In the book What’s the Use of Lectures?, Bligh (2) outlines several factors affecting attention. The author argues that there is no reason that lectures should be “solo performances,” with paired faculty dialogues or group presentations being equally valid. Similarly, there is no reason why students attending a lecture cannot be part of the lecture. This is probably best exemplified by the use of “clickers” that allow the students to answer questions posed by the teacher.

학생들에 의해는 또한 심각하게 선생님들 단지 투영된 글자의 긴 팸플릿을 읽음으로써 장애 요인이 될 수 있다. 그 정도 관객 앞에서 강의는 공연하려면, 교사들은 말속도, 숙련도, 스타일 등을 바꾸기 위한 조치를 적극적으로 취해야 한다. 이런 점에서 도움이 되는 것은 motivational speaker의 비디오에서 매우 잘 보여 줄 수 있다. 그 이상은 아니더라도, 자기 강의 영상을 보는 것도 마찬가지다. 이것은 교사가 학생의 관점에서 강의를 볼 수 있게 해주고 개선의 훌륭한 지침이 될 수 있다.

Attention by students can also be seriously hampered by teachers merely reading long tracts of projected text. To the extent that lectures are a performance in front of an audience, teachers should actively take measures to alter rates of speech, cadence, and style. In this regard, watching videos of motivational speakers can be very illustrative. Equally if not more illuminating is watching videos of one’s own lectures. This allows a teacher to see the lecture from a student’s viewpoint and can be a great guide for improvements.

강의의 시대는 갔는가?

Has the Sun Set on the Day of the Lecture?

비록 많은 사람들이 발견에 근거한 추론이라기 보다는 짚신처럼 보이지만, 강의 형식의 유용성에 대해 많은 논쟁이 제기되었다. 분명히, 학생들이 단지 10분에서 15분 정도의 집중 시간을 가지고 있기 때문에 강의는 무시되어야 한다는 생각은 잘못되었고 그것을 뒷받침할 자료는 거의 없다. 과거에는 강의가 "수동적" 학습의 경험으로 여겨졌지만, 현재는 "능동적" 학습에 초점을 두어 "flipped teaching"이나 "소형 문제 해결 그룹" 등의 활동에 초점이 맞춰져 있다. 강의 접근에 반대하는 또 다른 주장은 그 강의가 학생 중심적이지 않고 "연단 위의 현자"에 초점을 맞추고 있는 교육 러디즘의 한 형태를 나타낸다는 것이다. 현자의 정의를 보는 것은 유익하다. 메리암웹스터 사전은 현자를 "반성과 경험을 통한 지혜, 혹은 지혜, 신중함, 훌륭한 판단력으로 특징지어진다"고 정의하고 있다. 그러한 자질이 훌륭한 교사에게 있어서 가치가 없거나 인정된다고 여겨지는 것은 놀라운 일이다. 

Many arguments have been raised against the utility of the lecture format, although many seem to be straw men, rather than reasoning based on findings. Clearly, the notion that lectures should be dismissed because students have only a 10to 15-min attention span is erroneous and has little if any data to support it. The lecture format has been deemed a “passive” learning experience, with the current trend in “active” learning being focused on activities such as “flipped teaching” and “small problem-solving groups. A further argument against the lecture approach is that the lecture represents a form of educational Luddism, which is not student-centered and focusses on the “sage-on-the-stage”. It is informative to look at the definition of a sage. Merriam Webster’s dictionary defines sage as “wise through reflection and experience, or characterized by wisdom, prudence and good judgement.” It is surprising that such qualities are deemed unworthy or passé in a good teacher. 

사실, 최근의 연구는 그 강의가 학생들이 새로운 지식을 습득하는 데 효과적인 방법이 될 수 있다는 것을 보여준다. 아마도 이것이 문제의 핵심으로 와서 강의의 목적이 무엇인가라는 근본적인 질문에 대한 해답을 필요로 하는 것은 아닐까? 확실히, 하나의 측면은 정보의 전달이며, 그 강의는 효과적인 방법 (2)이다. 학생이 수집할 수 있는 정보에 대한 다양한 온라인 출처가 있지만, 어떤 출처가 신뢰할 수 있는지, 아니면 단순히 잘못된 정보인지 판단하거나, 어떤 정보가 중요한지 파악하는 것은 여전히 현자를 필요로 한다. 자주 인용되는 이분법적인 "연단 위의 현자"와 "곁에서 가이드"는 강의 형식을 폄하하기 위해 자주 사용된다. 현실에서 이러한 대조는 거짓 선택의 오류를 보여주는 2학년 토론의 썰매에 지나지 않는다. 이 구조는 이용 가능한 유일한 두 가지 선택사항이라는 것을 암시하지만, 최소한의 생각은 이것이 분명히 그렇지 않다는 것을 보여준다.

In fact, recent studies show that the lecture can be an effective way to help students acquire new knowledge. Perhaps this comes to the heart of the issue and requires an answer to the fundamental question of what is the purpose of a lecture? Certainly, one aspect is the conveyance of information, for which the lecture is an effective method (2). There are manifold online sources for information from which the student can collect; however, determining which sources are reliable or just plain wrong or discerning what information is salient vs. minutiae still requires a sage. The quoted dichotomy of “sageon-the-stage” vs. “guide-by-the-side” is often used to disparage the lecture format. In reality, this contrast is nothing more than a sophomoric debating sleight, displaying the fallacy of the false choice. The construct implies that these are the only two options available, yet a minimal amount of thought reveals that this is clearly not the case.

강의는 학생들에게 내용을 소개하는 데 유용하다. 예를 들어, 구글에서 "위장관 생리학"을 빠르게 검색하면 14만 명의 조회수가 발생한다. 다음 중 정확한 정보를 제공하는 사이트는 무엇이며, 그 중 생리학 부전공을 가진 학부생과 관련이 있는 사이트와 의대생과 관련된 사이트는 무엇인가? 학생이 (적어도 처음에) 스스로 이러한 선택사항들을 적절히 평가할 수 있을 것 같지는 않다. 강의는 주제에 대한 좋은 도입단계를 제공한다. 강의는 특정 클래스에 필요한 컨텍스트, 세부사항 및 이해 수준을 제공한다. 이러한 측면은 스승의 축적된 경험과 지혜에 의존하는 것이며, 감히 말하건대 스승이 현자(sage)가 되는 것에 의존하는 것이다.

Lectures are useful for introducing students to content. A quick search on Google for “gastrointestinal physiology,” for example, generates 1,400,000 hits. Which of these sites provides accurate information, which of themare relevant to undergraduate students with a minor in physiology, and which of them are relevant to medical students? It is unlikely that a student can adequately assess these options for themselves (at least initially). Lectures provide a good entry into a topic; they provide context and the level of detail and comprehension that are required for a particular class. These aspects are things that rely on a teacher’s accumulated experience and wisdom or, dare one say it, on the teacher being a sage.

만약 학생이 직접 강의를 들을 수 있는 것처럼 침대에서 유튜브 비디오를 보는 동일한 학습 경험을 얻을 수 있다면, 왜 이런 가정이 삶의 다른 측면에서도 똑같지 않은 것일까? 우리 모두는 거의 무제한으로 음악을 녹음할 수 있다; 우리는 우리의 스케줄에 편리할 때 텔레비전에서 쇼를 볼 수 있다. 만약 가상의 경험이 실제로 실제의 경험과 동일하다면, 라이브 음악 콘서트에 갈 필요도 없고, 라이브 연극이나 뮤지컬을 보러 갈 필요도 없고, 유명한 연사가 말하는 것을 듣기 위해 갈 필요도 없고, 경기장에서의 축구나 야구 경기장에 갈 필요도 없다. 그러나 그러한 장소들은 종종 빨리 매진된다. 생방송과 녹화된 이벤트 사이에 다른 점은 감정적인 매수다. 확실히 책, 혹은 심지어 비디오는 내용을 전달하는 데 훌륭한 미디어가 될 수 있지만, 살아있는 교사는 학생들에게 어떤 주제에 대해 더 많이 생각하게 하고 수동적인 미디어만으로 얻을 수 있는 것보다 더 깊은 내용을 탐구하도록 고무시킬 수 있다. 동기부여 연설자들은 이것을 매우 잘 알고 있으며, 많은 사람들은 라이브 프레젠테이션을 함으로써 놀랄 만큼 좋은 생활을 하고 있다.

If a student can get the identical learning experience viewing a YouTube video in bed just as they can attending a lecture in person, why is this assumption not evident in other aspects of life? We all have access to virtually unlimited recordings of music; we are able to watch shows on television when it is convenient for our schedule. If a virtual experience is indeed identical to a real experience, then no one need go to a live music concert, no one need to go to watch a live play or musical, no one need go to hear a distinguished speaker give a talk, and no one need attend a football or baseball game at a stadium. Yet such venues are often quickly sold out. What is different between a live and recorded event is the emotional buy-in. Certainly books, or even videos, can be excellent media for conveying content, but a live teacher can inspire a student to think more about a subject and delve deeper into content than can be achieved by passive media alone. Motivational speakers know this very well, and many make a remarkably good living by giving live presentations.

확실히 카리스마는 학생들에게 어떤 과목에 대한 흥분을 불러일으키는데 도움을 주지만, 아마도 학생들을 격려하는 가장 큰 측면은 교사 입장에서 그 과목에 대한 열정일 것이다. 강의는 교사가 지적, 개인적, 도덕적 가치를 모델링할 수 있는 한 곳이다. 그들은 대개 학생들이 교직원을 직접 만나는 몇 안 되는 장소 중 하나로서, 학생들이 교사와 교류하고 질문을 할 수 있게 한다. 교직원들이 답을 모를 때 이를 인정하는 것이 중요하다. 이런 식으로, 교수진은 학생들을 존중하고 돌보는 모델 면에서 더 넓은 교육을 제공할 수 있다.

Certainly charisma helps in generating excitement about a subject in students, but probably the biggest aspect of inspiring students is passion for the subject on the part of the teacher. Lectures are one place where a teacher can model intellectual, personal, and moral values. They are usually one of the few places where students meet faculty in person, allowing students to interact with teachers and pose questions; it is critical that faculty acknowledge when they don’t know the answers. In this way, faculty can provide a broader education in terms of modeling respect and care for students.

실제로 마틴 루터 킹 박사는 "지능과 인격을 더한 것이 진정한 교육의 목표"라고 말했다. 강의는 잘 풀리지 않는 생리학 분야에 관심을 집중시킬 수 있는 질문을 제기할 수 있는 플랫폼으로도 활용될 수 있다. 그 본질에 따른 교과서는 출판될 무렵에는 상당히 시대에 뒤떨어져 있고, 비록 많은 것들이 사실이지만(예: 심장은 피를 펌프질하고 췌장은 호르몬과 효소를 분비한다), 이러한 과정에 대한 기계론적 이해는 지속적으로 발전하고 있다. 따라서, 강의는 생리적 과정이나 메커니즘에 대해 상당한 의견 불일치가 있는 분야에 대해 알려지지 않은 것에 대한 논의를 위한 좋은 출발점이 될 수 있다. 

Indeed, Dr. Martin Luther King stated that “...intelligence plus character – that is the goal of true education.” Lectures can also be used as a platform to allow questions to be raised that can focus attention on areas of physiology that are not well worked out. Textbooks by their very nature are considerably out of date by the time they are published, and although many things remain true (e.g., the heart pumps blood, the pancreas secretes hormones and enzymes), the mechanistic understanding of these processes is continuously evolving. Thus, a lecture can be a good launching point for discussions on what is not known about physiological processes or areas in which there is considerable disagreement about mechanism. 

우리는 강의를 고정된 내용만을 전달하는 것으로 생각하는 경향이 있지만, 그것들은 불확실성을 보여주고 의견 불일치를 다루는 지적 과정을 개발하는 데 귀중한 도구가 될 수 있다. 다행히도, 이제 교사들이 강의의 질을 향상시키고 단순히 정보를 전달하는 것뿐만 아니라 새로운 사고방식에 영감을 주고 동기를 부여하고 문을 여는 것을 도울 수 있는 많은 자료들이 있다. 그런 점에서 강의 형식(3, 6, 14) 내에서조차 교직원들이 학생들의 비판적 사고를 장려하는 데 도움이 되는 책들이 많다.

We tend to think of lectures as only passing on fixed content, but they can be a valuable tool in showing uncertainty and developing the intellectual processes for handling disagreements. Fortunately, there are now many sources to help teachers improve the quality of lectures and move the lecture beyond merely conveying information but also to inspire, motivate, and open doors to newways of thinking. In this regard, there are many books that help faculty encourage critical thinking by their students, even within a lecture format (3, 6, 14).

결론

Conclusion

과학자들과 생리학자들로서, 우리는 우리의 주장들을 뒷받침하는 연구와 자료에 대한 증거를 제시해야 한다. 그러나 주목의 범위에 관해서는 "내가 들은 바로 그거야"라는 것 외에는 아무런 지지도 없이 15분이라는 근거 없는 만트라를 외친다. 현재 '평생학습'과 '근거기반교육'라는 교육적 트렌드로 강의에 10~15분 제한을 독단적으로 적용하겠다고 고집한다면 우리는 정말 증거에 신경 쓰지 않는다는 뜻을 내비치는 것과 마찬가지다. 그 외에도, 생리학 수업의 교사들은 여전히 주제에 대한 열정을 열심히 보여줄 뿐만 아니라, 자료의 관련성을 보여주고, 가르치는 것에 대한 맥락을 제공함으로써 학생들의 동기를 증가시키기 위해 가능한 한 많이 해야 한다. 생리학은 훌륭한 과학이며, 학생들은 열정과 열정으로 생리학을 가르치는 것만큼도 기대하지 말아야 한다. 이 과목에서 가능한 한 많은 시간을 보내기를 원하는 학생들이 있는 것보다 생리학의 미래에 더 좋을 수 있는 것은 무엇인가?

As scientists and physiologists, we are called on to provide evidence for our research and data backing up our assertions. Yet when it comes to attention span, an unsubstantiated mantra of 15 min is chanted, with no support other than “That’s what I’ve been told.” With the current educational trends of “lifelong learning” and “evidence-based teaching,” if we insist on dogmatically applying a 10to 15-min limit on lectures, we are implying that we really don’t care about evidence. Beyond that, it still behooves teachers in physiology classes to do as much as possible to increase student motivation by showing the relevance of material and providing a context for what is taught as well as eagerly displaying a passion for the subject. Physiology is a wonderful science, and students should expect nothing less than having physiology taught with passion and enthusiasm. What could be better for the future of the discipline of physiology than to have students wanting to be in class and eager to spend as much time as they possibly can in the subject?

Adv Physiol Educ. 2016 Dec 1;40(4):509-513. doi: 10.1152/advan.00109.2016.

Attention span during lectures: 8 seconds, 10 minutes, or more?

PPT발표의 오류와 실패: 심리적 분석(Front Psychol, 2012)

PowerPoint® presentation flaws and failures: a psychological analysis

Stephen M. Kosslyn1*, Rogier A. Kievit 2, Alexandra G. Russell 3 and Jennifer M. Shephard4

도입

INTRODUCTION

파워포인트, 키노트, 그리고 그들의 전자 슬라이드쇼 형제들은 널리 퍼진 의사소통 수단이 되었다. 실제로 2001년에 마이크로소프트는 하루 평균 3천만 건의 파워포인트 프리젠테이션이 제공된다고 추정했고, 우리는 오늘날 그 숫자가 얼마인지 상상할 수 밖에 없다. Presentations 컴퓨터 프로그램을 사용하는 학계, 사업, 정부, 군부, 심지어 유치원에서 고등 학교까지 학교에서 컴퓨터는 아주 흔하다. PowerPoint® 과목은 어떻게 고환을 연출하기 위한 후두암(후 주석(알., 2009년), 인공 신체 부위와 장구학(웡(알., 2004년)의 3차원 구조와 같은 다양한 주제를 가르치는 데 사용되고 있다.시험(테일러(알., 2004년), 발달 심리학(서스킨드, 2008년), andphysics(Gunel(알., 2006년).

PowerPoint®, Keynote®, and their electronic slideshow siblings have become pervasive means of communication. Indeed, in 2001, Microsoft estimated that an average of 30 million PowerPoint® presentations were given each day – and we can only imagine what that number is today (Parker, 2001). Presentations using such computer programs are commonplace in academia, business, government, the military, and even K-12 schools. PowerPoint® has been used to teach subjects as varied as the three-dimensional structure of the larynx (Hu et al., 2009), prosthetics and orthotics (Wong et al., 2004), how to perform a testicular exam (Taylor et al., 2004), developmental psychology (Susskind, 2008), andphysics (Gunel et al., 2006).

관찰자들은 파워포인트®와 이를 활용하는 프리젠테이션의 가치에 대해 다양한 의견을 제시했으며, 매체의 사용에 대해 상당한 실증적 연구가 수행되었다. 이 연구의 한 세트는 이 매체를 사용하는 것이 학습이나 이해를 향상시키는지를 연구했다. 예를 들어, 구넬 외. (2006)은 학생들이 챕터 요약보다 PowerPoint® 프레젠테이션을 통해 더 많은 물리학을 배웠다는 것을 발견했으며, 다른 연구원들은 학생들이 PowerPoint® 프레젠테이션 이후에 다른 미디어를 따라 하는 것과 거의 동일한 양의 자료를 기억한다고 보고했다. 실제로, 몇몇 연구들은 PowerPoint®가 실제로 학습을 방해한다는 것을 발견한다. 예를 들어, 사보이 외 (2009)은 학생들이 전통적인 강의에서 파워포인트® 기반의 강의 중에 그 정보가 구두로 제시되었을 때보다 더 많은 언어 정보를 상기시켰다는 것을 보여주었다.

Observers have offered varied opinions about PowerPoint®and the value of presentations that utilize it (e.g., for overviews, see Farkas, 2006; Stoner, 2007), and considerable empirical research has been conducted on the use of the medium (e.g., for reviews, see Susskind, 2005, 2008; Levasseur and Sawyer, 2006; Savoy et al., 2009). One set of this research has examined whether using this medium improves learning or comprehension. For example, Gunel et al. (2006) found that students learned more physics from PowerPoint® presentations than from chapter summaries, whereas other researchers have reported that students remember about the same amount of material following PowerPoint® presentations as they do following other media (such as overheads and use of the blackboard; e.g., Szabo and Hastings, 2000; Beets and Lobingier, 2001; Campbell et al., 2004; Apperson et al., 2006; Experiments 1 and 3; Susskind, 2005, 2008). Indeed, some studies find that PowerPoint® actually impairs learning. For example, Savoy et al. (2009) showed that students recalled more verbal information from a traditional lecture than they did when that information was presented verbally during a PowerPoint®-based lecture.

또한 연구원들은 학생들이 다른 유형의 프레젠테이션보다 PowerPoint® 프레젠테이션을 선호하는지 여부를 조사했다. 이러한 연구의 결과는 일반적으로 학생들이 PowerPoint® 프레젠테이션을 좋아한다는 것을 나타낸다(Suskind, 2008; Savoy 등, 2009). 애퍼슨 외 (2008) 심리학 학생들에게 PowerPoint® 프레젠테이션에 대해 특별히 좋아하는 것이 무엇인지를 물었더니, 한 번에 하나의 항목으로 구성된 목록을 보는 것을 좋아하며, 주요 문구, 그래픽, 관련 소리 및 색상의 배경의 개요도 좋아한다는 것을 알게 되었다. 그러나 마하르 외 에 주목할 만하다. (2009) 목록의 각 항목이 개별적으로 제시되었을 때 전체 목록이 동시에 제시된 후의 메모리 보존을 비교했고, 동시 조건에서 더 나은 메모리(그러나 테스트에 있는 9개 항목 중 2개 항목만 해당)를 발견했다.

Researchers have also examined whether students prefer PowerPoint®presentations toother types of presentations. The results of such studies generally indicate that students do like PowerPoint® presentations (Susskind, 2008; Savoy et al., 2009). Apperson et al. (2008) asked psychology students what in particular they liked about PowerPoint® presentations, and found that they like to see lists built up one item at a time and that they also like outlines of key phrases, graphics, relevant sounds, and colored backgrounds. However, it is worth noting that Mahar et al. (2009) compared memory retention after an entire list had been presented simultaneously to retention when each item on the list had been presented individually, and found better memory (but only for two of the nine items on their test) in the simultaneous condition.

이 문헌의 간략한 개요에도 결과가 엇갈리고 있음을 알 수 있다. 다양한 결과의 한 가지 이유는 프레젠테이션의 품질에 차이가 있을 수 있다. 매체가 메시지의 전부가 아니다. 매체를 효과적으로 또는 비효과적으로 사용할 수 있다. 우리가 볼 때, 핵심은 PowerPoint®의 사용 여부가 아니라 어떻게 사용하느냐이다. 제대로 설계되지 않은 슬라이드를 활용하는 PowerPoint® 강의나 제대로 준비되지 않은 연사가 제공하는 강의가 효과적이지 않다면 아무도 놀라지 말아야 한다. 이 글에서는 심리학적 원리를 이용하여 슬라이드쇼 설계, 슬라이드 준비 및 프리젠테이션 실행에 대한 객관적인 지침을 개발하고, 이 지침을 사용하여 PowerPoint® 슬라이드 및 프레젠테이션의 결함을 평가한다.

Even this brief overview of the literature reveals that the results are mixed. One reason for the varied results may lie in differences in the quality of the presentations: the medium is not the entire message; any medium can be used effectively or ineffectively. In our view, the key is not whether or not PowerPoint® is used, but rather how it is used. Nobody should be surprised if a PowerPoint® lecture utilizing poorly designed slides or presented by an inadequately prepared speaker is not effective. In this article, we use psychological principles to develop objective guidelines for slideshow design, slide preparation, and presentation execution, and use these guidelines to assess flaws in PowerPoint® slides and presentations.

여기서 보고된 세 가지 연구에서 우리는 Kosslyn에 제시된 아이디어를 경험적으로 확장하고 PowerPoint® 슬라이드쇼, 슬라이드, 프리젠테이션이 인간의 인식, 기억 및 이해의 원리를 얼마나 잘 존중하는지 분석한다. 구체적으로, 우리는 다음가 같은 가설을 세웠다. 

• 다음 절에 제시된 심리적 원칙이 다른 분야의 PowerPoint® 슬라이드쇼에서 위반됨(Study 1) 

• 특정 유형의 프레젠테이션 결함이 청중에게 눈에 띄고 좌절감을 줄 수 있다는 것(Study 2)과 

• 관찰자는 개별 슬라이드의 그래픽 표시에서 위반을 식별하는 데 어려움을 겪을 것이다(Study 3).

In the three studies reported here, we empirically extend ideas presented in Kosslyn (2007, 2010) and analyze how well PowerPoint® slideshows, slides, and presentations respect principles of human perception, memory, and comprehension. Specifically, we hypothesize 

• that the psychological principles presented in the following section are violated in PowerPoint® slideshows across different fields (Study 1), 

• that some types of presentation flaws will be noticeable and frustrating to audience members (Study 2), and 

• that observers will have difficulties in identifying violations in the case of graphical displays in individual slides (Study 3).

여덟 개의 인지적 의사소통 원칙

EIGHT COGNITIVE COMMUNICATION PRINCIPLES

Levasseur와 Sawyer(2006)는 광범위한 리뷰에서 발표 설계에 대한 직접적인 지침을 제공하는 연구가 거의 없다는 점에 주목한다(Sucoff, 2006 참조). 그러나, 그러한 지침을 제정하는 데 사용될 수 있는 기본적인 심리 과정에 대한 많은 연구가 수행되었다. 이러한 관찰은 효과적인 디스플레이는 [인간 정보 처리의 강점에 따라 작동해야 하며, 인간 정보처리의 약점에 의존하지 않아야 한다]는 근본적인 점을 이해한 많은 연구원들에 의해 높이 평가되었다.

Levasseur and Sawyer (2006) note in their extensive review that remarkably little research provides direct guidelines for designing presentations (see also Suchoff, 2006). However, much research on basic psychological processes has been conducted that can be used to formulate such guidelines. This observation has been appreciated by many researchers, who have understood the fundamental point that effective displays must play to the strengths of human information processing and must avoid relying on the weaknesses of such processing (e.g., Aspillaga, 1996; Helander et al., 1997; Mejdal et al., 2001; Vekiri, 2002; Watzman, 2003; Stanney et al., 2004).

우리는 다음과 같은 공식화가 인간 정보처리의 전통적인 관점 안에서 이러한 지침들을 조직하기 위한 몇 가지 가능한 방법 중 하나에 불과하다는 것을 인정하지만, 이 방법(Kosslyn, 2007년)은 연구자들 사이의 주요 합의점을 포착하는 것으로 보인다. 더구나 이 일련의 원칙들은 우리가 조사한 구체적인 규칙들을 정리하는 편리한 방법이며, 우리가 조사한 심리처리의 구체적인 측면을 확인하는 것이 바로 이러한 규칙들이다. 따라서, 원칙에 따라 데이터를 그룹화하는 것 외에도, 우리는 각각의 개별 규칙에 대한 데이터를 제공한다 – 또한 독자들이 특정한 관심 규칙에 대한 결과를 고려할 수 있도록 한다.

We acknowledge that the following formulation is but one of several possible ways to organize these guidelines within the conventional view of human information processing, but this one (fromKosslyn, 2007) appears to capture the major points of agreement among researchers. Moreover, this set of principles is a convenient way to organize the specific rules we examined, and it is these rules that identify the specific aspects of psychological processing we investigated. Thus, in addition to grouping the data according to the principles, we provide the data for each individual rule – which also allows readers to consider the results for those rules of particular interest.

8가지 인지적 의사소통 원칙을 공식화하면서, 우리는 과제 분석을 시작했다. 즉, 우리는 청중이 프레젠테이션을 이해하기 위해 무엇을 해야 하는지를 고려했다. 이 분석은 인식과 이해가 정보 처리 작업의 뚜렷한 클라스class(예: Reisberg, 2006; Smith and Kosslyn, 2006)으로 분해될 수 있다는 현재의 표준 관점에 기초하고 있으며, 이 관점은 인코딩, 작업 메모리, 장기 메모리에 액세스이다. 여기서는 슬라이드 설계의 시각적 측면이 PowerPoint® 프레젠테이션의 주요 요인이기 때문에 시각적 형식에 주로 초점을 맞춘다(연구 2에서 다루듯이 발표자의 말하기 스타일과 프레젠테이션 구조도 중요하다).

In formulating our eight Cognitive Communication Principles, we began with a task analysis; that is, we considered what the viewer must do to understand a presentation. This analysis rests on the now-standard view that perception and comprehension can be decomposed into distinct classes of information processing operations (e.g., see Reisberg, 2006; Smith and Kosslyn, 2006), which underlie encoding, working memory, and accessing long-term memory. We focus here primarily on the visual modality because the visual aspects of the slide design are a major factor of PowerPoint® presentations (although the presenter’s speaking style and structuring of the presentationare alsoimportant, as we address in Study 2).

인코딩 프로세스

ENCODING PROCESSES

일련의 슬라이드를 볼 때, 청중들은 먼저 그들이 보는 것을 인코딩해야 한다; 만약 그들이 자료를 인코딩하지 못한다면, 그것은 존재하지 않는 것이 낫다. 우리는 인코딩에 관한 본질적인 사실에 근거하여 세 가지 원칙을 공식화했다.

When viewing a sequence of slides, audience members first must encode what they see; if they fail to encode material, it may as well not exist. We formulated three principles based on essential facts about encoding.

식별성

Discriminability

인코딩의 초기 단계는 인코딩할 재료를 인식해야 하는데, 이것은 패턴이 배경이나 다른 패턴과 명확하게 달라져야 한다. 이것은 우리에게 차별성의 원칙을 공식화하게 한다: 두 가지 특성(두 가지 색상, 회색도, 크기 등)이 쉽게 구별할 수 있을 만큼 큰 비율이 다르지 않으면 다른 정보를 전달할 수 없다(Woodson et al., 1992). 이 원칙은 두 속성이 너무 비슷하여 구별할 수 없을 때 발생하는 위장술의 기초가 된다. 그리고 프레젠테이션에서는 위장을 할 곳이 없다. 게다가, 우리 인간은 영역의 크기 차이들 사이에서 차별을 잘 하지 못한다: 우리는 면적을 과소평가하는 경향이 있고, 영역이 증가하면 이러한 경향이 더 강해진다(Stevens, 1975) 차별성의 원칙에는 다음과 같은 구분이 있다.

The initial step of encoding requires noticing the to-be-encoded material, which requires patterns to be clearly different from the background and from other patterns. This leads us to formulate the Principle of Discriminability: two properties (such as two colors, degrees of gray, or sizes) cannot convey different information unless they differ by a large enough proportion to be easily distinguished (Woodson et al., 1992). This principle underlies camouflage, which occurs when two properties are so similar that they are not distinguishable – and there’s no place for camouflage in a presentation. In addition, we humans are not very good at discriminating among differences in the sizes of areas: we tend to underestimate areas, and do so to an increasingly large degree as the area increases (Stevens, 1975). The Principle of Discriminability has the following corollaries:

(1) 활자체가 충분히 크지 않으면 문자는 쉽게 구별할 수 없다.

(1) Unless typefaces are large enough, letters cannot easily be distinguished from each other.

(2) 텍스트나 그래픽의 색이 나타나는 배경의 색과 명확하게 구별되지 않으면 쉽게 구별할 수 없다.

(2) If the color of text or graphics is not clearly distinct from the color of the background on which they appear, they cannot be readily distinguished.

(3) 글자가 비슷한 활자체(시각적으로 복잡하기 때문에, 모든 대문자, 모든 기울임꼴 또는 굵기)는 쉽게 읽을 수 없다.

(3) Typefaces in which letters are similar (because they are visually complex, all upper case, all italics, or all bold) cannot be easily read.

(4) 별도 "공간 주파수 채널"에 의해 등록되는 패턴이 쉽게 구분되기 때문에, 시청자들은 점들을 연결하는 선들 보다 두 배 정도 두꺼운 점들을 쉽게 구별할 수 있다. 또한 질감 패턴은 요소(예: 줄무늬)가 적어도 2:1로 달라지는 경우(또한 "시각적 박자"의 산만함을 피할 수 있다)에 쉽게 구별할 수 있다

(4) Because patterns that are registered by separate “spatial frequency channels” are easily distinguished (Stromeyer and Klein, 1974; De Valois and De Valois, 1990), viewers can easily distinguish points that are about twice as thick as the lines that connect them and can easily distinguish texture patterns in which elements (e.g., stripes) vary by at least 2:1 (which will also avoid distracting “visual beats”).

(5) 마찬가지로 최소 30 ̊씩 다른 "방향 채널"(토마스·길레·1979년; 드 발루아·데 발루아·1990년)에 의해 처리되기 때문에, 시청자는 적어도 30 ̊씩 차이가 날 때 다른 지역에서 선의 방향을 쉽게 구별할 수 있다.

(5) Similarly, because orientations that differ by at least 30˚ are processed by different “orientation channels” (Thomas and Gille, 1979; De Valois and De Valois, 1990), viewers can easily distinguish orientations of the lines in different regions when they vary by at least 30˚.

(6) 마지막으로 빛의 파장이 망막에 집중하는 방식 때문에, 우리는 코발트 블루(빨간색과 파란색이 혼합된 것임)에 초점을 집중시키는 데 어려움을 겪으며, 빨강과 파랑에 동시에 초점을 맞추는 데 어려움을 겪는다(이러한 색상의 조합은 "shimmer"하는 경향이 있다). 따라서 텍스트나 다른 미세한 선이 만약 깊은 파랑색으로 표현되어있다면 구별하기가 어렵다. 또한 빨간색과 파란색으로 정의된 경계가 인접한 경우도 distracting하다.

(6) Finally, because of the way that different wavelengths of light focus on the retina, we have difficulty bringing cobalt blue (which is a mixture of red and blue) into focus, and we have difficulty focusing on red and blue at the same time (combinations of these colors tend to“shimmer”); thus text or other fine lines are difficult to distinguish if they are rendered in deep blues, and boundaries defined by adjacent red and blue regions are distracting.

지각적 조직화

Perceptual organization

일단 재료가 눈에 띄면, 그림/지상 분리의 기초가 되는 프로세스는 종종 물체에 대응되는 지각 단위(단어 및 그래픽 포함)로 입력을 구성한다). 이러한 관찰은 지각적 조직의 원리를 공식화하도록 이끈다. 즉, 사람들은 자동으로 요소를 그룹으로 구성하여 집중하고 기억한다(LarkinandSimon, 1987; Gropper, 1991; Aspilaga, 1996; Helander et al., 1997; Vekiri, 2002). 그러한 집단은 여러 가지 방법으로 나타난다(Palmer, 1992). 고전적인 그룹화 "로즈"는 시청자가 요소를 단일 그룹으로 보도록 하는 지각 조건을 명시한다. 예를 들어, 우리는 근처에 있는 요소("근접의 법칙"이라고 함)를 함께 묶는 경향이 있다. 즉, "xxx xxx"를 6개의 별도 x가 아닌 3개의 그룹으로 각각 2개의 그룹으로 본다. 마찬가지로, 우리는 유사한 것으로 보이는 요소("유사성 법칙"이라고 함)를 함께 묶는 경향이 있다. 예를 들어, "///＼＼＼"를 6개의 별도 선이 아닌 2개의 그룹으로 본다.

Once material is noticed, processes that underlie figure/ground segregation organize the input into perceptual units that often correspond to objects (including words and graphics). This observation leads us to formulate the Principle of Perceptual Organization: people automatically organize elements into groups, which they then attend to and remember (LarkinandSimon, 1987; Gropper, 1991; Aspillaga, 1996; Helander et al., 1997; Vekiri, 2002). Such groups emerge in numerous ways (Palmer, 1992). Classical grouping “Laws” specify the perceptual conditions that lead viewers to see elements as a single group. For example, we tend to group together elements that are nearby (the so-called “Law of Proximity”). That is, we see “xxx xxx” as two groups of three each, not six separate x’s. Similarly, we tend to group together elements that appear similar (the so-called“Lawof Similarity”). For instance, we see “///\\\” as two groups, not six separate lines.

그룹화는 또한 특정 영역을 정의하기 위해 복잡한 표에서 사용되는 선에 의해 부과될 수 있으며, 이것은 표를 읽기 쉽게 한다. 또한 일부 시각적 차원은 자동으로 분류되며, 이러한 차원은 "통합적"이며, 독립적으로 쉽게 고려될 수 없다. 예를 들어, 높이와 너비는 쉽게 구별되는 것으로 보이지 않고 오히려 하나의 형태로 구성되며, 시청자들은 두 개의 차원이 아닌 전체 영역을 별도로 등록register한다(Macmillan과 Ornstein, 1998). 다른 필수 차원으로는 색, 명도, 채도가 있는데, 이들 역시 독립적으로 관찰할 수 없다. 오히려 우리의 시각 시스템은 색상을 단일 색상으로 그룹화하는 경향이 있다. 따라서 이러한 다른 색상의 치수는 별도의 측정치를 전달하는 데 쉽게 사용할 수 없다. 지각조직의 원리는 다음으로 귀결된다.

Grouping also can be imposed by lines, such as those used in complex tables to define specific regions, which makes the tables easier to read. In addition, some visual dimensions are automatically grouped; these dimensions are “integral,” and cannot easily be considered independently. For example, height and width are not easily seen as distinct, but rather are organized into a single shape – and viewers register the overall area, not the two dimensions separately (Macmillan and Ornstein, 1998). Other integral dimensions are hue, lightness, and saturation, which cannot easily be attended to independently; rather, our visual systems tend to group them into a single color – and thus these different dimensions of color cannot easily be used to convey separate measurements. The Principle of Perceptual Organization has the following corollaries:

(1) 라벨은 초기에 가장 가까운 그래픽 요소에 적용되는 것으로 보인다.

(1) Labels initially are seen as applying to the closest graphic element.

(2) 공통 색상은 [공간 내에서 분리하더라도] 디스플레이의 부분들을 그룹으로 조직화한다.

(2) Common color organizes parts of a display into a group, even if they are separated in space.

(3) 일반적인 패턴이나 순서는 디스플레이의 일부가 공간 내에서 분리되어 있더라도 그룹으로 구성된다. 예를 들어, 키의 요소(예: 각각 다른 색의 작은 사각형, 라벨과 연관된 작은 사각형)를 표시장치의 해당 부분(예: 막대 그래프의 막대)과 같은 방식으로 정렬할 때 키의 요소는 표시장치의 해당 부분과 적절히 그룹화된다.

(3) Common patterns or orderings organize parts of a display into a group, even if they are separated in space. For example, when the elements in a key (e.g., small squares of different colors, each associated with a label) are ordered the same way as the corresponding parts of the display (e.g., bars in a bar graph), the elements in the key will be grouped appropriately with the corresponding parts of the display.

(4) 형상과 위치는 시각 시스템(Ungerleider and Mishkin, 1982)에서 대부분 별도로 처리되기 때문에, 한 위치의 원소가 항상 다른 위치의 원소와 쉽게 분류되는 것은 아니다. 따라서 "분리되어있지만 관련된 요소"가 명시적으로 그룹화되도록 디스플레이를 구성하는 것이 유용하다 (예를 들어, 특정 점 값을 읽어야 할 경우 그래프 왼쪽의 Y 축을 따라 위치가 있는 막대 그래프의 막대 상단을 그룹화).

(4) Because shape and location largely are processed separately in the visual system (Ungerleider and Mishkin, 1982), an element in one location will not always be easily grouped with elements in other locations. Hence, it is useful to construct a display so that separated-but-related elements are explicitly grouped (e.g., by using inner grid lines to group the tops of bars in a bar graph with locations along the Y axis at the left of the graph, if specific point values are to be read).

(5) 그룹화 법칙 때문에 우연히 형성되는 가짜 그룹에 의해 이해력이 손상된다.(예: 두 개 이상의 범주에 대한 측정 쌍이 동일한 산포도에 표시되거나, 근접성 또는 유사성으로 인해 특정 객체가 있는 슬라이드 그룹 상단에 배너가 표시될 때 형성될 수 있는 그룹)

(5) Comprehension is impaired by spurious groups, which form accidentally because of the grouping laws (e.g., such as those that can form when pairs of measurements for two or more categories are plotted in the same scatter plot, or when a banner at the top of a slide groups with specific objects in the display because of proximity or similarity).

두드러짐

Salience

모든 지각 단위가 동시에 처리될 수 있는 것은 아니다. 단지 그들이 서로 다른 위치에 있고 눈의 시각적 예민성이 중심와fovea에서 가장 크기 때문이다(따라서 사람들이 그들의 시선gaze을 고치는 것은 높은 해상도로 인코딩될 것이다). 따라서 어떤 단위는 다른 단위에 앞서 상세하게 인코딩되어 있다. 주의attention는 어떤 패턴이 자세히 처리될 것인지를 선택하고, 무엇이 다른지 자동적으로 주목하게 된다. 우리는 바닥판 위에 붙어 있는 못이나 녹색 불빛 그룹에서 하나의 빨간 빛을 즉각적으로 발견한다. Salience의 원리는 다음과 같다: 인식 가능한 큰 차이에 주의를 기울인다. 실제로 뇌의 한 부분(상위 콜리큘러스)은 주의력 반사로 작용하여 자극 사이의 차이가 큰 경우에 우리의 시각적 주의를 자동으로 끌어당긴다(Posner, 1980; Glimcher and Sparks, 1992; Krauzlis et al., 2004). '생리학의 원리'에는 다음과 같은 각질이 있다.

Not all perceptual units can be processed simultaneously, if only because they are in different locations and the visual acuity of the eye is greatest at the fovea (and hence whatever people fixate their gazes on will be encoded with higher resolution). Thus, some units are encoded in detail before others. Attention selects which patterns will be processed in detail, and attention is automatically drawn to what is different; we immediately notice the nail that sticks above the floorboards or the one red light in a group of green lights. The Principle of Salience states: attention is drawn to large perceptible differences. In fact, a part of the brain (the superior colliculus) operates as anattentional reflex, automatically drawing our visual attention to large differences among stimuli (Posner, 1980; Glimcher and Sparks, 1992; Krauzlis et al., 2004). The Principle of Salience has the following corollaries:

(1) 움직임이 특히 두드러지는 신호(Buchel et al., 1998)이기 때문에, 애니메이션은 주의를 사로잡고 지시한다.

(1) Because movement is a particularly salient cue (Buchel et al., 1998), animation captures and directs attention.

(2) 형식이 뚜렷한 텍스트(색상, 크기 또는 활자체)가 눈길을 끈다.

(2) Text with a distinct format (color, size, or typeface) draws attention.

(3) 시각적 불균형이 눈길을 끈다. 예를 들어, 우리는 파이 차트에서 쐐기가 폭발한 것을 알아채게 된다. 왜냐하면 경계선이 붕괴되었기 때문이다. 그러나, 한두 개 이상의 쐐기가 폭발하면, 그 경계가 붕괴되어 분리된 조각들이 더 이상 두드러지지 않게 된다.

(3) Visual disparities draw attention. For example, we notice a wedge exploded from a pie chart because the boundary has been disrupted; however, if more than one or two wedges are exploded, the boundary becomes so disrupted that the separated pieces are no longer salient.

(4) 중요도와 일치하는 경우(Helander et al., 1997), 슬라이드(예: 제목 또는 주제 문장) 또는 그림(그래프, 다이어그램, 데모)에서 더 중요한 측면이 관객의 주의를 더 끌 것이며, 이러한 측면에 대한 나중의 기억력을 향상시킨다(Schmidt, 1991).

(4) If salience is aligned with importance (Helander et al., 1997), the more important aspects of the slide (e.g., the title or topic sentence) or of an illustration (graph, diagram, demo) draw the audience members’ attention – which will also enhance later memory for those aspects (Schmidt, 1991).

(5) 특수한 두드러짐의 사례는 색상에서 발생한다: 각막이 빛을 분산시켜 망막에 투사하는 방법에 대한 기이한 점 때문에, "따뜻한" 색(빨간색 등 비교적 파장이 긴 색)은 "차가운" 색(파란색 등 비교적 짧은 색)보다 시청자에게 더 가깝게 보인다; Held, 1980; Allen, Rubi 참조n, 1981; 트라비스, 1991). 따라서 다른 라인 아래를 지나는 라인에 따뜻한 색상을 사용한다면, 시청자들은 뒤에 있는 소재가 앞으로 나아가기 위해 고군분투하는 것처럼 보이는 짜증나는 착각을 경험하게 될 것이다.

(5) A special case of salience arises with colors: because of a quirk in how the corneas diffuse light and project it onto the retinas, “warm” colors (i.e., those with relatively long wavelengths, such as red) seem closer to the viewer than do “cool” colors (i.e., those with relatively short wavelengths, such as blue; see Held, 1980; Allen and Rubin, 1981; Travis, 1991). Thus, if warmer colors are used for lines that pass beneath other lines, viewers will experience an annoying illusion in which material at the back appears to be struggling to move forward.

작업기억

WORKING MEMORY

시각 패턴이 인코딩된 후에는 반드시 통합되어야 한다. 일반적인 프레젠테이션에서 재료는 여러 슬라이드의 과정에서 작동 메모리에 통합되어야 하며, 각각의 슬라이드에는 여러 개의 눈 고정 장치가 필요할 수 있다. 완전히 각각의 디스플레이와 전체 프레젠테이션을 제대로 이해하는 통합 과정은 서곡입니다. 다음 두개의 특정 원칙에 작업 기억에 대한 높은 수요 유발할 수 있다.

After visual patterns are encoded, they must be integrated. Ina typical presentation, material must be integrated in working memory over the course of multiple slides, each of which may require multiple eye fixations. This integrating process is a prelude to fully comprehending both individual displays and the entire presentation. The high demands on working memory lead to the following two specific principles.

제한된 용량

Limited capacity

작업 기억에 대한 핵심 사실 중 하나는 그 카파시티가 매우 제한되어있다는 것(예:Baddeley, 2007년)이다. 제한된 용량의 원칙은 사람들이 정보를 보존하고 처리할 수 있는 제한된 능력을 가지고 있으므로, 너무 많은 정보를 보유하거나 처리해야 하는 경우 메시지를 이해하지 못할 것이라고 말한다. 제한된 용량의 원칙은 다음과 같다.

One of the key facts about working memory is that it has a very limited capacity (e.g., Baddeley, 2007). The Principle of Limited Capacity states that people have a limited capacity to retain and to process information and will not understand a message if too much information must be retained or processed (Smith and Mosier, 1986; Shneiderman, 1992; Helander et al., 1997; Lund, 1997; Sweller et al., 1998). The Principle of Limited Capacity has the following corollaries:

(1) 작업 기억에서 사람들이 유지할 수 있는 정보의 양은 심리적 단위로 정의된다. 예를 들어, 고전적인 지각 그룹화 법에 의해 생성된 지각 그룹. 우리는 그러한 유닛 4개만 작업 기억에 저장할 수 있다(Cowan, 2001). 단, 이들 각 단위는 차례로 4단위로 구성될 수 있다. 따라서 위계적 조직화는 정보를 기억하는 우리의 능력을 향상시킬 수 있다.

(1) The amount of information that people can retain in working memory is defined in terms of psychological units, such as the perceptual groups produced by the classical perceptual grouping laws. We can hold in working memory only about four such units (Cowan, 2001). However, each of these units in turn can comprise four units – and thus hierarchical organization can enhance our ability to hold information in mind.

(2) 일반적으로 인간은 동시에 약 4단위의 움직임을 추적할 수 있다(Intriligator and Cavanagh, 2001 – 특별한 상황에서는 더 많은 것을 추적할 수 있다; Alvarez와 Franconeri, 2007).

(2) In general, humans can track the movement of only about four units at the same time (Intriligator and Cavanagh, 2001 – although under special circumstances, more can be tracked; Alvarez and Franconeri, 2007).

(3) 라벨 검색의 필요성 제거는 작업부하를 감소시킨다. 예를 들어 키를 사용하는 대신 디스플레이에 직접 항목을 표시하는 것이다.

(3) Eliminating the need to search for labels – for instance by directly labeling items in a display rather than using a key – reduces processing load (c.f. Sweller, 1999).

(4) 청중들은 제시된 정보를 처리할 시간이 필요하다.

(4) Audience members need time to process the information that is presented.

(5) 단, 반대로 슬라이드가 매우 느리게 페이드인되거나 페이드 아웃될 경우, 청중들은 이들을 잘못 구성한 다음 초기 조직을 해체해야 할 수 있다. 또한 노력이 필요하다(Potter, 1966)

(5) However, conversely, if slides fade-in or fade-out very slowly, the audience members may organize them incorrectly and then have to break their initial organization – which also requires effort (Potter, 1966).

정보적 변화

Informative change

작업기억은 용량이 제한되기 때문에 외재적extraneous 정보는 관련relevant 정보를 희생시키면서 그것을 쉽게 압도할 수 있다. 그러나 동일한 토큰으로 시각적 또는 청각적 단서를 사용하여 정보를 구성할 수 있다. 정보 변화의 원리에 따르면, 사람들은 지각 속성의 변화가 정보를 전달하기를 기대하며, 그러한 지각 변동에 의해 필요한 모든 정보가 전달되기를 기대한다. 실제로, "정보"라는 바로 그 개념은 변화라는 관점에서 정의되어 왔다: 변화가 있을 때만 정보가 전달된다(Shannon, 1948). 정보 변화의 원리는 다음과 같은 구분을 가지고 있다.

Because working memory has limited capacity, extraneous information can easily overwhelm it at the expense of relevant information. But, by the same token, visual or auditory cues can be used to help organize the information. According to the Principle of Informative Change, people expect changes in perceptual properties to carry information, and expect every necessary piece of information to be conveyed by such a perceptible change. Indeed, the very concept of “information”has been defined in terms of change: only when there is a change is information conveyed (Shannon, 1948). The Principle of Informative Change has the following corollaries:

(1) 관객 구성원은 단어, 그래픽 또는 기타 외관의 변화가 새로운 정보를 전달한다고 가정한다(Smith and Mosier, 1986; Shneiderman, 1992; Aspilaga, 1996; Helander 등, 1997; Lund, 1997). 예를 들어, 청중의 구성원들은 새로운 정보가 텍스트의 배경, 글머리 기호 또는 색상의 변화에 의해 전달되고 있다고 가정한다. 외관appearance나 슬라이드 간 전환이나 용어("fowl" 대 "bird")에서 변화가 무작위 또는 임의로 발생하면 청중을 오도할 수 있다.

(1) Audience members assume that words, graphics, or other changes in appearance convey new information (Smith and Mosier, 1986; Shneiderman, 1992; Aspillaga, 1996; Helander et al., 1997; Lund, 1997). For example, audience members assume that newinformation is being conveyed by changes in the appearance of the background, bullet points, or color or typeface of text. Random or arbitrary changes in appearance, in transitions between slides, or in terminology (“fowl”versus “bird”) can lead the audience astray.

(2) 프리젠테이션의 시작과 끝 부분을 명확히 표시한다(예를 들어, 다른 형식, 서체 또는 배경과 함께 제목을 제시하거나 슬라이드를 마무리하여)는 관객이 프리젠테이션을 따르도록 돕는다.

(2) Clearly marking the beginnings and ends of sections of a presentation (for instance by presenting a title or concluding slide with a distinct format, typeface, or background) helps audience members follow the presentation.

장기기억에 접근

ACCESSING LONG-TERM MEMORY

우리의 업무 분석은 우리에게 제3의 등급의 관련 과정을 제시하도록 이끈다. 자료의 의미를 추출하지 않으면 정보를 인코딩하고 적절하게 통합하는 것은 무용지물이 될 것이다. 자극에 의미를 부여하기 위해서, 우리는 그것들을 장기 기억 속에 기존에 저장되어있던 자료와 비교해야 한다; 우리가 보는 것의 수입을 이해하는 것은 관련 정보를 검색하는 것에 의해서만이다. 다음 원칙은 장기 메모리에 접근하고 관련 저장된 정보를 활성화하는 용이성에 영향을 미치는 요인을 다룬다.

Our task analysis leads us to posit a third class of relevant processes. Encoding information and integrating it appropriately would be useless if the meaning of the material were not extracted. In order to ascribe meaning to stimuli, one must compare them with material previously stored in long-term memory; it is only by retrieving associated information that we comprehend the import of what we see. The following principles address factors that affect the ease of accessing long-term memory and activating the relevant stored information.

적절한 지식

Appropriate knowledge

의미는 [그 사람이 이미 장기 기억 속에 저장되어 있는 필수 정보를 가지고 있는 경우에만] 패턴으로 설명ascribe될 수 있다. 청중에게 도달하기 위해서는 발표자는 관객들이 이미 알고 있는 것과 접촉해야 한다(Osman, Hannafin, 1992; Shneidman, 1992; Fleming and Levie, 1993; Lund, 1997; Schwartz 등). 적절한 지식의 원칙: 의사소통은 관련된 개념, 전문용어 및 기호에 대한 사전 지식이 필요하다. 발표자가 새로운 개념이나 전문용어, 상징에 의존한다면 관객들은 이해하지 못할 것이다. 적절한 지식의 원리에는 다음과 같은 구분이 있다.

Meaning can be ascribed to a pattern only if the person has the requisite information already stored in long-term memory; to reach an audience, the presenter must make contact with what the audience members already know (Osman and Hannafin, 1992; Shneiderman, 1992; Fleming and Levie, 1993; Lund, 1997; Schwartz et al., 1998). The Principle of Appropriate Knowledge states: communication requires prior knowledge of relevant concepts, jargon, and symbols. If the presenter relies on novel concepts, jargon, or symbols, the audience members will fail to understand. The Principle of Appropriate Knowledge has the following corollaries:

(1) 익숙하지 않은 개념, 관습, 형식, 용어 및 기호는 이해할 수 없다. 더욱이, 그들이 이해될 때, 그들은 노력한 처리가 필요할 것이다.

(1) Unfamiliar (for that audience) concepts, conventions, formats, terminology, and symbols may not be understood. Moreover, when they are understood, they will likely require effortful processing (which will be accomplished only if the audience is highly motivated).

(2) 메시지를 전달하기 위해 익숙하지 않은 (그 청중에게) 개념, 관습, 형식, 용어 및 기호가 절대적으로 필요한 경우, 명시적으로 소개하고 설명해야 하며, 이러한 설명은 청중이 친숙한 정보를 도출하면 더욱 효과적이다.

(2) If unfamiliar (for that audience) concepts, conventions, formats, terminology, and symbols are absolutely necessary to convey the message, they must be explicitly introduced and explained – and such explanations are more effective if they draw on information that is familiar to the audience.

호환성

Compatibility

자극의 의미는 그 표면 특성(크기 또는 색상 등)의 해석이 그 상징적 의미와 일치하지 않으면 추출하기 어려울 것이다. 호환성 원칙은 [메시지가 그 의미와 호환되는 경우에] 이해하기 가장 쉽다는 것이다(Vessey, 1991; Woodson 등, 1992; Vekiri, 2002; Speier, 2006). 이 원리는 고전적인 "스트룹 효과"(MacLeod, 1991년)에 의해 증명되었듯이, 위반되었을 때 아마도 가장 명백하다. 스트룹 효과에서, 사람들은 단어들이 잉크와 다른 색깔의 이름을 붙일 때(예: "파란색"이라는 단어를 인쇄할 때 사용하는 파란색 잉크)보다 단어들을 인쇄하는 데 사용되는 잉크의 색 이름을 붙이는 데 더 많은 어려움을 겪는다. 우리는 표면 특성(예: 잉크의 색)과 의미를 모두 등록register한다. 이 원칙은 지각 양식에 걸쳐 적용되며, 따라서 일반적으로 오디오와 시각 콘텐츠가 텍스트와 전달되는 전체적인 메시지와 조화를 이룰 때 가장 좋으며, 부적절한 소리와 시각은 이해에 방해가 된다. 호환성 원칙에는 다음과 같은 코럴라인이 있다.

The meaning of a stimulus will be difficult to extract if the interpretation of its surface properties (such as the size or color) is inconsistent with its symbolic meaning. The Principle of Compatibility states that a message is easiest to understand if its form is compatible with its meaning (Vessey, 1991; Woodson et al., 1992; Vekiri, 2002; Speier, 2006). This principle is perhaps most evident when it is breached, as demonstrated by the classic “Stroop effect” (MacLeod, 1991). In the Stroop effect, people have more difficulty naming the color of the ink used to print words when the words name a different color from the ink (e.g., blue ink used to print the word “red”) than when words name the same color (e.g., blue ink used to print the word “blue”). We register both the surface properties (e.g., the color of the ink) and the meaning. This principle applies across perceptual modalities, and thus comprehension generally is best when audio and visual contents coordinate with text and the overall message that is being conveyed; inappropriate sounds and visuals will interfere with comprehension. The Principle of Compatibility has the following corollaries:

(1) 색은 metathetic(metathetic 차원에 대한 값은 정성적으로 배열됨) 변수이기 때문에 색상의 변화는 수량의 다른 양을 나타내는 것으로 자동으로 보이지 않는다. 이와는 대조적으로, 채도와 강도(또는 밝기)는 양적 변수(양적 치수에 대한 값이 정량적으로 배열됨)이기 때문에, 이러한 치수를 따르는 변화는 양적 변동에 따라 정렬된다(Stevens, 1975).

(1) Because hue is a metathetic (values on metathetic dimensions are arranged qualitatively) variable, variations in hue are not seen automatically as signaling different amounts of a quantity; in contrast, because saturation and intensity (or brightness) are prothetic variables (values on prothetic dimensions are arranged quantitatively), variations along these dimensions do line up with variations in quantities (Stevens, 1975).

(2) 애니메이션은 물체의 자연적인 움직임(예: 자동차의 그림이 위에서 내려오면 안 된다)에 맞지 않으면 이해를 방해하고, 사운드와 슬라이드 배경은 주제에 적합하지 않을 경우 방해가 된다. (꽃무늬 배경, 또는 새들이 지저귀는 소리는 바다의 탄소 저수지 발표와 호환되지 않는다.)

(2) Animation interferes with comprehension if it does not fit the natural movements of the object (e.g., a picture of a car should not drop down from the top), and sounds and slide backgrounds will interfere if they are not appropriate for the topic (a floral background, or the sounds of birds chirping, are not compatible with a presentation about carbon reservoirs in the ocean).

(3) 시청자는 대표되는 항목의 대표적인 예를 가장 쉽게 묘사하는 아이콘을 해석한다. 예를 들어, 오리의 그림은 카나리아 그림의 경우 "물새"가 아니라 "펫새"를 효과적으로 묘사하고, 반대로도 묘사한다(Rosch et al., 1976).

(3) Viewers most easily interpret icons that depict the typical examples of represented items. For example, a picture of a duck effectively illustrates “water fowl” but not “pet bird,” and vice versa for a picture of a canary (Rosch et al., 1976).

(4) 구식 외관 활자체는 첨단장치의 서면 설명에 사용하면 상반된 메시지를 보낼 수 있다.

(4) Old-fashioned looking typeface would send a conflicting message if used in a written description of a high-tech device.

(5) 서로 다른 종류의 그래픽은 [정보의 종류가 다르다는 점을 명시적으로 만들기 때문에] 서로 다른 포인트를 지적하는 데 적합하다(Tersky et al., 2002). 선 그래프(바 또는 혼합 그래프 대신)는 그래프에서 선 높이의 연속적인 변동이 측정의 연속적인 변동을 직접 나타내기 때문에 추세를 효과적으로 나타낸다. 마찬가지로 그래프에서 선을 교차하는 것은 막대 세트보다 더 효과적으로 상호작용을 나타낸다. 막대 그래프는 철근의 이산 높이가 특정 측정을 직접 나타내기 때문에 (트렌드가 아닌) 특정 값을 효과적으로 나타낸다. 지도는 지리적 영역에 대한 복잡한 정보를 보여주거나 목적지로 가는 대체 경로를 보여준다. 차트는 시간 경과에 따른 조직 구조, 일련의 단계 또는 프로세스를 효과적으로 설명한다("흐름 차트")

(5) Because they make different sorts of information explicit, different sorts of graphics are appropriate for making different points (Tversky et al., 2002). Line graphs (rather than bar or mixed graphs) illustrate trends effectively because the continuous variation in the height of a line in a graph directly indicates the continuous variations of a measurement. Similarly, crossing lines in a graph indicate interactions more effectively than sets of bars. Bar graphs illustrate specific values (not trends) effectively because the discrete heights of the bars directly indicate specific measurements. Maps illustrate complex information about geographic territories or show alternate routes to a destination. Charts effectively illustrate organizational structure, a sequence of steps, or processes over time (“flow charts”).

관련성

Relevance

마지막으로, 메시지는 특정 청중에게 너무 많은 정보나 너무 적은 정보가 제공되지 않도록 보정되어야 한다(Grice, 1975) (참고: Informative Change의 원칙은 특정 메시지를 제공하면 필수 정보를 제공해야 한다고 명시한다. 관련성 원칙의 요점은 우선 적절한 메시지를 제공하는 것이다.) 충분한 정보를 제공하지 않는 것이 문제라는 것은 분명하지만, 아마도 너무 많은 정보(예: 외부 그래픽, 텍스트 또는 오디오)를 제공하는 것도 문제라는 것은 덜 명백하다. 너무 많은 정보를 표시하는 것은 부분적으로 문제가 되는데, 이는 시청자들이 노력이 필요한 관련 정보를 검색하도록 하기 때문이다(예: Wolfe, 1998). 관련성의 원칙에 따르면 커뮤니케이션은 [너무 많거나 너무 적은 정보가 제시되지 않을 때] 가장 효과적이다(Smithand Mosier, 1986; Woodsonet al, 1992; Vekiri, 2002; Bartsch and Cobertn, 2003). 이 원리는 다음과 같은 코롤라리를 가지고 있다.

Finally, the message must be calibrated so that neither too much nor too little information is presented for a specific audience (Grice, 1975). (Note: the Principle of Informative Change states that, given a specific message, the requisite information must be provided – the present point is about providing an appropriate message in the first place.) It is clear that not providing enough information is a problem, but perhaps it is less immediately evident that providing too much information (such as extraneous graphics, text, or audio) is also a problem. Presenting too much information is a problem in part because this forces viewers to search for the relevant information, which requires effort (e.g., Wolfe, 1998). The Principle of Relevance states that communication is most effective when neither too much nor too little information is presented (Smithand Mosier, 1986; Woodsonet al., 1992; Vekiri, 2002; Bartsch and Cobern, 2003). This principle has the following corollaries:

(1) 지나치게 많거나 적은 것을 결정하기 위해서는 메시지의 성격에 대해 알아야 한다: 의도된 포인트가 무엇인지에 따라 특정 정보가 필요하거나 관련이 없을 수 있다.

(1) To decide what is too much or too little, one must knowabout the nature of the message: depending on what the intended point is, specific information can be necessary or extraneous.

(2) 정보를 이해하려고 할 때, 사람들은 (대부분 무의식적으로) 그것을 서사narrative로 정리한다(c.f. Wagoner, 2008; Karns et al., 2009). 주제를 정의하고 처음부터 로드맵을 제시하면(개요 또는 기타 개요에서) 이 과정을 용이하게 한다.

(2) When attempting to understand information, people (largely unconsciously) organize it into a narrative (c.f. Wagoner, 2008; Karns et al., 2009). Defining the topic and presenting a roadmap at the outset (in an outline or other overview) facilitates this process.

(3) 그래픽(사진, 도면, 그래프, 다이어그램), 오디오 및 비디오는 관련 개념을 명확하게 설명할 수 있는 세부사항을 제공할 수 있다. 그러나 사진은 종종 모호하다(비트겐슈타인, 1953/2001년).

(3) Graphics (photos, drawings, graphs, diagrams), audio, and video can provide detail to illustrate the relevant concepts clearly. However, pictures are often ambiguous (Wittgenstein, 1953/2001), and when they are ambiguous labels can clarify them.

연구 1

STUDY 1

Levasseur와 Sawyer(2006)는 슬라이드가 효과적으로 기능하도록 설계되어야 하는 방법에 대한 연구가 현저하게 적다고 지적했다. 이러한 부족에 대한 가능한 한 가지 이유는 많은 사람들이 "좋은 디자인"이 대부분의 사람들에게 직관적으로 명확하다고 느낄 수 있기 때문에 그것을 연구할 이유가 없다는 것이다. 이러한 추측과 일관되게, 일부 사람들은 방금 논의된 종류의 심리 원칙은 명백하며, 발표에서 위반되는 경우는 거의 없다고 주장했다. 이 가정을 평가하기 위해, 우리는 PowerPoint® 슬라이드쇼의 샘플을 조사했다. 구체적으로, 우리는 계층화된 샘플링 절차를 사용하여 다음과 같은 다섯 가지 범주의 슬라이드쇼를 검토했다. 연구(학문), 교육, 정부, 기업, 기타. 우리는 방금 요약한 8가지 원칙을 위반할 수 있는 137가지 방법(각각 규칙에 명시됨)을 공식화했다(표 1 참조).

Levasseur and Sawyer (2006) noted that there is remarkably little research on how slides should be designed so that they function effectively. One possible reason for this dearth is that many may feel that “good design” is intuitively clear to most people, and hence there is no reason to study it. Consistent with this conjecture, some have claimed that the sorts of psychological principles just discussed are obvious, and rarely if ever would be violated in a presentation. To evaluate this supposition, we examined a sample of PowerPoint® slideshows. Specifically, we used a stratified sampling procedure to examine a selection of slideshows in five categories: Research (academic), Education, Government, Business, and Miscellaneous. We formulated 137 ways (each specified in a rule) in which the eight principles just summarized could be violated (see Table 1).

MATERIALS AND METHODS

우리는 처음에 웹에서 무작위로 계층화된 PowerPoint® 슬라이드쇼 샘플을 획득했다. 이에 따라, 우리는 효과적인 PowerPoint® 통신의 특정 규칙 위반을 검색하기 위해 체크리스트(표 1 참조)를 사용하여 두 명의 심판에게 각각의 PowerPoint®slideshow를 독립적으로 채점하도록 요청하였다. 이러한 규칙은 소개에서 논의된 8가지 일반 원칙의 특별한 경우였다. 아래에서 언급한 바와 같이, 두 명의 추가 심판이 약간 다른 기준을 사용하여 슬라이드쇼를 평가했다.

We first acquired a random, stratified sample of PowerPoint® slideshows from the web. Following this, we asked two judges to score each PowerPoint®slideshow independently, using a checklist (see Table 1) to search for violations of specific rules of effective PowerPoint® communication; these rules were special cases of the eight general principles discussed in the Introduction. As noted below, two additional judges evaluated the slideshows using slightly different criteria.

RESULTS

종속 변수는 슬라이드쇼가 원칙을 위반했는지 여부였다. 우리는 "배드-애플-스포일-더-바렐" 접근법을 취했는데, 단 하나의 슬라이드에도 규칙을 위반한 물질이 포함되어 있다면, 슬라이드쇼는 규칙을 위반한 것으로 평가되었다. 슬라이드쇼가 특정 원리 내에서 하나 이상의 규칙을 위반했다면, 그 원리에 대한 점수는 "1;"이 될 것이다. 어떤 원칙에 대해 어떤 규칙도 위반되지 않았다면, 그 원리에 대한 점수는 "0"이 될 것이다. 우리는 먼저 엄격한 초기 점수에서 나온 결과를 제시하고, 그 후에 더 자유로운 점수에서 나온 결과를 제시한다.

The dependent variable was whether or not a slideshow violated a principle. We took a “bad-apple-spoils-the-barrel” approach: if even a single slide contained material that violated a rule, the slideshow was scored as having violated the rule. And if a slideshow violated one or more rules within a specific principle, the score for that principle would be “1;” if none of the rules were violated for a principle, the score for it would be “0.” We present first the results from the strict, initial scoring, and after this the results from the more liberal scoring.

셋째, 우리는 어떤 규칙이 가장 자주 위반되는지 조사했다. 특히 다음과 같은 다섯 가지 규칙이 가장 자주 위반된다는 것을 알게 되었다. 

Third, we examined which rules were violated most often. In particular, we found that the following five rules were violated most often: 

(1) 불릿 기호가 붙은 것을 개별적으로 표시하지 않고, 상단에서 하단으로 목록을 증가시킨다(슬라이드쇼의 96%). 

(2) 불릿 기호 당 2개 이상의 행을 사용한다(91%). 

(3) 4개 이상의 불릿 기호 항목들이 단일 목록(91%)에 표시됨 

(4) 목록의 계층적 구성은 사용하지 않으며, 각 수준(86%)에서 항목 수가 4개 미만이다. 

(5) 모든 대문자, 모든 기울임꼴 또는 굵은 글꼴을 사용한다(81%)

(1) Bulleteditems are not presented individually, growing the list from the top to the bottom (96% of the slideshows); 

(2) More than two lines are used per bulleted sentence (91%); 

(3) More than four bulleted items appear in a single list (91%); 

(4) Hierarchical organization of lists is not used, with no more than four items at each level (86%); 

(5) All uppercase, all italics, or all bold typefaces are used (81%).

표 2는 자유형 및 엄격한 채점 방식을 모두 사용하여 원칙당 범주의 위반 사항을 요약한 것이다.

Table 2 provides a summary of the violations per category per principle, using both the liberal and the strict scoring method.

결론

CONCLUSION

분명한 것은, 엄격한 채점 기준이나 자유주의적인 채점 기준에 의해, 많은 슬라이드쇼가 결함이 있다는 것이다. 실제로, 두 기준 중 어느 하나라도 결함이 없다는 이유로 점수를 매긴 슬라이드쇼는 없었다. 엄격한 기준을 적용하여 각 슬라이드쇼는 9개 등급의 원칙 중 평균 6.23을 위반하였는데, 이는 자유주의 기준을 사용하여 5.88로 약간 축소되었다. "과다 결정"된 규칙 그룹을 제외한 8개의 개별 원칙만 고려했을 때, 엄격한 코딩은 6.17이었고 자유주의 코딩은 5.86이었다. 가장 폭력적인 세 가지 원칙은 차별성(자료가 너무 비슷하여 쉽게 구별할 수 없기 때문에), 제한된 용량(너무 많은 정보가 제시되었기 때문에), 정보화적 변화(정보가 표시되는 방법의 변화는 실제로 전달되는 정보의 변화를 반영하지 못하기 때문이다)이다.

As is clear, by either the strict or liberal scoring criteria, many slideshows are flawed. Indeed, not a single slideshow was scored – according to either set of criteria – as having no flaws. Using the strict criteria, each slideshow violated on average 6.23 of the nine classes of principles, which shrank slightly to 5.88 using the liberal criteria. Considering just the eight individual principles, excluding the“over-determined”group of rules, the overall violation was 6.17 for the strict coding and 5.86 for the liberal coding. The three most-violated principles were Discriminability (because material was too similar to be easily distinguished), Limited Capacity (because too much information was presented), and Informative Change (because changes in how information was presented did not actually reflect changes in the information being conveyed).

가장 자주 위반되는 원칙인 호환성조차도 최소한 1/4의 슬라이드쇼에서 여전히 위반되었다.

Even the least-frequently violated principle, Compatibility, was still violated in at least a quarter of the slideshows.

또한, 위반이 여러 범주에 걸쳐 비교될 수 있었다는 사실이 흥미롭다. 우리는 다른 주제들의 가능한 영향을 고려하기 위해 다른 범주를 부분적으로 검토했다. 다른 주제(또는 영역)의 슬라이드쇼는 평균 복잡성이 다를 수 있지만, 결과는 특정 원칙의 위반이 일반적으로 주제에 따라 다르지 않다는 것을 시사한다. 그렇긴 하지만, 우리는 어떤 특정 규칙이 다른 범주에 비해 더 자주 위반된다는 것을 발견했고, 이것은 주제의 복잡성의 차이를 반영할 수 있다.

In addition, the fact that violations were comparable across the different categories is of interest. We examined the different categories partly in an effort to consider the possible influence of different topics. Although slideshows of different topics (or areas) may differ in their average complexity, the results do not suggest that violations of specific principles generally vary for different topics. That said, we did find that some specific rules were violated more frequently in some categories than others, which could reflect differences in the complexities of the topics.

연구 2

STUDY 2

Study 1의 PowerPoint® 슬라이드쇼를 분석한 결과, 슬라이드쇼 자체는 일반적으로 여러 가지 면에서 결함이 있는 것으로 나타났다. 우리는 시청자들이 보다 일반적으로 프레젠테이션 결함에 민감한지 알고 싶었고, 따라서 우리는 참가자들에게 그들이 지난 해에 얼마나 많은 전자 슬라이드쇼 프리젠테이션을 보았는지 대략적으로 보고하고, 그 다음에 그 프레젠테이션의 다양한 측면을 그들의 품질로 평가하도록 요구하는 설문조사를 실시했다.

The analysis of PowerPoint® slideshows in Study 1 revealed that slideshows themselves typically are flawed in multiple ways. We wanted to know whether viewers are sensitive to presentation flaws more generally, and thus we conducted a survey asking participants to report approximately how many electronic slideshow presentations they had seen in the past year, and then to rate various aspects of those presentations in terms of their quality.

MATERIALS AND METHODS

RESULTS

CONCLUSION

이러한 결과는 연구 1의 결과와 수렴된다. 즉, 우리가 질문한 7가지 원칙(첫 번째 연구에서 고려된 8가지 원칙 중)은 모두 정기적으로 위반된다. 그러한 위반은 청중을 어느 정도 괴롭힌다. 그리고 Study 1과 마찬가지로 호환성 원칙의 위반은 가장 흔하지 않은 반면, 가장 성가시고 일반적인 위반 중 하나는 Limited Capacity(슬라이드에는 다음 슬라이드가 제시되기 전에 흡수해야 할 물질이 너무 많이 포함되어 있었다)의 원칙 하에 있었다. 이러한 결과는 Study 1과 같이 프리젠테이션이 많은 룸프나 개선점을 가지고 있을 뿐만 아니라, 청중들이 프리젠테이션을 괴롭히는 일반적인 종류의 문제에 민감하다는 것을 보여준다.

These results converge with those from the Study 1, namely that all seven principles we asked about (out of eight considered in the first study) are violated on a regular basis. Such violations bother audience members to some extent. And as with Study 1, violations of the Principle of Compatibility were least common, whereas one of the most annoying and prevalent violations fell under the principle of Limited Capacity (slides contained too much material to absorb before the next slide was presented). These results show that presentations not only have much room for improvement, as shown in Study 1, but also that audience members are sensitive to the general sorts of problems that plague presentations.

따라서 Study 1과 Study 2의 연구 결과는 흥미로운 의문을 제기한다: 왜 적어도 어떤 사람들은 심리적 원칙이 너무 명백해서 아무도 그것을 위반하지 않을 것이라고 생각하는가? 프리젠테이션이 지루하거나 명확하지 않은 것과 같은 전반적인 문제를 인식하지만, 그렇게 쉽게 인지할 수 있는 결점을 만드는 특정 슬라이드의 정확한 문제를 인식하지 못하는 것이 가능한가? 우리는 다음 연구에서 이 가능성을 조사한다.

The findings from Study 1 and Study 2 thus raise an interesting question: why do at least some people feel that the psychological principles are so obvious that nobody would violate them? Is it possible that although people recognize overall problems – such as that a presentation is boring or unclear – they fail to recognize the precise problems with specific slides that produce such easily noticed flaws? We investigate this possibility in the following study.

연구 3

STUDY 3

이 연구는 두 가지 질문에 답하기 위해 고안되었다. 

• 첫째, 우리는 사람들이 다른 원칙들을 위반한 개별 슬라이드에서 그래픽 디스플레이를 식별할 수 있는지 알고 싶었다. 

• 둘째로, 만일 그들이 그러한 결함이 있는 표시장치를 식별할 수 있다면, 우리는 참가자들이 표시장치에 결함이 있는 이유를 알고 있는지 알고 싶어했다.

The present study was designed to answer two questions: first, we wanted to know whether people can identify graphical displays in individual slides in which the different principles have been violated. Second, if they can identify such defective displays, we wanted to know whether participants are aware of why a display is defective.

이전의 두 연구는 조사였다. 이러한 연구는 "실제 세계"에서 발생하는 현상을 타파하는 장점이 있지만, 관련 변수에 대해 엄격한 통제를 하지 않는 단점이 있다. 3번 연구는 실험에 의존한다. Study 1에서 시각적 표시장치 설계 규칙의 하위 집합을 선택하고 각 그림에 대해 두 가지 그림을 준비했다. 한 그림은 규칙 위반을 포함했고 한 그림은 그렇지 않았다(이 그림들 중 다수는 Kosslyn, 2007에 표시된 "Do/Don't" 그림에서 직접 가져갔다). 각 슬라이드를 제시하기 전에 참가자들이 슬라이드의 특정 측면에 집중하도록 유도하는 질문을 제시하였다. 예를 들어, 한 슬라이드 쌍의 경우, "어느 슬라이드가 두 변수가 얼마나 밀접하게 관련되어 있는지를 보여주는 더 나은 작업인가?"라고 물었다. 참가자들에게 특정 기준에 따라 어떤 슬라이드가 더 나은지 표시한 다음, 자신이 선택한 이유를 설명하도록 하였다.

The previous two studies were surveys. Such studies have the advantage of tapping into phenomena that occur in the “real world,” but the disadvantage of not having rigorous control over the relevant variables. Study 3 relies on an experiment. We selected a subset of the visual display design rules from Study 1, and prepared two illustrations for each one: one illustration included a violation of the rule and one did not (many of these pairs were taken directly from the“Do/Don’t” illustrations shown in Kosslyn, 2007). Prior to presenting each pair of slides, we presented a question that guided participants to focus on a specific aspect of the slide. For example, for one slide pair we asked, “Which slide does a better job showing how closely two variables are related?” Participants were asked to indicate which slide was better, according to that specific criterion, and then to explain why they made their choice.

MATERIALS AND METHODS

RESULTS

CONCLUSION

요컨대, 미끄럼틀의 구체적인 특징에 주의를 기울이도록 안내된 경우에도 관찰자들은 심리적 원리가 언제 위반되었는지, 그리고 문제가 있다는 것을 깨달았을 때에도 이 문제의 본질을 잘 알지 못하는 경우가 많다. 그러나 뇌에서 정보처리가 작동하는 방식을 고려할 때 시청자가 위반 사실을 알아차리지 못하더라도 여전히 그 영향을 받을 수 있다고 주장할 수 있다. 실제로, 우리는 이것이 사실이라고 예상할 것이고, 이 가설을 향후 연구에서 조사할 가치가 충분히 있다.

In short, even when guided to pay attention to specific features of slides, observers do not always understand when the psychological principles have been violated, and even when they do realize that there is a problem, they often are not aware of the nature of this problem. Given the way information processing works in the brain, however, one could argue that even if viewers do not notice a violation, they could still be affected by it. Indeed, we would predict this to be the case, and it is well worth investigating this hypothesis in future research.

고찰

DISCUSSION

여기에서 보고된 세 가지 연구에서는 PowerPoint® 슬라이드쇼, 슬라이드, 프리젠테이션이 인간의 인식, 기억 및 이해의 원리를 얼마나 잘 존중하는지 분석하였다. 구체적으로는 가설을 세우고 발견하였다. 

• 심리적 원칙이 종종 여러 분야의 PowerPoint® 슬라이드쇼에서 위반된다는 것(Study 1) 

• 어떤 유형의 프레젠테이션 결함은 청중에게 눈에 띄고 짜증나게 한다(Study 2). 

• 관찰자는 개별 슬라이드의 그래픽 디스플레이에서 많은 위반을 식별하는 데 어려움을 겪는다(Study 3).

In the three studies reported here, we analyzed how well PowerPoint® slideshows, slides, and presentations respect principles of human perception, memory, and comprehension. Specifically, we hypothesized and found 

• that the psychological principles are often violated in PowerPoint® slideshows across different fields (Study 1), 

• that some types of presentation flaws are noticeable and annoying to audience members (Study 2), and 

• that observers have difficulty identifying many violations in graphical displays in individual slides (Study 3).

이러한 연구는 다음 그림을 그리는 데 수렴된다. PowerPoint® 프레젠테이션은 일반적으로 결함이 있으며, 어떤 유형의 결함은 다른 결함보다 더 흔하며, 결함은 한 도메인이나 맥락에 국한되지 않으며, 어떤 유형의 결함은 청중들을 짜증나게 하지만, 슬라이드 설계 수준의 결함은 숙련되지 않은 관찰자에게 항상 명백하지는 않다(그러나 우리는 그러한 결함이 정보 처리에 부정적인 영향을 미칠 수 있다고 주장한다).

These studies converge in painting the following picture: PowerPoint® presentations are commonly flawed; some types of flaws are more common than others; flaws are not isolated to one domain or context; and, although some types of flaws annoy the audience, flaws at the level of slide design are not always obvious to an untrained observer (but, we would argue, such flaws may negatively impact information processing).

• 특히, Study 1에서 우리는 PowerPoint® 슬라이드쇼가 평균적으로 우리가 고려한 8가지 원칙 중 약 6가지를 위반한다는 것을 발견했다. 더욱이, 이것은 여러 분야에서 생산된 슬라이드쇼에 해당된다. 차별성, 제한된 용량 및 정보 변경의 원칙이 가장 빈번하게 위반되었다. 

• Study 2에서 우리는 응답자들이 일반적으로 프레젠테이션의 문제에 대해 알아차리고 짜증을 냈다고 보고했으며, 이러한 문제는 우리가 고려한 대부분의 원칙을 위반하는 것에서 비롯되었다. 

• 마지막으로, Study 3에서 관찰자는 특정 규칙이 특정 슬라이드에서 위반되는 경우를 인식하지 못하는 경우가 많으며, 위반 없이 슬라이드를 선택한 경우에도 종종 자신의 선택을 설명할 수 없다는 것을 보여주었다.

• Specifically, in Study 1 we found that PowerPoint® slideshows on average violate approximately six of the eight principles we considered. Moreover, this is true for slideshows produced in different fields. The principles of Discriminability, Limited Capacity, and Informative Change were most frequently violated. 

• In Study 2 we found that respondents commonly reported having noticed and been annoyed by problems in presentations in general, and these problems arose from violations of most of the principles we considered. 

• Finally, in Study 3 we showed that observers often did not recognize when a specific rule was violated in a given slide, and that even when they did select the slide without the violation, they often could not explain their choice.

하지만 우리는 우리의 원칙의 위반이 정말로 프레젠테이션에서 "flaws"을 구성한다고 확신할 수 있을까? 서론에서 언급했듯이, 우리의 원칙은 간단한 과제 분석에서 비롯되며, 그 결과 우리는 인간의 인식, 기억, 이해에 관한 과학 문헌의 기본적인 발견을 고려하였다. 이러한 연관성 때문에, 그 원칙들은 표면적인 타당성을 가지고 있다: 만약 프레젠테이션이 원칙을 위반하면, 그것은 인간의 정보 처리를 저하시킨다(taxes). 그리고 프레젠테이션이 정보 처리에 세금을 부과하기 때문에 청중들은 정보 처리를 인지하고, 기억하고, 이해하는데 어려움을 겪을 것이고, 따라서 그것이 결점이라고 합리적으로 말할 수 있다.

But can we be confident that violations of our principles really constitute “flaws” in a presentation? As noted in the Introduction, our principles grow out of a straightforward task analysis, which in turn led us to consider basic findings in the scientific literature on human perception, memory, and comprehension. Because of this connection, the principles have face validity: if a presentation violates a principle, it taxes human information processing. And because the presentation taxes information processing, the audience members will have difficulty perceiving, remembering, or comprehending it – and hence, it can reasonably be said to be flawed.

그럼에도 불구하고, 미래 연구는 이해와 후속 기억력에 대한 특정 원칙을 위반하는 영향을 명시적으로 검토해야 한다.

Nevertheless, future studies should explicitly examine the effects of violating specific principles on comprehension and subsequent memory.

우리가 설명한 원칙과 규칙을 존중하는 것은 "최적" 프레젠테이션을 수행하지 않을 것이라는 점에 주목할 필요가 있다. 대신, 원칙과 규칙을 존중하는 것은 이러한 특정 방법에 결함이 없음을 보증할 것이다. 단순히 우리가 문서화하는 결함을 피하는 것은 프레젠테이션이 좋은지 확실히 할 수는 없지만, 그러한 결함을 포함하는 것은 프레젠테이션을 나쁘게 만들 것이다(또는 적어도 좋지는 않을 것이다). 원칙과 규칙이 경험적 문헌에 뿌리를 두고 있다는 점을 감안할 때, 이를 위반하는 것을 피하면 프레젠테이션이 개선될 것이다. (단, 우리는 또한 이 주장이 얼굴 유효성에 기초하고 있으며, 후속 작업에서 명시적으로 시험되어야 한다는 것을 주목해야 한다.)

It is worth noting that respecting the principles and rules we have described will not produce “optimal” presentations. Instead, respecting the principles and rules will ensure that presentations are not flawed in these specific ways. Simply avoiding the glitches that we document will not ensure that the presentation is good, but including such glitches will make a presentation bad (or at least not as good as it could be). Given that the principles and rules are rooted in the empirical literature, avoiding violating them will improve a presentation. (However, we also must note that this claim is based on face validity, and must be explicitly tested in subsequent work).

우리는 또한 여기서 보고된 세 가지 연구 중 두 가지에서 발표자와는 독립적으로 슬라이드를 다루었다는 것을 지적해야 한다. 어떤 사람은 숙련된 발표자가 슬라이드를 사용하여 발표할 때 잠재적 "flaws" 중 적어도 일부는 심각하지 않을 수 있다고 주장할 수 있다. 예를 들어, 재능 있는 발표자는 특정한 결점을 보완할 수 있을 것이다(예: 청중들에게 눈에 잘 띄지 않을 정도로 작은 텍스트를 소리내어 읽음으로써). 그러나 다른 모든 것이 같다면 결함이 있는 슬라이드를 보여주는 데 이점과 단점이 없다. 비록 재능 있는 발표자들이 어떤 결점을 보완할 수는 있겠지만, 애초에 보상하지 않아도 된다면 더 좋을 것이다.

We also must point out that in two of the three studies reported here, we treated the slides independently of the presenter. One could argue that at least some of the potential “flaws” may not be as severe when the slides are discussed by a skilled presenter. For instance, a talented presenter may be able to compensate for a particular flaw (e.g., by reading aloud text that is so small as to be all-but-invisible for the audience members). However, all else being equal, there is no advantage – and considerable disadvantage – to showing flawed slides. Although some flaws may be compensated for by talented presenters, it would be better if they did not have to compensate in the first place.

요컨대, 우리는 전자 슬라이드쇼 프리젠테이션의 디자인을 개선할 여지가 많다는 것을 문서화했다. 심리학적 원칙이 완전히 명백하지는 않으며, 사람들이 항상 본능적으로 그것을 존중하는 것도 아니다. 아마도 그러한 결함을 피하는 가장 좋은 방법은 슬라이드쇼 초안을 준비하고, 여기서 설명하는 심리적 원칙과 규칙에 따라 각 슬라이드를 검토한 다음, 결함이 발견되는 대로 수정하는 것이다. 또한 발표자들은 일반적인 발표 실수, 특히 청중이 매우 짜증스럽게 보고하는 실수를 피하기 위해 부록에 대한 검토를 원할 수 있다. 잘 설계되지 않은 슬라이드를 보완하도록 설계된 프레젠테이션 기법(예: 작은 글자로 큰 소리로 슬라이드를 읽는 것)이 때때로 역효과를 일으켜 청중이 흥미를 잃고 튜닝을 하지 못하게 할 수 있다는 점을 유념할 필요가 있다. 청중들에게 불필요한 일을 하게 하는 것은 성공적인 발표를 위한 비법이 아니다.

In short, we have documented that there is plenty of room for improvement in the design of electronic slideshow presentations. The psychological principles apparently are not entirely obvious, nor do people always respect them instinctively. Perhaps the best way to avoid such flaws is to prepare a slideshow draft, review each slide according to the psychological principles and rules we describe here, and then correct flaws as they are detected. Presenters may also want to review the Appendix in order to avoid common presentation mistakes, particularly those that the audience reports as highly annoying. It is worth noting that presentation techniques designed to compensate for poorly designed slides (such as reading aloud slides with miniscule text), may sometimes backfire – causing the audience to lose interest and tune out. Making your audience do unnecessary work is not a recipe for a successful presentation.

Front Psychol. 2012 Jul 17;3:230. doi: 10.3389/fpsyg.2012.00230. eCollection 2012.

PowerPoint(®) Presentation Flaws and Failures: A Psychological Analysis.

거꾸로 교실: 보건전문직대학에서 학습과 참여를 촉진하기 위한 과목 재설계(Acad Med, 2014)

The Flipped Classroom: A Course Redesign to Foster Learning and Engagement in a Health Professions School

Jacqueline E. McLaughlin, PhD, MS, Mary T. Roth, PharmD, MHS, Dylan M. Glatt, Nastaran Gharkholonarehe, PharmD, Christopher A. Davidson, ME, LaToya M. Griffin, PhD, Denise A. Esserman, PhD, and Russell J. Mumper, PhD

최근 몇 년 동안 미국의 대학들은 학생들을 제대로 교육시키지 못한 것으로 인해 상당한 조사scrutiny를 받았다. 고등교육의 질에 대한 계속되는 우려는 1,3,4 개혁에 대한 많은 요구들을 불러일으켜 전통적인 교과과정을 변화시킬 필요성에 관심을 끌고 있다.

In recent years, colleges and universities in the United States have faced considerable scrutiny for their apparent failure to adequately educate students. Ongoing concerns about the quality of higher education have prompted numerous calls for reform,1,3,4 drawing attention to the need to transform traditional curricula

의과, 간호, 약학 대학들은 모두 학생들이 사회의 진화하는 건강 관리 요구를 충족시킬 수 있도록 더 잘 준비하도록 해야 한다는 도전을 받아왔다. 1910년 Flexner 보고서 이후, 교육을 체계화하여 보건 전문가 지망생들에게 전달하는 방식에는 거의 변화가 없었으며, 수업 중 강의는 전국 대부분의 교실에서 계속 이루어지고 있다.10

Medical, nursing, and pharmacy schools all have been challenged to better prepare their students to meet the evolving health care needs of society.5–8 Since the 1910 Flexner report,9 little has changed in the way that education is structured and delivered to aspiring health professionals, and in-class lectures continue to prevail in the vast majority of classrooms across the country.10

점점 더 많은 문헌에서 지속적으로 교실에서 일어나고 있는 일을 재고해야 할 필요성을 지적한다. 수업 시작 10분 후 학생들의 주의가 실질적이고 꾸준히 감소하고 의대생의 평균 주의 시간이 수업 시작 15분에서 20분이라는 연구 결과가 나왔다. 비록 학생들의 관심이 수업 마지막 몇 분 동안 돌아오지만, 14 그들은 그 시간 동안 제시된 자료의 20%만 기억한다.15 게다가, 한 시간 동안 진행되는 강의에서 수동적인 학습은 종종 학생들을 지루하게 하고 풍부한 교육 경험을 빼앗을 수 있다.16 학생들은 스스로 정보를 읽고 배울 수 있지만, 그들은 [생각을 자극하고 도전하고, 문제를 해결하는 데 지도하며, 그들의 학습과 자료의 적용을 장려하는 코치나 멘토 역할]을 할 instructor가 필요하다.17

A growing body of literature consistently points to the need to rethink what is taking place in the classroom. Research shows that students’ attention declines substantially and steadily after the first 10 minutes of class11,12 and that the average attention span of a medical student is 15 to 20 minutes at the beginning of class.13 Although students’ attention returns in the last few minutes of class,14 they remember only 20% of the material presented during that time.15 Furthermore, passive learning in hourlong lectures often bores students and can deprive them of rich educational experiences.16 Students can read and learn information on their own, but they need instructors to act as coaches and mentors to stimulate and challenge their thinking, guide them in solving problems, and encourage their learning and application of the material.17

팀워크, 토론, 자기 성찰, 사례 연구와 같은 적극적인 학습활동은 학생들의 참여와 성찰을 촉진하여 태도와 가치를 탐구하는 동시에, 지식을 습득하고 기술을 강화하도록 장려한다.18 적극적인 학습에 학생들을 참여시키는 것이 학습 성과를 향상시킨다는 것을 보여준다. 그리고 그들의 동기부여와 태도를 개선한다.19–21 또한 능동적인 학습은 고차적 사고, 문제 해결 및 비판적 분석을 촉진하는 동시에 학생과 강사 모두에게 피드백을 제공한다.21,22

Active learning exercises, such as teamwork, debates, self-reflection, and case studies, that prompt students’ engagement and reflection encourage them to explore attitudes and values, while fostering their motivation to acquire knowledge and enhance skills.18 Evidence shows that engaging students in active learning enhances their learning outcomes and improves their motivation and attitudes.19–21 Moreover, active learning stimulates higher-order thinking, problem solving, and critical analysis while providing feedback to both the student and instructor.21,22

뒤집힌 교실(역, 역, 역, 역으로도 알려져 있음)에서 강사들은 강의 내용을 미리 녹음하여 학생들이 스스로 시청할 수 있도록 인터넷에 게시하여 수업 시간이 문제 기반 학습과 탐구 지향 전략과 같은 학생 중심의 학습 활동에 전념할 수 있도록 한다. 이 접근법은 강사에게 광범위한 학습 스타일을 적용할 기회를 주며, 수업 시간에는 문제 해결을 장려하는 교육 과정을 구현할 수 있는 기회를 제공한다. 또한, 수업을 flip하여 강사들이 각 학생에게 적합한 다양한 학습 경험을 개발할 수 있다.17

In the flipped classroom (also known as the reverse, inverse, or backwards classroom), instructors prerecord lectures and post them online for students to watch on their own so that class time can be dedicated to student-centered learning activities, like problem-based learning and inquiry-oriented strategies.17,23–25 This approach provides instructors with opportunities to engage a wide range of learning styles and implement pedagogies that encourage problem solving during dedicated class time. In addition, flipping the classroom empowers instructors to develop different learning experiences appropriate for each student.17

가장 중요한 것은 뒤집힌 교실 모델이 학생 중심이라는 것이다. 각 학생은 자료에 대한 기본적 이해를 가지고 수업에 나와 수업 토론에 충분히 참여할 책임이 있다. 따라서 내용 습득은 스스로 진행되며, 스스로 콘텐츠를 보는 시기와 양을 통제할 수 있게 한다. 강사들은 학습을 용이하게 하기 위해 학생들을 콘텐츠로 안내하고, 상호작용 경험을 정리하고, 학생들이 창의적으로 생각하도록 유도하며, 전문가의 통찰력과 피드백을 제공한다. 강의실 내의 풍부하고 개방적인 경험은 학생들이 중요한 인지 개발을 촉진하고 협업을 통해 혁신을 촉진함으로써 성공을 준비한다.17

Most important, the flipped classroom model is student-centered. Each student is responsible for coming to class with a basic understanding of the material, so that she or he can fully participate and engage in class discussion. Content acquisition then is self-paced and self-guided, enabling students to control when and how much content they view. To facilitate learning, instructors guide students to the content, organize interactive experiences, challenge students to think creatively, and provide expert insight and feedback. Rich, open-ended experiences within the classroom equip students for success by fostering critical cognitive development and promoting innovation through collaboration.17

우리는 1학년 약대생들에게 필요한 대학원의 건강 전문 강좌를 개설했다.

we flipped a graduate-level health professions course in pharmaceutics required for first-year pharmacy students.

본 문서는 보건 직업 학습 환경 및 그 이상의 대규모 학생 코호트에서 학습 경험을 전환하기 위한 혁신적이고 실용적인 전략을 개발, 구현 및 평가하고자 하는 강사 및 교육 프로그램에 대한 지침 역할을 하기 위한 것이다.

This article is intended to serve as a guide to instructors and educational programs seeking to develop, implement, and evaluate innovative and practical strategies to transform the learning experience in a large cohort of students within a health professions learning environment and beyond.

과목 재설계

Course Redesign

우리의 강의 재설계는 우리 학생들의 교육 경험을 변화시키고, 수업 내 활동적인 학습을 강화하려는 학생들의 요구에 부응하려는 열망에서 영감을 받았다. 그 당시, 주로 전통적인 강의로 이루어진 우리 교실에 채용된 방법론이 수십 년 동안 크게 변하지 않았다는 집단 인식의 결과로, 점점 더 많은 수의 교실 혁신들이 노스 캐롤라이나 대학 에셀만 약학대학에 스며들고 있었다. 우리의 코스 재설계의 목표는 

• (1) 학생의 학습을 개선하고 학생을 비판적 사고자, 문제 해결자, 팀 플레이어로 개발한다.

• (2) 학습 과정 전반에 걸쳐 학생과 강사를 완전히 참여시킨다. 

• (3) 창조적 기술과 응용 학습을 통해 고차적 사고를 자극한다.

Our course redesign was inspired by a desire to transform the educational experiences of our students and to meet students’ requests for enhanced in-class active learning exercises.26,27 At the time, an increasing number of classroom innovations were permeating the University of North Carolina (UNC) Eshelman School of Pharmacy as the result of a collective awareness that the methodologies employed in our classrooms, which consisted mainly of traditional lectures, had remained largely unchanged for decades. The goals of our course redesign were to 

• (1) improve students’ learning and develop students as critical thinkers, problem solvers, and team players; 

• (2) fully engage students and instructors throughout the learning process; and 

• (3) stimulate higher-order thinking through the use of creative technologies and applied learning.

과목 설명

Course description

약대생들의 약 120명의 전임교직원과 620명의 의사가 3개의 캠퍼스(채플힐의 주요 UNC 캠퍼스 및 엘리자베스 시티와 아셰빌의 위성 캠퍼스)에 수용되어 있다.

The approximately 120 full-time faculty and 620 doctor of pharmacy students are housed on three campuses (the main UNC campus in Chapel Hill and satellite campuses in Elizabeth City and Asheville).

기초약학 II(PHCY 411)는 1학년 전문직 학생들에게 필요한 1년 과정의 두 번째 과정이다.

Basic Pharmaceutics II (PHCY 411) is the second course in a yearlong sequence required for first-year professional students.

본 코스를 재설계하기 전 9년 동안, 코스 코디네이터(R.J.M)는 전통적인 강의 형식을 사용하여 PHCY 411을 전달하였다(보충 디지털 그림 1, http://links.lww.com/ACADMED/A177 참조). 이 강의는 75분짜리 강의와 가끔 15분짜리 적극적인 학습 활동(퀴즈 또는 페어&쉐어 활동). 학생들의 지식을 평가하기 위해 강사들은 시험을 이용했다. 문제의 약 75%는 객관식이었고, 나머지는 단답형 및 논술형 문제였다.

In the nine years prior to this course redesign, the course coordinator (R.J.M.) delivered PHCY 411 using a traditional lecture format (see Supplemental Digital Figure 1, http://links.lww.com/ ACADMED/A177), which consisted of a 75-minute lecture and an occasional 15-minute active learning activity (quiz or pair & share activity).28,29 To assess students’ knowledge, instructors used examinations—approximately 75% of the questions were multiple-choice, while the remaining were short-answer and essay questions.

새로운 과목 형식

New course format

그림 1에서 보듯이, PHCY 411 뒤집힌 교실에서, 우리는 수업 시간 중 모든 강의를 자습하는 온라인 비디오로 오프로드하고, 예정된 수업 시간을 네 번의 능동적 학습활동으로 채웠다. 뒤집힌 교실의 평가에는 보다 비판적인 사고와 문제 해결 연습을 포함하도록 고안된 풍부한 도구들이 포함되었다.

As shown in Figure 1, in the PHCY 411 flipped classroom, we offloaded all in-class lectures to self-paced online videos and filled the scheduled class time with four active learning exercises. Assessment in the flipped classroom included a rich mixture of instruments designed to encompass more critical thinking and problem-solving exercises.

우리는 우리의 PHCY 411 뒤집힌 교실에서 세 가지 필수 요소, 즉 오프로드된 내용, 학생 중심 학습, 그리고 적절한 평가에 초점을 맞췄다.

we focused on three essential elements in our PHCY 411 flipped classroom: offloaded content, student-centered learning, and appropriate assessment.

수업 전 내용

Offloaded content.

UNC Esselman 약학대학원에서, 우리는 오프로드된 강좌 콘텐츠를 통합 학습 가속기 모듈(iLAM)이라고 부른다. 우리는 Echo360 강의실 캡쳐를 사용하여 25개의 컨텐츠 중심 iLAM을 미리 녹음하여 학생들이 어떤 컴퓨터나 인터넷이 가능한 기기에서도 언제든지 접속할 수 있는 웹 기반 학습 관리 시스템인 Sakai,31에 내장된 웹 사이트로 오프로드했다.31 학생들은 비디오를 일시 중지, 되감기, 빠르게 전달할 수 있었고 각각의 iLAM을 여러 번 볼 수 있게 되었고, 이것은 학생들이 그들 자신의 속도로 배울 수 있게 했다. 2011년 PHCY 411을 제공하기 위해 사용되는 PowerPoint 슬라이드의 iLAM을 채택하고, 중요한 개념, 정보 및 그림만 강조하도록 설계하였다.

At the UNC Eshelman School of Pharmacy, we refer to offloaded course content as an integrated learning accelerator module (iLAM).26,27 We prerecorded 25 content-focused iLAMs using Echo360 Classroom Capture30 and offloaded them to a Web site embedded in Sakai,31 a Web-based learning management system that students could access at any time on any computer or Internet-enabled device.31 Students had the ability to pause, rewind, and fast forward the videos and were allowed to view each iLAM multiple times, which enabled students to learn at their own pace. We adapted the iLAMs from PowerPoint slides used to deliver PHCY 411 in 2011 and designed them to emphasize only critical concepts, information, and illustrations.

최종 콘텐츠 중심의 iLAM을 개발하는 데 있어 한 가지 특별한 도전은 예년에 사용된 약 29시간의 강의를 통합consolidate하는 것이었다. 그러나, 우리는 이 단계가 학생들의 수업 외 준비 시간을 최소화하고 학생들이 수업에 오기 전에 배워야 할 중요한 개념만을 강조하기 위해 필요하다고 생각했다. 각 iLAM의 평균 길이는 34.6분(범위 21~55분)이었으며, 총 25개 강의의 총 시청 시간은 14.4시간이었다.

One particular challenge in developing the final content-focused iLAMs was consolidating about 29 hours of lectures used in previous years. However, we deemed this step necessary both to minimize students’ out-of-class preparation time and to emphasize only the critical concepts students needed to learn prior to coming to class. The average length of each iLAM was 34.6 minutes (range of 21–55 minutes), with a total viewing time for all 25 lectures of 14.4 hours.

학생중심학습

Student-centered learning.

미리 녹음된 iLAM과 배정된 교과서 및 배경 판독값을 수업 전 학생들의 준비 도구로 지정하여, 수업 내 모든 수업 시간은 학생들의 지식을 평가하고 비판적 사고를 촉진하며 토론을 촉진하기 위해 고안된 학생 중심의 학습활동에 전념하였다. 일반적으로 각 75분 수업은 다음과 같은 활동을 수용했다(그림 1 참조).

With prerecorded iLAMs and assigned textbook and background readings designated as preparatory tools for students prior to class, every in-class period was devoted to student-centered learning exercises designed to assess their knowledge, promote critical thinking, and stimulate discussion. In general, each 75-minute class accommodated the following activities (see Figure 1).

활동 #1(청중 응답 및 개방형 질문)28,29 클리커(또는 청중의 반응) 질문과 개방형 질문을 사용하여 할당된 iLAM과 수업 시작 시 판독치에 제시된 기본 개념에 대한 학생들의 이해를 평가했다. UNC Esselman 의 약학대학원은 모든 학생들이 이 프로그램에 합격시에 클릭커를 구매할 것을 요구한다. 수업 중에 강사는 7~10개의 질문 각각에 응답하기 위해 약 30초를 주었다. 그런 다음 강사는 반응을 분석하고 즉각적인 피드백과 관점을 제공했다. 클릭자 질문에 이어 강사는 iLAM, 판독치 또는 기타 관련 출처에 제공된 내용을 다루는 학생들로부터 질문을 받았다.

Activity #1 (audience response and open questions).28,29 We assessed students’ understanding of the basic concepts presented in the assigned iLAMs and readings at the beginning of class using clicker (or audience response) questions and open questions. The UNC Eshelman School of Pharmacy requires that all students purchase a clicker on acceptance into the program. During class, the instructor gave students approximately 30 seconds to respond to each of 7 to 10 questions. The instructor then analyzed the responses and provided immediate feedback and perspective. Following the clicker questions, the instructor invited questions from students that addressed content provided in the iLAMs, readings, or other related sources.

활동 #2(페어&쉐어 활동).28,29 각 수업은 세 가지 다른 유형의 페어&쉐어 활동 중 하나를 포함한다: 신속, 성찰, 사전 예방. 

• 신속한 페어&쉐어 활동에서, 강사는 수업 시간에 토론 질문을 제시하고 학생들이 서로 짝을 이루고 아이디어를 공유할 수 있는 시간을 주었다. 그런 다음 학생들은 강사의 요구에 따라 자신의 아이디어를 강의실에 제시했고, 강사는 피드백, 관점, 그리고 토론을 확대했다. 

• 이와는 대조적으로, 강사는 코스 웹사이트의 포럼 섹션에 수업 24시간에서 36시간 전에 온라인에 서찰적 페어&쉐어 질문을 올렸고, 학생들은 다음 수업 전에 체계적이고 잘 숙고된 답변(필요하다면 참고문헌이 있는 400단어)을 제공해야 했다. 강사는 반사적인 쌍과 질문을 공유하기 위해 특정 응답을 선택하고 수업 중에 토론하기 위해 제시하였다.

• 마지막으로, 학생 자원자들이 proactive하게 페어&쉐어 질문을 준비했다. 이 경우, 강사로부터 의견을 받은 한두 명의 학생이 강의 주제와 관련된 토론의 설계, 준비 및 조정을 담당했다. 본질적으로, 이 학생들은 해당 수업 중에 강사로 기능했다. Proactive 페어&쉐어 연습의 총 실행에는 5시간에서 7시간이 걸렸다.

Activity #2 (pair & share activities).28,29 Each class included one of three different types of pair & share activities: rapid, reflective, or proactive. 

• In rapid pair & share activities, the instructor presented a discussion question in class and gave students time to pair together and share ideas with one another. The students then presented their ideas to the class as requested by the instructor, who then followed up with feedback, perspective, and expanded discussion. 

• In contrast, the instructor posted reflective pair & share questions online 24 to 36 hours before class in the forum section of the course Web site, and students were required to provide a structured and well-thought-out answer (<400 words, with references if needed) prior to the next class. The instructor selected certain responses to reflective pair & share questions and presented them for discussion during class. 

• Finally, student volunteers prepared proactive pair & share questions. In this exercise, one or two students, with input from the instructor, were responsible for designing, preparing, and moderating a discussion related to the class topic. In essence, they functioned as the instructor during the corresponding in-class exercise. Total execution of the proactive pair & share exercise took 5 to 7 hours.

활동 #3(학생 프레젠테이션 및 토론) 이 활동에서, 4~5명의 학생들로 구성된 한 그룹은 배정된 읽기의 요약과 해석을 제시하고, 주제와 관련된 자료들에 대한 다른 학생들의 질문에 대답할 책임이 있다. 각 학급별로 최대 3개 그룹에게 발표 자료를 작성하여 제출하도록 하였다. 주사위 굴리기 방식으로, 강사는 강의실 토론을 주도할 세 그룹 중 하나를 무작위로 선정했다. 모든 그룹은 발표 대상자 선정 여부와 상관없이 발표 자료로 등급이 매겨졌고, 각 그룹의 모든 학생들은 같은 점수를 받았다. 단체들은 학기 중 두 차례 발표 자료를 준비해야 했고, 학생 한 명당 평균 총 작업시간은 3~5시간이었다. 대다수의 집단은 한 번, 단 두 개의 집단은 두 번 발표하도록 선택되었다.

Activity #3 (student presentations and discussion). In this activity, one group of four or five students was responsible for presenting a summary and interpretation of the assigned readings and answering other students’ questions about material related to that class’s topic. For each class, up to three groups were asked to prepare and submit presentation materials. By a dice roll, the instructor randomly selected one of those three groups to present and lead the in-class discussion. All groups were graded on their presentation materials regardless of whether they were selected to present, and all students in each group received the same grade. Groups were required to prepare presentation materials twice during the semester, and the average total work for each student was three to five hours for each preparation. The majority of groups presented once; only two groups were chosen to present twice.

활동 #4(개별 퀴즈 또는 쌍별 퀴즈). 각 수업이 끝날 때마다 강사는 10문제짜리 객관식 퀴즈를 보았다. 그리고 나서, 그는 전체 학생 업무량과 시험 일정에 따라 8개 학급에서 등급에 이르는 퀴즈를 골랐다. 퀴즈가 시행되었을 때, 강사는 학생들에게 그것이 그들의 최종 성적에 기여할지 여부를 통지했다. 각각의 퀴즈는 그 수업의 내용만을 다루었고, 어떤 경우에는 학생들이 짝을 지어 일하도록 허용하고 그 질문들에 대해 공개적으로 토론하도록 했다. 이 활동은 학생들이 코스 내용을 최신 상태로 유지하고 서로 배우도록 격려하고, 과정이 진행됨에 따라 강사에게 귀중한 피드백을 제공하였다.

Activity #4 (individual or paired quiz). At the end of each class, the instructor administered a 10-question multiple-choice quiz on paper; then, he selected the quizzes from eight classes to grade based on overall student workload and exam schedule. At the time the quiz was administered, the instructor notified the students whether it would contribute to their final grade. Each quiz covered only that class’s material, and, in some cases, students were permitted to work in pairs and openly discuss the questions. This activity encouraged students to stay current with the course content and learn from one another, and provided valuable feedback to the instructor as the course progressed.

소강의 .32 PHCY 411 뒤집힌 강의실의 중요한 구성 요소는 강사가 학생들의 학습을 강화하고 필요한 경우 방향을 전환하기 위해 사용하는 소강의이었다. 이러한 소강의는 전형적으로 1분에서 3분 정도 길이였으며, 교실 역학을 기초로 필요할 때 통합되었다. 소강의는 강사가 학생들을 활동적인 학습 환경의 혼란으로부터 "좋은 장소good place"로 되돌려 놓을 수 있는 기회를 제공했을 뿐만 아니라, 학생들로 하여금 [혼란이 있더라도 교수가 명확한 설명과 관점을 제공해줄 것]이라고 알게 함으로써, 학생들이 스스로 탐구하고 확장할 수 있도록 강화했다.

Microlectures.32 A critical component of the PHCY 411 flipped classroom was the microlecture, used by the instructor to reinforce and, if needed, redirect students’ learning. These microlectures were typically one to three minutes in length and were incorporated when needed on the basis of classroom dynamics. Not only did the microlectures provide an opportunity for the instructor to bring the students back to a “good place” from the chaos of an active learning environment but they also reinforced the idea that students could, in fact, explore and extend themselves knowing that the instructor would provide clarity and perspective when confusion ensued.

적절한 평가.

Appropriate assessment.

적절한 평가는 코스 재설계의 중심 신조였다. 클리커 질문, 페어&쉐어 활동과 같은 적극적인 참여 활동은 강사가 학생들의 학습에 대한 실시간 형성평가를 할 수 있도록 하고, 학생들의 지식의 gap이나 오해와 관련하여 즉각적인 피드백을 제공할 수 있도록 했다. 학생 프레젠테이션(최종 성적의 1.6%에 해당) 8개 등급의 퀴즈(총 12.9%), 3개의 예정된 시험(각각 16.1%), 종합 및 누적 최종 시험 1회(32.3%)이 과정 내용에 대한 학생들의 이해를 평가하고 원하는 학습 성과와 목표를 달성할 수 있는 학생들의 능력을 측정했다.

Appropriate assessment was a central tenet of the course redesign. Active engagement activities, like clicker questions and pair & share activities, enabled instructors to make real-time, formative assessments of students’ learning and provide immediate feedback concerning misconceptions or gaps in students’ knowledge. 

• Students’ presentations (worth 1.6% of the final grade), 

• eight graded quizzes (worth a total of 12.9%), 

• three scheduled examinations (each worth 16.1%), and 

• one comprehensive and cumulative final examination (worth 32.3%) 

...assessed students’ understanding of the course content and measured students’ ability to achieve desired learning outcomes and objectives.

학기 초에 배정된 두 개의 프로젝트는 추가적인 실습 기회를 제공하고, 더 높은 수준의 사고를 장려하며, 블룸의 학습 분류 체계 상단과 일치하도록 학생들의 분석, 종합, 평가 능력을 평가했다.34 첫 번째 프로젝트(패키지 삽입 분석, 4.8% 가치) 식품의약품안전청이 승인한 제품의 처방 정보에 PHCY 410 및 PHCY 411에서 학습한 개념을 적용한다. 두 번째 프로젝트(임상적 이론적 제안 개요)는 학생들에게 임상적 단점을 식별하고, 치료를 위한 투여량 양식을 설계하고, 3페이지 분량의 연구 제안 개요를 작성하도록 요청했다. 그러나 본 코스가 끝나기 전에 우리는 이 두 번째 프로젝트를 최대 3.2%의 추가 비용에 해당하는 선택적 보너스 연습으로 전환했다. 강의 시작 시 강사는 두 프로젝트의 예를 코스 웹 사이트에 게시했다.

Two projects assigned at the beginning of the semester provided additional practice opportunities, encouraged higher-order thinking, and assessed students’ ability to analyze, synthesize, and evaluate material, consistent with the top of Bloom’s Taxonomy of Learning.33,34 The first project (package insert analysis, worth 4.8%) required students to apply the concepts they learned in PHCY 410 and PHCY 411 to the prescribing information of a Food and Drug Administration–approved product. The second project (clinical pharmaceutics proposal outline) asked students to identify a clinical shortcoming, design a dosage form for treatment, and write a three-page research proposal outline. However, prior to the end of the course, we converted this second project to an optional bonus exercise worth up to an additional 3.2%. At the beginning of the course, the instructor posted examples of both projects to the course Web site.

마지막으로, 학생들은 온라인에서 성찰적 페어&쉐어 질문에 응답하거나(추가적인 1.6%에 해당), 사전 예방적 쌍과 공유 활동을 촉진하는 것에 대해 보너스 점수를 받았다(추가적인 3.2%에 상당).

Finally, students received bonus points for responding online to reflective pair & share questions (worth up to an additional 1.6%) or facilitating a proactive pair & share activity (worth up to an additional 3.2%).

과목 도입

Course implementation

우리는 그 뒤집힌 교실이 대부분의 학생들에게 새로운 경험일 가능성이 있다는 것을 인정했다. 그들의 이행transition을 용이하게 하기 위해, 우리는 코스에 대한 철저한 설명과 재설계의 동기를 상세히 설명하는 설명을 포함하는 포괄적인 실라버스를 제공했다. 또한, 우리는 학생들이 각 수업 전에 오프로드된 자료를 검토하고 수업 중 훈련에 적극적으로 참여할 것이라는 우리의 기대를 강조하는 코스의 성공 요령을 담은 가이드를 제공했다.

We recognized that the flipped classroom was likely a new experience for most students. To ease their transition, we provided a comprehensive syllabus that included a thorough description of the course and an explanation detailing our motivation for the redesign. In addition, we provided a guide with tips for success in the course, which emphasized our expectations that the students would review the offloaded material prior to each class and would actively engage in the in-class exercises.

이번 학기 내내, 우리는 이 새로운 형식 하에서 학생들의 수업 업무량 균형을 맞추는 능력을 면밀히 모니터했다. 우리는 학생들에게 부담을 주거나 기회를 제한하지 않고, 이 새로운 역동적인 환경에서 학생들의 강의 자료 탐색을 촉진하는 데 전념했다. 우리는 학생들이 학기 중에 계속해서 초기 투자해야 한다는 것을 인정했지만, 우리는 이 투자가 학생들이 시험 전에 공부하는데 시간을 덜 써야 하기 때문에 배당금을 지불했다paid dividends고 믿었다. 통상적인 비공식적인 학생 투표로, 우리는 학점당 수업 외 시간의 총 시간이 UNC 지침과 일치하도록 보장했다. 예를 들어, 학생들의 피드백에 대응하여, 우리는 임상 의학 제안서 개요 프로젝트를 학생들의 작업부하의 균형을 더 잘 맞추기 위해 선택적인 보너스 연습으로 전환하기 위해 학기 내내 약 4분의 3을 선택했다.

Throughout the semester, we closely monitored the students’ ability to balance the course workload under this new format. We were committed to facilitating students’ exploration of the course material in this new dynamic environment without burdening them or limiting their opportunities. We recognized that students had to invest time upfront and continuously during the semester, but we believed that this investment paid dividends as it required students to spend less time studying prior to exams. By routine, informal student polling, we ensured that the total out-of-class time per credit hour was consistent with UNC guidelines. In response to students’ feedback, for example, we chose about three-quarters of the way through the semester to convert the clinical pharmaceutics proposal outline project into an optional bonus exercise to better balance students’ workload.

뒤집힌 교실을 실행할 때, 우리는 교수진 시간과 자원도 고려할 것을 권고한다. 2012년에 교수진은 기존의 강의실을 준비하기 위해 2011년에 필요했던 것보다 뒤집힌 강의실을 준비하는 데 127%의 시간이 더 필요했다(보충 디지털 표 1, http:// 참조). 이러한 투입시간 증가의 이유는 강의 녹화, 능동적 학습활동 준비, 그리고 학업과 시험에 필요한 여분의 시간에 있었다. 그러나 리소스 재사용 능력과 코스 설계에 통합된 효율성 향상으로 2013년에 이러한 시간 약속을 줄일 수 있을 것이다.

When implementing the flipped classroom, we recommend that faculty time and resources also be taken into consideration. In 2012, faculty needed 127% more time to prepare the flipped classroom than they needed in 2011 to prepare the traditional classroom (see Supplemental Digital Table 1, http:// links.lww.com/ACADMED/A177). We attributed this increase in time commitment (93% for the teaching assistant and 170% for faculty) to the extra time required to 

• capture lectures, 

• prepare active learning exercises, and 

• grade projects and examinations. 

However, the ability to reuse resources and greater efficiencies incorporated into the course design will reduce these time commitments in 2013.

우리의 뒤집힌 교실 모델은 특히 사려 깊은 서면 피드백을 제공하는 것과 관련이 있기 때문에, 수업 촉진을 제외하고, 강사의 효율성과 전문성 수준에서 기능하는 고도로 훈련된 교사 보조자를 필요로 했다. 우리의 모델은 또한 보조교사가 주당 20시간(또는 학기당 약 260~270시간)을 이 과정에 할애하여 풀타임으로 일하도록 요구하였다. 2011년과 2012년 모두, 조교수는 Molecular Pharmakistics 부서에서 정규 박사 과정을 밟았고, 수업 참석, 근무 시간, 학생들과 의사소통, 과제 준비 및 등급 부여를 했다(보충 디지털 표 1, http://links.lww.com/ ACADMED/A177 참조).

Our flipped classroom model required a highly trained teaching assistant, who, except for class facilitation, functioned at the level of efficiency and expertise of the instructor, especially as it related to providing thoughtful written feedback. Our model also required that the teaching assistant work full-time, committing 20 hours per week (or about 260–270 hours per semester) to the course. In both 2011 and 2012, the teaching assistant was a full-time PhD student in the Division of Molecular Pharmaceutics who attended classes, held office hours, communicated with students, and prepared and graded assignments (see Supplemental Digital Table 1, http://links.lww.com/ ACADMED/A177).

교수진은 2013년에 2012년에 비해 필요시간이 크게 줄어들겠지만, 보조교사의 소요시간은 거의 동일할 것이다.

Although faculty will see a significant drop in time commitment in 2013 compared with 2012, the teaching assistant’s time commitment will be about the same.

과목 성과

Course Outcomes

과정 전·후 조사의 참여는 자발적이었지만, 코스 평가 참여는 코스에서 점수를 받도록 하였다. 과정 평가에 대한 식별자와 인구통계학적 정보를 수집하지 않았기 때문에, 우리는 학생들의 반응을 다른 수집된 데이터와 연결할 수 없었다.

Participation in the pre-and post- course surveys was voluntary; however, participation in the course evaluation was required to receive a grade in the course. Because we did not collect identifiers and demographic information on the course evaluations, we could not link students’ responses to any other collected data.

표 1은 2011 및 2012년 전체 인구 자료

Table 1 for complete 2011 and 2012 demographics

2012년 조사 응답자 중 82.0%는 25개의 iLAM을 모두 청취한다고 응답했으며, 15.3%는 20~24개의 iLAM을 청취하는 것으로 응답했다. 다음으로 79.3%는 일주일에 한 번 이상 iLAM을 시청하는 것으로 응답했으며, 19.3%는 주당 1개의 iLAM을 시청한다고 응답했다. 학생들은 학기 내내 과정 웹 사이트 194.09 ± 90.02회, iLAM 사이트 39.37 ± 16.84회에 접속했다. 온라인 참여척도와 기말고사 성적 사이의 모든 상관관계는 약했다(r = -0.04 p ~ r = 0.20). p 완료된 추가 신용 활동 수와 원시 최종 코스 등급 사이의 상관관계는 중간 수준이었다(r = 0.34). p

Of survey respondents in 2012, 82.0% reported listening to all 25 iLAMs, while an additional 15.3% reported listening to 20 to 24 iLAMs. Next, 79.3% reported watching iLAMs more than once a week, with an additional 19.3% reporting watching one iLAM per week. On average, students accessed the course Web site 194.09 ± 90.02 times and the iLAM site 39.37 ± 16.84 times throughout the semester. All correlations between online engagement measures and final exam performance were weak (r = −0.04 p to r = 0.20). The correlation between p the number of completed extra credit activities and raw final course grade was moderate (r = 0.34). p

Table 2

게다가, FC에서 출석률이 더 높았고(P = .03) 독립 t 검정에서는 2011년(160.06 ± 14.65)에 비해 2012년(165.48 ± 13.34) 기말고사 성적 사이에 통계적으로 유의미한 차이(P = .001)가 나타났다.

Furthermore, attendance was higher in the flipped classroom (P = .03), and an independent t test showed a statistically significant difference (P = .001) between final exam grades (out of 200 points) in 2012 (165.48 ± 13.34) compared with those in 2011 (160.06 ± 14.65).

Table 3 

코스 후 조사에서 학생들에게 iLAM의 가용성이 가장 큰 이점을 제공하는 3가지 방법을 선택하도록 요청했을 때, 90.0%는 iLAM이 "각 수업 시간에 대비할 수 있도록 도와줬다"고 답했고, 58.0%는 "내 속도로 학습할 수 있게 했다"고 답했고, 47.3%는 "시험 준비를 할 수 있게 했다"고 답했다. 47.3%는 iLAM이 "내 전체 학습 능력을 향상시켰다"고 지적했다. 91%의 학생들은 뒤집힌 교실의 전반적인 수업 형식이 학습을 크게 향상시켰다는 것에 강하게 동의하거나 동의했다. 전통적인 강의 형식에 대한 선호도는 전코스 조사의 109명(72.7%)에서 23명(15.4%)으로 감소했고, 뒤집힌 강의실 형식에 대한 선호도는 41명(27.3%)에서 126명(84.6%)으로 증가했다.

When students were asked on the postcourse survey to select up to three ways that the availability of iLAMs provided the most benefit, 90.0% indicated that the iLAMs “helped me prepare for each class session,” 58.0% indicated that the iLAMs “allowed me to learn at my own pace,” 47.3% indicated that the iLAMs “helped me prepare for the exams,” and 47.3% indicated that the iLAMs “improved my overall learning.” Ninety-one percent of students strongly agreed or agreed that the overall course format of the flipped classroom greatly enhanced their learning. Preference for the traditional lecture format decreased from 109 students (72.7%) in the precourse survey to 23 students (15.4%) in the postcourse survey, while preference for the flipped classroom format increased from 41 students (27.3%) to 126 students (84.6%)

(P < .001, 그림 2 참조). 어떤 학생도 flipped에서 traditional format으로 선호 방식이 바뀌지는 않았다.

(P < .001, see Figure 2). No students changed their preference from the flipped to traditional format.

다음 단계

Next Steps

우리는 내용물을 오프로드하고, 학생들을 적극적인 학습에 참여시키고, 적절한 성과를 평가하는 것이 학생들의 교실에서 학습 경험을 향상시키는데 필수적이라고 믿는다. 뒤집힌 교실의 개선된 결과는 부분적으로 자율성, 관련성 및 역량을 본질적인 동기 부여에 대한 선천적 필요성으로 식별하는 자기 결정 이론에 의해 설명될 수 있다.35

We believe that offloading content, engaging students in active learning, and appropriately assessing performance are essential for enhancing students’ learning experiences in the flipped classroom. Improved outcomes in the flipped classroom can be explained, in part, by self-determination theory, which identifies autonomy, relatedness, and competence as the innate needs for intrinsic motivation.35

여기서 코스 재설계 접근법을 구체적으로 기술했지만, 다양한 오프로드, 능동적 학습 및 평가 접근법을 이용할 수 있을 것이다. 예를 들어 오프로딩은 대신 장 또는 모듈, 캡처한 비디오, 강사 유인물 또는 교과서 뒤에 평가 도구가 내장된 고수준의 애니메이션 eBook을 사용할 수 있다. 또한, 학생들이 교실에서 능동적인 학습에 참여하도록 하기 위해 많은 다양한 도구를 사용할 수 있다.28,29 우리는 [우리가 사용한 구체적인 방법보다] 교실에서 콘텐츠를 오프로드하고 능동적인 학습에 참여하게 만드는 실천이 훨씬 더 중요하다고 믿는다.

Although we have specifically described our course redesign approach, we recognize that various offloading, active learning, and assessment approaches are available. For example, offloading may instead use high-level animated eBooks with built-in assessment tools after chapters or modules, captured video, instructor handouts, or textbooks. In addition, a plethora of different tools are available to engage students in active learning in the classroom.28,29 We believe that the actual practice of offloading content and engaging in active learning in the classroom is far more important than the specific methods we used.

2013년 봄 PHCY 411까지 다음과 같은 실질적인 변경을 수행했다.

To the spring 2013 PHCY 411, we made the following substantive changes:

1. 우리는 더 이상 교과서를 읽어야 한다고 생각하지 않는다. 왜냐하면 많은 학생들이 교과서가 시대에 뒤떨어진 것은 아닐지라도, redundant하다고 생각했기 때문이다.

1. We no longer considered the textbook to be required reading, because many students found it to be redundant, if not outdated.

2. 우리는 강의에서 배운 개념을 가장 잘 응용하는 12개의 현대 연구 논문의 그룹 토론에 기초하여 학생 발표와 토론을 새로운 30분간의 능동적 학습활동으로 대체했다.

2. We replaced the student presentations and discussion with a new 30-minute active learning exercise based on group discussions of 12 contemporary research articles that best apply concepts learned in the course.

3. 강사는 강의 시간 외 온라인에서 웹사이트를 통해 20분짜리 퀴즈를 관리하고 등급을 매겼다.

3. The instructor administered and graded 20-minute quizzes (taken alone or paired) online outside of class time via the course Web site.

4. 패키지 삽입 분석은 필수 과제로 남았지만, 수업 마지막 날 모든 학생들이 학습 경험으로 다른 세 학생의 프로젝트를 검토하고 등급을 매겼다.

4. The package insert analysis remained a required project; however, on the last day of class, all students reviewed and graded three other students’ projects as a learning experience.

5. 개념 확대, 신기술, 속보, 현행 임상시험, 신약제품, 웹링크 등을 위한 정보 포털로 활용할 수 있는 온라인 411 파마코피디아을 개발했다.

5. We developed an online 411 Pharmacopedia to be used as an information portal for expanding concepts, new technologies, breaking news, current clinical trials, new drug products, and Web links.

Conclusions

The flipped classroom: a course redesign to foster learning and engagement in a health professions school.

TBL을 위한 촉진자 평가도구(Teach Learn Med, 2019)

The Facilitator Instrument for Team-Based Learning (FIT)

Ruth E. Levinea, Peggy Hsiehb, P. Adam Kellyc, Lisa Carchedid, Jennifer Gibsone, Paul Haidetf, Paul Kolesg, Lindsey Pershernh, Dawnelle Schattei, Brenda Talleyj, Dwight Wolfa, and Britta Thompsonf

배경

Background

TBL은 학생들이 교직원 시간을 크게 늘리지 않고도 대규모 학급에 내장된 작은 팀들에 참여할 수 있게 해주기 때문에 보건과학 교육에서 인기 있는 교육방법으로 자리 잡았다. TBL은 한 명의 교수만 있어도 최대 400명의 학습자로 구성된 대규모 수업에서 성공적으로 수행되는 것으로 알려져 있다.

Because TBL enables students to engage in small teams embedded within large classes without a significant increase in faculty time, it has become a popular pedagogy in health science education. TBL has been purported to be successfully conducted in large classes of up to 400 learners,9 even with only one faculty facilitator.

TBL 진행은 강의와도 다르고 PBL(문제 기반 학습)과 다른 유형의 소그룹 진행과도 다르다.10,11 PBL과 대조적으로, TBL 진행자는 종종 내용 전문가여야 하며 개념을 명확히 하고 세션에서 가장 중요한 점을 강조해야 한다. TBL 조력자는 논의를 가이드하고 많은 학습자 그룹에게 탐색질문을 던져야 한다. TBL 조력자들은 강사와는 대조적으로, 학생들에게서 말하기 보다는 그들과 대화하고 답을 끌어내야 한다. 그들은 토론과 비건설적인 논쟁을 장려하는 동시에 생산적인 논쟁이나 접선적인 토론을 방해함으로써 종종 큰 교실에서 학생들의 팀들 간의 상호작용을 촉진해야 한다.12 비록 고품질의 TBL 촉진을 달성하기 위해서는 독특한 기술이 분명히 필요하지만, 현재까지 특별히 TBL 촉진 퀄리티를 평가하기 위한 어떤 도구도 개발되지 않았다.

TBL facilitation differs from both lecture and other types of small group facilitation such as that used in Problem-Based Learning (PBL).10,11 In contrast to PBL, TBL facilitators must often be content experts, clarifying concepts and highlighting the most important points of a session. TBL facilitators must guide discussion and ask probing questions to large groups of learners. In contrast to lecturers, TBL facilitators must talk with and draw answers from students rather than talk at them. They must facilitate interactions between teams of students, often in large classrooms, by encouraging discussion and nonconstructive controversy, while discouraging productive argument or tangential discussion.12 Although a unique skill set is clearly necessary to achieve high quality TBL facilitation, to date no instrument has been developed specifically to assess the quality of TBL facilitation.

교수진 승진 및 기타 시상 및 보상과 같은 고부담 의사결정에 학습자 평가learner rating의 사용이 증가함에 따라, 13,14 TBL 촉진 품질을 정확하게 평가할 수 있는 학습자 등급 평가 도구를 보유하는 것이 중요하다. 본 연구의 목적은 의학교육에서 크고 작은 그룹 환경 모두에서 팀 기반 학습 촉진 기능의 품질을 평가하기 위한 타당성과 신뢰성의 증거를 가진 도구를 만드는 것이었다.

With the increasing high stakes use of learner ratings for decision making purposes such as faculty promotion and other awards and rewards,13,14 it is important to have a learner rating instrument that accurately evaluates the quality of TBL facilitation. The purpose of our study was to create an instrument with evidence of validity and reliability to evaluate the quality of Team-Based Learning facilitation in both large and small group settings in medical education.

the Facilitator Instrument forTBL(FIT).

방법

Methods

도구 개발

Instrument development

문항 생성

Item generation

목적적합하고, 대표적이며, 기술적인 품질의 도구를 만들도록 하기 위해, TBL 교육자 국제 연합의 3명의 핵심 지도자로 구성된 15명, "팀 기반 학습 협업" 또는 TBLC (www.teambasedlearning.org),으로 알려져 있음, TBL 촉진 품질을 평가하기 위한 도구를 만들어야 할 필요성을 확인하였다.

To ensure that we created an instrument that was relevant, representative, and of technical quality,15 a core group of 3 leaders of the international association of TBL educators, known as the “Team-Based Learning Collaborative” or TBLC (www.teambasedlearning.org), identified the need to create an instrument to evaluate the quality of TBL facilitation.

그 후 핵심 그룹은 기기에 대한 콘텐츠 유효성을 개발하고 제공하기 위해 TBL 전문가 패널을 식별했다.

The core group then identified a TBL expert panel to develop and provide content validity for an instrument.

총 12명의 전문가(핵심 3명, 패널 9명)가 있는데, 이는 문헌이 제시한 범위에 잘 포함되어 있다.20

a total of 12 experts (3 core and 9 panelists), which is well within that suggested by the literature.20

그룹(핵심 그룹 및 패널리스트)은 TBLC의 연례 회의 중 하나에서 장시간 대면했다. 문헌에 근거하여, 그룹은 TBL 촉진 구조가 단차원적이라고 가정했다.14

The group (core group and panelists) met face-toface for an extended time during one of the annual meetings of the TBLC. Based on the literature, the group assumed the TBL facilitation construct to be uni-dimensional.14

그 그룹은 고품질의 TBL 촉진과 관련된 행동에 대해 합의를 보았다.

The group came to consensus regarding the behaviors associated with high quality TBL facilitation.

도구 개발

Instrument design

모든 행동 항목은 "TBL 세션 동안 교수진 경험을 평가하기 위해 이 양식을 사용하십시오"라는 지침과 함께 전혀그렇지 않음의 1점부터 완전히 그렇다의 7점까지 7점 만점으로 평가되었다.

All behavioral items were rated on a 7-point scale from not at all ¼ 1 to completely ¼ 7 with instructions to “Please use this form to rate your experiences with faculty during your TBL session.

응답 프로세스

Response process

예비 학생들이 항목과 대응 앵커를 의도한 대로 해석할 수 있도록 하기 위해(a: 대응 프로세스 또는 유효성의 실질적인 측면) TBL에는 익숙하지만 이 평가도구 개발에 참여하지 않은 4년차 의대생 6명을 포커스 그룹에 채용했다.

To ensure that prospective students would interpret the items and response anchors as intended (aka: validresponse process or substantive aspect of ity),15,20,23 six 4th-year medical students who were familiar with TBL but were not part of the instrument’s development were recruited for a focus group.

학생들은 도구의 사본을 받아 완성하도록 한 다음, 응답 규모와 함께 각 항목을 채울 때 어떤 생각을 하고 있는지 설명해 달라는 요청을 받았다. 그들은 또한 혼란스러운 워딩도 함께 설명해 달라는 요청을 받았다. 그들의 피드백을 바탕으로, 응답 오류의 가능성을 줄이기 위해 단어 명료성을 위해 7개의 항목을 수정했다. 응답 앵커에 대한 변경은 없었다.

The students were given a copy of the instrument, asked to complete it, and then asked to describe what they were thinking about as they filled out each item along with the response scale. They were also asked to describe any confusing wording. Based on their feedback, seven items were modified for word clarity to decrease the likelihood of response error. No changes were made to the response anchors.

파일럿 테스트

Pilot test

장소와 참가자

Sites and participants

내적구조타당도

Internal structure validity

FIT의 척도 특성을 결정하기 위해 내부 구조를 분석했다.

To determine the scale properties of the FIT, we analyzed the internal structure.

맥락 민감성

Context sensitivity

파일럿에서, 우리는 FIT 복합 점수와 TBL, 나이 및 성별을 촉진하는 데 있어 자신감과 즐거움, 년수와 연간 대략적인 시간을 포함하여 촉진자의 다양한 자체 보고 특성과 상관관계를 맺었다.

In our pilot, we correlated FIT composite scores with a variety of self-reported characteristics of facilitators including number of years and approximate hours per year facilitating TBL, confidence and enjoyment in facilitating TBL, age, and gender.

결과

Results

참가자

Participants

학교 및 코스의 특성은 표 1에 기술되어 있다.

Characteristics of the schools and courses are described in Table 1.

물론, 1학년과 2학년은 과목당 90명에서 200명까지, 3학년 임상 과정(모든 정신의학 임상실습)은 규모가 6년에서 32명에 이르는 소규모였다.

Of note, the year 1 and 2 pre-clinical courses were predominately large in size, ranging from 90 to 200 students per course, and the year 3 clinical courses (all psychiatry clerkships) were small, ranging in size from 6to 32. 

(조달자의 기술 통계 자료는 표 2 참조).

(see Table 2 fordescriptive statistics of the facilitators).

내적구조타당도

Internal structure validity

탐색적 요인 분석에 근거하여 척도에 부정적으로 적재된 항목을 하나 제거하여 13개 항목을 도출하였다.

Based on exploratory factor analysis, we eliminated one item that negatively loaded on the scale, resulting in 13 items.

모든 항목이 상관성이 높았기 때문에, 가장 낮은 항목 총 상관성과 가장 낮은 항목 총 상관성을 나타내는 두 항목을 제거하여, 두 개의 추가 항목이 삭제되었다.

because all items were highly correlated, we eliminated two items that showed the lowest loadings as well as the lowest item-total correlations, resulting in the deletion of two additional items. 

FIT 항목의 최종 사본과 각 항목의 설명통계 및 항목 간 상관관계는 표 3에서 볼 수 있다. 

A final copy of the FIT items along with descriptive statistics for each item and inter-item correlations canbe seen in Table 3. 

맥락 민감성

Context sensitivity

FIT 평균 종합 점수는 6.19(SD1⁄41.10)이었다.

The FIT mean composite score was 6.19 (SD¼1.10).

표 4: 촉진자 특성 및 FIT 등급 분석

Table 4 for analysis of facilitator characteristics and FIT ratings

고찰

Discussion

TBL과 관련된 긍정적인 학습 성과는 TBL 문헌에 잘 나타나 있다. 여러 문헌에서 또한 TBL 촉진자들이 대규모 수업을 관리하고 소그룹을 촉진하기 위해 고급 교수 기술을 보유해야 한다고 강조한다.1–3,10,12,26 

The positive learning outcomes associated with TBL are well established in the TBL literature. This literature also emphasizes that TBL facilitators must possess advanced teaching skills to manage a large class and facilitate small groups.1–3,10,12,26 

교수진 승진, 급여, 수상 및 기타 고부담 결정에 대한 학습자 평가의 점점 더 큰 이해 관계 특성 때문에 TBL 촉진 기술의 유효한 척도가 필요하다.13 

The increasingly high stakes nature of learner evaluations for faculty promotion, salary, awards, and other high stakes decisions necessitates the need for a valid measure of TBL facilitation skills.13 

학급 크기가 중요한가? 일반 교육 문헌에 따르면 (일부 연구에서는 매우 거나 매우 큰 규모의 학급에서 평가가 상대적으로 높은 곡선 관계를 발견했지만) 일반적으로 학생 등급은 작은 규모의 학급에서 약간 더 높은 경향이 있다.27 TBL 문헌은 TBL 방법을 최대 400명의 학생으로 구성된 수업에서 사용할 수 있다고 한다.

Does class size matter? The general education literature suggests that student ratings of teachers tend to be slightly higher in small classes, although some studies have found the relation to be curvilinear with very small and very large classes rated highest.27 The TBL literature suggests that the TBL method can be used in classes of up to 400 students.

최근 Menenenga와 Ostebo가 TBL에 대한 학생 만족도를 조사한 결과, 가장 작은 규모(n1⁄434)가 중간 규모(n1⁄469)와 큰 규모(n1⁄420)에 비해 TBL에 대한 선호도가 가장 높고, TBL에 대한 평가가 가장 높은 것으로 나타났다.28 톰슨 외 연구진들은 학급 규모와 집단 규모가 [소규모일 경우 TBL의 성공적인 구현을 서포트하는 enabler이고] [대규모일 경우 TBL 구현에 어려움을 주는 inhibitor]라고 제안했다. 우리는 참여 유지, 팀원의 업무 수행 유지, 정교한 질문 기법 사용, 그리고 다른 촉진 행동들이 300명에 비해 30명의 학생들로 이루어지기 더 쉽다는 것을 강조한다.

A recent study by Mennenga and Ostebo regarding student satisfaction with TBL showed that the smallest class (n¼34) reported the highest level of satisfaction, had the highest preference for TBL and the most favorable assessment of TBL compared to the medium (n¼69) and large (n¼120) classes.28 Studies by Thompson et al.29–31 suggested that class size and group size was either an enabler, with small classes supporting successful implementation of TBL, or an inhibitor, with large classes making implementation challenging. We purport that maintaining engagement, keeping teams on task, using elaborative interrogation techniques, and other facilitation behaviors are easier to accomplish with 30 students compared to 300.

FIT를 사용한 TBL 촉진에 대한 평가를 고부담 결정에 사용할 경우 잠재적으로 중요한 맥락으로 클래스 크기를 고려해야 한다.

Any evaluation of TBL facilitation using the FIT should take into account class size as a potentially important context if using the instrument for any high stakes teaching decisions.

학생들은 임상실습 과정 동안 그들의 지원자들을 더 높게 평가하는가? 의과대학 전반에 걸쳐, 더 대규모로 이뤄지는 전임상 과정의 과정 내용은 소규모로 이뤄지는 임상 과정의 과정 내용과 다르며, 이 연구에 참여한 학교도 다르지 않았다. 일반 교육에 대한 포괄적인 리뷰에서, 벤튼과 캐신14는 학급 규모, 학문분야, 그리고 학생들의 동기 부여가 학습자의 등급과 관련이 있을 수 있다는 것을 발견했다. 이들은 상위 학년의 강좌가 하위 학년보다 약간 더 우수하고, 인문·예술 강좌가 수학과 과학 과목보다 높게 평가되었으며, 과목이나 내용에 대한 선행 관심도가 높은 강좌가 더 높은 평가를 받는 것으로 조사됐다. 따라서 학생들이 임상 과정 중 실제 촉진자 기술 수준 또는 어쩌면 학급 규모에 관계 없이 임상 과정 이전의 과정과 비교하여 TBL 촉진 기술을 더 높게 평가할 수 있다. 또한, 고부담의 표준화 시험(즉, USMLE Step 1)과 같은 임상 전 커리큘럼 동안 경쟁적으로 요구되는 상황에서, 학생들은 TBL과 같은 능동적인 학습 전략에 참여하기 위한 buy-in을 줄일 수 있다.

Do students rate their facilitators higher during the clerkship curriculum? Across medical schools, the course content of the larger preclinical courses is different than the course content of smaller clinical courses, and the schools involved in this study were no different. In a comprehensive review of general education, Benton and Cashin14 found that class size, academic discipline, and student motivation may be related to learner ratings. They found that higher-level courses were rated slightly better than lower-level courses, humanities and arts courses were rated higher than math and science courses, and courses in which students had prior interest in the course or material were rated higher. Therefore, it is possible that students may rate TBL facilitation skills higher during clinical courses compared to pre-clinical courses, regardless of true facilitator skill level or perhaps even class size. Moreover, with competing demands during the pre-clinical curriculum such as high stakes standardized exams (ie, USMLE Step 1), students may have less buy-in for participating in active learning strategies such as TBL.32,33

촉진자가 TBL을 얼마나 즐기는가가 중요한가? 일부 연구는 에너지/열정, 질서정연, 자존심과 같은 요소들이 교사들의 수업 관행에 긍정적인 영향을 미치는 것으로 보여졌기 때문에 교사들의 평가에 영향을 미칠 수 있다는 것을 보여주었다. 가르치는 것을 즐긴다는 것은 교육의 질에 영향을 미칠 수도 있고, 이 경우, 아마도 촉진성의 질에 영향을 미칠 수도 있다. 사실, 수학 수업에서 중학생들을 대상으로 한 이전의 연구에서, 교사들의 가르치는 것에 대한 즐거움에 대한 보고는 교실 내의 감정 전달이라고 불리는 학생들의 즐거움과 긍정적으로 연관되어 있는 것으로 나타났다.35  아마도 그것은 의과대학에서, 특히 TBL의 편의를 위해 다르지 않을 것이다. 향후 연구에서 촉진자 즐거움이 인지된 촉진자 품질에 영향을 미칠 수 있다고 밝혀진다면, 우리는 이것이 추가 조사를 위한 중요한 영역이라고 주장한다.

Does facilitator enjoyment of TBL matter? Some studies have indicated that factors such as energy/ enthusiasm, orderliness, and self-esteem may influence teacher ratings since these have been shown to positively impact teaching practices. Enjoyment of teaching can impact the quality of teaching, or for this case, perhaps the quality of facilitation.14,34 In fact, in a previous study with middle school students in math classes, teacher reports of their enjoyment of teaching were shown to be positively related to student enjoyment, referred to as emotional transmission within the classroom.35 Perhaps it is no different in medical school, specifically for TBL facilitation. If future studies indicate that facilitator enjoyment of the method can impact the perceived quality of facilitation, we purport that this is an important area for further investigation.

성별이 TBL 촉진 퀄리티와 관련된 요소인가? 교육 문헌의 검토는 교사의 평가에 성별이 미치는 영향이 뒤섞여 있음을 시사하며, 27 어떤 연구는 여성 강사에 비해 남자 강사에 대한 높은 평가 점수를 보고하고, 다른 연구는 그 반대의 모습을 보이며, 그리고 다른 연구는 여전히 교사 등급에 대한 학생 평가에서 성별 차이가 없음을 보여준다.14,36–더 자세히 설명하면, 여성 강사들이 배려하고, 접근 가능하고, 좋은 관계형 환경을 조성하는 것으로 묘사될 가능성이 더 높은 반면, 남자 강사들은 과정 계획, 능력, 지식 및 조직력에 대해 높은 평가를 받을 가능성이 더 높은 것으로 나타났다.36

Is gender a factor related to quality of TBL facilitation? A review of the education literature suggests the impact of gender on teacher evaluations is mixed,27 with some studies reporting higher evaluation scores for male instructors compared to female instructors, others showing the reverse, and still other studies no gender differences in student evaluation of teacher ratings.14,36–41 Examining this literature in greater detail indicated that female instructors were more likely to be described as caring, approachable, and fostering a good relational climate whereas, male instructors were more likely to receive high ratings for course planning, competence, knowledge, and organizational skills.36

한계

Limitations

타당성 추가 증거를 확립하기 위해, FIT는 더 많은 촉진자를 가진 다른 모집단에서 평가되어야 하며, 클래스 크기, 성별, 과정 유형, TBL 세션 길이, 방법론의 촉진자 즐거움 및 잠재적으로 추가 변수를 탐구해야 한다.

To establish additional evidence of validity, the FIT needs to be assessed in different populations with more facilitators, exploring class size, gender, course type, TBL session length, facilitator enjoyment of the methodology, and potentially additional variables.

Conclusions

Teach Learn Med. 2019 Aug 7:1-9. doi: 10.1080/10401334.2019.1646653. [Epub ahead of print]

The Facilitator Instrument for Team-Based Learning (FIT).

의과대학 교육과정에서 TBL: PBL보다 나은가? (BMC Med Educ, 2017)

Team-based learning (TBL) in the medical curriculum: better than PBL? 

Annette Burgess1*, Jane Bleasel1, Inam Haq1, Chris Roberts1,2, Roger Garsia3,4,5, Tomas Robertson1,3 and Craig Mellis1,3

배경

Background

국제적으로, 의과대학은 오랫동안 하이브리드 문제 기반 학습 (PBL) 커리큘럼을 개발하기 위해 다양한 접근법을 사용해 왔다[1]. 그러나 시간이 지남에 따라, 이러한 다수의 하이브리드 PBL 모델은 덜 효과적이 되었고, 의도된 학생 중심 학습 철학에 따라 점점 더 정렬되었다[2]. 대면 PBL 그룹 미팅 시간이 광범위하지만 그룹 작업에 대한 기여에 대한 개인의 책임이 제한됨에 따라, 하이브리드 PBL 모델에 대한 학생 만족도는 최근 몇 년 동안 감소하였다[2].

Internationally, medical schools have long used a variety of approaches to develop hybrid Problem based learning (PBL) curricula [1]. However, over time, a number of these hybrid PBL models have become less effective, and decreasingly aligned with the intended student-centred learning philosophy [2]. With extensive face-to-face PBL group meeting time, yet limited individual accountability for contribution to group work, student satisfaction with hybrid PBL models has decreased in recent years [2].

PBL에 대한 불만족감은 

• 큰 규모의 학생 그룹(n = 10), 

• PBL의 시간 집약도(매주 2회 1.5시간 세션), 

• 불충분한 동료 참여, 그리고 

• 진행자의 가변적 전문성, 교수 경험 및 열성에서 비롯되었다[3]. 

Dissatisfaction with PBL has arisen from 

• increasingly larger groups of students (n = 10), 

• the time intensiveness of PBL (two 1.5 h sessions each week), 

• insufficient peer engagement, and 

• the variable expertise, teaching experience and enthusiasm of facilitators [3]. 

PBL에 대한 우리 학생들의 의견이 감소하는 것은 코호트 전체에 걸친 표준화의 부족과 시간 효율적인 학습 전략에 대한 가치 증가 때문이라고 할 수 있다[3]. 이전 연구들도 마찬가지로 "무계획적" PBL 튜토리얼 프로세스와 학생들의 무책임함이 학생 불만족의 주요 기여요인임을 보고했다[4–6].

Our students’ declining opinion of PBL, can be attributed to lack of standardisation across the cohort, and the increasing value placed on time efficient learning strategies [3]. Earlier studies similarly reported “haphazard” PBL tutorial processes, and lack of student accountability as key contributors to students’ dissatisfaction [4–6].

혼합 학습 접근법을 채택한 PBL의 대안은 팀 기반 학습(TBL)이며, 최근 의학 교육에서 인기를 얻고 있다[9]. TBL은 의료 교육자가 학생들에게 실제 임상 문제를 해결하기 위해 팀 내에서 일하는 자원 효과적이고 진정한 경험을 제공할 수 있도록 한다[10].

An alternative to PBL that adopts a blended learning approach, is Team-based learning (TBL), which has gained recent popularity in medical education [9]. TBL allows medical educators to provide students with resource effective, authentic experience of working in teams to solve real life clinical problems [10].

2016년, 우리는 1차 의료 프로그램의 근골격계 과학, 호흡기 과학, 심혈관 과학 블록 전반에 걸쳐 지속 가능하고 표준화된 TBL 모델을 통합하고자 했다.

In 2016, we sought to incorporate a sustainable and standardised TBL model across the Musculoskeletal sciences, Respiratory sciences, and Cardiovascular sciences blocks of the Year 1 medical program.

하이데(2012년)에 따르면, "TBL 방법의 기초가 되는 7가지 핵심요소는 1) 팀 구성, 2) 준비성 보장(RA), 3) 즉각적인 피드백, 4)급 문제 해결 순서, 5) 4가지 S의 (중대한 문제, 동일 문제, 특정 선택 및 동시 보고), 6) 인센티브 구조, 7) 동료 검토[10]이다.].

According to Haidet (2012), the “seven core design elements that underlie the TBL method” are: 

• 1) team formation, 

• 2) readiness assurance (RA), 

• 3) immediate feedback, 

• 4) sequencing of in-class problem solving, 

• 5) the four S’s (significant problem, same problem, specific choice, and simultaneous reporting), 

• 6) incentive structure, and 

• 7) peer review [10].

방법

Methods

표본과 참여자

Sampling and participants

PBL과 TBL세션 내용

Content of the PBL and TBL sessions

Table 1.

PBL의 구조

Structure of problem based learning

학생들은 10명의 학생들로 구성된 PBL 그룹에 배정되었다. 이 프로그램의 1학년과 2학년 동안 학생들은 별도의 날에 대학 캠퍼스에서 1.5시간씩 매주 두 개의 PBL 튜토리얼을 들었다. 첫 번째 PBL 세션은 학생 주도였고, 두 번째 PBL 세션에는 촉진자가 참석했다. 학생들은 그룹 멤버들과 협력하여 두 PBL 세션 사이에 임상 문제를 분석하고 가설을 공식화하며 자기주도 학습 과제를 수행할 것으로 기대되었다.

Students were assigned to PBL groups of ten students. During Year 1 and Year 2 of the program, students attended two 1.5 h weekly PBL tutorials on university campus on separate days. The first PBL session was student led, and a facilitator was present at the second PBL session. In collaboration with their group members, students were expected to analyse a clinical problem, formulate hypothesis, and undertake selfdirected learning tasks between the two PBL sessions.

TBL의 구조

Structure of team-based learning

TBL 세션은 일반적으로 발생할 수 있는 두 개의 PBL 세션을 대체하여 2시간 동안 매주 한 번씩 개최되었다.

The TBL sessions were held once per week for two hours, replacing the two PBL sessions that would normally occur.

팀 형성

Team formation

학생들의 성별, 국제 지위 및 과학 배경에서 잠재적인 불일치를 줄이기 위해, 선형 방정식 시스템을 사용하여 학생들을 TBL 팀으로 배분이 최소화되었다[11]. 학생들은 5~6명 중 한 명으로 구성된 팀에 배정되었고, 각 교육 구역에 대해 팀들이 함께 남아 있었다.

To reduce potential discrepancies in gender, international status, and science background of students, allocations of students into their TBL teams was carried out with a minimisation technique using a system of linear equations [11]. Students were allocated to teams consisting of either five or six students, and teams remained together for each teaching block.

수업 전 읽기자료

Pre-class reading

수업 중 스케줄

In-class schedule

수업 중 구조는 표 2에 요약되어 있다.

The structure during class is outlined in Table 2

우리는 공식적인 동료 평가나 공식적인 인센티브 구조를 포함하지 않았다. 오히려, 우리는 학생들이 TBL 준비 과정과 문제 해결 활동을 준비하고 참여하도록 팀에 대한 책임감에 의해 동기 부여를 받을 것이라고 가정했다. 우리는 또한 문제 해결 활동 동안 학생 팀들이 동시에 공개하는 특정한 선택보다는 개방형 응답을 사용했다는 점에 주목한다.

we did not include formal peer evaluation or a formal incentive structure. Rather, we assumed that students would be motivated by a sense of accountability to their teams to prepare and participate in the TBL readiness assurance process and problem-solving activities. We also note that we used open-ended responses during the problem solving activities, rather than a specific choice that is simultaneously disclosed by student teams.

자료 수집과 분석

Data collection and analysis

설문

Questionnaires

각 교육 블록의 완료 후 학생 참가자들에게 PBL에 관한 질문지 1개와 TBL에 관한 질문지 2개가 배포되었다.

Two questionnaires, one regarding PBL, and one regarding TBL, were distributed to student participants following the completion of each teaching block

이 설문지는 의학교육에서 팀 프로세스의 품질을 측정하기 위해 톰슨과 동료(2009)가 설계한 검증된 설문지에서 채택되었다[12]. 세션의 최고와 최악의 특징을 이끌어내기 위해 열린 질문도 받았다.

The questionnaire was adapted from a validated questionnaire designed by Thompson and colleagues (2009), to measure the quality of team processes in medical education [12]. Open-ended questions were also asked to elicit the best and worst features of the sessions.

결과

Results

설문: 학생 설문

Questionnaire: Student questionnaire

PBL에서의 경험에 관한 닫힌 항목에 대한 학생들의 반응은 그림. 1. TBL에서의 경험에 관한 동일한 닫힌 항목에 대한 학생들의 반응은 그림. 2. TBL과 관련된 두 가지 추가 질문에 대한 응답은 그림. 3에 나타나 있다.

Student responses to closed items regarding their experience in PBL are shown in Fig. 1. Student responses to the same closed items regarding their experience in TBL are sown in Fig. 2. Responses to two additional questions specific to TBL are shown in Fig. 3.

또한, 그림 3에서 보듯이, 대다수의 학생(83%)은 TBL에서 "수업 시작시의 개인 및 팀 시험이 나의 학습에 도움이 되었다"고 강하게 동의하거나 동의했으며, 69%는 "집단 간의 비교가 나의 학습을 향상시켰다"고 강하게 동의하거나 동의했다.

Additionally, as shown in Fig. 3, the majority of students (83%) strongly agreed or agreed that in TBL, the “individual and team tests at the beginning of class assisted in my learning”, and 69% strongly agreed or agreed that the “Competitiveness between groups enhanced my learning”.

PBL의 가장 잘 인식되고 가장 어려운 특징에 관한 공개 질문의 답변은 표 3과 4에 각각 예시되어 있다.

Responses to open ended questions regarding students’ perceived best and most difficult features of PBL are illustrated in Tables 3 and 4 respectively.

고찰

Discussion

결과는 학생들이 그들의 TBL에서의 경험이 PBL에서의 경험보다 압도적으로 더 긍정적이라는 것을 발견했다는 것을 보여준다. 학생들은 PBL의 10개 그룹과 비교하여 5, 6명의 학생들로 이루어진 소규모 그룹에서 일하는 것이 참여와 동료 학습의 증가라고 보고했다.그들은 준비 보증 프로세스가 동기를 부여하고 흥미를 유발한다는 것을 알았다.

Results indicate that students found their experience inTBL to be overwhelmingly more positive than their ex-perience in PBL. Students reported working in smallgroups of five or six students, compared to larger groupsof 10 in PBL, increased participation and peer learning.They found the readiness assurance process motivating and engaging;

학생들은 PBL에서 임상적 추론과 토론의 기회를 즐겼지만, 강사의 가변적 경험과 제한된 방향, 그리고 큰 그룹 크기가 학습에 방해가 된다는 것을 알게 되었다.

Although students enjoyed opportunities for clinical reasoning and discussion in PBL, they found the variable experience of tutors, limited direction, and large group size hindered their learning.

TBL의 구조는 학생들이 팀으로 일하고, 증거를 종합하고, 서로 의사소통할 수 있도록 준비하는데 도움이 되는 요소들을 가지고 있다.

The structure of TBL has elements conducive to preparing students to work in teams, synthesise evidence, and communicate with each other.

특히, TBL의 경우, 93%의 학생들이 "모든 팀 구성원들이 토론에 참여하기 위해 노력했다"고 강하게 동의하거나 동의한 반면, PBL의 46%는 찬성했다. TBL을 위한 필수 지식 획득을 위한 지정된 준비로 인해 수업 중 학습 콘텐츠의 부담이 변경되었다[17]. 대다수의 학생들(83%)은 TBL에서 "수업 초의 개인 및 팀 시험이 나의 학습에 도움이 된다"는 것에 강하게 동의하거나 동의했다.

Notably, in TBL, 93% of students strongly agreed or agreed that “all team members made an effort to participate in discussion”, compared to 46% in PBL. Designated preparation for essential knowledge acquisition for TBL shifted the burden of learning content during class [17]. The majority of students (83%) strongly agreed or agreed that in TBL, the “individual and team tests at the beginning of class assisted in my learning”.

학생들은 TBL에서 더 준비된 상태로 수업에 출석할 가능성이 더 높았고, 그 결과 팀과 수업 토론의 질이 향상되었다고 말했다.

Students noted they were more likely to come to class prepared in TBL, hence the quality of team and class discussion improved.

개별 학생의 준비 요건이 달랐던 PBL과 달리, TBL에서는 모든 학생이 같은 수업 전 요건이 있었고, 수업할 준비가 되어 있었다.

Unlike in PBL, where individual students had different preparation requirements, in TBL, all students had the same pre-class requirements, and came to class ready to engage.

교사들은 학생들이 적극적인 학습 역할을 하도록 지도할 수 있는 능력을 가지고, 자신의 분야에서 전문가가 될 것으로 예상된다[19]. TBL의 단계를 따라 세 명의 조력자는 한 방에서 10개의 작은 그룹(즉, 50명에서 60명)을 쉽게 관리할 수 있었다. TBL의 장점은 콘텐츠 전문가인 촉진자의 피드백과 지침이 증가했다는 것이다.

Teachers are expected to be experts in their fields, with the ability to guide students to take an active learning role [19]. By following the steps in TBL, three facilitators were readily able to manage 10 small groups of students (ie, 50 to 60 students) in one room. An advantage of TBL was the increased feedback and guidance from facilitators, who were content experts.

PBL에서는 학생들이 조력자의 가변적 전문지식과 지도의 부족을 발견하여 불확실성을 초래하였고, 그룹 내 학습 진보를 방해하였다. 불행하게도, PBL 교육 세션에서 피드백은 종종 부족했다. 그러나 즉각적인 피드백의 제공은 학생들의 콘텐츠 지식에 대한 이해를 향상시킬 수 있는 능력을 가지고 있다[18]. TBL에서는 피드백이 잘 진행되었고, PBL에서는 46%에 비해 80%의 학생이 "교습자로부터 유용하고 적시에 피드백을 받았다"는 것에 강하게 동의하거나 동의하였다.

In PBL, students found the variable expertise of their facilitators, and lack of guidance, led to uncertainty, and hindered learning progress within groups. Unfortunately, feedback was often lacking in PBL teaching sessions. However, provision of immediate feedback has the ability to enhance students’ understanding of their content knowledge [18], and is crucial to knowledge acquisition, application, and retention [20, 21]. Feedback was well facilitated in TBL, with 80% of students strongly agreeing or agreeing that “I received useful and timely feedback from the tutor” compared to 46% in PBL.

• 이상적인 PBL 튜터는 컨텐츠 전문가[22]가 아니라 그룹 조력자라는 것은 널리 받아들여지고 있지만, 시기적절한 피드백이 없으면 오류가 수정되지 않을 수 있으며, 학생들은 새로운 콘텐츠에서 "길을 잃은" 느낌이 증폭된다[21]. 

• TBL에서는 교직원의 전문 지식을 활용하여 풍부한 피드백을 제공하는 학습 경험을 설계한다[23]. 학생들은 RAT과 문제해결활동 과정에서 피드백을 받기 때문에 자신의 이해에 대해서 의심을 남기지 않는다. 또한, 의대 교육 내에서 임상 컨텍스트의 제공은 학생들이 내용을 이해하고 상기할 수 있도록 돕는다 [24, 25].

• Although it is widely accepted that the ideal PBL tutor is a group facilitator, rather than a content expert [22], without timely feedback, errors may go uncorrected, and a students’ sense of being “lost” with new content is amplified [21]. 

• In TBL, faculty’s expertise is utilised to design a learning experience for students that is rich in feedback [23]. Students are never left in doubt regarding their understanding of the content, with feedback being received through the readiness assurance process, and during problemsolving activities, where facilitators assist individuals and teams as required. Additionally, the provision of clinical context within medical education helps students to understand and recall content [24, 25].

TBL에서, 준비 보증 과정의 순서에 따라, 공식 시험 절차는 학생들이 콘텐츠에 관여하고 자신의 이해도를 측정할 수 있는 여러 기회를 갖도록 보장한다[15]. 학생들은 자신의 답을 다른 팀원들과 비교하고, 의견 일치를 보기 위해 토론에 참여함으로써 스스로 학습을 쌓았다. 

• TBL 형식은 학생들이 의료 교육과 관련된 중요한 능력, 즉 팀워크 능력과 비판적 사고력을 개발할 기회를 제공한다. [26] 

• PBL에서, 우리 학생들은 그러한 관행이 제한적이고, 큰 그룹 크기에 의해 방해받고 있다고 보고했다. 

In TBL, the formal testing procedure, with the sequence of the readiness assurance process ensured students had several opportunities to engage with the content and gauge their own understanding [15]. Students built on their own learning by comparing their answers to other team members, and engaging in discussion in order to come to a consensus. 

• The TBL format provides the opportunity for students to develop critical competencies relevant to health care education: teamwork abilities and critical thinking skills. [26] 

• In PBL, our students reported such practices were limited, and hindered by large group sizes. 

치과대학에서 PBL의 그룹 규모 효과에 대한 이전의 연구 보고에서, 소규모의 그룹(3명)과 중간 크기(6명)의 그룹이, 큰 그룹(9명)보다 학생 사이의 만족도와 자기주도 학습이 증가했다[27].

A previous study reporting on the effect of group size in PBL in a dental school found a correlation between small (3) to medium (6) sized groups and increased satisfaction and self-directed learning among students, compared to larger groups (9) [27].

특히 PBL의 학생들이 선호하는 주요 특징은 임상적 추론을 위한 폭넓은 기회와 학생들이 그들 자신의 임상 경험을 토론할 수 있는 기회를 가진 토론 지향적인 세션이었다.

Notably, key features favoured by students in PBL, were the discussion oriented sessions, with broader opportunities for clinical reasoning, and the opportunity for students to discuss their own clinical experiences.

PBL의 구조 안에서, 학생들은 그들 자신의 학습을 계획하고 감시하도록 장려된다. PBL에서는 학생들에게 사전 읽기 과제가 주어지지 않는다. 그러나, 그들은 더 많은 자기 주도적인 학습과 그룹 토의를 위해 그들 자신의 질문과 이슈를 만들어내도록 권장되어 평생 학습 능력을 촉진한다[30]. 돌맨스 등. [30]은 PBL의 긍정적인 요소와 TBL을 결합함으로써 학생 학습을 최적화할 수 있다고 제안한다.

Within the structure of PBL, students are encouraged to plan and monitor their own learning. In PBL, students are not given pre-reading assignments. However, they are encouraged to generate their own questions and issues for further self-directed learning and group discussion, promoting lifelong learning skills [30]. As Dolmans et al. [30] suggests, by combining the positive elements of PBL with TBL, student learning may be optimised.

연구 한계

Study limitations

학생들이 TBL이 단순히 새로운 교육방법이었기 때문에 좋아했을 가능성이 있으며, 이는 더 오랜 기간에 걸쳐 수행되온 것보다 반응을 더 긍정적으로 만들었을 수도 있다.

It is possible that students simply found the new method of teaching (TBL) to be novel, which may have made their responses more positive than if the study was carried out over a greater length of time.

우리는 TBL의 문제 해결 활동 단계 내에서 "사전 결정된 결과로 토론을 제한"하는 한 가지 "특정 선택"만 허용하는 것을 발견했고, 대신 개방형 질문을 사용했다[33]. 그러나 문제 해결 활동 내에서 "특정 선택"을 피할 수 있는 이점은 교수진이 특정 선택 질문/답변(MCQ)을 생성할 필요가 없다는 점이며, 이는 쓰기 어렵고 시간이 많이 소요될 수 있다[33, 34].

We found allowing only one “specific choice” within the problem-solving activity phase of TBL “restricts the discussion to predetermined outcomes” [33], and instead used open-ended questions. However, the advantage of avoiding “Specific choice” within the problem-solving activity is that faculty do not need to generate the specific choice questions/answers (MCQs), which can be difficult and time consuming to write [33, 34].

결론

Conclusions

우리 연구의 결과는 TBL이 학생들이 선호하는 교육 전략이라는 것을 강력히 시사한다. 그러나 TBL 동안 학생들이 지적한 바와 같이, 병리생리학의 흐름도에 대한 논의에 더 많은 시간을 할애할 필요가 있다.

The findings from our study strongly suggest that TBL is the students’ preferred teaching strategy. However, as noted by students during TBL, greater time needs to be devoted to discussion of the pathophysiology flow-chart.

33. Badget RG, Stone J, Collins TC. The importance of free-text responses in team-based learning design. Acad Med. 2014;89:1578. XXX

12. Thompson BM, Levine RE, Kennedy F, Naik AD, Foldes CA, Coverdale JH, Kelly PA, Parmelee D, Richards BF, Haidet P. Evaluating the quality of learning-team processes in medical education: development and validation of a new measure. Acad Med. 2009;84:10. XXX

Team-based learning (TBL) in the medical curriculum: better than PBL?

TBL에서 팀 응집성, 팀 크기, 팀 퍼포먼스(Med Educ, 2015)

Team cohesiveness, team size and team performance in team-based learning teams

Britta M Thompson,1,2 Paul Haidet,3 Nicole J Borges,4 Lisa R Carchedi,5 Brenda J B Roman,6 Mark H Townsend,7 Agata P Butler,8 David B Swanson,9 Michael P Anderson10 & Ruth E Levine11

도입

INTRODUCTION

TBL(Team-based Learning)은 학생들이 수업 전에 핵심 사실 자료를 개별적으로 학습한 다음 수업 시간을 이용해 학습팀에서 이 핵심 자료의 적용을 실행하도록 요구하는 체계적인 교육 방법이다.3,4

Team-based learning (TBL) is a structured educational method that requires students to individually learn core factual material prior to class and then to use class time to practise the application of this core material in learning teams.3,4

원래 강의의 대체물로 고안된 TBL은 한 교실에서 여러 개의 소그룹을 용이하게 하는 교사의 지도 방식이며, 보통 한 명의 강사와 함께 한다. 팀 기반 학습은 사실의 획득을 넘어 의미 있는 실제 시나리오에서 세션 또는 과정 내용의 적용을 강조한다.6

Originally designed as a replacement for the lecture, TBL is a teacher-directed method of facilitating multiple small groups in one classroom, usually with a single instructor. Team-based learning moves beyond the acquisition of facts to emphasise the application of session or course content in meaningful real-world scenarios.6

TBL 관련 팀 성적 결과

Team academic performance outcomes associated with TBL

최근 건강 직업 교육에서 TBL 문헌에 대한 체계적인 리뷰에서, Fatmi et al.10과 Haidet et al.11은 TBL 방법을 강의와 같은 다른 교육 방법과 비교한 교육 연구의 지식 결과의 개선을 보고했다. 일부 연구자들은 가장 낮은 4분위수의 학생들이 TBL로부터 가장 많은 혜택을 받을 수 있다고 지적했다.8

In recent systematic reviews of the TBL literature in health professions education, Fatmi et al.10 and Haidet et al.11 reported improvements in knowledge outcomes in educational studies that compared TBL methods with other educational methods such as the lecture. Some researchers have noted that students in the lowest academic quartiles may benefit most from TBL.8

지금까지, 대부분의 TBL 연구의 초점은 팀보다는 (개별) 학생들의 향상된 성과였다. 의료 환경 내에서 팀워크가 강조되는 점을 감안할 때, TBL 팀의 성과 결과를 평가하는 것은 중요한 노력이다. 

 To date, the focus of most TBL studies has been the improved performance outcomes of students rather than of teams. Given the emphasis on teamwork within the health care setting, assessing the performance outcomes of TBL teams is an important endeavour. 

팀 성과 결과와 관련된 변수

Variables associated with team performance outcomes

팀 응집력

Team cohesion

팀 기능 또는 팀 응집력은 팀 목표 달성에 있어 멤버가 서로에게 헌신하는 정도를 반영한다. 팀 화합에 기여하는 것으로 평가되는 요소로는 팀 세션 수, 팀 내 시간, 팀 규모, 팀 책임 및 성공 보상이 포함된다.3 팀 응집력은 TBL의 학업성취도 결과와 관련된 요소다. Michaelsen 등은 저접착 팀의 구성원들이 고압 상황에서 힘을 합칠 가능성이 적고 팀으로서 성적이 좋지 않다고 제안한다. 더 많은 팀들이 더 나은 성과와 연관되어 있기 때문에 TBL 활동은 팀 화합을 촉진해야 한다고 오랫동안 주장되어 왔다. 그러나 보건과학 교육에서 이러한 가정을 시험해 본 연구는 거의 없다.

Team functioning, or team cohesion, reflects the degree to which members are committed to one another in the achievement of team goals. Factors that are purported to contribute to team cohesion include number of team sessions, amount of time in the team, team size, team accountability and rewards for success.3 Team cohesion is a factor that is related to academic performance outcomes in TBL. Michaelsen et al.3,4 suggest that members of low-cohesion teams are less likely to pull together in high-pressure situations and perform poorly as a team. It has long been purported that TBL activities should promote team cohesiveness because more cohesive teams are associated with better performance outcomes. However, few, if any, studies have tested this assumption in health sciences education.

팀크기

Team size

비즈니스와 교육 분야의 문헌에 근거하여, TBL 팀의 최적 규모는 5명에서 7명으로 간주된다.2,3 큰 팀은 복잡한 교실 문제를 해결하기 위한 집단적인 지능을 보유하는 것으로 알려져 있다. 비록 큰 팀들이 더 많은 집단적 지능을 가지고 있지만, 작은 팀들은 더 빨리 응집성을 발전시켜 그들의 초기 팀 성적을 향상시킨다.3

Based on literature from the fields of business and education, the optimal size of a TBL team is considered to be five to seven members.2,3 Large teams are purported to possess the collective intelligence to solve complex classroom problems. Although larger teams have more collective intelligence, smaller teams develop group cohesiveness more quickly, thereby enhancing their initial team performance.3

성별

Gender

교육 및 비즈니스 문헌에서, 연구자들은 다양한 관점의 시연을 위해 남성과 여성을 모두 포함하는 것의 가치를 보여주었지만, 집단 다양성은 처음에는 팀의 응집력을 감소시킬 수 있다. 일부 연구들은 여학생들이 TBL 과정을 남성들보다 훨씬 더 높게 평가하고 또한 그들의 남학생들과 비교했을 때 개인 준비 보증 시험과 최종 시험에서 더 높은 점수를 받는다는 것을 보여주었다.

Within the education and business literature, researchers have shown the value of including both males and females for the demonstration of diverse viewpoints; however, group diversity can initially decrease the cohesiveness of a team.3 Some studies12 have indicated that female students rate TBL processes significantly more highly than males and also score more highly on individual readiness assurance tests (iRATs) and final examinations compared with their male counterparts.

팀 성과 척도(TPS)

Team Performance Scale (TPS)

방법

METHODS

TBL 팀의 응집력에 대한 인식을 결정하기 위해, TPS13은 사무직의 마지막 주에 학생들에게 시행되었다. TPS는 각 항목이 0에서 6까지의 척도로 점수가 매겨지는 18item 도구(' 모든 항목들은 학생들에게 그들의 팀의 행동을 평가하도록 요구했다. 항목에는 '모든 팀원들이 토론에 참여하기 위해 노력했다', '우리 팀은 최종 답변을 결정하기 전에 여러 가지 관점을 적극적으로 이끌어냈다', '팀원들은 다른 팀원들이 말할 때 말하는 것에 주의를 기울이는 것 같았다' 등이 포함되어 있었다. 

To determine perceptions of TBL team cohesiveness, the TPS13 was administered to students during the final week of the clerkship. The TPS is an 18item instrument in which each item is scored on a scale of 0 (‘none of the time’) to 6 (‘all of the time’). All items asked students to rate the behaviour of their team. Items included: 

• ‘All team members made an effort to participate in discussions’, 

• ‘My team actively elicited multiple points of view before deciding on a final answer’ and 

• ‘Team members seemed attentive to what other team members were saying when they spoke.’ 

각 학생의 평균 점수를 결정하여 TPS 점수를 분석하였다. 크론바흐의 TPS 알파값은 0.95이었다. TPS 점수의 추가 유효성 및 신뢰성 분석은 톰슨 외 연구진 13에서 확인할 수 있다. 상관 관계 및 회귀 분석에 대한 팀 수준 점수를 결정하기 위해 각 TBL 팀원(mTPS)의 평균 개별 TPS 등급을 결정했다.

Scores on the TPS were analysed by determining a mean score for each student. Cronbach’s alpha for the TPS was 0.95. Additional validity and reliability analyses of TPS scores can be found in Thompson et al.13 To determine team-level scores for correlation and regression analyses, we determined the mean individual TPS ratings from members of each TBL team (mTPS).

팀의 학업 성적을 평가하기 위해 학생들은 NBME 정신의학 과목 시험을 마쳤다. 이 테스트는 TBL 연습과 유사하게 단일 최선의 대답 형식으로 객관식 애플리케이션 질문을 사용한다.

To assess the academic performance of teams, students completed the NBME Psychiatry Subject Test. This test utilises multiple-choice application questions in a single best-answer format, similarly to TBL exercises.

그 시험은 개인별로 먼저 학생들에게 실시되었다. 그 후 TBL 팀에게 팀 테스트로 실시되었다. 개별 시험을 치른 후, 학생들은 개인과 팀 NBME 시험 사이에 30분간의 휴식을 취했지만, 훈련된 환경에서 머물도록 요구되었고, 쉬는 시간 동안 시험에 대해 논의할 수 없었다. 각 TBL 팀은 팀과 동일한 NBME 정신의학 과목 시험을 완료하여 하나의 집단 시험을 완료했다.

The test was administered to students first on an individual basis. It was then administered as a team test to the TBL teams. After turning in their individual tests, students were given a 30-minute break between the individual and team NBME examinations, but were required to stay in the proctored environment and were not allowed to discuss the test during the break. Each TBL team then completed the same NBME Psychiatry Subject Test as a team, completing one collective test.

팀 NBME 시험 점수에 다른 변수가 미치는 영향을 결정하기 위해 팀 성별 구성, 팀 크기 및 회전을 결정했다. 각 팀의 성별 구성은 각 팀(성별) 내의 남성 비율을 계산하여 결정되었다. 팀 사이즈는 각 TBL 팀의 총 학생 수(팀 크기)이다. 로테이션은 각 TBL 팀의 실습로테이션이 발생한 지점을 나타낸다. 첫 번째 6주 회전이 '1'로 코드화되었고, 두 번째 6주 회전이 '2'로 코드화되었다.

To determine the influence of other variables on team NBME test scores, we determined the team gender make-up, the team size and the rotation. The gender make-up of each team was determined by calculating the percentage of males within each team (Gender). Team size was the total number of students on each TBL team (Team size). Rotation denoted the point at which each TBL team’s clerkship rotation occurred: the first 6-week rotation was coded as ‘1’, the second 6-week rotation was coded as ‘2’ and so on.

결과

RESULTS

우리는 먼저 팀 NBME 점수를 mTPS, mNBME, 팀 크기, 회전 및 성별과 연관시켰다.우리는 팀 NBME 점수가 mTPS와 상당히 부정적으로 상관되어 있고 mNBME 점수 및 팀 규모와 상당히 긍정적으로 상관되어 있다는 점에 주목했다(표 1).

We first correlated the team NBME scores with mTPS, mNBME, Team size, Rotation and Gender.We noted that team NBME scores were significantly negatively correlated with mTPS and significantly positively correlated with mNBME scores and Team size (Table 1).

다변수 선형 회귀 분석에서는 팀 수준 변수(mTPS, mNBME, 팀 크기, 회전 및 성별)의 조합이 팀 NBME 점수를 상당히 예측한 것으로 나타났다. 각 변수의 베타 가중치는 표 2에 제시되어 있다.

Multivariable linear regression analysis indicated that the combination of team-level variables (mTPS, mNBME, Team size, Rotation and Gender) significantly predicted team NBME scores. The beta weights of each variable are presented in Table 2.

마지막으로, 우리는 HLM을 사용하여 우리의 데이터를 분석하여 학생들을 팀 내에 배치했다. 개인 수준에서는 각 팀 내 학생에 의한 개별 NBME 시험점수와 개별 TPS 점수를 사용했다. 팀 레벨에서는 팀 사이즈, 회전, 성별을 사용했다. 우리의 모델은 R2-값 0.997로 중첩된 항(R2 = 0.16)이 없는 모델보다 훨씬 잘 맞았다. 흥미롭게도, 팀 내에 내포된 학생들에 대한 우리의 분석은 개별 NBME 시험 점수와 개별 TPS 점수의 추정 효과가 팀 NBME 시험 점수와 연관되어 긍정적이고(그리고 통계적으로 유의함) 있음을 보여주었다(표 3).

Finally, we analysed our data using HLMs, nesting students within teams. At the individual level, we used individual NBME test scores and individual TPS scores by students within each team. At the team level, we used Team size, Rotation and Gender. Our model had an R2-value of 0.997, which was a much better fit than that of the model without the nested terms (R2 = 0.16). Interestingly, our analysis of students nested within teams showed that the estimated effects of both individual NBME test scores and individual TPS scores were positively (and statistically significantly) associated with team NBME test scores (Table 3).

고찰

DISCUSSION

결과는 팀 특성이 TBL의 팀 성적에 영향을 미친다는 것을 보여주었다. 세 가지 분석을 모두 사용하여, 대형 TBL 팀이 팀 NBME 테스트에서 더 높은 점수를 얻었다는 점에 주목했다. 계층적 선형 모델링을 통해 TBL 팀의 각 추가 인원은 팀 NBME 시험 점수를 거의 1점 증가시켰다.

Results indicated that team characteristics influenced the academic performance of teams in TBL. Using all three analyses, we noted that larger TBL teams scored more highly on the team NBME test. Hierarchical linear modelling indicated that each additional person on a TBL team resulted in almost a point increase in team NBME test scores.

세 가지 분석 모두 또한 로테이션이 팀 NBME 시험 점수와 긍정적으로 연관되어 있음을 나타내었지만, 오직 HLM만이 이 관계가 통계적으로 유의하다는 것을 나타냈다. 올해 초에 회전한 팀들은 HLM 분석을 이용하여 6번 회전 팀들을 제외하고 팀 시험에서 약 1~3점 낮은 점수를 받는 경향이 있었다.

All three analyses also indicated that Rotation was positively associated with team NBME test scores; however, only HLM indicated that this relationship was statistically significant. Teams that rotated earlier in the year tended to score about 1 to almost 3 points lower on the team test, with the exception of those on rotation 6, using HLM analysis.

우리의 결과는 다양한 통계 분석이 팀 내에서 수집된 데이터 결과에 어떻게 영향을 미칠 수 있는지를 보여준다. 

• 학생의 NBME 시험 점수(mNBME)가 분석 방법에 관계없이 팀 NBME 시험 점수와의 통계적으로 유의하고 긍정적인 관계를 입증한 반면, 

• 팀 응집력(TPS 점수) 결과는 사용된 분석의 영향을 강하게 받았다.

Our results illustrate how various statistical analyses can influence the results of data collected within teams. Whereas NBME test scores (mNBME) of students demonstrated a statistically significant and positive relationship with team NBME test scores, regardless of analysis method, the results on team cohesion (TPS scores) were strongly influenced by the analysis used.

우리는 다양한 분석 방법을 사용하여 얻은 결과의 차이점에 놀랐다. 상관관계 및 회귀분석을 위해 각 팀 구성원의 개별 TPS 점수를 각 팀의 평균 점수로 응축했다.

We were surprised at the differences in the results we obtained using various analysis methods. For the correlation and regression analyses, we analysed the individual TPS scores of each team member condensed into a mean score for each team.

우리의 연구를 위해, 우리는 HLM이 우리가 각 팀 내에서 개별 TPS 점수의 차이를 더 적절하게 설명할 수 있도록 했다고 느낀다. 개별 TPS 점수의 이러한 차이는 팀 응집력이 팀 NBME 시험 성과의 중요하고 긍정적인 예측 변수임을 보여주었다.

For our study, we feel that HLM more appropriately allowed us to account for variation in individual TPS scores within each of the teams. This variation in individual TPS scores indicated that team cohesion was a significant and positive predictor of team NBME test performance.

우리의 결과는 성공적인 팀 수행을 위해 충분한 지적 풀을 확보할 수 있을 만큼 팀이 커야 한다는 Michaelsen et al.2의 제안을 지지한다.

Our results support the proposal of Michaelsen et al.2, who suggest that teams must be large enough to ensure an adequate intellectual pool for successful team performance.

흥미롭게도, 최근의 연구에서, 스와브 외 연구진 16은 팀 내에서 '너무 많은 재능'이라는 효과를 제시했다. 이 효과는 너무 많은 지배적이고 기능적인 개인이 한 팀 내에서 알파 순위를 다투어 팀 응집력을 떨어뜨릴 때 발생한다. 가금류 과학 연구에 따르면, 너무 많은 알을 낳는 암탉을 함께 키우는 것은 실제로 난자 생산량이 감소하는 것으로 나타났다. 왜냐하면 암탉들이 그 그룹의 꼭대기로 가는 길을 쪼아보려고 불필요한 시간을 보내기 때문이다. 마찬가지로, 축구나 농구와 같은 스포츠에서 상호의존적인 팀의 슈퍼스타의 수는 응집력과 성능이 실제로 감소하는 지점까지 성과와 응집력에 도움이 된다. 우리 팀의 대부분이 5명에서 7명으로 구성되어 있었기 때문에, 우리는 얼마나 큰지(또는 얼마나 작은지)를 연구할 수 있는 능력에 한계가 있었다.

Interestingly, in a recent study, Swaab et al.16 suggested a ‘too-much-talent’ effect within teams. This effect occurs when too many dominant and high-functioning individuals jostle for alpha rank within a team, which diminishes team cohesion. Studies in poultry science have shown that housing too many high egg-producing hens together actually decreases egg production because the hens spend unnecessary time trying to peck their way to the top of the group. Similarly, the number of superstars on an interdependent team in a sport such as football or basketball (unlike those in more individual sports such as baseball) benefit performance and cohesion up to a point, at which cohesion and performance actually diminish. Because most of our teams consisted of five to seven individuals, we were limited in our ability to study how large is too large (or how small is too small).

팀 응집력은 TBL 팀 프로세스의 중요한 부분으로 강조되어 왔다. Michaelsen et al.4는 회원이 그룹의 모든 구성원의 자원으로 완전히 접근하고 이익을 얻기 전에 최소 20-25시간의 TBL이 필요하다고 제안한다. 마찬가지로, 심리치료 분야에서의 연구는 응집력이 결과에 가장 강한 관계를 가지려면 적어도 12번의 세션이 필요하다고 제안한다.17

Team cohesion has been emphasised as an important part of the TBL team process. Michaelsen et al.4 suggest that a minimum of 20–25 hours of TBL is required before members fully access and benefit from the resources of all members of the group. Likewise, research in the area of psychotherapy suggests that at least 12 sessions are required for cohesion to have the strongest relationship to outcomes.17

우리의 연구는 몇 가지 한계를 가지고 있었다. 첫째, 본 코스의 마지막에 실시된 TPS와 팀 NBME 과목 테스트에서 대부분의 팀이 NBME 팀 시험에서 99번째 백분위수에서 점수를 받아서 천장 효과가 있었다(그리고 원시 점수로 다시 채점됨), 대부분의 학생들이 팀을 응집력 있는 팀으로 평가했다.

Our study had several limitations. Firstly, the TPS and team NBME Subject Test administered at the end of the course showed a ceiling effect: most of the teams scored at the 99th percentile on the team NBME test (and were re-scored as raw scores), and most students rated their teams as cohesive.

우리의 결과는 팀 NBME 점수와 긍정적이고 유의하게 관련된 변수로는 [더 큰 팀, 올해 후반에 로테이션한 팀]이 포함되었음을 시사한다. 개인 수준에서는 [개별 NBME 시험 점수와 팀 응집 등급]이 상위 팀 NBME 시험 점수와 상당히 관련이 있었다. 

Our results suggested that variables that were positively and significantly associated with team NBME scores included larger teams and teams that rotated later in the year. At the individual level, individual NBME test scores and team cohesion ratings were significantly associated with higher team NBME test scores.

Med Educ. 2015 Apr;49(4):379-85. doi: 10.1111/medu.12636.

Team cohesiveness, team size and team performance in team-based learning teams.

교육혁신의 전이가 사실은 변형프로세스인가? (Adv in Health Sci Educ, 2012)

Is transferring an educational innovation actually a process of transformation?

Lara Varpio • Robert Bell • Gary Hollingworth • Alireza Jalali • Paul Haidet • Ruth Levine • Glenn Regehr

도입

Introduction

교육 및 의학교육 문헌에 대한 최근의 논쟁은 교육 프로그램 개발의 타당성과 기관 간에 복제될 수 있는 혁신에 관한 질문을 포함한다(Regehr 2010). 

• 어떤 사람은 일반화가능하고 전이가능한 프로그램에 대한 대규모 평가가 지역사회가 교육 개선에 효과적으로 나아갈 수 있는 유일한 방법이라고 제안한다(Slavin 2008; Whitcomb 2002). 

• 이와는 대조적으로, 다른 이들은 맥락을 "환원불가한 공변량irreducible covariate"(Howell 2008)으로 보고 있으며, 어떤 혁신도 불가피하게 국지적 맥락에 적응해야 최대의 가치를 얻을 수 있다고 본다(Berliner 2002; Haidet et al. 2006).

Recent debates in the education and medical education literature include questions regarding the feasibility of developing educational programs and innovations that can be replicated across institutions (Regehr 2010). 

• Some propose that large-scale assessment of generalizable, transferrable programs is the only way the community can move forward effectively in improving education (Slavin 2008; Whitcomb 2002). 

• In contrast, others see context as an ‘‘irreducible covariate’’ (Howell 2008) and that any innovation inevitably has to be adapted to the local context to be maximally valuable (Berliner 2002; Haidet et al. 2006).

교육혁신을 지역적 맥락에 통합하려면 혁신의 원래 설계의 이상과 채택 현장의 상황의 현실 사이에 타협이 필요하다. 이 절충과정에서, 혁신의 일부 기본 원칙은 보존되고, 다른 원칙은 변형되며, 다른 원칙은 버려질 수 있다.

Incorporating an educational innovation into a local context requires compromise between the ideal of the innovation’s original design and the realities of the adoption site’s context. Through this compromise, some fundamental principles of the innovation will be preserved, others be transformed, and others may be abandoned.

본 연구의 원래 의도는 Stake의 반응성 평가 모델(1975)을 사용하여 학부 의대생들과 함께 TBL의 파일럿을 평가하는 것이었다.

The original intent of this study was to evaluate the piloting of TBL with our undergraduate medical students using Stake’s responsive evaluation model (1975).

하지만, 파일럿의 개발과 실행 중에, 우리 팀은 우리의 가장 흥미로운 교훈이 우리의 특정한 맥락에서 TBL을 구현하는 과정을 분석하는 것에서 나온다는 것을 깨달았다. TBL의 잠재적 기여도에 대한 정보를 제공하는 평가를 수행하려면 먼저 보다 추상적인 문제를 해결해야 했다. 우리가 TBL을 한 거야?

However, during the pilot’s development and implementation, our team realized that our most interesting lessons came fromanalyzing the process of implementing TBL in our specific context. to conduct an informative evaluation of the potential contributions of TBL to our local context, we first needed to grapple with a more abstract problem: Is what we did TBL?

우리의 맥락에서 TBL을 도입하기 위해서, 우리는 일련의 타협을 해야 했다. 우리의 타협은 개입의 원래 설계의 이상을 채택하는 것과 우리의 맥락의 현실에 디자인을 맞추는 것 사이의 협상이었다.

To adopt TBL in our context, we had to engage in a series of compromises. Our compromises were negotiations between adopting the ideal of the intervention’s original design, and adapting the design to the realities of our context.

우리는 '언제부터 더 이상 TBL이 아니게 되는가?'를 알아야 했다. 이것이 우리가 처음 탐구하기 시작한 조사는 아니었지만, 우리는 이 긴급한 질문이 중요한 영향을 미칠 것을 제안한다.

we had to know: ‘When does it stop being TBL’? While this was not the investigation we first set out to explore, we propose that this emergent question has important ramifications.

TBL

Team-based learning

원래 1970년대 후반 래리 마이클슨 등이 구상하고 개발한 팀 기반 학습은 배정된 팀 활동을 통해 대규모 그룹 환경에서 소규모 그룹 학습을 지원하는 전략이다. 팀 기반 학습은 단일 교사 교실에서 사용될 수 있기 때문에, 종종 전통적인 소규모 그룹 방법보다 더 교수진 효율적이라는 찬사를 받는다(Nieder et al. 2005).

Team-based learning, originally conceived and developed by Larry Michaelsen and others in the late 1970s, is a strategy that supports small-group learning, through assigned team activities, within a large-group setting. Team-based learning can be employed in singleteacher classrooms and so is often lauded for being more faculty-efficient than traditional small-group methods (Nieder et al. 2005).

TBL에 관한 글에서는 이 전략을 기본 철학, 철학을 실현하기 위해 필요한 조건을 형성하는 원리, 그리고 원칙을 가능하게 하는 교실 기법의 세 가지 단계로 기술하고 있다.

Writings on TBL describe this strategy at three levels: the underlying philosophy, the principles that form the necessary conditions to effect the philosophy, and the classroom techniques that enable the principles.

TBL의 철학의 핵심은 팀으로서의 학습이 그룹 내 개인으로서의 학습과 가치 있게 다르다는 믿음이다(Fink 2004). 예를 들어, Fink는 고기능 팀은 ad hoc 학습 그룹과 구별하는 두 가지 주요 특성을 보여준다고 제안한다. 

• (1) 그룹의 복지welfare에 대한 높은 수준의 개인 헌신과 

• (2) 그룹 구성원들 사이의 높은 신뢰도. 

A core tenet of TBL’s philosophy is the belief that learning as a team is valuably different than learning as individuals in a group (Fink 2004). For example, Fink suggests that high-functioning teams demonstrate two key characteristics distinguishing them from ad hoc learning groups: 

• (1) a high level of individual commitment to the group’s welfare and 

• (2) a high level of trust among group members (Fink 2004). 

이러한 특성으로 인해 팀은 

• 구성원들 사이에서 매우 높은 개인의 노력을 고무한다. 

• 회원들이 정직한 의사 소통을 통해 서로에게 도전할 수 있도록 노력한다. 

• 효과적인 협업을 촉진한다. 

• 최소한의 외부적 도움을 받아 복잡하고 도전적인 작업을 수행한다(Fink 2004).

These characteristics allow teams to 

• inspire very high individual effort among members, 

• engender willingness for members to challenge each other through honest communication, 

• promote effective collaboration, and 

• accomplish complex, challenging tasks with minimal external help (Fink 2004).

이러한 철학적 목표를 결실을 맺기 위해, TBL이 효과적으로 기능하기 위해 필요한 조건으로서 네 가지 핵심 원칙이 명확히 표현되고 정교해졌다. 다음 네 가지 원칙은 다음과 같다.

To bring these philosophical goals to fruition, four key principles have been articulated and elaborated as necessary conditions for TBL to function effectively. These four principles are:

원칙 1. 집단은 적절하게 형성되고 관리되어야 한다.

원리 2 학생들은 책임을 져야 한다.

원리 3 팀 배정은 학습과 팀 개발을 촉진해야 한다.

원론 4 학생들은 빈번하고 즉각적인 피드백을 받아야 한다(Michaelsen 2004).

Principle 1. Groups must be properly formed and managed;

Principle 2. Students must be made accountable;

Principle 3. Team assignments must promote both learning and team development;

Principle 4. Students must receive frequent and immediate feedback (Michaelsen 2004).

첫 번째 원칙은 (a) 팀은 강사에 의해 신중하게 구성되고 관리되어야 하며, (b) '그룹'에서 고성능 학습 '팀'으로 진화하기 위해 비교적 오랜 기간 함께 있어야 한다(Michaelsen 2004). 이러한 팀들은 높은 수준의 응집력과 참여가 특징이며, 각 멤버가 가져오는 자원을 충분히 활용할 수 있다.

The first principle requires that (a) teams be carefully formed and managed by the instructor, and that (b) they remain together for relatively long periods to evolve from ‘groups’ into high-performance learning ‘teams’(Michaelsen 2004). Such teams are characterized by high levels of cohesiveness and participation, allowing themto draw fully upon the resources each individual member brings.

원칙 2는 (1) 학생의 개인 및 그룹 작업의 품질을 모니터링할 것과 (2) 학생의 업무 품질은 중대한 결과significant consequences를 가져올 것을 요구한다(Michaelsen 2004). 이러한 책임은 팀 내에서 응집력과 신뢰의 발전을 지원한다.

Principle two requires that (a) the quality of student’s individual and group work can be monitored and that (b) the quality of their work will have significant consequences (Michaelsen 2004). This accountability supports the development of cohesiveness and trust within the team.

세 번째 원칙은 팀 배정이 성공적인 완료를 위해 그룹 상호작용이 필요하다고 요구한다(Michaelsen 2004). 이것은 팀원들이 성공을 위해 서로의 생각에 도전하도록 동기를 부여한다.

The third principle requires that team assignments require group interaction for successful completion (Michaelsen 2004). This provides incentive to the team members to challenge each other’s thinking in order to be successful.

마지막으로, 네 번째 원칙은 모든 수업 내 과제에 대한 피드백을 즉시 공개적으로 제공하도록 요구한다(Michaelsen 2004). 개인과 그룹 배정 모두에 대한 이러한 지속적이고 시기적절한 피드백은 팀원들이 그룹 구성원의 장점을 활용할 수 있는 능력에 대한 자신감을 준다.

Finally, the fourth principle requires that feedback on all in-class assignments be provided immediately and publicly (Michaelsen 2004). Such ongoing and timely feedback for both individual and group assignments gives the team confidence in their ability to harness the strengths of their group members.

네 가지 원칙을 모두 적용하는 것은 접근법의 실질적인 적용을 구성하는 특정 강의실 기법 집합이다. 이러한 기법의 수준에서, TBL은 일반적으로 세 단계(Thompson et al. 2007; Michaelsen et al)로 구성된다. 2004). 1단계는 교실 밖에서 일어나고, 2단계와 3단계는 교실 안에서 일어난다.

Enacting all four principles is a set of specific classroom techniques forming the practical application of the approach. At the level of these techniques, TBL is generally described as consisting of three phases (Thompson et al. 2007; Michaelsen et al. 2004). Phase 1 takes place outside the classroom, while Phases 2 and 3 occur within the classroom.

1단계에서 학생들은 사전 할당된 준비 자료를 독립적으로 공부한다.

In Phase 1, students independently study pre-assigned preparatory materials.

2단계 동안 각 학생은 개별 준비 보증 테스트(IRAT)를 완료한다. 그런 다음, 강사가 할당된 그룹에서 학습자가 현재 GRAT(그룹 준비도 보증 테스트)라고 하는 동일한 테스트를 공동 재응시한다. 개별(IRAT) 및 그룹 준비도 보증 테스트(GRAT)는 일반적으로 학생들이 1단계 준비 자료에서 개념을 이해했는지 여부를 강사가 결정할 수 있도록 설계된 객관식 또는 참 거짓 질문이다. 그런 다음 그룹은 GRAT 답변을 보고하여 즉시 표시 및 보고하십시오. IRAT와 GRAT은 학생들이 1단계 준비 작업에 대한 책임을 지고 팀 상호 작용과 피어 투 피어 학습을 지원한다.

During Phase 2, each student completes an Individual Readiness Assurance Test (IRAT). Then, in instructorassigned groups, learners collaboratively retake the same test, now called a Group Readiness Assurance Test (GRAT). Individual (IRATs) and Group Readiness Assurance Tests (GRATs) are typically multiple choice or true–false questions designed to promote peer teaching and to enable the instructor to determine if students have understood the concepts from the Phase 1 preparatory materials. Groups then report their GRAT answers for immediate marking and reporting. The IRAT and GRAT hold students accountable for their Phase 1 preparation work and support team interaction and peer-to-peer learning.

3단계에서 학생들은 수업 중 복잡한 애플리케이션 과제를 완료하기 위해 그룹별로 일한다. 이 단계 동안 할당된 시간에, 그룹들은 직접 비교와 즉각적인 피드백을 위해 더 larger class와 동시에 그들의 답안을 공유한다. TBL '방법'에 대한 자세한 설명은 다른 곳에서 확인할 수 있다(Michaelsen et al. 1997, 2008).

In Phase 3, students work in their groups to complete in-class complex application assignments. At assigned times during this phase, groups will simultaneously share their assignment answers with the larger class for direct comparison and instant feedback. More detailed descriptions of the TBL ‘method’ are available elsewhere (Michaelsen et al. 1997, 2008).

방법

Methods

이 사례 연구 분석을 실시하기 위해, 우리 연구팀은 의학 교육 문헌에서 흔히 볼 수 없는 정성적 연구 방법론인 자가학(authethnography)을 채택했다. 오토텍노그래피(Autoethnography)는 '필자들이 특정 분야나 문화에 대한 이해를 넓히기 위해 자신의 경험을 토대로 하는 고도의 개인화된 계정을 포함하는 긴급 민족적 글쓰기 관행'이다(Holt 2003, 페이지 18). 자동문헌가들은 다른 사람들이 목격할 수 없는 과정, 현상 및 그룹 역학에 대한 통찰력을 제공하기 위해 연구-인사이더 보고서의 중요성을 지적한다(Vickers 2002). 비커스 제안대로: '때로는, 질적 연구를 보고하는 목소리가 전달하려는 이야기가 있는 현지의 작가의 개인적인 목소리여야 한다.' 따라서, 이 방법론은 연구자들이 데이터가 어떻게 '고투의 살아 있는 순간들의 복잡함 속에 embed되는가'를 강조할 수 있게 한다(Ellis and Bochner 2000, p. 744).

To conduct this case study analysis, our research team employed a qualitative research methodology uncommon in medical education literature: autoethnography. Autoethnography is an ‘‘emergent ethnographic writing practice [that] involves highly personalized accounts where authors draw on their own experiences to extend understanding of a particular discipline or culture’’ (Holt 2003, p. 18). Autoethnographers point to the importance of research-insider reports to provide insights into the processes, phenomena, and group dynamics that others cannot witness (Vickers 2002). As Vickers proposes: ‘‘sometimes, the voice reporting qualitative research should (Vickers’s italics) be the personal voice of a situated author with a story to tell’’ (2002, p. 619). Thus, this methodology enables researchers to highlight how data are ‘‘embedded in the complexities of lived moments of struggle’’ (Ellis and Bochner 2000, p. 744).

중요한 것은, 이러한 유형의 조사의 목적은 객관적 사실을 진전시키는 것이 아니다(Holt 2003; Ellis and Bochner 2000). 대신 오토메토닉은 "논의할 수 없는 결론보다는 더 많은 대화를 위한 교훈"이기 때문에 연구 커뮤니티에 중요한 통찰력을 제공한다(Ellis and Bochner 2000, 페이지 744).

Importantly, the goal of this type of inquiry is not to advance objective facts (Holt 2003; Ellis and Bochner 2000). Instead, autoethnographies provide important insights to research communities because they ‘‘offer lessons for further conversation rather than undebatable conclusions’’ (Ellis and Bochner 2000, p. 744).

오토네노그래피로 인해 분석은 연구과정(그래피), 문화(에트노스), 자아(오토)에 초점을 맞출 수 있다 이 분석의 목적이 "우리의 파일럿 연구(auto)의 '백스테이지' 경험(그래피)이 어떻게 TBL의 핵심 원칙(에트노스)의 채택에 도전했는가"였기 때문에 우리는 자동문학적 접근법이 이 조사를 가장 잘 뒷받침할 것이라고 느꼈다.

Because autoethnography allows analysis to focus on the research process (graphy), the culture (ethnos), and the self (auto) (Reed-Danahay 1997), and because the aim of this analysis was to explore how the ‘backstage’ experiences (graphy) of our pilot study (auto) challenged the adoption of TBL’s core principles (ethnos), we felt that an autoethnographic approach would best support this inquiry.

자료 수집

Data collection

파일럿 구현 중 TBL 원칙 1의 진화를 반영하기 위해 연구팀 내에서 인터랙티브 인터뷰(Davis and Ellis 2008)를 실시하였다. 대화형 인터뷰는 연구자와 연구 참여자가 공동감각 및 비상한 이해 개발(Davis 및 Ellis 2008)에 참여하는 대화로 정의된다.

To reflect on the evolution of TBL Principle 1 during our pilot implementation, we conducted an interactive interview (Davis and Ellis 2008) within our research team. Interactive interviewing is defined as a conversation in which the researcher and research participant(s) engage in joint sense-making and emergent understanding development (Davis and Ellis 2008).

TBL 파일럿의 구현에 대해 추가적인 관점을 제공하기 위해, 연구 기간 내내 상세한 감사 추적(로저 및 코울 1993)을 유지했다. 이러한 감사 추적에는 구현 팀 회의록, 팀 대응 기록, 개별 연구원 및 강사 성찰의 상세한 서면 기록이 포함된다.

To bring additional perspectives to bear on the implementation of the TBL pilot, detailed audit trails (Rodgers and Cowles 1993) were maintained throughout the duration of the study. These audit trails include detailed written records of implementation team meeting minutes, of team correspondences, and of individual researcher and instructor reflections.

자료 분석

Data analysis

이 인터뷰 기록은 연구팀의 정성적 연구원들 중 한 명이 분석했다.

The interview transcript was analyzed by one of the research team’s qualitative researchers (LV).

코딩은 이행팀원(RB, GH, AJ)이 검토하여 면접관(RB)이 확인하였다. 외부 TBL 전문가(RL)와의 회원 확인(Janesick 2000)은 이러한 분석의 유효성을 뒷받침했다.

Coding was reviewed by the implementation team members (RB, GH and AJ) and confirmed by the interviewee (RB). Member checks (Janesick 2000) with an external TBL expert (RL) supported the validity of these analyses.

결과

Results

도입 맥락

The implementation site context

우리 캐나다 의과대학은 연간 총 150명의 학부생을 두고 있다. 우리 학교의 한 가지 독특한 특징은 우리 학생들이 영어와 프랑스어를 기반으로 두 개의 흐름으로 나뉘어져 있다는 것이다. 앵글로폰 개울에는 111명, 프랑코폰에는 39명이 있다. TBL 시행 당시 우리 학교는 학생들에게 의학지식을 제공하는 것을 강조하는 PBL and 강의 기반 교육과정에서 벗어나고 있었다. 새로운 커리큘럼은 사례 기반 학습과 TBL을 구현하여 소규모 그룹의 적극적인 학습을 지원한다.

Our Canadian medical school has an annual undergraduate class size totalling 150 students. One unique feature of our school is that our students are divided into two streams based on language of instruction: English or French. There are 111 students in the Anglophone stream and 39 in the Francophone. At the time of the TBL implementation, our school was transitioning away from a PBL and lecture-based curriculum that emphasized providing students with medical knowledge. The new curriculum implements Case-Based Learning and TBL to support more small-group, active learning.

시행팀이 처음 만났을 때(2007년 9월) 파일럿 운영 시기와 방법에 대한 논의는 다음과 같은 교수자를 찾는 것이 필요했다. 

(1) 교실에서 TBL을 배우고 구현하는 데 전념할 것

(2) TBL을 사용하는 강좌가 몇 개 있을 것

When the implementation team first met (September 2007), the discussion of when and how to run the pilot required finding an instructor who 

(1) was committed to learning and implementing TBL in their classroom, and 

(2) would have a course with several lectures in which to use TBL. 

우리는 몇 주 동안 TBL 파일럿을 운영하기를 희망했지만, TBL을 지원할 수 있고 여러 강의가 가능한 교육자에게는 강좌를 찾을 수 없었다. 우리가 확보할 수 있는 가장 긴 옵션은 첫 해 신장학 블록에서 1주 동안 파일럿을 조종할 수 있었다.

While we had hoped to run the TBL pilot over several weeks, we could not find a course with an educator who could support TBL and who had multiple lecture availabilities. The longest option we were able to secure could run the pilot over 1-week in the first year renal block.

시행일(2008년 4월)이 가까워짐에 따라, 또 다른 상황적 요인이 우리 파일럿에 영향을 미쳤다. 일정이 겹쳐서, 우리는 원래 예정된 시간대에 파일럿을 실행할 수 없었다. 우리 강사는 이미 교육을 받았고, 수업 자료(IRAT, GRAT 및 응용 프로그램 과제)는 이미 개발되고 있었기 때문에, 우리는 새로운 강사와 강좌를 찾는 것을 포기하기로 결정했다. 대신, 우리는 시험 날짜를 옮기기로 결정했다. 우리의 원래 강사는 2008년 5월에 학생들과 90분짜리 강의를 두 번 했다. 우리는 이 두 강의를 TBL 모듈로 대체하기로 결정했다. 학생들이 그룹 참여에 대해 서로 정확히 평가하기에 충분한 상호작용을 하지 않기 때문에, 이러한 TBL 세션에 과목 성적의 백분율이 할당되지 않을 것이라고 결정되었다. 그 결과, TBL 파일럿에 대한 학생들의 참여는 자발적이었다.

As the implementation date (April 2008) neared, another contextual factor influenced our pilot. As a result of scheduling conflicts, we could not run the pilot in the originally scheduled time slot. Since our instructor had already been trained, and our class materials (IRAT, GRAT and application assignments) were already being developed, we decided to forgo finding a new instructor and course. Instead, we decided to move the pilot date. Our original instructor had two 90-min lectures scheduled with students in May 2008. It was decided that we would replace these two lectures with TBL modules. It was decided that no percentage of the course grade would be allotted to these TBL sessions since students would not have sufficient interactions to accurately grade each other on group participation. As a result, student participation in the TBL pilot was voluntary.

이러한 맥락에서 우리는 다음과 같이 묻는다. 파일럿 시절 "효과적인 팀 구성과 관리"라는 TBL 원칙을 transfer할 수 있었는가, 아니면 이 원칙이 변경transform 되었는가?

In this context, we ask: Were we able to transfer the TBL principle of effective team formation and management during our pilot or did we transform it into something else?

원칙 1은 이 4가지 원칙 중 가장 강력하게 기술되었고 우리의 데이터 세트를 통해 추적할 수 있었기 때문에 이 논문의 초점이 될 것이다.

Principle 1 will be the focus of this paper since, of the four, this principle was most robustly described and traceable through our data set.

파일럿의 원리 #1 실행

Executing Principle #1 in the pilot

TBL의 제1원칙에 대한 우리의 구현의 영향을 탐구하기 위해, 효과적인 팀 개발 및 관리를 위한 두 가지 조건을 검토하였다. 

(1) 집단의 응집력과 자원 공유에 대한 장벽을 최소화하고 

(2) 학습 그룹이 팀으로 진화할 수 있도록 대한 장기적 헌신을 지원한다.

In exploring of the effect of our implementation on the first principle of TBL, two conditions for effective team development and management were examined: 

(1) minimizing barriers to group cohesiveness and support resource sharing; and 

(2) supporting long-term commitment to learning groups so they can evolve into teams.

그룹 응집력 및 지원 리소스 공유에 대한 장벽 최소화

Minimizing barriers to group cohesiveness and support resource sharing

처음에 우리는 두 언어 흐름의 학생들과 함께 파일럿을 운영할 계획이었지만, 우리는 학생들을 하나의 큰 학급 환경으로 묶을 수 없다는 것을 빠르게 깨달았다.

While we had initially planned to run the pilot with students in both language streams, we quickly realized that we could not group the students together into one large class setting.

그림 1에서 임상의사 교육자는 프로그램 내의 두 언어 그룹의 실상을 설명한다.

In Fig. 1, the clinician educator articulates the reality of two language groups in the program.

이러한 우려를 염두에 두고, 구현 팀은 TBL 파일럿을 언어 그룹별로 하나씩 두 개의 스트림으로 분할했다.

With this concern in mind, the implementation team split the TBL pilot into two streams—one for each language group.

학습 그룹을 팀으로 발전시킬 수 있도록 장기적인 노력 지원

Supporting long-term commitment to learning groups so they can evolve into teams

시범 세션의 짧은 기간을 고려할 때, 우리 팀은 아마도 학생 그룹이 팀으로 진화하기에는 충분히 길지 않을 것이라고 추측했다. 강사는 다음 두 개의 모듈만 있으면 TBL의 첫 번째 원칙을 위반할 수 있다는 의견을 제시한다(그림 2).

Given the short duration of the pilot session, our team hypothesized that it would probably not be long enough for student groups to evolve into teams. Our instructor offers his opinion (Fig. 2) that we would be violating TBL’s first principle by only having two modules:

우리 조종사는 TBL 그룹을 장기간에 걸쳐 함께 유지하는 것은 불가능했다.

Keeping TBL groups together over extended periods was not possible in our pilot.

그러나 학생들이 그룹을 이루어 함께 있는 짧은 시간에 임상의학 교육자는 그들이 어떻게 팀으로 진화할 수 있는지를 목격했다. TBL을 우리의 문맥으로 끌어들이기 위한 협상에서, 우리는 이 기본 원칙을 다른 것으로 변화시켰지만, 그 '다른 것'은 장점이 있었다. 그림 3은 강사가 그룹 개발을 볼 수 있음을 보여준다. 그는 학습 그룹이 짧은 시간 동안이라도 더 기능적인 팀으로 변할 수 있다는 약속이 있다는 것을 인정했다.

Yet, in the short time that students were together in groups, the clinician educator witnessed how they could evolve into teams. In the negotiations to bring TBL into our context, we did transform this foundational principle into something else—but that ‘something else’ had merit. Figure 3 demonstrates that the instructor could see group development. He acknowledged that there was the promise that learning groups could turn into more functional teams, even over a short period of time:

고찰

Discussion

우리의 맥락에서 TBL의 파일럿을 준비하면서, 구현 팀은 TBL에 관한 많은 (그리고 일부는 읽은) 출판물들을 읽고, TBL 전문가들과 2일간의 워크숍에 참여했으며, 준비와 구현 과제를 명시적으로 함께 논의하였다. 이러한 준비에도 불구하고, 우리는 지역적 고려사항들이 얼마나 빠르고 효과적으로 TBL을 구현하는 원칙과 철학, 특히 우리가 원칙 1을 위반하고 있다는 우리의 믿음을 명확하게 확장시키는 기능적 변화를 이끌어냈는지에 감명을 받았다. 우리는 재빨리 TBL이 맥락을 벗어나서 존재할 수는 없다는 것을 알게 되었고, 우리는 이 원칙을 지키기 위해 애썼다. 그 과정에서 우리는 종종 테크닉을 변화시키거나 심지어 포기하기도 해야 하는 맥락적 요인을 수용해야 했다.

In preparing to pilot TBL in our context, the implementation team read many (and some read all) of the available publications on TBL, participated in a two-day workshop with TBL experts, and discussed preparation and implementation challenges together explicitly. Despite this preparation, we were impressed by how quickly and effectively local considerations led to functional alterations that clearly stretched the principles and philosophies embodying TBL—specifically our belief that we were violating Principle 1. We quickly became aware that TBL could not exist a-contextually and we struggled to maintain this principle while accommodating the contextual factors requiring us to change and sometimes abandon techniques.

우리의 구현이 다른 원칙들에 미치는 영향에 대한 해석은 필연적으로 더 추측적이지만(데이터가 이러한 원칙들을 심층적으로 탐구하는 것을 허용하지 않았기 때문에), (적어도) 우리는 원칙 1의 측면의 이전transfer과 변형이 다른 TBL 원칙에 영향을 미쳤다고 믿는다. [집단의 응집력에 대한 장벽을 최소화]하고 [자원공유를 지원함]이라는 tenet을 transfer함으로써, 우리가 원칙 3(팀 과제는 학습과 팀 발전을 촉진해야 한다.)의 달성을 지지했다는 주장이 나올 수도 있다. 

While our interpretations of our implementation’s impact on the other principles are necessarily more speculative (as the data did not allow for as in depth exploration of these principles), we believe that the transfer and transformation of aspects of Principle 1 likely had impact on the other TBL principles. By transferring the tenant of minimizing barriers to group cohesiveness and supporting resource sharing, it might be argued that we supported the achievement of Principle 3: that team assignments must promote both learning and team development. 

특정 개인에게 유리한 주요 특성이 모든 그룹에 고르게 분포되었기 때문에, 강사는 모든 그룹 구성원의 지적 자원을 획득하기 위해 팀이 필요로 하는 과제를 설계할 수 있다. 이러한 주요 특성이 균등하게 분포되지 않은 경우, (각자 독립적으로 과제를 완성할 수 있기 때문에) 일부 그룹은 팀 협업이 필요하지 않을 수 있다. 혹은 다른 그룹은 상당한 팀 협업에도 불구하고 과제를 성공적으로 완수할 수 있는 자원이 없었을 수 있다. 그러므로 원리 1의 이러한 측면을 이전함으로써 우리는 원리 3의 실현을 지지한다는 가설을 세울 것이다.

Since key characteristics that would advantage certain individuals were evenly distributed across all groups, the instructor could design assignments that required teams to capture the intellectual resources of all group members. If these key characteristics were not evenly distributed, some groups may not have required team collaboration since each individual could have completed the assignments independently. Other groups may not have had the resources to successfully complete the assignments even with considerable team collaboration. Therefore, by transferring this aspect of Principle 1 we would hypothesize that we supported the realization of Principle 3.

학습 그룹에 대한 장기적인 헌신을 변화시켜 그들이 팀으로 진화할 수 있게 함으로써, 우리는 [학생들이 반드시 책임져야 한다]는 원칙 2를 훼손했다고 주장할 수도 있다. Michaelsen은 그룹을 학습 팀으로 발전시키려면 특정한 행동을 평가하고 보상할 필요가 있다고 주장한다. 그는 '학생들은 개별적으로 그룹 작업을 준비하고, 그룹 과제를 완료하는 데 시간과 노력을 쏟으며, 생산적인 방법으로 서로 교류해야 한다'고 제안한다. Michaelsen은 TBL 교실 환경에서 이러한 평가를 하기에 가장 좋은 위치에 있는 것은 학생들 자신이라고 제안한다. 우리의 조종사는 단 두 번의 교육 세션에서 열렸기 때문에, 학생들이 상호간에 이러한 행동들을 평가할 수 있도록 충분한 양의 상호작용을 하지 않기로 결정되었다. 따라서, 어떤 성적도 TBL 세션 활동에 할당되지 않았고 공식적인 학생 책임도 이행되지 않았다. 이렇게 해서 원리 1의 한 측면을 변형시킴으로써 우리가 원리 2를 훼손했다는 추측을 할 수 있을 것 같다.

By transforming the long-term commitment to learning groups so they can evolve into teams, it might be argued that we undermined Principle 2: that students must be made accountable. Michaelsen posits that developing groups into learning teams necessitates assessing and rewarding specific behaviours. He suggests that ‘‘students must be accountable for individually preparing for group work, devoting time and effort to completing group assignments, and interacting with each other in productive ways’’ (Michaelsen 2004). Michaelsen suggests that, in the TBL classroom setting, it is the students themselves who are in the best position to make these evaluations. Since our pilot was held in only two instructional sessions, it was decided that the students would not engage in a sufficient quantity of interactions to enable the evaluation of these behaviours in each other. Thus, no grades were allotted to TBL session activities and no formal student accountability was implemented. In this way, by transforming one aspect of Principle 1, it seems plausible to speculate that we undermined Principle 2.

우리가 TBL을 했느냐 하는 문제에 고심하면서, 우리 팀이 이 질문에 대한 해답에 대해 완전히 동의하고 있지 않기 때문에 일반적인 진실 진술의 개발을 추구하지 않는 연구 방법론을 선택한 것이 적절하다. 우리의 토론에서 명백해진 것은 이것을 결정하는 명확한 규칙들이 없다는 것이다. 대부분, 우리는 즉각적인 피드백을 위해 IRAT 및 GRAT 검사, 수업 내 과제 및 수업 내 진행 상황 공유를 포함하여 TBL의 기술을 효과적으로 복제했다는 것을 집단적으로 편안하게 느꼈다. 일부 팀원들에게는 이 정도면 TBL로서 우리의 개입을 인정하기에 충분했다. 그러나 원칙의 차원에서는 모호성이 더 컸다. 원리 1의 통념을 살펴보니, 어떤 면은 이전되고, 반면에 어떤 면은 변형되었다. 우리는 또한 이러한 이전과 변화가 다른 원칙들에 영향을 미친다는 것을 깨달았다. 따라서, [우리가 과연 TBL을 구현했는지]와 관련한 토론과 이견의 중요한 부분은 TBL의 네 가지 원칙의 수준에서 집중되었고, 우리가 이들에 대해 진실인지 여부에 집중되었다.

In struggling with the question of whether we did TBL, it is appropriate that we chose a research methodology that doesn’t seek to develop generalizable truth statements since our team is not in complete agreement regarding the answer to this question. What became apparent in our discussions is that there is no unambiguous set of rules by which to determine this. Mostly, we felt collectively comfortable that we effectively replicated the techniques of TBL, including implementing the IRAT and GRAT examinations, in-class assignments and in-class sharing of progress for immediate feedback. For some team members, this was sufficient to qualify our intervention as TBL. However, at the level of principles, there was greater ambiguity. Examining the tenets of Principle 1, we found that some aspects were transferred, while others were transformed. We also realized that these transfers and transformations had impact on the other principles. Thus, an important part of our discussion and disagreement regarding whether we implemented TBL was focused at the level of its four principles, and whether we were true to these.

결국 우리는 우리가 TBL을 했는가에 대한 문제는 TBL의 기본 철학인 [학습팀의 창설creation of learning teams]로 돌아와야만 해결될 수 있다는 것을 깨달았다. 강의실 기법과 핵심 원칙의 목적은 높은 수준의 개인 신뢰와 그룹 헌신을 가진 학습자 팀을 만드는 것이다. 우리는 (위의 결과에 기술된 바와 같이) 집단에서 팀으로 이러한 변혁의 힌트를 보았지만, 학생들이 우수한 학습팀을 정의하는 집단적 책임감과 신뢰감을 어느 정도 경험했는지를 공식적으로 평가하지는 않았다. 따라서 우리는 그 문제를 해결할 수 없다는 것을 알게 된다. 그러나, 우리는 이 오토네노그래픽 사례 연구가 의료 교육에 대한 고려를 위한 중요한 요점을 제공한다고 제안한다.

In the end, we realized that the question of whether we did TBL could only be resolved by returning to TBL’s underlying philosophy: the creation of learning teams. The purpose of the classroom techniques and key principles is to create teams of learners with high levels of individual trust and group commitment. While we saw hints of this transformation from groups to teams (as described in the results above), we did not formally assess the extent to which the students experienced the sense of collective responsibility and trust that define excellent learning teams. Thus, we find ourselves unable to resolve the question. However, we suggest that this autoethnographic case study does provide important points for consideration for medical education.

우리의 사례 연구에서 알 수 있듯이, 교육적 혁신을 한 사이트에서 다른 사이트로 도입하는 것은 단순한 이전 문제가 아니라 변혁의 과정이다. 교육 혁신은 철학과 함께 시작되며, 교실 기술을 통해 운영되는 기본 원칙의 개발로 이어진다. 혁신의 원래 기법이 새로운 사이트에서 구현 솔루션을 찾는 데 도움이 될 수 있지만, 이러한 테크닉은 기성품off-the-shelf 솔루션이 아니다. 그 [기술]들이 비록 그저 표면적 구조로 보일 수도 있지만, 사실 그것들은 더 깊은 [원칙]의 실현이라고 경고할 것이다. 그리고 [원칙]은 그 자체가 더 깊은 [철학]을 실현하는 것이다. 기술 및/또는 원칙이 새로운 맥락으로 수정modify될 때, [변경사항modification]이 여전히 [혁신의 철학]을 뒷받침하는지 분석하는 것이 중요하다. 이를 위해, 우리는 교육 혁신에 대한 설명이 그들이 의존하는 원칙에 대한 분석을 포함하도록 도울 수 있다고 제안한다.

As our case study illustrates, introducing an educational innovation from one site to another is not simply a matter of transfer; it is also a process of transformation. An education innovation begins with a philosophy, leading to the development of fundamental principles, operationalized through classroom techniques. While the innovation’s original techniques might help us to find implementation solutions at a new site, these techniques are not off-the-shelf solutions. We would caution that while the techniques may seem only to be surface structures, they are in fact realizations of deeper principles. And principles are themselves realizations of the deeper philosophy. When techniques and/or principles are modified to a new context, it is important to analyze if the modifications still uphold the innovation’s philosophy. To this end, we suggest that descriptions of educational innovations might helpfully include analyses of the principles upon which they rely.

한 가지 중요한 주의사항이 포함되어야 한다. 교육혁신을 새로운 맥락에서 구현할 때, 교육혁신을 변형시키는 과정이 반드시 한탄하거나 피해야 할 변화는 아니다. 우리는 우리가 우리 기관에서 시험한 것이 장점이 있다고 믿고 있으며, 우리는 그것의 미래에 대한 가능성에 대해 흥분하고 있다. 그러나 우리는 TBL로 알려진 혁신을 평가하는 문헌에 우리의 연구 결과를 추가하는 것을 주저할 것이다. 우리의 분석에 근거하여, 우리는 TBL (또는 PBL 또는 CBL)과 같은 교육운동은 [기법]에 관한 것이 아니라, [원칙을 통해 가능하게 되고] [기법을 통해 제정되는] [교육철학에 관한 것]이라고 확신하게 되었다. [철학을 성취했다는 것]을 증명할 수 없는 한, [기법]에 기초하여 라벨을 적용하는 것은 문헌에 inform하기보다는 더럽힐 가능성이 더 높다.

One important caveat must be included: The process of transforming an educational innovation when implementing it in a new context is not necessarily a change to be lamented, or to be avoided. We believe that what we piloted at our institution had merit and we are excited about its future possibilities. But we would hesitate to add our findings to the literature assessing the innovation known as TBL. Based on our analysis, we have become convinced that educational movements such as TBL (or PBL or CBL) are not about technique, they are about educational philosophy enabled through principles and enacted through techniques. Unless one can demonstrate having accomplished the philosophy, applying a label based on techniques is more likely to muddy the literature than inform it.

Adv Health Sci Educ Theory Pract. 2012 Aug;17(3):357-67. doi: 10.1007/s10459-011-9313-4. Epub 2011 Jul 3.

Is transferring an educational innovation actually a process of transformation?

거꾸로 교실: 실천을 위한 핵심 아이디어와 권고 리뷰(Educ Psychol Rev, 2017)

Flipped Classrooms: a Review of Key Ideas and Recommendations for Practice

Sarah J. DeLozier1 & Matthew G. Rhodes1

"플립된 교실"이란? 단일 모델(터커 2012)은 없지만, 플립된 강의실은 수업 전에 숙제로 배정된 강의 내용(예: 사전 녹음된 강의)을 코스 구조로 특징으로 한다. 수업 시간에는 문제, 발전된 개념, 협업 학습에 참여한다(Findlay-Thompson 및 Mombourquette 2014). 강의 내용을 강의실에서 없앰으로써 강사가 개별 학생과 일대일로 참여할 수 있는 시간이 더 많아지지만(Roehl et al. 2013), 마찬가지로 중요한 것은 플립된 강의실 모델은 학생 중심이라는 점이다(Mclaughlin et al. 2014).

What are "flipped classrooms?" Although there is no single model (Tucker 2012), the flipped classroom is characterized by course structure: instructional content (e.g., prerecorded class lectures) is assigned as homework before coming to class. In-class time is then spent working on problems, advancing concepts, and engaging in collaborative learning (Findlay-Thompson and Mombourquette 2014). Removing the instructional content from in-class time allows the instructor more time for one-on-one engagement with individual students (Roehl et al. 2013), but perhaps equally important, the flipped classroom model is student-centered (McLaughlin et al. 2014).

O'Flaherty와 Phillips(2015)가 검토한 28개 고등교육 연구 중 11개 또는 절반 이하만이 학생 성취도를 보고했으며, 이 중 두 형식 사이에 겹친 비교 시험, 평가 또는 시험 문제가 있는 전통적인 강의실과 비교한 것은 5개뿐이다. 오히려 성과는 흔히 학생들의 학습에 대한 인식만을 보여주었다. 

Of the 28 higher-education studies reviewed by O’Flaherty and Phillips (2015), only 11—or fewer than half—reported measures of student performance, and amongst these, only five reported comparisons to a traditional classroom with comparable exams, assessments, or exam questions that overlapped between the two formats . Rather, outcomes frequently reflected students’ perceptions of their learning 

학생들의 평가에 의존하는 것은 그들이 학습을 정확하게 평가할 수 있다고 가정한다. 그러나 이러한 가정과는 달리, 메타인식에 대한 연구(즉, "알고 있는 것"; Flavell 1979;넬슨1996년)에 따르면, 학생들이 종종 자신의 학습을 평가하거나 학습을 강화하는 전략을 식별할 수 없다고 제안한다. 연구결과는 학생들의 학습에 대한 인식이 학습 성과의 객관적인 척도와 같지 않다는 것을 보여준다. 따라서, 뒤집힌 강의실에 대한 평가와 검토는 이상적으로는 학습에 대한 객관적 척도에 따라 guide되어야 한다.

Relying on students’ evaluations assumes that they can accurately assess learning. However, in sharp contrast to this assumption, research in metacognition (i.e., "knowing about knowing"; Flavell 1979;Nelson1996) suggests that students are often unable to assess their own learning or identify strategies that enhance learning. findings indicate that students’ perceptions of learning are not tantamount to objective measures of learning performance. Accordingly, any evaluation and review of flipped class- rooms should ideally be guided by objective measures of learning.

그러나 뒤집힌 교실의 효율성을 평가하는 데 있어 또 다른 장애물은 교실 "flip"의 구현에 있어 상당한 차이점이 존재한다는 데 있다. 

• 예를 들어, 강사들은 강의의 일부만 플립된 강의실 접근법을 반영하는 "부분적" 플립을 이용할 수 있다(Seery 2015). 

• 또한, 뒤집힌 교실에는 독해, 숙제, 보충 비디오 등을 포함한 강의 이외의 많은 수업외 활동들이 포함될 수 있다. 

• 마지막으로, 수업 내 활동은 역할극, 토론, 퀴즈, 그룹 프레젠테이션 등의 활동을 포함하여 매우 다양하다(O'Flaherty 및 Phillips 2015 참조). 

Yet, another obstacle to evaluating the efficacy of flipped classrooms lies in the vast differences in instructor implementation of the classroom "flip." 

• For example, instructors might utilize a "partial" flip, in which only a portion of lectures reflect a flipped classroom approach (Seery 2015). 

• Additionally, the flipped classroom may include a large array of out-of-class activities beyond lectures, including readings, homework, and supplemental videos1. 

• Finally, in-class activities vary widely, including activities such as role-play, debates, quizzes, and group presentations, amongst others (see O’Flaherty and Phillips 2015). 

이러한 다양한 접근방식을 고려할 때, 뒤집힌 교실은 (수업 내 활동과 수업 외 활동 모두에 대해) 교실 뒤집기를 만드는 데 사용된 개별 전략에 관하여 평가되어야 한다.

Given this variety of approaches, flipped classrooms should be evaluated with regard to the individual strategies used in creating the classroom flip, both for in-class and out-of-class activities.

수업 밖 강의

Out-of-Class Lectures

뒤집힌 강의실 형식의 강의실 외부에서 가장 일반적인 이동 방법 중 하나는 학생들이 수업에 참석하기 전에 미리 녹화된 비디오 강의나 스크린캐스트를 보도록 요구하는 것이었다(Abeysekera and Dawson 2015). 강의는 수업의 많은 부분을 차지하고 있기 때문에, 사전에 녹음된 강의가 학습에 어떤 영향을 미치는지, 해로운지, 긍정적인지를 검토하는 것이 타당해 보인다. 생리학 강의에서 10개의 강의에 대해, El Sayad와 El Raouf(2013)는 간호 학생들에게 비디오 기반 형식이나 내레이팅된 PowerPoint 형식을 번갈아 보게 하고, 퀴즈와 시험을 통해 학습을 측정하도록 했다. 전반적으로, 이러한 시험에 합격하거나 불합격한 학생 비율(즉, 60 % 이하)은 평가에 대한 강의 형식에 따라 다르지 않았다. 마찬가지로, Ellis와 Mathis(1985)는 사회학 입문 학생들이 수업 시간 내내 TV 강의나 직접 강의를 시청하고 강의 형식에 관계없이 유사한 시험 성적을 관찰했다. 또한, Conway 등(2010년)은 학생 성적에 영향을 미치지 않고, 그들이 담당한 추가적인 수업 외 과제를 완료하기 위한 시간을 제공하기 위해 수업 시간을 14% 단축했다. 따라서, 비디오 강의 그 자체로는 학생들 학습을 추가add하거나 훼손detract하지 않는 듯 보인다.

One of the most common means of moving instruction outside the classroom in a flipped classroom format has been to require students to watch prerecorded video lectures or screencasts prior to attending class (Abeysekera and Dawson 2015)2. Because the lecture is such a large portion of a class (even within the flipped classroom), it seems reasonable to examine whether prerecorded lectures have any impact, deleterious or positive, on learning. For ten in-class lectures in a physiology course, El Sayad and El Raouf (2013) had nursing students alternate between viewing a video-based format or a narrated PowerPoint format, with learning measured through quizzes and exams. Overall, the percentage of students who passed or failed these tests (i.e., earned 60 %or less) did not differ across lecture formats for any of the assessments. Similarly, Ellis and Mathis (1985) had introductory sociology students watch either televised or in-person lectures for an entire class semester and observed similar test performance regardless of lecture format. As well, Conway et al. (2010) reduced in-class lecture time by 14 %to provide time for completing additional out-of-class assignments which they were responsible for, with no effect upon student grades. Thus, it does not appear that video lectures, in and of themselves, either add to or detract from student learning.

문헌을 추가로 검사해 보면, 교육 내용을 전달하는 형식도 학습에 상당한 영향을 미치지 못한다는 것을 알 수 있다. 예를 들어, Stephenson 등. (2008) 인간 유전학 과정의 다양한 주제에 대해 세 가지 강의 형식(전통적, 가상, e-강의) 각각에 노출된 생물과학 전공자들 사이의 학습을 비교했다. 

• 전통적인 강의 형식에서, 학생들은 파워포인트 프레젠테이션을 하는 강의실 강사를 보충 자료로 보았다. 

• 가상 강의 형식에서 학생들은 대화형 다중 매체 온라인 강의(주로 텍스트 기반)를 통해 이동했는데, 이 강의는 세 가지 주제를 하위 주제별로 정리하고 자기 평가 질문 외에도 대화형 오디오와 시각적 설명을 제공했다. 

• 마지막으로, e-lecture 형식으로 학생들은 언제든지 강의를 중지, 일시 중지, 단축 또는 되감기할 수 있는 능력을 가진 내레이션된 PowerPoint 강의를 보았다. 

실제 리콜, 이해, 분석 기술, 적용 기술 및 평가 기술을 평가하여 학습을 검토했다. 전반적으로 강의 형식에 관계없이 시험 성적은 비슷했다.

Further inspection of the literature indicates that the format of imparting instructional content also fails to substantially influence learning. For example, Stephenson et al. (2008) compared learning amongst bioscience majors exposed to each of three lecture formats (traditional, virtual, e-lecture) for different topics in a human genetics course. 

• For the traditional lecture format, students viewed an in-class lecturer giving PowerPoint presentations with printed notes as supplements. 

• In the virtual lecture format, students navigated through an interactive multi- media online lecture (primarily text-based), which organized each of the three topics into subtopics and provided interactive audio and visual explanations in addition to self- assessment questions. 

• Finally, in the e-lecture format, students viewed narrated PowerPoint lectures with the ability to stop, pause, fast-forward, or rewind the lectures at any time. 

Learning was examined using a test assessing factual recall, comprehension, analysis skills, application skills, and evaluation skills. Overall, test performance was similar regardless of lecture format.

장 외 (2006)는 인터넷 검색엔진을 주제로 경영정보시스템 학생들의 실적을 조사했다. 참가자들은 표준 강의, 인터랙티브 비디오 강의(즉, 일시정지, 신속진행 능력 등), 비인터랙티브 비디오 강의 또는 소리보다는 텍스트 자막이 있는 강의에 노출되었다. 인터랙티브 비디오 강의는 다른 모든 조건들 사이에서 유사한 성능을 보이며 최고의 시험 성적을 거두었다. 물론 이 연구는 단 한 개의 강의만을 대상으로 실시되었으며, 이는 전체 강좌에 걸쳐 일반화하는 데 어느 정도 주의를 기울일 것을 시사한다.

Zhang et al. (2006) examined management information systems students’ performance on the topic of internet search engines. Participants were exposed to either a standard lecture, an interactive video lecture (i.e., the ability to pause, fast-forward, etc.), a noninteractive video lectures, or a lecture with text subtitles rather than sound. Interactive video lectures resulted in the highest test performance, with similar performance between all other conditions. Of note, this study was conducted on only one lecture, suggesting some caution in generalizing across an entire course.

전체적으로, 현존하는 데이터는 비디오 강의 자체가 학습에 영향을 미치지 않는다는 것을 암시한다. 그러한 데이터는 매체가 콘텐츠의 전달자이며 학습 자체에 영향을 미칠 가능성이 낮다는 이론과 일치한다(Clark 1983, 1994). 따라서, 교실 밖에서 강의를 하는 것의 어떤 이점은 적극적인 학습을 위한 수업 시간을 제공하는 것에서 와야 한다.

Collectively, the extant data suggest that video lectures themselves do not affect learning. Such data are consistent with the theory that the medium is a carrier of content and unlikely to affect learning itself (Clark 1983, 1994). Thus, any advantage of providing lectures outside the classroom should come from releasing class time for active learning.

수업 중 활동

In-Class Activities

강의실을 뒤집는 주된 동기는 능동적 학습을 포함한 수업 중 활동을 위한 추가 시간을 제공하기 위한 것이다(Haak et al. 2011). 여러 가지 방법이 일관되게 학습을 향상시키는 것처럼 보이지만, 사용된 특정 능동 학습 방법의 유용성은 다양하다(예: Freeman et al. 2014 참조). 실제로, [어떤 능동적인 학습 방법의 성공]은 그 방법에 의해 [관여된 과정]의 함수일 것이다.

The primary motive for flipping a classroom is to provide additional time for in-class activities, including active learning (Haak et al. 2011). The particular methods of active learning used vary in their utility (Prince 2004), although several methods appear to consistently enhance learning (see e.g., Freeman et al. 2014, for a review). Indeed, the success of any method of active learning will be a function of the processes engaged by that method,

청중 응답, 개방형 질문 및 퀴즈

Audience Response, Open Questions, and Quizzes

맥러플린 외 연구진(2014년)은 학생들에게 수업 밖 콘텐츠(비디오 강의 및 판독치)에 관한 클릭자 질문(즉, 일반적으로 "클릭커"로 불리는 청중 응답 시스템을 통해 관리되는 질문)에 응답하도록 했다. 그런 다음, 강사는 학생들의 반응을 토대로 강의, 독서 또는 관련 내용에 관한 학생들의 피드백과 질문에 답할 수 있다. 또한, 각 수업이 끝날 때마다 학생들은 개별적이든 쌍으로든 그날의 자료에서 간단한 퀴즈를 완성했다. 다른 거꾸로교실 강사들도 학생들이 수업 외 과제를 완료했는지 확인하기 위한 수단(2015년 10월, 윌슨 2013년) 또는 내용에 대한 학생들의 실시간 피드백을 수집하기 위해 클리커 질문이나 퀴즈를 활용하여 보고한다(Ferreri and O'Connor 2013).

McLaughlin et al. (2014) had students respond to clicker questions (i.e., questions administered via audience response systems, commonly termed "clickers"; Caldwell2007) regarding out-of-class content (video lectures and readings). Based on students’ responses, the instructor would then provide feedback and answer questions from students regarding the lectures, readings, or related content. Additionally, at the end of each class, students completed brief quizzes on that day’s material, either individually or in pairs. Other flipped classroom instructors also report utilizing clicker questions or quizzes, either as a means of ensuring that students completed the out-of-class assignments (Hung 2015; Wilson 2013) or to gather real-time feedback regarding student understanding of content (Ferreri and O’Connor 2013).

수업 강의를 듣거나 수업 토론에 참여하는 시간과 비교했을 때, 클리커 사용이 시험 점수를 향상시키거나 손상시키지는 않는 것으로 보인다(검토의 경우 Caldwell 2007 참조). 클릭자 질문을 사용하는 것의 이점에 대한 한 가지 잠재적인 설명은 학생들이 검색retrieval에 참여하도록 장려한다는 것이다. 이러한 검색은 테스트 효과로 알려진 검색 결과(검토의 경우 Roediger 2008; Rowland 2014 참조)와 비교하여 검색된 정보에 대한 메모리를 강화한다. 실제로, Rowland의 메타 분석은 시험testing material가 동일한 정보를 단순히 다시 읽는 것보다 더 높은 평균 성능(즉, 정확하게 리콜, 인식된 항목의 비율 등)을 초래한다는 것을 발견했다(g=.50).

Clickers appear to either improve or fail to harm exam scores, relative to equivalent time listening to class lectures or participating in class discussions (for a review, see Caldwell 2007). One potential explanation for an advantage of employing clicker questions is that it encourages students to engage in retrieval. Such retrieval enhances memory for the retrieved information, compared to rereading that material, a finding known as the testing effect (for reviews, see Roediger 2008; Rowland 2014). Indeed, Rowland’s meta-analysis found that testing material resulted in higher average performance (i.e., in terms of proportion of items correctly recalled, recognized, etc.) than simply rereading that same information (g=.50).

클리커가 다른 테스트 정보보다 메모리를 더 향상시키는가? 래스트리(2008)는 기계학 과정의 두 가지 다른 섹션에서 이 질문을 검토했다. 하나는 클리커와 클리커 질문을 사용하고 다른 하나는 플래시 카드를 통해 동일한 클릭자 질문을 제시한다. 최종 시험 성과는 클리커든 플래시 카드 사용한 것이든 시험을 본 자료에 대해서는 유사하며, 클리커 사용에 따른 추가 이익은 없다. 따라서 클리커가 대규모 그룹에 시험을 관리하는 실질적인 수단을 제공하지만, 정보를 검색retrieving하는 행위는 형식에 관계없이 학습에 도움이 된다. 실제로 시험의 이점은 수업 내 활동에만 국한되지 않는다. 예를 들어, 동급이 아닌 재료에 대한 퀴즈(예: Flynn 2015).Wilson2013) 또한 학습을 강화할 수 있다. 또한, 강사가 수업 전에 학생들에게 나눠준 out-of-class 자료로 시험하는 경우, 강의실에서 다루는 내용을 맞춤화하기 위해 이러한 시험의 피드백을 사용할 수 있는 추가 기회가 있다(예: Hurtubise et al. 2015).

Do clickers enhance memory more than other means of testing information? Lasry (2008) examined this question in two different sections of a mechanics course: one using clickers and clicker questions and the other presenting the same clicker questions via flashcards. Final exam performance was similar for material tested via clickers or flashcards, arguing against any additional benefit accruing from clickers. Thus, although clickers provide a practical means of administering tests to large groups, the act of retrieving information should benefit learning regardless of theformat. Indeed, the benefits of testing are not restricted to in-class activities. For example, quizzes on out-of-class material (e.g., Flynn 2015;Wilson2013) can also enhance learning. Further, if instructors test students on out-of-class material prior to class, they have the additional opportunity to use feedback from these tests to tailor the content addressed in-class (e.g., Hurtubise et al. 2015).

짝지어 공유하기 활동

Pair-and-Share Activities

맥러플린 외 연구진(2014년)은 학생들이 수업과 함께 수업을 공유하기 전에 서로 (2인 1조로) 작업하는 세 가지 다른 유형의 "페어 앤 쉐어" 활동을 사용했다. 

• Rapid PaS 활동에서, 학생들은 수업 중 토론 질문을 받고 함께 짝을 지어 토론하고 나중에 다른학생과 강사에게 자신의 아이디어를 발표하였다. 강사는 피드백을 제공한다

• Reflective PaS 활동에서, 학생들은 토론 질문에 간단한 에세이로 답할 수 있는 2-3일의 시간을 가졌고, 강사는 수업 중 토론을 위해 에세이를 제시할 그룹을 선택했다. 

• Proactive PaS 활동에서, 학생들은 함께 짝을 이루어 교대로 자신의 토론 질문을 준비하고 그 주제에 대한 수업 토론을 주최했다.

McLaughlin et al. (2014) used three different types of "pair-and- share" activities in which students worked with each other (in groups of two) prior to sharing their work with the class. 

• In rapid pair-and-share activities, students were given an in-class discussion question and were paired together to discuss and later present their ideas to the class and instructor, who provided feedback. 

• In reflective pair-and-share activities, students had 2– 3 days to answer discussion questions in brief essays, from which the instructor selected groups to present their essays for in-class discussion. 

• In the proactive pair-and-share activities, students paired together and took turns preparing their own discussion questions and hosting class discussion on that topic.

그룹 토론은 학습에 도움이 되는 것으로 보인다. 스미스 외 (2009) 그룹 토론은 적용된 원칙에 대한 학생들의 개념적 이해뿐만 아니라 학생들의 성적에 혜택을 주었다. Smith 등(2011년)은 학생들이 첫 번째 질문에 개별적으로 대답하는 유사한 설계를 사용하여 학생들이 [그룹 토론에 참여하거나, 강사 설명을 받거나, 그룹 토론과 강사 설명을 결합할 수 있도록] 했다. 그 후 학생들은 동일한 기본 개념이나 원칙을 활용하는 두 번째 질문에 개별적으로 대답했다. 두 번째 문제에서의 성적은 쌍의 첫 번째 문제에서의 성과에 관계 없이 그룹 토론과 강사 설명의 조합을 받은 학생들에게 가장 좋았다.

Group discussions appear to benefit learning. Smith et al. (2009) , group discussion benefitted student performance as well as their conceptual understanding of the applied principles. Using a similar design, in which students answered the first question individually, Smith et al. (2011) allowed students to either engage in group discussion4, receive instructor explanation, or a combination of group discussion and instructor explanation. Students then individually answered a second question, which utilized the same underlying concept or principle. Performance on the second question was best for students who received the combination of group discussion and instructor explanation, regardless of performance on the first question of the pair.

그룹 활동이나 토론의 이점은 그룹 규모와 같은 요인에 따라 달라지는가?

Do the benefits of group activities or discussion depend on factors such as the size of the group?

실제로, 그룹 역학(예: 개인의 영향)도 그룹 크기가 증가함에 따라 변할 수 있다(Fay et al. 2000). 그룹 크기(5명 대 10명)를 조정하면서, 페이 외 (2000년) 소규모 그룹 토론의 학생들은 서로 상호작용하는 구성원에 의해 똑같이 영향을 받는 반면, 대규모 그룹 토론의 학생들은 주로 지배적인 그룹 화자에 의해 영향을 받는다는 것을 발견했다. 그룹 규모 문제는 아직 해결되지 않았지만, Michaelsen과 Sweet(2008a, b, 2011년)은 그룹이 도전적인 지적 과제를 해결해야 할 때 5명에서 7명의 멤버로 구성된 그룹을 추천한다.

Indeed, group dynamics (e.g., influence of individuals) may also change as group size increases (Fay et al. 2000). Manipulating only group size (5 vs. 10 members), Fay et al. (2000) found that students in smaller group discussions were equally influenced by members they interacted with, whereas students in larger group discussions were primarily influenced by dominant group speakers. Although the issue of group size is not yet resolved, Michaelsen and Sweet (2008a, b, 2011) recommend groups of five to seven members when groups must address challenging intellectual tasks.

학생 프레젠테이션

Student Presentations

맥러플린 외 연구진(2014년)은 4, 5명의 학생들로 구성된 그룹에게 읽기자료 요약본을 준비하고 발표 자료를 만들도록 했다. 이 자료들은 수업 중 토론을 이끌기 위해 사용되었는데, 그 동안 학생들은 다른 학생들의 질문에 답하는 책임을 맡았다. 실제로 학생 프레젠테이션은 일반적으로 뒤집힌 강의실 형식으로 사용되는 것으로 보고된다(Hung 2015; Kim et al. 2014; Mason et al. 2013; McLaughlin et al. 2013; Schlairet et al. 2015).

McLaughlin et al. (2014) had groups of four to five students prepare a summary of class readings and create presentation materials. These materials were used to lead in-class discussion, during which the students were responsible for answering other students’ questions. Indeed, student presentations are commonly reported as being used in the flipped classroom format (Hung 2015; Kim et al. 2014; Mason et al. 2013; McLaughlin et al. 2013; Schlairet et al. 2015).

최근 평론에서 카베리와 오랜드(2012년)는 가르치는 것이 어떻게 자신의 학습(즉, 학습에 의한 학습)에 도움이 될 수 있는지를 논한다. 가르치는 과정(준비, 발표, 학생 평가로 구성)은 흔히 의사소통 등 관련 기술을 향상시키는 것 외에 교사가 제시된 내용을 배우는 데 도움이 되는 것으로 추정한다.

In a recent review, Carberry and Ohland (2012) discuss how teaching can benefit one’s own learning (i.e., learning-by-teaching). The teaching processes (composed of: preparation, presentation, and student assessment) are frequently presumed to benefit the teacher’s learning of the presented content, in addition to improving related skills, such as communication

예: 피오렐라 및 메이어(2014년)

For example, Fiorella and Mayer (2014)

시험을 예상한 참가자에 비해, 가르치는 것이 기대되는 참가자는 즉각적이고 지연된 이해력 테스트에서 모두 더 잘 수행했으며, 이러한 효과는 가르치도록 예정되었거나, 실제로 가르친 사람들에게 가장 강력했다. 전반적으로, 이러한 결과는 발표(또는 발표할 것으로 기대됨)가 시험을 예상하여 강의 듣거나 공부하는 것 이상의 이점을 학생들에게 제공한다는 것을 나타낸다.

Compared to participants who expected a test, those who expected to teach performed better on both immediate and delayed comprehension tests, with this effect being strongest for those who both expected to teach and actually did teach. Overall, these results indicate that presenting (or the expectation of presenting) provides benefits to the student above and beyond either listening to a class lecture or studying in anticipation of a test.

이러한 데이터는 [정보가 단순히 제공되는 경우]보다 [그 정보를 생성하거나 학습할 자료를 능동적으로 만들어내는 경우]가 기억에 더 좋다는 발견을 연상시킨다(검토의 경우 Bjork 등 2007; Mulligan 및 Lozito 2004 참조). 즉, 프레젠테이션을 하는 학생들은 프레젠테이션을 위한 자료를 생성해야 하는 반면, 프레젠테이션을 듣는 학생들은 프레젠테이션 자체로부터 제공되는 추가 검토로부터 이익을 얻을 수 있지만, 그 자료를 만드는 것의 혜택을 받지 못할 수 있다. 그러한 연구 결과는 학생이 프레젠테이션을 위해 자신의 컨텐츠를 생성하거나 생성하는 정도로 학생 프레젠테이션의 이점이 향상될 것임을 시사한다(Foos et al. 1994 참조). 즉, 학생이 관련 클래스 개념을 연결하거나 자신의 프레젠테이션에 관련 외부 판독값을 도입할 경우, 그 결과 학습에 대한 편익이 강의 자료를 단순 요약한 것보다 클 수 있다.

These data are reminiscent of the finding that generation, or actively producing information that is being learned, results in better memory for that information than if the information is simply provided to them (for reviews, see Bjork et al. 2007; Mulligan and Lozito 2004). That is, students presenting must generate the material for the presentation, whereas students listening to the presentation might benefit from the additional review provided from the presentation itself but would not receive the benefits of generating that material. Such findings suggest that the benefit of student presentations would be enhanced to the degree that the student generates, or creates, his or her own content for the presentation (see also Foos et al. 1994). That is, if the student connects related class concepts or introduces relevant outside readings into his or her presentation, the resulting benefit to learning may be greater than if the presentation was a simple summary of the class material.

플립된 강의실과 능동적 학습 상호 작용

Active Learning Interacting with the Flipped Classroom

지금까지, 우리는 그들이 관여하는 인지 과정(예: 세대)의 관점에서 플립 강의실의 다양한 구성 요소를 검토했다(예: Jensen et al. 2015). 그러나 이러한 프로세스는 여러 활동이 함께 짝을 이룰 때 상호 작용할 수 있다는 점에 유의해야 한다. 예를 들어, spacing과 variation 모두 개별적으로 학습에 유익하지만, spaced variation이 원래 학습(Appleton-Knapp et al. 2005) 또는 자료의 특성(예: McDaniel et al. 1986)과 연결되지 않을 경우 이 두 가지의 조합은 역생산적이 된다. 

Thus far, we have reviewed various components of the flipped classroom in terms of the cognitive processes (e.g., generation) they engage (e.g., Jensen et al. 2015). However, it must be noted that these processes may interact when multiple activities are paired together. For example, although both spacing and variation individually benefit learning, their combination becomes counter- productive if spaced variations fail to be connected with the original learning (Appleton-Knapp et al. 2005), or with the nature of the material (e.g., McDaniel et al. 1986). 

따라서, 뒤집힌 교실에서 사용되는 개별 기법의 편익은 함께 사용되는 다른 방법에 의해 달라질 수 있다. 한 가지 흥미로운 가능성은, 뒤집힌 교실이 여러 가지 활동적인 학습 방법을 결합하는 데 이상적인 장소가 될 수도 있다는 것이다. 예를 들어, 일부 활동적인 학습(클릭커, 온라인 숙제, 데모)을 통합한 수업과 비교하여 플린(2015년)은 다양한 활동적인 학습 기법을 통합하고 뒤집힌 강의실(즉, 탈퇴율과 실패율 감소, 시험 점수 증가)을 보고하였다.

Accordingly, the benefits of any individual technique employed in flipped classroom may be altered by other methods in use. One intriguing possibility is that flipped classrooms may be an ideal venue for combining multiple methods of active learning. For example, compared to classes that integrated some active learning (e.g., clickers, online homework, and demonstrations), Flynn (2015) integrated a wide variety of active learning techniques and reported a benefit for flipped classrooms (i.e., reduced withdrawal and failure rates, increased exam scores).

요약 및 결론

Summary and Conclusions

전반적으로, 우리는 그들의 잠재적 편익을 평가하면서 뒤집힌 교실에서 구현된 몇 가지 교육 전략을 고려했다. 요약하자면, 비디오 교육은 그 자체로 학습 성과의 변화를 책임지는 것으로 보이지는 않지만, 능동적인 학습으로 인해 학습 성과를 향상시키는 수업 중 활동에 추가 시간을 제공할 수 있다(2004년 이후). 뒤집힌 교실에서 흔히 볼 수 있는 다른 학습 활동(예: 퀴즈 또는 클릭자 질문, 쌍방 공유 활동, 학생 프레젠테이션 및 토론)은 학습 성과를 높이는 데 필요한 조건과 효과 면에서 모두 다르다. 

Overall, we considered several instructional strategies that have been implemented in a flipped classroom, evaluating their potential benefits. To summarize, video instruction in and of itself does not appear responsible for changes in learning performance, but may provide additional time for in-class activities that enhance learning performance due to active learning (Prince 2004). Other learning activities common in the flipped classroom (e.g., quizzes or clicker questions, pair-and-share activities, student presentations and discussion) differ both in their effectiveness and in the conditions necessary for enhancing learning performance. 

아마도 가장 중요한 것은 (표준 퀴즈나 클리커 질문을 통해) 학생들을 시험하는 것의 이점은 다른 사람들의 성과에 달려있지 않다는 것이다. 논의된 모든 능동적 학습 방법 중 테스트는 효과적인 학습 전략으로서 격리 및 식별하기 가장 간단하다(그러나 학생 지식에 기초한 이에 대한 일부 제한은 Carpenter et al. 2015 참조). 이와 같이, 우리는 시험의 이점이 robust하며, 수행 방법에 관계없이 성능을 향상시킬 가능성이 높다는 점에 주목한다(수행방식에 무관하게 효과적이라는 것은 다른 여러 테크닉과 다른 점이다). 클리커는 학생들이 전통적인 시험이나 퀴즈보다 더 즐겁게 보는 방식으로 빈번한 시험을 통합할 기회를 제공할 수 있다(Birjandi와 Alemi 2010).

Perhaps most important, the benefit of testing students (either through standard quizzes or clicker questions) is not contingent upon the performance of others. Of all the active learning methods discussed, testing is the simplest to isolate and identify as an effective learning strategy (but see Carpenter et al. 2015, for some limits to this based on student knowledge). As such, we note that the benefits of testing are robust and likely to enhance performance regardless of how it is carried out—something difficult to say about many techniques. Clickers may present an opportunity to incorporate frequent testing in a manner that students find more enjoyable than traditional exams or quizzes (Birjandi and Alemi 2010).

우리는 다른 형태의 능동적 학습을 무시할 것을 권하지 않는다. 예를 들어, 협업 학습(Kirschner 등) 2009), 공동 학습(Johnson et al. 1998), 문제 기반 학습(Dochy et al. 2003)은 다양한 수준의 지원을 받으며 광범위하게 사용되는 그룹 학습 활동이다(Prince 2004). 그룹 학습의 이점은 과제복잡성, 사전 경험, 그룹에 대한 개인의 기여와 같은 다양한 요인에 따라 달라진다(Gadgil et al. 2012; Kirschner et al. 2009; 메이드 외 2009년) 또한 이에 대해서 뒤집힌 교실에서 더 많은 연구를 할 가치가 있다. 그룹 활동은 개별 학습 과정 내용 향상뿐만 아니라 리더십 기술 개발, 팀 작업 능력 향상, 사회적 서포트 구축 등의 추가적인 이점을 제공할 수 있다(Johnson et al. 1998). 이러한 요인들 중 다수는 학업과정에서 retention에 중요할 뿐만 아니라 일단 직무를 시작한 이후에도 성공을 거두는 데 중요하다.

We do not recommend that other forms of active learning be ignored (and certainly, several other techniques might be viable). For example, collaborative learning (Kirschner et al. 2009), cooperative learning (Johnson et al. 1998), and problem-based learning (Dochy et al. 2003)are broadly used group learning activities with varying levels of support (Prince 2004). Benefits of group learning depend upon a variety of factors, such as task complexity, prior expertise, and individuals’ contributions to the group (Gadgil et al. 2012; Kirschner et al. 2009; Meade et al. 2009) and are worthy of further exploration in the flipped classroom. As well as enhancing individual learning course content, group activities can provide additional benefits such as developing leadership skills, enhancing the ability to work in teams, and building social support (Johnson et al. 1998). Many of these factors are important not only for retention in academic settings but for achieving success once in the workforce.

미래 방향

Future Directions

뒤집힌 교실에 대한 종합적인 연구는 아직 초기 단계에 있다.

Comprehensive research on flipped classrooms is still in a nascent stage.

파스카렐라와 테렌지니(2005)가 지적한 바와 같이, "근거에 따르면...여러 가지 힘이 학생 학습과 변화에 영향을 미치기 위해 여러 가지 환경에서 작용한다는 것을 강력히 시사한다"(p. 629). 이 통찰력은 뒤집힌 교실 접근방식의 개별적 구성에 대한 연구를 간결하게 요약한다.

As noted by Pascarella and Terenzini (2005), "evidence strongly suggests that…multiple forces operate in multiple settings to influence student learning and change" (p. 629). That insight succinctly summarizes the research on the individual compo- nents of a flipped classroom approach.

McLaughlin, J. E., Roth, M. T., Glatt, D. M., Gharkholonarehe, N., Davidson, C. A., Griffin, L. M., &Mumper, R. J. (2014). The flipped classroom: a course redesign to foster learning and engagement in a health professions school. Academic Medicine, 89,236–243.

Citation

Flipped classrooms refer to the practice of assigning lectures outside of class and devoting class time to a variety of learning activities. In this review, we discuss the range of approaches to the flipped classroom and focus on activities frequently used in these settings. Amongst these, we examine both out-of-class activities (e.g., video lectures) and in-class activities (e.g., quizzes, student discussions).We argue that the value of these activities reflects the particular cognitive processes engaged by the activity regardless of whether the setting is the traditional (lecture-based) classroom or the flipped classroom. Future work should continue to examine the influence of individual activities on student learning and behaviors, particularly when objective measures of learning, such as quizzes and exams, are held constant. (PsycINFO Database Record (c) 2017 APA, all rights reserved)

학부의학교육에서 지속적 교육과정 개선을 위한 학생-교수 파트너십 촉진(Acad Med, 2019)

Fostering Student–Faculty Partnerships for Continuous Curricular Improvement in Undergraduate Medical Education

Kirstin W. Scott, MPhil, PhD, Dana G. Callahan, Jie Jane Chen, Marissa H. Lynn, David J. Cote, Anna Morenz, Josephine Fisher, Varnel L. Antoine, Elizabeth R. Lemoine, Shaunak K. Bakshi, Jessie Stuart, Edward M. Hundert, MD, Bernard S. Chang, MD, and Holly Gooding, MD, MSc

문제

Problem

학습 환경의 주요 이해당사자로서, 성인 학습자는 지속적인 품질 개선(CQI) 이니셔티브와 교육 개혁에 대한 의견을 제공할 수 있는 고유한 위치에 있다. 불행하게도, 의과대학들은 일반적으로 학생들을 교육 컨설턴트로 충분히 활용하지 못했으며, 커리큘럼 설계 과정에 부적절하게 참여시킬 수도 있다.1

As key stakeholders in the learning environment, adult learners are uniquely positioned to provide input on continuous quality improvement (CQI) initiatives and educational reforms. Unfortunately, medical schools have generally underused students as educational consultants and may inadequately engage them in the curricular design process.1

2015년 가을, 하버드 의과대학(HMS)은 학부 의과 교육을 위한 새로운 커리큘럼인 Pathways를 시행하였다.6 이 구현에는 커리큘럼 구조, 교육학, 내용 및 교수 역할의 완전한 변환이 포함되었다. 

(1) 핵심 교수진이 제공하는 CBCL(case based collaborative learning) 전임상 커리큘럼의 구현, 

(2) 초기 임상 노출의 통합 

(3) 임상실습을 3학년에서 2학년으로 이동. 

In fall 2015, Harvard Medical School (HMS) implemented Pathways, a new curriculum for undergraduate medical education.6 This implementation involved a complete transformation of curricular structure, pedagogy, content, and teaching roles, including the 

(1) implementation of a casebased collaborative learning (CBCL) preclerkship curriculum delivered by core teaching faculty, 

(2) integration of earlier clinical exposure, and 

(3) movement of the clerkship year from the third to the second year. 

또한, 이러한 변화에는 학생 평가의 변경과 임상실습후 통합 과학 과정의 개발이 포함되었다. Pathway 교육 대표단(Ed Reps) 프로그램은 새로운 커리큘럼의 배치와 함께 발생하는 불가피한 과제를 해결하고 새로운 커리큘럼의 최종 사용자(학생)를 이 과정에 참여시킴으로써 CQI를 가속화하기 위해 동시에 만들어졌다.

Additionally, this transformation included changes to student assessment and the development of postclerkship integrated science courses. The Pathways Education Representatives (Ed Reps) program was created simultaneously to address the inevitable challenges that come with the deployment of a new curriculum and to accelerate CQI by engaging the new curriculum’s end users—students—in this process.

접근

Approach

Pathways 커리큘럼 개시를 예상하고 Ed Reps 프로그램을 개발하기 위해, HMS 교직원들은 기존의 외부 및 내부 학생 참여 이니셔티브를 검토했다.

To develop the Ed Reps program in anticipation of the Pathways curriculum launch, HMS faculty examined existing external and internal student engagement initiatives.

HMS에서, 학생들은 역사적으로 공식적인 거버넌스 위원회의 참여와 코스 종료 평가의 완료를 통해 커리큘럼에 대한 피드백을 제공하였다(표 1).

At HMS, students historically provided feedback on the curriculum through participation on official governance committees and completion of end-of-course evaluations (Table 1).

Ed Reps 프로그램은 지속적이고 실시간 커리큘럼 개선을 위해 교직원과 학생 간의 더 큰 파트너십을 증진하는 문화를 육성하기 위해 2015년에 신설되었다. Ed Reps 프로그램은 학생들을 CQI 과정의 중심에 배치하고, 교수진과 훈련된 학생 대표자들 사이의 양방향 피드백을 위한 의사소통 메커니즘을 시기적절하고 효율적인 방법으로 제도화했다는 점에서 이전의 내부 노력과는 달랐다. CQI를 중심으로 한 이 실시간 학생-학업 제휴는 기존의 프로그램 보완에서 큰 변화를 의미하며(위 참조), 새로운 커리큘럼 출범 이후 필요할 것으로 예상되는 과정 내용과 교육학의 빈번한 미세조정refinement을 지원하기 위한 것이었다.

the Ed Reps program was created in 2015 to launch alongside the new curriculum with the aim of fostering a culture that promoted a greater sense of partnership between faculty and students for continuous and real-time curricular improvement. The Ed Reps program differed from previous internal efforts by placing students at the center of the CQI process and institutionalizing a communication mechanism for bidirectional feedback between faculty and trained student representatives in a timely, efficient manner. This real-time student–faculty partnership centered around CQI represented a major shift from the existing complement of programs (see above) and aimed to support the frequent refinement of course content and pedagogy that was anticipated to be needed following the launch of a new curriculum.

Ed Reps 선정, 교수진 멘토링 및 교육

Ed Reps selection, faculty mentorship, and training

학생들은 입학 후 2개월 이내에 이 [자발적인 지원 기반 프로그램]에 선발되는데, 이는 그들이 임상실습 기간과 그 이후까지 종단적으로 서비스를 계속할 것이라는 기대에서이다. 처음 2년 동안에는 Ed Reps 프로그램에 지원한 모든 학생들이 선발되었다(2015–2016 [AY15], 2016–2017 [AY16]). 3년차(학술년 2017~2018년 [AY17])부터는 제안된 자리가 줄어들었고(총 8개), 수석 에드 렙스는 지원서를 토대로 후보 순위를 매겼다.

Students are selected into this voluntary, application-based program within two months of matriculation with the expectation that they will continue their service longitudinally through their clerkship year and beyond. All students who applied to the Ed Reps program in the first two years were selected (21 in academic year 2015–2016 [AY15] and 19 in academic year 2016–2017 [AY16]). Starting in the third year (academic year 2017–2018 [AY17]), fewer slots were offered (8 in total), and senior Ed Reps ranked candidates based on their applications.

교수 멘토는 Ed Reps의 격주 회의에 참여함으로써 지원을 제공하며(아래 참조), 임시로 Ed Reps와 만날 수 있다. 멘토는 또한 다음에 대한 교육을 제공한다. 

• 성인 학습 이론, 

• Pathways 커리큘럼을 뒷받침하는 증거 기반 교육 전략, 

• 교수진 및 동료에게 피드백을 제공하기 위한 모범 사례 

• 필요에 따라 동료 학생을 제도적 지원에 연결하는 절차(예: 장애 사무소, 상담 및 정신 건강 서비스, 익명 학습 환경 보고 도구)

A faculty mentor provides support by participating in the Ed Reps’ biweekly meetings (see below) and is available to meet with Ed Reps on an ad hoc basis. The mentor also provides training in 

• adult learning theory, 

• the evidence-based teaching strategies underpinning the Pathways curriculum, 

• best practices for providing feedback to faculty and peers, and 

• procedures for connecting fellow students to institutional supports as needed (e.g., the disability office, counseling and mental health services, anonymous learning environment reporting tools).

프로그램 구조

Program structure

과정 감독과의 커뮤니케이션을 효율화하기 위해, Ed Reps가 각 사전 커리큘럼 과정과 4개 학습 커뮤니티의 리드 컨택 역할을 했다. 한 학습 커뮤니티는 40명의 학생과 2명의 리드 교직원으로 구성되어 있다. 수업 전 과정의 CBCL 세션마다 학생들은 4인 1조로 협력하여 새로운 지식을 수업 중인 사례에 적용하고, 그 후 교직원들이 전체 40인 학습 커뮤니티와 함께 사례 검토를 주도한다. 각 학습 커뮤니티는 교과과정이 일관성 있게 시행되도록 하기 위해 각 세션에 대해 동일한 준비 작업, 사례, 수업 내 자료 및 평가를 사용한다.

To streamline communication with course directors, one or two Ed Reps served as the lead contact for each preclerkship course and for each of four learning communities. A learning community comprises 40 students and two lead faculty. During each CBCL session in the preclerkship course, students work collaboratively in groups of four to apply new knowledge to in-class cases, after which faculty lead a review of the cases with the entire 40-person learning community. Each learning community uses the same preparatory work, cases, in-class materials, and assessments for each session to ensure that the curriculum is implemented consistently.

Ed Reps는 과정 내용, 교육학, 강의실 역학, 평가 및 학습에 미치는 영향에 대한 실시간 학생 피드백을 탐색했다. 피드백을 수집하는 방법이 진화했지만, 피드백은 일반적으로 비공식적인 동료 대화 및 학습 커뮤니티 미팅 외에 격주로 익명의 온라인 설문조사를 통해 수집되었다. 에드 레퍼스 

• 격주로 만나 수집된 피드백을 검토하고 과제를 파악하며 해결책을 도출한다. 

• 코스 이사 및 핵심 교직원과 정기적으로 만나 양방향 피드백을 전달하여 실시간으로 학습 환경을 최적화하십시오. 

• 주간 이메일과 직접 발표를 통해 학생들의 피드백에 대한 교수진의 반응을 업데이트했다. 

Ed Reps sought real-time student feedback about course content, pedagogy, classroom dynamics, assessments, and their impact on learning. Although methods for gathering feedback evolved, feedback was typically gathered through optional biweekly anonymous online surveys in addition to informal peer conversations and learning community meetings. The Ed Reps 

• met biweekly to review the gathered feedback, identify challenges, and generate solutions; 

• met regularly with course directors and core faculty to convey bidirectional feedback (see below) to optimize the learning environment in real time; and 

• updated their class on faculty responses to student feedback via weekly emails and in-person announcements. 

Ed Reps는 또한 주기적으로 학생들의 학습 환경에 대한 준비 및 참여 수준에 대한 교수 피드백을 검토했다. 또한 효과적인 학습 습관에 대한 제안을 검토했고, 동료들과 함께 Pathway 커리큘럼 뒤에 숨겨진 과학적 근거 등을 검토했다.

Ed Reps also periodically reviewed faculty feedback on students’ level of preparation for and engagement in the learning environment, suggestions for effective study habits, and the scientific rationale behind the Pathways curriculum with their peers.

성과

Outcomes

우리는 3명의 학생 조사와 1명의 교직원 조사를 포함하는 Ed Reps 영향 조사 프로젝트의 데이터를 제시한다.

We present data from the Ed Reps impact survey project, which includes three student surveys and one faculty survey.

학생 관점

Student perspectives

총 222명의 Pathway 학생들이 프로그램 초기 3년 동안 설문조사를 완료했다(AY15: 77/152 [50.7% 응답률(RR)], AY16: 68/145 [46.9% RR], AY17: 77/159 [48.4% RR], P = .94).

A total of 222 Pathways students completed the survey across the initial three years of the program (AY15: 77/152 [50.7% response rate (RR)]; AY16: 68/145 [46.9% RR]; AY17: 77/159 [48.4% RR]; P = .94).

대다수의 학생들은 에드 레퍼스(217; 97.7%)를 알고 있었으며, 대부분의 학생들은 에드 레퍼스에게 피드백을 제공했다고 보고했다(156; 70.3%). 응답자 중 대다수는 Ed Reps가 커리큘럼(202; 91.0%)에 긍정적인 영향을 미쳤고, 교직원에게 학생 피드백을 촉진했으며, 진행 중인 과정을 실시간으로 개선하는 데 도움이 되었다고 보고했다(194; 87.4%) 상대적으로 Ed Reps가 교수진과의 직접 소통의 장벽이라고 느끼는 학생은 거의 없었다(24; 10.8%).

The vast majority of students were aware of their Ed Reps (217; 97.7%), and most students reported providing feedback to their Ed Reps at some point in the year (156; 70.3%). A strong majority of respondents reported that Ed Reps had a positive impact on the curriculum (202; 91.0%), facilitated student feedback to faculty (212; 95.5%), and helped make real- time improvements to ongoing courses (194; 87.4%). Relatively few students felt that the Ed Reps were a barrier to direct communication with faculty (24; 10.8%).

여러 가지 중심 주제가 학생들의 자유 텍스트 응답에서 나왔다(표 2).

Several central themes emerged from the students’ free-text responses (Table 2).

학생들은 Ed Reps가 학생 투입을 위한 체계적인 경로를 제공함으로써 교직원들에게 적시에 통합된 피드백을 용이하게 해준다는 것을 인정했다. 학생들의 입력을 바탕으로 한 수업 변경의 실시간 방식에 주목하면서 학생 임파워먼트를 가치있게 여겼다. 일부 학생들은 피드백이 전체 클래스를 더 대표할 수 있도록 Ed Repers의 피드백 요청 및 커뮤니케이션 프로세스의 투명성을 높일 필요가 있다고 제안했다.

Students appreciated that Ed Reps facilitated timely, synthesized feedback to faculty by offering a structured path for student input. Student empowerment was valued, with students noting the real- time manner in which course changes were implemented based on their input. Some students suggested a need to increase the transparency of the Ed Reps’ feedback solicitation and communication processes to ensure that feedback was more representative of the entire class.

교수 관점

Faculty perspectives

총 47명(적격자 64명 중 73.4% RR)의 교수진이 설문조사를 완료했으며, 대부분 AY15와 AY16(42/47; 89.4%)에서 경로 커리큘럼에서 강의했다.

A total of 47 (out of 64 eligible) faculty members completed the survey (73.4% RR), most of whom taught in the Pathways curriculum in both AY15 and AY16 (42/47; 89.4%).

대다수의 교직원들은 Ed Reps가 학습 환경(34/37; 91.9%) 학생-학업 관계(33/37; 89.2%) 교수 및 학습 활동(32/36; 88.9%)에서 긍정적인 영향을 미친다는 데 동의했다. 여전히 과반수지만, Ed Reps가 학습 목표(19/33; 57.6%)와 기관의 규칙과 절차에 긍정적인 영향을 미친다는 데 동의한 교수 수는 더 적었다(16/30; 53.3%). Ed Reps의 피드백을 받은 교수들 중 거의 모든 교수들이 이 인풋에 기초하여 과목을 개선했다고 보고했다(35/37; 94.6%). 진행 중인 과정과 향후 과정에 대해 교수진이 보고한 커리큘럼 변경의 구체적인 영역은 그림 1과 같다.

The majority of faculty agreed that the Ed Reps had a positive impact in the following areas: the learning environment (34/37; 91.9%), student–faculty relationships (33/37; 89.2%), and teaching and learning activities (32/36; 88.9%). Although still a majority, fewer faculty agreed that the Ed Reps had a positive impact on learning objectives (19/33; 57.6%) and institutional rules and procedures (16/30; 53.3%). Of faculty who received feedback from the Ed Reps, almost all reported making changes to their course based on this input (35/37; 94.6%). Specific domains of curricular change reported by faculty for ongoing and future courses are shown in Figure 1.

다음 단계

Next Steps

프로그램 인식, 사용 및 만족도

Program awareness, use, and satisfaction

Ed Reps 프로그램에 대한 인식, 사용 및 만족도는 교직원과 학생들 사이에서 높았다. 상당수의 학생들은 Ed Reps가 커리큘럼에 긍정적인 영향을 끼치고, 교직원들에게 학생들의 피드백을 용이하게 하며, 진행 중인 과정의 실시간 개선을 돕는다고 생각했다. 중요한 것은, 대다수의 교직원들이 이 프로그램에 대해 긍정적인 반응을 보임에 따라, 학생들의 견해가 교직원의 반응과 echo하였다는 점이다. 교수진은 에드 렙스가 긍정적인 학습 환경을 조성하고 학생-학생-학생-교수간 파트너십을 촉진하는 데 미치는 영향을 긍정적으로 보고, 이 프로그램이 의도된 문화 변화, 즉 새로운 커리큘럼을 만드는 데 진정한 동반자 의식을 달성하는 데 도움이 되었음을 시사했다. 우리의 결과는 Ed Reps 프로그램 또한 실시간 커리큘럼 개선을 촉진한다는 목표를 달성했으며, 교수진의 거의 95%는 Ed Reps의 피드백에 대응하여 커리큘럼을 변경했다.

Awareness of, use of, and satisfaction with the Ed Reps program was high among faculty and students. A significant majority of students felt that the Ed Reps had a positive effect on the curriculum, facilitated student feedback to faculty, and helped make real-time improvements to ongoing courses. Importantly, students’ perspectives were echoed in faculty responses, with the majority of faculty reporting positive responses to the program. Faculty viewed the impact of Ed Reps in promoting a positive learning environment and facilitating student–faculty partnerships favorably, suggesting that the program helped to achieve the intended culture change: a true sense of partnership in creating the new curriculum. Our results demonstrate that the Ed Reps program also achieved its objective of facilitating real-time curricular improvement, with nearly 95% of faculty reporting making curricular changes in response to Ed Reps’ feedback.

연구 한계

Study limitations

당면 과제 및 향후 방향

Challenges and future directions

매년 Ed Reps impact survey를 학생들에게 계속 배포함에 따라, 연간 비교는 Ed Reps 프로그램 자체의 CQI(즉, 추세에 관한 모든 것을 식별, 추적 및 다루기 위해)에 사용될 것이다. impact survey에서 비롯되는 CQI의 한 가지 예는 (지원자들이 AY17에서 구현된 Ed Rep로서 직면할 수 있는 다섯 가지 시나리오에 대한 접근방식을 공유하도록 요구하는) 보다 엄격한 Ed Reps 선발 과정이다. 또한, Ed Reps는 동료 피드백을 수집하고 동료에게 교직원 반응을 다시 전달하는 방법을 개선하기 위해 이러한 impact survey 데이터를 계속 사용한다(예: 구조화된 주간 이메일 업데이트와 같은 표준화된 커뮤니케이션 프로세스를 통해).

As we continue to distribute the Ed Reps impact survey to students annually, the year-to-year comparisons will be used for CQI of the Ed Reps program itself (i.e., to identify, track, and address any concerning trends). One example of CQI resulting from the impact survey is the more rigorous Ed Reps selection process that requires candidates to share their approach to five scenarios they might encounter as an Ed Rep, which was implemented in AY17. Additionally, Ed Reps continue to use these impact survey data to improve their methods for collecting peer feedback and conveying faculty responses back to their peers (e.g., via standardized communications processes such as structured weekly email updates).

Fostering Student-Faculty Partnerships for Continuous Curricular Improvement in Undergraduate Medical Education.

의학교육에서 에드가 데일의 배움의 피라미드: 신화의 확장(Med Educ, 2019)

Edgar Dale's Pyramid of Learning in medical education: Further expansion of the myth

Ken Masters

도입

1 | INTRODUCTION

에드가 데일의 학습 피라미드

1.1 | Edgar Dale's learning pyramid

교육 문헌에서, 학생들에게 학습 보존율을 보여주는, 그리고 보통 Edgar Dale (또는 NTL [National Training Laboratory])에 귀속되는 학습의 피라미드는 흔히 나타난다.1

In educational literature, a Pyramid of Learning, giving student learning retention rates and usually attributed to Edgar Dale (or the National Training Laboratories [NTL]), is a common feature.1

저자가 실시한 2013년 문헌 검토 결과 피라미드와 그 통계는 천문학, 생화학, 화학, 일반교육, 공학, 국제정치, 도서관학, 관리, 물리학, 가금류 과학 및 수의학 분야의 다양한 교육 문헌에 걸쳐 인용되었다. 또한 피라미드는 세계보건기구(WHO) 문서와 같은 비학문 문헌에서도 인용되었다.

A 2013 literature review conducted by the author1 showed that the Pyramid and its statistics had been cited across a diverse range of educational literature in astronomy, biochemistry, chemistry, general education, engineering, international politics, library science, management, physics, poultry science and veterinary science. In addition, the Pyramid had been cited in nonacademic literature, such as World Health Organisation (WHO) documentation.

피라미드의 가장 큰 문제는 피라미드가 전혀 증거에 기초하지 않는다는 것이다.

The chief problem with the Pyramid is that it is based on no evidence at all.

피라미드의 역사

1.2 | History of the Pyramid

피라미드의 역사를 정확히 추적하기는 어렵지만 몇 가지 포인터가 존재한다. 사물을 기억하는 가장 좋은 방법은 (듣거나 읽는 것이 아니라) 이미지를 보는 것이라는 주장은 적어도 170년 전에 제시되었다.2 그러나 이 저자가 교수법에 근거하여 학생 유지의 비율을 설명할 수 있는 가장 이른 언급은 1906년 찰스 로드스3의 글이다. 그는 "우리는 듣는 것의 10분의 1을 기억하고, 보는 것의 10분의 5을 기억하고, 우리가 하는 일의 10분의 9을 기억한다."고 주장한다. 도로들은 이 문장을 인용부호로 표시하지만, 출처를 알려주지 않기 때문에, 인용부호는 그것이 일반적인 표현이라는 것을 나타낼 수 있다.

It is difficult to trace exactly the history of the Pyramid, but a few pointers exist. The argument that the best way to remember things is to see images (rather than hearing or reading) was presented at least 170 years ago.2 The earliest reference that this author can find ascribing proportions of student retention based upon methods of teaching, however, is a 1906 article by Charles Roads,3 who argues that, “We remember one tenth of what we hear, five tenths of what we see, seven tenths of what we say, [and] nine tenths of what we do.” Roads places this sentence in quotation marks, but does not give any source, so the quotation marks possibly indicate that it is a common expression.

1913년부터 Socony Vacuum 정유회사가 백분율로 차트를 만든 20세기 중반까지 숫자4의 다양성이 있었다.5 이후, NTL은 그 수치와 함께 자체 차트를 제작했고, NTL에 따르면, 그 결과에 대한 원래의 연구는 없었지만, NTL은 그 수치를 가지고 "학습 피라미드"를 NTL에 귀속시켰다. 피라미드의 토대가 되는 original research는 지금까지 발견된 적이 없다.6

From 1913, there were variations of the numbers4 until the mid20th century, when the SoconyVacuum Oil Company produced a chart with the percentages.5 Later, “during the 1950s and 1960s” the NTL produced their own chart with their figures and “the Learning Pyramid became attributed to NTL,”6 although, according to the NTL, no original research on which to base the Pyramid has ever been found.6

미국 교육자인 에드거 데일이 피라미드와 그 수치와 어떻게 연관되었는지는 불확실하다. NTL에 따르면, "1954년 뉴욕에서 Edgar Dale Dryden Press가 출판한 "Audio-Visual Methods in Teaching"이라는 책의 43페이지에 약간 다른 숫자를 가진 유사한 피라미드가 나타났다."6 불행하게도, 다양한 판에서 데일의 Audio-Visual Methods를 자세히 읽어본 결과, 그러한 피라미드도 없고, 그런 수치도 나타나지 않았다. 이 텍스트에서 학습 피라미드에 가장 가까운 대상은 "경험의 원뿔"이다. 이 원뿔은 "각자가 제공할 수 있는 상대적 수준의 명료성에 따라 다양한 유형의 교재들을 분류한다"고 한다. 이는 모델일 뿐이며 학습 유지 비율도 없다. 사실, 그것은 학습 보존을 전혀 언급하지 않는다.

It is uncertain how Edgar Dale, an American Educator, became associated with the Pyramid and its figures. According to the NTL, “a similar pyramid with slightly different numbers appeared on page 43 of a book called Audio-Visual Methods in Teaching, published by Edgar Dale Dryden Press in New York, in 1954.”6 Unfortunately, a close reading of Dale's Audiovisual Methods in Teaching in its various editions7-9 has shown no such Pyramid and no such figures. In those texts, the object closest to a Learning Pyramid is a “Cone of Experience.” This Cone “classifies various types of instructional materials according to the relative degree of concreteness that each can provide.”9 It is a model only, and has no percentages of learning retention; in fact, it does not reference learning retention at all.

피라미드와 피라미드의 관련 비율은 완전히 신화적이라고 해도 무방하다.

it is safe to say that the Pyramid and its associated percentages are entirely mythical.

의학교육에서 학습 피라미드

1.3 | The Learning Pyramid in medical education

이 연구의 목적은 이러한 일이 일어나고 있는지 여부를 결정하고 질문에 답하는 것이다. 5년 만에 무엇이 달라졌는가?

The aim of this study is to determine whether or not this is happening and to answer the question: What has changed in 5 years?

방법

2 | METHODS

전체적인 방법은 이전 검토에서 수행된 검색을 반복하는 것이었다.

The overall method was to repeat the search that had been performed in the previous review.

결과

3 | RESULTS

전반

3.1 | Overall

(see Figure 1).

문헌과 출처

3.2 | Articles and their sources

표 1은 발견된 기사의 요약을 보여준다. 예상대로 에드거 데일과 NTL은 이 수치들의 주요 출처로 언급되고 있다. 그러나 뜻밖에도 이제는 구체적으로 피라미드를 반박하는 새로운 출처조차 피라미드를 지지하는 근거로 등장한다.

Table 1 shows a summary of the articles found. As expected, Edgar Dale and the NTL are cited as the main sources of the figures. Unexpectedly, however, new sources that specifically refute the Pyramid now also appear as supporting the Pyramid.

백분율

3.3 | The percentages

대부분의 저자들은 백분율을 인용한다(표 2 참조).

Most of the authors quote percentages (see Table 2).

증가하는 인용

3.4 | Increased citing

발견된 많은 수의 기사(그림 1)와 기사의 날짜(표 1)는 피라미드를 인용하는 경향이 증가하는 것을 나타내는 것으로 보인다. 실제로 2013년 리뷰의 의학 기사와 이 리뷰의 기사의 발행 일자를 도표로 나타낸다면, 그림 2에 도표가 표시되어 있다.

The high number of articles found (Figure 1) and the dates of the articles (Table 1) appear to indicate an increasing trend in citing the Pyramid. Indeed, if one plots the publication dates of the medical articles in the 2013 review and the articles in this review, one has the chart depicted in Figure 2.

마지막으로, 일부 연구자들은 피라미드가 심각한 한계를 가지고 있다는 것을 알고 있고, 심지어 피라미드의 신화적 지위에 대해서도 알고 있으면서도, 그들은 여전히 그것을 인용하고 있다.

Finally, even though some researchers are aware that the Pyramid has severe limitations, and they may even be aware of its mythical status, they are still citing it.

고찰

4 | DISCUSSION

조사 결과: 

• 피라미드를 인용하는 추세가 지속되고 심지어 증가했다고 한다. 

• 피라미드의 출처 수가 증가했다는 것. 

• 피라미드를 반박refutation하는 몇 가지 근거가 반대로 피라미드를 지지confirmation하는 것처럼 인용된다는 것, 

• 피라미드에 이의를 제기할 때에도 피라미드를 지지하는 것으로 인용되고 있다는 것이다.

It has found: 

• that the trend of citing the Pyramid has continued, and even increased; 

• that the number of sources of the Pyramid has increased; 

• that several refutations of the Pyramid are cited as confirmations of the Pyramid; and, 

• finally, that even when the sources dispute the Pyramid, they are still being cited in support of the Pyramid.

인용 트렌드

4.1 | Citation trend

첫 번째 연구 질문은 다음과 같았다. 2013년 검토 이후 피라미드에 대한 참조의 수는 사용량이 감소, 일정 또는 증가하는 추세를 나타내는가?

The first research question was the following: Do the number of references to the Pyramid since that 2013 review indicate a trend of decreasing, constant or increasing usage?

유행이 급격히 증가하고 있다. 이것은 부분적으로 의학 교육 간행물의 증가의 결과일 것이지만, 피라미드가 점점 더 많이 인용되고 있다는 것은 부인할 수 없는 사실이다.

the trend is increasing dramatically. This will, in part, be a result of increased medical education publication overall, but the fact remains that the Pyramid is being increasingly cited.

피라미드의 출처

4.2 | Sources of the Pyramid

두 번째 연구 질문은 다음과 같았다. 피라미드의 출처가 2013년 이전과 동일한가, 아니면 새로운 출처가 나타났는가? 요컨대 피라미드의 출처의 수가 증가했다.

The second research question was: Are the sources for the Pyramid the same as before 2013, or have new sources emerged? In short: the number of sources of the Pyramid has increased.

더 걱정스러운 것은 피라미드를 반박하는 여러 논문들이 현재 피라미드를 지지하는 증거로 인용되고 있다는 사실이다. 예를 들어, 표 1은 피라미드 인용의 흐름을 가로막는 마스터스 20131보다는, 현재 피라미드를 지지하는 최소 3개의 논문이 인용하였기 때문에, 실제로 이 문제에 기여했음을 보여준다.24-26

More worrying is the fact that several papers that are refutations of the Pyramid are now being cited as evidence supporting the Pyramid. For example, rather than Masters 20131 stemming the tide of Pyramid citations, Table 1 shows that it has actually contributed to the problem, as it has now been cited by at least three papers in support of the Pyramid.24-26

왜 반박 출처를 거론하는지 알 수 없다. 연구자들이 초록만 읽고 있거나, 피라미드를 찾아 기사에서 찾은 다음, 그 주위에 있는 어떤 글도 읽지 않는 것인지도 모른다.

It is difficult to know why the citing of refuting sources is happening. It may be that researchers are reading the abstracts only, or that they search for the Pyramid, find it in an article, and then do not read any of the text around it.

4.3 | 신뢰성이 없음에도 불구하고 숫자 인용

4.3 | Citing of the figures in spite of their unreliability

또 다른 걱정스러운 경향은 피라미드가 믿을 수 없다는 사실을 연구자들이 인정함에도 불구하고 여전히 연구자들에 의해 인용되고 있다는 사실이다. 아마도 여기서 문제는 학문적 작업에 있어서 너무 공손한 표현일 것이다: 피라미드를 반박하는 작가들은 그것이 쓰레기라고 구체적으로 말하지 않았고, 그들은 그것을 할 필요가 있다.

Another worrying trend is the fact that the Pyramid is still being cited by researchers in spite of the fact that those researchers acknowledge that it is not to be trusted. Perhaps the problem here is the too polite phrasing in academic work: authors who refute the Pyramid have not stated specifically that it is rubbish, and they need to do that.

2013년 평론에서 너무 공손한 언어가 그 예다. 나는 논문의 본문에 "배움의 피라미드는, 그 퍼센티지를 가진, 신빙성이 떨어지며, 어떤 의학 교육 문헌에서도 받아들여서는 안 된다"라고 꽤 노골적으로 썼다.

An example is the too polite language of the 2013 review. In the body of the paper, I wrote quite plainly: “The Pyramid of Learning, with its percentages, is discredited, and should not be accepted in any medical education literature.”

이것은 메네 외 연구진 33이 그 검토에서 피라미드를 인용하고 "이 피라미드 건설에 대한 과학적 원천은 논쟁의 여지가 있다"고 말하는 이유를 설명할 수 있을 것이다. 텐 케이트와 더닝은 그것을 "흔히 인용되었지만 잘 확립되지 않은 교수법의 계층구조"라고 묘사하고 있다.17 그리고 더 최근에는 "정확한 비율들이 광범위하게 논의되고 있다"고 언급하면서도, 그 수치를 인용하고 있다.

This might explain why Menet et al33 cite the Pyramid from that review and say that “scientific sources for the construction of this pyramid are debatable.” Ten Cate and Durning describe it as an “often cited, but not well founded hierarchy of teaching methods…”17 and, more recently, an editorial in the Journal of Vascular Surgery34 quotes the figures, in spite of noting that “these exact percentages are widely debated.”

따라서, 이제는 논문의 초록에서조차 예의 바른 학문적 발언speak을 중지할 때가 되었다. 결과적으로, 모호함이 없도록 정보를 명확하게 말하는 것이 가장 좋다.

it is time to put a stop to polite academic speak, especially in the article's Abstract. As a result, it is best to state the information clearly so that there is no ambiguity,

그리고, 이것이 (초록에서 반복한) 진술이다: 피라미드는 쓰레기고, 피라미드의 숫자(통계)도 쓰레기다. 그리고 그것들은 에드거 데일에서 나온 것이 아니다. NTL이 원래의 연구에 대한 세부사항을 제공할 수 있을 때까지, 그들의 버전은 또한 쓰레기처럼 취급되어야 한다.

And so, this is the statement (to be repeated in the Abstract): The Pyramid is rubbish, the statistics are rubbish, and they do not come from Edgar Dale. Until the NTL can provide details about the original research, their version must also be treated as rubbish.

4.4 | 낮은 수준의 연구논문 및 의학교육에 미치는 영향

4.4 | Poor research writing and its implications for medical education

연구자들이 1차 출처를 따르지 않고 기사를 제대로 읽지 않는 등 문제의 상당 부분이 잘못된 참고 기술에서 비롯된다는 것은 그 결과에서 명백하다.

It is apparent from the Results that much of the problem stems from poor referencing techniques: researchers’ not following through to primary sources and not reading articles properly.

의학 교육 연구원들은 순수 의학에서 기대할 수 있는 정확성, 근면성, 증거의 동일한 기준을 고수해야 한다. Edgar Dale이 원래 말했던 "경험의 원뿔"는 버려져서는 안 된다. 왜냐하면 그것은 "각자가 제공할 수 있는 상대적 수준의 concreteness에 따른 다양한 유형의 교육 자료"의 분류 체계로서 유용하기 때문이다. 그리고 전문적인 경험과 관찰을 바탕으로 의학 교육에서 하나의 대상으로 받아들여진다.

medical education researchers should hold themselves to the same standards of accuracy, diligence and evidence that one would expect in pure medicine.35-38 Edgar Dale's original Cone of Experience should not be dismissed out of hand, for it is useful as a classification system of “various types of instructional materials according to the relative degree of concreteness that each can provide”9 and is acceptable in medical education as an object based on professional experience and observation.35

4.5 | 피라미드 신화는 왜 지속되는가?

4.5 | Why does the Pyramid myth persist?

오히려 이 논문의 범위를 벗어나기는 하지만, 왜 아직도 신화가 인용되고 있는가를 되돌아보는 것이 유용할 수도 있다. 우리는 이미 연구자들이 그들이 인용하고 있는 출처를 읽지 않거나, 기껏해야 그들을 잠깐 노려보는 문제가 있다는 것을 보았다. 그러나 그 이면에는 능동적인 학습이 수동적인 학습보다 더 가치 있다고 느낄 가능성이 높고, 다소 직관적인 느낌이 있다. 위의 2-4를 인용한 19세기 및 20세기 초반의 출처는 이러한 느낌이 한동안 존재해왔으며, (특히 역사적으로 disadvantaged 그룹에 대해) 능동적 학습에 대한 증거가 있음을 나타낸다.39-42 이러한 영향은 강의실 배치가 능동적인 학습을 위해 특별히 설계된 경우 가장 두드러진다.43 따라서, 이것들이 피라미드의 타당성을 뒷받침하기 위해 결합되었을 가능성이 매우 높다. 가장 결정적으로 피라미드에 존재하는 활동의 깔끔한 숫자 대괄호numerical bracket의 매력을 무시할 수 없다.

Although it is rather beyond the scope of this paper, it might be useful to reflect on why the myth is still being cited. We have already seen that there is the problem of researchers’ not reading the sources they are citing or, at most, glancing briefly at them. Behind that, however, is the likely, and somewhat intuitive, feeling that active learning is more valuable than passive. The 19th-century and early 20th-century sources cited above2-4 indicate that this feeling has existed for some time and there is current evidence in favour of active learning methods, especially for historically disadvantaged groups.39-42 This impact is most noticeable if the classroom arrangement is specifically designed for active learning.43 So, it is very likely that these have combined to support the validity of the Pyramid. Most crucially, one cannot ignore the appeal of the neat numerical brackets of activities that exist in the Pyramid.

그러나 교육 분야에서 일하는 사람이라면 누구나 경종을 울려야 하는 것이 바로 이러한 깔끔한 수치이다. 나는 이 수치들을 어린 교육생으로 처음 보았고 나의 즉각적인 반응은 "그래? 모든 문화, 모든 연령, 모든 주제, 항상 일관되게? 그게 어떻게 막연히 가능한가?" 나는 아직도 어떻게 교육학자가 브라질에서 수학을 공부하는 10세 소년의 학습 보유율이 일본의 제2외국어로서 영문학 공부를 하는 60세 여성의 그것과 동일할 수 있고, 또한 24세 아이비리그 공학 학생과도 동일할 수 있다고 믿을 수 있는지 당혹스럽다. 자신의 개인적 경험을 통해 스스로에게 다음과 같이 물어보십시오. 단순히 남을 가르쳐보면, 배운 모든 것의 90%를 정말로 기억하는가? 이 피라미드를 바탕으로, 세계의 모든 선생님들은 그들이 가르친 모든 것의 90%를 기억한다. 그것은 확실히 "직관"을 환상으로 멀리까지 확장시키는 것이다.

But it is surely those very neat numerical brackets that must set off alarm bells for anybody who works in education. I first saw these figures as a young education student and my immediate reaction was “Really? Across all cultures, all ages, all subjects, consistently for all time? How is that even vaguely possible?” I am still rather perplexed at how an educationist could believe that the learning retention rates for a 10-year-old boy studying mathematics in Brazil could be identical to those of a 60-year-old woman studying English Literature as a second language in Japan, and could also be identical to a 24-year-old Ivy League Engineering student. From your own personal experience, ask yourself: Do you really remember 90% of all that you have learned simply because you taught it? Based on this Pyramid, every teacher in the world remembers 90% of everything they have ever taught. That is surely stretching “intuition” far into fantasy.