의학교육의 패턴과 패턴어 탐색(Med Educ, 2015)

Exploring patterns and pattern languages of medical education
Rachel H Ellaway1 & Joanna Bates2

소개 Introduction

의학 교육은 많은 다른 환경에서 이루어지며, 다양한 방법과 활동을 사용한다. 비록 지역 관행이 시간이 지남에 따라 다른 방향으로 발전하고 발전하는 경향이 있지만, 의학 교육은 guide and critique practice을 위한 연구에 의해 지원되는 점점 더 글로벌한 사업이다. 이러한 세계화 성장의 핵심 부분은 [일반적인 교육 관행(예: 포트폴리오 및 OSCE)]의 광범위한 채택뿐만 아니라 [공통 활동, 도구 및 관행(예: 문제 기반 학습, 주요 특징 질문 및 시뮬레이터)]의 개발 및 사용이었다. 
Medical education takes place in many different settings and it employs a multitude of methods and activities. Although local practices tend to develop and evolve in different directions over time, medical education is an increasingly global undertaking, supported by research to guide and critique practice. A key part of this growing globalisation has been the development and use of common activities, tools and practices (such as problem-based learning, key feature questions and simulators) as well as the widespread adoption of generic educational practices (such as portfolios and OSCEs).

의학 교육 문헌은 이러한 테크닉이 (화학자가 분자를 지칭하는 것과 동일한 방식으로) 일반적이고 잘 정의된 실체인 것처럼 언급하는 경향이 있지만, 실제로는 교육적 실체educational entity는 사례마다 크게 다를 수 있다. 적어도 다른 맥락이 의미와 효과를 재구성하는 경향이 있기 때문이다.1 불행히도 [고려 중인 활동 및 활동이 일어난 상황이나 맥락]보다는 [활동에서 생성된 데이터]를 분석하는 데 더 중점을 둔 많은 연구가 있었다.2

Although the medical education literature tends to refer to these techniques as if they were generic and well-defined entities (in the same way that a chemist might refer to a molecule), in practice educational entities can vary greatly between instances, not least because different contexts tend to reconstruct their meaning and efficacy.1 Unfortunately there has been a great deal of research that has focused more on analysing data generated from activities than on the activity under consideration or the context or contexts within which the activity took place.2

우리가 의학 교육에 사용하는 일반 구조에서 이러한 구조를 사용하는 연구를 평가하거나 합성하려고 할 때마다 이 분산 문제는 복합적이다. 서로 다른 연구에서 고려되는 교육 활동과 기법이 동일한지, 공통점과 어떻게 다른지에 대해서는 거의 고려하지 않는 경우가 많다. 이는 다른 연구자, 구현자 및 리더에게 (비록 숨겨지거나 무시되는 경우가 많지만) 문제를 제시한다. 본 논문에서 우리는 [교육 활동, 시스템 및 맥락을 설명할 때 패턴과 패턴 언어를 보다 신중하게 사용하는 것]이 이러한 단점을 해결하고 의료 교육에 대한 학술활동을 진전시키고 확장할 수 있는 잠재력을 가지고 있다고 주장한다. 

This problem of variance in the erstwhile generic constructs we use in medical education is compounded whenever we seek to appraise or synthesise studies employing these constructs. There is often little consideration as to whether the educational activities and techniques considered in different studies are the same, what they have in common and how they differ. This presents problems (although they are often hidden or disregarded) for other researchers, implementers and leaders. We argue in this paper that a more deliberate use of pattern and pattern language in describing educational activities, systems and contexts has the potential to address these shortcomings and to advance and expand scholarship in medical education. 

패턴 및 패턴 언어
Patterns and pattern languages

패턴은 [우리 주변의 세계에서 우리가 인지하는 규칙]입니다. 예를 들어, 우리는 문, 신발, 그리고 수저의 패턴을 쉽게 인식합니다. 우리가 마주치는 각각의 문, 신발, 숟가락은 독특한 특성을 가지고 있지만, 그것들이 무엇이고 어떻게 작동하는지 즉시 알 수 있다. 실제로, 우리가 그것의 패턴을 인식하고 그에 대응하는 것은 일상 생활을 정의하는 특성defining characteristics이다. [패턴을 인식하는 것]은 [사물의 어포던스, 사물이 어떻게 작동하는지, 무엇을 할 수 있는지, 그리고 사물의 본질적인 특징들을 인식하는 것]이다. 패턴은 [정규성의 수학적 모델]이 아니라 [인식과 이해를 기반으로 하는 인지 현상]이며, 특히 복잡한 사회 및 기술 시스템에서 다양성과 모호성을 분석할parse 수 있다. 패턴에 대한 인식이 개인에게 특정될 수 있지만, 사회 체계는 부분적으로 패턴에 대한 공유된 이해와 레퍼토리에 의해 정의된다. 사회 시스템에의 참여는 그것의 패턴과 그에 수반되는 가정과 기질을 공유하는 것을 포함한다.
Patterns are regularities we perceive in the world around us. For example, we readily recognise the patterns of doors, shoes and cutlery. Although each door, shoe and spoon we encounter has unique properties, it is immediately apparent what they are and how they work. Indeed, it is a defining characteristic of everyday life that we recognise and respond to its patterns. Recognising a pattern is to perceive its affordances; how it works, what it can do and what its essential features are. A pattern is not a mathematical model of regularity, it is a cognitive phenomenon, based on perception and understanding, which allows us to parse variety and ambiguity, particularly in complex social and technical systems. Although the perception of a pattern may be specific to an individual, social systems are in part defined by a shared understanding and repertoire of patterns. Participation in a social system involves sharing its patterns and the assumptions and dispositions that accompany them.

패턴과 패턴 언어의 통합에 대한 이론적 이해는 건축, 경영, 컴퓨터 과학을 포함한 다양한 학문 분야에서 나타났다. 건축이론가 크리스토퍼 알렉산더는 '패턴'을 [특정한 맥락, 그 맥락에서의 문제, 그 문제의 해결책 사이의 관계를 정의하는 규칙]이라고 묘사했다.3 
A theoretical understanding of patterns and their aggregation into pattern languages has emerged in different academic disciplines, including architecture,3, 4 management5 and computer science.6 The architectural theorist Christopher Alexander described a ‘pattern’ as a rule that defines the relationships between a particular context, a problem in that context and a solution to that problem.3 

예를 들어, 문은 어떻게 할 것인가의 문제에 대한 해결책이다.

• (i) 벽에 구멍을 만들어 우리가 그 동안 지나갈 수 있도록 한다.
• (ii) 사용하지 않을 때 구멍을 닫아 둔다

For instance, a door is a solution to the problem of how to

• (i) create an aperture in a wall through which we can pass while
• (ii) closing the aperture between uses.

패턴은 다른 컨텍스트에서 다른 방식으로 실현됩니다. 자동차 도어, 현관 도어 및 찬장 도어는 모두 문으로 인식 가능하지만, 이러한 도어가 사용되는 컨텍스트는 동일한 기본 패턴에 대해 서로 다른 변형을 요구합니다.

The pattern is realised in different ways in different contexts; car doors, front doors and cupboard doors are all recognisable as doors, but the contexts in which they are used require different variations on the same underlying pattern.

알렉산더의 패턴은 '패턴 언어'의 요소였는데, '패턴 언어'는 사용자들이 건물, 정원, 마을이라고 부르는 3차원 패턴 조합의 무한한 다양성을 만들 수 있게 해주는 시스템입니다. 패턴 언어는 생성적입니다. 그것은 우리에게 배열의 규칙을 알려줄 뿐만 아니라, (규칙을 충족하는 한) 우리가 원하는 만큼 배열을 구성하는 방법을 우리에게 보여준다.'

Patterns for Alexander were elements of a ‘pattern language’, a ‘system which allows its users to create an infinite variety of those three dimensional combinations of patterns which we call buildings, gardens, towns … the pattern language is generative. It not only tells us the rules of arrangement, but shows us how to construct arrangements – as many as we want – which satisfy the rules' 3.

알렉산더에게 [패턴 언어] 다음으로 구성되었다. 

• 패턴의 어휘
• 서로 다른 패턴들이 어떻게 관련되는지에 대한 구문
• 패턴이나 패턴의 조합이 어떻게 특정한 문제나 도전에 대한 해결책을 제공할 수 있는지를 설명하는 문법

For Alexander, a pattern language consisted of

• a vocabulary of patterns,
• a syntax of how different patterns related to each other, and
• a grammar that described how a pattern or a combination of patterns could provide a solution to a particular problem or challenge.

예를 들어, 대부분의 건물들은 [벽, 지붕, 바닥, 창문 그리고 문 패턴]을 사용합니다; [어떻게 이 패턴들이 함께 사용될 수 있는지]를 명확하게 보여주는 것이 건물의 [패턴 언어]입니다. 결과적으로 나타나는 [패턴의 조합]은 [그 자체로 패턴]으로 인식될 수 있다; [패턴 언어]는 [패턴들이 어떻게 결합되어 새로운 패턴을 만들 수 있는지]를 설명할 수 있다. 알렉산더는 건축 패턴 언어의 어휘를 형성한 '링 로드', '물로의 접근', '먹는 대기'와 같은 253개의 건축 패턴을 확인했다.7

For instance, most buildings will employ wall, roof, floor, window and door patterns; it is the pattern language for buildings that articulates how these patterns can be used together. The resulting combinations of patterns may themselves be perceived as patterns (such as houses, garages and greenhouses); pattern languages can also describe how patterns can be combined to create new patterns. Alexander identified 253 architectural patterns, such as ‘ring roads’, ‘access to water’ and ‘eating atmosphere’ that formed the vocabulary for a pattern language of architecture.7

패턴 언어에 대한 알렉산더의 생각은 주로 물질적, 미적 문제에 대한 해결책과 관련이 있다. 비록 강의실, 시뮬레이터, 도서관과 같은 [물질 패턴material pattern]을 가지고 있지만, 의학 교육의 학술활동은 주로 [활동과 능력activity and capability]에 초점을 맞추고 있다. 그렇다면 알렉산더의 개념을 의학교육으로 어떻게 해석할 수 있을까요? [조직적 일상 이론Organizational routine theory]은 [활동의 패턴]에 특정한 초점을 두고 있으며, 따라서 그것은 이 문제에 반응하는 데 사용될 수 있는 개념적 도구를 제공한다.

Alexander's ideas of pattern languages are primarily concerned with solutions to material and aesthetic problems. Although it does have material patterns (such as lecture theatres, simulators and libraries), medical education scholarship focuses primarily on activity and capability. How then do we translate Alexander's concepts to medical education? Organisational routine theory has a specific focus on patterns of activity and as such it provides conceptual tools that can be used to respond to this problem.

Nelson과 Winter이 개발한 '루틴'이란 [반복적이고, 상대적으로 안정적이며, 그 루틴이 발생하는 조직을 정의하는, 조직적 맥락 내에서 발생하는 활동의 패턴]이다.5 조직 내의 개인과 그룹은 조직의 활동을 조정하는 데 도움이 될 수 있는 비교적 제한적이고 안정적인 [루틴 레퍼토리]에 의존하는 경향이 있다. 이러한 루틴은 조직 전체에 걸쳐 어느 정도의 행동 안정성을 제공할 수 있고, 관련 의사 결정 노력을 줄일 수 있으며, 조직의 지식organizational knowledge을 저장하는 데 도움을 줄 수 있다. 예를 들어, 일반적인 의료 교육 프로그램의 루틴에는 다음의 반복 활동이 포함된다.

• 강의(강의 및 문제 기반 학습),
• 평가(시험 및 OSCE),
• 행정(위원회 및 정책),
• 물류(스케줄링 및 재무 관리)

Developed from the work of Nelson and Winter,8 a ‘routine’ is a pattern of activity within an organisational context that is recurrent, relatively stable, and defining of the organisation in which it occurs.5 Individuals and groups within organisations tend to depend on a relatively limited and stable repertoire of routines that can help to coordinate the organisation's activities; these routines can afford a degree of stability of behaviour across the organisation, they can reduce the effort associated decision making, and they can help to store organisational knowledge.5 As an example, the routines of a typical medical education programme include the recurring activities of

• teaching (lecturing and problem-based learning),
• assessment (exams and OSCEs),
• administration (committees and policies), and
• logistics (scheduling and financial management).

반복되는 속성을 가진 만큼 루틴도 마찬가지입니다. 루틴의 '일반적인 규칙과 절차는, 맥락을 가로질러 전달될 때 불완전하게 특정화incompletely specified되어야 한다… 루틴의 [전이가능성과 관련된 문제]는 [루틴의 필수적인 것과 주변적인 것]이 무엇인지 명확하지 않을 수 있기 때문에 발생한다.' 루틴의 instance(활동 패턴)는 다음에 의해 정의된다.

• 패턴 프로토타입의 어떤 측면이 존재해야 하는지만큼이나 어떤 측면을 생략할 수 있는지
• 패턴이 그 패턴으로 인식되어지기 위해 어떤 임계 질량critical mass이 존재해야 하는지

As much as they have recurring properties, routines' ‘general rules and procedures have to be incompletely specified when transferred across contexts … problems with the transferability of routines arise because it may not be clear what is essential about the routines and what is peripheral’.5 An instance of a routine (an activity pattern), is defined as much by what aspects of the pattern prototype can be omitted as by what aspects must be present, or what critical mass of elements must be present for the pattern to be recognisable as such.

이것은 비트겐슈타인의 '가족 유사 개념'과 유사하다. 비록 그들 모두가 공유하는 단 하나의 자질도 없을지라도 공통점을 기반으로 사물을 하나로 묶는 온톨로지적 경향을 말한다. 

This parallels Wittgenstein's ‘family resemblance concept’9: an ontological tendency to group things together on the basis of what they have in common even though there may not be a single quality that they all share.

의학 교육에서는 이것이 거의 명시적인 개념이 아니지만, 오타와 대학에서 팀 기반 학습(TBL)의 철학적이고 절차적인 요소의 구현에 대한 바르피오 외 연구진들의 연구에 반영되어 있다.10 원래의 요소 중 일부는 TBL 구현에 보존되었고, 일부는 현지 상황에 맞게 변경되었으며, 일부는 생략되었다. 그들은 어떤 모델의 파생상품derivatives 또는 모든 파생상품에, 요소elevment의 일부 또는 전체가 존재하는지(또는 존재해야 하는지)에 대한, 우려보다 모델의 철학과 원칙에 충실하는 것이 더 중요하다고 결론지었다. 이것은 암묵적인 패턴 사고implicit pattern thinking의 한 예이다.

Although this is rarely an explicit concept in medical education, it is reflected in the study by Varpio et al. on the implementation of the philosophical and procedural elements of team-based learning (TBL) at the University of Ottawa.10 Some of the original elements were preserved in their TBL implementation, some were changed to suit local circumstances and others were omitted. They concluded that it was more important to be true to the philosophy and principles of the model (or, as we would argue, the pattern) than to be concerned over whether some or all of the elements were (or should be) present in any or all of its derivatives. This is an example of implicit pattern thinking.

우리는 의학교육에 많은 패턴이 있고, 패턴에 기초한 사고와 실천의 많은 예가 있다고 제안하지만, 그런 방식으로 인식considered되는 경우는 거의 없다. 이러한 패턴은 여러 가지 방법으로 의료 교육 분야를 정의하는 [공유 인식 레퍼토리]를 형성한다. (교과서, 지침서 및 보고서와 같은) 의학교육 전체를 고려하는 저작들은, 일반적으로 의학교육을 패턴과 루틴의 교차 시스템으로 모델링하기 보다는, 각각의 방법과 접근 방식으로 고립시킨다. 이 환원주의적 접근 방식은 패턴과 루틴이 교차하는 방식, 서로 구축되거나 결합될 수 있는 방식을 보는 우리의 능력을 제한한다. 또한 [패턴과 루틴에 기초한 의학 교육의 학술활동]은 [개념 간의 차이에만 초점을 맞추는 분류학적 관점]보다 더 포괄적이고 관계적일 가능성이 있다.
We suggest that there are many patterns in medical education and many examples of pattern-based thinking and practice, even though they are rarely considered as such. These patterns form a shared perceived repertoire (including but not limited to its routines) that in many ways defines the field of medical education. Works that consider medical education as a whole (such as textbooks, guides and reports) generally isolate different methods and approaches, rather than modelling medical education as a system of intersecting patterns and routines. This reductionist approach limits our ability to look at how patterns and routines intersect, build on each other, or can be combined. We also argue that a scholarship of medical education based on patterns and routines has the potential to be more inclusive and relational than taxonomic perspectives that focus only on the differences between concepts.

우리는 네 가지 명제를 중심으로 우리의 주장을 구성했다: 

• 의학 교육의 패턴은 주로 학문적 의사소통을 통해 확립된다; 
• 현대 의학 교육에는 패턴 사고의 상당한 암묵적 활용(활동 패턴으로서 루틴 포함)이 있다; 
• 패턴 사고를 더 의도적으로 채택하지 못하는 것은 의학교육 학술활동(그리고 그것에 의해 형성되는 관행)에게 해롭다;
• 의학교육에서 패턴과 패턴 언어의 의도적인 사용은 학자와 실무자 모두에게 매우 생성적이고 자유로울 수 있는 잠재력을 가지고 있다.

We have structured our argument around four propositions:

• that patterns in medical education are primarily established through scholarly communication;
• that there is a significant tacit use of pattern thinking (including routines as activity patterns) in contemporary medical education;
• that the failure to employ pattern thinking more deliberately has been to the detriment of medical education scholarship (and the practices that are shaped by it); and
• that the deliberate use of patterns and pattern languages in medical education has the potential to be highly generative and liberating to scholars and practitioners alike.

패턴 사고 및 의료 교육
Pattern thinking and medical education

[패턴]은 [주요 요소]와 [그 요소들이 각기 다른 맥락에서 실현되는 방법]에 의해 정의됩니다. 이것은 각각의 개념이 구별되고 그것의 상위 개념의 관점에서 조직되는 [분류학적 세계관]과는 다르다. 우리는 문제 기반 학습(PBL)을 구문 분석하여 이를 설명할 수 있다.

• [분류학적 관점]에서 PBL은 소규모 그룹 학습(클래스 크기별로 조직됨) 또는 사례 기반 학습(관련 작업에 의해 조직됨) 또는 촉진 또는 독립 연구와 같은 다른 주요 특성의 하위 집합이다. 각 관점은 다른 관점과 함께 한정자로 정의되는 하나의 주요 특성에 기초한다.
• [패턴 관점]에서 PBL은 작은 그룹, 문제, 촉진, 독립 연구 등의 교차 패턴을 포함한다. 돌맨스 등은 PBL 내에서 [구성적 학습], [자기 주도적 학습], [협업 학습] 및 [상황 학습]을 포함한 다른 패턴 유사 구조를 식별했고, 슈미트 등은 [유연한 비계]와 [학습 조절]을 목록에 추가했다.

Patterns are defined by their key elements and the ways they are realised in different contexts. This is different from a taxonomic worldview where each concept is distinct and organised in terms of its parent concepts. We can illustrate this by parsing problem-based learning (PBL).

• From a taxonomic point of view PBL is a subset of small-group learning (organised by class size) or of case-based learning (organised by the tasks involved), or of other primary characteristics such as facilitation or independent research. Each perspective is based on one primary defining characteristic with the others as qualifiers.
• From a pattern perspective, PBL involves intersecting patterns of small groups, problems, facilitation, independent research and so on. Dolmans et al.11 identified other pattern-like constructs within PBL, including constructive learning, self-directed learning, collaborative learning and contextual learning, while Schmidt et al.12 added flexible scaffolding and regulation of learning to the list.

패턴 관점에서 PBL은 더 작은 패턴(작은 그룹, 문제 해결, 촉진, 독립적 연구)의 결합으로, 각각의 패턴은 다른 활동 패턴(시뮬레이션에서 작은 그룹, 의사소통 기술 훈련 등에서 '촉진')에서 발생할 수 있으며, 다른 조합으로 재구성하여 새로운 패턴을 만들 수 있다. 
From a pattern perspective, PBL is a confluence of smaller patterns (small group, problem-solving, facilitated, independent research), each of which may occur in other activity patterns (‘small group’ in simulation, ‘facilitated’ in communication skills training, etc.) and can be reassembled in other combinations to create new patterns.13

어떤 하나의 패턴이 다른 패턴보다 우선primacy하지 않고, 각각의 PBL이 반드시 모든 패턴측면을 포함해야 하는 것은 아니지만, PBL의 한 가지 형태라고 할 만한 패턴의 instance이다. [분류학적 정의]는 차이와 구별을 강조하는 반면, [패턴 정의]는 각기 다른 패턴들 또는 패턴의 측면들을 결합함으로써 혼합hybrid될 수 있다. 예를 들어,

• 다중 미니 면접(MMI)은 거의 틀림없이 입학 면접과 OSCE의 hybrid of facets이고,
• 팀 기반 학습은 강의와 PBL에서 온 facets의 혼합이다.

패턴 사고는 활동 설계에 대한 이러한 암묵적 접근법을 더욱 명백하게 만들 것이다.

No pattern has primacy over any other and different instances of PBL in medical education may not necessarily involve all of its pattern's facets yet still clearly be an instance of that pattern by being considered to be a form of PBL. Whereas taxonomic definitions stress differences and distinctiveness, pattern definitions can be hybridised by combining patterns or facets from other patterns. For example, the multiple mini interview (MMI) is arguably a hybrid of facets from admissions interviews and OSCEs, and team-based learning hybridises facets from lecturing and PBL. Pattern thinking would make this implicit approach to activity design more explicit.

의학교육의 패턴은 정의상 그 분야에 관련된 사람들이 인식하고 공유하는 것이다. 실제로, 이러한 패턴을 인식하고 사용하는 것은 의학교육의 doxa를 정의내리는 측면 중 하나일 것이다. 패턴을 공유하려면 이름을 붙이고, 기술하고, 토론하고 적용해야 합니다. 의학교육에서 이 중 많은 부분이 논문, 발표 및 계획과 같은 학문적 행위(반드시 반드시 그렇지는 않다)에서 발생한다. 보다 구체적으로, 이러한 [학술적 커뮤니케이션에서 설정된 이상적인 형태]를 [새로운 교육적 맥락으로 변환]하려면 [패턴 사고]가 필요하며, 그 중 일부는 지역적으로 실용적이거나 바람직한 것에 대응하여 [수정되거나 생략]된다. 1, 10

The patterns of medical education are by definition perceived and shared by those involved in the field. Indeed, recognising and using these patterns is arguably one of the defining aspects of the doxa of medical education. For a pattern to be shared it needs to be named, described, discussed and applied. In medical education much of this is generated from (but not necessarily by) scholarly acts such as papers, presentations and plans. More specifically, translating the ideal forms set out in these scholarly communications into new educational contexts requires pattern thinking as the ideal forms are necessarily deconstructed to identify their key features, some of which are amended or omitted in response to what is locally practical or desirable.1, 10

따라서 패턴 사고는 본질적으로 적응적이고 번역적인 접근법이다. 새로운 맥락에서 새로운 종류의 활동이나 방법(또는 기존 형태의 새로운 변화)을 적용하는 것은 일정정도의 패턴 사고를 필요로 한다. 이러한 패턴 변이variation이 공유되고 논의되면, 가능한 변이variation이 탐색되며 패턴이 두꺼워지고, 패턴이 실현되는 많은 컨텍스트에 맞게 주요 기능을 적용할 수 있게 된다. 그것이 의학 교육 관행의 필수적인 부분임에도 불구하고, 이러한 현상은 거의 눈에 띄거나 인식되지 않기 때문에, Varpio 등에 의해 실존적 위기가 확인되었다. 우리는 패턴에 따른 다양한 실천 현실보다는 문헌에 제시된 [이상적 형태에 대한 패러다임적인 집착] 때문이라고 본다.
Pattern thinking is therefore an intrinsically adaptive and translational approach. Applying a new kind of activity or method (or a new variation of an existing form) in a new context requires a degree of pattern thinking. As these pattern variations are also shared and discussed, the pattern thickens as possible variations are explored, and its key features become malleable to suit the many contexts within which the pattern is realised. Despite its being an essential part of medical education practice, this phenomenon is rarely noticed or acknowledged, hence the existential crisis identified by Varpio et al.10 This is, we argue, partly due to a paradigmatic adherence to ideal forms set out in the literature rather than the pattern-variant realities of practice.

우리가 PBL 또는 임상교육을 [극도로 정밀해지는 이상적인 실행과 결과의 집합을 정의]하기 위해 결합combine하여 연구할 수 있다는 믿음은, [맥락의 가변성과 그것을 처리하는 데 필요한 패턴 사고를 수용하지 않기에] 본질적으로 제한적이다. Becker가 관찰한 바와 같이 '[특정 루틴이 여러 맥락을 가로지른 전이가능성의 한계]에 따르는 중요한 함의는 [보편적 모범 사례]와 같은 것은 존재할 수 없다는 것이다. 오로지 ["국지적" 최고의 솔루션]만이 가능하다'
The belief that we can research PBL or clinical teaching in ways that combine to define an increasingly precise set of ideal practices and outcomes is intrinsically limited without accommodating the variability of context and the pattern thinking required to deal with it. As Becker observes: ‘an importance consequence of the limits to the transferability of routines across contexts is that no such thing as a universal best practice can possibly exist. There can only be “local” best solutions’.5 

이 문제는 효능 대 효과 논쟁에서도 반영됩니다. '효능efficacy은 [최적의 전달 조건]에서의 프로그램이나 정책의 유익한 효과를 의미하며, 효과effeictivness은 [보다 실제적인 조건]에서의 프로그램이나 정책의 효과를 의미한다.' 두 가지 접근 방식 모두 패턴 사고를 채택할 수 있지만, 효과 연구는 패턴 사고의 사용에 더 의존적이고 더 다루기 쉽다고 우리는 주장한다. 패턴 사고가 없는 상황에서, 동일한 구조를 investigate한 것으로 추정되는 연구를 연결하는 것은 기껏해야 의문스러운 작업일 뿐이다. 
This issue is also reflected in the efficacy versus effectiveness debate where ‘efficacy refers to the beneficial effects of a programme or policy under optimal conditions of delivery [and] effectiveness refers to effects of a programme or policy under more real-world conditions’.14 Although both approaches can employ pattern thinking, effectiveness research is more dependent on and, we argue, more tractable with the use of pattern thinking. In the absence of pattern thinking, connecting studies that are supposedly investigating the same construct is questionable at best. 

또한, [체계적인 검토 및 메타 분석]과 같은 대규모 합성 활동은, [서로 다른 연구의 활동이 동일한 패턴이나 패턴을 구현하거나 구현하지 않는 방법을 일관성 있게 평가하고 모델링할 수단]이 없는 경우 취약해질 수 밖에 없다. 우리가 어떻게 [[패턴의 의도적인 사용]이라는 측면에서 의학 교육을 재평가할 것인가]라는 질문은 다시 [패턴 언어]를 고려하게 만든다.

Moreover, large-scale synthesis activities such as systematic reviews and meta-analyses are weakened without the means to consistently appraise and model how activities in different studies do or do not embody the same pattern or patterns. How we reappraise medical education in terms of a deliberate use of patterns brings us back to a consideration of pattern languages.

알렉산더에게 패턴 언어는 다음의 세 가지로 구성된다.

• 패턴의 어휘, 
• 다른 패턴의 상호작용의 구문, 
• 패턴 또는 패턴의 조합이 특정 문제나 과제에 대한 해결책을 제공할 수 있는 방법을 설명하는 문법

For Alexander a pattern language consists of

• a vocabulary of patterns,
• a syntax of how different patterns interact, and
• a grammar that describes how a pattern or a combination of patterns can provide a solution to a particular problem or challenge.

패턴 언어의 개발은 비록 한 분야 내에서 유도적이고 새로운 활동에 의해 알려졌지만, 실제와 학문에 사용되는 것에 대한 검토를 통해 더 체계적으로 접근할 수 있다. 이 주장을 설명하기 위해 우리는 4개의 현대 의학 교육 교과서 15-18장의 의학교육의 반복되는 패턴을 조사했다.

The development of a pattern language, although informed by the inductive and emergent activities within a field, can also be approached more methodically through a review of what is used in practice and scholarship. To illustrate this assertion we examined the chapter titles of four contemporary medical education textbooks15-18 for recurring patterns in medical education.

교과서 챕터 제목을 단일 스프레드시트에 입력하고 주제와 제목을 비교했으며, 유사하거나 동일한 주제를 병합했으며, 유사한 패턴이 사용된 횟수를 계산했다(표 1 참조). 우리는 새로운 패턴이 확인되지 않을 때까지 이 과정을 반복했다. 이를 통해 우리는 이러한 패턴이 활동을 위한 상위 수준의 패턴과 차례로 관련된다는 점에 주목했다.

• 참가자가 수행하는 작업(문제 기반, 피드백 및 시뮬레이션),
• 참가자가 할 때 수행하는 역할(환자, 교사, 학생) 및
• 활동 패턴이 실현되는 상황(사회, 공동체 및 소그룹)

We entered the chapter titles of the textbooks into a single spreadsheet, we compared topics and titles, we merged similar or identical topics, and we counted the number of times similar patterns were used (see Table 1). We repeated this process until no new patterns were identified. In doing so we noted that these patterns were in turn associable with higher-level patterns for activity:

• what participants do (problem-based, feedback and simulation),
• the roles that participants play when they are doing it (patient, teacher and student), and
• the contexts in which the activity pattern is realised (bedside, community and small-group).

이 과정은 의학 교육 패턴 언어에 대한 흥미로운 후보 패턴 세트를 생성했지만, 그러한 언어에 포함될 수 있는 모든 패턴을 식별하지는 못했다. 예를 들어 통합, 위임가능성, 임상실습, 디브리핑, 역량 등과 같은 의료 교육에서 일반적으로 사용되는 패턴(적어도 의료 교육자로서의 경험에서)은 발견되지 않았다.

Although this process generated an interesting set of candidate patterns for a medical education pattern language, it did not identify all of the patterns that might be included in such a language. For instance, commonly used patterns in medical education (at least in our experiences as medical educators), such as integration, entrustability, clerkship, debriefing and competency, were not found.

그런 다음 패턴 언어에 대한 알렉산더의 개념을 탐구하기 위해 설명적illustrative 분석에 착수했다.3 

• 어휘(구성 요소 패턴),
• 문법(구성 요소 패턴이 문제 또는 물질적 이득에 대한 해결책을 제공하는 방법) 및
• 구문(패턴이 더 넓고 추상적인 패턴과 어떻게 관련되는지)

We then undertook an illustrative analysis to explore Alexander's concepts of

• a pattern language's vocabulary (component patterns),
• its grammar (how the component pattern provides a solution to a problem or a material benefit) and
• its syntax (how a pattern is related to wider and more abstract patterns).3 

우리는 종적 통합 임상실습 (LIC)의 예를 들었고 기존의 연구 결과와 해석을 바탕으로 어휘, 문법 및 구문 요소를 식별했다(표 2 참조). 그렇게 함으로써 우리는 이러한 개념을 독립적 요소가 아닌 상호 연결된 패턴 언어의 일부로 이해하려고 할 뿐만 아니라 기본 메커니즘이 무엇인지 다시 강조해야 했다.

We took the example of the longitudinal integrated clerkship (LIC) and identified elements of vocabulary, grammar and syntax based on existing research findings and interpretations19-23 (see Table 2). In doing so we had to reappraise what the underlying mechanisms were as well as seeking to understand these concepts as part of an interconnected pattern language rather than as standalone elements.

고찰
Discussion

의학교육을 패턴의 관점에서 바라보는 것은 여러 가지 시사점을 준다. 무엇보다도, 그것은 우리가 사용하는 개념과 그것들을 사용하는 방법의 [번잡함]을 묘사하고 존중한다. 패턴 사고는 우리가 학습 활동, 방법 및 시스템을 구별되고 고정된distinct and fixed 레퍼토리로 보는 것에서 해방시킴으로써 분야로서의 의학 교육에 도움이 될 수 있다. 예를 들어, [문제 기반 학습]과 [공동체 지향 학습]은 문제 해결과 독립적 학습의 패턴을 공유할 수 있지만, 그룹의 크기나 학습이 촉진되는 방식과 같은 다른 패턴에서는 다르다. 패턴 관점에서 그들의 공통점은 명백해지고, 따라서 교육 혁신과 탐구의 재료로 접근 가능하다. 패턴 사고는 우리의 개념과 루틴을 보는 새로운 방법을 제공합니다. 예를 들어, 그들의 경계가 어디에 있는지, 그리고 시간이 지남에 따라 어떻게 발전하고 변화하는지와 같은.24
Conceiving medical education in terms of patterns has a number of implications for the field. First and foremost, it illustrates and respects the fuzziness of the concepts we use and the ways in which we use them. Pattern thinking can help medical education as a field by freeing us from seeing learning activities, methods and systems as a distinct and fixed repertoire. For instance, problem-based learning and community-oriented learning may share patterns of problem solving and independent study but differ in other patterns such as the size of the group or the ways in which learning is facilitated. From a pattern perspective their commonalities become apparent, and as such they become accessible as ingredients for educational innovation and exploration. Pattern thinking affords new ways of looking at our concepts and routines, such as where their boundaries are and how they develop and change over time.24

패턴 사고는 의학교육의 많은 실천, 모델 및 접근방식을 유연한 레퍼토리로 자리하게 한다situate. 이는 새로운 또는 새로운 도전과 요구에 대응하여 새로운 형태와 실천방식을 생성하는 데 사용할 수 있는 [적응적adapatable 팔레트]이다. 따라서 의학교육을 위한 패턴 언어는 의학교육 학술활동 전반에 통합적이고 전체적인 틀로 작용할 수 있다. 패턴과 패턴 언어 기법은 [우리가 의학 교육의 규칙성]과 [그러한 규칙성이 실현되는 방법의 다양성]을 체계적으로 식별하고 표현하도록 도와줌]으로써, 우리가 하는 일의 책무성을 개선할 수 있는 잠재력을 가지고 있다. 패턴과 패턴 언어는,

• 체계적인 검토에서 등가성의 많은 난제들을 해결할 방법을 제공하며,
• (용어, 기관, 학자가 달라져도) 시간에 따라 의학 교육 관행이 어떻게 변화하는지
• 수사학적 또는 담화 분석에 특정 패턴이 어떻게 사용되는지
• (패러다임으로서) 패턴이 의학교육의 실무와 연구가 지속적으로 진화하는 방식을 어떻게 지시하고 형성하는지

Pattern thinking situates the many practices, models and approaches of medical education as a flexible repertoire, an adaptable palette that can be used to generate new forms and practices in response to new or emerging challenges and needs. Pattern languages for medical education can therefore serve as a unifying and holistic frame for medical education scholarship as a whole. Pattern and pattern language techniques have the potential to improve the accountability of what we do by helping us to systematically identify and express the regularities of medical education and the variety in how those regularities are realised.

• They provide a way to address many of the challenges of equivalence in systematic reviews,25 and
• they could also be used to track how medical education practice changes over time (even when terminology, institutions, and scholars come and go),
• how certain patterns are used in rhetorical or discourse analyses, and
• how pattern (as paradigm) directs and shapes the way medical education practice and research continue to evolve.

패턴은 활동에서 나타납니다. 그 반대 순서가 아니다. 이것은 아이디어와 개념이, 단순히 세상을 묘사하는 것이 아니라, 새로운 사고 방식과 행동 방식을 만들어내는 다소 [델루지아적인 관점]입니다. 따라서 패턴 사고는 의료 교육 및 그 주변의 더 높은 수준의 혁신, 중요한 인식 및 시설을 활성화하고 지원할 수 있는 잠재력을 가지고 있다. 패턴 사고는 또한 일정 정도의 [모호성을 수반하는 사고]에 정당성을 부여하고, 이를 바탕으로 우리가 (종단실습, 지역사회 기반 프로그램, 이행, 멘토링과 같은) 엄격한 정의나 결과에 굴복하기보다는, 여러 활동을 새롭게 볼 수 있게 한다.

Patterns emerge from activity; they don't precede it. This is a somewhat Deleuzian perspective where ideas and concepts generate new ways of thinking and acting rather than simply describing the world. Pattern thinking therefore has the potential to energise and support greater levels of innovation, critical awareness and facility in and around medical education. Pattern thinking also confers legitimacy on thinking that includes a degree of ambiguity, which in turn allows us to look afresh at activities that don't yield to tight definitions or outcomes, such as longitudinal placements, community-based programmes, transitions and mentorship.

패턴의 기본 메커니즘에 대한 분석은 패턴 내에서 그리고 패턴 간에 새로운 연구 기회를 열 수 있는 잠재력을 가지고 있다. 의학교육 장학금에서 패턴 사고의 사용을 제안함으로써, 우리는 다양한 형태의 탐구와의 개념적 연관성을 인정해야 한다. 우리가 주장해 온 것처럼, 패턴은 딱딱한 정의에 관한 것이 아니다; 패턴은 [우리의 관행]과 [그 관행이 일어나는 상황에 대한 공유된 인식]에 관한 것이다. 따라서 패턴 사고는 의학교육에서 점차 증가하는 현실주의 방법과 잘 부합하며, 의학교육의 패턴과 규칙성에 대한 탐구를 통하여 의학교육 실천 및 연구의 여러 방법을 [현실주의 접근법]과 연결시켜준다. 
An analysis of a pattern's underlying mechanisms (which are themselves patterns) has the potential to open up new research opportunities, both within a pattern and across patterns. In proposing the use of pattern thinking in medical education scholarship we should acknowledge the conceptual links with other forms of inquiry. As we have argued, patterns are not about hard definitions; they are about shared recognition of regularities in our practices and the contexts in which they take place. Pattern concepts, notably demi-regularities in the form of context-mechanism-outcome triads, are central to concepts of realist inquiry.26 Pattern thinking therefore aligns well with the growing use of realist methods in medical education practice and research, as well as connecting other methods with realist approaches through the exploration of patterns and regularities in medical education.

이것은 단순히 언어학이나 기호학의 문제인가? 언어는 학문적 담론의 주요 매체이고 따라서 이것이 우리의 주된 관심사였다. 그러나, 우리는 [언어란 의미적semiotic 표현을 위한 하나의 매개체일 뿐이며, 의학교육에는 패턴을 반영하고 패턴 사고에 굴복할 수 있는 잠재력이 있는 많은 다른 매체(건축, 시각, 계기, 행동 등)가 있다]는 야콥슨의 주장을 인식하고 동의한다.

Is this simply a matter of linguistics or semiotics? Language is the primary medium of scholarly discourse and this has therefore been our main focus. However, we recognise and agree with Jakobson's assertion that language is only one medium for semiotic expression27 and there are many other media (architectural, visual, instrumental, behavioural, etc.) in medical education that also reflect patterns and have the potential to yield to pattern thinking.

의학교육을 위한 하나 이상의 패턴 언어를 의도적으로 개발하고 사용하는 것에도 한계가 있다. 패턴에 대해 체계적으로 작업하는 데 필요한 노력은 물론, 패턴 언어가 얼마나 안정적이고 현재적이며 광범위하게 적용될 수 있는지에 대한 도전과 같은, 우리가 이미 설명한 실용적이고 개념적인 문제가 있다. 패턴 사고 역시 [우리가 서로 다른 패턴에 대한 인식을 공유하는 정도]에 의해 제한된다. 패턴은 문화적인 측면뿐만 아니라 패러다임적인 측면도 있을 수 있으며, 본질적으로 사회적으로 구성되며, 시간이 지남에 따라 그리고 맥락 사이에서 변화할 수 있다. 비록 모든 개념적 프레임워크가 대체로 다 그렇긴 하지만, 패턴 언어를 개발하고 사용하는 것 역시 우리의 생각을 제약시킬 수도 있고, 우리의 편견을 재현하거나 증폭시킬 수도 있으며, 또는 특정 의제를 다른 의제보다 더 진전advance시킬 가능성이 있다. 

The deliberate development and use of one or more pattern languages for medical education also has its limitations. There are the practical and conceptual challenges we have already described, not least the effort needed to methodically work with patterns, and the challenge of how stable, current and widely applicable a pattern language can be. Pattern thinking is also limited by the extent to which we have a shared perception of different patterns. Patterns may be paradigmatic as well as cultural, and as such intrinsically socially constructed and subject to change over time and between contexts. Although this is arguably true of any conceptual framework, there is the potential for the development and use of a pattern language to act as a constraint on our thinking, to reproduce or even amplify our biases, or to advance certain agendas over others.

패턴을 절대적인 것이 아니라, [잠정적이고 유동적인 것으로 두는 것]은 이러한 문제를 해결하는 데 도움이 될 수 있지만, 패턴의 사용이 의학 교육에 가져올 수 있는 정밀도를 제한하기도 한다. 그러나 이러한 한계는 패턴 사고의 본질적인 한계라기보다는 의학 교육에 내재되어 있을 수 있다. 의학 교육을 위한 보다 명시적인 패턴 언어를 개발할 때, 우리는 [언어와 문화를 공유하는 지역] 간 용어와 개념의 변화뿐만 아니라, [언어와 문화가 상당히 다른 지역]으로부터 유입되는 variance을 염두에 두어야 한다. 실제로, 패턴 사고는 이러한 variance를 보다 명백하고 다루기 쉽게 만드는 데 도움이 될 수 있습니다. 우리는 의학 교육의 단 하나의 고정된 패턴 언어에 동의할 수 없을지도 모른다. 실제로 우리는 많은 [언어와 방언dialects]들이 있다는 것을 발견할지도 모른다. 의학교육의 맥락에서 패턴과 패턴 언어를 탐구하는 데는 분명히 해야 할 일이 많다.

Positioning patterns as provisional and fluid rather than as absolutes can help to address this, although it also limits the precision that the use of patterns can bring to medical education. These limits may, however, be intrinsic to medical education rather than an essential limitation of pattern thinking. In developing a more explicit pattern language for medical education we should be mindful of the variation in terms and concepts between regions that share the same (or similar) language and culture as well as the variances that flow from quite different languages and cultures. Indeed, pattern thinking may help to make these variances more explicit and tractable. We may not be able to agree on a single fixed pattern language of medical education, indeed we may find that there are many languages and dialects. There is clearly much to be done in exploring pattern and pattern language in the context of medical education.

결론
Conclusions

Regehr는 최근 의학 교육 연구에서 '어떤 것이 효과가 있는가'를 항상 증명하고 가장 단순한 일반 가능한 개념을 사용하여 이러한 증명들을 추구한 지배적인 사고에 도전했다. 그는 '교육의 과학은 [일반적인 문제]에 대한 [더 나은 일반 가능한 해결책]을 만들고 공유하는 것이 아니다. 그보다는 우리가 직면한 문제에 대해 더 나은 사고 방식을 만들고 공유하는 것이다'라고 이야기했다. 이 과제에 대한 우리의 해결책은 의학교육에서 패턴과 패턴 언어를 신중하고 체계적으로 사용하는 것이다. 

Regehr recently challenged the dominant thinking in medical education research that sought always to prove whether something ‘works’ and that used the simplest most generalisable concepts in its pursuit of these proofs, suggesting instead that: ‘the science of education is not about creating and sharing better generalisable solutions to common problems, but about creating and sharing better ways of thinking about the problems we face’.28 Our solution to this challenge is the deliberate and systematic use of patterns and pattern languages in medical education. 

Med Educ. 2015 Dec;49(12):1189-96.

 doi: 10.1111/medu.12836.

Exploring patterns and pattern languages of medical education

Rachel H Ellaway 1, Joanna Bates 2

Affiliations collapse

Affiliations

• 1University of Calgary, Community Health Sciences, Calgary, Alberta, Canada.
• 2University of British Columbia, Faculty of Medicine, Vancouver, British Columbia, Canada.

• PMID: 26611184
• DOI: 10.1111/medu.12836Abstract
• Context: The practices and concepts of medical education are often treated as global constants even though they can take many forms depending on the contexts in which they are realised. This represents challenges in presenting and appraising medical education research, as well as in translating practices and concepts between different contexts. This paper explores the problem and seeks to respond to its challenges.Results: The authors argue that the deliberate and systematic use of patterns and pattern languages in describing medical educational activities, systems and contexts can help us to make sense of the world, and the pattern languages of medical education have the potential to advance understanding and scholarship in medical education, to drive innovation and to enable critical engagement with many of the underlying issues in this field.
• Methods: This paper explores the application of architectural theorist Christopher Alexander's work on patterns and pattern languages to medical education. The authors review the underlying concepts of patterns and pattern language, they consider the development of pattern languages in medical education, they suggest possible applications of pattern languages for medical education and they discuss the implications of such use. Examples are drawn from across the field of medical education.
• © 2015 John Wiley & Sons Ltd.

이러닝 - 새장 속의 새 또는 날아오르는 독수리? (Med Teach, 2008)

E-learning – Caged bird or soaring eagle?
RONALD M. HARDEN

7년 전, 'E is for everything-e-learning'(데이비스 & 하드 2001)이라는 논평에서, 우리는 지금이 e-러닝에 참여해야 할 때라고 주장했고, 성공하기 위해서는 Wayne Hodgins의 조언을 지지했다. 이후 의학에서도 다른 분야와 마찬가지로 e-러닝이 빠르게 확대되고 있다. 의과대학의 거의 모든 학생들은 그들의 하루의 일부 또는 일주일의 시간을 구글이나 다른 검색엔진을 사용하여 주제에 대한 정보를 찾고, 동료나 선생님과 의사소통하거나, 그들의 기관이나 다른 곳에서 개발된 단위, 모듈 또는 과정을 공부하며 보낸다. 이제 전자 학습 애플리케이션은 현대 의료 커리큘럼의 일부이자 일부이다(Hege et al. 2007). 온라인 학습은 편리함과 유연성, 그리고 컴퓨터의 가용성 증가와 학생들의 그것들에 대한 친숙함 때문에 인기가 높아져 왔다.
Seven years ago, in a commentary ‘E is for everything–e-learning’ (Davis & Harden 2001), we argued that this was the time to engage in e-learning and supported Wayne Hodgins' advice that to succeed we needed to dive not dip into it. Since then, in medicine as in other fields, there has been a rapid expansion in e-learning. Almost every student in a medical school spends part of their day or their week online searching using Google or some other search engine for information on a topic, communicating with a colleague or teacher, or studying a unit, module or course developed in their institution or elsewhere. E-learning applications are now part and parcel of modern medical curricula (Hege et al. 2007). E-learning has grown in popularity because of its convenience and flexibility and because of the increasing availability of computers and students' familiarity with them.

'아카데미에서는 모든 전문 분야가 e-러닝을 수용하고 있다고 말한다.'는 최근호 '병원 닥터'에서 대서특필되었다. 영국 의학 왕립 대학 아카데미의 보고서(2007)에 따르면, 모든 의학 전문 분야의 의사들이 그들의 관행을 개선하기 위해 온라인 학습 기술을 채택하고 있다고 한다. The Report, Development of E-learning for Doctors는 의학에 적용되는 온라인 학습의 7가지 이점을 열거하고 있으며, 수많은 온라인 학습 응용 프로그램을 문서화한다. 영국에서 대학원 연수를 담당하는 대학들이 참여해왔다. 지난 7년 동안 e-러닝은 학부 의학교육의 맥락에서 번창했다. AAMC 의학 교육 개선을 위한 연구소 (2007)의 보고서는 '의료 교육자들이 학습 자원의 전달을 보충하기 위해 점점 더 많은 기술을 사용하고 있다. 
‘Academy says all specialities are embracing e-learning’ was the headline in a recent issue of Hospital Doctor. According to a report from the UK Academy of Medical Royal Colleges (2007) doctors from all medical specialities are embracing e-learning techniques to help improve their practice, The report, Development of E-learning for Doctors, lists seven benefits of e-learning as applied to medicine and documents a number of e-learning applications in which the colleges responsible for postgraduate training in the UK have been involved. In the last seven years e-learning has also flourished in the context of undergraduate medical education. A report by the AAMC Institute for Improving Medical Education (2007) concluded that ‘medical educators increasingly use technology to supplement the delivery of learning resources.

[멀티미디어 기술, 월드 와이드 웹 및 네트워크 컴퓨터의 유비쿼터스 특성]은 [교육 테크놀로지]를 [소수의 선구적인 교수진이 사용하는 난해한 레거시 애플리케이션]에서 [의대 교육 기업에 필수적인 주류 애플리케이션]으로 변화시켰습니다." 이 저널에서 쿡(2006)은 e-러닝이 효과가 있느냐 없느냐가 아니라, 어떻게 가장 생산적으로 사용될 수 있느냐가 문제라고 주장해왔다. 교육 연구 검토(Bernard et al)에 발표된 경험적 문헌의 메타 분석. 2004)는 비동기 응용 프로그램의 효과 크기가 강의실 지시와 비교하여 거리 교육을 선호한다는 것을 발견했다.

The advent of multimedia technology, the World Wide Web and the ubiquitous nature of networked computers, have transformed educational technologies from esoteric legacy applications used by a few pioneering faculty to mainstream applications integral to the medical school educational enterprise.” In this journal Cook (2006) has argued that the question is not whether e-learning works or not (it does!) but how it can be used most productively. A meta-analysis of the empirical literature published in Review of Educational Research (Bernard et al. 2004) found that effect sizes for asynchronous applications favoured distance education compared to classroom instruction.

그러나 모든 이니셔티브가 성공적인 것은 아니다. 실제로 엄청난 고비용 실패가 있었다. 특히 이들 중에는 영국-e대학과 영국 국립보건서비스대학의 실패도 있었다. Bacsich(2006)는 영국 e-e University의 비판적 분석에서 e-러닝 노하우에 전적으로 의존함에도 불구하고 e-러닝에 대한 우수한 지식을 가진 직원을 임명하는 데 실패했다고 지적했다. 하원 교육 및 기술 선택 위원회(2005)는 또한 고위 경영진에 대한 e-러닝 전문지식의 부족이 UKeU 실패의 원인이었다고 결론지었다. 앞으로 몇 년 안에 우리 교육기관에서 이러닝의 역할에 대해 중요한 결정을 내려야 할 것입니다. 그리고 올바른 결정이 이뤄지려면 학교 애의 시니어 수준에서 적절한 이러닝 전문지식을 가지고 있는지 의문을 가져야 한다.
Not all initiatives, however, have been successful. Indeed there have been spectacular high cost failures. Notably among these were the failures of the UK-eUniversity and the UK National Health Service University. In a critical analysis of the UK-eUniversity, Bacsich (2006) noted that, despite being wholly dependent on e-learning know-how, there was a failure to appoint staff with good knowledge of e-learning. The House of Commons Education and Skills Select Committee (2005) also concluded that the lack of e-learning expertise in senior management contributed to the UKeU failure. In the years ahead important decisions will need to be taken about the role of e-learning in our institutions. We should question whether we have appropriate e-learning expertise at a senior level in our schools, to ensure that the correct decisions are taken.

e-러닝의 합법적인 포부는 교육 및 학습에 대한 기존 접근 방식을 보다 효과적이고 효율적으로 만드는 것이다. 이것이 달성되려면 e-러닝 구현은 [필요한 교육, 기술 및 콘텐츠 전문 지식을 갖춘 직원]이 모니터링 및 관리해야 한다. 너무 자주 우리 학생들은 e-러닝이라는 미명하에, 영감을 주거나 보람 있는 학습 경험이 아닌 아마추어적인 잡동사니에게 당한다. 그들이 이익을 얻기를 기대하는 것은 효과적인 학습 전략이 내장되어 있고 학습 결과가 명확하게 명시된 신중하게 계획되고 실행되는 전문 학습 프로그램이다. 슬프게도, 우리는 컴퓨터가 단지 기계적인 페이지 터너page turner로서 의미 있는 참여나 학생과의 상호작용을 거의 또는 전혀 하지 않는 e-러닝 프로그램을 계속 보게 된다. 

A legitimate aspiration of e-learning is to make existing approaches to teaching and learning more effective and efficient. If this is to be achieved, e-learning implementation has to be monitored and managed by staff with the necessary education, technology and content expertise. Too often our students are subjected, in the guise of e-learning, to an amateurish forrago that is neither an inspiring or rewarding learning experience. Not unreasonably what they should expect to benefit from is a carefully planned and executed professional learning programme with effective learning strategies embedded and clearly stated learning outcomes. Sadly, all too often we continue to see e-learning programmes where the computer is used simply as a mechanical page turner with little or no meaningful engagement or interaction with the student.

• 반 메리언보어 외 (2004)는 "현재 웹에서 발견될 수 있는 엄청난 양의 온라인 학습 응용 프로그램을 연구하는 열린 마음을 가진 교육가는 교육학적 관점에서, 온라인 학습이 진보라기보다는 한 단계 후퇴하는 것이라고 결론지을 수밖에 없을 것"이라고 결론지었다.
• 비슷한 우려는 로젠버그(2001, 페이지 44)에 의해 표현되었다. "기술에 대한 열정으로, [교육 및 정보 설계의 개념을 무시하는 것]은, 종종 무가치한 것만 가르치는 웹 마법으로 귀결된다." 
• Van Merriënboer et al. (2004) concluded that “An educationalist with an open mind who studies the overwhelming amount of e-learning applications that are currently to be found on the Web will be forced to conclude that from a pedagogical perspective, e-learning is a step backward rather than a step forward”.
• Similar concerns were expressed by Rosenberg (2001, page 44), “Ignoring the tenets of instructional and information design amidst fervour over technology usually results in lots of Web wizardy that often doesn’t teach anything of value”.

그러나 e-러닝의 미래가 단순히 우리가 이미 하고 있는 일을 더 잘, 더 비용 효율적으로 할 수 있게 하는 데 있는지는 의심해야 한다. 재정적인 제약의 시기에 그것은 확실히 유혹적인 시나리오이다. 
It has to be questioned, however, whether the future of e-learning lies simply in allowing us to do better and more cost effectively what we are already doing. It is certainly a tempting scenario at a time of financial constraint. 

e-러닝을 단순히 기존 교육 및 학습 방법을 온라인 학습으로 전환하고, 기존 교육 접근 방식을 지원하는 새로운 기술을 적용하는 것으로 보아서는 안 된다. 만약 우리가 그렇게 한다면, 그 결과는 의학 교육을 위한 21세기 비전으로 나아가는 데 별다른 기여를 하지 못할 것이다. 이는 위에서 요약한 바와 같이, 기존 접근법 e-러닝을 통한 향상의 가치를 과소평가하는 것이 아니다. 그러나 우리는 e-러닝이 제공하는 기회를 이용하여 의료 전문가 교육에 대한 새로운 패러다임을 모색하는 데 보다 야심적이어야 한다.

We should not see e-learning as simply applying new technologies to support existing approaches to teaching, converting existing teaching and learning methods to e-learning. If we were to do so the result would be a relatively insignificant contribution to the move to a 21st century vision for medical education. This is not to underestimate the value, as outlined above, of enhancing through existing approaches e-learning. We should be, however, more ambitious, some would say even adventurous, in taking the opportunity offered by e-learning to explore a new paradigm for the training of health care professionals.

1962년, 토마스 쿤은 "과학 혁명의 구조"를 저술하였고, "패러다임 시프트"의 개념을 이해하고, 정의하고, 대중화하였다. 쿤은 과학적 진보는 진화론적인 것이 아니라 "지적으로 폭력적인 혁명으로 얼룩진 일련의 평화적 방해"이며, 이러한 혁명에서는 "하나의 개념적 세계관이 다른 것으로 대체된다"고 주장했다. 의학 교육에서 우리는 하나의 사고 방식에서 다른 방식으로의 변화, 변화 또는 일종의 변혁으로 패러다임의 변화를 생각해야 한다(Take the Leap 2008).
In 1962, Thomas Kuhn wrote The Structure of Scientific Revolution, and fathered, defined and popularized the concept of “paradigm shift” (p. 10). Kuhn argued that scientific advancement is not evolutionary, but rather a “series of peaceful interludes punctuated by intellectually violent revolutions”, and in those revolutions “one conceptual world view is replaced by another”. In medical education we should be thinking of a paradigm shift with a change from one way of thinking to another as a revolution, a transformation or a sort of metamorphosis (Take the Leap 2008).

대학 학문은 변화를 꺼린다. 많은 새로운 학습 기술이 개발되었고 다른 것들은 개발의 정점에 있다. 이것은 우리가 어떻게 학생들을 교육시키고 이전에는 고려 대상이 되지 않았던 가능성을 열어주는지에 대한 흥미로운 기회를 제공한다. 우리가 의제로 삼아야 할 것은 느린 진화적 변화가 아니라 우리의 접근 방식의 근본적인 수정이다. 

University disciplines like medicine with a risk history and catalogue of highly developed learning methods are reluctant to change. Many new learning technologies have been developed and others are on the cusp of development. These offer exciting opportunities as to how we educate our students and open up possibilities previously not meriting consideration. What we should have on the agenda is not a slow evolutionary change but a fundamental revision of our approach.

전통적인 교사 중심 교육에서, 학생에 대한 통제력은 선생님에 의해 발휘된다. 즉, 그들이 무엇을 배우고, 어떻게 평가하는지이다. 그 비유에서 학생은 '새장 속의 새'이다. 지난 30년 동안 학생 중심의 접근 방식으로의 움직임이 있었는데, 이 접근 방식은 학생들에게 더 많은 통제권이 전달되었다. 베르비텐(2001)은 오늘날 고등교육을 휩쓸고 있는 두 가지 혁명이 있는데,

• 첫 번째 혁명은 교사 중심 교육에서 학습자 중심 교육으로의 전환이라고 제안했다.
• 두 번째는 전통적인 교실에서 가상의 교실로의 이동입니다.

학생 중심의 접근 방식에서, '날아오르는 독수리'와 같은 학생은 선택의 자유가 더 크고, 그들 자신의 행동과 그들이 이용할 수 있는 기회의 사용에 대한 책임이 더 크다.

In traditional teacher-centred education, control of the student is exerted by the teacher–what they learn, how they learn it and how it is assessed. The student is the ‘caged bird’ in our analogy. Over the past three decades there has been a move to a student-centred approach where more control is passed to the student. There are two revolutions sweeping through higher education today, suggested Verbeeten (2001),

• the first one is the move from teacher- to learner-centred education.
• The second one is the move from the traditional to the virtual classroom.

In a student-centred approach the student, like ‘the soaring eagle’, has greater freedom of choice and greater responsibility for their own behaviour and the use they make of available opportunities.

"교육 시스템의 논리"는 그린 외 연구진에게 시사한다. (2005) "학습자가 시스템에 맞추는 것이 아니라, 반대로 학습자에게 적합한 시스템이 되도록 해야 한다. 이것이 개인화의 본질이다. 모든 잠재력에 도달할 수 있는 참여적이고 독립적인 학습자를 육성하기 위해, [학생의 다양한 강점, 관심, 능력 및 니즈를 인식]하고, 이를 토대로 [맞춤형 지원을 제공할 수 있는 시스템]이 필요하다."

“The logic of education systems” suggests Green et al. (2005) “should be reversed so that it is the system that conform to the learner, rather than the learner to the system. This is the essence of personalization. It demands a system capable of offering bespoke support for each individual that recognizes and builds upon their diverse strengths, interest, abilities and needs in order to foster engaged and independent learners able to reach their full potential”.

많은 교사에게, 각 학생의 필요에 따라 개인화 지침을 개별화하는 것은 이상적인 생각이지만, 그들이 운영하는 제약 조건 내에서 가능하지 않았다(Harden et al. 1984). 좋은 소식은 학습 기회 내에 통합된 학습자 중심의 평가와 피드백을 통해 각 학생의 요구에 개별화된 다양한 학습 환경의 생성과 e-러닝의 잠재력을 활용하여 적응형 커리큘럼의 이 목표를 달성하기 위해 나아갈 수 있다는 것이다. 현재까지 많은 연구자들은 온라인 웹 기반 학습을 지원하고 학습자의 선호도, 관심사 및 탐색 행동을 고려하여 학습 경로를 적응적으로 제공하기 위해 개인화된 학습 메커니즘을 갖춘 e-러닝 시스템을 개발하는 데 초점을 맞추고 있다. 

For many teachers, this idea of individualising instruction to the need of each student is an ideal to be aimed at but one that has not been possible to deliver within the constraints in which they operate (Harden et al. 1984). The good news is that we can move forward to achieve this goal of an adaptive curriculum by harnessing the potential of e-learning and the creation of diverse learning environments individualised to the needs of each student with learner-focussed forms of assessment and feedback integrated within the learning opportunities. To date many researchers have focussed on developing e-learning systems with personalized learning mechanisms to assist on-line Web-based learning and to adaptively provide learning paths taking into account learner preferences, interests and browsing behaviours. 

교육의 중요한 발전은 [동료 지원 또는 협업 학습에 대한 강조]가 증가한다는 것이다(Ross & Cameron 2007; Ten Cate & Durning 2007). 이것은 e-러닝이 중요한 변화를 가져오고 학생들의 학습 경험을 풍부하게 할 수 있는 또 다른 분야이다. [협력적 학습 커뮤니티]라는 아이디어는 고등 교육에서 정말로 중요한 개념이다. Garrison & Anderson(2003)은 (의학에서와 같이) 고차higher-order 학습이 기대하는 학습 성과일 때, '학습자 공동체'는 교육 경험의 필수적인 핵심 요소라고 주장했다. 온라인 학습은 협업 학습의 생성과 개발에 있어 고유한 역할을 하며 실제로 의료 교육에 대한 주요 기여도를 나타낼 수 있다. 
An important development in education has been an increasing emphasis on peer-assisted or collaborative learning (Ross & Cameron 2007; Ten Cate & Durning 2007). This is another area where e-learning can bring about a significant change and enrich the learning experience for students. The idea of a collaborative learning community is indeed a critical concept in higher education. A community of learners, argued Garrison & Anderson (2003) is an essential, core element of an educational experience when, as in medicine, higher-order learning is the desired learning outcome. E-learning has a unique role to play in the creation and development of collaborative learning and indeed may represent its major contribution to medical education.

e-러닝의 개발을 통해 우리는 적응형 개인화된 커리큘럼과 학생 간 및 국제적으로 그리고 직업 간에 공유된 학습을 제공할 수 있다.  앞을 내다보면 세 가지 옵션이 있다.

Through developments in e-learning we can deliver an adaptive personalised curriculum and shared learning between students locally and internationally and between professions. Looking ahead, there are three options.

첫 번째 옵션은 '가능성의 기술'과 관련이 있으며, e-러닝을 학습 객체, 안내 학습 모듈, 가상 환자 등으로 [(강의, 독립 학습 및 문제 기반 또는 사례 기반 학습)과 같은 기존 교육 및 학습 접근 방식을 통해 강화하려는 접근법]으로 본다. 이 옵션에서 기존 교육 및 학습 활동은 e-러닝의 기여를 통해 강화된다.
The first option is concerned with ‘the art of the possible’ and views e-learning as an approach to strengthen, through bank of learning objects, guided learning modules, virtual patients, etc., existing teaching and learning approaches including lectures, independent learning and problem-based or case-based learning. In this option existing teaching and learning activities are reinforced through contributions from e-learning.

두 번째 옵션에서는 오래된 문제에 새로운 해결책을 적용하는 것을 훨씬 넘어서서, 교육에 대한 실질적인 새로운 접근법의 필요성이 인정된다. 패러다임 전환의 필요성이 충분히 인식되고 있다. e-러닝이 교육의 21세기 비전에 기여할 수 있다는 것이 받아들여지고 결과 기반 교육 및 교육 심리에 대한 이해에서 얻은 교훈에 대한 중요한 개혁 도면을 위한 프로그램이 확인된다. 이 옵션에는 의학을 가르치고 배우는 새로운 접근법을 제공해야 하는 필요성에 대한 직접적이고 창의적인 반응이 있습니다. 수정된 접근 방식은 현재의 접근 방식과는 상당히 다르게 보일 수 있으며 이를 도입하는 작업은 교육적 사고, 교육적 설계 및 기술을 포함하며 이러한 입력 사이의 중요한 연결을 인식한다. 이 옵션의 핵심은 기존 접근 방식에서 진화 과정을 넘어서는 큰 발전이 이루어진다는 것이다. 여행은 단순히 표면 운송surface transport의 발달에 의해서만이 아니라, 항공 여행의 발달에 의해서 변혁되었고, 기술과 공기역학의 새로운 원칙의 적용의 결과로 가능해졌다. 이와 같은 방식으로 (두 번째 옵션에서는) 의학교육에 대한 우리의 접근 방식에 중대한 변화가 일어날 것이다.
In the second option the need for a substantial new approach to education that goes well beyond applying a new solution to an old problem is recognised. The need for a paradigm shift is fully recognized. That e-learning can contribute to a 21st century vision of education is accepted and a programme for significant reform drawing on the lessons learned in outcome-based education and from an understanding of educational psychology is confirmed. In this option there is a direct and creative response to the need to deliver a new approach to teaching and learning medicine. The revised approach may look quite different from current approaches and the work in bringing it about encompasses educational thinking, instructional design and technology and recognises the critical link between these inputs. The thrust in this option is that big advances are made that go beyond an evolutionary process from existing approaches. Travel was revolutionized not solely by developments in surface transport but by the development of air travel, made possible by the result of the application of new principles of technology and aerodynamics. In the same way major changes would be made in our approach to medical education.

세 번째 옵션은 변화에 관한 것이지만 옵션 2와 달리 의제의 전략 항목으로 '변화change'가 없다. 전통적인 교육과정뿐 아니라 문제 기반 커리큘럼의 맥락에서 e-러닝 활용의 중요성을 인식하고, 교사와 학생 모두의 즉각적인 필요성으로 보이는 것을 의학에 반영한다. 단, [교육에서 일어나는 변화]와 [교육 변화의 구현에서 새로운 학습 테크놀로지의 역할]을 인식한다. 보다 적응적인 개인화된 학습으로의 이동, 협업 및 공유 학습으로의 이동, 결과 기반 교육 모델의 맥락에서 진행에 중점을 둔다.
The third option is about change but unlike option 2, does not have change as the strategic item on the agenda. It recognises the importance of the use of e-learning in the context of a traditional as well as a problem based curriculum and reflects what are seen as the immediate needs of both the teacher and the student in medicine. It recognises, however, the changes taking place in education and the role of the new learning technologies in their implementation. It takes account of the move to a more adaptive personalized learning, the move to collaborative and shared learning and the emphasis on progression within the context of an outcome-based educational model.

우리는 현재 이러한 옵션들 중 오직 하나, 즉 옵션 3만이 실행 가능하다고 주장한다. 

• 첫번째 선택은 교육적으로 viable하지 않다. 그것은 변화에 대한 압력에 대응하여 교육에서 일어나고 있는 중요한 발전을 무시하고 몇 년 안에 충족되어야 하는 학생들의 요구를 인식하지 못한다. 'e-learning and e-teaching'은 Ellaway(2007)가 도전적이고 흥미롭고 위험하며 변화무쌍할 수 있음을 시사하지만, 무비판적인 관행이 점점 더 많아질수록 e-learning 혁명이 걸음을 내딛기도 전에 종결될 것이라는 실질적 위험이 있다.' 교육에서 기술을 사용하는 것 자체가 좋은 것은 아니지만 '절대적 정상creeping normalcy'의 위험을 회피할 경우, 오늘날과 내일의 요구를 해결하는 혁신적이고 창의적인 방법을 개발하는 강력한 촉매제가 될 수 있다.
• 슬프게도 위에서 설명한 두 번째 선택권은 정치적으로 소외되고 무시될 것이기 때문에 실현 가능성이 없다. 강력한 적은 어마어마하게 많고, 지지자는 거의 없을 것이다. 온라인 학습은 주류 제도화된 변화의 기반이 아니라 한계적 추구로 간주될 것이다.
• 이와는 대조적으로 세 번째 선택권, 혹은 그것의 어떤 형태는 의과대학 내에서 교육적으로나 정치적으로 실행 가능한 것일 수 있다. e-러닝이 상징적으로 중요한 움직임과 연관되지 않는 한, 단순히 강의를 대체하거나 향상시키는 것 이상의 것에 관심을 갖지 않는 한, 교실에 진짜 의미가 없는 한, e-러닝은 의대에서 학생의 경험에 크게 영향을 주지 않을 것이다.

We argue that at present only one of these options–option 3–is viable.

• The first option is not viable educationally. It ignores the significant developments taking place in education in response to the pressures for change and fails to recognise the needs of students that must be met in the years ahead. ‘E-learning and e-teaching’ suggests Ellaway (2007) can be challenging, exciting, dangerous and transformational but there is a real peril that the creeping enormity of uncritical and safe practices in this area will declare the e-learning revolution over before it has really got into its stride’. Using technology in education is not of itself a good thing but it can be a powerful catalyst for developing innovatory and creative methods of addressing the needs of today and tomorrow if the dangers of ‘creeping normalcy’ are avoided.
• Sadly the second option as described above is not likely to be viable because it will be marginalised politically and will be ignored. There will be powerful enemies and few champions. E-learning will be seen as a marginal pursuit and not the basis for mainstream institutionalised change.
• The third option, or some form of it, in contrast may be viable educationally and politically within medical schools. Unless e-learning is associated with moves which are symbolically significant, unless it becomes concerned with more than just replacing or enhancing lectures, independent learning or problem-based learning and unless it has real significance in the classroom, e-learning is unlikely to significantly influence a student's experience in medical school.

드론(2007)은 e-러닝이 널리 채택되었지만 아직 걸음마 단계이며 많은 위험이 남아 있고 해결해야 할 문제가 있지만 미래 또는 e-러닝에 대해 낙관해야 할 충분한 이유가 있다고 주장했다. 교육기술, 보스토크(2007)는 "트로이 목마"라고 제안했다. (E-learning의) 내부에는 교육과 학생 학습에 관한 몇 가지 근본적인 질문들이 있는데, 이 질문들은 실천에 있어서 급진적인 변화를 위하여, 도시 벽을 깨부수고 개방할 준비가 되어 있다. 여기에 대처하는 것은 교육에서 다른 어떤 것보다도 흥미롭다.
Dron (2007) has argued that although e-learning has been widely adopted it is still very much in its infancy and although many risks remain and problems to be solved there is good reason to be optimistic about the future or e-learning. Educational technology, suggested Bostock (2007) “is a Trojan horse: inside are some fundamental questions about teaching and student learning, ready to break out and open the city walls to some radical changes in practice. Rising to that challenge is as intriguing as anything in teaching”.

e-러닝의 발전은 이전에는 불가능했던 교육 이니셔티브와 접근 방식을 가능하게 한다. 그러나 우리는 높은 품질, 교육학적으로 건전하고 흥미롭고 협력적인 온라인 학습 기회를 제공하려는 열망과 이러한 의도를 실제로 제정하는 작업 부하 및 시간 요구 현실 사이에 지속적인 긴장이 존재한다는 것을 인식할 필요가 있다(Boerema et al. 2007). 

Developments in e-learning make possible education initiatives and approaches previously not possible. We need to recognise, however, that ongoing tension exists between aspirations to provide high quality, pedagogically sound, interesting and collaborative online learning opportunities and the workload and time demand realities of enacting these intentions in practice (Boerema et al. 2007).

그러나 의대 교사와 자원 제약의 상상력, 교육적 이해력, 전문성이 보조를 맞추지 못하고 그러한 발전을 어떤 위장된 공상과학 소설이 아닌 현실로 만드는 데 도움이 된다면 불행한 일이다. 우리 모두가 해결해야 할 과제는 학생들을 계속 '새장 속의 새'로 볼 것인지, 아니면 '독수리처럼 치솟을' 적절한 교육기회를 통해 힘을 실어줄 것인지 여부이다.

It is unfortunate, however, if the imagination, educational understanding and professionalism of the medical teacher and resource constraints do not keep pace and help to make such developments a reality rather than some disguised form of science fiction. The challenge for all of us is whether we will continue to see our students as ‘caged birds’ or instead empower them with appropriate education opportunities to ‘soar like the eagle’.

Med Teach. 2008 Feb;30(1):1-4.

 doi: 10.1080/01421590801938878.

E-learning-caged bird or soaring eagle?

Ronald M Harden 1

Affiliations collapse

Affiliation

• 1International Virtual Medical School, Dundee, UK. r.m.harden@dundee.ac.uk

• PMID: 18278640
• DOI: 10.1080/01421590801938878

효과적인 강의: 실천을 이론으로 - 내러티브 리뷰(Med Sci Educ, 2021)

Effective Medical Lecturing: Practice Becomes Theory
A Narrative Review
Robert C. Lowe1 & Steven C. Borkan1

더 챌린지 The Challenge

대중 연설은 학문의학의 "ancient pillar"이다. 학생과 동료 그룹과의 대화는 학업 발전과 성취에 있어 측정 가능한 이정표이다. 이런 압박과 함께 '우리 학생들을 교육하라'는 요구가 높아지면서 '비효과적인 강의'라는 공통적이지만 역설적인 관행이 이어지고 있다. 비효율적인 강의를 만드는 것은 사실 매우 간단합니다.

• 1단계는 많은 양의 정보가 가득한 글머리표 슬라이드를 사용하여 PowerPoint 프레젠테이션을 생성해야 합니다.
• 2단계는 반사적으로 화면을 보면서 청중에게 각 슬라이드를 체계적으로 읽어주며 화자의 불안감을 줄여주는 내용을 담고 있다.
• 듣는 사람들은 이메일을 다루고, 동료들에게 문자를 보내고, 종종 무의식을 향해 마음을 놓음으로써 이 부담스러운 노력으로부터 벗어나려고 한다.
• 이야기가 끝나자 관중은 관례대로 정중하게 박수를 치고, 한 시간 안에 말을 잊는다.
• 연설자는 "안전하게" 탈출하고, 다른 날에 "가르칠" 준비가 되어 있다. 

Public speaking is the “ancient pillar” of academic medicine. “Talks” to groups of students and colleagues are a measurable milestone for academic advancement and achievement. This pressure, combined with increasing demands to “educate our students,” has led to the common but paradoxical practice of “ineffective lecturing.” Producing an ineffective lecture is actually quite simple.

• “Step One” requires creating a PowerPoint presentation with heavily bulleted slides replete with large quantities of information.
• “Step Two” involves presenting the talk by systematically reading each slide to the audience while reflexively facing the screen to reduce speaker anxiety.
• Listeners seek refuge from this burdensome endeavor by addressing e-mails, texting colleagues, and often disengaging toward unconsciousness.
• As the talk ends, the audience politely applauds as is the custom, and then forgets the talk within the hour.
• The speaker “safely” escapes, ready to “teach” another day. 

이 주기는 수많은 학문적 학습의 중심에서 반복되며, 우리의 훈련생들은 강의에 참여하지 않는 것에 대해 불평한다. 

This cycle is repeated in countless centers of academic learning and, just as often, our trainees complain about unengaging lectures. 

위대한 강의
The Great Lecture

"위대한 강의"의 구성 요소들은 기원전 4세기에 아리스토텔레스가 그의 수사학에서 처음으로 개괄하였다. 이 논문의 제1권에서, 아리스토텔레스는 효과적인 프레젠테이션의 3가지 요소, 즉 이성(로고스)과 감정(파토스)에 대한 호소, 화자의 개인적 특성(에토스)에 대해 설명했다. [26]. 이것들은 우리의 현재의 교육적 임무에 똑같이 적용된다: 효과적인 강연은 듣는 사람을 자극하고 정보가 기억 속에 내재되도록 하는 [감정적 반응]을 유도하는 [논리적인 방식]으로 [정보를 제공]한다. 이러한 목적적 반응은 열정과 "화자의 유동성"을 포함하는 매력적인 프레젠테이션 스타일에 대응하여 발생합니다.

The components of the “great lecture” were first outlined in the fourth century B.C.E. by Aristotle in his Rhetorics. In Book One of this treatise, Aristotle described 3 components of an effective presentation: an appeal to reason (logos) and to emotion (pathos), as well as the speaker’s personal characteristics (ethos) [26]. These are equally applicable to our current educational mission: an effective talk presents information in a logical fashion that stimulates the listener and induces an emotional response that allows the information to be embedded in memory. This purposeful reaction occurs in response to an engaging presentation style that includes enthusiasm and the “speaker’s fluidity”.

'연사 성격'의 소재가 제기될 때, [카리스마 있는 연사는 콘텐츠 전문성이 부족한 것을 감추기 위해 'smoke and mirror'을 사용하는 사람]은 명백한 사기꾼이거나 교육자라기보다는 연예인에 불과하다는 것이 일반적인 방어적 반박이다. 반대론자들은 좋은 발표는 가장 최신의 사실과 사실적인 자료의 단순한 발표일 뿐이며, 그 밖의 모든 것들은 효과적인 교육과 무관한 "인기 대결"이라고 주장한다. 일반적으로 사용되는 이 믿음은 학문적, 사업적, 그리고 정부 환경에서 무수한 비효율적인 강의를 지원합니다. 더 중요한 것은, 이것이 몰입적이고 기억에 남는 프레젠테이션을 회피하는 구실이 된다는 것입니다.
When the subject of the “speaker’s personality” is raised, a common defensive retort is that charismatic speakers are clearly charlatans using “smoke and mirrors” to hide their lack of content expertise or are mere entertainers rather than educators. The naysayers posit that a good presentation is simply a straightforward presentation of most up to date and factual material and that, beyond this, all else is a “popularity contest” irrelevant to effective education. This commonly held belief supports countless ineffective lectures in academic, business, and governmental settings. More importantly, it serves as the excuse to avoid engaging, memorable presentations.

"닥터 폭스 실험"은 이 뛰어난 태도를 지지하는 것처럼 보였다. 1973년, "Myron Fox 박사"가 "의학 교육에 수학 게임 이론을 적용"이라는 제목의 교육자들에게 강연을 하는 심리학 실험이 수행되었다. 폭스 박사는 사실 따뜻하고, 재미있고, 매력적인 스타일의 강의를 하는 배우였는데, 그 내용은 횡설수설이었다. 예상했던 대로, 청중들은 폭스 박사에게 호의적인 반응을 보였다. 이것은 "좋은" 강사가 청중을 속여 거짓 이야기를 감상하게 만들었다고 결론내림으로써 강의를 참여시키는 "Charlatan" 이론에 기여했다. 그러나 1975년에 실시된 후속 실험은 이러한 결론을 반박했다. 이 시나리오에서는 다양한 교육 콘텐츠와 함께 여러 강의가 진행됐다. 각각의 강연은 두 명의 연사에 의해 전달되었습니다: 하나는 매력적인 스타일을 가지고 있고 다른 하나는 직설적이지만 매력적이지 않은 스타일을 가지고 있습니다. 두 연사 모두 참여형 스타일은 고·저콘텐츠 강의 후 청중의 콘텐츠 유지율을 높였습니다. 

The “Dr. Fox Experiment” seemed to support this preeminent attitude. In 1973, a psychological experiment was conducted wherein a “Dr. Myron Fox” presented a talk to a group of educators entitled “Applying Mathematical Game Theory to Medical Education.” Dr. Fox was in fact an actor who provided a warm, funny, and engaging style lecture, the content of which was gibberish. As might be expected, the audience favorably responded to Dr. Fox. This contributed to the “charlatan” theory of engaging lectures by concluding that a “good” lecturer fools an audience into appreciating a false narrative [20]. However, a subsequent experiment conducted in 1975 confronted this conclusion. In this scenario, several lectures were given with a variable amount of educational content. Each talk was delivered by two speakers: one with an engaging style and another with a straightforward but unengaging style. For both speakers, the engaging style resulted in greater content retention by the audience after high- and low-content lectures.

이 관찰은 내용이 "잘 말하는 사람"에 의해 청중에게 더 효과적으로 전달된다는 것을 시사하며, 다른 사람들에 의해 나중에 복제되는 발견인 상당한 교육적 편익[28]으로 해석한다[18]. 청중들을 끌어들이기 위한 열쇠는 그들의 관심을 끌고 붙잡아야 한다. 교육자의 경우 불행히도 [성인 집중력 기간은 10분]으로 제한되어 있으므로, 고전적인 50분 강의를 위한 참여 유지라는 화자의 과제가 복잡해진다. 더구나 이러한 '10분'의 주의력을 입증한 연구는 스마트폰과 소셜미디어 시대 이전에 이루어졌으며, 오늘날 청취자의 주의력 범위는 더욱 짧아진 것으로 생각된다. 다행히, 청중 집중력 기간은 다양한 형식과 아래에서 논의한 대화형 특징을 추가하고 강의 내내 주요 교육 포인트를 반복함으로써 주기적으로 "재설정"될 수 있다.

This observation suggests that content is more effectively transmitted to an audience by a “good speaker” and translates to significant educational benefit [28], a finding subsequently replicated by others [18]. The key to engaging the audience mandates attracting and holding their attention. Unfortunately for educators, the adult attention span is limited to 10 min [5, 15], complicating the speaker’s task of sustaining engagement for the classic 50-min lecture. Moreover, the studies that demonstrated this “10-min” attention span were conducted before the era of smartphones and social media, and it is believed that today’s listeners have an even shorter attention span. Fortunately, audience attention span can be periodically “re-set” by varying format, adding interactive features discussed below, and re-iterating key teaching points throughout the lecture.

강의 시간 관리
Lecture Time Management

"시간" 자체는 효과적인 프레젠테이션을 준비하는 데 필수적인 요소이지만 불행히도, 이용 가능한 것은 거의 없다. 다음을 포함한 여러 자극......들을 하려면, 대화식으로 강의를 하기에는 연습 시간이 부족해진다.

• 경쟁적인 학문적 우선 순위,
• 청중을 위해 적절한 강의 내용을 선택하는 시간을 진공청소기로 없앤다.
• 학습 목표 식별,
• 효과적인 슬라이드 세트의 초안 작성 및 정제, 그리고
• 반사적 또는 능동적 학습 단절을 약간 더한다.

“Time” itself is the vital ingredient for preparing an effective presentation but, unfortunately, is least available. Multiple stimuli, including

• competing academic priorities,
• vacuum away the time for selecting lecture content appropriate content for the audience,
• identifying learning objectives,
• drafting and refining an effective slide set, and
• adding a pinch of reflective or active learning breaks,

...leaving inadequate practice time to deliver the lecture in an easy, conversational style.

이 벅찬 "강의에서의 to-do 리스트"는 식료품 목록은 심지어 선의의 교육자들도 각 슬라이드에 정보를 쌓아놓고 청중에게 소리내어 읽어줌으로써 "최소한의 강의 저항의 길"을 여행하게 하고, 우리 청중들이 우리의 강의 노력을 무시하도록 효과적으로 보장한다.

This daunting grocery list of “lecture to-dos” causes even well-intentioned educators to travel the “path of least lecture resistance” by piling information into each slide and then reading them aloud to the audience, effectively guaranteeing that our audience ignores our lecture efforts.

학술적 현실과 대화 불개의 전통, 효과적인 강의가 통달될 수 없다는 시각이 모두 우리의 강의현상을 유지하며 필연적으로 '나쁜 대화'를 만들어낸다. 시간은 de novo로 만들 수 없기 때문에, 그것은 꽤 유혹적이다.

• 파워포인트를 긴급하게 연다.
• 교육목표를 생략하고, 50분을 채울 만큼 충분한 슬라이드에 사실정보를 저장한다.
• 슬라이드 디자인을 무시한다.
• 배움을 촉진하는 이미지는 건너뛴다
• 적극적으로 반영하거나 참여하기 위해 청중의 초대를 생략한다.
• 그리고 나서, "시간이 부족하니" 강의 요약을 제외한다

Academic reality, a tradition of unengaging talks, and the view that effective lecturing cannot be mastered all sustain our lecturing status quo and inevitably lead to the creation of “bad talks.” Since time cannot be created de novo, it is quite tempting to

• open PowerPoint with a sense of urgency,
• skip educational goals, pile factual information onto enough slide to fill 50 min,
• ignore slide design,
• forego learning-enhancing images,
• omit audience invitations to actively reflect or participate,
• and then, for the “sake of time,” exclude a lecture summary.

이처럼, "나쁜 강의"는 놀랄 만큼 짧은 시간에 준비될 수 있지만, 동시에 예측 가능한 결과를 가져온다.

Admittedly, a “bad talk” can be prepared in a remarkably short time but with predictable results.

효과적인 강의의 효과성 향상과 효과적인 강의 조성에 필요한 시간 최소화를 위한 제안들이 요약되어 있다(표 1). 

학생과 교사 사이의 물리적인 거리감을 모두 갖춘 원격 인터넷 교육은 고유한 과제를 제기하며 효과적인 교육을 지속하기 위한 새로운 솔루션을 필요로 한다. 원격 교육 및 강의 준비는 예상된 과제를 계속 제공하지만, 멀리서 가르치면 학생과의 피드백과 공명이 복잡해지고, 듣는 사람이 눈에 보이지 않게 "체크아웃"할 수 있으며, 교사에게 패배를 인정할 수 있는 기회를 제공하여 Zoom, Teams 등 날짜를 미리 정하는 비효율적인 교육 방법론으로 후퇴한다. 성인 학습자와 교사는 그 자체가 동일하기 때문에, 원격 청취자를 참여시키고 학습에 자극을 주는 방식으로 도전하고 참여시키는 정보를 전달하는 전략이 중심 목표로 남아 있다.(표 2).
Remote Internet teaching, complete with physical distance between students and teachers, raises unique challenges and requires novel solutions to sustain effective teaching. While remote teaching and lecture preparation continue to provide the expected challenges, teaching from a distance complicates feedback and resonance with students, permits listeners to invisibly “check out,” and affords teachers the opportunity to admit defeat, retreating to ineffective teaching methodologies that pre-date Zoom, Teams, and other surrogate Internet media. Since the adult learners and teachers are themselves identical, strategies for engaging remote listeners and transmitting information that challenges and engages them in a manner that stimulates learning remain a central goal. Based on experiences to date and input from the latest educational literature [4, 7, 21, 22], modest adjustments by the lecturer substantially improve the remote learner’s and lecturer’s experience (Table 2).

강의 내용 계획 방법
How to Plan Lecture Content

성인 학습의 원리를 이용하여 강의를 계획하는 것은 그 영향을 증가시킨다. Malcolm Knowles에 의해 명확하게 설명되는 이러한 원칙들은 성인 학습자를 가르치기 위한 귀중한 개념적 프레임워크이다. 일부 논란에도 불구하고 [19], 이러한 원칙은 효과적인 교육 세션을 설계하는 데 여전히 유용하다[14]. 비효과적(그림 1a) 대 효과적(그림 1b) 슬라이드.
Using principles of adult learning to plan a lecture increases its impact. These principles, articulated by Malcolm Knowles, are a valuable conceptual framework for teaching adult learners. Despite some controversy [19], these principles remain useful for designing effective teaching sessions [14]. An ineffective (Fig. 1a) vs. effective (Fig. 1b) slide listing Knowles Principles of Andragogy is shown.

두 가지 성인 학습 원칙은 효과적인 프레젠테이션을 만드는 것과 가장 관련이 있다. 

첫째, 성인은 자신의 삶과 업무 관행과 [관련된] 학습을 요청하기 때문에 각각의 강의가 청중에게 관련되는 것이 매우 중요하다[15]. 이것은 명백해 보일 수도 있지만 시간이 허용하는 한 많은 사실 정보를 제공함으로써 "권위적"인 것과도 반대될 수 있다. 일반적인 질병별 학술 강연은 (역사적 순서로) 질병 역학, 임상 프레젠테이션, 진단, 예후 및 현재 치료를 포함하도록 구조화된다. 각 주제 제목 아래에, 많은 정보가 전체 문장 또는 입력된 단락과 함께 글머리 기호 슬라이드로 표시됩니다.

비록 이 접근법이 약간의 교육적 장점을 가지고 있지만, 진정한 관련성은 청중들이 그들의 일상 생활에서 제시된 정보로 [무엇을 할] 것인지이다. 예를 들어, 공중 보건 청중에게 말할 때, 선별과 역학에 중점을 두는 것이 적절하지만, 윤색 진단과 치료는 일차 진료 의사들에게 반향을 일으킨다. 의대생들은 주제에 대한 최신 연구에 대한 철저한 토론으로부터 좀처럼 혜택을 받지 못한다. 이와는 대조적으로, 이 접근법은 주제 전문가들에게 매우 효과적이다.

Two adult learning principles are most relevant to creating effective presentations.

First, adults request learning that is relevant to their lives and work practices, making it critical that each talk be relevant to the audience [15]. This may seem obvious but also at odds with being “authoritative” by providing as much factual information as time permits. A typical disease-specific academic talk is structured to include (in historical order) disease epidemiology, clinical presentation, diagnosis, prognosis, and current therapy. Under each topic heading, a wealth of information is presented as bulleted slides with full sentences or typed paragraphs.

Although this approach has a modicum of educational merit, the true question of relevance refers to what the audience will do with the presented information in their daily practice. For example, when speaking to a public health audience, emphasis on screening and epidemiology is appropriate, whereas embellishing diagnosis and treatment resonates with primary care physicians. Medical students rarely benefit from an exhaustive discussion of the latest research on a topic. In contrast, this approach is highly effective for topic experts.

선생님 강조하기
De-emphasizing the Teacher

효과적인 대화에서 중요한 것은 [선생님과 주제]가 아니라 [주제와 청중]을 강조해야 한다는 것이다. 이 초점으로, 화자는 효과적인 강의에 수반되는 정보의 과부하를 피하기 위해 [더 적은 정보를 더 표적화된 방식]으로 제공한다[15]. [목표를 세우는 것]은 대규모 그룹 강의를 준비하는 데 있어 두 번째 중요한 요소이다. 목표 또는 "학습 목표"는 표현 구조에 의해 명시적으로 또는 암시적으로 반영될 수 있다. 준비의 세 번째 핵심 초점은 각 프레젠테이션을 1시간 형식으로 효과적으로 전송할 수 있는 [3-5개의 기본 티칭 포인트]로 제한하는 것이다. 강의의 나머지 본문은 단순히 이러한 요점을 뒷받침하기 위한 것이다. 이 의도적인 연습은 청중들을 주요 개념에 집중시키고 이상적으로는 후속 조사와 학습을 고무시키는 지적 "준비" 역할을 하기 때문에 효과적인 가르침의 주요 구성요소이다.

In an effective talk, it is not the teacher and the topic that are important but rather, the topic and audience that require emphasis. With this focus, the speaker provides less information but in a more targeted way, avoiding information overload that accompanies ineffective lectures [15]. Setting audience goals is the second critical factor in preparing a large group lecture. Goals or “learning objectives” can be either explicitly or implicitly reflected by presentation structure. The third key focus of preparation (and most challenging) is to limit each presentation to the 3 to 5 primary teaching points that can be effectively transmitted in a 1-h format. The remaining body of the lecture is simply designed to support these key points. This intentional exercise is a major component of effective teaching as it focuses the audience on key concepts and ideally serves as an intellectual “warm up” to inspire subsequent investigation and learning.

교육대상으로서의 청중
Audience as the Educational Target

효과적으로 구조화된 강의는 [사실]보다는 [개념에 대한 토론]에서 이익을 얻는다. 스마트폰, 휴대용 태블릿 및 랩톱 컴퓨터를 사용하여 전세계 데이터베이스에 즉시 액세스함으로써 학습자는 즉시 특정 사실과 온라인 주제 요약을 찾습니다. 발표자의 과제는 청취자가 최신 사실 목록을 제공하기보다는 제시된 정보를 정리하고 사용할 수 있는 [개념적 프레임워크]를 제시하는 것이다. 인지과학 연구에 따르면, [학습]이 [기억력에 대한 사실의 헌신]이 아니라 [스키마를 이용한 기억 속 정보의 조직]이라는 것을 보여준다. 효과적인 교사는 문제를 해결하거나 과제를 완료하기 위해 학습자의 지식 기반을 구성하고 지식 검색을 용이하게 하는 새로운 스키마를 만든다[22].
An effectively structured lecture benefits from a discussion of concepts rather than facts. With immediate access to the world’s database using smartphones, portable tablets, and laptop computers, learners instantaneously locate specific facts and online topic summaries. The speaker’s challenge is to present a conceptual framework that enables the listener to organize and use information being presented rather than provide an updated list of facts. Cognitive science research shows that learning is not the commitment of facts to memory but the organization of information in memory using schemas. Effective teachers create new schemas to structure their learners’ knowledge base and facilitate knowledge retrieval in order to solve a problem or complete a task [22].

일단 개념화되고 조직화되면, 듣는 사람들은 강의 내용을 기존의 의학적 지식과 연결할 수 있다. 화자의 목표는 청중에게 그들이 알고 있는 것을 상기시키고 이 기초 지식을 넓히고 심화시키는 것이다 [10, 11]. 익숙하지 않은 주제를 초보 청중에게 강의 형식으로 제시하는 것은 도전적이다. 예를 들어, "C형 간염" 강의의 내용은 청중 구성과 다양성, 즉 현장의 전문가, 1차 진료 의사, 제휴 건강 전문가, 교육생, 일반인 또는 다양한 혼합물에 따라 크게 달라질 것이다. 유인물은 학습자가 강의 시작 전에 새로운 정보를 선제적으로 검토할 수 있도록 하고, 학습자에게 '청중을 알고 있다'는 것을 보여줌으로써 교육적 가치를 창출한다.
Once conceptualized and organized, the listeners can link the content of the lecture to their existing medical knowledge. The speaker’s goal is to remind the audience of what they know and then extend and deepen this baseline knowledge [10, 11]. Presenting an unfamiliar topic to a novice audience in a lecture format is challenging. For example, the content of a “hepatitis C” lecture will widely vary depending on the audience composition and diversity: experts in the field, primary care physicians, allied health professionals, trainees, general public, or a diverse mixture. Handouts allow the learner to preemptively review new information before the lecture begins and creates educational value by showing learners that the speaker “knows the audience.”

정보의 간단한 표현보다는, 목표된 개념을 설명하는 [이야기와 은유]는 장기적인 기억으로 지식을 캡슐화한다[30]. 구체적으로, 이야기, 사례 사례, 그리고 은유의 포함은 듣는 사람들이 새로운 방식으로 그들의 지식을 재구성할 수 있게 한다. 잘 설계된 강의는 3-5개의 주요 교육 포인트를 효과적으로 전달하기 위해 지식 생성 및 보존이라는 조직 구성 요소를 강화합니다. 열정과 감정은 가르침을 더욱 기억에 남게 한다. 독창적인 주제와 상관없이, 단조로움은 청중의 흥미를 거의 유발하지 않는다. 강연을 연습하면 강의자가 자연스러운 흐름을 이용해 자료를 제시할 수 있고, 열정과 감정이 정보 보유를 부채질하는 핵심 요소인 대화 방식으로 진행된다.

Stories and metaphors that illustrate the targeted concepts, rather than a straightforward presentation of information, facilitate knowledge encapsulation of into long-term memory [30]. Specifically, the inclusion of stories, case examples, and metaphors allows listeners to restructure their knowledge in a novel way. Well-designed lectures enhance this organizational component of knowledge generation and retention to effectively transmit 3–5 primary teaching points. Enthusiasm and emotion make teaching points more memorable [16]. Regardless of the inherent topic novelty, monotony rarely engenders audience interest. Practicing the talk permits the lecturer to present the material using natural flow and in a conversational style in which enthusiasm and emotion are the key ingredients that fuel information retention.

PowerPoint 슬라이드의 너트 및 볼트 준비
Nuts and Bolts of Preparing PowerPoint Slides

잘 설계된 PowerPoint 슬라이드 쇼는 두 가지 핵심 학습 이론을 통합하는 효과적인 프레젠테이션의 중요한 구성요소이다. 첫 번째 개념은 학습자가 두 채널을 통해 시각과 청각 정보를 동시에 처리한다는 것이다. [시각 채널]은 문자를 포함한 이미지를 처리하는 반면 [청각 채널]은 말을 처리한다. 이 두 채널이 보완적이라면 이해와 보존이 강화된다[17, 25]. 대조적으로, 청중에게 단어를 소리내어 읽는 것에서 비롯되는 불일치 채널은 듣는 사람이 더 지배적인 시각 채널을 추론하여 말하는 사람을 무시하게 한다. [청중들은 일반적으로 발표자가 말하는 것보다 읽는 속도가 더 빠르기 때문에, 슬라이드를 소리내어 읽는 것은 화자의 무관심을 사실상 보장한다]. 이와는 대조적으로, 보완적인 청각 및 시각 정보 채널을 사용하면 효과적인 학습을 촉진할 수 있다[1].
A well-designed PowerPoint slideshow is a critical component of an effective presentation that incorporates two key learning theories. The first concept is that learners simultaneously process visual and auditory information via two channels: the visual channel processes images including the written word, whereas the auditory channel processes speech. When these two channels are complementary, understanding and retention are enhanced [17, 25]. In contrast, discordant channels that result from reading words aloud to an audience cause the listener to ignore the speaker in deference to the more dominant visual channel. Since the audience member typically reads faster than a presenter speaks, reading slides aloud virtually guarantees speaker irrelevance. In contrast, using complementary auditory and visual information channels promotes effective learning [1].

효과적인 슬라이드 설계는 예측 가능하고 재현 가능한 과학이다. 첫째, 이미지 사용을 극대화하면서 각 슬라이드의 단어 수를 최소화합니다. 청각 채널이 화자의 말을 통합하는 동안 이미지는 시각 채널을 자극한다. "Beyond Bullet Points"(circa 2010)는 이 전략을 운용한다. 예를 들어, 완전한 문구를 사용하는 슬라이드 제목은 화자의 포인트에 대한 보완적 시각 및 청각 처리를 위한 단계를 설정한다. 슬라이드 제목을 반영하는 이미지는 소리를 크게 읽지 않고 청각 구성요소에 보완적인 시각적 자극을 제공한다 [27]. 잘못 설계된 슬라이드의 예가 두 단어 제목에서 비효율적인 슬라이드 제조를 설명하는 긴 진단 목록과 함께 표시된다(그림 2a). 두 번째 패널(그림 2b)은 스피커가 관련 진단 목록을 논의하도록 자극하는 "관심 이미지" 위에 말하는 사람이 무엇을 말할 것인지를 말로 청중에게 "알려주는" 효과적인 제목을 보여준다. 이중 채널 이론은 화자가 큰 소리로 읽도록 강요하지 않고 청중을 사로잡고 첫 번째 주요 교수 죄악을 피한다. 텍스트 중심의 슬라이드는 간혹 적절하지만, [텍스트를 줄이는 것]이 주의 산만함을 최소화하고 주제 이해를 촉진하며 청중의 주의를 스피커에 집중시킨다 [2].

Effective slide design is a predictable and reproducible science. First, minimize the number of words on each slide while maximizing the use of images. Images stimulate the visual channel while the auditory channel incorporates the speaker’s words. “Beyond Bullet Points” (circa 2010) operationalizes this strategy. For example, a slide title that uses a complete phrase sets the stage for complementary visual and auditory processing of the speaker’s point. An image that reflects the slide title provides complementary visual stimulation for the auditory component without reading aloud [27]. An example of a poorly designed slide is shown wherein a two-word title accompanies a long diagnostic list illustrating ineffective slide making (Fig. 2a). The second panel (Fig. 2b) illustrates an effective title that “tells” the audience in words what the speaker will address above an “image of interest” that stimulates the speaker to discuss the associated diagnostic list. Dual-channel theory engages the audience without forcing the speaker to read aloud and avoids the first cardinal teaching sin. Text-heavy slides are occasionally appropriate but pared down text minimizes distractions, fosters topic understanding, and focuses audience attention on the speaker [2].

효과적인 텍스트 슬라이드 기능은 비즈니스, 교육 및 의료 교육 문헌에서 도출된다(그림 3) [1, 5, 25, 27]. 글꼴 선택은 통신에 영향을 미치며 [28 포인트 보다 큰 글씨를 사용하는 것]는 두 가지 기능을 제공한다. 첫째, 청중들이 장소 크기에 관계없이 화면 단어를 인식할 수 있게 하고 둘째, 스피커가 각 슬라이드에 있는 단어를 제한하도록 함으로써 정보 과부하에 의도적인 "브레이크"를 배치한다. [17] 효과적인 슬라이드에는 이미지가 포함되어 있으며 한 줄에 6자 이내로 구성된 슬라이드당 최대 6자까지 구성된 몇 개의 단어만 있습니다. 특히, 일부 교육자들은 시각적 정보를 더욱 제한하는 더 단순한 "4 × 4" 형식을 제안한다 [23]. 시각적 겸손의 순효과는 미끄럼틀이 아닌 화자가 주요 청중의 초점을 유지한다는 것이다.
Effective text slide features are derived from business, education, and medical education literature (Fig. 3) [1, 5, 25, 27]. Font selection affects communication and using fonts > 28 point size serves two functions; first, it allows the audience to recognize screen words irrespective of the venue size; and second, it places an intentional “brake” on information overload by forcing the speaker to limit the words on each slide [17]. Effective slides contain images and only a few words organized as follows: a maximum of six lines per slide with no more than six words per line. Notably, some educators suggest a simpler “4 × 4” format that further limits visual information [23]. The net effect of visual modesty is that the speaker, not the slide, remains the primary audience focus.

다음 설계 원칙은 단일 형식, 글꼴 유형 및 슬라이드 간에 일관된 배열을 사용하는 것입니다. 음향 효과와 결합된 복잡한 PowerPoint 애니메이션 또는 애니메이션은 특히 다양한 애니메이션 옵션이 슬라이드 일관성을 훼손할 때 의도치 않게 시청자의 주의를 분산시킨다[17]. 최적의 슬라이드 디자인은 화자가 콘텐츠를 제공하는 동안 텍스트를 최소화하고 정보 이미지를 추가합니다 [16]. 반면에 짧은 텍스트 라인을 순차적으로 도입하여 슬라이드를 "구축"하는 것도 효과적이다 [8]. 이후 전략은 관객의 주의를 분산시킬 수 있는 화면의 단어를 제한한다. 효과적인 슬라이드를 생성하기 위한 최종 권장사항은 "세리프"에 관한 설계 문헌에서 도출한 것인데, 이는 엄선된 글꼴에 통합된 글자 끝에 있는 작은 점들이다. 타임즈 뉴로마를 포함한 인기 있는 글꼴은 세리프를 포함하고 있는 반면, 아리알은 "산세리프 글꼴"이다. 산세리프 글꼴은 특히 큰 강의실에서 읽기가 더 쉬우며 슬라이드에는 매우 선호된다[16].
The next design principle is to use a single format, font type, and a consistent arrangement between slides. Complex PowerPoint animation or animation coupled to sound effects unintentionally distracts audiences [17], especially when a variety of animation options compromises slide consistency. The optimal slide design minimizes text and adds an informational image while the speaker provides content [16]. On the other hand, “building” a slide by sequentially introducing short text lines is also effective [8]. The later strategy limits words on the screen that could distract the audience. The final recommendation for generating effective slides is derived from design literature regarding “serifs”: small points on the ends of letters that are incorporated into select fonts. Popular fonts including Times New Roman contain serifs, whereas Arial is a “sans serif font.” Sans serif fonts are easier to read, especially in a large lecture hall, and are strongly preferred for slides [16].

배경 슬라이드 색상은 시각적 정보를 전달하는 데 매우 중요합니다. 놀랍게도, 광학 연구는 흰색 배경에 검정색 텍스트("책 스타일")가 가장 큰 시각적 대비를 제공하므로 읽기 쉽다는 것을 확인한다. 그러나 흰색 또는 노란색 텍스트가 있는 어두운 배경의 표준 형식은 읽을 수 있으며 대형 강의실에서도 매우 적합합니다 [8, 17]. 슬라이드 색상이 중요한 경우 파란색 또는 녹색 배경에 빨간색 텍스트와 같은 색상이 충돌하지 않도록 주의하여 산만함을 최소화하고 가독성을 높입니다. 빨간색과 녹색 글꼴의 특정 회피는 모든 청중에서 색맹 남성의 상당한 부분을 존중한다[25]. 어두운 배경을 사용하는 체계와는 대조적으로, 밝은 배경은 동상수축의 원인이 되고 이미지 시각화 및 텍스트 가독성을 모두 손상시킨다. 복잡한 배경보다는 꾸밈이 없는 소박한 배경이 화자에게 집중하도록 한다. 어두운 배경에 겹치거나 외부 테두리가 없는 전체 화면을 채우는 이미지 역시 똑같이 효과적입니다.

Background slide color is critical for conveying visual information. Surprisingly, optics studies confirm that black text on a white background (“book style”) provides the greatest visual contrast and is therefore easiest to read. However, the standard format of a dark background with white or yellow text is readable and is also an excellent choice for large lecture halls [8, 17]. If slide color is important, then avoiding clashing colors such as red text on a blue or green background minimizes distraction and enhances readability. Specific avoidance of red and green fonts respects the significant fraction of color-blind men in any audience [25]. In contrast to schemes that use a dark background, a bright background causes pupillary constriction and compromises both image visualization and text readability. Plain, unadorned backgrounds rather than complex ones encourage focus on the speaker. Images superimposed on a dark background or that fill the entire screen with no outside border are equally effective.

포인트 바이 포인트
Point by Point

Bulletpoints는 대부분의 PowerPoint 프레젠테이션에서 어디서나 볼 수 있는 스레드이며 주요 조직 툴입니다. 글머리 기호 점의 부적절한 사용(그림 4a) 및 적절한 사용(그림 4b)도 예시되어 있습니다. 첫 번째 글머리 기호는 설계가 미흡한 글머리 기호로, 각 글머리 기호는 텍스트에 설명된 오류를 표시합니다. 이와는 대조적으로, 대체 슬라이드는 작고 효과적이다. 텍스트 라인이 순차적으로 "구축"되면 청중은 스피커가 텍스트를 연결하는 스토리를 만들 때 무정렬 슬라이드의 각 점에 초점을 맞춘다. 요약하자면, 글머리 기호는 전체 문장이 아니라 평행 문법 구조를 가진 "헤드라인"이다. 구조를 최적화하기 위해 글머리 기호 첫 단어는 대문자로 표시하고 구두점은 사용하지 않습니다. 여러 개의 하위 글머리 기호는 더 작은 글꼴을 요구하며, 종종 읽기가 어렵고 "6 × 6 규칙"을 위반할 수 있다.

Bullet points are a ubiquitous thread in most PowerPoint presentations and a key organizational tool. The improper (Fig. 4a) and proper (Fig. 4b) use of bullet points is also illustrated. The first shows bullets that are poorly designed, with each one displaying a mistake described in the text. In contrast, the alternative slide is both compact and effective. When text lines are sequentially “built,” the audience focuses on each point in an uncluttered slide as the speaker creates a story that links the text. To summarize, bullets are not full sentences but “headlines” with a parallel grammatical structure. To optimize structure, the first word of the bullet is capitalized and without punctuation. Multiple sub-bullets require smaller fonts, are often hard to read, and can violate the “6 × 6 rule.”

프레젠테이션 오류는 쉽게 분류됩니다. 예를 들어 복잡한 데이터 테이블에는 종종 "이 슬라이드에 대해 사과드립니다"라는 문구가 함께 표시됩니다(그림 5a). 현실에선 진심 어린 사과도 좀처럼 용서받지 못한다. 대신, 더 큰 테이블에서 주요 데이터 포인트를 추상화한 후 간단한 그래프 또는 차트(PowerPoint 툴로 지원)를 생성하는 것이 바람직하다(그림 5b). 데이터 슬라이드는 깔끔하고, 깔끔하며, 장식이 없어야 합니다.

Presentation errors are easily categorized. For example, a complex data table is often accompanied by the phrase “I apologize for this slide” (Fig. 5a). In reality, even a sincere apology is rarely forgiven. Instead, abstraction of key data points from the larger table followed by the creation of a simple graph or chart (facilitated by PowerPoint tools) is preferred (Fig. 5b). Data slides should be straightforward, uncluttered, and without ornamentation.

효과적인 강의의 중심 목표는 스코틀랜드의 저명한 의학 교육자인 로널드 하든이 "Death by PowerPoint"라는 제목의 자극적인 기사를 통해 잘 표현하고 있다. 그는 연설자 없이 슬라이드가 절대 그 자체로 충분해서는stand alone 안 된다고 주장한다. 만약 그렇다면, 강의가 아니라 그냥 유인물을 배포하는 것이 가장 적절한 교육 형식이다. 화자의 아이디어 소통 능력은 대화의 이상적인 초점이며 정보 전달을 위한 활발한 포럼을 제공한다. 슬라이드는 어떤 의미에서 부수적인 것입니다. 이 사실은 발표자가 슬라이드 프레젠테이션을 제공하는 기술적 실패 중에 우연히 테스트된다. Educational accidents는 청중들이 강연의 가장 중요한 요소이고, 그 다음은 메시지이며, 슬라이드 다음으로 세 번째라는 증거이다[12]. 이야기, 사건, 그리고 은유는 청중들이 내용을 이해하고 행동 변화를 시작하는데 사용된다.

The central goal of an effective lecture is well articulated by Ronald Harden, a noted Scottish medical educator, in a provocative article entitled “Death by PowerPoint.” He argues that slides should never stand alone without the speaker. Otherwise, a handout, not a lecture, is the most appropriate educational format. The speaker’s ability to communicate ideas is an ideal focus of a talk and provides an active forum for conveying information. The slides are, in a sense, incidental. This fact is inadvertently tested during technical failures in which the speaker delivers a presentation sans slides. Educational accidents are evidence that the audience is the most important component of the talk, followed by the message, and only third by the slides [12]. The story, the case, and the metaphor are used by audiences to understand content and initiate behavioral change.

플롯이 펼쳐지다
Plot Unfolds

특정 텍스트와 이미지를 통합하기 전에 그리고 개별 슬라이드를 주문하기 전에 구조를 미리 표시합니다. 스토리보드 형식을 사용하여 프리젠테이션의 개요를 설명할 수 있습니다. 이러한 접근 방식은 주로 잠재적인 취약점 목록을 사용하여 조직하는 데 있어 핵심적인 함정을 방지합니다. 연습 시간이 너무 적은 상황에서 탄환이 낭독되는 것은 연설자에게 아킬레스건이 된다. PowerPoint 편집 기능과 연습을 통해 키워드 및 지원 이미지만 완성된 제품에서 생존할 때까지 프레젠테이션을 점진적으로 잘라낼 수 있습니다. 이와는 대조적으로, 텍스트가 많은 버전은 PowerPoint "스피커에 대한 참고 사항" 또는 청중 유인물로 저장될 수 있다. 처음에는 이 접근 방식은 시간이 많이 걸리는 것처럼 보이지만 연습 시간을 적극적으로 활용하여 텍스트를 연속적으로 잘라내어 화자를 위한 공간을 만든다. "공간"은 화자의 불안감을 조장할 수 있지만, 2013년 이후 파워포인트 버전의 "프레젠터 뷰" 기능은 화자만이 이러한 노트를 볼 수 있게 한다. 이 기능은 화자의 기억을 자극하고, 일련의 "침묵적인" 스피커 프롬프트를 조직적으로 제공하며, 청중을 위해 텍스트와 이미지의 원활한 흐름을 유지한다(그림 6).
Plot the structure in advance before incorporating specific text and images and before ordering individual slides. A presentation can be outlined using a storyboard format. This approach avoids a key pitfall of organizing primarily with an attractive list of potential bullet points. Left unembellished, and in the presence of too little practice time, bullet points read aloud become the Achilles’ heel for the speaker. PowerPoint editing capabilities and practicing allow the presentation to be progressively truncated until only keywords and supportive images survive the finished product. In contrast, the text-heavy versions can be saved as PowerPoint “notes to the speaker” or in an audience handout. At first, this approach seems time intensive but it actively utilizes practice time to serially truncate the text, creating space for the speaker. Although “space” might promote speaker anxiety, the “presenter view” function in PowerPoint versions after 2013 allows only the speaker to see these notes. This feature stimulates the speaker’s memory, provides an organized series of “silent” speaker prompts, and maintains a seamless flow of text and images for the audience (Fig. 6).

스테이지 존재 및 전달
Stage Presence and Delivery

일단 설계, 조직 및 연습이 끝나면, 딜리버리가 중심이 됩니다. 가능할 때마다 장소, 조명, 화면 및 레이저 포인터, 마이크, 무선 슬라이드 어드밴서를 포함한 동반 장치를 "체크아웃"하면 효과적인 교육을 용이하게 한다. 이러한 선제적 접근 방식은 장소의 놀라움을 최소화하고 컴퓨터와 프로젝션 시스템뿐만 아니라 장치와 스피커 간의 최적의 연결을 보장합니다. 빠른 Projection은 각 슬라이드의 올바른 버전을 보장하고 플랫폼 간 및 소프트웨어 변환이 형식을 몰래 변경하거나 키 이미지를 잘라내지 않았음을 확인합니다.
Once designed, organized, and practiced, delivery takes center stage. Whenever feasible, “checking out” the venue, lighting, screen, and accompanying devices including laser pointers, microphones, and wireless slide advancers facilitates effective teaching. This preemptive approach minimizes venue surprises and ensures optimal connection between the computer and projection system as well as between the devices and the speaker. Rapid projection ensures the correct version of each slide and confirms that inter-platform and software conversions have not surreptitiously altered the format or truncated key images.

효과적인 화자는 목소리를 워밍업하고, 텍스트 암기를 하지 않고, 대화 톤을 유지한다. 발표자는 각 슬라이드에 대해 충분히 숙지하여 활력과 자신감을 동시에 가질 수 있어야 합니다. "오래된 친구"같지 않은 슬라이드는 즉시 스피커에 추가 연습이 필요하다는 신호를 보낸다. 특히 주요 사실과 감정적 내용을 담은 초기 스토리는 즉시 청중들의 공감대를 형성하고 프레젠테이션에 대한 관심을 고조시킵니다. 
An effective speaker privately warms the voice (e.g., by reciting the alphabet aloud) and maintains a conversational tone while studiously avoiding memorizing the text. The presenter should be sufficiently familiar with each slide to be both energetic and confident. A slide that fails to resemble an “old friend” immediately signals to the speaker that additional practice is required. An initial story, especially one with key facts and emotional content, immediately creates audience rapport and spikes interest in the presentation. 

웨어러블 마이크는 스피커가 무대를 가로질러 이동할 수 있도록 하고, 청중들의 상호작용을 강화하며, 다른 교육 포럼에서는 재현할 수 없는 진동을 만들어낸다. 많은 연사들, 특히 초보자들에게는 눈을 맞추는 것이 어려울 수 있다. 큰 강의실에서 한 명의 청중에게 시선을 집중함으로써 개인은 더욱 몰입할 수 있을 뿐만 아니라, "목표" 뒤에 있는 약 10-15명의 청취자의 "cone"도 직접 눈을 마주친다[6]. 따라서, 연설자가 강연의 과정에서 특정 구성원을 몇 명만 선택한다면, 청중의 훨씬 더 많은 부분이 "직접" 눈을 마주쳤다고 인지한다. 불안한 연사를 위해 행사장 뒷벽에 눈을 맞추는 것은 사실상 관객들의 눈 맞춤을 재현한다. 유일한 시각적 피벗 포인트로서 시상대를 피하는 것 또한 청중이 스피커를 따라가게 하고 그들을 더 끌어당긴다.
A wearable microphone allows the speaker to move across the stage, enhances audience interaction, and creates a vibrancy that cannot be reproduced in other educational forums. For many speakers, especially novices, maintaining eye contact may be daunting. By focusing one’s gaze on a single audience member in a large lecture hall not only does the individual become more engaged, but a “cone” of approximately 10–15 listeners behind the “target” also experience direct eye contact [6]. Thus, if a speaker selects only a few specific members over the course of the talk, a substantially larger fraction of the group perceives “direct” eye contact. For anxious speakers, making eye contact with the venue’s rear wall virtually replicates eye contact for the audience. Avoidance of the podium as the sole visual pivot point also causes the audience to follow the speaker and further engages them.

음성은 화자의 주요 의사소통 도구이다. 프레젠테이션을 외우지 않기로 선택하면 음성 볼륨과 음조가 다양해져 강조점을 더한다. 초보자나 신경질적인 연사들에게, 연단은 "embraced" 또는 leaned upon할 물리적 목발 역할을 할 수 있다. 이러한 육체적 의존은 화자에게 어색한 육체적 관계를 만들고 보통 청중의 참여 수준을 위태롭게 한다. 이와는 대조적으로, 효과적인 스피커는 휴대용 마이크와 무선 핸드헬드 장치로 해방된다. 단상으로부터 해방되는 것이 학습자들에게 강조와 집중을 일으키는 손동작을 촉진한다.
Voice is the speaker’s primary communication tool. Electing not to memorize the presentation allows voice volume and pitch to be varied, adding emphasis. For novices or nervous speakers, the podium can serve as a physical crutch to be “embraced” or leaned upon. This physical dependence creates an awkward physical relationship for the speaker and usually jeopardizes the audience’s level of engagement. In contrast, an effective speaker is liberated by a portable microphone and wireless, handheld devices. Podium liberation facilitates hand gestures that create emphasis and focus learners.

평균 성인 학습자는 10분 동안만 집중합니다 [3, 9]. 효과적인 화자는 이러한 현실을 수용하고 처음부터(학습 목표로), 중간(중간 요약으로), 그리고 대화의 결론(최종 요약)에 핵심 포인트를 진술하고 재주장할 기회를 반복적으로 통합한다. 이상적으로, 화자는 청중의 경각심을 피할 수 없는 소강상태를 예측하고 발표 중에 그들의 주의력에 대한 인지적 인식을 유지한다. 전략적으로 배치된 이야기, 사례 및 요약의 조합은 청중을 다시 사로잡습니다. 유머, 이미지, 애니메이션 및 표시된 음성 변화는 청중에게 효과적인 학습의 전제 조건인 경계심을 무의식적으로 자극하고 초점을 촉진하는 변화에 대해 경고한다[9].

The average adult learner concentrates for only 10 min [3, 9]. An effective speaker embraces this reality and repeatedly incorporates opportunities to state and re-state key points at the beginning (as learning goals), at the middle (as interim summaries), and at the talk’s conclusion (final summary). Ideally, the speaker predicts inevitable lulls in audience alertness and maintains cognitive awareness of their attentiveness during the presentation. A combination of strategically placed stories, cases, and summaries recaptures the audience. Humor, images, animation, and marked voice variation also alert the audience to changes that unconsciously stimulate alertness and promote focus, a prerequisite to effective learning [9].

참여 Engagement

전문가 연사조차도 청중을 완전히 참여시키기 위해 확립된 교육 기법을 사용함으로써 이익을 얻는다(그림 7). 가장 간단한 방법은 청중들이 큰 소리로 말하지 않고 집중하고 전념하도록 유도하는 수사적인 질문을 하는 것이다. 효과적인 연사는 의료 청중에게 토론 주제와 유사한 "비슷한 사례를 생각하라"고 요청함으로써 주의를 환기시킨다. 최근에 기술된 "Think-Pair-Share" 기술은 또한 청중의 학습을 증가시키는데 효과적이다 [10, 16]. 연습은 청중들이 1-2분 동안 고려해야 할 질문으로 시작하고, 2-3분 동안 그들의 생각을 공유하기 위해 인접한 청중들에게로 눈을 돌리고, 마지막으로 그룹에게 보고한다[10, 16]. 더 많은 청중에서, 4명에서 6명으로 구성된 그룹("버즈 그룹")은 유사한 교육 기능을 제공한다 [29]. 이 연습은 수동적인 청중들에게 편안한 분위기를 만들어 주고, 그들 스스로 질문에 대답하기 보다는 그룹 소견을 기꺼이 제시해 준다[13]. TurningPoint 또는 PollEverywhere와 같은 청중 응답 시스템(ARS)은 프레젠테이션 내에서 익명 "질문과 답변의 중단점"을 빠르게 생성합니다. 함께, 이러한 적극적인 정신 운동은 청중을 참여시키고, 중요한 입증 기반 사고에 초점을 맞추고, 공유된 의견을 장려하고, 해명을 위한 잠재적인 오해 영역에 대해 화자에게 알려준다. 발표자가 눈에 잘 띄지 않게 되고 대신 발표 투어가 진행되는 동안 전문 가이드가 되면서 청중 교육이 '낙태적'으로 강화된다.
Even expert speakers benefit by using established teaching techniques to fully engage the audience (Fig. 7). The simplest way is to ask a rhetorical question that invites the audience to focus and commit without speaking aloud. Effective speakers promote attention by asking medical audiences to “think of a similar case” that parallels the discussion topic. The recently described technique of “Think-Pair-Share” is also effective for increasing audience learning [10, 16]. The exercise begins with a question to be considered for 1–2 min by the audience then turning to an adjacent audience member to share their thoughts for 2–3 min, and finally reporting back to the group [10, 16]. In larger audiences, groups of 4 to 6 individuals (“buzz groups”) serve a similar educational function [29]. This practice creates a comfortable atmosphere for passive audience members and a willingness to present group findings rather than answer a question on their own [13]. An audience response system (ARS) such as TurningPoint or PollEverywhere rapidly creates anonymous “question and answer break points” within the presentation. Together, these active mental exercises engage the audience, provide focus for critical evidenced-based thinking, encourage shared opinions, and inform the speaker about potential areas of misunderstanding(s) for clarification. Audience education is “paradoxically” enhanced as the speaker becomes less visible and instead becomes an expert guide during the presentation tour de force.

줌을 통한 수동적 강의는 (학생들이) 우리의 일반적인 강의보다 훨씬 덜 흥미롭다고 생각하기 때문에, 이러한 대규모 그룹 세션에서 적극적인 학습 방법을 사용하는 것이 훨씬 더 중요하다. 세션 리더는 실제로 Zoom을 사용하여 문제를 해결하거나 사례를 통해 작업할 수 있는 브레이크아웃 룸을 만들 수 있습니다. 소규모 브레이크아웃 강의실(3~4명의 학습자)이 가장 많은 참여로 이어집니다. 대규모 그룹이 있으면 소수의 학습자가 다른 학습자와 함께 대부분의 작업을 수행할 수 있기 때문입니다. 또한, 긴 시간이 더 많은 대화로 이어지고 당면한 문제에 덜 집중하게 되는 경향이 있기 때문에, 브레이크아웃 지속 시간은 3-5분이어야 한다.
Passive lecturing via Zoom is considered (by our students) to be even less interesting than our usual lectures, so it is even more important to use active learning methods in these large group sessions. It is actually easy to use the method of think-pair-share with Zoom—the session leader can create breakout rooms in which teams of learners can solve problems or work though cases. We have found that small breakout rooms (3–4 learners) lead to the most participation, as larger groups can lead to a few learners doing much of the work with others simply standing by. In addition, the duration of breakouts should be 3–5 min, as longer times tend to lead to more general conversation and less focus on the problem at hand.

일단 학습자가 큰 그룹에 다시 모이면, 리더는 수업을 계속하기 전에 몇 개의 그룹에 응답을 요청할 수 있습니다. 큰 학급(우리 학교는 160개)에서도 5-7개의 그룹이 각각 1분씩 말하는 것이 효과적입니다. 50분짜리 세션에서 두 개의 브레이크아웃 룸을 갖는 것은 수업 시간의 약 20분을 차지합니다. ARS는 폴링 기능을 통해 줌에 내장되어 있습니다. 세션 리더는 세션 내에서 언제든지 시작할 수 있는 다중 선택 질문을 만들 수 있으며, 총 응답은 참가자가 볼 수 있습니다. 짧은 답변 질문의 경우, 대화 기능이 매우 효과적이지만, 세션 리더의 대화를 모니터할 수 있는 두 번째 사람이 있어야 합니다. 따라서 원격으로 제공되는 대규모 그룹 교육 세션에 활성 학습 요소를 추가하는 것은 어렵지 않다.

Once the learners reconvene in the large group, the leader can ask for a few groups to give their responses before continuing with the class; even in large classes (160 in our school), having 5–7 groups speak for a minute each appears to be effective. Having 2 breakout rooms in a 50-min session occupies about 20 min of class time. An ARS is built into Zoom through its polling function. The session leader can create multiple choice questions that can be launched any time within the session, and the aggregate responses are visible to the participants. For short answer questions, the Chat function is very effective, though it helps to have a second person to monitor the chat for the session leader. Thus, it is not difficult to add active learning elements to a remotely delivered large group teaching session.

결론
Conclusion

강력한 마무리는 효과적인 프레젠테이션에 중요하다. 효과적인 결론은 핵심 메시지를 단순화하고 새로운 사례나 이야기로 다시 진술하거나 강연 내내 지속된 사례 사례를 완성합니다. 효과적인 최종 요약에서, 높은 에너지 수준과 고무적인 "행동 요구"는 청중들이 세션이 끝난 후 그들의 행동을 변화시키기 위해 주요 대화 포인트를 기억하고 사용하도록 격려한다. 첫 번째 프레젠테이션 슬라이드(즉, 제목 슬라이드)도 마지막 슬라이드 역할을 할 수 있으므로, 비난 받을 만한 검은색 "슬라이드 쇼의 끝 - 종료하려면 클릭" 화면을 피할 수 있습니다. [재등장하는 타이틀 슬라이드]에서 연사는 청중에게 감사할 수 있고 청중과 관련된 질문을 즐길 수 있어 교육적 효과를 더욱 높일 수 있다.
A strong finish is crucial to an effective presentation. An effective conclusion simplifies and re-states the key message with a new example or story or completes an example case sustained throughout the talk. In an effective parting summary, a high-energy level and an inspiring “call to action” encourage the audience to remember and use key talking points to alter their behaviors after the session has concluded. The first presentation slide (i.e., the title slide) can also serve as the final one, avoiding the reprehensible black “end of slideshow – click to exit” screen. During the re-emergent title slide, the speaker can thank the audience and entertain questions relevant to the audience, further enhancing educational impact.

요약하면 발표자가 아닌 청중이 주요 발표 초점이다. 교육 관련성을 위해서는 목적적합한 청중 타겟팅, 콘텐츠 재량(예: 연재 텍스트 잘라내기), 성인 학습자의 주의력의 주기적 성격의 수용, 유익하고 자극적인 이미지 및 연습한 발표자가 텍스트를 읽기보다 말하도록 유도하는 기술이 필요하다. 

In summary, the audience, not speaker, is the primary presentation focus. Educational relevance requires

• purposeful audience targeting,
• content discretion (i.e., practiced, serial text truncation),
• acceptance of the cyclical nature of adult learners’ attentiveness,
• informative, evocative images, and
• techniques that invite the practiced presenter to speak rather than read text.

Review Med Sci Educ. 2021 Jan 12;1-9. 
Effective Medical Lecturing: Practice Becomes Theory: A Narrative Review
Robert C Lowe 1, Steven C Borkan 1
Affiliations collapse
Affiliation
1Department of Medicine, Boston University Medical Center, Evans Biomedical Research Center, 650 Albany St, Room 546, Boston, MA 02118 USA.
PMID: 33457070 PMCID: PMC7800837 DOI: 10.1007/s40670-020-01172-z
Free PMC article
Abstract
Effective lecturing stimulates learning, creates a verbal history for our profession, and is a central basis for evaluating academic promotion. Unfortunately, few resources exist in the medical literature to guide the academician toward success as an effective lecturer. Using evidence-based principles, this review fosters adult learning in academic venues by incorporating the latest innovations in educational theory for both online and traditional teaching. The novice or advanced academic teacher will be guided toward critical self-evaluation of current teaching practices and encouraged to replace ineffective methods with ones more likely to be both rewarding and rewarded. By introducing literaturebased learning techniques, emphasizing audience targeting, truncating content to an appropriate level of detail, effectively linking images and text, and accepting the brevity of learners' attentiveness, we show that the audience, not the speaker, is the primary educational focus.

Keywords: Adult learning; Audience response system; Faculty development; Learning theory.

교육의 죽지 않는 고정관념들 (Educational Leadership, 2021)

Zombie Ideas in Education

Bryan Goodwin

(Un) Dead Idea #1: 학생들의 학습 스타일이 다릅니다.
(Un)Dead Idea #1: Students Have Different Learning Styles

이 특별한 아이디어는 돌연변이 아이디어, 즉 다른 아이디어와 융합되어 그 이후로 계속 교묘하게 운영되고 있는 악의 없는 아이디어로 더 잘 특징지어질 수 있다. 1980년대 초, 하버드 대학의 연구원 하워드 가드너 (2011)는 다중 지능에 대한 다소 간단한 이론을 발전시켰다. 기본적으로, 그것은 사람들이 다른 방식으로 "지적"하다고 말한다. 어떤 사람들은 음악에 뛰어나고, 어떤 사람들은 외국어를 빨리 배운다. 몇몇은 수학에 재주가 있고, 다른 몇몇은 관계 형성에 재능이 있다. 교육자로서, 우리는 학생들의 다양한 재능을 감사하고 격려해야 합니다. 당연하죠.
This particular idea might be better characterized as a mutant idea—an innocuous idea that fused with another and has been running amok ever since. In the early 1980s, Harvard researcher Howard Gardner (2011) advanced a rather straightforward theory of multiple intelligences. Basically, it says people are "intelligent" in different ways. Some excel at music; others pick up foreign languages quickly. Some have a knack for math, and others have a gift for relationship building. As educators, we ought to appreciate and encourage students' diverse gifts. Fair enough.

그러나 거의 처음부터 가드너의 다중 지능 이론은 다른 이론으로 변신했다: 학생들이 독특한 학습 스타일을 가지고 있다는 것이다. 그들은 시각, 청각 또는 운동신경이 될 수 있다. 예를 들어, 어떤 학생들은 움직임을 통해 가장 잘 배울 수 있기 때문에 선생님들은 그들이 궤도를 도는 행성처럼 춤을 추면서 태양계를 이해할 수 있도록 허락해야 한다; 다른 학생들은 청각 학습자일 수 있고, 그래서 그들은 음악을 통해 지리학을 가장 잘 배울 수 있다. 이론도 그렇고요.
Yet almost from the beginning, Gardner's theory of multiple intelligences morphed with another theory: that students have unique learning styles. They can be visual, auditory, or kinesthetic. For example, some students might learn best through movement, so teachers should allow them to understand the solar system by dancing around like orbiting planets; others may be auditory learners, so they might best learn geography through music. Or so the theory goes.

그러나, 진지한 연구는 학생들이 (춤과 같은) 한 분야에서의 "지능"을 사용하는 (천문학 같은) 다른 분야를 배운다는 증거를 거의 발견하지 못했다. 또는 사람들이 자신의 학습 스타일에 맞는 경험을 통해 가장 잘 배울 수 있도록 한다는 증거도 발견하지 못했다 (Pashler et al., 2008). 워싱턴 포스트와의 인터뷰에서, 하워드 가드너 자신은 학생들에게 라벨을 붙이기 위해 학습 스타일을 사용하는 것을 경계했다. 왜냐하면 그것은 다른 분야의 deficit을 의미할 수 있기 때문이다. 그는 이러한 레이블을 "기껏해야 도움이 되지 않으며 최악의 경우 잘못된 생각"이라고 언급했다(Strauss, 2013).

Serious research, however, has found little evidence students use so-called "intelligences" in one field (like dance) to learn another (like astronomy), or that people learn best with experiences that match their learning style (Pashler et al., 2008). In an interview with the Washington Post, Howard Gardner himself cautioned against using learning styles to label students, since that might imply deficits in other areas, rendering such labels "unhelpful, at best, and ill-conceived at worst" (Strauss, 2013).

그럼에도 불구하고, 간단한 인터넷 검색은 여전히 수업에서 "학습 스타일"에 대해 블로그를 하고, 강의를 제공하고, 설문조사를 하고, 사용을 장려하는 어지러운 일련의 사람들을 낳는다. 이는 교사가 이러한 스타일에 맞춰 학생들의 학습 경험을 개인화하도록 권장하는 것이다.
Nonetheless, a cursory internet search yields a dizzying array of people still blogging about, offering courses in, surveying for, and encouraging the use of "learning styles" in classrooms—advocating for teachers to individualize students' learning experiences to match these styles.

현실은 훨씬 더 단순하다. 네, 아이들은 달라요. 그리고 그렇다, 우리는 때때로 다른 방법(예: 그룹 대 독립적 작업)보다 한 가지 학습 방법을 선호한다. 그러나 그것이 우리가 특정한 양식과 함께 더 잘 배운다는 것을 의미하지는 않는다. 연구는 과학적 현상을 읽고, 비디오로 보고, 경험하는 것과 같은 여러 가지 방법으로 학습의 이점을 보여줍니다.
The reality is far simpler. Yes, (news flash) kids are different. And yes, we sometimes prefer one way of learning over another (group vs. independent work, for instance), but that does not mean we learn better with a particular modality. At best, research shows benefits from learning in multiple ways—for example, reading about a scientific phenomenon, seeing it in a video, and experiencing it.

우리는 단어 스타일을 단어 선호도로 대체하고, 선호도는 단지 그저 '선호도'라는 점에 주목함으로써 이 좀비 아이디어를 잠재울 수 있다.

We might put this zombie idea to rest by substituting the word preference for the word style and noting that preferences are just that. Preferences.

(Un)Dead Idea #2: 학생들이 안내되지 않은 발견을 통해 가장 잘 배운다.
(Un)Dead Idea #2: Students Learn Best Through Unguided Discovery

많은 좀비 아이디어처럼, 이 아이디어에는 진실의 싹이 들어있다: 강의는 지루하고 효과적이지 않을 수 있다. 예를 들어, 대학생들을 대상으로 한 연구에서, 그들이 더 높은 점수를 받았고, 적극적인 학습 대 직선 강의의 요소를 가진 강좌에서 낙제할 가능성이 낮다는 것을 발견했다. (Freeman et al., 2014) 장황한 강의의 분위기에 대응하여, 1960년대 이론가들은 학생들이 스스로 새로운 통찰력을 발견하면 더 많이 배우고 간직한다는 "발견 학습"이라는 다른 접근법을 지지하기 시작했다. 그것도 부분적으로 사실이다. 문제 기반 학습에 대한 43개 연구의 메타 분석 결과, 학생들이 [복잡한 문제를 독립적으로 해결함으로써 학습을 확장하고 적용하도록 장려하는 것]은 학습의 더 나은 장기 보존을 지원하는 것으로 나타났다(Docchy et al., 2003).
Like many zombie ideas, this one contains a germ of truth: Lectures can be boring and ineffective. A study of college students, for example, found they had higher grades and were less likely to fail courses with elements of active learning vs. straight lectures (Freeman et al., 2014). In response to the tedium of long-winded lecturing, theorists in the 1960s began to espouse a different approach called "discovery learning," which said students learn and retain more when they discover new insights for themselves. That, too, is partially true—a meta-analysis of 43 studies of problem-based learning found that encouraging students to extend and apply learning by independently solving complex problems supports better long-term retention of learning (Dochy et al., 2003).

그러나, 수년 동안, 순수주의자들은 이러한 생각들을 비논리적인 극단으로 몰고 갔다. 즉, 교사들이 실험을 수행하거나, 연구에 참여하거나, 교사들의 최소한의 지도만으로 복잡한 문제를 해결하는 것과 같이, 교사가 학습에 최소한 관여해야 하고, 학생은 "행동함으로써 배워야 한다"는 것이다. 그러나 164개 연구에 대한 메타 분석 결과, 학생들은 무절제한 발견 학습보다 직접 교육에서 훨씬 더 많은 것을 배웠다(Alfieri et al., 2011). 또한 이러한 종류의 최소 지도 학습(즉, 학생들에게 이전의 교육을 거의 받지 않고 풀 수 있는 복잡한 문제를 주는 것)은 낮은 성취도와 어린 학생들에게 특히 효과적이지 않다. 왜냐하면 그들은 기술을 잘못 배우고 잘못된 인식을 발달시키는 경향이 있기 때문이다(Kirschner, Sweller, and Clark, 2006).
Over the years, though, purists took these ideas to an illogical extreme—namely, that teachers should be minimally involved in learning and students should "learn by doing," such as by conducting experiments, engaging in research, or solving complex problems with minimal guidance from teachers. A meta-analysis of 164 studies, however, found students learned significantly more from direct instruction than from unassisted discovery learning (Alfieri et al., 2011). Further, this kind of minimally guided learning—that is, giving students a complex problem to solve with little prior instruction—is particularly ineffective for lower-performing and younger students, as they tend to learn skills incorrectly and develop misconceptions (Kirschner, Sweller, & Clark, 2006).

실제로 경험적 연구는 [학생들이 스스로 실천을 시도하기 전]에, [학생들을 위한 실천요강을 모델링(화학 방정식의 균형을 맞추는 방법을 보여주는 것)하는 것]과 같은 [직접 교육direct instruction]을 강력히 지지한다. (Pashler et al., 2007) 종종, 배움으로 가는 가장 짧은 길은 직선입니다: 학생들에게 배워야 할 것을 말하고 보여주면 된다.
Empirical research, in fact, makes a strong case for direct instruction—such as modeling a practice for students (showing them how to balance a chemistry equation) before students attempt the practice on their own (Pashler et al., 2007). Often, the shortest route to learning is a straight line: telling and showing students what they need to learn.

여러 가지 면에서, 이 좀비 아이디어는 [발견 학습]과 [직접 교육]이라는 잘못된 이분법에서 나옵니다. 실제로 두 가지 전략이 함께 있을 때 더 잘 작동한다. 최선의 접근 방식(직접 지시보다 훨씬 더 나은)은 "유도 발견guided discovery"로, 학생들에게 발견 과정 중 학습 목표, 직접 지시, 모델링된 예시 및 피드백을 제공하여 정확한 결론과 적절한 기술을 개발할 수 있도록 보장합니다(Alfieri et al., 2011).

In many ways, this zombie idea emerges from a false dichotomy that pits direct instruction against discovery learning, when really the two strategies work better together. The best approach (even better than direct instruction) is "guided discovery"—providing students with learning objectives, direct instruction, modeled examples, and feedback during the process of discovery, thus ensuring they develop accurate conclusions and proper skills (Alfieri et al., 2011).

(Un) Dead Idea #3: 학생들은 진정한 독서를 통해 읽는 법을 배워야 한다.
(Un)Dead Idea #3: Students Should Learn to Read Through Authentic Reading

이 좀비 아이디어는 계속해서 교원 대학들 사이에서 뒤섞여 나오고 있는데, 놀랄 만큼 많은 강사들이 학생들에게 읽기 자료의 흥미로운 선택권을 주고, 의미 제작에 초점을 맞추고, 소리 상징 코드를 좀 더 부수적인 방법으로 푸는 것에 유리하게 음성의 체계적이고 노골적인 사용을 부추기는 것으로 보인다. 그러나 수십 년 동안의 연구는 다음과 같은 [주요 원칙에 입각한 독서를 가르치는 직접적인 접근 방식]을 언급한다.
This zombie idea continues to shamble out of teacher colleges, where a surprising number of instructors appear to eschew systematic, explicit use of phonics in favor of giving students interesting choices of reading materials, focusing on meaning making, and unpacking the sound-symbol code in a more incidental way. Decades of research, however, point to a more straightforward approach to teaching reading, based on these key principles:

• 독서의 기본 구성 요소는 소리-상징 연결sound-symbol connection을 만드는 능력이다(Castles, Rastle, & Nation, 2018).
• 기호(문자letters)와 소리(음성phonemes) 사이의 연결에는 직관적인 것이 없으므로 학생들에게 직접 가르쳐야 한다(Mats, 1999).
• 학생들은 뇌에서 자동이 될 때까지 읽기, 쓰기 연습을 통해 이러한 연결을 만드는 연습을 해야 유창하게 읽을 수 있다(Castles, Rastle, & Nation, 2018).
• 궁극적으로 유창성은 이해의 열쇠이다; 학생들이 자동적으로 읽어야 그들이 읽고 있는 것을 이해할 수 있다. (Castles, Rastle, & Nation, 2018)
• The fundamental building block of reading is being able to make sound-symbol connections (Castles, Rastle, & Nation, 2018).
• There is nothing intuitive about the connections between symbols (letters) and sounds (phonemes), so we must teach them directly to students (Moats, 1999).
• Students must practice making these connections through reading and writing practice until they become automatic in their brains, allowing them to read fluently (Castles, Rastle, & Nation, 2018).
• Ultimately, fluency is the key to comprehension; only when students read with automaticity can they comprehend what they're reading (Castles, Rastle, & Nation, 2018).

좋은 소식은 우리가 학생들에게 해독decoding에 대한 직접적인 가르침을 제공할 때, 대부분은 자기 학년 수준에서 읽는 것을 배울 수 있다는 것이다. 예를 들어, 저소득 1학년 유색인 학생을 대상으로 한 연구에서 디코딩에 대한 직접적인 지침이 거의 없거나 전혀 없는 학생보다 훨씬 높은 디코딩 및 이해 능력을 국가 평균과 동등하게 얻을 수 있다는 것을 발견했다(Foorman 등, 1998).

The good news is that when we provide students with direct instruction in decoding, most can learn to read on grade level. A study of low-income 1st grade students of color, for example, found that students given direct instruction in decoding could attain decoding and comprehension abilities on par with national averages—far higher than students with little or no direct instruction in decoding (Foorman et al., 1998).

비록 이것이 수년 동안 과학에 정착되어 왔지만, 많은 사전 서비스pre-service 프로그램에서는 가르쳐지지 않는 것 같다. 예를 들어, 전국교원품질협의회 (Ross, 2018)의 연구는 미국의 pre-service 교육 프로그램의 37%만이 실제로 교사 지망생들에게 [독서의 과학science of reading]을 가르친다는 것을 발견했다.
Although this has been settled science for years, it does not appear to be taught in many pre-service programs. A study by the National Council on Teacher Quality (Ross, 2018), for example, found that only 37 percent of U.S. pre-service education programs actually teach the science of reading to aspiring teachers.

그렇다면, 이것은 "음성phonics"은 효과가 있고 "전체 언어whole language"는 효과가 없다는 것을 의미할까요? 글쎄요, 꼭 그렇지는 않아요. 학생들에게 재미있는 독서 자료를 주고 독서에 대한 사랑을 장려하는 것과 같은 일부 언어 연습은 합리적이고 건설적이다. 동시에 학생들에게 난센스 음절을 해독하도록 요구하는 등 일부 이른바 음운 관행이 진정한 읽기 능력으로 번역되지 못한다(Allington, 2013). 간단히 말해서, 학생들에게 난센스 음절을 해독하게 하는 것은, 음, 난센스입니다. 지루할 것은 말할 것도 없고요.

So, does this mean "phonics" works and "whole language" doesn't? Well, not exactly. Some whole-language practices, such as giving students interesting reading materials and encouraging a love of reading, are sensible and constructive. At the same time, some so-called phonics practices, such as asking students to decode nonsense syllables, fail to translate into authentic reading skills (Allington, 2013). In short, making students decode nonsense syllables is, well, nonsense. Not to mention tedious.

(Un) Dead Idea #4: 학생들은 사실, 비판적 사고력이 필요하지 않습니다.
(Un)Dead Idea #4: Students Don't Need Facts, Just Critical Thinking Skills

우리는 요즘 거의 모든 사실에 입각한 질문에 대답하기 위해 Siri나 Google을 소환할 수 있습니다. 그렇다면, 사실을 가르치는 것은 무슨 의미가 있을까요? 정보의 중요한 소비자가 되는 것을 배우는 것이 더 중요하지 않나요?
We can summon Siri or Google to answer nearly any factual question these days. So, what's the point of teaching facts? Isn't it more important to learn to be a critical consumer of information?

네, 그리고 아니에요. 물론 비판적 사고력은 중요하다. '비판적 사고'를 언급하는 채용공고 건수는 2009~2014년(코른, 2014년) 2배로 늘었고, 비판적 사고력이 더 뛰어난 대학 졸업생들이 더 높은 연봉을 받는 일자리를 얻는다는 연구 결과가 나왔다(자너 & 제임스, 2015년). 그러나 비판적 사고는 일반적인 의미의 기술이 아닙니다. 즉, 한 영역에서 쉽게 다른 영역으로 넘어가는 것이 아니다(Abrami et al., 2015). 오히려 도메인별 지식과 결합하는 경향이 있다. 학생들은 과학 지식을 갖춘 과학적인 사고, 문학을 이용한 텍스트 분석, 수학에서의 정량적 추론 등을 사용한다. 학생들은 사실과 내용 지식 등 어떤 것에 대해 비판적으로 생각해야 한다.
Yes—and no. Certainly, critical thinking skills are important. The number of job postings referencing "critical thinking" doubled between 2009 and 2014 (Korn, 2014), and studies find that college graduates with better critical thinking skills land higher-paying jobs (Zahner & James, 2015). However, student critical thinking isn't a skill in the typical sense of the word—something learned in one area that transfers easily to another (Abrami et al., 2015). Rather, it tends to be interwoven with domain-specific knowledge. Students employ scientific thinking with science knowledge, textual analysis with literature, quantitative reasoning in mathematics, and so on. Students must think critically about something—namely, facts and content knowledge.

그렇다고 해서, 우리는 단순히 콘텐츠 지식을 가르치고 학생들이 삼투현상을 통해 비판적인 사고력을 기를 것을 기대할 수는 없다. 예를 들어, 비판적 사고 접근법의 메타 분석(Bangert-Drowns & Bankert, 1990)은 단순히 학생들을 문학, 역사 또는 논리적 증명에 노출시키는 것은 그들에게 비판적 사고 기술을 개발하는 데 거의 도움이 되지 않는다는 것을 발견했다; 학생들이 비판적 사고 방식을 채택하는 방법(예: 인과 관계를 분석하는 방법)을 배울 때였다. 또한, 비판적 사고 기술을 개발할 수 있는 대상 영역subject area 내에서 연습할 수 있는 기회를 제공할 때 였다.

That said, we cannot simply teach content knowledge and expect students to develop critical thinking skills via osmosis. A meta-analysis of critical thinking approaches (Bangert-Drowns & Bankert, 1990), for example, found that simply exposing students to literature, history, or logical proofs did little to help them develop critical thinking skills; only when students were taught how to employ critical thinking (e.g., learning how to parse correlation from causation) and provided opportunities to practice these skills within a subject area could they develop them.

(Un)데드 아이디어 #5: 가르칠 가치가 있다면, 채점할 가치가 있다.
(Un)Dead Idea #5: If It's Worth Teaching, It's Worth Grading

많은 선생님들은 [할 가치가 있다면 점수를 매겨야 한다]는 생각으로, 수업에서 하는 모든 것, 즉 숙제 한 조각, 퀴즈 한 조각, 과제 초안, 강의실 토론에 점수를 매기는 습관을 가지고 있다. 그 습관은 그 생각이 약간의 진실을 포함하고 있기 때문에, 즉, 여러분이 측정하는 것이 여러분이 얻는 것이기 때문에 차기가 어려울 수 있다. 칼로리를 따지면 다이어트를 계속하는 것이 더 쉽다.
Many teachers are in the habit of slapping a grade on everything that moves—every scrap of homework, every quiz, every draft assignment, every classroom discussion—with the idea that if it's worth doing, it should be graded. That habit can be hard to kick because the idea contains some truth—namely, what you measure is what you get. It's easier to stick to a diet if we count calories.

성적은 최종성finality을 가지고 있다. 성적이란 무엇인가가 것이 끝났고, 따라서 숫자나 문자로 인증 받을 준비가 되었다는 것을 암시한다. 그러나 학습은 반복적입니다. 이는 학습의 과정이 아니라 실수 및 실험으로부터 재학습하는 과정입니다. 걸작을 만드는 중에 예술가에게 점수를 매기지는 않겠지만(미켈란젤로, 내 눈에는 대리석 덩어리처럼 보인다), 그것은 사실상 우리가 매 단계마다 학습을 채점할 때 하는 것이다.
Grades, however, have a finality to them. They imply something is finished and hence ready to be certified with a number or a letter. Yet learning is iterative—it's less a process of learning and more one of re-learning from mistakes and experimentation. You wouldn't grade an artist in the midst of creating a masterpiece ("Looks like a block of marble to me, Michelangelo"), but that is, in effect, what we do when we grade learning at every step along the way.

게다가, 이 모든 성적은 학생들이 중요한 지식과 기술을 익히는 것이 아니라 교과서에 있는 점수를 쌓는 것이라고 주장하게 만들 수 있다. 캐롤 듀크(2000년)가 일련의 강의실에서 발견한 것처럼, [학교 교육의 목적을 학점 획득으로 보는 학생]은 학습자로서 더 풍부해richer지지 않고, 의욕이 떨어지고, 전반적인 성적이 떨어지는 경향을 보인다.
Moreover, all those grades can make students construe that the goal of learning is to rack up points in a gradebook instead of to master important knowledge and skills. As Carol Dweck (2000) found in her series of classroom studies, students who see the purpose of schooling as earning a grade do not grow richer as learners, tend to be less motivated, and demonstrate lower overall performance.

또한, 숙제를 채점하는 일반적인 관행을 생각해보세요. 교육 실무에 대한 McREL 메타 분석(Beesley & Apthorp, 2010)은 숙제에 대한 효과 크기는 작았지만 실제 실행에는 유의한 효과(사실상 4배)를 발견했다. 요컨대 숙제는 연습이 되어야should be 한다. 그럼, 왜 점수를 매길까요? 일부 교사들은 학생들이 채점되지 않으면 숙제를 하지 않을 것이라고 주장하는데, 이는 또 다른 질문을 던진다. 학생들은 숙제의 이점을 이해하고 있는가? 즉, 연습하고 실수로부터 배우고 숙달로 나아가는가?
Consider, too, the common practice of grading homework assignments. A McREL meta-analysis of research on instructional practices (Beesley & Apthorp, 2010) found only a small effect size for homework but a significant one (four times as large, in fact) for practice. In short, homework should be practice. So, why grade it? Some teachers insist that students won't do their homework if it's not graded, which begs another question: Do students understand the benefits of homework—namely, to practice, learn from mistakes, and move toward mastery?

아마도 가장 중요한 것은, 더 많은 점수를 성적표에 넣는다고 해서 성적이 더 공정하거나 정확해지지 않는다는 것이다. 반대로, 수천 명의 학생들을 대상으로 수백 명의 교사 성적을 조사한 결과, 점수의 대부분은 태도와 노력을 포함한 주관적인(그리고 불평등할 가능성이 있는) 척도들의 "뒤범벅hodgepodge"이라는 것이 밝혀졌다. 그 결과, 성적은 학생들이 학점의 진정한 목적이 되어야 하는 학습에 대한 기대를 충족시켰는지 실제로 반영하지 못할 수 있다. 학습의 기대를 충족시켰는지를 보는 것이 성적의 진짜 목적이 되어야 하며, 나머지는 다 불필요하다.

Perhaps most important, shoehorning more scores into a gradebook doesn't make grades any more fair or accurate. To the contrary, an examination of hundreds of teacher grades for thousands of students found that most were a "hodgepodge" of subjective (and likely inequitable) measures, including attitude and effort (Cross & Frary, 1999, p. 52). As a result, grades may not actually reflect whether students have met their expectations for learning, which should be the real purpose of grades. Everything else is superfluous.

(Un) Dead Idea #6: 소규모 수업이 더 좋습니다.
(Un)Dead Idea #6: Smaller Classes Are Better

이 마지막 좀비 아이디어는 적어도 이론적으로는 사실이기 때문에 죽이기 어렵다. 학생들은 작은 반에서 더 낫다. 예를 들어, 학급 규모 연구에 대한 포괄적인 검토(Whitehurst & Chingos, 2011)는 학급 규모를 크게 줄이면(반당 7-10명까지 학급 수를 줄임) 성취에 유의적이고 긍정적인 영향을 미칠 수 있다고 결론지었다. 이는 9개월 간의 학년 동안 학습이 3개월 동안 개선되는 것과 같다.
This last zombie idea is hard to kill because it's true—at least in theory. Students are better off in small classes. A comprehensive review of class-size research (Whitehurst & Chingos, 2011), for example, concluded that significant reductions in class size (shrinking classes by as much as 7–10 students per class) can result in significant, positive effects on achievement—equivalent to three months of improvement in learning over a nine-month school year.

그러나 문제는 이 연구 결과를 현실 세계에 적용하는 데 있다. 캘리포니아는 1990년대 말 평균 K-3 학급 규모를 30명에서 20명으로 줄이기 위해 220억 달러를 들여 25,000명의 새 교사를 고용하고 수천 개의 새 교실을 건설하면서 어려운 방법을 알게 되었다. 결과는? 학생들은 소규모 수업에서 혜택을 받았지만, 역량이 부족한 교사들이 유입되며 그 이득은 상쇄되어 사라졌다. (Jepsen & Rivkin, 2009)
The trouble lies, though, in applying this finding in the real world. California learned that the hard way in the late 1990s when it spent $22 billion to reduce average K–3 class sizes from 30 to 20, hiring 25,000 new teachers and constructing thousands of new classrooms. The results? Students benefitted from smaller classes, but the benefits were wiped out by an influx of seemingly less capable teachers (Jepsen & Rivkin, 2009).

결국, 교사의 자질은 학급 크기가 작은 것보다 학생 학습에 훨씬 더 많은 영향을 미친다. 학생들은 매우 효과적이지 않은 교사보다 매우 효과적인 교사가 있는 교실에서 1년치의 추가 학습을 얻을 수 있다(Hanushek, 2011). 사실, 학교 시스템은 더 높은 급여로 훌륭한 교사들을 모집하고 유지할 수 있도록 학급 규모를 늘리는 것이 더 나을 수 있다. 한 가지 추정으로, 학급당 5명의 학생을 추가하는 것은 교사 인건비의 34% 인상으로 바뀔 수 있다(모든 저축이 교사들에게 전달되었다고 가정한다). (Whitehurst & Chingos, 2011) 그것은 많은 교사들이 받아들일 수 있는 절충안으로서, 이 좀비 아이디어를 완전히 잠재우는 것이다.

In the end, teacher quality has far more effect on student learning than smaller class sizes. Students can gain as much as a year's worth of additional learning in a classroom with a highly effective teacher than with a highly ineffective one (Hanushek, 2011). In fact, school systems might actually be better off increasing class sizes to be able to recruit and retain great teachers with higher pay. By one estimate, adding five students per class could translate into 34 percent raises for teachers (assuming all savings were passed on to teachers) (Whitehurst & Chingos, 2011). That's a trade-off many teachers might accept, putting this zombie idea to rest once and for all.

"머리"를 쓰자!
Let's Use Our "Braaaaains"!

좀비 아이디어는, 많은 면에서, 윌 로저스에게 귀속된 속임수를 상기시켜 줍니다. 그리고, 마크 트웨인은, "우리를 곤경에 빠뜨리는 것은 우리가 모르는 것이 아니라, 사실이 아닌데 사실이라고 알고 있는 것이다." 밝혀진 바에 따르면, 두 사람 모두 실제로 이런 말을 하지 않았지만, 그들 중 어느 쪽도 그렇게 했을 가능성이 있어 보인다. 거기에는 많은 좀비 아이디어의 문제가 있다. 우리가 아무리 그것들을 묻어도, 그들은 너무나 그럴듯해 보이기 때문에 무덤에서 다시 기어 나옵니다. 종종 그들은 약간의 진실을 담고 있기 때문입니다. 

Zombie ideas remind me, in many ways, of a quip attributed to Will Rogers and, alternately, Mark Twain: "It isn't what we don't know that gets us into trouble, it's what we know to be true that ain't so." As it turns out, neither man actually said this, yet it seems plausible that either of them might have. Therein lies the trouble with many zombie ideas. No matter how many times we bury them, they crawl back out of the grave because they seem so darn plausible, often because they contain an ounce of truth. 

References

Abrami, P. C., Bernard, R. M., Borokhovski, E., Waddington, D. I., Wade, C. A., & Persson, T. (2015). Strategies for teaching students to think critically: A meta-analysis. Review of Educational Research, 85(2), 275–314.

Alfieri, L., Brooks, P. J., Aldrich, N. J., & Tenenbaum, H. R. (2011). Does discovery-based instruction enhance learning? Journal of Educational Psychology, 103(1), 1.

Allington, R. L. (2013). What really matters when working with struggling readers. The Reading Teacher, 66(7), 520–530.

Bangert-Drowns, R. L., & Bankert, E. (1990, April). Meta-analysis of effects of explicit instruction for critical thinking. Paper presented at the annual meeting of the American Educational Research Association, Boston, MA.

Beesley, A. D., & Apthorp, H. S. (2010). Classroom instruction that works: Research report (2nd ed.). Denver, CO: Mid-continent Research for Education and Learning.

Castles, A., Rastle, K., & Nation, K. (2018). Ending the reading wars: Reading acquisition from novice to expert. Psychological Science in the Public Interest, 19(1), 5–51.

Cross, L. H., & Frary, R. B. (1999). Hodgepodge grading: Endorsed by students and teachers alike. Applied Measurement in Education, 12, 53–72.

Dochy, F., Segers, M., Van den Bossche, P., & Gijbels, D. (2003). Effects of problem-based learning: A meta-analysis. Learning and Instruction, 13(5), 533–568.

Dweck, C. (2000). Self-theories: Their role in motivation, personality and development. Lillington, NC: Taylor & Francis.

Foorman, B. R., Francis, D. J., Fletcher, J. M., Schatschneider, C., & Mehta, P. (1998). The role of instruction in learning to read: Preventing reading failure in at-risk children. Journal of Educational Psychology, 90(1), 37.

Freeman, S., Eddy, S. L., McDonough, M., Smith, M. K., Okoroafor, N., Jordt, H., et al. (2014). Active learning increases student performance in science, engineering, and mathematics. Proceedings of the National Academy of Sciences, 111(23), 8410–8415.

Gardner, H. E. (2011). Frames of mind: The theory of multiple intelligences. London, UK: Hachette.

Hanushek, E. A. (2011). Valuing teachers: How much is a good teacher worth? Education Next, 11(3), 40–45.

Jepsen, C., & Rivkin, S. (2009). Class size reduction and student achievement the potential tradeoff between teacher quality and class size. Journal of Human Resources, 44(1), 223–250.

Kirschner, P. A., Sweller, J., & Clark, R. E. (2006). Why minimal guidance during instruction does not work: An analysis of the failure of constructivist, discovery, problem-based, experiential, and inquiry-based teaching. Educational Psychologist, 41(2), 75–86.

Korn, M. (2014, October 21). "Bosses seek ‘critical thinking,' but what is that?" The Wall Street Journal.

Moats, L. C. (1999). Teaching reading is rocket science: What expert teachers of reading should know and be able to do. New York: American Federation of Teachers.

Pashler, H., McDaniel, M., Rohrer, D., & Bjork, R. (2008). Learning styles: Concepts and evidence. Psychological Science in the Public Interest, 9(3), 105–119.

Pashler, H., Rohrer, D., Cepeda, N. J., & Carpenter, S. K. (2007). Enhancing learning and retarding forgetting: Choices and consequences. Psychonomic Bulletin and Review, 14, 187–193.

Ross, E. (2018). NCTQ databurst strengthening reading instruction through better preparation of elementary and special education teachers. Washington, D.C.: National Council on Teacher Quality.

Strauss, V. (2013, October 16). Howard Gardner: ‘Multiple intelligences' are not ‘learning styles.' The Washington Post.

Whitehurst, G. J., & Chingos, M. M. (2011). Class size: What research says and what it means for state policy. Washington, D.C.: Brookings Institution.

Zahner, D., & James, J. K. (2015). Predictive validity of a critical thinking assessment for post-college outcomes. New York: Council for Aid to Education.

www.ascd.org/publications/educational-leadership/may21/vol78/num08/Zombie-Ideas-in-Education.aspx

PBL: 21세기 보건의료전문직 교육을 위한 전략적 학습시스템 설계(Kaohsiung J Med Sci, 2009)

PROBLEM-BASED LEARNING: A STRATEGIC LEARNING SYSTEM DESIGN FOR THE EDUCATION OF HEALTHCARE PROFESSIONALS IN THE 21ST CENTURY
Matthew Choon-Eng Gwee

의학교육의 암흑시대
THE DARK AGES OF MEDICAL EDUCATION

19세기에 걸쳐, 그리고 20세기의 마지막 2~30년까지, 학부 의학 커리큘럼의 설계는 분야 간 교차 대화가 거의 없는, 고도의 학문 분야별discipline-specific이었다. 당시 교육 전달은 교사 주도(교사 중심)가 높았고, 강의 기반도 높았다. 이때는 교육/학습 과정에서 학생의 역할이 주로 교사가 전달하는 풍부한 콘텐츠 지식(또는 정보)의 수동적 수신자(Sage-in-center stage)의 역할이었던 교육 패러다임의 시대였다.
Throughout the 19th century, and until about the last 2–3 decades of the 20th century, the design of the undergraduate medical curriculum was highly disciplinespecific with little cross talk across disciplines. The delivery of instruction was then highly teacher-directed (teacher-centered) and also highly lecture-based. This was the era of the instructional paradigm in which the student role in the teaching/learning process was mainly that of a passive recipient of abundant content knowledge (or information) delivered by the teacher (“sage-in-center stage”).

그렇다면 우리는 전통적인 교육 환경에서 어떤 결과를 기대할 수 있을까? 다음과 같은 몇 가지 주요 제한 사항[1,2]이 이미 확인되었다.
What then can we expect as the educational outcomes from such a traditional educational environment? Several major limitations [1,2] have already been identified, including:

• 학생이 풍부한 콘텐츠 지식을 습득함에 따라 발생하는 정보 과부하("…메모리에 부담을 주는 정보이지만 지성이 아닌 정보") [1].

• MRR(암기, 회상, 재귀)을 통한 학생에 의한 단순암기 학습 습관 개발—사실 컨텐츠 지식(정보)의 리콜에 대한 테스트에 의해 종종 개선되고 강화된다.

• 학생의 학습 성과에는 거의 주의를 기울이지 않고 투입만이 강의의 주요 초점이 된다.

• 학생이 무엇을, 어떻게, 언제 배워야 하는지 등 학습 요구에 대한 교사 의존도가 높다.

• 고차 인지(지적) 기술(중요한 사고, 추론 및 문제 해결) 및 학습 태도(대인관계, 커뮤니케이션, 팀워크 및 리더십) 영역에서 일반적인 "부드러운" 기술을 습득하는 등 보다 지속적인 교육 과정 및 생활 기술 습득에 관한 부적절한 관심

• Information overload resulting from student acquisition of abundant content knowledge (“…information that taxes the memory but not the intellect.”) [1].

• Development of rote-learning habits by students through MRR (memorize, recall, regurgitate)—often abetted and intensified by tests on recall of factual content knowledge (information).

• Teaching inputs as the primary focus of instruction with little attention to student learning outcomes.

• High dependency of students on teachers for their learning needs, including what, how, and when to learn.

• Inadequate attention to student acquisition of more enduring educational process and life skills, including: higher-order cognitive (intellectual) skills (critical thinking, reasoning, and problem-solving); and some generic “soft” skills in the attitudes (affective) domain of learning (interpersonal, communication, teamwork, and leadership).

맥마스터 대학 이니셔티브: 의료 교육의 새로운 추세 설정
THE MCMASTER UNIVERSITY INITIATIVE: SETTING A NEW TREND IN MEDICAL EDUCATION

1960년대 중반 예외적인 사건이 발생했다. 맥매스터 대학교는 의과대학원을 너무 다르게 낳아 교육계에 경악의 파문을 일으켰다. [3]
“In the mid-1960s, an exceptional event occurred. McMaster University gave birth to a medical school so different it sent ripples of astonishment throughout the educational world” [3].
 

1960년대에 캐나다 정부는 온타리오주 해밀턴에 있는 맥마스터 대학에 의과대학 설립의 필요성을 확인했다. 처음에, 이 프로젝트를 담당하는 교육 기획자들은 의학 교육과정을 설계하고 전달하는 데 급진적인("신선하고 새로운") 접근 방식을 취할 것이라고 선언했다. "표준적인 빌딩 블록 구조에서 벗어나라"며 "많은 콘텐츠를 오래 보유하지 못하기 때문에 목구멍으로 내던지는 않을 것이다. 그들이 적극적으로 참여하도록 노력합시다…" [3].
In the 1960s, the Canadian government identified a need to establish a medical school in McMaster University in Hamilton, Ontario. At the outset, the educational planners responsible for this project declared that they intended to take a radical (“fresh and new”) approach to the design and delivery of their medical curriculum to “…get away from the standard building-block structure…from shoving a lot of content down their throats because they don’t retain it very long anyway. Let’s try and get them actively involved…” [3].
 

실제로 1969년 맥마스터 대학 의과대학은 새로운 의학 커리큘럼을 시행하여 새롭고 급진적이며 혁신적인 트렌드를 수립하고 의학 교육에 대한 대안적인 학습 경로를 제공했다. McMaster 커리큘럼은 (주로 교육 계획자들이 현재의 (전통적인) 의료 커리큘럼의 많은 단점이라고 인식하는 것을 극복하기 위한) 문제 기반 학습(PBL)으로 구현되었다. [1–3] 사실, 거의 30년이 지났는데도 Boud와 Feletti[4]는 여전히 PBL을 "…다년간 직업 교육을 위한 가장 중요한 혁신으로 생각하고 있다. 전문교육을 교육기관으로 옮긴 이후 가장 중요한 발전이라는 주장도 있다."

Indeed, in 1969, McMaster University Medical School implemented its new medical curriculum, which set a new, radical and innovative trend, and offered an alternative pathway for learning in medical education. The McMaster curriculum was implemented as problem-based learning (PBL), primarily aimed at overcoming what the educational planners perceived to be the many shortcomings of the then current (traditional) medical curriculum [1–3]. In fact, even after almost three decades, Boud and Feletti [4] still consider PBL as “…the most significant innovation in education for the professions for many years. Some argue that it is the most important development since the move of professional training into educational institutions.”

PBL이란 무엇인가?
WHAT IS PBL?

PBL은 본질적으로 [강의 전달을 위한 몇 가지 보완적 교육 원칙을 결합한 전략적 학습 시스템 설계]이다. PBL은 특히 학습자 중심, 협업, 맥락, 통합, 자기 주도 및 성찰적 학습의 교육 결과를 개선하고 최적화하는 것을 목표로 한다. Barrows and Tamblyn [5]는 PBL에 대한 간단한 운영 정의를 제공했습니다. "…문제의 이해 또는 해결을 위해 노력하는 과정에서 비롯되는 학습입니다. 이 문제는 학습 과정에서 가장 먼저 마주치는 것이다."

PBL is, essentially, a strategic learning system design, which combines several complementary educational principles for the delivery of instruction. PBL is specifically aimed at enhancing and optimizing the educational outcomes of learner-centered, collaborative, contextual, integrated, self-directed, and reflective learning. Barrows and Tamblyn [5] provided a simple operational definition of PBL as “…the learning that results from the process of working toward the understanding or resolution of a problem. The problem is encountered first in the learning process.”

PBL: 주요 기능과 학습 전략은 무엇입니까?
PBL: WHAT ARE ITS KEY FEATURES AND ITS LEARNING STRATEGY?

PBL의 중요하고 기본적인 원칙은 그것이 problem-first learning이라는 것이다. 즉, 학생들이 이 주제에 대한 공식적인 학습을 받기도 전에 의료 사례를 해결하려고 시도한다는 것이다. 일반적으로 실제 의료 사례(문제)는 학생들의 학습 과정을 촉발한다. 즉, 문제는 문제 사례와 관련된 다양한 문제를 이해하거나 해결하는 데 필요한 관련 콘텐츠 지식을 학습하는 출발점 역할을 한다. 따라서 문제 해결에서 규칙적인 실천regular practice은 PBL 프로세스의 또 다른 주요 특징이다 [6,7]. 또한 사례 작성자는 학문에 걸쳐 학습을 [맥락화하고 통합하는] PBL 문제 사례를 구성하는 경우가 많으므로 문제 사례에는 대개 임상 과학뿐만 아니라 인구, 행동 및 생명 과학과 관련된 문제가 포함된다.
An important and basic tenet of PBL is that it is problem-first learning, i.e. students attempt to problem-solve a medical case even before receiving any formal learning on the subject matter. Usually, a real-life medical case (a problem) triggers the learning processfor students, i.e. the problem serves as the starting point for learning relevant content knowledge required to understand or resolve various issues related to the problem case. Thus, regular practice in problem-solving is another key feature of the PBL process [6,7]. Moreover, case-writers often construct PBL problem cases that contextualize and integrate learning across disciplines and, therefore, a problem case usually includes issues relating topopulation,behavioral and thelife sciences, as well as the clinical sciences.

전형적으로, 집중적인 소그룹 튜토리얼은 "그룹을 위한 지적 및 대인관계 프로세스를 촉진하는" 역할을 하는 튜터(또는 촉진자) 교사와 함께 PBL 과정의 instruction을 전달하기 위해 사용된다. [8] PBL 튜토리얼은 보통 약 2시간의 세션으로 구성되며, 각 세션은 각 문제 사례에 할애되며, 정보 검색 및 수집을 위해 약 4-5일의 자체 학습 기간이 주어진다. 자율학습 기간은 학생들이 자기주도학습[6,7]을 수행할 수 있는 기회를 만들어 평생 지속적 자기교육을 위한 확고한 기반을 마련한다.
Typically, intensive small-group tutorials are used for the delivery of instruction in the PBL process with the teacher serving as the tutor (orfacilitator) whose role it is“to expedite the intellectual and interpersonal process for the group”[8]. The PBL tutorials usually consist of two sessions of about 2 hours, each devoted to each problem case, with an intervening self-study period of about 4–5 days for information searching and gathering. The self-study period creates opportunities for students to undertake self-directed learning[6,7] and, therefore, laying a firm foundation for lifelong continuing self-education.


각 튜토리얼 세션에는 "구체적인 프로세스, 목표 및 결과"가 있습니다 [6]. 첫 번째 튜토리얼(자습 세션 1)은 주로 다음과 같은 브레인스토밍으로 구성됩니다.
Each tutorial session has its “specific process, goals and outcomes”[6]. The first tutorial (tutorial session 1) consists mainly of brainstorming as follows:

• 그룹 구성원의 [문제 사례 제시]

• 문제 사례의 사실 검토를 통한 [문제 분석]

• 사례의 다양한 측면을 설명하기 위한 아이디어를 개발하기 위한 [가설 생성]

• 생성된 가설을 반박하거나 확인하기 위해 학습해야 하는 콘텐츠 지식의 식별을 안내하는 [학습 문제의 공식화(학습 목표)]

• 사례와 관련된 정보를 검색하고 수집할 수 있는 [적절한 학습 리소스(예: 교과서, 인터넷 또는 전문 지식)의 식별]

• 그룹 구성원에게 공식화된 학습 문제와 관련된 정보를 검색하는 [과제 할당]

• Presentation of the problem-case by a member of the group

• Problem analysis through reviewing the facts of the problem case

• Hypothesis generation to develop ideas to explain various aspects of the case

• Formulation of learning issues (learning objectives) to guide identification of the content knowledge that needs to be learned in order to either refute or confirm any hypothesis generated and, thus, to have a better understanding of the case

• Identifying the appropriate learning resources (e.g. textbooks, internet, or professional expertise) from which to search for and gather information relevant to the case

• Assigning tasks to group members to search for information related to the learning issues formulated

따라서 튜토리얼 세션 1은 주로 문제 분석을 통해 사례의 사실을 확인하고, 사례에 대한 가설(아이디어)을 생성하고, 사례를 설명하거나 해결하는 데 필요한 관련 학습을 안내하는 학습 문제를 공식화하고, 정보 검색 및 수집을 위한 학습 자원을 식별하는 것을 목표로 한다.
Tutorial session 1 is, therefore, primarily aimed at identifying the facts of the case through problem analysis, generating hypotheses (ideas) about the case, formulating learning issues to guide relevant learning that is required to explain or resolve the case, and identifying the learning resources for information search and gathering.


두 번째 튜토리얼(세션 2)에서 학생들은 자율 학습 기간이 끝난 후 각 그룹에 다시 모여 다음을 수행합니다.
In the second tutorial (session 2), the students reconvene in their respective groups after the self-study period to perform the following:

• 그룹 구성원이 획득한 새로운 지식 및 정보(새로운 증거)의 [공유 및 평가]

• 이용 가능한 새로운 증거를 고려하여 [문제를 재분석]

• 생성된 예비 가설의 [재구성 및 개선]

• 생성된 정제된 가설을 [통합하고 적용하여] 문제 사례와 관련된 주요 문제 설명

• [문제 해결]

• Share and evaluatethe new knowledge and information (new evidence) acquired by group members

• Reanalyze the problem in the light of new evidence available

• Reformulate and refine the preliminary hypotheses generated

• Integrate and apply the refined hypotheses generated to explain the key issues related to the problem case

• Resolve the problem case

따라서 튜토리얼 세션 2의 주된 목적은 문제 사례를 설명 및 해결하기 위해 얻은 새로운 증거를 재분석, 평가, 통합 및 적용하는 것이다.

The primary purpose of tutorial session 2 is, therefore, to reanalyze, evaluate, integrate and then apply the new evidence obtained to explain and/or to resolve the problem case.

PBL 자습서 프로세스의 역학
DYNAMICS OF THE PBL TUTORIAL PROCESS

"…목적이 비판적 사고… 또는 문제 해결… 그리고 발견을 위한 민감성, 협력 및 열정과 같은 자질의 개발일 때, 토론 페다고는 상당한 이점을 제공합니다." [9].
“…when the objective is critical thinking…, or problemsolving…, and the development of qualities such as sensitivity, cooperation and zest for discovery, discussion pedagogy offers substantial advantages” [9].
 

PBL 튜토리얼 프로세스는 토론 페다고지를 이용한 상호작용적 교수 및 학습 원칙을 적용한다[9]. 소규모 그룹 학습 설계는 "공동 목표, 상호 보상, 공유 리소스 및 그룹 구성원 간의 상호 보완적 역할"로 특징지어지는 학생 중심적이고 협력적인 학습 기회를 창출합니다 [10].

The PBL tutorial process applies the principles of interactive teaching and learning using discussion pedagogy [9]. The small group learning design creates opportunities for student-centered and collaborative learning characterized by “…joint goals, mutual rewards, shared resources, and complementary roles among members of a group” [10].

이 과정은 기본적으로 학생들끼리 건설적인 대화에 참여하고 지도교사에 의해 촉진되는 학생들로 구성되는데, 주로 학생들이 아이디어와 이슈를 비판적으로 분석하고 토론하고 명확히 한 다음 상호 합의에 도달하여 문제를 설명하거나 해결하는 브레인스토밍을 통해 이루어진다. 따라서, PBL 튜토리얼 프로세스의 역학은 특히 학생들이 서로로부터 그리고 서로로부터 그리고 함께, 즉 "All teach All learn" 모드에서 가르치고 배우는 데 적극적으로 참여하는 것을 목표로 한다.
The process essentially consists of students engaged in constructive conversation among themselves and facilitated by their tutor, mainly through brainstorming in which students critically analyze, debate and clarify ideas and issues, and then mutually reach consensus to explain or resolve a problem. The dynamics of the PBL tutorial process is, therefore, specifically aimed at actively involving students in teaching and learning from and with one another, i.e. in peer teaching and learning in an “All teach All learn” mode.
 

따라서, PBL 튜토리얼 과정에서는, 학생들은 사회적 상호 작용을 통해 학습해야 하는 지식의 의미와 이해를 "이미 조직된 형태로 지식을 전달하는 것이 아니라…." [11] 동료 교육 및 학습은 그룹의 구성원들 사이에서 고차 인지 프로세스를 강화하기 위한 강력한 교육학적 전략으로 인정받고 있다. 이는 브룩필드[12]가 "…이러한 노력을 하려는 다른 그룹들에 의해 제공되는 [동료 지원peer support]은 비판적 사고 노력에 대한 강력한 심리적 밸러스트"라고 분명히 강조해 왔다.
Thus, in the PBL tutorial process, students learn through social interaction in which they are required to co-construct their own meaning and understanding of knowledge that needs to be learned, “…rather than having knowledge delivered to them in already organized form” [11]. Peer teaching and learning is recognized as a powerful pedagogical strategy to enhance higher-order cognitive processes among members of a group. This has been clearly emphasized by Brookfield [12] in his statement “…the peer support provided by a group of others also trying to do this is a powerful psychological ballast to critical thinking efforts.”

더욱이, 아베크롬비[13]에 따르면, 그러한 논의 교육학은 임상적 판단을 촉진하고, 그는 다음과 같이 분명하게 표현했다. "그룹별로 토론하는 것은 실제 사물에 대한 테스트가 [보는 것seeing]에 어떤 역할을 하는지 생각하는 데 도움이 됩니다. 전통적인 학생-교사 관계에서처럼 의심받지 않는 권위의 진술과 대조해 우리 자신의 실수를 보는 대신, 우리는 동일한 자극 패턴에 대한 다양한 해석을 보게 되며, 각각의 유용성은 그 자체로 시험되어야 한다고 말했다. 

Furthermore, according to Abercrombie [13], such discussion pedagogy promotes clinical judgment, and he has clearly expressed that “Discussion in a group does for thinking what testing on real objects does for seeing… Instead of seeing our own mistakes by contrast with the statements of an unquestioned authority, as in the traditional pupil-teacher relationship, we see a variety of interpretations of the same stimulus pattern, and the usefulness of each must be tested in its own right.”
 

피드백 제공 및 수신
Providing and receiving feedback

PBL에서 중요한 관행은 개인교사와 학생이 각 개인교습 세션이 [끝날 무렵에 약 10-15분을 할애하여 서로 피드백]을 제공하고 받는 것이다. 이것은 자기 자신의 행동이 다른 사람과 그룹 기능에 미치는 영향을 포함하여 자습서에서 과제의 그룹 성과와 개인 성과를 향상 또는 억제하는 요소에 초점을 맞춘다. 그러한 정기적인 피드백 세션은 학생들의 성찰적 학습의 발전을 촉진하고, 결과적으로 자기 주도적 교정 조치(즉, 메타 인식)로 이어지는 더 큰 자아 인식의 개발에 도움이 될 것으로 기대된다. 따라서, 학생들은 주어진 학습 영역에 대한 자신의 강점과 한계에 대한 개인적인 통찰력을 개발할 수 있다. Halpern[14]과 Maudsley and Strivens[15]에 따르면, 그러한 자기 인식(메타 인식)은 비판적인 사상가들의 중요한 속성이다.

An important practice in PBL is for tutors and students to devote about 10–15 minutes near the end of each tutorial session to provide and receive feedback from each other. This focusing on what factors enhanced or inhibited group achievements of tasks and individual performance in tutorials, including the perceived impact of one’s own behavior on others and on group functioning. It is expected that such regular feedback sessions help nurture the development of reflective learning in students and, consequently, the development of greater self-awareness leading to selfinitiated remedial action (i.e. metacognition). Thus, students can develop personal insights of their strengths and limitations with respect to a given area of learning. According to Halpern [14] and Maudsley and Strivens [15], such self-awareness (metacognition) is an important attribute of critical thinkers.

PBL: 그것의 관행을 지지하는 어떤 이론이 있나요?
PBL: ARE THERE ANY THEORIES SUPPORTING ITS PRACTICE?

맥락 학습 이론은 종종 Boud와 Feletti에 의해 강조되어 온 PBL의 주요 이론적 토대로서 주장되어 왔다. [4]: "문제 기반 학습은 학생들이 [적극적으로 참여]하고 지식을 [사용해야 할 맥락]에서 배울 때 가장 효과적이라는 믿음에 기초한다." 그러나 알바니아[10]에 따르면, 다음과 같은 PBL 전략에 대한 강력한 지원을 제공하는 다른 이론적 토대가 있다.
The Contextual Learning Theory has often been advocated as the main theoretical underpinning for PBL, which has been highlighted by Boud and Feletti [4]: “problem-based learning is grounded in the belief that learning is most effective when students are actively involved and learn in the context in which knowledge is to be used.” However, according to Albanese [10], there are also other theoretical underpinnings, which provide stronger support for the PBL strategy, including:
 

• 정보 처리 이론: 사전 지식 활성화, 인코딩 특정성(즉, 컨텍스트에서의 학습) 및 지식 상세화(즉, 활발한 토론을 위한 기회 창출)와 관련

• 협력적 학습 이론: 협력적 소그룹 학습 프로세스와 관련

• 자기 결정 이론: 학습의 외부 및 내부 동기와 관련

• 통제 이론 (인간의 행동) : 소속감, 사랑, 힘, 자유, 재미를 포함한 생존에 대한 기본적인 욕구를 충족시킴으로써 인간의 행동에 영향을 미치는 것과 관련된다.

• Information processing theory: relating to prior knowledge activation, encoding specificity (i.e. learning in context), and knowledge elaboration (i.e. creating opportunities for active discussion)

• Cooperative learning theory: relating to the process of collaborative small group learning

• Self-determination theory: relating to external and internal motivators of learning

• Control theory (of human behavior): relating to influencing human behavior (including the desire to learn) through satisfying one’s basic needs for survival, including belonging, love, power, freedom, and fun.

PBL: 몇 가지 문제, 과제, 기회
PBL: SOME ISSUES, CHALLENGES, OPPORTUNITIES

의료 전문가의 교육을 책임지고 학생들을 위한 학습 방법으로 PBL을 구현하는 것을 고려하고 있는 모든 기관은 교육학적 전략으로서 PBL의 강점과 한계를 명확히 이해해야 한다. 이 섹션에서는 PBL의 실행과 관련된 문제, 과제 및 기회에 대한 몇 가지 통찰력을 제공합니다. 이러한 것들이 교육과정 기획자와 개발자들의 의사 결정에 도움이 되기를 바란다.

Any institution responsible for the education of healthcare professionals and contemplating implementing PBL as a way of learning for their students must have a clear understanding of the strengths and limitations of PBL as a pedagogical strategy. This section will provide some insights on the issues, challenges, and opportunities associated with the practice of PBL. These will hopefully guide curriculum planners and developers in their decision-making.

커리큘럼 선택사항
Curriculum options

PBL은 20세기의 고도로 교사 지향적이고 강의 기반이며 분야별 커리큘럼의 경우와 마찬가지로 의료 전문가 교육을 위한 전체(또는 거의 전체) 커리큘럼이 PBL을 통해 설계되고 전달되는 전체(완전 또는 혈통) 커리큘럼으로 구현될 수 있다. 암스트롱은 "모든 강의를 토론 그룹이나 튜토리얼로 대체하는 것은 단지 한 쪽 편파적인 시스템을 다른 편파적인 시스템으로 대체하는 것"이라고 경고했기 때문에 이미 이 문제에 관심을 끌었다. [16]. 학생들이 다양한 학습 스타일을 가지고 있으며, PBL을 통해 학습하는 한 가지 방법만을 제공하는 것이 일부 학생들에게 불리할 수 있다는 것도 잘 알려져 있다. 여러 기관은 다른 학습 전략(예: 강의, 실습 수업)과 결합된 하이브리드 커리큘럼으로 PBL을 성공적으로 구현했다. 암스트롱은 사실 "하이브리드들은 보통 힘과 적응력을 보여준다"고 주장해왔다. [16].

PBL can be implemented as a full (complete or pedigree) curriculum in which the entire (or almost entire) curriculum for the education of healthcare professionals is designed and delivered through PBL, just as in the case of the highly teacher-directed, lecture-based and discipline-specific curriculum of the 20th century. Armstrong has already drawn attention to this issue, as she cautioned “replacing all lectures with discussion groups or tutorials would merely substitute one lop-sided system with another” [16]. It is also well recognized that students have a diversity of learning styles and offering only one way of learning through PBL may disadvantage some students. Several institutions have successfully implemented PBL as a hybrid curriculum combined with other learning strategies (e.g. lectures, practical classes). Armstrong has, in fact, made the point that “hybrids usually display strength and adaptability” [16].

PBL 구현
Implementation of PBL

특히 학생 교육에 있어서 20세기의 전통적인 교육과정에 이미 깊이 자리 잡고 빠져 있는 기관들에서, PBL의 실행에 있어서 신중하고 전략적인 계획이 요구된다. 다음 사항에 주의를 기울일 필요가 있다
Careful and strategic planning is required in the implementation of PBL, especially in institutions that have already been deeply entrenched and entrapped in a traditional 20th century curriculum in the education of students. Paying attention to the following will pay dividends:  

• PBL 커리큘럼을 설계하기 전에 PBL의 실무와 철학을 포함한 기본 교칙을 명확히 이해한다.

• PBL 구현이 어려운 작업이 될 수 있으므로 계획 및 개발에 대한 깊은 약속 보장

• 기초과학 위원 및 임상의원을 포함한 다양한 분야의 위원으로 구성된 PBL 위원회 구성

• 실행 전에 학생과 교사가 중요한 사고방식을 바꿀 수 있도록 준비합니다. 이는 부담스러운 작업일 수 있습니다. 무어는 이미 하버드 의과대학의 경험에서 "계획 과정 중에 상당한 저항, 회의, 노골적인 적대감이 나타났다"고 경고했다. [17]. 따라서, 학생과 교사가 PBL 과정에서 새로운 역할을 할 수 있도록 준비하기 위해 특정한 훈련과 교수진 개발 프로그램이 마련되어야 한다.

• Have a clear understanding of the basic tenets of PBL, including its practice and philosophy, before attempting to design a PBL curriculum

• Ensure a deep commitment to planning and development as implementing PBL can be a daunting task

• Form a PBL committee consisting of members from various disciplines, including members from the basic sciences as well as clinicians

• Prepare students and teachers for a significant mindset change prior to implementation; this can be an onerous task. Moore has already cautioned that, in the experience of Harvard Medical School, “considerable resistance, skepticism and outright hostility emerged during the planning process” [17]. Thus, specific training and faculty development programs must be organized to prepare students and teachers for their new roles in the PBL process.

PBL 튜터
The PBL tutor

"문제 기반 학습(PBL) 튜터는 PBL에서 가장 중요한 요소 중 하나입니다." [18].
“The problem-based learning (PBL) tutor is one of the most important elements in PBL” [18].

PBL 튜토리얼의 성패는 종종 PBL 튜터의 헌신과 튜터링 기술에 의해 결정된다. 뇌파를 움직이게 하고, 따라서 토론의 맥박과 톤을 조절하는 것은 튜터이다. 실제로 지도교사의 열정은 학습 과정의 촉진자 역할에서 지도교사의 열정을 반영하는 경우가 많기 때문에, 지도교사는 대개 '거울 효과'를 만들어낸다[8]. PBL 강사의 역할과 관련된 몇 가지 중요한 문제가 있는데, 여기에는 강사가 전문가가 되어야 하는지 아니면 다른 사람이 되어야 하는지 등이 포함된다. 따라서 PBL을 구현하고자 하는 기관은 "교사의 선택과 훈련… PBL의 중요한 구성요소"에 특히 주의를 기울여야 한다[18,19]. 몇몇 학자들은 PBL 강사의 역할과 선택에 대한 주장을 다루었으며, 이슈에 대한 많은 통찰력을 제공했다 [18–22].

The success or failure of PBL tutorials is often determined by the commitment and tutoring skills of the PBL tutor. It is the tutor who sets the brainwaves in motion and, therefore, the pulse and tone of discussions. In fact, the tutor usually creates a “mirror effect”, because the enthusiasm of students in tutorials often reflects the enthusiasm of the tutor in his/ her role as the facilitator of the learning process [8]. There are several important issues relating to the role of PBL tutors, including whether tutors should be experts or otherwise. Institutions intending to implement PBL must therefore pay particular attention to the “selection and training of tutors… a critical component of PBL.” [18,19]. Several scholars have addressed the arguments over the role and choice of PBL tutors and have provided much insight on the issues [18–22].  

인력지원 등 물류
Logistics, including manpower support

PBL은 광범위한 물류 지원이 필요한 고도로 자원 집약적인 교육 전략임을 인식하는 것이 중요하다. 여기에는 

• 잘 훈련되고 헌신적인 교사의 가용성 및
• 숙련되고 헌신적인 사례 작성자의 지원
• 신체적, 기술적 지원의 관점에서 볼 때론
• 적절한 튜토리얼 강의실의 가용성을 고려해야 합니다(특히 학생 수가 많을 경우).
• 적절한 기술 자원(예: 인터넷 시설)의 가용성뿐만 아니라.

It is important to appreciate that PBL is a highly resource-intensive educational strategy requiring a large range of logistical support. This includes:

the availability of well-trained and committed tutors and
the support of skilful and dedicated case writers;
from the viewpoint of physical and technical support,
one needs to consider the availability of suitable tutorial rooms (particularly when student numbers are large),
as well as the availability of appropriate technological resources (e.g. internet facilities).

지속적인 PBL 프로그램 유지
Sustaining ongoing PBL programs

기관에서 PBL의 성공적인 구현을 보장하는 것은 중요할 뿐만 아니라 지속적인 성공적인 프로그램이 유지될 수 있도록 보장해야 한다. 따라서, 학생과 지도 교사로부터 정기적인 피드백을 얻는 것은 새로 발생하는 문제를 조기에 식별하고 필요하다고 판단될 때 취해야 할 교정 조치를 위해 중요하다. PBL의 관행을 지속시키기 위해 새로운 학생 및 교사를 위한 지속적인 훈련도 포함되어야 한다.
Not only is it important to ensure the successful implementation of PBL in an institution, but one also has to ensure that an ongoing successful program can be sustained. Thus, obtaining regular feedback from students and their tutors is critical to identify emerging problems early, and for remedial action to be taken when deemed necessary. Ongoing training for new cohorts of students and teachers should also be included to help sustain the practice of PBL.

문화와 학문
Culture and learning

PBL의 기본 교리는 PBL 튜터리얼에서 공개적 토론 스타일을 필요로 하지만, 이는 좀 더 내성적인 아시아 통신 스타일과 상충될 수 있다. 비록 아시아적인 의사소통 방식이 장벽이 될 수 있고, 따라서 PBL에서의 학습에 장애가 될 수 있지만, 교사와 학생들이 PBL 과정의 역학을 알고 명확하게 이해한다면, 그것은 PBL에서의 학생 학습을 극복할 수 있고, 결과적으로 강화시킬 수 있는 문제이다. 또 다른 관련 이슈는 언어의 문제이다. 아시아의 많은 고등 교육 기관들은 비록 많은 학생들이 영어가 모국어도 아니기 때문에 영어에 능숙하지 않지만 PBL 자습서에서 영어를 사용하는 것을 선호하고 기대하고 있다. Gwee는 이미 이전 출판물에서 이러한 문제를 다루었습니다 [23].
A basic tenet of PBL is the need for an open discussion style in PBL tutorials, but this may conflict with the more reserved Asian communication style. Although the Asian communication style can be a barrier and, therefore, a hindrance to learning in PBL, it is a problem that can be overcome and, consequently, enhance student learning in PBL, if teachers and students are informed about and clearly understand the dynamics of the PBL process. Another related issue is that of language. Many higher education institutions in Asia now prefer and expect their students to use the English language in PBL tutorials, although many students lack proficiency in English, as it is neither their spoken nor national language. Gwee has already addressed these issues in a previous publication [23].

PBL: 이름은 같지만 게임은 다릅니다.
PBL: same name but different game

"…PBL은 매우 다른 방식으로 해석됩니다. 현재 PBL의 실행은 많은 다른 전략으로 특징지어진다. 한 PBL 기관의 연구 결과가 해당되지 않거나 문제 기반 접근방식을 채택한 다른 기관과 관련이 없을 수 있기 때문에 이러한 다양성은 평가와 연구에 중요한 영향을 미친다." [24].
“…PBL is interpreted in widely different ways. PBL in action is currently characterized by many different strategies. This variety has important consequences for evaluation and research since findings from one PBL institution may not be applicable or relevant to another also employing the problem-based approach” [24].

PBL은 이제 전 세계로 광범위하게 퍼져나갔고, 의학 및 다른 보건 과학 커리큘럼의 원래 한계를 넘어 다른 많은 분야로 퍼져나갔다. [25,26] 아시아의 의료 교육자들은 1990년대 중반부터 PBL을 적극적으로 채택하고 구현하기 시작했습니다 [23]. 21세기 학생들을 위한 적극적인 학습 전략으로 수많은 학문 분야와 기관에 의한 PBL의 채택은 실제로 개인 요건에 맞게 적응하도록 이끌었다. 결과적으로, 현재 서로뿐만 아니라 원래의 맥마스터 모델과는 상당히 다른 많은 다른 버전의 PBL이 존재한다. 따라서 서로 다른 기관의 PBL 실무자들이 보고한 결과 연구의 결과를 비교하면 심각한 어려움이 발생할 수 있으며 그러한 연구의 결과 해석에 많은 혼란을 초래할 수 있다[24,27,28].
PBL has now spread widely across the globe, and beyond the original confines of medicine and other health sciences curricula into many other disciplines [25,26]. Asian healthcare educators started adopting and implementing PBL with much vigor in the mid- 1990s [23]. The adoption of PBL, as an active learning strategy for students in the 21st century, by so many disciplines and institutions, led to its adaptation to suit individual requirements in practice. As a consequence, there are now many different versions of PBL which may differ quite considerably from the original McMaster model, as well as from each other. Comparisons of the results of outcome studies reported by PBL practitioners in different institutions can therefore pose serious difficulties and cause much confusion in the interpretation of the results from such studies [24,27,28].

PBL: 평가의 필요성
PBL: the need for assessment

"[설계할 필요가 있다] …PBL 원칙을 존중하고 신뢰할 수 있고 유효하며 [학생 학습에] 부정적인 조향 효과가 없는 평가 계획" [29].
“[There is a need to design] …an assessment plan that respects PBL principles, is reliable and valid, and has no negative steering effect [on student learning]” [29].

모든 교육자는 평가가 학생 학습에 미치는 영향과 "평가가 학습을 주도한다"는 일반적인 격언을 알고 있습니다. 또한 "학생들은 여러분이 기대하는 것을 존중하지 않고, 여러분이 조사하는 것을 존중한다"고 강조되어 왔다. 이러한 맥락에서 평가는 PBL 커리큘럼의 진행 중인 부분ongoing part이 되어야 한다. 
All educators are aware of the steering effect of assessment on student learning and the common adage that “assessment drives learning”. It has also been emphasized that“students don’t respect what you expect, they respect what you inspect”! In this context then, it is imperative to ensure that assessment must also be an ongoing part of any PBL curriculum.

첫째, 고차 사고 능력과 문제 해결 능력의 시험을 통합한 임상, 시나리오 기반 다중 선택 질문 유형이 목적에 적합한 학생에 의한 지식 습득(즉, 학습의 인지 영역 평가)이 필요하다. "…우리는 분명히 객관식 문제를 중요하게 생각합니다." [30,31]. 문제 해결 능력은 문제 해결 과정에서 검색을 용이하게 하기 위해 사실 지식을 구성, 맥락화 및 개념 프레임워크로 구성하는 방법에 따라 좌우된다는 점에서 적절하고 관련 있는 지식 기반을 갖는데 크게 좌우된다는 점에 유의해야 한다[30].

First, there is a need to assess knowledge acquisition by students (i.e. assessing the cognitive domain of learning) for which a clinical, scenario-based, multiple choice question type, which incorporates testing of higher-order thinking skillsand problem-solving skills would serve the purpose:“…we are unequivocally on the side of multiple-choice questions”[30,31]. It should be noted that the problem-solving ability is highly dependent on having an adequate and relevant knowledge base, in the sense that it is dependent on how factual knowledge is constructed, contextualized and organized into a conceptual framework to facilitate retrieval in the problem-solving process [30].


PBL의 평가는 단순한 인지 학습 테스트 이상의 것이어야 한다. 또한 PBL 커리큘럼의 부가 가치 결과인 정서적(태도) 영역에서 학습 결과의 평가를 포함해야 한다. 이러한 평가는 가능한 한 정확하게 주어진 상황이나 상황 또는 실제 작업 환경에서 관찰된 특정 행동과 태도에 대한 문서화를 포함해야 한다. 튜토리얼 종료 피드백 세션(셀프-피어-튜터)은 유용하고 비공식적인(형식적인) 평가 절차의 역할을 하며, 대인관계, 커뮤니케이션 및 팀워크(그룹) 기술과 관련된 특정 항목에 대한 더 공식적인(보완적인) 자아, 동료 및/또는 튜터 등급을 필요로 한다. 학습의 정서적 영역에서 그러한 평가의 주요한 한계는 본질적으로 심리학적 신뢰성과 타당성이 결여될 수 있다는 것이다. 따라서 엄격한 평가 전략의 설계 및 선택과 해당 평가에서 관련 시험 항목의 공식화에 각별한 주의를 기울여야 한다 [32].

Assessment in PBL must go beyond just testing cognitive learning—it must also include the assessment of learning outcomes in the affective (attitudes) domain, a value-added outcome of the PBL curriculum. Such assessment will need to involve, as precisely as feasible, documentation of specified observed behaviors and attitudes in a given situation or context, or in the actual work environment. The end-of-tutorial feedback session (self–peers–tutor) serves as a useful and informal (formative) assessment procedure, often with the need for more formal (summative) self, peer and/or tutor ratings on specific items relating to, for example, interpersonal, communication and team-work (group) skills. A major limitation of such assessment in the affective domain of learning is that they may inherently lack psychometric reliability and validity. Special attention must therefore be paid to the design and selection of a rigorous assessment strategy together with the formulation of relevant test items in such assessment [32].

투자수익률
Returns on investment

특히 PBL이 고도로 자원 집약적인 교육 전략이라는 관점에서 PBL로부터의 투자 수익은 상당히 논쟁적인 문제가 될 수 있다. (문헌에서 입증한) 실제 교육 결과와 (설계 원칙에서 의도한 대로), 이론적 고려에 기초한 기대 결과)를 비교함으로써 이 문제를 검토하는 것이 최선일 수 있다. PBL은 학습자 중심, 협업, 맥락, 통합, 자기 주도 및 성찰적 학습을 개선하고 최적화하는 것을 목표로 하기 때문에 많은 교육자들은 PBL의 교육 결과에 큰 기대를 걸고 있다. 따라서 PBL의 교육 성과는 단순한 지식 획득을 넘어설 것으로 예상된다. PBL은 대인관계, 커뮤니케이션, 팀워크, 리더십 등 정서적인 학습 영역의 '부드러운' 기술뿐만 아니라 비판적 사고와 추론의 고차원의 인지 능력, 문제 해결 능력을 포함한 보다 지속적인 교육 과정과 삶의 기술을 학생들에게 제공할 것으로 기대할 수 있다.

The returns on investment from PBL can be quite a contentious issue, especially in view of PBL being a highly resource-intensive educational strategy to implement. Perhaps it is best to review this issue through a comparison of the actual educational outcomes (as substantiated in the literature) with the expected educational outcomes (as intended in the design principles, i.e. the expected outcomes based on theoretical considerations). Many educators have great expectations of the educational outcomes from PBL because it is aimed at enhancing and optimizing learner-centered, collaborative, contextual, integrated, self-directed, and reflective learning. Educational outcomes from PBL are therefore expected to go beyond just knowledge acquisition. PBL can be expected to equip students with a more enduring educational process and life skills, including the higher-order cognitive skills of critical thinking and reasoning, and problem-solving, as well as “soft” skills in the affective domain of learning such as interpersonal, communication, team-work, and leadership.

그러나, 문헌의 검토는 PBL의 실제(문학에서 보고된 바와 같이) 교육 결과와 예상(사용된 교육 전략에 근거) 교육 결과 사이에 불일치가 있음을 강력히 시사한다. 실제로 과거의 여러 연구는 학생들이 고차적 사고를 위해 시험받는 경우에도, 전통적인 접근법의 학생과 PBL 커리큘럼의 학생 사이에 일반적으로 [지식 습득 및 임상 기술 차이가 거의 없거나 전혀 없다]고 결론지었다 [33]. 그의 사설에서 노먼은 이 문제에 대한 비판적이고 훌륭한 개요를 제공했는데, 특히 "…개념이 어떻게 학습되는가"와 관련하여 "……PBL을 넘어설 수 있는 것"에 관심을 끌었다. 그럼에도 불구하고, Norman은 "해결책은 전통적인 학문적 교육과정으로의 복귀를 옹호하는 것이 아니다"라고 분명히 말했다. [34]. 그러나, 알바니아어 진술에서 증명된 바와 같이, 학생 대인관계 기술의 습득과 PBL 커리큘럼을 통한 학습의 즐거움은 잘 문서화되어 있다. "PBL에 의해 지식 습득과 임상 능력이 향상되지 않더라도 PBL과 함께 꾸준히 발굴해 온 학생과 교직원의 업무 환경 강화가 가치 있는 목표이다."

However, a review of the literature strongly suggests that there is a mismatch between the actual (as reported in literature) and expected (based on educational strategies used) educational outcomes from PBL. In fact, several studies in the past have concluded that there is generally little or no difference in knowledge acquisition and clinical skills between students from traditional approaches and those from PBL curricula, even when students are tested for higher-order thinking [33]. In his editorial, Norman provided a critical and excellent overview on this issue [34], in particular drawing attention to “…what may lie beyond PBL” with respect to “…how concepts are learned”. Nevertheless, Norman clearly stated that “the solution is not advocacy of return to a traditional, discipline oriented curriculum” [34]. However, student acquisition of interpersonal skills and the joy of learning from a PBL curriculum are well documented, as attested to in the statement of Albanese: “Even if knowledge acquisition and clinical skills are not improved by PBL, the enhanced work environment for students and faculty that has been consistently found with PBL is a worthwhile goal” [35].

• 주목할 점은 고씨 등이 "…의대 문제 기반 학습이 졸업 후 의사 역량에 미치는 영향에 대한 증거"[36]를 검색한 최근의 체계적인 검토가 이루어졌다는 점이다. 저자들은 "…의대 시절 PBL은 주로 사회적, 인지적 차원에서 졸업 후 의사 역량에 긍정적인 영향을 미친다"고 결론지었다.
• 노먼은 고 씨와 그의 동료들의 연구에 대한 논평에서 "우리는 수년간 문제 기반 학습의 상대적 장점과 약점에 대한 논쟁을 견뎌왔다. 이제 이 방법이 중요하다는 좋은 증거가 있습니다. 다음 단계는 이 방법이 왜 효과가 있는지 결정하는 것입니다." [37]
• 마찬가지로, Wood는 "리뷰는 (대부분의 교육자들이 기존의 학습과 비교하여) 문제 기반 학습이 학부 의학적 교육의 일부 심리학적 결과에 일부 유익한 영향을 미친다는 (수백 개의 덜 엄격한 보고서에 기초하여) 믿음을 확인시켜 준다"고 표현했다. [38]

It is noteworthy that a more recent systematic review was undertaken by Koh et al in which they searched for “…evidence of the effects that problem-based learning in medical school had on physician competencies after graduation” [36]. The authors concluded that PBL “…during medical school has positive effects on physician competency after graduation, mainly in social and cognitive dimensions.”

In his commentary on the work of Koh and his colleagues, Norman expressed that, “For years we have endured debate about the relative merits and weaknesses of problem-based learning. Now there is good evidence that the method delivers on some very important issues. The next step is to determine why the method works.” [37].

Similarly, Wood expressed “The review confirms what most educators have come to believe on the basis of hundreds of less rigorous reports that, compared with traditional learning, problem-based learning has some beneficial effects on some psychosocial outcomes of undergraduate medical education” [38].

과제들
Challenges

PBL은 여러 학습 원리를 결합한 전략적 학습 시스템 설계를 나타내며 교육 이론과 원칙에 의해 강하게 뒷받침되지만 [10] 돌맨스 외 연구진도 "…교육 실무에서 너무 지시적인 교사, 너무 잘 구조화된 문제, 그리고 제대로 작동하지 않는 그룹 등과 같은 문제에 직면하는 경우가 많다"고 지적했다. [39]. 따라서, PBL의 성공적인 구현에 대한 가장 큰 과제는 21세기 의료 전문가 교육에 유익한 결과를 가져오는 일관된 실천으로 PBL의 핵심 학습 원칙을 성공적으로 결합하는 최선의 방법이다. (위에서 논의한 바와 같이) PBL의 실무에 영향을 미치는 중요한 문제는 이러한 맥락에서 몇 가지 지침을 제공해야 한다.
Although PBL represents a strategic learning system design which combines several learning principles and is strongly underpinned by educational theories and principles [10], Dolmans et al also pointed out that “…in educational practice, problems are often encountered, such as tutors who are too directive, problems that are too well structured, and dysfunctional tutorial groups”[39]. Thus, the greatest challenge to the successful implementation of PBL is how best to successfully combine the key learning principles of PBL into a coherent practice which would result in beneficial outcomes in the education of healthcare professionals in the 21stcentury. Important issues, which impact on the practice of PBL (as discussed above), should provide some guidance in this context.

Wood[38]는 훨씬 더 근본적인 문제를 제기하였다. Wood가 제기한 과제는 다음과 같다: "소통 기술과 심리사회적 영역에서 가르치고 배우는 것은 여러 가지 방법으로 달성될 수 있으며, [적시에 건설적인 피드백과 함께 소규모 그룹으로 일하는 것]은 [문제 기반 학습]만큼 효과적일 수 있습니다." [38]. 그렇다면, 문제는, 우리가 [여전히 정서적 영역에서 학생 학습을 육성하기 위해 PBL 전략을 채택하고 구현할 필요가 있는가] 하는 것이다.

Wood [38] has raised an even more fundamental issue. The challenge posed by Wood is in her statement: “Teaching and learning in communication skills and the psychosocial domains can be achieved in many ways, and working in small groups—coupled with timely and constructive feedback—may be just as effective as problem-based learning” [38]. The question is, then, do we still need to adopt and implement a PBL strategy to nurture student learning in the affective domain?

기회
Opportunities

"21세기에 필요한 대학을 만들기 위해서는… 우리는 의식적으로 교육 패러다임을 거부하고 학습 패러다임에 기초하여 우리가 하는 일을 재구성해야 한다." [41]
“To build the colleges we need for the 21st century… we must consciously reject the Instruction Paradigm and restructure what we do on the basis of the learning paradigm” [41].

"[의대] 학교는 관심 있는 교수진의 긴밀한 지도 아래 능동적이고 자기 주도적인 학습을 경험의 핵심으로 만드는 진정한 학습자 중심의 환경을 아직 만들지 못했습니다." [42].

“[Medical] Schools have yet to create a truly learnercentered environment that makes active, self-directed learning under the close tutelage of interested faculty members the core of the experience” [42].

교육 패러다임의 큰 전환이 필요하다는 데 전통적인 교사 주도형 교육에서 학생 중심의 학습으로 전 세계적인 공감대가 형성되고 있다. 주요 패러다임의 변화는 학생들이 21세기에 세계화된 지식 기반 경제의 요구와 과제를 충족시킬 수 있는 더 나은 교육 준비를 제공할 것으로 기대됩니다 [41,42]. 이러한 맥락에서, PBL은 거의 40년 동안 시간의 시험을 견뎌온 고도로 학생 중심적인 학습 패러다임을 나타내며, 여전히 전 세계로 널리 퍼지고 있다(일부 비판에도 불구하고). [22]. 이 기간 동안 지속된 다른 교육 혁신은 없는 것으로 알려졌다.
There is now global consensus on the need for a major shift in the educational paradigm, from the traditional teacher-directed instruction to more student-centered learning. The major paradigm shift is expected to provide better educational preparation for students to meet the demands and challenges of a globalized knowledge-based economy in the 21stcentury [41,42]. In this context then, PBL represents a highly student-centered learning paradigm that has stood the test of time for almost four decades now, and is still spreading widely across the globe (some criticisms notwithstanding) [22]. No other educational innovation is known to have lasted this period of time.


따라서, PBL은 의료 전문가 및 학생의 교육자에게 학생의 학습 성과와 학습 과정에 대한 학생의 적극적인 참여에 중점을 두고 교육을 설계하고 전달할 수 있는 훌륭한 기회를 제공합니다. 또한, 전략적 학습 시스템 설계로서, PBL은 PBL에서 기대하는 학습 결과에 더 많은 교육적 가치를 더하는 협업, 상황별, 통합적, 자기 주도적 및 성찰적 학습을 개선하고 최적화하는 것을 목표로 한다.

Therefore, PBL offers educators of healthcare professionals and students excellent opportunities to design and deliver instruction to their students with a primary focus on student learning outcomes and on active student participation in the learning process. Moreover, as a strategic learning system design, PBL is also aimed at enhancing and optimizing collaborative, contextual, integrated, self-directed, and reflective learning which add further educational value to the learning outcomes expected from PBL.

결론
CONCLUSION

"의학 교육의 중심 사명은 [의사가 제공하는 의료 서비스의 질을 향상시키는 것]입니다… 환자가 기술을 습득하는 가운데, 의사가 무엇을 하고, 어떻게, 언제 하는지는 의학교육의 질에 달려 있습니다. 우리는 이것을 제대로 해야 한다" [43].

“The central mission of medical education is to improve the quality of health care delivered by doctors… [with] patients as the recipients of our skills… what doctors do, and how and when they do it, depends on the quality of medical education. We need to get it right” [43].

PBL은 본질적으로 전통적인 교사 주도(교사 중심) 교육에서 학생 중심(학습자 중심) 학습으로 교육 패러다임의 큰 변화를 나타내는 전략적 학습 체계로, 21세기 학생들의 교육 준비에 더 적합하다고 여겨지는 패러다임이다. PBL의 구현은 매우 어려운 작업이 될 수 있다. PBL의 강점과 한계에 대한 명확한 이해뿐만 아니라 학생과 교사들의 사고방식에도 상당한 변화가 필요하다. [7,17,44] PBL의 시행은 특히 시행 초기에는 교사와 학생 모두에게 불편과 동요를 포함하여, 일부 어려움을 야기시킬 수 있으며, 그러한 기관들은 전통적인 교사 주도적이고 고도로 규율이 높은 특정 커리큘럼에 깊이 자리 잡고 관여할 수 있다.
PBL is essentially a strategic learning system which represents a major shift in the educational paradigm from the traditional teacher-directed (teacher-centered) instruction to student-centered (learner-centered) learning, a paradigm considered more appropriate for the educational preparation of students in the 21stcentury. Implementation of PBL can be a tremendously daunting task: not only will it require a clear understanding of the strengths and limitations of PBL, but also a significant change in the mindsets of students and teachers [7,17,44]. Implementation of PBL is likely to cause some difficulties, including discomfort and agitation to both teachers and students, especially in the early phase of its implementation, and in those institutions deeply entrenched and entrapped in the traditional teacher-directed and highly disciplinespecific curriculum.


의료 전문가의 교육자로서, 학생들이 원하는 지식, 기술 및 미래의 전문적 실무에 대한 태도를 배우고 습득하는 것을 가장 잘 설계하고 전달하는 것은 우리의 책임입니다. 우리는 학생들을 육성하고 그들이 유능하고 배려하며 윤리적인 의료전문가가 되기 위해 원하는 "마음, 행동, 행동 습관"을 개발할 수 있도록 도와야 한다. PBL은 21세기의 학생 학습에 활력을 불어넣기 위해 보다 전체적인, 부가가치 및 양질의 교육을 제공할 수 있다. 의료 분야의 학생들에 대한 PBL의 혜택을 최적화하고 국가의 의료 향상에 기여하기 위해, 우리는 제대로 할 필요가 있다.
As educators of healthcare professionals, it is our responsibility to design and deliver instruction to our students which best enhances their learning and acquisition of desired knowledge, skills, and attitudes for their future professional practice. We should nurture our students and help them develop the desired “habits of mind, behavior and action”to become competent, caring, and ethical healthcare professionals. PBL can offer a more holistic, value-added and quality education to energize student learning in the 21stcentury. To optimize the benefits from PBL for students in the healthcare professions and to contribute to the improvement of the healthcare of a nation, we need to do it right.


만약 우리가 미래의 의료 전문가들을 가르치는 교육자로서 우리의 책임을 잘 완수하지 못한다면, 그것은 우리의 학생들뿐만 아니라 우리 사회와 우리 자신을 위해서도 끔찍한 결과를 초래하게 될 것이다: 에반스가 분명히 표현했다:

"어려움을 극복하는 것을 말하기는 쉽다. 하지만 우리는 노력을 해야 합니다. 그렇지 않으면 졸업생들은 우리의 지식만 갖고, 이해력은 거의 없고 응용, 분석, 합성, 평가 능력도 훨씬 더 떨어질 것이다. 우리가 학생들을 위한 학습 환경을 개선하기 위해 어떤 조치를 취할 수 있는가를 선택하지 않는다면, 그들의 잠재력은 부분적으로만 실현될 것이고, 우리 자신의 눈과 사회의 눈에 대한 우리의 지위는 줄어들 것이고, 궁극적으로는 사회 자체가 더 가난해질 것이다" [45].

If we fail to complete our responsibility well as educators of future healthcare professionals, it will result in dire consequences, not only for our students, but also for our society and for ourselves, as clearly expressed by Evans:

“overcoming difficulties is easier said than done. But we must make the effort, or graduates will leave our institutions full of knowledge, but with little comprehension and even less ability to apply, analyze, synthesize or evaluate. Unless we take what steps we can to improve the learning environment for our students, their potential will only be partly realized, our standing in our own eyes and in the eyes of society will be diminished and, ultimately, society itself will be the poorer” [45].

Kaohsiung J Med Sci. 2009 May;25(5):231-9.

 doi: 10.1016/S1607-551X(09)70067-1.

Problem-based learning: a strategic learning system design for the education of healthcare professionals in the 21st century

Matthew Choon-Eng Gwee 1

Affiliations collapse

Affiliation

• 1Department of Pharmacology, Yong Loo Lin School of Medicine, National University of Singapore, Singapore. phcmgce@nus.edu.sg

• PMID: 19502143

• DOI: 10.1016/S1607-551X(09)70067-1

Free article

Abstract

Problem-based learning (PBL) was first implemented by McMaster University medical school in 1969 as a radical, innovative, and alternative pathway to learning in medical education, thus setting a new educational trend. PBL has now spread widely across the globe and beyond the healthcare disciplines, and has prevailed for almost four decades. PBL is essentially a strategic learning system design, which combines several complementary educational principles for the delivery of instruction. PBL is specifically aimed at enhancing and optimizing the educational outcomes of learner-centered, collaborative, contextual, integrated, self-directed, and reflective learning. The design and delivery of instruction in PBL involve peer teaching and learning in small groups through the social construction of knowledge using a real-life problem case to trigger the learning process. Therefore, PBL represents a major shift in the educational paradigm from the traditional teacher-directed (teacher-centered) instruction to student-centered (learner-centered) learning. PBL is firmly underpinned by several educational theories, but problems are often encountered in practice that can affect learning outcomes. Educators contemplating implementing PBL in their institutions should have a clear understanding of its basic tenets, its practice and its philosophy, as well as the issues, challenges, and opportunities associated with its implementation. Special attention should be paid to the training and selection of PBL tutors who have a critical role in the PBL process. Furthermore, a significant change in the mindsets of both students and teachers are required for the successful implementation of PBL. Thus, effective training programs for students and teachers must precede its implementation. PBL is a highly resource-intensive learning strategy and the returns on investment (i.e. the actual versus expected learning outcomes) should be carefully and critically appraised in the decision-making process. Implementation of PBL can be a daunting task and will require detailed and careful planning, together with a significant commitment on the part of educators given the responsibility to implement PBL in an institution. PBL can offer a more holistic, value-added, and quality education to energize student learning in the healthcare professions in the 21st century. Successful implementation of PBL can therefore help to nurture in students the development of desired "habits of mind, behavior, and action" to become the competent, caring, and ethical healthcare professionals of the 21st century. Thus, PBL can contribute to the improvement of the healthcare of a nation by healthcare professionals, but we need to do it right.

근거기반의학과 문제중심학습: 비판적 재평가(Adv Health Sci Educ Theory Pract. 2019)
Evidence‑based medicine and problem based learning a critical re‑evaluation 
Peter C. Wyer1

1992년 말, 미국 의학 협회 저널은 "증거 기반 의학: 의학의 실천을 가르치는 새로운 접근법(증거 기반 의학 작업 그룹 1992)을 출판하였다. 이 기사는 캐나다 해밀턴 온타리오에 있는 맥마스터 대학 보건 과학 센터의 임상 역학 및 생물 통계학부의 고위 학자들이 이끄는 국제 워킹 그룹에 의해 작성되었다. 과학혁명에 관한 잘 알려진 논문(1962년 쿤)을 인용하여, [임상 연구가 지식의 계층 구조에서 지배적인 위치를 차지]하고, [실무자의 임상 경험에서 태어난 병태생리학 및 지식이 연속적으로 낮은 위치를 차지]하게 되는, 의료행위의 가르침을 위한 '새로운 패러다임'을 제안했다. 
In late 1992, the Journal of the American Medical Association published a landmark article entitled “Evidence-based Medicine: A New Approach to Teaching the Practice of Medicine”(Evidence-Based Medicine Working Group 1992). The article was authored by an international Working Group led by senior academics in the Department of Clinical Epidemiology and Biostatistics at the McMaster University Health Sciences Centre in Hamilton Ontario, Canada. Citing a well-known treatise on scientific revolutions (Kuhn 1962), it proposed a ‘new paradigm’ for the teaching of medical practice in which clinical research was to assume the dominant position on a hierarchy of knowledge and in which pathophysiology and knowledge born of practitioners’ clinical experience were to occupy successively lower positions.

그 제안은 맥마스터 부서의 교육용 출판물에 이미 정통한 사람들에게는 놀라운 것이었다. 1981년부터 캐나다 의학 협회 저널(CMAJ)에 널리 읽히고 인용된 "의학 문헌은 읽는 독자를 위한 가이드"(Sackett 1981년)라는 제목의 시리즈가 발표된 임상 연구의 비판적 평가 원칙을 훈련하는 과정에서 실무자와 임상의사를 소개했다. 그 연재물은 널리 보급되었고 비판적인 읽기 능력을 기르기 위해 사용되었다. 하지만 [의료 행위든 교육 행위든 (그것에) 근거해야 한다는 암시]에 그쳤다.

The proposal was surprising to those who were already familiar with the instructional publications of the McMaster Department. Beginning in 1981, a widely read and cited series in the Canadian Medical Association Journal (CMAJ), entitled the “Readers’ Guides to the Medical Literature” (Sackett 1981) had introduced working practitioners and clinicians in training to the principles of critical appraisal of published clinical research. The installments were widely disseminated and used to foster critical reading skills. They stopped well short of implying that either clinical practice or the teaching of same should be based on it.

1992년 임상 연구의 비판적 평가critical appraisal를 위해, [맥마스터 프레임워크를 "증거 기반 의학(EBM)"으로 리브랜딩]한 것은, 상당한 비판을 끌어모았고, 이는 현재까지도 계속되고 있다. 그러나 이러한 비판은 [교육자와 학습자의 관점]보다는 [실무자와 정책을 만드는 관점]을 반영했다. 후자는 1992년 JAMA 기사에 의해 제기된 의학교육의 리모델링의 의미와 관련하여 침묵을 지키고 있다. 이 검토는 McMaster 기반 교육 이니셔티브의 맥락에서 의료 교육 개입으로서 EBM의 주장을 검토할 것이다. 

The 1992 re-branding of the McMaster framework for critical appraisal of clinical research as “evidence-based medicine (EBM)” attracted a rapidly expanding body of criticism that has continued through the present. However, these critiques have reflected practitioner and policy making perspectives rather than those of educators and learners. The latter have remained silent with respect to the implications of the remodeling of medical education posited by the 1992 JAMA article. This review will examine EBM’s claims as a medical education intervention in the context of the McMaster based teaching initiatives that preceded it. 

맥매스터의 EBM 이전 세대
Antecedents of EBM at McMaster

상기 언급된 CMAJ instructional article은 맥매스터 역학 및 생물 통계부의 설립의장인 David Sackett에 의해 시작되었다(Sackett 1981). 그들은 [치료 효과에 대한 무작위 시험]과 [진단 정확도에 대한 단면 연구] 등과 같은 [특정 연구 설계에 부합하는 임상 연구 보고서를 평가하기 위한 체크리스트]를 제시했다. 예를 들어 환자 할당에 대한 환자, 연구자 및 실무자의 블라인딩은 무작위 시행의 기준인 반면 진단 테스트 결과와 비교할 기준 테스트의 결과에 대한 독립적인 평가는 횡단적 연구와 관련된 기준이다. 
The above mentioned CMAJ instructional articles had been initiated by David Sackett, the inaugural chair of the Department of Epidemiology and Biostatistics at McMaster (Sackett 1981). They presented checklists for evaluating published reports of clinical studies conforming to specific research designs such as randomized trials of treatment effectiveness and cross sectional studies of diagnostic accuracy. For example, blinding of patients, researchers and practitioners to patient allocation is such a criterion for randomized trials while independent assessment of the results of a diagnostic test and those of the criterion test to which it is to be compared is one pertaining to a cross sectional study. 

CMAJ 시리즈의 학습 목표는 간단했으며 1980년대 후반부터 맥마스터 부서가 후원한 비판적 평가에 대한 연례 워크숍에서 공유되었다. 워크숍은 다양한 임상 전문 분야의 대학원 교육 프로그램으로부터 학부 교수들에게 Sackett 및 기타의 직접적인 지도 하에, 임상 연구에 대한 비판적 평가 원칙을 흡수하는 기회를 제공했다. 출판된 연구의 결점을 확인하는 데 중점을 두었다. 대부분의 결함은 치명적인 것으로 간주되었으며, 일단 확인되면 출판물은 휴지통으로 가는 신세가 되었습니다.

The learning objectives of the CMAJ series were straightforward and were shared by an annual workshop on critical appraisal sponsored by the McMaster Department beginning in the late 1980s. The workshops afforded an opportunity for academic faculty from graduate training programs in various clinical specialties to absorb principles of critical appraisal of clinical research under the direct tutelage of Sackett and others. The emphasis was on identification of flaws in published studies. Most flaws were considered to be fatal; once they were identified the publication was ready for the circular file.

EBM 및 학습 및 교육 목표의 변화
EBM and the transformation of learning and teaching objectives

1992년 JAMA가 발표한 "증거 기반 의학"은 맥매스터 (Guyatt 2008)의 내과 프로그램 개편 이후 이루어졌다. 새로운 명칭과 함께 새로운 지향과 확장된 학습 목표가 등장했습니다. 이는 JAMA(Guyatt and Rennie 1993)에서 출판된 새로운 일련의 교육 기사인 "의료 문헌을 위한 사용자 안내서"에 자세히 설명되어 있다. 초점은 [단순히 연구의 결함을 발견하는 것]에서 [개별 환자의 clinical care에 직접 guide하기 위한 목적으로 임상 연구를 사용하는 것]으로 바뀌었다. 연례 워크숍 시리즈는 그에 따라 개축되었고 "증거 기반 의학을 가르치는 방법"으로 이름이 바뀌었다. 

The 1992 JAMA announcement of “evidence-based medicine” followed a restructuring of the internal medicine program at McMaster (Guyatt 2008). With the new name came a new orientation and an expanded set of learning objectives. These were elaborated in a new series of instructional articles, the “Users’ Guides to the Medical Literature”, published in JAMA (Guyatt and Rennie 1993). The emphasis was shifted from merely finding flaws in research in favor of using clinical research to directly guide the clinical care of individual patients. The annual workshop series was correspondingly remodeled and was renamed “How to Teach Evidence Based Medicine.”

새로운 프레임워크는 비판적 평가에 대한 이전의 강조를 이어갔고, 비판적 평가 체크리스트는 확대되었다. 그들은 이제 McMaster EBM Working Group이 수행한 광범위한 출판 연구로부터 도출된 기준을 포함했는데, 이 연구는 [제조사와 연구자들이 개입의 효과를 과장하기 위해 사용한 메커니즘]을 발표했다. 한 가지 예는, 연구중인 치료에 대해 [통계적으로 유의한 편익이 관찰되는 순간 임상 시험을 조기에 중단하는 관행]이다. 임상시험의 초기 단계는 통계적 이상이 특히 발생할 가능성이 높은 기간을 구성constitute하며, [겉보기 편익을 위해 임상시험을 조기에 중지하는 것]은 [치료법이 효과를 갖는 것처럼 부풀리는 것]으로 나타났다(Montori et al. 2005). 

The new framework carried forward the earlier emphasis on critical appraisal and the critical appraisal checklists were expanded. They now included criteria derived from extensive publication research performed by the McMaster EBM Working Group which unveiled mechanisms used by manufacturers and researchers to exaggerate the apparent effectiveness of interventions (Montori et al. 2004). One example is the practice of stopping clinical trials early the moment a statistically significant benefit for the study treatment is observed. The initial phase in a trial constitutes a period when statistical aberrations are particularly likely to occur and stopping a trial early for apparent benefit has been shown to inflate the apparent effectiveness of treatments (Montori et al. 2005). 

워크숍과 사용자 가이드 연재물에서는, [환자에게 가장 중요할 가능성이 높은 임상 시험 결과]를 강조했으며, 반대로 (생물학적 마커의 혈청 수준과 같은) [순수 생리학적 엔드포인트에 기초한 결과]를 중요하게 생각하지 말 것을 권고했다(Montori et al. 2007). 이러한 정교한 작업은 임상 연구 보고서 소비자들에게 이전에는 결코 즐기지 못했던 비판적 읽기critical reading를 위한 도구를 제공하였다.

The workshops and Users’ Guides installments also emphasized outcomes of clinical trials that are most likely to matter to patients and advised clinicians and learners to downplay results based purely on physiologic endpoints such as serum levels of biological markers (Montori et al. 2007). Such elaborations gave consumers of clinical research reports tools for critical reading that they had never before enjoyed.

JAMA "Users' Guide" 시리즈 (Guyatt와 Rennie 1993)와 "How to Teach EBM" 워크숍은 임상 연구의 방법론적 평가 스킬 이상의 [스킬 세트]를 다루었다. 이것들은 EBM이 practice of medicine을 가르치는 대안적 패러다임을 제공했다는 주장의 근거가 되었다.

• 여기에는 문헌 검색을 용이하게 하기 위한 임상 질문의 공식화와 그에 상응하는 electronic resource의 사용이 포팜된다.
• 워크숍에는 개별 연구 및 체계적인 검토를 위해 전자 데이터베이스를 검색하는 방법에 대한 임상의에 대한 지침이 포함되었다. 사서librarian 교직원의 포함은 중요한 혁신을 이루었고, 1990년까지 눈에 띄게 된 출판 생물 의학 연구(Bastian et al. 2010)의 지속적인 폭발로 특히 두드러졌다.

The JAMA “Users’ Guides” series (Guyatt and Rennie 1993) and the “How to Teach EBM” workshops addressed skill sets that went beyond methodological appraisal of clinical research. These constituted the basis for the claim that EBM offered an alternative paradigm for teaching the practice of medicine.

• They included the formulation of clinical questions to facilitate literature searches and the corresponding use of electronic resources.
• The workshops included instruction to clinicians in how to search electronic databases for individual studies and systematic reviews. Inclusion of librarian faculty members constituted an important innovation and was rendered particularly salient by the ongoing explosion in published biomedical research (Bastian et al. 2010) which had become conspicuous by 1990.

1990년대에 걸쳐 이 영역의 커리큘럼과 교육 프로그램을 정의하기 위한 표준 프레임워크로 채택된 정의가 나타났다(Dawes et al. 2005). 이는 "요청ask", "취득acquire", "평가appraise" 및 "적용apply"으로 설명되는 4가지 필수 단계로 구성되었습니다.

• 이 공식은 훨씬 이전에 맬컴 놀스(Knowles 1975)의 자기 주도 학습의 기초로서 제안되었던 공식과 놀랄 만큼 유사했으며, 맥마스터의 PBL 초기에 큰 영향을 끼쳤다.
• 연례 McMaster 교육 워크숍에서 사용되는 모듈형 패키지와 유사하게 모델링된 이벤트에서 이 모델에 프레임을 씌웠다.
• 마찬가지로 EBM 본문과 워크숍 자료 모두 학부 및 대학원 의학 학습자를 위한 동일한 공식에 기초한 '교육 처방'을 사용할 것을 권고했다.
• 궁극적으로, 평가 루브릭도 이와 유사하게 이러한 범주에 기초하는 것으로 나타났다(Feldstein et al). 2009; 라모스 외 2003).

over the course of the 1990s a definition emerged which was soon accepted as the standard framework for defining curricula and teaching programs in this area (Dawes et al. 2005). It was comprised of 4 essential steps, described as “ask”, “acquire”, “appraise” and “apply”.

• The formula was remarkably similar to one that had been proposed much earlier as the basis of self-directed learning by Malcolm Knowles (Knowles 1975), and which had been very influential in the early years of PBL at McMaster (Servant-Miklos 2018).
• Modular packages used in the annual McMaster teaching workshops, and in similarly modelled events, were framed on this model.
• Similarly, both the EBM texts and the workshop materials advised use of ‘educational prescriptions’ based on the same formula for undergraduate and graduate medical learners.
• Eventually, evaluation rubrics appeared that were similarly based on these categories (Feldstein et al. 2009; Ramos et al. 2003).

맥마스터 "How to Teach EBCP" 워크숍의 졸업생들은 특징적으로 열광적이었다. 1994년과 2010년 사이에, 수천 명의 사람들이 맥마스터(McMaster)를 졸업했고, 북아메리카와 남아메리카, 영국 그리고 다른 곳에서 비슷하게 설계된 워크숍을 졸업했다. 의대생과 각종 임상특기생들의 연수를 담당한 의대생과 연수생들은 그들이 배운 접근법을 자신의 프로그램에 통합하기 위해 홈센터로 돌아왔다. 같은 기간 동안, 여러 임상 전문 분야, 분야 및 환경에서 학습자에게 EBM의 가르침은 전 세계적으로 확대되었으며, EBM 스킬 세트는 국제적으로 의학 대학원 및 학부 커리큘럼 필수 과정에 통합되었다. 

Graduates of the McMaster “How to Teach EBCP” workshops were characteristically enthusiastic. Between 1994 and 2010, several thousand graduated from the McMaster or similarly designed workshops in North and South America, the UK and elsewhere. A large percentage were medical educators responsible for the training of medical students and trainees in various clinical specialties who returned to their home centers to incorporate the approach they had learned into their own programs. Over the same period of time, the teaching of EBM to learners in multiple clinical specialties, disciplines and settings expanded worldwide and EBM skill sets were incorporated into mandated medical graduate and undergraduate curriculum guidelines internationally. The latter includes incorporation into

• the American Council of Graduate Medical Education frameworks for graduate medical education in the US (Green et al. 2009; NEJM Knowledge+ Team 2016),
• the analogous CanMEDS framework of the Royal College of Physicians and Surgeons of Canada (Frank et al. 2015), and
• the Association of American Medical Colleges’ prescription for ‘entrustable professional activities’ for medical undergraduates (AAMC 2017).
• In Europe, a multinational survey completed in 2006 by the EUebm-Unity partnership determined the existence of some 403 courses in EBM across the member countries (Kunz et al. 2009).

그러나 EBM의 성공은 균일하지 않았다. 1992년 EBM을 처방prescription한 것이 [(추론의 출처들source 사이에서) 수정된 우선 순위에 기초한 임상의료 교육]으로의 글로벌한 전환을 목표로 했다고 보면, 결과는 여러 면에서 부족했다. 임상 연구를 비판적으로 평가하는 지식을 증가시키는 데 효과가 있음에도 불구하고, (의료인, 훈련 의사 및 다른 보건 직업의 학습자에 대한) EBM 교육 연구 및 체계적인 검토에 따르면, [의료인의 행동]이나 [다른 건강 성과]에 대한 측정 가능한 효과가 존재하지 않음을 지속적으로 보고하고 있다. 그러므로 해결해야 할 것은 EBM 교육 운동이, 그것의 확장된 학습 목표와 의도된 범위, 그리고 전 세계적으로 전례 없는 수준의 열띤 채택에도 불구하고, 궁극적으로 1999년의 맥마스터 임상 역학 및 생물 통계부의 원래 프로그램을 넘어서지 못한 이유이다. 이것은 맥마스터 의학교육 경험의 초기 수십 년 동안 문제 기반 학습(PBL)의 전통과 전제에서 EBM 프로그램의 뿌리를 더 깊이 고려해야 한다.

The success of EBM was not uniform however. If the 1992 prescription for EBM aimed at a global transformation of teaching the practice of clinical medicine, based on revised priorities among sources of inference, the result fell short in many ways. Studies and systematic reviews of teaching EBM to practitioners, to physicians in training and to learners in other health profession, despite demonstrating effectiveness in increasing knowledge of critical appraisal of clinical research, have consistently reported an absence of measurable effect on practitioner behavior or on other health outcomes (Ahmadi et al. 2015; Coomarasamy and Khan 2004; Young et al. 2014). What remains to be addressed, therefore, is why the EBM educational movement, despite its expanded set of learning objectives and intended scope, as well as its unprecedented level of enthusiastic adoption worldwide, ultimately failed to go beyond the original program of the McMaster Department of Clinical Epidemiology and Biostatistics of the 1990s. This requires a deeper consideration of the roots of the EBM program in the traditions and premises of problem based learning (PBL) during the early decades of the McMaster medical education experience.

EBM의 형태를 만든 McMaster의 PBL
PBL at McMaster as it shaped EBM

PBL과 EBM의 상호 연결은 맥매스터에서 의학교육의 시작부터 비롯된다. 서번트 (2016년)에 의해 기록된 대로, 데이비드 새킷은 맥마스터 의과대학의 설립자 중 한 사람이었으며, 맥마스터 의과대학의 디자인 형성에 광범위하게 관여했다. 그는 맥마스터의 첫 번째 커리큘럼을 설계한 교육 위원회의 영향력 있는 멤버였다. 비록 Sackett과 다른 EBM 설립자들 모두 교육 및 학습 이론에 대한 개인적인 견해나 인지 심리학의 영역 내에서 학습과 문제 해결의 관련 상관관계에 대한 그들의 개인적인 견해를 발표하지 않았지만, 우리는 그들이 [맥매스터의 PBL 전통]을 매우 밀접하게 동일시하며, 1994년에 시작된 워크샵 시리즈에 이 일반적인 오리엔테이션을 가져왔다는 것을 알고 있다.

The interconnection between PBL and what became EBM dates from the dawn of medical education at McMaster. As documented by Servant (2016), David Sackett was one of the founders of the McMaster medical school and was extensively involved in shaping its design. He was an influential member of the education committee that designed the inaugural McMaster curriculum. Although neither Sackett nor the other EBM founders have published their personal views on education and learning theory or on relevant correlates of learning and problem solving within the domain of cognitive psychology, we do know that they identified very closely with the PBL tradition at McMaster and that they brought this general orientation into the workshop series that began in 1994.

매년 열리는 "How to Teach EBM" 워크숍에서 학습자와 강사에게 배포되는 자료 패키지는 1974년 뉴펠드와 배로우(Neufeld and Barrows 1974년)의 기사를 재인쇄한 것으로, "문제 기반 학습Problem based learning"이라는 문구가 인쇄물로는 처음 언급되었다(Servant-Miklos 2018). 이 책에서 저자들은 의대 교육 설계가 구축되는 지침(Servant-Miklos 2018)으로 존 에반스가 몇 년 전에 초안한 8점짜리 학습 목표 세트를 주도했다.

• 이 중 첫 번째는 건강 문제를 식별하고, 이를 manage할 정보를 검색하는 기능을 지정했습니다.
• 두 번째는 질병 메커니즘과 과정에 대한 지식에 대한 꽤 전통적인 강조에 해당된다.
• 나머지 항목들은 자기 주도적이고 성찰적인 학습 행동과 대인관계 및 사회적 능력의 획득을 가리켰다.

The materials package distributed to learners and tutors at the annual “How to Teach EBM” workshops included as its cover piece a reprint of a 1974 article by Neufeld and Barrows (Neufeld and Barrows 1974) which was the first place that the phrase “problem based learning” was mentioned in print (Servant-Miklos 2018). In it, the authors led with an 8 point set of learning objectives drafted years earlier by John Evans as the guideline on which the medical school instructional design was built (Servant-Miklos 2018).

• The first of these specified the ability to identify a health problem and to search for information with which to manage it;
• the second corresponded to a fairly conventional emphasis on knowledge of disease mechanisms and processes; and
• the remaining items pointed to acquisition of self-directed and reflective learning behaviors and of interpersonal and social skills.

1974년 기사의 나머지 부분은 [자기 주도 학습]에 관한 섹션과 [맥마스터의 PBL에 대한 개념]에 관한 부분을 포함하고 있다. 후자의 설명은 개별 환자의 임상적 맥락에서 생물의학 지식과 질병에 대한 지식의 우수성을 인정하였다. 그러나, [문제 해결 기술의 우선성]에 중점을 두었고, ["문제 해결을 시작하기 전에 정보가 필요하다는 가정"]에 도전할 필요성에 더 중점을 두었다(Neufeld and Barrows 1974). "How to Teach EBM" 워크샵 자료 패키지에서는 위의 1974년 기사에 이어 워크숍에서 소규모 그룹 세션을 안내하도록 설계된 모듈식 패키지가 제시되었습니다. 이들은 "문제 기반 학습" 모듈로 분류되었다.

The rest of the 1974 article contained sections on self-directed learning and on the McMaster concept of PBL. The latter description acknowledged the pertinence of both biomedical knowledge and knowledge of disease in the clinical context of an individual patient. However, preponderant emphasis was placed on the primacy of problem solving skills and on the necessity of challenging “the assumption that information is required before problem solving can begin” (Neufeld and Barrows 1974). Within the “How to Teach EBM” workshop materials package, the above cited 1974 article was followed by modular packages designed to guide the small group sessions at the workshop. These were labelled “problem based learning” modules.

필수 논문
The essential thesis

서번트(Servant-Miklos 2018; Substant 2016)의 내레이션처럼, PBL의 개념은 1960년대 말 캐나다 맥마스터 대학에 의과대학이 설립되던 시기에, [이론에 의한 것이 아니라non-theory driven], [혁신적인 의학교육의 접근innovative approach]으로 시작되었다. 1970년대와 80년대에는, (초기 노력과 거의 관련이 없는 개인들에 의해 주로 개발된) 이론이 등장했고, 서번트는 이 이론이 "정보 처리 심리학(IPP)"에 기초하였다고 특징지었다. 이것은 [맥락과 무관한context free, 전이가능한transferable, 일반적인 문제 해결 기술]이라는 전제를 갖고 있었다. 이 모델은 사실 인지 심리학 연구(Ohlsson 2012)에 의해 이미 반박되었다. 그러나 1980년대(Barrows and Tamblyn 1980)에 출판된 PBL의 주요 출판물에서 승인되었다. 

As narrated by Servant (Servant-Miklos 2018; Servant 2016), the concept of PBL started with a non-theory driven but innovative approach to medical education with the founding of a medical school at McMaster University, Canada, in the late 1960s. During the 1970s and 80s a theory, largely developed by individuals who had had little to do with the initial effort, emerged which Servant characterizes as based on “informational processing psychology (IPP)” and which adopted a premise of context free, transferable, general problem solving skills. This model had in fact already been refuted by research in cognitive psychology (Ohlsson 2012). However, it was endorsed in the principal published elaboration of PBL during the 1980s (Barrows and Tamblyn 1980).

PBL의 IPP 모델에 inform한 [두 개의 상호 관련된 전제]는 특히 관련이 있다.

Two inter-related premises that informed the IPP model of PBL are particularly relevant to our inquiry.

첫 번째는 일반적인 문제 해결 능력이 특정 지식과는 무관하며, 문제해결능력을 숙달한 전문가는 이러한 기술을 다른, 어쩌면 생소한 지식 영역에도 적용할 수 있게 해주었다는 것이다. 즉, 컨텍스트와 특정 컨텐츠에 대한 지식은 '충족'될 수 있으며, 이에 따라 애플리케이션의 한 컨텍스트와 영역에서 다른 컨텍스트로 이전될 수 있다. IPP 관점을 기술하는 1980년의 중요한 책(Barrows and Tamblyn 1980)에서 Barrows와 Tamblyn은 [의학 지식의 확장이 문제 해결 기술의 발전에 장애가 될 수 있다고까지] 말한다(Barrows and Tamblyn 1980, P.88).

The first was that the general problem solving capacity was independent of specific knowledge and that its mastery allowed an expert to apply these skills to different, and perhaps even unfamiliar, knowledge domains. I.e., knowledge of context and specific content could be ‘filled in’ and expertise thereby transferred from one context and domain of application to another. In their sentinel 1980 volume describing the IPP view (Barrows and Tamblyn 1980), Barrows and Tamblyn go so far as to suggest that expanding medical knowledge can even serve as an impediment to the advancement of problem-solving skills (Barrows and Tamblyn 1980, P. 88)!

IPP 모델의 두 번째 관련 전제는 임상 문제 해결에 관련된 인지 프로세스가 컴퓨터가 문제를 표현하고 접근하는 방법과 유사한 [순수한 계산적 성격]을 갖는다는 것이었다. 이 가정은 배로우와 다른 사람들이 PBL과 관련된 문제에 대해 쓴 글에서 매우 두드러지게 나타났다. 서번트는 [임상 평가 과정에서 환자에 대한 진단 정보가 저장되고 검색되는 방법을 나타내는 표현]으로 Barrows가 "인지적 모자 랙"의 이미지를 환기시켰다고 관찰한다. 
The second relevant premise of the IPP model was that the cognitive processes involved in clinical problem solving are of a purely computational nature, akin to how problems are represented and approached by a computer. This assumption figured very prominently in the writings of Barrows and others on PBL and related issues. Servant observes (Servant-Miklos 2018) that Barrows evoked the image of a “cognitive hat rack” as a representation of how diagnostic information on a patient is stored and retrieved in the course of a clinical evaluation (Barrows and Bennett 1972).

[인지적 프로세스]를 순전히 계산적인 것으로 표현하는 것을 다르게 보면, 일종의 환원주의였으며, "인지주의cognitivism"라는 용어로 명명dubbed되었다(Haugeland 1978; Varea et al. 1991). 이 논평의 중심 논문이 지금 언급될 수 있다. 1992년에 제안된 EBM 교육 패러다임은 IPP, 즉 "인지론자cognitivist"와 밀접하게 연결되어 있다. 이 패러다임은 [병리학적 지식과 임상 경험을 강조하지 않을 것de-emphasis]을 제안하며, 1970년대 후반과 1980년대에 맥마스터 교육 접근법을 지배했던 PBL construct를 이해한 방식이다. 이 논문을 자세히 설명하기 전에, 우리는 PBL의 IPP 모델에 대한 대안이 존재한다는 것을 간단히 인정해야 한다.

The representation of cognitive processes as purely computational has otherwise been recognized as a form of reductionism and has been dubbed with the term “cognitivism” (Haugeland 1978; Varela et al. 1991). The central thesis of this commentary may now be stated. It is that the EBM educational paradigm, as proposed in 1992, including its proposed de-emphasis on pathophysiological knowledge and clinical experience, was closely aligned with the IPP, or “cognitivist”, understanding of the PBL construct that emerged and dominated the McMaster curricular approach during the late 1970s and 1980s. Before elaborating this thesis, we must briefly acknowledge the existence of an alternative to the IPP model of PBL.

서번트 등은 PBL construct에 대해 '사전 지식의 활성화'라는 대안적 이해를 갖고 있었고, 이는 네덜란드의 마스트리히트 대학 의과대학의 맥락에서 발생했다. 새로운 전제는 [문제 해결]과 [전문지식]은 맥락-기반 경험context-bound experience에 상호 뿌리를 두고 있으며, 지식이 복잡한 '스키마schemata'에 저장된다는 것이었다. 지식과 스키마는 도메인 내의 새로운 문제에 접근하는 과정에서 활성화되고, 궁극적으로 수정된다. 서번트는 마스트리히트 모델을 "구성주의자constructivist"로 분류한다. 이것은 단순한 IPP 계산 패러다임으로 환원할 수 없는 자기조직하는self-organizing, 새로운 인지 프로세스에 대한 가정을 기반으로 한다는 점에서 적절해 보인다. 그 안에서 [지식의 확대]는 더 이상 문제 해결의 수동적 또는 부차적인 결과가 아니며, 오히려 (의학 교육 활동의 주요 학습 목표는 아닐지라도) 선행적인 학습 목표를 구성한다. 서번트는 [맥락-무관 문제 해결로서의 PBL]과 [지식 활성화 및 합성으로서의 PBL] 사이의 갈등이 궁극적으로 해결될 수 없다고 주장한다(서번트-미클로스 2018).

What Servant et al. (Servant-Miklos 2018) term the ‘activation of prior knowledge’ alternative understanding of the PBL construct arose in the context of the development of the Maastricht University medical school in the Netherlands. The emerging premises were that problem solving and expertise are mutually rooted in context-bound experience and that knowledge is stored in complex ‘schemata’ that are both activated and ultimately modified in the course of approaching new problems within a domain. Servant categorizes the Maastricht model as “constructivist”. This seems appropriate in that it is based upon assumptions of self-organizing and emergent cognitive processes, not reducible to a simple IPP computational paradigm. Within it, the expansion of knowledge is no longer a passive or secondary consequence of problem solving but rather constitutes a leading, if not the principal, learning objective of medical educational activity. Servant argues that the conflict, between PBL as context-free problem solving and PBL as knowledge activation and synthesis, are ultimately irreconcilable (Servant-Miklos 2018).

앞의 구별을 염두에 두면, [(1990년대 초에 제안되고 추구된) EBM 패러다임]과 [(인접한 기간 동안 맥마스터에서 의료 커리큘럼을 지배했던) PBL에 대한 IPP 이해] 사이의 친화력을 쉽게 인식할 수 있게 된다. 이러한 친화력은 먼저 명확하게 식별될 것이다. 그런 다음 EBM 구조의 해당 한계가 실제에 반영되는 방법이 설명된다.
With the preceding distinction in mind, it becomes easy to recognize affinities between the EBM paradigm, as proposed and pursued in the early 1990s, and the IPP understanding of PBL that dominated the medical curriculum at McMaster during the contiguous period. These affinities will first be explicitly identified. Ways in which the corresponding limitations of the EBM construct have reflected in practice will then be illustrated.

표 1은 EBM과 IPP를 비고한다.

실제 EBM 패러다임
The EBM paradigm in practice

1992년 JAMA 발표는 [의학적 실천을 가르치는 '새로운 패러다임']으로 EBM을 제안했고, 그 주장을 뒷받침하기 위해 토마스 쿤의 과학 혁명 개념을 인용했다. 우리는 [새로운 패러다임의 변화를 정의내리는 요소]로 [비판적으로 평가된 임상 연구로부터 정보]를 더 선호하여, [병리학적 지식과 임상 경험에 대한 탈강조de-emphasis]를 확인했다. 또한 새로운 패러다임은 [문제 해결, IPP, 직전까지 맥마스터 의과대학 교육과정에서 지배적이었던 PBL 구조에 대한 이해]와 밀접함을 깨달았다. [McMaster에서 매년 열리는 "How to Teach EBM" 워크숍의 맥락에서 그리고 보다 광범위하게], EBM formulation은 어떻게 실행되었는가?
The 1992 JAMA announcement had proposed EBM as a ‘new paradigm’ in teaching the practice of medicine and had cited Thomas Kuhn’s concept of scientific revolutions (Kuhn 1962) to support that assertion. We have identified the de-emphasis on pathophysiological knowledge and clinical experience in favor of information from critically appraised clinical research as a defining element of the proposed paradigm shift and have recognized the affinity of this proposition to the problem solving, IPP, understanding of the PBL construct that had dominated the McMaster medical curriculum during the immediately preceding period. How did the EBM formulation play out in practice, both within the context of the annual “How to Teach EBM” workshops at McMaster and more widely?

이미 언급했듯이, EBM은 성공적으로 그리고 전세계적으로 널리 보급되었다. 연례 워크숍 모델은 이 보급의 주요 매개체 역할을 했습니다(Murad et al). 2009). 따라서, 이 "부모" 워크샵에서 발표된 EBM 교육이 갖는 약점이야말로, 패러다임이 궁극적으로 더 광범위하게 실패하는 이유에 대한 잠재적인 단서가 된다. 워크숍의 소규모 그룹은 일반 내과, 소아과 및 응급의학과 같은 특정 임상 전문 분야를 가진 실무자와 교육자로 구성되었다. 앞서 요약한 바와 같이, 워크숍에서 사용된 모듈식 교육 패키지의 개요는 전형적인 EBM 교육적 처방인 '질문', '습득', 비판적으로 '평가' 및 '적용'에 부합한다. 실제로, 이 네 개의 도메인은 동등하게 제시되었다. 임상 시나리오는 단일 연구 질문만 나올 수 있도록 단순화하고 구조화되었으며, 검색 전략의 설계를 용이하게 하기 위해 권장되는 템플릿 형식을 예상하는 방식으로 이루어졌다. 임상 연구를 검색하기 위해 전자 데이터베이스를 사용하는 것도 세션의 일부를 차지했다. 
As already noted, EBM was successfully and widely disseminated on a global basis. The model of the annual workshop served as a principal vehicle for this dissemination (Murad et al. 2009). Hence, weaknesses in the teaching of EBM exhibited at the parent workshops constitute potential clues to why the paradigm ultimately failed more widely. The small groups at the workshops were comprised of practitioners and educators with a specific clinical specialty, such as general internal medicine, pediatrics and emergency medicine. As previously summarized, the outline of the modular teaching packages used at the workshops conformed to the prototypical EBM educational prescription, ‘ask’, ‘acquire’, critically ‘appraise’, and ‘apply’. In actuality, these four domains were unequally represented in small group sessions. The clinical scenarios were simplified and structured such that only a single research question was likely to emerge, and in a fashion that anticipated the templated formatting recommended to facilitate the design of a search strategy. Use of electronic databases to retrieve clinical research also occupied a portion of the sessions.

그러나 지금까지 소규모 그룹 세션의 대부분은 방법론적 품질을 평가하기 위해 선택된 연구에 체크리스트 기준을 적용하는 방법을 탐구하는 데 초점을 맞췄다. 또한 연구 결과를 보고하기 위해 사용된 관련 연관성 측정의 이해에 중점을 두었다. [연구 결과를 원본 시나리오에 적용하는 방법]에 대해서는 작은 관심만이 집중되었다. 실제 의사 결정의 맥락에서, 증거 해석의 중심이 될 수 있는 [질병 프로세스 및 기존 임상 접근법의 이해와 관련된 문제에 대한 논의]는 중단되었다. 오히려, 촉진자들은 토론을 '모든 사람이 동의할 수 있는 것'으로 이끌도록 권고 받았다. 

However, by far, the bulk of the small group sessions revolved around exploring the application of the checklist criteria to the selected research articles to assess their methodological quality. Emphasis was also placed on understanding the relevant measures of association used to report the results of the research. Only a small amount of attention was directed to consideration of how to apply the research findings to the original scenario. Discussion of issues to do with understanding of disease processes and conventional clinical approaches, which could be central to the interpretation of evidence in the context of actual decision making, was discouraged. Rather, facilitators were advised to steer discussion towards ‘things that everyone could agree on.’

액면 그대로 보자면, "EBM 워크숍을 가르치는 방법"의 수행은 [(1990년대 맥마스터 의과대학 모교에서 해왔던 교육적 노력을 특징짓는) 비판적 평가에 대한 지식]을 증가시키려는 목적이 계속된 것을 주로 반영했다. 그러나, 현재의 논의와 질문에 비추어 볼 때, McMaster "How to Teach EBM" 워크숍 세션의 강조는 [1992년 EBM 운동에 의해 규정되었던 병리학적 지식과 임상 경험에 대한 de-emphasis에도 부합]하며, 이는 모두 임상적 관행을 거울삼기 위해 명시적으로 표현된 프레임워크 내에서였다.

At face value, the conduct of the “How to Teach EBM Workshops” largely reflected a continuation of the objective of increasing knowledge of critical appraisal that had characterized the antecedent instructional efforts of the parent Department of the McMaster medical school during the 1990s. However, in the light of our present discussion and inquiry, the emphasis of the McMaster “How to Teach EBM” workshop sessions also conformed to the de-emphasis on pathophysiological knowledge and clinical experience that had been prescribed in 1992 by the EBM movement, all within a framework explicitly represented to mirror clinical practice.

만약 우리가 EBM 패러다임의 발판을 [PBL 프레임워크]의 불이 붙도록 유지한다면, 그 프레임워크의 가장 큰 단점은 문제 자체가 구성되고 정의된 방식일 것이다. 앞에서 언급했듯이 맥마스터 모듈 패키지가 문제 기반problem-base으로 사용한 '시나리오'는 세부 사항을 주의 깊게 제거했다.   

• 환자 특성
• 코모비디티의 존재에 관한 우려
• 사회적, 실천적 환경과 관련되 맥락적 요인
• 다른 문제를 복잡하게 만드는 디테일

그렇게 함으로써 nature에 관한 단일한 질문만 남았으며, 하나의 임상적 선택만 남았다. '문제 정의'에 대한 이러한 접근 방식은 JAMA 사용자 가이드 시리즈에도 반영되었으며, 각 편은 그러한 '임상 시나리오'로 시작되었다(Guyatt et al. 1993).

If we hold the feet of the EBM paradigm to the fire of the PBL framework it posited for itself, the biggest shortcoming of that framework may well be the way that the problems themselves were constructed and defined. As previously noted the ‘scenarios’ used as the problem base upon which the McMaster modular packages revolved were carefully debrided of detail regarding patient characteristics and concerns, presence of co-morbidities, contextual factors related to both the social and practice environment or other complexifying details in such a fashion that only a single question of a nature easily referred to a clinical research design and pertaining to only a single clinical choice remained. This approach to problem definition was also reflected in the JAMA Users’ Guides series, each installment of which began with just such a ‘clinical scenario’ (Guyatt et al. 1993).

실제로 [(EBM 지침에 사용된) 문제 정의에 대한 지나치게 단순화된 접근 방식]은 [학습자가 습득한 기술]을 [실천에 통합]하는 데 실패했으며, [EBM 접근 방식이 실무자 행동에 영향을 미치는 데 효과적이지 않은 것]으로 판단하게 만드는 주요 이유이다. 와이어 등은 [실제 임상의료의 복잡성을 시뮬레이션하도록 설계된 임상 시나리오로부터 시작된 임상 연구]에서 참조할 수 있는referable 질문을 추출하는 것은, EBM 교육에 이전에 노출된 경험이 있는 학습자에게도 특히 어려운 일이라는 것을 발견했다. 

In fact, there is reason to believe that the over-simplified approach to problem definition used in EBM instruction failed to equip learners to integrate the skills they were acquiring into real-world practice and constituted a major reason that the EBM approach proved ineffective in impacting practitioner behavior. Wyer et al. (2009) found that extracting questions referable to clinical research from clinical scenarios designed to simulate the complexity of actual practice was particularly challenging, even for experienced learners who had previously been exposed to EBM training.

실제로, [실제 임상의 복잡성 내에서 researchable question을 식별하는 것]에 대한 관심은 맥마스터 워크숍 내부와 외부에서 EBM 교육 노력에 별로 없었다. Maggio 외 연구진(2013)은 이 도메인이 의대생들에게 EBM을 가르친다는 발표된 보고서에서 특징적으로 누락되었음을 발견했다. 마찬가지로, 모든 수준의 학습자 개발을 포함하는 체계적인 검토 결과, EBM 교육 노력에서 문제를 정의하고, 질문을 묻고, 연구 결과를 실무에 적용하는 도메인이 자주 누락되는 것으로 나타났다(Albarquni et al. 2018).

In practice, attention to identifying researchable questions within the complexity of real-world clinical encounters has been largely absent in EBM teaching efforts, both inside and outside of the McMaster workshops. Maggio et al. (2013) found that this domain was characteristically omitted from published reports of teaching EBM to medical undergraduates. Similarly, a systematic review that included all levels of learner development found that the domains of defining a problem, asking a question and applying research findings to practice were frequently omitted from EBM teaching efforts (Albarqouni et al. 2018).

EBM 및 임상 추론
EBM and clinical reasoning

우리는 일반적인 문제 해결 기술의 개발에 유리하게 지식 획득의 중요성을 경시했던 PBL에 대한 초기 관점에서 EBM 패러다임의 정렬을 검토했으며, 그러한 방향이 [의사의 행동에 대해 EBM의 영향을 무디게 만들었는지]를 제안했다. 또한 동일한 PBL 구조를 특징짓는 임상 인식 IPP 모델(Servant-Miklos 2018)과 EBM-PBL 정렬의 이 측면을 보다 구체적으로 다루고 학습자 개발에 미치는 영향과 관련하여 간략하게 고려하는 것이 적절하다. 단순성을 위해 초점은 진단 추론의 초점으로 제한된다.
We have reviewed the alignment of the EBM paradigm with an early perspective on PBL that had downplayed the importance of knowledge acquisition in favor of development of general problem solving skills and have suggested ways in which that orientation likely blunted the impact of EBM on practitioner behavior. It is also relevant to address more specifically the alignment of EBM with the IPP model of clinical cognition that characterized the same PBL construct (Servant-Miklos 2018) and to briefly consider this aspect of the EBM-PBL alignment with respect to its impact on learner development. For simplicity the focus will be restricted to that of diagnostic reasoning.

IPP 모델(Servant-Miklos 2018)에서 보듯이, EBM 패러다임은 아주 확고하게 임상 추론의 [가설 연역적] 프레임워크에 전념한다. 진단 추론과 관련하여, 이는 현재 널리 보급되고 있는 이중 프로세스 이론, 즉 각각 빠른 채널과 느린 인지 채널 간의 동반적 상호 작용과 관련이 있어야 한다(Norman et al. 2017). 이 구조의 이분법적 견해는 소위 빠른 채널이 단순한 패턴 인식과 휴리스틱 활성화의 영역을 구성하는 반면, 느린 채널은 분석적 추론과 가설적 추론 논리의 실행에 의해 특징지어진다고 간주한다. 따라서 진단 추론의 느린 채널에 중점을 두는 것은 초기 McMaster 개념의 가설 또는 연역 추론 모델에 대한 IPP 약속과 밀접하게 부합한다.
As is true of the IPP model (Servant-Miklos 2018), the EBM paradigm is firmly and steadfastly committed to the hypothetico-deductive framework of clinical reasoning. In relationship to diagnostic reasoning, this needs to be related to the currently prevailing notion of dual process theory, i.e. of a concomitant interplay between fast and slow cognitive channels respectively (Norman et al. 2017). A dichotomized view of this construct considers that the so-called fast channel constitutes the domain of simple pattern recognition and activation of heuristics whereas the slow channel is characterized by the exercise of analytical reasoning and hypothetico-deductive logic. Emphasis on the slow channel of diagnostic reasoning therefore is in close alignment with the IPP commitment to hypothetico deductive reasoning model of the early McMaster notion of PBL.

'의학 문헌 사용자 지침서'의 최신판은 패턴 인식의 빠른 경로를 인정하지만, [병력과 신체 검사 및 특정 테스트의 요소 해석에 대한 확률론적 접근법]을 사용하여 [진단 가설을 구성하고 검증하는 것]의 중요성을 강조한다(리처드슨과 윌슨 2015). EBM 문헌 전반에 걸쳐, 진단 프로세스는 (검사의 민감도 및 특수성과 같은) 진단 정확도의 전통적인 성능 분석의 대상이 되는, (임상 이력과 신체 검사의 요소를 포함한) 환자 특성을 고려한 관점에서 설명된다. 이는 분석적이고 느린 채널, 진단 인식 차원에 대한 의존성을 선호하며 계산 정보 처리 모델과 호환된다. EBM은 진단 추론의 신중한 측면을 강조하지만, 연구에 따르면, 실제로 이 방식modality을 지나치게 강조하는 경우, 학습자의 진단 전문성 개발이 방해받을 수 있음을 시사한다. 노먼은 의대생들에게 일련의 진단 문제에 접근하는 데 더 많은 시간을 할애하고 숙고하도록 장려하는 것이 '빠르고 정확하게' 일하도록 지시받은 학습자들에 비해 정확도가 떨어진다는 것을 발견했다.

The most recent edition of the Users’ Guides to the Medical Literature acknowledges the fast channel of pattern recognition but emphasizes the importance of forming diagnostic hypotheses and testing them using a probabilistic approach to interpretation of elements of history and physical examination and specific tests (Richardson and Wilson 2015). Throughout the EBM literature, the diagnostic process is described in terms of consideration of patient characteristics, including elements of clinical history and physical examination (Sackett 2009; Simel and Keitz 2009), that can be subjected to conventional performance analysis of diagnostic accuracy, such as the sensitivity and specificity of a test. This favors dependence on the analytical, slow channel, dimension of diagnostic cognition and is compatible with a computational, information processing model. Although EBM emphasizes the deliberative aspect of diagnostic reasoning, research suggests that development of diagnostic expertise in learners might actually be hampered by an over-emphasis on this modality. Norman et al. 2014 found that encouraging medical undergraduates to take more time and be deliberative in approaching a set of diagnostic problems decreased their accuracy compared to learners who were instructed to work ‘quickly and accurately’.

EBM은 실제로 사용됩니까?
Is EBM used in practice?

앞서 말한 것을 볼 때, 자연스러운 충동은 다음과 같이 묻는 것이다: "그 강점과 약점에도 불구하고, EBM은 실제로 실제로 사용되는가?" 그 대답은, 놀랄 것도 없이, 여러분이 질문을 어떻게 하고 'EBM'이 무엇을 의미하느냐에 달려 있다. 소수 민족학 연구들이 이것을 다루고 있습니다. 간접적인 증거는 오하이오 주립 대학 병원 시스템에서 의사들이 의료 병동에서 어떤 지식 프레임워크를 실천하는지가 의사결정에 가장 많이 의존했는지에 대한 문제를 살펴본 타넨바움(1994)의 초기 연구에서 나왔다.

• 저자에 의해 '경험주의자'로 명명된 의사들은, 임상 연구로부터 직접 얻어진 확률적 정보의 종류에 반응하지 않는다고 결론지었다.
• 오히려, 그들은 '사물이 어떻게 작용하는가'에 대한 이해에 크게 의존하고 있으며, 병리학적, 임상적 차원에서 저자는 '결정론적'이라고 부른다. 

In view of the foregoing, a natural impulse is to ask: “Notwithstanding its strengths and weaknesses, is EBM actually used in practice?” The answer, not surprisingly, is that it depends on how you ask the question and what you mean by ‘EBM’. A small number of ethnographic studies have addressed this. Indirect evidence comes from an early study by Tanenbaum (1994) who looked at the issue of what knowledge framework physicians practicing on medical wards in the Ohio State University hospital system most relied on for decision making.

• She concluded that practitioners do not respond to the kind of probabilistic information, labelled ‘empiricist’ by the author, that is gleaned directly from clinical research.
• Rather, they rely largely on their understanding of ‘how things work’, on a pathophysiological and clinical level, an approach the author calls ‘deterministic’.

좀 더 직접적으로, Gabbay와 Le May는 영국에서 품질 지표에 대한 뛰어난 성과로 상을 받은 클리닉 환경에서 의료진의 정보 사용을 연구했다(Gabbay와 Le May 2004). 그들이 관찰한 임상의들이 현재의 지침과 임상 연구에 관심을 가지고 있다고 자부했지만, 

More directly, Gabbay and Le May studied the use of information by clinical staff in clinic settings in the UK which had received awards for outstanding performance on quality metrics (Gabbay and Le May 2004). Although the clinicians they observed prided themselves on attention to current guidelines and clinical research, the authors

저자들은 개별 실무자들이 전통적으로 [증거 기반 의료]의 [선형-이성적 모델linear-rational model과 관련된 단계]를 거치지 않았다는 것을 발견했다. —우리가 그들을 관찰하는 동안 단 한 번도 없었다. (Gabbay 및 Le May 2004)

…found that the individual practitioners did not go through the steps that are traditionally associated with the linear-rational model of evidence based health care—not once in the whole time we were observing them. (Gabbay and Le May 2004)

"전통적으로 증거 기반 의료와 관련된 단계"에 의해, 저자들은 EBM 실무 교육에 일반적으로 사용되는 'ask', 'acquire', 'appraise' 및 'apply' 형식을 언급하였다. 그들이 관찰한 바에 따르면, 그러한 '선형 이성적 모델'과는 반대로, 임상적 증거와 지침에 대한 임상의사의 인식은 사회적 과정을 통해 저자들이 '마인드라인mindline'이라고 부르는 것으로 여과되고 증려되었다. 그들은 이러한 구조를 illness script와 유사한 캡슐화된 구조를 이룬다고 간주했다. illness script는 PBL의 지식 활성화 및 획득 모델의 핵심으로 식별된 것이다
By “the steps traditionally associated with evidence based health care”, the authors were referring to the ‘ask’, ‘acquire’, ‘appraise’ and ‘apply’ format commonly used to teach EBM practice. What they observed suggested that, as opposed to such a ‘linear-rational model’, clinicians’ awareness of clinical evidence and guidelines was filtered through and distilled via social processes into what the authors term ‘mindlines’. They conceived these to constitute encapsulated structures which they considered to be analogous to ‘illness scripts’, i.e. to the cognitive structures identified as the core of the knowledge activation and acquisition model of PBL (Servant-Miklos 2018).

마침내, 개인적인 일화적 증거의 출처로서, 몇 년 전 저자는 델라웨어의 병원 시스템에 의해 맥매스터로부터 의뢰받은 EBM 워크숍의 일부였다. 교수진의 만찬이 진행되는 동안, 그들 중 한 명이 무심코 그 단체에 물었다: "당신은 개인적으로 우리가 가르치고 있는 처방prescription을 실제 진료에 사용한 적이 있는가?" 질문을 한 개인을 포함한 그룹의 모든 구성원들은 그들이 한 번도 실제로 그런 적이 없었다고 인정했다. 이 작가는 그 에피소드를 되새기며 그룹의 대답이 자신에게도 적용된다는 사실을 곰곰이 생각해 보았다. 이것은 교수 그룹의 구성원들이 그들 자신의 임상 실습 과정에서 현재의 연구 결과를 망각했다는 것을 의미하지 않으며, 맥마스터 경험에서 배운 중요한 평가 기준의 관련성을 간과했다는 것을 의미하지 않는다. 오히려 그것은 그들이 'EBM 패러다임'으로 가르치고 있는 [단계적 합리주의적 rubric]이 [증거 기반 임상 실습과 관련된 인지 과정]과는 [기껏해야 매우 간접적인 관계]만을 가지고 있다는 것을 시사했다.

Finally, as a personal anecdotal source of evidence, some years ago the author was part of an EBM workshop that had been commissioned from McMaster by a hospital system in Delaware. In the course of a faculty dinner, one of them casually asked the group: “Have you personally ever used the prescription we are teaching-formatting a question, doing a search etc.- in actual practice”? All members of the group, including the individual who asked the question, admitted that they had never-not once-actually done that. This author reflected on that episode and pondered the fact that the group’s answer applied to himself as well. This does not mean that the members of the faculty group were oblivious to current research findings in the course of their own clinical practice, nor that they overlooked the relevance of the critical appraisal criteria they had learned from the McMaster experience. Rather it suggested that, at best, the stepwise rationalistic rubric that they were teaching as ‘the EBM paradigm’ had only a very indirect relationship to the cognitive processes involved in evidence-informed clinical practice.

건설적인 PBL 환경에 문학 기술 도입
Bringing literature skills into a constructivist PBL environment

PBL 개념의 진화에 대한 지난 30년간의 경험, 지식과 정보가 임상 실습에서 어떻게 접근하고 사용되는지에 대한 관찰, 그리고 다양한 환경에서 EBM 기술을 가르친 경험에 대한 경험은 EBM이 심각한 업데이트가 필요하며, 아마도 새로운 이름이 필요할 것임을 시사한다. 몇 가지 구체적인 제안이 뒤따른다.
The last 3 decades of experience of the evolution of the concept of PBL, of observations of how knowledge and information are accessed and used in clinical practice, and of the experience of teaching EBM skills in various settings, suggests that EBM is in serious need of an update, and probably a new name. A few specific suggestions follow.

1990년대에 "증거 기반 의학"이라는 라벨이 폭발적으로 보급된 것은 [EBM이 제공하는 것으로 보이는seemed to 것]이 필요했기 때문이다. 교육 이니셔티브로서 EBM의 호소를 부분적으로만 반영하였다(Eddy 2005). 지난 몇 년 동안, 많은 사람들은 "evidence-based medicine"이라는 용어가 오해의 소지가 있다고 인식해 왔다. 게다가, 용어 자체는 의학 교육과는 무관한 많은 의미를 가지고 있다(Djulbegovic and Guyatt 2017; Wyer and Silva 2015).

The explosive dissemination of the label “evidence-based medicine” in the 1990s happened because what EBM seemed to offer was needed. It only partially reflected the appeal of EBM as an educational initiative (Eddy 2005). Over the years, many have perceived the term “evidence-based medicine” to be misleading. Furthermore, the term itself has taken on many meanings unrelated to medical education (Djulbegovic and Guyatt 2017; Wyer and Silva 2015).

EBM과 관련된 학습 요구가 계속 존재하는 것은 [의료 시스템 내에서 임상 연구의 확장된 역할의 결과]에 기인한다. 이를 인식하여, EBM이 원래 제공하려고 했던 것 중 가치 있고 필요한 것, [즉 연구 문헌을 비판적으로 읽고, 전자 데이터베이스를 효과적으로 사용할 수 있는 능력]을 [임상 지식과 경험의 중요성을 무시하지 않으면서], [개념적으로 실행 가능한 프레임워크에 통합할 수 있어야] 한다. 

The learning needs related to EBM continue to exist as a result of the expanded role of clinical research within the healthcare system. Recognizing this, it should be possible to integrate what is valuable and needed among the original offerings of EBM, namely the ability to critically read research literature and to effectively use electronic databases, into a conceptually viable framework without discrediting the importance of clinical knowledge and experience.

환자 중심의 관리를 개별 환자에게 전달하는 맥락에서, [관련 임상 연구의 일상적인 고려]는 임상 의학 교육에 대해 특이하게 정의된 패러다임을 요구하지 않는다. 이는 의료행위의 대안적 인식론alternative epistemologies 없이도 달성 가능해야 한다. 교육적 맥락에서 "EBM"이라는 용어의 사용을 포기할 때가 된 것일지도 모른다. 그보다는 이 분야에서 [실제 학습 목표와 기술 개발의 역할에 더 부합하는 용어]를 선택해야 한다.

The routine consideration of relevant clinical research in the context of delivering patient-centered care to individual patients does not require a uniquely defined paradigm for the teaching of clinical medicine. It should be achievable without the need for alternative epistemologies of medical practice. It may well be time to abandon use of the term “EBM” in the educational context in favor of terminology more in keeping with the actual learning objectives and roles of skill development in this area.

(우리가 PBL에 대한 Maastricht 접근 방식에서 나온 새로운 경험으로 인해 도전받은) [사전, 통합된, 지식인출의 학습 모델]을 수용한다면 임상 연구 증거는 임상 치료 정보를 형성하는 하나의(그저 여러 정보 중 하나에 불과한) 것이 된다. 또한 Boyd가 고품질 임상 지침의 권고사항을 여러 건강 조건을 가진 환자의 요구와 비교함으로써 증명했듯이, [고품질 임상 가이드라인의 권고 정보]는 실제 세계 의료와 종종 [매우 간접적]이다.
If we accept the learning model of retrieval of prior, integrated, knowledge challenged by new experience that emerged from the Maastricht approach to PBL (Servant-Miklos 2018), then clinical research evidence emerges as one, and only one, source of information shaping clinical care. Furthermore, as Boyd et al. (2005) demonstrated by comparing the recommendations of high quality clinical guidelines to the needs of patients with multiple health conditions, that information is frequently very indirect in its relevance to real world healthcare.

[직접적인 임상 기술에 보조적인 전문 기술 영역의 숙달]을 촉진하는 방법에 관해서 지속적으로 문제가 발생하는 이유는, [즉각적인 적용과 분리된 컨텍스트] 또는 [주로 그것들이 궁극적으로 적용될 프레임워크와 유사한 것analogous] 속에서 습득하려고 시도했기 때문이다. [저널 클럽]과 같은 [은신처 환경sheltered setting]에서 습득한 EBM 관련 기술을 [실무 환경]으로 전이하려는 노력은 대부분 성공적이지 못했다. 따라서, 임상 연구 문헌에 대한 인식을 높이기 위한 우리의 노력이 환자에게 의료 서비스를 제공하는 데 적극적으로 기여하려면, [학습 환경 자체]가 [실무적 의사 결정에 통합되는 과정]을 훨씬 더 잘 반영해야 할 필요가 있는 것으로 보인다. [(학습의 vehicle로 사용되는) 문제의 일차적인 초점]이 [실제 복잡성을 반영하는 임상적 상황으로 시작되어 유지되는 PBL 접근 방식]은 이상적인 출발점을 구성하는 것처럼 보일 것이다. Gabbay와 Le May(2004)의 연구에서 보여주듯이, [임상 연구와 가이드라인]이 [임상의료행위를 형성, 변경 또는 강화하는 과정]은 [사회적으로 매개되는 과정]이기 때문에, 관련 기술 세트의 습득은 [순수하게 개인적인 것]이 아니라 [그룹의 단위에서 가장 잘 프레임화] 될 가능성이 높다.
A perennial issue regarding how best to facilitate the mastery of specialized skill domains which are ancillary to direct clinical skills is whether to attempt to acquire them in a context divorced from immediate application or primarily within a framework analogous to that within which they will ultimately be applied. Efforts to transfer EBM related skills acquired in sheltered settings, such as journal clubs, to practice settings have been largely unsuccessful. Hence, it would seem that, if our efforts to enable enhanced awareness of the clinical research literature are to make an active contribution to the delivery of healthcare to patients, the learning environment needs to itself preponderantly reflect the process of integration into practice decisions. A PBL approach in which the primary focus of the problem being used as the learning vehicle begins with and remains a clinical situation mirroring real-world complexity would seem to constitute an ideal point of departure. Since, as shown by the research of Gabbay and Le May (2004) the process through which clinical research and guidelines shapes, alters or reinforces clinical practice is a socially mediated one, the acquisition of relevant skill sets is also likely best framed as a group, as opposed to a purely individual, undertaking.

임상 교육자들은 [임상의료에서 문헌을 활용하는 기술을 훈련시키는 목표]가 [문헌의 출판 가능한 평가를 수행하는 역학자와 과학 리뷰어의 목적]과 매우 다르다는 것에 안심해도 된다. 대부분의 임상의들이 연구 문헌의 방법론적 평가의 뉘앙스에 거의 관심이 없다는 것은 얼마 전 EBM 운동에 의해 인정되었다(Guyatt et al. 2000) 임상의에게 필요한 것은 오히려 [비판적 평가 원칙critical appraisal principles]과, [연구 설계의 결함이 어떻게 연구 결과를 무효화할 수 있는지]에 대한 실무적인 친숙함이다.
Clinical educators need to be reassured that the goals of training clinical learners in literature skills are very different from those of equipping epidemiologists and scientific reviewers to do publishable appraisals of the literature. That the great majority of clinicians have little interest in the nuances of methodological appraisal of research literature was acknowledged by the EBM movement some time ago (Guyatt et al.2000). What clinicians need is rather a working familiarity with critical appraisal principles and the ways that flaws in research design may invalidate study findings.

임상 실무의 맥락에서 [임상 연구의 신중한 고려judicious consideration에 필요한 기술]이 [임상 기술과 전문지식의 발전에 보조적]이라는 점을 고려하면, 학부 수준의 의학교육과 그에 상응하는 다른 분야들이 그러한 노력을 위한 가장 효과적인 학습장을 구성하는 것처럼 보일 것이다. 
Considering that the skills required for judicious consideration of clinical research in the context of clinical practice are ancillary to the development of clinical skills and expertise, the undergraduate level of medical education and its equivalent in other disciplines would seem to constitute the most effective learning venue for such efforts. 

Adv Health Sci Educ Theory Pract. 2019 Dec;24(5):865-878.

 doi: 10.1007/s10459-019-09921-5. Epub 2019 Oct 15.

Evidence-based medicine and problem based learning a critical re-evaluation

Peter C Wyer 1

Affiliations collapse

Affiliation

• 1Department of Emergency Medicine, Columbia University Medical Center, NYC, 622 W 168th Street, New York, NY, 10032, USA. pwyer1@gmail.com.

• PMID: 31617018

• DOI: 10.1007/s10459-019-09921-5

Abstract

Evidence-based medicine (EBM) has been the subject of controversy since it was introduced in 1992. However, it has yet to be critically examined as an alternative paradigm for medical education, which is how it was proposed. This commentary examines EBM on the terms on which it was originally advanced and within the context that gave rise to it, the problem-based learning (PBL) environment at McMaster University in the 1970s and 80s. The EBM educational prescription is revealed to be aligned with the information processing psychology (IPP) model of learning through acquisition of general problem solving skills that characterized the early McMaster version of PBL. The IPP model has been identified in the literature as discordant with an alternative, constructivist, model that emerged at Maastricht University in the Netherlands over the subsequent period. Strengths and weaknesses of EBM are identified from the standpoint of the underlying cognitive theories. Principles are proposed with which to guide an educationally viable approach to learning and teaching the valuable skills included within the original EBM formula.

Keywords: Evidence based medicine; Medical education; Problem based learning.