학습이론과 교육개입: 층화분석을 통한 의미있는 영향력근거 만들기(Acad Med, 2019)

학습이론과 교육개입: 층화분석을 통한 의미있는 영향력근거 만들기(Acad Med, 2019)

Learning Theory and Educational Intervention: Producing Meaningful Evidence of Impact Through Layered Analysis

Anna T. Cianciolo, PhD, and Glenn Regehr, PhD

최근 수십 년 동안, 의학교육의 혁신은 증가해 왔다.

In recent decades, innovations in medical education have multiplied,

그러나 혁신을 구현하는 것은 어렵다. 잘 확립된 방법에 기초한 혁신도 [필요한 조직 변경의 범위 때문에] 예상대로 구현되거나 시간이 경과함에 따라 지속되지 않을 수 있다.7

Implementing innovations, however, is difficult; Even innovations based on well-established methods may not be implemented as expected, or sustained over time, because of the extent of organizational change needed.7

"효과가 있었는가?"에 대한 평가연구는 의학 교육 저널에서 가장 많이 인용되는 연구결과들 중 하나이다.11 그러나, 바람직한 결과를 입증하는 것조차 쉽지는 않다. 체계적인 검토와 메타 분석은 일반적으로 학업 성과의 큰 차이를 보여주지 않는다.10 또한 혁신의 긍정적인 효과가 피상적이고 과도하며, 12 또는 심지어 잠재적으로 오해의 소지가 있다고 보고되는 것도 드문 일이 아니다.13,14 

“Did it work?” evaluations are among the most cited publications in medical education journals.11 However, demonstrating desired outcomes also is difficult. systematic reviews and meta-analyses commonly show no significant difference in academic performance.10 In addition, it is not uncommon for the positive reported effects of innovations to be superficial and transient,12 or even potentially misleading.13,14 

의료 교육 커리큘럼 실험에서 세 가지 광범위한 비평이 있다.

• 하나는 무원칙한 실험 설계와 실행이다.15 

• 또 다른 하나는 지배적인 인지, 사회, 기술 또는 기타 학습 조건에 대한 부적절한 설명이다. 이 경우에 학습자가 달라지면 근본적으로 다른 경험을 할 수 있고 따라서 일관되지 않은 결과를 얻을 수 있다.10

Three broad critiques have been leveled at curricular experiments in medical education. 

• One is the use of unprincipled experimental design and conduct.15 

• Another is inadequate description of the prevailing cognitive, social, technological, or other learning conditions,12,15 which could produce fundamentally different experiences for different learners and therefore inconsistent results.10

아마도 비판 중 가장 많은 것은, 어떤 혁신이 교육적으로 작동해야만하는 개념적 기전에 대한 설명이 취약하다는 것이다. 이렇게 이론적 틀의 없을 경우, 인터벤션을 설계하고 시험하고 성과 척도를 선택하는 능력을 제한한다.12–14

Perhaps the broadest of these critiques is weak articulation of the conceptual mechanisms by which an innovation should work educationally. This lack of theoretical framing limits our ability to design and test interventions and to select outcome measures.12–14

이러한 비평은 [커리큘럼 실험]이 미래의 설계와 평가에 더 도움이 되려면, [주어진 맥락에서의 학습에 대한 이해를 심화시키기 위해 더 많은 것을 해야 한다]는 것을 의미한다.9 다른 식으로 말하자면, 일관성 있고 의미 있는 영향의 증거를 얻으려면, "그것이 작동했다"는 결론을 내리기 전에 "그것"이 무엇인지에 대한 면밀한 조사가 있어야 한다.

These critiques imply that curricular experiments must do more to deepen understanding of learning in context so that they can better inform future design and evaluation.9 Put another way, to produce coherent, meaningful evidence of impact, conclusions that “it worked” should not precede scrutiny of what “it” was.

"의도적인 개입은 무엇인가?", "실제로 그런 개입이 있긴 했는가?"

“What is the intended intervention?” and “Did that intervention, in fact, occur?”

개입의 층위

Layers of Intervention

"의도한 개입이란 무엇인가?"라는 질문은 개입이 정체성을 갖는다고 본다. 개입이란 것은 [변형에도 불구하고 자신의 본질을 유지하는 분류 가능한 실체]다. 개입의 본질은 개입의 기저에 깔린 교육 철학이다: 이 교육철학은 서로 다른 교육 철학을 바탕으로 한 다양한 개입을 구별해주는 개념적 학습 조건이다.

The question “What is the intended intervention?” involves seeing an intervention as having an identity; it is a classifiable entity that retains its essence despite being adapted.16 This essence is the intervention’s underlying educational philosophy: the conceptual learning conditions that distinguish the intervention from those based on different educational philosophies.17

바르피오와 동료들은 "테크닉이나 원칙이 새로운 맥락으로 변형될 때, 변화에도 불구하고 여전히 그 혁신의 철학을 지지하는지를 분석하는 것이 중요하다"고 지적했다. 그들의 훈계는 '정체성'을 교육 혁신의 핵심 관심사로 만든다; 정체성이 핵심이 된다는 것은 [개념적 학습 조건의 유지]를 우선시하고, [개념적 학습 조건을 보존하기 위해 원칙과 기법의 공들인 적응]을 요구한다.

Varpio and colleagues17(p365) noted, “When techniques and/or principles are modified to a new context, it is important to analyze if the modifications still uphold the innovation’s philosophy.” Their admonition makes identity a core concern in educational innovation; it prioritizes the maintenance of conceptual learning conditions and calls for conscientious adaptation of principles and techniques in order to preserve them.

교육 실험의 관점에서 보면, "적절하게 스케일링되지 않으면, 개입은 완전히 다른 것이 될 수 있다. 잘못 된 개입은 이론이 주어진 규모에서 작동하는지 여부에 대한 검증이 아니라, 그냥 처리되어야 할 워크시트나, 통과해야만 하는 수업'에 그칠 수 있다."18(p23). 즉, "적절하게 스케일링되지 않으면", 개입은 그 본질을 잃고, 혁신가는 개입의 표면적 특성만 집행하게 되어서, 당초에 촉진하려던 개념적 학습 조건은 무시하게 된다.

Put in terms of educational experimentation, “if scaled improperly … interventions could become something different entirely—not a test of whether the theory works at scale, but a worksheet to be handed out or a lesson to ‘get through.’”18(p23) That is, when “scaled improperly,” an intervention’s essence is lost; the innovator has focused on the implementation of surface-level characteristics without attending to the conceptual learning conditions they were designed to foster.16

"실행implementation"이란 특정한 교육적 개입의 기능에 영향을 미치는 복잡한 요인 집합으로 구성된다.12,16 예를 들어, 커리큘럼에 서로 상충하는 철학을 구체화하는 혁신을 포함시키면, 더 작은 수준에서 이뤄지는 개입에서 학습자의 참여에 영향을 줄 수도 있고, 개념적 학습 조건을 수립하려는 노력에 방해가 될 수도 있다.19"의도한 개입은 무엇인가?"를 확인하기 위해서는 혁신자들은 [underlying theory]와 [광범위한 상황 요인]을 모두 설명해주는 개입의 정체성을 밝혀야 한다.

implementation comprises a complex set of factors that affect an educational intervention’s function.12,16 For example, embedding an innovation in a larger curriculum that embodies competing philosophies can affect learner engagement with the local intervention and negate efforts to establish the conceptual learning conditions of interest.19 Asking, “What is the intended intervention?” requires innovators to represent their intervention’s identity in a way that accounts both for underlying theory and a broad range of contextual factors.20

실행이 [개입의 본질을 보존하는지 여부]를 결정하는 것은 실험의 기본 요소인 조작 점검manipulation check과 유사하다.20

Determining whether implementation preserves a intervention’s essence has parallels in a basic element of experimentation: the manipulation check.20

• 조작에 따라 결과가 예상대로 나온다면예상 (개입은 "작동"), Manipulation checks는 이 효과가 [이론에 기반한 예상했던 주장의 결과인지] 또는 [부수적이고 잘 이해되지 않는 조건에 따른 결과인지]를 실험자들이 구별하는 데 도움이 된다. 

• 반대로 예상대로 결과를 얻지 못할 경우(개입은 "작동"하지 않음), Manipulation checks은 [이것이 이론의 실패]인지 아니면 [원하는 개념적 조건을 만드는 표면적 조작의 실패인지]를 실험자가 알 수 있도록 도와준다. 

Manipulation checks는 이런 방식으로 개입의 정체를 추궁한다.

• When a manipulation has the anticipated outcome (the intervention “works”), manipulation checks help experimenters discern whether this effect enables plausible claims about theory or instead must be attributed to incidental, poorly understood conditions. 

• When a manipulation fails to have the expected outcome (the intervention does not “work”), the manipulation check helps the experimenter know whether this was a failure of theory or the failure of surface manipulations to create the desired conceptual conditions. 

In this way, manipulation checks interrogate an intervention’s identity.

그림 1

Figure 1

(1) 교육철학은 가장 아래층으로, 즉 개입의 본질이다. 근본적 레이어란, 개입이 그것을 설계한 사람이 주장하는 것이 되기 위해 유지되어야 하는 맥락-비의존적인, 이상적인 학습 조건의 진술이다.

Educational philosophy is shown at the bottom of the figure as the foundational layer, the essence of an intervention. It is a context- independent, idealized statement of the learning conditions that must hold for the intervention to be what its designer claims it is.

(2) 근본적 레이어의 위에는 개입의 구조적 측면을 반영하는 레이어가 존재한다. 이 레이어는 맥락에 따라 조정될 수 있지만, 그럼에도 불구하고 개념적 학습 조건을 확립하기 위해서는, 다소 일반화되고 비교적 안정적인 접근방식이어야 한다.

Above this is the layer of principles, reflecting the structural aspects of the intervention, which may be adjusted adaptively to context, but nevertheless represent somewhat generalized and relatively stable approaches to establishing conceptual learning conditions.

(3) 개입의 가장 상층에는 가장 맥락에 민감한 것들이 존재하고, 이것은 주로 테크닉으로 구성된다. 이 테크닉은 맥락적 요인에 따라 달라지며, 국지정 상황에 따라 맞춤형으로 개입이 달라질 수 있다.

The top layer of the intervention, the most context sensitive, comprises techniques, which account for contextual factors and allow the intervention to be tailored to a local setting.

레이어를 명확하게 나누지 못하는 것은, 실제적으로 레이어 간 명확한 경계가 없음을 반영한다.

The lack of clear delineations between layers realistically reflects the absence of clear boundaries between them.

개입을 여러 층으로 보고, 맥락적 영향을 받는 정도가 각각 다르다고 본다. 

Viewing interventions as layered, with each layer differing in sensitivity to contextual influence

즉, 개입의 표면 특성을 바꾼다고 해서, 개입의 정체성을 위협하지는 않는다.

That is, adaptations of an intervention’s surface characteristics do not necessarily threaten its identity;

반대로, 테크닉을 유지한다고 해서 반드시 교육철학이 보존되는 것도 아니다.16

Conversely, as Yeager and Walton18 noted, retention of techniques across contexts does not necessarily imply preservation of educational philosophy.16

작업 예제: PBL

A Worked Example: PBL

PBL의 교육철학은 집중적으로 조사되었다.25 그 현재 형태는 발달하는 의사들이 맥락-특이적인 풍부한 지식을 구성해야 하고, 이 지식구축은 본질적으로 동기 부여되고 자기조절되는 학습과정을 통해 사회적 맥락 안에서 일어난다는 생각을 반영한다.26,27 그럼에도 불구하고 실제로 무엇이 PBL 튜토리얼 동안 진행되며, 이것이 지식 구축 프로세스와 부합하는지 여부는 대부분 검증되지 않은 채로 남아 있다.28–30

PBL’s educational philosophy has been investigated intensively.25 Its current form reflects the idea that developing physicians must construct a wealth of context-specific knowledge and that this knowledge construction occurs within a social context via an intrinsically motivated and self-regulated learning process.26,27 Nevertheless, what actually goes on during PBL tutorials, and whether it resembles this knowledge construction process, remains largely unexamined.28–30

그림 2.

Figure 2.

PBL의 교육 철학: 이론적 학습 조건, PBL을 강의와 구분하는 구성주의적 학습 철학, 32 일대일 과외와 유사한 사회적 학습 활동을 반영하는 학습 조건, 33,34

PBL’s educational philosophy: the theoretical learning conditions, consistent with a constructivist philosophy of learning, that distinguish PBL from lecture,32 that reflect social learning activities akin to those of one-on-one tutoring,33,34

이러한 조건은 주제, 학습 도구 및 교육 자료뿐만 아니라 학습자 및 학습자-교수자 간 상호 작용으로 구성된다.35,36

These conditions comprise learner interaction with one another and the facilitator, as well as with the subject matter, learning tools, and instructional materials.35,36

PBL의 원칙(그림 2, 중간 계층)는 PBL의 사회적, 인지적 학습 조건을 확립하는 그룹 구성원들 사이의 문제 중심적이고 긍정적인 상호의존성을 촉진하기 위해 생각되는 구조적 요소들이다.35,44

The principles of PBL (Figure 2, middle layer) are structural elements thought to foster the problem-driven, positive interdependence among group members that establish PBL’s social and cognitive learning conditions.35,44

• 첫 번째 원칙은, 실세계 관련 문제(예: 임상 사례)의 사용은 학습자의 본질적인 관심을 자극하여 교육 도구 및 자료에 참여하게 한다.36,45

One principle, the use of relevant, real-world problems (e.g., clinical cases), motivates learners’ intrinsic interest to engage with instructional tools and materials.36,45

• 두 번째 원칙, 즉 PBL은 학습자 주도적이라는 원칙은, 학습자가 자신의 문제 해결 목표를 정의하고, 개인적으로 지식 격차를 식별하고, 이를 해결하기 위한 접근법을 만들 기회를 제공한다.36,45

A second principle, that PBL is learner led, affords learners the opportunity to define their own problem-solving goals, to personally identify their knowledge gaps, and to create an approach to addressing them.36,45

• 세 번째 원칙인 문제 해결은 협력적 노력이며, 학습자가 문제 해결을 그룹화하여 집단적인 해결책에 도달했을 때 성공을 달성하는 데 자신의 이해와 사고 능력을 기여할 수 있도록 한다.35,44,45

A third principle, that problem solving is a collaborative effort, enables learners to contribute their own understanding and thinking skills to group problem solving, achieving success when a collective solution is reached.35,44,45

이러한 원칙을 고수하면 PBL의 인지적, 사회적 학습 조건이 촉진되지만, 구조적 특성이 다르더라도 교육 철학이 보존되는 등의 적응이 필요할 수 있다.

Adherence to these principles promotes PBL’s cognitive and social learning conditions, but context may call for adaptations such that educational philosophy is preserved even if structural characteristics differ.

비록 임상 사례들이 새로운 의대생들에게 일정정도의 미스터리와 충분한 참여 기회를 제공하지만, 문제 해결은 일반적으로 기초 과학 지식의 획득이라는 궁극적인 목표를 가지고, 비교적 구조화된 가설-연역적 과정을 적용하는 것을 포함한다. 그러나 가설연역적 조사 과정은 [학습자들이 정보를 수집하는 쉽고 더 만족스러운 방법이 있다는 것을 발견함]에 따라 매력을 잃는다.47

although clinical cases offer new medical students a degree of mystery and ample opportunity for engagement, problem solving commonly involves applying a relatively structured, hypothetico- deductive process with the ultimate goal of acquiring basic science knowledge.21,46 This investigative process loses its appeal as learners discover that there are less arduous, more satisfying ways to gather information.47

짧은 시간 내에 많은 양의 지식을 습득해야 한다는 학생들의 우려를 고려한다면, 학생 참여를 촉진하기 위해 튜터의 강화된 가이드가 필요할 수 있다.

increased tutor guidance may be needed to stimulate students’ engagement in light of their concerns about acquiring a high volume of knowledge in a short time.

적어도 어떤 조건에서는, PBL의 특징인 문제 중심적이고 협력적인 탐구를 유지하기 위해 다소 더 많은 튜터 주도적 상호작용이 바람직할 수 있다. 이러한 예들은 개입 설계가 맥락을 고려해야 한다는 것을 보여줄 뿐만 아니라, 맥락이 특정 개입의 원칙을 어떻게 의도하지 않은 방식으로 구현하도록 영향을 미치는지를 보여준다.

at least under some conditions, a somewhat more tutor-led interaction may be desirable to maintain the problem- centered, collaborative inquiry definitive of PBL.25,47 These examples not only show that intervention design must take context into account; they also illustrate how context may influence the implementation of principles in unintended ways.

맥락적 요인의 결과로, 교육 테크닉마다 큰 차이가 생길 수 있는데, 그렇지만 각각의 variation이 모두 PBL의 원칙을 반영할 수 있다. 다양한 variation이 존재한다는 것은 그룹 규모와 구성, 튜터 콘텐츠 전문성, 문제 형식과 양식과 같은 주제에 대한 논의가 활발하다는 점에서 잘 드러난다. 

As a result of contextual factors, there may be wide variability in instructional techniques, with each variation reflecting a principled approach to PBL. This is illustrated by the lively discussion in the literature on such topics as group size and composition,36,44,48 tutor content expertise,49 and problem format and modality.36,50,51

이것들과 관련된 많은 질문들에 대한 답은 "그때마다 다르다"이다.

The answer to these and many related questions is “It depends,”

실행과정에서 설계자의 목표가 전복될 수 있는 방법은 많다. 예를 들어 

• 사례집과 중복되는 강의를 동시에 하는 것(예: "하이브리드 PBL"19), 

• 사례 토론 전에 학습 목표를 주는 것,24 

• 고부담 개별 시험을 보는 것 등은 모두 본질적으로 동기 부여되고 자기 주도적인 학습을 탈선시킬 수 있다. 

There are numerous ways that implementation can subvert the designers’ goals. 

• For example, holding concurrent lectures that duplicate case material (i.e., “hybrid PBL”19), 

• distributing learning objectives prior to case discussion,24 and 

• high-stakes individual testing47 can all derail intrinsically motivated and self-directed learning. 

그러므로 실제로 실행된 개입이 원칙에 부합하고, 의도된 교육 철학을 담았다고 합리적으로 주장하기 위해서는, 맥락에서 기술에 대한 신중하고 직접적인 분석이 필요하다.

Therefore, careful, direct analysis of technique in context is needed to plausibly argue that a given implementation is principled and has achieved the intended educational philosophy.

레이어드 분석

Layered Analysis

교육적 조작 점검의 형식을 제공하는 형태로서, 계층 분석layered analysis은 (결과와는 상관없이) 교육자의 주장을 뒷받침한다. 

특정한 방법으로 개입했다

그들의 혁신이 기초적인 교육 철학에 의해 정의된 학습의 조건을 설정했다.

Providing a form of educational manipulation check,20 layered analysis supports an educator’s claim that they intervened in a specific way, that their innovation set the conditions for learning as defined by underlying educational philosophy, regardless of what happened as a result. 

계층적 분석은 이론화된 대로 개입이 일어났을지에 대한 문제를 예견한다. 이 근본적인 질문에 대한 대답이 긍정적일 경우에만 결과 성취가 개입과 관련이 있다고 볼 수 있다.

Layered analysis foregrounds the question of whether the intervention occurred as theorized, with the understanding that outcomes achievement becomes relevant only if the answer to this fundamental question is positive.

Figure 3.

PBL 튜토리얼 그룹을 직접 관찰한 결과, PBL의 교육 철학이 항상 고려되는 것은 아니며 상호 작용이 일련의 미니-강의 또는 질의응답 훈련과 더 유사할 수 있다는 것을 보여주었다.24 이러한 의도하지 않은 학습 조건의 존재는 완전히 다른 교육 철학이 명목상의 PBL 개입에서 작용하고 있음을 시사한다. 그리고 이로부터 교육 혁신에 대한 흥미로운 세 번째 분석 질문이 던져진다. "어떤 개입이 실제로 일어났는가?"

Direct observation of PBL tutor groups has shown that PBL’s educational philosophy is not always taken up by its participants and that interaction can more closely resemble a sequence of mini-lectures or question-and- response drills.24 The presence of these unintended learning conditions suggests that an entirely different educational philosophy may be at play in a nominally PBL intervention,19 which raises an intriguing, third analytical question to ask of educational innovations: “What intervention actually occurred?”

PBL의 교육 철학이 보존되지 않은 경우, 혁신의 원칙과 기술에 대한 의문이 제기될 수 있다. 특히, 이러한 의문은 실제 실행된 것이 맥락에 insensitive하고, PBL의 사회적, 인지적 학습 조건의 확립을 무심코 뒤엎었을 때 던져질 수 있다. 

If PBL’s educational philosophy has not been preserved, questions may be raised regarding the innovation’s principles and technique—specifically, where implementation may have been insensitive to context and inadvertently subverted the establishment of PBL’s social and cognitive learning conditions. 

그림 3의 중간은 [협력적, 문제 중심 및 학습자 주도의 문제 해결을 보장하는 것과 관련이 있는] '기술'과 '맥락 요인' 사이의 적합도 조사를 위한 예제 질문을 제공한다. 학습자의 팀워크 기술, 개인교사의 촉진 기술, 협업 업무 특성, 기관 평가 문화와 같은 것.

The middle of Figure 3 offers example questions for probing the degree of fit between technique and contextual factors relevant to ensuring collaborative, problem-focused, and learner-led problem solving, such as learners’ teamwork skill, tutors’ facilitation skill, collaborative task characteristics, and institutional assessment culture.28,47,52–55

예를 들어, 기술-맥락 적합성이 성공적으로 실행되었다면, 인구학적으로 다양한 튜토리얼 그룹의 모든 구성원들 사이에서 동등한 참여로 나타날 수 있다. 그 이유는, 

• 아마도 숙련된 튜터가 심리적으로 안전하고 포괄적인 맥락을 효과적으로 설정하고 유지했기 때문일 수 있다.

• 또는 문제해결 과제가 모든 그룹 구성원을 포함하는 역할과 책임을 신중하게 설명했기 때문일 수도 있다. 

• 또는 그룹 멤버들은 그들 자신의 역동성을 감시하고 촉진할 수 있는 팀워크 기술이 잘 발달되어 있었기 때문이었을 수 있다.

As an example, successful technique– context fit may be revealed in equal participation among all members of a demographically diverse tutorial group, 

• perhaps because a skillful tutor effectively set and maintained a psychologically safe and inclusive context; 

• or because the problem-solving task had carefully delineated roles and responsibilities inclusive of all group members; 

• or because group members had well-developed teamwork skills that allowed them to monitor and facilitate their own dynamic.44

결어

Concluding Remarks

증거 기반 교육 관행의 진전은 긍정적인 결과 보고서의 부족이 아니라, 어떤 개입이 시도되었는지, 어떤 상황에서 시도되었는지, 그 결과가 다른 환경에서 교육 문제 해결을 의미하는지에 대한 부정확함에 의해 제한된다.

Advancements in evidence- based educational practice are limited not by a lack of positive outcome reports but, rather, by imprecision regarding what interventions were tried, under what circumstances, and what the results mean for educational problem solving in other settings.

실험 조작 검사experimental manipulation check처럼,19 

• 혁신의 개념적 기반을 신중하게 고려하면서 

• 맥락을 충분히 설명하고

• 개입이 실행될 때 교육철학이 보존되었음을 보여준다면,

의도된 개입이 이론화된 대로 발생했다는 주장을 지지하고 결과를 논리적 결과로 해석하는 데 신뢰성을 부여한다.

Like conducting an experimental manipulation check,19 

• carefully considering an innovation’s conceptual basis, 

• accounting for context, and 

• demonstrating the preservation of educational philosophy in implementation 

...supports the argument that the intended intervention occurred as theorized17,18 and lends credibility to interpreting outcomes as the logical result.

계층 분석Layered analysis은 구현된 후에 개입에 대해 검토하는 방법일 뿐만 아니라, 사전에 개입 설계에 대해 접근하는 방식을 제공한다.

Layered analysis offers an approach not only to examining an intervention after it has been implemented but also for designing interventions proactively.

그것은 주어진 기술혁신이 맥락에서 어떻게 작용한다고 생각하는지에 대한 접근법을 제공함으로써 설계자들이 [개입의 "활성 성분active ingredients"을 개발]하기 위해서 묵시적, 인과적 모델을 명시적이고 목적적으로 만들도록 유도한다. 이와 같이 계층 분석을 사용하는 것은 실험에서 하는 것과 일치하지만, 단순성에 대한 위협이라기 보다는 맥락을 이론 구현하는 데 필요한 하나의 자원으로 취급한다는 것에 차이가 있다.10

It provides an approach to specifying how a given innovation is thought to work in context, prompting designers to make their implicit causal models explicit and purposefully to develop the intervention’s “active ingredients.” In this way, using layered analysis is consistent with the experimental tradition, yet it differs by treating context as a resource for implementing theory rather than as a threat to simplicity.10

중요한 것은, 교육 혁신을 개념화하기 위해 계층화된 분석을 채택하는 것 만으로 원하는 결과의 생산을 보장하지 않을 것이다.

Importantly, adopting layered analysis for conceptualizing educational innovations will not guarantee the production of desired outcomes.

혁신의 층위를 나눠서 보면 실행된 혁신이 얼마나 애초의 교육 철학에서 멀어져 왔는지 알 수 있다.

Viewing innovations from a layered perspective can reveal just how far an implementation has drifted away from the educational philosophy it was assumed to invoke.

어떤 혁신의 기저에 깔린 이론을 분석하는 것은 시간이 많이 걸리고 지적으로 어려운 일이다. 여러 제약조건이 많지만 그 중에서도 긍정적인 결과를 빨리 만들어 실용적인 것에만 관심이 있는 간결하게 전달하라는 압력은 커리큘럼 평가에 적용되는 정밀한 조사를 제한할 가능성이 있다.

Analyzing the theory of an innovation is time-consuming and intellectually challenging. Among many other constraints, pressure to produce positive outcomes quickly and communicate them succinctly to a practically minded audience likely limits the scrutiny applied to curricular evaluation.

더욱이, PBL의 작업 예제가 보여주듯이, 면밀한 검토는 [개입의 철학]과 [개입이 구현된 상황] 사이의 해결되지 않은 긴장이 혁신자의 목표를 전복시켰다고 밝혀낼 수도 있다. 그것은 심지어 교육철학이나 원칙 자체의 과소평가나 불일치를 드러낼 수도 있다.

Moreover, as the worked example of PBL demonstrates, close examination may reveal that unresolved tensions between an intervention’s philosophy and the context in which it was implemented subverted the innovator’s goals. It may even reveal underspecification or inconsistencies of educational philosophy or principles themselves.

layered analysis는 학문적인 행동의 과정이며, 주어진 맥락에서 이뤄지는 학습을 더 깊이 이해하려는 노력이다.

layered analysis, is a scholarly course of action, an endeavor for those seeking to deepen understanding of learning in context.

20 Horsley T, Regehr G. When are two interventions the same? Implications for reporting guidelines in education. Med Educ. 2018;52:141–143. XXX

---

Acad Med. 2019 Jun;94(6):789-794. doi: 10.1097/ACM.0000000000002591.

Learning Theory and Educational Intervention: Producing Meaningful Evidence of ImpactThrough Layered Analysis.

Cianciolo AT1, Regehr G.

Author information

1

A.T. Cianciolo is associate professor of medical education, Southern Illinois University School of Medicine, Springfield, Illinois; ORCID: https://orcid.org/0000-0001-5948-9304. G. Regehr is professor, Department of Surgery, and associate director, Center for Health Education Scholarship, Faculty of Medicine, University of British Columbia, Vancouver, British Columbia, Canada; ORCID: https://orcid.org/0000-0002-3144-331X.

Abstract

Like evidence-based medicine, evidence-based education seeks to produce sound evidence of impact that can be used to intervene successfully in the future. The function of educational innovations, however, is much less well understood than the physical mechanisms of action of medical treatments. This makes production, interpretation, and use of educational impact evidence difficult. Critiques of medical education experiments highlight a need for such studies to do a better job of deepening understanding of learning in context; conclusions that "it worked" often precede scrutiny of what "it" was. The authors unpack the problem of representing educational innovation in a conceptually meaningful way. The more fundamental questions of "What is the intended intervention?" and "Did that intervention, in fact, occur?" are proposed as an alternative to the ubiquitous evaluative question of "Did it work?" The authors excavate the layers of intervention-techniques at the surface, principle in the middle, and philosophy at the core-and propose layered analysis as a way of examining an innovation's intended function in context. The authors then use problem-based learning to illustrate how layered analysis can promote meaningfulunderstanding of impact through specification of what was tried, under what circumstances, and what happened as a result. Layered analysisshould support innovation design and evaluation by illuminating what principled adaptation of educational technique to local context could look like. It also promotes theory development by enabling more precise description of the learning conditions at work in a given implementation and how they may evolve with broader adoption.

PMID:

 

30640265

 

DOI:

 

10.1097/ACM.0000000000002591