행동주의, 인지주의, 구성주의: 교육설계 관점에서 중요특징 비교(Performance Improvement Quarterly, 2013)

Behaviorism, Cognitivism, Constructivism: Comparing Critical Features From an Instructional Design Perspective

Peggy A. Ertmer and Timothy J. Newby





기초학습 연구와 교육 실천 사이에 교량의 필요성이 오랫동안 논의되어 왔다. 이 두 영역 사이의 강한 연관성을 보장하기 위해 듀이(Reigeluth, 1983년 Reigeluth에 인용)는 "연결linking 과학"의 창조와 개발을 요구했다. 타일러(1978)는 "중간자 입장"을 요구했고, 린치(1945)는 이론을 실천으로 번역하는 보조 수단으로 "공학적인 비유"를 채택한 사람이다.

The need for a bridge between basic learning research and educational practice has long been discussed. To ensure a strong connection between these two areas, Dewey (cited in Reigeluth, 1983) called for the creation and development of a “linking science”; Tyler (1978) a “middleman position”; and Lynch (1945) for employing an “engineering analogy” as an aid for translating theory into practice.


교육설계자는 "학습 및 교육의 원칙을 교육자료와 활동의 specification으로 변환"하는 임무를 맡았다(Smith & Ragan, 1993, 페이지 12). 이 목표를 달성하기 위해서는 두 가지 기술과 지식이 필요하다.

Instructional designers have been charged with “translating principles of learning and instruction into specifications for instructional materials and activities” (Smith & Ragan, 1993, p. 12). To achieve this goal, two sets of skills and knowledge are needed.


첫째, 설계자는 반드시 실무자의 입장을 이해해야 한다. 이와 관련하여 다음과 같은 질문이 타당할 것이다. 애플리케이션의 상황적 및 맥락적 제약조건은 무엇인가? 학습자들 사이의 개인차이의 정도는?

First, the designer must understand the position of the practitioner. In this regard, the following questions would be relevant: What are the situational and contextual constraints of the application? What is the degree of individual differences among the learners?


설계자는 실질적인 학습 문제를 진단하고 분석할 수 있어야 한다. 의사가 적절한 진단 없이는 효과적인 치료법을 처방할 수 없듯이, 지침 설계자는 지침 문제에 대한 정확한 분석 없이는 효과적인 규범적 해결책을 적절하게 권고할 수 없다.

the designer must have the ability to diagnose and analyze practical learning problems. Just as a doctor cannot prescribe an effective remedy without a proper diagnosis, the instructional designer cannot properly recommend an effective prescriptive solution without an accurate analysis of the instructional problem.


문제를 이해하고 분석하는 것 외에, 두번째로 해결책의 잠재적 원천(즉, 인간 학습의 이론)을 이해하는 것, 즉 연구와 적용을 "bridge"하거나 "link"하기 위해 지식과 기술이 필요하다. 이러한 이해를 통해서, 적절한 규범적 해결책은 주어진 진단 문제와 일치할 수 있다. 그러므로 결정적 연결고리는 [교육 설계]와 [교육 현상에 관한 지식] 사이에 있는 것이 아니라, [교육 설계 문제]와 [인간 배움의 이론] 사이에 있다.

In addition to understanding and analyzing the problem, a second core of knowledge and skills is needed to “bridge” or “link” application with research—that of understanding the potential sources of solutions (i.e., the theories of human learning). Through this understanding, a proper prescriptive solution can be matched with a given diagnosed problem. the critical link, therefore, is not between the design of instruction and an autonomous body of knowledge about instructional phenomena, but between instructional design issues and the theories of human learning.


왜 이렇게 학습의 이론과 연구에 중점을 두는가?

Why this emphasis on learning theory and research?


첫째, 학습이론은 검증된 교육 전략, 전술, 기법의 원천이다. 주어진 지시 문제를 극복하기 위한 효과적인 처방을 선택하려고 할 때 그러한 전략의 다양한 지식은 매우 중요하다.

First, learning theories are a source of verified instructional strategies, tactics, and techniques. Knowledge of a variety of such strategies is critical when attempting to select an effective prescription for overcoming a given instructional problem.


둘째, 학습이론은 지적이고 합리적인 전략 선택을 위한 기초를 제공한다. 설계자는 적절한 전략의 레퍼토리를 제공해야 하며, 각 전략을 언제, 왜 채택해야 하는지에 대한 지식을 보유해야 한다. 이러한 지식은 학습자를 돕는 지침 전략으로 직무의 요구에 부합하는 설계자의 능력에 달려 있다.

Second, learning theories provide the foundation for intelligent and reasoned strategy selection. Designers must have an adequate repertoire of strategies available, and possess the knowledge of when and why to employ each. this knowledge depends on the designer’s ability to match the demands of the task with an instructional strategy that helps the learner.


셋째, 교육적 맥락 안에서 선택된 전략의 통합이 매우 중요하다. 학습 이론과 연구는 교육 구성 요소와 교육 설계 간의 관계에 대한 정보를 제공함으로써 특정 기술/전략이 특정 맥락 내에서 그리고 특정 학습자와 어떻게 가장 잘 결합될 수 있는지를 지시한다 (Keller, 1979).

third, integration of the selected strategy within the instructional context is of critical importance. Learning theories and research often provide information about relationships among instructional components and the design of instruction, indicating how specific techniques/strategies might best fit within a given context and with specific learners (Keller, 1979).


마지막으로, 이론의 궁극적인 역할은 신뢰할 수 있는 예측을 제공하는 것이다(Richy, 1986). 실제적인 교육 문제에 대한 효과적인 해결책은 종종 제한된 시간과 자원에 의해 제한된다. 선택되고 실행된 전략들이 성공의 가장 높은 기회를 가지는 것이 무엇보다 중요하다. 워리어스(1990년)가 제안한 바와 같이, 강력한 연구에 기초한 선택은 "교육 현상"에 근거한 것보다 훨씬 신뢰성이 있다.

Finally, the ultimate role of a theory is to allow for reliable prediction (Richey, 1986). Effective solutions to practical instructional problems are often constrained by limited time and resources. It is paramount that those strategies selected and implemented have the highest chance for success. As suggested by Warries (1990), a selection based on strong research is much more reliable than one based on “instructional phenomena.”


이 글은 학습 과정의 세 가지 뚜렷한 관점(행동주의, 인지주의, 구성주의)을 제시하며, 각각의 독특한 특징들이 많지만, 각각의 관점들이 여전히 같은 현상(학습)을 기술하고 있다는 것이 우리의 생각이다.

this article presents three distinct perspectives of the learning process (behavioral, cognitive, and constructivist) and although each has many unique features, it is our belief that each still describes the same phenomena (learning).


스넬베커(1983년)가 강조한 바와 같이, 실제 학습 문제를 다루는 개인들은 "자신을 하나의 이론적 위치로 제한하는 사치"를 누릴 수 없다. [그들은] 다음을 재촉받는다. 우선 학습과 연구에 있어서 심리학자들에 의해 개발된 각각의 기본적인 과학 이론을 검토해야 하며, 자신의 특정한 교육 상황에 가치가 있는 원칙과 개념을 선택해야 한다.

as emphasized by Snelbecker (1983), individuals addressing practical learning problems cannot afford the “luxury of restricting themselves to only one theoretical position . . . [they] are urged to examine each of the basic science theories which have been developed by psychologists in the study of learning and to select those principles and conceptions which seem to be of value for one’s particular educational situation” (p. 8).


존슨(1992년)이 보고한 바와 같이, 교육기술의 일반적인 영역에서 대학 커리큘럼에서 제공되는 강좌 중 2% 미만만이 그들의 핵심 개념 중 하나로 "이론"을 강조한다.

As reported by Johnson (1992), less than two percent of the courses offered in university curricula in the general area of educational technology emphasize “theory” as one of their key concepts.


이 논문은 현대 학습 이론에 대한 우리의 지식에 존재하는 "몇 가지 틈새를 채우려는" 시도를 하려는 것이다.

this article is an attempt to “fill in some of the gaps” that may exist in our knowledge of modern learning theories.


핵심은, 만약 우리가 학습 이론의 깊은 원리들 중 일부를 이해한다면, 우리는 필요에 따라 세부 사항들을 추론할 수 있다는 것이다. 브루너(1971년)가 말했듯이, "자연 속의 모든 것을 자연을 알기 위해 마주칠 필요는 없다"(p. 18). 학습 이론에 대한 기본적인 이해는 여러분에게 "아주 약간만 기억하면서도 동시에 많은 것에 대해 많은 것을 알 수 있는 영민한 전략"을 제공할 수 있다.

the idea is that if we understand some of the deep principles of the theories of learning, we can extrapolate to the particulars as needed. As Bruner (1971) states, “You don’t need to encounter everything in nature in order to know nature” (p. 18). A basic understanding of the learning theories can provide you with a “canny strategy whereby you could know a great deal about a lot of things while keeping very little in mind” (p. 18).


학습에 대한 정의

Learning Defined


배움은 많은 다른 이론가, 연구원 그리고 교육 실무자들에 의해 수많은 방법으로 정의되어 왔다. 단일 정의에 대한 보편적 동의는 존재하지 않지만, 많은 정의는 공통 요소를 사용한다. 슈엘(Shueell, 1991년 스컹크가 해석한 바와 같이)의 다음 정의는 다음과 같은 주요 사상을 통합한다: "학습은 행동의 지속적인 변화 또는 주어진 방식으로 행동할 수 있는 능력으로, 연습이나 다른 형태의 경험에서 비롯된다"(p. 2)


Learning has been defined in numerous ways by many different theorists, researchers and educational practitioners. Although universal agreement on any single definition is nonexistent, many definitions employ common elements. the following definition by Shuell (as interpreted by Schunk, 1991) incorporates these main ideas: “Learning is an enduring change in behavior, or in the capacity to behave in a given fashion, which results from practice or other forms of experience” (p. 2).


한 이론과 다른 이론을 구분하는 것은 정의 그 자체가 아니다. 이론들 사이의 주요한 차이점은 정의에서보다 해석에 더 많이 있다. 이러한 차이점들은 궁극적으로 각 이론적 관점에서 소유하는 교육적 처방을 기술하는 많은 핵심 이슈들을 중심으로 나타난다.

it is not the definition itself that separates a given theory from the rest. the major differences among theories lie more in interpretation than they do in definition. these differences revolve around a number of key issues that ultimately delineate the instructional prescriptions that fl ow from each theoretical perspective.


Schunk(1991)는 각 학습 이론을 다른 학습 이론과 구별하는 역할을 하는 다음과 같은 다섯 가지 결정적인 질문을 나열한다.

Schunk (1991) lists five definitive questions that serve to distinguish each learning theory from the others:


  • (1) 학습은 어떻게 이루어지는가?

  • (2) 학습에 영향을 미치는 요인은?

  • (3) 기억의 역할은 무엇인가?

  • (4) 전이는 어떻게 발생하는가?

  • (5) 어떤 종류의 학문이 이론에 의해 가장 잘 설명되는가?

(1) How does learning occur?

(2) Which factors influence learning?

(3) What is the role of memory?

(4) How does transfer occur?

(5) What types of learning are best explained by the theory?


우리는 교육 디자이너에게 중요한 두 가지 질문을 추가했다.

we have included two additional questions important to the instructional designer:


  • (6) 이 이론의 기본적 가정/원칙은 교육적 설계와 관련이 있는가? 그리고.

  • (7) 학습을 용이하게 하기 위해 교육은 어떻게 구성되어야 하는가?

(6) What basic assumptions/principles of this theory are relevant to instructional design? and

(7) How should instruction be structured to facilitate learning?


이 글에서 이러한 질문들은 각각 행동주의, 인지주의, 구성주의라는 세 가지 뚜렷한 관점에서 대답된다. 학습이론은 일반적으로 행동과 인지라는 두 개의 범주로 구분되지만, 최근 교육 설계 문헌에 강조되어 있기 때문에 제3의 범주인 구성주의 범주가 여기에 추가된다(예: 베드나르, 커닝햄, 더프 y, & 페리, 1991; Duff y & Jonassen, 1991; Jonassen, 1991, Winn, 1991). 여러 면에서 이러한 관점은 중복되지만, 학습을 이해하고 기술하기 위한 별도의 접근방식으로 취급될 만큼 충분히 독특하다.

In this article, each of these questions is answered from three distinct viewpoints: behaviorism, cognitivism, and constructivism. Although learning theories typically are divided into two categories—behavioral and cognitive—a third category, constructive, is added here because of its recent emphasis in the instructional design literature (e.g., Bednar, Cunningham, Duff y, & Perry, 1991; Duff y & Jonassen, 1991; Jonassen, 1991b; Winn, 1991). In many ways these viewpoints overlap; yet they are distinctive enough to be treated as separate approaches to understanding and describing learning.


차이는 구분을 명확히 하기 위해 강조된다. 이것은 이러한 관점들 사이에 유사점이 없거나 겹치는 특징이 없다는 것을 암시하는 것이 아니다. 사실, 서로 다른 학습이론도 종종 동일한 상황에 대해 동일한 지침 방법을 규정할 것이다(단, 용어가 다르고 의도가 다를 수 있다).

differences are emphasized in order to make distinctions clear. this is not to suggest that there are no similarities among these viewpoints or that there are no overlapping features. In fact, different learning theories will often prescribe the same instructional methods for the same situations (only with different terminology and possibly with different intentions).


역사적 토대 

Historical Foundations


현재의 학습이론은 먼 옛날로 뻗어나가는 뿌리를 가지고 있다. 오늘날의 이론가들과 연구자들이 씨름하고 투쟁하는 문제들은 새로운 것이 아니라 단지 시대를 초월한 주제에 대한 변화일 뿐이다. 지식은 어디서 나오고 사람들은 어떻게 알게 되는가? 지식의 기원에 대한 두 가지 상반되는 입장, 즉 경험주의와 합리주의는 수세기 동안 존재해왔으며 오늘날 학습 이론에서는 여전히 다양한 정도로 명백하다. 행동주의, 인지주의, 구성주의 등의 "현대적" 학습 관점을 비교하기 위한 배경으로 이러한 견해에 대한 간략한 설명이 여기에 포함된다.

Current learning theories have roots that extend far into the past. the problems with which today’s theorists and researchers grapple and struggle are not new but simply variations on a timeless theme: Where does knowledge come from and how do people come to know? Two opposing positions on the origins of knowledge—empiricism and rationalism— have existed for centuries and are still evident, to varying degrees, in the learning theories of today. A brief description of these views is included here as a background for comparing the “modern” learning viewpoints of behaviorism, cognitivism, and constructivism.


  • 경험론은 경험이 지식의 주요 원천이라는 견해이다(Schunk, 1991). 즉, 유기체는 기본적으로 아무런 지식도 없이 태어나고 배운 것은 환경과의 상호 작용과 연관성을 통해 얻어진다. 아리스토텔레스(384–322 B.C)를 시작으로, 경험론자들은 지식은 감각적 인상으로부터 파생된다는 견해를 옹호했다. 그러한 인상은 시간 및/또는 공간에서 연속적으로 연관될 때 복잡한 아이디어를 형성하기 위해 서로 연결될 수 있다.

Empiricism is the view that experience is the primary source of knowledge (Schunk, 1991). Th at is, organisms are born with basically no knowledge and anything learned is gained through interactions and associations with the environment. Beginning with Aristotle (384–322 B.C.), empiricists have espoused the view that knowledge is derived from sensory impressions. Those impressions, when associated contiguously in time and/or space, can be hooked together to form complex ideas.


예를 들어, 허스, 에게트, 디즈(1980년)가 그린 것처럼 '나무'라고 하는 복잡한 사상은 '가지와 잎'이라는 덜 복잡한 사상에서 만들어질 수 있는데, 이것은 다시 '나무와 섬유성'의 사상에서 만들어지고, 이는 '녹색성, 나무 냄새' 등 기본적인 감각으로 만들어지는 것이다.

For example, the complex idea of a tree, as illustrated by Hulse, Egeth, and Deese (1980), can be built from the less complex ideas of branches and leaves, which in turn are built from the ideas of wood and fiber, which are built from basic sensations such as greenness, woody odor, and so forth.


이러한 관점에서 중요한 교육 설계 문제는 [적절한 연관성이 발생할 수 있도록 개선하고 보장하기 위해 환경을 조작하는 방법]에 초점을 맞춘다.

From this perspective, critical instructional design issues focus on how to manipulate the environment in order to improve and ensure the occurrence of proper associations.



  • 합리주의는 지식이 감각의 도움 없이 이성으로부터 나온다는 관점이다(Schunk, 1991). 마음과 물질의 구별에 대한 이러한 근본적인 믿음은 플라톤(C. 427–347 B.C)에서 비롯되었으며, 인간이 이미 마음 속에 존재하는 것을 회상하거나 "발견"함으로써 배운다는 관점에 반영된다.

Rationalism is the view that knowledge derives from reason without the aid of the senses (Schunk, 1991). this fundamental belief in the distinction between mind and matter originated with Plato (c. 427–347 B.C.), and is reflected in the viewpoint that humans learn by recalling or “discovering” what already exists in the mind.


예를 들어, 일생 동안 나무에 대한 직접적인 경험은 단순히 이미 마음속에 있는 것을 드러내는 역할을 한다. 나무의 "실제" 성질(녹색, 목질, 기타 특성)은 경험을 통해서가 아니라, 주어진 나무의 예에 대한 자신의 생각에 대한 반성을 통해 알려지게 된다. 비록 후기 합리주의자들이 플라톤의 다른 생각들 중 일부에 대해서는 서로 의견이 달랐지만, 중심적 믿음은 그대로 유지되었는데, 그것은 바로 지식은 마음에서 비롯한다는 것이다.

For example, the direct experience with a tree during one’s lifetime simply serves to reveal that which is already in the mind. the “real” nature of the tree (greenness, woodiness, and other characteristics) becomes known, not through the experience, but through a reflection on one’s idea about the given instance of a tree. Although later rationalists differed on some of Plato’s other ideas, the central belief remained the same: that knowledge arises through the mind.


이러한 관점에서, 교육적 설계 문제는 다음의 두 가지를 위해 새로운 정보의 구조를 어떻게 최적화 하는가에 초점을 맞춘다.

  • (1) 새로운 정보의 인코딩 

  • (2) 이미 알려진 정보의 리콜을 용이하게 함

From this perspective, instructional design issues focus on how best to structure new information in order to facilitate (1) the learners’ encoding of this new information, as well as (2) the recalling of that which is already known.


교육 이론이 시작될 때 행동주의가 지배적이었기 때문에( 1950년경), 그것과 함께 생겨난 교육 설계(ID) 기술은 당연히 그 기본적인 가정과 특징의 많은 영향을 받았다. ID는 행동 이론에 뿌리를 두고 있기 때문에, 우리가 먼저 행동주의에 주의를 돌리는 것이 적절해 보인다.

Because behaviorism was dominant when instructional theory was initiated (around 1950), the instructional design (ID) technology that arose alongside it was naturally influenced by many of its basic assumptions and characteristics. Since ID has its roots in behavioral theory, it seems appropriate that we turn our attention to behaviorism first.


행동주의

Behaviorism


배움은 어떻게 발생하는가?

How does learning occur?


행동주의는 학습을 [관찰 가능한 수행]의 형태나 빈도의 변화와 동일시한다. 학습은 특정 환경 자극의 제시 후에 적절한 반응을 보일 때 이루어진다.

Behaviorism equates learning with changes in either the form or frequency of observable performance. Learning is accomplished when a proper response is demonstrated following the presentation of a specific environmental stimulus.


예를 들어, "2 + 4 =?" 방정식을 나타내는 수학 플래시 카드를 제시하면, 학습자는 "6"의 대답으로 답한다. 방정식은 자극이고 적절한 대답은 관련 반응이다. 핵심 요소는 자극, 반응, 그리고 둘 사이의 연관성이다. 주된 관심사는 자극과 반응 사이의 연관성이 어떻게 만들어지고, 강화되고, 유지되는가 하는 것이다.

For example, when presented with a math flashcard showing the equation “2 + 4 = ?” the learner replies with the answer of “6.” the equation is the stimulus and the proper answer is the associated response. the key elements are the stimulus, the response, and the association between the two. Of primary concern is how the association between the stimulus and response is made, strengthened, and maintained.


행동주의는 그러한 수행의 결과의 중요성에 초점을 맞추고 있으며, 강화가 따라오는 반응이 미래에 재발할 가능성이 더 높다고 주장한다. 학생의 지식 구조를 결정하거나 어떤 정신적 과정을 그들이 사용하는 것이 필요한지 평가하려는 시도는 없다(Winn, 1990). 학습자는 환경을 발견하는 데 적극적인 역할을 하는 대신 환경의 조건에 반응하는 것이 특징이다.

Behaviorism focuses on the importance of the consequences of those performances and contends that responses that are followed by reinforcement are more likely to recur in the future. No attempt is made to determine the structure of a student’s knowledge nor to assess which mental processes it is necessary for them to use (Winn, 1990). the learner is characterized as being reactive to conditions in the environment as opposed to taking an active role in discovering the environment.


어떤 요인들이 학습에 영향을 줍니까?

Which factors influence learning?


행동주의자들은 학습자와 환경적 요인을 모두 중요하게 생각하지만, 환경 조건이 가장 큰 강조를 받는다. 행동주의자들은 학습자를 평가하여 교육을 시작할 시점과 특정 학생에게 가장 효과적인 강화자를 결정한다. 그러나 가장 중요한 요소는 환경 내에서 자극과 결과의 배열이다.

Although both learner and environmental factors are considered important by behaviorists, environmental conditions receive the greatest emphasis. Behaviorists assess the learners to determine at what point to begin instruction as well as to determine which reinforcers are most effective for a particular student. the most critical factor, however, is the arrangement of stimuli and consequences within the environment.


기억의 역할은 무엇인가?

What is the role of memory?


행동주의자에게 기억은 보통 일반적인 정의처럼 다뤄지지 않는다. "습관"의 취득이 논의되고 있지만, 이러한 습관들이 향후의 사용을 위해 어떻게 저장되거나 회수되는지에 대해서는 거의 관심을 기울이지 않는다. 망각은 시간이 지남에 따라 반응의 "비사용"에 기인한다. 정기적인 연습이나 복습의 사용은 학습자의 반응 준비를 유지하는 역할을 한다(Schunk, 1991).

Memory, as commonly defined by the layman, is not typically addressed by behaviorists. Although the acquisition of “habits” is discussed, little attention is given as to how these habits are stored or recalled for future use. Forgetting is attributed to the “nonuse” of a response over time. the use of periodic practice or review serves to maintain a learner’s readiness to respond (Schunk, 1991).


전이는 어떻게 발생하는가?

How does transfer occur?


전이(transfer)는 [학습된 지식을 새로운 방법이나 상황에 적용하는 것]뿐만 아니라 선행학습이 새로운 학습에 어떻게 영향을 미치는가를 말한다. 행동학습 이론에서, 전이는 일반화의 결과물이다. 동일하거나 유사한 특징들을 포함하는 상황들은 행동들이 공통적인 요소들에 걸쳐 전달될 수 있게 한다.

Transfer refers to the application of learned knowledge in new ways or situations, as well as to how prior learning affects new learning. In behavioral learning theories, transfer is a result of generalization. Situations involving identical or similar features allow behaviors to transfer across common elements.


예를 들어, 느릅나무를 인식하고 분류하는 법을 배운 학생은 같은 과정을 이용하여 단풍나무를 분류할 때 전이를 보여준다. 느릅나무와 단풍나무의 유사성을 통해 학습자는 이전의 느릅나무 분류 학습 경험을 단풍나무 분류 작업에 적용할 수 있다.

For example, the student who has learned to recognize and classify elm trees demonstrates transfer when (s)he classifies maple trees using the same process. the similarities between the elm and maple trees allow the learner to apply the previous elm tree classification learning experience to the maple tree classification task.


어떤 종류의 학습이 이 직책에 의해 가장 잘 설명되는가?

What types of learning are best explained by this position?


행동주의자들은 교육적 단서, 연습 및 보강의 사용을 포함하여 자극-반응 연관성의 구축 및 강화에 가장 유용한 전략을 규정하려고 한다(Win, 1990). 이러한 처방들은 일반적으로 다음...을 포함하는 것이 학습을 촉진하는 데 신뢰할 수 있고 효과적인 것으로 입증되었다.

    • 구별(사실 호출), 

    • 일반화(개념 정의 및 설명), 

    • 연관성(설명 적용) 및 

    • 체이닝(특정 절차를 자동적으로 수행)

Behaviorists attempt to prescribe strategies that are most useful for building and strengthening stimulus-response associations (Winn, 1990), including the use of instructional cues, practice, and reinforcement. these prescriptions have generally been proven reliable and effective in facilitating learning that involves 

    • discriminations (recalling facts), 

    • generalizations (defining and illustrating concepts), 

    • associations (applying explanations), and 

    • chaining (automatically performing a specified procedure).


그러나 행동주의 원리는 상위 수준의 기술이나 보다 심층적인 처리가 필요한 기술(예: 언어 개발, 문제 해결, 추론 생성, 비판적 사고)의 획득을 적절하게 설명할 수 없다는 데 일반적으로 동의한다(Schunk, 1991).

However, it is generally agreed that behavioral principles cannot adequately explain the acquisition of higher level skills or those that require a greater depth of processing (e.g., language development, problem solving, inference generating, critical thinking) (Schunk, 1991).


이 이론의 어떤 기본적인 가정/원칙이 교육적 설계와 관련이 있는가?

What basic assumptions/principles of this theory are relevant to instructional design?


교육 설계와 직접적인 관련이 있는 구체적인 가정이나 원칙은 다음을 포함한다(잠재 가능한 현재 ID 애플리케이션은 나열된 원칙에 따라 괄호[ ]에 열거되어 있다).

Specific assumptions or principles that have direct relevance to instructional design include the following (possible current ID applications are listed in brackets [ ] following the listed principle):


♦ 학생에게 관찰 가능하고 측정 가능한 결과의 생산에 대한 강조[행동 목표, 과제 분석, 기준 참조 평가]

♦ 교육을 시작해야 할 위치를 결정하기 위한 학생 사전 평가 [학습자 분석]

♦ 더 복잡한 수준의 성과로 진행하기 전에 초기 단계를 숙달해야 함을 강조함 [교육 프레젠테이션의 순서, 숙달된 학습]

♦ 성과에 영향을 미치는 강화의 활용 [무형 보상, 정보 피드백]

♦ 강력한 자극 반응 연관성을 보장하기 위한 단서, 형상화 및 실천의 사용 [단순한 것에서 복잡한 것으로 순서, 프롬프트 사용]

♦ An emphasis on producing observable and measurable outcomes in students [behavioral objectives, task analysis, criterion-referenced assessment]

♦ Pre-assessment of students to determine where instruction should begin [learner analysis]

♦ Emphasis on mastering early steps before progressing to more complex levels of performance [sequencing of instructional presentation, mastery learning]

♦ Use of reinforcement to impact performance [tangible rewards, informative feedback]

♦ Use of cues, shaping and practice to ensure a strong stimulus response association [simple to complex sequencing of practice, use of prompts]


교육은 어떻게 구성되어야 하는가?

How should instruction be structured?


행동주의자를 위한 가르침의 목표는 목표 자극이 제시된 학습자로부터 원하는 반응을 이끌어내는 것이다. 이를 달성하기 위해 학습자는 적절한 응답과 적절한 응답을 실행하는 방법을 알고 있어야 한다. 따라서, 교육은 목표 자극의 제시와 학습자가 적절한 대응을 연습할 수 있는 기회 제공을 중심으로 구성된다. 자극-반응 쌍의 연계를 용이하게 하기 위해, 교육에서는 흔히 신호(반응을 보일 것을 자극하는 최초의 것)와 강화(대상 자극이 있는 경우 올바른 대응을 강화한다)를 사용한다.

the goal of instruction for the behaviorist is to elicit the desired response from the learner who is presented with a target stimulus. To accomplish this, the learner must know how to execute the proper response, as well as the conditions under which that response should be made. therefore, instruction is structured around the presentation of the target stimulus and the provision of opportunities for the learner to practice making the proper response. To facilitate the linking of stimulus-response pairs, instruction frequently uses cues (to initially prompt the delivery of the response) and reinforcement (to strengthen correct responding in the presence of the target stimulus).


행동 이론에 따르면 교사/설계자의 일은

    • (1) 원하는 반응을 이끌어낼 수 있는 단서를 결정하는 것

    • (2) 프롬프트가 처음에는 유도력이 없지만 "자연" (성능) 환경에서 반응을 이끌어낼 것으로 예상되는 목표 자극과 짝을 이루는 연습 상황을 배치하는 것 

    • (3) 학생들이 목표 자극이 존재하는 상태에서 올바른 반응을 할 수 있도록 환경 조건을 조정하고, 그러한 반응에 대한 강화를 받을 수 있도록 하는 것(Gropper, 1987).

Behavioral theories imply that the job of the teacher/designer is to 

    • (1) determine which cues can elicit the desired responses; 

    • (2) arrange practice situations in which prompts are paired with the target stimuli that initially have no eliciting power but which will be expected to elicit the responses in the “natural” (performance) setting; and 

    • (3) arrange environmental conditions so that students can make the correct responses in the presence of those target stimuli and receive reinforcement for those responses (Gropper, 1987).


인지주의

Cognitivism


1950년대 후반, 학습이론은 행동 모델의 사용에서 인지과학의 학습 이론과 모델에 의존하는 접근으로 전환하기 시작했다. 심리학자와 교육자들은 명백하고 관찰 가능한 행동에 우려를 강조하기 시작했으며 대신 사고, 문제 해결, 언어, 개념 형성 및 정보 처리와 같은 보다 복잡한 인지 과정을 강조했다(Snelbecker, 1983). 지난 10년 동안, 교육 설계 분야의 많은 저자들은 인지 과학에서 도출된 학습에 대한 새로운 심리적 가정들에 호의적으로 ID의 전통적인 행동주의 가정들 중 많은 것들을 공개적으로 그리고 의식적으로 거부해왔다. 개방적인 혁명으로 보든 단순하게 점진적인 진화 과정으로 보든, 인지 이론이 현재의 학습 이론의 최전선으로 이동했다는 일반적인 인식이 있는 것 같다(Bednar et al., 1991).

In the late 1950s, learning theory began to make a shift away from the use of behavioral models to an approach that relied on learning theories and models from the cognitive sciences. Psychologists and educators began to de-emphasize a concern with overt, observable behavior and stressed instead more complex cognitive processes such as thinking, problem solving, language, concept formation and information processing (Snelbecker, 1983). Within the past decade, a number of authors in the field of instructional design have openly and consciously rejected many of ID’s traditional behavioristic assumptions in favor of a new set of psychological assumptions about learning drawn from the cognitive sciences. Whether viewed as an open revolution or simply a gradual evolutionary process, there seems to be the general acknowledgment that cognitive theory has moved to the forefront of current learning theories (Bednar et al., 1991).


배움은 어떻게 발생하는가?

How does learning occur?


인지 이론은 지식과 내부적 정신 구조의 획득을 강조하며, 이와 같이 인식론 연속체의 합리주의적 종말에 더 가깝다(Bower & Hilgard, 1981). 학습은 반응 확률의 변화보다는 지식 상태 간의 이산적 변화와 동일하다. 인지 이론은 학생들의 학습 과정의 개념화에 초점을 맞추고 있으며, 정보가 어떻게 전달, 조직, 저장, 회수되는지에 대한 문제를 다룬다.

Cognitive theories stress the acquisition of knowledge and internal mental structures and, as such, are closer to the rationalist end of the epistemology continuum (Bower & Hilgard, 1981). Learning is equated with discrete changes between states of knowledge rather than with changes in the probability of response. Cognitive theories focus on the conceptualization of students’ learning processes and address the issues of how information is received, organized, stored, and retrieved by the mind.


배움은 학습자가 무엇을 하는지에 대한 것이 아니라, 그들이 무엇을 알고 어떻게 그것을 습득하게 되는지에 대한 것이다(Jonassen, 1991b). 지식 습득은 학습자에 의해 내부 코딩과 구조를 수반하는 정신적 활동으로 설명된다. 학습자는 학습 과정에 매우 적극적인 참여자로 간주된다.

Learning is concerned not so much with what learners do but with what they know and how they come to acquire it (Jonassen, 1991b). Knowledge acquisition is described as a mental activity that entails internal coding and structuring by the learner. the learner is viewed as a very active participant in the learning process.


어떤 요인들이 학습에 영향을 줍니까?

Which factors influence learning?


인지주의는 행동주의와 마찬가지로 환경 조건이 학습을 용이하게 하는 역할을 강조한다. 지침 설명, 데모, 사례, 일치된 비고사례는 모두 학생 학습을 지도하는 데 도움이 되는 것으로 간주된다. 마찬가지로, 교정적 피드백과 함께 실천의 역할에 중점을 둔다. 이 정도까지는 이 두 이론 사이에 거의 차이가 감지되지 않는다.

Cognitivism, like behaviorism, emphasizes the role that environmental conditions play in facilitating learning. Instructional explanations, demonstrations, illustrative examples and matched non-examples are all considered to be instrumental in guiding student learning. Similarly, emphasis is placed on the role of practice with corrective feedback. Up to this point, little difference can be detected between these two theories.


그러나 학습자의 "능동적" 성질은 전혀 다르게 인식된다. 인지적 접근은 반응을 이끌어내는 학습자의 정신 활동에 초점을 맞추고, 정신 계획, 목표 설정 및 조직 전략의 과정을 인정한다(Shueell, 1986). 인지 이론은 환경적 "cue"와 교육적 요소만으로는 교육적 상황에서 발생하는 모든 학습을 설명할 수 없다고 주장한다.

However, the “active” nature of the learner is perceived quite differently. the cognitive approach focuses on the mental activities of the learner that lead up to a response and acknowledges the processes of mental planning, goal-setting, and organizational strategies (Shuell, 1986). Cognitive theories contend that environmental “cues” and instructional components alone cannot account for all the learning that results from an instructional situation.


추가 주요 요소에는 학습자가 정보를 수집, 코드화, 변환, 리허설, 저장 및 검색하는 방법이 포함된다. 학습자의 생각, 신념, 태도, 가치관도 학습 과정에 영향을 미치는 것으로 간주된다(Winne, 1985). 인지적 접근법의 진짜 초점은 적절한 학습 전략을 사용하도록 권장함으로써 학습자를 바꾸는 것이다.

Additional key elements include the way that learners attend to, code, transform, rehearse, store and retrieve information. Learners’ thoughts, beliefs, attitudes, and values are also considered to be influential in the learning process (Winne, 1985). the real focus of the cognitive approach is on changing the learner by encouraging him/her to use appropriate learning strategies.


기억의 역할은 무엇인가?

What is the role of memory?


위에서 설명한 것처럼 기억력은 학습 과정에서 두드러진 역할을 한다. 학습은 정보가 체계적이고 의미 있는 방식으로 메모리에 저장될 때 발생한다. 교사/설계자는 학습자가 최적의 방식으로 정보를 구성할 수 있도록 도울 책임이 있다. 설계자는 학습자가 새로운 정보를 사전 지식에 연결하도록 돕기 위해 고급 계획자, 유사성, 계층적 관계 및 행렬과 같은 기법을 사용한다. 잊어버리는 것은 정보에 접근하는 데 필요한 간섭, 메모리 손실 또는 누락 또는 불충분한 단서 때문에 메모리로부터 정보를 검색할 수 없는 것이다.

As indicated above, memory is given a prominent role in the learning process. Learning results when information is stored in memory in an organized, meaningful manner. Teachers/designers are responsible for assisting learners in organizing that information in some optimal way. Designers use techniques such as advance organizers, analogies, hierarchical relationships, and matrices to help learners relate new information to prior knowledge. Forgetting is the inability to retrieve information from memory because of interference, memory loss, or missing or inadequate cues needed to access information.


이전은 어떻게 발생하는가?

How does transfer occur?


인지 이론에 따르면, 전이(transfer)는 정보가 기억 속에 어떻게 저장되는지의 함수라고 한다(Schunk, 1991). 학습자가 다른 맥락에서 지식을 적용하는 방법을 이해할 때, 전이가 발생한다. 이해라는 것은 규칙, 개념, 구별의 형태로 지식기반을 구성하는 것으로 여겨진다(Duff y & Jonassen, 1991).

According to cognitive theories, transfer is a function of how information is stored in memory (Schunk, 1991). When a learner understands how to apply knowledge in different contexts, then transfer has occurred. Understanding is seen as being composed of a knowledge base in the form of rules, concepts, and discriminations (Duff y & Jonassen, 1991).


사전 지식은 새로운 정보의 유사성과 차이점을 식별하기 위한 경계 제약boundary constraint을 확립하기 위해 사용된다. 지식 그 자체는 기억 속에 저장되어야 할 뿐만 아니라 그 지식의 사용도 저장되어야 한다. 특정 교육적 또는 현실적 이벤트는 특정한 반응을 유발하지만, 학습자는 어떤 지식을 활성화하기 전에, 그 지식이 주어진 상황에서 유용하다고 믿어야 한다.

Prior knowledge is used to establish boundary constraints for identifying the similarities and differences of novel information. Not only must the knowledge itself be stored in memory but the uses of that knowledge as well. Specific instructional or real-world events will trigger particular responses, but the learner must believe that the knowledge is useful in a given situation before he or she will activate it.


어떤 종류의 학습이 이 직책에 의해 가장 잘 설명되는가?

What types of learning are best explained by this position?


정신 구조에 대한 강조 때문에 인지 이론은 일반적으로 더 행동적인 관점보다 복잡한 형태의 학습(이성, 문제 해결, 정보 처리)을 설명하는데 더 적합한 것으로 간주된다(Schunk, 1991). 그러나, 이 시점에서 이러한 두 가지 관점에 대한 강의의 실제 목표가 종종 동일하다는 것을 나타내는 것이 중요하다: 가능한 한 가장 효율적이고 효과적인 방법으로 학생들에게 지식을 전달하거나 소통하는 것이다(Bednar et al., 1991).

Because of the emphasis on mental structures, cognitive theories are usually considered more appropriate for explaining complex forms of learning (reasoning, problem-solving, information-processing) than are those of a more behavioral perspective (Schunk, 1991). However, it is important to indicate at this point that the actual goal of instruction for both of these viewpoints is often the same: to communicate or transfer knowledge to the students in the most efficient, effective manner possible (Bednar et al., 1991).


지식 전달의 이러한 효과와 효율성을 달성하는데 양 진영에서 사용하는 두 가지 기술은 단순화와 표준화다. 즉, 지식은 분석, 분해, 그리고 기본적인 구성 요소로 단순화할 수 있다. 관련 없는 정보가 제거되면 지식 전달이 빨라진다.

Two techniques used by both camps in achieving this effectiveness and efficiency of knowledge transfer are simplification and standardization. Th at is, knowledge can be analyzed, decomposed, and simplified into basic building blocks. Knowledge transfer is expedited if irrelevant information is eliminated.


예를 들어 워크숍에 참석하는 연습생에게는 가능한 한 빠르고 쉽게 새로운 정보를 동화 및/또는 수용할 수 있는 방법으로 "sized"와 "chunked"의 정보가 제공될 것이다.

For example, trainees attending a workshop would be presented with information that is “sized” and “chunked” in such a way that they can assimilate and/or accommodate the new information as quickly and as easily as possible.


행동주의자들은 그러한 전달을 최적화하기 위한 환경 설계에 초점을 맞추고, 인지주의자들은 효율적인 처리 전략을 강조할 것이다

Behaviorists would focus on the design of the environment to optimize that transfer, while cognitivists would stress efficient processing strategies.


이 이론의 어떤 기본적인 가정/원칙이 교육적 설계와 관련이 있는가?

What basic assumptions/principles of this theory are relevant to instructional design?


인지학자들이 옹호하고 활용하는 많은 교육 전략들 또한 행동주의자들에 의해 강조되지만, 대개는 다른 이유로 강조된다. 분명한 공통점은 피드백의 사용이다

    • 행동주의자는 피드백(강화)을 사용하여 원하는 방향으로 행동을 수정하는 반면, 

    • 인지주의자는 피드백(결과 지식)을 활용하여 정확한 정신연계를 안내하고 지원한다(Thompson, Simonson & Hargrave, 1992).

Many of the instructional strategies advocated and utilized by cognitivists are also emphasized by behaviorists, yet usually for different reasons. An obvious commonality is the use of feedback. A behaviorist uses feedback (reinforcement) to modify behavior in the desired direction, while cognitivists make use of feedback (knowledge of results) to guide and support accurate mental connections (Thompson, Simonson, & Hargrave, 1992).


학습자와 과제 분석은 또한 인식론자와 행동론자 모두에게 매우 중요하지만, 다른 이유로 다시 한 번 더 중요하다. 

    • 인지학자들은 학습자의 학습 성향을 판단하기 위해 학습자를 본다. (즉, 학습자가 어떻게 학습을 활성화, 유지 및 지시하는가?) (Th 옴슨 외, 1992). 또한, 인지학자들은 학습자가 쉽게 동화될 수 있도록 교육을 설계하는 방법을 결정하기 위해 학습자를 검사한다(즉, 학습자의 기존 정신 구조는 무엇인가?).

Learner and task analyses are also critical to both cognitivists and behaviorists, but once again, for different reasons. Cognitivists look at the learner to determine his/her predisposition to learning, (i.e., How does the learner activate, maintain, and direct his/her learning?) (Th ompson et al., 1992). Additionally, cognitivists examine the learner to determine how to design instruction so that it can be readily assimilated (i.e., What are the learner’s existing mental structures?).


    • 이와는 대조적으로 행동주의자들은 어디서 수업을 시작해야 하는지(즉, 현재 어떤 수준에서 성공적으로 수행되고 있는가?) 어떤 강화가 가장 효과적이어야 하는지(즉, 학습자가 가장 원하는 결과는 무엇인가?)를 결정하기 위해 학습자를 본다.

In contrast, the behaviorists look at learners to determine where the lesson should begin (i.e., At what level are they currently performing successfully?) and which reinforcers should be most effective (i.e., What consequences are most desired by the learner?).


지침 설계와 직접적인 관련이 있는 구체적인 가정 또는 원칙은 다음을 포함한다.

Specific assumptions or principles that have direct relevance to instructional design include the following


♦ 학습 과정의 학습자의 적극적인 참여 강조 [학습자 제어, 인지 훈련(예: 자기 계획, 모니터링 및 수정 기법)]

선행 조건 관계를 식별하고 설명하기 위한 계층 분석의 사용 [인식 작업 분석 절차]

♦ 최적 처리를 위한 정보의 구조화, 정리, 배열 등에 대한 강조[개요, 요약, 합성기, 사전 기획자 등 인지 전략의 활용]

♦ 학생들이 이전에 학습한 자료와 연결할 수 있도록 하고 권장하는 학습 환경 조성 [필수 조건 기술 회수; 관련 예제 사용, 유사 자료 사용]


♦ Emphasis on the active involvement of the learner in the learning process [learner control, metacognitive training (e.g., self-planning, monitoring, and revising techniques)]

♦ Use of hierarchical analyses to identify and illustrate prerequisite relationships [cognitive task analysis procedures]

♦ Emphasis on structuring, organizing, and sequencing information to facilitate optimal processing [use of cognitive strategies such as outlining, summaries, synthesizers, advance organizers, etc.]

♦ Creation of learning environments that allow and encourage students to make connections with previously learned material [recall of prerequisite skills; use of relevant examples, analogies]


교육은 어떻게 구성되어야 하는가?

How should instruction be structured?


    • 동 이론은 교사들이 학생들이 제시된 자극에 적절히 반응하도록 환경 조건을 조정해야 한다는 것을 의미한다. 

    • 인지 이론지식을 의미 있게 만들고 학습자가 새로운 정보를 구성하고 기억에 존재하는 지식과 연관시키는 것을 돕는 것을 강조한다. 

지도는 학생의 기존 정신 구조, 즉 스키마를 기반으로 해야 효과적이다. 그것은 학습자가 새로운 정보를 어떤 의미 있는 방법으로 기존 지식과 연결할 수 있도록 정보를 구성해야 한다. 비유와 은유는 이러한 유형의 인지 전략의 예들이다.

Behavioral theories imply that teachers ought to arrange environmental conditions so that students respond properly to presented stimuli. Cognitive theories emphasize making knowledge meaningful and helping learners organize and relate new information to existing knowledge in memory. Instruction must be based on a student’s existing mental structures, or schema, to be effective. It should organize information in such a manner that learners are able to connect new information with existing knowledge in some meaningful way. Analogies and metaphors are examples of this type of cognitive strategy.


다른 인지 전략에는 프레임 사용, 개요, 니모닉 사용, 개념 매핑, 사전 계획자 등이 포함될 수 있다(West, Farmer, 1991).

Other cognitive strategies may include the use of framing, outlining, mnemonics, concept mapping, advance organizers, and so forth (West, Farmer, & Wolff , 1991).


이러한 인지적 강조는 교사/설계자의 주요 업무가 다음을 포함한다는 것을 의미한다. 

    • (1) 개인은 학습 상황에 다양한 학습 경험을 가져오며, 이것이 학습 결과에 영향을 미칠 수 있다는 이해 

    • (2) 이전에 습득한 지식, 능력 및 경험을 활용하기 위해 새로운 정보를 구성하고 구성하는 가장 효과적인 방법 결정 

    • (3) 새로운 정보가 효과적이고 효율적으로 동화 및/또는 학습자의 인지 구조 내에서 수용될 수 있도록 피드백을 통해 실천을 정돈한다(Stepich & Newby, 1988).

Such cognitive emphases imply that major tasks of the teacher/designer include 

(1) understanding that individuals bring various learning experiences to the learning situation which can impact learning outcomes; 

(2) determining the most effective manner in which to organize and structure new information to tap the learners’ previously acquired knowledge, abilities, and experiences; and 

(3) arranging practice with feedback so that the new information is effectively and efficiently assimilated and/or accommodated within the learners’ cognitive structure (Stepich & Newby, 1988).


인지적 접근법을 활용하는 학습 상황의 다음 예를 고려해보자: 대기업 교육부의 한 관리자가 새로운 인턴에게 다가오는 개발 프로젝트를 위해 비용-편익 분석을 완료하도록 가르쳐 달라고 요청 받았다. 이 경우, 사업 환경에서 비용 편익 분석에 대한 경험이 없는 것으로 가정한다. 그러나, 이 새로운 작업을 인턴이 더 많은 경험을 가진 매우 유사한 절차와 연관시킴으로써, 관리자는 이 새로운 절차의 원활하고 효율적인 기억으로의 동화를 촉진할 수 있다. 이러한 익숙한 절차에는 개인이 자신의 월 급여 수표를 배분하는 과정, 사치품 구매와 관련하여 구매/무구매 결정을 내리는 방법, 심지어 주말 지출 활동이 어떻게 결정되고 우선 순위가 매겨지는지 등이 포함될 수 있다. 그러한 활동에 대한 절차는 비용-효익 분석의 절차와 정확히 일치하지 않을 수 있지만, 활동 사이의 유사성은 익숙하지 않은 맥락 안에 낯선 정보를 넣을 수 있게 한다. 당사에서는 처리 요건이 감소하고 회수 신호의 잠재적 효과성이 증가한다.

Consider the following example of a learning situation utilizing a cognitive approach: A manager in the training department of a large corporation had been asked to teach a new intern to complete a cost-benefi t analysis for an upcoming development project. In this case, it is assumed that the intern has no previous experience with cost-benefit analysis in a business setting. However, by relating this new task to highly similar procedures with which the intern has had more experience, the manager can facilitate a smooth and efficient assimilation of this new procedure into memory. these familiar procedures may include the process by which the individual allocates his monthly pay check, how (s)he makes a buy/ no-buy decision regarding the purchase of a luxury item, or even how one’s weekend spending activities might be determined and prioritized. the procedures for such activities may not exactly match those of the cost-benefit analysis, but the similarity between the activities allows for the unfamiliar information to be put within a familiar context. Th us, processing requirements are reduced and the potential effectiveness of recall cues is increased.


구성주의

Constructivism


행동 이론과 인지 이론 둘 다에 기초하는 철학적인 가정들은 주로 객관성이다; 즉 세상은 실제적이고 학습자에게 외재적이다. 교육의 목표는 세계의 구조를 학습자에게 매핑하는 것이다(Jonassen, 1991b).

the philosophical assumptions underlying both the behavioral and cognitive theories are primarily objectivistic; that is: the world is real, external to the learner. the goal of instruction is to map the structure of the world onto the learner (Jonassen, 1991b).


많은 현대의 인지 이론가들은 이러한 기본적인 객관적 가정에 의문을 갖기 시작했고 학습과 이해에 대해 보다 구성주의적인 접근법을 채택하기 시작하고 있다: 지식은 "개인이 자신의 경험으로부터 어떻게 의미를 창조하는가에 대한 함수이다" (p. 10).

A number of contemporary cognitive theorists have begun to question this basic objectivistic assumption and are starting to adopt a more constructivist approach to learning and understanding: knowledge “is a function of how the individual creates meaning from his or her own experiences” (p. 10).


구성주의는 완전히 새로운 학습 방식이 아니다. 대부분의 다른 학습 이론과 마찬가지로, 구성주의는 특히 피아제, 브루너, 굿맨(Perkins, 1991년)의 작품에서 금세기 철학적, 심리적 관점에 복수의 뿌리를 두고 있다.

Constructivism is not a totally new approach to learning. Like most other learning theories, constructivism has multiple roots in the philosophical and psychological viewpoints of this century, specifically in the works of Piaget, Bruner, and Goodman (Perkins, 1991).



배움은 어떻게 발생하는가?

How does learning occur?


구성주의는 학습을 경험으로부터 의미를 창조하는 것과 동일시하는 이론이다(Bednar et al., 1991). 구성주의는 인지주의의 한 분야(두 가지 모두 정신적 활동으로 학문을 인식하는 것)로 간주되지만, 여러 가지 면에서 전통적인 인지 이론과 구별된다. 

    • 대부분의 인지심리학자들은 정신을 현실 세계에 대한 참조 도구reference tool로 생각한다; 

    • 구성주의자들은 정신이 자신만의 독특한 현실을 만들기 위해 세계로부터의 입력을 필터링한다고 믿는다.

Constructivism is a theory that equates learning with creating meaning from experience (Bednar et al., 1991). Even though constructivism is considered to be a branch of cognitivism (both conceive of learning as a mental activity), it distinguishes itself from traditional cognitive theories in a number of ways. Most cognitive psychologists think of the mind as a reference tool to the real world; constructivists believe that the mind filters input from the world to produce its own unique reality (Jonassen, 1991a).


플라톤 시대의 합리주의자들과 마찬가지로 정신은 모든 의미의 근원으로 믿어지고 있지만, 경험주의자들처럼 개인적이고 직접적인 환경 경험도 중요하다고 여긴다. 구성주의는 이 두 변수 사이의 상호작용을 강조함으로써 두 범주를 넘나든다.

As with the rationalists of Plato’s time, the mind is believed to be the source of all meaning, yet like the empiricists, individual, direct experiences with the environment are considered critical. Constructivism crosses both categories by emphasizing the interaction between these two variables.


구성주의자들은 (인지주의자나 행동주의자들과) 지식이 정신에 의존하고 학습자에게 "매핑"될 수 있다는 믿음을 공유하지 않는다. 구조주의자들은 현실 세계의 존재를 부정하는 것이 아니라 우리가 세계에 대해 알고 있는 것은 우리의 경험에 대한 우리 자신의 해석에서 비롯된다고 주장한다. 인간은 그것을 획득하는 것과 반대로 의미를 창조한다. 어떤 경험으로부터든 얻을 수 있는 많은 의미들이 있기 때문에, 우리는 미리 정해진 "올바른" 의미를 달성할 수 없다.

Constructivists do not share with cognitivists and behaviorists the belief that knowledge is mind-independent and can be “mapped” onto a learner. Constructivists do not deny the existence of the real world but contend that what we know of the world stems from our own interpretations of our experiences. Humans create meaning as opposed to acquiring it. Since there are many possible meanings to glean from any experience, we cannot achieve a predetermined, “correct” meaning.


학습자는 외부 세계로부터 얻은 지식을 기억으로 전달하지 않고, 오히려 개인의 경험과 상호작용을 바탕으로 세계에 대한 개인적 해석을 구축한다. 우리보다 지식의 내면적 표현은 끊임없이 변화에 열려있다; 학습자가 알기 위해 노력하는 객관적인 현실은 없다. 지식은 그것이 관련된 맥락에서 나타난다. 따라서, 개인 내에서 일어난 학습을 이해하기 위해서는 실제 경험을 조사해야 한다(Bednar et al., 1991).

Learners do not transfer knowledge from the external world into their memories; rather they build personal interpretations of the world based on individual experiences and interactions. Th us, the internal representation of knowledge is constantly open to change; there is not an objective reality that learners strive to know. Knowledge emerges in contexts within which it is relevant. therefore, in order to understand the learning which has taken place within an individual, the actual experience must be examined (Bednar et al., 1991).


어떤 요인들이 학습에 영향을 줍니까?

Which factors influence learning?


학습자와 환경적 요인은 모두 구성주의자에게 매우 중요하다. 왜냐하면 지식을 창출하는 것은 두 변수 사이의 특정한 상호 작용이기 때문이다. 구성주의자들은 행동이 상황적으로 결정된다고 주장한다(Jonassen, 1991a). 새로운 어휘 단어의 학습이 (사전으로부터 그 의미를 배우는 것과는 반대로) 문맥에서의 그러한 단어들과의 노출과 그 후의 상호작용에 의해 향상되는 것과 마찬가지로, 내용 지식도 그것이 사용되는 상황에 내재하는 것이 필수적이다.

Both learner and environmental factors are critical to the constructivist, as it is the specific interaction between these two variables that creates knowledge. Constructivists argue that behavior is situationally determined (Jonassen, 1991a). Just as the learning of new vocabulary words is enhanced by exposure and subsequent interaction with those words in context (as opposed to learning their meanings from a dictionary), likewise it is essential that content knowledge be embedded in the situation in which it is used.


브라운, 콜린스, 듀기드(1989)는 상황이 실제로 활동을 통해 (인식과 함께) 지식을 공동 생산한다고 제안한다. 모든 행동은 "이전 상호작용의 전체 역사를 바탕으로 한 현재 상황에 대한 해석"으로 본다(Clancey, 1986). 주어진 단어의 의미들의 그림자들이 단어에 대한 학습자의 "현재" 이해를 끊임없이 변화시키고 있는 것처럼, 개념들 또한 계속해서 새로운 용도를 발전시킬 것이다. 이러한 이유로, 학습은 현실적인 환경에서 발생하며, 학습과제는 학생들의 생생한 경험과 관련이 있는 것이 중요하다.

Brown, Collins, and Duguid (1989) suggest that situations actually co-produce knowledge (along with cognition) through activity. Every action is viewed as “an interpretation of the current situation based on an entire history of previous interactions” (Clancey, 1986). Just as shades of meanings of given words are constantly changing a learner’s “current” understanding of a word, so too will concepts continually evolve witheach new use. For this reason, it is critical that learning occur in realistic settings and that the selected learning tasks be relevant to the students’ lived experiences.


기억의 역할은 무엇인가?

What is the role of memory?


교육의 목표는 개인이 특정한 사실을 확실히 아는 것이 아니라 정보에 대해 상세히 설명하고elaborate 해석하는interpret 것이다. "'이해'는 지속적, 상황적 사용을 통해 개발되며, 기억에서 불러올 수 있는 범주형categorical 정의로 결정되지 않는다(Brown et al., 1989, 페이지 33). 앞에서 언급한 바와 같이, 개념은 각각의 새로운 용도에 따라 계속 진화할 것이다.

the goal of instruction is not to ensure that individuals know particular facts but rather that they elaborate on and interpret information. “Understanding is developed through continued, situated use . . . and does not crystallize into a categorical definition” that can be called up from memory (Brown et al., 1989, p. 33). As mentioned earlier, a concept will continue to evolve with each new use


따라서 "기억"은 상호 작용의 누적 이력으로서, 늘 구성construction 중에 있다. 경험의 표현은 공식화되거나 선언적 지식의 한 조각으로 구조화되고 다음 머리에 저장되는 것이 아니다. 강조점은 온전한intact 지식 구조를 인출retrieve하는 것이 아니라, 당면한 문제에 적합한 다양한 출처에서 사전 지식을 "조립"함으로써 학습자에게 새롭고 상황별 이해를 창출할 수 있는 수단을 제공하는 것이다.

therefore, “memory” is always under construction as a cumulative history of interactions. Representations of experiences are not formalized or structured into a single piece of declarative knowledge and then stored in the head. the emphasis is not on retrieving intact knowledge structures, but on providing learners with the means to create novel and situation-specific understandings by “assembling” prior knowledge from diverse sources appropriate to the problem at hand.


구성주의자들은 미리 포장된 스키마의 인출보다는 기존의 지식의 유연한 사용을 강조한다(Spiro, Feltovich, Jacobson, 1991). 과제 수행을 통해 개발된 정신적 표현은 환경의 일부가 동일하게 유지되는 한 후속 작업이 수행되는 효율성을 증가시킬 가능성이 있다. "환경의 특징을 복구하는 것은 행동 순서를 재반복하게 만들 수 있다." (브라운 등, 페이지 37).기억은 맥락-독립적인 과정이 아니다.

Constructivists emphasize the flexible use of preexisting knowledge rather than the recall of prepackaged schemas (Spiro, Feltovich, Jacobson, & Coulson, 1991). Mental representations developed through task-engagement are likely to increase the efficiency with which subsequent tasks are performed to the extent that parts of the environment remain the same: “Recurring features of the environment may thus afford recurring sequences of actions” (Brown et al., p. 37). Memory is not a context-independent process.


분명히 구성주의의 초점은 그들이 사용되는 문화의 지혜와 개인의 통찰력과 경험을 재조명하는 인지적 도구를 만드는 데 있다.

Clearly the focus of constructivism is on creating cognitive tools which reflect the wisdom of the culture in which they are used as well as the insights and experiences of individuals.


성공하고, 의미 있고, 지속적이 되려면, 학습은 활동(실무), 개념(지식), 문화(컨텍스트)의 세 가지 중요한 요소를 모두 포함해야 한다(Brown et al., 1989).

To be successful, meaningful, and lasting, learning must include all three of these crucial factors: 

    • activity (practice), 

    • concept (knowledge), and 

    • culture (context) (Brown et al., 1989).


전이는 어떻게 발생하는가?

How does transfer occur?


구성주의적 입장에서는 의미 있는 맥락에 anchor되어 있는 authentic task에 참여함으로써 전이를 촉진할 수 있다고 가정한다. 이해는 경험에 의해 "색인화"되기 때문에(단어의 의미가 특정 사용 사례와 연관되어 있는 것처럼), 경험의 authenticity는 개인의 아이디어 사용 능력에 매우 중요해진다(Brown et al., 1989). 구성주의자의 관점에 있어서 본질적인 개념은 학습은 항상 특정 맥락에서 일어나고 그 맥락은 그것에 내재된 지식과 분리할 수 없는 연관성을 형성한다는 것이다(Bednar et al., 1991).

the constructivist position assumes that transfer can be facilitated by involvement in authentic tasks anchored in meaningful contexts. Since understanding is “indexed” by experience (just as word meanings are tied to specific instances of use), the authenticity of the experience becomes critical to the individual’s ability to use ideas (Brown et al., 1989). An essential concept in the constructivist view is that learning always takes place in a context and that the context forms an inexorable link with the knowledge embedded in it (Bednar et al., 1991).


따라서, 교육의 목표는 과제를 정확하게 묘사portray하는 것이지, 과제를 달성하는 데 필요한 학습의 구조structure of learning를 정의하는 것은 아니다. 학습에서 맥락이 제거된다면 전이가 일어날 가망은 거의 없다.

therefore, the goal of instruction is to accurately portray tasks, not to define the structure of learning required to achieve a task. If learning is decontextualized, there is little hope for transfer to occur.


사람은 단순히 규칙 목록을 따르는 방식으로 도구 세트를 사용하는 것을 배우지 않는다. 적절하고 효과적인 사용은 학습자가 실제 상황에서 도구를 실제 사용하게 함으로써 발생한다. 따라서, 학습의 궁극적인 척도는 학습자의 지식 구조가 [도구가 사용되는 시스템 내에서] 사고와 수행을 촉진하는 데 얼마나 효과적인가에 기초한다. 

One does not learn to use a set of tools simply by following a list of  rules. Appropriate and effective use comes from engaging the learner in the actual use of the tools in real-world situations. Thus, the ultimate measure of learning is based on how effective the learner’s knowledge structure is in facilitating thinking and performing in the system in which those tools are used. 


어떤 종류의 학습이 이 직책에 의해 가장 잘 설명되는가?

What types of learning are best explained by this position?


구성주의적 견해는 학습의 유형이 내용 및 학습의 맥락과 무관하게 identify될 수 있다는 가정을 수용하지 않는다(Bednar et al., 1991). 구조주의자들은 관계의 계층적 분석에 따라 지식 영역을 나누는 것은 불가능하다고 믿는다.

the constructivist view does not accept the assumption that types of learning can be identified independent of the content and the context of learning (Bednar et al., 1991). Constructivists believe that it is impossible to divide up knowledge domains according to a hierarchical analysis of relationships.


비록 성과와 가르침에 대한 강조가 상대적으로 구조화된 지식 영역에서 기본적인 기술을 가르치는 데 효과적이라는 것이 입증되었지만, 많은 교육내용들은 구조화되지 않은 영역의 고급 지식을 포함한다. 요나센(1991a)은 지식 습득의 3단계(내부, 고급, 전문가)를 기술하고 있으며, 구성주의적 학습 환경이 고급 지식 습득의 단계에 가장 효과적이라고 주장한다.

Although the emphasis on performance and instruction has proven effective in teaching basic skills in relatively structured knowledge domains, much of what needs be learned involves advanced knowledge in ill-structured domains. Jonassen (1991a) has described three stages of knowledge acquisition(introductory, advanced, and expert) and argues that constructive learn-ing environments are most effective for the stage of advanced knowledge acquisition


Jonassen은 입문적 지식 습득은 더 객관적 접근법(행동적 및/또는 인지적)에 의해 더 잘 뒷받침된다는 것에 동의하지만, 학습자가 복잡하고 잘못된 구조적인 문제를 다루는 데 필요한 개념적 힘을 제공하는 더 많은 지식을 습득함에 따라 구성주의적 접근법으로의 전환을 제안한다.

Jonassen agrees that introductory knowledge acquisition is better supported by more objectivistic approaches (behavioral and/or cognitive) but suggests a transition to constructivistic approaches as learners acquire more knowledge which provides them with the conceptual power needed to deal with complex and ill-structured problems.


이 이론의 어떤 기본적인 가정/원칙이 교육적 설계와 관련이 있는가?

What basic assumptions/principles of this theory are relevant to instructional design?


구성주의 설계자는 학습자가 복잡한 주제/환경에 대해 능동적으로 탐구할 수 있도록 돕고, 해당 영역의 전문가가 생각하는 식의 사고방식으로 이들을 이동시키는 교육 방법을 specify한다.

the constructivist designer specifies instructional methods that will assist learners in actively exploring complex topics/environments and that will move them into thinking in a given content area as an expert user of that domain might think.


지식은 추상적이지는 않으며, 학습중인 맥락과 참여자들이 맥락에 가져오는 경험과 연관되어 있다. 이와 같이, 학습자들은 그들 자신의 이해를 형성하고 사회적 협상을 통해 이러한 새로운 관점을 검증하도록 권장된다. 콘텐츠는 미리 지정되어 있지 않다. 많은 출처의 정보가는 필수적이다.

Knowledge is not abstract but is linked to the context under study and to the experiences that the participants bring to the context. As such, learners are encouraged to construct their own understandings and then to validate, through social negotiation, these new perspectives. Content is not pre-specified; information from many sources is essential.


예를 들어, 전형적인 구성주의자의 목표는 초보 ID 학생들에게 교육 설계에 대한 사실을 똑바로 가르쳐 주는 것이 아니라, 학생들이 교육 설계자로서 ID 사실을 사용할 수 있도록 준비하는 것이다. 이와 같이 성과목표는 건설과정에 관한 것만큼 콘텐츠와 크게 관련되지 않는다.

For example, a typical constructivist’s goal would not be to teach novice ID students straight facts about instructional design, but to prepare students to use ID facts as an instructional designer might use them. As such, performance objectives are not related so much to the content as they are to the processes of construction.


구성주의자가 활용하는 구체적인 전략의 일부는 다음과 같다. 

    • 과제를 현실 세계의 상황에 situate시킨다

    • 인지적 도제 사용(전문가 성과에 대한 학생 모델링 및 지도) 

    • 다양한 관점 제시(대체 관점을 개발하고 공유하기 위한 협력적 학습) 

    • 사회적 협상(논의, 토론, 증거 제공) 

    • "삶의 한 조각"과 같은 실제 사례 활용

    • 성찰적 인식

    • 구성주의적 프로세스의 사용에 대한 상당한 가이드 제공

Some of the specific strategies utilized by constructivists include 

    • situating tasks in real world contexts, 

    • use of cognitive apprenticeships (modeling and coaching a student toward expert performance), 

    • presentation of multiple perspectives (collaborative learning to develop and share alternative views), 

    • social negotiation (debate, discussion, evidence-giving), 

    • use of examples as real “slices of life,” 

    • reflective awareness, and 

    • providing considerable guidance on the use of constructive processes.


다음은 구성주의자 입장에서 본 몇 가지 구체적인 가정이나 원칙이다.

the following are several specific assumptions or principles from the constructivist position


♦ 기술을 습득하고 그 후에 적용할 맥락의 식별에 대한 강조[의미있는 문맥으로 학습 집중]

학습자 통제와 학습자가 정보를 조작할 수 있는 능력에 대한 강조 [학습한 내용을 능동적으로 사용] 

다양한 방법으로 정보를 제시할 필요성 [다양한 시간, 재배치된 상황, 다른 목적, 다른 개념적 관점 등].

♦ 학습자가 "주어진 정보 이상"으로 갈 수 있도록 하는 문제 해결 스킬의 활용 지원[패턴 인식 스킬을 개발하고, 문제를 표현하는 다른 방법을 제시한다].

♦ 지식과 기술의 전이에 초점을 맞춘 평가 [초기 지시 조건과 다른 새로운 문제와 상황 제시]


♦ An emphasis on the identification of the context in which the skills will be learned and subsequently applied [anchoring learning in meaningful contexts].

♦ An emphasis on learner control and the capability of the learner to manipulate information [actively using what is learned].

♦ the need for information to be presented in a variety of different ways [revisiting content at different times, in rearranged contexts, for different purposes, and from different conceptual perspectives].

♦ Supporting the use of problem solving skills that allow learners to go “beyond the information given” [developing pattern-recognition skills, presenting alternative ways of representing problems].

♦ Assessment focused on transfer of knowledge and skills [presenting new problems and situations that differ from the conditions of the initial instruction].


교육은 어떻게 구성되어야 하는가?

How should instruction be structured?


행동주의자-인지주의-구성주의 연속체를 따라 움직일 때, 가르침의 초점은 가르침에서 배움으로, 사실과 루틴의 수동적인 전달에서 문제에 대한 아이디어의 능동적인 적용으로 옮겨간다.

As one moves along the behaviorist—cognitivist—constructivist continuum, the focus of instruction shifts from teaching to learning, from the passive transfer of facts and routines to the active application of ideas to problems.


인식론자와 구성론자 모두 학습자가 학습 과정에 적극적으로 참여하는 것으로 간주하지만, 구성주의자는 학습자를 단순한 정보 처리자 이상의 능동적 프로세서로 본다. 학습자는 주어진 정보에 대해 상세히 설명하고 해석한다(Duff y & Jonassen, 1991). 의미는 학습자에 의해 만들어진다: 학습 목표는 미리 지정되지 않거나, 학습 목표가 미리 지정되지 않는다.

Both cognitivists and constructivists view the learner as being actively involved in the learning process, yet the constructivists look at the learner as more than just an active processor of information; the learner elaborates upon and interprets the given information (Duff y & Jonassen, 1991). Meaning is created by the learner: learning objectives are not pre-specified nor is instruction predesigned.


"구성주의자의 관점에 있어서의 가르침의 역할은 

    • 학생들에게 지식을 구성하는 방법을 보여주고

    • 다른 사람들과의 협력을 촉진하여 특정한 문제를 다룰 수 있는 여러 가지 관점을 보여주며

    • 자신이 동의하지 않는 다른 관점들의 토대를 인식하면서, 동시에 스스로 선택한 입장을 정하고, 거기에 헌신하도록 하는 것이다" (Cunningham, Cunningham).

“the role of instruction in the constructivist view is 

    • to show students how to construct knowledge, 

    • to promote collaboration with others to show the multiple perspectives that can be brought to bear on a particular problem, and 

    • to arrive at self-chosen positions to which they can commit themselves, while realizing the basis of other views with which they may disagree” (Cunningham, 1991, p. 14).


학습자 구성에 중점을 두고 있음에도 불구하고, 교육 디자이너/교사의 역할은 여전히 중요하다(Reigeluth, 1989). 설계자의 과제는 두 가지로 구분된다. 

    • (1) 학생들에게 의미 구성 방법과 이러한 구조를 효과적으로 모니터링, 평가 및 업데이트하는 방법을 가이드하는 것, 

    • (2) 학습자를 위한 경험을 align하고 설계하여 authentic, relevant 맥락을 경험할 수 있도록 한다.

Even though the emphasis is on learner construction, the instructional designer/teacher’s role is still critical (Reigeluth, 1989). Here thetasks of the designer are two-fold: 

    • (1) to instruct the student on how to construct meaning, as well as how to effectively monitor, evaluate, and update those constructions; and 

    • (2) to align and design experiences for the learner so that authentic, relevant contexts can be experienced.


구성주의자의 손에 맡겨진 학생은 "도제" 경험에 몰입할 가능성이 높다. 

a student placed in the hands of a constructivist would likely be immersed in an “apprenticeship” experience. 


예를 들어, 요구 평가에 대해 배우기를 원하는 초보 교육 설계 학생은 그러한 평가가 완료되어야 하는 상황에 놓일 것이다. 

    • 실제 사례에 관련된 전문가의 모델링과 코칭을 통해, 초보 설계자는 실제 문제 상황의 진정한 맥락에 내재된 과정을 경험하게 된다. 

    • 시간이 지남에 따라 학생은 몇 가지 추가 상황을 경험하게 될 것이며, 이 모든 상황은 유사한 필요성 평가 능력을 필요로 한다. 

    • 각각의 경험은 이전에 경험하고 건설된 것을 기반으로 하고 적응하는 역할을 할 것이다. 

    • 그 학생이 더 많은 자신감과 경험을 얻었을 때, 그는 토론이 중요해지는 학습의 협력적인 단계로 나아갈 것이다. 

    • 다른 사람들(피어, 고급 학생, 교수, 디자이너)과 대화함으로써, 학생들은 필요성 평가 과정에 대한 그들 자신의 기준을 더 잘 표현할 수 있게 된다. 

    • 순진한 이론을 들추어내면서, 그들은 그러한 활동을 새로운 시각으로 보기 시작하는데, 이것이 그들을 개념적 리프레밍(학습)으로 인도한다. 

    • 학생들은 복잡한 상황에서 분석과 행동에 익숙해져 결과적으로 그들의 시야를 넓히기 시작한다. 

    • 관련 서적을 접하고, 컨퍼런스 및 세미나에 참석하며, 다른 학생들과 이슈를 논의하며, 지식을 활용하여 주변의 수많은 상황을 해석한다(특정 설계 문제뿐만 아니라). 

    • 초보에서 '예산 전문가'로 옮겨가면서 학습자가 서로 다른 유형의 학습에 관여했을 뿐 아니라 학습 과정의 성격도 달라졌다.

For example, a novice instructional design student who desires to learn about needs assessment would be placed in a situation that requires such an assessment to be completed. Through the modeling and coaching of experts involved in authentic cases, the novice designer would experience the process embedded in the true context of an actual problem situation. Over time, several additional situations would be experienced by the student, all requiring similar needs assessment abilities. Each experience would serve to build on and adapt that which has been previously experienced and constructed. As the student gained more confidence and experience, (s)he would move into a collaborative phase of learning where discussion becomes crucial. By talking with others (peers, advanced students, professors, and designers), students become better able to articulate their own under-standings of the needs assessment process. As they uncover their naive theories, they begin to see such activities in a new light, which guides them towards conceptual reframing (learning). Students gain familiarity with analysis and action in complex situations and consequently begin to expand their horizons. They encounter relevant books, attend conferences and seminars, discuss issues with other students, and use their knowledge to interpret numerous situations around them (not only related to specific design issues). Not only have the learners been involved in different types of learning as they moved from being novices to “bud-ding experts,” but the nature of the learning process has changed as well.


일반 고찰

General Discussion


이는 강사/설계자가 다음 두 가지 중요한 질문을 하도록 유도한다. 하나의 "최상의" 접근방식이 있고 한 접근방식이 다른 접근방식에 비해 더 효율적인가?

this leads instructors/designers to ask two significant questions: Is there a single “best” approach and is one approach more efficient than the others?


아마도 이 질문들에 대한 가장 좋은 대답은 "그때그때 다르다"이다. 학습은 많은 출처의 많은 요인에 의해 영향을 받기 때문에 학습 과정 자체는 진행됨에 따라 자연과 다양성 모두에서 끊임없이 변화하고 있다(Shueell, 1990).

perhaps the best answer to these questions is “it depends.” Because learning is influenced by many factors from many sources, the learning process itself is constantly changing, both in nature and diversity, as it progresses (Shuell, 1990).


[복잡한 지식의 본체를 처음 접하는 초보 학습자에게 가장 효과적일 수 있는 것]은 [내용에 더 친숙한 학습자]에게 효과적이고 효율적이거나 자극적이지 않을 것이다. 채택된 교육 전략과 (깊이 및 넓이 모두에서) 다루는 내용은 학습자의 수준에 따라 달라질 수 있다.

What might be most effective for novice learners encountering a complex body of knowledge for the first time, would not be effective, efficient or stimulating for a learner who is more familiar with the content. Both the instructional strategies employed and the content addressed (in both depth and breadth) would vary based on the level of the learners.


우선 주어진 내용에 더 익숙해짐에 따라 학습자의 지식이 어떻게 변하는지 생각해 보자. 사람들은 주어진 내용에 대해 더 많은 경험을 쌓을수록, 지식의 하위부터 상위까지 연속체를 따라 발달한다.

  • 1) 직업의 표준 규칙, 사실 및 운영을 인식하고 적용할 수 있는 능력(knowing what) 

  • 2) 이러한 일반적인 규칙에서 구체적인, 문제가 있는 경우로 추론하기 위해 전문가처럼 생각하는 것(knowing how) 

  • 3) 익숙한 범주와 사고방식이 실패할 때 새로운 형태의 이해와 행동을 개발하고 시험하는 것(RIA) (Schon, 1987).

Consider, first of all, how learners’ knowledge changes as they become more familiar with a given content. As people acquire more experience with a given content, they progress along a low-to-high knowledge continuum from 

  • 1) being able to recognize and apply the standard rules, facts, and operations of a profession (knowing what), to 

  • 2) thinking like a professional to extrapolate from these general rules to particular, problematic cases (knowing how), to 

  • 3) developing and testing new forms of understanding and actions when familiar categories and ways of thinking fail (reflection-in-action) (Schon, 1987).


학습자가 자신의 직업적 지식의 발달(무엇을 알고 vs. 반성을 어떻게 하는지 아는 것) 측면에서 연속체에 "sit"한 위치에 따라, 가장 적절한 교육적 접근방식은 연속체에 대한 그 점에 해당하는 이론이 주장하는 것이 될 것이다. 그것은 

  • 행동 접근법: 직업의 내용을 효과적으로 숙지하도록 할 때(knowing what). 

  • 인지 전략: [정의된 사실과 규칙]을 낯선 상황에서 적용할 문제 해결 전략을 가르칠 때 (knowing how) 

  • 구성주의 전략: 특히 RIA를 통해 정의되지 않은 문제를 다룰 때

Depending on where the learners “sit” on the continuum in terms of the development of their professional knowledge (knowing what vs. knowing how vs. reflection-in-action), the most appropriate instructional approach would be the one advocated by the theory that corresponds to that point on the continuum. Th at is, 

  • a behavioral approach can effectively facilitate mastery of the content of a profession (knowing what); 

  • cognitive strategies are useful in teaching problem-solving tactics where defined facts and rules are applied in unfamiliar situations (knowing how); and 

  • constructivist strategies are especially suited to dealing with ill-defined problems through reflection-in-action.


두 번째 고려사항은 학습해야 할 과제의 요건에 따라 달라진다. 필요한 인지 처리 수준에 근거하여, 다른 이론적 관점에서의 전략이 필요할 수 있다.

A second consideration depends upon the requirements of the task to be learned. Based on the level of cognitive processing required, strategies from different theoretical perspectives may be needed.


예를 들어 

  • 낮은 수준의 처리가 필요한 과제(예: 기본 쌍체 연관성, 차별성, 로트 암기)는 행동주의적 관점(예: 자극-반응, 피드백/강화)과 가장 빈번하게 관련된 전략에 의해 촉진되는 것으로 보인다.

For example, tasks requiring a low degree of processing (e.g., basic paired associations, discriminations, rote memorization) seem to be facilitated by strategies most frequently associated with a behavioral outlook (e.g., stimulus-response, contiguity of feedback/reinforcement).


  • 처리 수준을 높아진 과제(예: 분류, 규칙 또는 절차적 실행)는 주로 인지적 강조가 강한 전략(예: 도식적 조직, 유사 추론, 알고리즘 문제 해결)과 관련이 있다.

Tasks requiring an increased level of processing (e.g., classifications, rule or procedural executions) are primarily associated with strategies having a stronger cognitive emphasis (e.g., schematic organization, analogical reasoning, algorithmic problem solving).


  • 높은 수준의 처리를 요구하는 과제(예: 경험적 문제 해결, 개인 선택 및 인지 전략 모니터링)는 구성주의자의 관점(예: 위치 학습, 인지 견습, 사회적 협상)에 의해 진전된 전략을 통해 가장 잘 학습된다.

Tasks demanding high levels of processing (e.g., heuristic problem solving, personal selection and monitoring of cognitive strategies) are frequently best learned with strategies advanced by the constructivist perspective (e.g., situated learning, cognitive apprenticeships, social negotiation).


우리는 "어느 이론이 가장 좋은가?"가 아니라 "어떤 이론이 특정한 학습자들에 의한 특정 과제에 대한 숙달성을 육성하는데 가장 효과적인가?"라고 질문 설계자들이 질문해야 한다고 믿는다. 전략을 선택하기 전에 학습자와 과제를 모두 고려해야 한다.

We believe that the critical question instructional designers must ask is not “Which is the best theory?” but “Which theory is the most effective in fostering mastery of specific tasks by specific learners?” Prior to strategy(ies) selection, consideration must be made of both the learners and the task.


그림 1에서 이 두 연속체(학습자의 지식 수준 및 인지 처리 요구)를 묘사하고 각 이론적 관점에 의해 제공되는 전략이 적용 가능한 정도를 설명하려고 시도한다. 그림은 다음의 것을 보여준다.

  • (a) 특정 사례에서 서로 다른 관점에 의해 추진된 전략이 중복된다는 것 

  • (b) 각 학습 이론의 고유한 초점으로 인해 연속체의 다른 지점을 따라 전략이 집중된다는 것

An attempt is made in Figure 1 to depict these two continua (learners’ level of knowledge and cognitive processing demands) and to illustrate the degree to which strategies offered by each of the theoretical perspectives appear applicable. the figure is useful in demonstrating: (a) that the strategies promoted by the different perspectives overlap in certain instances , and (b) that strategies are concentrated along different points of the continua due to the unique focus of each of the learning theories.




이는 어떤 전략을 교육 설계 프로세스에 통합할 때, 한 접근방식을 다른 접근방식보다 선택하기 전에 학습 과제의 특성과 관련 학습자의 숙련도 수준을 모두 고려해야 한다는 것을 의미한다.

this means that when integrating any strategies into the instructional design process, the nature of the learning task and the proficiency level of the learners involved must both be considered before selecting one approach over another.


실제로 성공적인 교육 관행은 사실상 세 가지 관점(예: 적극적인 참여와 상호작용, 실천과 피드백)에 의해 뒷받침되는 특징을 가지고 있다.

In fact, successful instructional practices have features that are supported by virtually all three perspectives (e.g., active participation and interaction, practice and feedback).


이러한 이유로, 우리는 의식적으로 하나의 이론을 다른 이론보다 옹호하는 것이 아니라, 대신 각각의 이론에 익숙해지는 유용성을 강조하기로 결정했다. 그 상황에서 최적의 교육적 결과를 얻기 위한 적절한 방법을 지능적으로 선택할 수 있어야 한다.

For this reason, we have consciously chosen not to advocate one theory over the others, but to stress instead the usefulness of being wellversed in each. one must be able to intelligently choose, the appropriate methods for achieving optimal instructional outcomes in that situation.


Smith and Ragan(1993, p. Viiii)에 의해 언급된 바와 같이: "reasoned and validated 이론적 다양성은, [전체 설계 프로세스에 대해 완전한 규범적 원칙을 제공하는 단일 이론적 기반이 없기 때문에] 우리 분야의 핵심 강점이었습니다."

As stated by Smith and Ragan (1993, p. viii): “Reasoned and validated theoretical eclecticism has been a key strength of our field because no single theoretical base provides complete prescriptive principles for the entire design process.”


가장 중요한 설계 과제 중 일부는 어떤 전략을 사용할지, 어떤 내용을 사용할지, 어떤 학생을 위해 그리고 어떤 시점에 사용할지를 결정할 수 있어야 한다.

Some of the most crucial design tasks involve being able to decide which strategy to use, for what content, for which students, and at what point during the instruction.


그러나 각양각색의 이론이 되려면 결합되고 있는 이론에 대해 적지 않은 것을 알아야 한다. 위에 제시된 학습 이론에 대한 철저한 이해는 어떤 설계 모델도 정확한 규칙을 제공하지 않는 결정을 지속적으로 내려야 하는 전문 설계자들에게 필수적인 것으로 보인다.

It should be noted however, that to be an eclectic, one must know a lot, not a little, about the theories being combined. A thorough understanding of the learning theories presented above seems to be essential for professional designers who must constantly make decisions for which no design model provides precise rules.


실무자는 실제적인 의미를 제공할 수 있는 어떤 이론도 무시할 수 없다. 수많은 잠재적 설계 상황을 고려할 때, 설계자의 "최상의" 접근방식은 이전 접근방식과 동일하지 않을 수 있지만, 진정으로 "맥락에 따라 달라지게 될 것이다. 이러한 유형의 교육적 "체리피킹"는 "체계적 다양성주의"라고 불리며, 교육적 설계 문헌에서 많은 지지를 받았다(Snelbecker, 1989).

the practitioner cannot afford to ignore any theories that might provide practical implications. Given the myriad of potential design situations, the designer’s “best” approach may not ever be identical to any previous approach, but will truly “depend upon the context.” this type of instructional “cherry-picking” has been termed “systematic eclecticism” and has had a great deal of support in the instructional design literature (Snelbecker, 1989).


마지막으로, 우리는 P. B. Drucker의 인용구를 확장하고 싶다. (Snelbecker, 1983년 Snelbecker에 인용) "이들의 오래된 논쟁은 내내 거짓이었습니다. 

  • 우리는 학습과 기억을 확대하기 위해 행동주의자의 3가지 연습/강화/피드백을 필요로 한다. 

  • 우리는 목적, 결정, 가치, 이해가 필요하다(인지적 카테고리). 학습이 행동action보다는 단순한 behavioral activity이면 안되기 때문이다." (p. 203)

In closing, we would like to expand on a quote by P. B. Drucker, (cited in Snelbecker, 1983): “these old controversies have been phonies all along. We need the behaviorist’s triad of practice/reinforcement/feedback to enlarge learning and memory. We need purpose, decision, values, understanding—the cognitive categories—lest learning be mere behavioral activities rather than action” (p. 203).


그리고 여기에 우리는 

  • 최적의 조건이 존재하지 않을 때, 상황이 예측 불가능할 때, 그리고 과제가 변화할 때, 문제가 지저분하고 잘못된 형태일 때, 그리고 해결책이 창의성, 즉흥성, 토론, 사회적 협상에 달려 있을 때, 잘 기능할 수 있는 적응적 학습자가 필요하다는 것을 덧붙일 것이다.

And to this we would add that we also need adaptive learners who are able to function well when optimal conditions do not exist, when situations are unpredictable and task demands change, when the problems are messy and ill-formed and the solutions depend on inventiveness, improvisation, discussion, and social negotiation.









Abstract

The way we define learning and what we believe about the way learning occurs has important implications for situations in which we want to facilitate changes in what people know and/or do. Learning theories provide instructional designers with verified instructional strategies and techniques for facilitating learning as well as a foundation for intelligent strategy selection. Yet many designers are operating under the constraints of a limited theoretical background. This paper is an attempt to familiarize designers with three relevant positions on learning (behavioral, cognitive, and constructivist) which provide structured foundations for planning and conducting instructional design activities. Each learning perspective is discussed in terms of its specific interpretation of the learning process and the resulting implications for instructional designers and educational practitioners. The information presented here provides the reader with a comparison of these three different viewpoints and illustrates how these differences might be translated into practical applications in instructional situations.


실천공동체(When I say...) (Med Educ, 2019)

When I say . . . community of practice

Heather Buckley,1,2 Yvonne Steinert,3,4 Glenn Regehr2,5 & Laura Nimmon2,6




'실천 공동체'라는 개념에 의해 내포된 다양한 용도와 의미에 대해 광범위한 교육 및 의료 분야에서 혼란이 존재한다.12 이러한 혼란을 인정할 때, 일부 학자들은 사용자를 비난하며, 이론이 그러한 다양한 집단과 관행을 참조하기 위해 사용되고 있다면 그것은 반드시 부주의한 사용 때문일 것이라고 제안한다.2 다른 이들은 '실천공동체'라는 개념 자체에 대해 곰곰이 생각한다3 많은 맥락에서 그것의 적용이 그것을 '학술적으로 쓸모없게 만들었다'고 주장한다.4 따라서 실천공동체를 guiding conceptual framework로 채택하고자 하는 교육 연구원들과 혁신자들은 용어에 관여할 때 점점 더 많은 질문을 탐색하고 명확히 해야 한다. 이 논문에서 우리의 목적은 그 이론에 대한 상세한 설명을 제공하는 것이 아니다. 오히려 우리는 이 개념이 어떻게 시간이 흐르면서 진화해 왔는지를 기술하고 우리가 사용하는 '실천공동체'라는 용어를 명확히 하는 것을 목표로 한다.

Confusion exists in the broader educational and health care fields about the different uses and meanings implied by the concept ‘community of practice’.1,2 When acknowledging this confusion, some academics fault the user, suggesting that if a theory is being used in reference to such varied groups and practices, it must be due to careless use.2 Others ruminate about the concept of ‘community of practice’ itself3 and argue that its application in so many contexts has rendered it ‘academically useless’.4 Thus, educational researchers and innovators who wish to employ communities of practice as a guiding conceptual framework must increasingly ask probing and clarifying questions when engaging with the term. Our purpose in this paper is not to provide a detailed description of the theory. Rather, we aim to describe how this concept has evolved over time and offer clarification of when we say ‘community of practice’.


'실천공동체'라는 용어는 1991년 Lave와 Wenger에 의해 설명되었는데, Lave와 Wenger는 [재단사의 견습과 같이] 자연발생적으로 확립된 전문가 집단에서 초보자들이 어떻게 배웠는지를 조사하고 있었다.5 초보자들이 합류하여 공동체의 중심이 되는 참여 과정을 '합당한 주변적 참여LPP'라고 불렀다. 이 이론의 독창적이고 대중적인 사례에서는, 초보자들이 어떻게 행위, 행동, 언어를 통해 커뮤니티의 구성원 자격이 높아진다는 '신호'를 보내는지를 탐구했다. 이러한 신호 전달을 통해 초보자들은 실천공동체의 주변으로부터 사회적으로 승인된 중앙 책임과 합법성으로 이동했다. 이 이론의 기본적 초점과 가치는 [참여와 사회화의 situated process]을 통해 발생하는 학습을 기술하는 데 있었다. 그 당시, 이것은 자극적인 개념이었는데, 왜냐하면 그때까지 학습을 [마음속에서 일어나는 개별적인 과정]으로 보는 더 지배적인 인지적 학설에서 무시되어왔기 때문이다

The term ‘community of practice’ was described in 1991 by Lave and Wenger, who were examining how novices learned in naturally occurring established communities of experts, such as the apprenticeship of tailors.5 The process of participation by which novices joined and became central to the community, was called ‘legitimate peripheral participation’. This original and popular instantiation of the theory explored how novices learned to ‘signal’ increasing membership of the community through their actions, behaviours and language. Through this signalling, novices moved from the periphery of a practice community to a socially sanctioned central responsibility and legitimacy. The primary focus and value of this original version of the theory was in describing the learning that occurs through a situated process of participation and socialisation. At the time, this was a provocative notion, one that had largely been neglected in the more prevailing cognitive theories of learning that constructed learning as an individual process occurring in the mind.4


Lave에 따르면, 이론의 원래 버전은 '[무엇을 다르게 할 것인가] 또는 [더 나은 교실이나 사업을 어떻게 만들 것인가]'에 대한 처방적 또는 규범적 모델로 의도된 것이 아니다.6 그러나 시간이 흐르면서 '실천공동체'라는 용어는 이러한 독창적인 개념적 관점으로부터 진화해 왔다. 그것은 사회적 학습 과정을 기술한 용어에서 지식 개발과 관리를 위한 의도적인 도구로서 '도구적instrumental' 포커스를 포함하는 용어로 발전했다.4 학습 환경 설계를 안내하기 위한 실천 커뮤니티의 이 도구적 개념은 보건 직업 교육에서 채택되었다.7 이 도구적 접근방식은 보건 전문가 교육자에게 관심을 받았는데, 왜냐하면 이 접근방식이 개인적이고 집단적인 학습과 혁신을 지원하기 위해 실천공동체를 어떻게 개발하고, 경작하고, 지속시킬 것인가의 과정을 중시하기 때문이다.8    

According to Lave, the original version of the theory was ‘not intended as a normative or prescriptive model for what to do differently or how to create better classrooms or businesses’.6 Yet over time, the term ‘community of practice’ has evolved from this original conceptual perspective. It has developed from a term that described an in situ social learning process, to one that encompasses an ‘instrumental’ focus as an intentional tool for knowledge development and management.4 This instrumental concept of community of practice, to guide the design of learning environments, has been taken up in health professions education.7 The instrumental approach is of interest to health professional educators because it foregrounds the process of how to develop, cultivate and sustain a community of practice for the purpose of supporting individual and collective learning and innovation.8


실천공동체 이론의 초기 버전은 situated learning을 강조하며, 기본적으로 '공식적 학습 방식과 담론의 거부'였다.2 실천공동체의 초기 이론공식적이거나 다른 중요한 교육적 맥락과 양립할 수 없다고 말하는 것은 아니다. 실제로 투먼스2는 초기 이론이 보다 공식적인 교육 환경에 적용되기 위한 한 방법으로 벵거의 후기 작품9에서 도출한 '학습 아키텍처'의 개념을 제시했다.

The initial version of community of practice theory emphasises situated learning and essentially ‘rejects modes and discourses of formal instruction’.2 This isn’t to say that the initial iteration of community of practice theory is incompatible with more formal or other instrumental educational contexts. In fact, Tummons2 has suggested the concept of ‘learning architecture’ drawn from Wenger’s later work9 as a way for the initial theory to apply to more formal educational settings.


보다 최근에, 이론의 가장 최근의 반복에서, 벵거-트레이너와 벵거-트레이너10은 '지식가능성knowledgeability'의 개념을 도입하기 위해 단일한 실천공동체를 중심으로 발전된 이론의 원래 개념의 일부를 확장한다. 지식가능성은 한 개인의 폭넓은 실천 환경 내에서 여러 커뮤니티와의 관계를 인정한다. 한 사람은 다른 커뮤니티의 관행에 대해 잘 알고 있을 수 있지만, 동시에 그 커뮤니티의 멤버십이 없거나, 능력에 대해 합법적으로 주장하지 못할 수 있다. 이것의 예로서, 많은 교직원들과 함께 일하는 교수개발자들을 상상해보라. 교수개발자들은 여러 교수들의 다양한 실천방식의 landscape에 대해서 잘 알고 있을 것이지만, 그 practice에 대해 competent하다고 주장하지는 않는다.

More recently, in the most current iteration of the theory, Wenger-Trayner and Wenger-Trayner10 expand on some of the theory’s original conceptualisations developed around a singular community of practice to introduce the concept of ‘knowledgeability’. Knowledgeability acknowledges a person’s relationship to multiple communities within a broader landscape of practice. A person can be knowledgeable about different communities’ practices, at the same time having no membership of those communities, nor legitimate claims to competence. As an illustration of this broadening, imagine faculty developers who work with many faculty members. Faculty developers can be knowledgeable about the diverse landscape of their faculty members’ practices, although not claiming competence in these practices.


벵거 자신은 이러한 이론의 우여곡절을 인정하면서도, 또한 그것이 '학습이 무엇인가에 대한 분명한 이론'이라는 것을 강조한다.1 실제로, 이러한 다른 세대의 이론들과 '실천공동체' 이론은 [참여적 사회적 과정으로서의 학습]이라는 개념을 공통적으로 가지고 있다. 그러나 각각의 상징이 다르기 때문에 각각 다른 현상에 적용할 수 있는 수준도 다르다. 그렇다면, 의학교육 학자들은 그들이 어떤 특정한 목적을 위해 어떤 버전의 이론을 도입할 것인지에 대해 의도적이어야 한다.

Wenger himself acknowledges these twists and turns of the theory, yet also emphasises that it ‘is unambiguously a theory of what learning is’.11 Indeed, these different generations and notions of ‘community of practice’ theory have in common the idea of learning as a participatory social process. However, because of their different emphases, each also has varying levels of applicability to different phenomena. Medical education scholars, then, must be intentional about which version of the theory they invoke for any given purpose.


예를 들어, 기존의 커뮤니티의 중심 구성원이 되는 'becoming'의 모델로서 능동적인 견습과 합법적인 주변적 참여를 강조한다는 점에서, 원래의 이론적 렌즈는 수많은 임상(및 기타) 훈련 프로그램에서 발생하는 직장 학습과 꾸준히 밀접한 관련성을 가질 것이다. 그러나 학습 그룹을 지원하거나 양성하고자 하는 사람들에게는, 이 이론의 도구적 관점이 더 도움이 될 수 있다. 

For example, the original theoretical lens, with its emphasis on active apprenticeship and legitimate peripheral participation as a model for ‘becoming’ a central member of an established community, continues to have strong relevance to the workplace learning that occurs in so many clinical (and other) training programmes. But for those who wish to support or cultivate learning groups, an instrumental perspective of the theory may be more helpful. 


예를 들어, 교수개발을 지원하기 위해 시작된 것과 같은 집단의 '도구적' 학습 맥락을 탐구하고자 하는 교수진 개발자를 상상해 보라.12 이 이론에 대한 확고한 이해가 없는 상태라면, 이 교수개발자는 '합당한 주변부 참여'와 '그룹 구성원이 되는 것'을 강조하는 초기이론을 발동시킬 수 있다. 그러나 'deliberate group cultivation'를 강조하는 후기 이론을 안다면, 이것을 사용하는 것이 더 도움이 되었을지도 모른다.

Imagine, for example, a faculty developer who wishes to explore the ‘instrumental’ learning context of groups, such as those being initiated to support faculty development.12 Without a robust understanding of the theory, this faculty developer might invoke the original theory with its emphasis on ‘legitimate peripheral participation’ and ‘becoming a group member’. However, it may have been more helpful for this individual to draw on the later instrumental iteration of the theory that emphasises ‘deliberate group cultivation’.


그러므로 어떤 특정한 차원을 도출하기 위해서는 시간이 지남에 따라 그 이론의 진화를 이해해야 한다. 이러한 용어의 역사를 인식하는 것은 용어의 적용과 다양한 현상에 대한 관련성을 혼동하지 않기 위해 필수적이다. 따라서 교육자와 학자는 '사상의 진보를 촉진하기 위해 [그 용어]가 다양하게 사용되는 방식을 풀untangle 필요가 있다.'.13 '실천공동체'는 진화하고 다면적인 이론이기 때문에, 이 용어를 사용하게 되면 통일된 이론적 틀이 발동될 것이라는 가정은 오해의 소지가 있다. 더욱이, 벵거는 '실천공동체'라는 용어를 쓸 때 주의를 요했다: '실천공동체의 개념은 단지 사람들의 "집단"을 지칭하는 것은 아니다;11 [학습에 종사하는 개인의 집합]이 언제나 반드시 실천공동체인 것은 아니다.

Thus, to know what specific dimensions of the theory to draw upon requires an understanding of its evolution over time. This recognition of the term’s history is vital to avoid confusing the term’s application and relevance to various phenomena. Educators and scholars need to thus ‘untangle the variety of ways [the] term is used for the sake of furthering progress of thought’.13 Because ‘community of practice’ is an evolving and multifaceted theory, the assumption that the use of the term will invoke a unified theoretical framework is misleading. Furthermore, Wenger cautions about when to invoke the term community of practice: ‘the notion of a community of practice does not primarily refer to a “group” of people’;11 not every collection of individuals engaged in learning is necessarily a community of practice.


어떤 용어도 진화의 영향에서 벗어나있지 않으며, 이론적으로 명확한 정의가 없으면 혼란을 야기할 수 있다.13,14 따라서 '실천공동체'라는 용어의 복잡성을 해소하는 방법은 아마도 두 가지 동시 전략을 수반할 것이다.

No terms are immune to evolution, and without a clear theoretically refined definition they can cause confusion.13,14 The way forward in untangling the complexities of the term ‘community of practice’, therefore, probably involves two concurrent strategies.


첫째, 이론의 다양한 반복(포함 기준)에 걸쳐 일관된 실천공동체의 특성을 살펴보는 것을 제안한다. 예를 들어, 대부분의 실천공동체는 '멤버십의 한 측면으로서 반드시 '배움'을 수반하는 사회적으로 구성된 공간'이라는 데 동의할 것이다.2

First, we suggest looking at the characteristics of a community of practice that are consistent across the various iterations of the theory (inclusion criteria). Most would agree, for example, that communities of practices are ‘socially configured spaces that necessarily involve learning as an aspect of membership’.2


둘째, 용어 사용에 명확성과 개념적 깊이를 가져오기 위해 우리는 '실무 공동체'라는 용어를 호출할 때, 저자들이 관심을 가지고 있는 맥락 안에서 발생하는 학습을 조명하기 실천공동체 이론의 어떤 측면이나 어떤 세대를 지칭하고 있는지를 분명히 표현해야 한다. 그런 다음 저자는 이론의 그 차원과 관련된 용어와 정의를 호출하기로 선택한 이유를 명시적으로 밝힐 수 있다. 그렇게 하는 것은 작가들이 자신의 목적을 위해 이론의 적절한 사용을 환기시키고 있다는 것을 확실히 할 것이다.14 이러한 방식으로 자신의 관점을 논증하는 것은 또한 어떤 현상에 초점을 맞추기로 선택했고, 따라서, 다른 방법으로는 베일에 가려지거나 숨겨질 수 있는 것을 밝히는 데에도 도움이 된다.

 Second, to bring clarity and conceptual depth to the use of the term we suggest that when invoking the term ‘community of practice’, authors explicitly articulate which aspect or generation of community of practice theory is being invoked in order to shed light on the learning that occurs within the context of interest. Authors might then explicitly clarify why they have chosen to invoke that dimension of the theory and the associated terms and definitions. Doing so will ensure that authors are invoking theappropriate use of the theory for their purpose.14 Articulating one’s perspective in this way also serves to illuminate what phenomenon one has chosen to focus on and therefore, what may otherwise be veiled or hidden.


15 Hodges BD, Kuper A. Theory and practice in the design and conduct of graduate medical education. Acad Med 2012;87 (1):25–33.





 2019 Aug;53(8):763-765. doi: 10.1111/medu.13823. Epub 2019 Mar 11.

When I say … community of practice.

Author information

1
Department of Family Practice, University of British Columbia, Vancouver, British Columbia, Canada.
2
Centre for Health Education Scholarship (CHES), University of British Columbia, Vancouver, British Columbia, Canada.
3
Department of Family Medicine, McGill University, Montreal, Quebec, Canada.
4
Centre for Medical Education, McGill University, Montreal, Quebec, Canada.
5
Department of Surgery, University of British Columbia, Vancouver, British Columbia, Canada.
6
Department of Occupational Science and Occupational Therapy, University of British Columbia, Vancouver, British Columbia, Canada.
PMID:
 
30859612
 
DOI:
 
10.1111/medu.13823


사회물질성(When I say . . .) (Med Educ, 2017)

When I say . . . sociomateriality

Mark Goldszmidt




내가 사회물질성이라고 말할 때, 나는 연구자들이 교육자들의 마음을 혼란시키고 현혹시키려는 의도적인 시도라고 느낄 수 있는 많은 용어들을 의미한다.; '연기', '조립', '구성적 얽힘'은 단지 몇 가지 그러한 예에 불과하다. 내가 사회물질성이라고 말할 때, 나는 또한 물질이 실천을 형성하는데 근본적인 역할을 한다는 것을 의미하며, 그것들은 더 이상 임상의사, 교육자 또는 학습자에게 무시되어서는 안 된다. 사회물질적 접근방식은 점점 더 실천적 학습에 중요한 것으로 인식되고 있다.1.2 

When I say sociomateriality, I mean a host of terms that may feel like a deliberate attempt by researchers to confuse and dazzle the mind of educators; ‘enacted’, ‘assembled’ and ‘constitutive entanglement’ represent just a few such examples. When I say sociomateriality, I also mean that materials play fundamental roles in shaping practice, and they should no longer be ignored by clinicians, educators or learners. Sociomaterial approaches are increasingly being recognised as critical for exploring learning in practice.1,2


사회물질성은 단일 접근방식이라기보다는, 공통의 관심을 공유하는 일련의 관련 접근방식(예: 배우-네트워크 이론, 복잡성 이론, 공간성 이론 등)을 나타내는 포괄적 용어로 간주할 수 있다. 물질와 사회적 실천 사이의 복잡하고 지저분하고 비선형적인 관계를 더 깊이 탐구할 수 있도록 인간을 연구의 중심에서 분산시키는 것이다. 오를리코프스키는 이러한 관계를 '구성적 얽힘constitutive entanglement'이라고 지칭하며 '사회적이면서 물질적이지 않은 것 없고, 물질이면서 사회적이지 않은 것도 없다'고 주장한다.3 물질이라는 것은, 사회적이지 않은 모든 것을 의미한다: 즉 기술, 정책, 일정, 체크리스트, 물리적인 공간...을 의미하며 목록은 계속된다.

 Rather than representing a single approach, sociomateriality can be considered an umbrella term for a set of related approaches (e.g. actor-network theory, complexity theory, spatiality theory and many others) that share a common interest in decentring the human as the focus of study to allow for a deeper exploration of the complex, messy and non-linear relationships between materials and social practices. Orlikowski refers to these relationships as ‘constitutive entanglement’ and contends that ‘there is no social that is not also material and no material that is not also social’.3 By material, she means just about everything that is not social: technologies, policies, schedules, checklists, physical spaces ... and the list goes on.


만약 이 모든 것이 너무 복잡하게 들린다면, 절망하지 마라. 다음의 예는 사회물질성과 그것의 독특한 어휘 중 일부를 세상을 다르게 볼 수 있는 기회에 더 접근 가능하고 희망적으로 흥미롭게 만드는 데 도움이 될 것이다. 독자는 주의하라: 일단 여러분이 이런 식으로 세상을 보기 시작하면, 돌아갈 수 없을지도 모른다. 사회물질성 이론가들은 우리에게 '무엇이 무엇이라고 정의하거나, 무엇이 무엇이 되어야 한다고 규정하지 말고, 어떤 것이 창발emerge하는지 자세히 보도록' 장려한다.'.2p.49 다음 예에서 나는 너희들도 주목하기를 권장한다.

If this is all sounding a bit too complicated, don’t despair. The following example should help make sociomateriality and some of its ‘unique vocabulary’ more accessible and hopefully exciting in the opportunity it affords for seeing the world differently. Reader beware: once you start to see the world in this way, there may be no going back. Sociomaterial theorists encourage us ‘not to define what is or to prescribe what should be, but to follow closely what emerges...’.2p.49 In the following example, I encourage you too to notice...


내과 병동의 하루

A DAY ON THE INTERNAL MEDICINE WARD


08.00 h: 의사팀이 방금 팀룸에 모였다. 그것은 네모난 테이블을 둘러싸고 있는 5개의 의자가 있는 작은 방이다. 이 닫혀 있다. 오늘 팀을 인계받는 주치의는 2학년 레지던트와 2명의 의대생으로 테이블에 앉아있다. 그 선임 의료 레지던트는 작은 컴퓨터 작업대와 마주보고 있는 테이블과 관련하여 옆으로 앉아 있다. 다른 후배 레지던트와 의대생은 다른 의자가 없어 벽에 기대어 있다. 후배 전공의 한 명이 수술용 수술복(팀 내 '포스트콜' 멤버로서의 신분을 알리는 신호탄)을 착용하고 있으며, 어젯밤 입원한 환자 4명에 대해 팀원들에게 알리고 있다. 그의 손에는 그가 만든 입원노트 복사본이 들어 있다. 4명의 환자 모두가 응급실에 아직 누워있기 때문에 환자 차트는 방에 있지 않다. 현재 사용 가능한 병상은 없다. 첫 번째 사례 발표를 하는 도중에, 그는 환자가 빈혈 상태라는 것을 컴퓨터의 혈액 검사 결과를 스캔하는 동안 알게 된 선임 레지던트로부터 방해를 받는다. 그 선배는 B12 레벨이 오더되었는지 알고 싶어했다. 오더에 없었기 때문에, 그는 그것을 추가했다. 그의 발표를 계속하면서, 그 후배가 또 다시 방해받았는데, 이번에는 그의 호출기가 울리면서, 간호사 매니저는 아직도 응급실에 있는 환자 중 누군가가 오늘 퇴원할 수 있을지 궁금해했다.

08.00 h: The physician team has just gathered in their team room. It is a small room with five chairs surrounding a square table. The door is closed. The attending physician, who is taking over the team today, is sitting at the table as are two-first-year residents and two medical students. The senior medical resident is sitting sideways in relation to the table facing a small computer workstation. The other junior resident and medical student lean against the wall as there are no other chairs available. One of the junior residents is wearing surgical scrubs (signalling his status as the ‘post-call’ member of the team) and he is telling the team about the four patients he admitted last night. In his hands are the photocopies he has made of his admission notes. The patient charts are not in the room as all four patients are still bedded in the emergency room; there are no ward beds currently available. Midway through his first case presentation, he is interrupted by the senior resident who noticed while scanning the blood-work results on the computer that the patient was anaemic. The senior wanted to know if a B12 level was ordered; it was not so he adds it to the orders. Continuing on with his presentation, the junior is again interrupted, this time by his pager going off – it was the nurse manager wondering if any of the patients still in the emergency room might be discharged today.


09.30 h: 팀 룸 밖에서 간호사가 20분 만에 세 번째로 방을 지나간다; 아직 닫혀 있는 문을 눈치 채고, 고개를 저으며 지나간다...

09.30 h: Outside the team room, a nurse passes by the room for the third time in 20 minutes; noticing the still closed door, she shakes her head and walks by...


13.00 h: 학제간 팀원들과 함께 선배 레지던트가 '총회'를 위해 모인다. 10분 동안 팀 내 30명의 환자 모두를 대상으로 24-48시간 내에 퇴원할 수 있는 환자와 안전한 퇴원할 수 있도록 필요한 리소스를 중점적으로 논의한다.

13.00 h: The senior resident along with members of the interdisciplinary team gather for ‘bullet rounds’. Over the space of 10 minutes they quickly discuss all 30 patients on the team with a focus on which patients might go home within the next 24– 48 hours and the resources that might be required to ensure they can be discharged safely...


보았는가? 구성적 얽힘(constitutive entanglement) 말이다. 이는 팀의 일상에 짜여지는 사회물질적 관계를 의미한다. 닫힌 문이 어떻게 특정한 '실무'를 하게 되었는지 알아챘는가? 그것은 또한 노크로 이어질 수도 있었다. 빈혈의 식별, 검사 순서 및 중단이 가능한 컴퓨터는 어떤가? 아마 당신은 또 다른 방해를 일으키기 위해 호출기, 전화기, 그리고 빈 곳이 없는 응급실과 같은 '물질material'이 어떻게 '조립assembled'되었는지 알아차렸을 것이다. 마찬가지로, 퇴원 주변의 활동을 조정하기 위해 매일 1시에 'bullet round'을 만들기 위해 병원 과밀 문제, 예산 삭감 및 시간 제약이 '조립'되는 규칙성이다.

Did you see it? By it, I mean the ‘constitutive entanglement’, the sociomaterial relationships that become woven into the everyday work of the team. Did you notice how the closed door led to a particular ‘practice’ – walking by? It could have also led to a knock. How about the computer that allowed for the identification of anaemia, the ordering of a test and an interruption? Maybe you also noticed how ‘materials’ such as a pager, a phone and a full emergency room ‘assembled’ to give rise to another interruption. Similarly, the regularity of the problems of hospital overcrowding, budget cuts and time constraints ‘assembled’ to create the 1300 h daily ‘bullet rounds’ to coordinate activities around discharge.


사회적, 물질적 결합이 어떻게 전문적 실천 뿐만 아니라 이런 맥락에서 전문적 행위를 '집행enact'한다는 것이 무엇을 의미하는지를 보았는가? 충분히 오래 서성거리면 그렇게 될 것이다. 이달 중 많은 시니어 레지던트는 매일 밤 입원허가를 받은 것에 대해 사과하기 시작할 것이며, 이번 주에 퇴원한 환자 수에 대해 자랑하기 시작할 것이다.

Did you see how the social and material combined to shape not only professional practices but also what it means to ‘enact’ professional in this context? If you hang around long enough, you will. Over the course of the month, many of the senior residents will begin to apologise for the number of admissions they admit each night and brag about the number of patients they discharged this week.


요컨대 사회물질성이 새로운 질문을 함으로써 기존의 문제를 탐구할 기회를 창출하는 실천을 위한 새로운 방법을 제공한다는 것을 보여주었기를 바란다. 위의 예를 사용하여, 이제 '임상 설정은 어떻게 조합되어 전문직간 협업을 제정하는가?' 또는 '임상 설정은 어떤 방식으로 조합되어 "시니어 레지던트"의 역할과 가능한 정체성을 형성하는가?'를 질문할 수 있다. 바라건대, 우리가 올바른 질문을 한다면, 우리는 또한 의학 교육을 개선할 새로운 방법들을 발견할 것이다.

In summary, I hope I have shown you that sociomateriality offers new ways for studying practice that create opportunities for exploring existing problems by asking new questions. Using the above example, we can now ask: ‘How does the clinical setting assemble to enact interprofessional collaboration?’ or ‘In what ways does the clinical setting assemble to shape the role, and possibly identity, of “senior resident”’? Hopefully, if we ask the right questions, we will also discover new ways to improve medical education.



2 Fenwick T. Sociomateriality in medical practice and learning: attuning to what matters. Med Educ 2014;48 (1):44–52.






 2017 May;51(5):465-466. doi: 10.1111/medu.13149. Epub 2016 Nov 23.

When I say … sociomateriality.

Author information

1
London, Ontario, Canada.
PMID:
 
27882580
 
DOI:
 
10.1111/medu.13149


ANOVA에서 다중비교분석(Biochem Med (Zagreb), 2011)

Multiple comparison analysis testing in ANOVA

Mary L. McHugh




다중 비교 분석 테스트 사용

Use of multiple comparison analysis tests


분산 분석(ANOVA) 시험이 완료되면, 연구자는 다른 실험 그룹과 제어 그룹 간의 부분군 차이를 이해할 필요가 있을 수 있다. 부분군 차이를 "쌍방향" 차이라고 한다. 분산 분석은 쌍방향 차이의 테스트를 제공하지 않는다. 연구자가 쌍방향 차이를 시험할 필요가 있는 경우, 후 시험이라고 하는 후속 시험이 필요하다.

Once an Analysis of Variance (ANOVA) test has been completed, the researcher may still need to understand subgroup differences among the different experimental and control groups. The subgroup differences are called “pairwise” differences. ANOVA does not provide tests of pairwise differences. When the researcher needs to test pairwise differences, follow-up tests called post hoc tests are required.


따라서 쌍방향 차이를 검사하기 위해 t-테스트를 사용하면 개별 t-테스트의 크기를 과대평가할 수 있다. 이는 모든 쌍체 t-검정의 t-값 합계가 복수 비교 분석 통계량(2) 중 하나에 의해 생성된 t-통계량 값을 초과하는 경우가 많다는 것을 의미한다. 그 결과 여러 t-테스트를 수행하면 연구자가 유형 I 오류를 범할 확률이 높아진다. 즉, 연구자는 실제 차이가 없는 일부 쌍 (1)의 유의한 차이를 보고할 가능성이 훨씬 더 높다.

Therefore, using t-tests to examine pairwise differences is likely to overestimate the size of the individual t-tests. This means that the sum of t-values from all the pairwise t-tests will often exceed the value of the t-statistic produced by one of the multiple comparison analysis statistics (2). As a result, performing multiple t-tests will lead the researcher to a higher probability of making a Type I error. That is, the researcher is much more likely to report significant differences between some of the pairs that have no real difference (1).


여러 쌍으로 t-테스트를 수행하면 다른 문제가 발생한다. 연구자는 하나 이상의 스터디 그룹과 결합된 스터디 그룹 간의 차이를 테스트하기를 원할 수 있다. Pairwise t-시험은 그러한 종류의 분석을 수행할 수 없다. 그러나 Pairwise t-시험 접근방식의 모든 한계를 극복하는 다변량 통계가 있다. 이 통계 범주를 복수 비교 분석이라고 한다. 다중 비교 분석 통계 중 하나를 사용하여 전체 분산 분석에서 유의성을 발견한 후 쌍방향 및 부분군 차이를 검토해야 한다. Pairwise 차이의 주요 시험:Bonferroni, Sheffèe, 터키, Newman-Keuls과 Dunnett을 포함한다.

Performing multiple pairwise t-tests leads to another problem. The researcher may wish to test differences between one or more study groups and a set of combined study groups. Pairwise t-tests cannot perform that kind of analysis. However, there are a set of multivariate statistics that overcome all the limitations of the pairwise t-test approach. This category of statistics is called multiple comparison analysis. One of the multiple comparison analysis statistics should be used to examine pairwise and subgroup differences after the full ANOVA has found significance. The key tests of pairwise differences include: Bonferroni, Sheffèe, Tukey, Newman-Keuls and Dunnett.


각각의 다중 비교 분석(MCA) 테스트는 고유의 강점과 한계를 가지고 있다. 어떤 것은 Pairwise 비교를 모두 자동으로 테스트하고, 다른 것은 연구자가 관심 있는 쌍 또는 부분군만 시험하도록 한다. 각 접근방식은 알파 인플레이션과 연구자가 시험으로부터 도출할 수 있는 종류의 대답에 대한 함의가 있다. 따라서 사용할 통계량(3)에 대한 모든 선택과 마찬가지로 MCA 통계의 선택은 구체적인 연구 질문에 기초해야 한다.

Each of the multiple comparison analysis (MCA) tests has its own particular strengths and limitations. Some will automatically test all of the pairwise comparisons, others allow the researcher to limit the tests to only pairs or subgroups of interest. Each approach has implications for alpha inflation and for the kind of answers the researcher can derive from the test. Therefore, the choice of an MCA statistic, as all choices about which statistic to use (3), should be based on the specific research questions.


복수 비교 시험의 선택에 영향을 미칠 수 있는 연구에서는 많은 다른 상황이 발생한다(3). 예를 들어, 그룹들은 동일한 표본 크기를 가질 수 있다. 불평등 집단을 처리하기 위해 하나의 다중 비교 분석 시험이 특별히 개발되었다. 

Many different situations occur in research that can affect the choice of a multiple comparison test (3). For example, the groups may have unequal sample sizes. One multiple comparison analysis test was specifically developed to handle unequal groups. 


대조의 범주

Categories of contrasts


대조는 분산 분석에서 두 집단의 평균 차이를 검정하는 것이다. 분산 분석에서 시험한 그룹 사이에는 단순과 복합의 두 가지 범주가 있다. 

  • 단순 대비는 실험 그룹 1과 제어 그룹 2와 같은 두 쌍의 차이를 시험하는 것이다. 

  • 복합 대조는 그룹 조합의 차이를 시험하는 것이다. 복합 대조군의 예로는 실험군 1, 2, 4를 조합하여 만든 부분군과 대조군 1과 3을 조합하여 만든 부분군의 차이를 검정하는 것이다. 

분산 분석의 목적은 시험 이론 또는 생성 이론이며, 어느 한 목적을 지원하기 위해 다중 비교 분석을 사용할 수 있다.

A contrast is a test of the difference between the means of two groups from the ANOVA. There are two categories of contrasts among the groups tested by ANOVA, simple and complex. 

  • A simple contrast is a test of the difference between any two pairs, such as Experimental Group 1 and Control Group 2. 

  • A complex contrast is a test of the difference between combinations of groups. An example of a complex contrast is a test of the difference between a subgroup created by combining Experimental Groups 1, 2 and 4 combined, and a subgroup created by combining Control Groups 1 and 3. 

The purpose of ANOVA is to either test theory or to generate theory, and multiple comparison analysis may be used to support either purpose.


쌍 비교 검사

Tests for comparing pairs


투키 방법

The Tukey method


Tukey의 다중 비교 분석 방법은 각 대조군 그룹에 대해 각 실험 그룹을 테스트한다. 실험 그룹과 대조군 그룹 사이에 그룹 크기가 동일하지 않을 경우 Tukey 방법이 선호된다. Tukey 방법은 가장 큰 쌍별 차이를 먼저 시험함으로써 진행된다. Tukey는 "q" 통계를 사용하여 그룹 차이가 통계적으로 유의한지 여부를 결정한다. "q" 통계는 가장 큰 평균에서 가장 작은 값을 빼서 평균(4)의 전체 그룹 표준 오차로 그 제품을 나누어서 구한다. 평균을 표본 크기로 나눈 전체 그룹 표준 오차는 MSw(Mean Square Within)라고 하며, 거의 모든 통계 분석 프로그램(5)에서 분산 분석 출력에 의해 제공되는 포티스틱이다. q 값을 q 값 표의 값과 비교하여 특정 쌍의 q 값이 통계적 유의성 달성에 필요한 임계 q 값을 초과하는지 판단할 수 있다. q 값이 임계값을 충족하거나 초과하면, 그 쌍의 차이는 통계적으로 유의하다.

Tukey’s multiple comparison analysis method tests each experimental group against each control group. The Tukey method is preferred if there are unequal group sizes among the experimental and control groups. The Tukey method proceeds by first testing the largest pair-wise difference. Tukey uses the “q” statistic to determine whether group differences are statistically significant. The “q” statistic is obtained by subtracting the smallest from the largest mean, and dividing that product by the overall group standard error of the mean (4). The overall group standard error of the mean divided by the sample size is known as the Mean Square Within (MSw) and is a satistic provided by the ANOVA output in virtually all statistical analysis programs (5). The q value can be compared to the values on a table of q-values to determine if the q-value from a particular pair exceeds the critical q-value needed to achieve statistical significance. If the q value meets or exceeds the critical value, that pair’s difference is statistically significant.


참고: 그룹 평균은 분산 분석에서 이미 알려져 있기 때문에 one tailed 테스트를 사용하는 것이 일반적이다.

Note: it is common to use one tailed tests because the group means are already known from the ANOVA.


첫 번째 쌍의 평균 차이가 유의한 경우(전체 분산 분석 결과가 유의한 경우) 다음 쌍을 시험한다. 얻은 q-값이 유의하지 않을 때까지 쌍방향 시험을 계속한다. 다른 것들은 중요하지 않기 때문에 시험할 필요가 없다. 터키는 상당히 보수적인 알파 추정치를 사용한다. 그것은 한 가족으로서 모든 대비를 테스트하고 따라서 쌍 사이의 차이를 찾는 힘이 약간 떨어진다. 이러한 맥락에서 family는 familywise error rate(6)을 가리킨다.

If the difference in means of the first pair was significant (which will be the case if the overall ANOVA was significant), the next pair is tested. The pairwise tests are continued until the obtained q-value is not significant. No others need be tested because they will not be significant. Tukey uses a fairly conservative estimate of alpha. It tests all the contrasts as a family and thus has a bit less power to find differences between pairs. In this context, family refers to the familywise error rate (6). 


이 용어는 유형 I 오류를 범할 가능성, 따라서 잘못된 발견을 다룬다. 가족검사에서는 유의성 허위 주장(6)의 가능성을 줄이고, [유의성 차이를 허위 보고할 결과]가 [차이를 발견하지 못한 결과]보다 클 때 사용해야 한다. 가족 테스트는 그러한 테스트가 유형 I 오류(5,7)를 거의 일으키지 않기 때문에 결과에 대한 신뢰도를 높인다.

This term addresses the likelihood of making a Type I error and thus a false discovery. Family tests reduce the possibility of making a false claim of significance (6), and should be used when the consequences of falsely reporting a significant difference are greater than the consequences of not finding a difference. Family tests provide more confidence in the results because such tests make few Type I errors (5,7).


투키 통계의 좋은 활용 사례로는 다발성 약제 내성 포도상구균(MRSA) 감염을 치료하기 위해 4가지 항생제를 사용한 연구가 있다. 대조군은 표준치료제인 반코마이신만으로 치료하며, 세 가지 새로운 항생제가 세 가지 실험군을 구성한다고 가정한다. 그룹 크기가 다를 수 있으며, 그것이 Tukey를 사용하는 한 가지 이유다. 그러나 Tukey를 사용하는 가장 중요한 이유는 Type I 에러를 만드는 것이 Type II 에러보다 더 큰 걱정거리라는 것이다. 그 이유는 1타입의 오류를 범하는 것은 연구자가 하나 이상의 실험용 약이 반코마이신보다 더 효과적이라는 결론을 도출하는 것을 의미하기 때문이다. 만약 반코마이신이 실험약보다 동등하거나 더 효과적이라는 것이 사실이라면, 그 타입 I 에러는 타입 II 에러를 범하는 것보다 훨씬 더 큰 결과를 낳는다. 이 예에서 유형 I 오류는 임상의사가 덜 효과적인 실험 약물을 사용하게 할 것이며, 또한 반코마이신보다 훨씬 더 많은 비용이 들 것이다. 그 결과는 더 많은 사망자와 더 높은 치료비가 될 것이다. 그러나 유형 II 오류를 그리면 치료 프로토콜은 변경되지 않을 뿐이다. 따라서 터키의 보수적인 알파값이 더 많은 타입 II 에러로 이어질 수 있지만, 연구자가 타입 I 에러를 피하는 데 도움이 될 것이다.

An example of a good use of the Tukey statistic is a study in which four different antibiotics were used to treat Multiple-Drug Resistant Staphyloccus Aureus (MRSA) infections. Assume that the control group is treated only with Vancomycin, the standard treatment drug, and that three new antibiotics constitute the three experimental groups. It is likely that the group sizes could be different, and that is one reason to use Tukey. However, the most important reason to use Tukey is that making a Type I error is a greater worry than a Type II error. The reason is that making a Type I error means the researcher draws the conclusion that one or more of the experimental drugs are more effective than Vancomycin. If the truth is that Vancomycin is equally or more effective than the experimental drugs, that Type I error has much greater consequences than making a Type II error. In this example, the Type I error would lead clinicians to use a less effective experimental drug, that also is likely to cost a great deal more than Vancomycin. The outcome would be more deaths and a higher treatment cost. However, drawing a Type II error merely leaves treatment protocols unchanged. Thus, Tukey’s conservative alpha may lead to more Type II errors, but it will help the researcher avoid a Type I error.


Tukey 방법의 장점은 모든 쌍방향 차이를 테스트하고, 계산하기 쉽고, 타입 I 오류를 범할 확률을 줄인다는 것이다. 이것은 또한 불평등한 그룹 표본 크기에 관해서도 튼튼하다. 이 시험의 주된 단점은 일부 다른 시험보다 덜 powerful하고 복잡complex 비교를 테스트하기 위해 설계되지 않았다는 것이다.

The advantages of the Tukey method are that it tests all pairwise differences, it is simple to compute, and reduces the probability of making a Type I error. It is also robust with respect to unequal group sample sizes. Its chief disadvantages are that it is less powerful than some other tests, and it is not designed to test complex comparisons.


뉴먼켈스법

The Newman-Keuls method


Newman-Keuls 방법은 가능한 각 대조군의 알파값을 별도로 고려한다는 점을 제외하고 Tukey 테스트와 매우 유사하다. 따라서, 이것은 가족 대조 시험이 아니다. 궁극적으로, 이것은 Tukey보다 더 강력한 테스트다. 왜냐하면 그것은 더 쌍으로 비교를 하기 때문이다. 따라서 통계적으로 유의적인 차이를 발견할 가능성이 더 높다. 처음에는 Tukey 테스트가 실행되는 것과 동일한 쌍별 비교를 수행한다. 그러한 첫 번째 비교를 위해, 그것은 Tukey와 같은 힘을 가지고 있다. 그러나, 그 후, 그것은 각 그룹 평균에 대한 시험을 시행한다. 이 증가된 전력의 비용은 1타입의 오류를 범하기 훨씬 쉽다는 것이다. Tukey는 모든 테스트에 동일한 임계값을 사용하는 반면 Newman-Keuls에 사용되는 임계값은 후속 테스트마다 감소한다는 점에 유의해야 한다. 그것이 뉴먼-켈스 방법이 알파에 통계적으로 유의한 더 많은 대조들을 찾는데 있어서 알파에 소비하는 반면 터키는 알파를 보존하는 방법이다.

The Newman-Keuls method is very similar to the Tukey test, except that it considers separately the alpha of each of the possible contrasts. Thus, it is not a family contrasts test. Ultimately, this is a more powerful test than Tukey because it performs more pairwise comparisons. Thus, it is more likely to find some differences to be statistically significant. Initially, it performs the same pairwise comparisons that the Tukey test runs. For those first comparisons, it has the same power as the Tukey. However, it then runs tests of each of the group means against the grand mean. The cost to this increased power is that it is far more liable to make a Type I error. It should be noted that the critical value used for the Newman-Keuls decreases with each subsequent test whereas Tukey uses the same critical value for all tests. That is how Tukey conserves alpha while the Newman-Keuls method expends alpha in finding more contrasts to be statistically significant.


이 통계는 pairwise 차이가 상대적으로 작은 연구에 사용되어야 한다. 이러한 종류의 연구의 예로는 매우 새롭고 잘 이해하지 못하는 현상에 대한 거의 모든 연구가 포함된다. 예를 들어, HIV 전염병이 새로 생겼고 감염을 치료할 약이 없었을 때, 치료약 사이의 약한 차이조차도 중요했다. 감염을 치료할 약이 없는 상황에서 생명을 연장하는 효과가 있는 약이 중요했다. 더 큰 power가 있어서, 뉴먼-켈스 통계는 Tukey와 같은 덜 강력한 테스트보다 사용하기에 더 적합할 것이다. 또한 이 예에서 유형 I 오류는 대체적인 치료법이 없을 때 필연적으로 치명적인 질병에 대한 효과적인 약을 거부하는 것만큼 해롭지 않다. 암과 에이즈와 같은 치명적인 질병의 치료의 역사는 대부분의 사람들이 아무 것도 하지 않는 것보다 도움이 되지 않거나 해를 끼칠지도 모르는 약에 대해 모험을 하는 것을 더 좋아한다는 것을 보여준다.

This statistic should be used in studies for which relatively small pairwise differences are important. Examples of this kind of study include almost any research into very new and poorly understood phenomena. For example, when the HIV epidemic was new and there were no drugs to treat the infection, even weak differences between treatment drugs were important. With no drugs to treat the infection, a drug that had any effect in prolonging life was important. With its greater power, the Newman-Keuls statistic would be more appropriate to use than a less powerful test such as Tukey. Also, in this example, a Type I error is not as harmful as rejecting an effective drug for an inevitably fatal disease when there is no alternative treatment. The history of treatment of lethal diseases such as cancer and AIDS shows that most people would rather take a chance on a drug that might not help – or might cause harm – than do nothing at all.


요약하자면 뉴먼 킬스 통계는 매우 작은 차이라도 발견하는 것이 중요하고 유형 II 오류의 결과가 유형 I 오류의 결과보다 더 나쁜 연구에 적합하다. 이것은 관심의 현상에 대해 많이 알려져 있지 않은 새로운 과학 분야에 유용한 도구가 된다. 이것이 고전적인 이론 개발 연구 상황이다. 다른 통계는 좀 더 발전된 연구 분야에 사용되어야 하며, 새로운 치료법을 기존 치료법보다 더 낫게 하기 위해 차이가 상대적으로 커야 하는 경우에 사용되어야 한다. Newman Keuls는 동일한 그룹 크기를 생성하는 연구에 사용되어야 한다.

In summary, the Newman Keuls statistic is appropriate for studies in which even very small differences are important to find and where the consequences of a Type II error are worse than the consequences of a Type I error. This makes it a useful tool for new areas of science where not much is known about the phenomena of interest. This is the classic theory development research situation. Other statistics should be used for more developed areas of research, and when the differences must be relatively large to make the new treatment better than the existing treatment. Newman Keuls should be used with in studies that produce equal group size.


여러 그룹 비교를 위한 테스트

Tests for comparing multiple groups


Tukey와 Newman-Keuls 테스트는 simple 비교를 테스트하도록 설계되었다. 연구자가 실험군과 대조군 그룹의 조합으로 구성된 부분군을 시험해야 하는 경우 complex 비교를 시험할 수 있는 다른 통계를 사용해야 한다. 이 범주에서 가장 일반적으로 사용되는 통계는 셰퍼, 보네프로니 및 더넷 통계다.

The Tukey and Newman-Keuls tests are designed to test simple comparisons. When the researcher must test subgroups composed of combinations of experimental and control groups, other statistics which can test complex comparisons should be used. The most commonly used statistics in this category are the Scheffee, the Bonferroni and the Dunnett statistics.


The Scheffee method


셰피 방법은 simple과 complex의 가능한 모든 대조도를 테스트한다. 모든 대비가 시험된다는 것이 미리 알려지면, 셰퍼법은 다른 모든 두 가지 방법보다 약간 더 강력하다. 선택된 비교만 시험하려면 Bonferroni 다중 분석 시험이라고 하는 다른 시험이 더 나은 방법이다. 그러므로 셰퍼피는 Tukey 시험과 마찬가지로 예측된 차이가 작을 때, II형 오류의 결과가 타입 I 오류의 결과보다 심대할 때 사용하는 것이 더 적절한 시험이다. 셰피 테스트는 분산 분석에서 동일한 크기의 실험 및 제어 그룹을 가정한다.

The Scheffee method, tests all possible contrasts, simple and complex. If it is known in advance that all contrasts are going to be tested, the Scheffee method is slightly more powerful than all other two methods. If only selected contrasts are to be tested, a different test called the Bonferroni Multiple Analysis Test is the better method. Thus the Scheffee, like the Tukey test, is the more appropriate test to use when predicted differences are small, and the consequences of a Type II error outweigh the consequences of a Type I error. The Scheffee test assumes equal sized experimental and control groups in the ANOVA.


연구자가 발견하기를 기대하는 집단의 차이를 예측하는 이론이 잘 개발되지 않거나 시험되지 않을 때, 가능한 모든 비교를 테스트하기 때문에 셰퍼법이 선호된다. 분산 분석의 연구 결과를 설명하는 이론을 테스트하기에 충분한 사전 연구가 없는 상황에서는, 사후 테스트에 대해 좀 더 탐구적인 데이터 분석이 필요하다. 셰퍼피는 가능한 모든 비교를 테스트하기 때문에 훌륭한 탐구 통계량이다. 결과적으로, 연구자는 원래 분산 분석 테스트에서 발견된 유의한 차이를 어떤 그룹이나 그룹의 조합이 생성했는지를 관찰할 수 있다. 이것은 탐색적 데이터 분석의 한 가지 방법인데, 이것은 이전에 알려지지 않았던 연구 그룹 간의 차이를 발견하기 위한 전략이나 매우 제한된 이론에 기초한 가설이 뒷받침될 수 있는지를 발견하기 위한 전략이다.

When the theory that predicts the group differences the researcher expects to find is not well developed or tested, the Scheffee method is preferred because it tests all possible comparisons. In situations where there is not sufficient prior research to have tested the theory that explains the ANOVA’s findings, a more exploratory data analysis is needed for the post hoc tests. The Scheffee is a good exploratory statistic because it tests all possible comparisons. As a result, it allows the researcher to observe which groups or combinations of groups produced the significant difference found in the original ANOVA test. This is one method of exploratory data analysis, which is a strategy for discovering previously unknown differences among study groups, or for discovering if hypotheses based on very limited theory can be supported.


만약 그 이론이 잘 개발된다면, 셰피도 좋은 선택일 것이다. 잘 발달된 이론은 모든 집단과 집단의 조합에 대한 차이를 예측해야 한다. 셰피가 가능한 모든 차이점을 시험하는 것을 고려하면, 그것은 잘 발달된 이론의 여러 명제에 대한 좋은 시험이다. 모든 가능한 비교를 분석하지만, 셰퍼피는 모든 다변량 분석과 마찬가지로 알파 인플레이션 문제를 제한한다. 이론 테스트 통계로 셰퍼피를 사용하여 이론에 의해 예측된 차이가 셰퍼프에 의해 발견될 때 이 이론은 확인된다. 이론이 다른 집단들 사이에 어떤 차이도 없을 것이라고 예측했을 때, 셰퍼피는 그 집단들 사이에서 어떤 유의한 차이도 발견하지 못했을 때 그 이론을 확인하였다. 셰피 시험은 알파 팽창을 최소로 하면서, pair의 combination을 포함하여 가능한 모든 쌍의 차이를 테스트하기 때문에 잘 개발된 이론을 테스트하는 데 이상적이다.

If the theory is well developed, Scheffee may also be a good choice. Well developed theory should predict differences for all groups and combinations of groups. Given that Scheffee tests all possible differences, it is a good test of multiple propositions of the well developed theory. Even though it analyzes all possible comparisons, the Scheffee limits the problem of alpha inflation, as do all multivariate analyses. Using the Scheffee as a theory-testing statistic, the theory is confirmed when differences predicted by the theory are found by Scheffee. When theory predicts no differences between other groups, Scheffee confirms the theory when it finds no significant differences among those groups. The Scheffee test is ideal for testing the well developed theory because, with minimal alpha inflation, it tests all possible pairwise differences, including combinations of pairs.


셰퍼피 테스트는 또한 어떤 쌍과 쌍의 조합이 유의미하게 다를지 자신 있게 예측할 수 있을 만큼 이론이 충분히 개발되지 않았을 때에도 사용하기 좋은 툴이다. 분석 내의 두 개 이상의 그룹이 유의하게 다르지 않은 경우에도 전체 분산 분석은 유의한 F-테스트를 생성할 수 있다. 어떤 집단 차이가 유의한 F-테스트를 생성했는지를 정확히 알아내는 것이 종종 중요하다. 이러한 상황에서 분산 분석 내 어느 그룹이 유의미하게 다른지 알아보려면 연구자는 다중 비교 분석을 수행해야 한다. 예를 들어 괴사성 근막염 환자들 사이에서 네 가지 다른 항생제가 사망률을 검사했다고 가정해 보자. 분산 분석에서 확인할 수 있는 모든 것은 집단의 사망률 사이에 유의한 차이가 있는지 여부다. 어떤 약물이 가장 낮은 사망률을 냈는지, 두 세 가지 약물이 효과가 동일하고 한 가지 약물이 비효과적인지를 확인할 수 없다. 셰피 방법은 각 약물에 대한 자세한 정보를 제공한다.

The Scheffee test is also a good tool to use when theory is not sufficiently developed to confidently predict which pairs and combinations of pairs will be significantly different. The overall ANOVA can produce a significant F-test even when two or more groups within the analysis are not significantly different. It is often important to discover exactly which group differences produced the significant F-test. In this situation, to discover which groups within the ANOVA were significantly different, the researcher must perform multiple comparison analyses. For example, suppose four different antibiotics were tested for mortality rates among patients with necrotizing fasciitis. All the ANOVA can determine is if there were significant differences among the groups’ mortality rates. It cannot identify which drug produced the lowest mortality rates, or if two or three of the drugs were equivalent in effectiveness and one was ineffective. The Scheffee method provides that detailed information about each drug.


셰퍼피 테스트는 연구자가 가능한 모든 대조도를 테스트하여 이론 생성 연구를 수행하여 어떤 것이 중요한지 알아낼 수 있도록 한다. 이러한 종류의 연구는 연구자가 기존 데이터에서 우연히 발견한 것을 만드는 것을 돕고, 탐색적 데이터 분석의 발견 과학의 일부분이다. 이전에 알려지지 않았던 차이점을 발견할 수 있으며, 연구자는 관찰된 차이점을 설명하는 설명을 개발하여 새로운 이론을 만들어낸다. 이 방법으로 생성된 이론은 새로운 이론을 시험하기 위해 특별히 설계된 후속 연구에서 시험되어야 한다. 이론 테스트 절차(즉, 이론 테스트 절차)보다 탐색 데이터 분석에서 가짜 관계를 찾을 확률이 더 높기 때문에 이것은 중요하다. 유형 1 오류는 이러한 종류의 연구에 존재할 가능성이 더 높으며, 발견된 차이점은 후속 연구로 확인해야 한다.)

The Scheffee test allows the researcher to conduct a theory generation study by testing all possible contrasts to discover which are significant. This sort of research assists the researcher to make serendipitous findings from existing data and is part of the science of discovery in exploratory data analysis. Previously unknown differences can be detected and the researcher creates new theory by developing an explanation that accounts for the observed differences. Theory generated with this method should be tested in subsequent studies designed specifically to test the new theory. This is important because the probability of finding spurious relationships is higher in exploratory data analysis than in theory testing procedures (i.e. Type 1 errors are more likely to exist in this kind of research, and the discovered differences should be confirmed by subsequent studies).


셰퍼 방법을 통해 발견된 특정 부분군 대비에 대한 후속 시험 연구는 이론 테스트 연구에 더 적합한 Bonferroni 방법을 사용해야 한다. Bonferroni 방법은 Schepper 방법보다 Type I 오류에 덜 취약하다.

Subsequent studies testing specific subgroup contrasts discovered through the Scheffee method should use the Bonferroni method which is more appropriate for theory testing studies. The Bonferroni method is less susceptible to Type I errors than the Scheffee method.


The Bonferroni (Dunn) method


Tukey 방법처럼, multiple comparisons의 Bonferroni 방법은 가족 대조 방법이기 때문에, 다른 유형의 다중 비교 분석(Newman-Keuls 방법 등)이 하는 범위까지 알파값을 부풀리지 않는다. 또한, 셰피 방법과 마찬가지로 본페로니 방법은 복잡한 쌍을 테스트할 수 있다. 그러나 Bonferroni 통계량은 탐색적 데이터 분석을 위한 도구가 아니다. 연구자가 모든 대조도를 미리 구체화specify하도록 요구하는 사항이다. 연구자는 특정할 대조를 알기 위해 관심 현상에 대한 충분한 이론을 가지고 있어야 한다. 그 결과, 이것은 쉐퍼피와 같은 탐구적인 방법보다 실험 집단의 결과에 대한 이론을 확인하는 데 더 좋은 시험이다. 본페로니는 실험 횟수를 연구자가 미리 지정한 수로 제한하기 때문에 알파 인플레이션 문제를 감소시킨다. Bonferroni 방법의 큰 장점은 알파 인플레이션에 대한 한계로 제1형 오류의 확률을 줄인다는 것이다. 그러나 우연히 발견될 수는 없으며 따라서 모든 차이를 시험하는 것은 아니기 때문에 그룹들 간의 차이에 대한 정보를 덜 제공한다.


Like the Tukey method, the Bonferroni method of multiple comparisons is a family contrasts comparison method, so it does not inflate alpha to the extent that other types of multiple comparison analyses (such as the Newman-Keuls method) do. Additionally, like the Scheffee method, the Bonferroni method can test complex pairs. However, the Bonferroni statistic is not a tool for exploratory data analysis. It requires the researcher to specify all contrasts to be tested in advance. The researcher must have sufficient theory about the phenomena of interest in order to know which contrasts to specify. As a result, this is a better test for confirming theory about the experimental group’s results than exploratory methods such as the Scheffee. Because Bonferroni limits the number of tests to those specified in advance by the researcher, it reduces the problem of alpha inflation. The great advantage of the Bonferroni method is that it reduces the probability of a Type I error by its limits on alpha inflation. However, it cannot make serendipitous discoveries and it therefore provides less information on differences among the groups because not all differences are tested.


The Dunnett method


Dunnett 방법은 control 그룹 설계 시험에 유용하다. 이것은 특히 강력한 통계량이며 따라서 집단이나 집단의 조합 간에 비교적 작지만 유의한 차이를 발견할 수 있다. Dunnett 방법은 연구자가 단일 대조군 그룹에 대해 두 개 이상의 실험 그룹을 시험하고자 할 때 상당히 유용하다. 그것은 각 실험 그룹의 평균을 대조군 평균에 대해 시험한다. 다른 방법들은 각 스터디 그룹을 전체 그룹 평균(즉, grand mean)에 대해 시험한다. 

The Dunnett method is useful for testing control group designs. It is a particularly powerful statistic and therefore it can discover relatively small but significant differences among groups or combinations of groups. The Dunnett method is quite useful when the researcher wishes to test two or more experimental groups against a single control group. It tests each experimental group’s mean against the control group mean. The other methods test each study group against the total group mean (i.e., the grand mean). 


시험 접근방식의 이러한 차이는 grand mean이 모든 그룹 평균을 포함하고 따라서 수학적으로 개별 그룹 평균보다 덜 극단적이기 때문에 Dunnett 방법이 유의한 차이를 발견할 가능성이 훨씬 더 높다. 더 극단적인 그룹 평균은 하나의 그룹 평균과 그랜드 평균을 비교하는 시험보다 더 큰 평균 차이를 만들어 낼 것이다. Bonferroni 방법은 단일 대조군 그룹에 대해 실험군만 시험하도록 지정할 수 있지만, 연구군 평균을 대평균과 비교하는 것을 고려할 때 Dunnett 방법보다 검정력이 적다.

This difference in testing approach makes the Dunnett method much more likely to find a significant difference because the grand mean includes all group means and thus mathematically it is less extreme than individual group means. The more extreme group means will produce larger mean differences than tests comparing one group mean to the grand mean. The Bonferroni method could be specified to test only the experimental groups against the single control group, but given that it compares study group means against the grand mean, it has less power than the Dunnett method.

 

Summary

 

분산 분석 테스트에서 유의성에 기여하는 그룹 차이를 더 자세히 설명하기 위해 사용할 수 있는 다양한 사후 hoc 테스트가 있다. 각 시험에는 구체적인 적용, 장점 및 단점이 있다(표 1).

There are a variety of post hoc tests available to further explicate the group differences that contribute to significance in an ANOVA test. Each test has specific applications, advantages and disadvantages (Table 1).






 2011;21(3):203-9.

Multiple comparison analysis testing in ANOVA.

Author information

1
Department of Nursing, School of Health and Human Services, National University, San Diego, California, USA. mchugh8688@gmail.com

Abstract

The Analysis of Variance (ANOVA) test has long been an important tool for researchers conducting studies on multiple experimental groups and one or more control groups. However, ANOVA cannot provide detailed information on differences among the various study groups, or on complex combinations of study groups. To fully understand group differences in an ANOVA, researchers must conduct tests of the differences between particular pairs of experimental and control groups. Tests conducted on subsets of data tested previously in another analysis are called post hoc tests. A class of post hoc tests that provide this type of detailed information for ANOVA results are called "multiple comparison analysis" tests. The most commonly used multiple comparison analysis statistics include the following tests: Tukey, Newman-Keuls, Scheffee, Bonferroni and Dunnett. These statistical tools each have specific uses, advantages and disadvantages. Some are best used for testing theory while others are useful in generating new theory. Selection of the appropriate post hoc test will provide researchers with the most detailed information while limiting Type 1 errors due to alpha inflation.

PMID:
 
22420233


보건전문직교육연구에서 상황학습이론(Situated learning theory) (Adv Health Sci Educ Theory Pract, 2019)

Situated learning theory in health professions education research: a scoping review

Bridget C. O’Brien1 · Alexis Battista2





배경

Background


SLT(Sitated Learning Iron)는 1980년대와 1990년대 초에 교육을 지배했던 개인을 중심에 두는 인지적 행동주의 관점에서 출발하여 학습에 대한 관점을 제공했다(Farnsworth et al. 2016; Barton and Tusting 2005). 1991년에 출판된 초기 연구에서, Lave와 Wenger는 상황학습을 CoP(Lave and Wenger 1991)에서 합법적인 주변참여(LPP)를 통해 발생하는 과정이라고 설명했다. 그들은 학습이란 

  • 일상적 활동, 맥락, 문화에 내재하고, 

  • 근본적으로 사회적이며, 

  • 종종 의도적이기보다는 의도적이지 않은 것이고, 

  • 학습자의 참여가 점차 증진되는 것으로 특징지었다(Lave and Wenger 1991). 

Situated Learning Theory (SLT) offered a perspective on learning that departed from the individual-focused, cognitive and behaviorist views dominating education in the 1980 s and early 1990s (Farnsworth et al. 2016; Barton and Tusting 2005). In their initial work published in 1991, Lave and Wenger described situated learning as a process that occurs through legitimate peripheral participation (LPP) in communities of practice (CoP) (Lave and Wenger 1991). Their work characterized learning as: 

  • embedded in everyday activity, context, and culture; 

  • fundamentally social; 

  • often unintentional rather than deliberate; and 

  • progressive with respect to learners’ participation (Lave and Wenger 1991). 


Lave와 Wenger는 학습을 newcomer과 old-timer 또는 더 박식한 다른 사람들 사이에서의 관계와 상호작용의 중요성을 강조했다(Lave and Wenger 1991). 이것은 실천을 지도/지지/공동형성/재개념화하는 역동적 프로세스이다. SLT는 특히 강의실이 아닌 환경에서 학습 프로세스를 개념화하고 연구하는 새로운 방법을 제공했다.

Lave and Wenger emphasized the importance of relationships and interactions between newcomers and old-timers or more knowledgeable others to frame learning as a dynamic process of guidance, support, and co-construction or reconceptualization of practice (Lave and Wenger 1991). SLT offered new ways of conceptualizing and studying learning processes, particularly in non-classroom settings.


1998년, 벵거는 보다 심도 있게 정채성 개발을 설명하고, CoP를 특징짓는 3가지 상호 관련 차원을 설명함으로써 이러한 초기 노력을 상세히 하였다(Wenger 1998). 

  • 공동업무

  • 상호 참여

  • 공유된 레파토리

In 1998, Wenger elaborated on this initial effort by explaining identity development in greater depth and describing three interrelated dimensions that characterize CoPs: 

  • joint enterprise, 

  • mutual engagement, and 

  • shared repertoire (Wenger 1998). 


2000년, 벵거는 조직이 어떻게 "지식 공유, 학습, 변화"를 육성하는 CoP를 배양할 수 있는지를 설명하면서, 이를 실천 중인 공동체communities in action라고 불렀다(벵거와 스나이더 2000). 이러한 커뮤니티는 예를 들어 전략 추진, 새로운 서비스 라인 도입, 신속한 문제 해결 및 모범 사례 전송을 지원함으로써 조직에 상당한 가치를 부가할 수 있다(Wenger 및 Snyder 2000). 또한 벵거는 맥더모트와 스나이더와의 2002년 저서에서 조직이 채택할 수 있는 모델과 접근방식에 대한 상세한 설명을 제공함으로써 CoP를 개발하고 육성할 수 있다는 개념을 계속 발전시켰다(Wenger 등, 2002년).

In 2000, Wenger described how organizations could cultivate CoPs that foster “knowledge sharing, learning and change,” calling them communities in action (Wenger and Snyder 2000). These communities in action could add substantial value to an organization by, for example, by helping them drive strategy, introduce new lines of service, solve problems quickly and transfer best practices (Wenger and Snyder 2000). Further, in his 2002 book with McDermott and Snyder, Wenger continued to build on the notion that CoPs could be developed and cultivated by providing detailed descriptions of models and approaches organizations could employ (Wenger et al. 2002).


보다 최근에, 벵거-트레이너와 동료들은 CoP에 관한 방대한 문헌을 조사하여, CoP에 대한 생산성이라는 특징을 가지고 있지만, 단일 CoP와 개별 "CoP의 주변부에서 심장부까지의 도제 궤적"에 지나치게 초점을 맞추고 있다고 지적했다(Wenger-Trayner 등, 2015). 이 논문에서, 그들은 개인이 여러 개의 CoP를 어떻게 탐색navigate하는지를 강조하는 실천의 환경에 어떻게 참여하는지에 대한 아이디어를 다시 검토했다. Wenger-Trayner와 동료들은 또한 개인이 여러 CoP들 사이에서 어떻게 경계를 통과하고 journeying하는지, 그리고 이것이 정체성 발달에 어떻게 영향을 미치는지에 대해서도 다루었다. 표 1은 SLT와 관련된 주요 용어 및 정의를 제공한다.

More recently, Wenger-Trayner and colleagues took stock of the large body of literature on CoPs, characterizing it as productive, yet too focused on single CoPs and individual “apprenticeship trajectories from periphery to heart of the CoP” (Wenger-Trayner et al. 2015). In this work, they revisited ideas about how individuals’ participate in landscapes of practice, which emphasizes how individuals navigate multiple CoPs. Wenger-Trayner and colleagues also addressed how individuals engage in boundary crossing, journeying among multiple CoPs, and the way this influences identity development. Table 1 provides key terms and definitions associated with SLT.



HPE에서 상황학습 이론 사용법 탐구

Exploring situated learning theory use in HPE


Lave와 Wenger가 그들의 대표적 작품을 발표한 지 거의 30년이 지난 지금, HPE의 많은 학자들은 SLT와 관련 개념(예: CoP, LPP)을 사용한다. HPE(Health Professions Education, HPE)에서 학자들은 SLT와 같은 다른 분야에서 유래한 이론을 도출한다. 학자들이 새로운 맥락의 문제에 이론을 적용하면, 그 분야의 지식을 발전시키고, 실천력을 향상시키며, 원래의 이론을 확대하거나 다듬을 기회가 생긴다(Tunissen 2010; Varpio et al. 2017). 그러나 그러한 적용은 또한 학자들이 목적, 패러다임적 자세, 범위, 한계 및 용어에 대한 인식이 부족하거나 잘못된 경우 이론이 유용misappropriating될 위험이 있다(Brown et al. 2019; Farnsworth et al. 2016; Lave 2008).

Now, nearly 30 years after Lave and Wenger published their seminal work, many scholars in HPE use SLT and its related concepts (e.g., CoP, LPP). In Health Professions Education (HPE), scholars draw upon theories, such as SLT, that originate from other fields. When scholars apply a theory to a problem in a new context, opportunities arise to advance knowledge in their field, to inform and improve practice, and to expand or refine the original theory (Teunissen 2010; Varpio et al. 2017). Yet, such applications also run the risk of misappropriating theory if scholars lack awareness of or misconceive the purpose, paradigmatic stance, scope, limitations, and terminology (Brown et al. 2019; Farnsworth et al. 2016; Lave 2008).


이 점은 CoP의 가치를 의료분야에 대한 전략 또는 개입으로 검토한 두 가지 체계적인 리뷰에서 명백하다(Li et al. 2009a, Ranmuthgala et al. 2011), 이 리뷰에서는 주로 CoP의 정의, 구현, 효과 및 영향에 초점을 맞추었다. 1991년부터 2005년까지 건강관리 및 비즈니스 문헌을 검토한 결과, 리 교수와 동료들은 "CoP 개념이 어떻게 운영operationalize되는지에 대한 일반적인 경향은 없다"고 밝혔다(Li et al. 2009a). 리 외 연구진의 연구는 상황학습이라는 더 넓은 개념보다, CoP라고 라벨된 그룹이라는 협소한 개념화 또는 CoP를 guiding framework로 사용한 것에만 제한하여 초점을 맞추었다. 

This point is evident in two systematic reviews that examined the value of CoPs as a strategy or intervention in the healthcare sector (Li et al. 2009a, Ranmuthugala et al. 2011), focusing primarily on the definition, implementation, effectiveness, and impact of CoPs. From their review of healthcare and business literature from 1991 to 2005, Li and colleagues found, “no common trend in how the CoP concept is operationalized,” (Li et al. 2009a). Li et al.’s work focused on a narrow conceptualization of groups labeled as CoPs or developed using CoP as the guiding framework, rather than on the broader concept of situated learning. 


또 다른 리뷰에서 란무투갈라와 동료들은 1990년과 2009년 사이에 건강관리 분야에서 CoP의 현상을 조사하여 "[CoP]가 확립되는 방법과 이유의 다양성"(2011, 페이지 14)을 찾아냈다. 그러나, Li(2009a)와 마찬가지로, Ranmuthgala et al. (2011)는 HPE와 관련된 일반적인 학습 프로세스보다는 행동, 작업 관행, 임상 프로세스 또는 임상 결과의 변화나 개선을 위한 잠재적 메커니즘으로서 주로 CoP의 운영 관점에 초점을 맞추었다.

In another review, Ranmuthugala and colleagues examined the phenomena of CoP in healthcare between 1990 and 2009, finding “much diversity in how and why [CoPs] are established” (2011, p. 14). However, like Li (2009a), Ranmuthugala et al. (2011) focused primarily on an operational view of CoPs—as potential mechanisms for change or improvement in behaviors, work practices, clinical processes or clinical outcomes—rather than on general learning processes relevant to HPE.


본 논문에서, 우리는 Biesta와 동료들은 "교육 연구에서의 이론과 이론의 실제적 역할"을 교육 연구에서의 이론을 통한 역량 구축의 지원 수단으로 "가능성과 세부적 이해"를 요구한다. 우리는 건강 직업 교육에서 특정 이론인 '상황 학습 이론'의 사용과 미래의 잠재력을 탐구함으로써 이것을 한다.

In this paper, we heed Biesta and colleagues call for “a more nuanced and detailed understanding of both the possible and, importantly, the actual roles of theory and theorising in educational research” (2011, p. 234) as a means of supporting capacity building through theory in educational research. We do this by exploring the use and future potential for one particular theory—Situated Learning Theory—in health professions education.


방법

Methods


리뷰 유형

Type of review


"기존 지식을 체계적으로 탐색, 선정, 통합하여 [정의된 분야나 분야와 관련된 핵심 개념, 증거의 종류 및 연구의 격차를 매핑하는 것을 목적으로 하는] 탐구적 연구 질문을 다루는 지식 종합의 한 형태"로 정의한 scoping review (Colquhoun et al. 2014, 페이지 1292)를 선정했다. HPE의 경우와 같이 문헌이 포괄적으로 검토되지 않은 경우지식의 본체가 다양할 때(Arksey 및 O'Malley 2005; Levac et al. 2010) Scoping Review가 적절하다. 또한, Scoping Review는 일반적으로 기존 문헌을 그것의 특성, 특징 및 광범위한 주제에 근거하여 분류하고 분류하기 때문에, 접근방식은 '단계적 후퇴step back' 하려는 우리의 의도에 적합하며, SLT가 사용된 방식과 HPE에 어떤 기여를 했는지 고려한다.

We selected a scoping review, defined as “a form of knowledge synthesis that addresses an exploratory research question aimed at mapping key concepts, types of evidence and gaps in research related to a defined area or field by systematically searching, selecting, and synthesizing existing knowledge” (Colquhoun et al. 2014, p. 1292). Scoping reviews are appropriate when a body of literature has not been comprehensively reviewed and when the body of knowledge is diverse (Arksey and O’Malley 2005; Levac et al. 2010), as is the case in HPE. Additionally, because scoping reviews typically categorize and group existing literature based on its nature, features and breadth of topics, the approach fit with our desire to ‘step back’ and consider the ways in which SLT has been used and what it has contributed to HPE.


절차들

Procedures


우리는 레바크 외 연구진(2010)의 수정판 아크와 오말리가 권고한 범위 검토 프레임워크에 설명된 단계를 따랐다(Arksey 및 O'Malley 2005).

We followed the steps outlined in Levac et al’s. (2010) modified version of Arksey and O’Malley’s recommended framework for scoping reviews (Arksey and O’Malley 2005).


1단계: 연구 질문 식별 다음 질문을 통해 검토: HPE 문헌에서 SLT를 어떻게 사용하고 있는가?

a. 어떤 유형의 기사(예: 경험적, 관점)?

b. 이러한 조항은 어떤 목적(예: 설명, 정당성, 설명)을 제공하는가?

c. 어떤 주제/현상들을 다루는가? 어떤 맥락에서?

d. SLT에서 사용되는 개념과 방법은?


Step 1: Identify research questions The following questions guided our review: How is SLT used in the HPE literature?

a. What types of articles (e.g., empirical, perspective)?

b. What purposes do these articles serve (e.g. description, justification, clarification)?

c. What topics/phenomena are addressed? In what contexts?

d. Which concepts from SLT are used and how?


2단계: 관련 문헌 탐색. Li와 동료들이 1991-2005년에 발표한 기사에 대한 사전 검토에서 관련 연구 빌딩을 식별하기 위해 우리는 사서들과 협력하여 2006년 1월 1일부터 2016년 12월 31일까지 HPE에서 SLT를 다루는 사용 가능한 기사(즉, 인쇄 전 또는 전자적으로 사용 가능한 기사)를 포착하기 위해 검색 전략("부록 A")을 설계했다. 우리는 Li 등이 보고한 검색 전략을 사용했다. (2009a) 용어의 출발점으로 HPE에 초점을 맞추고 CoP(예: LPP)를 넘어 SLT의 개념을 포함하도록 수정하였다. 검색에는 CINAHL, ERIC, PubMed, Scopus, Web of Science의 5개의 데이터베이스가 포함되었다(그림 1). 우리는 또한 모든 포함된 기사의 참조 목록을 검토했고, 처음 검색에서 확인되지 않았지만 포함 기준을 충족한 기사를 회수했다.

Step 2: Identify relevant studies Building from Li and colleagues’ prior review of articles published 1991–2005, we worked with a librarian to design a search strategy (“Appendix A”) to capture available articles (i.e., in print or electronically available ahead of print) that addressed SLT in HPE from January 1, 2006 to December 31, 2016. We used the search strategy reported by Li et al. (2009a) as a starting point for terminology, then made modifications to focus on HPE and to include concepts from SLT beyond CoP (e.g., LPP). Our search included five databases: CINAHL, ERIC, PubMed, Scopus, and Web of Science (Fig. 1). We also reviewed the reference list of all included articles and retrieved articles that were not identified in our initial search but met our inclusion criteria.


3단계: 검토에 포함할 연구를 선택. 레벨 1과 레벨 2 선별에 대한 우선 순위를 개발했다(그림 1). 레벨 1 심사 중, 두 명의 검토자(BO 및 연구 보조자)가 주제에 대한 제목과 초록을 검토했다. 

(a) 주요 용어(즉, CoP, 위치 학습, LPP 및/또는 Lave 및 Wenger 또는 Wegner의 작업에 대한 참조), 

(b) HPE(예: 의료, 간호, 약국), 교육, 교육, 교육, 학습, 그리고 

(c) 정체성 형성, 교수진 개발, 평가, 평가. 


Step 3: Select studies to include in the review We developed inclusion criteria a priori for level 1and 2 screening (Fig. 1). During level 1 screening, two reviewers (BO and a research assistant) reviewed titles and abstracts for: 

    • (a) use of key terms (i.e., CoP, situated learning, LPP, and/or reference to any works by Lave and Wenger or Wegner); 

    • (b) relevance to HPE (e.g., medicine, nursing, pharmacy), and 

    • (c) topics such as curriculum, instruction, teaching, learning, identity formation, faculty development, assessment, evaluation. 


경험적 연구, 관점/논평, 프로그램 평가/혁신/ 커리큘럼 설명, 문학 리뷰 등을 포함. 모든 연구 설계가 적격이었다(즉, 정성적, 정량적, 혼합적 방법). 우리는 자격 기준을 충족하지 못하거나, 전문으로 얻을 수 없거나, 영어로 사용할 수 없는 기사는 제외했다.

We included empirical studies, perspectives/commentaries, program evaluations/innovations/curricular descriptions, and literature reviews. All study designs were eligible (i.e., qualitative, quantitative, mixed-methods). We excluded articles that did not meet eligibility criteria, we were unable to obtain in full-text, or were not available in English.


레벨 2 스크리닝 중, 2명의 검토자(BO, AB)가 독립적으로 각 글의 전문을 검토하여 SLT나 개념을 피상적으로 활용한 기사를 식별하고 제외했다. 피상적인 사용이란, 설명이나 정의 없이 주요 용어(예: LPP, CoP)를 사용했거나, 한 번만 언급하고 추가 고찰이 없는 것, 벵거와 동료의 일차 출처에 대한 언급이 없는 경우로 정의했다.

During level 2 screening, two reviewers (BO, AB) independently reviewed the full text of each article to identify and exclude articles that utilized SLT or concepts in a superficial way. We defined superficial use as instances in which authors used key terms (e.g., LPP, CoP) with no explanation or definition, or used a single mention of a key term with no additional discussion, and/or with no reference to primary sources by Wenger and colleagues.



4단계: Colquhoun 등(2014년)에서 권장하는 모범 사례에 따라 데이터를 차트화했으며, 아래 설명된 일련의 반복 단계를 통해 데이터를 차트화했다(Colquhoun 등, 2014년).

Step 4: Chart the data In line with best practices recommended by Colquhoun et al. (2014), we charted the data through a series of iterative phases, which we describe below (Colquhoun et al. 2014).





1단계

Phase one


우리는 검토의 목표와 연구 질문에 관련된 정보를 추출하기 위해 데이터 차트 작성 양식을 개발했다. 추출의 일관성을 확보하기 위해 Qualtrics® 조사 플랫폼을 사용하였습니다. 당사의 데이터 차트 작성 양식("별지 A")의 최종 버전에는 기사 특성, 주제/현상, 설정 또는 맥락, SLT의 주요 개념에 대한 질문이 포함되었다. 각 기사가 SLT를 어떻게 사용하는지를 구마시와 동료 이론 토크 프레임워크에서 도출하여 분류하였다(Kumasi et al. 2013). "이론 토크" 프레임워크는 도서관과 정보 과학 내에서 이론 사용을 포착하도록 설계되었기 때문에, 우리는 연구의 초점에 맞게 범주를 수정했다(예: HPE 연구 내에서 하나의 특정 이론이 어떻게 사용되는지 조사). 표 5에는 각 범주의 이름과 우리가 사용한 운영 정의가 수록되어 있다.


We developed a data-charting form to extract information relevant to the goals of our review and our research questions. We used the Qualtrics® survey platform to ensure consistency in extraction. The final version of our data-charting form (“Appendix A”), included questions about article characteristics, the topics/phenomenon addressed, setting or context, and which key concepts of SLT were employed. We classified how each article used SLT, drawing from Kumasi and colleagues theory talk framework (Kumasi et al. 2013). Because the “theory talk” framework was designed to capture theory use within the library and information sciences, we modified the categories to fit the focus of our study (e.g., examining how one specific theory is used within HPE research). Table 5 includes the name of each category and the operational definitions we used.


2단계

Phase two


포함된 기사의 패턴을 조사하기 위해, 우리는 기술 통계(즉, 빈도, 백분율)를 계산하기 위해 Qualtrics®에서 Microsoft Excel 및 SPSS로 차트 데이터를 가져왔고, 기사에서 다루는 주제/현상, 설정 또는 상황, 직업 등을 계산하기 위해 개방형 코드화 절차를 사용했다.

To examine patterns among included articles we imported charted data from Qualtrics® into Microsoft Excel and SPSS to calculate descriptive statistics (i.e., frequency, percentage) and used open coding procedures to further categorize: topics/phenomenon addressed in the article, the setting or context, and profession.


3단계

Phase three


쿠마시 분류는 기사의 저자들이 SLT 이론을 어떻게 사용하는지를 설명하는 데 도움이 되었지만, 포함된 기사의 목적을 적절하게 다루지는 못했다. 따라서, 우리는 쿡과 동료들의 설명(2008)에서 연구 목적의 분류를 지도하기 위해, 기술(무엇을 했는가?), 정당화(그것이 효과가 있었는가?), 명확화 프레임워크(왜 또는 어떻게 작용했는가?)를 도출했다.

While the Kumasi categorization helped describe how included articles’ authors used SLT theory, it did not adequately address the purposes of included articles. Therefore, we drew from Cook and colleagues’ (2008) description (what was done?), justification (did it work?), clarification framework (why or how did it work?) to guide categorization of study purpose.


5단계: 결과 수집, 요약 및 보고. 3단계 이후, 우리는 서술적 통계를 다시 계산하고 보고를 안내하기 위해 Tricco 등(2018년)에서 도출했다.

Step 5: Collate, summarize and report results Following phase three, we recalculated descriptive statistics and drew from Tricco et al. (2018) to guide reporting.


6단계: 주요 이해관계자들과 협의. 1단계부터 SDRME(Society for Research Directors of Medical Education) 및 미국 교육 및 연구 협회(AERA) 심포지엄 참석자들과 예비 조사 결과를 공유하였다. 양쪽 청중의 구성원들은 HPE에서 이론 사용을 검토하는 것의 가치를 강조했고 우리가 더 넓은 HPE 커뮤니티와 결과를 공유하도록 격려했다.

Step 6: Consult with key stakeholders We shared preliminary findings from phase one with members of the Society for Directors of Research in Medical Education (SDRME) and attendees of an American Education and Research Association (AERA) symposium. Members of both audiences emphasized the value of examining theory-use in HPE and encouraged us to share findings with the broader HPE community.


결과.

Results


문학검색

Literature search


우리의 검색 결과 1928건의 기사가 나왔다(그림 1). 

Our search yielded 1928 articles (Fig.  1). 


포함된 품목 특성(표 2)

Included article characteristics (Table 2)


SLT의 개념에 대한 연구 수가 2006년(n = 11)에서 2016년(n = 23)으로 증가하여 이론의 지속적인 공명을 시사했다.

The number of studies drawing on concepts from SLT increased from 2006 (n = 11) to 2016 (n = 23), suggesting continued resonance of the theory





HPE 문헌에서 위치 학습이론은 어떻게 사용되고 있는가?

How is situated learning theory used in the HPE literature?


어떤 기사의 유형과 어떤 목적을 제공하는가? (표 3) 경험적 기사의 53% 중 가장 많은(81%)를 명확화 연구(왜 또는 어떻게 작용했는가?)로 분류했다. 이 문서들은 학습 과정이 어떻게 작용하는지 또는 개인이 특정한 맥락(예: 임상 작업 공간, 온라인/전자 학습)에서 어떻게 학습을 경험했는지를 명확히 하는 경향이 있었다.

What types of articles and what purposes do they serve? (Table 3) Among 53% of empirical articles, we categorized most (81%) as clarification studies (why or how did it work?). These articles tended to clarify how a learning process worked or how individuals experienced learning in a particular context (e.g., clinical workplaces, online/e-learning).



어떤 주제/현상들을 다루고 있는가? 어떤 맥락에서? (표 4) 논문에서 다루는 가장 일반적인 세 가지 주제: 

a) 특정 컨텍스트나 프로그램에서 다루는 학습 프로세스 또는 경험(40%), 

b) 개인의 그룹이나 네트워크 사이에서 학습을 촉진 또는 지원하기 위한 의도적 노력(36%), 

c) 정체성(9%) 등이 포함되었다.

What topics/phenomena are addressed? In what contexts? (Table 4) The three most common topics addressed in the articles, included: a) learning processes or experiences in a particular context or program (40%), b) intentional efforts to facilitate or support learning among groups or networks of individuals (36%), and c) identity (9%).






특정 상황에서 학습 프로세스/경험

Learning processes/experiences in a specific context


이 범주의 조항은 주로 전문 교육 프로그램의 일부였던 임상 배치와 같이 임상 작업장에서 배우는 데 초점을 맞추었다. 이 연구 결과는 (인지 및 행동 학습 이론보다) 실천을 통한 학습 또는 견습 학습에 대한 보다 전체적인 개념화를 추구했던 Lave 및 Wenger(1991년)와 Wenger(1998년)의 상황학습에 관한 초기 연구와 일치한다. 다른 맥락에는 전문가 간 교육, 라이브 또는 가상 시뮬레이션, 온라인/이 학습 환경, 동료 또는 전문 그룹이 포함되었다.

Articles in this category primarily focused on learning in clinical workplaces, such as clinical placements that were part of a professional education program. This finding aligns with the earlier works on situated learning by Lave and Wenger (1991) and Wenger (1998) that sought a more holistic conceptualization of learning through practice, or apprenticeship learning, than cognitive and behavioral learning theories offered. Other contexts included interprofessional education, live or virtual simulation, online/elearning environments, and peer or professional groups.


학습을 촉진하거나 지원하기 위한 의도적인 노력

Intentional efforts to facilitate or support learning


이 범주에는 CoP를 개입(공통 목표, 관심 또는 필요에 따라 개인들을 연결하도록 설계된 전략 또는 구조)으로 기술한 기사가 포함되었다. 이러한 기사의 하위 집합은 가상 또는 온라인 커뮤니티 및/또는 교수진 개발 또는 지속적인 전문 개발(CPD)의 맥락에서 설정되었다. 이러한 연구는 CoP의 주요 특성과 목표를 정의하고 이를 육성하기 위한 전략을 기술한 벵거와 동료(2000, 2002)의 이후의 연구와 일치했다.

This category included articles that described CoP as an intervention—a strategy or structure designed to connect individuals based on a common goal, interest or need. A subset of these articles described a virtual or online community and/or were set in the context of faculty development or continuing professional development (CPD). These studies aligned with later work by Wenger and colleagues (2000, 2002) that defined key characteristics and objectives of CoPs and described strategies for cultivating them.


신원

Identity


아이덴티티는 SLT(표 1 참조)와 HPE에서 모두 핵심 개념이다. 이전 두 가지 현상보다 더 구체적인 현상임에도 불구하고, 임상 작업 공간, 훈련 또는 직업 생활에서의 전환, 동료 또는 전문 그룹 등 다양한 맥락에서 정체성을 다루는 논문들의 상당한 부분 집합을 발견했다.

Identity is a core concept in both SLT (see Table 1) and in HPE. Though a more specific phenomenon than the previous two, we found a substantial subset of articles addressing identity in diverse contexts, including: clinical workplaces, transitions in training or professional life, and peer or professional groups.



SLT에서 사용되는 핵심 개념은 무엇이며, 그 방법은 무엇인가? Lave와 Wenger(1991년), Wenger(1998년)의 초기 작품들이 가장 많이 인용되었으며(각각 71%와 61%), Wenger 등이 그 뒤를 이었다. (2002) (23%). 다른 모든 주요 출처는 10% 미만의 기사에서 인용되었다. 거의 모든 기사(95%)가 CoP에 대해 논의했고, ID(49%), 상황학습(42%), LPP(38%) 순이었다. 공동 기업, 상호 참여, 공유 레퍼토리 또는 경계 교차 등과 같은 개념에 대해 10% 미만이 언급했다.

Which key concepts from SLT are used and how? The earliest works by Lave and Wenger (1991) and Wenger (1998) were the most commonly cited (71% and 61%, respectively), followed by Wenger et al. (2002) (23%). All other primary sources were cited in less than 10% of articles. Nearly all articles (95%) discussed CoP, followed by identity (49%), situated learning (42%) and LPP (38%). Less than 10% mentioned concepts such as joint enterprise, mutual engagement, shared repertoire or boundary crossing.



또한 각 기사에서 SLT와 관련 개념이 어떻게 사용되었는지를 기술하기 위해 쿠마시와 동료들의 이론 토크 프레임워크(2013)를 적용했다. 아래 설명된 바와 같이 SLT의 특정 특징과의 적합성을 개선하기 위해 일부 범주를 수정한 후 각 기사(표 5)에 대해 'best-fit' 범주를 선택했다. 우리는 쿠마시 외 (2013)에 의해 제시된 계층 구조에서 범주를 제시한다.

We also applied Kumasi and colleagues’ theory talk framework (2013) to describe how SLT and related concepts were used in each article. We selected a ‘best-fit’ category for each article (Table 5) after modifying some categories to improve fit with specific features of SLT, as described below. We present the categories in the hierarchical structure presented by Kumasi et al. (2013).




이론 누락

Theory dropping


우리의 초기 465개의 전체 텍스트 기사 집합에서, 우리는 이론 토크 프레임워크의 첫 번째 범주, 이론의 누락과 일치하는 모든 범주를 '피상적인 사용'으로 제외했다(n = 272).

From our initial set of 465 full-text articles, we excluded all that matched the first category in the theory talk framework, theory dropping, due to superficial use (n = 272).


이론 포지셔닝/프레이밍

Theory positioning/framing


포함된 연구(N = 193)의 18%는 이론적 포지셔닝(연구 설계에 제한적인 연관을 가진 시작 또는 끝의 이론 도입) 또는 이론적 프레이밍(학습의 관점을 확립하기 위한 이론의 사용)으로 분류했다.

We categorized 18% of included articles (N = 193) as theory positioning (introducing theory at the beginning or end with limited connection to study design) or theory framing (use of theory to establish a perspective on learning). 


이 글에서 저자들은 '대 이론grand theory'(Reeves et al. 2008) 수준에서 SLT 또는 CoP를 언급하였다. 이는 학습에 대한 저자의 관점을 설명하거나 이 글의 핵심 사항 또는 연구의 기초를 이루는 학습에 대한 기본적인 전제를 설명하는 이론이다. 몇몇 기사들은 또한 자기주도 학습, 직장 학습 또는 성찰적 실천과 같은 다른 학습 이론을 추가했다. 이 논문에서 SLT는 학습 프로세스에 대한 중요한 관점을 제공하거나 다른 이론들이 할 수 없는 발견을 설명하는 데 사용되었다

In these articles, authors referenced SLT or CoP at the level of ‘grand theory’ (Reeves et al. 2008)—a theory that explained the author’s perspective on learning or established basic premises about learning that underpinned the study or key points in the article. Several articles also added other learning theories such as self-directed learning, workplace learning, or reflective practice. In these articles, SLT provided an overarching perspective on learning processes and/or was used to explain a finding the other theories could not. 


일부 기사는 CoP를 사용하여 특정 기술을 배우거나, 공동작업을 하거나, 서로 지원하도록 사람들을 모으는 것을 목표로 하는 이니셔티브의 목표를 정당화했다. 또 다른 논문에서는 SLT를 고찰에서 다루면서, [새로운 통찰력이나 추가적 연구에 대해서는 논의하지 않고] 연구 결과가 CoP나 LPP와 같은 개념에 부합한다고 언급했다.

Some articles used CoP to legitimize the goals of an initiative aimed at bringing people together to learn certain skills, collaborate, or support one another while others introduced SLT in the discussion, noting that findings aligned with concepts such as CoP or LPP, without discussing novel insights or opportunities for further lines of inquiry based on SLT.


우리는 이 범주를 수정하여 쿠마시와 동료의 원래 서술보다 더 집약적인 방법으로 SLT를 사용한 몇 개의 기사에 대한 이론 프레이밍을 포함시켰다. 이 분류에서는, 저자들은 SLT를 [방법론에 대한 함축적 의미를 지닌] 학습을 이해하는 한 방법이라고 설명했다

We modified this category to include theory framing for a few articles that used SLT in a more intensive way than suggested by Kumasi and colleagues’ original description. In these articles, authors described SLT as a way of understanding learning with implications for methodology. 


예를 들어, 켈(2014년)은 

    • 학습에 대한 사회적 관점이 임상적 위치에 있는 물리치료 학생들의 학습에 대한 이전 연구와 어떻게 다른지departed from

    • 이 틀이 "학생 및 교육자들이 '생각하는 것'이 아니라 '실제로 무엇을 하고 어떻게 하는지'에 대해서," (45) 방법론적 접근과 현장작업의 초점에 어떻게 영향을 미쳤는지. 

For example, Kell (2014) explained 

    • how a social perspective on learning departed from prior studies of physiotherapy students’ learning in clinical placements and 

    • how this framing influenced the methodological approach and the focus of fieldwork “from what the students and/or educators think to what they actually do and how they do it,” (p. 45). 

이러한 작업은 SLT를 [실천을 통한 학습]을 프레임(또는 리프레임)하는 relevant하고 적용가능한 방법으로 강화한다. 작가는 앞을 내다보는 시선으로 이 골격의 가치를 그대로 강조했다. 왜냐하면 이것이 "실무와 교육 상호작용을 시작하고, 기록하고, 분석하는 새로운 방법을 물리치료사에게 제공한다." (p. 52).

Such work strengthens the case for SLT as a relevant, applicable way of framing (or reframing) learning through practice. With a forward-looking gaze, the author emphasized the value of this framing as it “offers physiotherapists a new way to conceive, record and analyse practice and education interactions” (p. 52).


이론 다양화/매핑

Theory diversification/mapping


포함 기사의 7%를 이론의 다양성(주제와 관련성이 있는 복수의 이론을 도입) 또는 이론 매핑(이론이 어떻게 기여할 수 있는가를 더욱 차별화)로 분류했다. 이 범주의 논문은 [현상을 이해하는 다른 방법을 보다 완전하게 묘사하거나 비교/ 대조하는 방법으로 다른 이론(예: 활동 이론, 직장 학습, 경험적 학습)과 관련하여] 상황 학습 개념을 논의하였다. 여기서 논의한 '현상'으로는 경험을 통한 학습, 비공식적인 전문직간 학습/전문직간 교육, 시뮬레이션된 임상 경험, 역량/계속적인 전문 개발(CPD)의 유지 등이 있었다. 이 범주의 기사는 대부분 문학 평론이나 논평/견해적 작품들이었다.

We categorized 7% of included articles as theory diversity (introducing multiple theories with relevance to the topic) or theory mapping (further differentiating how theory could contribute). The articles in this category discussed situated learning concepts in relation to other theories (e.g., activity theory, workplace learning, experiential learning), as a way of more fully describing or comparing/contrasting different ways of understanding a phenomenon. Phenomena included learning through experience, informal interprofessional learning/interprofessional education, simulated clinical experiences, and maintenance of competence/continuing professional development (CPD). Most articles in this category were literature reviews or commentary/perspective pieces.


많은 기사들이 다음과 같이 그 분야에 기여했기 때문에 이론 매핑의 개념을 추가했다. 

    • SLT와 관련 이론 간의 유사성/차이성을 명확히 함 

    • SLT와 관련 이론의 렌즈를 통해 연구의 이점을 얻을 수 있는 문제 및 현상 파악, 

    • 그리고 현상을 연구하기 위해 이와 관련된 이론적 구조를 그리는 방법을 고안한다.

We added the concept of theory mapping because many articles contributed to the field by: 

    • clarifying similarities/differences between SLT and related theories, 

    • identifying problems and phenomenon that could benefit from study through the lens of SLT and related theories, 

    • then mapping out ways to draw on these related theoretical constructs to study a phenomenon.


이론대화

Theory conversation


포함된 논문의 21%를 이론대화(이론/현상 사용 신청)로 분류했다. 대부분의 이론 대화 기사는 커리큘럼이나 기타 교육적 개입 또는 교육적 연구의 개발을 안내하기 위해 SLT를 사용하도록 권장하는 논평, 관점, 리뷰 또는 기타 유형의 non-empirical 작업이었다. 일부 기사는 [현상을 보거나 HPE의 지속적인 문제를 탐구]하는 새로운 방법을 제공하기 위해 SLT를 도입했다. 예를 들어 CoP의 렌즈를 통한 수술 교육, 실습 기반/직장 학습, 온라인/전자 학습, 교수진 개발/CPD 및 신원 개발 등이 있었다. 이 문서들은 이후의 경험적 연구와 응용을 위한 기초를 마련함으로써 HPE 분야에 기여한다.

We categorized 21% of included articles as theory conversation (advocating for use of a theory/phenomena). Most theory conversation articles were commentaries, perspectives, reviews or other types of non-empirical work that recommended use of SLT to guide the development of curricula or other educational interventions or educational research. Some articles introduced SLT to offer a new way of viewing a phenomenon or exploring a persistent problem in HPE. Examples included understanding surgical education through the lens of CoP, practice-based/workplace learning, online/e-learning, faculty development/CPD, and identity development. These articles contribute to the HPE field by laying groundwork for subsequent empirical studies and applications.


이론적 응용

Theory application


논문의 37%를 이론적 응용(설계 및 분석에 사용하기 위한 이론 도입)으로 식별했다. 이 범주 안에서 우리는 두 가지 주요 유형의 응용 프로그램을 발견했다. 한 유형은 CoP를 프로그램 설계에 대한 개입 또는 청사진으로 묘사했다. 이러한 개입은 교직원 개발을 위한 CoP 설립, 커리큘럼 개발 촉진, CPD 지원을 위한 네트워크(실제 또는 가상) 구축, 시골지역 또는 외딴 지역의 교육 프로그램에 대한 고립 감소 및 교육 프로그램 구조를 제공하고자 하였다. 이 기사들 중 다수는 2000년대 초(Wenger 2000, Wenger and Snyder 2000, Wenger et al. 2002)에 벵거 작품의 운영방향을 그리고 있으며 교육적 실천educational practice을 지향했다.

We identified 37% of articles as theory application (employing theory to inform design and analysis). Within this category we found two main types of applications. One type portrayed CoP as an intervention or blueprint for program design. These interventions sought to: establish a CoP for faculty development, facilitate curriculum development, build networks (real or virtual) to support CPD, reduce isolation for those in rural or remote locations, and provide structure for an educational program. Many of these articles drew on the operational orientation of Wenger’s work in the early 2000’s (Wenger 2000; Wenger and Snyder 2000; Wenger et al. 2002) and were directed toward educational practice.


Lave와 Wenger(1991년)와 Wenger(1998년)의 초기 작품들을 인용한 두 번째 유형의 적용 논문은 (수술실/수술적 부착물, 임상적 배치물, 시골 장소, 직업간 훈련 병동, 시뮬레이션-기반 학습, 훈련에서 실천으로, 실천에서 아카데미아로의 전환과 같은) 특정한 맥락에서 학습 과정과 경험을 탐구explore하기 위한 LPP, CoP, 정체성과 같은 개념에 초점을 두고 있다. 

The second type of application articles cited earlier works by Lave and Wenger (1991) and Wenger (1998), focusing on concepts such as LPP, CoP and identity to explore learning processes and experiences in particular contexts such operating rooms/surgical attachments, clinical placements, rural placements, interprofessional training wards, simulation-based learning, transitions from training to practice or from practice to academia. 


이 논문들은 연구 설계, 데이터 수집 및 분석을 guide하기 위해 SLT 구조를 사용했다. 이러한 이론적 적용은 특정한 맥락에서 개별적인 경험과 상호작용을 위한 설명적 힘을 준다. 그들은 일반적으로 프로그램, 실습, 임상 배치 또는 작업장을 조정하거나 개선하는 데 사용할 수 있는 미시 분석 수준에서 통찰력을 제공한다.

These articles used the SLT constructs to guide study design, data collection, and analysis. These theory applications contribute explanatory power for individual experiences and interactions in specific contexts. They generally offer insights at the micro-analytic level that can be used to adjust or improve programs, practices, clinical placements or workplaces.


이론 테스트/검증

Theory testing/verification


기사의 10%를 이론테스트(기존 이론의 경험적 타당성) 또는 검증(SLT를 반박하기 위한 근거 탐색)으로 분류했다. 벵거의 후기 작품 중 일부는 CoP를 경작되어야 할cultivated 실체로 제시했으며, 이는 목표한 결과와 평가에 대한 개입으로 해석될 수 있다. 이 범주로 CoP를 기술한 연구에는 다음의 성과를 달성하기 위한 개입이 포함된다.

    • 개인 그룹 간의 연구 카파와 생산성 증가, 

    • 다양한 맥락에서 일하는 개인들 간의 지식 교환 또는 공유, 

    • 협력적 실천

    • 증거 기반 실천의 도입

We classified 10% of articles as theory testing (empirically validating existing theory) or verification (seeking to support of refute SLT). Some of Wenger’s later works presented CoPs as entities to be cultivated, which could be interpreted as interventions with targeted outcomes and evaluations. Studies describing CoPs in this category included interventions to achieve outcomes such as 

    • increased research capacity and productivity among a group of individuals, 

    • knowledge exchange or sharing among individuals working in diverse context, 

    • collaborative practice, and 

    • implementation of evidence-based practices. 


몇몇 연구는 CoP 참여를 목표로 하는 개인들의 그룹 사이에 [공유 레퍼토리, 상호 참여, 공동 기업의 증거]를 토대로 CoP 설립 여부를 평가했다. 이 범주의 연구에서 나온 연구 결과가 CoP에 대해 뒷받침되는 증거를 제공했을 때, 저자들은 CoP의 보급과 추가 개발을 장려하는 경향이 있었으며, 다른 사람들의 노력이 이 글에 기술된 것 이후에 그들의 노력을 모델화할 것을 권고했다.

A few studies evaluated whether or not a CoP was established, based on evidence of shared repertoire, mutual engagement, and joint enterprise among a group of individuals targeted for participation in a CoP. When findings from studies in this category provided supportive evidence for CoPs, authors tended to encourage dissemination and further development of CoPs, recommending that others’ model their efforts after those described in the article.


우리는 이 범주를 SLT의 예측 해석보다는 분석적 해석에 부합하는 개념인 [이론 검증]을 포함하도록 확장했다. 일부 연구는 SLT에서 생성된 가설을 직접적으로 시험하려고 하기보다, 학습 경험을 '상황학습' 또는 LPP를 통한 CoP에서의 학습으로 특징지은 다음, 이 특성을 검증하려고 했다. 

We expanded this category to include theory verification, a concept that aligns with the analytic rather than predictive interpretation of SLT. While not directly trying to test a hypothesis generated from SLT, a subset of articles characterized a learning experience as ‘situated learning’ or learning in a CoP through LPP, then sought to verify this characterization. 


예를 들어, Hayes et al. (2015)는 "이러한 전환을 탐구함으로써, 본 논문의 목적은 문화 간 전환을 이해하기 위한 렌즈로서의 CoP의 유용성을 비판적으로 평가하는 것이다."라고 썼다. (p. 28) 일부 연구에서는 이 접근방식이 이론의 gap을 식별하여 후속 이론 개발을 guide하였다. 예를 들어, 헤이스 외 연구진(2015년)은 "실천공동체가 대학으로의 전이를 맥락화하는데 영향을 미쳤지만, 이 모델은 문화간 전이를 완전히 이해하는 데 도움이 되지 않는 것 같다"고 언급했다(p. 26).

For example, Hayes et al. (2015) wrote “through exploring this transition, the aim of this paper is to critically evaluate the usefulness of CoP as a lens for understanding intercultural transitions,” (p. 28). In some studies, this approach identified gaps in the theory that could be used to guide subsequent theory development. For example, Hayes et al. (2015) noted, “while communities of practice have been influential in contextualising transitions to university, this model does not seem to help us fully understand intercultural transitions in the case study university”) (p. 26).


이론생성

Theory generation


우리는 적합 이론 생성(이론 건설 또는 확장)을 거의 발견하지 못했다(7%) . 이 범주의 논문들은 이론적 통찰력을 제공하기 위해 새로운 맥락에서 SLT를 사용함으로써 SLT를 발전시키려고 했다. 예를 들어, Sayer(2014년)는 SLT와 CoP의 개념을 "기본 이론적 프레임워크로서" 사용하여 "실습 환경에서 지역사회 간호사의 전문 교육을 이해한다"(p. 430년). 그녀의 연구결과는 SLT(이론 검증)의 구성요소를 확인했을 뿐만 아니라, "Lave and Wenger's CoP 현상, [시간 경과에 따른 커뮤니티(재생산) 방식]을 확대했다." (p. 430) (이론 생성).

We found few studies (7%) fitting theory generation (building or expanding theory). Articles in this category sought to advance SLT by using SLT in a new context to offer theoretical insights. For example, Sayer (2014) set out to “understand the professional education of community nurses in practice settings” using the concepts of SLT and CoP “as an underpinning theoretical framework,” (p. 430). Her findings not only confirmed components of SLT (theory verification) but extended “Lave and Wenger’s CoP phenomenon, [identifying] how communities are (re)produced over time.” (p. 430) (theory generation).



또 다른 이론 생성 기법은 [SLT와 다른 이론적 관점을 결합]하여 관심 현상의 보다 완전한 그림을 제공하는 것이다. 

  • 예를 들어,Hutchings 등 (2013)은 다음을 추구했다. "사회 구성주의와 위치 학습 이론이 프락시스 및 성찰성을 통해 상호 연계되고 통합될 수 있도록 메타 이론적 프레임워크를 제시한다."(358페이지) 

  • 또 다른 예에서 소퍼(2016년)는 다음과 같은 목표를 세웠다. "현재의 학습 기회를 현재의 상태로 만드는 것의 일부로 중요성을 고려할 필요성 충족"(p. 820) 그리고 세 가지 다른 설정(교실, 시뮬레이션 세션 및 임상 배치)에서 병원 침대의 형태 관행을 조사함으로써 그렇게 했다.

  • 이 작품은 더 많은 연구를 장려하기 위해 다중 구성 학습 개념을 도입하였다. "사람, 실습, 사물이 공간, 시간, 물질성에 걸쳐 어떻게 연결되고 연결되지 않는지(p. 830).

Another theory-generating technique combined SLT with other theoretical perspectives to provide a more complete picture of a phenomenon of interest.

  • For example, Hutchings et al. (2013) sought to “make a case for a meta-theoretical framework [of interprofessional learning] enabling social-constructivist and situated learning theories to be interlinked and integrated through praxis and reflexivity.” (p. 358) 

  • In another example, Soffer (2016) aimed to “illustrate the need to consider materiality as part of what makes situated learning opportunities what they are” (p. 820) and did so by examining how a hospital bed shaped practice in three different settings (classrooms, simulation sessions, and clinical placements).

  • This work introduced the concept of multi-configured learning to encourage further exploration of “how people, practices, and things are connected and disconnected across space, time, and materiality in more or less durable ways,” (p. 830).


마지막으로, 예를 들어, 일부 이론 생성 기사는 Van Schalkwyk et al.(2015)에 의해 설명된 마이크로 레벨 이론 구축에 초점을 맞췄다. "궁극적으로, 우리의 목표는 시골의 임상 학습 공간과 변혁적 학습을 촉진할 수 있는 가능성을 이해하는데 inform할 수 있는 이론을 세우는 것이다."(p. 590) 

Lastly, some theory-generating articles focused on micro-level theory-building as, for example, articulated by Van Schalkwyk et al. (2015), “Ultimately, our aim is to build theory that will inform our understanding of the rural clinical learning space and its potential to foster transformative learning.”(p. 590) 


저자들의 분석은 다음과 같은 여러 이론들을 통합했다. 

  • 변혁적 학습 이론(Mezirow 2003), 

  • 전문직 정체성 구성(Bleakley et al. 2011; Jarvis-Selinger et al. 2012) 

  • 주체성 (Archer 2000) 

이것을 LPP, CoP와 함께 시골의 임상적 배치에서 학생들의 '의사 생활과 의사 생활'의 3부 모델을 제안한다. 

The authors’ analysis incorporated multiple theories, including 

  • transformative learning theory (Mezirow 2003), 

  • professional identity construction (Bleakley et al. 2011; Jarvis-Selinger et al. 2012), and 

  • agency (Archer 2000) 

along with LPP and CoP to propose a three-part model of students’ ‘being and becoming a doctor’ in rural clinical placements. 


이러한 용도는 사회 이론에 대한 경험적 연구가 이론의 설명력을 확대하는 새로운 개념의 필요성을 초래할 수 있다는 벵거-트레이너의 주장과 일치한다(Farnsworth et al. 2016).

Such uses are consistent with Wenger-Trayner’s assertion that empirical research on a social theory can result in the need for new concepts that expand the theory’s explanatory power (Farnsworth et al. 2016).


고찰

Discussion


Lave와 Wenger의 위치학습과 실천이론에 대한 성찰의 통찰

Insights from Lave and Wenger’s reflections on situated learning and communities of practice theory


2008년 장 라브는 SLT의 본래 취지와 현대적 응용에 대한 우려를 분명히 밝히면서 "상황학습에서 도출된 아이디어는 [학습, 실행, 사회적 변화에 대한 전통적인 이론에 대한 비평]이면서 [학습이 진행되는 모든 종류의 상황을 분석하는 수단]으로 의도된 것이었다"고 말했다. 연구원들에게 ...을 소개하다. 그것은 특별히 무엇을 다르게 하거나 더 나은 교실이나 사업을 만드는 방법에 대한 규범적 또는 처방적 모델로 의도되지 않았다. '실용 공동체'라는 개념을 사용하는 많은 이들은 이제 본래의 의도(및 그 한계)를 모르는 듯 하며, 그것을 단순히 전통적인 이론에 동화시킨다.(p. 283) 

In 2008, with palpable dismay, Jean Lave articulated the original intent of SLT and concerns about contemporary applications, stating “The ideas worked out in Situated Learning were intended as both a critique of conventional theories of learning, doing, and social change and as a means of analyzing situations of all kinds in which learning was of inter est to researchers.… It was specifically not intended as a normative or prescriptive model for what to do differently or how to create better classrooms or businesses. Many who use the concept of ‘communities of practice’ now seem ignorant of the original intent (and its limitations), and simply assimilate it into conventional theory.” (p. 283) 


벵거도 마찬가지로 실천공동체를 [규범적이거나 처방적인 것이 아니라] 학습을 이해하기 위한 분석적이고 해석적인 렌즈라고 주장한다. 하지만 그는 실천을 인도하는 이론과 이론을 알리는 실천에 대한 역할을 인정한다. (Farnsworth et al. 2016)

Wenger similarly endorses a view of Communities of Practice as an analytic and interpretive lens for understanding learning rather than a normative and prescriptive one, though he does acknowledge a role for theory to guide practice and for practice to inform theory. (Farnsworth et al. 2016).


벵거 교수는 사회학적이론은 '진실인지 거짓인지'가 아니며, '제안'이나 '진실의 진술'로 이해해서는 안 된다는 점에서 자연과학의 이론과 다르다고 설명한다. 대신, 그는 사회학적 이론은 "인간의 상태에 대한 의미 있는 이야기를 들려준다는 유용성을 통해 타당화된다"고 설명한다

Wenger describes social theories as different from theories in the natural sciences in that they are not “true or false” and should not be understood as “propositions” or “statements of truth.” Instead, he explains, a social theory is “validated through its usefulness, for telling meaningful stories about the human condition.” 


Wenger는 또한 이론의 사용자와 소비자들에게 다음을 격려한다. 

다음을 이해해야 한다.

    • 목적("학습을 [의미 만들기]로서의 [사회적으로 구성되는 경험]으로 설명하기"), 

    • 입장("경험을 사람과 사회 세계의 관계에 위치시키며, 사람과 사회세계는 서로를 구성constitute한다.")

    • 용어("의미의 협상, 실천, 공동체, 정체성, 역량" 포함) 

다음을 고려해야 한다.

    • 범위 또는 경계(이론이 설명하거나 설명하지 않는 것) (Farnsworth et al. 2016 p. 142)

Wenger also encourages users and consumers of theory 

to understand its 

    • purpose (“to give an account of learning as a socially constituted experience of meaning making”), 

    • stance (“locate(s) this experience in the relation between the person and the social world as they constitute each other”), and 

    • technical terms (including “negotiation of meaning, practice, community, identity, competence”) and 

to consider 

    • the scope or boundaries (what the theory does and does not account for) (Farnsworth et al. 2016 p. 142).


표면 긁기: HPE에서 SLT의 표면적 사용

Scratching the surface: superficial use of SLT in HPE


Jean Lave's와 Etienne Wenger-Trayner의 논평에 비추어 우리가 검토한 HPE 기사들을 되돌아볼 때, 우리는 오용의 많은 증거를 본다. 대다수의 기사(포함 및 제외)는 SLT와 관련 개념을 피상적으로 사용했으며, 이론의 목적, 입장, 기술적 용어 및 범위에 대한 인정은 제한적이었다. 실천공동체라는 용어는 눈에 띄고 따라서 널리 사용되지만, 종종 [정체성, 공동 기업, 경계 교차]와 같은 SLT의 다른 핵심 개념에 대한 언급 없이 사용된다. 게다가, 우리는 많은 기사들이 주로 Lave와 Wenger의 초기 작품들에 초점을 맞추었고 그들의 작업을 SLT를 사용한 HPE의 유사한 연구와 연결시킬 기회를 놓쳤다는 점에 주목했다. 이러한 연구결과는 HPE 연구 전체에서 이론의 불충분하거나 약한 사용에 대한 우려, 특히 지식 기반을 발전시키고 복잡한 현상에 대한 우리의 이해를 향상시키기 위한 우려에 공명한다(Brown et al. 2019; Hean et al. 2016; Regehr 2010).

As we reflect upon the HPE articles we reviewed in light of Jean Lave’s and Etienne Wenger-Trayner’s commentary, we see much evidence of misuse. The majority of articles (included and excluded) used SLT and related concepts superficially, with limited acknowledgement of the purpose, stance, technical terms, and scope of the theory. The term, communities of practice, is catchy and thus widely used—but often without reference to any other key concepts of SLT, such as identity, joint enterprise and boundary crossing. Furthermore, we noted that many articles primarily focused on Lave and Wenger’s earlier works and/or missed opportunities to connect their work to similar research in HPE that used SLT. These findings resonate with concerns about insufficient or weak use of theory in HPE research as a whole, particularly to advance the knowledge base and improve our understanding of complex phenomena (Brown et al. 2019; Hean et al. 2016; Regehr 2010).


HPE 문헌의 실질적인 SLT 사용: 두 가지 패턴

Substantive SLT use in the HPE literature: two patterns


SLT와 관련 개념을 실질적인 방법으로 논의한 193개 기사는 두 가지 패턴 중 하나에 들어맞는다. 

The 193 articles that discussed SLT and related concepts in substantive ways fit one of two patterns. 


    • 한 가지 패턴으로, 저자들은 특정 상황에서 프로세스나 경험을 이해하거나 명확히 하기 위해 SLT의 개념을 적용했다. 위의 Jean Lave와 Etienne Wenger-Trayner가 설명한 목적과 목적과 크게 일치하며, 이 기사들은 SLT를 기술적이거나 분석적인 렌즈로 취급했는데, 이 렌즈들은 인간 경험의 특정 측면, guided question, framed finding, 그리고 몇 가지 경우에서 새로운 구성이나 마이크로 이론을 생성했다(Farnsworth et al. 2016).

In one pattern, authors applied concepts from SLT to understand, or clarify, learning processes or experiences in particular contexts. Largely consistent with the purpose and intent described by Jean Lave and Etienne Wenger-Trayner above, these articles treated SLT as a descriptive or analytic lens that focused attention on particular aspects of human experience, guided questions, framed findings, and, in a few cases, generated new constructs or micro-theories (Farnsworth et al. 2016).


    • 다른 패턴에서, 저자들은 CoP를 개입으로 개념화하고/또는 운영상의 목적으로 적용하여 지식 창출과 공유, 개인 또는 전문적 성장 및 아이덴티티 개발을 촉진하는 학습 경험(때로는 CoPs가 명시적으로)을 만들고 지속시켰다. 이 논문들에서, 저자들은 SLT를 처방적이거나 규범적이라고 해석했고, 어떤 경우에는 이론을 시험하려고 했다. 이 패턴은 Jean Lave와 Etienne Wenger-Trayers가 SLT와 CoP 이론의 목적과 입장을 최근에 설명한 것에서 비롯된다.

In the other pattern, authors conceptualized CoP as an intervention and/or applied it for operational purposes to create and sustain learning experiences (sometimes CoPs explicitly) that facilitated knowledge creation and sharing, personal or professional growth, and/ or identity development. In these articles, authors interpreted SLT as prescriptive or normative and in some cases sought to test the theory. This pattern drifts from Jean Lave and Etienne Wenger-Trayners’s more recent descriptions of the purpose and stance of SLT and CoP theory.


두 패턴 모두 일반 교육, 의료 및 조직/관리 과학(Li et al 2009b; Hodkinson and Hodkinson 2004; Hughes et al. 2007; Ranmuthgala et al 2011)을 포함한 다른 분야에서 발견되는 것과 일치하며, SLT와 CoP의 글 및 해석에 모호성을 반영할 가능성이 있다. 휴즈와 동료들은 1991년 초창기 연구로 거슬러 올라가 "실천공동체들 사이에서 Lave와 Wenger는 다음의 둘 사이에서 진동한다. 하나는 [학습의 분석적 이론으로서 실천공동체를 두는 것]이며 다른 하나는 [교육 실무자들에게 이상적인 모델을 제시하는 것]이다.."(Hughes et al. 2007, p. 6). 

Both patterns are consistent with those found in other fields, including general education, healthcare, and organizational/managerial science (Li et al 2009b; Hodkinson and Hodkinson 2004; Hughes et al. 2007; Ranmuthugala et al 2011) and likely reflect ambiguity in the writings and interpretations of SLT and CoP. Hughes and colleagues trace the equivocality back to the original 1991 work, noting, “Lave and Wenger oscillate between positing communities of practice as an analytic heuristic of learning and presenting the model as an ideal for educational practitioners,”(Hughes et al. 2007, p. 6). 


Wenger의 관점에서 CoP는 "배움이 무엇인가에 관한 이론"이 아니라 "배움이 무엇인가에 관한 이론"이다(Farnsworth et al. 2016, p. 144) 그러나 그는 "실천에 이론을 사용하는 것이 이론 자체에 도움이inform 된다"(p. 144)라는 점에 주목하면서 이론이 실천을 guide하고, 실천이 이론을 inform하는 역할을 인정하고 있다. 다음 두 섹션에서, 우리는 먼저 이론과 실제 사이의 관계를 고려한다. SLT가 HPE의 학습 프로세스와 교육 관행의 이해에 더 기여할 수 있는 방법을 고려한다. 그런 다음 HPE에서 SLT를 사용하는 것이 이론 개발에 어떻게 기여할 수 있는지를 숙고할 것이다.

From Wenger’s perspective, CoP is “unambiguously a theory of what learning is” not a theory about “how learning should be.” (Farnsworth et al. 2016, p. 144) Yet he recognizes a role for theory to guide practice and for practice to inform theory, noting, “the challenges of using the theory in practice inform the theory itself.” (p. 144) In the next two sections, we consider the relationship between theory and practice, first by considering ways SLT can further contribute to understanding of learning processes and educational practices in HPE. Then by contemplating how use of SLT in HPE can contribute to theory development.


전망: HPE에서 SLT의 보다 강력한 사용

Looking forward: towards a more robust use of SLT in HPE


우리는 우리의 발견에 대해 두 가지 잠재적인 해석을 제안한다. 

    • 낙관적인 해석은 HPE가 아직 SLT의 완전한 분석력과 관련성을 풀지 못했다고 주장한다. 

    • 우울한 해석은 SLT의 가치와 관련성을 제한하는 이론의 문제점을 시사한다.

We propose two potential interpretations of our findings. The optimistic interpretation holds that HPE has yet to unlock the full analytic power and relevance of SLT; the gloomier interpretation suggests problems with the theory that limits its value and relevance.


복잡한 HPE 현상에 대한 이해를 높이기 위해 더 강력한 연결 설정

Making stronger connections to enhance the understanding of complex HPE phenomena


후속 연구에 대한 한 가지 유망한 지침은 HPE의 사회적 학습 프로세스에 대한 더 깊은 이해를 촉진하기 위해 여러 연구를 통해 더 강력한 연결을 만드는 것이다. 예를 들어, 캔틸론 외 연구진(2016년)은 CoP, 특히 '실천 영역'과 '책임 평면'이라는 개념을 사용하는 것이 "임상 교사가 되는 개별 프로세스에 대한 이해에 기여할 수 있다"(p. 1004)고 설명했으며, 향후 연구가 이러한 개념을 사용하여 교사의 정체성 형성과 전문적 발달에 대한 통찰력을 제공할 수 있는 방법을 제안했다. 우리는 보건 직업 전반에 걸쳐 교사 정체성 형성에 관한 몇 가지 기사를 발견했지만, 이 연구들 중 칸틸론이나 동료들이 상상한 것처럼 교사 정체성 형성에 대한 보다 정교한 이해를 위해 만들어진 방법으로 서로를 참조하고 CoP를 사용한 것은 거의 없었다.

One promising direction for future work would be to make stronger connections across studies to foster a deeper understanding of social learning processes in HPE. For example, Cantillon et al. (2016) described how use of CoP, specifically the concepts ‘regimes of practice’ and ‘planes of accountability,’ could “contribute to our understanding of the interindividual processes of becoming a clinical teacher,” (p. 1004) and suggested ways future research could use these concepts to provide insights into teacher identity formation and professional development. We found several articles on teacher identity formation across health professions, but few of these studies referenced one another and used CoP in ways that built toward a more sophisticated understanding of teacher identity formation as envisioned by Cantillon and colleagues (2016).


여러 연구를 통해 더 강한 연관성을 만드는 것 외에도, 우리는 CoP에서 다른 개념과 이론으로 개념을 연결할 수 있는 가능성을 본다. 예를 들어, 학습의 사회적이론으로서 SLT는 개별적인 심리 과정이나 CoP에 영향을 미치는 경제, 정치, 조직, 문화 세력에 직접적으로 관여하지 않는다(많은 비평이 그러기를 원하지만). 벵거 교수는 간소함parsimony 정신에서 "이 이론이 이미 호환 이론에 존재하고 있을 때 추가 개념으로 과중한 부담을 주고 싶지 않다"고 경고한다(Farnsworth et al. 2016 p. 142). 대신, 그는 "플러그 앤 플레이 접근법"을 권장한다. 즉, 유사한 뿌리와 방향을 공유하지만 다른 영역을 커버하는 이론들의 사려 깊은 결합이다. 

In addition to making stronger connections across studies, we also see the potential to connect concepts from CoP to other concepts and theories. For example, as a social theory of learning, SLT does not directly attend to individual psychological processes or to economic, political, organizational, and cultural forces that influence CoPs (though many critiques wish it did) (Barton and Tusting 2005; Hodkinson and Hodkinson 2004; Hughes et al. 2007). In the spirit of parsimony, Wenger cautions that “you don’t want to overload a theory with additional concepts when they already exist in a compatible theory” (Farnsworth et al. 2016 p. 142). Instead, he encourages a “plug-and-play approach”—a thoughtful combining of theories that share similar roots and orientations, but cover different territory. 


한 연구가 이러한 접근법을 어떻게 사용했는지에 대한 예로는 케네디와 동료들의 연구(2009)가 있다. 여기서 훈련생들이 왜 도움을 요청하기를 꺼려하는지를 연구했는데, SLT를 마이그레이션 이론과 결합하였다. SLT를 사용하여 정체성 문제를 탐구하였고, 마이그레이션 이론을 가지고 조직 이슈를 이해하였다이러한 조합이 반드시 SLT를 확장하거나 진전시키는 것은 아니지만, 어떻게 두 이론이 상호 보완적인 통찰력과 복잡한 현상에 대한 보다 포괄적인 관점을 제공하는 데 사용될 수 있는지를 보여준다. 이와는 대조적으로, So er(2016)는 학습 분석에 물질성을 통합하여 SLT를 확장하는 것을 명시적으로 목표로 하였고, 그 결과 "다중 구성 학습"(p. 830)의 개념을 도입하였다.

An example of how one study used this approach was Kennedy and colleagues’ (2009) study of trainees’ reluctance to ask for help which combined SLT with migration theory, using SLT to explore issues related to identity and migration theory to understand organizational issues. While this combination does not necessarily expand or advance SLT, it shows how two theories can be used to provide complementary insights and a more comprehensive perspective of complex phenomenon. By contrast, So er (2016) explicitly aimed to extend SLT by incorporating materiality in the analysis of learning and, as a result, introduced the concept of “multi-configured learning,” (p. 830).


추가적인 예로는 CoP에 상호 작용하거나 영향을 미칠 수 있는 조직 및 문화 세력을 설명하는 데 도움이 될 수 있는 Engeström의 활동 이론(2001)과 같은 보완적 이론(예: SLT와 유사한 철학, 인식론을 가진 이론)의 조합이 있다. 또 다른 예로는 CoP(Rogoff 1995; Paradise and Rogoff 2009)에서 신참자의 작업 관계와 보다 박식한 타인의 작업 관계에 대한 면밀한 분석을 지원할 수 있는 Barbara Rogo의 Guided Participation 이론이 있다. 

Some additional examples include the combination of complementary theories (e.g., theories with similar philosophies, epistemologies as SLT), such as Engeström’s perspectives on Activity Theory (2001), which could help account for the organizational and cultural forces that may interact or influence CoP. Another example includes Barbara Rogo ’s theories of Guided Participation, which could support the closer analysis of the working relationships of newcomers and more knowledgeable others in a CoP (Rogoff 1995; Paradise and Rogoff 2009). 


SLT의 완전한 분석 능력 확보: 단순화된 관점 극복

Unlocking the full analytic power of SLT: getting beyond simplified perspectives


우리의 연구 결과와 해석 벵거의 CoP에 대한 최근의 반성을 바탕으로, 우리는 HPE 학자들이 그들의 학문적 연구의 목적과 그것이 SLT나 CoP의 목적과 패러다임의 자세와 어느 정도 일치하는지 신중하게 생각할 것을 권장한다또한 이론과 관련된 개념과 기술적 용어 및 이러한 용어들이 저자들의 초기 작업에서 발전한 방법에 익숙해질 것을 권고한다.

Based on our findings and interpretation Wenger’s most recent reflections on CoP, we encourage HPE scholars to carefully think through the purpose of their scholarly work and the extent to which it aligns with the intent and paradigmatic stance of SLT or CoP while also becoming familiar with the concepts and technical terms associated with the theory and the ways in which these have evolved from the authors’ early work.


또한 후속 연구는 [교육 환경 설계에서 Wenger의 학습 아키텍처(예: 상상력, 정렬, 참여)의 구성요소]에 주의를 기울이면서 CoP의 이론적 기반에 대한 명확한 연결을 함으로써 개선할 수 있다. 예를 들어, Lees and Meyer(2011년)와 Tax et al.(2012년)의 기사는 지식 교환, 협업 사례, 연구 생산성 또는 새로운 관행이나 프로토콜의 구현과 같은 가치 있는 목표를 지원하도록 학습 활동과 환경을 설계할 수 있는 방법의 예를 제공한다. 이러한 연구에서 나온 발견들은 종종 맥락특이적이고 보편적 "작업"에 대해 증명될 수 없었지만, 그들은 학자적인 교육자들이 어떻게 이론을 삶에 적용할 수 있는지, 그리고 어떻게 다른 사람들에게 정체성 형성, 개인적이고 전문적인 개발, 의사소통, 역량과 관련된 목표를 지원하는 새로운 교육학적 접근법을 상상하도록 고무할 수 있는지를 보여준다.

Additionally, future work can also be enhanced by making explicit connections to the theoretical basis of CoP, attending to components of Wenger’s learning architecture (e.g., imagination, alignment, engagement) in the design of educational environments. For example, articles by Lees and Meyer (2011) and by Tax et al. (2012) provide examples of ways in which learning activities and environments can be designed to support valued goals such as knowledge exchange, collaborative practice, research productivity or implementation of new practices or protocols. Although findings from these studies were often context specific and could not be proven to universally “work,” they illustrate how scholarly educators can bring theory to life and inspire others to imagine new pedagogical approaches that support goals related to identity formation, personal and professional development, communication, or competence.


전문직 교육을 사회적학습으로 개념화를 통해 HPE 보기

Viewing HPE with an overarching conceptualization of professional education as social learning


HPE를 사회적학습으로 개념화하는 것이 어떤 모습인지의 예로서, 크루스(Cruess)와 동료(2018)는 의료교육의 이론적 기반으로 실천공동체를 채택할 것을 제안했다. 

"이러한 변화의 주요 장점은 [학습의 사회적 본질을 강조]한다는 것과, [이론적 기반을 바탕으로 전통적 교육전략과 새로운 교육전략이 의학교육의 지속 전반에 걸쳐 구성될 수 있는 틀을 만들 수 있다]는 것이다."(p. 187)

As an example of what conceptualization of HPE as social learning might look like, Cruess and colleagues (2018) proposed adoption of communities of practice as the theoretical base of medical education, explaining that “a major advantage of such a shift is that it would emphasize the social nature of learning and would be robust enough to serve as a framework around which both traditional and new educational strategies, with their theoretical underpinnings, could be structured throughout the continuum of medical education.” (p. 187) 


이 틀은 사회적학습의 관점에 맞춘 alignment를 위하여 커리큘럼, 목표, 교육활동의 방향을 바꾸게 할 수 있고, 그에 따라 정체성 형성, 참여, 관여 등 지금까지 적은 관심만을 받아온 기타 실무 영역에 대한 더 큰 관심을 갖게 할 수 있다. 학습의 사회적 측면에 중점을 두는 것은 이해당사자들이 다양한 맥락(예: 임상, 시뮬레이션, 강의)에서 학습자의 경험을 조사하기 위해 개인이 다중 CoP를 어떻게 탐색하는지를 강조하는 벵거의 최근 작업에서 도출할 수 있다. 그러한 프레이밍은 또한 공통의 이론적 관점에 기초하고, 주요 주제를 중심으로 조직되며, 유사한 구성과 용어에 대한 그리기를 촉진할 수 있다.

This framing could lead to reorientation of curricula, objectives, and educational activities for alignment with a social learning perspective and thereby paying greater attention to identity formation, engagement, participation, and other domains of practice that have received limited explicit attention. Placing an emphasis on the social aspect of learning would allow stakeholders to draw from Wenger’s more recent works examining landscapes of practice, which emphasize how individuals navigate multiple CoP, to examine learners’ experiences across diverse contexts (e.g., clinical, simulation, lectures). Such framing could also facilitate programs of research grounded in a common theoretical perspective, organized around key topics, and drawing on similar constructs and terminology.


HPE의 응용적 특성과 SLT의 교차점 탐색

Exploring the intersection of SLT with the applied nature of HPE


HPE 이해관계자는 학습과 실습을 개선하는 방법을 알고 싶어한다. 이러한 실용적인 방향은 분석적 프레임워크로서의 SLT의 이해와 반드시 상충되는 것은 아니지만, SLT에 기초한 학습의 분석에서 실제의 개선이 어떻게 도출될 수 있는지에 대한 더 많은 이해의 필요성을 나타낼 수 있다. 예를 들어, 특정한 맥락에서 학습 과정과 경험에 대한 발견에서 실제의 개선으로 합리적인 진전이 있을 수 있다. 또한 SLT 개념(예: 참여, 역량 체계, 궤적)을 고려하여 학습 활동 및 경험을 설계하는 것이 합리적일 수 있다. 우리의 우려는 연구자들이 CoP를 특정 성과를 달성하기 위해 구축된 entity in and of itself로 취급하는 것이다. 이 용도는 저자들이 SLT에 제시된 사회적 학습의 많은 측면을 완전히 인식하지 않고 개념을 적용하기 위해 뛰어드는 것일 수 있음을 시사한다.

HPE stakeholders want to know how to improve learning and practice. This practical orientation is not necessarily at odds with an understanding of SLT as an analytic framework; it may, however, signal a need for more understanding of how improvements in practice can be derived from analysis of learning based on SLT. For example, there may be a reasonable progression from findings about learning processes and experiences in particular contexts to improvements in practice. It may also be reasonable to design learning activities and experiences based on consideration of SLT concepts (e.g. participation, regimes of competence, trajectories). Our concerns arise when authors treat CoP as an entity in and of itself, something to be built to achieve specific outcomes and then tested. This use suggests authors may be jumping to application of the concept without fully appreciating the many facets of social learning laid out in SLT.


HPE에서 SLT, CoP 및 기타 학습 이론의 좋은 사용에 대한 의견 분할

Parting thoughts on good use of SLT, CoP, and other learning theories in HPE


많은 사람들은 HPE에서 이론의 더 많은 더 나은 사용을 요구했다. (Bordage 2009; Teunissen 2010; Rees and Monrouxe 2010; Regehr 2010) SLT는 많은 사람들이 이 호출을 충족시키기 위해 사용했던 하나의 이론적 프레임워크를 제공하지만, 우리의 리뷰는 이론의 적용과 더 이상의 이론적 개발에 있어 개선의 여지가 있음을 보여준다. 이론을 잘 사용하는 작가는 비스타와 동료들이 "theoretical connoisseurship" 라고 묘사한 것을 한다. 즉 이론이 문제에 대한 현상이나 해결책에 대한 특정 분야(및 독자)의 이해에 어떤 기여를 하는지 선택, 적용, 평가할 때 "현명하고 정보에 입각한 판단"을 한다. (비스타 외, 2011년, 페이지 236). 이러한 사용은 학문적 담론을 촉발하고 이론 및/또는 실천을 진전시킬 수 있는 후속 연구의 토대를 마련한다.

Many have called for more and better use of theory in HPE (Bordage 2009; Teunissen 2010; Rees and Monrouxe 2010; Regehr 2010). SLT offers one theoretical framework that many have used to meet this call, but our review shows there is room for improvement in application of the theory and further theory development. Authors who use theory well (be it SLT, CoP, or others) do what Biesta and colleagues describe as “theoretical connoisseurship”—making “wise and informed judgements” when selecting, applying and evaluating the contributions a theory offers to a field’s (and reader’s) understanding of a phenomenon or solution to a problem. (Biesta et al. 2011, p. 236). Such use sparks scholarly discourse and lays the groundwork for subsequent studies that can advance theory and/or practice.


연구자와 교육자가 SLT와 CoP를 사용하여 사회적 학습 경험과 과정을 이해하고 학습 환경의 교육학, 커리큘럼 또는 특징에 대해 계속적으로 정보를 제공함에 따라, 우리는 그들이 다른 전문직이나 분야의 연구에 그들의 작업을 연결시키기 위해 더 많은 노력을 기울일 것을 권장한다. SLT와 CoP의 렌즈를 통해 들려주는 다양한 이야기들을 연결함으로써, 우리는 다른 이론과의 통합을 통해 추가적인 조사나 탐구를 보증하는 gap과 limitation를 포함하여, 이 이론적 관점의 가치를 보다 폭넓게 이해할 수 있다.

As researchers and educators continue to use SLT and CoP to understand social learning experiences and processes and to inform pedagogy, curricula, or features of learning environments, we encourage them to make greater effort to connect their work to scholarship in other professions or fields. By connecting the diverse stories told through the lens of SLT and CoP, we can gain a broader sense of the value of this theoretical perspective, including the gaps and limitations that warrant further investigation or exploration through integration with other theories.


한계Limitations


결론 

Conclusions


이 범위 검토의 목적은 HPE의 지식 및 지침 실천을 진전시키기 위해 SLT가 어떻게 사용되어 왔는지를 검토하는 것이었다. 우리는 HPE에 대한 대부분의 연구가 SLT와 관련 개념(예: CoP, LPP, Identity)을 제한적이거나 좁은 용량capatity으로 분석적 휴리스틱(즉, 학습 현상과 맥락을 명확히 하기 위해 이론을 사용함) 또는 처방적 휴리스틱(즉, 교육적 개입의 개발 및 설계 또는 CoP 사용)으로 사용했다는 것을 발견했다. 이러한 방식의 사용은 다른 전문 영역과 일치하지만, 저자가 CoP를 처방된 개입으로 적용하고 시험했을 때 SLT의 설립자들의 원래 의도 및 지속적 의도와 일부 상충되는 점을 발견하였다.

The purpose of this scoping review was to examine how SLT has been used to advance knowledge and guide practice in HPE. We found that most research in HPE used SLT and its related concepts (e.g., CoP, LPP, Identity) in a limited or narrow capacity, as an analytic heuristic (i.e., using the theory to clarify learning phenomena and contexts) or as a prescriptive heuristic (i.e., to guide the development and design of an educational intervention or using CoP as the intervention). While these uses are consistent with other professional domains, we found some conflicts with the original and continuing intentions of SLT’s progenitors when authors applied and tested CoP as a prescribed intervention. With these


Rees, C. E., & Monrouxe, L. V. (2010). Theory in medical education research: How do we get there? Medical Education, 44(4), 334–339. https  ://doi.org/10.1111/j.1365-2923.2009.03615  .x.









 2019 Jun 22. doi: 10.1007/s10459-019-09900-w. [Epub ahead of print]

Situated learning theory in health professions education research: a scoping review.

Author information

1
Department of Medicine, Center for Faculty Educators, University of California, San Francisco, 533 Parnassus Avenue, Suite U-80, Box 0710, San Francisco, CA, 94143, USA. bridget.obrien@ucsf.edu.
2
Graduate Programs in Health Professions Education, Department of Medicine, Uniformed Services University of the Health Sciences, 4301 Jones Bridge Road, Bethesda, MD, 20814-4712, USA.

Abstract

At a time when cognitive and behavioral theories dominated the landscape of learning theories, Lave and Wenger's situated learning theory(SLT) opened new territory by illuminating social and cultural learning processes. Many researchers and educators in the health professionsembraced this theory, but few have considered how SLT has been used and what has been learned or improved through its use in healthprofessions education (HPE). In this scoping review, the authors examine these questions and consider opportunities for future work with SLT in HPE. The authors followed Levac's modified scoping review framework. They conducted a search of CINAHL, ERIC, PubMed, Scopus, and Web of Science for articles referencing SLT or related concepts in HPE between 2006 and 2016. Two reviewers screened all titles and abstracts, then screened full text for inclusion based on substantive treatment of SLT. Two authors extracted, analyzed and synthesized data from the final set of 193 articles. The authors identified two patterns of theory use. One sought an understanding of social learning processes in a specific context. The other aimed to design and/or evaluate interventions associated with communities of practice. These patterns are similar to other literatures (e.g., general education, healthcare, and organizational development) and, according to Lave and Wenger, may reflect confusion about the purpose, stance, and terminology of SLT. The authors discuss their findings in relation to primary source literature and consider opportunities for HPE researchers to employ and contribute to SLT going forward.

KEYWORDS:

Communities of practice; Health professions education; Identity; Legitimate peripheral participation; Scoping reviewSituated learning

PMID:
 
31230163
 
DOI:
 
10.1007/s10459-019-09900-w


공중보건교육: 교육을 위한 역량지도(Acad Med, 2013)

Teaching Population Health: A Competency Map Approach to Education

Victoria S. Kaprielian, MD, Mina Silberberg, PhD, Mary Anne McDonald, DrPH, MA, Denise Koo, MD, MPH, Sharon K. Hull, MD, MPH, Gwen Murphy, RD, PhD, Anh N. Tran, PhD, MPH, Barbara L. Sheline, MD, MPH, Brian Halstater, MD, Viviana Martinez-Bianchi, MD, Nancy J. Weigle, MD, Justine Strand de Oliveira, DrPH, PA-C, Devdutta Sangvai, MD, MBA, Joyce Copeland, MD, Hugh H. Tilson, MD, DrPH, F. Douglas Scutchfield, MD, and J. Lloyd Michener, MD





현재의 시스템은 지탱할 수 없다untenable. 비록 일대일 방문과 임상의사-환자 파티가 항상 중요하겠지만, 그 제한된 범위는 국가 전체 건강의 더 큰 우려를 해결할 수 없다.

The current system is untenable. Although the one-on-one visit and clinician–patient dyad will always be important, that limited scope cannot address the larger concerns of the nation’s overall health.


2012년 IOM(Institute of Medicine) 보고서 1차 진료 및 공중 보건: 인구 건강 개선을 위한 통합을 모색하는 것이 의학과 공중 보건 사이의 더 강력한 연계를 요구하는 최근 요청의 수이다.

The 2012 Institute of Medicine (IOM) report Primary Care and Public Health: Exploring Integration to Improve Population Health8 is the latest in the growing number of calls for stronger links between medicine and public health.


전통적인 임상 훈련만으로는 우리나라가 직면하고 있는 건강 문제를 해결하기에 충분하지 않을 것이다.3,7,12–15.

Traditional clinical training alone will not be adequate to address the health problems that face our nation.3,7,12–15


지난 10년 동안 의과대학 커리큘럼에서 예방과 건강증진의 적용범위가 증가했지만, 인구보건 관점(예: 보건의 생태학적 모델과 사회적 결정요인, 지역사회 참여, 공공정책이 건강에 미치는 영향)은 유사한 이득을 얻지 못했다.16

Although coverage of prevention and health promotion has increased in medical school curricula over the last decade, the population health perspective (e.g., the ecologic model and social determinants of health, community engagement, and the impact of public policy on health) has not made similar gains.16


의료종사자에게 필요한 인구 건강 기술은 무엇인가?

What kinds of population health skills do health care providers need?


매우 협력적인 전문가들 간의 진료 제공이 두드러지고 있다. 2011년, 전문직간 교육 협업 전문가 패널이 전문직간 협력적 실무에 대한 핵심 역량을 발표함 17

The delivery of care by highly collaborative interprofessional teams is gaining prominence. In 2011, the Interprofessional Education Collaborative Expert Panel published core competencies for interprofessional collaborative practice 17


IOM은 21세기 의료 시스템을 재설계하기 위해서는 임상의사의 리더십이 강화되어야 한다고 거듭 밝혔다.15,16 그러한 시스템은 공공 보건 시스템과 함께 인구 건강을 다루어야 한다.

The IOM repeatedly has stated that increased clinician leadership is necessary for redesigning our health care system for the 21st century.15,16 Such a system must address population health, in concert with the public health system,


오늘날의 지도자들은 또한 프로그램, 인사 및 재무 관리, 전문가간 및 부문간 팀워크, 갈등 해결, 의사소통, 합의 구축, 데이터 분석, 그리고 복잡하고 변화하는 의료 환경을 성공적으로 조작하기 위한 비판적 사고를 필요로 한다.

today’s leaders also need skills in program, personnel, and financial management; interprofessional and intersector teamwork; conflict resolution; communication; consensus building; data analysis; and critical thinking to successfully maneuver the complex and changing health care environment.


Duke University’s Population Health Initiatives

듀크 대학의 인구보건 이니셔티브


듀크는 상당한 건강상의 필요성이 있는 지역에 위치해 있다.19,20 듀크 대학의 임무는 "고난을 겪고 병을 고치고 건강을 증진시키는 사람들을 돕는 것"과 "지역사회에 다양한 방법으로 기여하는 것"을 포함한다.21 커뮤니티 건강 개선은 또한 "이노 만들기"에 중점을 둔 듀크 의학의 임무의 일부로서, 22건강과 웰빙에 대한 대증적 접근"과 "우리 사회의 건강 불균형 해소"이다. 게다가 듀크 메디신은 더럼 인구의 대다수를 위한 건강관리를 제공하고 카운티의 유일한 응급부서를 운영하기 때문에 지역 주민의 건강을 향상시키는 데 기득권을 가지고 있다.

Duke is located in an area with considerable health needs.19,20 Duke University’s mission includes the mandate “to help those who suffer, cure disease, and promote health” and “to contribute in diverse ways to the local community.”21 Improving community health also is explicitly part of the mission of Duke Medicine,22 with a focus on “creating innovative approaches to health and wellness” and “addressing health disparities in our community.” Moreover, Duke Medicine has a vested interest in improving the health of the local populace because it provides health care for the majority of the Durham population and runs the county’s only emergency departments.


더럼의 가장 중요한 협력 중 하나는 건강한 더럼을 위한 파트너십이다.

One of Durham’s most important health-related collaborations is the Partnership for a Healthy Durham.


Duke's Department of Community and Family Medicine(CFM)은 지역사회의 건강을 개선하기 위한 기관의 노력을 주도했다.24–27 CFM은 5개 중분류로 구성된다. 가정의학, 지역사회 건강, 직업 및 환경 의학, 의사 보조자(PA) 및 물리 치료 의사(DPT) 프로그램. 지난 10년 동안 CFM은 더럼 카운티 보건부 및 다른 지역사회 파트너들과 협력하여 더럼 거주자들의 건강을 개선하기 위한 일련의 프로그램을 설계하고 시행해 왔다.20

Duke’s Department of Community and Family Medicine (CFM) has led institutional efforts to improve community health.24–27 CFM comprises five divisions: Family Medicine, Community Health, Occupational and Environmental Medicine, and the Physician Assistant (PA) and Doctor of Physical Therapy (DPT) programs. During the last decade, CFM has worked with the Durham County Health Department and other community partners to design and implement a succession of programs to improve the health of Durham residents.20


CFM은 또한 의료 홈 모델을 통해 노스캐롤라이나 전역의 메디케이드 환자들에게 협력적이고 조정된 치료를 제공하는 비영리 단체인 노스캐롤라이나의 커뮤니티 케어(Cocial Care of North Carolina)의 회원인 DCHN(Durham Community Health Network)의 대표 기관이기도 하다.28

CFM is also the lead agency in the Durham Community Health Network (DCHN), which is a member of Community Care of North Carolina, a central, not-for-profit organization providing cooperative, coordinated care for Medicaid patients across North Carolina through a medical home model.28


Duke는 또한 이웃과 학교에 기반을 둔 1차 진료소와 가정 내 1차 진료, 영양, 직업 치료, 공공 주택의 노인 및 장애인 거주자를 위한 사례 관리 등을 포함한 다른 지역 건강 프로그램을 후원한다.29

Duke also sponsors other local health programs, including neighborhood- and school-based primary care clinics and in-home primary care, nutrition, occupational therapy, and case management for older and disabled residents in public housing (known as Just for Us).29


2006년 듀크는 듀크 트랜지컬 의학 연구소의 커뮤니티 참여 기둥인 듀크 커뮤니티 연구 센터(Duke Center for Community Research, DCR)와 함께 인구 건강 이니셔티브를 확대하였다. DCCR은 2008년 지역사회의 가장 시급한 건강 요구(예: 출생 결과, 비만, 당뇨병, 천식, 심혈관 질환)를 해결하기 위한 중앙 조정 우산으로 DHI(Durham Health Innovations)를 출범시켰다.

In 2006, Duke expanded its population health initiatives with the Duke Center for Community Research (DCCR), the community engagement pillar of the Duke Translational Medicine Institute. The DCCR launched Durham Health Innovations (DHI) in 2008 as a central coordinating umbrella for addressing the community’s most pressing health needs (e.g., birth outcomes, obesity, diabetes, asthma, cardiovascular disease).


이러한 경험을 바탕으로, 우리는 성공적인 인구 건강 프로그램의 열쇠로 다음을 확인하였다. 

  • (1) 예방과 공공보건부서와의 협업을 강조하는 등 공공보건 방법을 사용

  • (2) 다양한 지역사회 파트너를 참여

  • (3) 분석 및 데이터 기반 접근법을 사용한 비판적 사고 및 평가, 

  • (4) 전문직간 팀에서 함께 작업

On the basis of these experiences, we have identified as the keys to successful population health programs 

(1) using public health methods, including an emphasis on prevention and collaboration with public health departments, 

(2) engaging diverse community partners, 

(3) critical thinking and assessment, using analytic and data-driven approaches, and 

(4) working together in interprofessional teams.




경쟁력 지도: 인구보건교육 개선을 위한 조직체계

The Competency Map: An Organizational Framework to Improve Population Health Education


각 프로그램에 대해 이러한 학습 목표를 독립적으로 식별하는 대신, 우리는 여러 분야에 적용할 수 있는 중요한 프레임워크를 만드는 것을 선택했다.

Rather than identify these learning objectives independently for each program, we chose to create an overarching framework that can be applied across disciplines.


이 글을 쓰면서 우리는 세 가지 비판적 개념을 사용했다.

In writing this article, we used three critical concepts.


  • 첫째, 우리는 공공 보건에 대한 IOM의 정의를 "사람들이 건강해질 수 있는 조건들을 보장하는데 대한 사회의 관심을 충족시키는 것"으로 받아들였다.31 건강 상태를 보장하기 위해, 공공 보건은 사회의 건강을 증진시키기 위해 서로 다른 방법으로 일하는 다양한 공공 및 민간 이해당사자들을 통합한다. 

  • 다음으로, 우리는 Kindig와 Stoddart의 '인구 건강'에 대한 정의를 "개개인 집단의 건강결과로서, 여기에는 그룹 내에서의 건강결과의 분포도 포함한다"로 채택했다. 그러므로, 인구 건강(즉, 인구의 건강)이 궁극적인 목표다; 우리는 그것을 달성하기 위해 공공 보건 방법과 접근방식을 채택해야 한다. 

  • 마지막으로 국립보건원, 질병통제예방센터, 기타 연방기관의 지역사회 참여 정의를 다음과 같이 준수하였다.

  •  First, we accepted the IOM’s definition of public health as “fulfilling society’s interest in assuring conditions in which people can be healthy.”31 To ensure healthy conditions, public health incorporates diverse public and private stakeholders working in different ways to advance society’s health. 

  • Next, we adopted Kindig and Stoddart’s32 definition of population health as “the health outcomes of a group of individuals, including the distribution of such outcomes within the group.” Thus, population health (i.e., the health of populations) is the ultimate goal; we must employ public health methods and approaches to achieve it. 

  • Finally, we followed the National Institutes of Health, the Centers for Disease Control and Prevention, and other federal agencies’ definition of community engagement as



지리적 근접성, 특별한 관심 또는 그러한 사람들의 복지에 영향을 미치는 문제를 해결하기 위해 이와 유사한 상황에 의해 제휴된 사람들의 그룹과 협력하여 일하는 과정... 그것은 종종 자원 및 영향 시스템을 동원하고, 파트너들 간의 관계를 바꾸고, 정책, 프로그램 및 관행을 바꾸는 촉매제 역할을 하는 파트너십과 연합을 포함한다.33

the process of working collaboratively with and through groups of people affiliated by geographic proximity, special interest, or similar situations to address issues affecting the well-being of those people…. It often involves partnerships and coalitions that help mobilize resources and influence systems, change relationships among partners, and serve as catalysts for changing policies, programs, and practices.33


이러한 정의에 동의한 후, 이 프레임워크를 개발하는 첫 번째 단계는 모든 보건 전문가들을 위한 공공 보건 및 지역사회 참여 분야에서 우리가 원하는 결과 역량을 명확히 하는 것이었다.

After agreeing on these definitions, our first step in developing this framework was to clarify our desired outcome competencies in the areas of public health and community engagement for all health professionals.


이러한 모든 문서를 고려하여, 우리는 공중 보건과 의료 사이의 격차를 해소하고 서비스 인구의 건강을 개선하기 위해 일반적으로 임상의가 필요로 하는 역량 목록(특히 1차 진료에 종사하는 사람들)을 생성했다.

Taking into consideration all of these documents, we generated a list of competencies needed by clinicians in general (especially those in primary care) to bridge the gap between public health and medicine and to improve the health of the populations served.


2011년 9월 듀크 교수단(가정의학, PA, DPT, 지역사회 보건 등을 대표하며 본 기사의 저자를 일부 포함)은 이러한 역량을 서로 다른 학습자 그룹에 기대되는 성취도로 나누는 임무를 맡았다.

In September 2011, an interprofessional group of Duke faculty (representing family medicine, PA, DPT, and community health, and including some of the authors of this article) was charged with dividing these competencies into the degrees of achievement expected for different learner groups.


프로그램 책임자와 다른 교수진은 각 학습자의 유형과 수준에 예상되는 지식, 기술 및 태도의 수준을 설명하는 자들과 함께 측정 가능한 학습 목표를 세심하게 만들기 시작했다.

Program directors and other faculty began carefully crafting measurable learning objectives with descriptors of the levels of knowledge, skills, and attitudes expected for each learner type and level.


우리는 역량 지도가 블룸의 학습 분류 체계와 일치하는지 확인하기 위해 중요한 조치를 취했다.35

We took major steps to ensure that the competency map was consistent with Bloom’s taxonomy for learning.35


기대 성취의 세 단계

three levels of desired achievement.


1. 기초: 원칙에 대한 기본적인 인식과 지역사회 건강에 미치는 영향과 중요성에 대한 인정. 우리는 모든 임상의들이 전문성과 무관하게 적어도 이 정도의 지식과 태도를 가져야 한다고 믿는다. 미래의 모든 의사, PA, PT, 간호사 및 기타 임상의사는 인구 건강 접근법의 언어를 알아야 한다.

1. Foundational: a basic awareness of the principles and an appreciation for their impact and importance in community health. We believe that all clinicians, regardless of specialty, should have at least this level of knowledge and attitudes. All future physicians, PAs, PTs, nurses, and other clinicians need to know the language of a population health approach.


2. 적용: 중간 수준의 학습으로 지역사회 참여 인구 건강 활동에 능숙하게 참여할 수 있다. 우리는 1차 진료의 레지던트, PA, 간호사가 최소한 이 정도의 기술을 달성해야 한다는 데 동의했다. 예를 들어 환자 중심의 의료 가정에 필요한 기술이다. 이 수준은 듀크의 새로운 1차 진료 리더십 프로그램에 참여하는 MD와 PA 학생들에게도 목표다.

2. Applied: an intermediate level of learning, enabling skilled participation in community-engaged population health activities. We agreed that residents, PAs, and nurse practitioners in primary care should achieve at least this level of skills, which are needed, for example, for the patient-centered medical home. This level is also the goal for MD and PA students in Duke’s new primary care leadership programs.


3. 숙련도: 인구 보건의 독립적 실천 또는 커뮤니티 참여 건강 개선 활동의 설계 및 구현의 리더십을 발휘할 수 있는 역량을 획득하는 고급 학습자. 듀크 지역 보건 교직원들은 공중 보건에서의 경험과 훈련을 통해 이 정도의 능력을 가지고 있다. 지역사회 건강 증진에 임상의사 리더를 배출하겠다는 이 부서의 목표 때문에, 이 정도의 능력은 듀크 가의학 교수들과 레지던트 졸업생들에게 우리의 목표다. 우리는 미래 의료 시스템의 리더가 되기를 원하는 사람들은 이 정도의 전문지식이 필요할 것이라고 믿는다.

3. Proficient: advanced learners who achieve competence for the independent practice of population health or the leadership of the design and implementation of community- engaged health improvement activities. Duke community health faculty have this degree of competence, gained through experience and training in public health. Because of this department’s goal to produce clinician leaders in community health improvement, this level of competence is our target for Duke family medicine faculty and residency graduates. We believe that those who wish to be leaders in the future health care system will need this level of expertise.


4개 도메인의 기본 구조를 가지고, 각 역량 영역에서 각 학습자 유형에 대해 예상되는 성취 수준을 정의하기 위해 역량 맵 테이블의 셀을 채웠다.

With the basic structure of four domains created, we filled in the cells of the competency map table to define the level of accomplishment expected for each learner type in each competency area.


2011년 12월, 본 개정 초안을 듀크 커뮤니티 내외의 컨텐츠 전문가에게 배포하여 입력을 촉진하고 더욱 정교하게 다듬었다.

In December 2011, we distributed this revised draft to content experts within and outside the Duke community for input and further refinement.


역량 맵은 인구 기반 관리 및 건강 개선에 필요한 새로운 기술과 지식에 대한 교육자의 생각을 구조화하는 데 도움이 되는 조직 프레임워크로 의도되었다. 각각의 역량을 단일 도메인에 할당했지만, 네 개의 도메인은 상호 연관성이 높다.

The competency map is intended as an organizational framework that helps to structure educators’ thinking about the new skills and knowledge needed for population-based care and health improvement. Although we assigned each competency to a single domain, the four domains are highly interrelated.


역량 맵 적용

Applying the Competency Map


역량 맵은 우리의 각 건강 직업 프로그램에 통합될 인구 건강 컨텐츠의 개요를 제공한다. 지도 제작 전에, 인구 건강 증진에 있어 훈련생들을 준비시키기 위해 더 많은 것을 해야 한다는 도전을 받았을 때, 교수진들은 무엇이 누락되었는지 알아내기 위해 애썼다. 역량 맵을 갖는 것은 교수진이 다양한 커리큘럼에 인구 건강을 추가하려는 현재 시도에서 누락된 것을 볼 수 있게 한다.42 듀크에서 역량 맵이 어떻게 적용되고 있는지를 보여주는 세 가지 간단한 예.

The competency map provides an outline of the population health content to be incorporated into each of our health professions programs. Before the mapping, when challenged to do more to prepare trainees in population health improvement, faculty struggled to identify what was missing. Having a competency map allows faculty to see what is missing from current attempts to add population health to various curricula.42 Three brief examples of how the competency map is being applied at Duke follow.


Medical students


Family medicine residents


PA students


평가를 능력 맵을 도입한다면.

Incorporating the Competency Map Into Evaluations


바쁜 훈련생과 교수진을 위한 시험의 양을 최소화하기 위해, 우리는(능력 지도에 따라)가능할 때마다 기존의 평가나 평가에 필요한 도메인을 채택했다. 예로는 교육 포트폴리오,learner 만족도 설문 조사를 실시, 지식 시험 팀 훈련 평가를 발표 피드백이고, 인구 건강 프로젝트에 멘토 발언(필요한 포함한다.각각의 프로그램을). 

To minimize the amount of testing for busy trainees and faculty, we have incorporated the needed domains (based on the competency map) into existing evaluations or assessments whenever possible. Examples include educational portfolios, learner satisfaction surveys, knowledge tests, team training evaluations, presentation feedback, and mentor comments on population health projects (required by each program). 


적용되고 능숙한 수준에서 프로젝트 요구 사항은 학습자가 이러한 성취 수준과 관련된 인구 건강 기술을 입증해야 함 

At the applied and proficient levels, project requirements necessitate that learners demonstrate the population health skills associated with those achievement levels 


(예: 모집단 데이터를 사용하여 개선 기회를 식별하고, 증거 기반 및 상황에 맞는 개입 전략을 제안, 구현 및 평가하고, 지역사회 또는 임상 파트너와 일관되게 협력한다.) 

(e.g., using population data to identify opportunities for improvement; proposing, implementing, and evaluating evidence-based and context-appropriate intervention strategies; and consistently working collaboratively with community or clinical partners). 


교수진은 인구보건 멘토에 대한 교육을 받고 이러한 학습자들의 기술을 평가한다. 프로그램 책임자는 프로그램의 지속적인 개선을 위해 집계 데이터를 검토할 것이다.

Faculty trained in population health mentor and assess these learners’ skills. Program directors will review aggregate data for continual improvement of the programs.


그 Broader 적용과 역량 지도의 한계.

The Broader Application and Limitations of the Competency Map


IOM의 2012년 보고서는 의학과 공중 보건의 통합을 위한 가장 상세한 풍경을 제공한다. 또한 인구 보건 개선과 보다 효율적인 의료 시스템을 위한 로드맵 역할을 할 수 있는 원칙과 함께 제공한다.

The IOM’s 2012 report offers the most detailed portrait yet of the landscape for integrating medicine and public health, along with principles that can serve as a road map toward improved population health and a more efficient health care system.8


그 보고서의 결론 중 두 가지는 다음과 같다. 

  • 의료 센터가 통합 노력을 용이하게 할 수 있고 

  • 의료 및 공공 의료 종사자가 협력하도록 교육되어야 한다.

 Two of the report’s conclusions are that academic health centers can facilitate integration efforts and that the clinical and public health workforces should be trained to collaborate.


시나리오 앞으로

Going Forward


그 능력 지도 우리 사회와 협력의 인구 건강을 향상시키는 과정에 대해서 무엇을 배웠는가 가지고 우리의 교육 프로그램 제휴에 신중한 단계를 나타낸다. 우리가 교육 프로그램 전문적인 규범들에 의해 지배에서 역사적으로 우리 지역 사회 협력 관계에서 고립된 더욱 통합된 경력으로 이사를 하게 되면 우리의 여정은 아직 초기 단계이다.교육과 사회 전문적인 동료들의 다양한 간부의 강점에 건물 보건 결과 개선에 집중했다. 만약 달성하기 위해 인구 건강 요구하는 사무실과 공동체 속에서 팀 인구 건강에 대해를 가르치고 그렇게 한다.

The competency map represents a deliberate step in aligning our educational programs with what we have learned about the process of improving population health in collaboration with our community. Our journey is still in its early stages as we move from educational programs governed by professional norms and historically isolated from our community partnerships to more integrated team-oriented education focused on improving health outcomes and building on the strengths of a diverse cadre of professional and community colleagues. If achieving population health requires teams in the office and community, so, too, does teaching about population health.



Appendix 1 A Competency Map for Integrating Population Health Into Clinician Education, Duke University School of Medicine, 2011


Public health (PH)


Community engagement (CE)


Critical thinking (CT)


Team skills (TS)







 2013 May;88(5):626-37. doi: 10.1097/ACM.0b013e31828acf27.

Teaching population health: a competency map approach to education.

Author information

1
Department of Community and Family Medicine, Duke University School of Medicine, Durham, North Carolina, USA. kaprielianv@campbell.edu

Abstract

A 2012 Institute of Medicine report is the latest in the growing number of calls to incorporate a population health approach in healthprofessionals' training. Over the last decade, Duke University, particularly its Department of Community and Family Medicine, has been heavily involved with community partners in Durham, North Carolina, to improve the local community's health. On the basis of these initiatives, a group of interprofessional faculty began tackling the need to fill the curriculum gap to train future health professionals in public health practice, community engagement, critical thinking, and team skills to improve population health effectively in Durham and elsewhere. The Department of Community and Family Medicine has spent years in care delivery redesign and curriculum experimentation, design, and evaluation to distinguish the skills trainees and faculty need for population health improvement and to integrate them into educationalprograms. These clinical and educational experiences have led to a set of competencies that form an organizational framework for curricular planning and training. This framework delineates which learning objectives are appropriate and necessary for each learning level, from novice through expert, across multiple disciplines and domains. The resulting competency map has guided Duke's efforts to develop, implement, and assess training in population health for learners and faculty. In this article, the authors describe the competency map development process as well as examples of its application and evaluation at Duke and limitations to its use with the hope that other institutions will apply it in different settings.

PMID:
 
23524919
 
PMCID:
 
PMC3636155
 
DOI:
 
10.1097/ACM.0b013e31828acf27


사회문화적 학습 이론(When I say...) (Med Educ, 2019)

When I say . . . sociocultural learning theory

Renate Kahlke, Joanna Bates & Laura Nimmon



임상실습 로테이션 때 숀은 그 팀과 '회진'하고 있다. 각 침대 머리맡에서 학습자는 조립된 팀에게 환자의 상태, 조사 결과 및 진화하는 관리 계획에 대한 최신 정보를 제공한다. 감독하는 preceptor가 몇 가지 질문을 하고 가끔 제안을 한다. 드디어 숀의 차례다. 그녀는 환자 차트를 집어들고 관찰한 형식에 따라 맥케나 양의 사례를 제시한다. 교감은 청진기를 꺼내 환자의 심장 소리를 듣고 심장의 부정맥에 대해 몇 가지 질문을 한다. supervising resident는 숀이 대답하자 고개를 끄덕이며, 그들이 바로 어제 침대 머리맡에서 이 문제를 검토했다는 것을 기뻐했다. 팀이 다음 침대로 이동하면서 숀은 차트에 몇 개의 메모를 한다. 맥케나 양은 무엇을 쓰고 있는지 묻고 숀은 팀을 따라잡기 위해 뛰기 전에 '심장 부정맥'을 간단히 설명한다.

On her clerkship rotation in medicine, Shawn is ‘rounding’ with the team. At each bedside, a learner gives the assembled team an update on the patient’s condition, results of investigations and evolving management plans. The supervising preceptor asks a few questions and makes the occasional suggestion. Finally, it is Shawn’s turn. She picks up her patient’s chart and, following the format she has observed, presents Ms McKenna’s case. The preceptor pulls out her stethoscope, listens to the patient’s heart sounds and asks a few questions about cardiac arrhythmia. The supervising resident nods as Shawn answers, pleased that they reviewed this in a bedside teaching session just yesterday. As the team moves on to the next bed, Shawn makes a few notes on the chart. Ms McKenna asks what she is writing, and Shawn briefly explains ‘cardiac arrhythmia’ before running to catch up with the team.


이 '루틴'한 만남은 [병동의 물리적 공간과 주변의 사물들의 존재하에], [각 개인의 역할]과 [그들이 어떻게 상호작용을 할 것인지]에 대한 내재된 가정들로 가득 차 있다. 이러한 가정들은 종종 이것들이 아닌 다른 것이 될 수 있는 세계를 상상하기 어려울 정도로 임상 생활의 일부분이 된다.

This ‘routine’ encounter is rife with embedded assumptions about the role of each person and how they will interact with each other, with the physical space of the ward and with the objects around them. These assumptions become a taken-forgranted part of clinical life to the extent that it is often difficult to imagine a world in which these things could be other than they are.


사회문화학습이론(SCLT)은 그러한 가정이 어떻게 내면화되는지를 밝히는 데 도움이 될 수 있다. 이 이론은 사회문화적 맥락의 기능을 담당하는 이론의 계열인 '사회문화적 이론'이라는 큰 우산 아래에 있다. 사회문화학습이론 자체는 문화역사활동이론(CHAT), 1 실천이론(CoP)2 및 배우-네트워크이론(ANT)과 같이 학습에 초점을 맞춘 여러 사회문화이론을 포괄한다.3

Sociocultural learning theory (SCLT) can help reveal how such assumptions are internalised. This theory falls under the larger umbrella term of ‘sociocultural theory’, a family of theories that attend to the functioning of sociocultural contexts. Sociocultural learning theory itself encompasses a number of sociocultural theories focused on learning, such as cultural historical activity theory (CHAT),1 communities of practice theory (CoP)2 and actor-network theory (ANT).3


또한 SCLT는 사회물질주의와 밀접한 관련이 있으며, 그 둘 사이에는 상당한 중복이 있다. 특히 배우-네트워크 이론과 CHAT는 사회문화적, 사회물적 이론가들에 의해 종종 주장된다. 그러나 

  • 사회물질주의는 물질계와 관련된 사회적 실천 에 더 중점을 두는 경향이 있는 반면 

  • 사회문화이론은 사람과 사회적 실천 사이의 관계에 더 많이 기여한다.

In addition, SCLT is closely related to sociomaterialism4 and there is considerable overlap between the two. Actor-network theory and CHAT, in particular, are often claimed by both sociocultural and sociomaterial theorists. However, sociomaterialism tends to place more emphasis on social practices involving the material world, whereas sociocultural theory attends more to the relationships between people and social practices.


SCLT를 구성하는 이론의 배열과 복잡성을 고려할 때, 의학교육 연구자들은 이 모든 것이 무엇을 의미하는지, 왜 그것이 유용한지 모르더라도 용서받을 수 있다. 그러나 SCLT는 의학 교육 연구자들이 분석을 심화시키는 데 도움이 되는 귀중한 도구를 제공할 수 있다.5

Given the array and complexity of theories that constitute SCLT, medical education researchers can be forgiven if they lose sight of what this all means and why it might be useful. However, SCLT can offer a valuable tool to aid medical education researchers in deepening their analyses.5


아래의 세 가지 핵심 개념은 숀의 것과 같은 임상 학습 경험에 내재된 가정 중 일부를 가시적으로 보여준다.

The three core concepts below make visible some of the assumptions embedded in clinical learning experiences like Shawn’s.


개념 1 학습은 사회적 맥락의 참여를 통해 이루어진다. 배움이란 공식적(의도적으로 가르쳐지는 것)비공식적(그 환경에서 '사물이 어떻게 작용하는지'에 대한 암묵적 학습)이다. 숀은 공식적으로든 비공식적으로든 이미 이 맥락의 규범을 배웠다. 즉 '누가, 어떤 순서로 말하며, 차트가 하는 역할, 침상에서 침상사이를 걸어가는 과정, 그리고 어떤 정보가 우선시되는가를' 등이다. 그녀는 또한 그녀가 발견한 것에 대해 합법적으로 이야기하기 위해 심장 소리를 식별하는 데 필요한 의학적 전문지식과 언어를 배웠다. 이러한 규범은 이 특정 병동, 이 특정 병원, 더 넓게는 임상 교육 단위 또는 의료 기관과 연계될 수 있다.

Concept 1, learning occurs through participation in a social context. Learning is both formal (what is deliberately taught) and informal (implicit learning about ‘how things work’ in that setting). Shawn has already ‘learned’, either formally or informally, about the norms of this context: who speaks and in what order, the role the chart plays, the process of walking from bedside to bedside, and what information is prioritised. She has also learned the medical expertise required to identify heart sounds and the language through which to talk legitimately about what she finds. These norms might be tied to this specific ward, this hospital, clinical teaching units or health care organisations more broadly.


개념 2, 사회적 맥락은 사용 가능한 언어 및 물질적 도구를 만들고, 반대로 그것에 의해 형성된다. SCLT에서 'tools'의 정의는 의도적으로 광범위하며, 예를 들어 언어, 행동, 물리적 객체를 포함할 수 있다. 이러한 도구들, 그리고 도구가 내재된 사회적 맥락은 사회적, 역사적, 문화적 이다. 이런 의미에서 이것들은 사회문화적이며, 사회적 상호 작용과 문화적 규범을 다루고 있다. '도구'의 한 예는 '심장 부정맥'이라는 용어를 포함하여 맥케나 양의 사건을 논할 때 사용되는 의학의 언어다. 의사와 수련자는 이 전문화된 언어를 사용하여 서로 정보를 공유하고 전문지식을 표시한다.

Concept 2, social contexts shape and are shaped by available linguistic and material tools. The definition of ‘tools’ in SCLT is intentionally broad and can include, for example, language, practices and physical objects. These tools, and the social contexts in which they are embedded, are social, historical and cultural. In this sense, they are sociocultural, dealing with social interactions and cultural norms. One example of a ‘tool’ is the language of medicine used to discuss Ms McKenna’s case, including the term ‘cardiac arrhythmia’. Physicians and trainees use this specialised language to share information with each other and to signal their expertise.


우리의 시나리오에서 더 중요한 도구의 예는 차트다. 그룹이 환자의 침대 머리맡을 향해 움직이자 숀은 그녀가 매케나 양의 보살핌과 사례 발표를 이끌 책임이 있다는 신호를 보내기 위해 차트를 집어들었다.

An example of a more material tool in our scenario is the chart. As the group moves toward her patient’s bedside, Shawn picks up the chart to signal that she is responsible for Ms McKenna’s care and for leading the case presentation.


사회물리학자들도 마찬가지로 상호작용을 형성하는데 있어서 차트의 역할을 강조할 수 있지만, SCLT에 관심이 있는 사람들은 차트를 강조할 때, 전문화된 의학 용어를 호출하는 방식에 초점을 맞출 수 있다.

Sociomaterialists might particularly emphasise the role of the chart in shaping interaction, whereas those interested in SCLT might focus equally on the chart and the way it invokes the specialised language of medicine.


개념 3은 문화적 규범과 도구가 행동을 제약하는 만큼, 또한 개인이 그러한 규범에 저항할 수 있는 공간을 만든다는 것을 시사한다. 우리 시나리오의 루틴은 비교적 안정적이며 각 환자 프리젠테이션이 같은 방식으로 진행되는 것을 쉽게 상상할 수 있다. 그러나, 만약 맥케나 양이 숀에게 무엇을 쓰고 있느냐고 질문한다면, 그 루틴은 약간 흐트러질 것이다. Ms McKenna는 다른 팀원들과 마찬가지로 차트의 정보에 접근할 수 있어야 한다고 주장할 수 있다.

Concept 3 suggests that as much as cultural norms and tools constrain behaviour, they also create space for individuals to resist those norms. The routine in our scenario is relatively stable and it is easy to imagine each patient presentation going the same way. However, when Ms McKenna asks Shawn what she is writing, the routine is slightly disrupted. Ms McKenna asserts that she, like the rest of the team, ought to have access to the information in the chart.


경우에 따라, 이와 같은 작은 변화는 숀이나 맥케나 양이 미래에 이 루틴에 참여하는 방법을 바꿀 수 있다. 이러한 disruptive moment가 [사람을 단지 환경의 산물 이상의 것]으로 생각하는 방법을 제공한다; 숀과 맥케나 양자는 그들에게 선택 가능한 것을 가지고 있고, 이러한 선택들은 시간이 지남에 따라 일상과 규범의 변화를 초래할 수 있다.

In some cases, a small change like this can alter the way Shawn or Ms McKenna will participate in this routine in the future. Such disruptive moments offer a way of thinking about people as more than just a product of their environment; both Shawn and Ms McKenna have choices available to them, and these choices can result in changed routines and norms over time.


종합하면, 이 세 가지 개념이 사회적 맥락 안에 내재된 정해진 절차, 도구, 역할 및 계층 구조를 조명하는 데 사용할 수 있다. 의학의 언어, 도표의 역할, 의사들의 이러한 도구들의 사용은 새로운 것이 아니다. 누가 무엇을 말하고 무엇을 언제 가르치는지 지시하는 위계도 아니다. SCLT의 도구는 연구자들에게 커뮤니티의 '정상' 또는 '루틴' 관행을 식별하고, 형상화하고, 질문을 던질 수 있는 독특한 렌즈를 제공한다. 여기에는 

  • 이러한 사회적 관행이 시간에 따라 어떻게 학습되고 재현되는지, 

  • 어떤 개인에게 권한을 부여하고 다른 개인에게 권한을 부여하는 기능을 하는지

  • 어떻게 그들이 더 나은 것을 위해 질문받고 변화할 수 있는지에 대한 질문이 포함된다.

Taken together, these three concepts can be used to illuminate the taken-for-granted routines, tools, roles and hierarchies embedded within social contexts. The language of medicine, the role of the chart and doctors’ use of these tools are not new. Neither is the hierarchy that dictates who speaks or teaches about what and when. The tools of SCLT offer researchers a unique lens through which to identify, shape and ask questions about the ‘normal’ or ‘routine’ practices of a community. These include questions about 

  • how these social practices are learned and reproduced over time, 

  • how they function to empower some individuals and disempower others, and, perhaps most importantly, 

  • how they might be questioned and changed for the better.



Goldszmidt M. When I say ... sociomateriality. Med 4 Educ 2017;51 (5):465–6.






 2019 Feb;53(2):117-118. doi: 10.1111/medu.13626. Epub 2018 Jun 25.

When I say … sociocultural learning theory.

Author information

1
Royal College of Physicians and Surgeons of Canada Research Unit, Ottawa, Ontario, Canada.
PMID:
 
29943464
 
DOI:
 
10.1111/medu.13626


네스티드 영역: 임상학습환경의 최적화를 위한 글로벌 개념 모델(Am J Med, 2019)

Nested Domains: A Global Conceptual Model for Optimizing the Clinical Learning Environment

Rebecca C. Jaffe, MDa Christina R. Bergin, MDb Lawrence K. Loo, MDc Simran Singh, MDd Brian Uthlaut, MDe

Susan A. Glod, MDf Emily Fondhan, MDg Alyssa McManamon, MDh Sara L. Wallach, MDi Karen Hamad, MDj

Katherine Walsh, MDk Bethany Gentilesco, MDl



[교육목표가 직접 환자 진료와 교차하는] 학습 및 작업환경(LWE)은 다양한 전문, 교육 및 임상조직의 소견purview에 속한다.1–4

The Learning and Working Environment (LWE), where educational objectives intersect with direct patient care, falls under the purview of a range of professional, educational, and clinical organizations.1–4


비용 절감, 품질 향상, 환자 경험 향상, 공급자 웰니스 보장이라는 '사중 목표'는 의료 교육자가 다룰 것으로 예상되는 콘텐츠의 범위를 동시에 확대했다.5–8

The ‘quadruple aim’ of 

  • decreasing cost, 

  • increasing quality, 

  • improving patient experience, and 

  • ensuring provider wellness 

...has simultaneously expanded the scope of content that medical educators are expected to address.5–8


이러한 도전에도 불구하고, LWE가 임상 교육의 핵심으로 남아 있는 것이 필수적이다. 임상 및 교육 목표를 모두 충족하기 위해 LWE를 평가하고 최적화하기 위한 신뢰할 수 있거나 일반적인 전략은 말할 것도 없고, LWE에 대해 승인된accepted 개념 모델은 없다.9 

Despite these challenges, it is imperative that the LWE remain the heart of clinical education. There is no single accepted conceptual model for the LWE, let alone reliable or generalizable strategies for assessing and optimizing the LWE to meet both clinical and educational objectives.9 


LWE는 종종 개별 부분을 중심으로 설명되어 왔다. LWE에 대한 이러한 모듈식 이해에서 따르는 최적화 시도는 각 요소를 전체에서 분리된 부분으로 개선하는 경향이 있다. 그 결과, 개선 노력은 범위와 실효성이 제한되며, 다양한 규제나 이해관계자 사이에 의도하지 않은 긴장감을 조성할 수 있다. 시스템 접근법으로 LWE를 최적화하려면 LWE의 다양한 요소들이 어떻게 관련되는지 더 깊이 이해할 필요가 있다.

The LWE has often been described by identifying its parts. Optimization attempts that follow from this modular understanding of the LWE tend to improve each element as an isolated piece of the whole. As a result, improvement efforts are limited in scope and efficacy and may create unintended tension between various regulations or stakeholders. Optimizing the LWE with a systems approach requires a deeper understanding of how the LWE’s various elements relate.


모델 개발 프로세스

MODEL DEVELOPMENT PROCESS


협력적 개발

Collaborative Formation



개념모델 개발

Development of a Conceptual Model


개념 모델은 [정의와 대조적으로] 4가지 기본 목표를 달성한다. 

  • 그것은 시스템에 대한 이해를 향상시키고, 

  • 이해관계자들 사이에서 시스템 세부사항에 대한 의사소통을 용이하게 하며, 

  • 시스템을 만들거나 개선하고자 하는 사람들을 위한 참조점을 제공하고, 

  • 향후 참조reference를 위해 시스템을 문서화한다.11 

A conceptual model, in contrast to a definition, accomplishes 4 fundamental goals—it 

  • improves understanding of a system, 

  • facilitates communication of system details between stakeholders, 

  • provides a point of reference for those seeking to create or improve the system, and 

  • documents the system for future reference.11 


임상 LWE의 성공적인 개념 모델은... 

  • 국지적 환경에 대한 미묘한 이해를 허용한다. 

  • 잠재적 개선 전략을 개별 프로그램의 요구와 연계한다. 

  • 더 일반적인 교육 환경과는 달리 특히 임상 환경에 적용된다

  • 양한 프로그램 및 학습자 유형에 걸쳐 안정성을 입증한다.

A successful conceptual model of the clinical LWE would 

  • allow for a nuanced understanding of local environments, 

  • link potential improvement strategies to the needs of individual programs, 

  • apply specifically to clinical settings as opposed to educational settings more generally, and 

  • demonstrate stability across a diverse range of program and learner types.


(Table 1).


학습 환경의 개념적 모델은 1970년대로 거슬러 올라갈 수 있다.12 가장 영향력 있는 프레임워크는 인간이 살고 일하고 배우는 모든 환경에 대해 3개의 기본 도메인을 제안했던 13세의 Rudolph H. Moos에 의해 개발되었다.

Conceptual models of learning environments can be traced back to the 1970s.12 The most influential framework was developed by Rudolph H. Moos,13 who proposed 3 underlying domains for any setting where humans live, work, and learn.


  •   프로그램 학습 목표와 개인 목표 설정으로 나타날 수 있는 개인적 발달 또는 목표 지향 차원.

  •   학생 간 또는 학생과 교사 간의 지원 등 관계 차원.

  •   교육 시스템과 물리적 작업 환경 자체의 측면을 모두 포함할 수 있는 시스템 유지 보수 및 시스템 변경 차원.


  •   Personal development or goal direction dimensions, which might manifest as both program learning objectives and personal goal setting.

  •   Relationship dimensions, such as support among students or between students and teachers.

  •   System maintenance and system change dimensions, which may include aspects of both the educational system and the physical working environment itself.


결과

RESULTS


개념모델

The AAIM Collaborative LWE Conceptual Model


The AAIM collaborative conceptual model of the LWE is presented in Figure 1 and Table 2.



고찰

DISCUSSION


협력자는 이 개념적 모델이 LWE의 이전 정의나 모델에 통합되지 않은 주요 요소들을 성공적으로 해결한다고 믿는다.

즉, 

  • 도메인의 상호 연결성, 

  • 환자의 역할, 

  • 다층적 학습자의 존재, 

  • 사회문화적 맥락의 영향.


The collaborative believes that this conceptual model successfully addresses key factors not incorporated in prior definitions or models of the LWE—namely, the interconnectedness of domains, the role of the patient, the existence of multiple learners, and the influence of the sociocultural context.


상호연결성 

Interconnectedness


AAIM 모델은 UME와 GME 학습자 모두에게 학습 환경과 작업 환경은 서로 얽혀 있고 불가분의 관계에 있음을 강조한다. 내포된 도메인의 개념은 본질적으로 시너지 효과가 있다. 개인 영역은 LWE의 중심에 있으며, 관계 영역, 커리큘럼 및 구조 영역은 이 코어에서 방사된다. 각 영역은 모두 서로 연결되어 있고, 서로 다른 영역들에 영향을 미친다19 따라서 학습 환경을 구축하거나 개선할 때 단일 영역에 대한 집중은 불충분하다.

The AAIM model emphasizes that, for both UME and GME learners, the learning environment and the working environment are intertwined and inseparable. The concept of nested domains is intrinsically synergistic. The personal domain is at the center of the LWE, and the relational, curricular, and structural domains radiate out from this core. They are all interconnected, and each domain influences the others19; therefore, a focus on a single domain is insufficient when building or improving the learning environment.


모델을 이해하고 효과적으로 사용하기 위해 교육자와 이해관계자는 도메인에 대한 일반적인 이해에서 시작해야 한다. (문제에 접근하거나 LWE 내에서 새로운 요소를 설계할 때), 주어진 도메인에 요소를 올바르게 할당하는 것보다, 모든 도메인과 이들의 상호작용을 고려해야 한다는 것을 기억하는 것이 더 중요하다. 예를 들어, 평가는 커리큘럼 설계의 핵심 요소이기 때문에 학습자 평가 과정은 교육과정적 차원으로 간주될 수 있다.20 학습자 평가는 LWE 내에서 2명 이상의 개인 간에 이루어지는 과정이기 때문에 관계적 차원이 있다고 주장할 수도 있다. 이처럼 평가를 어떤 차원에 배치하냐를 보면 어느 것도 늘 정확하지 않다. 당면한 상황에 따라 평가의 관계적 측면이 교육과정적 측면보다 중요할 수도 있고 그 반대일 수도 있다.

To understand and effectively use the model, educators and stakeholders should start with a general understanding of the domains. The correct assignment of a factor to a given domain is less important than remembering to consider all domains and their interactions when approaching a problem or designing a new element within the LWE. For example, the process of learner assessment could be considered curricular, because assessment is a key element of curriculum design.20 Learner assessment could also be argued to be relational, as it is a process that occurs between 2 or more individuals within the LWE. Neither of these domain assignments is universally correct. Depending on the situation at hand, the relational aspects of assessment may be more important than the curricular aspects or vice versa.


다층적 학습자

Multiple Learners


2018년 건강 직업 학습 환경 개선에 관한 총회에서 요시야 메이시 주니어(Josiah Macy Jr.)는 다음과 같이 권고했다. Foundation14는 "학습자"를 광범위하게 정의하면서 "지속적인 학습과 개선된 건강 시스템에서, 모든 참가자는 학습자일 뿐 아니라 교사일 수 있다"고 말했다. LWE 영역은 전문적 정체성 형성의 변화적 여정의 모든 단계에서 학습자들에 의해 통과traversed된다. "학습자"는 전문직 내의 전통적인 위계에서 모든 수준의 학습자를 포함하며, 그리고 임상에서 마주치는 수많은 직업의 사람들을 포함한다.

In its 2018 Conference Recommendations on Improving Environments for Learning in the Health Professions, the Josiah Macy Jr. Foundation14 defined “learners” broadly, stating that “in a continuously learning and improving health system, every participant is both a learner and a teacher.” The LWE domains are traversed by learners from all stages of the transformative journey of professional identity formation,21 including learners from all levels of the traditional hierarchies within professions, and those from the myriad of professions encountered during clinical care.


학습자가 LWE를 통해 능동적으로 이동하려면 영역 간 균형에 유동성이 필요하다. 어떤 학습자 또는 학습자 그룹은 특정 도메인에서 더 많은 지원을 필요로 하거나 더 많은 영향을 받을 수 있다. 어떻게 균형이 맞춰어져야 하는지는 학습자의 훈련 수준, 개인 학습 선호도, 문화적 또는 세대적 배경, 과거 훈련 경험, 미래 목표, 누적 생존 경험 등 다양한 기여 요인에 의해 결정된다. 이러한 균형의 변화는 의료 교육의 지속에 걸쳐 모델에 유연성을 부여하고 의사 교육을 넘어 다른 보건 전문가로까지 확대한다. 또한 "학습자가 학습 환경을 횡단한다"는 개념은 개별 학습자가 LWE의 "비영구적impermanent" 구성원임을 인정하며, 그렇기에 개개의 학습자는 LWE를 samplng하고 influencing하며, 동시에 LWE에 의해서 molded된다.

Active movement by learners through the LWE requires a fluidity in the balance of the domains. Different learners or groups of learners may require more support from or may be more heavily influenced by a given domain. The necessary balance is determined by a range of contributing factors, including the level of training of the learner, personal learning preferences, cultural or generational background, past training experiences, future goals, and cumulative lived experiences. This variation in the balance of domains lends flexibility to the model across the continuum of medical education and extends beyond physician education to other health professionals. The concept of traversing the learning environment also acknowledges that individual learners are impermanent members of the LWE, each sampling and influencing it, as well as molded by it, for a discrete period.


환자의 역할

The Role of the Patient


환자 진료가 없다면 의학 교육의 역할이 없기 때문에 환자는 LWE의 축이다. 학습은 환자의 필요를 충족시키는 데 중점을 두고, 학습자를 그들이 돌보게 될 사람과 본질적으로 연결시킨다. 이 juxtaposition은 교육(학습자에게만 초점을 맞춘다)과 서비스(환자에게만 초점을 맞춘다)라는 이분법적 사고가 틀렸음을 강조한다.22,23 AAIM 모델은 이러한 긴장상태를 해결하고자 한다. 환자를 위하여 work하는 것은 teaching and learning의 수단이다.

The patient is the axis of the LWE, as there would be no role for medical education in the absence of patient care. Learning centered on meeting the needs of patients intrinsically links learners to those for whom they care. This juxtaposition underscores the false dichotomy of education (implying a focus only on the learner) vs service (implying a focus only on the patient).22,23 The AAIMmodel seeks to resolve this tension. Work on behalf of patients is a means for teaching and learning.


사회문화적 맥락

Sociocultural Context


LWE를 하나의 시스템으로 고려할 때, 외부 경계를 정의하는 것이 중요하다.26 LWE에 대한 경계는 기능에 의해 정의될 수 있다. 

    • 환자/인구 관리 또는 학습자 교육과 관련된 일차적인 목적을 가진 요인은 LWE에 속한다. 

    • 어떤 요소가 주로 다른 목적(예: 의료 금융 또는 국가 재해 대응 정책)과 관련되는 경우, 그것은 주변 맥락의 일부분이다.

When considering the LWE as a system, it is important to define an outer boundary.26 The boundary to the LWE can be defined by function. Factors with a primary purpose pertaining to the care of patients/populations or the education of learners fall within the LWE. If a factor pertains predominantly to another purpose (eg, health care finance or national disaster response policy), then it is part of the surrounding context.


상황적 요인은 상호연결된 상태로 형태와 기능에 영향을 미치지만 LWE 시스템의 내부적 측면은 아니다. 도메인 간의 분할과 마찬가지로, LWE와 주변 사회문화적 맥락 사이의 구분은 부정확하다. 가장 중요한 개념은 LWE가 무한하지 않다는 것이다. 의료 금융, 이민 또는 학자금 대출 상환과 관련된 국가 정책의 영향을 고려한다. 유사한 상황적 요인은 환자와 건강, 문화적 규범 및 신념 또는 자연적 또는 사회적 재해에 대한 사회적 결정요인을 포함하여 LWE에 영향을 미친다. 비록 교육자들이 사회문화적 맥락을 바꾸기 위해 옹호advocacy나 행동activism에 참여할 수 있지만, LWE 내에서 일할 때, 의료 교육자들은 대개 4개 영역 중 하나 이상을 적응adapt시킴으로써 맥락적 요인에 대응한다.

Contextual factors are not internal aspects of the LWE system, although they remain interconnected and exert influence on form and function. Much like the divisions between domains, the division between the LWE and the surrounding sociocultural context is inexact. The most important concept is that the LWE is not boundless. Consider the influence of national policy relating to health care finance, immigration, or student loan repayment. Similar contextual factors influence patients and what they bring into the LWE, including social determinants of health, cultural norms and beliefs, or natural or social disasters. Although educators may engage in advocacy or activism to change the sociocultural context, when working within the LWE, medical educators usually respond to contextual factors by adapting 1 or more of the 4 domains.


예를 들어, 교육 프로그램이 (미시간 주 플린트의 스크리닝과 노출 완화 관련 내용을 통합하는 것과 같은) 특정 지역 공공 보건 위협을 반영하기 위해 커리큘럼 영역에서 적응adapt해야 할 수 있다. 마찬가지로 프로그램은 의료 및 의료 서비스 센터 문서 요건을 반영하도록 의료 학생 역할을 설계하는 것과 같은 국가 정책 변화에 대응하여 LWE 구조를 수정할 수 있다. 문화적 규범이 관계영역에 영향을 미칠 수도 있다.

For example, a program might have to adapt in the curricular domain to reflect specific local public health threats, such as incorporating content relating to lead screening and exposure mitigation in Flint, Michigan. Similarly, programs might modify the LWE structure in response to changes in national policy, such as designing the medical student role to reflect Centers for Medicare and Medicaid Services documentation requirements. Cultural norms might influence the relational domain.


특정 학습자가 자신의 문화적 기대를 LWE에 가져올 때, 그 또는 그녀는 [개인적 영역]의 일부로서 그렇게 한다. 사회문화적 맥락을 개념적 모델에 통합하는 것은, LWE를 유지하고 형성하는 atmosphere가 있음을 인정하면서, 동시에교육자들의 즉각적인 통제 범위를 넘어서는 요소를 고려할 수 있도록 한다.

When a unique learner brings his or her own cultural expectations into the LWE, he or she does so as part of the personal domain. The incorporation of the sociocultural context into the conceptual model acknowledges the atmosphere that sustains and shapes the LWE while allowing educators to consider some factors beyond their immediate locus of control.


개념모델의 적용

Application of the Conceptual Model


우리는 그 모델을 다음의 세 가지 방법으로 적용할 것을 제안한다.

We propose that the model can be applied in 3 ways:


  • 반응적: 특히 LWE 챌린지 또는 부작용과 관련하여 현재 상태에 기여하는 요인을 이해하십시오.

  • 전체적: 공유된 정신 모델을 생성하여 이해관계자 간의 정렬alignment을 달성하십시오.

  • 예방적: 새로운 성공적 프로그램 또는 개선 전략을 설계하십시오.

  •   Reactive: Understand the factors contributing to the current state, especially as related to an LWE challenge or adverse event.

  •   Holistic: Achieve alignment between stakeholders through creation of a shared mental model.

  •   Proactive: Design newsuccessful programs or improvement strategies at any scale.


이러한 사례들은 모형이 과거 사건을 분석하기 위해 적용되는지 또는 미래의 변화를 계획하기 위해 적용되는지에 대해 주로 다르다. 전체적holistic 적용은 현재 상태에 대한 평가와 원하는 미래 상태에 대한 고려를 수반한다는 점에서 사전 예방적 적용과 유사하다. 이러한 애플리케이션은 의도한 결과에 따라 다르다. Proactive한 적용의 결과는 미래 변화를 위한 계획인 반면, Holistic 적용의 결과는 이해관계자들 사이의 이해와 공감을 더 크게 한다.

These cases differ predominantly with respect to whether the model is applied to analyze past events or to plan for future change. The holistic application is similar to the proactive application in that it involves an assessment of the current state and consideration of a desired future state. These applications differ in their intended outcomes. The outcome of proactive application is a plan for future change, whereas the outcome of the holistic application is greater understanding and empathy between stakeholders.


개인적

Personal


학습자가 LWE를 경험하는 렌즈, 학습자가 LWE에 첨가하는 고유한 특성. 학습자 본인 확인 및 학습자가 보유한 태도, 편견, 기술, 경험 및 취약점 포함.

The lens through which a learner experiences the LWE and the set of intrinsic qualities the learner adds to the LWE. Includes the learners self-identification and the attitudes, biases, skills, experiences and vulnerabilities they possess.


관계적

Relational


개인 또는 그룹이 상호작용하는 방법, 이러한 상호작용이 학습자와 시스템으로서의 LWE에 미치는 영향. 동료, 직원, 환자, 감독자, 멘토, 교육자 및 개인적 관계(예: 친구, 가족) 간의 상호작용을 고려해야 한다. 이 영역은 독특한 관계뿐만 아니라 LWE 문화와 행동 규범을 포함한다.

The ways in which individuals or groups interact and the impact of these interactions upon learners and the LWE as a system. Interactions between peers, staff, patients, supervisors, mentors, educators, and personal relationships (e.g., friends, family) are to be considered. This domain encompasses unique relationships as well as LWE culture and behavioral norms.



교육과정적

Curricular


명시적으로 명시하지 않더라도, 적어도 하나의 학습 목표와 학습자 평가 및 피드백 프로세스로 구성된 공식 및 비공식 교육 경험과 관련된 요소. 숨겨진 커리큘럼도 이 도메인의 일부분이지만 다른 세 도메인과 크게 겹친다.

Factors relating to formal and informal educational experiences consisting of at least one learning objective and a process of learner assessment and feedback, even if not overtly stated. The hidden curriculum is also part of this domain, though overlaps significantly with the other three domains.


구조적

Structural


임상 학습이 발생하는 조직, 프로그램 및 물리적 컨텍스트. 구성요소는 작업 공간, 전자 의료 기록, 직원 수준, 팀 구조 및 기관 정책과 같은 국지적 LWE에 특정될 수도 있으며, 근무시간, admitting caps, 또는 면허 요건과 같은 외부적으로 정의될 수 있다.

The organizational, programmatic and physical context within which clinical learning occurs. Components 

    • may be specific to the local LWE such as workspace, the electronic medical record, staffing levels, team structures, and institutional policies or 

    • may be externally defined such as work hours, admitting caps, or licensure requirements.




CONCLUSIONS




14. Josiah Macy Jr. Foundation. Improving Environments for Learning in the Health Professions: Recommendations from the Macy Foundation Conference. Atlanta, GA: Josiah Macy Jr. Foundation. 2018: 1-16.


25. Lehmann LS, Sulmasy LS, Desai S. Hidden curricula, ethics, and professionalism: optimizing clinical learning environments in becoming and being a physician: a position paper of the American College of Physicians. Ann Intern Med 2018;168(7):506-8.







 2019 Jul;132(7):886-891. doi: 10.1016/j.amjmed.2019.03.019. Epub 2019 Apr 3.

Nested Domains: A Global Conceptual Model for Optimizing the Clinical Learning Environment.

Author information

1
Department of Medicine, Thomas Jefferson University, Philadelphia, Pa. Electronic address: Rebecca.Jaffe@jefferson.edu.
2
Department of Internal Medicine, University of Arizona College of Medicine, Phoenix.
3
Department of Medicine, Loma Linda University School of Medicine, Loma Linda, Calif.
4
Department of Medicine, Case Western Reserve University School of Medicine, Cleveland, Ohio.
5
Department of Medicine, University of Virginia, Charlottesville.
6
Penn State College of Medicine/Penn State Health, Hershey, Pa.
7
Department of Internal Medicine, Division of Medical Education, Washington University School of Medicine, St Louis, Mo.
8
Department of Medicine, Uniformed Services University of the Health Sciences, Wright-Patterson Medical Center (Cancer Care), Wright-Patterson Air Force Base, Ohio.
9
Department of Medicine, Hackensack Meridian School of Medicine, St Francis Medical Center, Seton Hall University, Trenton, NJ.
10
Department of Internal Medicine, Florida State University College of Medicine, Sarasota Memorial Hospital, Sarasota.
11
Department of Internal Medicine, Division of Hematology, Ohio State University College of Medicine, Columbus.
12
Department of Medicine, Warren Alpert Medical School of Brown University, Division of Hospitalist Medicine, The Miriam Hospital, Providence, RI.

KEYWORDS:

Graduate medical education; Learning environment; Medical education; Undergraduate medical education

PMID:
 
30953633
 
DOI:
 
10.1016/j.amjmed.2019.03.019


임상학습환경 측정을 위한 도구의 심리측정적 특성(Med Educ, 2007)

Psychometric properties of an instrument to measure the clinical learning environment

K Boor,1 F Scheele,2 C P M van der Vleuten,3 A J J A Scherpbier,4 P W Teunissen2 & K Sijtsma5





도입

INTRODUCTION


임상 환경에서 일하고 배우는 것은 의사들에게 훈련에서 도전적인 시기를 나타낸다. Daugherty 등에 따르면, 그들은  "...환자 치료에 대한 책임, 경제적 어려움, 당직 일정, 환자 사망, 지속적인 학습의 필요성, 가르치는 일, 의사 및 노인 거주자의 요구 사항, 가정과 사생활의 필요성 등 다양한 요구 사항의 균형을 맞추는 법을 배워야 한다." 이 단계는 서유럽과 미국에서 최근 근로시간 관련 법률의 변경으로 더욱 복잡해졌다. 교육 활동에 사용할 수 있는 시간이 줄어든 반면, 임상 업무량은 증가했다.2–4 한편, 의료의 질은 대중의 관심을 더 끈다.5,6

Working and learning in the clinical environment represents a challenging phase for doctors in training. According to Daugherty et al., they  …must learn to balance such diverse demands as responsibility for patient care, economic hardships, on-call schedules, patient death, the need for constant learning, the task of teaching, the requirements of attending physicians and senior residents, along with the necessities of family and personal life .1 This phase is further complicated by recent changes in legislation for working hours in Western Europe and the USA; the clinical workload has grown, whereas the time available for educational activities has diminished.2–4 Meanwhile, the quality of health care attracts greater public attention.5,6


교육 경험의 중요한 요소 중 하나는 임상 학습 환경이다. 이러한 환경은 감독 품질, 교사의 질, 그리고 시설과 분위기와 같은 많은 중요한 측면을 포괄한다. SCOPME는 다음과 같이 명시하였다.  ...학습에 도움이 되는 작업 환경은 성공적인 훈련에 매우 중요하다.

One important component of the educational experience is the clinical learning environment. This environment encompasses many important aspects, such as the quality of supervision,7,8 the quality of teachers,9,10 and facilities and atmosphere.11,12. The Standing Committee on Postgraduate Medical Education (SCOPME) stated that  …a working environment that is conducive to learning is critically important to successful training .13,14


임상 학습 환경의 품질을 구체적으로 평가하는 기구는 몇 가지에 불과하다. Roff 등. PHEEM(Postgradors Hospital Educational Environment Measure, PHEEM)을 구성하고 검증하였다.16 설문지 개발자들은 PHEEM16,17의 항목을 검증하기 위해 대상 모집단에서 추출한 포커스 그룹, 공칭 그룹 및 델파이 패널을 포함하는 근거 이론의 형식을 사용했다.

Only a few instruments specifically assess the quality of the clinical learning environment. Roff et al. constructed and validated the Postgraduate Hospital Educational Environment Measure (PHEEM).16 The developers of the questionnaire used a form of grounded theory involving focus groups, nominal groups and a Delphi panel drawn from the target population to validate the items of the PHEEM.16,17


40항목 설문지는 교육의 질과 업무의 내용에 관한 항목으로 구성되지만, 팀의 일원이 되는 것, 감독의 질, 비난 없는 문화에서 일하는 것 등 사회적, 감정적 요소도 고려한다. 원저자는 

  • 역할자치role autonomy에 대한 인식, 

  • 사회적 지지에 대한 인식 

  • 교육에 대한 인

...을 측정하는 세 가지 항목과 이들의 항목별 점수를 표 1에 나타냈다.

The 40-item questionnaire consists of items about the quality of teaching and content of work, but also takes into account social and emotional factors, such as being part of the team, quality of supervision and working in a no-blame culture. The original authors identified 3 subscales which measured perceptions of role autonomy, perceptions of social support and perceptions of teaching.16,17 The items and their subscales are shown in Table 1.


이 기사에서 우리는 PHEEM의 두 가지 정신측정학적 특성을 조사한다. 

  • 첫 번째 심리학적 특성은 3개 하위척도의 구성 타당성이다. 우리가 아는 바로는, 이러한 구독에 대한 검증은 이전에 출판된 적이 없다. 

  • 두 번째 속성은 시간과 경우에 관계없이 데이터나 점수의 재현성으로 정의되는 설문지의 신뢰성이다. 

따라서 평가자의 개인 의견의 변동성과 불일치는 도구의 재현성에 부정적인 영향을 미칠 수 있다. 따라서 우리의 연구 목표는 PHEEM의 신뢰성에 대한 그러한 영향을 검토하는 것이다.

In this article we investigate 2 psychometric properties of the PHEEM. The first psychometric property is the construct validity of the 3 subscales. To our knowledge, no validation of these subscales has been published previously. The second property is the reliability of the questionnaire, defined as reproducibility of data or scores, independent of time and occasion.18 Variability and inconsistency among raters’ personal opinions may, hence, negatively affect the instrument’s reproducibility.18,19 Our research goal is therefore to examine such influences on the PHEEM’s reliability.


METHODS


도구

Instrument


각 과목(점원과 등록자)은 리커트 5점 만점으로 40개 항목을 채점했는데, 1점은 전혀 동의하지 않고 5점은 전적으로 동의한다. (원래 설문지에서는 0~4점의 5점 리커트 척도를 사용했는데, 우리는 이 척도를 더 통상적인 1~5 범위로 대체했다.) 4개 항목(항목 7, 8, 11, 13)에 부정적인 문구가 들어 있었기 때문에, 우리는 척도로 점수를 역전시켰다. 임상실습생과 등록의사는 본인을 지칭하는 단어를 제외하고는 똑같은 설문지를 받았다.

Each subject (clerks and registrars) scored the 40 items on a 5-point Likert scale, where 1 ¼ totally disagree and 5 ¼ totally agree. (The original questionnaire used a 5-point Likert scale of 0)4, which we replaced with the more conventional 1)5 range.) Because 4 items contained negative statements (items 7, 8, 11 and 13), we inverted the score on the scale. Clerks and registrars received the exact same questionnaire, except for the use of specific words such as  clerk  and  registrar .


대상과 절차

Subjects and procedure


PHEEM을 채운 6개 병원의 14개 부서(내과, 외과, 산부인과, 지네시스, 소아과, 신경과, 정신의학 포함)

Clerks from 14 different departments (including internal medicine, surgery, obstetrics and gynaecology, paediatrics, neurology and psychiatry) in 6 different hospitals filled out the PHEEM


25개 병원의 소아과 레지스터와 44개 병원의 산부인과 및 지내과 레지스터는 2005년 3-4월에 설문지를 작성했다.

Paediatrics registrars from 25 hospitals and obstetrics and gynaecology registrars from 44 hospitals completed the questionnaire during March–April 2005.


통계 분석

Statistical analysis


PHEEM 점수 분포의 정규성을 확인한 후 데이터의 간격 수준을 가정하고 파라메트릭 통계 방법을 사용했다.

After checking the normality of the distribution of PHEEM scores, we assumed an interval level of the data and used parametric statistical methods.


탐색적 요인분석

Exploratory factor analysis


PHEEM의 3개 항목별 구성 타당성을 평가하기 위해 탐색적 요인 분석(특히, 주요 성분 분석)에 이어 분산 분석(varimax 회전)을 사용했다. 탐색적 요인 분석을 통해 관측 변수(즉, 항목)가 상당히 적은 수의 요인에 의해 설명될 수 있는지 여부를 판단할 수 있다.20 주요 성분 분석은 설명된 항목과의 차이를 극대화하기 위해 0 상관 요인(직교 성분이라고 함)을 계산하여 통계 정보를 요약한다.가능한 한 효율적으로 항목에 n. 다음으로, 각 회전 인자와 각 항목의 상관 관계(이 맥락에서 부하)에 대해 최적의 해석을 가진 솔루션을 얻기 위해 이 선택된 인자에 대해 바리막스 회전을 수행했다. 우리는 그 결과를 고유값을 산술적으로 해석했다.

To evaluate the construct validity of the 3 subscales of the PHEEM, we used an exploratory factor analysis (specifically, principal components analysis) followed by varimax rotation. Exploratory factor analysis enables us to determine whether the observed variables (i.e. the items) can be explained by a considerably smaller number of factors.20 Principal components analysis calculates 0-correlating factors (called orthogonal components) to maximise explained variance fromthe items and thus summarises the statistical information in the items as efficiently as possible. Next, we performed a varimax rotation on these selected factors to obtain a solution that had optimal interpretation in terms of the correlations (in this context known as  loadings ) of each of the items with each of the rotated factors. We interpreted the results with a scree plot of the eigenvalues.


우리는 Mokken 척도 분석으로 알려진 연속적인 클러스터링 방법을 사용하여 탐색적 요인 분석의 결과를 확인하였다.21,22 이 방법은 동일한 구조를 클러스터로 측정하여 PHEEM 데이터의 차원성을 결정하는 데 사용할 수 있는 항목을 선택한다. 탐색적 요인 분석과 Mokken 척도 분석을 주의 깊게 비교한 결과, 이러한 방법들이 데이터의 차원성에 대한 다른 관점을 제공한다는 것이 밝혀졌다. 예를 들어 탐색적 요인 분석은 모든 항목을 동시에 고려하는 반면, Mokken 척도 분석은 항목을 하나씩 항목을 선택한다. 마찬가지로 탐색적 요인 분석은 설명된 분산을 최대화하는 것을 목표로 하고 있는 반면, Mokken 척도 분석은 심도적 확장성 기준을 최적화한다. 그러나 이들의 차이에도 불구하고, 이러한 방법들은 차원 구조가 분명히 존재할 때 같은 결론으로 이어진다.23

We checked the results of the exploratory factor analysis by means of a successive clustering method, which is known in psychometrics as Mokken scale analysis.21,22 This method selects items that measure the same construct into clusters and thus can be used to determine the dimensionality of the PHEEM data. A careful comparison of exploratory factor analysis and Mokken scale analysis revealed that these methods provide different perspectives on the dimensionality in data. For example, exploratory factor analysis considers all items simultaneously, whereas Mokken scale analysis selects items one after another. Likewise, exploratory factor analysis aims at maximising explained variance, whereas Mokken scale analysis optimises a psychometric scalability criterion. However, despite their differences, these methods lead to the same conclusions when a dimensionality structure is clearly present.23



일반화가능도 이론

Generalisability theory


우리는 신뢰성에 관한 연구 문제를 해결하기 위해 일반화 이론을 사용했다. 이 이론은 측정에 영향을 미치는 관련 영향의 크기를 추정할 수 있다. 이후 계측기의 신뢰성 추정은 다양한 신뢰성 지수에 기초한다. 여기에서 신뢰성은 측정 시 노이즈의 표준 편차(SD)로 표현되며, 즉 측정에 무작위 또는 노이즈(신호 대 노이즈에서와 같이 소음)가 발생하는 모든 영향의 SD로 표현된다. 우리는 항목을 고정 면으로 간주하고 PHEEM 총점(하위 척도)을 분석 단위로 사용했다. 우리는 사무원과 등록자를 위한 2가지 요인을 별도로 가지고 무작위 효과 분산 분석 모델을 수행했다. 그 요인은 부서(d)와 과목(s)이었다. 일반성 이론의 용어로, 우리는 사무원과 등록자를 위해 따로 부서 내에 내포된 주제를 가지고 단일 페이셋 분석을 실시했다. UrGenova 프로그램을 사용한 불균형 설계 추정 분산 성분.24 분산 성분 추정 후 사무원 및 등록자에 대해 별도로 측정(SEM)의 표준 오류를 추정했다.

We used generalisability theory to address the research questions about reliability. This theory allows estimation of the size of the relevant influences that affect the measurement. The subsequent estimation of the reliability of the instrument is based on a variety of reliability indices. Here reliability is expressed as the standard deviation (SD) of the  noise in the measurement , i.e. the SD of all influences that have a random or noisy effect on the measurement (noisy as in signal-versus-noise). We considered items to be a fixed facet and used the PHEEM total (subscale) score as the unit for analysis. We carried out a random-effects ANOVA model with 2 factors for clerks and registrars separately. The factors were departments (d) and subjects (s). In generalisability theory terms, we carried out a single-facet analysis with subjects nested within departments, separately for clerks and registrars. An unbalanced design using the UrGenova program estimated variance components.24 Following variance component estimation, we estimated the standard error of measurement (SEM), again separately for clerks and registrars.



결과

RESULTS


표 1은 두 그룹의 응답률, 기술 통계 및 평균 항목 점수를 보여준다.

Table 1 shows the response rate, descriptive statistics and mean item score for both groups.



3개 항목별 타당성 구축

Construct validity of the 3 subscales


설명요인 분석 후 점원 그룹의 분산 회전으로 고유값 > 1을 가진 10개의 요인이 나타났다. 첫 번째 인자의 고유값은 12.2(분산 30.6%에 대한 계산)였으며, 다음 9개 인자의 고유값은 <2.1(그림 1의 나무 그림)>이었다. 등록자 집단의 분석은 고유값 >1을 가진 9개의 요인을 보여주었다. 첫 번째 인자는 고유값 1⁄412.4 (분산 31.1%에 대한 계산)이었고, 다음 8은 고유값 <1.9 (그림 1의 나무 그림)>를 가지고 있었다. 이러한 결과는 3가지 뚜렷한 요인을 측정하는 설문지와 일치하지 않는다. 이러한 경우, 결과는 비교적 높은 고유값을 가진 세 가지 요인을 나타낼 것이다(이 요인은 가급적 함께 큰 비율의 분산을 고려한다). 그러나 그 결과는 1인자, 따라서 1차원 척도를 제시한다. 다음으로, 두 데이터셋에 대해 Mokken 스케일 분석을 수행했다. 그 결과 요인 분석 결과가 확인되었는데, 1개의 대형 항목 군집이 발견되어 1차원 척도를 나타냈다.

Exploratory factor analysis followed by varimax rotation of the clerk group resulted in 10 factors with an eigenvalue > 1. The first factor had an eigenvalue of 12.2 (accounting for 30.6% of variance), and the next 9 factors had eigenvalues <2.1 (scree plot in Fig. 1). The analysis of the registrar group showed 9 factors with eigenvalues >1. The first factor had an eigenvalue ¼12.4 (accounting for 31.1% of variance), and the following 8 had eigenvalues <1.9 (scree plot in Fig. 1). These findings are not consistent with a questionnaire measuring 3 distinct factors. In such a case, the results would show 3 factors with relatively high eigenvalues (which would preferably together account for a sizeable percentage of the variance). The results, however, suggest 1 factor and thus a 1-dimensional scale. Next, we performed a Mokken scale analysis on both datasets. The results confirmed the factor analysis results: 1 large item cluster was found, indicating a 1-dimensional scale.


2개의 독립적인 통계 분석 방법이 단차원 데이터 구조를 지원했고 3개의 항목별 존재에 대한 지지를 찾지 못했기 때문에, 우리는 평균 항목 점수와 함께 신뢰성 분석 결과만 제시한다.

As 2 independent statistical analysis methods supported a unidimensional data structure and we found no support of the existence of 3 subscales, we present only the results of the reliability analysis with the mean item score.



신뢰도 분석

Reliability analysis


임상실습생

Clerks


평균 항목 점수는 3.87점이었다.

The mean item score was 3.87.


표 2는 점원을 위한 우리의 추정된 SEM과 RMSE를 제시한다. 표 2의 상부는 1개 부서의 평가를 위한 SEM을 제시한다. SEM은 ‡14명의 응답자가 PHEEM을 완료했을 때 신뢰성 있는 수준 <0.13>에 도달했다.

Table 2 presents our estimated SEMs and RMSEs for clerks. The upper part of Table 2 presents SEMs for the evaluation of 1 department. The SEM reached a reliable level <0.13 when ‡14 respondents completed the PHEEM.


복수의 부서(표 2의 하위 부분)에 대한 평가의 신뢰성은 응답자 및 부서의 수에 따라 달라진다. RMSE <0.13>은 15개 부서와 2명의 응답자로 설정될 수 있다. 10개 부서와 3개 응답자도 믿을 만한 결과를 낸다. 이와는 대조적으로, 1개 부서는 응답자 수가 있을 수 없을 정도로 많지 않으면 신뢰할 수 있는 결과를 달성할 수 없다. 분명히 학과 그룹을 평가할 때는 응답자 수보다 학과 수를 늘리는 것이 효율적이다. 

The reliability of an evaluation of multiple departments (lower part of Table 2) depends on the number of respondents and departments. An RMSE <0.13 could be established with 15 departments and 2 respondents. Ten departments and 3 respondents also give a reliable result. By contrast, 1 department cannot achieve a reliable outcome unless the number of respondents is unfeasibly high. Clearly, when evaluating a group of departments, it is more efficient to increase the number of departments than the number of respondents. 


전공의

Registrars


표 3은 등록자에 대한 우리의 추정된 SEM과 RMSE를 보여준다. ‡11명의 응답자를 통해 1개 부서의 임상 학습 환경에 대한 신뢰할 수 있는 평가를 달성할 수 있다. 여러 부서에 대한 그룹 평가의 신뢰할 수 있는 결과를 얻으려면 응답자 수보다 부서의 수를 늘리는 것이 가장 쉬운 선택이다. 3개의 응답자와 10개의 부서가 신뢰할 수 있는 결과를 제공한다.

Table 3 shows our estimated SEMs and RMSEs for registrars. A reliable evaluation of the clinical learning environment of 1 department could be achieved with ‡11 respondents. For a reliable outcome of group evaluation of multiple departments the easiest option is to increase the number of departments rather than the number of respondents. Three  respondents and 10 departments give a reliable result. 



DISCUSSION


이 연구는 PHEEM으로 알려진 임상 학습 환경을 측정하기 위한 3개 항목의 구성 타당성과 기기의 신뢰성을 조사했다.

This study investigated the construct validity of 3 subscales and the reliability of an instrument to measure the clinical learning environment, known as the PHEEM


이러한 가입자의 통계적 분석은 앞에서 가설한 3차원 구조를 뒷받침하지 못했다.16 대신, 우리의 분석은 1차원 척도를 제안했다. 명백히, 원본 저자들에 의해 수행된 PHEEM의 내용 분석은 경험적으로 복제될 수 없다. 

The statistical analysis of these subscales did not support the 3-dimensional structure hypothesised earlier.16 Instead, our analysis suggested a 1-dimensional scale. Apparently the content analyses of the PHEEM as performed by the original authors cannot be replicated empirically. 


이 연구에 우리는 각각 256개와 339개의 완성된 설문지를 사용했다. 이 수치는 신뢰할 수 있는 탐색 요인 분석과 Mokken 척도 분석을 수행할 수 있을 정도로 높다. 따라서 PHEEM에 의해 측정된 1차원 구조의 발견은 그럴듯해 보인다. 설문지의 수도 PHEEM의 신뢰성을 충분히 추정할 수 있을 정도로 많다. 이와는 대조적으로, 각기 다른 전공과목과 병원은 동등하게 대표되지 않는다. 이번 연구에 포함된 45개 병원 중 소아과, 산부인과 의사만 조사했다. 임상실습생은 주로 1개의 병원과 2개의 전문분야(산부인과, 내과)에서 유래되었다. PHEEM의 광범위한 적용을 위해, 다른 나라의 다른 전문 분야들 간의 추가 연구가 필요하다.

We used 256 and 339 completed questionnaires, respectively, for this study. These numbers are high enough to perform a reliable exploratory factor analysis and a Mokken scale analysis. Thus, our finding of a 1-dimensional construct as measured by the PHEEM seems plausible. The number of questionnaires is also large enough to give a good estimation of the PHEEM’s reliability. By contrast, the different specialties and hospitals are not represented equally. Among the 45 different hospitals included in our study, we investigated only paediatrics, and obstetrics and gynaecology registrars. Clerks were mainly derived from 1 hospital and 2 specialties (obstetrics and gynaecology, and internal medicine). For widespread application of the PHEEM, further research among other specialties in different countries is necessary.


PHEEM의 기초가 되는 구조를 단 1개 발견했기 때문에 임상 학습 환경을 정확히 구성하는 것이 무엇인지 조사하는 것이 흥미로울 것이다. 다시 말해서 PHEEM의 내용 유효성은 무엇인가?

Because we found only 1 construct underlying the PHEEM, it would be of interest to investigate what exactly constitutes the clinical learning environment: in other words, what is the content validity of the PHEEM?


PHEEM은 점원과 등록자 모두의 임상 학습 환경을 측정하기 위한, 신뢰할 수 있는, 단차원 설문지이다.

The PHEEM is a 1-dimensional, reliable questionnaire for measuring the clinical learning environment for both clerks and registrars.



16 Roff S, McAleer S, Skinner A. Development and validation of an instrument to measure the postgraduate clinical learning and teaching educational environment for hospital-based junior doctors in the UK. Med Teach 2005;27 (4):326–31.











 2007 Jan;41(1):92-9.

Psychometric properties of an instrument to measure the clinical learning environment.

Author information

1
Department of Medical Education, Sint Lucas Andreas Hospital, Amsterdam, The Netherlands. k.boor@slaz.nl

Abstract

OBJECTIVES:

The clinical learning environment is an influential factor in work-based learning. Evaluation of this environment gives insight into the educational functioning of clinical departments. The Postgraduate Hospital Educational Environment Measure (PHEEM) is an evaluation tool consisting of a validated questionnaire with 3 subscales. In this paper we further investigate the psychometric properties of the PHEEM. We set out to validate the 3 subscales and test the reliability of the PHEEM for both clerks (clinical medical students) and registrars (specialists in training).

METHODS:

Clerks and registrars from different hospitals and specialties filled out the PHEEM. To investigate the construct validity of the 3 subscales, we used an exploratory factor analysis followed by varimax rotation, and a cluster analysis known as Mokken scale analysis. We estimated the reliability of the questionnaire by means of variance components according to generalisability theory.

RESULTS:

A total of 256 clerks and 339 registrars filled out the questionnaire. The exploratory factor analysis plus varimax rotation suggested a 1-dimensional scale. The Mokken scale analysis confirmed this result. The reliability analysis showed a reliable outcome for 1 department with 14 clerks or 11 registrars. For multiple departments 3 respondents combined with 10 departments provide a reliable outcome for both groups.

DISCUSSION:

The PHEEM is a questionnaire measuring 1 dimension instead of the hypothesised 3 dimensions. The sample size required to achieve a reliable outcome is feasible. The instrument can be used to evaluate both single and multiple departments for both clerks and registrars.

PMID:
 
17209897
 
DOI:
 
10.1111/j.1365-2929.2006.02651.x


교육환경(교수학습의 ABC) (BMJ, 2003)

Educational environment (ABC of learning and teaching) (BMJ, 2003)

Linda Hutchinson




배움은 몇 가지 요인에 따라 다르지만 중요한 단계는 학습자의 참여다. 이것은 그들의 동기와 관련성에 대한 인식에 의해 영향을 받는다. 이는 다시 학습자의 이전 경험과 선호하는 학습 스타일과 학습이 이루어지는 맥락과 환경에 의해 영향을 받을 수 있다. 성인 학습 이론에서 가르침은 지식을 전달하거나 전문 지식을 공유하는 것과 마찬가지로 학습의 맥락이나 풍토를 정하는 것이다.

Learning depends on several factors, but a crucial step is the engagement of the learner. This is affected by their motivation and perception of relevance. These, in turn, can be affected by learners’ previous experiences and preferred learning styles and by the context and environment in which the learning is taking place. In adult learning theories, teaching is as much about setting the context or climate for learning as it is about imparting knowledge or sharing expertise.


동기

Motivation


동기부여는 내재적(학생으로부터)이거나 외재적(외적 요인으로부터)일 수 있다.

Motivation can be intrinsic (from the student) and extrinsic (from external factors).


동기부여에 있어서 선생님의 역할은 과소평가되어서는 안 된다. 과목에 대한 열성, 학생들의 경험에 대한 관심, 명확한 방향(다른 것보다도)은 모두 학생들의 관심을 유지하고 정보와 이해의 동화를 개선하는 데 도움이 된다.

A teacher’s role in motivation should not be underestimated. Enthusiasm for the subject, interest in the students’ experiences, and clear direction (among other things) all help to keep students’ attention and improve assimilation of information and understanding.


그러나 좋은 내재적 동기 부여에도 불구하고 외부적 요인은 동기부여와 환멸을 감소시킬 수 있다. 방해, 교사들의 도움이 되지 않는 태도, 그리고 신체적 불편함은 학습자들을 혼란스럽게 할 것이다. 매슬로는 동기부여의 구성 요소를 설명하기 위한 모델을 설명했다. 각 층은 "자기 실현"의 정점에 도달하기 전에 제자리에 있어야 한다.

Even with good intrinsic motivation, however, external factors can demotivate and disillusion. Distractions, unhelpful attitudes of teachers, and physical discomfort will prompt learners to disengage. Maslow described a model to illustrate the building blocks of motivation. Each layer needs to be in place before the pinnacle of “self actualisation” is reached.



생리적 요구

Physiological needs


예를 들어, 많은 교사들은 춥거나 과열된 방에서, 다과가 없는 긴 시간 동안, 시끄러운 방에서, 불편한 좌석이 있는 시설에서 세션을 운영하는 것의 어려움을 경험했을 것이다.

many teachers will have experienced, for example, the difficulties of running sessions in cold or overheated rooms, in long sessions without refreshments, in noisy rooms, in facilities with uncomfortable seating.


신체적 요인은 학습자와 교사들이 긴장을 풀고 주의를 기울이기 어렵게 할 수 있다. 적절한 휴식을 보장하고 신체적인 환경을 배려하는 것은 선생님의 역할의 일부분이다.

Physical factors can make it difficult for learners and teachers to relax and pay attention. Ensuring adequate breaks and being mindful of the physical environment are part of the teacher’s role.


안전

Safety


교사는 학습자가 안심하고 실험하고, 우려의 목소리를 내고, 지식 부족을 파악하고, 한계를 넓히는 환경을 제공하는 것을 목표로 해야 한다. 예를 들어, 굴욕, 괴롭힘, 그리고 개인적인 세부사항의 강제적인 공개 위협을 통해 안전이 훼손될 수 있다.

A teacher should aim to provide an environment in which learners feel safe to experiment, voice their concerns, identify their lack of knowledge, and stretch their limits. Safety can be compromised, for example, through humiliation, harassment, and threat of forced disclosure of personal details.


이름을 기억하고 학습자를 기본 규칙 설정에 참여시키는 것은 상호 신뢰를 쌓는 또 다른 예다.

Remembering names and involving the learners in setting ground rules are other examples of building mutual trust.


소속감

Belonging


많은 요소들이 학생들에게 그룹이나 팀에 소속감을 주는 데 도움을 준다. 예를 들어 존경받는 멤버가 되는 것, 자신의 목소리를 듣고 경청받는 것, 유용한 역할이 주어지는 것, 비슷한 배경, 경험, 목표를 가진 동료들이 그것이다.

Many factors help to give a student a sense of belonging in a group or team—for example, being a respected member, having one’s voice heard and attended to, being given a useful role, and having colleagues with similar backgrounds, experiences, and goals.


학습자들은 포함inclusion과 상담을 통해 동기부여를 받는다. 강좌의 목적과 구조물에 그들의 의견, 평가되고 있는 철저히 추구하여야 한다. 임상실습에서 교수는 의대생들이 무시, 소외 또는 "방해"라고 느끼지 않도록 도와야 한다. 대신에 학생들은 임상 단위나 팀의 자산으로 평가value되어야 한다.

Learners are motivated through inclusion and consultation. Their input to a course’s objectives and structure should be sought, valued, and acted on. On clinical placements, staff should help to prevent medical students from feeling ignored, marginalised, or “in the way.” Students should instead be valued as assets to a clinical unit or team.


자존감

Self esteem


파괴적인 비평보다는 칭찬, 감사의 말, 건설적인 비평이 중요하다. 자존감을 형성하는 데는 많은 긍정적인 순간들이 걸릴 수 있지만, 그것을 파괴하는 데는 단지 한 가지 불친절하고 사려 깊지 못한 논평이 필요하다.

Praise, words of appreciation, and constructive rather than destructive criticism are important. It can take many positive moments to build self esteem, but just one unkind and thoughtless comment to destroy it.


의사들은 의사-환자 관계에서 그들의 역할에 잘 익숙하다. 어떤 사람들은 같은 기술과 태도를 교사-학생 관계에 번역translate하는 것을 어려워한다. 그들 자신의 교육 경험이나 그들 자신의 산만함, 시간 압박, 그리고 다른 스트레스들이 요인일 수 있다.

Doctors are well used to their role in the doctor-patient relationship. Some find it hard to translate the same skills and attitudes to the teacher-student relationship. Their own experience of education or their own distractions, time pressures, and other stresses may be factors.


자기실현

Self actualisation


불안감 없이 내재적 동기부여를 장려하는 기풍은 "깊은" 학습 접근에 도움이 된다. 하지만, 일부 사람들은 제공되는 교육에 응답하지 못할 수도 있다. 교사들은 그 과정(또는 그 특정 학습)이 그 학생에게 적합한지 여부를 고려할 필요가 있을 것이다.

An ethos that encourages intrinsic motivation without anxiety is conducive to a “deep” learning approach. However, there may be some who remain unable to respond to the education on offer. Teachers may need to consider whether the course (or that particular piece of study) is suitable for that student.


관련성

Relevance


학생들이 배우고 있는 것에 대한 관련성에 대한 인식은 학습에 필수적인 동기부여가 된다.

Students’ perception of the relevance of what they are being taught is a vital motivator for learning


학습의 관련성은 동기부여와 밀접하게 연관되어 있다. 즉, 즉각적인 필요성, 향후 작업에 대한 적합성, 내용에 관계 없이 자격증이나 학위를 취득하는 것과 관련이 있다. 학습을 위한 학습이 직업적 또는 산업적 준비를 향한 움직임 후에 고등 교육에서 다시 유행하고 있다.

The relevance of learning is closely linked to motivation: relevance for immediate needs, for future work, of getting a certificate or degree regardless of content. Learning for learning’s sake is back in vogue in higher education after a move towards vocational or industrial preparation.


어떤 의학 학위 과정들은 학생들에게 악명 높게 평가되어 왔다. 교수들은 학생들에게 왜 이런 과정이 필요한지, 그리고 어떻게 그들이 미래의 실습과 연결되는지 설명할 필요가 있다. 그들이 초기 임상 노출과 경험을 통해 스스로 볼 수 있도록 하는 것이 도움이 될 것 같다. 마찬가지로, 임상 상황의 맥락에서 기초 의학을 배우는 것은 PBL의 기초가 된다.

Certain courses in medical degrees have been notoriously poorly received by students. Faculty members need to explain to students why these courses are necessary and how they link to future practice. Allowing themto see for themselves, through early clinical exposure and experience, is likely to be helpful. Similarly, learning the basic medical sciences in the context of clinical situations is the basis for problembased learning.


교사가 자신이 잘 모르는 학습자와 일회성 세션을 수행하도록 요청받은 경우, 

세션을 시작하기 전에 학습자가 무엇을 알고, 무엇을 알고싶어하고, 무엇을 배워야하는지 결정하여 준비해야 한다. 

이것은 학습자에 대한 존경심을 포함하고 보여주며 그들이 세션에 투자하도록 격려한다.

If a teacher is asked to do a one-off session with learners they don’t know, he or she should prepare—both before and at the start of the session—by determining what the learners know, want to know, and expect to learn. This involves and shows respect for the learners and encourages themto invest in the session


롤모델로서 선생

Teacher as role model


교사나 조력자는 교육 환경에서 가장 강력한 변수 중 하나이다. 선생님의 행동, 태도(목소리, 논평에서 증명된 바와 같이), 열정, 그리고 그 주제에 대한 관심이 학습자들에게 간접적으로 영향을 미칠 것이다. 잠재의식적인 메세지의 능력은 엄청나다. 교수들에 의한 부적절한 행동이나 표현은 눈에 띌 것이다; 최악의 경우에는 학습자들은 그 행동을 따라할 것이며, 가장 좋게 봐줘봐야 학생들은 그런 행동에 대한 암묵적인 허락을 받은 것이다.

The teacher or facilitator is one of the most powerful variables in the educational environment. The teacher’s actions, attitudes (as evidenced by tone of voice, comments made), enthusiasm, and interest in the subject will affect learners indirectly. The capacity for subliminal messages is enormous. Inappropriate behaviour or expression by a staff member will be noticed; at worst the learners will want to emulate that behaviour, at best they will have been given tacit permission to do so.


(나쁜 태도를 포함하여) 태도를 "배우는" 것은 쉽다. 태도는 상대적인 권력이나 연공자의 관찰을 통해 배운다. 

그러므로 교사들은 학생들이 있는 곳에서 좋은 역할 모델을 제공한다는 것을 알아야 한다.

It is easy to “learn” attitudes—including poor attitudes. Attitudes are learnt through observation of those in relative power or seniority. Teachers must therefore be aware of providing good role modelling in the presence of students


학습환경 최대화하기

Maximising educational environment


교실, 튜토리얼, 세미나, 강의

Classroom, tutorials, seminars, lectures



실내 온도, 편안한 좌석, 배경 소음, 시각적 산만함은 모두 집중력과 의욕에 영향을 미칠 수 있는 환경의 요인이다. 일부는 선생님의 통제하에 있고, 다른 일부는 그렇지 않다.

Room temperature, comfort of seating, background noise, and visual distractions are all factors of the environment that can affect concentration and motivation. Some are within the teacher’s control, others not.


학습자와 그들의 필요성에 대한 존중, 칭찬, 참여의 격려는 모두 긍정적인 학습 경험으로 이어질 수 있다. 비록 도전은 보람 있고 즐거울 수 있지만, 개인의 진실성integrity과 자존감에 대한 위협의 부족은 필수적이다.

Respect for the learners and their needs, praise, encouragement of participation can all lead to a positive learning experience. Lack of threat to personal integrity and self esteem is essential, although challenges can be rewarding and enjoyable.


소규모 그룹 교육은 개인의 피드백을 용이하게 하지만, 사용된 좌석 배치는 학생 참여에 중요한 영향을 미칠 것이다. 예를 들어, 학생들이 전통적인 교실 줄에 앉는다면, 가장자리에 있는 학생들은 제외되었다고 느낄 것이다. 원형 형식은 상호작용을 장려한다. 그것은 교사가 말 많은 사람과 나란히 앉게 하여 눈에 띄지 않게 하고 그들의 입력을 감소시킨다. 조용한 학생은 비언어적 수단을 통해 참여를 장려하기 위해 반대편에 배치될 수 있다. 학생들은 또한 어떤 주제에 대해 무절제한 그룹으로 작업할 수 있어 팀별로 작업하고 학습 과제를 공유할 수 있다.

Small group teaching facilitates individual feedback, but the seating arrangement used will have an important effect on student participation. If, for example, students sit in traditional classroom rows, those on the edges will feel excluded. A circular format encourages interaction. It allows the teacher to sit alongside a talkative person, thus keeping them out of eye contact and reducing their input. A quiet student can be placed opposite to encourage participation through non-verbal means. Students can also work in unfacilitated groups on a topic, enabling them to work in teams and share the learning tasks.


양호한 물리적 환경을 보장하기 위한 체크리스트 

  • 그 방은 사이즈가 맞니? 

  • 온도는 편안한가? 

  • 산만함(소음, 시각적 산만함)이 있는가, 아니면 외부인가? 

  • 좌석이 적절한가, 그리고 어떻게 배치되어야 하는가? 

  • 시청각 장비가 작동하는가? 


Checklist to ensure good physical environment 

  • Is the room the right size? 

  • Is the temperature comfortable? 

  • Are there distractions (noise, visual distractions inside or outside)? 

  • Is the seating adequate, and how should it be arranged? 

  • Does the audiovisual equipment work? 


임상환경

Clinical settings


실제 생활 환경에서는 교사와 임상의사의 이중 역할이 복잡할 수 있다. 학생들은 임상에 대한 숨겨진 메시지를 수집하면서 임상의사를 면밀히 관찰할 것이다. 그들은 그들이 불필요하게 환자나 가족에게 고통을 주거나 해를 끼칠 위험이 없다는 것을 느낄 필요가 있다. 그들은 또한 굴욕으로부터 안전함을 느낄 필요가 있다. 학생이 새로운 자리나 위치에 도착할 때 환영 받고 가치 있게 느끼도록 하는 것은 내내 그들의 학습에 도움이 될 것이다.

In real life settings, the dual role of teacher and clinician can be complicated. The students will be closely observing the clinician, picking up hidden messages about clinical practice. They need to feel that there is no danger that they will unnecessarily distress or harm patients or their families. They also need to feel safe from humiliation. Making them feel welcomed and of value when they arrive at a new placement or post will aid their learning throughout.


임상 환경에서 강의하기 위한 체크리스트 

  • 환자와 가족들은 학생들이 출석할 수 있도록 동의했는가? 

  • 직원은 교육이 계획되어 있다는 것을 알고 그들의 역할이 무엇인지 이해하는가? 모든 참가자를 위한 적절한 공간이 있는가? 

  • 가르치는 데 시간이 얼마나 남았니? 

  • 학생들이 어떻게 유용하다고 느끼도록 만들 수 있는가(예: "예: 사전 클리어링" 및 프레젠테이션)


Checklist for teaching in clinical settings 

  • Have patients and families given consent for students to be present? 

  • Do the staff know that teaching is planned and understand what their roles will be? Is there adequate space for all participants? 

  • How much time is available for teaching? 

  • How may the students be made to feel useful (for example, “pre-clerking” and presenting)?


과정 및 커리큘럼 설계

Course and curriculum design


장단기 코스의 설계자는 잠재적 학습자에게 학습 환경의 관련성을 고려해야 한다. 커리큘럼 위원회에 학생 대표자를 참여시킴으로써 더 많은 학생 중심적 과정을 보장하는 하나의 수단이다.

The designers of short and long courses should consider the relevance of the learning environment to the potential learners. Student representation on curriculum committees is one means of ensuring a more student centred course.


목적, 목적 및 평가는 코스에 앞서 잘 게시되어야 하며, 명시적으로 공정해야 한다. 교수법은 [학습자의 경험]을 토대로 만들어져야 하며, 협력적인 환경을 조성해야 한다. 과정 평가 결과에 이어 직원 교육까지 보급하면 교직원들 사이에서 바람직하지 않은 행동을 파악하고 시정하는 데 도움이 된다. 평가에는 또한 학생들과 함께 코스의 목표와 목표를 검토하는 수단이 포함되어야 한다.

The aims, objectives, and assessments should be signposted well in advance of a course and should be demonstrably fair. The teaching methods should build on learners’ experience, creating a collaborative environment. Disseminating the findings of course evaluations, followed by staff training, helps to identify and correct undesirable behaviour among faculty members. Evaluations should also include a means for reviewing the course’s aims and objectives with the students.


긴 과정에서는 학생 지원 시스템과 집단 정체성을 구축하는 비공식 활동을 고려해야 한다. 어려움이 있는 학생은 조기에 파악해 추가 지원이 필요하다.

In longer courses, student support systems and informal activities that build collective identity must be considered. Students who are having difficulties need to be identified early and given additional support.






. 2003 Mar 15; 326(7389): 591–594.

PMCID: PMC1125480
PMID: 12637408
ABC of learning and teaching in medicine

Learning and teaching in the clinical environment


DREEM 파트2: osteopathic 학생에서 심리측정적 특성(BMC Med Educ, 2014)

The DREEM, part 2: psychometric properties in an osteopathic student population

Brett Vaughan1,2*†, Jane Mulcahy1† and Patrick McLaughlin1,2† 





배경

Background


DREEM(Dundee Ready Education Environment Measure)은 Roff 등에 의해 개발되었다. [1]

The Dundee Ready Educational Environment Measure (DREEM) was developed by Roff et al. [1]



이 검토[3-13] 이후 DREEM을 사용한 추가 연구들이 발표되었다. 단, Hammond 등 이외의 연구도 발표되었다. [3] 아무도 이 척도의 정신학적 특성을 조사하지 않았다.

Additional studies using the DREEM have been published since this review [3-13], however, other than Hammond et al. [3] none investigated the psychometric properties of the measure.


많은 저자들이 DREEM의 요인 구조를 조사했으며 5요소 구조를 재현하지 못했다[3,15-17]. 해먼드 외 [3] DREEM의 심리측정적 특성과 관련된 여러 가지 문제를 강조하였다. 그들의 연구는 DREEM의 원래 5요소 모델에 맞는 것을 생산하기 위해 50개 항목 중 17개를 제거해야 한다는 것을 보여주었다. 유소프 [18]는 말레이시아 의대생 모집단에서 확인 인자 분석(CFA)(1+1 요인 모델과 원래 5 요인 모델의 분석)을 사용하여 DREEM의 5개 모델을 생성했다. 모델 적합은 17개 항목의 원래 5요소 모델을 통해서만 달성되었다. Jakobsson 등이 수행한 탐색 요인 분석. [17] 스웨덴어 버전의 DREEM에 대한 연구에서 5개에서 9개의 요인 솔루션 사이에서 밝혀졌다. 이 저자들은 [3,17,18] DREEM 척도의 내부 일관성과 구성 타당성이 안정적이지 않으며, 모델 자체를 개정할 필요가 있을 수 있다고 결론지었다.

A number of authors have investigated the factor structure of the DREEM and have failed to reproduce the 5-factor structure [3,15-17]. Hammond et al. [3] highlighted a number of issues with the psychometric properties of the DREEM. Their research indicated that in order to produce a fit for the original 5-factor model of the DREEM, 17 out of the 50 items had to be removed. Yusoff [18] produced five models of the DREEM using confirmatory factor analysis (CFA) (plus one one-factor model and an analysis of the original five-factor model) in a Malaysian medical student population. Model fit was only achieved with the original five-factor model with 17 items. An exploratory factor analysis conducted by Jakobsson et al. [17] revealed between five and nine factor solutions in their study of a Swedish version of the DREEM. These authors [3,17,18] have concluded that the internal consistency and construct validity of the measure is not stable, and that the model itself may need to be revised.



방법

Methods


Study design


Participants


Data collection


Data analysis


Data were entered into SPSS for Mac (IBM Corp, USA) for analysis. A flow diagram outlining the data analysis process is found at Figure 1. The data were transformed and a CFA was performed on the data set with the 5-factor structure identified by Roff et al. [19] and then on the 5-factor structure model proposed by Hammond et al. [3]. The SPSS data file was transferred to AMOS Version 21 (IBM Corp) for the CFA calculation using the Maximum Likelihood Estimation method. CFA investigates the fit of the data to the constructed model, and presents relationships between the data in the model and estimations of error. In the CFA a range of model fit statistics are generated to describe how the data fits the model being tested. Readers are encouraged to access Brown [20] and Schreiber et al. [21] who present further detail about the CFA process and the fit statistics. The data were not normally distributed a bootstrapping procedure was applied for each of the two models, 1000 iterations of the data were generated. No changes to either of the models were made based on the results of the CFA.



Given the authors of the DREEM have recommended calculating a total score for the scale, a Rasch analysis is appropriate [22]. Rasch analysis provides a mathematical model of the data that is independent of the sample, rather than the sample dependent calculation used in classical test theory [23,24]. In this analysis, data are fitted to the Rasch mathematical model as closely as possible [23]. The data were converted in SPSS to an ASCII format and imported into the RUMM2030 (RUMM Laboratory, Australia) program for Rasch analysis, where the polytomous Partial Credit Model was used.


The RUMM2030 program produces three model fit statistics in order to determine the fit to the model. The first is an item-trait chi-square (χ2) statistic demonstrating the invariance across the trait being measured. A staχ2 tistically significant Bonferonni-adjusted indicates misfit to the Rasch model. The other two statistics relate to the item-person interaction, where the data is transformed to approximate a z distribution. A fit to the Rasch model is indicated by a mean of 0 and a standard deviation (SD) of 1. Further, individual item and person statistics are presented as residuals and a χ2 statistic. SD’s Residual greater than ± 2.5 and/or significant Bonferroni-adjusted χ2 statistics indicate poor item fit, and residual SD’s greater than ± 2.5 indicate a poorly fitting person(s). Person fit issues can produce misfitting items [25]. Internal consistency of the scale is calculated using the Person Separation Index (PSI) which is the ratio of true variance to observed variance using the logit scores [22]. The minimum PSI is 0.70 for group use which indicates acceptable internal consistency [22].


Examination of the fit of each item to the Rasch model is undertaken by observing the item thresholds and category probability curves. The threshold is the point at which there is an equal probability of the respondent selecting one option over another, in order (i.e. 2 or 3 on the item scale, not 1 or 3). RUMM2030 provides two graphical approaches for observation of the thresholds, a threshold map and the category probability curve. Disordered thresholds can exist where respondents are not selecting the responses in an ordered fashion. This can sometimes be resolved by rescoring the item in order to collapse one or more scale response options into one score. An example of this rescoring is where the original scale scoring was 1, 2, 3, 4, 5 with a disordered threshold; the item may be rescored as 1, 1, 2, 3, 4 for example. To resolve the disordering, RUMM2030 requires that scale options are coded sequentially.


Person fit issues are examined using the fit residual SD. If the SD is between −2.5 and +2.5 then the person’s response to the scale is deemed to fit the Rasch model. Generally, person’s whose responses are outside of this range are removed from the analysis.


Once any person and item issues have been resolved, differential item function (DIF) is examined. DIF is where the response to an item on the scale is consistently dependent upon a factor outside of that being measured on the scale (i.e. age, gender). In RUMM2030, DIF can be viewed graphically and in table form. In the table, a Bonferonni-adjusted statistically significant p-value indicates a significant main effect for that factor. RUMM2030 provides the opportunity to spilt items affected by DIF in order to score the item based on the factor affecting the item [25]. This may produce different subscale or total scale scores. Where DIF is undesirable, the item may need to be removed from the scale.


Residual correlations are then calculated to observe whether there is local dependency. Local dependency is where one item on the scale correlates with another, inflating the PSI. In RUMM2030, items that have a correlation of 0.20 or more are examined. Where there is a substantial change in the PSI (often a decrease), removal of one of the items is often required. When all scale issues have been resolved, a principal components analysis is undertaken to assess the unidimensionality of the scale. Unidimensionality is an underlying assumption of the Rasch model [22,26]. Performing a paired t-test on the items loading on the first factor (or Rasch factor) allows for the examination of whether the person estimate for the first factor differs from that of all of the items combined. When the person estimate is the same for the first factor and all scale items, the scale is determined to be unidimensional. Unidimensionality is a desirable outcome for scales of this type as it indicates that the scale is measuring a single underlying construct. Tennant & Conaghan [22] provide an overview of testing for dimensionality.



결과

Results


표1

Table 1.



전반적 척도

Overall scale


Statistics for the CFA for both models are presented in Table 2. The data from the present study did not fit either model for any of the fit statistics. The path models generated by AMOS are at Additional file 1 (Roff et al. [19] scale) and Additional file 2 (Hammond et al. [3] scale).



The data did not fit the Rasch model as demonstrated by the statistically significant χ2 value (p < 0.0001). The PSI (0.922) indicated internal consistency of the DREEM. The standard deviation fit residuals for both items (1.86) and persons (1.93) were greater than 1.5 indicating that both the DREEM items and person responses did not fit the Rasch model. Poor fit residuals (>2.5) were noted for items 9, 7, 19, 27, 28 and 50, along with statistically significant χ2 values for items 16, 25, 27, 28 and 35, indicating a poor fit of these items to the Rasch model. Disordered thresholds were observed for items 1, 2, 5–7, 12–16, 18–24, 27, 28, 33–35, 38, 40–45, 47 and 49. Forty-four persons also failed to fit the Rasch model. Differential item functioning was analysed for each item. Age and receiving a government allowance did not impact on any items. Gender (item 45), employment (item 31) and year level (items 2, 6, 10, 15, 17, 18, 20, 22, 24, 26, 28, 31, 38, 40, 50) demonstrated DIF. Six separate Rasch analyses failed to produce a satisfactory unidimensional model fit.


Subscale rasch analysis


Perception of teaching


The item-trait interaction was statistically significant (p = 0.000043) suggesting misfit between the data and Rasch model. The PSI was 0.853 indicating acceptable internal consistency. Person fit was acceptable (fit residual SD= 1.30) however the item fit residual SD was 1.69, beyond the recommended cut-off of 1.50.


Four separate analyses were conducted that included recoding of item response scales, and deletion of misfitting persons and items. A model fit was achieved through the deletion of 5 of 12 items (1, 7, 25, 38, 44) and the removal of data for 25 of 245 misfitting persons. No recoding of the remaining scale items was necessary. The model fit statistics were χ2 =0.694, PSI =0.819, item fit residual SD=1.25, and person fit residual SD=0.94. The remaining items were 13, 16, 20, 22, 24, 47, and 48 (Table 3). No threshold disordering was present and the residual correlations did not indicate any local dependency. Age, gender, employment status, and receiving a government allowance did not demonstrate DIF. Items 22 and 24 demonstrated DIF for year level. PCA demonstrated a unidimensional scale.


Perception of Teachers


Academic self-perception


Perception of Atmosphere


Social self-perception




라쉬 분석기반 DREEM 

Rasch-analysed DREEM


The 23 items from the Rasch-analysed subscales were then reanalysed as one whole scale using the Rasch model, in order to determine if the modified 5-factor DREEM was unidimensional. The scale fit statistics were: chi-square (χ2 < 0.001), PSI (0.872), itemfit residual (SD= 1.79) and person fit residual (SD= 1.51). These statistics indicate a poor fit to the Rasch model. Items 26, 46 and 50 demonstrated a poor fit and disordered thresholds were observed for items 13, 16, 20, 21, 22, 24, 34 and 47. Twenty-three misfitting persons were also identified.


Four Rasch models were generated. Ten items (3, 4, 10, 16, 20, 26, 31, 46, 47, 50) were deleted as were data for 28 persons. Rescoring of item 21 was required in order to resolve the threshold disordering – rather than being scored as 0, 1, 2, 3, 4 the itemwas scored 0, 0, 1, 2 and 3 (Figure 2). DIF for age was observed for item 37 and DIF for year level was observed at item 22, 24, and 37. Item 37 was subsequently deleted and this also resolved the DIF for item 22. The scale fit statistics following these modifications were: chi-square (χ2 = 0.421), PSI (0.859), item fit residual (SD= 1.04) and person fit residual (SD= 1.00). No residual correlations were observed and the PCA indicated the scale was unidimensional. The 12-item version of the DREEMcan be summed to produce a total score for the scale. The threshold map for the revised scale is at Figure 3. The personitem threshold is displayed at Figure 4 and demonstrates a mean person location of 1.578.






고찰

Discussion


본 연구는 고전적인 시험 이론과 항목 반응 이론을 모두 사용하여 DREEM의 정신학적 특성을 제시하였다. VU의 골병리학 프로그램에서 학생 모집단의 데이터는 Roff 등이 제안한 DREEM의 a-priori 5-요인 구조에 맞지 않았다. [1] 및 Hammond 등[3]이 제안한 요인 구조. 해먼드 외 [3] 17개 항목은 0.7 미만의 적합 지수를 가지고 있으므로 제거해야 한다는 점에 주목했다. 그러나 이들의 모델링은 18개 항목의 지수가 0.7 미만이고 추가 파일 2의 모델은 18개 항목의 삭제를 나타낸다. 현재 데이터에 맞는 모델을 개발하려면 두 모델에 모두 상당한 변경이 필요할 것이다. Yusoff [18]은 말레이시아 의대생 표본에서 원래의 5요소 구조에 맞추기 위해 DREEM의 단축판(17항목)이 필요하다는 것을 입증했다. 이러한 결과는 본 연구에서 수행된 바와 같이 문항응답이론을 사용하여 DREEM 구조에 대한 추가 분석의 필요성을 뒷받침한다.

This study has presented the psychometric properties of the DREEM using both classical test theory and item response theory. Data from the student population in the osteopathy program at VU did not fit either the a-priori 5-factor structure of the DREEM proposed by Roff et al. [1] nor the factor structure proposed by Hammond et al. [3]. Hammond et al. [3] noted that 17 items had fit indices less than 0.7 and should be removed. However their modelling suggested that 18 items had indices less than 0.7 and the model at Additional file 2 represents the deletion of 18 items. Significant changes to both models would be required in order to develop a model that fits the current data. Yusoff [18] demonstrated in a sample of Malaysian medical students, that a shortened version (17 items) of the DREEM was required in order to fit the original five factor structure. These results support the need for further analysis of the structure of the DREEM using item response theory, as undertaken in the present study.


Rasch 분석은 반응과 무관하게 척도를 분석할 수 있는 기회를 제공하며, 척도를 정련하여 심리측정적 가치를 높일 수 있는 역할을 할 수 있다. 데이터는 탐사 인자 분석을 통해 확인된 a-priori 구조(즉, CFA) 또는 요인 구조에 데이터를 맞추는 대신 Rasch 수학적 모델에 적합하다. DREEM의 데이터를 Rasch 모델에 입력했으며 전체 50개 항목 규모에 적합한 모델을 식별할 수 없었다. 해먼드 외 [3] DREEM이 1-요인 척도일 수 있음을 제안하였다. Rasch 모델에 맞지 않는다는 것은 50개 항목 DREEM이 단차원적이지 않으며 교육 환경의 기본적인 a-priori 구조를 측정하지 않을 수 있음을 시사한다. 이 결과는 또한 각 항목의 결과를 DREEM의 총 점수로 합산하는 것이 문제가 될 수 있으며 타당한 실천sound practice이 아닐 수 있음을 시사한다[27].

Rasch analysis provides an opportunity to analyse a scale independently of the responses and can play a part in refining a scale to enhance its psychometric value. Data is fitted to the Rasch mathematical model rather than fitting the data to the a-priori structure (i.e. CFA) or factor structure identified through an exploratory factor analysis. Data from the DREEM were entered into the Rasch model and no suitable model could be identified for the full 50-item scale. Hammond et al. [3] suggested that the DREEM may be a one-factor scale. The lack of fit to the Rasch model suggests the 50-item DREEM is not unidimensional and possibly not measuring the underlying a-priori construct of educational environment. This result also suggests that summing the result of each item into a total score for the DREEM may be problematic and not sound practice [27].



DREEM의 50개 항목 버전에 대한 PSI는 0.922로, 스케일이 내부적으로 일치함을 나타낸다. 이는 크론바흐의 알파 점수가 0.75 [28], 0.87 [5], 0.89 [29], 0.90 [6,30], 0.912 [31], 0.93 [7,18,32,33]인 저자와 일치한다. 알파 점수의 이러한 변동성은 통계의 표본 의존성을 입증하며 저자가 DREEM의 심리학적 상태를 계속 조사해야 할 필요성을 뒷받침한다. 또한 0.90을 초과하는 알파 점수는 DREEM 항목에 중복성이 있을 수 있음을 시사한다. 서로 강하게 상관관계가 있는 항목은 점수를 부풀릴 수 있기 때문이다.

The PSI for the 50-item version of the DREEM was 0.922 indicating that the scale is internally consistent. This is in agreement with a range of authors who have reported Cronbach’s alpha scores of 0.75 [28], 0.87 [5], 0.89 [29], 0.90 [6,30], 0.912 [31], and 0.93 [7,18,32,33]. This variability in alpha scores demonstrates the sample-dependent nature of the statistic and supports the need for authors to continue to investigate the psychometrics of the DREEM. Additionally, the alpha scores over 0.90 suggest that there may be redundancy in the DREEM items, as items that correlate strongly with each other can inflate the score.



DREEM에 복수의 치수가 있는지 확인하기 위해, Roff 등으로부터 식별된 각 항목에서 Rasch 분석을 실시했다. [19. 다양한 퀄리티의 5개 하위항목별 Rasch 모델 적합이 달성되었다. 가장 잘 맞는 것은 PSI가 0.80이 넘는 SPL 척도였. 이것은 이 하위 척도에 대한 크론바흐의 알파 점수가 종종 강한 이전의 연구와 일치한다. 예를 들어, Hammond 등. [3]와 De Oliveira Filho 등[34]은 비록 Ostapczuk 등이지만 의대생 모집단에서 각각 0.80과 0.82의 알파 점수를 보고했다. [9] 독일 치과의학 학생 모집단에서 알파 점수가 0.70이라고 보고했다. 현재 연구에서 이 하위 척도의 정교화는 내적 일관성에 큰 영향을 미치지 않았으며 나머지 7개 항목은 학생들의 교수에 대한 인식의 척도를 제공하는 것으로 보인다. 단일 하위 척도로서 1차원이며 각 항목에 대한 반응을 종합하여 총점을 만들 수 있다.

In order to establish whether there were multiple dimensions to the DREEM, Rasch analyses were conducted for the items on each of the subscales identified by Roff et al. [19]. Rasch model fit was achieved for each of the 5 subscales with varying degrees of quality of fit. The strongest fit was the Perception of Teaching subscale where the PSI was over 0.80. This is consistent with previous research where the Cronbach’s alpha score for this subscale is often strong. For example, Hammond et. al. [3] and De Oliveira Filho et al. [34] reported alpha scores of 0.80 and 0.82 respectively in medical student populations, although Ostapczuk et al. [9] reported an alpha score of 0.70 in a German dental student population. In the current study the refinement of this subscale has not significantly impacted internal consistency and it would appear that that the remaining 7 items provide a measure of students’ perception of teaching. As a single subscale, it is unidimensional and the responses to each item can be summed to create a total score.


본 연구에서는 교육과정의 학년에 의해 영향을 받는 항목이 몇 가지 있었다. 항목 22(교직은 나의 자신감을 계발할 만큼 충분히 염려된다)와 24(교직 시간은 잘 활용된다)는 둘 다 학년에 따른 DIF를 입증했다. 이 두 항목은 다른 여러 항목과 함께 2학년 학생들과 다른 모든 학년 수준 간에 서로 다른 응답 패턴을 보였다. 본 연구의 제1부에서는, 제2학년도의 골수학 프로그램에 대한 학생들의 인식에 여러 가지 문제가 있는 것으로 확인되었다. 이러한 인식의 차이는 이러한 항목과 함께 DIF가 존재하는 이유일 수 있으며, 향후 연구에서는 학년이 이러한 항목에 영향을 미치는지 여부를 조사해야 한다.

In the current study there were some instances of items being affected by year level in the course. Items 22 (The teaching is sufficiently concerned to develop my confidence) and 24 (The teaching time is put to good use) both demonstrated DIF for year level. These two items, along with a number of other items, exhibited different response patterns between year 2 students and all other year levels. In part 1 of this study, it was identified that there were a number of issues with the students’ perception of the osteopathy program in year 2. This difference in perception may be the reason for the presence of DIF with these items, and future studies should investigate whether student year level affects these items.


문항 자체 및 척도 완성 방법과 관련된 여러 가지 문제가 식별되었다. 이 문제는 항목의 표현이나 '중립neutral' 범주의 사용에 있을 수 있다. systematic한 응답편향 문제를 피하기 위해 사용되기는 하지만, 부정적 단어 또는 표현된 항목은 잠재적으로 문제가 될 수 있다[35].

There were a number of issues identified that related to the items themselves and the way that participants completing the measure responded to them. It is possible that the issue may lie in the wording of the item, or the use of a ‘neutral’ response category. Negatively worded or phrased items are potentially problematic [35] although they are used to avoid systematic response bias issues.


이 문구는 항목에 대한 해석이 사람마다 불균일하게 다르다는 것을 의미할 수 있으며, CTT와 IRT에서 모두 척도의 심리측정적 특성에 영향을 미칠 수 있다. 본 연구에서는, 부정적으로 표현된 많은 항목들이 척도의 단축버전에 유지되었다. 그 예로는 11항(교직은 지나치게 교사 중심적이다)이 있다. 반대로 9번 항목(교사들은 권위주의적이다)은 삭제되었다. 학생들은 이것이 상당히 강한 표현이며 그 문항에 대한 예상 점수에 부합하지 않는 방식으로 반응하는 것으로 인식될 수 있다.

The phraseology can mean that the interpretation of the item varies from person to person in a non-uniform manner and can impact on the psychometrics of a scale, both in CTT and IRT. In the present study, a number of negatively phrased items were retained in the brief version of the measure. An example is item 11 (The teaching is too teacher-centred) in the Perception of Teaching subscale. Conversely, item 9 (The teachers are authoritarian) was removed. Students possibly perceived this to be quite a strong statement and responding to the item in such a way that it did not fit the expected score for that item.


이전에 자기보고식 척도에서 중립적인neutral 응답옵션에 문제가 있을 수 있다는 주장이 제기되었으며, 일부는 이 점수 매기기 방법에 반대하였다[36,37]. 콜라 외 [38]에서는 응답 범주가 척도상의 진정한 중간점으로 인식되지 않는 경우에 특히 그러하다고 제안하였다. 이 저자들은 응답자들이 문항에 어떻게 반응해야 할지 확실하지 않을 때 이러한 유형의 중간점을 사용하는 것을 "쓰레기통dumping ground"라고 표현했다. 

It has been previously suggested there may be issues with neutral response options in self-report measures and some have counselled against this method of scoring [36,37]. Kulas et al. [38] have suggested this is particularly so if the respondents do not perceive the response category to be a true mid-point of the statements on the scale. These authors suggested the term‘dumping ground’ for this type of midpoint as respondents are likely to use it when they are unsure of how to respond to the item. 


현재 연구에서는 문항을 rescore할 수 없었기 때문에 Rasch 분석 중에 제거된 여러 항목이 있을 수 있다. 응답은 다른 인접 응답 옵션과 유사한 항목을 다시 검색하기 위해 함께 접을 수 있다[37]. 예를 들어, DREEM에서 'SD'와 'D' 반응은 모두 동의하지 않음을 나타내기 합쳐질 있다. 중립 응답은 다른 응답과 합치는collapse 것이 불가능하다. 본 연구의 항목 21은 이러한 재구성의 예를 제공하며 그 효과는 그림 2에서 입증된다.

In the current study it is possible that a number of items that were removed during the Rasch analysis because it was not possible to rescore the items. Responses can only be collapsed together to rescore the item where they are similar with another adjacent response option [37]. For example, in the DREEM the ‘strongly disagree’ and ‘disagree’ responses can be collapsed together, as they both represent the same do not agree responses. It is not possible to collapse another response with the neutral response category. Item 21 in the present study provides an example of this rescoring and the effect is demonstrated at Figure 2.


5요인 DREEM

Five-factor DREEM


본 연구는 5개 항목별 개별 Rasch 분석을 기반으로 DREEM의 수정된 버전을 개발하였다(표 3). 각 하위 척도를 분석하여 항목이 각 인자의 구조를 측정하는지 여부를 판단하였다. 비록 5개 항목 중 4개 항목에서 PSI가 허용 수준 0.70 미만이었지만, 5개 subscale 모두에 대해 Rasch 모델에 장착되었다[22]. 오직 perception of teaching 척도만이 허용 가능한 PSI를 달성했다. 저자들은 대부분의 subscale에 대한 낮은 PSI 값을 고려할 때 DREEM(50개 항목)의 원래 버전을 사용할 경우 주의를 기울여야 한다고 제안한다. 이러한 낮은 PSI 값은 크론바흐 알파와 표본에 독립적인 PSI 사이의 차이를 강조한다. 

The present study has developed a modified version of the DREEM based on individual Rasch analyses of the 5 subscales (Table 3). Each subscale was analysed to determine if the items were measuring the construct of each factor. Fit to the Rasch model was achieved for all 5 subscales albeit that the PSI for 4 out the 5 subscales was below an acceptable level of 0.70 [22]. Only the Perception of Teaching subscale achieved an acceptable PSI. The authors suggest caution should be applied if the original version of the DREEM (50 items) is to be used, given the low PSI values for the majority of the subscales. These low PSI values highlight the difference between the sample-dependent nature of Cronbach’s alpha and the sample-independent PSI. 


후속 연구가 이 5요인 버전의 DREEM을 사용하려는 경우, 5개의 독립적인 단차원 척도로 구성된다는 점을 감안할 때 총점이 생성되어서는 안 된다. 그러나 각 하위 척도 내의 항목은 합계sum될 수 있다. 본 연구와 마찬가지로, Hammond 등에 의한 연구. [3]와 Yusoff[18]는 심리측정적으로 타당한 척도를 개발하기 위해 DREEM에서 상당한 수의 문항을 제거했다.

If subsequent studies are to use this 5-factor version of the DREEM, a total score should not be generated, given that it consists of 5 independent unidimensional scales. However, the items within each subscale can be summed. As in the present study, the studies by Hammond et al. [3] and Yusoff [18] removed a substantial number of items from the DREEM in order to develop a psychometrically sound scale.


제거된 문항을 재검토하는 것이 중요하다. 

    • 왜냐하면 그 문항이 교육 풍토의 중요한 측면을 조사할 수 있고, 단어를 바꾸어 재기술 할 수 있기 때문이다. 

    • 또는 모든 항목에 대해 조정된 점수, 중립적 대응 범주를 제거하거나, 다른 유사한 항목과 함께 collapse 수 있기 때문이다 

It is important to review the items that have been removed as 

    • they may investigate important aspects of the educational climate, and could be reworded; 

    • or the scoring adapted for all items, to remove the neutral response category, or collapsed with other similar items. 


부정적인 단어 항목이 문제가 되는 것으로 보고되었지만, Rasch 분석된 항목에는 여전히 이러한 방식으로 단어화된 예들이 있다.

Although negatively worded items have been reported to be problematic, there are instances in the Rasch analysed subscales that are still worded in this manner.


단축형 DREEM

‘Short-form’ DREEM


모델 적합은 12개 항목에서 단차원적인 척도로 달성되었다. 항목24(교습 시간이 잘 사용됨)는 18~20세 사이의 연령에 대한 DIF를 입증했다. 현재 연구에서 개발된 DREEM 단축버전은 (모두 항목 22, 24 및 30만 제외하면), 유소프가 개발한 17개 항목과 거의 중복되지 않는다. 이러한 차이의 가능한 이유는 Yusoff[18] 연구에서 CTT를 사용하고 현재 연구에서 IRT를 사용하기 때문이다. Yusoff 연구에서 17개 항목을 검증하기 위한 추가 작업이 필요하다.

Model fit was achieved for a 12-item scale that was unidimensional. Item24 (The teaching time is put to good use) demonstrated DIF for age with those between 18–20 years of age. There is very little overlap with the 17-item scale developed by Yusoff [18] with only items 22, 24 and 30 appearing in both the short-form version of the DREEM developed in the present study and that developed by Yusoff. A possible reason for this difference is the use of CTT in the Yusoff [18] study and the use of IRT in the present study. Further work to validate the 17-item in the Yusoff study is required.


본 연구에서 개발된 DREEM의 12개 문항 버전은 사회적 자기 인식을 제외하고 원래 DREEM 항목별 항목을 포함하고 있다는 점을 감안할 때 잠재적으로 '단순형' 버전으로 사용될 수 있다. 이러한 규모의 장점은 응답자에 대한 잠재적인 수용성과 관리의 효율성이다. 이 개정된 버전의 DREEM은 그 단차원적 특성을 고려할 때 전체 척도에 대한 총 점수를 산출하기 위해서 합산sum할 수 있다[39]. 건강과학 학생 모집단을 대상으로 유효하거나 신뢰할 수 있는 척도로 사용하기 전에 학습 환경을 평가하기 위해 단형 버전을 검증해야 한다. 이 작업은 전체 DREEM[26]에 대한 응답과 비교하여 추가 학생 샘플을 사용하여 수행되는 것이 바람직하다.

The 12-item version of the DREEM developed in the present study could potentially be used as a ‘short-form’ version given that it contains items from each of the original DREEM subscales, except Social self-perception. The advantage of such a scale is the potential acceptability to respondents and efficiency of administration. This revised version of the DREEM can be summed to produce a total score for the entire scale given its unidimensional nature [39]. Validation of the short-form version is required to evaluate the learning environment prior to using it as a valid or reliable measure with health science student populations. Preferably this should be undertaken with additional student samples, through comparison with responses to the full DREEM[26].


결론

Conclusions


Rasch 분석과 함께 두 가지 버전의 DREEM이 생산되었다. 

  • 한 버전은 원본 저자가 제안한 5단계 척도에 기초하고 

  • 다른 버전은 12개 항목 '단순형' 버전에 기초한다.

Two versions of the DREEM were produced with the Rasch analysis. One version is based on the 5-factor scale proposed by the original authors and the other a 12-item ‘short-form’ version.


DREEM을 사용하는 기관은 자체 모집단에서 측정의 정신학적 특성을 조사하고 보고하도록 권장된다. 총점 계산 시, 본 연구 결과에 따르면, 교육 환경의 단일 기초 구조를 측정하고 있지 않음을 시사하는 50항목 DREEM도 주의할 것을 권고한다.

Those institutions that use the DREEM are encouraged to investigate and report the psychometric properties of the measure in their own populations. Caution is also advised when calculating a total score the 50-item DREEM given the results of the present study suggest that it is not measuring the single underlying construct of educational environment.







 2014 May 20;14:100. doi: 10.1186/1472-6920-14-100.

The DREEMpart 2psychometric properties in an osteopathic studentpopulation.

Author information

1
Discipline of Osteopathic Medicine, College of Health & Biomedicine, Victoria University, Melbourne, Australia. brett.vaughan@vu.edu.au.

Abstract

BACKGROUND:

The Dundee Ready Educational Environment Measure (DREEM) is widely used to assess the educational environment in health professional education programs. A number of authors have identified issues with the psychometric properties of the DREEMPart 1 of this series of papers presented the quantitative data obtained from the DREEM in the context of an Australian osteopathy program. The present study used both classical test theory and item response theory to investigate the DREEM psychometric properties in an osteopathy student population.

METHODS:

Students in the osteopathy program at Victoria University (Melbourne, Australia) were invited to complete the DREEM and a demographic questionnaire at the end of the 2013 teaching year (October 2013). Data were analysed using both classical test theory (confirmatory factor analysis) and item response theory (Rasch analysis).

RESULTS:

Confirmatory factor analysis did not demonstrate model fit for the original 5-factor DREEMsubscale structure. Rasch analysis failed to identify a unidimensional model fit for the 50-item scale, however model fit was achieved for each of the 5 subscales independently. A 12-item version of the DREEM was developed that demonstrated good fit to the Rasch model, however, there may be an issue with the targeting of this scale given the mean item-person location being greater than 1.

CONCLUSIONS:

Given that the full 50-item scale is not unidimensional; those using the DREEM should avoid calculating a total score for the scale. The 12-item 'short-form' of the DREEM warrants further investigation as does the subscale structure. To confirm the reliability of the DREEM, as a measure to evaluate the appropriateness of the educational environment of health professionals, further work is required to establish the psychometric properties of the DREEM, with a range of student populations.

PMID:
 
24884704
 
PMCID:
 
PMC4050100
 
DOI:
 
10.1186/1472-6920-14-100


DREEM 파트1: Osteopathy 교육 프로그램의 교육환경 측정(BMC Med Educ, 2014)

The DREEM, part 1: measurement of the educational environment in an osteopathy teaching program

Brett Vaughan1,2*†, Annie Carter1†, Chris Macfarlane1† and Tracy Morrison1†





배경

Background


교육 환경은 초등에서 3차까지, 심지어 대학원 교육까지 전체 스펙트럼에 걸쳐 연구되었다. 교육 환경의 구성요소에는 강의실, 자습서 및 임상 활동, 학습 촉진 및 제약 요소, 동료 학생이 만든 분위기, 그리고 교수, 임상 및 행정 직원을 포함한 교수진이 포함된다[1,2]. 

The educational environment has been studied across the entire spectrum from primary through to tertiary level, and even beyond to post-graduate training. Components of the educational environment include, but are not limited to: 

  • the physical infrastructure such as 

  • rooms for lectures, tutorials and clinical activities; 

  • facilitating and constraining factors for learning; 

  • the atmosphere created by fellow students; and 

  • faculty including teaching, clinical and administrative staff [1,2]. 

교육 환경의 개념과 문제에 대한 훌륭한 담론은 프로그램에 의해 생성된 환경이 학생들의 행동에 영향을 미친다고 지적하는 Gen[3,4], 즉 [4,5], 실천요강의 이해[6] 및 달성된 교육 결과[3,7]를 참조하십시오.

For an excellent discourse on the concepts and issues around the educational environment see Genn [3,4] who points out the environment created by a program impacts student behaviour i.e. 

  • approach to study [4,5], 

  • understanding of practice [6] and 

  • the educational outcomes achieved [3,7].


교육 프로그램 환경을 이해하는 것은 프로그램이 개선될 수 있는 위치를 식별하고, 그 후에 구현되는 변화를 평가함으로써 품질 보장에 도움이 될 수 있다[3,8,9]. 건강 전문가 교육 내에서 환경 측정은 특히 교육 결과에 미치는 영향을 탐구하는 데 어느 정도 관심을 받았다. 특정 교육 이론[1]에 근거하지는 않지만, 건강 전문가 프로그램에서의 교육 환경의 수많은 척도가 발표되었다[10]. 가장 일반적으로 활용되는 척도는 던디 준비 교육 환경 측정[11]이다.

Understanding an educational program environment can assist with quality assurance by identifying where a program can be improved, and subsequently evaluating changes that are implemented [3,8,9]. Within health professional education, measurement of the environment has received some attention exploring particularly the impact on educational outcomes. Although not based on any specific educational theory [1], numerous measures of the educational environment in health professional pro-grams have been published [10]. The most commonly utilised measure is the Dundee Ready Education Environment Measure(DREEM)[11].


Methods


Setting


Participants


Measures


DREEM


DREEM은 Roff 등이 개발한 50항목 질문이다. [11] 보건 전문 교육 프로그램의 교육 환경을 측정한다. 설문지는 다양한 환경 및 다른 국가에서 다양한 건강 전문가 교육자를 포함하는 델파이 접근법을 사용하여 개발되었다. 이와 같이, DREEM은 의료뿐만 아니라 건강 전문가 프로그램 내에서 사용하기에 적절하다고 보고되며, 문화나 맥락에 특정되지 않는다[10,14,15].

The DREEM is a 50-item questionnaire developed by Roff et al. [11] to measure the educational environment in health professional education programs. The questionnaire was developed through the use of a Delphi approach involving a range of health professional educators in different settings and different countries. As such, the DREEM is reported to be appropriate for use within health professional programs, not just medicine, and is not culture or context specific [10,14,15].


각 항목은 5점 리커트 척도를 사용하여 측정한다: 0은 강하게 반대, 1은 반대, 2는 동의 또는 반대, 3은 동의, 4는 강하게 동의한다. 응답자는 진술서를 제출하고 응답자를 선택하도록 요청한다. 항목 4, 8, 9, 17, 25, 35, 39, 48, 50은 부정적으로 단어화되며, 이것들은 총점과 하위 척도를 계산하기 전에 재코딩이 필요하다. 총점, 항목 점수에 대한 DREEM의 해석은 표 1 [2,16]에 제시되어 있다.

Each item is measured using a five point Likert scale: 0 is strongly disagree, 1 is disagree, 2 is neither agree or disagree, 3 is agree and 4 is strongly agree. Respondents are presented with a statement and asked to select a response. Items 4, 8, 9, 17, 25, 35, 39, 48 and 50 are negatively worded and these require recoding prior to calculating the total and subscale scores. The interpretation of the DREEM for the total score, subscales scores and item scores is presented in Table 1 [2,16].



Data collection


Data analysis




결과

Results


인구통계학적 변수는 표 2에 제시되어 있다.

The demographic variables are presented in Table 2.



기술통계

Descriptive statistics


각 DREEM 항목에 대한 기술 통계는 표 3에 제시되어 있으며, 연도별 각 DREEM 항목에 대한 기술 통계는 추가 파일 1로 제시되어 있다.

Descriptive statistics for each of the DREEM items are presented in Table 3 and descriptive statistics for each of the DREEM items by year level are presented as Additional file 1.




내적일관성

Internal consistency


Cronbach의 DREEM의 알파값은 0.923이었다. 제거 항목 28번(나는 좀처럼 외롭지 않다)만이 알파 점수가 0.925로 향상되었다. 항목-총상 상관관계는 DREEM 항목에 대한 표 3에 제시되어 있다. 표 4는 또한 DREEM 항목별 '삭제된 경우' 데이터를 보고한다.

The Cronbach’s alpha for the DREEM was 0.923. Only the removal item 28 (I seldom feel lonely) resulted in an improvement of the alpha score to 0.925. The item-total correlations are presented in the Table 3 for the DREEM items. Table 4 also reports the ‘if item deleted’ data for the DREEM subscales.



Relationship with demographics


Age


최고 수준의 교육 및 임상 교육

Highest level of education and clinical education


학생이 성취한 최고 수준의 교육 수준과 이전 코스의 임상적 요소가 있는지 여부는 총 DREEM 점수(r < 0.09) 또는 하위 척도 점수(r < 0.01)와 관련이 없었다.

The highest level of education achieved by the student and whether the previous course had a clinical component was not related to the total DREEM score (r < 0.09) or subscale scores (r < 0.01).



Between group analysis


Gender


Country of birth


Year level


Living arrangements


Employment


Government allowance


Clinical phase


학생들은 임상전 단계 그룹과 임상전 단계 그룹으로 나뉘었다. 1학년과 2학년은 임상전, 4학년과 5학년은 임상전형으로 분류되었다. 3학년 학생들은 임상 환경에 있지만 1차 환자 관리 책임만 있다. 이러한 이유로 그들은 분석의 임상 단계에 포함되지 않았다. 시기 간 평균 총 DREEM 점수에 대해 통계적으로 유의한 차이가 없었다(F211 =0.178, p = 0.530). 그러나 교사의 지각(F211 =0.080,p=0.014)과 학계의 자기 지각 모집단(F211 = 1.102, p <0.001)의 단계 사이에는 통계적으로 유의한 차이가 있었다. 

Students were divided into pre-clinical and clinical phase groupings. Students in year 1 and 2 were classified as pre-clinical and those in year 4 and 5 were classified as clinical. Students in year 3 are in the clinical setting but only have primary patient care responsibilities late in the year. For this reason they were not included in the clinical phase of the analysis. There was no statistically significant difference for the mean total DREEM score between the phases (F211 =0.178, p = 0.530). There were however statistically significant differences between the phases for the Perception of Teachers (F211 =0.080,p=0.014) and Academic self-perception subscales (F211 = 1.102, p <0.001). 



임상 전 단계의 학생은 교사 지각에 대해 평균점수(33.02 +/- 9.35 대 30.80 +/- 6.61)를 높였고, 임상 단계의 학생들은 학업 자기 지각에 대한 평균점수(22.68 +/- 3.53 대 19.85 +/- 3.89)를 더 많이 제공했다. 이러한 그룹 간의 개별 항목 차이는 추가 파일 2에 제시되어 있다.

Students in the pre-clinical phase provided higher mean scores (33.02 +/− 9.35 vs 30.80 +/− 6.61) for Perception of Teachers, and students in the clinical phase provided higher mean scores for Academic selfperception (22.68 +/− 3.53 vs 19.85 +/− 3.89). Individual item differences between these groups are presented in Additional file 2.


고찰

Discussion


DREEM 데이터를 조회하려면 Miles 등. [17] 결과를 i) 전체, ii) 항목, ii) 항목 세 가지 수준에서 조사해야 한다고 제안한다. 해먼드 외 [18] 또한 DREEM을 사용하는 저자들이 기본적인 정신측정학을 보고할 것을 제안한다.

To interrogate the DREEM data, Miles et al. [17] suggest the results are investigated at three levels: 

  • i) overall; 

  • ii) subscales; 

  • iii) items. 

Hammond et al. [18] also suggest that authors using the DREEM report the basic psychometrics.


DREEM의 평균 총점은 135점이었으며, Lai 등이 제안한 해석에 따르면 다음과 같다. [19] 및 McAleer와 Roff [16], VU 골병증 프로그램은 긍정적인 편인 것으로 분류된다.

The mean total score for the DREEM was 135 and according to the interpretation suggested by Lai et al. [19] and McAleer and Roff [16], the VU osteopathy program would be classified as more positive than negative


그림 3은 브라운 외 연구원이 제시한 데이터에 기초한 평균 DREEM 하위 척도 점수를 나타낸다. [12] 및 현재 연구의 데이터.

Figure 3 demonstrates the mean DREEM subscale scores based on the data presented by Brown et al. [12] and data from the present study.





인구통계

Demographics


성별

Gender


인구 통계학 및 총 DREEM 점수와 관련하여, 연령, 최고 수준의 교육 또는 학생들의 이전 프로그램이 임상 교육 구성요소를 가지고 있는지 여부에 대해 관찰된 관계는 없었다.

With regard to the demographics and total DREEM score, there was no relationship observed for age, highest level of education achieved or whether the students’ previous program had a clinical education component.


학년, 임상시기

Year level & clinical phase


통계적으로 유의한 차이는 총 DREEM 점수 및 모든 하위 척도 점수에 대해 입증되었다(그림 4).

Statistically significant differences were demonstrated for the total DREEMscore and all subscale scores (Figure 4).



문항별 응답

DREEM item responses


항목 수준 결과를 상세히 조사할 때 평균 2 이하의 항목은 주의를 요하며, 2와 3 사이의 항목은 개선할 수 있으며, 3 이상의 항목은 강항목으로 간주된다[16,17]. 강력한 항목과 주의가 필요한 항목은 표 5에 제시되어 있다. 다른 모든 품목은 '개선될 수 있다' 범위 내에 있다. 주의가 필요한 분야를 제시하는 항목 중, 두 가지는 사실적 학습의 강조와 이 정보를 암기해야 하는 후속적 필요성과 관련이 있는 것으로 보인다. DREEM을 사용한 수많은 연구[2,21,24,25]는 동일한 사실적 학습 문제를 강조하였으며, 이 응답은 학생들이 더 깊은 학습의 해악을 위해 표면 학습 전략을 채택하고 있음을 나타내는 것으로 제안되었다. 골수학 프로그램에 대한 검토가 현재 진행 중이며, 그 결과에는 내용 전달, 동료 및 근친상간 교육[2,24] 포함, 현재 포트폴리오[26]에서 5년 이상의 연도까지의 확장, 사실적 학습과 통합 커리큘럼을 강조하지 않는 평가가 포함될 것으로 예상된다[24]. 이 모든 것은 더 깊은 학습자 참여를 장려하고 교육 환경을 개선하는 데 도움이 될 것이다.

When examining the item level results in detail, those items with a mean of 2 or less require attention, those between 2 and 3 could be improved, and above 3 are regarded as being strong items [16,17]. Strong items and those that require attention are presented in Table 5. All other items are within the ‘could be improved’ range. Of the items suggesting areas that require attention, two would appear to be related to an emphasis on factual learning and the subsequent need to memorise this information. Numerous studies [2,21,24,25] using the DREEM have highlighted the same factual learning issue, and it has been suggested this response indicates that students are employing surface learning strategies to the detriment of deeper learning. A review of the osteopathy program is currently underway and it is anticipated that the result will include changes to the delivery of content, inclusion of peer and near-peer teaching [2,24], extension of the current portfolio [26] to year levels beyond year 5, assessments that do not emphasise factual learning and an integrated curriculum [24], all of which will assist in encouraging deeper learner engagement and improve the educational environment.



학생들은 사회적, 교육적 관점에서 볼 때, 교실 환경에 만족하는 것처럼 보인다. 이 결과는 아마도 매 년 수준의 학생들이 같은 해에 골병리학 학생들과 수업하는 동안만 있다는 사실 때문일 것이다; 그들은 VU에서 프로그램 동안 다른 학생들과 함께 하는 수업이 전혀 없다. (거의 전적으로 골수증 학생들과 관련된) 교직원들은 각 학생들이 강의와 자습서에서 좀더 개인적이고 편안한 분위기를 만들어내는 것에 익숙해진다. 많은 저자들은 또한 물리적 환경(예: 건물, 실험실 시설)에 대한 항목이 학생들의 전반적인 인식에 영향을 미칠 수 있기 때문에 DREEM에 추가되어야 한다고 제안했다.

Students appear to be happy with the classroom environment, both from a social and educational standpoint. This result may be attributable to the fact that the students in each year level are only ever in classes with osteopathy students in the same year; they do not have any classes at all during their program with other students at VU. The teaching staff, who are almost exclusively involved with osteopathy students, become familiar with each student creating a more personal, relaxed atmosphere in lectures and tutorials. A number of authors [27,28] have also suggested that an itemabout the physical environment (e.g. buildings, laboratory facilities) be added to the DREEM as these could influence the student’s overall perception.


DREEM의 고전검사이론적 특성

Classical test theory properties of the DREEM


해먼드 외 [18] 저자들은 DREEM의 사용을 보고할 때 정신측정학적 특성을 문서화할 것을 제안한다. 전체 알파 점수는 α=0.923으로 측정값이 내부적으로 이 코호트에 대해 일관되고 이전 연구[29]와 일치하지만 0.9 이상의 알파 점수는 항목 중복성을 나타낼 수 있다. 표 4는 각 하위 척도에 대한 알파 점수를 보고한다. 0.7 이상의 알파 점수는 내부 일관성을 나타내는 것이 일반적으로 받아들여진다. 학술적 자기 인식 및 사회적 자기 인식 subscale에서 이 임계값보다 낮았다(De Oliveria et al과 유사). [29] 및 Kossioni 등. [30]), 어떤 항목이 사회적 하위 척도에서 제거되었을 때에도.

Hammond et al. [18] suggest that authors document the psychometric properties when reporting the use of the DREEM. The overall alpha score was α =0.923 suggesting the measure is internally consistent for this cohort and consistent with previous research [29], however alpha scores over 0.9 can indicate item redundancy. Table 4 reports the alpha scores for each subscale. It is generally accepted that alpha scores over 0.7 indicate internal consistency. The Academic self-perception and Social self-perception subscales were below this threshold (similar to de Oliveria et al. [29] and Kossioni et al. [30]), even when an item was removed from the social subscale.


항목별 알파 점수를 개선하기 위해 삭제 대상으로 식별된 항목 중 많은 항목이 부정적으로 단어화된 항목이 관심이다. 응답은 가변적이며 설문지의 정신측정학적 특성에 부정적인 영향을 미칠 수 있기 때문에 이러한 유형의 항목은 포함하지 않아야 한다고 제안되었다[31,32]. 본 연구는 DREEM 개발자가 보고한 요인 구조를 검증하려고 한 것이 아니라, 이러한 저자가 보고한 항목별 구분을 사용했다. 많은 저자들이 DREEM[18,20]의 원래 요인 구조를 복제할 수 없었고, 이후 내부 일관성과 시공 타당성에 의문을 제기하였다[18]. 비록 현재 연구와 루시아니 외 연구 간에 비교가 이루어졌지만. [13] 및 Brown 등. [12], 두 사람 모두 그들의 연구에서 어떤 정신분석학도 보고하지 않았다. 따라서 DREEM의 성질에 대한 어떠한 판단도 골병증 교육 기관이나 호주 연합 건강 컨텍스트 중 하나에서 하기 어렵다. 

It is of interest that many of the items identified for removal to improve the alpha score for the subscales were negatively worded items. It has been suggested that this type of item should not be included as the responses are variable and can adversely impact the psychometric properties of the questionnaire [31,32]. The present study did not attempt to validate the factor structure reported by the DREEM developers [11], but did use the subscales reported by these authors. A number of authors have not been able to replicate the original factor structure of the DREEM [18,20] and have subsequently questioned its internal consistency and construct validity [18]. Although comparisons have been drawn between the present study and the studies by Luciani et al. [13] and Brown et al. [12], neither reported any psychometrics in their studies. Therefore is it difficult to make any judgements about the properties of the DREEM in either an osteopathy teaching institution or Australian allied health context. 


이전 저자들과 일관되게 [17,18] DREEM을 사용하는 연구자들은 모든 항목, 항목, 항목 및 총점, 성별의 영향, 항목과 항목 및 항목별 해석 방법, 총합 및 항목별 내부 일관성 통계 등을 보고해야 한다. 고전적인 시험 이론과 항목 반응 이론을 이용하여 DREEM의 정신학적 특성을 확립하는 것이 이 일련의 논문에서 파트 2의 주제가 될 것이다.

Consistent with previous authors [17,18], it is suggested that those researchers using the DREEM should report: means and standard deviations for all items, subscales and the total score; effect of gender on total and subscale scores; how the items and subscales were interpreted; and internal consistency statistics for total scale and subscales. Establishing the psychometric properties of the DREEM using classical test theory and item response theory will be the subject of Part 2 in this series of papers.


혁신과 품질 향상은 "...학생들의 학습 경험이 목적적합하고, 동기부여하며, 생산적이고, 즐겁다는 것을 보장하기 위해 모든 건강 전문가 교육 프로그램[2]에 필수적이다[15]. 본 연구에서 제시된 데이터는 호주 연합 건강 프로그램 및 전 세계의 골병증 프로그램에 있는 연구원들에게 그들 자신의 프로그램과 비교할 수 있는 물질/항목을 제공하기 위해 의도적으로 광범위하다.

Innovation and quality improvement are essential for any health professional teaching program [2] to ensure that the “…students’ learning experiences are relevant, motivating, productive, and enjoyable” [15]. The data presented in the present study is deliberately extensive in order to provide researchers in Australian allied health programs, and osteopathy programs around the world, with material/items from which they can draw comparisons with their own programs.


Strengths and limitations


Conclusions







 2014 May 20;14:99. doi: 10.1186/1472-6920-14-99.

The DREEMpart 1measurement of the educational environment in an osteopathy teaching program.

Author information

1
College of Health & Biomedicine, Victoria University, Melbourne, Australia. brett.vaughan@vu.edu.au.

Abstract

BACKGROUND:

Measurement of the educational environment has become more common in health professional education programs. Information gained from these investigations can be used to implement and measure changes to the curricula, educational delivery and the physical environment. A number of questionnaires exist to measure the educational environment, and the most commonly utilised of these is the Dundee Ready Educational Environment Measure (DREEM).

METHODS:

The DREEM was administered to students in all year levels of the osteopathy program at Victoria University (VU), Melbourne, Australia. Students also completed a demographic survey. Inferential and correlational statistics were employed to investigate the educational environment based on the scores obtained from the DREEM.

RESULTS:

A response rate of 90% was achieved. The mean total DREEM score was 135.37 (+/- 19.33) with the scores ranging from 72 to 179. Some subscales and items demonstrated differences for gender, clinical phase, age and whether the student was in receipt of a government allowance.

CONCLUSIONS:

There are a number of areas in the program that are performing well, and some aspects that could be improved. Overall students rated the VU osteopathy program as more positive than negative. The information obtained in the present study has identified areas for improvement and will enable the program leaders to facilitate changes. It will also provide other educational institutions with data on which they can make comparisons with their own programs.

PMID:
 
24884931
 
PMCID:
 
PMC4048620
 
DOI:
 
10.1186/1472-6920-14-99


DREEM의 심리측정적 평가 (BMC Med Educ, 2012)

A psychometric appraisal of the DREEM

Sean M Hammond1*, Margaret O’Rourke2, Martina Kelly2, Deirdre Bennett2 and Siun O’Flynn2




배경

Background


1998년, 세계 의학 교육 연맹은 의료 교육 프로그램의 평가 대상 중 하나로 학습 환경을 강조하였다[1]. 의학 교육자들 사이에서 academic and clinical 환경 모두에서 교육 환경의 영향이 의대생들의 태도, 지식, 기술, 진행 및 행동의 중요한 결정 요소라는 것은 널리 동의되어 있다[2,3]. 학술 사이트와 임상 사이트 모두에서 교육 환경에 대한 평가는 우수한 품질의 학생 중심의 커리큘럼을 제공하는 데 중요하다[4]. 많은 사이트에서 이러한 평가를 수행하려면, 전문 분야와 학생 집단이 포괄적이고, 유효하며, 신뢰할 수 있는 도구를 사용하는 것이 필수적이다.

In 1998, the World Federation for Medical Education highlighted the learning environment as one of the targets for the evaluation of medical education programmes [1]. It is widely agreed among medical educators that the effects of the educational environment, both academic and clinical, are important determinants of medical students attitudes, knowledge, skills, progression and behaviours [2,3]. Evaluation of the educational environment at both academic and clinical sites is key to the delivery of a high quality, student centred curriculum [4]. In order to conduct such evaluation across many sites, specialties and student groups use of a comprehensive, valid and reliable instrument is essential.


DREEM은 의료, 치과, 간호 및 지압 학습 환경과 같은 다양한 의료 환경에서 국제적으로 유용한 것으로 입증되었다[13]. 그것은 변화[18-21]을 도입하기 위한 관점에서 커리큘럼의 약점을 식별하기 위해 사용되었으며, 새로운 커리큘럼 개입의 영향을 평가하기 위해 적용되었다[22,23,16]. 학생 경험에 초점을 맞추면서 학생들의 기대와 경험[24] 또는 학생의 실제적 경험과 이상화된 경험[20] 사이의 차이를 식별하는 데 사용하게 되었다. 더욱이, 의과대학 내의 다른 현장에서의 학생 경험의 차이 [25,26]와 의학교육의 다른 단계에 있는 학생 인식의 차이[22]도 DREEM을 사용하여 조사되었다. DREEM의 한 가지 중요한 용도는 의과대학 간의 국제적 비교를 위한 효용이었다 [27,28]. 이를 통해 의과대학은 그들이 제공하고 있는 교육 환경을 벤치마킹할 수 있게 되었다 [29,30].

The DREEM has proved itself internationally useful in a variety of healthcare settings [13], such as medical, dental, nursing and chiropractic learning environments [14-17]. It has been used to identify weaknesses in curricula with a view to introducing change [18-21], and has been applied to assess the impact of new curricular interventions [22,23,16]. Its focus on student experience has led to its use in identifying the gap between student expectations and experience [24] and student actual and idealised experience [20]. Furthermore, differences between student experience at different sites within medical schools [25,26] and between students perceptions at different stages of their medical education [22], have also been examined using the DREEM. One important use of the DREEM has been as a utility for international comparisons between medical schools [27,28]. This has allowed medical schools to benchmark the educational environment they are providing [29,30].


그것의 개발자들은 DREEM에서 도출한 점수를 해석하기 위한 간단한 지침을 제공함으로써 의료 교육 환경에서 학습 환경을 평가하기 위한 접근 가능하고 사용하기 쉬운 장치를 만들었다[31]. 그럼에도 불구하고, 그것이 국가 간 비교에 매우 일반적으로 사용되고 있기 때문에, 문화적 편견으로부터 보호하기 위해서는, 지속적으로 심리측정적으로 정밀한 검토를 받는 것을 특히 중요하게 만든다. 도구의 심리측정적 특성이 국가 간에 변동이 심하다면, 척도에 기초한 결론은 (신뢰성이 떨어지고 유효성이 부족하여) 실상은 아티팩트artifact를 반영할 수 있다. cross-national하게 사용되는 척도의 정신학적 특성에 대해 엄격한 평가를 해야한다는 요구가 반복되어 왔지만[32-34], 교육 기후 연구에서는 일반적으로 적용되지 않는다.

Its developers have provided a simple guide to interpreting the scores derived from the DREEM making it an accessible and easy-to-use device for evaluating the learning environment in medical education settings [31]. Nevertheless, the fact that it is very commonly used for cross-national comparisons makes it particularly important that it is subject to close ongoing psychometric scrutiny to protect against cultural bias. If the psychometric properties of a device fluctuate across countries, conclusions based on the scale may actually reflect artifacts due to unreliability and lack of validity. There have been repeated calls for rigorous evaluation of the psychometric properties of measures used cross-nationally [32-34], but they are not commonly applied in educational climate studies.


DREEM의 개발자가 수행한 초기 정신측정학 평가[12] 외에, 발표된 연구 중 어떤 세부사항으로도 DREEM의 정신측정학 특성을 보고하는 것은 거의 없다. 두 가지 예외는 포르투갈, 그리스 및 스웨덴의 연구를 포함한다[28,29,35]. 

  • 5개 하위척도에서는 내부 일관성의 variable level을 보여주는 결과가 혼합되었다. 

  • 또한 요인 분석은 DREEM 개발자가 주장하는 5요소 구조를 지지하지 않았다. 

두 연구 모두 DREEM이 분명한 가치를 가지고 있고 서로 다른 프로그램에 걸쳐 잘 일반화되었다고 결론지었지만 그들의 연구에서 드러난 심리측정적 단점들은 추가적인 조사를 유발한다.

Apart from the initial psychometric evaluation of the DREEM carried out by its originators [12], few of the published studies report it’s psychometric properties in any detail. Two exceptions include studies in Portugal, Greece and Sweden [28,29,35]. Results were mixed showing variable levels of internal consistency for the 5 subscales. In addition, factor analyses did not support the 5-factor structure claimed by the DREEM developers. Both studies concluded that the DREEM had clear value and generalized well across different programs but the psychometric shortcomings exposed by their study do invite further scrutiny.




방법

Method


Participants


Materials/Instruments Used


Procedure


Data Management/Analyses



결과

Results


샘플에 있는 DREEM의 기본 정신계 특성은 표 1에 나와 있다.

The basic psychometric properties of the DREEM in our sample are reported in table 1.



오직 두 척도(학습 및 학업 자기 인식)만이 널리 채택된 엄지손가락 가이드의 규칙을 초과하는 알파값을 나타낸다[37]. 대조적으로 총 DREEM 점수는 허용 가능한 수준의 내부 일관성을 나타내는 것으로 보인다. 

Only two of the scales (Perception of Learning and Academic Self-perception) manifest an alpha exceeding the widely adopted rule of thumb guide of 0.70 [37]. The total DREEM score, in contrast, appears to manifest an acceptable level of internal consistency. 


하위척도가 설득력 있는 내부 일관성을 결여하고 있다는 사실은 DREEM의 구인 타당성에 대한 우려를 불러일으킨다. 설문지의 투입 하위 척도 구조를 평가하기 위해 DREEM 점수 키를 가설 매트릭스로 사용하여 다중 그룹 확인 요인 분석 [38,39]을 수행했다. 그 결과는 표 2에 제시되어 있다. 제안된 5요소 모델이 완벽하게 들어맞는다면, 각 DREEM 항목은 0으로 나타나는 다른 모든 요인에 대한 하중과의 통합 값을 생성하는 하나의 요인에만 적재되어야 한다. 그러나 실제로 그러한 완벽한 결과는 결코 발생하지 않으므로, 모델에 적합한 정도를 평가하기 위해 적합성 지수를 사용한다. 이 연구에서 플레밍 지수를 [40] 사용했다. 이것은 각 항목의 적합도(표 2의 마지막 열에 표시됨)와 각 요인이 모형에 맞는 정도(마지막 열에 표시됨)를 보여준다.

The fact that the subscales lack convincing internal consistency raises concerns about the construct validity of the DREEM. In order to evaluate the putative subscale structure of the questionnaire a multiple group confirmatory factor analysis [38,39], was carried out using the DREEM scoring key as an hypothesis matrix. The results are presented in table 2. In a perfect fit to the proposed 5-factor model each DREEM item will load on only one factor producing a value of unity with loadings on all other factors manifesting as zero. In reality such perfect solutions never arise so, in order to evaluate the degree of fit to the model, indices of fit are used. In this study, Fleming’s index is used [40]. This shows the fit for each item (seen in the last column of table 2) and also the degree to which each factor fits the model (seen in the last column).




전체적인 핏은 0.76으로 추정된다. 신호 대 잡음비로서 플레밍의 지수는 크론바흐의 알파 논리를 공유하며 유사하게 해석될 수 있다.따라서 0.76의 지수는 약하지만 수용 가능한 적합 수준을 나타낸다. 그럼에도 불구하고, 복수의 그룹 요인 분석 절차의 친크러스트 기준을 염두에 두고, 해당 모델이 견고하고 신뢰할 수 있는 경우 더 높은 수준의 적합성이 기대될 것이다. 

The overall fit is estimated as 0.76. As a signal to noise ratio, Fleming’s indices share the logic of Cronbach’s alpha and may be interpreted similarly.Therefore, an index of 0.76 represents a weak but acceptable level of fit. Nevertheless, bearing in mind the pro-crustean basis of the multiple group factor analysis procedure, a higher degree of fit would be expected if the model in question was robust and reliable. 


50개 항목 중 17개 항목이 적합 지수 0.70보다 작은 것으로 나타났다. 

It is found that 17 of the 50 items manifest fit indices less than 0.70. 


그것은 요소들 사이의 상관관계를 제공하며 이것들은 표3에 보고되어 있다. 이러한 상관관계는 매우 커서 개별 척도의 독립성에 의문이 제기될 수 있다.

it provides correlations between the factors and these are reported in table3. These correlations are very large suggesting that the independence of the separate scales is open to question.




고찰

Discussion


DREEM은 의심할 여지 없이 의학 교육의 교육 환경을 평가하는 데 유용한 도구로서, 그것의 광범위한 국제적 사용은 그러한 장치가 필요하다는 것을 보여준다. 그러나, 아마도 그것의 정신측정학 신뢰성credentials들을 확립하고 유지하는 데에는 충분히 초점을 맞추지 않았을 것이다. 본 연구는 주의가 필요할 수도 있는 두 가지 우려를 강조한다. 

  • 째, 5 척도의 내부 일관성은 상당히 가변적이며, 이 표본에서는 다소 낮게 나타난다. 

  • 째로, 구인 타당성 (5개 항목별 기준)은 잘 지지되지 않는다. 

이 두 가지 연구 결과는 모두 위에서 인용한 포르투제[28], 그리스어 [29] 및 스웨덴어 [35] 연구와 일치하는 것으로 보인다. 우리의 연구 결과가 아일랜드 의과 학생들에 기초하고 있다는 점을 감안할 때, 이러한 약점들이 번역 때문에 생겼을 가능성은 낮다. 결과적으로, DREEM 개발자들이 제안한 투입변수 5요소 모델은 지원되지 않으며 개정이 필요할 수 있다.

The DREEM is undoubtedly a useful tool for appraising the educational climate in medical education and its widespread international use reveals the need for such a device. However, there has perhaps been an inadequate focus on establishing and maintaining it’s psychometric credentials. The present study highlights two concerns that may need attention. Firstly, the internal consistency of the 5 scales is quite variable and, in this sample, appears rather low. Secondly, the construct validity (the basis for the 5 subscales) is not well supported. Both of these findings do appear to be consistent with the Portugese [28], Greek [29] and Swedish [35] studies cited above. Given that our findings are based on Irish medical students it is unlikely that these weaknesses can be attributed to translation factors. As a result it is clear that the putative 5-factor model proposed by the developers of the DREEM is not supported and may be in need of revision.


또한 요인 분석에서 확인된 가장 약한 17개 항목을 분사하여 단축된 33개 항목 DREEM을 형성할 수 있음을 제안하는 것도 유혹적일 수 있다. 그러나 이런 전략을 채택하는 데는 큰 주의가 필요하다. 

  • 첫째, 아일랜드 표본에서 가장 약한 항목은 다른 국적의 항목과 동일하지 않을 수 있으며, 

  • 째, 항목을 제거할 때 기본적인 요인 구조가 크게 변할 수 있다. 

It may also be tempting to suggest that a shortened 33 item DREEM may be formed by jettisoning the 17 weakest items identified in our factor analysis. However, great care needs to be taken in adopting such a strategy. 

  • Firstly, the weakest items in an Irish sample may not be the same as those identified in another nationality and 

  • secondly, in removing items the underlying factor structure may change dramatically. 


DREEM의 개발을 기술하는 Roff 등[12] 논문에 따르자면, 서브스케일 구조가 기존의 이론적 추론에 의해 추진된 것은 분명하다. 그러나 경험적 데이터가 이 모델에 잘 부합하지 않는다는 사실은 항목들을 모델에 맞게 재구성하거나 모델 자체를 재고할 필요가 있음을 시사할 수 있다. 이 점에서 어떤 것이 가장 유익한 경로인지를 제안하기 위해 아직 DREEM에 대하여 다양한 국가 전체에 걸쳐 발표된 정신측정학 분석이 충분하지 않다.

In the Roff et al. paper [12] describing the development of the DREEM it is clear that the subscale structure was driven by a-priori theoretical reasoning. The fact that empirical data do not conform well with this model might suggest that either the items need to be reframed to fit the model or that the model itself needs to be reconsidered. There is not yet sufficient published psychometric analysis across nationalities on the DREEM to suggest which is the most beneficial route to take in this regard.


실제로, 하위 척도 요소들 사이의 매우 높은 상관관계를 보여주는 우리의 발견은 DREEM이 본질적으로 하나의 단일 척도 instrument이라는 주장을 뒷받침할 수 있다. 5개 항목별 구분은 거의 없으며, 여러 DREEM 보고들은 일반적으로 항목별 differential validity을 검사하지 않는다.

Indeed, our finding showing very high correlations between the subscale factors may support the contention that the DREEM is essentially a one-factor single scale instrument. There is very little discrimination evident between the 5 subscales and reports of the DREEM do not typically examine the differential validity of the subscales.



결론

Conclusion


본 연구의 하위척도 요인 분석은 기본 심리측정적 특성과 구인타당도에 대한 의문을 제기한다. 확실히, DREEM이 개발된 잠재적 모델은 근본적으로 수정되어야 할 필요가 있을 것이다. 이는 새로운 경험적 기반 잠재 모델에 대한 정보를 제공하기 위해 DREEM 구조에 대한 기존의 다국적 탐색 분석을 완전히 통합함으로써 가장 잘 달성될 수 있다. 그런 다음 전체 구조 방정식 모델링 분석을 수행하는 대규모 국제 표본이 뒤따를 수 있다.

subscale factor analysis raise questions about its basic psychometric properties and construct validity. Certainly, the latent model upon which it is built may need to be radically revised. This may be best achieved by a full integration of the existing multinational exploratory analyses of the DREEM structure to inform a new empirically based latent model. This might then be followed by a large scale international sample being subjected to a full Structural Equation Modelling analysis.






 2012 Jan 12;12:2. doi: 10.1186/1472-6920-12-2.

psychometric appraisal of the DREEM.

Author information

1
School of Applied Psychology, University College Cork, Cork, Ireland. s.hammond@ucc.ie

Abstract

BACKGROUND:

The quality of the Educational environment is a key determinant of a student centred curriculum. Evaluation of the educational environment is an important component of programme appraisal. In order to conduct such evaluation use of a comprehensive, valid and reliable instrument is essential. One of most widely used contemporary tools for evaluation of the learning environment is the Dundee Ready Education Environment Measure (DREEM). Apart from the initial psychometric evaluation of the DREEM, few published studies report its psychometric properties in detail. The aim of this study was to examine the psychometric quality of the DREEM measure in the context of medical education in Ireland and to explore the construct validity of the device.

METHODS:

239 final year medical students were asked to complete the DREEM inventory. Anonymised responses were entered into a database. Data analysis was performed using PASW 18 and confirmatory factor analysis performed.

RESULTS:

Whilst the total DREEM score had an acceptable level of internal consistency (alpha 0.89), subscale analysis shows that two subscales had sub-optimal internal consistency. Multiple group confirmatory factor analysis (using Fleming's indices) shows an overall fit of 0.76, representing a weak but acceptable level of fit. 17 of the 50 items manifest fit indices less than 0.70. We sought the best fitting oblique solution to the 5-subscale structure, which showed large correlations, suggesting that the independence of the separate scales is open to question.

CONCLUSIONS:

There has perhaps been an inadequate focus on establishing and maintaining the psychometric credentials of the DREEM. The present study highlights two concerns. Firstly, the internal consistency of the 5 scales is quite variable and, in our sample, appears rather low. Secondly, the construct validity is not well supported. We suggest that users of the DREEM will provide basic psychometric appraisal of the device in future published reports.

PMID:
 
22240254
 
PMCID:
 
PMC3277479
 
DOI:
 
10.1186/1472-6920-12-2


DREEM: 도입과 활용 리뷰 (Med Teach, 2012)

The Dundee Ready Education Environment Measure (DREEM): A review of its adoption and use

SUSAN MILES, LOUISE SWIFT & SAM J. LEINSTER

University of East Anglia, UK




도입

Introduction


학생들이 접하는 교육 환경이 학습 과정, 인식된 행복, 열망 및 학업 성취도에 대한 만족도에 영향을 미친다는 증거가 있다(Plucker 1998; Pimparyon 등). 2000; Genn 2001; Lizzio et al. 2002, Audin et al. 2003; Mayya &Roff 2004). 측정 가능한 것 외에도, 교육 환경도 변화할 수 있다. 따라서 교육환경의 퀄리티과 교육 프로세스 자체를 향상시킬 수 있다(Genn &Harden 1986). [커리큘럼의 혁신]과 [의대 과정에서의 학생 모집단의 다양성 증가]는 의과대학의 교육 환경을 평가하고자 하는 욕구와 필요성 둘 다에 대한 인식을 증가시키는 결과를 가져왔다(마일 2011).

There is evidence that the educational environment encountered by students has an impact on satisfaction with the course of study, perceived well-being, aspirations and academic achievement (Plucker 1998; Pimparyon et al. 2000; Genn 2001; Lizzio et al. 2002, Audin et al. 2003; Mayya &Roff 2004). In addition to being measurable, the educational environment can also be changed; thus enhancing the quality of the environment and the medical education process itself (Genn &Harden 1986). Innovations in medical curricula and increasing diversity of the student population on medical courses have lead to increasing recognition of both a desire and a need to evaluate the educational environment of medical schools (Miles 2011).


DREEM(Dundee Ready Education Environment Measure)은 특히 의대 및 기타 보건 직업에 대한 교육 환경을 측정하도록 설계되었다(Roff et al. 1997). 10여 년 전 국제 의과대학/건강 전문직의 교수진들로 구성된 델파이 패널을 사용하여 개발된 후 여러 나라의 학생들을 대상으로 유효성 검사를 실시하였다. DREEM의 precursor인 설문을 비롯하여, MEEM(Medical Education Environment Measure) 및 특정 PGME에서 교육 환경을 측정하도록 설계된 몇 가지 후속 도구(PHEEM(Postgradstudio Education Environment Measure), STEEM(Surgical Theatre Education)Ational Environment Measure) 및 ATEEM(Annaestic Theatre Educational Environment Measure).도 개발되었다.

The Dundee Ready Education Environment Measure (DREEM) was designed to measure the educational environment specifically for medical schools and other health professions (Roff et al. 1997). It was developed over 10 years ago using a Delphi panel of faculty members from international medical schools/health professions and then tested on students in several countries for validation purposes. There are other related tools including the pre-cursor to the DREEM, the MEEM (Medical Education Environment Measure) and several subsequent tools that have been designed to measure the educational environment in specific post-graduate medical settings: the PHEEM (Postgraduate Hospital Educational Environment Measure), STEEM (Surgical Theatre Educational Environment Measure) and ATEEM (Anaesthetic Theatre Educational Environment Measure).


DREEM은 50개 문항 폐쇄형 질문이다. 이 50개 항목은 다음 5개 항목 중 하나에 속한다. 학습에 대한 학생들의 인식(12개 항목) 교사에 대한 학생들의 인식(11개 항목) 학생들의 학문적 자아 인식(8항목) 학생들의 분위기 인식(12항목)과 학생들의 사회적 자아 인식(7항목). 50개의 문장은 각각 5점 단위로 점수가 매겨지며, "강력하게 동의한다"(4), "학점"(3), "확실하지 않다"(2), "불확실하다"(2), "불합리하다"(1) 및 "강력하게 반대한다"(0)라는 라벨이 붙어 있다. 4, 8, 9, 17, 25, 35, 39, 48 및 50 항목에 대해 역코딩이 필요하다. 그러므로 점수가 높으면 긍정적인 평가를 나타낸다. DREEM은 200점 만점으로 이상적인 교육 환경을 나타낸다.

The DREEM is a 50-statement closed question questionnaire. These 50 items fall into one of the following five subscales: 

  • Students’ perception of learning (12 items); 

  • Students’ perceptions of teachers (11 items); 

  • Students’ academic self-perceptions (8 items); 

  • Students’ perceptions of atmosphere (12 items) and 

  • Students’ social self-perceptions (7 items). 

Each of the 50 statements is scored on a five-point scale, with the following labels: ‘‘Strongly agree’’ (4), ‘‘Agree’’ (3), ‘‘Unsure’’ (2) (some publications use the midpoint ‘‘Uncertain’’), ‘‘Disagree’’ (1) and ‘‘Strongly disagree’’ (0). Reverse coding is required for items 4, 8, 9, 17, 25, 35, 39, 48 and 50. Thus, higher scores indicate a more positive evaluation. The DREEM has a maximum score of 200, representing an ideal educational environment.


DREEM의 결과는 (i) 개별 항목, (ii) 하위척도, (iii) 전체 DREEM의 세 가지 수준에서 고려될 수 있다. 항목별 점수는 5개의 하위척도로 합산되며, 이 합계 점수의 평균을 소급 요약 점수를 주기 위해 취한다. 전체 DREEM 점수를 얻기 위해 하위 척도 합계 점수를 합산한다. 각 항목에 대해 모든 참가자가 획득한 평균 점수를 살펴 개별 항목을 검사하면 교육 환경 내에서 특정 강점과 약점을 파악할 수 있다.

The results of the DREEM can be considered at three levels: (i) individual items, (ii) subscales and (iii) overall DREEM. The raw scores obtained for the items making up each of the five subscales are summed for each participant, and then the mean of this summed score is taken to give subscale summary scores. To obtain the overall DREEM score, the subscale summary scores are summed. Examination of the individual items by looking at the mean score obtained across all participants for each item enables the identification of specific strengths and weakness within the educational environment.


개발자들은 DREEM을 기술한 원문에서 달성된 총점 및 하위 척도 점수를 가능한 최대 점수의 백분율로 보고하였으나, DREEM 해석과 관련하여 권고 사항은 하지 않았다. 그 후, 개발자 중 2명(McAleer & Roff 2001)은 세 가지 수준 각각에서 점수를 해석하는 방법에 대한 지침을 제공했다. 그들은 전체 DREEM과 5개 항목별 점수 범위에 대한 구두 설명을 제공한다. 이러한 점수 설명자는 항목별 해석을 할 때 가이드로 사용할 수 있다. 개별 항목에서 평균점수가 3.5인 항목은 특히 강한 영역으로 간주되며, 평균점수가 2.0인 항목은 특별한 주의가 필요하며 평균점수가 2-3인 항목은 개선될 수 있는 교육환경의 영역이다. 그러나 개발자들은 의학교육자들이 (예를 들어 서로 다른 학생 그룹 간에 또는 동일한 학생 그룹과 시간의 경과에 따라 비교하기를 원하는 경우 등에서) 세 가지 수준 중 어느 것에서도 DREEM을 분석하는 방법에 대한 권고안을 제공하지 않았다.

In the original article describing the DREEM, the developers reported the achieved total and subscale scores as a percentage of the maximum score possible, but made no recommendations regarding interpretation of the DREEM. Subsequently, two of the developers (McAleer & Roff 2001) provided guidance as to how to interpret scores at each of the three levels. They present a verbal description of a range of scores for the overall DREEM and each of the five subscales. These score descriptors can be used as a guide when interpreting the subscales. Regarding individual items, those with a mean score of  3.5 are regarded as especially strong areas, items with a mean score of  2.0 need particular attention and items with mean scores between 2 and 3 are areas of the educational environment that could be improved. The developers, however, did not provide any recommendations as to how to analyse the DREEM at any of the three levels should medical educators wish to make comparisons, for example, between different groups of students or over time with the same group of students.


DREEM은 연간 평가 과정의 일환으로 Norwich Medical School, University of East Anglia(UEA)에서 사용되며, 이를 통해 시간 경과와 코호트에 걸쳐 자신의 데이터를 비교할 수 있으며, DREEM을 사용하는 다른 의과대학과 비교할 수 있다. 그러나, DREEM을 사용하는 동안 우리는 DREEM이 보고되고 분석되는 방식에 상당한 불일치가 있다는 것을 알게 되었고, 이는 기관 간의 비교를 어렵게 만든다.

The DREEM is used at the Norwich Medical School, University of East Anglia (UEA), as part of the annual evaluation process so that we can compare our own data over time and across cohorts, and to enable comparisons to be drawn with other medical schools using the DREEM. However, whilst using the DREEM we have become aware that there is considerable inconsistency in the way the DREEM is reported and analysed, which makes comparison between institutions difficult.



방법

Method


결과

Results


DREEM의 사용

Use of the DREEM


표 1은 검토에서 확인된 DREEM 문서를 요약한다.

Table 1 outlines the DREEM articles identified in the review.


발표된 동료 검토 문헌에서 확인된 40개의 논문을 통해, DREEM은 다음과 같은 20개 국가에서 사용되었음을 알 수 있다. 호주, 브라질, 캐나다, 칠레, 중국, 인도, 이란, 아일랜드, 일본, 쿠웨이트, 말레이시아, 네팔, 나이지리아, 사우디아라비아, 싱가포르, 스리랑카, 스웨덴, 터키, 영국 및 서인도 제도. 목적상 최소 8개 언어(아랍어, 중국어, 일본어, 페르시아어, 평가 포르투갈어, 스페인어, 스웨덴어, 터키어)로 번역되었다.

Through the 40 papers identified in the published, peerreviewed literature, it is found that the DREEM has been used in 20 countries, including: Australia, Brazil, Canada, Chile, China, India, Iran, Ireland, Japan, Kuwait, Malaysia, Nepal, Nigeria, Saudi Arabia, Singapore, Sri Lanka, Sweden, Turkey, the UK and the West Indies. It has been translated into at least eight languages (Arabic, Chinese, Japanese, Persian, evaluation Portuguese, Spanish, Swedish, Turkish) for purposes.


DREEM은 학부 의대생들에게 가장 흔하게 사용되어 왔으나(n = 31 논문), 다른 그룹과도 함께 사용되어 왔다.

The DREEM has most commonly been used with medical students in undergraduate medical schools (n¼31 papers); but it has also been used with other groups


여러 가지 이슈를 탐구하는 데 사용되었으며, 크게 네 가지 그룹으로 분류할 수 있다.

It has been used to explore a number of issues, which can be broadly classified into four groups:


(1) 진단적

(1) Diagnostic


. 현재 교육 환경에 대한 인식 조사 및 강도 및 약점 영역 식별(예: Roff et al. 2001; Bassaw et al. 2003; Vieira et al. 2003; Dunne et al. 2006; Whittle et al. 2007; Thomas et al. 2009; 아하몰래이 & 파젤 2010). 

. Investigating perception of the current educational environment and identifying areas of strength and weakness (e.g. Roff et al. 2001; Bassaw et al. 2003; Vieira et al. 2003; Dunne et al. 2006; Whittle et al. 2007; Thomas et al. 2009; Aghamolaei & Fazel 2010). 


. 기성 의과대학의 기존 교육 환경을 커리큘럼 변경의 사전 커서로 측정하여 변경에 대한 우선순위 영역을 식별하고 커리큘럼 변경 후 비교의 기준 역할을 한다(예: Al-Hazimi 등). 2004a; 아발로스 외 2007; 알아이드 & 셰이크 2008). 

. Measuring the existing educational environment in the established medical schools as a pre-cursor to curriculum change, both to identify priority areas for change and to act as a baseline for comparison after curriculum change (e.g. Al-Hazimi et al. 2004a; Avalos et al. 2007; Al-Ayed & Sheik 2008). 


. 새/개정된 커리큘럼이 교육환경 인식에 미치는 영향 조사(예: Demiro ̈ren 2004; et al. 2008; O'Brien et al. 2008; Riquelme et al. 2009; Edgren et al. 2010).

. Investigating the impact of a new/revised curriculum on perception of educational environment (e.g. Till Demiro¨ren 2004; et al. 2008; O’Brien et al. 2008; Riquelme et al. 2009; Edgren et al. 2010).


(2) 비교 - 서로 다른 그룹

(2) Comparison – Different groups


. 서로 다른 의료 교육 기관 비교(예: Roff et al. 2001; Al-Hazimi et al. 2004b). 

. Comparing different medical education institutions (e.g. Roff et al. 2001; Al-Hazimi et al. 2004b). 


의학적 훈련의 다른 단계에 있는 학생들을 비교하는 것.

. Comparing students at different stages of their medical training.


임상 대 비임상/전임상(예: Jiffry et al. 2005; Dunne et al. 2006; Avalos et al. 2007; Abraham et al. 2008) 

Clinical versus non/pre-clinical (e.g. Jiffry et al.   2005; Dunne et al. 2006; Avalos et al. 2007; Abraham et al. 2008). 


다른 연도의 학생(예: 알-하지미 등) 2004b; Dunne 등 2006; Al-Ayed & Sheik 2008; Demiro ̈ren et al. 2008. 

Students in different year groups (e.g. Al-Hazimi   et al. 2004b; Dunne et al. 2006; Al-Ayed & Sheik 2008; Demiro¨ren et al. 2008). 


학생 대 졸업생(예: Bassaw et al. 2003).  

Students versus graduates (e.g. Bassaw et al. 2003).  


. 성별 비교(예: n1⁄416 논문) Mayya & Roff 2004; Dunne et al. 2006; Abraham et al. 2007; Al-Ayed & Sheik 2008; Bourhaimed et al. 2009). 

. Comparing gender (n¼16 papers, e.g. Mayya & Roff 2004; Dunne et al. 2006; Abraham et al. 2007; Al-Ayed & Sheik 2008; Bourhaimed et al. 2009). 


. 서로 다른 학습 사이트(예: 임상 배치 위치 또는 대학 사이트) 비교(예: Varma 등, 2005; Carmody 등) 2009; McKendree 2009; Bennet et al. 2010; Denz-Penhey & Murdoch 2010). 

. Comparing different sites of learning (e.g. clinical placement location or university site) (e.g. Varma et al. 2005; Carmody et al. 2009; McKendree 2009; Bennet et al. 2010; Denz-Penhey & Murdoch 2010). 


학업 성취도를 저학력 학생들과 비교하는 것은 성취도가 낮은 사람들이다(예: Mayya & Roff 2004; Abraham et al. 2007). 

. Comparing academic achievers with those students are who under-achieving (e.g. Mayya & Roff 2004; Abraham et al. 2007). 


. 직원과 학생 비교 (예: 마일즈 & 린스터 2009) 

. Comparing staff and students (e.g. Miles & Leinster 2009). 


. 커리큘럼 변경(기존과 문제 기반 학습 포함) 후 새로운 코스와 오래된 코스에 대한 인식 비교(예: Bourhaimed et al. 2009).

. Comparing perception of an old course with a new course following curriculum change (including traditional versus problem-based learning) (e.g. Bourhaimed et al. 2009).


(3) 비교 - 같은 그룹

(3) Comparison – Same groups


. 학생들이 경험한 실제 교육 환경과 의대 개학 기대치를 비교한다(예: 마일즈 & 린스터 2007). 

. Comparing the actual educational environment experienced by students with what they expected on starting medical school (e.g. Miles & Leinster 2007). 


. 학생들이 경험하는 실제 교육 환경을 이상적/우선적 환경과 비교(예: 2005년까지).

. Comparing the actual educational environment experienced by students with their ideal/preferred environment (e.g. Till 2005).


(4) 다른 척도와의 관계

(4) Relationship with other measures


. 학업성취도(예: de Oliveira Filho & Schonhorst 2005). 

. Academic performance (e.g. de Oliveira Filho & Schonhorst 2005). 


. 업무에 대한 자기 인식 능력/준비성(예: Lai 등) 2009; Tokuda et al. 2010). 

. Self perceived competency/preparedness to work (e.g. Lai et al. 2009; Tokuda et al. 2010). 


. 스트레스 (예: O'Rouke et al. 2010). 

. Stress (e.g. O’Rouke et al. 2010). 


. 질적 평가 데이터(예: Denz-Penhey & Murdoch 2009). 

. Qualitative evaluation data (e.g. Denz-Penhey & Murdoch 2009). 


. 작업 환경의 측면(예: de Oliveira Filho et al. 2005a). 

. Aspects of working environment (e.g. de Oliveira Filho et al. 2005a). 


.또 다른 학생 체험 기구(예: Sobral 2004)

. Another student experience instrument (e.g. Sobral 2004)


. 평가 척도(예. 2006년.

. An assessment measure (e.g. Thome´ et al. 2006). .




DREEM 자료 보고와 분석

Reporting and analysis of DREEM data


대다수의 저자들은 개별 항목, 항목별 평균, 총 점수를 보고한다. 일부 저자는 평균(n=15 논문)뿐만 아니라 표준 편차를 보고하지만 대부분은 그렇지 않다. 몇 가지 경우, 가능한 최대 점수의 백분율로 점수가 제시된다(Jiffry et al. 2005; Varma et al. 2005; Avalos et al. 2007; Bourhaimed et al. 2009; Riquelme 등. 2009). 50개 모든 DREEM 항목에 대해 점수를 보고하는 사람도 있고, 하위 집합에 대해서만 점수를 매기는 사람도 있다(예: 특히 점수가 낮아 주의가 필요한 항목에 대해서). 일부 저자는 각 항목에 대해 동의함, 동의하지 않음, 확신하지 못함에 해당하는 응답자의 비율을 보고한다(Till 2004; Miles & Leinster 2009). 문제 영역을 진단하는 것이 목적인 경우, 여러 저자가 위에 보고된 대로 DREEM 개발자가 권장하는 평균 접근방식의 임계값을 채택했다(즉, 2.0보다 작거나 같은 항목은 주의가 필요하며, 일부 저자는 2.5 임계값보다 작거나 같은 항목) (n = 14 논문). 일부 저자들은 그들의 결과를 다른 발표된 결과와 비교한다. 대개 그들의 기사의 "토론" 섹션에서.

The majority of authors report the means of individual items, subscales and the total score. Some authors report the standard deviation as well as the mean (n¼15 papers), but most do not. In a few cases, the score as a percentage of the maximum possible scores is presented (Jiffry et al. 2005; Varma et al. 2005; Avalos et al. 2007; Bourhaimed et al. 2009; Riquelme et al. 2009). Some report scores for all 50 DREEM items; others only for a subset (e.g. those which are particularly low and need attention). A couple report the percentages of respondents who agree, disagree or are unsure for each item (Till 2004; Miles & Leinster 2009). Where the aim is to diagnose problem areas, several authors have adopted the threshold for the mean approach recommended by the DREEM’s developers as reported above (i.e. items scoring less than or equal to 2.0 need attention, with some authors adopting a stricter less than or equal to 2.5 threshold) (n¼14 papers). Some authors compare their results with other published results, usually in the ‘‘Discussion’’ section of their article.


두 개의 분리된 학생 그룹의 점수를 비교하는 경우, 보고하는 것은 때때로 순전히 서술적이다. 그러나 일반적으로 독립적인 표본 t-시험(모수) 또는 Mann-Whitney U 검정(비모수, Wilcoxon Mann Whitney에 상당함)이 사용된다. 이 선택은 표본 크기와 관련이 없는 것으로 보인다. 일부 저자는 중요한 항목이 강조된 50개 항목 모두에 대해 시험 결과를 보고하지만, 일부 저자는 중요한 항목만 보고한다(예: Dunne 등 2006). 동의하는 비율, 동의하지 않는 비율 등에 의해 항목이 보고되는 경우 그룹 간에 카이 제곱 시험을 사용한다.

Where scores from two separate groups of students are compared, reporting is sometimes purely descriptive. However, usually either an independent samples t-test (parametric) or Mann–Whitney U test (non-parametric, equivalent to Wilcoxon Mann Whitney) is used. This choice does not appear to be related to sample size. Some authors report test results for all 50 items, perhaps with significant items highlighted, but some report significant items only (e.g. Dunne et al. 2006). Where items are reported by the percentage who agree, disagree, etc., a chi-squared test is used between groups.


3개 이상의 그룹이 비교를 필요로 하는 경우, ANOVA(모수)과 Kruskal-Wallis 검정(비모수)은 모두 하위 척도 점수 및 합계, 때로는 항목 점수에서 사용되어 왔다. 때로는 복수의 시험(예: Bonferroni 보정을 사용한 Miles and Leinster 2007)에 대해 조정이 이루어지지만, 때로는 그렇지 않다. 때때로 특정 그룹 쌍 간의 시험이 수행된다.

When three or more groups require comparison, both the one way ANOVA (parametric) and the Kruskal–Wallis test (non-parametric) have been used on subscale scores and the total, and sometimes on item scores. Sometimes adjustment is made for multiple tests (e.g. Bonferroni in Miles and Leinster 2007), but sometimes not. Sometimes tests between particular pairs of groups are performed.


점수를 예상 점수 또는 최대 예상 점수 또는 최대 점수와 비교해야 하는 경우, Wilcoxon 서명된 순위 테스트 또는 단일 샘플 t-테스트를 사용한다. 한 논문(Till 2005)은 어떤 영역이 이상으로부터 가장 먼 점수를 받는지 나타내기 위해 실제 점수와 예상 점수의 평균 차이에 따라 항목을 순위를 매긴다.

Where scores are to be compared with an expected or maximum possible score, the Wilcoxon signed rank test is used or the single sample t-test. One paper (Till 2005) ranks the items in order of the mean difference between the actual and expected scores to indicate which areas score furthest from the ideal.


또한 DREEM은 교육 환경에 대한 인식과 기타 조치(예: Lai 등) 사이의 연관성을 조사하는 데 사용되어 왔다. 2009; O'Rourke et al. 2010), 예를 들어 상관 관계 또는 선형 회귀 분석을 사용한다. 여기서 방법의 선택은 다른 조치의 성격에 따라 달라질 것이다.

The DREEM has also been used to investigate the association between perception of the educational environment and other measures (e.g. Lai et al. 2009; O’Rourke et al. 2010), for instance, using correlation or linear regression. Here the selection of a method will depend on the nature of the other measures.


검증 목표(예: 요인 분석, Cronbach의 알파 계수 계산)에 특정한 통계 분석 결과를 보고하는 것 외에, 일부 논문에서는 일차적으로 새로운 유형의 환경에서 DREEM의 사용을 검증하는 것이 목적인 경우도 있고, 이 경우 데이터를 평가 데이터로 보고한다(예: de Oliveira Filho et al. 2005b; Wang et al. 2009), 

Some papers whose primary aim is to validate the use of the DREEM in a new type of environment also report their data as evaluation data, as described above (e.g. de Oliveira Filho et al. 2005b; Wang et al. 2009), in addition to reporting the results of statistical analysis specific to the validation goal (e.g. factor analysis, calculation of Cronbach’s alpha coefficients).


고찰

Discussion


그러나, 검토는 또한 DREEM 데이터가 어떻게 분석되고 보고되었는지에 대한 합의가 거의 없음을 보여준다. 매개변수(예: t-검정, 분산 분석)와 비모수(예: Mann-Whitney–U, Kruskal-Wallis) 시험이 모두 사용되었다. 다른 접근방식의 선택은 시험의 목적이나 표본의 크기에 기인할 수 있지만, 이것은 그렇지 않은 것 같다. 일상적인 평가에 관련된 사람들은 통계적 배경이 있을 것 같지 않기 때문에 그러한 불일치는 혼란을 야기하거나, 변화가 필요한 영역을 잘 못 해석하는 것으로 이어질 수 있다. 더욱이, 그들은 다른 곳에서 수집된 것과 비교하여 한 기관에서 획득한 DREEM 데이터를 해석하는 것을 어렵게 한다.

However, the review also shows that there is little consensus on how DREEM data has been both analysed and reported. Both parametric (e.g. t-test, analysis of variance) and non-parametric (e.g. Mann–Whitney–U, Kruskal–Wallis) tests have been used. Whereas the choice of differing approaches could be due to the purpose of the test or the size of the sample, this does not seem to be the case. Those involved in routine evaluation are not likely to have a statistical background, so such inconsistencies could lead to confusion and possible misinterpretation of the areas for change. Furthermore, they make it difficult to interpret the obtained DREEM data in one institution in comparison to that collected elsewhere.


위에서 상세히 기술한 바와 같이, 종종 논문은 관심 있는 부분군 간에 유의적인 차이가 있었던 개별 항목에 대한 수단만 보고한다. 종종 저자들은 허용된 단어나 표의 수에 대한 저널의 제한으로 인해 보고할 수 있는 것에 제약을 받는다. 기관 내부에서 과정 평가 목적으로 DREEM을 사용하는 평가자는 그러한 제약조건이 없을 것이다. 기관 간 DREEM 데이터의 유용한 비교를 가능하게 하려면 이상적으로 각 항목에 대해 평균을 보고해야 하며, 성별 또는 연구 연도와 같은 주요 하위 그룹에 의해 세분되어야 한다. 실용적인 이유로 이것이 가능하지 않은 경우, 저자는 자신의 데이터를 관심 있는 당사자가 이용할 수 있도록 해야 한다.

As detailed above, often papers only report means for those individual items where there was a significant difference between subgroups of interest. Often authors are constrained in what they can report due to journal imposed limits on the number of words or tables allowed. Evaluators using the DREEM for internal course evaluation purposes would have no such constraints. To enable useful comparisons of DREEM data between institutions, ideally the means need to be reported for each item, broken down by any key subgroups such as gender or year of study. Where this is not possible for practical reasons, authors should make their data available to any interested party.


대부분의 평가는 해당 평가를 수행하는 기관의 교육 환경을 개선하는 것을 목표로 실시되므로 비교할 필요가 없다고 주장할 수 있다. DREEM을 사용하여 자신의 장단점을 파악하여 완전히 독립적으로 기관의 교육 환경을 진단할 수 있다. 그러나, 당신의 기관의 학생들이 제기한 문제들과 걱정들이 다른 기관들도 공통적으로 가진 문제인지 아는 것이 유용할 수 있다. 더욱이, 다른 기관들이 당신 자신의 기관에서 이러한 동일한 영역의 교정조치에 도움이 될 수 있는 약점 영역을 어떻게 다루고 있는지에 대한 교훈을 얻을 수 있다.

One could argue that most evaluation is conducted with the goal of improving the educational environment at the institution performing that evaluation, thus there is no need for comparisons. It is possible to diagnose the educational environment of your institution completely independently, identifying your own strengths and weaknesses using DREEM. However, it can also be argued that it is useful to know whether issues and concerns raised by students at your institution are common to other institutions. Furthermore, lessons can be learnt about how other institutions are dealing with areas of weakness that may assist in remediation of these same areas at your own institution.


최근, 사용 가능한 기구들에 대한 검토에 따라, 소에만트리 외 연구진(2010년)은 DREEM이 학부 의료기관의 교육 환경을 측정하는 데 가장 적합한 도구일 가능성이 높다고 결론지었다. 그러한 검토는 DREEM이 사용되는 빈도와 그 데이터가 보고되는 빈도를 더욱 증가시킬 수 있다. 이는 DREEM을 여러 기관들 사이에서across institution 보다 효과적이고 일관성 있게 사용할 수 있으려면, 가능한 일관된 분석 및 보고의 필요성을 강화한다.

Recently, following a review of the available instruments, Soemantri et al. (2010) concluded that DREEM was likely to be the most suitable instrument for measuring the educational environment in undergraduate medical institutions. Such a review may lead to a further increase in the frequency with which the DREEM is used and its data are reported. This reinforces the need for consistent analysis and reporting, where possible, to enable the DREEM to be used more effectively and consistently across institutions.







 2012;34(9):e620-34. doi: 10.3109/0142159X.2012.668625. Epub 2012 Apr 3.

The Dundee Ready Education Environment Measure (DREEM): a reviewof its adoption and use.

Author information

1
Norwich Medical School, Faculty of Medicine and Health Sciences, University of East Anglia, Norwich, UK. susan.miles@uea.ac.uk

Abstract

BACKGROUND:

The Dundee Ready Education Environment Measure (DREEM) was published in 1997 as a tool to evaluate educational environments of medical schools and other health training settings and a recent review concluded that it was the most suitable such instrument.

AIMS:

This study aimed to review the settings and purposes to which the DREEM has been applied and the approaches used to analyse and report it, with a view to guiding future users towards appropriate methodology.

METHOD:

A systematic literature review was conducted using the Web of Knowledge databases of all articles reporting DREEM data between 1997 and 4 January 2011.

RESULTS:

The review found 40 publications, using data from 20 countries. DREEM is used in evaluation for diagnostic purposes, comparison between different groups and comparison with ideal/expected scores. A variety of non-parametric and parametric statistical methods have been applied, but their use is inconsistent.

CONCLUSIONS:

DREEM has been used internationally for different purposes and is regarded as a useful tool by users. However, reporting and analysis differs between publications. This lack of uniformity makes comparison between institutions difficult. Most users of DREEM are not statisticians and there is a need for informed guidelines on its reporting and statistical analysis.

PMID:
 
22471916
 
DOI:
 
10.3109/0142159X.2012.668625


어떻게 교육혁신과 역량에 대한 관심이 전공의교육에서 진료수행준비도에 영향을 주는가: 학습환경의 역할(Perspect Med Educ, 2015)

How educational innovations and attention to competencies in postgraduate medical education relate to preparedness for practice: the key role of the learning environment

Ids S. Dijkstra · Jan Pols · Pine Remmelts · Eric F. Rietzschel · Janke Cohen-Schotanus · Paul L.P. Brand




도입

Introduction


많은 서구 국가에서, 점점 더 복잡해지는 의료전문직에 대해 연습생들을 더 잘 준비하기 위해 대학원 의학 교육(PGME)에 역량 기반 교육(CBE)이 도입되었다[1, 2]. 그러나 일부 저자들은 CBE의 이면에 있는 이론적 근거에 이의를 제기했으며 CBE를 통합하는 데 필요한 노력, 시간 및 비용의 투자가 약속을 달성할 수 있을지에 의문을 제기하였다[3–5]. 따라서, 우리는 CBE와 의사들의 독립적 실습을 위한 더 나은 준비를 위한 그것의 목적 사이의 관계를 검토하기 시작했다.

In many Western countries competency-based education (CBE) has been introduced in postgraduate medical education (PGME) to prepare trainees better for the growing complexities of the medical profession [1, 2]. However, some authors have challenged the rationale behind CBE and questioned whether the investment of effort, time and money required to incorporate CBE will achieve its promise [3–5]. Therefore, we set out to examine the relationship between CBE and its objective of better preparing physicians for independent practice.


개념 연구 모델 개발

Development of conceptual research model


CBE와 함께 포트폴리오, 비판적 주제 평가, 미니 임상 평가 연습mini CEX과 같은 다양한 교육 혁신이 PGME에 도입되었다. 이러한 혁신은 감독자와 연습생 모두 역량의 모든 영역에서 개선을 고려하고 논의하도록 격려하기 때문에, 우리는 교육 혁신이 피드백과 코칭 중에 역량에 대한 관심과 긍정적으로 관련되기를 기대한다.

Along with CBE, various educational innovations have been introduced into PGME, such as portfolios, critically appraised topics and mini-clinical evaluation exercises. Because these innovations encourage both supervisors and trainees to consider and discuss improvements in all areas of competence, we expect educational innovations to be positively related to attention to competencies during feedback and coaching.


예를 들어 의사소통자, 협력자 및 관리자의 역할을 포괄하기 위하여, 교육 범위를 의료 전문가 역할 이상으로 넓히기 위해 역량 프레임워크가 개발되었다[1]. 이러한 역량의 specification를 통해 수련자는 의료 훈련과 의료 실무의 요구를 이해할 수 있다[12]. 피드백이 학습의 중심이고 임상 성과에 긍정적인 영향을 미치기 때문에 [13, 14] 피드백과 코칭 중 다양한 역량 역할에 더욱 세심한 주의를 기울이는 프로그램의 연습생들은 [contemporary medical practice에 대하여 더 잘 준비]되었다고 느낄 수 있을 것이다. 이에 따라 [피드백과 코칭 중 역량의 영역에 대한 관심]이 [연습 준비]와 긍정적으로 관련되기를 기대한다. 우리는 [교육 혁신]과 [역량에 대한 관심] 사이에 긍정적인 관계를 기대하며, [역량에 대한 관심]과 [진료 준비] 사이에 기대되는 긍정적인 관계를 고려할 때, 우리는 또한 교육 혁신과 실천에 대한 준비 사이에 긍정적인 관계를 기대하지만, 이러한 관계 역량에 대해 갖는 관심에 의해서 매개될 것으로 예상한다.

Competency frameworks were developed to broaden the scope of education beyond the medical expert role, for instance to encompass the roles of communicator, collaborator and manager [1]. The specification of these competencies allows trainees to comprehend the demands of medical training and medical practice [12]. As feedback is central to learning and has a positive effect on clinical performance [13, 14], trainees from programmes that pay closer attention to the various competency roles during feedback and coaching can be expected to feel better prepared for the challenges of contemporary medical practice. Accordingly, we expect attention to the domains of competence during feedback and coaching to be positively related to preparedness for practice. Because we expect a positive relationship between educational innovations and attention to competencies, and given the expected positive relationship between attention to competencies and preparedness for practice, we also expect a positive relationship between educational innovations and preparedness for practice, but we expect this relationship to be mediated by attention to competencies. 


[교육적 혁신]과 [역량에 대한 관심]은 PGME 동안 연습생들을 연습에 대비시키는 모든 요인의 일부분일 뿐이다. 건전한 추론을 위해서는 다른 동등하게 중요한 요소들을 고려해야 하는데, 이는 PGME 현대화의 이러한 측면과 연습에 대한 준비성 사이의 관계를 혼란시킬 수 있다. PGME는 주로 업무 기반 학습으로 구성되기 때문에, 감독, 교육, 시설 및 분위기를 포함한 여러 가지 중요한 측면을 포괄하는 강력하고 뒷받침되는 학습 환경[15]은 경험적 학습 기회를 더 많이 제공하고, 이러한 경험을 반영하고 배울 수 있는 더 많은 지원을 제공할 가능성이 있다. 이러한 학습환경은 다양한 역량의 역할을 적용할 수 있는 기회를 재발견한다

Educational innovations and attention to competencies only represent a part of all the factors that prepare trainees for practice during PGME. To make sound inferences, other equally important factors have to be taken into account, which could confound the relationship between these aspects of PGME modernization and preparedness for practice. Because PGME predominantly consists of workbased learning, a strong and supportive learning environment encompassing many important aspects—including quality of supervision, teaching, facilities and atmosphere [15]—is likely to provide 

  • more opportunities for experiential learning, 

  • more support to reflect on and learn from these experiences, and 

  • more opportunities to apply the various competency roles. 

따라서 학습 환경의 강점이 진료 준비와 긍정적인 관계가 있을 뿐만 아니라 역량에 대한 주의와 연습 준비 사이의 관계를 조정해 줄 것으로 기대한다.

Accordingly, we expect that the strength of the learning environment is not only positively related to preparedness for practice but we also expect it to moderate the relationship between attention to competencies and preparedness for practice.


마지막으로, 누군가가 연습에 대해 준비가 되었다고 느끼는지 여부는 또한 개인의 고유한 특성과 마인드 세트에 따라 달라질 것이다. 사회적 인지 이론에 따르면, 자기효능감 인식은 행동에 영향을 미치는 지배적인 요인이다[16]. 전반적 자기효능감이 높은 개인은 일관되게 자신을 다양한 환경[17]에서 요구를 충족할 수 있는 것으로 보고 있으며, 이것이 바로 우리가 실습을 위한 준비성과 긍정적으로 관련이 있을 것으로 기대하는 이유다. 앞에서 언급한 기대 관계는 함께 그림 1에 묘사된 우리의 개념 연구 모델을 형성한다. 

Finally, whether someone feels prepared for practice will also depend on the inherent qualities and mind-set of the individual. According to social cognitive theory, perceived self-efficacy is a predominant factor that influences behaviour [16]. Individuals high in general self-efficacy consistently view themselves as capable of meeting demands in multiple environments [17], which is why we expect self-efficacy to be positively related to preparedness for practice. Taken together, the aforementioned expected relationships form our conceptual research model, which is depicted in Fig. 1.



방법

Methods


맥락과 참여자

Context and participants


측정

Measures


91개의 의료전문가 업무의 일반 목록을 사용하여 실천요강을 측정하였다[20]. 응답자들은 자신의 훈련 프로그램이 이러한 과제를 얼마나 잘 준비했는지를 평가하도록 요청 받았다. 더 구체적으로, 응답자들은 '내 전공의 교육 프로그램이 나를 잘 준비시켰다'는 말에 대해 1에서 5까지 리커트에 이르는 5점짜리 리커트 척도로 응답하거나, 그들이 그들의 실무에서 그러한 과제에 요구받은 적이 없었음을 나타내도록 요청 받았다.

Preparedness for practice was measured using a generic inventory of 91 medical specialist tasks [20]. Respondents were asked to rate how well their training programmes had prepared them for these tasks. More specifically, respondents were asked to respond to the statement ‘my postgraduate training programme prepared me well for… [Task]’ on a 5-point Likert scale ranging from 1 (strongly disagree) to 5 (strongly agree), or to indicate that they had not encountered such a task in their practice.


실무에 대한 인식된 대비는 직무 수행 능력과 능력에 대한 일반적인 신뢰에 의해 영향을 받을 수 있기 때문에, 슈바르처와 예루살렘의 일반 자기효능 척도는 주제 간 효과의 균형을 위한 제어 변수로 포함되었다[21]. 설문지는 4점 리커트 척도로 점수가 매겨진 10개의 항목으로 구성되어 있다. 1(강력하게 동의하지 않음)부터 4(강력하게 동의함). (예를 들어, 문제에 직면했을 때, 나는 보통 몇 가지 해결책을 찾을 수 있다.)

Since perceived preparedness for practice may be influenced by general confidence in the ability and capacity to accomplish a task, the Schwarzer and Jerusalem general self-efficacy scale was included as a control variable to balance its effect across subjects [21]. The questionnaire consists of 10 items scored on a 4-point Likert scale ranging from 1 (strongly disagree) to 4 (strongly agree). (e.g. When I am confronted with a problem, I can usually find several solutions).


CanMEDS 프레임워크는 네덜란드의 PGME[1]에 사용된다. 7개 CanMEDS 역량에 대한 관심은 참가자들에게 모든 역량의 1개 보고서에 대한 그들의 동의에 대한 평가를 요청함으로써 평가되었다. (7개 항목: '내 대학원 교육 프로그램 동안, 역량에 대한 관심이 일관되게 집중되었다.... [예. 코칭과 피드백 과정에서'라는 프로페셔널리즘' 답변은 리커트 5점 만점으로 평가될 수 있다. 리커트 1(강력하게 동의하지 않음)부터 5(강력하게 동의함).

The CanMEDS framework is used for PGME in the Netherlands [1]. The attention to the 7 CanMEDS competencies was assessed by asking participants to rate their agreement to 1 statement for every competency role (7 items): ‘During my postgraduate training programme, attention was consistently paid to the competency… [e.g. Professionalism] in the course of coaching and feedback.’ Answers could be rated on a 5-point Likert scale ranging from 1 (strongly disagree) to 5 (strongly agree).


2004년에 최초의 네덜란드 PGME 프로그램이 역량에 기반하게 되었다. 2011년부터 CBE는 모든 PGME 프로그램에 대해 의무화되었으며, 이 요구사항은 네덜란드 PGME 프로그램에 대한 2011년 국가 지침에 기록되었다[22]. 이 지침을 사용하여, 저자들은 레지던트, 프로그램 리더 및 교육 컨설턴트와 다음을 논의했다. "이 요구사항 중 네덜란드 PGME에서 발생한 일반적인 변화사항은 무엇"이며, "어떤 것이 이전 지침의 요구사항과 근본적으로 다른가?". 이 결과 6개의 교육 혁신 목록이 나왔다(표 1). 설문지는 응답자들에게 위에서 설명한 대로 리커트 척도로 이 6가지 혁신의 사용을 평가하도록 요청하였다(예: 대학원 교육 프로그램 중... 미니 임상평가 연습을 바탕으로 피드백을 받았다.)

In 2004, the first Dutch PGME programmes became competency-based. From 2011 onwards, CBE became mandatory for all PGME programmes, of which the requirements were recorded in the 2011 national guidelines for Dutch PGME programmes [22]. Using these guidelines, the authors discussed with residents, programme leaders and educational consultants which of these requirements were typical for the changes that had occurred in Dutch PGME, and differed fundamentally from the requirements in earlier guidelines. This resulted in a list of 6 educational innovations (Table 1). The questionnaire asked respondents to rate the use of these 6 innovations on a Likert scale as described above (e.g. During my postgraduate training programme… I received feedback based on mini clinical evaluation exercises).


학습 기후의 개념을 포착하기 위해 여러 설문지가 개발되어왔다[23, 24]. 이 설문지들은 일반적으로 많은 항목을 포함하고 있으며, 우리의 설문지가 이미 포함하고 있는 질문의 양을 고려하여, 우리는 이러한 설문조사를 사용하지 않기로 결정했다. 대신 전공의의 작업 관련 학습의 이론적 프레임워크를 개발한 Teunissen 외[25]에 의존했다. 그들의 모델에 따르면, 업무 관련 학습은 본질적으로 활동에 참여하고, 그것들을 성찰하고, 그 후에 이러한 성찰에 기초하여 새로운 행동을 조정하면서 향상된다. 이들의 모델은 학습 주기의 원동력으로서 사회적 상호작용성문화된codified 지식의 중요성을 더욱 통합하고 조직 환경을 인정한다. 우리는 설문지 개발에 이러한 개념을 사용했으며, 교육 프로그램에서 이러한 개념의 더 나은 통합이 더 나은 학습 성과와 관련이 있다고 판단했다. 본 조치의 항목은 Shönrock 등이 개발한 학습 환경의 이론적 프레임워크에 대하여 유지되었고[26], 효과적인 학습 환경의 영역(목표 지향, 관계, 조직)을 깔끔하게 다루었다. 응답자들은 리커트 척도에 대한 12개 항목에 대한 그들의 합의를 평가해 달라는 요청을 받았다(예: 대학원 교육 프로그램 중... 나는 내 직업의 모든 관련 측면을 독립적으로 수행할 수 있었다(표 1).

Several questionnaires have been developed to capture the concept of learning climates [23, 24]. These questionnaires generally contain many items and considering the amount of questions that our questionnaire already contained, we chose not to use these surveys. Alternatively we relied on Teunissen et al. [25] who developed a theoretical framework of resident work-related learning. According to their model, work-related learning essentially thrives on participating in activities, reflecting on them and subsequently adjusting new behaviour based on this reflection. Their model further incorporates the significance of social interaction and codified knowledge as driving forces of the learning cycle and acknowledges the organizational environment. We used these concepts for the development of our questionnaire and reasoned that a better integration of these concepts in training programmes is related to better learning outcomes. The items of our measure were held against the theoretical framework of learning environments as developed by Shönrock et al. [26] and neatly covered the domains of effective learning environments (goal orientation, relationships and organization). Respondents were asked to rate their agreement to 12 items on Likert scales (e.g. During my postgraduate training programme… I was able to perform all relevant aspects of my profession independently) (Table 1).



자료 분석

Data analysis


분석 전에 모든 연속 변수에 대한 평균을 계산하고 표준화하였다[27]. 예측 변수 교육 혁신, 역량 및 학습 환경에 대한 주의의 내부 구조를 결정하기 위해 변량 회전을 사용한 주요 구성요소 분석을 사용했다. Shönrock-Adema 등의 권장 사항을 따르자면[28], 내부 구조는 심리측정적 기준의 조합과 가능한 요인 해결책의 해석 가능성에 대한 조사에 근거하여 결정해야 한다.

Prior to analysis, means for all continuous variables were calculated and standardized [27]. Principal component analysis with varimax rotation was used to determine the internal structure of the predictor variables educational innovation, attention to competencies and learning environment. Following recommendations of Shönrock-Adema et al. [28] the internal structure has to be determined based on a combination of psychometric criteria and an investigation of the interpretability of possible factor solutions.


크론바흐의 알파값이 내부 일관성을 평가하는 일반적인 방법이지만, 측정치는 항목 수에 매우 민감하며 척도 길이와 함께 증가하는 경향이 있다[29]. 실천요강의 내부 일관성(91항)을 검토하기 위해, 평균 항목 간 상관관계의 추정치로서 척도 길이와 무관한 Cronbach의 ρ도 계산했다[30]. rho의 값은 매우 다양하며 권장 값은 연구 대상 구조의 특수성에 따라 달라진다. 넓은 구조에 대해 0.15와 0.20 사이의 최소값이 권장된다[31]. 다중공선성은 분산 팽창 인자 및 허용오차 통계의 검사에 의해 평가되었다[32]. 평균을 비교하기 위한 기본적인 서술적 통계, 상관 분석 및 t-검정 외에도 독립 변수의 예측값을 검토하기 위해 단계적 계층 회귀 분석을 수행했다. 학습 환경과 역량에 대한 주의 사이의 제안된 상호작용의 방향을 검토하기 위해, 간단한 경사 분석을 실시했다[27].

Although Cronbach’s alpha is a common method to assess internal consistency, the measure is very sensitive to the number of items and tends to increase with scale length [29]. To examine the internal consistency of preparedness for practice (91 items), we also calculated Cronbach’s ρ which is an estimate of the mean inter-item correlation and is independent of scale length [30]. Values of rho vary widely and recommended values depend on the specificity of the construct under study. Minimal values between 0.15 and 0.20 are recommended for broad constructs [31]. Multicollinearity was assessed by inspection of the variance inflation factors and tolerance statistics [32]. In addition to basic descriptive statistics, correlation analysis and t-tests to compare means, stepwise hierarchical regression analysis was performed to examine the predictive values of the independent variables. To examine the direction of the proposed interaction between learning environment and attention to competencies, simple slope analysis was conducted [27].


조정 또는 간접 효과는 독립 변수가 개입 변수를 통해 종속 변수에 영향을 미칠 때 발견된다[33]. 교육 혁신과 실무 준비 사이의 관계에서 [역량에 대한 주의]의 중재 효과를 분석했다(그림 1). Preacher와 Hayes[34]가 설명한 '간접' 절차는 간접 효과의 95% 신뢰 구간을 계산하는 데 사용되었다. 이 조정을 지원하고 학습 환경과 역량에 대한 주의 사이의 예상 상호작용을 고려할 때, Mediation의 강도 또한 학습 환경 가치에 따라 좌우되는 것이 합리적이다. 따라서, 우리는 'Modmed' 절차[35]를 사용하여 다른 학습 환경 가치에서 조정의 중요성을 시험했다.

A mediation or indirect effect is found when an independent variable influences a dependent variable through an intervening variable [33]. We analyzed the mediating effect of attention to competencies in the relationship between educational innovations and preparedness for practice (Fig. 1). The ‘indirect’ procedure as described by Preacher and Hayes [34] was used to calculate the 95 % confidence interval of the indirect effect. Assuming this mediation is supported and given the expected interaction between learning environment and attention to competencies, it is reasonable that the strength of the mediation also depends on the learning environment value. Accordingly, we used the ‘Modmed’ procedure [35], to test the significance of the mediation at different learning environment values.



결과

Results


크론바흐의 ρ0.21로 척도 길이와 독립적인 연습 대비 평균 항목 간 상관관계가 적절했다. 남성(M = 3.86)은 여성(M = 3.69)보다 실천준비에 있어 훨씬 높은 점수를 받았다(p = 0.03) 따라서 성별을 추가 분석에 통제변수로 포함시켰다. 연습 준비의 결과 변수는 모든 독립적인 변수, 가장 강하게 학습 환경 및 역량에 대한 주의와 관련이 있다(표 2). 다중공선성의 증거는 발견되지 않았다.

The scale length independent mean inter-item correlation of preparedness for practice was adequate with a Cronbach’s ρ of 0.21. Men (M = 3.86) scored significantly higher on preparedness for practice than women (M = 3.69) (p = 0.03); therefore, gender was included in further analyses as a control variable. The outcome variable of preparedness for practice correlated significantly with all independent variables, most strongly with learning environment and attention to competencies (Table 2). No evidence of multicollinearity was found.





계층적 단계적 복수 회귀 분석은 실무준비에 대한 독립 변수의 상대적 기여도를 보여주었다(표 3). 

  • 첫째, 제어 변수(성별 및 일반 자기효능)만 입력되었다. 이 모델은 preparedness for practice의 분산 14%를 설명하였다. 일반적인 자기효과는 실천에 대한 준비와 유의하게 관련되어 있었지만 성별은 그렇지 않았다. 

  • 교육 혁신의 추가(두 번째 모델)는 preparedness for practice에서 설명된 차이를 25%로 크게 증가시켰다. 

  • 모델에 역량에 대한 관심이 추가되었을 때, 이 변수는 preparedness for practice와 유의하게 관련되어 있었지만, 교육 혁신은 그렇게 되는 것을 중단했다(표 3). 이 세 번째 모델은 실천요강에서 설명된 분산을 43%로 크게 증가시켰다. 

  • 학습 환경과 역량에 대한 주의 사이의 상호작용이 예상되었기 때문에, 학습 환경과 상호작용 용어가 최종 모델에 추가되어 설명된 분산이 52%로 크게 증가하였다. 이 최종 모델에서 일반적인 자기효능, 역량에 대한 주의, 학습환경 및 상호작용 용어는 학습환경을 가장 강력한 예측변수로 하여 preparedness for practice와 유의미하게 관련되어 있었다.

Hierarchical stepwise multiple regression analyses revealed the relative contribution of the independent variables on preparedness for practice (Table 3). 

  • First, only the control variables (gender and general self-efficacy) were entered: this model explained 14 % of the variance in preparedness for practice. General self-efficacy was significantly related to preparedness for practice but gender was not. 

  • The addition of educational innovations (second model) significantly increased the explained variance in preparedness for practice to 25 %. 

  • When attention to competencies was added to the model, this variable was significantly related to preparedness for practice, but educational innovations stopped being so (Table 3). This third model significantly increased the explained variance in preparedness for practice to 43 %. 

  • Because we expected an interaction between learning environment and attention to competencies, learning environment and the interaction term were added in the final model, which significantly increased the explained variance to 52 %. In this final model, general self-efficacy, attention to competencies, learning environment and the interaction term were significantly related to preparedness for practice, with learning environment as the strongest predictor.



유의한 상호작용은 역량에 대한 주의와 실천 준비 사이의 관계가 학습 환경 값에 따라 다르다는 것을 나타낸다. 평균보다 1 SD 높은 경우에서 학습 환경을 위한 단순한 기울기는 유의하게 양의(B = 0.17, p < 0.001)이었지만 평균보다 1 SD 낮은 학습 환경에 대한 경계선 유의성(B = 0.09, p = 0.05)에 불과했다. 이는 역량에 대한 관심이 높은 학습 환경 가치에 대한 실천에 대한 준비와 더 강하게 관련되었다는 것을 의미한다.

The significant interaction indicates that the relationship between attention to competencies and preparedness for practice varies by learning environment values. The simple slope for learning environment at 1 SD above the mean was significantly positive (B = 0.17, p < 0.001), but was only of borderline significance for a learning environment 1 SD below the mean (B = 0.09, p = 0.05). This means that attention to competencies was more strongly related to preparedness for practice for high learning environment values.


고찰

Discussion


이 연구는 새로운 역량 기반 PGME 프로그램이 독립적 실습을 위해 새로운 컨설턴트를 준비하는 정도를 결정하는 데 있어 학습 환경의 질이 매우 중요하다는 것을 보여준다. 역량 기반 PGME 프로그램의 교육 혁신은 실천에 대한 준비와 긍정적으로 연관되었지만, 이 관계는 피드백과 코칭 중 역량에 대한 주의에 의해 조정되었고, 역량에 대한 주의를 조정한 후 더 이상 유의하지 않았다. 또한, 이러한 관계는 높은 등급의 학습 환경에서 가장 강력한 학습 환경 가치에 따라 다양했다.

This study shows that the quality of the learning environment is of key importance in determining the degree to which novel competency-based PGME programmes prepare new consultants for independent practice. Although the educational innovations of competency-based PGME programmes were positively associated with preparedness for practice, this relationship was mediated by attention to competencies during feedback and coaching, and was no longer significant after adjusting for attention to competencies. In addition, this relationship varied by learning environment value, being strongest in a highly rated learning environment.



포트폴리오나 미니-CEX와 같은 교육 혁신의 적용은 피드백과 코칭 중 역량에 대한 관심 증가와 관련이 있었으며, 이는 PGME[2]의 현재 방향을 뒷받침한다. 교육 혁신의 중요한 부분은 [평가 도구]인데, 이러한 도구들의 사용은 실무 준비성에 대한 더 높은 점수와 관련되었다. 그러므로 교육 혁신과 역량에 대한 주의를 통한 실천 준비 사이의 간접적 연결은 평가가 학습을 추진한다는 주장과 잘 들어맞는다[36].

The application of educational innovations, such as portfolios or mini-CEX, was related to increased attention to competencies during feedback and coaching, which supports current directions in PGME [2]. A significant part of the educational innovations are assessment tools, and the use of these instruments was related to higher scores on preparedness for practice. Therefore, the indirect link between educational innovations and preparedness for practice through attention to competencies fits well with the claim that assessment drives learning [36].


그러나 후속 분석에서는 [교육 혁신과 실무 준비 사이의 관계가 간접적]이며 [역량에 대한 주의에 의해 매개]된다는 것을 보여주었다. PGME에서 더 많은 시간이 피드백과 신중한 교육보다 환자 치료에 독립적으로 사용되기 때문에, 이 결과는 놀랍지 않으며, 커리큘럼 변경의 효과를 직접 측정하기 어려운 이유에 대한 이전의 설명을 뒷받침한다[6, 8]. 이와 같은 간접적인 관계는 더 나아가, 교육 혁신들이 역량에 대한 주의를 강화하는 수단으로서 가치가 있지만, 그것들 자체가 목표가 되어서는 안 된다는 것을 암시한다. 또한 최종 회귀 모형의 교육 혁신의 회귀 계수가 0에 가까웠다는 사실은 [강력한 프로그램이 혁신적 훈련 방법을 채택했을 가능성]이 더 높았음을 시사할 수 있다. 따라서 교육 혁신과 실무 준비 사이의 간접적인 연관성은 순수한 인과관계가 아닐 수 있으며 이 문제를 해결하기 위해 더 많은 연구가 필요하다.

However, subsequent analyses showed that the relationship between educational innovations and preparedness for practice was indirect, and mediated by attention to competencies. Because more time in PGME is spent on working independently in patient care than on feedback and deliberate education, this finding is not surprising, and supports earlier explanations of why the effects of curricular changes are difficult to measure directly [6, 8]. The indirect relationship suggests, furthermore, that although the educational innovations are valuable as a means to enhance attention to competencies, they should not become goals in themselves. Additionally, the fact that the regression coefficient of educational innovations in the final regression model was close to zero may suggest that strong programmes were more likely to have embraced innovative training methods. The indirect link between educational innovations and preparedness for practice may therefore not be a pure causal association and more research is needed to address this issue.


교육 혁신과 역량에 대한 관심이 실천에 대한 준비성에 영향을 미치는 것처럼 보이지만, 학습 환경은 가장 강력한 예측 변수임이 밝혀졌다. 이러한 결과는 학습 환경이 의료 교육에서 성취, 만족 및 성공을 예측하는 데 고유한 기여를 한다는 주장과 일치한다[37, 38]. Genn[39]에 따르면, 학습 환경은 교육 변화의 중심을 이룬다. 마찬가지로, 우리의 연구에서 [역량에 대한 관심]은 [학습 환경이 낮은 점수를 받았을 때] 연습에 대한 준비와 관련이 없었다. 이는 역량 프레임워크로 변경하기 위한 현재의 투자는, 학습 환경이 충분히 잘 구성되었을 때에만 실천에 대한 준비성 측면에서 성과를 거둘 것임을 시사한다.

Educational innovations and attention to competencies seem to influence preparedness for practice, but the learning environment was found to be the strongest predictor. This finding is in line with claims that the learning environment has a unique contribution to the prediction of achievement, satisfaction and success in medical education [37, 38]. According to Genn [39], the learning environment forms the centre of educational change. Likewise, in our study, attention to competencies was not related to preparedness for practice when the learning environment scored low. This suggests that the current investments to change to competency frameworks will only pay off in terms of preparedness for practice when the learning environment is sufficiently well organized.


우리는 우리의 연구에 다음과 같은 한계를 인정한다. 첫째, 응답률은 보통 수준이었지만, 의사 설문조사에서는 일반적이었다[42]. 이는 무응답 편향을 유도할 수 있지만, 표본이 우리의 연구에서 그러했던 [43]을 대표한다면, 이것은 의미 있게 결과를 왜곡할 가능성은 없다. 또한, 연구된 표본은 유효한 통계 분석이 가능할 만큼 충분히 컸다. 둘째로, 우리의 모든 데이터는 자체 보고 조치에서 얻었으며, 공통적인 방법 분산은 결과적으로 연구 모델 구성들 사이의 관계에 부분적으로 책임이 있을 수 있다[44].

We acknowledge the following limitations to our study. First, the response rate was moderate, but common for physician surveys [42]. Although this may induce non-response bias, this is unlikely to distort the results meaningfully if the sample is representative [43], which was the case in our study. Moreover, the sample studied was large enough to allow valid statistical analyses. Second, all our data were obtained from self-report measures and common method variance could consequently be partly accountable for the relationships between the research model constructs [44].


실무준비에 있어서 절반 이상의 차이가 포함된 변수에 의해 설명되었지만, 상당 부분은 설명되지 않은 채로 남아 있었다. 왜 몇몇 새로운 컨설턴트들이 다른 컨설턴트들보다 연습에 대해 더 잘 준비되었다고 느끼는지와 훈련 프로그램이 어떻게 이 연결을 개선할 수 있는지를 발견하기 위해 더 많은 연구가 필요하다.

Although more than half of the variance in preparedness for practice was explained by the variables included, a considerable part remained unexplained. More research is required to discover why some new consultants feel better prepared for practice than others and how training programmes can improve this connection.



핵심

Essentials


학습환경에 투자하여 연습생들을 독립 연습에 최적으로 대비시키는 것이 중요하다.

● It is important to invest in the learning climate to prepare trainees optimally for independent practice.


● PGME의 교육적 측면의 효과는 긍정적인 학습환경에서 이익을 얻는 것으로 보인다.

● The effectiveness of didactic aspects of PGME seems to benefit from a positive learning environment.


● 코칭 중 역량에 대한 주의와 피드백, 역량 기반 교육을 지원하는 연습 준비 사이에는 긍정적인 관계가 있다.

● There is a positive relation between attention to competencies during coaching and feedback and preparedness for practice, which supports competency-based education.



5. Malone K, Supri S. A critical time for medical education: the perils of competence-based reform of the curriculum. Adv Health Sci Educ Theory Pract. 2012;17:241–6. 










 2015 Dec;4(6):300-307.

How educational innovations and attention to competencies in postgraduate medical education relate to preparedness for practice: the key role of the learning environment.

Author information

1
Wenckebach Institute, University Medical Center Groningen, University of Groningen, FC 10, Hanzeplein 1, 9700 RB, Groningen, The Netherlands. i.s.dijkstra@umcg.nl.
2
Wenckebach Institute, University Medical Center Groningen, University of Groningen, FC 10, Hanzeplein 1, 9700 RB, Groningen, The Netherlands.
3
Faculty of Behavioural and Social Sciences, University of Groningen, Groningen, The Netherlands.
4
Center for Research and Innovation in Medical Education, University of Groningen, University MedicalCenter Groningen, Groningen, The Netherlands.
5
Wenckebach Institute, University of Groningen, University Medical Center Groningen, and Princess Amalia Children's Centre, Isala Hospital, Zwolle, The Netherlands.

Abstract

INTRODUCTION:

Many training programmes in postgraduate medical education (PGME) have introduced competency frameworks, but the effects of this change on preparedness for practice are unknown. Therefore, we explored how elements of competency-based programmes in PGME (educationalinnovationsattention to competencies and learning environment) were related to perceived preparedness for practice among new consultants.

METHODS:

A questionnaire was distributed among 330 new consultants. Respondents rated how well their PGME training programme prepared them for practice, the extent to which educational innovations(portfolio, Mini-CEX) were implemented, and how much attention was paid to CanMEDS competenciesduring feedback and coaching, and they answered questions on the learning environment and general self-efficacy. Multiple regression and mediation analyses were used to analyze data.

RESULTS:

The response rate was 43 % (143/330). Controlling for self-efficacy and gender, the learningenvironment was the strongest predictor of preparedness for practice (B = 0.42, p < 0.001), followed by attention to competencies (B = 0.29, p < 0.01). Educational innovations were not directly related to preparedness for practice. The overall model explained 52 % of the variance in preparedness for practiceAttention to competencies mediated the relationship between educational innovations and preparednessfor practice. This mediation became stronger at higher learning environment values.

CONCLUSIONS:

The learning environment plays a key role in determining the degree to which competency-based PGME prepares trainees for independent practice.

KEYWORDS:

CanMEDS; Competency-based education; Evaluation; Learning environment

PMID:
 
26498596
 
PMCID:
 
PMC4673059
 
DOI:
 
10.1007/s40037-015-0219-3


카이로프락틱 훈련 기관에서 학부학생들의 교육환경 재평가(J Chiropr Educ, 2015)

Reassessing the educational environment among undergraduate students in a chiropractic training institution: A study over time

Per J. Palmgren, RC,MMedEd, Tobias Sundberg, PT, DO, PhD, and Klara Bolander Laksov, PhD




도입

INTRODUCTION


지난 10년간 의료 전문 훈련에서 교육 환경의 역할에 대한 관심이 증가하고 있다. 교육의 질을 위한 교육 환경의 가치는 연구 결과에 의해 뒷받침되고 있으며, 환경이 효과적인 커리큘럼의 중요한 결정요인이며 학생들의 행동과 행복감에 영향을 미친다는 것은 널리 인정받고 있다.1-3 결과적으로, 학생 학습에서 효과적인 프레임워크로서의 교육 환경에 대한 인식이 증가하고 있다.4 연구에 따르면 학생들의 환경에 대한 인식이 교육 결과와 학업 진척도에 크게 영향을 미치고 바람직한 학습 결과가 사회 검사적 환경의 측면과 긍정적으로 연관되어 있다고 한다.8,9 게다가 기능 장애가 있는 환경은 비용이 많이 들고 비생산적인 환경이다.10,11

The last decade has witnessed a growing interest in the role of educational environments in health care professional training. The value of the educational environment for the quality of education is underpinned by research outcomes, and it is widely acknowledged that the environment is an important determinant of an effective curriculum and affects students’ behavior and sense of well-being.1–3 Consequently, there is increasing recognition of the educational environment as an effective framework in student learning.4 Studies have shown that students’ perceptions of the environment significantly influence educational results and academic advancement5–7 and that desirable learning outcomes are positively linked with aspects of sociopsychological environments.8,9 Moreover, dysfunctional environments are costly and counterproductive.10,11


교육 환경에 대한 경험적 조사는 풍부한 계층과 다양한 특징, 설정 및 이해당사자를 포괄할 수 있기 때문에 상대적으로 복잡할 수 있다. 학생들은 주요 이해당사자들 중 하나이며, 그들의 교육 환경에 대한 그들의 인식은 매우 유용한 정보의 원천이다. 따라서 교육 환경은 부분적으로 다른 이해당사자들 사이의 상호작용에 의해 특징지어질 수 있다. 그것들은 효과적인 교육에 기여할 수 있는 많은 요소들을 포함하고 있으며, 그것들은 교과 과정이 존재하는 중추다.12

Empirical investigations of educational environments can be relatively complex, as they can encompass abundant layers and a multitude of different features, settings, and stakeholders. Students are among the key stakeholders, and their perceptions of their educational environment are highly useful sources of information; thus, educational environments can be partially characterized by interactions between different stakeholders. They embody many factors that can contribute to effective education, and they are the backbone in which a curriculum resides.12


교육 환경은 개인이 사회적으로 구성되는 감정, 지적, 물리적 현으로 이루어진 복잡한 거미줄이며, 이는 여러 가지 함축이 있는 다소 모호한 구조를 구성하며, 따라서 비록 시도는 있었지만 정의내리는 것을 어렵게 만든다.2 이러한 어려움은 아마도 그것의 모든 것을 포용하는 성격 때문일 것이다.13 교육 환경은 외부적이고 가시적인 객관적 요소들뿐만 아니라 기관의 "인성" 특성과 같은 미묘하고 내적인 특징들을 구성한다고 가정할 수 있다. 그러므로, 교육 환경은 직접적으로 측정할 수 없는 이론적 구조로서, 그러나 그것의 만연하고 실질적인 영향은 학생들의 일상적인 경험과 인식에서 나타나며, 이는 탐구하고 평가할 수 있다.

The educational environment is an intricate web of emotional, intellectual, and physical strings, which are socially constructed by individuals.1,2,13 It constitutes a somewhat vague construct with a multitude of connotations, thus making definitions challenging—although there have been attempts.2 This difficulty is probably due to its all-embracing nature.13 It can be presumed that educational environments constitute not only externalized and tangible objective components but also subtle and internalized features, such as the ‘‘personality’’ traits of an institution. Thus, the educational environment is foremost a theoretical construct that cannot be measured directly; however, its pervasive and substantial effects are manifested in students’ mundane experiences and perceptions, which can be explored and assessed.


설계, 유효성 및 신뢰성의 측면에서 각각 강점과 단점을 가진 의료 전문 교육의 교육 환경을 측정하기 위해 다양한 도구를 사용할 수 있다. DREEM(Dundee Ready Education Environment Measure)은 아마도 가장 광범위하게 사용되는 도구일 것이다.14 그것은 기관간 차이, 다양한 교육단계, 16–18 커리큘럼 개혁, 19 및 성별 불일치와 같은 학부 교육 환경의 다양한 측면을 탐구, 평가 및 비교하는 데 사용되어 왔다. 

Various instruments can be used to measure educational environments in health care professional education, each with strengths and drawbacks in terms of design, validity, and reliability. The Dundee Ready Educational Environment Measure (DREEM) is perhaps the most extensively used instrument.14 It has been used to explore, evaluate, and compare various aspects of undergraduate educational environments, such as institutional differences,15 levels of training,16–18 curriculum reform,19 and gender discrepancies.20,21


DREEM은 교육적 맥락에서 환경을 측정하는 데 적합하며, 테스트 내용(내용 및 구성 유효성)22~24 및 내부 일관성(신뢰성)에 기반한 증거와 함께 다양한 맥락에서 양호한 심리측정적 특성을 가진 것으로 보고되었다그 기구는 의심할 여지 없이 전문 의료 교육에 대한 더 큰 맥락적 이해를 확립하는 데 기여했다.

 DREEM is suitable for gauging the environment in educational contexts,14 and it has been reported to have good psychometric properties in many diverse contexts, with evidence based on test content (content and construct validity)22–24 and internal consistency (reliability).19,25–28 The instrument has undoubtedly contributed to establishing a greater contextual understanding of professional health care education.


방법

METHODS


Empirical Setting


Study Design and Methodology


이 연구는 실용적 연구 전통에 입각한 혼합 방법론적 다중 사례 연구 방법론을 채택하고 있는 보다 큰 미래 연구 프로젝트의 일부였다.

The study was part of a larger prospective research project employing a mixed-method multiple–case-study methodology anchored in a pragmatic research tradition.


Participants and Sampling


Data Collection


DREEM은 교육 환경과 직접적인 관련이 있는 다양한 주제와 관련하여 자체 통제되고 폐쇄된 재고자산이다. 스웨덴에서 사용할 수 있도록 번역되고 검증된 19는 리커트 응답의 5점 만을 사용하여 0부터 4까지 점수를 매긴 50개의 문장으로 구성되어 있다: 01⁄4 반대, 1⁄4 반대, 2 1⁄4 반대, 3 1⁄4그라이, 4 1⁄4 강하게 동의한다. 이 항목들은 교육 환경의 다양한 특징을 포함하는 5개의 항목으로 수집된다. 

    • 학습에 대한 학생들의 인식(SPL; 12개 항목/최대 점수 48) 

    • 가르침에 대한 학생들의 인식(SPT; 11개 항목/최대 점수 44) 

    • 학생들의 학업 자기 인식(SASP; 8항목/최대 점수 32점)

    • 학생들의 대기에 대한 인식(SPA; 12항목/최대점수 48) 및 

    • 학생들의 사회적 자아 인식(SSSP; 7항목/최대 점수 28). 


DREEM is a self-administered, closed-ended inventory relating to a variety of topics of direct relevance to educational environments. Translated and validated for use in Sweden,19 it comprises 50 statements scored from 0 to 4 using a 5-point Likert response: 0 ¼strongly disagree, 1 ¼disagree, 2 ¼unsure, 3 ¼agree, and 4 ¼strongly agree. The items are congregated into 5 subscales covering different features of the educational environment: 

    • students’ perceptions of learning (SPL; 12 items/maximum score 48), 

    • students’ perceptions of teaching (SPT; 11 items/ maximum score 44), 

    • students’ academic self-perceptions (SASP; 8 items/maximum score 32),

    • students’ perceptions of the atmosphere (SPA; 12 items/maximum score 48), and 

    • students’ social self-perceptions (SSSP; 7 items/maximum score 28). 


항목 중 9개는 부정적이어서 역점수를 받는다. 따라서 모든 항목과 하위 척도 점수에 대해 높은 점수는 더 긍정적인 반응을 나타낸다.

Nine of the items are negative statements and are therefore scored in reverse. Thus, for all the item and subscale scores, a higher score designates a more positive response.


항목들은 3가지 레벨로 분석할 수 있다: 개별적으로, 5개의 항목으로 풀링, 그리고 전체적으로. 이 도구의 전체 점수는 200점이며 전체 및 하위 척도 점수는 표준 지침과 비교하여 해석할 수 있다.31 Edgren 등 19는 교육 환경과 항목별 전반적인 인식은 명시적인 교육 문제를 잠재울 수 있기 때문에 항목 수준에서 데이터 분석의 중요성을 강조했다. 개별 항목 점수는 또한 확정적 강점과 단점을 정확히 파악하기 위해 조사할 수 있다.31 평균 점수가 3.5보다 큰 항목은 주로 강점을 나타내고, 예상 평균 2보다 작거나 같은 점수는 문제가 있는 영역을 나타내며, 2와 3 사이의 점수는 개선이 가능한 영역을 나타낸다.

The items can be analyzed on 3 levels: individually, pooled into 5 subscales, and overall. The instrument has an overall score of 200, and overall and subscale scores can be interpreted against standard guidelines.31 Edgren et al19 highlighted the importance of analyzing data on an item level because the overall perception of the educational environment and the subscales could conceivably conceal explicit educational problems. Individual item scores can also be examined to pinpoint definitive strengths and shortcomings.31 Items with a mean score greater than 3.5 mainly represent strong areas; a score of less than or equal to the expected mean of 2 indicates problematic areas; and scores between 2 and 3 indicate areas in which improvements could be made.



데이터 분석 

Data Analysis


모든 항목이 응답자에 의해 완성되는 경우에만 해당 항목을 개별, 집합 및 전체 3단계로 분석하였다. 분석의 주된 초점은 개별 항목 수준이었다. 모든 수준의 데이터는 평균으로 보고되었다. 전체 및 하위 척도 점수는 각각 최대 달성 가능 점수의 백분율로 표현되었다.22,32

The items were analyzed on 3 levels—individually, pooled, and overall—only if all items were completed by the respondents. The main focus of the analysis was the individual item level. The data from all levels were reported as averages through means. The overall and subscale scores were expressed as percentages of the respective maximal attainable scores.22,32


데이터 분포는 중심 경향의 매개변수들 사이의 잠재적 불일치를 대조하고 분포의 편차 및 첨도를 평가하고 Kolmogorov-Smirnov 및 Shapiro-Wilk 테스트를 채택하여 상자 그림을 통해 시각적으로 평가되었다.

The data distribution was assessed visually via boxplots by contrasting potential discrepancies among the parameters of central tendency, evaluating the skewness and kurtosis of the distributions, and employing Kolmogorov-Smirnov and Shapiro-Wilk tests.


기준 변수는 재고자산의 전체, 하위 척도 및 개별 점수로 측정한 교육 환경의 인식이었으며, 예측 변수는 코호트의 연도(2009년과 2012년)와 연구 연도(1~5년)였다. Swift 외,33에 의해 설명된 지침에 따라 5개의 응답 범주는 동의/강력한 동의, 확실하지 않음, 그리고 반대/강력한 불일치로 3가지로 분류되었다.

The criterion variables were the perceptions of the educational environment as measured by the overall, subscale, and individual scores of the inventory, and the predictor variables were the cohorts’ year (2009 and 2012) and year of study (1 to 5). Following the guidelines outlined by Swift et al,33 the 5 response categories were trichotomized into agree/strongly agree, unsure, and disagree/strongly disagree.


효과 크기는 변경 점수의 평균을 합동 표준 편차로 나누어 계산했다.36 효과 크기 통계, 0.2는 작은 유의미한 변화의 크기를 나타냈으며 0.2–0.7은 중간 변화, 0.7은 큰 변화를 나타냈다. 이러한 분석은 세 가지 분석 수준 모두에 대해 수행되었다.

Effect size was calculated by dividing the mean of the change scores by the pooled standard deviation.36 Effect size statistics ,0.2 indicated a small meaningful magnitude of change, 0.2–0.7 a moderate change, and .0.7 a large change. These analyses were performed for all 3 analytical levels.



Ethical Considerations


RESULTS


하위 척도 점수를 사용하여 수행된 DREEM의 내부 일관성은 Cronbach가 2009년에 각각 SPL, SPT, SASP, SPA 및 SSSP에 대한 값을 보여주었고, 각각 0.781, 0.75, 0.512, 0.75 및 0.743의 값을 나타내었으며, 2012년에는 각각 0.710, 0.645, 621, 627, 0.569의 값을 보여주었다.

The internal consistency of DREEM, conducted using the subscale scores, showed Cronbach a values for SPL, SPT, SASP, SPA, and SSSP of .781, .725, .512, .759, and .743, respectively, in 2009; and .710, .645, .621, .727, and .569, respectively, in 2012.



Overall and Subscale DREEM Scores at 2 Points in Time




Longitudinal Overall and Subscale DREEM Scores


Comparison of Individual DREEM Scores at 2 Points in Time




Comparisons of Individual DREEM Scores of Longitudinal Matching Samples







DISCUSSION


Key Findings


The Study’s Contribution and Relation to Empirical Evidence


내적 일관성

Internal Consistency


우리의 데이터는 Cronbach가 DREEM 항목별 값이 다양하다는 것을 보여주었고, 5개의 항목 중 4개가 2009년에 임계값을 초과했지만 2012년에는 2개 항목만 해당 항목에서 내부 일관성이 저하되었음을 나타낸다. 유소프 외 37은 유사한 모집단을 다른 시간 및 경우에 유사한 결과를 제공하는 DREEM 재고의 능력을 위태롭게 할 수 있다고 주장했다. 이전의 연구는 최근 5개 항목에서 Cronbach의 가변성과 관련하여 DREEM의 불일치를 지적했다.38–40 

Our data demonstrated that the Cronbach a values for the DREEM subscales varied, with 4 of the 5 subscales surpassing the a threshold34 in 2009 but only 2 doing so in 2012, indicating that their internal consistency was compromised. Yusoff et al37 asserted that this may jeopardize the ability of the DREEM inventory to give analogous results if a similar population is being studied at different times and occasions. Previous research has recently pointed to discrepancies in the DREEM in relation to the variability of Cronbach in the 5 a subscales.38–40 


따라서 값이 낮다는 것은 부적절한 문장의 수, 항목 간 상호관련성 또는 이질적인 구성의 결과일 수 있다는 것이 문헌에서 제시되었다. 반대로, 매우 높은 값은 동일한 구조를 테스트하기 때문에 일부 항목이 중복됨을 나타낼 수 있다.41,42 낮은 값에 대한 우리의 데이터는 DREEM에 의해 측정되고 있는 5개 이상의 구조가 있음을 나타낼 수 있으며, 이는 다른 사람들에 의해 지지된 개념이다.43 이러한 다차원성으로 인해서 Cronbach alpha가 신뢰도를 과소평가하는 결과로 이어졌을 수 있다.

Thus, it has been suggested in the literature that low a values could be a result of an inadequate number of statements, poor interrelatedness between items, or heterogeneous constructs. Conversely, very high values may indicate that some items are redundant because they are testing the same construct, though in a diverse form.41,42 Our data on low a values might indicate that there are more than 5 constructs being measured by the DREEM, a notion which has been supported by others.43 Such multidimensionality could lead to Cronbach a underestimating the level of reliability.44


Overall and Pooled DREEM Scores


점수가 높은 이유는 추측만 할 수 있지만, 소규모 사립 기관들이 주로 좋은 점수를 받는지 여부를 탐구하는 것은 흥미로울 것이다. 이 개념은 최근 연구들에서 DREEM 점수가 더 높은 것은 사립기관이 규모가 작다는 것에 기인할 수 있다고 제안하면서 지원되었다.48 그러나 학자들은 DREEM 목록으로 측정했을 때 지각적으로 좋은 교육 환경을 가진 소규모 교육 기관에서도 중요한 성별, 인종 및 소수민족 관련 문제는 빈약한 교육 환경이라는 그늘을 드리울 수 있다.49 게다가 McKendree45는 이해관계자의 열정이 전체 기관에 퍼져 있는 "신규 학교"가 교육 환경에 대한 높은 인식을 부분적으로 설명할 수 있다고 제안했다. '조직적 사가'50라는 용어는 고등교육의 일부 기관이 왜 매우 좋은 것으로 간주되는지를 설명하기 위해 사용되었다. 버턴은 '사가saga'는 미션을 갖춘 소그룹의 강한 비전으로 시작되는 경우가 많으며, 이러한 현상은 소조직에서 종종 더 구체적이고 구체적이라고 지적했다. 

The reason for the high score can only be speculated upon, but it would be intriguing to explore whether small private institutions score predominantly well. This notion has recently been supported, with investigators suggesting that higher overall and subscale DREEM scores could be attributed to smaller class sizes in private institutions.48 However, scholars have shown that even in small training institutions with a perceivably good educational environment, as measured with the DREEM inventory, subtle but important gender-, ethnic-, and minority-related issues could overshadow the propensity of a scanty educational environment.49 Furthermore, McKendree45 proposed that a ‘‘new school’’ in which stakeholder enthusiasm pervades the entire institution could partly explain high perceptions of the educational environment. The term ‘‘organizational saga’’50 has been used to explain why some institutions in higher education are regarded as very good. Burton50 pointed out that a saga often begins with the strong vision of a small group with a mission, and that this phenomenon is often more tangible and concrete in smaller organizations. 


다른 연구에 따르면, 이 재평가는 교육 프로그램의 첫 해와 마지막 해에 교육 환경에 대한 인식이 가장 높은 것으로 보인다는 것을 입증한다. (우리의 경우, 3년차 및 4년차). 3,27,53–55 그러나 2009년에 1학년 학생들은 T에 대해 더 긍정적이었다.2012년에 그의 동료들보다 교육적인 환경; 비록 질량적 중요성에 대한 본페로니 조정은 이것이 유의하지 않다는 것을 보여주었지만, 같은 경사형 모양이 프로그램을 통해 명백했다. 이에 합치하여 연구자들은 많은 학생들의 초기 열정이 연구 과정 동안 감소하는 것으로 보이며, 교육 환경의 지각적 악화는 전적으로 교육 전달에 의한 것이 아니라 나이가 더 들고, 비판적이 되고, 자율성을 중요시하게 되는 것과 같은 개별적인 요소에 기인한다고 제안했다.21,56 젊은 학생들의 성인의 삶 진입과 고등 교육 연구 참여와 관련된 행복은 초기 높은 점수를 설명할 수 있으며, 학생들이 긴 교육 프로그램의 정점에 가까워짐에 따라 점수가 다시 오를 것이라는 것은 직관적으로 그럴듯해 보인다. 

In accordance with other studies, this reassessment corroborates the finding that the perception of the educational environment seems to be at its highest in the first and last years of an educational program, with a measurable slope in the middle (in our case, years 3 and 4).3,27,53–55 However, in 2009, 1st-year students were more positive about the educational environment than their peers in 2012; though the Bonferroni adjustment for mass significance showed that this was not significant, the same sloped shape was apparent halfway through the program. In congruence, researchers have proposed that the initial enthusiasm of many students appears to decrease during the course of their studies and that the perceived deterioration of the educational environment is not entirely due to educational delivery but also to individual factors, such as becoming older, more critical, and autonomous.21,56 Young students’ happiness in relation to entering adult life and taking up higher education studies could explain the initial high scores, and it seems intuitively plausible that the scores would rise again as students approach the culmination of a long educational program. 


이와는 대조적으로, 시간에 따른 최근의 비교 연구에서, 모하디디 외 30은 교육 환경에 대한 그들의 인식과 관련된 임상 단계 학생들의 점수가 임상 전 단계 학생들의 점수보다 더 높다고 보고했다. 그들은 이것이 시간이 지남에 따라 교육 환경의 변화를 나타내는 것일 가능성이 높다고 주장했다. 마찬가지로, 강 교수 등은 최근 훈련 프로그램을 중간에서 DREEM 점수가 감소하는 것은 임상 교육의 시작과 공식 대 임상 환경의 인식의 차이로 설명할 수 있다고 보고했다. 그러나, 교육 학습 환경에 대한 높은 기대를 가지고 훈련 프로그램을 시작하는 학생들은 프로그램 과정 내내 환경에 대한 보다 긍정적인 전체적인 인식을 갖게 되기 쉽다는 경험적인 증거가 있다.57

In contrast, in a recent comparative study over time, Mojaddidi et al30 reported that the scores of clinical phase students regarding their perception of the educational environment were higher than those of preclinical phase students. They argued that this was most likely an indication of change in the educational environment over time. Likewise, Kang et al57 recently reported that this decline in the DREEM scores halfway through a training program could be explained by the commencement of clinical education and the differences in perceptions of the formal vs the clinical environment. However, there is empirical evidence suggesting that students who start a training program with a higher expectation of their educational learning environment are prone to having more positive overall perceptions of the environment throughout the course of the program.57



개별 DREEM 문항

Individual Item DREEM Scores


Edgren 등이 지적한 바와 같이, 교육 환경에 대한 전체 및 subscale의 인식에서 얻은 19점은 명백한 교육 문제의 존재를 은폐할 수 있으므로, 항목 수준에서 DREEM 인벤토리를 해석하기 위해 주의를 기울여야 한다. 이와 같이 시간에 따라 지속적으로 박탈된 점수를 받는 3개 항목은 아래에서 별도의 실체로 논의한다.

As pointed out by Edgren et al,19 scores from overall and subscale perceptions of the educational environment may conceivably veil the presence of explicit educational problems; therefore, particular attention must be paid to interpreting the DREEM inventory on an item level. As such, the 3 items persistently receiving deprived scores over time are discussed below as separate entities.


스트레스 받은 학생에 대한 지원 부족

Limited Support for Stressed Students


사실적 지식의 과다한 강조

Overemphasizing Factual Learning


많은 DREEM 연구는 가르치는 것이 사실적 학습을 지나치게 강조한다는 학생들의 인식을 강조해왔다. 따라서 학생들이 더 깊은 학습을 하지 않고 표면 학습 접근법을 채택하고 있음을 암시한다.64 사실적 과부하 인식은 표면 학습 접근법과 관련이 있는 것으로 나타났다.65 실제로, 의료 전문 훈련의 많은 특징들이 학생들을 표면 학습을 유도하곤 한다.66 게다가, 학자들은 교육 환경을 부정적으로 인식하는 학생들이 학문적으로 덜 숙련된 학생일 수 있다는 것을 보여주었다.67,68

Many DREEM studies have highlighted students’ perception that teaching overemphasizes factual learning,3,18,19,47,54,57,63 thus insinuating that students are employing surface-learning approaches to the detriment of deeper learning.64 Perceptions of factual overload have been shown to be correlated with surface-learning approaches.65 Indeed, many features of health care professional training might propel students toward surface learning.66 Furthermore, scholars have shown that students who perceive the educational environment deleteriously may be those who are less academically proficient.67,68


연구에 따르면 authentic 맥락을 강화하는 교육 환경의미 부여를 촉진하고 지식의 적용을 촉진하며 반복적인 성찰을 촉진하여 교사 중심성과 사실적 학습에 대한 강조를 모두 극복한다.19,72–74

Research has shown that educational environments that enhance authentic contexts facilitate meaning making, stimulate the application of knowledge, and promote iterative reflection, thus combating both teacher centeredness and the emphasis on factual learning.19,72–74


권위주의적 교사Authoritarian Teachers


의료 전문가 교육에서 학생들의 centeredness과 자발적이며, 평생학습자 패러다임으로의 변화에도 불구하고, 그리고 선생님들의 역할이 완전히 바뀌었음에도, 많은 다른 연구와 유사하게, 우리들은 학생들에 대한 전반적인 인식 선생님들은 권위주의적임을 발견했다.

Despite a paradigmatic shift in health care professional education toward student centeredness and self-directed, lifelong learning, as well as the transformation of teachers’ roles from the ‘‘sage on stage’’ to the ‘‘guide by the side,’’75 similar to many other studies3,26,54,57,76 we found an overall perception among students that teachers were authoritarian.


그러나, 이후에 이어지는 학생들과의 질적 인터뷰에서, 참가자들은 '권위주의자'라는 단어의 함축에 대해 설명하는데 어려움을 겪었고, 따라서 이 항목이 어쩌면 instrumental artifact이며, 이는 결국 안면타당도에 의문을 제기한다. 앞서 우리가 이것에 대해 보고했으며, 우리는 권위주의라는 단어의 함축에 문화적 차이가 있을 수 있다고 믿는다. DREEM 개발자들의 이전의 주장과는 달리, 이 도구가 문화에서 독립되지 않을 수도 있다.24,40,81 반면에, 우리의 자료는 2009년과 2012년 모두 학생들이 '교실에서 교사가 화를 낸다'는 말에 동의하지 않는다는 것을 보여주었다."에 대해서 평균보다 높은 점수를 보여주었으며, strong areas로 드러났다. 그럼에도 불구하고 권위주의라는 개념은 정확성을 형성할 수 있고 학생들의 인식에 대한 평가는 더 조사되어야 한다.

However, in an ensuing qualitative interview with students (data not reported here), the participants had difficulty explaining the connotation of the word ‘‘authoritarian,’’ thereby making this item a possible instrumental artifact, which in turn, raises questions over its face validity. While we reported on this earlier,54 we believe that there may also be cultural differences in the connotation of the word authoritarian. It is possible, contrary to previous claims made by the DREEM developers,22 that the inventory might not be independent of culture, a viewpoint supported by others.24,40,81 On the contrary, both in 2009 and 2012, our data revealed that students demonstrated disagreement with the statement ‘‘The teachers get angry in class,’’ displaying scores above the estimated mean and greater than the cutoff for strong areas. Nevertheless, the notion of authoritarianism could form an accurate and assessment of the students’ perception must be investigated further.


종단적 검사의 DREEM 변경 사항

Longitudinally Examined DREEM Changes


그러나 DREEM을 이용한 많은 학술적 조사에서는 최종 단계에서 약간의 점수 상승을 제외하고는 훈련기관에서 보내는 시간에 따라 환경에 대한 인식이 감소한다는 것을 보여주었다. 그러나 중요한 것은 이러한 연구의 대부분이 종단 설계가 아닌 단면 설계를 채택했다는 점이다.

However, many scholarly investigations using DREEM have shown that perceptions of the environment decrease with the time spent in the training institution,3,27,29,53–55 except for slight score escalations in the final phase. Importantly, however, most of these studies have employed cross-sectional—not longitudinal—designs.


모델 합성

Synthesizing a Model


앞서 언급한 연구결과, 실증적 증거, 그리고 기존의 이론적 틀에 기초한 납치적 추리 접근법을 사용하여 교육환경 문제와 부정적 인식 사이의 상호적 연관성을 예증하고 묘사할 수 있는 모델을 제안한다(그림 2). 순환은 교육 과정이 학생과 교사 모두에게 스트레스 요인이 되기 보다는 격려가 되는 편안한 환경을 조성함으로써 중단되어야 한다. 

    • 스트레스 처리를 위한 적절한 지원 시스템의 구축, 

    • 선생님들을 전통적인 교육 마인드셋에서 구해내고, 

    • 교육/학습 프로세스에서 맥락화되고 결정적인 의미 있는 사실적 학습을 촉진하는 학생 중심의 환경을 구축한다.

Using an abductive reasoning approach based on the aforementioned findings, empirical evidence, and existing theoretical frameworks, we propose a model that could illustrate and depict the reciprocal connections between educational environment issues and negative perceptions (Fig. 2). This iterative cycle should be interrupted by creating a congenial environment wherein educational processes become an encouragement rather than a stressor for both students and teachers, 

    • result in the establishment of adequate support systems for handling stress, 

    • extricate teachers from traditional teaching mind-sets, and 

    • construct student-centered environments wherein teaching/learning processes promote meaningful factual learning that is contextualized and decisive.



방법론적 성찰 및 한계

Methodological Reflections and Limitations


거의 80년 동안 과학 문헌에서 논의된 주제인 Likert 데이터를 어떻게 분석해야 하는지에 대해 논란이 있으며, DREEM 목록도 이러한 담론을 적용 받아왔다. 비모수 분석을 선택한 근거는 데이터의 서수 분포와 비-가우스 분포에 기초하였다. 그러나 모수적 기법의 적합성에 대한 증거가 있다. 문항이 모여서 subscale로 구성되는 독립 항목의 합계가 덜 왜곡되고 정규 분포될 가능성이 높으며, 항목 자체보다 항목별 데이터를 서수로서 취급하는 것이 모수 통계 추론과 같은 보다 강력한 분석 모드의 사용을 평균한다고 주장할 수 있다. 

There is controversy regarding how Likert data should be analyzed—a topic debated in the scientific literature for nearly 80 years83–85—and the DREEM inventory has also been subjected to this discourse.33,86 The rationale behind our choice of nonparametric analysis was grounded in the ordinal nature and non-Gaussian distributions of data. However, there is evidence on the suitability of parametric techniques.84,85,87 One could argue that the sums of the independent items, constituting subscales, are likely to be less skewed and more normally distributed than the items themselves, and that treating the data from subscales as ordinal in character averts the use of more potent modes of analysis, such as parametric statistical inferences. 


그럼에도 불구하고 이론적으로는 5단계(리커트 항목 등)의 범주형 변수로는 정규 분포를 따를 수 없는 반면, 이론적으로는 연속 변수만 분포할 수 있다. 변수는 대칭이 될 수 있으므로 리코딩된 값을 모수적 테스트로 해석할 수 있다. 그러나 이것이 적절한지 아닌지는 오랜 문제가 되어왔다. 프라그매틱하게 민감도 분석의 한 유형으로서, 이러한 파라메트릭 방법을 채용하고 사후 분석(보고되지 않음)을 실시했지만, 항목 중 9% 미만의 diametric significance level만 제외하고, 별다른 상이한 결과는 검출하지 않았으며, 이는 평균과 비율의 차이에 기인할 수 있었다.

Nevertheless, theoretically, only continuous variables can be normally distributed, while a categorical variable with 5 levels (such as Likert items) cannot. The variable can be symmetric, thus permitting recoded values to be interpreted with parametric tests. However, whether this is appropriate or not has been a long-standing issue. Pragmatically, as a type of sensitivity analysis, we also employed these parametric methods and performed a post hoc analysis (not reported), but we did not detect any major dissimilar results, except for diametric significance levels for less than 9% of the items, which could be attributed to differences between means and proportions.


비모수 통계 분석은 중앙 경향의 척도로 중앙값을 사용하여 계산한다. 그러나, Swift al,33과 마찬가지로 중위수는 5개의 가능한 점수 중 1개만 취할 수 있기 때문에 중위수보다는 평균을 제시하는 것이 더 의미 있다고 생각한다. DREEM 항목에 대해 다소 흔해 보이는 왜곡된 분포의 경우, 만족스러운 중심 측정치를 가진 항목은 여전히 부정적인 반응의 높은 비율을 숨길 수 있다. 따라서 우리는 Swift et al33 및 trichotomized 된 Likert 반응 범주에 의해 요약된 권고사항을 준수하고 그 방법을 보고했다.

Nonparametric statistical analyses are calculated using the median as a measure of central tendency. However, concurring with Swift al,33 we believe et it is more meaningful to present means rather than medians because the median can only take 1 of the 5 possible scores. For skewed distributions, which seem rather common for DREEMitems, an itemwith a satisfactory central measure may still conceal a high proportion of negative responses. We therefore adhered to the recommendations outlined by Swift et al33 and trichotomized Likert response categories and reported the means.


또한 최근, 예상 평균 이하의 값, 즉 개발자가 권장하는 임계값은 보다 엄격한 분석을 달성하기 위해 2.5로 상향 조정될 수 있다는 제안이 제기되었다.33 그러나, 현재 연구에서 우리는 발신자22의 지침을 따르는 것을 선택하고 2.0을 한계로 채택했다.

It has also recently been proposed that values below the expected mean, the threshold as recommended by the developers, could be a priori elevated to 2.5 to attain a more stringent analysis.33 However, in the current study, we chose to follow the guidelines of the originators22 and employed 2.0 as the limit.


학생들의 고등교육에 대한 인식을 탐구하기 위해 DREEM을 활용하는 많은 연구에도 불구하고, 매우 적은 수의 심리측정적 보고만이 발표되었다. 결과적으로, DREEM 계측기의 심리측정적 robustness에 대한 최근 우려가 표면화되었다. DREEM 도구는 원래 맥락에서 양호한 construct 타당성을 가진 것으로 보고되었지만, 더 최근에는 다른 맥락에서 이 척도의 안정성과 construct 타당성에 의문을 제기하였다. Original scale structure의 재현은 일부만 성공적이었을 뿐이며, 아마도 inventory의 취약성을 나타낸다. 

Despite the large number of studies utilizing DREEM to explore students’ perceptions of their higher education, very few psychometric reports have been published. Consequently, some recent concerns have surfaced about the psychometric robustness of the DREEM instrument.24,38–40 Although the DREEM instrument was initially reported to have good construct validity in its original context,22,23 more recently, investigators have questioned the stability and construct validity of the measure in other contexts.37,38,40 Reproductions of the original scale structures have been only moderately successful, probably indicating weaknesses in the instrument.24,39 


신뢰성과 유효성은 수집된 데이터의 산물이기 때문에, 88 또한 우리의 연구에서 사용된 DREEM 도구에서 파생된 데이터의 문화적cultural 타당성에 관한 몇 가지 의문도 있다. Vaughan 등 40은 최근 osteopathic 학생의 데이터를 기반으로 한 DREEM의 새로운 짧은 버전을 제안했지만, 이는 원래 제안된 하위 척도 구조와 마찬가지로 추가 조사를 필요로 한다. 또한 이러한 저자들은 계측기가 하나의 기초적인 구조를 측정할 수 없었기 때문에 전체 합계 점수를 심령학적 결과에 기초하여 계산할 때 주의해야 한다고 주장했다. 그럼에도 불구하고 교육 환경 연구에서는 기관 간 비교를 위해 전체 DREEM 합계 점수를 보고하는 것이 관례로 되어 있으며, 이 문제가 더 심리측정적으로 탐구될 때까지 이러한 결과를 보고해야 한다.

Because reliability and validity are products of data gathered,88 there are also some questions regarding the cultural validity of data derived from the DREEM instrument used within our study. Vaughan et al40 recently proposed a new short version of the DREEM instrument based on data from an osteopathic setting, but this warrants further investigation, as does the originally proposed subscale structure. These authors40 also advocated caution when calculating the overall sum score on the basis of psychometric results, as the instrument was unable to gauge a single underlying construct. Still, it is customary in educational environment research to report overall DREEM sum scores for cross-institutional comparisons, and until this issue has been further psychometrically explored, we shall report these results.


    • 높은 계수는 항목 간 중복성과 다차원 척도를 반영할 수 있다고 가정했다. 

    • 본 연구에서, 비록 그러한 점수는 다소 높은 것 같았고 (보고되지 않은) 문항들이 서로 강하게 연관되어 있다는 것을 암시할 수도 있지만, 우리는 전체 점수를 발송하지 않았다.

    • 크론바흐 a는 각 시험항목이 동일한 척도에서 동일한 잠재 특성을 측정한다고 가정하는 "타우 등가 모형"에 기초한다.

    • DREEM 목록을 활용하는 많은 저자들 사이에서 모든 DREEM 항목에서 도출한 전체 점수의 신뢰성에 대해 보고하는 것이 관례다. 

    • 그러나 이는 모형이 구성되는 가정에 위배되기 때문에 부적절할 수 있으며, 이는 부풀려진 점수를 줄 수 있다.

    • It has been postulated that high a coefficients could reflect redundancy among items89,90 and multidimensional scales.91 

    • In the present study, we did not dispatch any overall a scores, though those scores seemed rather high (not reported) and might suggest that the items correlated strongly with each other.42 

    • Cronbach a is grounded in the ‘‘tau equivalent model,’’ which assumes that each test item measures the same latent trait on the same scale.92 

    • It is customary among many authors utilizing the DREEM inventory to report on the reliability of the overall a score derived from all the DREEM items. 

    • However, this can be inappropriate, as it violates the assumption upon which the model is constructed—which can give an inflated score.


제이콥슨 외 24명은 스웨덴어 버전의 DREEM을 사용하여 의대생 표본에 대한 심리측정학적 조사를 실시했으며, 하위규모 구조를 제외하고 타당하고 신뢰할 수 있다고 보고했으며, 새로운 5요인 솔루션을 제안했다. 그러나 그들은 후속적으로 새로운 요인 설계로 얻은 결과가 원래의 결과보다 우수하지 않다고 언급하였다. 다양한 맥락과 설정에서 DREEM 계측기의 정신학적 특성을 탐구하고 결정하기 위한 지속적인 연구가 필요함에도 불구하고, 교육 환경에 대한 맥락적 이해에 크게 기여했다.

Jakobsson et al24 performed a psychometric investigation using the Swedish version of DREEM on a sample of medical students and reported that it was valid and reliable, except for the subscale structure; they proposed a new 5-factor solution. However, they subsequently stated that the results obtained with the new factor design were not superior to those of the original. Despite the need for continued research to explore and determine the psychometric properties of the DREEM instrument in a variety of contexts and settings, it has contributed immensely to a greater contextual understanding of the educational environment.


단일 방법 접근법의 사용과 조사 기반 연구의 사용은 문제가 될 수 있고 의심스러울 수 있다. 

    • 정량적 도구는 다른 이해관계자들이 자신의 교육 환경을 어떻게 인식하는지에 대한 즉각적인 표현representation을 만들 뿐, 이러한 환경에 대한 이해관계자들의 경험 및 부족한 점수의 기초가 되는 우려에 관한 풍부한 데이터를 제공할 수 없다. 또한, 그러한 이해관계자들이 이러한 환경에 대해 포함하지 않는 다른 구조를 조명할 수 없다. 

    • 교육 환경의 다층 현상을 더 깊이 이해하기 위해서, 심층적인 질적 조사는 복잡한 특징들을 조명할 수 있고 현재 상황의 장단점에 대한 우리의 이해를 향상시킬 수 있다. 또한 교육 이해당사자의 환경에 대한 경험과 인식에 영향을 미치는 보다 다양한 요인을 알려줄 수 있다.

The use of mono-method approaches and the employment of survey-based research can be problematic and dubious. 

    • Quantitative instruments merely create an instantaneous representation of how different stakeholders perceive their educational environment but cannot offer rich data regarding the stakeholders’ experiences of these environments and the concerns underlying deprived scores; neither can they illuminate other constructs that are not encompassed by the inventories. 

    • To gain a deeper understanding of the multilayered phenomenon of the educational environment, in-depth qualitative investigations could shed light on the complex characteristics and enhance our understanding of both the strengths and weaknesses of the current context, as well as of more eclectic factors influencing educational stakeholders’ experiences and perceptions of their environment.


미래보건교육연구의 관련성

Relevance for Future Health Care Education Research


경험적이고 이론적인 증거는, 비록 교육환경의 개념이 다소 무형의 것intangible으로 잘못 이해되고 있지만 그 효과는 광범위하고 유형적이며 설득력이 있다는 것을 시사한다. 다른 사람들과 함께, 우리는 이러한 현상이 소외된 개인의 인식뿐만 아니라 교육 결과에 현저한 영향을 미치는 다차원적 요인 때문이라고 주장한다. 그러므로 교육환경과 그 구성원의 개념에 대한 정의를 포함하여 관련된 요소와 개념에 대한 추가 연구가 필요하다.

Empirical and theoretical evidence suggests that although the concept of the educational environment is rather intangible and poorly understood, its effects are extensive, tangible, and persuasive. Concurring with others,40 we argue that this phenomenon is not only due to the perceptions of marginalized individuals but also because of multidimensional factors with noticeable effects on educational outcomes. Thus, there is a need for further research on the factors and concepts involved, including definitions of the concept of the educational environment and its constituents.


비록 다수의 이질적인 맥락에서 새로 나타난 정신측정학적 증거는 DREEM의 정신학적 특성과 가능한 다중공선성에 의문을 제기할 수 있지만, 그것은 여전히 학부 보건전문직 교육환경을 평가하는데 가장 널리 사용되는 수단이다. 단, DREEM subscale의 차원에 관한 문제를 해결하기 위해 더 많은 경험적 작업을 수행해야 한다. 다양한 비례 대응 패턴과 연계하여 예상 평균보다 낮은 점수를 지속적으로 받는 개별 DREEM 항목은 항목 구성, 구문 및 구문에 관하여 심리측정적이고 질적으로 탐구되어야 한다. DREEM은 약 15년 전에 개발되었기 때문에, 항목들을 수정하고 교육 환경의 물리적, 기술적 측면에 대한 인식과 같은 새로운 특징들을 통합하는 것이 적절할 수 있다.

Although newly emerging psychometric evidence from a multitude of heterogeneous contexts may cast doubt on the psychometric properties and possible multicollinearity of the inventory, it is still the mostly widely used instrument for assessing the undergraduate professional health care educational environment. However, more empirical work should be performed to address issues of dimensionality regarding the DREEM subscales. Individual DREEM items that consistently score below the expected mean in conjunction with diverse proportional response patterns should be explored psychometrically and qualitatively with regard to item construction, syntax, and phraseology. Because the DREEM was developed about 15 years ago, the moment may be opportune to revise the items and possibly incorporate new features, such as perceptions of physical and technological aspects of the educational environment.


임상 교육 환경에 대한 학생들의 인식을 구체적으로 평가하기 위한 몇 가지 도구만 개발되었다.

Only a few instruments have been developed to specifically assess students’ perceptions of the clinical educational environment,


DREEM은 아마도 임상 환경을 측정하는 데 완전히 적합하지 않을 수 있기 때문에, 그러한 환경은 교육 환경의 모든 측면을 평등하고 명확하게 다루기 위해 더 적합한 도구를 사용하여 조사될 수 있다.

Because the DREEM is perhaps not completely appropriate for measuring clinical environments, such environments might be investigated using more suitable instruments in order to equally and unambiguously cover all aspects of the educational environment.


정량적 접근법을 이용한 연구는 현상의 측정 가능한 속성을 강조한다. 그러나 특정 근본적, 명시적 요인을 배제할 수 있기 때문에 DREEM과 같은 도구를 교육 환경에 대한 인식을 평가하기 위해 사용하는 것은 복잡하고 어려울 수 있다. 질적 접근에서 연구는 현상의 의미, 폭, 변동을 이해하려고 시도한다. 포커스 그룹, 반구조적 인터뷰 또는 인종적 접근과 같은 정성적 방법을 채택하고, 주요 이해관계자 및/또는 특이치로부터 데이터를 수집하는 것은 교육 환경의 개념을 더 탐구하고 이해하는 데 유용할 수 있다. 엄격하고 포괄적이며 심층적인 질적 조사는 기계적으로 포착되지 않는 교육환경의 측면을 탐구할 때 정당화될 수 있다고 우리는 믿는다. 예를 들어, 전체적인 경험, 감정적 측면, 이해관계자 간의 상호 의존성의 특징, 불평등의 문제 및 조직의 위계적 특성과 같은 것이다.

Studies using quantitative approaches emphasize the measurable attributes of a phenomenon. However, the use of instruments such as DREEM to assess perceptions of an educational environment can be complex and arduous because of the possibility of excluding certain fundamental and explicit factors. In qualitative approaches, research attempts to understand the meaning, breadth, and variations of a phenomenon. Employing qualitative methods, such as focus groups, semistructured interviews, or ethnographic approaches, and collecting data from key stakeholders and/or outliers could be valuable in further exploring and understanding the concept of the educational environment. It is our belief that rigorous, comprehensive, and in-depth qualitative investigations additional are justified when exploring aspects of the educational environment that are not captured instrumentally, such as overall experiences, emotional aspects, features of reciprocated dependencies among stakeholders, issues of inequity, and the hierarchical traits of the organization.


학생들은 중요한 이해당사자들 중 하나이고, 그들의 교육 환경에 대한 그들의 인식은 적절한 정보의 원천이다. 그러나 앞에서 주장했듯이, 학생 동료들 사이의 교육 환경에 대한 인식은 특이하며 매년 크게 다를 수 있다.54 그럼에도 불구하고 학생들은 동전의 한 측면일 뿐이며 교수진과 다른 이해당사자들의 인식도 똑같이 중요하다. 교사들은 종종 오랫동안 교육 환경에 머물러 있기 때문에, 그들이 환경을 더 일관되게 지각할 가능성이 있다. 학자들은 환경에 대한 교사들의 관점을 조사하는 경험적 연구의 부족에 주목해 왔다.1,2,56,97 그것들이 학생들이 인식하는 환경의 복잡한 부분이기 때문에 교사들이 환경을 어떻게 인식하고 경험하는지에 대한 추가적인 연구가 필요하다.

Students are one of the key stakeholders, and their perceptions of their educational environment are a pertinent source of information. However, as asserted earlier, the perception of the educational environment among student cohorts is idiosyncratic and may differ widely on a year-to-year basis.54 Notwithstanding, students are only one side of the coin; the perceptions of faculty and other stakeholders are equally important. As teachers often remain in an educational environment for extended periods, it is plausible that they would perceive the environment more consistently. Scholars have drawn attention to the paucity of empirical studies investigating teachers’ perspectives on the environment.1,2,56,97 There is a need for further research on how teachers perceive and experience the environment, as they are an intricate part of the environment perceived by students.


3. Till H. Identifying the perceived weaknesses of a new curriculum by means of the Dundee Ready Education Environment Measure (DREEM) Inventory. Med Teach. 2004;26(1):39–45.


27. Palmgren PJ, Chandratilake M. Perception of educational environment among undergraduate students in a chiropractic training institution. J Chiropr Educ. 2011; 25(2):151–163.


54. Palmgren PJ, Lindquist I, Sundberg T, Nilsson GH, Bolander Laksov K. Exploring perceptions of the educational environment among undergraduate physiotherapy students. Int J Med Educ. 2014;5:135–146.


55. Bouhaimed M, Thalib L, Doi SA. Perception of the educational environment by medical students undergoing a curricular transition in Kuwait. Med Princ Pract. 2009;18(3):204–208.


57. Kang I, Foster Page LA, Anderson VR, Thomson WM, Broadbent JM. Changes in students’ perceptions of their dental education environment. Eur J Dent Educ. 2015;19(2):122–130. doi: 10.1111/eje.12112.


53. Riquelme A, Oporto M, Oporto J, et al. Measuring students’ perceptions of the educational climate of the new curriculum at the Pontificia Universidad Catolica de Chile: performance of the Spanish translation of the Dundee Ready Education Environment Measure (DREEM). Educ Health (Abingdon). 2009;22(1):112.





 2015 Oct;29(2):110-26. doi: 10.7899/JCE-14-37. Epub 2015 May 29.

Reassessing the educational environment among undergraduate students in a chiropractictraining institution: A study over time.

Abstract

OBJECTIVE:

The aim of the study was twofold: (1) to compare the perceived educational environment at 2 points in time and (2) to longitudinally examine potential changes in perceptions of the educational environment over time.

METHODS:

The validated Dundee Ready Educational Environment Measure (DREEM), a 50-item, self-administered Likert-type inventory, was used in this prospective study. Employing convenience sampling, undergraduate chiropractic students were investigated at 2 points in time: 2009 (n = 124) and 2012 (n = 127). An analysis of 2 matching samples was performed on 27% (n = 34) of the respondents in 2009.

RESULTS:

A total of 251 students (79%) completed the inventory, 83% (n = 124) in 2009 and 75% (n = 127) in 2012. The overall DREEM scores in both years were excellent: 156 (78%) and 153 (77%), respectively. The students' perceptions of teachers differed significantly between the 2 cohort years, decreasing from 77% to 73%. Three items received deprived scores: limited support for stressed students, authoritarian teachers, and an overemphasis on factual learning; the latter significantly decreased in 2012. In the longitudinal sample these items also displayed scores below the expected mean.

CONCLUSION:

Students viewed the educational environment as excellent both in 2009 and 2012. The perceptions of teachers declined with time; however, this could be attributed to teachers' new roles. Certain aspects of the educational environment factored prominently during the comparative points in time, as well as longitudinally, and these ought to be further investigated and addressed to provide an enhanced educational environment.

KEYWORDS:

Chiropractic; Education; Educational Measurement

PMID:
 
26023892
 
PMCID:
 
PMC4582609
 
DOI:
 
10.7899/JCE-14-37


학부 물리치료학과 학생들의 교육환경 인식 탐색(Int J Med Educ, 2014)

Exploring perceptions of the educational environment among undergraduate physiotherapy students

Per J. Palmgren1, Ingrid Lindquist2, Tobias Sundberg2, Gunnar H. Nilsson2, Klara B. Laksov1





도입

Introduction


전문 건강 훈련의 교육 환경은 주로 다른 이해관계자 그룹과 환경의 조직 구조에 의해 형성된다. 이 환경은 때때로 "기후" 또는 "대기"라고 일컬어지며 복잡하고 다면적이며 교육 기관의 정신과 성격으로 묘사될 수 있다.1 이상적으로 교육환경은 지적 활동과 학문적 발전을 촉진하는 동시에 친근감, 협력, 지원을 장려해야 한다. 그러한 환경을 평가하는 것은 많은 설정, 특징 및 이해당사자를 포함할 수 있기 때문에 복잡한 노력이 될 수 있다. 학생들은 주요 이해관계자 그룹 중 하나로 구성되며, 연구는 교육 환경이 그들의 행동에 크게 영향을 미치고 그들의 학습, 성과, 만족 및 성공에 기여한다는 것을 보여주었다.2-5

The educational environment of professional health training is primarily shaped by the interactions between different stakeholder groups and the organizational structures of the environment. This environment occasionally referred to as “climate” or “atmosphere”, is complex, multifaceted, and can be described as the spirit and personality of an educational institution.1 Ideally, the educational environment should foster intellectual activities and academic progression while simultaneously encouraging friendliness, cooperation and support. Evaluating such an environment can be a complex endeavour because it may encompass a multitude of settings, features and stakeholders. Students comprise one of the key stakeholder groups, and research has shown that the educational environment heavily influences their behaviours and contributes to their learning, performance, contentment and success.2-5


기존의 문헌은 교육 환경의 중요성을 기술하고 있지만, 그러한 환경을 구성하는 것에 대한 개념을 탐구하기 위한 연구는 상대적으로 거의 이루어지지 않았다. '환경'이라는 단어는 물리적 공간(예: "서빙"과 "설정"과 같은 의미)과 동의어가 되지만, 사회적, 감정적, 지적 함축적 의미도 가지고 있다. 교육 환경은 주로 직접 측정할 수 없는 이론적 구조지만, 학생들의 일상적인 경험과 인식에서 나타나며, 이것을 평가할 수 있다.

While the existing literature describes the importance of the educational environment, relatively little research has been conducted to explore the concept of what constitutes such environments. Although the word “environment” is synonymous with physical space (e.g. “surroundings” and “settings”), it also has social, emotional and intellectual connotations. The educational environment is primarily a theoretical construct that cannot be measured directly; however, it is manifested in students’ mundane experiences and perceptions, which can be assessed.


질적, 정량적, 혼합적 방법 패러다임을 포함한 교육 환경의 다소 이질적인 특징의 존재를 탐구하고 정량화하기 위해 다양한 방법론이 사용되어 왔다. 학부 전문 의료 교육에서 교육 환경을 측정할 수 있는 많은 도구들이 있는데, 각각 설계, 타당성 및 신뢰성의 측면에서 장단점이 있다. 가장 널리 사용되는 기구는 던디 레디 교육환경측정(DREEM)이다.16

A variety of methodologies have been used to explore and quantify the presence of somewhat ethereal features of an educational environment, including qualitative,8 quantitative,9-13 and mixed-method14,15 paradigms. Many instruments are available to measure educational environments in undergraduate professional healthcare education, each of which has its own strengths and weaknesses in terms of design, validity and reliability. Arguably, the most widely used instrument is the Dundee Ready Educational Environment Measure (DREEM).16


DREEM 설문은 교육 환경에 대한 인식을 측정하는 도구로서 다른 교육적 맥락에서 널리 사용되어 왔다. 시험 내용(내용 타당성)과 내부 구조(구인 타당도)를 바탕으로 한 증거와 함께 우수한 심리측정적 특성을 가지고 있는 것으로 나타났으며, 다양한 환경에서 지속적으로 양호한 신뢰성을 보여 왔다. 그것은 여러 기관의 교육 환경, 다양한 교육 수준에서의 학생들, 커리큘럼 개혁의 서로 다른 단계에 있는 기관들, 그리고 성별의 불일치를 탐구, 평가, 비교하는 데 이용되어 왔다. 

The DREEM inventory is an instrument that measures the perception of an educational environment and has been widely used in different educational contexts. It has been shown to have good psychometric properties with evidence based on test content (content validity) and internal structure (construct validity)9,17,18 and has consistently displayed good reliability in diverse settings.4,19-25 It has been used to explore, evaluate and compare the following dynamics: the educational environments of different institutions,26 students at various levels of training,27-29 institutions at different phases of curriculum reform23 and gender discrepancies.30,31 


따라서, 이 조치는 광범위한 의료 커뮤니티와 관련하여 전문 의료 교육에 대한 맥락적 이해를 확립하는 데 기여했다. 최근의 체계적인 검토에서, 16 DREEM이 학부 전문 의료 교육 환경에서 환경을 측정하는 데 가장 적합한 도구가 될 가능성이 있다고 제안되었다.

Thus, the measure has contributed to establishing a greater contextual understanding of professional healthcare education, including in relation to the broader healthcare community. In a recent systematic review,16 it was proposed that DREEM was likely to be the most suitable instrument for measuring the environment in undergraduate professional healthcare educational settings.



방법

Methods


연구 설계

Study design


우리는 단면 연구 설계를 구현했다. 이 연구는 향후 혼합 방법 다중 사례 연구 방법론을 채택한 대규모 프로젝트의 일부였다. 이 방법은 실용적이고 해석적인 연구 전통 내에서 수행되었다. 연구를 수행하기 위한 윤리적 승인은 스톡홀름 지역윤리위원회(2012/416-31/5)에서 얻었다. DREEM 재고 완성은 자발적 기준으로 수행되었으며 수집된 정보 중 어느 것도 식별할 수 없어 데이터 익명성이 유지되었다. 모든 데이터는 헬싱키 선언의 원칙에 따라 처리되고 저장되었다.

We implemented a cross-sectional study design. The study was part of a larger project which employed a prospective mixed-method multiple case study methodology; it was conducted within a pragmatic and interpretive research tradition. Ethical approval to conduct the study was obtained from the Regional Ethics Committee of Stockholm (2012/416-31/5). The completion of the DREEM inventory was undertaken on a voluntary basis, and none of the information collected was identifiable, thereby maintaining data anonymity. All the data was handled and stored in accordance with the tenets of the Declaration of Helsinki.


세팅

Setting


이 연구는 스웨덴 스톡홀름의 카롤린스카 인스티투테트에서 실시되었는데, 이 의학대학은 물리치료에서 전문자격과 학사학위를 취득하는 3년제 학부과정을 제공한다.

The study was conducted at Karolinska Institutet in Stockholm, Sweden, a medical university offering a three-year, full-time undergraduate programme that culminates in a professional qualification and a Bachelor of Science degree in physiotherapy.


참여자

Participants


전통적인 커리큘럼에 참여하는 5개 코호트의 학부 물리치료 학생들에 대한 비확률적 편의 샘플이 연구에 참여하도록 초대되었다. 개별적으로 적응한 커리큘럼이나 다른 커리큘럼에 참여하는 학생들은 제외되었다. DREEM 설문은 높은 응답률을 보장하기 위해 수업 중에 시행되었다. 그러나, 응답률을 향상시키기 위해 이후 전자 버전이 보급되었다. 참여는 자발적이었고, 설문지는 익명이었다.

A non-probability convenience sample of undergraduate physiotherapy students from five cohorts, terms 1-5, attending a traditional curriculum was invited to participate in the study. Students attending an individually adapted curriculum or other curricula were excluded. The DREEM inventory was administered during classes to ensure a high response rate. However, an electronic version was subsequently disseminated to improve the response rate. Participation was voluntary, and the questionnaire was anonymous.


도구

Instrument


DREEM 설문은 스웨덴에서 사용할 수 있도록 변역 및 검증되었다.23 DREEM은 교육 환경에 직접 관련된 다양한 주제와 관련된 50항목, 자기보고형, 폐쇄형 설문이다. 각 항목은 4부터 0까지의 응답자에 의해 점수가 매겨지며, 5점 리커트 응답은 4 = 강력하게 동의한다. 3 = 동의한다. 2 = 확실하지 않다. 1 = 동의하지 않는다. 0 = 강하게 반대한다. 평균 점수가 3.5보다 큰 항목은 주로 강한 영역을 나타내며, 평균 점수가 2보다 작거나 같은 항목은 문제가 있는 영역을 나타내므로 더 꼼꼼하게 검사해야 하며, 평균 점수가 2와 3인 항목은 개선할 수 있는 영역을 나타낸다.9,32 

The DREEM instrument has been translated and validated for use in Sweden.23 DREEM is a 50-item, self-administered, closed-ended inventory relating to a variety of topics directly pertinent to educational environments. Each item is scored by respondents from 4 to 0 with a 5-point Likert response as follows: 4= strongly agree; 3 = agree; 2 = unsure; 1= disagree and 0 = strongly disagree. Items with a mean score greater than 3.5 mainly represent strong areas; items with a mean score of less than or equal to 2 should be inspected more meticulously as they indicate problematic areas; and items with mean scores between 2 and 3 indicate areas that could be enhanced.9,32 


이 기구는 총점 200점을 가지고 있으며, Lai 등,33과 McAleer와 Roff:34가 제공한 해석 지침을 따랐다. 

    • 0 ~ 50 (0–25%) = 매우 열악한 환경. 

    • 51 ~ 100 (26–50)=환경상의 많은 문제. 

    • 101~150(51~75%) = 마이너스 환경보다 긍정적이다. 

    • 151~200명(76~100%) = 우수한 환경.

The instrument has an overall score of 200, and we followed the interpretation guidelines provided by Lai et al.,33 and McAleer and Roff:34 

    • 0 to 50 (0–25%) = very poor environment; 

    • 51 to 100 (26– 50%)=plenty of problems in the environment; 

    • 101 to 150 (51–75%) = more positive than negative environment; and 

    • 151 to 200 (76–100%) = excellent environment.


이 항목은 

    • 학습(SPL-12 항목/최대 점수 48), 

    • 교육(SPT-11 항목/최대 점수 44), 

    • 학업 자기 인식(SASP – 8 항목/최대 점수 32), 

    • 분위기(SPA – 12 항목/최대 점수 48), 

    • 사회적 자아 인식(SSP – 7/최대 점수 28)

에 따라 5개 항목으로 배분된다.

The items are allocated to five subscales based on students’ perceptions of the following: learning (SPL–12 items/maximum score 48); teaching (SPT–11 items/maximum score 44); academic self-perceptions (SASP – 8 items/maximum score 32); atmosphere (SPA – 12 items/maximum score 48) and social self-perceptions (SSSP – 7 items/maximum score 28).


항목들은 세 가지 수준에서 분석할 수 있다: 개별적으로, 5개의 하위항목으로, 전체적으로. DREEM 계측기의 제작자는 해석에 대한 지침34를 제공하지만, 통계적 추론을 위한 적절한 방법을 권장하지 않는다.

The items can be analysed on three levels: individually, pooled into five subscales and overall. Although the constructors of the DREEM instrument provide guidelines34 for its interpretation, they do not recommend appropriate methods for statistical inferences.


다음의 개방형 질문은 "교육 환경에 영향을 미친다고 느끼는 다른 요인들이 있는가?"라는 목록을 마무리짓는다.

The following open-ended question concludes the inventory: “Are there any other factors that you feel have an influence on the educational environment?”


자료 분석

Data analysis


모든 항목이 응답자에 의해 완료되는 경우 전반적으로 하위 척도subscale개별 점수를 분석하였다. 정규 데이터 분포는 중심 경향의 매개변수들 사이에서 발생할 수 있는 불일치를 대조하고, 분포의 편차 및 첨도를 평가하고, Kolmogorov-Smirnov 및 Shapiro-Wilk 테스트를 채택하여 상자 그림을 통해 시각적으로 평가되었다.

Overall, subscale and individual scores were analysed if all items were completed by the respondents. Normal data distribution was assessed visually via boxplots by contrasting possible discrepancies among the parameters of central tendency, evaluating the skewness and kurtosis of the distributions and employing Kolmogorov-Smirnov and Shapiro-Wilk tests.


Cronbach의 알파값은 기기의 전체 및 하위 척도 점수의 내부 일관성을 평가하기 위해 사용되었으며, 최소 계수 알파 0.70은 적절한 수준의 일관성을 나타내기 위해 사용되었다.35 비모수 통계 시험을 수행하여 데이터 분포의 영향을 피하기 위해 선택하였다. WilcoxonMann-Whitney 테스트는 서수 데이터에 사용되었고, chisquare 테스트는 공칭 데이터를 비교하는 데 사용되었다. KruskalWallis(일방향 분산 분석) 테스트는 그룹 분석 간에 독립적으로 사용되었다. P-값은 주요 엔드포인트의 Bonferroni 보정을 채택하여 다중 비교를 위해 조정되었다. Pearson의 상관 계수는 항목별 상관 관계를 분석하는 데 사용되었다. 0.05 미만의 확률 값은 모든 통계적 검사에 대해 통계적으로 유의한 것으로 간주되었다.

Cronbach’s alpha was employed to assess internal consistency of the overall and subscale scores of the instrument, and a minimum coefficient alpha of 0.70 was used to indicate an adequate level of consistency.35 Non-parametric statistical tests were performed and selected to avoid influences of the distribution of the data. The WilcoxonMann-Whitney test was used for ordinal data while the chisquare test was used to compare nominal data. The KruskalWallis (one-way analysis of variance) test was used for independent between group analyses. P-values were adjusted for multiple comparisons by employing the Bonferroni correction of primary endpoints. Pearson’s correlation coefficients were used to analyse correlations between the subscales. Probability values less than 0.05 were considered statistically significant for all statistical tests.



결과

Results


알파값이 0.935로 높아 전반적인 신뢰성 계수는 50개 항목 중 3개 항목에서 "항목이 삭제된 경우"만 약간 증가했다. 항목별 점수가 SPL 0.867, SPT 0.746, SASP 0.676, SPA 0.805, SSSP 0.633으로 알파 값을 표시했으며, SASP와 SSSP를 제외한 임계값을 초과했다. 전체, 하위 척도 및 개별 점수

The overall reliability coefficient was high as alpha was 0.935 and did only increase marginally “if item deleted” for 3 of the 50 items. The subscales displayed alpha values at SPL 0.867, SPT 0.746, SASP 0.676, SPA 0.805, SSSP 0.633, and exceeded the threshold, except for SASP and SSSP. Overall, subscale and individual scores


Demographic distinctions


Students’ perceptions of the educational environment – Age


Students’ perceptions of the educational environment – Immigrant background


Students’ perceptions of the educational environment – Resitting exams


Students’ perceptions of the educational environment – Term


Students’ perceptions of the educational environment – Gender


Students’ perceptions of the educational environment – Previous experience of higher education


Perceptions of the educational environment – Intent upon completing degree










The open-ended question


비응답 분석

Non-response analysis


완성된 항목만 분석에 포함시켰으며, imputation도 실시되지 않았다. 응답하지 않는 그룹은 50개의 DREEM 항목을 모두 완성하지 못하고 적어도 5개 항목 중 1개 항목에서 누락된 값을 표시한 40명의 참가자(18%)가 포함되었다. 이 참가자 

  • 약간 더 나이가 많았고 (응답자: 24.2세, 무응답자: 27.0세). 

  • 2시기에 재학중이었고(응답자: 17.5%; 무응답자: 37.5%), 

  • 스웨덴이 아닌 기타 북유럽 국가 출신이었고 (응답자: 2.7%; 무응답자: 10.0%), 

  • 그러나 전체 또는 하위 척도 점수와 관련하여 참가자의 응답은 차이가 없었다.


Only completed items were included in the analysis, and no imputations were conducted. The non-respondent group included 40 participants (18%) who failed to complete all 50 DREEM items and displayed missing values on at least one of the five subscales. These participants were slightly older (respondents: 24.2 years; non-respondents: 27.0 years), attended term 2 (respondents: 17.5%; non-respondents: 37.5%) and from a country other than Sweden or other Nordic countries (respondents: 2.7%; non-respondents: 10.0%), However, the participants’ responses did not differ from those of the respondents with regards to overall or subscale scores.



고찰

Discussion


5개 항목과 전체 항목에서 조사 결과 만족스러운 내부 일관성이 나타났다. 목록의 내부 일관성은 표준 이상이었고 발표된 연구와 유사했다.20,23,24,37-39 이것은 계측기가 도구의 선택을 지원했고 물리치료 교육의 맥락에서 신뢰할 수 있게 사용할 수 있음을 의미한다.

An examination of the items on the five subscales and of the inventory as a whole revealed a satisfactory level of internal consistency. The internal consistency of the inventory was above the norm35 and similar to published studies.20,23,24,37-39 This implies that the instrument supported the choice of the tool and can be used reliably in the context of physiotherapy education.


지난 10년간, 제한된 수의 DREEM 연구가 현재 연구와 유사한 맥락에서 수행되었다(표 4). 현재 연구는 이러한 연구를 비교하기 위해 시작하지 않았지만, 전체 및 하위 척도 점수를 훨씬 낮게 보고한 틸,4의 캐나다 연구를 제외하고 유사한 결과를 도출했다. 물론 맥락의 차이, 다양한 직업, 다양한 표본 크기 때문에 비교가 어렵다. 

Over the past decade, a limited number of DREEM studies have been conducted in contexts that are analogous to the present study (Table 4). While the current study did not set out to compare these studies, they have produced similar results except for the Canadian study by Till,4 which reported much lower overall and subscale scores. Of course, contextual dissimilarities, diverse professions and different sample sizes make comparisons difficult. 




그러나 DREEM 설문 개발자가 제안한 지침과 대조하고 점수를 해석하니, 다음과 같은 이 연구의 학생들로부터 데이터의 특정한 공통 추세가 나타났다. 

  • 일반적인 교육 환경에 대해 부정적이기 보다는 긍정적이기 때문에 그들의 학습 상황을 낙관적으로 볼 수 있다. 

  • 교사들이 더 다재다능한 교육적 전략을 필요로 한다는 것을 인식하면서, 

  • 학문적으로 자신감이 있고 교육적인 분위기와 그들의 사회적 상황에 대한 전반적인 느낌이 좋다.


However, while contrasting and interpreting the scores against the guidelines proposed by the developers of the DREEM instrument, certain common trends in the data emerged from the students in these studies, such as 

  • being more positive than negative about the general educational environment thereby having an optimistic view of their learning situation, 

  • perceiving that teachers are in need of more versatile pedagogical strategies, 

  • being academically confident and having a good overall feeling of the educational atmosphere and their social situation.


본 연구에서는, term 4에 인식된 교육환경의 악화가 있었고, 학습기간이 증가함에 따라 평균적으로 더 열악한 것으로 나타났다. 하지만, 학생들이 임상 단계에 있을 때, 5학기에 다시 점수가 올랐다. Rotoff 외 연구진들은 교육환경의 가속적 악화에 대한 인식이 교육 전달에만 기인하는 것이 아니라 노화, 자율화, 그리고 더 중요해지는 것과 같은 개별적 요인에 기인한다고 가정할 수 있다고 말했다. 

In our study, there was a deterioration in the perceived educational environment in term 4, and it was found to be poorer, on average, as the study duration increased. However, the scores rose again in term 5 when the students were in the clinical phase. Rothoff et al.40 stated that it can be assumed that the perception of an accelerative deterioration of the educational environment is not exclusively due to educational delivery but also to individual factors, such as aging, becoming more autonomous and becoming more critical


더 높은 교육적 연구나 어쩌면 성인의 삶에 대한 열정과 관련된 어린 학생들의 행복과 만족은 줄어들고 있다. 마일즈와 린스터31은 어떤 유형의 부정적인 경험과도 무관하게 많은 학생들이 공부하는 동안 초기의 열정이 감소하는 것으로 보인다고 가정했다. 

  • 우리와 유사한 결과는 교육에 소요되는 시간에 따라 환경에 대한 인식이 감소하는 종적 연구와 횡단적 연구 모두에서 나타났다.4,24,38,41,42 

  • 그러나 다른 학자들은 시간이 지남에 따라 환경이 동일하게 유지되거나, 21,23,43, 또는 원격 사례만 증가한다고 가정했다.37

Young students’ happiness and contentment in relation to higher educational studies or perhaps even enthusiasm for entering adult life is diminishing. Miles and Leinster31 postulated that early enthusiasm appears to decrease for many students during the course of their studies, independent of any tangible negative experiences. Results similar to ours have been shown in both longitudinal and cross-sectional studies in which perceptions of the environment decrease with the time spent in education.4,24,38,41,42 However, other scholars have postulated that the environment remains the same over time,21,23,43 or only increases in remote cases.37


Edgren 등 23은 DREEM 결과가 교육 환경과 항목별 전반적인 인식에서 비롯될 수 있으며, 개별 문항 수준에 대한 분석이 필요하다고 지적했다. Edgren 등,23과 함께, 우리는 이러한 유형의 분석을 데이터에 적용하여 강도와 약점의 영역을 더 완전하게 탐색했다.

Edgren et al.23 indicated that DREEM results from the overall perception of the educational environment and the subscales may possibly mask the presence of explicit educational problems and that analysis on an item level is necessary. Concurring with Edgren et al.,23 we applied this type of analysis to our data to more fully explore areas of strength and weakness.


이전의 학술 연구는 시험 성적이 좋은 학생들이 시험 성적이 나쁜 학생들보다 환경을 더 긍정적으로 평가한다는 것을 보여주었다.20,37 본 연구에서, 우리는 DREEM 점수와 시험 결과를 연관시키지 않았다. 그러나 재시험을 봐야 한다고 (스스로) 밝힌 학생들은 낮은 수준의 자신감과 집중력에도 불구하고 교사의 자질에 더 긍정적이었다이해력이 떨어지는 학생들은 자율적이고 자기주도적인 학습자가 되지 못하고 더 광범위하게 학습에 대한 표면적 접근법을 채택할 가능성이 있다.60 이러한 종류의 학습 방식은 대부분 사실을 회상하고, 배운 것을 암기하며, 평가를 잘 수행하는 것에 관심이 있다. 교육 프로그램이 명시적으로 또는 암묵적으로 표면 학습을 촉진할 때, 학습 중 불안, 스트레스 및 악화가 점진적으로 증가하여 부실한 성과로 이어질 수 있다.37

Previous scholarly work has shown that students with good exam results assess the environment more positively than those with poorer exam results.20,37 In the present study, we did not correlate the DREEM scores with exam results, but students who disclosed having to resit exams were more positive towards the quality of teachers despite perceiving a low level of confidence and difficulty concentrating. It is possible that underachieving students have not become autonomous, self-directed learners and more extensively adopt a surface approach to learning.60 This kind of learning style is predominantly concerned with recollecting facts, memorizing what they have learned and performing well in their assessments. When an educational programme explicitly or implicitly promotes surface learning, it is possible that anxiety, stress and aggravation during learning can progressively increase and lead to deprived performances.37


한계

Limitations


목록의 두 항목(6, 18)이 환자와 관련된 것으로, 참가자의 30% 이상이 "불확실하다"고 응답했다. 분석하는 동안, 제1항과 제2항의 학생들이 이러한 응답자들의 대다수를 차지하고 있고 임상 훈련을 전혀 받지 않았거나 거의 받지 않았다는 것이 명백했으며, 이는 아마도 이러한 변화를 설명해 줄 것이다. DREEM에서 도출한 데이터의 분석 및 보고 방법은 교육 연구 문헌에서 일관되지 않았으며, Likert 응답 데이터를 분석해야 하는 방법에 대한 논쟁이 있다.63-65 

Two items (6 and 18) in the inventory were concerned with patients, and more than 30% of the participants responded “unsure”. During the analysis, it was evident that students from terms 1 and 2 constituted the majority of these respondents and have had no or very little clinical training, which probably explains this variation. The methods for analysing and reporting data derived from DREEM have not been consistent in the educational research literature, and the manner in which Likert response data should be analysed has been debated.63-65


최근 방법론적 연구에서 Swift 외 연구진들은 Likert 응답 데이터의 독립적인 샘플을 비교할 때 비모수 Wilcoxon-Mann-Whitney 테스트가 잘 수행되며 모수적 t-테스트보다 더 큰 힘을 가질 수 있다는 증거를 제공했다. 더욱이 skewed 분포가 DREEM 데이터에서 종종 발생하기 때문에, 적절한 central measure가 있는 항목은 부정적인 반응의 높은 비율을 mask할 수 있다. 

In their recent methodological study, Swift et al.66 provided evidence that when comparing independent samples of Likert response data, non-parametric Wilcoxon-Mann-Whitney tests perform well and may have greater power than parametric t-tests. Furthermore, because skewed distributions often occur in DREEM data, an item with an adequate central measure may mask a high proportion of negative responses. 


따라서, 우리는 새로 발표된 지침을 따라 A/SA를 합하고, D/SD를 합했다. Swift 등은 또한 연구자들이 분석에 더 엄격해지기를 원하는 경우, 개발자들이 권장하는 예상 평균 이하의 값이 2.5로 상승할 수 있다고 지적했다. 다만, 원작자가 개발한 가이드라인을 따르는 것을 선택하고, 2.0을 한계로 삼았다.

Therefore, we followed newly published guidelines66 and merged the agree/strongly agree with the disagree/strongly disagree responses. Swift et al.66 also indicated that values below the expected mean, as recommended by the developers, could be a priori raised to 2.5 if researchers wanted to be more stringent in the analysis. However, we chose to follow the guidelines developed by the originators and used 2.0 as the limit.


항목별 항목에서, 척도가 interval 유형일 때 Pearson의 상관 계수가 가장 적합하고, 척도가 ordinal 유형일 때 Spearman의 순위 상관 계수를 사용해야 한다고 주장할 수 있다. 그러나, DREEM subscale가 interval이 아니라 ordinal이라고 보기는 어렵다. 따라서, 우리는 스피어맨의 상관관계(보고되지 않음)도 분석했다. 스피어맨의 상관관계를 이용하여 얻은 결과는 피어슨의 상관관계를 이용하여 얻은 결과와 다르지 않았다.

With regards to the subscales, one could argue that Pearson’s correlation coefficient is best suited when the level of measurement is the interval type and that Spearman’s rank correlation coefficient should be employed when the level of measurement is the ordinal type. However, it is difficult to identify the subscales in the DREEM inventory as more ordinal than interval. Therefore, we also employed Spearman’s correlation (not reported); the results obtained using Spearman’s correlation did not differ from those obtained using Pearson’s correlation.


DREEM이 채용된 많은 연구에도 불구하고, 도구개발 이후 발표된 정신측정학 보고서는 거의 없다. 더 최근에는 도구의 심리측정적 robustness에 대한 우려가 일부 제기되었다.18,67,68 5요소 구조의 복제는 적당히 성공했을 뿐이며 이는 도구의 일부 불안정성을 나타낸다. 스웨덴판 DREEM 계측기는 요인 구조를 제외하고 유효하고 신뢰할 수 있는 것으로 보고되었다.18 Jakobsson 외 연구진에서는 스웨덴 버전에 대한 새로운 5요소 솔루션을 제안했지만, 원본에 비해 우수한 측정 모델임이 입증되지 않았다고 명시했다. 이것은 향후의 연구가 그 기구의 정신학적 특성을 계속 탐구하고 결정할 것을 요구한다.

Despite the large number of studies in which DREEM has been employed, very few psychometric reports have been published since the development of the inventory. More recently, there have been some concerns regarding the psychometric robustness of the instrument.18,67,68 Replications of the five-factorial structure have only been moderately successful, which indicates some instability in the instrument. The Swedish version of the DREEM instrument has been reported as valid and reliable, except for the factor structure.18 Jakobsson et al.18 proposed a new five-factor solution for the Swedish version but stated that it had not been proven to be a superior measurement model compared to the original. This calls for future research to continue to explore and determine the psychometric properties of the instrument.



함의

Implications for future healthcare education research


최근에 Schönrock 외 연구진들은 건강관리 교육에서 교육 환경을 평가하는 데 사용되는 많은 도구들이 이론에 근거하지 않는다고 보고했다. 그들은 이론적 프레임워크의 부족이 많은 연구에서 측정된 개념에 관한 차이를 설명할 수 있다고 지적했다. 이처럼 이론이 부족한 이유는 아마도 1950년대 후반, 연구가 시작되었을 때 연구자들은 개념을 개념화하고 이론화하려고 하기보다는 개념을 측정하려고 하는 데 더 몰두했기 때문일 것이다. 실제로, 여러 형태로 자주 사용되지만, 교육 환경의 개념은 거의 정의되지 않는다.

Recently, Schönrock et al.69 reported that many instruments used to assess the educational environment in healthcare education are not grounded in theory. They indicated that the deficiency of a theoretical framework may explain the differences regarding the concepts measured in many studies. The reason for this deficiency of theory is probably due to the fact that when scholarly work took off in the late 1950s, researchers were more occupied with attempting to measure the concept rather than trying to conceptualize and theorize it. Indeed, although frequently used in different forms, the notion of educational environment is rarely defined.


학생 코호트는 변동할 수 있고 매년 매우 다양하고 특색 있으며, 그렇기 때문에 우리는 이 연구에 여러 학기의 학생들을 포함시키는 것이 중요하다고 생각했다. 그러나 추가 연구는 종적 연구를 설계하고 장기간에 걸쳐 학생들로부터 데이터를 수집하는 것을 고려해야 한다. 본 연구에서는, 학생을 조사했지만, 교수진이나 다른 이해당사자들의 인식도 똑같이 중요하다. 

Student cohorts can fluctuate and be very diverse and distinctive from year to year, which is why we considered it important to include students from several terms in this study. However, further research should consider designing longitudinal studies and collecting data from students over longer periods. In the present study, we investigated students, but the perceptions of faculty and other stakeholders are equally important. 


Genn2,70은 교사의 조직 환경이 학생들의 교육 환경과 불가분의 관계에 있으며 환경을 결정짓는 강력한 요소라고 지적했다. 그러나 교사들이 오랫동안 교직에 머무르는 경우가 많기 때문에, 그들이 교육 환경을 보다 일관성 있게 인식할 것으로 짐작할 수 있다. 이것은 추측이지만, 교육 환경에 대한 교사들의 인식이 드문드문 조사되었다는 것은 놀라운 일이다.40 따라서, 학생들과 교사들의 인식들 사이의 비교에 대한 더 많은 연구가 이 분야에서 필요하다.

Genn2,70 indicated that the organizational environment of teachers is inextricably bound to the educational environment of students and is a strong determinant of the environment. However, as teachers often remain in a teaching position for a long period, it is conceivable that they perceive the educational environment as more consistent. Although this is speculative, it is surprising that teachers’ perceptions of educational environments have only been sparsely investigated.40 Thus, there is a need for further research in this area on comparisons between students’ and teachers’ perceptions.


특정 명시적 요소를 배제할 위험이 있기 때문에 교육 환경에 대한 인식을 평가하기 위한 설문지 사용은 복잡할 수 있다. DREEM은 교육 환경에 대한 인식의 스냅숏을 생성하지만, 도구가 포함하지 않는 다른 구성이나 낮은 점수 기초의 우려에 관한 데이터를 제공할 수는 없다. 포커스 그룹, 관찰 또는 주요 이해관계자 및/또는 특이치와의 반구조적 인터뷰와 같은 정성적 방법을 사용하면 교육 환경의 개념을 더 깊이 탐구하고 더 완전하게 이해하는 데 유용할 수 있다.

The use of a questionnaire to assess the perception of educational environments can be complex because there is the risk of excluding certain explicit elements. DREEM creates a snapshot of perceptions of an educational environment but cannot provide data regarding the concerns underlying poor scores or other constructs that the instrument does not encompass. Using qualitative methods such as focus groups, observations or semi-structured interviews with key stakeholders and/or outliers could be useful to further explore and more fully understand the concept of educational environment.


따라서 교육 환경은 공식 및 비공식적 설정뿐만 아니라 현미경적 수준에서의 내부 및 외부적 특징을 구성한다. 그럼에도 불구하고, 교육 환경과 그 요소들에 대한 명확한 정의는 여전히 이해하기 어렵고, 관련된 요소와 개념 측면에서 탐구되어야 할 것이 많다. 그러나 우리는 교육 환경에 대한 연구는 아마도 질적 및 정량적 방법론, 심령적으로 건전한 도구, 그리고 현상의 구성, 영향 및 영향과 관련된 모든 이해관계자 집단의 탐사를 필요로 한다고 말할 수 있다.

Thus, the educational environment constitutes internal and external features on microscopic and macroscopic levels as well as formal and informal settings. Nevertheless, a clear definition of the educational environment and its components remains elusive, and there is much to be explored in terms of the factors and concepts involved. However, we can say that research on educational environments probably requires both qualitative and quantitative methodologies, psychometrically sound instruments and an exploration of all stakeholder groups involved in constructing, affecting and influencing the phenomena.


Conclusion





 2014 Jul 19;5:135-46. doi: 10.5116/ijme.53a5.7457.

Exploring perceptions of the educational environment among undergraduate physiotherapystudents.

Author information

1
Department of Learning, Informatics, Management and Ethics, Karolinska Institutet, Sweden.
2
Department of Neurobiology, Care Sciences and Society, Karolinska Institutet, Sweden.

Abstract

OBJECTIVE:

The aim of this study was to explore areas of strength and weakness in the educational environment as perceived by undergraduate physiotherapy students and to investigate these areas in relation to the respondents' demographic characteristics.

METHODS:

This study utilized a cross-sectional study design and employed the Dundee Ready Education Environment Measure, a 50-item, self-administered inventory relating to a variety of topics directly pertinent to educational environments. Convenience sampling was used, and the scores were compared across demographic variables. All undergraduate physiotherapy students in their first five terms of the programme in a major Swedish university were invited to participate in the study.

RESULTS:

A total of 222 students (80%) completed the inventory. With an overall score of 150/200 (75%), the students rated the educationalenvironment in this institution as "more positive than negative". Two items consistently received deprived scores - authoritarian teachers and teaching with an overemphasis on factual learning. Students in term 4 differed significantly from others, and students with earlier university education experience perceived the atmosphere more negatively than their counterparts. There were no significant differences with regards to other demographic variables.

CONCLUSIONS:

This study provides valuable insight into how undergraduate physiotherapy students perceive their educational environment. In general, students perceived that their educational programme fostered a sound educational environment. However, some areas require remedial measures in order to enhance the educational experience.

KEYWORDS:

Dundee ready education environment measure; Physiotherapy; clinical narrative; educational climate; educational environmen; undergraduate

PMID:
 
25341223
 
PMCID:
 
PMC4212412
 
DOI:
 
10.5116/ijme.53a5.7457


DREEM의 분석과 보고: 평가자를 위한 가이드라인 (Creative Education, 2013)

The Analysis and Reporting of the Dundee Ready Education Environment Measure (DREEM): Some Informed Guidelines for Evaluators

Louise Swift, Susan Miles, Sam J. Leinster

Norwich Medical School, Faculty of Medicine and Health Sciences, University of East Anglia, Norwich, UK

Email: L.Swift@uea.ac.uk




도입

Introduction


의과대학의 교육환경은 "교육과정 현현"이자 "의과대학의 학생과 교사의 행동 결정자"이다(겐, 2001a: p 342). 겐(2001b)은 교육환경(이하 "기후"라 한다)에 대한 인식이 학생 만족도, 학생의 성취도, 성공에 영향을 미친다고 주장한다. 그 중요성과 교육 환경이 바뀔 수 있다는 사실을 고려할 때, 그것을 측정하는 것이 필수적이다; 그리고 그렇게 함으로써, 학생들을 위한 고품질의 학습 경험을 보장하기 위해 교정될 수 있는 장단점을 진단하는 것이 중요하다.

The educational environment of a medical school is both a “manifestation of the curriculum” and a “determinant… of the behaviour of the medical school’s students and teachers” (Genn, 2001a: p 342). Genn (2001b) argues that perceptions of the educational environment (the “climate”) influence student satisfaction, and student achievement and success. Given its importance and the fact that the educational environment can be changed, it is imperative to measure it; and in so doing, to diagnose strengths and weaknesses that can be remediated to ensure a high quality learning experience for students.


DREEM(Dundee Ready Education Environment Measure)은 의과대학와 기타 보건 전문직 대학의 교육 환경을 측정하도록 설계되었다(Roff et al., 1997). 다양한 건강 전문가 훈련 설정의 교육 환경을 측정하기 위해 고안된 도구를 식별하고 평가하기 위한 문헌에 대한 최근 리뷰는 DREEM이 학부 의료 교육 환경에 가장 적합한 도구라고 결론지었다(Soemantri et al., 2010). 

The Dundee Ready Education Environment Measure (DREEM) was designed to measure the educational environment specifically for medical schools and schools for other health professions (Roff et al., 1997). A recent review of the literature to identify and assess instruments designed to measure the educational environment of different health professional training settings concluded that the DREEM was the most suitable instrument for the undergraduate medical education setting (Soemantri et al., 2010). 


DREEM은 리커트 응답("강력한 동의"(4), "학점"(3), "불순"(2), "불합격"(1) 및 "강력한 불일치"(0)의 5개 항목으로 구성되어 있다. 항목들은 개별적, Subscale별, 총 DREEM 점수로 결합하여 검사할 수 있다. DREEM의 저자는 해석에 대한 지침을 제공하지만, 적절한 통계적 추론 방법에 대해서는 조언하지 않는다(McAleer & Roff, 2001). Roff et al. 1997년 출판물에서 DREEM이 소개된 이후 발표된 문헌에 대한 광범위한 리뷰는 DREEM이 전 세계적인 수준의 다양한 환경에서 널리 활용되고 있음을 보여주었으며, 이는 많은 보건 전문 교육 기관들에 의해 가치 있고 유용한 도구임을 보여준다. 그러나 분석 및 보고 방법에는 일관성이 없다(Miles 등, 2012).

The DREEM is comprised of 50 items, each with a five-point Likert response (“Strongly Agree” (4), “Agree” (3), “Unsure” (2), “Disagree” (1) and “Strongly Disagree” (0)). The items can be examined individually, combined into five subscales or a total DREEM score. Although the authors of the DREEM give guidelines for its interpretation, they do not advise on appropriate methods of statistical inference (McAleer & Roff, 2001). An extensive review of the published literature since the DREEM was introduced in Roff et al.’s 1997 publication showed that the DREEM has been widely utilised in a variety of settings at a worldwide level, indicating that it is a valued and useful tool by many health professional training institutions; however, the methods of analysis and reporting are far from consistent (Miles et al., 2012).


그러나, DREEM 데이터를 가장 잘 분석하는 방법을 고려할 때 반드시 고려해야 하는 Likert 데이터를 어떻게 분석해야 하는지에 대해서는 논란이 있다.

However, there is controversy about how Likert data should be analysed that must be taken into account when considering how best to analyse DREEM data.


첫째, 리커트 응답을 numerical로 취급하는 것의 타당성에 대한 논쟁이 있다(예: 카리피오, 2007 참조). 그러나, DREEM의 저자들은 이 질문이 DREEM에 대해 제외될 수 있도록 항목 점수를 숫자로 사용하고 결합할 것을 의도하였다

First, there is debate about the validity of taking a Likert response and treating it as numerical (see, for example, Carifio, 2007). However, the authors of the DREEM intended the item scores to be used and combined as numbers so this question can be put aside for the DREEM. 


둘째, Likert 응답 점수를 interval data(간격 데이터)라고도 하는 연속 수치 데이터로 취급하는 것이 타당한지에 대한 논란이 있는데, 이는 모수적 방법을 사용할 가능성을 열어준다. Jamieson(2004)은 모수적 방법이 데이터의 정규성 가정에 근거하기 때문에, Likert 척도가 서수이기 때문에 모수적 방법을 사용하여 분석해서는 안 된다고 주장함으로써 상당한 논의를 유발했다. 그러나 카리피오(2007년, 2008년)는 하나의 리커트 항목과 리커트 항목의 집합인 리커트 척도를 중요한 구분으로 하고, 8개 이상의 문항조합을 간격 데이터로 취급하는 것이 합리적이라는 점을 뒷받침한다. 즉, 이는 전체 50개 문항 DREEM 또는 다중 문항인 subscale에 적용된다. 

Second, there is controversy as to whether it is reasonable to treat Likert response scores as continuous numerical data, also known as interval data, which opens up the possibility of using parametric methods. Jamieson (2004) provoked considerable discussion by arguing that as Likert scales are ordinal they should never be analysed using parametric methods, because parametric methods make assumptions such as the normality of the data. However, Carifio (2007, 2008) makes the important distinction between a single Likert item and a Likert scale, that is a collection of Likert items, and supports the case that it is reasonable to treat a combination of eight or more items as interval data; which would apply in the case of the whole 50 item DREEM or its multi-item subscales. 


셋째, 카리피오(2008)는 또한 측정 척도의 개별 항목이 "구조화되고 이성적인 전체"의 일부를 구성하기 때문에 단독으로 분석하면 안된다고 주장한다. 그러나 DREEM의 저자들은 이를 "진단 도구"라고 부르며 개발자들은 DREEM의 각 항목을 개별적으로 사용하여 해당 영역의 문제를 진단할 것을 의도했다. 이와 같이, 우리는 각 항목을 개별적으로 고려하는 것은 물론, 5개의 항목과 전체 DREEM 상품을 살펴보는 것이 타당하다고 주장한다.

Third, Carifio (2008) also argues that single items of a measurement scale should rarely be analysed alone because they form part of a “structured and reasoned whole”. However, the authors of DREEM call it a “diagnostic tool” and the developers intended each item of the DREEM to be used individually to diagnose problems in that area. As such, we argue that it is valid to consider each item individually, as well as looking at the five subscales and the full DREEM instrument.


방법론

Methodology


개별 DREEM 응답의 분포

The Distribution of Individual DREEM Responses


UEA와 연구 간행물의 데이터에 따르면 단일 DREEM 항목에서는 skewed 분포가 발생하는 것으로 나타났다. 또한, 틸(2004년)이 지적했듯이, 많은 품목들이 쌍봉형 분포, 즉 높은 비율의 불일치와 높은 비율의 "혼합 메시지" 제공에 동의한다. 또 다른 흔한 일은 확실하지 않은 답변의 매우 높은 비율을 관찰하는 것이다. 더 적은 퍼센트의 응답자들이 동의하거나 동의하지 않는다. 따라서 보고 및 분석 방법은 이러한 모든 유형의 분포에 적합해야 한다.

Data from UEA and research publications suggest that a common distribution of responses for a single DREEM item is 50%~70% Agreeing, 40%~20% Strongly Agreeing with the remaining small percentage spread between Strongly Disagree, Disagree and Unsure resulting in a skewed distribution. Further, as Till (2004) points out, a great number of items have bimodal distributions, that is, a high percentage disagree and a high percentage agree giving “mixed messages”. Another common occurrence is to observe a very high percentage of Unsure answers, with smaller percentages agreeing or disagreeing. Any method of reporting and analysis must therefore be suitable for all these types of distribution.


DREEM의 활용

The Uses of the DREEM


마일즈 외 연구진(2012년)은 평가 목적으로 DREEM의 세 가지 주요 용도를 식별했다. 

    • 첫째, 진단 도구로 사용된다. 즉, 현재 불만족스럽고 교정조치가 필요한 과정/교육의 요소를 강조하기 위함이다. 

    • 둘째로, 이것은 두 개 이상의 완전히 분리된 학생 그룹을 비교하는데 사용될 수 있다. 예를 들어, 남학생과 여학생 또는 1년 그룹을 다른 그룹과 비교하는 데 사용할 수 있다. 더 일반적으로 이것은 독립적인 표본 사례로 알려져 있다. 

    • 셋째, 같은 학생 그룹을 다른 경우에 비교하는 데 사용한다. 일치된 경우. 예를 들어, 이것은 한 학년의 코호트의 경험을 다른 학년 또는 다른 학년 또는 대안적으로 비교하여 학생들의 점수 그룹을 "이상적" 또는 "예상된" 점수와 비교하는 것일 수 있다. 

우리는 차례로 이것들을 고려할 것이다.

Miles et al. (2012) identified three main uses of the DREEM for evaluation purposes. First, it is used as a diagnostic tool; that is to highlight elements of a course/curriculum which are currently unsatisfactory and need remediation. Second, it can be used to compare two or more completely separate groups of students, for instance, males with females or one year group with another. More generally this is known as the independent samples case. Third, it is used to compare the same group of students on different occasions; the matched case. This might be, for instance, to compare a cohort’s experiences from one academic year to another or alternatively to compare a group of students’ scores with their “ideal” or “expected” score. We will consider each of these in turn.



진단 도구로서 DREEM

The DREEM as a Diagnostic Tool


고려사항 

Considerations


개발자들은 50개 항목 각각에 대해 모든 참가자의 평균 점수를 별도로 보고할 것을 제안한다. 순수 진단 목적으로 DREEM을 사용하는 경우 이러한 수단의 검사는 강도와 약점의 영역을 나타낼 것이다. 평균 점수가 3.5 이상인 개별 항목은 특히 강한 영역이며, 평균 점수가 ≤2.0인 항목은 특별한 주의가 필요하며, 평균 점수가 2와 3인 항목은 개선될 수 있는 교육 환경의 영역이다(McAleer and Roff, 2001).

The developers suggest reporting mean scores across all participants for each of the 50 items separately. If using the DREEM for purely diagnostic purposes examination of these means will indicate areas of strength and weakness. Individual items with a mean score of ≥3.5 are particularly strong areas, items with a mean score of ≤2.0 need particular attention, and items with mean scores between 2 and 3 are areas of the educational environment that could be improved (McAleer and Roff, 2001).


권고사항

Recommendations


중위수는 가능한 5개의 점수 중 1개만 취할 수 있기 때문에 중위수보다 평균을 사용하는 것은 확실히 의미가 있다. 그러나 DREEM에서 흔히 발생하는 치우침 또는 이항 분포의 경우, 허용 가능한 중앙 측정을 가진 항목은 여전히 높은 비율의 부정적인 반응을 가릴 수 있으므로 이것만으로는 적절하지 않은 것으로 보인다. 따라서 우리는 합의/강력한 합의, 불일치/강력하게 불일치 범주를 통합하여 반응을 요약하고 평균을 보고하는 결과표를 보고할 것을 제안한다. 또한 우리는 일련의 경고 또는 "플래그"를 사용할 것을 제안한다. 임계값은 낮은 비율의 합의, 높은 비율의 확실하지 않은 항목 및/또는 높은 비율의 불일치와 특정 수준 이하의 수단을 경고하기 위한 선험으로 결정되었다. 예를 들어, 개발자가 권고하는 2.0 또는 더 엄격해지려면 2.5라고 한다. 많은 문항이 skewed된 응답을 보이는 경우 표준 편차는 오도될 수 있으므로 포함하지 않는 것이 좋다.

It is certainly meaningful to use means rather than medians because the median can only take one of the five possible scores. However, for skewed or bimodal distributions, which commonly occur in the DREEM, an item with an acceptable central measure may still mask a high proportion of negative responses, so this alone does not seem adequate. We therefore suggest reporting a table of results which summarises the responses by merging the Agree/Strongly Agree, Disagree/ Strongly Disagree categories and reports the mean. Further we propose using a series of warnings or “flags”, with thresholds decided a priori to alert to items with a low percentage agreement, a high percentage unsure and/or a high percentage disagree as well as means below a particular level, say 2.0 as recommended by the developers or 2.5 if one wants to be stricter. Given that many items give skewed responses the standard deviation can mislead, so we do not recommend its inclusion.


1년차 UEA 의대생의 데이터를 사용하는 DREEM의 5개 항목 중 하나에 대한 예는 표 1에서 확인할 수 있다. 우리는 50% 미만의 학생들 동의/강력한 동의, 30% 이상 확실하지 않은 것, 20% 이상 불일치하는 것 등을 굵은 글씨로 표시했다.

An example for one of the DREEM’s five subscales using data from Year 1 UEA medical students can be seen in Table 1. We have flagged in bold those items where less than 50% of students Agree/Strongly Agree, more than 30% are Unsure and more than 20% Disagree/Strongly Disagree.




두 개의 독립표본 비교

Comparing Two Independent Samples


고려사항

Considerations


DREEM의 두 번째 목표는 완전히 분리되거나 독립적인 두 학생 그룹을 비교하는 것이다. (2004년)까지 독립적인 표본 t 테스트를 사용하여 남성과 여성 그룹을 비교하는 반면, 마일즈와 린스터(2009년)는 교육 환경에 대한 직원과 학생들의 인식을 비교하기 위해 Wilcoxon Mann Whitney 테스트를 사용한다.

The second objective of the DREEM is to compare two completely separate or independent groups of students. Till (2004) compares groups of males and females using the independent samples t test, whereas Miles and Leinster (2009) use the Wilcoxon Mann Whitney test to compare staff and student perceptions of the educational environment.


독립적인 표본 t 검정은 두 모집단을 비교하는 고전적인 모수법이다. 교과서적인 견해는 표본 크기 n이 "대규모"(개념적으로 최소 30)가 아닌 한 데이터가 정규 분포에서 나온다고 요구한다. DREEM 데이터에 대해 발생할 수 있는 것과 같이 심각하게 비정상적인 분포는 일반적으로 t 검정이 적합하도록 더 큰 표본을 필요로 한다.

The independent samples t test is the classical parametric method of comparing two populations. The textbook view requires that the data come from a normal distribution, unless the sample size n is “large” (conventionally at least 30). Distributions that are severely non-normal, as can occur for DREEM data, will, in general, require bigger samples for the t test to be appropriate.


t 테스트가 해당 비모수 테스트에 적합하지 않을 경우 WMW(Wilcoxon Mann Whitney) 테스트가 자주 사용된다. 그러나 이 시험에도 몇 가지 가정이 필요하다. 특히 두 표본은 모양은 비슷하지만 "중심"은 다를 수 있는 확률 분포에서 추출되어야 한다. 이는 5가지 응답 옵션이 있는 DREEM과 같은 리커트 응답 데이터에서는 가능 값이 몇 개만 있으므로 가능성이 낮다. 또한 WMW는 데이터의 순위 지정(순서)에 기초하며, 그러한 등급의 연계(즉, 동일한 값)는 가능한 값이 몇 개 없을 때 결과에 영향을 미칠 수 있다.

When the t test is not appropriate the corresponding non-parametric test, the Wilcoxon Mann Whitney (WMW) test is often used. However, even this test requires some assumptions. In particular it requires that both samples come from probability distributions with a similar shape, but possibly a different “centre”. This is unlikely with Likert response data, such as the DREEM with its five response options, because there are only a few possible values. Additionally, WMW is based on ranking (ordering) the data and as such ties in the ranks (i.e. equal values), which are quite likely when there are only a few possible values, can affect the outcome.


통계 문헌에서는 데이터가 비정규일 때 t 검정 또는 WMW 시험을 사용하여 두 개의 독립된 표본을 비교해야 하는지에 대한 오랜 논쟁이 있다. "좋은" 시험은 이론적으로 요구되는 유의 수준(보통 5%)을 전달해야 하며 또한 "좋은" 힘을 가져야 한다. 즉, 두 모집단 사이의 실제 차이를 발견하는 귀무 가설로부터 편차를 발견할 가능성이 높다. Glass(1972년)는 분포가 상당히 치우치거나 매우 뚱뚱한 꼬리(high kurtosis)를 가지고 있더라도 5점 리커트 반응에 대해서도 t 검정에는 보통 분포 데이터에 대해 계산된 것과 유사한 실제 유의도가 있다는 실증적 증거를 인용한다. 

In the statistical literature there is a long-standing debate on whether the t test or WMW test should be used to compare two independent samples when the data are non-normal. A “good” test should deliver the significance level it is theoretically supposed to (usually 5%) and also have “good” power; that is, a high chance of spotting deviations from the null hypothesis, for instance, of spotting a real difference between two populations. Glass (1972) cites empirical evidence that, even if the distribution is quite skewed or has very fat tails (high kurtosis) and even for a five point Likert response, the t test has an actual significance level which is similar to the one calculated for normally distributed data, even for small samples. 


또한 그는 비정r규 데이터에 사용된 t 검정의 검정력이 0.1~0.7과 같은 중거리 전력에 대한 "정상"보다 약간 더 높을 수 있고 1에 가까운 큰 전력에 대해서는 약간 더 나빠질 수 있다는 증거를 인용한다. 따라서 그는 대부분의 경우에 파라메트릭 시험을 사용하는 것을 옹호한다. 블레어(1981)는 t 검정 결과가 정규성 가정 하에서 계산된 유의 수준과 힘을 유지하느냐가 아니라 더 큰 힘을 가진 또 다른 시험이 있느냐가 쟁점이 되어야 한다고 주장한다. 비모수 테스트는 데이터가 정상일 때 t 검정보다 약간 낮은 검정력을 가지지만 데이터가 비정상일 때, 특히 데이터가 왜곡되었을 때 훨씬 큰 검정력을 가질 수 있는 것으로 알려져 있다. 

Also, he cites evidence that the power of a t test used on non-normal data might be slightly higher than the “normal” equivalent for mid-range powers like 0.1 to 0.7 and only slightly worse for larger powers closer to 1. He therefore advocates using parametric tests in most cases. Blair (1981) argues that the issue should not be whether the t test preserves the significance level and power calculated under the normality assumption, but whether there is another test which has greater power. Nonparametric tests are known to have slightly worse power than the t test when the data are normal but they can have much bigger power when the data are non-normal, in particular when the data are skewed. 


특히, 대형 표본의 경우 WMW 시험은 표본 크기 0.864 × 표본에 대해 수행된 유사한 t 검정보다 결코 더 나쁜 검정력을 가지지 않지만, 일부 상황에서는(보통 치우친 분포) 표본에 대한 t 검정력이 3배 더 클 수 있다. 이 증거는 주로 연속 분포에 적용되며, 특히 DREEM에 의해 일반적으로 발생하는 리커트 응답에 어느 정도까지 적용되는지는 명확하지 않다. 노먼(2010년)은 리커트 응답에 대한 파라미터 테스트의 광범위한 사용을 옹호하며, 파라미터 테스트가 특정 유형의 치우침 또는 서수 데이터에 대해 정확한 결과를 제공한다는 것을 보여주는 여러 연구(여기서 인용한 일부 연구 포함)를 인용한다. 그러나, 그는 해당 비모수 시험을 이용하여 동력이 더 클 가능성을 고려하지 않는다.

In particular, for large samples the WMW test never has worse power than the analogous t test performed on samples of 0.864 × the sample size but can, in some circumstances (usually a skewed distribution), have equivalent power to the t test on samples three times bigger. This evidence largely applies to continuous distributions and it is not clear to what extent it applies to Likert responses, in particular those commonly generated by the DREEM. Norman (2010) advocates the wider use of parametric tests for Likert responses and cites several studies (including some of those cited here) which show that parametric tests give accurate results for particular types of skewed or ordinal data. However, he does not consider the possibility that the power may be larger using the corresponding non-parametric test.


시뮬레이션

Simulation


이 문제를 해결하기 위해 우리는 두 개의 다른 리커트 반응 분포로부터 10,000번 샘플을 시뮬레이션했다.

To address this issue we simulated a pair of samples from two different Likert response distributions 10,000 times.


우리는 다양한 정도의 편차, 이분법 및 높은 비율의 확실하지 않은 반응들을 포함하여 실제 DREEM 데이터에서 발견된 패턴을 반영하기 위해 선택된 몇 쌍의 분포에서 이 과정을 반복했다(부록, 표 A 참조).

We repeated the process on several pairs of distributions chosen to reflect patterns found in actual DREEM data including varying degrees of skewness, bimodal and high percentage of Unsure responses (see Appendix, Table A).


이러한 시뮬레이션의 결과는 대칭 분포의 경우 t 검정력과 WMW의 검정력이 유사하다는 것을 시사한다. 단, 한 가지 또는 두 가지 분포가 모두 치우쳐 있을 때 WMW는 낮은 표본 크기에 대한 t 검정보다 상당히 큰 검정력을 가질 수 있으며, 때로는 n = 130일 때도 있다. 예를 들어, 20%/60%/10%/8%의 두 분포(즉, 20%의 학생이 강하게 동의함, 60%의 동의, 10%의 확실하지 않음, 8%의 불일치, 2%의 강한 불일치)와 40%/40%/10%/8%의 검정력을 각 그룹의 표본 크기에 대해 각각 W/60%와 8%의 검정력을 달성했다.A를 표하다.

The results of these simulations suggest that for the more symmetric distributions the power of the t test and WMW are similar. However, when one or both distributions are skewed the WMW can have substantially greater power than the t test for lower sample sizes and sometimes even for n = 130. For instance, when comparing two distributions of 20%/60%/10%/ 8%/2% (i.e. DREEM data where 20% of the students Strongly Agree, 60% Agree, 10% Unsure, 8% Disagree, and 2% Strongly Disagree) and 40%/40%/10%/8%/2% respectively for a sample size of 130 in each group the t test had an estimated achieved power of 40% and the WMW 68% (simulation 3 of Table A).


다중 검사

Multiple tests


모든 DREEM 항목을 개별적으로 분석할 경우 50개의 개별 유의성 시험이 수행된다. 유의 수준이 5%일 경우 실제 차이가 없을 때 최소 한 개가 유의할 확률이 92%라는 것을 수학적으로 나타낼 수 있다. 본페로니의 교정으로 알려진 이것에 대한 고전적인 해결책은 유의 수준을 시험 횟수로 나누는 것이다. 그러나 이는 보수적인 것으로 알려져 실제 차이를 놓칠 확률을 높인다. 또 다른 사상학파는 연구 대상 결과의 수를 줄이고 연구의 품질과 결과의 크기 측면에서 통계적 시험의 결과를 해석하는 것을 옹호한다(예: Feise, 2002). DREEM의 경우 이는 이전에 교정조치가 필요한 것으로 확인된 항목만 기본 분석에 포함시키는 것을 의미한다.

If every DREEM item is analysed individually 50 separate significance tests will be performed. If the significance level is 5%, it can be shown mathematically that there is a 92% chance that at least one is significant, when no real difference exist. A classical solution to this, known as Bonferroni’s correction, is to divide the significance level by the number of tests. However, this is known to be conservative and it increases the probability of missing a real difference. Another school of thought advocates reducing the number of outcomes under study and interpreting the results of statistical tests in the context of the quality of the study and the size of the finding (e.g. Feise, 2002). For the DREEM this might mean including in the main analysis only those items identified previously as requiring remedial action.


권고

Recommendations


표 2는 DREEM 반응의 두 개의 독립적인 샘플을 비교하기 위해 시뮬레이션에 의해 통지된 우리의 권고사항을 보여준다. 그것은 DREEM의 학구적 자아 인식 하위 척도에 대한 UEA 1학년과 2학년 의대생들의 데이터를 사용한다. 우리는 각 그룹에 대해 t 검정 결과 및 Wilcoxon Mann Whitney 검정 결과, 두 가지 평균값, 즉 T 검정 결과 및 Wilcoxon Mann Whitney 검정 결과를 사용하여 응답을 요약한 표에 DREEM 결과를 보고할 것을 제안한다. 우리는 또한 강하게 동의하지 않는 비율의 차이에 대한 카이 제곱 검정을 포함할 것이다(강력하게 동의하는 비율의 차이에 대한 카이 제곱 검정을 수행하는 것이 똑같이 유효할 것이다). 카이 제곱 검정의 유효성에 대한 엄지의 규칙은 np와 n(1–p)이며, 여기서 p는 두 그룹에 걸쳐 관측된 비율이다. 따라서 우리는 주의력을 발휘하고 관찰된 백분율이 5% 미만인 경우 테스트를 수행하지 않는 것을 제안한다. 어떤 시험에서든 유의성은 다중 비교에 대한 조정 없이 플래그가 표시될 것이다. 그리고 진단표 1에서와 같이 낮은 백분율 합의, 높은 불확실성, 높은 불일치 및 낮은 평균도 플래그가 표시될 것이다.

Table 2 demonstrates our recommendations, informed by the simulations, for comparing two independent samples of DREEM responses. It uses data from UEA Year 1 and Year 2 medical students on the DREEM’s Academic self perceptions subscale. We suggest reporting the results of the DREEM in a table summarising the responses using the percentage Strongly Agree/Agree; Unsure, and Strongly Disagree/Disagree for each group, the two means, the mean difference and then the results of both a t test and a Wilcoxon Mann Whitney test. We would also include a chi squared test of the difference in the percentage who Strongly Disagree/Disagree (it would be equally valid to do a chi squared test of the difference in the percentage who Strongly Agree/Agree). A rule of thumb for the validity of the chi squared test is that np and n(1 – p), where p is the observed proportion over both groups, are both 5 or more. We therefore suggest exercising caution and not performing the test where an observed percentage is, say, less than 5%. Significance on any test would be flagged, without any adjustment for multiple comparisons. And, as in the diagnostic Table 1, low percentage agreement, high unsure, high disagreement and low means would also be flagged.


"작년의 작업이 올해를 위한 좋은 준비였다"는 항목에 대해 WMW는 매우 중요한 반면, t 테스트는 significant하지 않다. 검사 결과, 이 후자 품목은 WMW가 차이를 발견했지만 시뮬레이션에서 제시한 바와 같이 T 테스트는 그렇지 않은 이유를 설명하는 매우 왜곡된 것이다.

for the item, “Last year’s work has been a good preparation for this year” the WMW is highly significant whereas the t test is not significant. On inspection this latter item is highly skewed which explains why WMW has detected a difference but the t test has not, as suggested by the simulations.




두 개의 매칭 샘플 비교

Comparing Two Matched Samples


고려사항

Considerations


매칭된 샘플은 동일한 개인 그룹에 대해 두 개의 응답 집합(예: 두 개의 개별 시점)을 얻을 때 발생한다.

Matched samples arise when two sets of responses are obtained for the same group of individuals, for instance at two separate points in time;


실제 점수가 예상 점수보다 약간 떨어지는 양을 "분실성"이라고 한다. (2005)까지 불협화음이 가장 큰 항목을 보고하고 쌍으로 구성된 샘플 t 테스트를 사용한다. 마일즈와 린스터(2007)는 DREEM의 각 항목에 대한 평균 불협화음을 보고한 다음 WSR(Wilcoxon Signed Rank) 테스트를 사용하여 항목별 중위 불협화음이 0인지 여부를 시험한다.

The amount by which the actual scores fall short of the expected is termed the “dissonance”. Till (2005) reports items with the largest dissonance and uses the paired sample t test. Miles and Leinster (2007) report the average dissonance for each item of the DREEM and then use a Wilcoxon Signed Rank (WSR) test to test whether the subscales have zero median dissonance.


쌍체 표본 t 시험은 변경사항의 평균이 0이라는 점에서 단일 표본 t 검정과 동일하다. 그것은 변경이 정규분포되어 있다고 가정하지만, 독립 표본 t 검정의 경우, 이 조건은 "대형" 표본에 대해 면제될 수 있다. WSR은 비모수 시험이지만 여전히 변화의 분포가 대칭이라고 가정한다. Glass(1972: p. 262)는 다양한 종류의 비정규성을 가진 작은 데이터 표본(n = 10)에 대해 t 검정의 이론적 힘을 보고하는 Srivastava(1959)의 표를 제공한다. Power는, 낮지 않는 한, 정규 데이터의 출력과 매우 유사하며, t 검사의 사용을 지지한다.

The paired samples t test is equivalent to a single sample t test in that the changes have zero mean. It assumes that the changes are normally distributed but, as for the independent samples t test, this condition can be waived for “large” samples. The WSR is a non-parametric test, but still assumes that the distribution of the changes is symmetric. Glass (1972: p. 262) gives a table from Srivastava (1959) reporting the theoretical power of the t test if it is conducted on small samples of data (n = 10) with various types of non-normality. The power, unless it is low, is very similar to that of normal data; supporting the use of the t test.


시뮬레이션

Simulation


두 가지 유형의 시험의 검정력을 조사하기 위해, 우리는 4개의 가능한 변화 분포에서 각각 10,000개의 샘플을 시뮬레이션했다.

To investigate the power of the two types of test we simulated 10,000 samples from each of four possible change distributions.


결과는 대칭 분포의 경우 두 시험 모두 달성된 유의 수준을 원하는 대로 약 5%로 나타낸다는 것을 나타냈다. 그러나 치우친 분포의 경우 WSR 테스트가 변경사항을 부정확하게 감지할 가능성이 더 높아 보인다. 예를 들어, 적당히 치우친 분포의 경우(변화의 40퍼센트는 1, 30% 0, 20% -1 및 10% -2) 130 크기의 표본의 8.8퍼센트는 WSR을 사용할 때 유의미한 결과를 나타내지만 t 검정에서는 5.3%에 불과하다(부록 C의 시뮬레이션 3).

The results indicated that for the symmetric distributions both tests give achieved significance levels which are approximately 5% as desired. However, for skewed distributions the WSR test appears more likely to incorrectly detect a change than it should be. For instance, for a moderately skewed distribution (40% of the changes are 1, 30% zero, 20% −1 and 10% −2) 8.8% of samples of size 130 give a significant results when the WSR is used, but only 5.3% with the t test (simulation 3 of Appendix, Table C).


권고사항

Recommendations


이러한 연구 결과는 일치 데이터에 대해 표 2와 유사한 표(독립 표본 2개를 비교하기 위해)를 만들 것을 제안하지만, t 검정만 보고하고 chi 제곱 검정 대신 McNemar를 사용할 것을 제안한다(표 2와 유사성 때문에 표는 제공되지 않음).

These findings lead us to suggest producing a similar table to Table 2 (for comparing two independent samples) for matched data but reporting only the t test and using McNemar instead of the chi squared test (example table not provided due to the similarity to Table 2).


하위척도와 총점

Subscales and Total Scores


DREEM의 하위 척도 점수는 하위 척도를 구성하는 7개 내지 12개 개별 항목의 응답을 추가하여 구성된다. 개별 항목과 마찬가지로, 개발자는 각 하위 척도와 총계(McAleer & Roff, 2001)에 대한 점수를 해석하는 지침을 제공하지만 통계적 추론에 대해서는 제공하지 않는다. 통계적으로, 독립 항목의 총계가 항목 자체보다 일반적으로 "더" 정규분포로 분포될 가능성이 있지만, 항목별로 분류된 항목은 상호 상관관계가 있을 가능성이 높으므로 여전히 비정규성이 강할 수 있다. 따라서 우리는 개별 항목과 거의 동일한 방식으로 하위 척도 결과를 처리하는 것을 지지한다. 즉, 독립 표본 사례에 대한 t 및 비모수 검정을 모두 수행하지만 일치 표본에 대한 t 검정만 수행하는 것이다. 그러나, 하위 척도 점수는 많은 수의 가능한 값을 가질 수 있으므로 중위수는 평균과 함께 보고될 수 있다. 표시의 일관성을 위해 우리는 유사한 방법으로 총 DREEM 점수를 보고할 것을 권고한다.

Subscale scores of the DREEM are constructed by adding up responses from the seven to twelve individual items making up the subscale. As with the individual items, the developers give guidance on interpreting the score for each subscale and total (McAleer & Roff, 2001) but none on statistical inference. Statistically, whilst sums of independent items are likely to be “more” normally distributed than the items themselves, items which have been grouped into subscales are likely to be mutually correlated and so there may still be strong non-normality. We therefore advocate treating the subscale results in much the same way as the individual items; that is performing both t and non-parametric tests on independent samples case but only t tests on matched samples. However, as subscale scores can take a large number of possible values the median could be reported as well as the mean. For consistency of presentation we would recommend reporting total DREEM scores in a similar way.


Discussion and Conclusion











Background: There is a need to evaluate perceptions of the educational environment of training institutions for health professionals as part of any assessment of quality standards for education. The Dundee Ready Education Environment Measure (DREEM) is a widely used tool for evaluating the educational environment of medical and other health schools. However, methods of analysis reported in the published DREEM literature are inconsistent which could lead to misinterpretation of areas for change and, addi-tionally, this makes comparison between institutions difficult. Those involved in course evaluation are usually not statisticians and there are no guidelines on DREEM’s reporting or statistical analysis. This paper aims to clarify the choice of methods for the analysis of the DREEM. Method: The statistical lit- erature, typical properties of DREEM data and the results from a series of statistical simulations were used to inform our recommendations. Results: We provide a set of guidelines for the analysis and report-ing of the DREEM. In particular, we provide evidence that when comparing independent samples of Likert response data similar to that generated by the DREEM, the non-parametric Wilcoxon Mann Whit- ney test performs well. Further, one should be wary of using non-parametric methods on matched samples of such data as they may be overly ready to reject null hypothesis. Conclusions: Our recommendations have the potential to improve the accuracy and consistency with which the inadequacies in the medical school environment can be identified and assess the success of any changes. They should also facilitate comparison between different institutions using the DREEM.


Keywords: DREEM; Likert; Educational Environment; Evaluation; Medical Education; Simulation; Statistical Test

학습환경에 관한 의대학생과 전공의의 인식 평가: 기존 도구의 타당도근거 탐색(Acad Med, 2014)

Assessing Medical Students’ and Residents’ Perceptions of the Learning Environment: Exploring Validity Evidence for the Interpretation of Scores From Existing Tools

Jorie M. Colbert-Getz, PhD, Sooyoun Kim, Victoria H. Goode, MLIS, Robert B. Shochet, MD, and Scott M. Wright, MD




학습 환경(LE)은 연습생들이 몰입하고immersed 그들의 직업1과 도덕2 발달에 중요한 역할을 한다고 여겨지는 교육, 신체적, 사회적, 심리적 맥락을 포괄한다. 대부분의 사람들이 효과적인 의료 교육을 위해 LE를 지원하는 것이 필수적이라는 것에 동의하지만, LE의 품질에 대한 정확한 평가는 교육자와 관리자들에게 어려운 일이었다. 의학 교육 연락 위원회는 의과대학이 "LE를 정기적으로 평가해야 한다."3 그러나 표준 LE 지표가 없는 한 학교는 이 표준을 준수하는 방법을 알지 못한다. 또한 최근 ACGME(Accreditation Council for Medical Education)는 인증 시스템의 일부로 임상 학습 환경 검토 프로그램을 만들었다.4 학생들과 레지던트들이 LE를 어떻게 인식하는지를 모른 채, 기관들은 효과적으로 LE를 개선하기 위한 수단에 한계가 있다.

The learning environment (LE) encompasses the educational, physical, social, and psychological context in which trainees are immersed and is thought to play a significant role in their professional1 and moral2 development. Although most agree that supportive LEs are essential for effective medical education, an accurate assessment of LE quality has been challenging for educators and administrators. The Liaison Committee on Medical Education stated that medical schools “should regularly evaluate the LE.”3 Yet, in the absence of a standard LE metric, schools do not know how to comply with this standard. In addition, the Accreditation Council for Graduate Medical Education (ACGME) recently created the Clinical Learning Environment Review program as part of their accreditation system.4 Without knowing how students and residents perceive the LE, institutions are limited in their means to effectively improve it.


의학 교육에서 LE를 평가하기 위해 처음 발표된 도구는 고등 교육에 사용되는 LE 도구인 CCI를 AAMC에 의해 수정된 것이었다.6 본 의과대학 환경 목록은 180개의 항목을 사용하여 1960년 의대 졸업생들의 교수진 및 동급생에 대한 인식을 탐구하였다. 가장 높은 점수를 받은 척도를 바탕으로, 그 해 평균적인 의과대학 졸업자들은 교수들이 학생들의 독립성을 촉진하고 학생들의 성적을 요구했지만, 그들은 학생들에 대해 아무런 관련이 없다고 생각했다. 즉, 학생들은 교직원들이 집단으로 학급과 연결되어 있다고 느끼지 않았다. 응답자들은 또한 또래들이 경쟁적이고 계급 밖의 사회적 상호작용이 거의 없다고 보고했다. 게다가, 그들은 교직원과 동료들 모두 휴머니즘적이라고 생각했다.

The first published tool to assess the LE in medical education was adapted by the Association of American Medical Colleges5 from the College Characteristics Index, an LE tool used in higher education.6 This Medical School Environment Inventory explored medical school graduates’ perceptions of faculty and peers in 1960 using 180 items. Based on scales with the highest scores, the average medical school graduate that year thought that although faculty facilitated independence across students and were demanding of students’ performance, they remained unaffiliated towards students. That is, students did not feel that faculty connected with the class as a group. The respondents also reported that peers were competitive and had little social interaction outside of class. In addition, they perceived both faculty and peers to be humanistic.


이후 수십 년 동안, 연구원들은 의대생들의 LE에 대한 인식을 평가하기 위한 도구를 계속해서 개발했다. 그러나 1993.7 Selig의 레지던트 프로그램 평가 설문지는 작업 부하, 교수진 및 스트레스에 대한 거주자의 인식을 LE와 관련된 것으로 평가하기 전까지는 LE에 대한 레지던트의 인식을 측정하기 위한 도구가 개발되지 않았다. 1990년대 초반부터, 많은 도구들이 대학원 의학의 전문분야에 걸쳐 특정분야의 LE 또는 LE를 평가하기 위해 개발되었다. 따라서 LE에 대한 의대생들과 레지던트의 인식은 50년 이상 동안 의학 교육에서 중요한 연구 분야로 남아 있었다.

Over the ensuing decades, researchers continued to develop tools to assess medical students’ perceptions of the LE. However, a tool to measure residents’ perceptions of the LE was not developed until 1993.7 Seelig’s Residency Program Evaluation Questionnaire assessed residents’ perceptions of workload, faculty, and stress as related to the LE. Since the early 1990s, many tools have been developed to assess either the LE of a particular specialty or the LE across specialties in graduate medical education. Thus, medical students’ and residents’ perceptions of the LE have remained important areas of research in medical education for more than 50 years.


LE를 평가하기 위해 건강 전문가에 사용되는 두 개의 검토 도구, 8,9이지만 둘 다 검색에서 몇 가지 도구를 놓쳤다. 

  • Schönrock-Adema 및 동료9는 향후 도구 개발을 안내하는 이론적 프레임워크를 생성하는 것을 목표로 11개의 LE 도구를 식별했다. 2011년 이전에 발표된 16가지 도구를 검토에 포함시키지 않았고, 그들의 제안된 프레임워크는 오늘날의 의대생과 레지던트가 직면할 수 있는 LE 문제에 덜 적용 가능한 것으로 보인다.10 

  • Soemantri와 Colla Gues8은 2008년 이전에 발표된 LE 도구 점수의 유효성을 검토했지만 12가지 도구를 누락했다.

Two reviews explored tools used in the health professions to assess the LE,8,9 yet both missed some tools in their search. 

  • Schönrock-Adema and colleagues9 identified 11 LE tools with the goal of generating a theoretical framework to guide future tool development. How ever, they did not include in their review 16 tools published prior to 2011, and their proposed framework seems less applicable to the LE issues that today’s medical students and residents may encounter.10 

  • Soemantri and colleagues8 reviewed the validity of LE tool scores published before 2008 but missed 12 tools.


UME vs GME

Undergraduate Medical Education Versus Graduate Medical Education


우리는 두 환경이 다르다고 보기 때문에 학부 의대 교육과 대학원 의과대학의 LE를 따로 검토하기로 했다. 대학원 의학 교육은 순전히 직업 훈련 환경이다. 그러나, 학부의학교육은 교육 환경에서 훈련 환경으로 옮겨가는 혼합된 LE이다. 전임상 시기는 의대생의 요구에 독특한 초점을 맞추지만, 일단 의대생이 임상시기에 진입하면 그 초점이 환자에게 옮겨진다. 또한, 의대생들은 고객에게 돈을 지불하고 있다. 따라서, 그들의 LE는 그들의 학습과 전문적인 발전을 지원해야 한다. 대학원 의료 교육에서는 인턴과 레지던트를 고용하여 환자를 돌보는 한편, 감독하고 가르치는 일을 맡는다. 마지막으로, 그들의 관심사는 전공과에 따라 다르다. 예를 들어, 다양한 관심사를 가진 의대생들에 비해, 전공의들은 모두 정신의학이나 소아과와 같은 한 분야를 추구한다.

We decided to review the LEs of undergraduate medical education and graduate medical education separately because we see the two environments as different. Graduate medical education is purely a job training environment. Undergraduate medical education, however, is a blended LE, moving from an educational environment to a training environment. The preclinical years create a unique focus on the needs of the medical student, but the focus shifts to the patient once the medical student enters the clinical years. Also, medical students are paying customers; thus, their LE must support their learning and professional development. In graduate medical education, interns and residents have been hired and are paid to care for patients, while being supervised and taught. Finally, their interests are more discipline-specific; for example, all have opted to pursue one field, like psychiatry or pediatrics, compared with medical students, who have diverse interests.


초점 질문

Focused Questions


본 리뷰에서는 다음과 같은 연구 문제를 다루는 것을 목표로 하였다. 

  • (1) 의료 교육에서 LE를 측정하기 위해 개발된 도구는 무엇인가? 그리고. 

  • (2) 이러한 도구의 점수 해석과 관련된 유효성 근거(내용, 대응 프로세스, 내부 구조, 다른 변수와의 관계)의 강점은 무엇인가?

In this review, we aimed to address the following research questions: 

  • (1) What tools have been developed to measure the LE in medical education? and 

  • (2) What is the strength of the validity evidence (content, response process, internal structure, relationship to other variables) associated with the interpretation of the scores from these tools?


LE 도구 점수는 현 시점에서 규범적 점수보다 기술적이기 때문에 이 검토에서 결과 타당성 증거를 수집하지 않았다.

We did not collect consequence validity evidence in this review because LE tool scores are more descriptive than prescriptive at this point in time.



방법

Method


우리는 이 체계적인 검토를 PRISMA 표준에 따라 수행했다.12

We conducted this systematic review in accordance with PRISMA standards.12


검색 전략 Search strategy


포함과 스크리닝 프로세스 Inclusion and screening process


데이터 추상화 Data abstraction


모든 저자들은 같은 기사를 읽으면서 코딩 시트를 조종한 다음 두 번 다듬었다. 코딩 시트에는 설명 정보 질문(도구의 이름과 유형 [새로운, 수정된, 기존]), 샘플 특성 질문 및 각 유형의 유효성 증거와 관련된 질문이 포함되었다. 

    • 컨텐츠의 타당성을 위해, 저자들이 항목을 생성하기 위해 문헌 검토, 청사진 및/또는 그룹 합의를 사용했는지 여부를 확인했다. 

    • 대응 과정에 있어, 우리는 항목들이 시험적으로 시험되었는지, 그리고/또는 응답자들이 항목에 대한 피드백을 제공했는지, 또는 실제 점수를 정확하게 검토했는지 여부를 결정했다. 

    • 내부 구조의 경우, 신뢰성 계수가 제공되는지 여부, 요인 분석으로 점수를 분석했는지 여부를 표시했다. 

    • 다른 변수와의 관계에 대해서는 점수가 다른 관련 평가 점수와 상관관계가 있는지 여부를 결정했다.

All authors piloted the coding sheet, reading the same articles, then refined it twice. The coding sheet included descriptive information questions (name and type [new, modified, existing] of tool), sample characteristics questions, and questions relating to each type of validity evidence. 

    • For content validity, we identified if the authors used a literature review, blueprint, and/or group consensus to generate items. 

    • For response process, we determined whether items were piloted and/or whether respondents provided feedback on the items or if actual scores were reviewed for accuracy. 

    • For internal structure, we indicated if a reliability coefficient was provided and if scores were analyzed with factor analysis. 

    • For relationship to other variables, we determined whether scores were correlated with other related or unrelated survey scores.



분석 Analysis


결과 

Results


연구 숫자와 도구

Number of studies and tools


2012년 현재 102개의 연구가 LE에 대한 의대생 또는 레지던트의 인식을 평가했다. 15개의 고유 도구가 의대 5,14–27에서 LE를 평가했고 레지던트에서 13개의 고유 도구를 평가하였다. 따라서 우리는 28개의 고유 도구를 이 체계적 검토에 포함시켰다. 의과대학과 레지던트 설정에서 모두 사용된 도구는 단디 준비 교육 환경 측정(DREEM), 재향군인 학습자의 인식 조사(VA LPS), 대학원 병원 교육 환경 측정(PHEEM), 외과 연극 교육 환경 측정(STEEM) 등 4가지뿐이다.

As of 2012, 102 studies have assessed medical students’ and/or residents’ perceptions of the LE. Fifteen unique tools assessed the LE in medical school5,14–27 and 13 in residency.7,28–39 Thus, we included 28 unique tools in this systematic review. Only four tools have been used in both the medical school and residency settings—the Dundee Ready Education Environment Measure (DREEM), the Veterans Affairs Learners’ Perceptions Survey (VA LPS), the Postgraduate Hospital Educational Environment Measure (PHEEM), and the Surgical Theatre Educational Environment Measure (STEEM).



연구 퀄리티와 통합

Study quality and synthesis


표 2는 전체 타당도 증거 점수를 포함하여 28개의 고유한 LE 도구에 대한 유효성 증거를 요약한 것이다. 이 28개 도구 연구 중 17개(61%)가 어떤 형태로든 내용 타당성 증거를 제공했다

    • 연구는 32%(9/28)의 내부 구조 증거를 제공하고, 

    • 21%(6/28)는 다른 변수 증거와 어떤 형태의 관계를 제공했으며, 

    • 14%(4/28)는 응답 프로세스 증거를 제공했다. 


다른 변수 근거와의 관계를 제공한 6개 연구 중 3개 연구만이 예상 수렴 또는 분산 관계에 대한 가설을 명시했다. 즉, 과정 유효성 검사, ACGME 조사 및 Fahy의 LE 도구. 또한 대부분의 연구(23/28; 82%)는 복수의 LE 도메인을 제시했지만, 가설 구조를 뒷받침하기 위한 요인 분석 결과를 제공한 것은 5개에 불과했다.

Table 2 provides a summary of the validity evidence for each of the 28 unique LE tools, including an overall validity evidence score. Seventeen of these 28 tool studies (61%) provided some form of content validity evidence. Studies were less likely to provide evidence for the other three sources—32% (9/28) provided some form of internal structure evidence, 21% (6/28) provided some form of relationship to other variables evidence, and 14% (4/28) provided some form of response process evidence. Only 3 of the 6 studies that provided relationship to other variables evidence specified a hypothesis for the expected convergent or divergent relationships—the Course Valuing Inventory, the ACGME survey, and Fahy’s LE tool. Additionally, the majority of studies (23/28; 82%) suggested multiple LE domains, but only 5 provided factor analysis results to support the hypothesized structure.




학부 의대 LE 도구의 평균 유효 증거 점수는 21%(표준 편차 = 16%)였으며, 두 개 이상의 유효 근거 소스를 제공한 도구는 없었다. 대학원 의학 교육 LE 도구의 평균 유효 증거 점수는 32%(표준 편차 = 17%)였으며, 4가지 타당도 근거 출처를 모두 제공하는 도구는 없었다.

The average validity evidence score for undergraduate medical education LE tools was 21% (standard deviation = 16%), and no tools provided more than two sources of validity evidence. The average validity evidence score for graduate medical education LE tools was 32% (standard deviation = 17%), and no tools provided all four sources of validity evidence.


그림 2는 유효 증거량과 LE 도구의 후속 간행물 수(사용 후) 사이의 약한 관계를 보여준다(rho = 0.10).

Figure 2 illustrates the weak relationship between the amount of validity evidence and the number of subsequent publications of the LE tool (later use) (Spearman rho = 0.10).



고찰

Discussion


LE에 대한 의대생이나 레지던트의 인식을 평가하기 위한 gold standard는 존재하지 않는다. 만약 그렇다면, 그러한 도구는 내용, 대응 과정, 내부 구조 및 다른 변수와의 관계에 대한 강력한 유효성 증거를 이상적으로 보유할 것이다. 이상적인 도구는 효율적으로 시행할 수 있고, 참가자가 완료하는 데 빠르고, 광범위하게 적용되며, 시간이 지남에 따라 변화에 민감해야 한다. LE 평가는 3년에 한 번씩 완료되는 완전한 과정이 아니어야 한다. 대신에, LE는 민첩한 도구를 사용하여 정기적으로 재평가해야 한다.

No gold standard exists for assessing medical students’ or residents’ perceptions of the LE. If one did, such a tool would ideally possess strong validity evidence for content, response process, internal structure, and relationship to other variables. It would be efficient to administer, quick for participants to complete, widely applicable, and sensitive to change over time. Assessing the LE should not be an exhaustive process completed once every three years; instead, the LE should be regularly reassessed using a nimble instrument.


이 검토는 타당성 입증, 사용 및 항목 수 등 LE 도구의 보다 객관적인 차원에 초점을 맞추었다. 우리는 효율성과 관리 시간을 대신하여 항목 수를 사용했다. LE는 다면적인 구조여서, LE 도구는 너무 짧아서 이러한 모든 면을 캡처할 수 없다. 그러나, 연구원들은 참가자들이 비교적 쉽게 LE 도구를 완성할 수 있도록 노력해야 한다. 그렇게 하면 응답률이 높아질 뿐만 아니라 (a) 전체 설문조사를 끝내고 (b) 질문에 대한 성찰과 솔직한 답변을 할 가능성이 높아진다. 

This review focused on the more objective dimensions of LE tools— validity evidence, use, and number of items. We used number of items as a proxy for efficiency and time to administer. The LE is a multifaceted construct, so an LE tool cannot be too short so as to not capture all of these facets. However, researchers should strive to keep LE tools relatively easy for participants to complete. Doing so will not only facilitate a higher response rate but also increase the odds that respondents will (a) finish the entire survey and (b) reflect on the questions and submit honest responses. 


본 검토와 LE에 대한 조사를 모두 수행한 경험에 근거하여, LE는 50개 미만의 항목으로 평가될 수 있다고 본다. 우리는 조사 항목의 수를 제한하기 위해 요인 분석과 같은 분석 방법을 사용할 것을 강력히 촉구한다. 인자 분석을 통해 연구자가 LE 점수에 대한 요인 구조를 결정할 수 있을 뿐만 아니라 조사 항목 수를 줄일 수 있다. 예를 들어, 요인 분석 결과에 따르면 LE가 5개의 인자로 구성되는 경우, 연구자는 각 인자에 대한 하중 값이 가장 높은 6개 항목을 선택하여 30개의 항목 조사를 수행할 수 있다.

On the basis of our experience conducting both this review and researchon the LE, we believe that the LE can  be assessed with a survey of fewer than 50 items. We strongly urge researchers to use analytic methods, such as factor analysis, to limit the number of survey items. Factor analysis not only will allow researchers to determine the factor structure for LE scores but also can be used to reduce the number of survey items. For example, if the results of a factor analysis suggest that the LE comprises 5 factors, a researcher could select the 6 items with the highest loading values for each factor, resulting in a 30- item survey.


흥미롭게도, 학부 의학 교육(폴리의 도구)과 대학원 의학 교육(ACGME)에 대한 가장 높은 수준의 유효 증거를 가진 LE 도구는 후속 출판물에는 사용되지 않았다. 타당성 증거에 있어서는 열등하지만, DREEM은 전 세계 학술 의료 센터에서 LE를 평가하기 위해 40개 이상의 연구에서 사용되었다. 총 유효 증거 점수와 이후 사용 간의 상관관계가 낮은 것은 연구 간 발표 이후의 시간 차이 때문일 수 있다. 최근 발표된 연구가 우리의 분석에서 누락되었을 때, 유효 증거 점수와 이후 사용 사이의 관계는 온건했다.

Interestingly, the LE tools with the highest degree of validity evidence for undergraduate medical education (Pololi’s tool) and graduate medical education (ACGME) were not used in subsequent publications. Although it is inferior in terms of validity evidence, the DREEM was used in more than 40 studies to assess the LE at academic medical centers around the world. The low correlation between total validity evidence score and later use could be due to the difference in time since publication between studies. When studies published recently were omitted from our analysis, the relationship between validity evidence score and later use was moderate.


낮은 유효 증거 점수에도 불구하고, DREEM은 다른 LE 도구에 대한 많은 연구에서 사용되었다. 던디대 의과대학의 의과대학 석사 과정에 등록한 국제 학생 그룹에 의해 개발되었다. 그런 다음, 이 학생들은 그들의 가정home 기관에서 이 조사를 사용했고, 따라서 같은 기관의 연구자들에 의해 만들어진 조사보다 더 많은 네트워크 사용 효과를 만들어냈다. 네트워크 효과는 또한 더 빠른 이름 인식name recognition으로 이어질 수 있었다. 연구자가 LE 도구가 필요한 경우, 다른 도구를 찾기 위한 문헌 검토를 실시하기보다는 DREEM을 알고 있었기 때문에 DREEM 사용을 고려할 가능성이 더 높았을 수 있다. 또한, DREEM을 사용함으로써, 그들은 학교 결과를 다른 학교 결과와 비교할 수 있었다. 따라서 연구자들은 타당성 입증 이외의 이유로 LE 도구를 선택할 수 있다. 우리는 표 2에 제시된 우리의 결과가 연구자들과 교육자들이 타당성 증거를 토대로 LE 도구를 선택하도록 안내할 것으로 기대한다.

Despite its low validity evidence score, the DREEM was used in a large number of studies relative to other LE tools. It was developed by a group of international students enrolled in Dundee University Medical School’s medical education master’s degree program. These students then used the survey at their home institutions, thus creating more of a network effect of use than would a survey created by a group of researchers at the same institution. The network effect also could have led to faster name recognition. When researchers needed an LE tool, they may have been more likely to consider using the DREEM because they knew of it, rather than conducting a literature review to find a different tool. Also, by using the DREEM, they could compare their school’s results with those of other schools. Thus, researchers may be selecting LE tools for reasons other than validity evidence. We are hopeful that our results presented in Table 2 will guide researchers and educators in selecting LE tools on the basis of validity evidence.


이 리뷰는 건강 전문가에 사용된 LE 도구에 대한 이전에 발표된 두 개의 리뷰의 결과에 깊이와 엄격함을 더한다.8,9  

  • Schnrock- Adema와 동료9의 리뷰는 LE의 이론적 기반을 구축하고 그것의 다른 측면에 초점을 맞춘다. 따라서, 우리의 검토는 LE(점수의 유효 증거)를 평가하기 위한 다른 렌즈를 제공했다. 

  • 소이만트리와 동료8의 검토에서도 타당성 증거를 평가했지만 많은 단점이 있었다. 우리의 결론과는 대조적으로, 소이만트리 외 연구진은 DREEM과 PHEEM이 각각 의대생과 LE에 대한 거주자의 인식을 평가하기 위한 최고의 도구라고 결론지었다. 

This review adds depth and rigor to the findings of the two previously published reviews of LE tools used in the health professions.8,9 The review by Schönrock- Adema and colleagues9 aimed to build a theoretical base for the LE and focused on its different facets. Thus, our review offered a different lens for assessing the LE—the validity evidence of scores. The review by Soemantri and colleagues8 also assessed validity evidence, but it had many shortcomings. In contrast to our conclusions, Soemantri et al concluded that the DREEM and PHEEM were the best tools for evaluating medical students’ and residents’ perceptions of the LE, respectively. 


우리는 검토된 LE 도구의 수유효 증거 패러다임이라는 두 가지 이유로 Soemantri 등으로부터 서로 다른 결론에 도달했다고 믿는다. "학습 환경"에 대해 여러 개의 핵심 단어를 사용하여 포괄적인 검색 전략을 모색했기 때문에, 우리의 리뷰는 더 많은 공개된 LE 도구를 포착했다. Soemantri 외 연구진은 세 가지 유형의 유효성(내용, 기준 관련 및 구성)을 가진 구형 패러다임을 사용했으며, 우리는 유효 증거의 다섯 가지 출처(내용, 대응 프로세스, 내부 구조, 다른 변수와의 관계, 결과[이 검토에서 평가되지 않음])를 가진 새로운 패러다임을 사용했다.

We believe that we reached disparate conclusions from Soemantri et al for two reasons—the number of LE tools reviewed and the validity evidence paradigm. Our review captured more published LE tools because we sought a comprehensive search strategy, using multiple key words for “learning environment.” Soemantri et al used the older paradigm with three types of validity (content, criterion- related, and construct), while we used the new paradigm with five sources of validity evidence (content, response process, internal structure, relationship to other variables, and consequences [not assessed in this review]).


우리의 검토에는 몇 가지 한계가 있다. 

  • 첫째, 대부분의 초기 연구들은 단일 사이트에서 비교적 적은 수의 학습자를 사용했으며, 특히 학부 의대 교육 LE를 평가하는 학습자를 사용했다. 그러므로 타당성 증거가 더 강했더라도 다른 기관의 학습자와 함께 도구의 효용에 대한 일반화는 문제가 될 수 있다. 

  • 둘째, 동료 검토 저널에 게재된 LE 도구만 포함시켰다. 

  • 마지막으로, 기술 및 끊임없이 변화하는 의료 제공 시스템과 같은 요인들로 인해 의료 교육이 계속 발전함에 따라, 이러한 요소들을 설명하기 위한 새로운 도구가 필요할 것이다. 따라서, 우리가 검토한 도구들 중 일부는 사실 이미 구식일 수도 있고, 따라서 덜 유용할 수도 있다.

Our review has several limitations. First, most of the original studies used relatively small numbers of learners at a single site, especially those assessing the undergraduate medical education LE. Thus, even if validity evidence had been stronger, generalizations about any tool’s utility with learners at other institutions may be problematic. Second, we only included LE tools published in peer-reviewed journals. Finally, as medical education continues to evolve because of factors such as technology and our ever- changing health care delivery systems, new tools will be needed to account for these factors. Thus, some of the tools we reviewed may in fact already be dated, and thus of lesser utility.


검토한 28개의 LE 도구에 대한 제한된 유효성 증거를 고려할 때, 연구자들은 추가 연구를 통해 타당성 증거를 수집하거나, 또는 LE에 대한 의대생과 레지던트 인식을 평가하는 새로운 도구를 개발하기를 원할 수 있다. 새로운 LE 도구는 효용성을 확립하기 위해 복수의 기관에서 견습생을 대상으로 강력한 유효성 증거 시험과 샘플링을 필요로 한다. 또한 의학 교육자와 학자는 LE와 같은 복잡한 구조를 평가할 측정지표를 선택할 때 유효 증거를 신중하게 고려해야 한다. 그러한 타당성 증거는, 그것이 없다면, 교육자들은 어떤 구조를 정확하게 포착할 수 있는 능력에 한계가 있기 때문에 매우 중요하다.

Given the limited validity evidence for the 28 LE tools that we reviewed, researchers may wish to collect validity evidence with further study or, alternatively, to develop new tools to assess medical students’ and residents’ perceptions of the LE. Any new LE tool will need robust validity evidence testing and sampling across multiple institutions with trainees at multiple levels to establish its utility. Additionally, medical educators and scholars should carefully consider validity evidence when selecting a metric to assess a complex construct, such as the LE. Such validity evidence is extremely important because, without it, educators are limited in their ability to accurately capture a construct.








 2014 Dec;89(12):1687-93. doi: 10.1097/ACM.0000000000000433.

Assessing medical students' and residents' perceptions of the learning environmentexploringvalidity evidence for the interpretation of scores from existing tools.

Author information

1
Dr. Colbert-Getz is senior director of medical education development and assessment, University of Utah School of Medicine, Salt Lake City, Utah. Ms. Kim is a fourth-year medical student, University of Sydney Medical School, Sydney, Australia. Ms. Goode is a clinical librarian, William H. Welch Medical Library, Johns Hopkins University School of Medicine, Baltimore, Maryland. Dr. Shochet is assistant professor of medicine and director, Colleges Advisory Program, Johns Hopkins University School of Medicine, Baltimore, Maryland. Dr. Wright is professor of medicine and division chief, Division of General Internal Medicine, Johns Hopkins Bayview Medical Center, Johns Hopkins University School of Medicine, Baltimore, Maryland.

Abstract

PURPOSE:

Although most agree that supportive learning environments (LEs) are essential for effective medical education, an accurate assessment of LE quality has been challenging for educators and administrators. Two previous reviews assessed LE tools used in the health professions; however, both have shortcomings. The primary goal of this systematic review was to explore the validity evidence for the interpretation of scores from LE tools.

METHOD:

The authors searched ERIC, PsycINFO, and PubMed for peer-reviewed studies that provided quantitative data on medicalstudents' and/or residents' perceptions of the LE published through 2012 in the United States and internationally. They also searched SCOPUS and the reference lists of included studies for subsequent publications that assessed the LE tools. From each study, the authors extracted descriptive, sample, and validity evidence (content, response process, internal structure, relationship to other variables) information. They calculated a total validity evidence score for each tool.

RESULTS:

The authors identified 15 tools that assessed the LE in medical school and 13 that did so in residency. The majority of studies (17; 61%) provided some form of content validity evidence. Studies were less likely to provide evidence of internal structure, response process, and relationship to other variables.

CONCLUSIONS:

Given the limited validity evidence for scores from existing LE tools, new tools may be needed to assess medical students' and residents' perceptions of the LE. Any new tools would need robust validity evidence testing and sampling across multiple institutions with trainees at multiple levels to establish their utility.

PMID:
 
25054415
 
DOI:
 
10.1097/ACM.0000000000000433


Mokken 스케일 분석을 통한 DREEM의 심리측정적 특성과 차원구조 분석(BMC Med Educ, 2018)

Investigating psychometric properties and dimensional structure of an educational environment measure (DREEM) using Mokken scale analysis – a pragmatic approach

Per J Palmgren1*, Ulf Brodin1, Gunnar H Nilsson2, Roger Watson3 and Terese Stenfors1




배경

Background


질문지 및 조사와 같은 기구는 과정, 프로그램 및 사무실의 수많은 학생 평가와 학생들의 자기 평가 및 환자 만족을 포함하여 의료 교육 전반에 걸쳐 사용된다. 더욱이, 설문조사 중심의 문의는 의료 교육 연구에 광범위하게 사용되고 있다[1]. 잘 조작된 설문지는 기초적인 구성 또는 잠재적 특성(변수성)의 측정에 유용한 도구다.

Instruments such as questionnaires and surveys are used throughout medical education, including for the innumerable student evaluations of courses, programs, and clerkships as well as for student self-assessments and patient satisfaction. Moreover, survey-driven inquiries are extensively employed in medical education research [1]. A well-crafted questionnaire is a useful instrument for the measurement of underlying constructs or latent traits (variables).


측정은 [2] 의미 있는 방법으로 개체에 숫자를 적용하는 프로세스로 정의되었으며 데이터 세트의 공식 모델을 구성하는 것을 포함한다. 측정과 계량화는 많은 과학에서 어디에서나 볼 수 있다. 교육과 심리 같은 사회과학에서는 학자들이 심리적인 측정과 다른 현상에 대한 인식과 태도 같은 개념에 몰두하고 있다.

Measurement has been defined as the process of applying numbers to objects in meaningful ways [2] and involves constructing a formal model of a dataset. Measurement and quantification is ubiquitous in many sciences. In social sciences, such as education and psychology, scholars are preoccupied with psychological measurements and concepts such as perceptions of and attitudes toward different phenomena.


Bryman[3]에 따르면, 정량적 연구에서의 측정에 대한 집착에는 크게 세 가지 이유가 있다. 

  • i) 측정을 통해 연구자는 해당 현상의 관점에서 사람 간의 미세한 차이를 설명할 수 있다. 

  • ii) 측정은 그러한 구분을 위한 일관된 장치를 제공한다. 

  • iii) 측정은 현상 간 관계의 정도에 대한 보다 정확한 추정을 제공한다.

According to Bryman [3], there are three main reasons for the preoccupation with measurement in quantitative research: 

  • i) measurement allows researchers to delineate fine differences between people in terms of the phenomenon in question; 

  • ii) measurement provides a consistent device for making such distinctions; and 

  • iii) measurement provides for more precise estimates of the degree of relationships between phenomena.


심리학적 측정은 본질적으로 측정하는 성질 때문에 더 어렵고 일반적으로 받아들여지는 방법으로 직접 관찰할 수 있도록 똑같이 직접적으로 제공하지는 않는다. 개인들 사이의 현상에 대한 인식과 같은 심리적 속성의 측정은, 비록 바람직하지만, 어려울 수 있다.

Psychological measurement is inherently more difficult due to the properties being measured and does not lend itself equally straightforwardly to direct observation with a commonly accepted method. Measuring psychological attributes such as perceptions of a phenomenon among individuals can thus be difficult, albeit desirable.


설문 척도 설계

Survey scale design


Artino와 동료[1]는 의료 교육 연구에서 평가 척도 설계 프로세스에서 일부 필수 단계를 강조하였다. 이러한 많은 측면을 다루는 이 연구 분야는 정신분석학이라고 불린다.

Artino and colleagues [1] have highlighted some compulsory steps in the survey scale design process in medical education research: This field of study which addresses many of these aspects is called psychometrics,


의료 교육 연구에서는, 설문지 결과를 해석하고 분석하기 위한 보다 안정적이고 확증된 방법그러한 방법에서 결론을 도출하는 가능한 새로운 방법이 필요하다[5].

In medical education research, there is a need for more stable and corroborated methods for interpreting and analyzing the results of questionnaires as well as possible new ways of drawing conclusions from such methods [5].


설문지의 심리측정적 robustness를 보장하기 위해 채택된 방법은 상식, 항목 내용 및 항목 선택에서 복잡한 수학적 및 통계적 모델에 이르는 연속체에 배치할 수 있다. 그러나 타당성과 같은 심리측정적 특성은 측정도구와 관련되지 않는다. 오히려 맥락적 연구[7]에서 생성된 결과의 해석의 특징이다. 따라서 도구를 외국어로 번역하거나 다른 모집단에 적용할 때, 그것은 경험적인 문제가 되고, 그 발견은 해당 모집단에 대해 심리적으로 정밀하게 조사할 필요가 있다. 그렇지 않으면 "다른 사람에게 빌린 안경을 이용한 시각적 관찰과 같을 것이다. 그것은 분명하지 않거나 최적의 결과를 낳게 마련이다[4].

The methods employed to warrant the psychometric robustness of questionnaires can be placed on a continuum extending from common sense, item content, and choice of items to intricate mathematical and statistical models. However, Psychometric properties, such as validity, do not pertain to an instrument as such; rather, they are a feature of the construal of the results generated from a contextual study [7]. Therefore, when inventories are translated from a foreign language and/or applied to a different population, it becomes an empirical question, and findings need to be psychometrically scrutinized for the population in question. Otherwise, “It would be like visual observation using eyeglasses borrowed from someone else. It is bound to produce unclear or suboptimal results” [4].


의료 교육 연구(및 기타 분야)에서는 설문지의 점수를 합산하기 위해 일련의 문항을 작성한 후 해당 통계에 이 합계 점수를 사용하는 것이 일반적이다. 목적이 합계 점수를 작성하는 것이든 또는 메트릭 변수로 추가 사용을 위한 기타 종합 측정을 작성하는 것이든 상관없이, 우리는 이것을 탐구해야 한다고 주장한다. 종합 점수 등과 같은 항목 집합에 기초한 종합 측정을 생성할 때, 이것은 다른 통계 모델과 같은 모델, 시험해야 하는 모델과 그 적용 가능성을 검토해야 하는 모델을 확립하는 것을 수반한다. 설문지에 항목을 요약하는 것이 반드시 유효한 연속 메트릭 변수[5]를 구성한다는 것은 명백하지 않으며, 항목 동등성item equivalence의 가정에 대한 문제는 문헌[8]에서 다루어 왔다. 그럼에도 불구하고 합리적인 측정지표 변수를 구성할 수 있다면 다양한 적절한 측정 방법을 사용할 수 있다.

It is common practice in medical education research (and other disciplines) to compose ordered items to sum scores in a questionnaire and to then use these sum scores for the corresponding statistics. Regardless of whether the intent is to create a sum score or any other aggregated measure for further use as a metric variable, we argue that this has to be explored. When generating an aggregated measure based on a set of items, such as a sum score, this entails establishing a model like any other statistical model, a model that has to be tested and its applicability examined. It is far from obvious that summarizing items in a questionnaire necessarily constitutes a valid continuous metric variable [5], and the problem with the assumption of item equivalence has been addressed in the literature [8]. Nevertheless, if a reasonable metric variable can be constructed, there are a variety of suitable psychometric methods available.



심리측정검사이론

Psychometric test theories


의학 교육 연구의 많은 경험적 연구에서, 유효성 및 신뢰성을 확립하기 위해 사용되는 방법은 고전적 시험 이론(CT)이라고 하는 것에 포괄적으로 의존한다. 

    • 척도의 구인 타당성 평가를 위한 주성분 분석 또는 요인 분석과 같은 방법을 포함한다. 

    • 시험 점수의 신뢰성 추정을 위한 Cronbach의 알파와 같은 내부 일관성.

In many empirical studies in medical education research, the methods used to establish validity and reliability rely comprehensively on what is referred to as classical test theory (CTT), which includes methods such as principal component analysis and/or factor analysis for assessing the construct validity of scales, and/or internal consistency such as Cronbach’s alpha for the estimation of the reliability of test scores.


CTT는 대부분 연속 데이터의 가정과 일반적으로 데이터의 정규 분포에 의존하며 주로 항목과 총 척도 점수 간의 관계를 조사한다. 또한, CTT에서 척도 점수는 항목 반응 패턴에 대해 그다지 유익하지 않으며, 항목 집합에 대한 점수의 조합은 잠재 특성에 대해 동일한 점수를 줄 수 있다. 이와 같이, Van Schuur [9]는 문항 집합이 동일한 개념을 측정하는지 여부에 대해 CTT의 통찰력이 제한될 수 있다고 제안했다.

CTT relies mostly on the assumption of continuous data and commonly a normal distribution of data and mainly investigates the relationship between items and total scale scores. Further, in CTT, the scale score is not very informative about the item response pattern, and any combination of scores on any set of items can give the same score on the latent trait. As such, van Schuur [9] has suggested that CTT may have limited insight as to whether sets of items measure the same concept.


CTT에 대한 대안적 방법은 문항반응이론(IRT)으로, CTT와 많은 동일한 문제를 추구하며, 특히 명목 및 순위 설문지 데이터를 위해 개발되었다. 또한, IRT는 종종 동일한 개념을 측정하는 항목 집합을 탐지하는 측면에서 CTT의 보완이 될 수 있다[9]. IRT는 또한 개인의 능력 수준과 구별되는 측정 정밀도를 설정하여 해석력을 증가시킨다[10]. 따라서 이 데이터(예: 사람 성과에 따라 변동하는 오류)를 사용하여 조사 대상 설문지의 취약하고 중요한 부분을 구별할 수 있다[11]. IRT 방법 및 기법은 다양하지만, 이를 다루는 것은 본 문서의 범위를 벗어난다. IRT 방법의 한 가지 분기는 IRT의 원리와 설문지 데이터의 정신학적 특성을 평가하는데 유용한 것으로 입증된 스케일링 방법에 기초하는 목켄 스케일 분석(MSA 또는 목켄 스케일링)이다[4, 12–14].

An alternative method to CTT is item response theory (IRT), which pursues much of the same problems as CTT and was developed particularly for nominal and ordinal questionnaire data. Further, IRT can often be a supplement to CTT in terms of detecting sets of items that measure the same concept [9]. IRT also augments interpretive power by establishing measurement precision that is distinct with a person’s ability level [10]. Thus, this data (e.g., an error that fluctuates based on person performance) can be utilized to distinguish weak and critical parts of a questionnaire under scrutiny [11]. There are a multitude of IRT methods and techniques, however, it is beyond the scope of this paper to address them. One branch of the IRT method is Mokken scale analysis (MSA or Mokken scaling), which is based on the principles of IRT and a scaling method proven to be valuable for assessing the psychometric properties of questionnaire data [4, 12–14].



방법

Methods


MSA의 기본 원리

Basic principles of MSA


MSA는 항목과 잠재적 특성 사이의 상호성과 관계를 탐구하기 위한 일련의 통계적 도구를 제공하는 분석적 방법이다. 이는 척도의 항목이 계층적으로 정렬된다는 가정에 기초하는 Guttman 스케일링 모델에서 진화했다. 즉, 항목이 응답자에 의해 승인되는 용이성과 범위를 언급하는 것이 어렵다는 것을 의미한다(Watson 등 참조). [15] 좀 더 포괄적인 논의를 위해). 따라서 Guttman 스케일링 모델은 확률적 요소의 가능성을 허용하지 않기 때문에 결정적이다. 그것은 항목과 잠재된 특성 사이의 관계를 확률 면에서 고려하지 않는다. 오히려, 그것은 어떤 항목에 대한 보증 또는 그 결여에 근거하여 잠재된 특성의 차별이다. 그림 1a는 Y축의 항목에 대해 긍정적인 응답의 확률을 가진 X축의 잠재적 특성을 따라 결정론적 Guttman 스케일링 모델에 따라 행동하는 항목의 예를 보여준다.

MSA is an analytical method that provides a set of statistical tools for exploring the reciprocity and relation between items and latent traits. It evolved from the Guttman scaling model, which is based on the assumption that the items in a scale are hierarchically ordered: this means that they are ordered by their degree of “difficulty,” difficulty referring to the ease and extent with which an item is endorsed by respondents (See Watson et al. [15] for a more comprehensive discussion). Thus, Guttman scaling model is deterministic as it does not allow for the possibility of any stochastic elements. It does not regard the relation between an item and the latent trait in terms of probability. Rather, it is discriminatory of the latent trait on the basis of the endorsement, or lack thereof, of an item. Figure 1a displays an example of an item behaving in consonance with the deterministic Guttman scaling model along a latent trait on the X-axis with the probability of an affirmative response to the item on the Y-axis.


문항 반응 기능

Item response function


IRT에서 파생된 모델(MSA 등)의 중심은 IRF(항목 반응 함수) 또는 항목 특성 곡선으로 설명할 수 있는 척도의 이산형 항목이 어떻게 작용하는 가이다[16]. IRF는 IRT 방법에서 분석의 기본 단위로 간주할 수 있다. 그들은 잠재적 특성과 해당 항목에 긍정적으로 반응할 확률 사이의 관계를 기술한다. 여기서 "positive"는 항목을 종별 척도로 승인(또는 능력 척도로 올바르게 응답)하는 것을 의미한다. 특성 수준은 세타(θ로 표시됨)로 표시되며, 특정 항목에 대한 IRF는 잠재 특성의 특정 레벨이 있는 상태에서 획득되는 개인의 항목 점수의 확률 –Р(θ)을 나타낸다. 일반적으로 IRF는 θ의 잠재 특성 값이 높을수록 θ을 측정하는 항목에 대한 점수의 확률이 높아져 결과적으로 비선형적으로 증가한다는 개념을 반영한다.

Central to the models derived from IRT (such as MSA) is how discrete items in a scale perform in relation to the latent trait, which can be described by an item response function (IRF) or an item characteristic curve [16]. IRFs can be regarded as the fundamental unit of analysis in IRT methods. They describe the relationship between the latent trait and the probability of responding positively to that item, whereby “positively” means endorsing the item in attitudinal scales (or answering correctly in ability scales). The trait level is signified by theta (denoted as θ), and the IRF for a specific item represents the probability – Р (θ) – of an individual’s item score being acquired in the presence of a specific level of the latent trait. In general, the IRF echoes the notion that the higher the latent trait value of θ, the higher the probability of a score on the item that measures θ, consequently increasing non-linearly.


그림 1b는 IRT 모델이 S자형 곡선 IRF에 데이터를 맞추려고 할 때 X축의 θ과 Y축의 Р(θ)이 있는 상태에서 확률적으로 반응하는 항목을 나타낸다. 그림 1c는 한 항목(항목 A)을 승인할 확률이 다른 항목(항목 B)을 승인할 확률보다 더 주목할 만한 두 항목에 대한 IRF를 나타내며, 결과적으로 항목(B)이 더 어렵다. IRF는 또한 항목의 차등 능력 측정치인 항목 차별을 표시할 수 있다. 높은 차별은 어떤 항목이 주제를 구별할 수 있는 높은 능력을 가지고 있음을 시사한다. 그림 1d와 같이, IRF의 피치는 경사가 더 큰 항목(항목 B)은 경사가 더 낮은 항목(항목 A)보다 더 차별적이라고 볼 수 있기 때문에 평가할 수 있다.

Figure 1b shows an item responding stochastically in the presence of θ on X-axis and Р (θ) on the Y-axis as IRT models attempt to fit the data to sigmoid-shaped curves IRFs can differ according to item difficulty. Figure 1c depicts the IRFs for two items, where the probability of endorsing one item (Item A) is more noteworthy than the probability of endorsing the other (Item B), consequently the item (B) being more difficult. IRFs can also display item discrimination, a measure of the differential capability of an item. A high discrimination suggests that an item has a high ability to differentiate subjects. As shown in Fig. 1d, the pitch of the IRFs can be assessed, as items with a greater slope (Item B) can be regarded as more discriminatory than those whose slope is shallower (Item A).


비모수적 문항반응이론 모델

A non-parametric item response theory model


MSA는 이항목(이항) 또는 다항목(순위) 항목의 단차원 척도를 평가하기 위한 데이터 감소 방법으로, 비모수 항목 반응 이론(NIRT)의 등급에 속한다. 다중 항목 설문지를 설계하거나 구성할 때, 보다 잘 확립된 CTT 또는 파라미터 IRT 방법(Parametric IRT method, PRT)에 대한 2차 분석으로, 또는 잘 알려진 항목이 새로운 응답자 그룹에 적용되는 새 데이터의 적합성과 자음을 조사하기 위해 MSA를 적용할 수 있다[12].

MSA is a data reduction method aimed at assessing unidimensional scales of dichotomous (binary) or polytomous (ordinal) items and belongs to the class of non-parametric item response theory (NIRT). MSA can be applied when designing or constructing multi-item questionnaires; as a secondary analysis to more well-established CTT or parametric IRT methods (PIRT); or to investigate the conformity and consonance of new data in which well-known items are applied to new group of respondents [12].


MSA는 또한 Rasch 모델과 같이 PIRT 모델보다 몇 가지 장점을 가지고 있다. 첫째, MSA는 덜 제한적인 가정에 의존하며 데이터에 대한 요구도 덜하지만 중요한 측정 특성을 유지하므로 연구자들이 척도에서 불필요하게 항목을 제거하는 것을 방해한다. 둘째, MSA는 PIRT 모델에서는 쉽게 이용할 수 없는 탐색적 차원 분석을 위한 귀중한 도구를 제공한다 [17, 18]. 또한, "간격 척도에서 합리적인 '인용 측정'을 확립하기 위한 충분한 통계로서 합계 점수를 사용할 가능성을 평가하기 전에, 초기 단계는 비모수적 접근법을 사용하여 데이터를 측정하는 것이다[6].

MSA also has some advantages over PIRT models, such as the Rasch model. First, MSA depends on less restrictive assumptions and is less demanding on the data, while maintaining important measurement properties, which prevents researchers from unnecessarily removing items from a scale. Second, MSA provides valuable tools for exploratory dimensionality analyses that are not readily available for PIRT models [17, 18]. Further, it has been postulated that “before assessing the possibility of using a sum score as a sufficient statistics to establish a reasonable ‘person measure’ on an interval scale, an initial step would be to gauge data by means of a non-parametric approach” [6].



NIRT모델 기저의 가정

Assumptions underlying NIRT models


1970년대 초 로버트 목켄은 서수 데이터의 스케일링 기법인 MSA를 뒷받침하기 위해 이분법 항목[14], 즉 단조동질 모델(MHM)과 이중단조 모델(DMM)에 대한 두 개의 NIRT 모델에 대한 논문을 제안했다. 거의 10년 후, 몰레나아[19]는 폴리토머스 항목에 맞추기 위해 이러한 모델을 개발했다(이 모델에 대한 좀 더 포괄적인 설명은 [4, 20, 21]에서 찾을 수 있다).

At the beginning of the 1970s, Robert Mokken proposed his thesis of two NIRT models for dichotomous items [14]: the monotone homogeneity model (MHM) and the double monotonicity model (DMM) to underpin MSA, a scaling technique for ordinal data. Nearly ten years later, Molenaar [19] developed these models to cater for polytomous items (more comprehensive discussions of these models can be found in [4, 20, 21].


MSA는 척도를 형성하는 것으로 가정되는 항목 집합에 대해, 또는 그것이 하나 이상의 척도를 구성하는지를 확인하기 위해 일련의 항목을 분석할 때, 확인적 방식으로 적용될 수 있다. 확인적 접근법과 탐구적 접근법은 모두 동일한 기준을 채택하며, 유일한 차이점은 발견되거나 시험되는 항목(치수)의 군집이 하나 또는 두 개의 NIRT 모델을 준수하는지의 여부에 대한 분석과 평가에 입력되는 것이다. 이러한 모델은 목켄 모델링을 보증하고 규정하기 위해 충족해야 하는 4가지 가정에 기초한다. 이러한 가정은 비임계성, 단조성, 국부적 독립성 및 불변항목 주문(IIO)이다 [13, 22].

MSA can be applied in a confirmatory manner, for a set of items that are assumed to form a scale, or in an exploratory manner when a set of items is analyzed to ascertain whether it constitutes one or more scales. Both confirmatory and exploratory approaches employ the same criteria, the only differences being what is entered into the analysis and the assessment of whether the clusters of items (dimensions), which are found or tested, adhere to one or two NIRT models. These models are grounded in four assumptions that must be met in order to endorse and stipulate Mokken modeling. These assumptions are: 

      • unidimensionality, 

      • monotonicity, 

      • local independence, and 

      • invariant item ordering (IIO) [13, 22].


단차원성의 가정은 척도를 형성하는 항목에 대해 항목에 대한 해답을 지배하는 일반적인 단일 잠재 특성(θ)이 있다는 것을 의미한다[23]. 단차원은 항목의 답의 해석을 단순화하고 다른 특성의 potpourri를 표현하는 것으로부터 항목의 총 점수를 평균하기 때문에 일반적으로 바람직한 측정 속성으로 간주된다. 그러나, 단차원성은 둘 이상의 차원이 큰 항목 집합에 존재하는 것이 불가능하다는 것을 의미하지 않는다. 오히려 NIRT 모델에 적합한 항목들의 군집이 단차원적이라는 것을 의미한다.

The assumption of unidimensionality means that for those items forming a scale, there is a prevailing single latent trait (θ) that governs the answers to the items [23]. Unidimensionality is commonly considered a desirable measurement property because it simplifies the interpretation of answers to the items and averts the total score of the items from expressing a potpourri of different traits. However, unidimensionality does not mean that it is impossible for more than one dimension to exist in a large set of items; rather, that clusters of items fitting an NIRT model are unidimensional.


두 번째 가정인 단조성은 잠재 특성 수준이 증가함에 따라 항목 점수의 증가 확률을 암시한다. 따라서 승인된 반응 P(θ)는 잠재 특성 θ의 단조적으로 감소하지 않는 함수다. 그림 1e는 단조적으로 증가하는 하나의 항목(A)과 그렇지 않은 하나의 항목(B)을 나타내며, 따라서 IRF에서 약간 딥한 것으로 표시된다. 이 전제로부터의 열은 측정인에 대한 서수 척도의 오용과 단조성의 위반을 나타낸다.

The second assumption, monotonicity, alludes to the increasing probability of the score on an item increasing as the level of the latent trait increases; thus, the endorsed response P (θ) is a monotonically non-decreasing function of the latent trait θ. Figure 1e exhibits one item (A) increasing monotonically and one item (B) which is not, thus indicated by a slight dip in the IRF. Aberrations from this premise indicate violations of monotonicity and conceivable distortions from and misuse of ordinal scale for measuring persons.


국지적 독립성의 가정은 척도의 항목에 대한 개인의 반응이 측정되는 잠재적 특성에 대한 자신의 수준에 의존한다고 규정한다. 한 항목에 대한 응답은 다른 항목에 대한 점수에 영향을 받지 않고 영향을 받지 않는다[24]. 완전한 국지적 확률적 독립은 사실상 감지할 수 없고 실질적으로 도달할 수 없기 때문에 이것은 대체로 추측이라는 것을 강조해야 한다 [12, 15].

The assumption of local independence stipulates that a person’s responses to items on a scale are reliant on his or her level on the latent trait being measured; the response to one item is not influenced and affected by the score on any other [24]. It should be emphasized that this is largely a conjecture, as utter local stochastic independence is virtually undetectable and practically unachievable [12, 15].


앞에서 언급한 세 가지 가정은 수많은 NIRT 절차에 적합하며 MHM의 가정을 포함한다. DMM이 더 제한적일수록 IRF가 θ를 횡단하는 비교차로 가정해야 한다. 따라서 비 교차 IRF는 불변항목 순서에 의해 확인되며, 잠재 특성의 모든 수준에서 모든 응답자에 대한 순서에 있어 "어려움"이 동일한 척도의 항목을 가리킨다. 이것은 그림. 1f와 항목 B가 항목 A와 교차하는 경우, 항목 B가 DMM을 위반한다. IIO 속성은 계층적 척도를 설정하는 데 결정적이다. 이 네 가지 가정이 과도하게 침해되지 않는다면, 더 높은 합계 점수는 잠재 특성에 대한 더 높은 값에 해당하는 것으로 간주되며, 이는 응답자들이 총합 점수에 의해 잠재 특성에 대해 신뢰성 있게 명령할 수 있음을 시사한다. 항목 확장성을 위해 미리 선택된 컷오프 값을 사용하여 "하향식" 클러스터링 기법을 유지함으로써, MSA는 다른 계층적 수준에서 스케일 또는 스케일의 치수 구조를 분석할 수 있다[15, 25].

The three aforementioned assumptions are adequate for numerous NIRT procedures and encompass the assumptions of the MHM. The more limiting DMM necessitates the additional assumption of non-intersecting of IRFs traversing θ. Thus, non-intersecting IRFs is confirmed by invariant item ordering and refers to items on a scale with the same level of “difficulty” in terms of ordering across all respondents at all levels of the latent trait. This is shown in Fig. 1f where Item B intersects with Item A, thus Item B violates the DMM. The IIO property is decisive in establishing hierarchical scales. If these four assumptions are not excessively violated, higher sum scores are seen as corresponding to higher values on the latent trait, suggesting that respondents can be reliably ordered on the latent trait by their sum scores. By retaining a “bottom up” clustering technique by means of preselected cut-off values for item scalability, MSA permits analyses of the dimensional structure of a scale or scales on different hierarchical levels [15, 25].


실용적이고 검소한 접근으로서 MSA

MSA as a pragmatic and parsimonious approach


그림 2에서 볼 수 있듯이, 우리는 몇 가지 순차적 단계를 통합한 MSA에 대해 실용적이고 검소한 접근법을 제안한다. 그림에서 묘사된 후속 조치들이 연속적으로 지시되는 것처럼 보일 수 있다는 사실에도 불구하고, 실용적인 분석 접근법은 선형이 아니라 반복적이고 재귀적이다. 설문지 테스트 중 데이터 분석에서 잘 알려진 딜레마는 일부 응답자가 척도의 일부 항목에 대한 답변을 제공하지 않아 불완전한 데이터 매트릭스가 발생한다는 것이다 [26]. 따라서 예를 들어, 2방향 귀속 또는 핫 데크 귀속을 사용하여 샘플을 완전히 활용하기 위해 다른 응답자로부터 값을 유사하지만 포괄적인 응답 패턴으로 복제하는 등 일부 비체계상 누락 값을 귀속시킬 수 있다. 그러나, 우리는 브로딘[6]과 논쟁하고 동의한다. 설문지에서의 누락된 가치는 일반적으로 응답자가 대답하지 않기로 선택했기 때문에 귀속될 수 없다. 이후 빈 셀은 "데이터 누락"이 아니라 "응답 없음"을 의미하므로 데이터가 누락되지 않는다. 또한, 반 데르 아크와 시즈마[27]가 논의한 바와 같이 목켄 스케일링에 귀속성을 적용하는 단점이 있으며, 귀속 방법 중 하나를 선택할 수 있는 방법은 거의 없지만, 모두 데이터가 누락되지 않고 원래 솔루션에서 벗어나는 항목 군집을 도출하는 시뮬레이션 방법을 사용한다. 따라서 우리는 MSA가 항목 간의 복수 및 부분적 관계(확장성)에 초점을 맞추고 있으며, 범주의 붕괴가 발생하지 않으므로 분석에서 어떤 항목에 대해서도 "응답 없음"을 포함하는 재고자산은 폐기할 것을 권고한다.

As shown in Fig. 2 we propose a pragmatic and parsimonious approach to MSA, which incorporates several sequential steps. Despite the fact that the ensuing steps depicted in the figure might seem consecutively ordered, the pragmatic analytical approach, is not linear, but iterative and recursive. A well-known dilemma in data analysis during questionnaire testing is that some respondents do not provide answers to some of the items in a scale, resulting in an incomplete data matrix [26]. Consequently, a few non-systematic missing values might be imputed, e.g., using a two-way imputation or a hot deck imputation, thus replicating values from other respondents with analogous but comprehensive response patterns in order to make full use of the sample. However, we argue and concur with Brodin [6] that missing values in questionnaires should in general not be subject to imputation as the respondent has chosen not to answer. Subsequently, data are not missing as empty cells signify “no response” rather than “missing data”. Further, there is drawback applying imputations in Mokken scaling as discussed by van der Ark and Sijtsma [27] who show, using simulation methods that, while there is little to choose between methods of imputation, all lead to clusters of items that deviate from the original solutions without missing data. Thus, we recommend that inventories containing “no response” to any item should be discarded from the analysis as MSA focuses on the multiple and partial relationship (scalability) between items, and that no collapsing of categories is performed.


소프트웨어

Software for NIRT analysis



MSA의 경험적 적용

Empirical application of MSA


학부 교육 환경을 측정하는 벤치마크 중 하나는 선행 5단계 모델을 중심으로 항목이 할당되는 DREEM이다[38]. DREEM 계측기는 원래 맥락에서 양호한 구성 유효성을 가진 것으로 보고되었지만 [38, 39], 더 최근에, 조사자들은 모델 자체가 개정이 필요할 수 있다고 주장하면서, 척도의 정신측정학적 특성(내부 일관성과 시공 타당성)을 약화시켰다[28, 40–43]. 

One of the benchmarks for measuring the undergraduate educational environment is the Dundee Ready Educational Environment Measure (DREEM), with items allocated around an a priori five-factor model [38]. Although the DREEM instrument was initially reported to have good construct validity in its original contexts [38, 39], more recently, investigators have impugned the psychometric properties—internal consistency and construct validity—of the measure, asserting that the model itself may be in need of revision [28, 40–43]. 


원래의 척도 구조의 재현은 적당히 성공했을 뿐이며, 아마도 계측기의 약점을 나타냈을 것이며, 학술 문헌에 몇 가지 모순되는 증거가 존재한다 [28, 42, 44]. 또한 연구자들은 계측기가 단일 기초 구조를 측정할 수 없었기 때문에 전체 합계 점수를 계산할 때 주의해야 한다고 주장했다[43].

Reproductions of the original scale structure have only been moderately successful, perhaps indicating weaknesses in the instrument, and some contradictory evidence exists in the scholarly literature [28, 42, 44]. Researchers have also advocated caution when calculating the overall sum score as the instrument has been unable to gauge a single underlying construct [43].


세팅 Setting


참가자 Participants


척도 Measure


DREEM은 교육 환경과 직접적인 관련이 있는 다양한 주제와 관련하여 자체 통제되고 폐쇄된 inventory이다. 스웨덴에서 사용하기 위해 번역되었다[28]. DREEM 재고는 50개의 문장으로 구성되어 있으며, 이는 0부터 4까지 단계적으로 점수가 매겨진다.

DREEM is a self-administered, closed-ended inventory relating to a variety of topics of direct relevance to educational environments. It has been translated for use in Sweden [28]. The DREEM inventory comprises 50 statements, which are gradually scored from 0 to 4. 


응답 대안은 0 = 강하게 반대, 1 = 반대, 2 = 확실하지 않음, 3 = 동의, 4 = 강력하게 동의하여 서수 척도를 구성한다. 이것은 종종 리커트 척도로 잘못 또는 잘못 언급된다[45, 46]. 품목은 5개의 항목으로 모인다. 

    • 학습에 대한 학생들의 인식(SPL-12 항목/최대 점수 48) 

    • 가르침에 대한 학생들의 인식(SPT-11 항목/최대 점수 44) 

    • 학생들의 학업 자기 인식(SASP-8 항목/최대 점수 32점) 

    • 학생들의 분위기 인식(SPA-12 항목/최대 점수 48) 

    • 학생들의 사회적 자아 인식(SSSP-7 항목/최대 점수 28).

 

그 악기는 총점 200점이다. 9개 항목은 부정적이어서 역점수를 받는다.

The response alternatives are: 0 = strongly disagree, 1 = disagree, 2 = unsure, 3 = agree, and 4 = strongly agree, thus constituting an ordinal scale. This is often referred to, incorrectly or otherwise [45, 46], as a Likert scale. The items are congregated into five subscales: students’ perceptions of learning (SPL-12 items/maximum score 48), students’ perceptions of teaching (SPT-11 items/maximum score 44), students’ academic self-perceptions (SASP-8 items/maximum score 32), students’ perceptions of atmosphere (SPA-12 items/maximum score 48), and students’ social self-perceptions (SSSP-7 items/maximum score 28). The instrument has an overall score of 200. Nine items are negative statements and are therefore scored in reverse.


통계적 절차

Statistical procedure


결과

Results


설문 응답률

Inventory response rate


5학기 총 278명의 학생 중 222명이 재고를 완료하여 전체 응답률이 80%에 달했다. 응답자는 여학생 169명(76%)과 남학생 53명(24%)이었다. 평균 연령은 24.7세(중위 23세; 사분위간 범위(IQR) 21-26세, 범위 19세 및 52세)이었다.

Of a total population of 278 students from five terms, 222 students completed the inventory, thereby yielding an overall response rate of 80%. The respondents included 169 female (76%) and 53 male (24%) students. The mean age was 24.7 (median 23; interquartile range (IQR) 21–26; range 19 and 52) years.


문항 응답률

Item response rate


참가자 39명(18%)은 50개 항목을 모두 완성하지 못했고, 항목별 무응답자는 1개(0.5%)에서 14개(6.3%)로 나타났다. 항목 6(n = 13, 5.9%)과 18(n = 14, 6.3%)은 내부 무응답 비율이 가장 높았으며, 분석 결과 이러한 누락된 반응은 주로 1, 2항에서의 학생 응답이었다. 이 두 가지 항목을 폐기함으로써 무응답은 1(0.3%)에서 6(1.5%) 사이였다. 가입자의 무응답 빈도(모든 항목 통합)는 SPL: 0.9%; SPT: 14.9%; SASP: 5.9%; SPA: 5.4%; SSSP: 0.5%로 나타났다. 데이터에서 바닥 효과가 관찰되지 않았으며, SPL, SPT, SASP 및 SPA의 경우 0.5 ~ 1.4%의 경미한 천장 효과만 확인되었다. SSSP는 10명의 응답자(4.5%)가 최대치를 기록하는 등 가장 큰 상한 효과를 보였다.

Thirty-nine participants (18%) did not complete all fifty items, and the number of non-responses for each item ranged between 1 (0.5%) and 14 (6.3%). Items 6 (n = 13, 5.9%) and 18 (n = 14, 6.3%) displayed the highest proportion of internal non-responses, and the analysis revealed that these omitted responses were mainly from students in terms 1 and 2. By discarding these two items, the non-responses ranged between 1 (0.3%) and 6 (1.5%). The frequency of non-responses in the subscales (all items incorporated) included SPL: 0.9%; SPT: 14.9%; SASP: 5.9%; SPA: 5.4%; and SSSP: 0.5%. No floor effects were observed in the data, and only minor ceiling effects were identified for SPL, SPT, SASP, and SPA, ranging between 0.5 and 1.4%. SSSP displayed the largest ceiling effect, with 10 respondents (4.5%) scoring the maximum.


확장성평가

Scalability assessment


SPL의 항목 쌍 확장성(Hij)은 0.003 ~ 0.384이었다. 25번 항목은 다른 많은 항목과 함께 확장성이 낮았다. 대부분의 항목이 의도한 차원에 기여하였기 때문에 척도는 적당한 확장성(H= 0.413)을 보였다. 표 1에서 표시한 바와 같이, 2개의 역방향과 25 48개의 항목들은 약하지만 서로 관련되어 있었다(Hij = 0.384). 그림 3에 시각적으로 표시된 것처럼 주요 성별 변화는 관찰되지 않았다.

The item pair scalability (Hij) for SPL ranged from 0.003 to 0.384. Item 25 had a low scalability with many of the other items. The scale showed moderate scalability (H= 0.413), as most of the items contributed to the intended dimension. As indicated in Table 1, two reversed and items (25 48) were weak but related to each other (Hij = 0.384). No major gender variations were observed, as visually displayed in Fig. 3.





모노토니시티와 IIO

Monotonicity and IIO


SPL 하위 척도에서 25항목은 유의하지는 않지만 일부(비판 = 55) 단조성에 대한 위반을 보였다. SPT의 경우, 항목 9와 40은 각각 매우 높은 기준 값을 나타냈다. SASP 하위 척도의 항목 10은 88의 임계값을 나타내므로 단일성 위반을 나타낸다. SPA 하위 척도의 경우, 항목 30은 40의 평균치를 나타냈지만, 이는 유의하지 않았으며, 단일성 위반은 통계적으로 입증할 수 없었다. SSSP 치수에서 항목 46은 높은 기준값의 경향을 보였으나 <40>의 임계값을 넘지 않았다.

In the SPL subscale, item 25 showed some (crit = 55), though not significant, violations against monotonicity. For the SPT, items 9 and 40 displayed very high crit values: crit = 126, and crit = 73, respectively. Item 10 in the SASP subscale exhibited a crit value of 88, thus indicating a violation of monotonicity. For the SPA subscale, item 30 exhibited a crit value of 40, however, this was not significant, and a violation of monotonicity could not be statistically demonstrated. In the SSSP dimension, item 46 exhibited a tendency of high crit values but did not surpass the threshold of > 40.


척도 점수 신뢰성

Scale score reliability


표 2에 나타낸 바와 같이, SPL과 SPA 항목별 호 추정치는 양호했다. SPT 치수에 대한 점수 신뢰성 추정치는 공정했지만 권장 값인 0.70을 초과했다(표 2). 그러나 SASP 및 SSSP 항목별 점수 신뢰도는 낮았다.

As portrayed in Table 2, the rho estimates for the SPL and SPA subscales were good. The score reliability estimates for the SPT dimension were fair but surpassed the recommended value of 0.70 (Table 2). However, the score reliabilities for the SASP and SSSP subscales were low.



탐색적 AISP 

Exploratory AISP


표 3에 제시된 바와 같이 SPL 치수 항목에 대한 탐색적 AISP는 두 개의 척도(H= 0.513과 H= 0.384)를 생성했고, 두 번째 척도는 25와 48의 두 개의 역방향 항목으로 구성되었다. SPL 척도에 대한 탐색적 평가는 3개의 항목별 항목별 항목을 생성했다. 4개 역항목(8개, 39개, 50개) 중 3개 항목에서 공통 척도(H= 0.535)가 발생했고, 나머지 항목(9개)은 확장성이 없었다(표 3). SASP에 속하는 항목의 AISP 파티션은 한 척도(H= 0.412)가 생성되었지만, 항목 5, 10, 31은 비확장 가능(표 3)으로 구분되었다. SPA 차원에 속하는 항목은 두 개의 항목으로 나뉘었는데, 하나는 9개 항목(H= 0.379)을 포함하고 다른 하나는 2개 항목(H= 0.336)만을 구성했다. 역항목 17은 비확장가능항목으로 지정되었다(표 3). SSSP 항목은 두 개의 항목(H= 0.417 및 H= 0.36)으로 분할되었고, 어떤 규모에도 46 항목을 할당할 수 없었다.

As presented in Table 3, an exploratory AISP on the items of the SPL dimension generated two scales (H= 0.513 and H= 0.384), with the second comprising two reversed items: 25 and 48. The exploratory evaluation of the SPL scale generated three subscales. Three of the four reversed items (8, 39, and 50) produced one common scale (H= 0.535), while the remaining item (9) was not scalable (Table 3). The AISP partition of the items belonging to SASP generated one scale (H= 0.412), however, items 5, 10, and 31 were distinguished as unscalable (Table 3). The items belonging to the SPA dimension were divided into two subscales, one containing nine items (H= 0.379) and the other comprising only two items (H= 0.336). Reversed item 17 was designated as unscalable (Table 3). The SSSP items were partitioned into two subscales (H= 0.417 and H= 0.336), with an inability to assign item 46 to any scale.




편견 없는 탐색적 AISP

Unprejudiced exploratory AISP


사전 정의된 5개의 항목별 검색 가능 여부를 조사하고 서로 얼마나 가까운지를 결정하기 위해 전체 DREEM 인벤토리를 편견 없는 탐색 목켄 분석에 노출했다. 이러한 편견 없는 AISP는 매우 관대한 탐색적 분석으로 간주될 수 있으며, 따라서 AISP는 항목 인벤토리 풀에서 스케일 솔루션을 집계하는 것을 금지했다. 분석 결과 50개 항목 모두에 대해 H = 0.264가 생성되어 다차원성을 나타냈다. 표 4에 제시된 바와 같이, c = 0.3 하한에서 AISP를 사용하면 약 6차원의 항목 클러스터링이 밝혀졌다. 항목 대다수가 1차원으로 군집되었고 7개(14%) 항목이 확장 가능하지 않았다(표 4). 

The entire DREEM inventory was exposed to an unprejudiced exploratory Mokken analysis to investigate whether the five predefined subscales could be retrieved and to determine how close they were to each other. This unprejudiced AISP could be regarded as very tolerant exploratory analysis, thus leaving the AISP inhibited to aggregate scale solutions from the item inventory pool. The analysis generated H = 0.264 for all fifty items, indicating multidimensionality. As presented in Table 4, using the AISP at a lower bound of c = 0.3 revealed clustering of items around six dimensions. The majority of items were clustered to the first dimension and seven (14%) items were not scalable (Table 4). 


표 5는 표 4의 확장이며, 임계값의 하한을 사용하여 첫 번째 차원으로부터 할당된 항목을 더 자세히 표시한다. 이 관용 탐색 분석은 하위 경계인 c = 0.4를 증가시킬 때도 수행되었는데, 이 경우 6차원이 산출되었으며, 항목 중 32%가 할당되지 않았다. c = 0.5로 하한을 증가시키면 5차원이 생성되며, 항목 중 44%가 비확장이 가능하다. 유사한 편견 없는 탐색적 분석이 38개 항목으로 수행되었는데, 이는 12개의 문제가 있는 항목을 제거한 결과로 나타났다. 부정적인 관계는 발견되지 않았으며, 38항목 척도는 0.354의 H 값을 생성했다. 4차원은 AISP를 사용하여 생성되었으며, 하한은 0.3, 하한은 2개 항목으로 비확장 가능(결과 보고되지 않음)으로 생성되었다.

Table 5 is an extension of Table 4 and displays in greater detail the assigned items from the first dimension using the threshold’s lower bound. This tolerant exploratory analysis was also performed when increasing the lower bound, c = 0.4, which yielded six dimensions, with 32% of the items unallocated. Increasing the lower bound to c = 0.5 generated five dimensions, with 44% of the items being non-scalable. A similar unprejudiced exploratory analysis was performed with 38 items, resulted from the removal of twelve problematic items. No negative relationships were detected, and the 38-item scale generated an H value of 0.354. Four dimensions were generated using the AISP, with a lower bound of 0.3 and two items as non-scalable (results not reported).







문제항목제거

Removal of problematic items


초기 분석은 몇 가지 도전적인 항목들을 나타냈는데, 이 항목들은 이러한 도전적인 항목들이 제외될 경우 척도가 어떻게 동작할지를 탐구할 것을 요구하였다. SPL 척도에서는 25항목과 48항목을 제거하여 H = 0.513의 확장성을 생성하였고, 한 차원(하한 경계; c = 0.3)의 모든 항목을 포함하였다. 하한을 c = 0.4로 상향 조정했을 때, H = 0.556, 항목 47은 비스케일링으로 평가되었다. 

The initial analysis indicated some challenging items, which called for an exploration of how the scales would behave if these challenging items were excluded. In the SPL scale, items 25 and 48 were removed, generating a scalability of H = 0.513, including all items in one dimension (lower bound; c = 0.3). When the lower bound was raised to c = 0.4, generating H = 0.556, item 47 was appraised as unscalable. 


SPT 척도의 경우 4개 항목(8, 9, 39, 50)을 제거하여 H 값이 0.347이었다. AISP(c = 0.3, 나머지 모든 척도에 사용됨)는 두 가지 치수를 산출했다. H = 0.400(항목 6, 18, 29, 32, 37), H = 0.373(항목 2) 및 40). SASP 하위 척도에서 두 가지 항목(5 및 10)을 제거하여 H = 0.366이 생성되었다. 

For the SPT scale, four items were removed (8, 9, 39, and 50), generating an H value of 0.347. The AISP (c = 0.3, which was used for all remaining scales) yielded two dimensions: H = 0.400 (items 6, 18, 29, 32, and 37), and H = 0.373 (items 2 and 40). Two items (5 and 10) were removed from the SASP subscale, generating H = 0.366. 


AISP는 H = 0.412에서 21, 26, 27, 41, 45개 항목을 포함했으며, 31개 항목은 Hi = 0.275에서 스케일링할 수 없다. SPA 하위 척도와 관련하여 17항목과 35항목을 제거하여 H = 0.343의 확장성 계수를 생성하였다. 2차원이 형성되었다. H = 0.404(항목: 11, 12, 23, 30, 33, 34, 43, 49), H = 0.366(항목 36 및 42). H = 0.311이 발생하면서 SSSP 하위 척도에서 두 항목(4 및 46)이 제거되었다.

The AISP included items 21, 26, 27, 41, and 45 at H = 0.412, with item 31 being unscalable at Hi = 0.275. Regarding the SPA subscale, items 17 and 35 were removed, generating a scalability coefficient of H = 0.343. Two dimensions were formed: H = 0.404 (items: 11, 12, 23, 30, 33, 34, 43, and 49), and H = 0.366 (items 36 and 42). Two items (4 and 46) were removed from the SSSP subscale, engendering H = 0.311.



고찰

Discussion


우리는 MSA와 그 기원의 기초가 비 스토코스틱, 결정론적 Guttman 스케일링 방법이며, 그 진보를 이분법 및 다항목에 대한 분석적 방법이라고 기술했다. MSA의 기본 원칙은 데이터가 모델에 적합한지 여부를 테스트하는 데 MHM과 DMM을 사용하는 방법과 개인 순위를 위한 공통 통합 척도에 기여하는 일련의 항목의 능력을 포함하여 다루어졌다. 왓슨과 동료[15]와 동시에, 우리는 이 논문에서 MSA 방법을 비교적 비수학적이고 비기술적인 방법으로 제시하기 위해 노력했다.

We described the underpinning of MSA and its origin as a non-stochastic, deterministic Guttman scaling method, and its advancement as an analytical method for dichotomous and polytomous items. The fundamental precepts of MSA were addressed, including how MHM and DMM can be used to test whether the data fit the models, as well as the capability of a set of items in contributing toward a common aggregated measure for the ranking of individuals. In concurrence with Watson and colleagues [15], we endeavored in this paper to present the MSA method in a relatively non-mathematical and non-technical way.


MSA의 유용성

Usefulness of MSA


많은 학자들은 MSA가 품목의 확장성과 치수 구조에 대한 상세하고 철저한 분석을 제공할 수 있다고 가정했으며, 우리의 연구 결과는 그러한 조사자들과 일치한다[13, 15, 47]. 우리는 의료 교육 및 의료 교육 연구에서의 태도, 능력, 개인적 특성 또는 의견을 측정하기 위해 설문지, 조사 또는 시험을 이용하거나 구성하면 그러한 측정을 개발하거나 개선할 때 MSA가 유용하다고 생각할 것이라고 주장한다. 모든 척도 분석은 회로적이며, MSA도 예외가 아니다. 그러나 포괄적인 그림을 그리려면 MSA의 반복 프로세스에서 측정 모델의 가정을 평가하고 확장성 및 신뢰성과 같은 품질 지수를 제공하는 것이 중요하다는 Sijtsma와 Van der Arc[47]의 의견에 동의한다. MSA를 사용하여 DREEM 계측기를 탐색하는 실용적이고 파렴치한 접근방식은 항목 응답률 분석에서 큰 우려를 나타내지 않았으며, 항목별 매출도 상당한 바닥이나 천장 효과로 구분되지 않았다. Subscale의 경우, SPL은 적당한 확장성을 보인 반면, SPA의 확장성은 약간 낮았다. 

Many scholars have posited that MSA can offer a detailed and exhaustive analysis of the scalability and dimensionality structure of items, and our findings correspond with those investigators [13, 15, 47]. We argue that anyone who uses or constructs questionnaires, surveys, or tests for measuring attitudes, abilities, personal traits, or opinions in medical education and medical education research will find MSA useful when developing or improving such measurements. Any scale analysis is circuitous, and MSA is no exception. However, we agree with Sijtsma and van der Ark [47] that to portray a comprehensive picture, it is important in the iterative process of MSA to endeavor to assess the assumptions of measurement models as well as to provide quality indices such as scalability and reliability. Our advocated pragmatic and parsimonious approach of using MSA to explore the DREEM instrument revealed no major concerns in the analysis of the item response rate, and neither were the subscales demarcated by considerable floor or ceiling effects. With regard to the subscales, SPL showed moderate scalability, while the scalability for SPA was weak to marginally moderate. 


그러나 SPT, SASP, SSSP는 매우 약한 확장성을 보였다. 확장성에서 큰 성별 차이는 발견되지 않았다. 항목별로 배분된 역방향 항목은 확장성 문제를 나타냈다. 사전 모집단은 탐색적 AISP에 의해 지원될 수 없었으며, 따라서 분리되지 않은 SASP를 제외하고 목켄 척도 2개 또는 3개의 분할이 이루어졌다. SASP와 SSSP는 0.70 미만의 호 값을 보였다. 편견 없는 탐색적 AISP 분석의 결과는 5개 항목들이 실제로 매우 가깝고, "나쁜" 항목들이 차원성을 모호하게 하며, 이러한 항목들이 5개 항목들 중 하나 이상에 할당될 수 있다는 것을 보여준다. 

However, SPT, SASP, and SSSP exhibited very weak scalability. No major gender differences in scalability were detected. The reversed items allocated to the subscales presented scalability problems. The a priori subscales could not be supported by an explorative AISP, thus resulting in the partitioning of two or three Mokken scales, with the exception of SASP which was not separated. SASP and SSSP displayed rho values under 0.70. The results from the unprejudiced exploratory AISP analysis indicate that the five subscales are indeed very close, that “bad” items obscure dimensionality, and that these items can be allocated to more than one of the five subscales


항목에서 문제가 있는 항목을 제거하면 H 확장성 추정치가 증가하며 SSSP를 제외한 모든 항목에서 임계값을 초과하는 rho가 생성된다. 결론적으로, 우리의 연구결과는 CTT와 PIRT 방법을 사용함으로써 DREEM의 심리측정적 특성을 조사한 다른 학문적 연구의 결과와 일치하는 것으로 보이며, 따라서 DREEM 도구가 경험적 데이터에 의해 적절하게 지지되지 않음을 시사한다[28, 42, 43].

The removal of problematic items from the subscales increased the H scalability estimate and generated a rho that surpassed the threshold for all subscales except SSSP. Conclusively, our findings seem to be congruent with those of other scholarly studies that have investigated the psychometric properties of DREEM by employing the CTT and PIRT methods, thus suggesting that the instrument is not adequately supported by empirical data [28, 42, 43].


단, 본 논문은 비모수 IRT 모델로서 MSA의 사용과 유용성에 초점을 맞추고 있으며, DREEM 도구는 단순히 예제로 사용된다는 점을 강조해야 한다. 그러므로 고프만의 극적 관점[48]의 작업을 이용하여 우리의 경험적 결과를 무대 뒤의 관점에서 보아야 한다; 로버트 목켄[14]에 의해 제안된 분석적 기법은 관심의 현상으로 앞단계를 보아야 한다. 따라서 독자들은 자신의 계기 및 문맥에 대한 NIRT 모델의 유용성에 대해 스스로 판단한다. 

However, it must be highlighted that this paper focuses on the usage and the usefulness of MSA as a non-parametric IRT model, and the DREEM tool is simply used as an example. Thus, using the work of Goffman’s dramaturgical perspectives [48], our empirical results should be viewed from a backstage perspective; the analytical technique proposed by Robert Mokken [14]is the phenomenon of interest and ought to be viewed front stage. Readers will therefore make their own judgments about the usefulness of NIRT models for their own instruments and in their own context. 


MSA의 강도 및 한계

Strengths and limitations of MSA


MSA는 설문지 항목의 확장성과 차원 구조를 철저히 탐구한다. MSA와 같은 NIRT 모델은 설문지의 가장 기본적인 특성을 즉각적으로 드러내는 매우 좋은 첫 번째 단계라고 가정했다[6]. 확장성에 대한 하한선 c를 점진적으로 증가시켜 데이터 구조에 대한 더 강력한 요건을 취함으로써, MSA는 척도를 형성하는 대안적인 방법을 제공할 수 있다[21]. 하한선이 증가하는 클러스터 결과의 패턴을 검토하면 확장성과 차원성의 가장 적절한 결론에 대한 풍부한 정보를 수용할 수 있다.

MSA offers a thorough exploration of the scalability and dimensionality structure of questionnaire items. It has been posited that NIRT models such as MSA are a very good first step in immediately revealing the most basic characteristics of a questionnaire [6]. By gradually increasing the lower bound c for scalability and thus engaging stronger requirements on the structure of data, MSA can offer alternative ways of forming scales [21]. Reviewing the pattern of cluster outcomes with increasing lower bounds accommodates rich information on the most apt conclusion of scalability and dimensionality.


MSA는 CTT보다 몇 가지 중요한 이점을 가지고 있다. 

MSA has some important advantages over CTT: 


1) CTT에서 도출한 측정 모델은 설문지의 모든 항목이 동일하게 인기가 있다는popular 비현실적인 가정을 기본적으로 가지고 있다. 이 가정이 위반되면 하나의 잠재 변수를 측정하기 위해 항목이 충분히 균질하지 않은 것으로 보이는 아티팩트가 발생할 수 있다. 따라서 품목에 대한 MSA 모델 매개변수 또한 품목의 인기가 다양하고 분석은 모델 적합성에 대한 철저한 강조에 있음을 명확히 인식한다.

1) measurement models derived from CTT have an underlying nonrealistic assumption that all items in a questionnaire are equally popular. When this assumption is violated, an artifact can arise whereby items appear not to be abundantly homogeneous to measure a single latent variable. Thus, the MSA model parameters for items also unambiguously recognize that the items vary in popularity and that the analysis lies in the thorough emphasis on model fit. 


2) IRF 슬로프는 음이 아니어야 한다[49]. 따라서 모든 Hij 계수(결과적으로 모든 쌍의 관계)는 긍정적으로 연관되어야 하며, 항목은 다른 항목과 적절하게 균일해야 한다. Van Schuur[9]가 지적했듯이, 이러한 제약조건은 기존의 CTT 신뢰성 분석으로 관측된 기기보다 더 설득력 있는 신뢰성과 동질성 기준에 부합하는 기기를 수집할 수 있다. 

2) The IRF slopes need to be non-negative [49]. Thus, all Hij coefficients (consequently, all pairwise relationships) should be positively associated, and items must be appropriately homogeneous with other items. As van Schuur [9] points out, these constraints can harvest instruments that coincide and conform to more persuasive standards of reliability and homogeneity than instruments introspected with conventional CTT reliability analysis. 


3) MSA의 "상향" 클러스터링 기법은, 특히 프로젝트의 탐색 단계와 계측기 개발 중에 동일 항목의 최대 서브셋을 식별하는 데 매우 실용적이며, 새로운 추정 잠재 변수를 식별하는 데 도움이 될 수 있다[9]. 

3) MSA’s “bottom up” clustering technique, which identifies a maximal subset of homogeneous items, is highly practical, especially in explorative phases of a project and during instrument development, and can help identify new presumptive latent variables [9]. 


4) MSA는 소규모 설문지 연구 및 소수의 항목[6, 50]에 효과적으로 사용할 수 있는 IRT 모델이다Molenaar [50]은 항목 수가 상대적으로 적을 때 MSA에서 도출한 연구 결과와 보다 엄격한 Rasch 모델링이 기본적으로 동일한 결과를 생성하는 경우가 많다는 것을 관찰했다. 

4) MSA is an IRT model that can efficaciously be used for small questionnaire studies and instruments with a small numbers of items [6, 50]. Molenaar [50] has observed that when the number of items is comparatively small, the findings derived from MSA and the more stringent Rasch modeling often generate basically the same results. 


5) MSA와 비모수 IRT 모델은 IRF 규격과 관련하여 Guttman의 원래 누적 모델과는 다른 추가 NIRT 모델의 발전을 위한 토대를 마련하였다[9, 51].

5) MSA and its non-parametric IRT models have laid the groundwork for advances of further NIRT models that are different from Guttman’s original cumulative model regarding the specification of their IRF [9, 51].




우리는 또한 MSA가 Rasch 모델과 같은 파라메트릭 IRT 모델에도 약간의 지렛대를 가지고 있다는 것을 더욱 강조하고 싶다. 

      • 첫째, NIRT 모델은 데이터에 대한 중요한 측정 특성을 대부분의 다른 파라미터 IRT 모델보다 유지하면서 덜 제한적인 가정을 사용한다[51]. 

      • 둘째, MSA는 매개변수 IRT 모델에서 쉽게 평가되지 않는 탐색적 차원 분석을 위한 귀중한 도구를 제공한다. 

We also want to further accentuate that MSA also has some leverage over parametric IRT models such as the Rasch model. 

      • First, NIRT models employ less restrictive assumptions while still maintaining important measurement properties about the data than most other, often parametric, IRT models [51]. 

      • Second, MSA offers valuable tools for exploratory dimensionality analysis that are not easily evaluated in parametric IRT models. 


MSA에 대한 몇 가지 일반적인 단점도 있다. 그것은 다른 IRT 방법보다 훨씬 덜 사용된다. 한 가지 이유는 IRF가 파라메트릭적으로 구분되지 않기 때문에 IRT에서 나오는 개인 매개변수는 MSA에서 추정할 수 없기 때문이다[8]. 또한, MSA는 확장성 조사에 적합하지만, 차원성 평가 방법으로서 제한된 가치를 지닌다고 보고되었다[52]. 로스캄 외 [53] 또한 MSA에서 사용되는 스케일링 절차가 모호한 결과를 산출하는지 의문을 제기하였다. 또한 MSA 탐색 항목 선택 절차를 사용하여 항목을 척도로 분할하는 것의 한 가지 단점은 절차가 비 오버래핑을 요구한다는 것이다. 즉, 항목이 한 척도로만 나타난다는 것을 의미한다[54].

There are also some general drawbacks with MSA. It is much less commonly used than other IRT methods. One reason is that because the IRF is not demarcated parametrically, the person parameters that come out of the IRT cannot be estimated in MSA [8]. It has also been reported that MSA is suitable for investigating scalability but that it is of limited value as a dimensionality assessment method [52]. Roskam et al. [53] have also questioned whether the scaling procedures used in MSA yields ambiguous results. It has also been noted that one disadvantage of using the MSA exploratory item selection procedures to partition items into scales is that the procedure requires scales to be non-overlapping—meaning that items only appear in one scale [54].


실증적 경험

Empirical experiences


우리의 경험적 연구도 해석을 위해 고려해야 할 몇 가지 한계를 제시한다. 두 가지 주요 한계는 상대적으로 적은 수의 학생들과 이 연구가 하나의 맥락에서 수행되었다는 사실에 있다. 스트라트 외 [55]에서는 MSA가 표본 크기가 다소 작은 단차원 척도를 검출할 수 있으며, 항목 품질이 높으면 응답자 250명을, 품목 품질이 낮을 경우 표본 크기가 상당히 큰 것을 권장할 수 있음을 강조하였다. 또한, 적용되는 비확률 표본 추출법이 샘플링 편향으로 이어져 결과를 훼손했을 수 있다. 이러한 잠재적인 편견은 또한 그 데이터가 수업 중과 온라인 모두에서 나중에 수집된 결과일 수 있다. 

Our empirical study also presents some limitations that need to be considered for interpretation. Two major limitations lie in the relatively small number of students and the fact that the study was undertaken in a single context. Straat et al. [55] have highlighted that MSA can detect unidimensional scales with rather small sample sizes and recommend > 250 respondents, if item quality is high, and considerably larger samples if item quality is low. Further, the non-probability sampling method applied may have led to sampling bias, which may have compromised the results. This potential bias may also have been a result of that data was collected both in class and online at a later point in time. 


좁게 초점을 맞춘 교육 조치와 본 연구에서 실생활 데이터의 발견의 맥락적 영향을 고려하면, 스웨덴의 전통적인 의과대학의 물리치료 학생 이상으로 일반화하는 것은 적절한 표본 크기와 징계 맥락의 특이성에 의해 제한된다. 그러나 논문에서 우리의 의도는 비모수 항목 대응 이론의 강력한 방법인 MSA의 기본을 제시하고, 의료 교육 연구의 학자들이 설문지 데이터를 탐구하기 위한 실행 가능한 접근법과 실행 가능한 도구를 제공하는 것이었다.

Considering the narrowly focused educational measure and the contextual influence of the findings of the real-life data in this study, generalizing beyond physiotherapy students in a traditional Swedish medical university is restricted by the moderate sample size and the singularity of the disciplinary context. However, our intention in the paper was to present the basics of MSA, a powerful method of non-parametric item response theory, and to provide a viable approach and a feasible tool for scholars in medical education research to explore questionnaire data.


결과적으로, 경험적 연구는 실용적 접근법을 취했고 첫 번째 시련 단계로서 확장성과 차원성을 이용하여 MSA를 채택했다. 그러나 MHM 및 DMM 모델의 기본 가정 위반에 대해서는 충분히 조사하지 않았다. 따라서, 단조로운 것과 IIO에 대한 우리의 분석은 완전히 포괄적인 것은 아니었다. Meijer와 Egberink[56]에서 설명한 바와 같이, HT에 의한 IIO 분석과 플롯된 항목 쌍에 대한 육안 검사를 바탕으로, 일부 "아웃" 항목(예: 항목 9와 36)이 IIO의 강도에 대해 오도된 인상을 줄 수 있다는 점을 고려할 가치가 있다.

Consequently, the empirical study took a pragmatic approach and employed MSA by means of scalability and dimensionality as a first parsimonious step. However, it did not fully investigate violations of the underlying assumptions of the MHM and DMM models. Thus, our analysis of monotonicity and IIO was not entirely comprehensive. As described by Meijer and Egberink [56], it is worth considering that based on our IIO analysis by means of HT and the visual inspection of plotted item pairs, some “outlying” items—for example, items 9 and 36—may be giving a misleading impression of the strength of IIO. 


이러한 항목은 제거가 측정하고자 하는 기초구조의 표현에 해가 될 수 있으므로 현재 분석에서 유지되었다. NIRT 모델의 기본 가정의 일부 특징은 Rasch 모델과 같은 파라메트릭 모델에서 더 쉽게 조사할 수 있다고 주장할 수 있다. 그러나 많은 설문지와 조사(예: DREEM)의 경우, 기초적인 잠재 특성을 포착하기 위해 특정 모델에 항목을 맞추는 것은 건설자의 의도가 아닌 경우가 많다. 

These items have been retained in the present analysis as their removal might have been detrimental to the representation of the underlying constructs that they sought to measure. It can be argued that some features of the underlying assumptions of the NIRT model might be more easily investigated in a parametric model such as the Rasch model. However, in the case of many questionnaires and surveys (e.g., the DREEM), it is often not the intention of constructors to fit items to a particular model, in order to capture an underlying latent trait. 


마지막으로, 우리의 실용적인 접근방식에서, 우리는 추정된 확장성 계수의 불확실성을 제시하는 것을 자제했다. 그러나 표준 오차는 Hi의 경우 0.030–0.060, H의 경우 0.025–0.030 범위에 있었다. Hi의 상한선은 반전된 항목에 대해 두드러지게 나타났다.

Lastly, in our pragmatic approach, we refrained from presenting the uncertainty of the estimated scalability coefficients. However, the standard errors were in the range of 0.030–0.060 for Hi and 0.025–0.030 for H. The upper range for Hi was conspicuously evident regarding the reversed items.



미래 관점

Future perspectives


MSA는 비모수적 접근법[6] 중 하나를 사용해 응답 수준이 명령된 항목을 사용하여 설문지 데이터를 평가하기 위한 적절한 예비 단계라고 가정했다. 단, (Ulf Brodin)의 현재 연구 저자는 소규모 설문지 데이터를 분석하기 위한 3단계 IRT 전략을 가지고 있다[6]. 

    • 첫째, 비모수적 접근방식으로 평가하기 위해, 항목 집합은 이 연구에서 수행된 것과 같이 공통의 통합 측정에 협력할 수 있어야 한다. 

    • 또한, 재료의 2차 단계는 파라메트릭 모델(예: Rasch 모델링)에 데이터를 사용하는 것이다. 

    • 마지막으로, 세 번째 단계는 필요한 경우 보다 확장된 모델을 사용하는 것이다. 

It has been postulated that MSA is a suitable preliminary step toward evaluating questionnaire data using items with an ordered response level by means of a one of the non-parametric approach [6]. However, present study authors of the (Ulf Brodin) posits a three-step IRT strategy to analyze small-scale questionnaire data [6]. 

    • First, to evaluate by means of a be non-parametric approach, the set of items must capable of cooperating with a common aggregated measure, as performed in this study. 

    • Further, the secondary step of our material would be to employ the data to a parametric model (e.g., Rasch modelling). 

    • Lastly, a third step would be to use a more extended model if required. 



따라서 논리적 2차 단계와 미래의 관점은 파라메트릭 IRT 모델에 데이터를 채택하거나 IRT 정신계 프레임워크의 강도를 보다 확립된 CTT 프레임워크와 결합하는 것이다. 우리는 의학 교육 및 응용 연구의 학자들이 비모수 IRT 모델을 데이터에 적용하여 그 결과를 더 잘 이해할 수 있도록 고려할 것을 권고한다.

Thus, a logical secondary step and future perspective would be to employ the data to a parametric IRT model and/or to combine the strength of the IRT psychometric framework with the more established CTT framework. We recommend that scholars in medical education and applied research consider applying non-parametric IRT models to data so as to further understand their ramifications.




Conclusion







 2018 Oct 11;18(1):235. doi: 10.1186/s12909-018-1334-8.

Investigating psychometric properties and dimensional structure of an educational environmentmeasure (DREEM) using Mokken scale analysis - a pragmatic approach.

Author information

1
Department of Learning, Informatics, Management and Ethics, Karolinska Institutet, SE-171 77, Stockholm, Sweden. per.palmgren@ki.se.
2
Department of Learning, Informatics, Management and Ethics, Karolinska Institutet, SE-171 77, Stockholm, Sweden.
3
Department of Neurobiology, Care Sciences and Society, Karolinska Institutet, Stockholm, Sweden.
4
Faculty of Health & Sciences, University of Hull, Hull, England, UK.

Abstract

BACKGROUND:

Questionnaires and surveys are used throughout medical education. Nevertheless, measuring psychological attributes such as perceptions of a phenomenon among individuals may be difficult. The aim of this paper is to introduce the basic principles of Mokken scaleanalysis (MSA) as a method for the analysis of questionnaire data and to empirically apply MSA to a real-data example.

METHODS:

MSA provides a set of statistical tools for exploring the relationship between items and latent traits. MSA is a scaling method of item selection algorithms used to partition an array of items into scales. It employs various methods to probe the assumptions of two nonparametric item response theory models: the monotone homogeneity model and the double monotonicity model. The background and theoretical framework underlying MSA are outlined in the paper. MSA for polytomous items was applied to a real-life data example of 222 undergraduate students who had completed a 50-item self-administered inventory measuring the educational environment, the Dundee Ready Educational Measure (DREEM).

RESULTS:

pragmatic and parsimonious approach to exploring questionnaires and surveys from an item response theory (IRT) perspective is outlined. The use of MSA to explore the psychometric properties of the Swedish version of the DREEM failed to yield strong support for the scalability and dimensional structure of the instrument.

CONCLUSIONS:

MSA, a class of simple nonparametric IRT models - for which estimates can be easily obtained and whose fit to data is relatively easily investigated - was introduced, presented, and tested. Our real-data example suggests that the psychometric properties of DREEM are not adequately supported. Thus, the empirical application depicted a potential and feasible approach whereby MSA could be used as a valuable method for exploring the behavior of scaled items in response to varying levels of a latent trait in medical education research.

KEYWORDS:

Dundee ready educational environment measure; Education; Educational measurement; Item response theory; Mokken scaling; Psychometrics; Undergraduate; Validity

PMID:
 
30305143
 
PMCID:
 
PMC6180497
 
DOI:
 
10.1186/s12909-018-1334-8


'타고났다'는 가정에 도전하기 - 모든 것을 확인하라 (Med Educ, 2019)

Challenging assumptions of innateness – leave nothing unturned

Jason J Han1 & Neha Vapiwala2



개인이 어떤 근본적인 능력이나 직관을 가지고 있다고 가정하는 것이 여러 학계에서 한때 보편화되었다(예: 경제학 및 사회과학 분야의 합리성 가정). 그러나 복잡한 기계로서 인간의 뇌는 체계적인 오류에 취약하다.

It was once common in various academic fields to assume that individuals possess certain fundamental abilities or intuitions (e.g. the assumption of rationality in the fields of economics and social sciences).1 However, the human brain as complex machinery is vulnerable to systematic errors.


Daniel Kahneman과 Amos Tversky는 이것을 두 가지 처리 메커니즘의 공동 존재 탓으로 돌렸다.2 그들은 

  • 첫 번째, 적절한 이름을 가진 시스템 1을 빠르고, 자동적이고, 직관적이며, 무의식적인 접근법

  • 번째(시스템 2)를 더 느리고, 더 고의적이고, 분석적이고, 의식적인 접근방식이라고 묘사했다.

Daniel Kahneman and Amos Tversky, attributed this to the co- existence of two processing mechanisms.2 They described the first, aptly named System 1, as the fast, automatic, intuitive, unconscious approach and the second (System 2) as the slower, more deliberate, analytical and conscious mode.


이 분류의 목적은 계층을 할당하는 것이 아니라, 두 시스템 모두 직무에 따라 각각의 장단점이 있음을 인정하는 것이었다. 

  • 시스템 1은 효율적이지만 오류가 발생하기 쉽다. 

  • 시스템 2는 더 철저하지만 더 많은 자원을 필요로 하며 작업 메모리와 주의를 빠르게 고갈시켜 오류를 일으키기 쉽다.

The purpose of this categorisation was not to assign a hierarchy, but rather to acknowledge that both systems have their respective pros and cons depending on the task. 

  • System 1 is efficient but more error-prone. 

  • System 2 is more thorough but requires greater resources and quickly drains our working memory and attention, thereby making it too susceptible to error.


편중성 또는 좌우식별(LRD)하는 우리의 능력. LRD의 오류는 잘못된 진단과 개입, 그리고 궁극적으로 환자의 위해를 초래할 수 있기 때문에 이러한 능력은 의학에서 특히 중요하다.

our ability to discern laterality or left–right discrimination (LRD). This ability is particularly critical in medicine, as errors in LRD can lead to wrong diagnoses and interventions, and ultimately patient harm.


LRD는 흔히 인간발달 초기 단계에서 선천적이거나 획득된 것으로 가정되지만, 실제로는 LRD는 여성의 17%, 남성의 9%가 어려움을 보고한 복잡한 신경심리학적 과정이다.3 의대생들은 이 도전으로부터 면제되지 않는다. 한 연구에서, 대부분의 학생들이 객관적 LRD 시험에서 77% 미만의 점수를 받았다.4

although LRD is often assumed to be innate or acquired during early stages of human development, in reality LRD is a complex neuropsychological process with which 17% of women and 9% of men have reported difficulty.3 Medical students are not exempt from this challenge. In one study, a majority of students scored less than 77% on an objective LRD test.4


이러한 연구결과는 의학 교육계에 중요한 의미를 가지며, 이는 LRD가 선천적인 인간의 기술이라는 가정을 뒤집고 교과과정에 있어서의 편중성 교육의 중요성을 높일 필요성을 시사한다.5

these findings have important implications for the medical education community, suggesting the need to overthrow assumptions that LRD is an innate human skill and to raise the importance of laterality training in the curriculum.5


우리가 선천적이거나 직관적이거나 쉬운 것으로 가정하는 다른 것은 무엇이 있는가?

What else are we assuming is easy, innate or intuitive?


더 나아가, 우리는 [개인의 인지적 편견을 인식]하거나 [공감과 명확한 소통 같은 '소프트' 기술을 개발할 수 있는 능력]등의 다른 역량에도 동일한 질문을 적용할 수 있었다. 우리가 효과적으로 그리고 전문적으로 나쁜 소식을 깼다고 가정하고, 실수를 폭로하거나, 정보에 입각한 동의를 얻었다고 가정하는 것은 의심의 여지가 없는 상황이지만, 환자의 눈에는 우리의 수행능력이 부족하게 보이는 상황이 있다.

Extrapolating further, we could apply the same line of questioning to other competencies in medical education, such as our ability to recognise personal cognitive biases or develop ‘soft’ skills such as empathy and clarity of communication. There are undoubtedly circumstances in which we assume we effectively and expertly broke bad news, disclosed error or obtained informed consent, but in the eyes of the patient our performance was lacking.


의학 교육에서 [선천성에 대한 암묵적인 가정]은 배제되어서는 안 된다. 여기에는 LRD뿐만 아니라 커뮤니케이션, 공감, 청렴과 같은 다른 기술도 포함된다.

No tacit assumption of innateness should go unchecked in medical education. This includes LRD but also other skills such as communication, empathy and integrity.


마지막으로 [무엇인가가 선천적으로 타고나는 것이라는 가정]을 버려야만 자신의 능력에 대한 중요한 통찰력을 얻고 창의적인 해결책을 내놓을 수 있다.

Lastly, only when we discard assumptions of innateness, can we begin to gain important insights into our own abilities and come up with creative solutions.


이 연구의 세 가지 중요한 통찰력은 이 노력에 중요하다. 

  • 첫째는 아무리 직관적으로 보일지라도 현실은 항상 더 분산되어 있다는 것이다. 많은 사람들이 LRD를 기본적인 읽고 쓰는 능력만큼 의과대학에서 입학해야 하는 필수 조건이라고 생각하겠지만, 다양한 연구들은 이제 이러한 가정과 모순되어 오류를 줄일 수 있는 가능성을 가진 새로운 연구 분야를 만들어낸다.

Three critical insights from this study are important to this endeavour. The first is that no matter how intuitive a skill may seem, the reality is always more distributed. Although LRD would be considered by many to be as much of a prerequisite to matriculating in medical school as basic literacy, various studies now contradict this assumption, thus giving rise to a new field of study with the potential to reduce errors.


  • 둘째로, 선천성을 의심함으로써 사람이 스스로 인식한 능력과 실제 능력 사이의 차이를 완화시킬 수 있다. 더닝 크루거 효과에 따르면, 사람들은 자신의 능력을 평균보다 더 나은 것으로 과대평가하는 경향이 있다.8

Secondly, challenging assumptions of innateness can mitigate the gap between people’s perceived abilities and actual abilities. According to the Dunning-Kruger effect, people tend to overestimate their own abilities as being better than average.8


흥미롭게도, 그들의 실적이 나쁠수록, 과대평가 정도가 더 높다. 이러한 편견으로부터 보호되고, 사실 자신의 능력을 과소평가한 유일한 집단은 [최고수준의 4중주단]이었는데, 이는 그 주제를 잘 알고 있는 사람들 역시 더 자기 인식적인 사람들이었음을 암시한다.

Interestingly, the worse their performance, the higher the degree of overestimation. The only group that was protected fromthis bias, and in fact underestimated their ability, was the top-performing quartile, suggesting that those who knew the subject well were also more self-aware.


더닝-크루거 효과의 심리적 메커니즘은 자기중심적으로 유리한 방식으로 증거를 선택하거나 해석하려는 우리의 경향과 같은 다요소적인 것으로 생각된다. 다른 사람들은 우리가 체계적으로 비교의 낮은 점들을 선택하는 경향이 있다고 제안했다.

The psychological mechanism of the Dunning-Kruger effect is believed to be multifactorial, such as our tendency to select for or to interpret evidence in an egocentrically favourable manner (‘egocentrism’). Others have suggested that we tend to systematically choose inferior points of comparison (‘selective recruitment’).


  • 세 번째 통찰은 도전적인 선천성이 탈-낙인, 적응, 강력한 문제 해결로 이어질 수 있다는 것이다. 저자들이 밝힌 바와 같이, 자동적으로 편중성을 결정할 수 없었던 학생들은 다양한 적응 전략의 개발을 보고했다. 여기에는 자신의 몸에 단서(예: 시계 착용)를 사용하여 laterality을 결정하고 다른 맥락에 project하는 것뿐만 아니라 '안전망'을 사용하여 오류가 발생하지 않았는지 반복적으로 작업을 점검하는 것도 포함된다.

The third insight is that challenging innateness can lead to de-stigmatisation, adaptation and robust problem solving. As the authors reveal, students who could not automatically determine laterality reported development of various adaptive strategies. These include using cues on their own bodies (e.g. wearing a watch) to determine laterality and projecting it to other contexts, as well as ‘safety netting’, checking their work repeatedly to ensure no error has been made.


LRD를 2진법 또는 고정된 기술로 간주하는 대신, 그들은 LRD를 신중하게 연습하면 개선할 수 있는 플라스틱으로 간주하기 시작한다. 이러한 성장 지향적인 사고방식은 단지 [자신의 부족함을 인식한 사람만을 돕는 것]에서 [모든 사람들이 현재의 단점을 더 자각하고 그것들을 극복하기 위해 노력하도록 격려하는 것]으로 네러티브의 변화를 가져온다.

Instead of regarding LRD as a binary or fixed skill level, they begin to regard it as plastic, something that can be improved with deliberate practice. This growth-oriented mindset changes the narrative from only helping those with a perceived deficit to encouraging everyone to become more self-aware of current shortcomings and work towards overcoming them.


의학에는 직관적이라고 가정하는 다른 많은 기술들이 있지만, 실제로는 더 분산된 스펙트럼에 존재한다. Dunning-Kruger 효과에 따라 이러한 영역에서 인식된 능력과 실제 능력 사이에는 상당한 차이가 있을 수 있다. 우리는 이러한 기술들을 선천적인 것이 아니라 가변적인 것malleable으로 보는 데 힘써야 한다. 그래서 우리는 [deficit의 낙인]을 제거하고 전반적인 성과를 증대시키기 위한 보다 창의적이고 의도적인 전략을 장려할 수 있다.

There are many other skills in medicine that are assumed to be intuitive, but in reality, exist on a more distributed spectrum. There may be significant gaps between perceived and actual abilities in these domains according to the Dunning-Kruger effect. We must work towards viewing these skills as malleable, not innate, so that we can destigmatise the deficit and encourage more creative and deliberate strategies to augment overall performance.





 2019 May;53(5):423-425. doi: 10.1111/medu.13824. Epub 2019 Mar 3.

Challenging assumptions of innateness - leave nothing unturned.

Author information

1
Division of Cardiovascular Surgery, Department of Surgery, University of Pennsylvania, Philadelphia, Pennsylvania, USA.
2
Division of Radiation Oncology, Perelman School of Medicine, University of Pennsylvania, Philadelphia, Pennsylvania, USA.
PMID:
 
30828859
 
DOI:
 
10.1111/medu.13824


의과대학 교수의 스트레스/소진을 교육과정 변화 의지와 연결짓기(J Eval Clin Pract, 2016)

Linking medical faculty stress/burnout to willingness to implement medical school curriculum change: a preliminary investigation

Zeinab Arvandi MSc,1 Amirhossein Emami MD,2 Nazila Zarghi PhD Candidate in Medical Education,3,*

Seyed Mohammad Alavinia PhD, MD,4† Mandana Shirazi PhD5,6 and Sagar V. Parikh MD7‡





도입

Introduction


탈진 증후군은 내부 및 심리학적 요인과 관련이 있다[1].

the burnout syndrome is associated with internal and inter-psychological factors [1].


현재, 다양한 건강 전문가 그룹들이 다양한 방법으로 연구되고 있다. 

  • Maslach 테스트와 같은 가능한 방법들은 단지 전문가들 사이에서 높은 수준의 스트레스과 직업적인 번아웃에 의해 야기된 개인의 기능의 변화를 연구할 수 있다. 

  • 하지만 Cloninger의 테스트는 심리적인 성격 이론에 기초한다. 클로닝거의 시험 이론적 토대를 바탕으로 한 '성격 구조는 기질과 인성의 두 가지 기본 영역으로 구성되어 있다'[2].

Presently, a variety of health professional groups have been studied with various measures. The available methods such as the Maslach test could just study changes in the individuals’ functioning caused by high level of distress and professional burnout among specialists; however, Cloninger’s test is based on psychological theory of personality. Based on Cloninger’s test-theoretical foundation, ‘the personality structure is composed of two basic domains of temperament and character’ [2].


몇몇 연구는 높은 수준의 스트레스로 인해 직업 만족도가 떨어지고 정신 건강의 위험이 높다는 것을 보여주었다[3]. Stoyanov 외 연구진(2013년)은 또한 번아웃 증후군의 임상적 징후가 우울증과 불안장애에 대한 척도와 일치한다는 것을 확인하였다. 또한 초기 단계 탈진 증후군의 존재를 나타낼 수 있다고 언급했다[4].

Several studies have shown less job satisfaction and high risk of mental health because of higher level of stress [3]. Stoyanov et al. (2013) also confirmed that clinical manifestations of burnout syndrome are consistent with measures for depression and anxiety disorder; they also mentioned that it could indicate to presence of initial stages burnout syndrome, namely flame out [4].


그 과정의 첫 두 단계 - 플레임아웃(즉, 헛된 노력의 스트레스)과 번아웃(즉, 지치고 사기가 저하됨)이다. 소진 과정의 이 초기 기간은 그러한 취약한 의료 전문가 그룹에서 작업자의 심리적 잠재력을 보존하고 회복하기 위해 개입 수단을 식별하는 것이 바람직하다. 

  • 초기 단계에서는 전문적 "번아웃"의 현상학이 정신-감정적 스트레스의 증상과 구별하는 것이 어렵지 않은 반면, 

  • 후기에는 ('러스트아웃'이라는 용어로 설명됨) 그 위해성이 향후 작업에도 도움이 될 수 있다고 생각되기 때문에 심리적인 개입으로 인한 이득이 적을 수 있다[6].

the first two stages of the process – flame-out (i.e. stress of futile effort) and burnout (i.e. exhaustion and demoralization). This early period in the burning process is propitious to identify means of intervention for the sake of preservation and recovery of the psychological potential of the workers in such vulnerable groups of medical specialists. At an earlier stage, the phenomenology of professional “burning” is not difficult to differentiate from the symptoms of psycho emotional stress, whereas at a later stage (described by the term ‘rust out’), there may be less benefit from psychological interventions as the harm is thought to be might also be helpful in future work’ [6].


자료와 방법

Materials and Methods


참가자와 절차

Participants and procedures



측정

Measurements


변화 단계 측정

Measuring stages of change


변화 단계(SOC) 이론은 개인의 행동 변화와 촉진에 대해 고찰한다. Prochaska 관점에 기초해, SOC는 

    • 사전 고민, 

    • 사색, 

    • 행동 준비, 

    • 근의 변화 

    • 유지

...의 다섯 단계로 구성된다[7]. 

The stages of change (SOC) theory looks at the change and promotion of individual behaviour. Based on the Prochaska point of view, the SOC consists of five stages: pre-contemplation, contemplation, preparation for action, recent change and maintenance [7]. 


이 모델은 개인은 변화에 대해 서로 다른 준비도 단계에 있으며, 효과적인 개입은 특정 단계에 적응하고 상위 단계로 이동을 지원하여 행동 변화를 촉진해야 한다고 가정한다. 모델은 중독성 행동의 치료와 건강 증진 등과 같은 건강 행동 맥락에서 가장 일반적으로 적용되었다[8–10].

The model postulates that individuals are at different stages of readiness to change and that effective interventions should adjust to the stages and assist movements to higher stages, thus promoting behavioural change. The model has been applied most commonly in health behaviour contexts, such as treatment of addictive behaviour, and health promotion [8–10].


수정된 Prochaska 모델은 연구 이전 훈련 프로그램에 관련된 건강 전문가에 대한 참가자의 변화 준비 단계를 평가하기 위한 평가 도구로 사용되어 왔다. 원래의 5단계는 '수정된 프로카스카 설문지'에서 태도, 의도, 행동의 3단계로 축소되었다

    • '태도' 단계에서는 문제에 대한 인식은 있지만 행동에 대한 약속은 없다. 

    • '의도' 단계에서 개인은 행동 변화에 대비하는 반면, 

    • '행동' 단계에서는 이미 이러한 변화가 일어났다.

A modified Prochaska model has been used as an evaluation tool to assess the participants’ stages of readiness to change in health professionals involved in a research transfer training programme. The original five stages were reduced to three stages-attitude, intention and action-in the ‘Modified Prochaska Questionnaire’. 

    • In the ‘attitude’ stage, there is an awareness of the problem but no commitment to take action. 

    • In the ‘intention’ stage, the individual is prepared for behavioural change, while 

    • in the ‘action’ stage; this change has already taken place.


TUMS 변화 단계(TUMS-SOC)

TUMS Stage of Change questionnaire (TUMS-SOC)


이 14개 항목의 설문지에는 연구, 교육 및 개인 개발 작업의 세 가지 영역이 있다. 모든 항목은 1부터 4까지 점수를 매겼다. 점수 합계는 태도 단계(24점 이하), 의도 단계(25점~36점), 행동 단계(37점 이상) 등 개인의 변화 단계를 나타낸다.

In this 14-item questionnaire, there are three domains: research, educational and personal development tasks. All items were scored from 1 to 4. The sum of scores indicated individuals’ stage of change: attitude stage (score below24), intention stage (score 25–36) and action stage (score above 37).


스트레스와 소진 측정

Measuring stress and burnout


Maslach 등은 탈진(burnout)을 중요하고 의미 있고 도전적인 작업이 불쾌하고, 성취되지 못하고, 무의미해지는 지점이라고 묘사했다. 실제로 이때 에너지는 피로, 관여는 냉소, 효능은 비효과성으로 대체된다[13,14]. 특정 전문분야의 의료진들 사이에 번아웃이 만연해 있다. 학업지위가 높을수록 위험은 더 커진다[14]. 번아웃은 의사의 삶의 질에 해로운 영향을 미치며 자살 관념의 위험 증가와 관련이 있다[15].

Maslach et al. described burnout as the point at which important, meaningful and challenging work becomes unpleasant, unfulfilling and meaningless. Indeed, at this point, energy turns into exhaustion, involvement leads to cynicism, and efficacy is replaced by ineffectiveness [13,14]. Burnout is prevalent among clinical staff with certain specialties. The higher the academic rank, the further the risk [14]. Burnout has a detrimental effect on the doctor’s quality of life and is associated with an increased risk of suicidal ideation [15].


일반 건강 측정

Measuring general health


또 다른 잘 알려진 구제 조치인 소화전 대책 외에도 일반 건강 설문지(GHQ; Goldberg, 1992년)가 적용되었다. 페르시아어 버전의 GHQ는 최근의 증상이나 행동에 대한 12개의 자조 항목을 사용한다. 각 항목은 4점 척도로 평가된다(평소보다 낮음, 평년보다 낮음, 평소보다 훨씬 많음, 또는 예년보다 훨씬 높음). GHQ 총점은 선택된 채점 방법을 기준으로 12점에서 36점 사이로 추정되었다.

Besides the burnout measure, an additional, well-known distress measure, the General Health Questionnaire (GHQ; Goldberg, 1992) has been applied. The Persian version of GHQ uses 12 self-report items about recent symptoms or behaviours. Each item is rated on a four-point scale (less than usual, no more than usual, rather more than usual or much more than usual); GHQtotal score was estimated between 12 and 36 based on the selected scoring methods.


교수의 번아웃과 교육과정 변화 실행능력 연결

Linking faculty burnout and ability to implement curricular change


통계 분석

Statistical analysis


결과

Results


초기 연구결과

Preliminary findings of linkage between change stage and burnout


참가자의 성별은 변화의 단계(P = 0.04)와 연관되어 있었다: 여성은 대부분 의도 단계에 있었고, 남성은 행동 단계에 있었다. 이와는 대조적으로, 변화와 연령의 단계(P = 0.0) 또는 임상 교수로서의 경력(P = 0.09) 사이에는 연관성이 없었다. 또한 참가자의 연령 초과 점수(P = 0.3) 간에 통계적으로 유의한 연관성은 발견되지 않았다.

Participants’ gender was associated with the stage of change (P = 0.04): women were mostly in the intention stage, while men were in the action stage. In contrast, there was no association between stage of change and age (P = 0.0) or years of experience as a clinical faculty member (P = 0.09). In addition, no statistically significant association was found between participants’ age burnout scores (P = 0.3).


회귀 분석은 화상이 변화의 단계와 연관되어 있다는 것을 보여주었다.

Regression analysis showed that burnout was associated with stage of change.



고찰

Discussion


우리의 연구는 의과대학의 임상 교수진의 소진과 새로운 학문적 활동의 시작에 대한 수용성 사이의 관계를 조사하고자 했다.

Our study sought to examine the relationship between the burnout of clinical faculty in a medical school and their receptivity to starting new academic activities


우리는 임상 교수진 구성원이 [변화할 준비가 되어 있는 것]과 [직업상 소진의 하위척도]에서 중요한 관계를 발견했다. 즉, 직업상 탈진이 적은 참가자는 행동 단계에 있을 가능성이 높았고, 탈진이 심한 참가자는 태도나 의도 단계에 있을 가능성이 높았는데, 이는 변화를 실행할 준비가 되어 있지 않은 것으로 이해할 수 있었다.

We found a significant relationship between clinical faculty member’s readiness to change and the subscales of occupational burnout. In other words, participants with low occupational burnout were more likely to be in the action stage, while those with high burnout were in the attitude or intention stage, which could be understood as not being ready to implement change.


우리의 연구 결과에 따라, Evers 등에서는 교사들의 높은 자기효능 신념이 직업상의 소진을 줄이고 개인들로 하여금 새로운 교육 시스템을 도입할 준비를 더 잘 하게 할 수 있다고 보고했다[24].

In line with our findings, Evers et al. reported that high self-efficacy beliefs of teachers may reduce the occupational burnout and make individuals more prepared for implanting a new educational system [24].


직무 만족도가 행동 단계에 있는 임상의학자들에게 주요한 동기부여로 작용하기 쉽다. 따라서 기능들 사이의 변화 준비와 소진 사이의 상관관계는 매우 중요한 문제로서 필요성 평가의 일부로서 고려되어야 한다. 즉, 의과대학에서 성공적인 커리큘럼 개정을 시행하기 위해서 말이다.

It is likely that job satisfaction acts as a major motivation for clinical faculty who are in the action stage. Hence the correlation between readiness to change and burnout among faculties is a crucial issue and should be considered as part of a needs assessment, that is, in order to implement a successful curriculum revision at medical universities


본 연구에서는, GHQ에 근거한 [침체된 무드]와 [변화에 대한 준비도] 사이에는 아무런 상관관계가 없었으며, [변화에 대한 준비도]를 저해하는 주요 요인이 직업적 소진보다는 우울증일 수 있다는 초기 우려를 배제했다.

In our study, there was no correlation between depressed mood based on the GHQ and readiness to change in study population, abolishing the initial concern that the main factor hindering readiness to change may be depression rather than job burnout.


보건의료 종사자들이 흔히 '번아웃' 증후군에 걸릴 위험이 있지만, 현대의 번아웃 대책은 번아웃이 완전히 된 다음에서야 그것을 인식할 수 있다[28]. 일부 학자들은 TCI와 같은 성격과 기질에 대해 서로 다른 시험을 적용하였다.

Although health care personnel are frequently at risk for the ‘burnout’ syndrome, modern measures of burnout could recognize burnout just only when it is fully developed [28]. Some scholars have applied different tests for personality and temperament such as TCI (The Temperament and Character Inventory)


한 연구는 기질과 성격 특성 및 소진 사이의 관계를 보여주었다[31]. 또 다른 연구에서는 기질적 특성은 (주로 정서적 피로, 비개인화 및 개인의 성취 감소에 의해 대표되는) 번아웃 퍼포먼스와 크게 관련이 있다는 것을 보여주었다[6].

One study showed relationship between the temperament and character traits and burnout [31]. Another study showed that temperamental traits have been largely correlated with burnout performance, mostly represented by emotional exhaustion, de-personalization and reduced personal accomplishment [6].


전반적으로, 우리의 연구 결과와 기존 문헌은 임상 교수진의 [변화 단계와 소진 단계 사이의 관계]를 나타낸다. 이는 의료 커리큘럼 수정 프로세스에서 니즈 평가 접근방식의 핵심 부분으로서 번아웃 탐색의 유용성을 시사한다 [12,28].

Overall, our findings and the existing literature indicate a relationship between stages of change and burnout in clinical faculty. This suggests the usefulness of exploring burnout as a key part of a needs assessment approach in medical curriculum modification process [12,28].


이 의학 커리큘럼 개혁을 위한 예비 연구의 의미는 무엇인가? 번아웃이 낮은 의사들은 더 내적인 동기부여가 될 가능성이 높으며 직업 만족도도 높아져 변화할 준비가 되기 쉽다는 것, 즉 행동 단계에 있다. 행동 단계에서, 그들은 커리큘럼 개혁에 의과대학의 이니셔티브에 참여할 가능성이 더 높다. 

What are the implications of this preliminary research for medical curriculum reform? Doctors with lower burnout are more likely to be more internally motivated and also have more job satisfaction, which makes it more likely to be ready to change, that is, they are in the action stage. In the action stage, they are more likely to engage medical school initiatives in curriculum reform. 


추가적인 관찰은 외과의사들이 내과의사들과 비교했을 때 변화할 준비가 더 많았다는 것이다. 따라서, 한 가지 시사점은 의대 교과과정의 변경이 내과의사보다 외과의사들로부터 더 성공적일 수 있다는 것이다 – 분명히 전문 분야들 사이의 뜨거운 논쟁을 위한 주제일 것이다!

An additional observation is that surgeons had more readiness to change in comparison with the internists. Thereby, one implication is that medical school curriculum change could be more successful starting with surgeons than with internists – surely a topic for hot debate between specialties!


한계

Limitations



결론

Conclusion


그러므로 의과대학에서 성공적인 학제개편을 하기 위해서는 임상 교수진들 사이에서 직업상의 소진을 평가하고 관리하는 것이 유익할 것이다. 게다가, 소진과 의사 전공 사이에는 연관성이 있는 것으로 보인다.

To have successful academic reform in medical schools, it therefore would be beneficial to assess and manage occupational burnout among clinical faculty members. In addition, there appears to be a link between burnout and doctor specialty.







 2016 Feb;22(1):86-92. doi: 10.1111/jep.12439. Epub 2015 Nov 13.

Linking medical faculty stress/burnout to willingness to implement medical school curriculum change: a preliminary investigation.

Author information

1
EDO, Faculty of Dentistry, Tehran University of Medical Sciences (TUMS), Tehran, Iran.
2
Department of Medical Education, Tehran University of Medical Sciences (TUMS), Tehran, Iran.
3
PhD Candidate in Medical Education, School of Medicine, Tehran University of Medical Sciences (TUMS), Tehran, Iran.
4
Faculty Member of EDC (Education Development Center), Mashhad, Iran.
5
Ministry of Health and Medical Education, Tehran, Iran.
6
EDC, Tehran University of Medical Sciences (TUMS), Tehran, Iran.
7
Clinical Science and Education, Karolinska Institutet, Stockholm, Sweden.
8
Psychiatry, Toronto University, Toronto, Canada.

Abstract

RATIONALE, AIMS AND OBJECTIVES:

Balancing administrative demands from the medical school while providing patient support and seeking academic advancement can cause personal hardship that ranges from high stress to clinically recognizable conditions such as burnout. Regarding the importance of clinical faculties' burnout and its effects on different aspects of their professional career, this study was conducted and aimed to evaluate the relationship between willingness to change teaching approaches as characterized by a modified stage-of-change model and measures of stress and burnout.

METHODS:

This descriptive analytic study was conducted on 143 clinical faculty members of Tehran University of Medical Sciences in Iran. Participants were asked to complete three questionnaires: a modified stages of change questionnaire the Maslach Burnout Inventory and the General Health Questionnaire. Data were analysed by SPSS: 16 using non-parametric statistical tests such as multiple regression and ICC (intra-class coefficient) and Spearman correlation coefficient test.

RESULT:

A significant relationship was found between faculty members' readiness to change teaching approaches and the subscales of occupational burnout. Specifically, participants with low occupational burnout were more likely to be in the action stage, while those with high burnout were in the attitude or intention stage, which could be understood as not being ready to implement change. There was no significant correlation between general health scores and stage of change.

CONCLUSIONS:

We found it feasible to measure stages of change as well as stress/burnout in academic doctors. Occupational burnoutdirectly reduces the readiness to change. To have successful academic reform in medical schools, it therefore would be beneficial to assess and manage occupational burnout among clinical faculty members.

KEYWORDS:

Medical education; burnoutcurriculum reform; medicine; stages of changestress

PMID:
 
26563562
 
DOI:
 
10.1111/jep.12439


모범으로 리드하기: 학습자와 우리자신을 돕기위한 회복탄력성 롤모델링(Acad Med, 2018)

Leading by Example: Role Modeling Resilience Helps Our Learners and Ourselves

Mona M. Abaza, MD, MS, and Kathleen G. Nelson, MD



의사 소진 문제와 그 결과는 풍토병에 이르고 있다. 2017년 메디케이프 데이터에서 51%의 의사가 탈진했다고 응답했는데, 이는 불과 4년 전에는 40%이었다. 학생, 레지던트, 교수 자살에 대한 충격적 보고를 보면, 대학의학은 더 이상 이 문제를 정면으로 다루지 않을 수 없게 되었다.

The issue of physician burnout and its consequences is reaching endemic proportions. From the 2017 Medscape data1 showing that 51% of physicians report burnout, up from 40% just four years ago, to the disturbing reports of student, resident, and faculty suicide, academic medicine can no longer afford to not address this issue head on.


The National Academy of Medicine’s Collaborative on Physician Wellbeing2는 더 큰 시스템적 문제를 해결하는데에 필요한 중요한 단계다. 그러나, 문제를 해결해줄 "시스템"을 기다리는 것 또한 충분하지 않다.

The National Academy of Medicine’s Collaborative on Physician Wellbeing2 is an important step for our collective organizations to help address the larger systemic issues. But, waiting for the “systems” to fix the problem is not enough either.


교수는 trainee를 위해 많은 역할을 한다. 그들은 멘토, 후원자, 동료, 교사이다. 그러나 무엇보다도 그들은 함께 일하는 사람들에게 긍정적인 행동과 부정적인 행동의 롤모델이다.

Faculty serve many roles for their trainees: They may be mentors, sponsors, colleagues, and teachers, but they are, above all, models of behavior, both positive and negative, for those with whom they work.


우리 레지던트들과 학생들은 이미 이 문화를 어떻게 바꿀 것인가에 대해 생각하고 있다. ACGME(Accreditation Council for Screw Medical Education) 레지던트 협의회는 업무에서 의미를 증가시키는 데 도움이 되는 몇 가지 주제를 설명했다.4 이들이 꼽은 다섯 가지 주제 중 네 개는 시스템적 부담과는 아무 관련이 없다. 

  • 보다 직접적인 환자 치료 제공 

  • 팀워크의 감각 공유

  • 지지적이고 협력적 작업 환경 

  • 점진적으로 자율이 증대되고 임상적으로 숙달되는 학습 환경,

이들이 이야기하는 것은, 현재 의료 시스템에서도 늘상 존재하는 기회에 대한 것이다.

Our residents and students are already thinking about how to change this culture. The Accreditation Council for Graduate Medical Education (ACGME) resident council described several themes to help increase meaning in work.4 Four of the five themes had nothing to do with systemic burden issues. 

  • From providing more direct patient care, 

  • to a shared sense of teamwork, 

  • to a supportive, collegial work environment and 

  • a learning environment of progressive autonomy and clinical mastery, 

they talked about concepts that present daily opportunities in our health care systems.


언젠가 환자들과의 만남이 우리가 다른 인간을 위해 변화를 준 것 같은 느낌을 받는 것처럼, 학습자가 복잡한 개념이나 절차를 파악하도록 돕는 기쁨과 만족을 겉으로 드러내거나, 새로운 과학적 지식을 발견함에 있어서 우리가 느끼는 경이로움에 놀라워하는 것 역시 대학의학에만 존재하는 특별한 기회다. 이것들은 다른 많은 직업에서는 찾아볼 수 없는 medicine의 선물이다.

Acknowledging the patient encounter that made us feel like we made a difference for another human being that day, showing visible expressions of the joy and satisfaction in helping a learner grasp a complicated concept or procedure, and marveling at the wonder we feel in discovering a new piece of scientific knowledge are unique opportunities in academic medicine. These are the gifts of medicine that are not found in many other professions.


매일 사람들의 삶을 변화시킬 수 있는 기회를 갖는 것은 의학에서 "소명"의 큰 부분이며, 여기에 주의를 기울이는 것은 우리 자신의 성취감뿐만 아니라 우리 학습자들의 능력을 향상시키는 데 중요하다. 이렇게 함으로써 우리는 소진이 아니라 회복탄력성을 키울 수 있다.

The daily opportunity to make a difference in people’s lives is a large part of the “calling” of medicine, and paying attention to it is a critical step to improve our learners’ as well as our own sense of accomplishment. Doing so will foster resilience, not burnout.


문화를 변화시킬 필요성은 우리의 생존에 중요할 뿐만 아니라 미래의 의사들의 훈련에도 필수적이다. 이는 2017년 7월 1일부터 발효된 ACGME의 새로운 공통 프로그램 요건에 의해 강조된다. 여기에는 다음과 같이 기술하고 있다.

The need for this culture change is not just critical to our survival, it is also essential to the training of future physicians. This is underscored by the ACGME’s new common program requirements,5 which took effect July 1, 2017. They state:


심리적, 정서적, 육체적 행복은 유능하고, 자상하며, 회복탄력적인 의사의 발달에 중요하다. 자기 관리는 전문직업성의 중요한 요소이며, 그것은 또한 레지던트 훈련과정의 여러 맥락에서 배우고 길러야 하는 기술이다.

Psychological, emotional, and physical well-being are critical in the development of the competent, caring, and resilient physician. Self-care is an important component of professionalism; it is also a skill that must be learned and nurtured in the context of other aspects of residency training.


자기 관리가 배워야 할 기술이라는 점은 가볍게 보아서는 안 된다. 우리는 이 기술을 보여주는 역할 모델이 될 수 있다. 이는 단순히 학습자의 자기 관리 요구를 이해하고 지원하는 것 이상의 것이다. 자기 관리가 필요하다는 것을 학습자가 이해할 수 있도록, 롤모델링을 제공하여 볼 수 있게 함을 의미한다. 우리는 학습자들에게 우리가 "미팅"에 간다고 말하는 것이 아니라, 자기자신의 진료 약속care appointment에 간다고 말해야 한다.

The point that self-care is a skill to be learned is not to be taken lightly. We can be the role models who demonstrate this skill. More than just being understanding and supportive of our learners’ self-care needs, this means providing the role modeling they need to see to understand the relevance of self-care. We need to tell them that we are going to our own care appointments and not “to a meeting.”


교수들은 교수 자신의 니즈, 자기 가족의 니즈, 그리고 환자들의 니즈 사이에서 선택하는 상황에서 직면하는 딜레마에 대해 공개적으로 말할 필요가 있다. 비록 교수들은 일정이 더 유연하다고 말하지만, 유연성이 많다는 것은, 시간이 더 많다는 것이 아니라, 단지 더 많은 옵션이 존재한다는 의미함을 논의해야 한다. 교직원들이 자녀의 초등학교 프리젠테이션에 가기로 결정했을 때, 그것은 종종 환자를 보기 위해 더 일찍 출근하거나, 모든 사람이 잠자리에 든 후에도 미팅 일정을 다시 잡거나, 일을 해야 한다는 것을 의미한다.

We need to openly talk about the dilemmas we face in making choices between our needs, our family’s needs, and our patients’ needs. Although faculty often have more flexibility in their schedules, we should discuss that flexibility does not mean more hours, just more options. When faculty choose to go to their child’s grade school presentation, it sometimes means needing to come to work early to see patients or reschedule meetings or work after everyone goes to bed.


균형이란 의무에 대한 책임을 회피하는 것이 아니다. 균형이란 그 날 가능한 능력을 최대한 발휘하여, 합리적인 틀 안에서 의무를 완수하는 방법을 찾는 것을 의미한다.

Balance does not mean forgoing responsibility for obligations but finding ways, to the best of one’s ability that day, to accomplish them within a reasonable framework.


교수들도 이런 일을 완벽히 해낼 것이라고 기대해서는 안 되고, 학습자들도 교수가 완벽할 것이라고 기대해서는 안 된다. 회복탄력성을 롤모델링 한다는 것은 우리가 성공하지 못했을 때에도 정직해지는 것을 의미한다. 잠도 못 자고, 감기에 더리고, 누군가와 말다툼을 해서 우리가 최선의 퍼포먼스를 보이지 못할 때, 우리는 자신의 한계를 포용해야 한다. (동료들은 말할 것도 없고) 우리가 최선을 다하지 못할 때, 도움이 필요하다고 스스로 말할 만큼 용감하지 않은데, 어떻게 학습자들이 그렇게 하기를 기대할 수 있을까? 만약 우리가 그들에게 우리의 "완벽한" 모습만 보여준다면, 어떻게 학습자가 스스로 완벽하지 못하다는 것을 인정할 것으로 기대할 수 있을까? 

Faculty should not expect to be perfect at this, nor should their learners expect them to be perfect. Role modeling resilience means being honest about when we are not succeeding at it. When we are less than our best because we did not sleep, have a cold, or had an argument with someone, we have to own our limitations. If we are not brave enough to tell ourselves, let alone our peers, that we are not at our best and we need help, how can we expect our learners to do so? If we only demonstrate the “perfect” us to them, how can we expect them to acknowledge they are less than perfect themselves? 


복원력은 적응력에 대한 것이지 완벽에 대한 것이 아니다. 이러한 적응 능력과 취약성을 보여주는 능력은 교수에게도 "쉬운 일"은 아니지만, 여전히 우리가 할 수 있는 일이다. 

Isn’t resilience about adaptability, not perfection? This demonstration of the ability to adapt and show vulnerability is not an “easy ask” of faculty, but it is within our ability.


자기자신의 개인적 행복의 성공과 실패를 우리의 연습생과 동료들에게 의식적으로 기록하고 증명함으로써, 우리는 회복탄력성을 모델링하는 회복탄력적인 교수로서, 우리 모두에게 회복탄력적 가능한 미래를 창조하기 위해 대학의학에 필요한 문화적 변화를 만들어낼 수 있을 것이다.

By consciously noting and demonstrating our own successes and failures in our personal well-being to our trainees and peers, we as resilient faculty, role modeling our approaches, can help create the culture change we need in academic medicine to create a resilient future for all of us.




 2018 Feb;93(2):157-158. doi: 10.1097/ACM.0000000000001936.

Leading by ExampleRole Modeling Resilience Helps Our Learners and Ourselves.

Author information

1
M.M. Abaza is professor of otolaryngology, University of Colorado School of Medicine, Aurora, Colorado. K.G. Nelson is clinical professor of pediatrics, Keck School of Medicine of USC, Los Angeles, California.

Abstract

The issues of burnout and its consequences are some of the most prevalent topics in conversations about the practice of medicine today. Many reports have focused on the contributors that fuel this epidemic, but the time has come to begin to focus on solutions. Prominent national efforts, including a National Academy of Medicine collaborative task force and the 2017 Accreditation Council for Graduate Medical Education common program requirements' focus on wellness, are presenting opportunities for academic medicine faculty to take the lead in turning this tide. While solutions to the burnout crisis are complex, the foundations of improving this epidemic lie in restoring a sense of purpose and balance in the lives of those who work in academic medicine. The inherent value of academic medicine to improve others' lives through patient care, the advancement of knowledge, and the education of the next generation is a unique opportunity that many other professions do not share. On the best days, academic medicine faculty must remember to look for that joy and to express it to learners, and, on the worst, they must demonstrate to learners how to practice self-care and how to create personal resilience. By taking on the role of becoming resilient, faculty start to foster a culture of well-being rather than burnout and can begin to find solutions instead of continuing to describe the problem.

PMID:
 
28991841
 
DOI:
 
10.1097/ACM.0000000000001936


의사는 회복탄력성을 위해 지지받아야지, 훈련받는 것이 아니다(BMJ, 2015)

Doctors need to be supported, not trained in resilience

BMJ 2015 ; 351 doi: https://doi.org/10.1136/bmj.h4709 (Published 15 September 2015)

Cite this as: BMJ 2015;351:h4709




회복탄력성은 항상 맥락적이다회복탄력성은 개인, 개인의 환경, 사회문화적 요인 사이의 복잡하고 역동적인 상호 작용이다. 회복탄력성을 촉진하기 위한 개입은 조직적 문제뿐만 아니라 개인 및 팀 문제를 다루어야 한다. 또한 개인마다 회복탄력성이 다양한 것과 마찬가지로, 조직도 거대한 조직적 변화나 트라우마에서 살아남을 수 있다.2

Resilience is always contextual. It is a complex and dynamic interplay between an individual, the individual’s environment, and sociocultural factors. Any intervention to promote resilience must deal with organisational as well as individual and team issues. Also, just as individuals have degrees of resilience, so do organisations, such that they can survive enormous organisational change or trauma.2


정신적 건강

Mental health


회복탄력성은 소진에서 우울증에 이르는 다양한 심리적 병폐와 연결된다. 그것은 또한 웰니스와 웰빙의 개념과 상당히 중복된다. 개인의 완전한 정신적, 육체적, 감정적 행복으로 묘사되는 웰빙3은 탄력성을 높일 수 있는 특징이며, 회복탄력성도 반대로 웰빙의 구성요소다. 번아웃은 직업 불만족과 불만족스러운 결혼을 포함한 직장 생활, 가정 및 사회 생활에 영향을 미치는 부정적인 결과의 범위와 관련이 있다.4

Resilience links to a range of psychological maladies from burnout to depression. It also has considerable overlap with the concepts of wellness and wellbeing. Wellness, described as the complete mental, physical, and emotional wellbeing of an individual,3 is a characteristic that can increase resilience, and resilience is in turn also a component of wellbeing. Burnout is associated with a range of negative outcomes, affecting work life and home and social life, including job dissatisfaction and unsatisfactory marriages.4


회복탄력성은 단순히 소진되지 않는 것이 아니라 완전한 참여로 역동적인 번영dynamic thriving을 촉진하는 것이다. 사실, 회복탄력성 상실의 종말 단계인 소진(burnout)을 강조하게 되면, 오히려 회복탄력성 증가를 위한 초기 개입 계획을 더 어렵게 만들 수도 있다.

Resilience is not simply the absence of burnout but promotes dynamic thriving with full engagement. In fact, the emphasis of research on the end stage of failed resilience—burnout— may make it more difficult to plan early intervention to increase resilience.


연구

Research


회복탄력성은 연구하기 어려운 분야다. 일관적인 정의도 없고, 표준화된 측정도 없고, 유효하거나 신뢰할 수 있는 측정도 없으며, 복원력이 무엇인지, 복원력이 더 나은 환자 치료와 관련이 있는지 여부에 대한 강력한 연구도 없다.6 7 8 결국 회복탄력적인 개인을 찾으려는 노력은 기껏해봐야 틀린 과학이며, 최악의 경우에는 차별적인 행동이다.

Resilience is a difficult area to study. There are no consistent definitions; no standardised, valid, or reliable measurements; and no robust studies into what resilience is, what the predictors of resilience are, and whether resilience is related to better patient care.6 7 8 This makes screening for individuals who are most likely to show resilience at best an inexact science and at worst discriminatory.


2001년, 임상 심리학자 제니 퍼스 코zens이 종적 연구의 결과를 발표하였다.

In 2001, clinical psychologist Jenny Firth-Cozens published the results of a longitudinal study


퍼스 코zens은 조직요인과 개인요인의 조합이 개인의 회복탄력서을 예측했다고 결론지었다. 세 번째 중요한 요인은 사회문화적 요인인데, 여기에는 의학 자체 내의 문화, 더 넓게는 사회적으로 비난, 소송의 문화 등이 포함된다.

Firth-Cozens concluded that a combination of both organisational and individual factors predicted an individual’s resilience. The third contributing dimension is sociocultural factors, such as the culture within medicine itself and the rise of blame and claim culture of litigation in wider society.10


조직적 요인

Organisational factors


반복적인 조직 재편성은 관계를 파괴하고, 불안감을 조성하며, 조직 내에서 일하는 사람들을 희생양을 만들고 파괴적인 관계를 발전시키도록 하는데, 여기서 가장 약한 사람과 소수자가 가장 큰 피해를 입는다.

Repeated reorganisations fracture relationships, create anxiety, and predispose those working in an organisation to create scapegoats and develop destructive relationships, where the weakest and those from minorities tend to come off worse.11 12


영구적인 전환으로 인해 에너지, 사기 저하, 작업중의 주의산만 등을 유발한다14. 연속성은, 환자와 의료진 모두에게 중요하다.

while permanent transitions drain energy, sap morale, and distract workers from the task in hand.14 Continuity matters, for both patients and staff.


근무 시간 제한은 직원들의 응집력에 해로운 영향을 미쳤고, 인수인계를 위한 시간을 줄였다. 근무시간의 제한으로 인해 "의사는 진료의 연속성에 대한 책임을 지기보다는, 환자가 질병의 경과에서 잠시 스쳐가는 사람"이 된다.

Working time restrictions have had a detrimental impact on staff cohesion, decreasing time for handovers. The restrictions have led to “individual clinicians becoming transient acquaintances during a patient’s illness rather than having responsibility for continuity of care.”15


사회문화적 요인

Sociocultural factors


지금과 같은 평판, 비난, 수치심 문화는 의사 개개인의 생존을 더욱 어렵게 만들고 있다.18 언론과 정치인에 의한 NHS 직원들에 대한 매일의 맹공격은 사기를 떨어뜨리고 직원들이 자신을 추스르고 또 다른 날을 맞이하는 것을 어렵게 만든다. 의사는 의사의 최악의 적이다.

The present name, blame, and shame culture in the NHS is making it more difficult for individual doctors to stay afloat.18 The daily onslaught on NHS staff by the media and politicians undermines morale and makes it hard for staff to pick themselves up and face another day. Doctors are also their own worst enemies.


개인 요인

Individual factors


2011년에 심리학자인 클레어 맥캔은 다섯 가지 모든 분야에서 일관되게 나타나는 긍정적인 회복탄력성과 관련된 유일한 두 가지 요소를 발견했는데, 하나는 여성인 것이고, 다른 하나는 일과 삶의 균형을 유지하는 것이다.

In 2011, psychologist Clare McCann found that being female and maintaining a work-life balance were the only two factors that were consistently, positively related to resilience across all five disciplines.


다른 연구에서는, 성별에 따른 차이는 그 영향이 상당히 다른 것 같고, 탈진이나 스트레스에 관한 다른 연구들이 서로 다른 결론에 이른다. 따라서 (회복탄력성은) 개개인의 요인보다 병원 세팅이나 전공이 더 중요하다는 것을 암시한다.21

In other research, the effect of sex differences seems to vary considerably, and different studies of burnout and stress come to differing conclusions, suggesting that different hospital settings or specialties are more important than individual factors.21


회복탄력성 훈련

Resilience training


회복탄력성 훈련은 주의력, 기분, 권한 부여, 의미, 업무 참여, 자기 인식 및 회복력에 대한 지식을 포함한 다양한 결과를 낳았다. 개인은 환자의 중심적 성향과 행동과 관련된 공감과 심리사회적 믿음의 감소와 긍정적인 변화를 보여주었다. 회복탄력성 워크숍 참가자들은 개인과 직업 모두에서 이 교육을 적용하고 혜택을 받았다고 말했다.23 

Training resulted in variable outcomes including improvement in mindfulness, mood, empowerment, meaning, and engagement with work, self awareness, and knowledge of resilience. Individuals showed decreased levels of burnout and positive changes in empathy and psychosocial beliefs associated with patient centred orientation and behaviours. Participants in resilience workshops stated that they had applied and benefited from this training in both their personal and professional lives.23 


이러한 결과는 보건과학 연구원인 아론 레핀과 동료들이 성인 모집단에서 회복탄력성 훈련 프로그램을 검토한 결과와 유사하다(즉, 연구 보고는 부실하고 방법론적 품질은 낮았지만, 편익은 다소 일관성이 있음).24

These findings are similar to those identified in a review of resilience training programmes in adult populations by health sciences researcher Aaron Leppin and colleagues—that is, of a modest, but consistent benefit, though reporting was poor and methodological quality was low.24


통합 모델

Unified model


정신과 의사 로라 던과 동료들은 의대생에서 웰빙의 개념 모델을 제안했다(그림 참조).25 이 모델은 적응형 또는 부적응형 전략으로 보충하거나 고갈될 수 있는 대처자원coping reserve을 포함한다. 학생의 성격 특성, 기질, 대처 방식이 이 대처자원의 내적 구조를 형성한다.

Psychiatrist Laura Dunn and colleagues proposed a conceptual model of medical student wellbeing (see figure).25  The model includes a coping reserve, which can be replenished or depleted with adaptive or maladaptive strategies. Students’ own personality traits, temperament,and coping style create an internal structure within this reserve.⇓ 


그러나, 이 모델은, [안정된 구조, 평판Name/비난Blame/수치Shame의 문화 제거, 라인 매니저의 개방적 정책 등] 조직 및 사회문화적인 문제의 중요성을 생략한다는 점에서 불완전하다.

However, as a model it is incomplete, because it omits the importance of organisational and sociocultural issues, including a stable structure; removal of the culture of blame, name, and shame; and open door policies for line managers.




군대 비유

Military analogy


의대에서 일하는 것은 군대에 있는 것과 비교되어 왔지만, NHS는 전쟁터가 아니며, 의사는 군인이 아니며, 보살피는 것은 전쟁이 아니다.

Working in medicine has been compared to being in the army, However, the NHS is not a battlefield, doctors are not soldiers, and caring is not a war.


회복탄력적인 환경

A resilient environment


만약 우리가 의료진들을 위한 회복탄력적인 환경을 만들려면, ward에서 board에 이르는 구조적인 변화가 필요할 것이다. 그러나 개인이 속한 시스템보다 당사자를 비난하는 정치적 사고방식을 가지고서는 이런 일은 잘 일어날 것 같지 않다. 

If we are to create a resilient environment for healthcare staff, there will need to be structural changes from ward to board. This is something that sadly seems unlikely to happen given the political mindset to blame individuals rather than the system they work in.


회복탄력성 향상 요인

Factors aiding resilience21


지적 흥미

Intellectual interest


지적 관심과 높은 직업 만족도를 유지하는 의사들은 회복탄력성이 더 높다. 좀 더 탄력적인 사람들이 지적으로 더 흥미로운 직업을 선택할 수도 있기 때문에, 여기서 혼란스러운 요소들이 작용하고 있을지도 모른다. 그러나, 이 협회는 의사들이 진로나 직업의 변동성을 가지고 있거나 특별한 관심의 영역을 추가로 개발할 수 있는 경우, 이것은 보존율retention을 개선하고 탈진의 위험을 줄일 수 있을 것이라고 제안한다.

Doctors who maintain intellectual interest and high levels of job satisfaction have greater levels of resilience. There may be confounding factors at play here, since more resilient individuals may choose jobs that are more intellectually interesting. However, this association suggests that where doctors have career progression or job variability or are able to develop additional areas of special interest this will improve retention rates and reduce the risk of burnout.


자기인식

Self awareness


자기 인식과 자기 성찰은 개인이 자신의 한계를 인식하고 받아들이고 직업적으로나 개인적으로 할 수 있는 일에 대해 현실적이 되도록 돕는다. 자기 인식과 자기 성찰은 또한 개인이 의사와 환자 관계에서 경계를 설정하고 오류를 위한 자기 연민과 자기 용서를 발전시키는 데 도움이 된다. 자기 인식은 명상에 기초한 스트레스 감소에 의해 뒷받침되고 강화될 수 있다.

Self awareness and self reflection help individuals to recognise and accept their limitations and be realistic about what they can do professionally and personally. Self awareness and self reflection also help individuals to establish boundaries in the doctor-patient relationship and to develop self compassion and self forgiveness for errors. Self awareness can be supported and enhanced by mindfulness based stress reduction.


시간관리

Time management


회복탄력성 촉진 행동들은 [시간 관리를 숙달하고, 노동 시간을 제한하며, 여가 활동의 추구를 위한 시간을 보장하며, 정기적인 휴일을 갖는 것] 등을 포함한다. 다른 전문직 그룹을 대상으로 한 일부 연구에서 의사들은 일반 인구와 비교했을 때 그들의 일과 삶의 균형에 대해 불만족할 가능성이 더 높았다. 이는 의사가 어떤 의료 전문 분야에 속해 있는지에 따라 달라졌는데, 일반의사, 방사선사, 공중위생 의사가 좋은 일과 삶의 균형을 보고할 가능성이 가장 높다.27

Resilience promoting behaviours rely on mastering time management, allowing restriction of working hours, ensuring time for the pursuit of leisure activities, and regular holidays. In some of the studies looking across different professional groups doctors were more likely to be dissatisfied with their work-life balance compared with the general population. This varied depending on which medical specialty the doctor belonged to, with general practitioners, radiologists, and public health doctors being most likely to report a good work-life balance.27


지속적 전문성 개발

Continuing professional development


지속적인 전문적인 개발에 참여하면 회복탄력성이 촉진된다. 이러한 개발이 

    • 구조화되었든(연구 또는 학술적 역할 수행), 

    • 비구조화되었든(논문 읽기) 

    • 그룹 활동과 관련되었든(실무 기반 소규모 그룹, 발린트 그룹, 슈워츠 회진 또는 보호되는 학습 시간 계획)

...여부에 관계없다.

Engaging in continuing professional development promotes resilience. It does so irrespective of whether this development is 

structured (doing research or undertaking an academic role), 

unstructured (reading journals), or 

related to group activity (practice based small groups, Balint groups, Schwartz rounds, or protected learning time schemes).


지지

Support


다른 사람의 지원은 업무와 관련된 스트레스를 완충하는 것을 돕는다. 다른 유형의 지원은 다른 지지자들에 의해 제공된다. 예를 들어, 친한 친구들과 "중대한 다른 사람들"은 능동적인 대처, 역할 모델링 및 공감을 도울 수 있다. 배우자나 파트너는 감정적인 지원을 할 수 있다. 팀이나 조직 내에서 강력한 업무 결속과 상호 신뢰가 존재하는 경우 과제와 운영 중단을 보다 쉽게 관리할 수 있다. 직장 동료들과의 적극적인 관계는 인지된 스트레스를 줄이고 직업 만족도를 향상시키는데 도움을 줄 수 있다.

Support from others helps to provide a buffer for work related stress. Different types of support are provided by different supporters. For example, close friends and “significant others” can help with active coping, role modelling, and empathy. A spouse or partner can provide emotional support. Challenges and disruptions are more easily managed where there are strong working bonds and mutual trust within the team or organisation. Supportive relationships with work colleagues can help to reduce perceived stress and improve job satisfaction.


멘토

Mentors


멘토들은 연습생들이 그들의 일에서 즐거움을 찾을 수 있도록 도와주며 전문적인 훈련의 필수적인 요소다. 멘토들은 스트레스 감소와 변화에 적응하는 것을 돕는다. 따라서 멘토를 모든 의사가 사용할 수 있도록 하는 것이 중요하다.

Mentors help trainees to find the pleasures in their work and are an integral component of professional training. Mentors help with stress reduction and adaptation to change and it is therefore important to make mentors available to all doctors.






Careers

Doctors need to be supported, not trained in resilience

BMJ 2015351 doi: https://doi.org/10.1136/bmj.h4709 (Published 15 September 2015)Cite this as: BMJ 2015;351:h4709


회복탄력성척도의 리뷰(J Nurs Meas, 2009)

A Review of the Resilience Scale

Gail Wagnild, RN, PhD

Worden, Montana




연구원들은 다양한 방법으로 회복탄력성을 측정해 왔다. 대부분은 자존감, 사기, 삶의 만족도, 일관성의 감각 등을 포함한 회복력을 측정하기 위해 여러 지표와 도구를 선택했다. 다른 이들은 현재 여러 가지가 있는 회복탄력성을 측정하기 위해 특별히 고안된 도구를 사용했다.

Researchers have measured resilience in a variety of ways. Most have selected multiple indicators and instruments to measure resilience including self-esteem, morale, life satisfaction, sense of coherence, and so forth. Others have used instruments designed specifically to measure resilience of which there are now several.


회복탄력성 척도의 배경

BACKGROUND OF THE RESILIENCE SCALE


The Resilience Scale(RS) 는 1993년에 발표되었다(Wagnild & Young, 1993). 이 척도는 (1) 주요 인생 사건에 이어 성공적으로 적응한 노년층 여성에 대한 1987년 질적 연구와 (2) 그 당시까지의 회복력에 관한 문헌을 철저히 검토한 것에 기초하였다(Wagnild & Young, 1990년).

The Resilience Scale was published in 1993 (Wagnild & Young, 1993). The scale was based on (a) a 1987 qualitative study of older women who had adapted successfully following a major life event, and (b) a thorough review of the literature on resilience up to that time (Wagnild & Young, 1990).


RS의 개념적 토대 역할을 하는 탄력성의 다섯 가지 특징이 있다. 

The five characteristics of resilience, which serve as the conceptual foundation for the Resilience Scale, are 

  • 끈기 또는 끈기의 행위는 역경이나 낙담에도 불구하고 , 자신의 삶을 재구성하고 역경 속에서도 계속 관여하려는 투쟁을 계속하겠다는 의지를 내포하고 있다. 인내란 좌절에도 불구하고 계속 나아갈 수 있는 능력이다. 

  • 평정주의는 삶과 경험에 대한 균형 잡힌 관점이며, 느슨하게 앉아 다가오는 것을 취하는 것으로 볼 수 있으며, 따라서 역경에 대한 극단적인 반응을 완화시킨다. 침착한 사람들은 종종 유머감각을 가지고 있다. 

  • 의미심장함은 삶에는 목적이 있다는 깨달음과 살아갈 무언가가 있다는 것을 인식하는 것이다. 

  • 자립심이 강한 사람들은 자신을 믿는다. 그들은 자신의 개인적 강점과 능력을 인식하고 의지하며 과거의 성공을 이용하여 자신의 행동을 지원하고 지도한다. 

  • 존적 고독은 각 개인이 유일하고 어떤 경험은 공유될 수 있지만 다른 사람들은 혼자 직면해야 한다는 깨달음이다. 실존적 고독과 함께 독특함과 아마도 자유라는 느낌이 든다(Wagnild & Young, 1990, 1993).

  • perseverance or the act of persistence despite adversity or discouragement, connoting a willingness to continue the struggle to reconstruct one's life and remain involved in the midst of adversity. Perseverance is the ability to keep going despite setbacks. 

  • Equanimity is a balanced perspective of life and experiences and might be viewed as sitting loose and taking what comes, thus moderating the extreme responses to adversity. Those with equanimity often have a sense of humor. 

  • Meaningfulness is the realization that life has a purpose and recognition that there is something for which to live. 

  • Those who are self-reliant believe in themselves. They recognize and rely on their personal strengths and capabilities and draw upon past successes to support and perhaps guide their actions. 

  • And finally, existential aloneness is the realization that each person is unique and that while some experiences can be shared, others must be faced alone. With existential aloneness comes a sense of uniqueness and perhaps freedom (Wagnild & Young, 1990, 1993).


1990년대 초반의 몇몇 소규모 연구들은 대학생과 대학원생, 알츠하이머병에 걸린 배우자의 간병인, 직장에 복귀하는 첫 번째 엄마, 공공주택 거주자를 포함한 회복 규모의 가장 이른 신뢰성과 유효 데이터를 제공했다(Wagnild & Young, 1993) Cronbach's 알파 계수는 일관되게 허용되고 적당히 높았다(.73 ~ 0.91).

Several small studies in the early 1990s provided the earliest reliability and validity data for the Resilience Scale including undergraduate and graduate students, caregivers of spouses with AlzheimerÊs disease, first-time mothers returning to work, and residents in public housing (Wagnild & Young, 1993). CronbachÊs alpha coefficient was consistently acceptable and moderately high (.73 to .91).


회복력 척도의 신뢰성과 유효성은 중년과 노년층 810명의 표본에서 추가로 시험되었고, 그 중 48%가 남성이었다.

The reliability and validity of the Resilience Scale were tested further in a sample of 810 middle-aged and older adults, 48% of whom were male.



출판된 연구의 리뷰

REVIEW OF PUBLISHED STUDIES


1999년 이후, 12개의 선정된 연구들이 이 기사에 대해 완성되고 검토되었다. 가능한 경우, 복원력 척도 점수, 다른 변수와의 상관 관계 및 표본 특성이 보고되었다. 표 1은 각각 발표된 년도의 순서대로 연구를 보여준다.

Since 1999, 12 selected studies were completed and reviewed for this article. Wherever available, Resilience Scale scores, correlations with other variables, and sample characteristics were reported. Table 1 shows the studies in order of the year in which each was published.


성인

Adolescents


TABLE 2. Resilience Scale Findings Among Adolescent Samples


젊은 중년여성

Young–Middle-Aged Women


TABLE 3. Resilience Scale Findings Among Young–Middle-Aged Women


중년, 노인

Middle-Aged and Older Adults


TABLE 4. Resilience Scale Findings Among Middle-Aged and Older Adult Samples



고찰

DISCUSSION


이 기사는 12개의 연구를 검토했다. 회복력 척도는 청소년에서 아주 나이(16세 ~ 103세)에 이르는 다양한 연령층에서 사용되었다. 검토한 모든 연구에서 회복력 척도 점수에 대한 연령 관련 차이는 없었다.

This article reviewed 12 studies. The Resilience Scale was used with a variety of age groups ranging from adolescents to the very old (16 to 103 years old). In all studies reviewed, there were no age-related differences on Resilience Scale scores.


헌터와 챈들러버그의 연구(1999년)를 제외하고, 인종 집단들 사이의 회복력 척도 점수에 대한 차이는 보고되지 않았다.

With the exception of Hunter and ChandlerÊs study (1999) , differences on Resilience Scale scores among racial groups were not reported.


도구적 타당도는 검사도구가 측정할 대상을 측정하는 범위로 정의된다. 구인 타당성은 특정 조치가 측정되는 개념과 관련하여 이론적으로 도출된 가설과 일치하는 다른 측정과 관련된 범위와 관련이 있다. 이 기사에 대한 12개 연구의 연구원들은 개인이 회복력이 있는 경우, 

  • 회복력 척도와 심리적 웰빙, 건강 증진 활동, 삶의 목적, 일관성, 사기, 용서 사이에 긍정적인 상관관계가 있을 것이라는 가설을 세웠다. 

  • 연구원들은 또한 회복력 척도 점수가 스트레스, 우울증, 불안, 외로움, 절망과 반비례할 것이라는 가설을 세웠다. 

연구에서 이러한 가설이 입증되었으며, 통계적으로 유의미하였고, 회복탄력성 척도의 구인 타당성에 대한 지원을 강화하였다.

Instrument validity is defined as the extent to which an instrument measures what it is intended to measure. Construct validity is concerned with the extent to which a particular measure relates to other measures consistent with theoretically derived hypotheses concerning the concept being measured. Researchers in the 12 studies reviewed for this article hypothesized that if individuals are resilient, 

  • there would be positive correlations between Resilience Scale scores and psychological well-being, health promoting activities, purpose in life, sense of coherence, morale, and forgiveness. 

  • Researchers also hypothesized that Resilience Scale scores would be inversely associated with stress, depression, anxiety, loneliness, and hopelessness. 

These hypotheses were supported and statistically significant, strengthening support for the construct validity of the Resilience Scale.


회복력 척도에 대한 응답은 오른쪽으로 치우치는 경향이 있었다. 대부분의 응답자들은 가능한 점수 중 상위 구간에 해당하였다. 예를 들어, 만점은 175점이고 대부분의 표본의 평균 점수는 140점부터 148점이었다. 이것은 반응에 설정된 편견, 특히 사회적 바람직함에 대한 편향과 묵인 때문일 수 있다. 사회적 바람직함 반응 편견은 사회적으로 매력적으로 보이는 방식으로 반응하는 경향이다.

Responses to the Resilience Scale tended to be negatively skewed. Most respondents scored in the upper range of possible scores. For instance, a perfect score is 175 and the average scores for most samples ranged from 140 to 148. This may be due to response set bias, particularly social desirability and acquiescence. The social desirability response bias is the tendency for a person to respond in a way that seems socially appealing.


Resilience Scale의 모든 항목은 동일한 방향으로 키로 표시되기 때문에, 특히 묵인된 응답 편견acquiescence response bias의 영향에 취약하다. 묵인된 반응 편향은 같은 문항의 워딩을 달리 하거나, 부정문으로 바꿈으로써 완화될 수 있다. 또한 응답 형식을 강제로 나뉘게 하는 것도 반응 편향을 줄일 수 있다. 예를 들어, 중립적인 반응을 포함한 7가지 가능한 응답 대신에, 각 항목을 4개 응답만 가능하도록 한다면응답자는 특정 항목 중 (긍정이든 부정이든) 어느 한쪽이나 다른 쪽을 지지해야 한다.

Because all items in the Resilience Scale are keyed in the same direction, it is particularly susceptible to the effects of an acquiescence response bias. The acquiescence response bias might be alleviated in the Resilience Scale by rewording and negatively keying current items. Also, revising the Resilience Scale so that there is a forced choice format to the response format might minimize response bias. For instance, instead of allowing seven possible responses including a neutral response, the Resilience Scale might be revised so that there are only four possible responses to each item thus forcing the respondent to endorse either one side or the other of a particular item.


특히 RS에서 항목의 표현은 일부와 수정의 필요성에 문제가 있을 수 있다. 브로일스(2005)는 자신의 연구에서 "나는 누구보다도 나 자신에게 의존할 수 있다"라는 항목에 응답할 때, 몇몇 응답자들이 그들이 의지하는 사람은 신이지 자기 자신이 아니라고 말했다고 보고했다.

The wording of one Resilience Scale item in particular may be problematic for some and in need of revision. Broyles (2005) reported that several respondents in her study, when responding to the item „I can depend on myself more than anyone else,‰ stated that was it was upon God whom they depended; not themselves.






 2009;17(2):105-13.

review of the Resilience Scale.

Author information

1
gwagnild@resiliencescale.com

Abstract

The purpose of this article is to review 12 completed studies that have used the Resilience Scale (Wagnild & Young, 1993). Completed studies were identified through PubMed and CINAHL. Studies that identified Resilience Scale scores, sample descriptions, and tested relationships between the Resilience Scale and study variables were selected for inclusion. Cronbach's alpha coefficients ranged from .72 to .94 supporting the internal consistency reliability of the Resilience Scale. Hypothesized relationships between the Resilience Scale and study variables (e.g., forgiveness, stress, anxiety, health promoting activities) were supported strengthening the evidence for construct validity of the Resilience Scale. In the studies reported here, the Resilience Scale has been used with a variety of individuals of different ages, socioeconomic, and educational backgrounds. The Resilience Scale has performed as a reliable and valid tool to measure resilience and has been used with a wide range of study populations.

PMID:
 
19711709


인게이지먼트와 프로그램적 평가를 통해서 본 멘토링의 복잡성(Med Educ, 2019)

The complexity of mentoring observed through engagement with programmatic assessment

Heeyoung Han1 & Ahreum Ju2




멘토링의 개념은 호머의 오디세이(Odyssey)까지 거슬러 올라가지만, 그 방식practice은 여전히 성숙하고 있다.1

The concept of mentoring can be traced back to Homer’s Odyssey, yet the practice is still maturing.1


직장 환경이 진화함에 따라, 멘토링이 제공되는 맥락이 다양해졌으며, 이렇게 맥락이 다양해짐에 따라 [멘토링과 그에 따른 교육적 영향을 확장하고 상세히 이해하기 위해서는] 다양한 상충되는 관점을 조사해야 할 필요가 생겼다.

as the workplace environment has evolved, mentoring has come to be situated in diverse contexts that require the investigation of various conflicting perspectives to extend and elaborate understanding of mentoring and its educational impacts.


몇몇 멘토들은 양육nurturing과 평가assessment라는 상반되는 패러다임 사이에서 역할 충돌을 경험했다. 이러한 갈등은 멘티들의 결함deficiencies에 초점을 맞춘 평가가 본질적으로 [권력 거리와 긴장을 유발]하기 때문에 다루기가 까다로우며, 이로 인해 학습자가 관계적 정신사회적 서포트에 대해 어떻게 인식하느냐에 영향을 미칠 것으로 예상할 수 있다. 관계적 정신사회적 서포트는 교육자가 학습자의 형성적 발달을 돕는 데 있어서 필수적이다.

some mentors experienced role conflicts between the different paradigms of nurturing and assessment. Such conflicts are challenging because assessment that focuses on mentees’ deficiencies inherently creates power distance and tensions, which can be expected to affect learners’ perceptions of relational psychosocial support, a key feature in the educator’s ability to help learners develop formatively.


멘토링이야말로 양육적 학습 환경을 조성하는 데 결정적이지만, 멘토링 관계의 역학을 세심하게 고려하지 않을 경우 바람직하지 않은 경험으로 이어질 수 있기 때문에, 멘토링 자체가 반드시 양육적인 것은 아니다.6–8 비효율적인 멘토링 관계로부터 아무런 혜택도 받지 못하고, 더 나쁘게는 갈등으로 끝날 수 있다.

although mentoring is crucial to the creation of a nurturing learning environment, mentoring practices themselves are not necessarily nurturing as they can lead to undesirable experiences if the dynamics of mentoring relationships are not carefully considered.6–8 It is possible to end up without any benefit or, worse, with conflict from an ineffective mentoring relationship.


멘토링이 [힘의 차이]라는 맥락에서 관계를 형성하는 것을 고려할 때, 멘토링의 복잡성은 조직의 다양성과 교차성intersectionality에 의해 발생한다. 여기에는 추가적으로 성별, 인종, 기관 문화가 작동하며, 이것들은 [멘토링이 실행되는 작업장 기반 평가(형식 또는 요약)의 유형과 무관하게] 영향을 미칠 것이다.

Given that mentoring involves relationship building in a context of power differences, complexities are introduced by diversity and intersectionality in an organisation, with gender, race and institutional culture being three additional factors that can be anticipated to have influence10–12 regardless of the type of workplace-based assessment (formative or summative) in which mentoring relationships are practised.


여성들은 멘토를 찾는 데 어려움을 겪는 경향이 있다. 9 아마도 그들이 남성 중심의 직장 문화에서 '라이징 스타'로 인식되는 경우는 거의 없기 때문일 것이다. 뮬러 외 연구원에 따르면, 남성 레지던트들은 여성 레지던트들보다 [응급의학과 의사로서 필요한 개인적 자질을 어떻게 개발해야 하는가]에 대해 일관된 피드백을 받는다. 반면 여성 레지던트들은 똑같이 개인적 자질이 없을 때에도 더 강한 비판을 받는 경향이 있다.

Women tend to have a harder time finding mentors,9 perhaps because they are rarely perceived as ‘rising stars’2 in male-dominated workplace cultures. According to Mueller et al.,13 male residents receive more consistent feedback on how to develop the personal qualities they need as physicians in emergency medicine than do female residents. Female residents, by contrast, tend to receive more strong criticism when they lack the very same personal qualities.


이것은 명백히 문제가 된다. 만약 멘토링이 개인의 발전에 도움이 된다면, 남성은 여성보다 더 높은 비율로 멘토링을 받기 때문에, 결국 더 높은 성과를 낼 가능성이 더 크다. 높은 성과는, 또 다시, 추가적인 preceptor들이 trainee들을 멘티로 맡게 됨으로서, 새로운 사이클이 시작되게 한다.

This creates an obviously problematic cycle. If mentoring helps one’s development, men, who receive mentoring at a greater rate than do women, have a greater chance of performing highly. High performance, in turn, makes it more likely that additional preceptors will take on trainees as mentees, causing the cycle to begin anew.


즉, 모든 겉보기에 긍정적인 자질에도 불구하고, 멘토링이, 성차별적 관행에서 자유롭거나 해로운 결과에 대해 면역이 되어있다고 가정할 수는 없다.

That is, we cannot assume that mentoring, for all its seemingly positive qualities, is free of gendered practice or immune to detrimental outcomes.


멘토링 관계에서의 멘토와 멘티의 인종(또는 성별)이 다른 경우, 멘토링이 효과적이려면 부정적 고정관념과 무의식적 편견과 같은 장벽을 극복해야 한다.15 예를 들어, 백인 남성 멘티들은 (아무것도 하지 않아도) 잠재력이 있는 것으로 암묵적으로 인식될 수 있지만, 일반적으로 유색인종 멘티 여성들을 성별이나 인종이 다른 멘토와 짝을 이룬 경우, 자신의 능력을 증명해야 한다. 그리고 이것은 그들이 경력개발을 더 더디게 만든다.

Cross-race (and cross-gender) pairing in mentoring relationships requires the overcoming of barriers such as negative stereotypes and unconscious biases for mentoring practice to be made effective.15 For example, whereas White male mentees may be implicitly perceived as having potential, women of colour mentees are generally required to demonstrate evidence of their ability in cross- gender and cross-race mentoring relationships, which leaves them on a slower track over the course of their careers.15


멘토의 상황과 멘티의 상황을 모두 고려한 이해를 바탕으로 [멘토링 관행 및 관계의 복잡성]에 대해 직면할 필요가 있다.

it is imperative to confront the complexity of mentoring practices and relationships with an understanding of the contexts in which both mentees and mentors are situated.


단순히 "다양한 성별, 인종, 다양한 민족을 포함하는 다양한 학생 모집단을 account for하기 위해 멘토링 관계가 어떻게 변화해야 하는가?"라는 질문을 던지는 것 만으로도 의도하지 않은 편견에 대한 인식을 높일 수 있고, 이는 프로그램 전체적으로 어떻게 관행을 변화시켜야 하는지를 밝혀줄 것이다.

Simply questioning how mentoring relationships need to change to account for different student populations that include heterogeneous performers and people of various genders, different races and diverse ethnicities might raise awareness of unintended biases that can shed light on how the programme as a whole needs to adapt its practices.


특정 모집단 내에서 개발된 멘토링의 단일한 고정된 모델만으로는 프로그램적 평가의 성공적인 사용을 보증하는 데 아무런 도움이 되지 않는다.

The consideration of a single fixed model of mentoring, developed within a certain population, does nothing to guarantee the successful use of programmatic assessment.





 2019 Jun;53(6):542-544. doi: 10.1111/medu.13906.

The complexity of mentoring observed through engagement with programmatic assessment.

Han H1Ju A2.

Author information

1
Department of Medical Education, Southern Illinois University School of Medicine, Springfield, Illinois, USA.
2
Department of Education Policy, Organization & Leadership, College of Education, University of Illinois at Urbana-Champaign, Urbana, Illinois, USA.
PMID:
 
31106889
 
DOI:
 
10.1111/medu.13906


보건전문직교육에 초점을 둔 멘토십 평가 도구 개발 및 타당화(Perspect Med Educ, 2019)

Development and validation of a health profession education-focused scholarly mentorship assessment tool

Christina St-Onge1 · Meredith Young2 · Lara Varpio3




문제

Problem


건강 전문가 교육 연구활동(HPES)은 [교육 활동에 종사하는 임상의사 교육자[2]]와 [연구 방법 및 이론에 대한 지식을 가진 박사 HPES 연구 과학자[2]]를 포함하여, 전문가와 공식 훈련을 받은 여러 분야의 학자들이 참여하는 공동의 노력[1]이다.

Health professions education scholarship (HPES) is a collaborative endeavour [1] involving scholars across areas of expertise and formal training—including clinician educators [2] who engage in educational activities and PhD trained HPES research scientists [2] with knowledge of research methods and theories.


학술적 멘토링은 종종 HPES 연구 과학자들의 직무 기술서에 교육 업무량 중 하나로 중요하게 명시되어 있다. (즉, 학술적 멘토링은 종종 교수개발 워크샵, 교실 교육 제공, 직장 기반 교육 제공과 같은 교육 활동과 함께 교직원의 직무기술서에 나와있는 것 중 하나이다.) 이러한 교육활동이 비공식적으로는 교육이지만, 불행하게도, 종종 승진과 종신 재직 위원회에서 학술적 멘토링은 공식적으로 인정되지 않는다.

scholarly mentorship is often explicitly listed in HPES research scientists’ job descriptions as a significant contribution to their teaching workload (i. e., scholarly mentorship is often incorporated within the teaching expectations in faculty job descriptions, subsumed along with educational activities such as offering faculty development workshops, classroom instruction, and/or workplace-based teaching) [4]. Unfortunately, while informally recognized as teaching, scholarly mentorship is not often formally recognized as such by promotion and tenure committees [5].


HPES 연구 과학자들에게 요구되는 것과 승진과 종신 재직에 대해 인정되는 것 사이의 차이가 있다면 문제가 있다. 이러한 학술적 멘토링 협력에서 제공되는 교육적 지원을 공식적으로 인정하지 않고 HPES 연구 과학자들은 구조적으로 이 작업에 관여하지 못하게 된다[5].

The gap between what is required of HPES research scientists and what is recognized for promotion and tenure is problematic. Without formal recognition of the educational support offered in these scholarly mentorship collaborations, HPES research scientists are structurally disincentivized from engaging in this work [5].



접근법

Approach


우리는 DeVellis의 [6] 8단계 프레임워크를 사용하여 도구를 개발했으며, Messick의 통합 타당성 이론[7, 8]은 우리의 유효성 접근법을 알려주었다.

We used DeVellis’s [6] 8-step framework to develop the tool, and Messick’s unified theory of validity [7, 8]informed our validation approach.


DeVellis 프레임워크의 1단계는 관심있는 구인을 정의하는 것이다. 우리의 구조는 HPES 연구 과학자들이 연구 협력을 위해 제공하는 학술적 멘토링이다. 세 기관 모두에서 양립가능성을 보장하고 승진 및 종신 재직 위원회가 학문적 멘토링을 가르치는 방법과 일치시키기 위해, 우리는 옥스포드 영어 사전에서 정의한 teaching이라는 용어를 우리의 구조에 라벨을 붙이기 위해 사용하기로 결정했다. "정보를 주고, 훈련시키고, 지침을 전달하고, 지식을 전달하고, 길을 보여주고, 지시하는 것". 이 정의는 우리가 목적으로 한 학술적 멘토 활동[5]을 포괄하며, 우리 세 기관에 걸친 HPES 연구 과학자들의 직무 설명과 승진 기준을 포괄한다.

Step 1 of DeVellis’s framework is to define the construct of interest. Our construct is the scholarly mentorship provided by HPES research scientists in research collaborations. To ensure compatibility across all three institutions and alignment with how promotion and tenure committees label scholarly mentorship as teaching, we chose to use the term teaching as defined by the Oxford English Dictionary to label our construct: “to inform, to train, to give instruction to, to impart knowledge, to show by way, to instruct.” This definition encompasses the scholarly mentorship activity of interest to us [5], and maps across job descriptions and promotion criteria for HPES research scientists across our three institutions.


부록 1은 도메인 목록을 생성하는 데 사용되는 모든 참조를 보여준다.

Appendix 1, shows all the references used to generate the list of domains.


귀납적 분석 접근법[10]을 사용하여, 학계 멘토링에 종사할 때 HPES 연구에서 필요한 기술을 구성하는 여섯 가지 영역을 식별했다.

Using an inductive analysis approach [10], we identified six domains that constitute the skills required of HPES research scholars when engaging in scholarly mentorship:


A. 해당 학술 분야의 전문성

B. 연구 방법론, 방법 및 프로세스에 대한 전문성

C. 실행 가능하고, 잘 조율된 연구 계획의 개발에 대한 숙련도

D. 자원, 동기 부여 및/또는 전문 개발 측면에서 지원을 제공하는 능력

E. 네트워킹 및 가시성visibility 향상 측면에서 지원을 제공하는 기능

F. 연구 결과의 보급과 커뮤니케이션을 지원하는 능력.

A. Expertise in scientific or scholarly field;

B. Expertise in research methodologies, methods, and processes;

C. Proficiency in the development of a feasible, coordinated research plan;

D. Ability to offer support in terms of resources, motivation, and/or professional development;

E. Ability to offer support in terms of networking and increasing visibility;

F. Ability to support the dissemination and communication of research findings.


2단계에서, 1단계에서 식별된 도메인이 평가 도구 개발을 위한 청사진 역할을 한다. 다음 프로세스를 순차적으로 완료하여 문항 풀을 생성했다.

In Step 2, the domains identified in Step 1 serve as the blueprint for the development of the assessment tool. We generated an item pool by completing the following processes in sequential order:


6개 영역의 26개 항목, 8개 배경항목, 9개 만족항목을 총 41개 항목으로 파악했다.

We identified 26 items for the six domains, 8 background items, and 9 satisfaction items, for a total of 41 items.


3단계에서는 평가 도구에 대한 구조를 결정한다. 항목(완전히 이견, 동의, 완전 동의)에 대해 4점 Likert 척도를 작성했으며, 1단계와 2단계(부록 1)에 수록된 조사 사례를 미러링하기 위해 "적용할 수 없음" 보기를 포함했다.

Step 3 calls for the selection of a structure for the assessment tool. We created a 4-point Likert Scale for items (Totally disagree, Disagree, Agree, Totally Agree), and included a not applicable option to mirror survey examples found in Steps 1 and 2 (Appendix 1).


4단계에서는, Messick의 내용 증거 개념화에 맞춰 전문가와 상담하여 평가 도구(v1)에 포함된 항목 풀을 검토하도록 요청했다. 

Aligned with Messick’s conceptualization of evidence of content, we consulted experts and asked them to review the item pool included in the assessment tool (v1) during Step 4. Stakeholders included:


e-메일을 통해 평가 툴(v1)을 공유하고, 각 참가자에게 

  • (1) 각 항목의 명확성, 

  • (2) 항목의 적절성, 

  • (3) 모든 공백 또는 누락 요소, 

  • (4) 잠재적 개선사항 

  • (5) 자신이 상황에 비춰본 도구의 타당성과 수용성

...에 대해 의견을 제시하도록 요청했다. 각 이해관계자는 독립적으로 협의하였으며, 참가자들 간에 어떠한 결과도 공유되지 않았다.

Via email, we shared the assessment tool (v1) and asked each participant to comment on 

  • (1) the clarity of each item, 

  • (2) the appropriateness of items, 

  • (3) any gaps or missing elements, 

  • (4) potential improvements, and 

  • (5) the feasibility and acceptability of the tool in their setting. 

Each stakeholder was consulted independently, and no results were shared across participants.


응답을 받은 후, 연구원들은 평가 도구에 대한 변경 사항을 논의하고 실행하기 위해 만났다. 5단계가 마무리되었을 때, 평가 툴(v2)은 6개 도메인에 매핑된 25개 항목(도메인 A, B, C의 경우 각각 5개 항목, 도메인 D와 E의 경우 3개 항목, 도메인 F의 경우 4개 항목), 배경 질문 6개, 총 33개 항목에 대한 만족도 질문 2개로 구성되었다.

After replies were received, the researchers met to discuss and implement changes to the assessment tool. By the end of Step 5, the assessment tool (v2) consisted of 25 items mapped to the six domains (5 items each for domains A, B and C; 3 items each for domains D and E, 4 items for domain F), six background questions, and two satisfaction questions for a total of 33 items.


영어 버전은 온라인 전자 보충 자료의 부록 2를 참조하십시오.

See Appendix 2, in the online Electronic Supplementary Material, for the English version.



성과

Outcomes


Messick의 구조 증거 개념화에 맞추어, 6단계에서 53명의 MD 협력자 또는 대학원생을 초대하여 설문을 받아보았다. 목표는 우리 도구의 심리측정적 특성을 확립하는 것이었다DeVellis는 이 단계를 "development sample을 대상으로 한 설문시행"이라고 불렀으며, 우리는 참가자들에게 도구의 수용가능성acceptability과 관련된 설문를 완료하도록 요청했다. 익명성을 보호하기 위해, 소속대학이 다른 연구 보조원이 참가자들에게 연락했다.

Aligned with Messick’s conceptualization of evidence of structure, in Step 6 we invited 53 MD collaborators or graduate students to complete the tool. The goal was to be able to establish the psychometric qualities of our tool. During this step, which DeVellis labels as administering the tool to a development sample, we also asked participants to complete a survey regarding the tool’s acceptability. To protect anonymity,a research assistant from a different participating university contacted participants


DeVellis의 7단계(항목 평가)와 8단계(스케일 최적화)를 결합하여 6단계의 피드백을 분석했다. 사회생태학적 항목들은 기술적으로 분석되었다. 고전적 시험 이론[12]의 원리에 따라, 척도의 정신계 특성(항목 난이도 및 차별)과 내부 일관성(크론바흐의 알파)을 평가하기 위한 항목 분석을 실시했다. 고전적 시험 이론은 점수들의 의도된 서술적 사용intended descriptive use을 반영하기 때문에 선택되었다[12].

We combined DeVellis’s Steps 7 (evaluation of the items) and 8 (scale optimization) in analyzing the feedback offered by participants in Step 6. Sociodemographic items were analyzed descriptively. Relying on principles of Classical Test Theory [12], we conducted an item analysis to assess the psychometric properties (item difficulty and discrimination) and internal consistency (Cronbach’s alpha) of the scale. Classical Test Theory was chosen to inform our analysis because it reflects our intended descriptive use of the scores [12].


다음 단계

Next Steps


우리가 개발한 도구(SHPE(Scholly Teaching in Health Professions Education) 평가 도구)는 HPES 연구 과학자들이 제공하는 학문적 멘토에 대한 피드백을 열거, 평가 및 제공하는 증거에 근거한 수단이다.

The tool we developed—the Scholarly Teaching in Health Professions Education (STHPE) assessment tool—is an evidence-informed means for enumerating, assessing, and offering feedback on the scholarly mentorship offered by HPES research scientists.


10. Thomas DR. A general inductive approach for analyzing qualitative evaluation data. AmJ Eval. 2006;27:237–46.









 2019 Feb;8(1):43-46. doi: 10.1007/s40037-018-0491-0.

Development and validation of a health profession education-focused scholarly mentorshipassessment tool.

Author information

1
Department of Medicine, Faculty of Medicine and Health Sciences, Université de Sherbrooke, Sherbrooke, Quebec, Canada. christina.st-onge@usherbrooke.ca.
2
Department of Medicine, Centre for Medical Education, McGill University, Montreal, Quebec, Canada.
3
Department of Medicine, Uniformed Services University of the Health Sciences, Bethesda, MD, USA.

Abstract

PROBLEM:

PhD-trained researchers working in health professions education (HPE) regularly engage in one-on-one, or one-on-few, scholarlymentorship activities. While this work is often a formal expectation of these scientists' roles, rarely is there formal institutional acknowledgement of this mentorship. In fact, there are few official means through which a research scientist can document the frequency or quality of the scholarly mentorship they provide.

APPROACH:

OUTCOMES: The STHPE assessment tool has appropriate psychometric properties and evidence supporting acceptability. It can be used to document areas of strength and areas for improvement for research scientists engaged in HPE-related scholarly mentorship.

NEXT STEPS:

At present, the STHPE assessment tool is the only formally developed tool for which there is evidence of validity for use by PhD-trained researchers working in HPE to collect feedback on their scholarly mentorship skills. The STPHE has been used in promotion and tenure packages to document effectiveness and quality of scholarly mentorship.

KEYWORDS:

Assessment; Innovation; Scholarly Mentorship

PMID:
 
30632060
 
PMCID:
 
PMC6382618
 
DOI:
 
10.1007/s40037-018-0491-0


의학교육 개선, 그들만의 잔치(KJME, 2006)

서울대학교 의과대학 의학교육실

이 윤 성




우리 대학에서 새 교육과정을 제시하였을 때에 교수들이 가장 많이 던진 질문은 “현 교육과정에 무엇이 문제인가?”였다. 지금의 교육과정으로 의사와 의학자를 훌륭하게 양성하였는데 “그런 교육과정에어떤 치명적인 결함이 있는가? 있다면 객관적인 자료를 제시해 보라.”거나 “그렇게 바꾸면 더 나은 졸업생을 배출한다는 근거가 있느냐?”는 질문도 있었다. 급기야 교육 개선이란 의학교육을 한다는 인사들이 자신의 성과를 과시하기 위하여 만든 일거리라는 비난도 있었다. 이른바 의학교육 전문가들만의 잔치일 뿐이라는 비아냥거림도 들었다.


그렇더라도 이제 의학교육이 바뀌어야 한다는 데에 의문을 가진 교수는 많지 않다. 의학교육은 정말바뀌어야 하는가? 그 답은 의학교육을 둘러싼 여러 분야의 변화에서 찾아야 한다. 

① 환자들이 의사에게 기대하는 바가 달라졌다. 

② 건강보험과 같은 관련 제도가 바뀌어 관리의료 (managed care)로 변환하였다. 

③ 의학 지식이 진화하였다. 

④ 의사가 할수 있는 일과 할 일이 변하였다. 그리고 

⑤ 학생들의 요구가 이전과 같지 않다 (Dent et al., 2001). 


의사가 활동하는 사회가 변하였다면, 그리고 사회가 원하는 의사의 역할이 변하였다면, 의사 양성을 목표로 삼은 의과대학의 교육은 변하여야 한다. 몇 가지만 설명한다.


생명과학은 숨 가쁘게 진화하고 발전하고 있다.교육 내용도 당연히 많아졌다. 그러나 의사 양성 기간은 예나 지금이나 4년이다. 모든 지식을 쏟아 부을 수도 없다. 스스로 문제를 해결하는 능력을 갖추도록 교육 방법을 바꾸어야 한다. 반세기 전만 하더라도 지식을 얻을 수 있는 길은 교수의 강의가 거의 전부였다. 이제 지식은 정보라 부르고 정보는 너무많다. 의사는 정보를 찾아 가치를 판단하고 적용할수 있어야 한다.


국민에게 의료가 “혜택의 의료”에서 “권리의 의료”로 바뀌었는데도 의사만 의료시혜자로 남을 수없다. 의사는 보건의료의 공급자로서 역할이 강조된다. 다른 용역 제공과 다른 것은 사람의 건강과 생명을 대상으로 한다는 점과 전문가정신 (professionalism)이 강조된다는 점이다. 세계보건기구는 

  • ① curer가 아닌 care provider, 

  • ② 윤리성과 효율성을고려한 보건의료의 decision maker, 

  • ③ 개인과 집단의 건강 증진을 도모하는 교육자로서 communicator,

  • ④지역사회 건강을 위한 community leader, 

  • ⑤ 보건의료 시스템에서 manager

...를 21세기 의사의 역할로써 제시하였다 (World Health Organization, 1996).


어떻게 변하여야 하는가? 의학교육 전략을 수립하는 원칙으로 이른바 SPICES model이 제시되었다.즉 

  • ① 교수보다는 학생을 중심으로 (Student-centered),

  • ② 지식과 정보를 제공하기보다는 문제나 업무를 바탕으로 (Problem-based/Task-based), 

  • ③ 교과목이나 학문보다는 통합하고 전문직간 교육으로 (Integrated and interprofessional), 

  • ④ 병원보다는 지역사회를 바탕으로 (Community-based), 

  • ⑤ 일률적인 교육과정보다는 선택 과정으로 (Elective), 

  • ⑥ 우연한 기회에 맡기기보다는 체계적으로 (Systemic) 

....교육전략을 마련하도록 권유한다 (Harden et al., 1984).그런 까닭에 PBL, OSCE, subintern, CPX, Skill Lab등이 교육과정에 거론되었다.


교수의 교육법은 어떠한가? 자기의 전공에서 남보다 깊은 지식을 많이 지니면 교수의 자질이 충분하다고 인정되던 때도 있었다. 지식이 일부 학자에게 집중되었던 시절이다. 학생들에게 필요한 지식은 교수가 독점 (?)하던 지식이 아니라 무한히 넓은 정보의 바다에서 찾아야 한다. 교수는 지식도 많아야 하지만 잘 가르쳐야 한다. 오히려 대단한 학자보다는학문은 덜 깊어도 쉽게 학습할 수 있도록 이끌어주는 선생이 더 좋은 교수이다. “Teacher must teach to learn. Teacher must learn to teach.” 요컨대 교육에서 가르침 (teaching)보다 배움 (learning)이 더 중요하다. 의학교육 변화는 학생에 맞추어야 한다. 꼭 알아야 할 내용을 되도록 즐겁게 배워 몸에 지녀야 한다.


교육은 여러 면에서 변하여야 한다. 이런 변화를 주도하는 교수를 의학교육 전문가라 한다면, 의학교육은 의학교육 전문가만의 잔치일 수 없다. “그들만의 잔치”라는 비아냥거림은 무엇 때문일까? 그 해결방법을 모색해 본다.


(1) 변화의 방향과 범위와 속도를 정확하고 바르게 기획하여야 한다. 그러려면 ‘의학교육 전문가’는공부해야 한다. 단편적인 지식이나 용기만으로는 또는 다른 나라, 다른 대학의 변화를 단순히 복사하는것만으로는 부족하다. 자신감을 가지고 지식과 경험을 습득하기 위하여 부단히 노력하여야 한다.


(2) 결국 교육을 담당하는 인력은 교수들이다. 교수들에게 끊임없이 교육 개선의 필요성이나 범위와 방법 등에 대하여 지속적으로 알리고 부추기고 강조하여야 한다. 또 교육에 관한 교수 개발 (faculty development)은 절대로 소홀히 할 수 없다.


(3) 지원 세력이 필요하다. 아무리 일기당천의 실력과 패기가 있더라도 큰 변화에는 반드시 지원이 필요하다. 학장과 의학교육에 뜻을 가진 핵심 교수들의 지원은 필수이고, 나아가 지지 세력과 후원 세력이 필요하다.


(4) 교육 변화는 정당한 절차를 거쳐야 한다. 예를들어 학장이 교육의 변화를 선언하고, 주임교수회나전체교수회에서 범위와 방향과 방법을 합의하도록하고, 여러 단계에 걸쳐 하나씩 결정하는 방법이 정당하다.


(5) 의학교육학회는 전문가를 양성하고 이들의 네트워크를 형성하여야 한다. 한 대학에 모든 분야의전문가를 확보할 수는 없다. 교육과정, 교육 방법,교육 평가, 교수 개발 등 여러 분야에 다양한 수준의 전문가가 필요하다. 이런 분야를 연구하고, 전문가를 양성하고 지원하는 프로그램을 개발하여야 한다.


이 세상에 변하지 않는 것은 없다. 다가오는 변화를 선도할 것인가, 그냥 따를 것인가, 아니면 무시할것인가는 각자의 판단에 맡길 수밖에 없다. 그러나 변화 자체를 부인하지는 못 한다. 의학교육과 관련된 논의와 활동이 ‘그들만의 잔치’로 끝나지 않으려면, ‘그들만’이 아닌 ‘우리’의 잔치로 바꾸어야 할 ‘그들’의 노력도 적지 않다.





119Perspective of e-Learning in Medical Education
Y S Lee
Korean J Med Educ. 2006;18(2):119-120.   Published online August 31, 2006   
DOI: https://doi.org/10.3946/kjme.2006.18.2.119


의학교육에서 측정과 평가의 토대(AMEE Guide No. 119) (Med Teach, 2017)

The foundations of measurement and assessment in medical education

Mohsen Tavakola and Reg Dennickb





도입

Introduction


모든 공식 교육의 DNA는 평가다. 평가라는 것은 [시험자료에서 파생된 정보를 수집해 해석하여 수험내용과 학생점수를 정당화하는 체계적인 과정]이다.

The DNA of any formal education is assessment. It is a systematic process that collects and interprets information derived from exam data to legitimize examination content and student marks


[평가는 학습의 측정]이며, 측정 과정의 정확성, 신뢰성 및 타당성에 영향을 미치는 요인에 대한 이해가 고품질 평가의 생성에 필수적이라는 점을 강조해야 한다.

It should be emphasized that assessment is the measurement of learning and that an understanding of the factors that influence the accuracy, reliability, and validity of the measurement process are essential for the creation of high quality assessments


측정과 평가

Measurement and assessment


측정

Measurement


측정이란 [규칙에 기반하여 개체, 사건, 속성, 특성에 숫자를 할당하는 것]으로 정의되었다(Miller et al. 2013). 이 정의에서 특성은 숫자로 분류된다. 예를 들어 명확한 "규칙"은 이런 것이 있다. 동일한 지시와 시행, 문제, 채점방식에 따라 시험을 치르게 되면 학생들의 점수를 서로 비교할 수 있다.

It has been defined as the assignment of numbers to objects, events, attributes, and traits according to rules(Miller et al. 2013). In this definition these characteristics are labeled by numbers. An example may clarify the “rules”.If students take an exam with the same instructions, administration, assessment questions, and scoring system, we can compare students’ marks with each other.


평가

Assessment


평가는 "개인이 얼마나 잘 수행하는가?"와 관련이 있다(Miller 등, 2013).

Assessment is concerned with “How well does the individual perform?” (Miller et al. 2013).


학생들의 능력을 측정하는 타당하고 신뢰할 수 있는 평가에는 세 가지 주요 목표가 있다. 

    • "향후 학습의 동기와 방향을 제공함으로써 모든 학습자와 실무자의 능력을 최적화한다. 

    • 무능한 의사를 확인함으로써 대중을 보호한다. 

    • 지원자 또는 상위단계 교육을 받을 사람을 선발할 근거를 제공한다"(Epstein 2007).

Valid and reliable assessments that measure the ability of students have three main goals: 

    • “to optimize the capabilities of all learners and practitioners by providing motivation and direction for future learning; 

    • to protect the public by identifying incompetent physicians; and 

    • to provide a basis for choosing applicants or advanced training” (Epstein 2007). 

의학교육에서 평가는 개별 과목의 학습성과에 기초해야 한다.

In medical education, assessment should be based on the learning outcomes of the individual courses


형성평가와 총괄평가

Formative and summative assessment


형성평가

Formative assessment


학생들은 자신의 역량 격차나 교육적 필요성, 현재 상태와 원하는 목표의 차이를 알아야 하며, 그 격차를 줄이기 위한 조치를 취해야 한다(Black and William 1998).

Students should be aware of their competency gaps or educational needs, the difference between their current status and their desired goals, and they should take action in order to achieve this (Black and Wiliam 1998).


이러한 판단에 기초하여, 의학 교사들은 학생들이 원하는 학습 목표를 달성하기 위해 교육 자료를 조정하고 학습 성과를 명확히 한다. 학생과 교육자에 대한 건설적 피드백은 형성적 평가의 초석이다(Shepard 2006).

Based on these judgments, medical teachers adjust educational materials and clarify learning outcomes in order for students to achieve the desired learning goals. Constructive feedback to students and educators is the cornerstone of formative assessment (Shepard 2006).


총괄평가

Summative assessment


종합평가에 의해, 우리는 대중에게, 우리 학생들이 환자의 진단과 치료에 대한 최소한의 기준을 충족했다고 보장한다(Norcini and Dawson-Sunders 1994).

by summative assessment, we assure the public that our students have minimum standards for the diagnosis and treatment of patients (Norcini and Dawson-Saunders 1994).


규준지향 평가와 준거지향 평가

Norm-referenced and criterion-referenced measurement


규준지향 해석은 코호트의 학생들의 성적 분포에 학생 간 상대적 성적 분포와 관련이 있다.

Norm-referenced interpretations are concerned with a student’s mark relative to the distribution of marks of a cohort of students.


규준지향 평가에는 높은 성과 낮은 성과를 차별화하기 위해 어려운 질문이 포함될 수 있다. 이것은 자리가 제한되어 있을 때 지원자를 선발하는데 유용하다.

norm-referenced assessments can contain hard questions in order to differentiate high and low performers. This is useful for selecting applicants when there are limited positions available,


기준 참조 해석은, 때로는 객관적 참조라고 부르기도 하며, 과정 학습 결과를 형성하는 기준과 관련이 있다. 이 접근법에서, 학생의 마크는 학습 결과의 달성에 근거하여 해석된다.

Criterion-referenced interpretations, sometimes called objective referenced, are concerned with the criteria forming the learning outcomes of a course. In this approach, a student’s mark is interpreted based on the achievement of learning outcomes


기준설정

Standard setting


대부분의 기준설정 방법은 합격과 불합격의 경계선에 있는 학생이 보였을 수행능력을 추정하는 방식으로 이루어지며, 이를 통해 최소한의 수행능력 수준을 합격선으로 설정한다.

Most standard setting methods use the estimated performance of a borderline student who is on the border between pass and fail to identify a pass mark that establishes the minimum level of performance,


시험 중심 방법은 가장 인기 있는 방식으로, 안고프 방식(및 그 변형), 에벨 방식, 네델스키 방법이 있다. 이러한 접근법은 두 가지 이유로 비난을 받아왔다. 

  • 첫째, 표준 설정자들이 어떤 항목에 정확히 답할 확률을 추정하기 위해 경계선 학생들의 지식과 기술 수준을 상상하는 것은 매우 어렵다. 

  • 둘째로, 표준 설정자가 바뀌면 합격선도 바뀐다(Cizek 1993).

The most popular test-centered methods are the Angoff method (and its modifications), the Ebel method, and the Nedelsky. These methods have been criticized for two reasons. 

  • First, it is very difficult for standard setters to imagine the knowledge and skill levels of borderline students in order to estimate the probability that they answer an item correctly. 

  • Secondly, if standard setters are changed, the pass mark will change (Cizek 1993).


학생 중심의 방법에서 합격 점수는 특정 평가에 기초한 학생들의 실제 성적에 기초한다.

In student-centered methods, the pass mark is based on students’ actual performance on a specific assessment.



성능(표준) 데이터 표시

Presentation of performance (normative) data


학생들의 수행능력이 패스 마크에 미치는 영향을 둘러싼 논란이 있다. 메타 분석 결과, 표준 설정자에게 항목 난이도 값을 제시하여 Angoff's method를 사용하면 합격 점수가 낮게 나타난 것으로 나타났다. 항목 난이도 값을 제공하는 경우, 합격선보다는 표준 설정자 사이의 변동성에 영향을 미친다는 주장이 제기되었다. 또한, 표준 설정자는 "토론과 피드백이 있는 경우에, 최종적으로 정한 합격선에 대해 더 확신을 갖는다"고 느낀다(Hombton et al. 2012).

there is controversy surrounding the influence of performance data on the pass mark. A meta-analysis showed that presenting the item difficulty values to standard setters resulted in low pass mark using Angoff’s methods (Hurtz and Auerbach 2003). It has been argued that providing item difficulty values impacts on the variability among standard setters rather than on the established pass mark. In addition, standard setters “feel more confident about the resulting performance standards if there has been discussion and feedback” (Hambleton et al. 2012).


일부 연구에서는 표준 설정자에게 학생 점수데이터를 제공하면, 합격점 표시가 증가하거나 감소한다는 것을 보여준다.

Some studies show that the pass mark increases or decreases by providing performance data to standard setters.


보상 및 결합 표준 설정 전략

The compensatory and conjunctive standard-setting strategies


보상적 채점은 합격/불합격 판단을 위해 특정 합격/불합격 표시를 비교한 평가 배터리의 합계를 의미한다. 스테이션이 모두 [임상 수행능력]과 같은 단일 구인을 측정하는 경우, 스테이션 점수의 평균은 관심구인을 유의미하게 대표하며, 따라서 하나 또는 두 개 스테이션의 점수가 낮더라도, 전체 수행능력이 적절하다면 무시할 수 있다(Haladyna 및 Hess 1999).

Compensatory strategy/scoring refers to the sum of a battery of assessments which are compared with a particular pass mark to make a pass/fail judgment. If stations all measure a single construct, such as the construct of clinical performance, the average of the station scores meaningfully represents the construct of interest, and hence a low score on one or two stations can be overlooked if overall performance is adequate (Haladyna and Hess 1999).


결합적 채점에서, 각 스테이션은 별도의 합격기준이 있는 단일 구인을 구성하며, 각 스테이션이 환자 안전을 위해 필요하기 때문에 하나의 스테이션을 실패하는 것도 용인되지 않는다. 전문 인증 및 면허 시험의 경우, 평가를 통해 자격증을 받은 사람은 관심 구인construct of interest에 역량을 갖추어야 한다고 믿기 때문에 결합적 채점을 사용할 수 있다.

In conjunctive scoring, each station constitutes a single construct with a separate pass mark, and failing these stations is not tolerated since each station is necessary for patient safety. For professional certification and licensure tests, assessment leads can use conjunctive scoring as they believe that a licentiate should be competent in the construct of interest.


결과적으로, 결합적 채점에서 스테이션 점수의 합계는 무의미하다. 분명히, 탈락자는 보상적 채점보다 결합적 채점에서 더 많을 것이다. 결합적 접근법이 의사의 역량과 능력의 정당화에 중요하지만, 이 전략은 잠재적으로 더 많은 실패를 초래할 수 있으며, 이는 전문직 집단에는 문제가 될 수 있다(Haladyna and Hess 1999). 

Consequently,the sum of the stations scores does not make sense in conjunctive scoring. Clearly, fails will be greater in conjunctive scoring than in compensatory scoring. Although the conjunctive approach is central to the legitimation of a physicians' competency and capability, this strategy will potentially result in more failures, which might be professionally problematic (Haladyna and Hess 1999). 



신뢰도, 타당도

Reliability and validity


신뢰도를 이해하기 위한 유용한 비유는 시험의 "소음"이다. 시험 재시험 신뢰성, 병렬형태, 분할형태, 계수 알파 및 Kuder-Richardson, Hoyt의 방법(분석 분산 접근법을 사용하여 추정), 계수 세타(요소 분석 사용), 오메가, 계량간 신뢰성(합의) 및 일반화성 이론.

A useful analogy for understanding reliability is that of “noise” in a test. 

  • test-re-test reliability, 

  • parallel form, 

  • split-half, 

  • coefficient alpha, and 

  • Kuder–Richardson, 

  • Hoyt’s method (which is estimated using the analysis variance approach), 

  • Coefficient theta (using factor analysis), 

  • Omega, 

  • Inter-rater reliability (agreement), and 

  • Generalizability theory.


타당도

Validity


타당도는 "시험의 제안된 사용에 의해 자격이 있는 시험 점수의 해석을 뒷받침하는 증거와 이론의 정도"와 관련이 있다(AERA(American Educational Research Association, AERA) 1999). 이러한 점을 고려할 때, 평가자는 점수를 어떻게 해석하였으며 어떻게 사용할 것인지에 대해 명확히 해야 한다.

Validity is concerned with “the degree to which evidence and theory support the interpretation of test scores entitled by proposed uses of tests” (American Educational Research Association (AERA) 1999). Given this, assessors should be clear about the proposed interpretation and use of student marks.


타당성은 평가 질문이나 평가 결과와 무관하다는 점을 강조해야 한다. 평가 결과의 추론 및 결정과 관련이 있다(Kane 2002).

It should be emphasized that validity is neither concerned with assessment questions nor the assessment results. It is concerned with the inferences and decisions of the assessment results (Kane 2002).


평가 내용에 기반한 근거

Evidence based on assessment content


평가 질문은 잠재적으로 가능한 모든 평가 질문의 샘플이다.

Assessment questions are a sample of all potential assessment questions


따라서 우리는 가능한 모든 평가 질문에 대해, 평가 질문의 샘플을 얼마나 잘 일반화할 수 있는지 조사할 필요가 있다.

hence we need to investigate how well the sample of assessment questions can be generalized to all possible assessment questions.


평가 질문이 학습 목표와 얼마나 잘 일치하는가?

How well do the assessment questions align with the learning objectives?


평가 질문은 관심 영역을 얼마나 잘 나타내고 있는가?

How well do the assessment questions represent the domain of interest?


콘텐츠 영역에 전문성을 가진 사람은 콘텐츠에 기반한 증거를 제공할 수 있다.

Those who have expertise in the content domain can provide evidence based on content.


응답 프로세스에 대한 근거

Evidence based on response process


이러한 유형의 타당성은 측정하려는 구인이 학생들이 실제로 수행하거나 실제로 보이는 반응의 성격에 얼마나 적합한지에 대한 증거를 요구한다.

This type of validity requires evidence on how much the construct being measured fits the nature of performance or response in which students are engaged.


우울증을 평가하려고 한다면, 

    • 평가 질문이 우울증의 구조에 부합하는지 여부(즉, 구인 대표성)

do the assessment questions fit the construct of depression, i.e. construct representation.

    • 평가 질문은 우울증 구조와 관련이 없는 다른 요인과 관련있지는 않은가? (즉, 구인-무관 변동)

Do assessment questions associate with other factors which are not concerned with the construct of depression, i.e. construct-irrelevant variance?


따라서 측정하려는 구인이 충분히 표현되지 않았거나, 무관한 요인에 의해 영향을 받는 경우 시험의 타당성은 위협받을 것이다.

Therefore, the validity of a test will be threatened, if the construct of interest is underrepresented or influenced by irrelevant factors.


응답프로세스에 대한 타당성 근거얻는 방법은 다양하다. 이러한 방법은 think aloud interview나 focus group interview와 같은 질적 데이터 수집 방법을 기반으로 한다. 예를 들어, 이러한 방법을 통해 OSCE에서 평가자들을 관찰하면 그들이 학생들의 성적을 어떻게 평가하고 해석하는지를 이해할 수 있다. Assessor는 Examiner가 학생을 평가할 때 관련 없는 요인이 아니라, 의도된 기준에 따라 학생을 평가하도록 보장해야 한다.

There are different methods for obtaining validity evidence for the response process. These methods are based on qualitative data collection methods such as think aloud interview and focus group interviews. For example, observing examiners in OSCEs allows us to understand how they rate and interpret the performance of students. Assessors should ensure that the examiners rate students based on the intended criteria rather than irrelevant factors.


내적 구조에 기반한 근거

Evidence based on internal structure


우리는 [문항 및 평가 결과]와 [측정 중인 구인] 사이의 연관성에 대한 증거를 제공하기를 원한다. 평가는 단일 구성(단차원) 또는 다중 구성(다차원)을 측정할 수 있다.

We want to provide evidence of the association between items and assessment results and the construct being measured. An assessment may measure a single construct (unidimensional) or multiple constructs (multidimensional).


내부 구조에 근거하여 증거를 확립하기 위해 다양한 방법을 적용할 수 있다. 

    • 예를 들어, Rasch 분석은 우리가 평가 질문의 정신 구조를 식별할 수 있게 하는 한 가지 방법이다. 

    • 요인 분석을 통해 평가의 내부 구조를 파악할 수 있다. 

    • 또 다른 접근법은 대조군 접근법이라고 하며, 때로는 알려진 집단 접근법이라고도 한다. 여기서, 시험은 관심의 구조에 대해 서로 다른 지식을 가진 두 그룹의 사람들에게 관리된다(극도로 높고 매우 낮은).

An assortment of methods can be applied to establish evidence based on internal structure. 

    • For example, Rasch analysis is one method that enables us to identify the psychometric structure of assessment questions. 

    • Using factor analysis, we can identify the internal structure of assessments. 

    • Another approach is called the contrasted groups approach, sometimes also called the known-group approach. Here, the test is administered to two groups of people who have different knowledge of the construct of interest (extremely high and extremely low).


외부 변인과의 관계에 기반한 근거

Evidenced based on relations to external variables


타당성 증거를 제공하기 위해 AERA가 제안한 또 다른 접근방식은 시험 점수와 외부 변수 사이의 연관성을 확인하는 것이다. 두 평가의 점수는 두 평가 모두 동일한 구조를 측정하는 경우 서로 상관관계가 있다.

Another approach suggested by the AERA for providing validity evidence is to identify the association between test scores with external variables. The scores of two assessments are correlated with each other if both measure the same construct.


예를 들어, 입학 과정에서는 물리학 및 수학의 성과에 대한 점수가 의학에서의 후기 성과와 높은 상관관계가 있는 경우, 입학 지도자는 물리학과 수학을 의학의 진입 요건으로 간주할 수 있다. 이 때, 물리학과 수학 점수를 criterion이라고 하고, 이러한 접근법을 criterion-related validity 이라고 한다.

For example, in the admission process, if scores on performance in physics and mathematics are highly correlated with the later performance in medicine, the admission leaders may consider physics and mathematics as entry requirements for medicine. Here, this physics and mathematics are called criteria and approach is called the criterion-related validity.


CRV에는 두 가지 유형이 있다. 즉 동시 타당도와 예측 타당도. 

    • 동시 타당도는 시험과 기준을 동시에 평가한다. 

    • 예측 타당도는 미래 학생들의 행동을 예측하기 위해 시험 점수를 사용하는 것을 포함한다.

two types: concurrent and predictive. In concurrent validity, the test and the criterion are administered simultaneously. Predictive validity involves using the test scores to predict the behavior of students in the future.


시험의 후속결과에 기반한 근거

Evidence based on consequence of testing


이 기준서에서 설명하는 마지막 유형의 유효성 증거는 평가 결과의 의도된 의도된 의도하지 않은 결과에 기초한다. 평가 문제가 교육 시스템 전체에 어떻게 영향을 미칠 수 있는가? 형성평가와 총괄평가의 의도는 학생들의 능력을 향상시키는 것이다. 

    • 평가는 학생들의 능력을 향상시키는가? 

    • 평가는 학생들의 동기를 강화시켜 줍니까? 

    • 평가는 교육을 향상시키는가?

The last type of validity evidence explained in the Standards is based on the intended and unintended outcomes of assessment results. How can assessment questions influence the education system as whole? The intention of both formative and summative assessments is to improve student ability. 

    • But do they improve the ability of students? 

    • Do they enhance student motivation? 

    • Do they improve teaching?


평가 문항의 분석

The analysis of assessment questions


평가항목의 분석은 학생들이 시험에서 받은 점수에 대한 유용한 정보를 제공한다. 그러나 시험점수에 오류가 있다면, 잘못된 결론을 내릴 수 있다.

The analysis of assessment items provides useful information about the marks that students have received from their exams. Student marks can be misleading if errors are attached to them.


일반적으로 두 가지 통계가 낮은 항목, 즉 난이도 변별도를 식별하는 데 사용된다. 항목 난이도는 질문을 제대로 응답한 학생의 비율을 말한다. 변별도는 항목별로 상위 및 하위 성과자를 구분하는지 여부를 나타낸다.

Two common statistics are usually used to identify the underperforming items: item difficulty and the item discrimination index. Item difficulty refers to the proportion of students who get the question right. Item discrimination indicates whether or not the items differentiate high and low performers.


너무 쉽거나 너무 어려운 문항은 성적 면에서 학생들을 구별하지 못한다.

Too easy and too difficult items do not differentiate students in terms of the performance being measured.


평가항목의 질은 어떻게 판단해야 하는가? 심리측정적 관점에서 보면, 변별도가 높으면 품질이 좋다. 변별도를 계산하기 위해 다양한 접근법을 사용한다. Point-biserial 상관관계(항목점수와 항목점수를 제외한 총점 사이의 상관관계)가 항목 품질에 대한 최상의 지표를 제공한다는 것은 충분히 문서화되었다(Kelley et al. 2002). 좋은 문항이라면 이 상관관계가 0.25 이상이어야 한다. 차별지수의 부정적인 가치는 평가에서 나쁜 성적을 보인 사람들이 그 항목에 정확하게 대답했다는 것을 나타낸다.

How should we judge the quality of assessment items? From a psychometric perspective, an item has good quality if it has a high item discrimination index. A variety of approaches are used to calculate the item-discrimination index. It has been well documented that the point-biserial correlation (the correlation between item score and the total mark excluding the item score) provides the best indicator of the item quality (Kelley et al. 2002). A good item has a point-biserial correlation of 0.25 or above. A negative value of the discrimination index indicates those who performed poorly on assessment answered the item correctly.


Item characteristic curves (ICC)


ICC는 시험의 학생 능력과 항목 난이도 사이의 관계를 설명한다. (그림 1 참조). 이 수치에서 알 수 있듯이, 이 항목은 전체 시험에서 성적이 좋지 않은 학생들이 그 문항을 틀렸음을 의미하므로, 학생을 잘 변별하였다.

ICC illustrate the relationship between student ability and item difficulty (the proportion of students answering an item correctly) of a test. (see Figure 1). As you can see from this figure, this item has discriminated students soundly meaning that those who performed poorly on the whole test answered the item incorrectly.


Option characteristic curve


기능적 오답보기(틀릴 수 있을 정도로 부정확한 항목)는 실제로 적절한 답가지일 경우 전체 시험 점수와 부정적인 상관관계를 가진다. 학생이 잘못된 선택(고교생과 저학력자)을 선택하지 않을 경우, 이 선택사항은 문제에서 제외되어야 한다. 제대로 된 보기라면, 학생 중 5% 이상에서 응답해야 한다(Haladyna 및 Downing 1988).

A functional distractor (plausibly incorrect item) has negative correlation with the total test score, if it is indeed a distractor. If a wrong option is not chosen by students (high and low performers), the option should be excluded from the question. A functional distractor should have a distribution frequency of greater than 5% for a cohort of students (Haladyna and Downing 1988).


그림 2는 여러 학생들로부터 객관식 질문의 추적선을 보여준다. 보기 A는 학생 능력이 증가함에 따라 이 대안을 선택하는 경향이 줄어들었음을 보여준다. 보기 B, C, D는 이 세 가지 부정확한 대안들이 타당하지 않다는 것을 반영하는 소수의 학생들에 의해 선택되었고, 이 항목이 상위 성과자와 하위 성과자를 구분하지 않는다는 것을 쉽게 제거했다. 올바른 보기 E는 대다수의 학생들에 의해 선택되었고 이 대안들을 선택하는 것은 학생들의 능력이 증가함에 따라 높게 되었다.

Figure 2 shows that the trace lines in a multiple-choice question from a cohort of students. Alternative A shows that the tendency towards the selection of this alternative was decreased as student ability was increased. Alternatives B, C and D were selected by few students reflecting that these three incorrect alternatives were not plausible and easily eliminated meaning that this item did not discriminate between high and low performers. Correct alternative E was selected by the majority of students and selecting this alternative became high as student ability increased.


Conclusions






 2017 Oct;39(10):1010-1015. doi: 10.1080/0142159X.2017.1359521. Epub 2017 Aug 2.

The foundations of measurement and assessment in medical education.

Author information

1
Medical Education Unit , Educational Development Center, The University of Nottingham , Nottingham , UK.
2
Medical Education Unit , The Medical School, The University of Nottingham , Nottingham , UK.

Abstract

As a medical educator, you may be directly or indirectly involved in the quality of assessments. Measurement has a substantial role in developing the quality of assessment questions and student learning. The information provided by psychometric data can improve pedagogical issues in medical education. Through measurement we are able to assess the learning experiences of students. Standard setting plays an important role in assessing the performance quality of students as doctors in the future. Presentation of performance data for standard setters may contribute towards developing a credible and defensible pass mark. Validity and reliability of test scores are the most important factors for developing quality assessment questions. Analysis of the answers to individual questions provides useful feedback for assessment leads to improve the quality of each question, and hence make students' marks fair in terms of diversity and ethnicity. Item Characteristic Curves (ICC) can send signals to assessment leads to improve the quality of individual questions.

PMID:
 
28768456
 
DOI:
 
10.1080/0142159X.2017.1359521


의학교육에서 동기부여(AMEE Guide No. 115) (Med Teach, 2016)

Motivation in medical education 

Thierry Pelacciaa,b and Rolland Viauc




도입

Introduction


오랫동안, 실제로, 특히 헬스케어과 같은 매우 전문적인 분야에서 이 수준의 학생들은 동기부여되어있을 것으로 가정되었다. 따라서 보건과학과정의 동기 부여에 관한 구체적인 연구는 21세기 이후 증가하였지만 드물다(Kusurkar, Ten Cate, et al. 2011).

For a long time, it was indeed assumed that students at this level must be motivated, particularly in highly professional areas such as health sciences. Therefore, specific studies on motivation in health science courses are rare, although they have increased in number since the turn of the twenty-first century (Kusurkar, Ten Cate, et al. 2011).


이러한 연구의 대부분은 동기부여가 학습의 측면에서, 유익한 효과와 연관되어 있다는 것을 입증했다.

Most of these studies have demonstrated that motivation is linked to beneficial effects in terms of learning


비록 교사들이 학생들의 학습 동기에 대한 모든 책임을 지지 않지만, 여전히 교사의 책임은 매우 높다. (Viau 2009)

although teachers do not bear full responsibility for their students’ motivation to learn, their responsibility is very high (Viau 2009).


고등교육에서, 특히 의과대학에서, 학생들은 대부분 무언가를 배우는 것에 동기부여되어있기보다는 성공적으로 졸업하는 데 동기부여 되어있으며, 이것은 선발과정에서 더 강화된다 (Holland 2016).

Students in higher education are indeed mostly motivated to successfully graduate, especially in medical schools, where the selection process enhances such motivation, rather than the motivation to learn (Holland 2016).


동기부여란

What is motivation? 


매우 일반적으로 말해서, 그레이엄 & 웨이너(1996, 페이지 63)는 "동기motivation란 사람들이 왜 그렇게 생각하고 행동하는가에 대한 연구"라고 생각한다. 그러나 그 개념을 중심으로 만들어진 수십 개의 이론에 관해서는 동기에 대한 합의된 정의는 없다.

In a very general way, Graham & Weiner (1996, p. 63) consider that “motivation is the study of why people think and behave as they do”. However, there is no consensual definition of motivation, in regard to the dozens of theories that have been built around the concept.


이 중에서, 사회적 인지적 접근은 동기에 대한 연구에서 상당한 중요성을 얻었다. 사회인지적접근법에 따르면, 학습 동기는 개인 자신과 환경에 의해 결정된다. 더 정확히 말하면, 이것은 [자신의 학습 환경, 학습 행동, 그리고 환경 요인에 대한 학생들의 인식] 사이의 지속적인 상호 작용에서 비롯된다(Bandura 1997; Viau 2009).

Among these, the social cognitive approach has gained considerable importance in the study of motivation . According to this approach, motivation to learn is determined by both the individual himself and by the environment. More precisely, it results from constant interaction between a student’s perceptions of his learning environment, learning behavior, and environmental factors (Bandura 1997; Viau 2009).


사회적 인지적 접근법에 따르면, 동기라는 것은 단순히 어떤 활동을 수행할지 말지의 선택이 아니다. 동기라는 것은 일단 선택을 내린 이후에 한 사람이 취하는 행동의 방향, 강도, 지속성을 가리키는 것이다. 또한 동기란 시간, 상황 및 분야에 따라 달라지며, 성격 특성도 아니며, 항구한 개인 특성도 아니라는 사실을 강조한다(Murpy & Alexander 2000; Kusurkar et al. 2012). 이러한 이유로, 비아우(2009년)는 '동기' 보다는 '동기적 역동(motivational dynamic)'이라는 용어를 선호한다.

The social cognitive approach helps to understand that motivation does not simply refer to the choice of undertaking one activity or another, but also to the direction, intensity, and persistence of a person’s behavior once the choice has been made. It also highlights the fact that motivation varies according to the time, context and field within which it is studied, being neither a personality trait nor a permanent personal characteristic (Murphy & Alexander 2000; Kusurkar et al. 2012). This is why Viau (2009) prefers the term “motivational dynamic” rather than motivation.


우리는 다음과 같이 동기부여를 정의한다. 

"동기는 [학생]이 자신과 환경에 대해서 가지고 있는 인식에서 비롯되는 현상으로서, 동기에 따라 학생은 학습을 목적으로 하는 어떤 교육활동을 수행할지, 얼마나 꾸준히 할지, 얼마나 참여할지를 결정한다."(Viau 2009, p.12)

These considerations lead us to the following definition of motivation: 

“[Motivation is] a phenomenon originating in the perceptions that [the student] has of himself and his environment, which lead to his choosing to carry out the educational activity proposed, persevere and engage with it, with the aim of learning from it” (Viau 2009, p.12).


동기부여 역동 모델

“motivational dynamic model”,


imte_a_1248924_sm6170.docx



동기부여의 동적 모델

The motivational dynamic model


Figure 1 (available online as Supplemental Material).


교육 활동의 가치에 대한 인식("주관적 과제 가치"라고도 함)은 [학생이 자신이 추구하고 있는 목표에 기초해, 제시된 활동을 완료하는 데 대한 관심과 유용성에 대한 판단]으로 정의된다(Eccles et al. 1998; Viau 2009). 학생들이 주어진 교육 활동에 더 많은 가치를 둘수록, 그들은 더 인내하고, 더 깊이 있게 과제에 초점을 맞춘다(Pintrich & De Groot 1990; Pintrich & Schrauben 1992).

  • The perception of the value of an educational activity (also called “subjective task value”) is defined as the student’s judgment of the interest and usefulness of completing a proposed activity, based on the goals he is pursuing (Eccles et al. 1998; Viau 2009). The more value students place on the educational activities proposed, the more they persevere and focus on them in depth (Pintrich & De Groot 1990; Pintrich & Schrauben 1992).


인식된 자기효능("역량의 지각"이라고도 함)은 제안된 [교육 활동을 적절히 성공할 수 있는 능력에 대한 학생의 판단]이다(Viau 2009). 학생이 높은 수준의 자기효율을 가지고 있을수록, 높은 목표를 설정하고, 도전적인 활동을 선택하고, 노력을 조절하고, 인내하고, 스트레스와 불안을 관리하며, 결과적으로 높은 수준의 성과를 달성한다(Galand & Vanleede 2004). 

  • Perceived self-efficacy (sometimes called “perception of competence”) is the student’s judgment of his ability to adequately succeed with the proposed educational activity (Viau 2009). The more a student claims to have a high level of perceived self-efficacy, the more he sets high objectives, choses activities that challenge him,regulates his efforts, perseveres, manages his stress and anxiety, and consequently, achieves high levels of performance (Galand & Vanlede 2004). 


통제가능성에 대한 인식("통제권 인식"라고도 함)은 [학생이 활동의 진행에 대해 자신이 가지고 있다고 믿는 통제 정도]로 정의된다. (Viau 2009) 학생이 제안된 교육활동이 어떻게 진행될지에 대해 할 말이 있다고 느낄 경우에, 통제가능성에 대한 인식이 높다고 한다. 통제가능성에 대한 높은 수준의 인식을 가진 학생들은 그들의 학습에 더 헌신적이고 더 오래 인내한다. (Ryan & Deci 2000)

  • Perception of controllability (also called “perceived control”) is defined as the degree of control a student believes he has over the progress of an activity (Viau 2009). A student is said to have a high level of perception of controllability if he feels he has something to say about how the proposed educational activity will be carried out. Students with a high level of perception of controllability are more committed and persevere longer in their learning (Ryan & Deci 2000).


동기가 되는 동적 모델에 따르면, "동기부여된 학생"은

  • 주어진 교육 활동이 유용하거나 흥미롭다고 생각함(교육 활동의 가치에 대한 인식) 

  • 스스로 만족할 정도로 활동을 완료할 수 있다고 느낌(인식된 자기효능). 

  • 자신의 학습 활동의 진행에 책임이 있다고 느낌(관리가능성에 대한 인식).

According to the motivational dynamic model, a “motivated student” 

  • finds the proposed educational activities useful or interesting (perception of the value of an educational activity), 

  • feels capable of completing the activities to his own satisfaction (perceived self-efficacy) and 

  • has the impression of being responsible for the progress of his learning exercises (perception of controllability).



How can you act positively on your students’ motivation to learn?


Table 1 (available online as Supplemental Material),

Source of motivational dynamic

Strategy

Practical implementation

 The perception of the value of an educational activity

Explore students’ expectations and projects

-          Round table

-          Individual interview

-          Focus group interview

-          Written questionnaire

Explain the purpose of the material taught

-          Present the learning objectives

-          Link the learning objectives to the students’ future professional practice

-          Link what students learn in biomedical sciences to what they learn in clinical sciences, for example, by involving a fundamental scientist and a clinician in the preparation and presentation of the course

-          Promote early contact between students and patients

Promote activities that challenge students

-          Define learning objectives of average complexity, not too easy or too difficult to achieve

Make learning a problem-solving task

-          Create links between biomedical and clinical sciences

-          Associate learning tasks with the need to solve a problem

-          Start the lesson with a clinical case, an anecdote or iconographic resources

-          Prefer assessment in an authentic context

Strengthen the links between theory and practice

-          Create early (or simultaneous) clinical experience which matches the theoretical learning

Perceived self-efficacy

Promote success and motivating assessments, and support failure

-          Provide support in case of failure

-          Do not use marks as the only indicator of failure or success

-          Take the time to highlight what was learned before noting errors

-          Provide the student with realistic reassurance concerning the level of success he can achieve

-          Encourage progress and persistence

-          Make assessment criteria explicit

-          Do not multiply assessments used to provide marks

Take into account the consequences of vicarious experience

-          Provide feedback which is also intended to observers of a learning task, particularly when this has not "succeeded" for the pair being observed

Provide well-meaning feedback

-          Consider informal feedback to be important in motivating students

-          Do not focus feedback on penalising errors alone

-          Praise the positive aspects of an activity which was completed

-          Provide students with feedback targeting learning questions and not themselves personally

-          Use motivating semantics, based on opportunities for progress

Allow students to undertake teaching duties

-          Provide students engaged in PBL the opportunity to explain to the others what they have learned from their experience.

-          Promote the introduction of student tutoring by more advanced students

 

Perception of controllability (Perceived control)

Give the students opportunities to make significant choices for themselves

-          Let them choose a course

-          Let them choose a teaching unit

-          Let them choose a means of assessment, etc.



교육활동의 가치에 대한 인식 향상

Enhance the perception of the value of the activity


학생들의 기대치와 프로젝트 탐색

Explore students’ expectations and projects


학생들은 자신의 목표, 기대 및 프로젝트와 일치할 때, 주어진 활동에 더 많은 가치를 부여한다(Lens & Decruyenaere 1991; Pelacia et al. 2008). 따라서 학생들이 이러한 것들을 정의하도록 탐구하고 돕는 것이 중요하다(Kusurkar, Croiset, et al. 2011). 이 목표를 달성하기 위해, 당신은 라운드 테이블로 훈련 세션을 시작할 수 있다. 또한 참가자에게 질문하거나 서면 설문지를 제공하기 위해 개별 또는 포커스 그룹 인터뷰를 개최할 수 있다. 강의의 맥락에서, 예를 들어, 참가자들에게 "이 강좌에서 기대하는 것은 무엇인가"라는 질문을 하고, 그것에 대해 말하기 전에, 답을 공식화하고 적을 수 있는 충분한 시간을 줄 수 있다(McKeachie & Svinicki 2013).

Students give more value to a given activity if it is in line with their own objectives, expectations and projects (Lens & Decruyenaere 1991; Pelaccia et al. 2008). It is therefore important to explore and help students define these (Kusurkar, Croiset, et al. 2011). To achieve this goal, you may start the training session with a round table. You may also hold individual or focus group interviews to question participants or give them a written questionnaire. In the context of lectures, you could, for instance ask participants the question “What do you expect from this course” and give them enough time to formulate and write down their answer, before speaking about it (McKeachie & Svinicki 2013).


연결고리를 설정함으로써 학습 목표를 학생들의 기대와 프로젝트와 연관시키는 것이 중요할 것이다. 또는, 왜 학생들이 주어진 학습 순서의 맥락 안에서 그들의 기대를 충족시킬 수 없는지 설명하는 것도 유용하다.

it will be important to associate learning objectives with the students’ expectations and projects, by setting up links. Otherwise, it is useful to explain to the students why their expectations cannot be met within the context of the given learning sequence.


학습자료의 목적 설명

Explain the purpose of the material taught


특히 학습 목표를 정의함으로써 학습자료의 유익성과 유용성을 설명하는 시간을 갖는 것은 학생들이 주어진 활동에 가치를 부여하는데 도움이 된다(Hopstock 2007; Viau 2009). 이는 학생들이 강의, 특히 생물의학 과목과 관련된 강의에 대해 강의의 가치를 식별하는 데 어려움을 겪는 경우가 많기 때문에 더욱 중요하다(Barker & Olson 1997; Ten Cate et al. 2011; McKeachie & Svinicki 2013). 학습 목표는 이상적으로 학생들의 미래 직업 활동과 연결되어야 한다.

Taking the time to explain the benefit and usefulness of the course material, particularly by defining the learning objectives, helps students to give value to a given activity (Hopstock 2007; Viau 2009). This is all the more important as students often have difficulties in identifying the value of a course, particularly for lectures, especially those related to biomedical subjects (Barker & Olson 1997; Ten Cate et al. 2011; McKeachie & Svinicki 2013). The learning objectives should ideally be connected to the students’ future professional activity,


생물의학 과학에 관해서, 덴트와 하든(2001)이 "수직 통합"이라고 부르는 맥락에서, 이른바 "임상 지향적" 접근법과 환자와의 접촉의 조기 촉진(텐 케이트 등, 2011년)에서도 동기적 이득이 있다.

Concerning biomedical sciences, there is also a motivational benefit in a so-called “clinically oriented” approach and early promotion of contact with patients (Ten Cate et al. 2011), in a context of what Dent and Harden (2001) call “vertical integration”.



학생들에게 도전적인 활동을 장려한다.

Promote activities that challenge students


많은 교사들은 쉽게 성취할 수 있는 목표를 가지고 교습회를 시작하는 것이 학생들의 학습 동기를 증진시킬 수 있다고 잘못 믿고 있다. (Viau 2009) 

      • 그러나 너무 쉽게 성취할 수 있는 목표들은 지루함을 유발한다(Paris & Turner 1994) 

      • 반면에 너무 복잡한 목표는 활동은 포기하게 된다.

Many teachers wrongly believe that starting a teaching session with easily achievable objectives may enhance their students’ motivation to learn further (Viau 2009). Objectives that are too easy to achieve quickly lead to boredom with the activity (Paris & Turner 1994); on the other hand, objectives that are too complex can lead to the activity being abandoned.


학습을 문제 해결 작업으로 설정

Make learning a problem-solving task


학생들이 1학년 과목 내용을 실제 의료행위/의료현장과 연결시키는 과정에서 겪는 어려움은 동기부여의 감소를 가져온다(Barker & Olson 1997). PBL 접근법과 같이 주제를 문제 해결로 전환하게 되면, 학생들이 미래의 전문적인 활동을 바탕으로 문제를 이해하거나 해결함으로써 생물의학 과학과 임상 학문 사이의 연관성을 떠올려볼 기회를 준다. 이는 문제가 어느 정도 authenticity를 갖고 연관되어 있다면 활동의 가치에 대한 학생의 인식이 향상될 것이다.

The difficulties experienced by students in linking the content of first-year courses to the practice of medicine lead to a decrease of their motivation (Barker & Olson 1997). The fact of turning a topic into problem solving – such as in the PBL approach – give students the opportunity to draw links between biomedical sciences and clinical disciplines by understanding or even solving problems based on their future professional activity. This improves their perception of the value of the activity (Pedersen 2003), provided that the problem is linked to a certain degree of authenticity,


(활동의 가치를 높게 인식한다면) 평가 활동은 처벌이 아니라 학습 활동으로서 인식되기 때문에 학생들에 의해 높이 평가될 것이다. 왜냐하면 학생들은 자신이 수행한 학습 연습이 그들의 미래 직업과 관련된 문제를 해결하는 데 유용하다는 것을 알게 될 것이기 때문이다. (Viau 2009)

the assessment activities will be appreciated by the students other than as a source of penalization, because they will be aware that the learning exercises they have done have been useful in solving the problems linked to their future professional life (Viau 2009).



이론과 실천 사이의 연계성 강화

Strengthen the links between theory and practice


몇몇 연구는 링크 활동의 가치에 대한 인식에 영향을 보여주는 경향이 있는데, 초기 또는 진행 중인 훈련 중 건강 학생이 이론과 실습 사이에서 할 수 있다(Hopstock 2007; 펠라키아 등). 2009). 이러한 연결고리는 학생이 교육자료와 과련한 임상 활동에 대한 사전 지식을 가지고 있을 때 establish하기가 더 쉽다(위그필드 & 에클스 2000; 펠라키아 외). 2009). 따라서, 임상 로테이션과 대학 과목 사이의 연결은 동기부여와 관련하여 잠재적으로 흥미롭다(Cottin et al. 2002).

Several studies tend to show the influence on the perception of the value of the activity of links, which a health student during initial or on-going training can make between theory and practice (Hopstock 2007; Pelaccia et al. 2009). These links are easier to establish for students with prior knowledge of the clinical activity corresponding to the material being taught (Wigfield & Eccles 2000; Pelaccia et al. 2009). Therefore, making connections between clinical rotations and university courses is potentially interesting with respect to motivation (Cottin et al. 2002).


하지만, 많은 학생들이 스스로 이러한 연결을 만들지 못할 것이라는 점을 염두에 두는 것이 중요하다. 따라서, 교사들은 [강의 중에 가르치는 자료]와 [임상 환경에서 사용되는 자료] 사이의 연관성을 설명하기 위해 시간을 할애할 책임이 있다. 앞 단락에서 설명한 전략은 이 목적을 달성하는 데 도움이 될 것이다.

However, it is important to consider that many students will not manage to make this connection on their own. Therefore, teachers are also responsible for devoting time, during their lectures, to explain the links between the material being taught and its use in the clinical setting. The strategies described in the previous paragraphs should help you achieve this objective.



인식된 자기 효능감 향상

Enhance perceived self-efficacy


성공 촉진 및 평가 동기 부여, 실패 지원

Promote success and motivating assessments, and support failure


성공은 자기효능감을 높이는 반면, 실패는 감소시킨다(Bandura 1997; Holland 2016). 그러므로 교수는 나쁜 점수를 줌으로써 학습자를 벌주는 것에 만족하지 말고, 먼저 어떤 학습이 있었는지 강조한 다음, 그들이 어떻게 잘못되고 있는지를 인식하도록 돕는 것이 중요하다. 이 지원에는 특히 학생들에게 사용할 평가 기준을 명확히 하고 설명하는 것이 중요하다(Viau 2009).

Successes enhance perceived self-efficacy, whereas failures reduce it (Bandura 1997; Holland 2016). It is therefore important not to be contentwith penalizing learning by giving poor marks, but first to emphasize the learning that has taken place, and then helpthemto recognize where they are going wrong. This support notably includes the importance of clarifying and explaining the assessment criteria you will use to the students (Viau 2009).


점수와 코멘트를 최대한 빨리 연결시키고(Viau 2009), 학생의 성공 능력에 대해 안심시키는 것도 좋은 생각이다. 마지막으로, 학생의 학습 전략, 발전 정도, 끈기 등과 같은 학습의 다른 차원을 평가하는 것이 중요하다.

It is also a good idea to link the mark to comments as soon as possible (Viau 2009) and reassure the student about his ability to succeed, as soon as this is realistic. Finally, it is important to value other dimensions of the learning achieved, e.g. learning strategies used by the student, progress made and persistence (Mann 1999; Viau 2009; Kusurkar, Croiset, et al. 2011; Stegers-Jager et al. 2012).


대리 경험의 결과 고려

Take into account the consequences of vicarious experience


반두라(1997년)에 따르면, 누군가가 행동을 취하여 그가 수행하고 있는 임무에서 성공하거나 실패하는 것을 관찰하는 것은 관찰자의 동기부여에 영향을 미칠 가능성이 있다. 이 "대리적 경험"은 자신의 능력에 관해 자기진단을 내릴 수 있는 하나의 원천이며, 사회적 비교에 근거한 추론을 바탕으로 한다(반두라 1997).

According to Bandura (1997), observing someone take action and succeed or fail in the task he is carrying out is likely to influence the motivation of observers. This “Vicarious experience” is based on inferences made by the observers on the basis of social comparisons, which are the source of a type of self-diagnosis with respect to one’s own abilities (Bandura 1997).


선의의 피드백 제공

Provide well-meaning feedback


선의의 피드백은 단순히 최종 점수를 제공하는 것에 국한되지 않는다. 구두 설명은 실제로 학생의 자기효능감 인식을 높일 수 있는 지렛대 중 하나이다. 피드백을 바탕으로 학생을 동기부여하기 위해서는 학생들의 프레젠테이션의 긍정적인 요소들을 포함시키는 것이 중요하다. 물론 성과에 대해서는 현실적이어야 한다(반두라, 1997년). 이것은 종종 의식적인 노력을 필요로 할 것이다. 왜냐하면 자연적으로, 교사들은 종종 학생들이 저지른 실수에만 전적으로 집중하는 경향이 있기 때문이다.

Well-meaning feedback is not restricted to simply providing a final mark. Oral persuasion is indeed one of the levers likely to build a student’s perceived self-efficacy (Bandura 1997). To make such feedback motivating, it is important to include the positive elements of a student’s presentation while, of course, remaining realistic about the performance (Bandura, 1997). This will often require a conscious effort, because spontaneously, teachers often tend to focus exclusively on errors committed by students.


동기부여 피드백은 또한 건설적이어야 하며 위협적이지 않아야 한다. 즉, 학습 질문을 목표로 하고, 그 자신이 아닌, 훈련의 다음 단계에서 학생을 어떻게 도울 것인가에 초점을 맞추어야 한다(Van de Ridder et al. 2008; Kusurkar, Croiset et al. 2011). 이는 때로 학생을 판단하지 않고 학생이 조치를 수행한 상황을 의미하며, 복잡한 활동과 관련하여 코스 초기에 나타날 때와 같은 특정 실패를 표준화한다(Ten Cate et al. 2011). 사용된 단어 또한 중요하다. 예를 들어, "오류"보다는 "개선점"이라는 용어가 낫다.

Motivating feedback should also be constructive and not threatening, i.e. it must target learning questions and focus on how to help the student during the next stages of his training, and not on the person himself (Van de Ridder et al. 2008; Kusurkar, Croiset, et al. 2011). This will sometimes mean not judging the student but the context in which the action was carried out by the student, which will standardize certain failures, such as when they appear early in the course, with respect to complex activities (ten Cate et al. 2011). The words used are also important . For example, prefer the term “points for improvement” rather than “errors”


학생들이 교무 업무를 수행하도록 허용

Allow students to undertake teaching duties


학생들이 특정한 경우에 가르치는 역할teaching duties을 수행하도록 허용하는 것은 또한 자기효능감에 긍정적으로 작용할 수 있다.

Allowing students to undertake teaching duties on certain occasions can also act positively on their perceived self-efficacy.


관리 가능성에 대한 인식 향상

Enhance the perception of controllability


학생들의 관리 능력에 대한 인식에 긍정적으로 작용하기 위해 사용되는 주요 전략은 학생들에게 선택기회를 주는 것이다. 그러나 모든 선택이 동기부여를 하는 것은 아니다(Flowerday et al. 2004). 동기부여 선택은 학습자에게 목적적합하고 흥미롭거나 중요한 것으로 보이는 것(즉, 자기 실현의 기회를 제공하는 것)이며, 학생들의 능력과 양립하고 그들에게 그들을 안심시키고 중요한 학습을 촉진할 수 있는 감독을 제공하는 것이다(Katz & Assor 2007).

The main strategy used to act positively on your students’ perception of controllability is to give them the opportunity to make choices. However, not all choices are motivating (Flowerday et al. 2004). Motivating choices are those that appear to be relevant, interesting or important for the learners—i.e. that provide an opportunity for self-realization—while being compatible with the students’ abilities and providing them with supervision which will reassure them and promote significant learning (Katz & Assor 2007).


또한 이러한 선택에는 평가 방법과 시간을 선택하는 것과 같은 평가 유형도 포함될 수 있다(Reeve 등, 2003; Ten Cate 등, 2011).

The choices may also concern types of assessment, e.g. by choosing the methods and times of assessment (Reeve et al. 2003; Ten Cate et al. 2011).


Conclusion




 2017 Feb;39(2):136-140. doi: 10.1080/0142159X.2016.1248924. Epub 2016 Nov 21.

Motivation in medical education.

Author information

1
a Faculty of Medicine, Centre for Training and Research in Health Sciences Education (CFR-PS) , University of Strasbourg , Strasbourg , France.
2
b Prehospital Emergency Care Service (SAMU 67) , Strasbourg University Hospital , Strasbourg , France.
3
c Faculty of Education , University of Sherbrooke , Sherbrooke , Canada.

Abstract

Motivation is a concept which has fascinated researchers for many decades. The field of medical education has become interested in motivation recently, having always assumed that medical students must be motivated because of their commitment to highly specific training, leading to a very specific profession. However, motivation is a major determinant of the quality of learning and success, the lack of which may well explain why teachers sometimes observe medical students who are discouraged, have lost interest or abandon their studies, with a feeling of powerlessness or resignation. After describing the importance of motivation for learning in medicine, this Guide will define the concept of motivation, setting it within the context of a social cognitive approach. In the second part of this Guide, recommendations are made, based upon the so-called "motivational dynamic model", which provides a multitude of various strategies with positive effects on students' motivation to learn.

PMID:
 
27866457
 
DOI:
 
10.1080/0142159X.2016.1248924


+ Recent posts