PoSS: 다학제간 경계효과의 활용 - 패러다임, 존재론, 인식론, 가치론, 방법론(Acad Med, 2020)

Philosophy of Science Series: Harnessing the Multidisciplinary Edge Effect by Exploring Paradigms, Ontologies, Epistemologies, Axiologies, and Methodologies

Lara Varpio, PhD, and Anna MacLeod, PhD




생태학에서 경계효과서로 다른 두 서식지의 경계선이 만날 때(예: 숲이 바위가 많은 아웃크롭을 만날 때) 관찰되는 특성을 가리킨다.1 생태계의 가장자리가 교차할 때, 더 큰 생물다양성이 존재한다.2 즉, 서로 다른 서식지가 만나는 공간에는 더 많은 생물이 살고 있다. 다양한 학문 영역(즉, 서로 다른 연구 서식지)의 학자들이 다원적 협업을 할 때 과학 연구에서 유사한 생성적 특성이 나타난다.3-5 우리는 이러한 생산성과 효과에 다학제적 경계 효과라는 꼬리표를 붙인다. 

In ecology, the edge effect refers to characteristics observed when the boundaries of 2 different habitats meet (e.g., when forests meet rocky outcrops).1 When the edges of ecosystems intersect, a greater biodiversity exists.2 In other words, there is more life in the spaces where different habitats meet. Similar generative properties manifest in scientific research when scholars from diverse academic domains (i.e., different research habitats) engage in multidisciplinary collaboration.3–5 We label this productivity and effectiveness the multidisciplinary edge effect. 


다학제적 에지 효과를 활용하려면 먼저 각 연구자가 어떻게 특정 전통 내에서 지식을 쌓는지를 이해해야 한다. 전형적으로 학자의 home discipline에서 채택된 이 전통은 연구자들이 과학에 종사하는 방식을 형성하는 가정을 수용한다. 

To harness the multidisciplinary edge effect, we must first understand how each researcher builds knowledge from within a particular tradition. This tradition, typically adopted from the scholar’s home discipline, embraces assumptions that shape the way researchers engage in science. 


예를 들어, 신경학자는 생물 의학적인 관점에서 과학에 종사할 가능성이 높다. 이러한 전통 안에서 신경학자는 인간의 신경계가 객관적으로 관찰되고 측정할 수 있는 유형적 구조라는 것을 알게 되었다. 신경학자와 다른 과학자들(예: 해부학자)이 개발, 시험, 채택한 신경계에 대한 이해가 있다(예를 들어 중추신경계와 말초신경계가 있다는 생각을 포함한다). 개별 환자의 신경계가 표준과 일치하거나 벗어나는 방법에 대한 데이터를 수집하기 위해 신경학자는 예를 들어 신체검사(예: 환자의 조정 및 반사 관찰)와 진단검사(예: 자기공명영상 및 EMG)를 실행하는 등 시험되고 검증된 다양한 도구와 기술을 사용한다. 이러한 데이터를 통해 신경학자는 환자를 진단하고 증거 기반 가이드라인과 모범 사례에서 도출된 치료 과정을 권고할 수 있다. 

For instance, a neurologist will likely engage in science from a biomedical perspective. From within this tradition, the neurologist learned that the human nervous system is a tangible structure that can be objectively observed and measured. There is an understanding of the nervous system that neurologists and other scientists (e.g., anatomists) developed, tested, and adopted (including, for example, the idea that there is a central nervous system and a peripheral nervous system). To collect data about how an individual patient’s nervous system aligns with or deviates from the norm, a neurologist will use a variety of tested and validated tools and techniques including, for example, conducting a physical exam (e.g., observing the patient’s coordination and reflexes) and running diagnostic tests (e.g., magnetic resonance imaging and electromyography). With these data, the neurologist can diagnose a patient and recommend a course of treatment derived from evidence-based guidelines and best practices. 


이와는 대조적으로, 사회학자는 과학의 다른 개념화를 수용하게 될 것이고, 따라서 신경학자와는 다른 접근법을 사용하여 연구에 참여하게 될 것이다. 이 사회학자는 생의학 전통 대신 사회학적 관점에서 과학 연구에 참여하도록 훈련을 받은 것으로 보인다. 이 전통 안에서 사회학자는 개인과 그들을 둘러싸고 있는 사회 구조 사이의 상호작용을 조사하는 법을 배웠다. 이러한 상호작용에 대해 객관적으로 올바르거나 진실인 개념화는 없다. 대신, 여러 가지 경쟁적인 개념화가 존재한다. 어떤 이들은 개인의 주관적 경험을 강조하고 따라서 사회구조를 개인의 상호작용의 산물로 생각한다(즉, 상징적 상호작용주의6). 다른 이들은 개인이 사회적 구조(즉, 기든스의 구조 이론)에 의해 형성되지만 동시에 형성된다고 주장하면서 상호 영향을 강조한다. 인간의 행동을 이해하기 위해 사회학자들은 객관적 데이터(예: 개인의 행동에 대한 비참여적 관찰)를 수집할 수도 있지만 주관적 데이터(예: 살아 있는 경험을 이해하기 위한 개인과의 인터뷰)에도 크게 의존할 것이다. 

In contrast, a sociologist will embrace a different conceptualization of science, and so will engage in research using an approach that is different from the neurologist’s. Instead of the biomedical tradition, the sociologist likely trained to engage in scientific research from a sociological perspective. Within this tradition, the sociologist learned to examine the interactions between individuals and the social structures that surround them. There is no objectively correct or true conceptualization of these interactions; instead, there are multiple competing conceptualizations. Some emphasize individuals’ subjective experiences and so conceive of social structures as the products of the interactions of individuals (i.e., symbolic interactionism6). Others emphasize mutual influence, arguing that individuals are shaped by, but also simultaneously shape, social structures (i.e., Giddens’s theory of structuration7). To understand human behavior, sociologists might collect some objective data (e.g., nonparticipant observations of an individual’s actions) but will also rely heavily on subjective data (e.g., interviews with individuals to understand their lived experiences). 


이러한 데이터로, 사회학자는 개인 및/또는 집단에 대한 해석이나 설명을 제공할 수 있다. 분명히, 신경학자와 사회학자의 연구에 대한 생각은 서로 다른 전통에 기초하고 있다. 그들은 각각 다른 과학 철학, 즉 그들은 서로 다른 기초 개념, 가치관, 그리고 연구에 참여하는 방식을 가지고 있다. 하나의 전통이 다른 전통보다 반드시 나은 것은 아니다; 그것들은 단순히 다르다. 각각의 전통은 세계를 바라보는 구체적인 방법, 지식을 쌓는 일, 그리고 연구에 참여하는 데 사용하는 적절한 방법론을 제공한다. 

With these data, the sociologist can offer one interpretation or explanation of why individuals and/or Clearly, the neurologist’s and the sociologist’s ideas about and approaches to research are based in different traditions. They each work from a different philosophy of science—that is, they each hold dissimilar foundational conceptions, values, and practices for engaging in research. One tradition is not necessarily better than another; they are simply different. Each tradition offers a specific way of looking at the world, at the work of building knowledge, and at the appropriate methodologies to use to engage in research. 


건강직업교육(HPE)연구는 신경학자와 사회학자와 같이 서로 다른 연구 전통에서 일하는 학자들이 정기적으로 협력하는 영역이다. HPE 학자들은 의학에서 인류학, 간호학에서 공학, 직업치료에서 수사학까지 다양한 학문적 분야에서 나온다. 서로 다른 영역의 연구자들이 HPE의 공동연구에 참여할 때, 그들은 이질적인 과학철학을 한데 모아 보건직 종사자들의 교육의 기초가 되는 복잡한 현상과 씨름한다. 이러한 공동 연구자들은 서로 다르며 때로는 대립하기도 하고, 합법적인 지식이 어떤 모습인지에 대한 이해, 현상에 대해 우리가 알 수 있는 것, 그리고 새로운 지식을 개발하는 최선의 방법을 반영하는 연구에 대한 사고 방식과 관여하는 방법을 함께 모은다. HPE에서, 이러한 분열을 가로질러 작업하는 것은 생산적이고 발생적인 것으로 일관되게 간주되어 왔다.8,10,11 다른 분야 연구자의 전통을 이해하고 자신의 것을 설명하는 작업은, 특정 HPE 관련 현상에 대한 깊고 견고한 연구를 가능하게 하여, 다학문적 경계 효과를 실현할 수 있게 한다. 그러나 아무도 그러한 일이 쉽게 이루어질 것이라고 제안하지 않았다.

Health professions education (HPE) research is a domain where scholars working from different research traditions, like the neurologist and the sociologist, regularly collaborate.8–10 HPE scholars come from a wide range of academic disciplines—from medicine to anthropology, from nursing to engineering, from occupational therapy to rhetoric. When researchers from these different domains engage in HPE’s collaborative research, they bring together disparate philosophies of science to wrestle with the complex phenomena that are the foundation of education for the health professions. These collaborating researchers bring together ways of thinking about and of engaging in research that reflect dissimilar, sometimes even conflicting, understandings of what legitimate knowledge looks like, what we can know about a phenomenon, and the best ways of developing new knowledge. In HPE, working across these divides has consistently been regarded as productive and generative.8,10,11 The work of understanding another researcher’s tradition and of explaining one’s own enables a deep and robust study of a particular HPE-related phenomenon, enabling the multidisciplinary edge effect to be realized. But nobody has suggested that such work is easily accomplished. 


HPE의 다학제적 협업이 이루어지려면, 연구자들은 그들의 과학적 패러다임이 상호작용을 할 수 있도록 그들의 논리, 이론, 가치를 명확히 할 필요가 있다. 과학 패러다임은 쿤에 의해 "문제가 어떻게 이해되고 다뤄져야 하는지에 대해 과학자들 사이에 공유된 공통적인 믿음과 합의의 집합"으로 정의되었다.12 패러다임은 과학에 대한 특정한 접근을 정의하는 개념, 실천, 언어로 구성된다. 신경학자와 사회학자는 역량 기반 학습을 더 잘 이해하기 위해 협력하기로 결정할 수 있다. 생산적인 협업을 하기 위해서, 이 HPE 연구자들은 그들의 다른 패러다임에 대한 이해와 이해를 발전시킬 필요가 있다. 즉, 신경학자와 사회학자는 각각 현실의 본질, 지식의 본질, 개인이 연구에 참여할 수 있는 방법, 그리고 이 모든 것을 뒷받침하는 가치에 대해 서로 다른 인식을 가지고 있다는 것을 이해해야 한다. 

For HPE’s multidisciplinary collaborations to happen, researchers need to articulate their reasoning, theories, and values so that their scientific paradigms can interface. A scientific paradigm was defined by Kuhn as “the set of common beliefs and agreements shared between scientists about how problems should be understood and addressed.”12 A paradigm consists of the concepts, practices, and language that define a particular approach to science. The neurologist and the sociologist might decide to collaborate to better understand competency-based learning. To engage in a productive collaboration, these HPE researchers need to develop an appreciation for and comprehension of their different paradigms. In other words, the neurologist and the sociologist must understand that they each hold different perceptions of the nature of reality, of the nature of knowledge, the ways in which individuals can engage in research, and the values underpinning all of these. 


HPE의 다원적 연구에 대표되는 다양한 패러다임을 이해하는 것은 어려운 과제다. 연구자로서 우리는 종종 우리 패러다임의 장단점에 대해 성찰하지 않으며, 대체 연구 패러다임의 가치를 명시적으로 가르치는 경우는 드물다. 다학제 협업을 위해서는 임상의-교육자 및 HPE 연구 과학자가 "친숙한 도구, 아이디어 및 전문 분야의 보안을 해제"하고 다른 영역의 기본 신념 시스템과 지적으로 씨름해야 한다. 

Understanding the various paradigms represented in HPE’s multidisciplinary research is a daunting task. As researchers, we do not often reflect on the strengths and weaknesses of our paradigms, and rarely are we explicitly taught the value of alternate research paradigms. Multidisciplinary collaboration requires clinician–educators and HPE research scientists to “jettison the security of familiar tools, ideas and specialties”13 and to wrestle intellectually with the basic belief systems of other domains. 


과학철학에 대한 이 일련의 초청된 논평들이 뒷받침하기 위해 고안된 것은 바로 이 힘든 작업이다. 다양한 학문분야의 관행에 숨겨진 패러다임적 차이를 정확하지만 쉽게 설명할 수 있는 문헌은 거의 없다. 따라서, 우리는 이 일련의 기사를 프라이머 모음으로 개발했는데, 각각 HPE의 다원적 협력에 반영된 연구 패러다임에 대한 소개를 제공했다. 각 원고는 패러다임의 주요 원리에 대한 간결하고 접근하기 쉬운 설명을 제시하여 연구자들이 이러한 전통들이 서로 어떻게 다른지 빠르게 파악할 수 있도록 한다. 이 시리즈에서 다루는 패러다임은 다음과 같다: 실증주의, 14 포스트 실증주의, 15 비판 이론, 16 건설주의, 17 사회 물질주의, 18 포스트모더니즘, 19 그리고 리얼리즘.20 이것은 과학의 모든 패러다임의 완전한 목록은 아니다; 대신에, HPE 연구에 자주 사용되는 패러다임과 우리가 점점 더 우리 공동체의 간학제적 협력의 일부가 될 것이라고 믿는 패러다임을 포함했다. 우리는 또한 용어 이론, 이론적 프레임워크 및 개념적 프레임워크가 과학에 대한 다른 접근방법에 걸쳐 어떻게 정의되고 적용될 수 있는지를 설명하는 문헌을 포함하고 있다. 

It is precisely this grappling work that this series of Invited Commentaries on the Philosophy of Science is designed to support. There are few resources available that accurately but accessibly explain the paradigmatic differences behind various disciplinary practices. Therefore, we developed this series of articles as a collection of primers, each offering an introduction to the research paradigms reflected in HPE’s multidisciplinary collaborations. Each manuscript presents a concise and accessible description of the main principles of a paradigm so that researchers can quickly grasp how these traditions differ from each other. The paradigms addressed in this series are: positivism,14 postpositivism,15 critical theory,16 constructionism,17 sociomaterialism,18 postmodernism,19 and realism.20 This is not an exhaustive list of all the paradigms of science; instead, it includes the paradigms that are often used in HPE research and those that we believe will increasingly be part of our community’s interdisciplinary collaborations. We also include an article21 that explains how the terms theory, theoretical framework, and conceptual framework can be defined and applied in different ways across different approaches to science. 


이러한 기사들은 각 패러다임에 대한 완전하고 결정적이며 포괄적인 설명으로 해석되어서는 안 된다. 대신, 각 문헌은 특정 패러다임 내에서 연구에 참여하는 것이 무엇을 의미하는지 고려하는 출발점을 제공한다. 

These articles should not be interpreted as full, definitive, comprehensive descriptions of each paradigm; instead, each offers a starting point for considering what it means to engage in research within a particular paradigm. 


각 문헌은 개별 패러다임과 관련된 주요 개념과 연구 전통에 대한 개요를 제공한다. 구바가 제시한 접근법에 따라, 본 시리즈의 각 기사는 패러다임을 이해하는 데 중심적인 3가지 질문을 다룬다. 

Each article provides an overview of the main concepts and research traditions associated with an individual paradigm. Following the approach set out by Guba,22 each article in this series addresses 3 questions that are central to understanding a paradigm: 


1. 현실의 본성은 무엇인가? 존재의 본질은 무엇인가? 이러한 질문에 대한 답은 패러다임의 온톨로지를 분명히 보여준다. HPE에서 사용하기에는 너무 추상적으로 보일 수 있지만, 온톨로지는 과학의 기초적인 구성 요소다. 이 질문들은 우리가 현실에 대해 가지고 있는 가정들을 되돌아볼 것을 요구한다. 

1. What is the nature of reality? What is the nature of being?22 The answers to these questions articulate the ontology of the paradigm. While it may seem much too abstract to be of use in HPE, ontology is the foundational building block of science. These questions require us to reflect on the assumptions we hold about reality. 


2. 알고자 하는 사람knower(즉, 과학자, 탐구자)과 알려진 것known(즉, 알 수 있는 현실)의 관계는 무엇인가? 이러한 질문들에 대한 답은 패러다임의 인식론을 분명히 보여준다. 인식론은 온톨로지를 기반으로 하며, 지식을 발전시키기 위해 현실의 본질을 실천에 옮길 때 관여한다. 그것은 연구자들이 합법적이고 가치 있는 것으로 여겨질 지식을 개발하기 위해 연구에 어떻게 참여해야 하는지에 대해 성찰할 것을 요구한다. 예를 들어, 연구자가 객관적 현실에 대한 단독 관찰자의 입장을 취해야 하는가, 아니면 연구자가 자신을 현실의 참여자로 인식하고 내부자의 관점을 가져야 하는가? 

2. What is the relationship between the knower (i.e., the scientist, the inquirer) and the known (i.e., reality, that which is knowable)?22 The answers to these questions articulate the epistemology of the paradigm. Epistemology builds on ontology by putting the nature of reality into practice for developing knowledge. It requires us to reflect on how researchers should engage in inquiry to develop knowledge that will be considered legitimate and valuable. For example, should the researcher assume the position of a detached observer of an objective reality or should the researcher recognize himor herself as a participant of reality and assume an insider perspective? 


3. 연구자는 어떻게 지식을 알아내야 하는가 학자가 새로운 지식을 개발할 수 있도록 하는 연구 접근법의 성격은 무엇인가?23 이러한 답변은 패러다임의 방법론을 명확히 한다. 방법론은 주어진 연구 프로젝트에서 인식론과 온톨로지를 실행에 옮기는 일련의 지침과 원칙이다. 적절하게 정렬되면, 연구의 방법론은 타당하다고 간주되는 데이터를 구성하고 주어진 패러다임 내에서 합리적인 결론을 도출하는 것을 지원한다. 방법론은 패러다임의 존재론적 및 인식론적 기초를 반영하는 지식을 생성한다. 

3. How should the researcher go about finding out knowledge?22 What is the nature of the research approach that will enable the scholar to develop new knowledge?23 These answers articulate the methodology of the paradigm. Methodology is a set of guidelines and principles that put an epistemology and an ontology into action in a given research project. When properly aligned, a study’s methodology constructs data that are considered valid and support drawing reasonable conclusions within a given paradigm. Methodology generates knowledge reflective of the ontological and epistemological foundations of the paradigm. 


또한 이 시리즈의 각 기사는 구바의 삼두 정치권에 속하지 않고 헤론과 레송에 의해 제안된 추가적인 질문을 다루고 있다. 

Each article in the series also addresses an additional question suggested by Heron and Reason,24 not part of Guba’s triumvirate


4. 이 연구 접근법을 형성하는 가치 및/또는 가치 판단은 무엇인가?25 이러한 답변들은 패러다임의 공리학을 명확하게 보여준다. 그들은 우리에게 왜 그리고 어떻게 특정한 종류의 연구가 가치 있게 평가되고 가치 있게 여겨지게 되었는지를 고려하도록 강요한다. 

4. What are the values and/or value judgments that shape this research approach?25 These answers articulate the axiology of the paradigm. They force us to consider why and how specific kinds of research came to be valued and deemed worthwhile. 


이러한 용어를 설명하기 위해, 최근 의료 교육에 대한 역량 기반 접근방식에 초점을 맞추고 있는 많은 의료 교육자들의 마음에서 최전선에 있는 역량 개념을 고려해보자. 다양한 온톨로지, 인식론, 방법론 및 공리학은 1960년대 후반부터 우리 분야에서 발표된 역량 기반 의학교육을 다루는 4,500개 이상의 기사를 특징짓는다. 역량이 무엇인지에 대한 다양한 관점, 그것을 연구하는 방법에 대한 폭넓은 생각, 학자들이 그것을 기술하고 조사하는 방식에 대한 미묘한 차이, 1960년대부터 현재까지 그 개념의 일시적 진화, 그리고 그 기본적 가치와 효과에 대한 다양한 질문들을 볼 수 있다(표 1 참조). 이 질문들은 다양한 과학철학을 뒷받침하는 광범위한 가정들을 보여준다. 

To illustrate these terms, consider the concept of competence, which is at the forefront of many medical educators’ minds given the recent focus on competency-based approaches to medical education. A range of ontologies, epistemologies, methodologies, and axiologies characterize the more than 4,500 articles addressing competency-based medical education published in our field since the late 1960s. We can see a variety of perspectives on what competence is, a breadth of ideas about how to study it, subtle differences in the way scholars describe and investigate it, a temporal evolution of the concept from the 1960s to now, and a range of questions about its underlying values and effects (see Table 1). These questions demonstrate the breadth of assumptions that underpin different philosophies of science. 



온톨로지/epistemology/방법론/axiology 구조에 이어, 시리즈의 각 기사는 문제의 패러다임과 관련된 핵심 용어의 정의를 제시하고, 패러다임이 동일한 가상의 사례 시나리오에 적용함으로써 어떻게 연구를 형성하는지를 보여준다(상자 1 참조). 시리즈의 모든 기사가 같은 시나리오를 다루기 때문에, 독자들은 다른 패러다임에서 일하는 학자들이 같은 연구 주제에 어떻게 다른 방식으로 접근할 수 있는지 보게 될 것이다. 

Following the ontology/epistemology/ methodology/axiology structure, each article in the series offers definitions of key terms related to the paradigm in question and illustrates how the paradigm shapes research by applying it to the same fictional case scenario (see Box 1). Since all articles in the series address the same scenario, readers will see how scholars working from different paradigms can approach the same topic of research in different ways. 



새로운 패러다임에서 일하기를 원하는 연구자들은 이 프라이머들을 검토하여 연구가 무엇이며 각 패러다임에서 어떻게 실행되어야 하는지를 결정하는 기초적인 전제를 이해할 수 있다.22 우리는 과학철학 시리즈가 연구자들이 HPE에 존재하는 많은 패러다임에 걸쳐 협력하는 데 도움이 되기를 희망한다. 또한 다학제간 경계효과로부터 이익을 얻기를 바란다 

Researchers who wish to work in new paradigms can review these primers to understand the foundational premises that determine what research is and how it should be practiced in each paradigm.22 We hope that the Philosophy of Science series will help researchers collaborate across the many paradigms present in HPE and so reap the benefits of the multidisciplinary edge effect. 


결론적으로, 우리는 다학제적 경계 효과의 생산성을 활용하려면 HPE 연구자들이 패러다임적으로 민첩해야 한다고 주장한다. 우리는 학자들이 이러한 민첩성을 개발하는 것을 돕기 위한 수단으로 과학철학에 대한 초청된 논평들을 제공한다.

In conclusion, we contend that harnessing the productivity of the multidisciplinary edge effect requires HPE researchers to be paradigmatically nimble. We offer this series of Invited Commentaries on the Philosophy of Science as a means of helping scholars develop this agility. 






. 2020 May;95(5):686-689.
 doi: 10.1097/ACM.0000000000003142.

Philosophy of Science Series: Harnessing the Multidisciplinary Edge Effect by Exploring Paradigms, Ontologies, Epistemologies, Axiologies, and Methodologies

Affiliations 

Affiliation

  • 1L. Varpio is professor and associate director of research, Graduate Programs in Health Professions Education, Department of Medicine, Uniformed Services University of the Health Sciences, Bethesda, Maryland; ORCID: https://orcid.org/0000-0002-1412-4341. A. MacLeod is professor of continuing professional development and medical education, Faculty of Medicine, Dalhousie University, Halifax, Nova Scotia, Canada.

Abstract

Health professions education (HPE) researchers come from many different academic traditions, from psychology to engineering to rhetoric. Trained in these traditions, HPE researchers engage in science and the building of new knowledge from different paradigmatic orientations. Collaborating across these traditions is particularly generative, a phenomenon the authors call the multidisciplinary edge effect. However, to harness this productivity, scholars need to understand their own paradigms and those of others so that collaboration can flourish. This Invited Commentary introduces the Philosophy of Science series-a collection of articles that introduce readers to 7 different paradigms that are frequently used in HPE research or that the authors suggest will be increasingly common in future studies. Each article in the collection presents a concise and accessible description of the main principles of a paradigm so that researchers can quickly grasp how these traditions differ from each other. In this introductory article, the authors define and illustrate key terms that are essential to understanding these traditions (i.e., paradigm, ontology, epistemology, methodology, and axiology) and explain the structure that each article in this series follows.


의과대학생의 초기 임상경험에서 감정의 발달: 모델(Adv in Health Sci Educ, 2014)

Medical students’ emotional development in early clinical experience: a model

Esther Helmich • Sanneke Bolhuis • Roland Laan • Tim Dornan • Raymond Koopmans




도입

Introduction


자신과 다른 사람의 감정을 인식하고 이해할 수 있는 것은 의대생들의 [환자와의 관계]와 [개인의 안녕]을 위해서도 중요하다(Satterfield and Hughes 2007; Shapiro 2011). 환자들에게서 강렬한 감정을 접하게 되는데, 이는 그 자체로 강한 감정 반응을 불러일으키지만(Helmich et al. 2011b), 이전의 연구는 적어도 초기 의학 교육에서 감정 학습 과정이 간과되는 경향이 있음을 시사한다(Karnieli-Miller et al. 2010),

Being aware of and able to understand and manage emotions in oneself and others is important both for medical students’ relationships with patients and for their personal wellbeing (Satterfield and Hughes 2007; Shapiro 2011). Although they encounter intense emotions in patients, which evoke strong emotional reactions in themselves (Helmich et al. 2011b), previous research suggests that emotional learning processes tend to be overlooked (Karnieli-Miller et al. 2010), at least in early medical education (Helmich et al. 2011a).


의학교육의 초기 단계에서 감정을 조사하는 데는 몇 가지 이유가 있다(Croskerry et al. 2010; Novack et al. 1999). 그것들은 모든 인간 구성의 근본적인 부분이다. 그들은 추리, 사회적 행동 및 의사결정에서 중요한 역할을 한다(Anderson et al. 1999). 인식과 얽혀 학습, 관심, 기억, 동기 부여에 중추적인 역할을 한다(McConnell과 Eva 2012). 또 학교에서 배운 지식과 기술을 참신한 상황과 현실의 의사 결정으로 옮기기 위해서는 감정적 과정이 필수적이다(이모르디노-양과 다마시오 2007). 감정을 다룰 수 있는 능력은 진단 과정, 의학적 의사 결정, 대인 관계 등 의대생과 의사의 전반적인 임상 수행의 중요한 특징으로 여겨진다(Croskerry et al. 2008).

There are several reasons for investigating emotions at this early stage (Croskerry et al. 2010; Novack et al. 1999). They are a fundamental part of the makeup of every human being. They have a major role in reasoning, social behaviour, and decision making (Anderson et al. 1999). They are intertwined with cognition and play a pivotal role in learning, attention, memory and motivation (McConnell and Eva 2012). In addition, emotional processes are prerequisite to transferring knowledge and skills learned in school into novel situations and real-world decision making (Immordino-Yang and Damasio 2007). Being able to deal with emotions is considered a critical feature of medical students’ and doctors’ overall clinical performance, including diagnostic processes, medical decision making, and interpersonal relationships (Croskerry et al. 2008).


의학 교육 문학에서 감정은 최근에야 심각한 관심을 끌었다. 첫 임상경험(Dynrbye et al. 2007; Pitkala and Mantyranta 2004)과 의대생들의 죽음과 죽음에 대한 반응(Kely and Nisker 2010; Ratanawongsa et al. 2005; Rodes-Kropf et al. 2005)에 더해, 자기인식, 마음챙김, 관계중심 진료 및 공감 등에 대한 관심이 높아지고 있다.(Beach and Inui 2006; Bombeke et al. 2010; Charon 2001; Dobe 2007; Epstein et al. 1999; Novack et al. 1999), 그리고 '감정 지능'과 같은 개념의 측정과 유용성(Aura et al. 2010; Brannick et al.) 2009; Cherry et al. 2012; Growal 및 Davidson 2008; Lewis et al. 2005).

Emotions have only recently attracted serious attention in the medical education literature. In addition to the feelings of medical students during their first clinical experiences (Dyrbye et al. 2007; Pitkala and Mantyranta 2004) and medical students’ responses to death and dying (Kelly and Nisker 2010; Ratanawongsa et al. 2005; Rhodes-Kropf et al. 2005), increasing attention is being paid to self-awareness, mindfulness, relationship-centred care and empathy (Beach and Inui 2006; Bombeke et al. 2010; Charon 2001; Dobie 2007; Epstein 1999; Novack et al. 1999), and the measurement and usefulness of concepts such as ‘emotional intelligence’ (Arora et al. 2010; Brannick et al. 2009; Cherry et al. 2012; Grewal and Davidson 2008; Lewis et al. 2005).


의대생들의 실습 기반 학습은 반드시 환자, 의사, 간호사 및 동료들과 상호 작용하여 이루어지기 때문에 우리는 이러한 학습 과정을 사회문화적 관점에서 보기로 선택했다(Lave and Wenger 1991; Wenger 1998). 사회문화적 관점에서 배움이란 본질적으로 대인관계와 사회적 환경이 중추적인 역할을 하는 사회적 과정이다. 홀랜드 등이 정서적 개입을 역량의 습득과 연결시켰음에도 불구하고. 사회문화 이론가들은 배움에서 감정의 역할에 대해 별로 연구하지 않았다(Holland et al. 1998). 사회문화적 관점에서, 학습은 사회적으로 위치한다. 개개인의 경험과 그 경험에 동반되는 감정들은 그 사람이 여러 milieus에서 자신의 정체성을 수행하고 재실행할 때, 그 사람의 'bodily practice'의 일부가 된다. 이는 이 연구에서 우리가 의미하는 것은 '정서적 발달'이다.

We have chosen to view those learning processes from a socio-cultural perspective (Lave and Wenger 1991; Wenger 1998) because medical students’ practice-based learning necessarily takes place by interacting with patients, doctors, nurses and peers (Bleakley 2006). Learning, froma socio-cultural viewpoint, is an essentially social process, in which interpersonal relationships and social environments play a pivotal role. Sociocultural theorists have not written much about the place of emotions in learning though Holland et al. link emotional involvement with the acquisition of competence (Holland et al. 1998). Learning, from a socio-cultural perspective, is socially situated. Experiences, and their emotional concomitants, become a part of a person’s ‘bodily practice’ as individuals perform and re-perform their identities in different milieus, which is what we mean by ‘emotional development’ in this research.


방법

Methods


윤리

Ethics


연구 설계

Study design


라드부드 대학 니즈메겐 메디컬 센터에서는 모든 1학년 의대생들이 병원이나 요양원에서 의무적으로 4주간의 간호부착에 참여한다. 환자 진료에 적극적으로 참여하고, 간호조무사로 일하고, 환자와의 대화에 참여하고, 돌본다. 2주 후와 첨부파일이 끝나면 학생들은 정규 교육 프로그램의 일환으로 교수진 주도의 소그룹 성찰 회의에 참석한다.

At the Radboud University Nijmegen Medical Centre, all first-year medical students participate in compulsory 4-week nursing attachments in hospitals or nursing homes. They actively participate in patient care, working as assistant nurses, taking part in conversations with patients, and caring for them. After 2 weeks and at the end of the attachment, students attend faculty-led small-group reflection meetings as part of the regular educational programme.


자료 수집

Data collection


먼저, 우리는 세 가지 포커스 그룹 논의를 수행했는데, 거기서 우리는 후속 데이터 수집 및 분석을 알릴 수 있는 'sensitizing concept'을 도출할 수 있었다.

First, we carried out three focus group discussions: from which we could derive ‘sensitising concepts’ that could inform our subsequent data collection and analysis.


이전의 연구에서는 학생들의 자발적인 서술 중 5분의 1만이 감정적인 내용을 가지고 있다는 것을 보여주었기 때문에(Karnieli-Miller et al. 2010), 우리는 그들에게 그들이 매일 느끼고 생각하고 하는 것을 말하도록 명시적으로 요구하기로 결정했다.

Previous research showed that only a fifth of students’ spontaneous narratives had emotional content (Karnieli-Miller et al. 2010), so we decided to ask them explicitly to say what they felt, thought, and did each day.


자료 분석

Data analysis


인터뷰는 테이프에 녹음되고 그대로 옮겨졌다. 학생 기록과 함께, 이 성적표는 우리의 핵심 데이터 세트를 형성했다. 데이터의 동시 수집과 해석을 통해 지속적인 비교 분석을 실시했다. 2차 면접 때마다 EH(의사·의사 교육자)가 사전 분석을 실시해 다음 면접을 통보했다. 7개의 인터뷰 중 첫 번째 부분집합을 마친 후, 두 명의 작가(EH와 SB)가 다음 인터뷰 세트를 위해 학생들을 샘플링하기 전에 보다 포괄적인 분석을 공동으로 수행했다.

Interviews were tape-recorded and transcribed verbatim. Together with student logs, these transcripts formed our core data set. We conducted a constant comparative analysis through simultaneous collection and interpretation of data. Following every second interview, EH (medical doctor and medical educator) carried out a preliminary analysis, which informed the next interviews. After having completed the first subset of seven interviews, two authors (EH and SB) collaboratively carried out a more comprehensive analysis before sampling students for the next set of interviews.


근거이론에 대한 일반적 분석모드에 따라서 개방코딩, 축코딩, 선택적 코딩(Corbin and Strauss 2008)의 세 가지 코딩 모드를 적용했다

    • 오픈 코딩(Open Coding)은 원시 데이터에서 개념을 추출해 속성 및 치수 측면에서 개발하는 것을 말한다. 

    • 축코딩은 개념을 가로질러 그것들을 서로 연관시키는 것을 의미한다. 

    • 선택적 코딩은 하나의 범주를 핵심 범주로 선정하여 다른 모든 범주와 연관시키는 과정이다.

Following the general mode of analysis for grounded theory, we applied three modes of coding: open, axial and selective coding (Corbin and Strauss 2008). 

    • Open coding refers to extracting concepts from raw data and developing them in terms of properties and dimensions. 

    • Axial coding means cutting across concepts and relating them to each other. 

    • Selective coding is the process of selecting one category to be the core category and relating it to all other categories.



결과

Results



인상적인 경험

Impressive experiences


이러한 초기 임상 경험은 대부분의 응답자가 환자와 처음 마주친 경험이며 인상적인 경험이 될 수 있다. 응답자들은 환자가 갑자기 악화되거나, 다른 사람에게 의존하거나, 외로움을 느끼는 상황을 묘사했다. 

These early clinical experiences were most respondents’ first encounters with patients and they could be impressive ones. Respondents described patients deteriorating suddenly,being in pain, depending on others, or feeling lonely. 


응답자들은 또한 환자들이 회복되거나 퇴원하는 것과 같은 즐거운 상황을 언급했다. 응답자들은 그들이 어떻게 환자와 개인적인 관계를 발전시켰는지, 끈기 있는 대화를 나누었는지, 환자들을 지원했는지, 혹은 그들과 작별인사를 해야 했는지에 대해 말했다. 

Respondents also mentioned joyful situations, such as patients recovering or being discharged. Respondents told how they developed personal relationship with patients, held intense conversations, supported patients or had to say goodbye to them. 


이러한 인상적인 경험은 모든 학생들의 서술과 관련이 있기 때문에, 우리는 그것들을 해석 모델의 핵심에 배치했다.

As these impressive experiences were pertinent to all students’ narratives, we placed them at the heart of our interpretive model.


인상적인 경험은 감정, 생각, 행동, 반응을 자극했다. 강렬할 수 있는 감정에는 부드러움, 슬픔, 경외감, 무력감, 혐오감, 관심, 자랑스러움, 자신감과 두려움이 포함되어 있었다.

Impressive experiences provoked emotions, thoughts, actions, and reactions. Emotions, which could be intense, included tenderness, sadness, awe, powerlessness, disgust, interest, proud, confidence and fear.


상황에 대한 응답자들의 생각은 세 가지 유형이었다. 

    • 첫째로, 학생들은 자신에 대한 생각, 예를 들어 자신의 성격, 행동 또는 위치에 대한 생각을 언급했다. 

    • 둘째로, 그들은 다른 사람들, 즉 환자, 간호사, 의사들에 대한 생각이나 전반적인 관리의 질을 언급하였다. 

    • 셋째, 학생들은 상황에 대한 평가를 보고했다.

Respondents’ thoughts about situations were of three types. 

    • First, students mentioned thoughts about themselves, e.g. about their own personality, behaviour or position. 

    • Second, they referred to thoughts about others—patients, nurses, or doctors—or the quality of care in general. 

    • Third, students reported their appraisals of situations.


인상적인 경험을 한 후, 많은 응답자들은 그 상황을 되돌아보거나, 무슨 일이 일어났는지에 대해 다른 사람들과 이야기했다고 말했다. 그러나 일부 학생들은 의식적인 반응을 전혀 언급하지 않았다.

After an impressive experience, many respondents reported they had thought back over the situation or talked with others about what had happened. Some students, however, did not mention any conscious reaction at all.


긴장

Tensions


인상적인 경험은 종종 응답자들의 감정과 생각, 그리고 특정한 상황에서 일어나고 있거나 요구되는 것 사이에 긴장을 조성했다. 비록 모든 인상적인 경험들이 불협화음을 야기하지는 않았지만, 모든 응답자들은 그들의 첨부 과정에서 적어도 약간의 딜레마를 묘사했다. 긴장tension은 임상실습의 초기 로그 항목에서 가장 자주 나타났으며, 실습이 진행됨에 따라서 빈도가 낮아졌다. 우리는 응답자들이 해결해야 했던 네 가지 주요 긴장관계, 즉 이상주의 대 현실, 비판적 거리 대 적응, 관여 대 분리, 그리고 감정 대 표시의 네 가지를 식별했다.

Impressive experiences often created a tension between respondents’ emotions and thoughts and what was happening or required in a particular situation. Although not all impressive experiences caused dissonance, all respondents described at least some dilemmas in the course of their attachments. Tensions were most often apparent in their earlier log entries becoming less prevalent as the attachments progressed. We identified four main tensions, which respondents had to resolve: 

    • idealism versus reality, 

    • critical distance versus adaptation, 

    • involvement versus detachment, and 

    • feeling versus displaying.


개인 특성

Personal attributes


감정 경험에 대처하는 방법을 배우는 과정은 임상 작업장의 제공과 상호 작용하는 응답자들의 개인적 특성에 의해 영향을 받았다. 학생들마다 각기 다른 종류의 상황을 보고했고, 다른 긴장도를 경험했으며, 그들의 경험, 감정, 생각, 행동들을 다른 방식으로 표현했다. 이러한 차이점들은 그들의 성격, 이전 경험, 준비, 학습자로서의 역할 개념, 실무에 대한 인식, 그리고 그들의 직장에서의 '여기와 지금' 환경에 의해 설명되었다.

The process of learning how to deal with emotional experiences was influenced by respondents’ personal attributes, which interacted with affordances of clinical workplaces. Different students reported different kinds of situation, experienced different degrees of tension, and voiced their experiences, feelings, thoughts, and behaviours in different ways. Those differences were accounted for by their personalities, prior experiences, preparation, role conceptions as learners, perceptions of being in practice, and the ‘here and now’ circumstances of their workplaces.


근무지 어포던스

Workplace affordances


[응답자들이 상황에 가져온 것]은 [개별 임상 작업장이 제공해야 하는 것]과 상호 작용했다. 다음의 특징은 학습에 영향을 미쳤다: 

    • 특정한 맥락이나 환자 구성, 

    • 특정 직장이 그들에게 맡겨 허용한 역할, 

    • 병동에서의 사회적 상호작용, 

    • 역할 모델의 영향, 

    • 교육 가이드의 가용성 여부, 

    • 감독자의 학습 요구에 대한 인식.

What respondents brought to situations interacted with what individual clinical workplaces had to offer. The following characteristics affected learning: 

    • the specific context or patient population, 

    • the roles a specific workplace allowed them to take on, 

    • social interaction on their ward, 

    • the influence of role models, 

    • the availability of educational guidance, and 

    • supervisors’ awareness of learning needs.


포괄적 사회적 맥락

The broader social context


그림 1에 나타난 모델로 돌아와서 인상적인 경험을 구성하고 광범위한 영향을 끼친 개인 속성과 직장 내 여유 사이의 상호작용이 더 넓은 사회적 맥락 안에서 이루어졌다. 의대 동료 및 교사들과의 대화와 의료계 밖의 친구 및 가족들과의 상호작용은 그러한 맥락에서 중요한 특징이었다.

Returning to the model shown in Fig. 1, interactions between personal attributes and workplace affordances, which constituted impressive experiences and had a range of effects, took place within broader social contexts. Conversations with peers and teachers in medical school and interactions with friends and family outside the medical community were important features of those contexts.


일부 응답자들은 그들의 경험에 대해 이야기하기 위해 동료나 대학 교사들에게 눈을 돌렸다. 의과대학에서 자습회를 하는 동안 비슷한 경험을 하는 동료들로부터 설명을 듣는 것이 도움이 되었다.

Some respondents turned to peers or university teachers to talk about their experiences. It was helpful to hear from peers describing similar experiences during tutorial meetings in medical school.


응답자들은 또한 그들의 부모처럼 신뢰받는 사람들과 그것들을 토론함으로써 긴장을 해결하려고 노력했다.

Respondents also tried to resolve tensions by discussing them with trusted people like their parents.


학습 성과

Learning outcomes


우리의 해석 모델(그림 1)은 상호작용하는 많은 요소들을 가진 역동적인 모델이다. 서로 다른 응답자들의 속성과 사회적 영향들은 경험들을 다소 인상적이게 만들었다. (인상적인 경험에서 비롯된 4개의 서로 다른 축을 따라) 긴장을 해소하는 방식은 개개인별로 매우 다른 학습 결과를 낳았다. 예를 들어, 그들은 다른 사람들의 반응이 특정 경험의 결과에서 어떻게 중추적인 역할을 하는지를 설명했다.

Our interpretive model (Fig. 1) is a dynamic one with many interacting factors. Different respondents’ attributes and social influences made experiences more or less impressive ones. The way they resolved tensions along four different axes, which arose from impressive experiences, resulted in highly individual learning outcomes. They described, for example, how other people’s reactions played a pivotal role in the consequences of a particular experience:


요컨대, 응답자들은 지속적인 긴장 상태에 직면했고, 그 긴장을 어떻게 해결하느냐에 따라서 더 또는 덜 바람직한 결과를 낳았다. 응답자들은 대부분 긍정적으로 그것들을 해결할 수 있었고, 공감이나 자신감의 증가와 같은 바람직한 결과로 이어졌다. 그러나 그들은 또한 부정적인 방법으로 긴장을 해결할 수 있었고, 그것은 냉소주의 증가나 분리 같은 결과로 이어졌다. 감정을 느끼고 다루는 것은 사회적으로 구성된 과정이었다.

In sum, respondents faced constant tensions and the way they resolved them had more or less desirable outcomes. Respondents were mostly able to resolve them positively, leading to favourable outcomes such as increases in empathy or confidence. But they could also resolve tensions in unfavourable ways, which led to outcomes like increased cynicism or detachment. Feeling and handling emotions was a socially constructed process.


모델의 구성 요소들 간의 관계를 설명하기 위해, 우리는 학생들의 로그 중 하나를 발췌하여 결론짓는다.

To illustrate the relationships between the components of the model, we conclude with an excerpt from one of the students’ logs.


지난 몇 달 동안 그녀는 급격히 악화되어 심한 고통을 겪고 있는 환자가 있다. 오늘 오후, 모든 의료 및 상처 치료를 중단하고 모르핀으로 증상 치료를 시작하기로 결정했다. (…) 그래서 우리는 누군가를 죽게 할 것이다. (…) 그녀는 오후 4시에 첫 번째 모르핀을 투약했다. 이건 정말 나를 쳤다. (…)나는 왜냐하면, 누군가 죽기 전에 그리고 아마도 또한 이 왜 내가 의학에 들어가자, 사람들이 죽지 않게 하기 위해(…)지 않다 본 적 없는 이것이라고 생각한다. 그녀의 친척들이 주위에 있고, 또한 어떻게 반응해야 할지도 모르고, 조심스럽게 그녀를 떠나보내기 시작하는 것은 꽤 무력한 느낌이다. (…)

There is a patient getting worse, she is in severe pain, in the last months she quickly deteriorated. This afternoon, it was decided to stop all medical and wound care and start symptomatic treatment with morphine. (…) So we will let someone die. (…) She got her first dose of morphine at 4 PM. This really hit me. (…) I think this is because I never saw someone die before and maybe also because this is not why I entered medicine, (…) not to let people die. It feels quite powerless, with her relatives around, who also don’t know how to react, who only cautiously start to take leave of her. (…)


내가 다음 사항을 적어야 할지 모르겠다. 하지만, 비록 그것이 적절하지 않다고 생각하지만, 나는 그렇게 할 것이다.

I don’t know if I should write down the following …. But I will, although I feel it is not appropriate (…).


이 환자가 내가 있는 동안 죽었으면 좋겠고, 가급적이면 내가 있는 순간에 죽었으면 좋겠다. (…) 나는 정말로 나의 점원 근무 중에 예기치 않게 죽는 것이 아니라 이렇게 안전한 환경에서 죽음에 대한 첫 경험을 하고 싶다. 단지 그 경험을 했을 뿐, 환자를 '지근'하는 것이 어떤 것인지.

I hope this patient will die during my placement, and preferably at a moment I am around. (…) I really would like to have my first experience with death in such a safe environment, instead of unexpectedly during my clerkships. Just to have had the experience, what it is like to ‘lose’ a patient.


누군가 빨리 죽었으면 좋겠다는 생각에 내가 멍청이처럼 느껴야 할지, 아니면 지금 일어나고 있는 일에 대한 정상적인 반응일 뿐인지 잘 모르겠다. 이런 상황에서 모든 사람들이 다른 방식으로 반응하겠지만, 나에게는 그것은 완전히 새로운 것이고 나는 그것을 어떻게 다루어야 할지 모르겠어. 물론 당신은 그 누구도 심한 고통을 받는 것을 원하지 않는다. 그러나 그녀가 죽기를 바라는 것은? 글쎄, 정말 희망은 아니고, 어떻게 표현해야 할지 모르겠고, 단지 이것이 어떻게 끝날지, 어떻게 느낄지, 다른 사람들이 어떻게 느낄지, 다른 사람들이 어떻게 반응할지, 내가 어떻게 느낄지, 내가 어떻게 대처할지 궁금할 뿐이다.

I am not sure whether I should feel like an oaf because I wish someone will die soon or whether it is just a normal response to what is happening. Everyone will react in a different way in these circumstances, but for me it is brand new and I don’t know how to handle it. Of course you do not want anyone to be in severe pain (…), but to hope she will die …? Well, not really hope, I don’t know how to express this, it is just that I am curious about how this will end, how it will feel, how other people will experience this, how other people will respond to this, how I will feel, how I will deal with it …


나의 어머니에 따르면, 많은 주니어 의사들이 점원 근무 중에 사망에 대한 첫 경험만을 가지고 있다고 한다. 이 일을 인정하는 것이 나에겐 여전히 나쁘게 들리지만(…) 이런 경험들은 형식적인 것으로, 미래의 의사로서 어느 정도 현실감을 제공하는 것이라고 생각한다(…) 의사가 된다는 것은 신의 인간 화신이 되는 것이 아니라, 어느 순간 삶이 막 끝나게 된다는 것을 의미하지는 않는다.(학생 3번

According to my mother [who is a physician] many junior doctors only have their first experiences of death during clerkships. I am glad to have this experience right now, although admitting this still sounds bad to me (…) I think these experiences are formative, providing you as a future doctor with some sense of reality (…), being a doctor does not mean being a human incarnation of God, at a certain moment life just comes to an end. (Student No. 3)


고찰

Discussion


요약

Summary of main findings


다른 연구와의 관계

Relation to other publications


인상적인 경험은 우리 모델의 중심에 위치했으며, 이는 전문적인 발전을 위해서는 참여와 실제 환자 학습의 중요하다는 다른 연구에 부합한다(Bell et al. 2009; Boor et al. 2008; Dornan et al. 2007; Teunissen et al. 2007).

The centrality of impressive experiences in our model resonates with other reports about the importance of participation and real patient learning for the professional development of medical students (Bell et al. 2009; Boor et al. 2008; Dornan et al. 2007; Teunissen et al. 2007).


인상적이거나 감정적인 경험은 우리 모델의 핵심이며, 종종 학생들의 의견이나 감정과 특정한 상황에서 일어나고 있거나 요구되는 것 사이의 긴장을 초래한다. 이러한 긴장감은 어떻게 느끼고, 생각하고, 훌륭한 미래의 의사로서 행동하는지에 관한 직업적인 딜레마를 주로 나타낸다. 학생들은 종종 [상황의 요구]와 [적절한 직업적 행동이라고 생각하는 것] 사이에서 긴장감을 경험하는 상황에 처했다.

Impressive or emotional experiences are at the heart of our model, often leading to tensions between students’ opinions or feelings and what is happening or required in particular situations. These tensions predominantly represent professional dilemmas, regarding how to feel, think or act as a good future doctor. Students often found themselves in circumstances in which they experienced a tension between the demands of the situation and what they thought would be appropriate professional behaviour.


이 발견은 사회심리학 내에 잘 자리 잡고 있는 '불협화음'의 개념과 매우 흡사하다. 인지 부조화 이론은 상호 모순되는 인지를 갖는 것이 인지 부조화의 불편한 상태를 초래한다고 제안한다. 불협화음을 감소하려는 시도가 발생한다(Pugh et al. 2011). 느낌과 표현된 감정 사이의 불일치인 감정 부조화인지 부조화와 다소 유사하다(Hochschild 1979).

This finding closely resembles the concept of ‘dissonance’, which is well established within social psychology. Cognitive dissonance theory proposes that having cognitions that are mutually inconsistent results in an uncomfortable state of cognitive dissonance. Attempts to reduce the dissonance result (Pugh et al. 2011). Emotional dissonance, a discrepancy between felt and expressed emotions, is more or less analogous to cognitive dissonance (Hochschild 1979).


이 이론에 따르면, 사람들은 자신의 역할에 특정한 기대에 부응하기 위해 감정 표시를 조절한다. 감정의 이러한 규제나 관리를 '감정업무'(Hochschild 1979) 또는 '감정노동'(Larson and Yao 2005; Mann 2005)이라고 한다. 부정적이거나 부적절한 감정을 숨길 필요성은 직장에서 가족이나 사생활로 감정적 유출을 초래할 수 있으며, 이는 학생들이 감정적 요구를 이해하고 적절하게 대처하도록 훈련하는 것의 중요성을 강조한다(몽고메리 외 2005).

According to this theory, people regulate their emotional display in attempts to meet expectations that are specific to their roles. This regulation or management of emotions is referred to as ‘emotion work’ (Hochschild 1979) or ‘emotional labour’ (Larson and Yao 2005; Mann 2005). The need to hide negative or inappropriate emotions might result in emotional spill over fromwork to family or private life, which highlights the importance of training students to understand and adequately cope with emotional demands (Montgomery et al. 2005).


강점과 약점

Strengths and weaknesses


둘째, 이 연구는 사회 구성주의 체계 내에서 수행되었으며(Boiger와 Mesquita 2012) 사회 문화적인 맥락을 강조하였다. 사회적 구성주의를 선택한 것이 수반하는 위험은 [학생들이 어떻게 감정을 다루는 법을 배우는지에 대한 생물학적, 심리적 측면을 덜 중요시]한다는 점이다. (Turner 2009) 그러나 개인적 성향과 신체적 상황을 명시적으로 고려함으로써 우리는 감정이 구체화되고 수행되는 것으로 인식하려고 노력했다(Zembylas 2007). 자기 보고나 서술에 의존하는 것은 우리의 사회문화적 접근방식(Zembylas 2007)에 적합하지만, 약점으로 여겨질 수도 있다. 이와 관련된 confounder는 경험과 보고 사이의 시차인데, 이로 인해 학생들이 자신의 반응을 "재작성re-author"하게 되었을 수 있다(Carver and Connor-Smith 2010).

Second, this study was carried out within a social constructivist framework (Boiger and Mesquita 2012), highlighting the socio-cultural context. An inherent risk in that choice is to minimise the biological and psychological aspects of how students learn to deal with emotions (Turner 2009). By explicitly taking into account personal dispositions and physical circumstances, however, we tried to recognise emotions as being embodied and performative (Zembylas 2007). Relying on self-report or narrative fits our socio-cultural approach (Zembylas 2007), but might also be considered a weakness. A related confounder is the time lag between the experiences and their reporting, which may have led students to ‘‘re-author’’ their responses (Carver and Connor-Smith 2010).


Implications for practice and further research


References


Dornan, T., Boshuizen, H., King, N., & Scherpbier, A. (2007). Experience-based learning: A model linking the processes and outcomes of medical students’ workplace learning. Medical Education, 41, 84–91.


Helmich, E., Bolhuis, S., Dornan, T., Laan, R., & Koopmans, R. (2012). Entering medical practice for the very first time: Emotional talk, meaning and identity development. Medical Education, 46, 1074–1086. XXX










Experience-based Learning: A Model Linking the Processes and Outcomes of Medical Students' Workplace Learning

Affiliations 

Affiliation

  • 1Hope Hospital, School of Medicine, University of Manchester, Manchester, UK. tim.dornan@manchester.ac.uk

Abstract

Objective: To develop a model linking the processes and outcomes of workplace learning.

Methods: We synthesised a model from grounded theory analysis of group discussions before and after experimental strengthening of medical students' workplace learning. The research was conducted within a problem-based clinical curriculum with little early workplace experience, involving 24 junior and 12 senior medical students.

Results: To reach their ultimate goal of helping patients, medical students must develop 2 qualities. One is practical competence; the other is a state of mind that includes confidence, motivation and a sense of professional identity. These 2 qualities reinforce one another. The core process of clinical workplace learning involves 'participation in practice', which evolves along a spectrum from passive observation to performance. Practitioners help students participate by being both supportive and challenging. The presentation of clear learning objectives and continuous periods of attachment that are as personal to the student(s) and practitioner(s) as possible promote workplace learning.

Conclusions: The core condition for clinical workplace learning is 'supported participation', the various outcomes of which are mutually reinforcing and also reinforce students' ability to participate in further practice. This synthesis has 2 important implications for contemporary medical education: any reduction in medical students' participation in clinical practice that results from the patient safety agenda and expanded numbers of medical students is likely to have an adverse effect on learning, and the construct of 'self-directed learning', which our respondents too often found synonymous with 'lack of support', should be applied with very great caution to medical students' learning in clinical workplaces.


의학교육이 전문직업적 감정상실을 유발하는가? 환자와 자신의 감정에 관심 기울이기(Acad Med, 2011)

Perspective: Does Medical Education Promote Professional Alexithymia? A Call for Attending to the Emotions of Patients and Self in Medical Training

Johanna Shapiro, PhD



알렉시티미아는 감정을 인지, 처리, 조절하는 데 어려움을 겪는 사람들을 묘사하기 위해 가장 일반적으로 사용되는 용어다—테일러 GJ, 백비 RM, 파커 JDA.영향 규제 장애: 알렉시스미인 의학 및 정신 질환, 1997

Alexithymia is a term used most commonly to describe people who have difficulties recognizing, processing, and regulating emotions. 

—Taylor GJ, Bagby RM, Parker JDA.Disorders of Affect Regulation: Alexithymiain Medical and Psychiatric Illness, 1997


감정 없이는 지식이 있을 수 없다. 우리는 진실을 알고 있을지 모르지만, 그 힘을 느끼기 전까지는 진실은 우리의 것이 아니다. 뇌의 인식에는 영혼의 경험이 더해져야 한다. —1867–1931년 영국의 소설가 겸 수필가 아놀드 베넷

There can be no knowledge without emotion. We may be aware of a truth, yet until we have felt its force, it is not ours. To the cognition of the brain must be added the experience of the soul. 

—Arnold Bennett, British novelist and essayist, 1867–1931


의대생들은 의대 교육 과정에서 자신과 환자 모두에게 일련의 강렬한 감정들에 직면하는 것은 놀랄 일이 아니다. 학생들은 그들이 동화시켜야 하는 방대한 양의 지식 때문에 지적, 인지적 압박을 경험한다. 그들은 긴 시간과 수면 부족과 관련된 상당한 신체적 스트레스를 받는다. 아마도 가장 도전적인 것은, 그들 자신이 종종 강렬한 감정을 경험하고 있는 환자와 가족들에게 매일 접촉한다는 것, 그리고 점차 책임감을 증가한다는 것이다.

Not surprisingly, medical students confront an array of intense emotions in both themselves and their patients over the course of their medical education. Students experience intellectual and cognitive pressures because of the vast quantities of knowledge they must assimilate. They undergo significant physical stress associated with long hours and lack of sleep. Perhaps most challenging, they have daily contact with, and increasing responsibility for, suffering patients and families who themselves are often experiencing intense emotions.


이러한 모든 상황은 학습자들에게 강력한 감정을 불러일으킨다. 임상적 만남에서 전이 문제(환자의 무의식적 성향으로 인해 젊은 시절의 중요한 타인과 관련된 의사 감정과 태도에 귀속되는)와 역전이 문제(환자의 감정, 경험 또는 문제에 대한 반작용에 대한 의사의 감정)은 이러한 감정 수프를 악화시킨다.1

All of these circumstances generate powerful feelings in learners. Issues of transference (a patient’s unconscious tendency to attribute to the physician feelings and attitudes associated with significant others in his or her early life) and countertransference (the physician’s feelings in reaction to the emotions, experiences, or problems of a patient) in clinical encounters exacerbate this emotional soup.1


연구에 따르면, 감정은 의사-환자 관계에서 [의사 결정, 정보 처리, 대인관계 태도와 같은 분야에서] 환자와 의사 모두의 행동에 영향을 미친다는 것이 확고하다.4,5 의학 교육자들은 또한 [자신의 심리적인 삶을 살펴보고 받아들이는 것을 어려워하는 학생들]은 다른 사람과 공감적 연결을 하는 것도 어려워한다는 것을 발견했다.6,7

Research has firmly established that emotions influence the behavior of both patients and physicians in areas such as decision making, information processing,and interpersonal attitudes in the doctor–patient relationship.4,5 Medical educators also recognize that students who are not able to examine and come to terms with their own psychological lives find connecting empathically with others to be difficult.6,7


실제로 - 물론, 의학 교육이 문자 그대로의 전문직업적 감정상실을 촉진하는 것은 아니지만 - 의학교육은, 특히 잠재 교육과정의 작용을 통해, 학생들이 감정을 분리하고 거리를 두도록 장려하는 것 같다.

Indeed—although, of course, medical education does not literally promote professional alexithymia—much that occurs in medical education, especially through the action of the hidden curriculum,9 seems to encourage students to separate and distance themselves from emotions.


나는 Merriam-Webster 온라인 사전에 있는 "감정emotion"의 정의를 사용하고 있다. 

  • "a: 의식의 감정적인 측면 

  • b: 감정 상태; 

  • c: (분노나 두려움으로서) 주관적으로 경험하는 의식적인 정신 반응(분노나 두려움으로서)은 대개 특정 대상을 향한 강한 느낌으로, 일반적으로 신체의 생리적, 행동적 변화를 동반한다."10 

I am using the definition of “emotion” found in the Merriam-Webster online dictionary: 

  • “a: the affective aspect of consciousness; 

  • b: a state of feeling; 

  • c: a conscious mental reaction (as anger or fear) subjectively experienced as strong feeling usually directed toward a specific object and typically accompanied by physiological and behavioral changes in the body.”10 


나아가 나는 감정, 인지, 메타인지11의 복잡한 상호작용을 인식하고, 단순하게 말해서, '감정'을 언급할 때 이 관계가 존재한다고 볼 것이다.

Further, I recognize the complex interplay of emotion, cognition, and metacognition11 and posit the existence of this relationship when I refer, for simplicity’s sake, to “emotion.” 


마지막으로, 이 논문에서는 [일반적인 감정과 상황 특이적 스킬로서의 감정]의 두 가지를 모두 다룰 것이다. 감정을 다루는 기술의 일반적인 모델은 다음의 과정을 포함한다.

  • 감정을 식별하는 것, 

  • 주어진 임상 상황에서 의사의 환자 중심 목표를 진전시키는 데 있어 감정의 적절성과 유용성을 평가하는 것,

  • 필요에 따라 감정을 조절하거나 수정하는 것

Finally, I argue that working with emotions is both a general and a situation-specific skill. A general model for the skill set of working with emotions would include the process of 

  • identifying emotions, 

  • evaluating their appropriateness and usefulness in advancing the physician’s patient-centered goals in any given clinical situation, and 

  • working to modulate or reformulate them as needed. 


그러나 상황이 다르면 사람마다 다른 감정이 생기기 때문에 각각의 상황은 개별적인 기준으로 평가되어야 한다. 한편, 서로 다른 두 상황(예: 나쁜 소식을 전하고 죽음과 죽음을 논하는 것)이 학습자에게 유사한 감정(예: 무력감)을 불러일으킨다면, 그들은 한 상황에서 배운 것 중 일부를 다른 상황과 일반화할 수도 있다.

However, different situations trigger different emotions in different people, so each situation must be assessed on an individual basis. On the other hand, if two different situations (e.g., breaking bad news and discussing death and dying) evoke a similar emotion (e.g., helplessness) in learners, then they may generalize some of what they have learned in one situation to the other situation.


환자, 의대생 및 의사의 역할 모델에서의 감정

Emotions in Patients, Medical Students, and Physician Role Models


환자의 감정

Patients’ emotions


의대생들은 환자의 감정에 효과적으로 반응하는 법을 배워야 한다

    • 첫째로, 학생들은 어떤 주어진 상황에서든 환자의 감정을 인지하고 확인identify할 수 있어야 하며, 

    • 다음으로 환자의 감정을 듣고 이해하면서도 판단하지 않는다는 것을 전달할 수 있어야 하며, 

    • 마지막으로 그들은 환자의 가치와 바람에 기반하여, 가능한 (방해하기 보다는) 최선의 임상 결과를 촉진하는 방향으로 환자가 감정을 다룰 수work with 있도록 도울 수 있어야 한다. 

Medical students must learn to respond effectively to the emotions of their patients: 

    • First, students should be aware of and able to identify the patient’s feelings in any given situation; 

    • next, they should be able to convey that they hear and understand, yet do not judge, the patient’s feelings; 

    • and finally, they should be able to help the patient work with his or her emotions in ways that advance, rather than impede, the best possible clinical outcome based on the patient’s values and desires.


선행 연구는 환자의 감정이 임상 결과에 상당한 영향을 미칠 수 있음을 시사한다. 또한 compliance와 무관하게, 환자의 기분 상태가 의료 조건의 임상 결과에 영향을 미칠 수 있다는 증거도 있다.

Prior research suggests that patients’ emotions may have a significant impact on their clinical outcomes. Evidence also shows that patients’ mood states, independent of compliance, may influence clinical outcomes in medical conditions


환자의 감정은 의사와 환자 관계에도 영향을 미칠 수 있다.

Patient’s emotions can also influence the doctor–patient relationship.


또 다른 연구는 3학년 학생들 대다수가 환자나 동료들 앞에서 우는 것은 전문가답지 못하다고 믿는다는 것을 발견했다.31 게다가, 비록 학생들은 훈련이 진행될수록 덜 공감하고 더 무관심해질 것이라고 걱정함에도 불구하고, 그리고 비록 환자와 감정적인 관계를 맺고 싶어함에도 불구하고, 학생들은 환자를 향한 감정에 압도당할까봐 두려워한다.3,34

Another study found that a large majority of third-year students believed that crying in front of patients or colleagues is unprofessional.31 Further, although students worry that as their training proceeds they will become less empathetic and more apathetic,32 and although they want to establish emotional connections with patients,33 they also are afraid that they will be overwhelmed by their feelings toward patients.3,34


의대생의 감정

Medical students’ emotions


학생들은 환자의 감정을 인정하고 다루는 법을 배워야 할 뿐만 아니라, 학생들은 자신의 감정을 인지하고 다룰 수 있어야 한다. 정서적 디스트레스는 의대생과 레지던트들 사이에서 흔하다.26 학생들의 첫 번째 환자 접촉에 대한 한 연구에서 학생들은 심각한 질병과 죽음에 직면했을 때의 무력감과 불확실성을 보고했고, 신체 검사에 대한 초기 시도는 불안감을 유발하고 혼란스럽게 한다고 설명했다.27

Not only must students learn to acknowledge and deal with patients’ emotions, they must become aware of and address their own emotions as well. Emotional distress is common among medical students and residents.26 In one study of students’ first patient encounters, students reported feelings of helplessness and uncertainty when faced with serious illness and death, and they described their initial attempts at physical examination as anxiety-provoking and confusing.27


또 다른 연구는 3학년 학생들이 감사, 행복, 연민, 자부심, 안도감 등 긍정적인 감정을 경험했지만 (불확실성, 무력함, 책임감, 책임감, 존중 부족, 존중과 가치관의 충돌 등에 의해서 발생한) 불안, 죄책감, 슬픔, 분노, 수치심 등의 고통스러운 감정도 경험했다는 사실을 발견했다.28 이러한 감정의 범위를 확인하면서, 3학년 학생들의 다른 연구는 비록 환자와의 접촉이 보람 있다고 생각했지만, 학생들은 계속해서 불안, 스트레스, 무능함에 대한 두려움을 느낀다고 결론지었다.29 학생들은 또한 환자에 대한 공격성과 혐오를 경험할 수 있으며, 한 연구는 학생들이 환자들의 행동을 이유로 이러한 부정적인 감정을 합리화하거나 정당화하는 경향이 있다는 결론을 내렸다. 

Another study found that students in the third year of training experienced positive emotions such as gratitude, happiness, compassion, pride, and relief but that they also experienced emotions they found more distressing, such as anxiety, guilt, sadness, anger, and shame, triggered by uncertainty, powerlessness, responsibility, liability, lack of respect, and the conflict of values.28 Confirming this range of emotions, a different study of third-year students concluded that although students found patient contact rewarding, they continued to feel anxious, stressed, and fearful of not being competent.29 Students can also experience feelings of aggression and dislike toward patients, and one study concluded that students tended to rationalize or justify these negative feelings as appropriate because of patient behavior.2


학생들은 자신의 감정을 의심의 눈초리로 보는 것 같다. 예를 들어, 최근의 한 연구에서, 저자들은 잠재교육과정이 의사들로 하여금 자신이 감정을 겉으로 드러내는 것은 물론, 느끼거나 인정하는 것조차 하지 못하는 방향으로 규범을 계속 강화하고 있다고 추측했다.

Students seem to view their own emotions with some suspicion. For example, in one recent study,30 authors speculated that the hidden curriculum9 continues to reinforce norms against physicians’ displaying or even allowing themselves to feel or acknowledge emotion.


또 다른 연구는 환자의 정서적 고통을 인정하는 의사의 능력이 도전적인 임상 문제에 대한 토론을 시작하는 데 필수적인 첫 번째 단계라고 결론지었다.23 여전히 의대생들은 환자의 감정과 마주쳤을 때 당황하고 불편해하는 경우가 많다.24 한 연구에서 학생들은 분노, 짜증, 두려움, 불만족 등 부정적인 감정을 적어도 부분적으로는 환자 중심의 치료에 장벽으로 표현한 환자를 확인했다.25

Another study concluded that a physician’s ability to acknowledge patient emotional distress is an essential first step in initiating a discussion of challenging clinical issues.23 Still, medical students are often embarrassed and uncomfortable when confronted with patients’ emotions.24 In one study, students identified patients who expressed negative emotions such as anger, annoyance, fear, or dissatisfaction as a barrier, at least in part, to patient- centered care.25


의사 역할 모델이 감정을 다루는 방법

How physician role models deal with emotions


학생들은 레지던트와 주치의가 환자를 만나서 감정적 반응을 어떻게 표현하는지 주의 깊게 관찰한다.3 학생들은 감독관이 표현하는 적개심, 무관심, 좌절, 조급함의 부정적인 감정뿐 아니라 환자에 대한 배려, 동정, 친절의 긍정적인 감정도 금방 알아차린다.

Students pay careful attention to how residents and attendings express emotional responses in patient interactions.3 Students are quick to notice the negative emotions of hostility, indifference, frustration, and impatience that supervisors express—as well as the positive emotions of caring, compassion, and kindness shown toward patients.


일부 연구에서는 의사가 환자의 감정 상태를 정확하게 파악하지 못할 수 있다는 것을 보여주었다. 암 환자에 대한 연구에서는 종양학자들이 환자의 감정 표현을 인식, 인정 또는 반응하는 데 어려움을 겪는 것으로 나타났다.40–42

Some studies have shown that physicians may lack accuracy in identifying their patients’ emotional states36–38; Studies of cancer patients have found that oncologists seemed to have trouble recognizing, acknowledging, or responding to their patients’ emotional expressions.40–42


의사가 환자의 감정에 반응할 때에도, 그들은 일반적으로 최소한의 공감(예를 들어, 더 깊은 감정의 탐구와 대조적으로 짧은 인정)만을 제공하므로, 39,43 환자의 고통에 대한 추가적인 탐색을 가로막는다. 또한 의사들은 감정적 탐색을 완전히 비껴가는 "차단 행동"(예를 들어, 눈맞춤을 피하거나, 대화 주제를 바꾸는 것)을 하는 경향이 있다. 

even when physicians do respond to a patient’s feelings, they typically offer only minimal empathy (e.g., brief acknowledgment in contrast to exploration of deeper feeling), which tends to discourage further inquiry into the patient’s distress,39,43 or they engage in “blocking behaviors” (e.g., breaking eye contact, changing the topic) that deflect emotional exploration entirely.44


의학 교육에서 현재 감정이 어떻게 다뤄지는가

How Emotions Are Currently Addressed in Medical Education


무시 및 불신

Ignoring and mistrust


의학 교육에서는 긍정적인 감정과 부정적인 감정 모두에 대해서 신뢰하지 못하는 것 같다. (환자를 좋아하고/또는 애정을 느끼는 것과 같은) 긍정적인 감정이 환자에게 영향을 미치는 문제 진단이나 다른 어려운 상황에 직면할 수 있는 의사의 능력을 잠재적으로 저해하는 것으로 보고 있다.

Both positive and negative emotions seem to be regarded with some mistrust in medical education. Positive feelings— such as liking and/or feeling affection for a patient—are seen as potentially inhibiting the physician’s ability to face either problematic diagnoses or otherwise difficult situations that affect the patient.45


반대로, 좌절, 분노, 무력감, 짜증, 혐오, 비난 등 부정적인 감정이 환자 관리를 부실하게 만들 수 있다는 우려도 정당화된다.

On the other side of the coin, concerns that negative emotions such as frustration, anger, helplessness, annoyance, dislike, and blame can result in poor patient care are justifiable:


감정 분리 및 거리

Emotional detachment and distance


그들의 정석 기사 "Vanquishing Virtue: 의학 교육의 영향" 쿨한과 윌리엄스는 이렇게 쓰고 있다. 

"북미 의학교육은 겉으로는 의사에 대한 전통적 가치 - 감정, 동정, 이타주의 - 를 중시하는 듯 보인다. 하지만 암묵적으로는 [감정적 분리, 자기의 이익, 객관성의 윤리]에 근거한 행동에 헌신하고 있다" 다른 사람들은 환자-의사 관계를 정의하는 패러다임의 변화와는 상관없이, 감정통제는 전체적인 원칙의 하나로 남아 있다는 것을 관찰했다. 의학 교육의 문화적 규범도 마찬가지로 정서적 분리, 감정적 거리, 임상적 중립성을 촉진한다.

In their seminal article “Vanquishing Virtue: The Impact of Medical Education,” Coulehan and Williams write, “North American medical education favors an explicit commitment to traditional values of doctoring—empathy, compassion, and altruism among them—and a tacit commitment to behaviors grounded in an ethic of detachment, self-interest, and objectivity.”48 Others have observed that regardless of the shifts in the paradigms defining the patient–doctor relationship, the overriding principle remains one of emotional control.49 The cultural norms of medical education likewise promote emotional detachment, affective distance, and clinical neutrality.50–52


학생들은 스트레스를 참을 수 있어야 하고 감정을 표현해서는 안 된다는 암묵적인 메시지를 받는다. 의대생들은 종종 스트레스를 받고 감정적으로 까다로운 임상 의학 환경에서 여전히 그들 자신의 감정 상태를 조절하는 방법을 배우고 있기 때문에 감정 분리에 특히 취약하다. 이 때 감정 분리는 유혹적인 해결책으로 보일 수 있다. 적어도 처음에는 학생들이 복잡하거나 스트레스로 느끼는 감정적 반응에 대해서 "아무것도 느끼지 않는다"는 식으로의 자기 보호를 제공하기 때문이다. 

Students receive the implicit message that they should be able to tolerate stress and not express emotions.53 Medical students are particularly vulnerable to emotional detachment because they are still learning how to modulate their own emotional states in the often stressful and emotionally demanding environment of clinical medicine.54 Emotional detachment may seem a tempting solution because, at least initially, “not feeling anything” provides a form of self-protection against emotional responses that the learner finds either complicated or distressing.


순수한 인지 과정으로서의 공감

Empathy as a purely cognitive process


의학교육 연구자들은 (공감에 대해서) 점점 더 순수하게 인지적인 접근방식을 채택하는 경향이 있다. Hojat et al58,59에 의해 공식화된 정의와 같은 정의는 

    • Sympathy가 감정적이고, 자기만족적이며, 공동의존적이며, 심지어는 불신적인 관행이 번아웃과 연민피로를 초래한다는 비판을 받는 것과 대조적으로, 

    • Empathy는 환자와 의사 모두에게 "항상" 좋은, 객관적이고, 합리적이며, 정확하고, 지적 과정으로, 간주한다. 

medical education researchers increasingly have tended to adopt a purely cognitive approach to defining the construct. Definitions such as the one formulated by Hojat et al58,59 identify 

    • empathy as an objective, rational, accurate, intellectual process that is “always” good for both patient and practitioner, 

    • in contrast to sympathy, which is criticized as an emotional, self- indulgent, codependent, even histrionic practice that will lead to burnout and compassion fatigue.


공감의 인지적 요소를 분리하기 위한 이러한 노력은 학습자의 식별과 측정이 용이하도록 구조를 만드는 효과를 가질 수 있다. 그러나 공감을 [(단순히 인지적인 이해뿐만이 아니라) 감정적 공명(즉, 임상 상황에 대응하여 감정을 보정하는 방법을 배우는 것)을 통합하는 과정]보다는 [인지 및 행동 기술 집합에 초점을 맞춘 공감 능력]을 가르치기 위한 공식으로 귀결될 수도 있다는 문제점도 있다. 

These efforts to separate out the cognitive elements of empathy may have the effect of making the construct easier to identify and measure in learners, but may also result in formulations for teaching empathy that focus on a set of cognitive and behavioral skills60 rather than a process that incorporates emotional resonance (i.e., learning to calibrate one’s emotions in response to the clinical circumstances) as well as cognitive comprehension.


감정을 가지고 능숙하게 작업하는 법을 배우는 것

Learning to Work Skillfully With Emotions


의학의 감정 주제를 다루기 위한 요구들이 주기적으로 등장하고 있다.1,46 그러나 이러한 호소는 의학이라는 기존의 문화적 규범에 도전하기 때문에 커리큘럼의 pervasive한 변화로 이어지지 않았다. 의사나 의학 교육자들은 감정의 어지러움과 명백하게 걷잡을 수 없는 것을 두려워할 수 있으며, 그들은 [감정을 변화시키는 것]보다 [인식을 수정하는 것]이 더 쉽다는 가정을 할 수도 있다.59

Calls to address the topic of emotions in medicine have emerged periodically.1,46 Yet these appeals have not led to pervasive curricular changes because they pose challenges to the existing cultural norms of medicine. Physicians and medical educators may be afraid of the messiness and apparent uncontrollability of emotions, and they may make the assumption that modifying cognition is easier than changing emotions.59


학생들은 그들 스스로 어려운 변화transition 동안, 그리고 윤리적 딜레마에 직면하여 경험하는 감정을 처리할 수 있어야 할 필요성을 인식하고 있다.32 게다가, 의대생들은 성공적으로 정서적 자각을 발달시킬 수 있다는 증거를 보여주고 있다.62

Students themselves recognize the need to be able to process the emotions that they experience during difficult transitions and in the face of ethical dilemmas.32 Further, evidence shows that medical students can successfully develop emotional self-awareness.62


감정으로부터의 분리는 번아웃 및 동정심 피로와 관련이 있다.63 인정되지 않은 감정은 시간 소모적인 임상적 어려움으로 이어질 수 있다(예: 환자의 의료적 치료법 준수 불량, 의사와의 환자 후속 조치 부족).46 많은 의사 및 의학교육자들은 [정서적 연결이 환자를 돌보고, 시간을 투자하고, 노력을 쏟고, 한걸음 더 나아가게 한다]고 볼 뿐만 아니라, [환자 상태가 나아지는 것에 대한 동정적 기쁨이나 환자의 고통이 완화되는 만족감과 같은 보상을 만들어 내는 것]으로도 이어진다고 믿는다.

Detachment from emotions is associated with burnout and compassion fatigue.63 Unacknowledged emotions can lead to time-consuming clinical difficulties (e.g., poor patient adherence to medical regimen, lack of patient follow-up with physician).46 Many physicians and medical educators believe that emotional connection not only leads to caring for, investing time in, expending effort for, and going the extra mile for a patient but also to producing rewards, such as sympathetic joy at a patient’s progress or satisfaction that a patient’s suffering has eased, for the physician.46,63–65


부정적인 감정에 대한 인식은 임상결과 뿐만 아니라, 어려운 환자-의사 관계를 개선하는 첫 번째 단계가 될 수 있67 그래서 이것들도 유익한 잠재력을 가지고 있다. 규제되지 않은 감정 반응은 임상적, 대인관계적 실수를 초래할 수 있지만, 의사는 그러한 오류에 대해 성찰하고 더 적절한 감정적 반응을 표현하는 법을 배울 수 있다.z

Awareness of negative emotions can be the first step in improving a difficult patient–doctor relationship,66 as well as clinical outcomes,67 so these also have beneficial potential. Although unregulated emotional reactions can likely lead to clinical and interpersonal mistakes, physicians can become reflective about such errors and learn to express more appropriate emotional responses.


개념 모델 및 교육학 도구

Conceptual Models and Pedagogical Tools


감성지능

Emotional intelligence


한 가지 유망한 개념은 다음과 같이 정의되는 정서 지능(EI)의 개념이다. 자기 자신과 타인의 감정에 대해서 다음을 하는 능력이다.

  • 인식 (감정의 존재에 대한 인식) 

  • 이해 (감정의 본질을 이해하고 서로 다른 감정 상태를 구별할 수 있음) 

  • 관리 (감정에 압도되거나 무시됨) 

  • 사용 (부정적인 환자 결과보다는 긍정적인 결과를 촉진하는 방식으로 감정을 경험, 인정 및 통합할 수 있는 능력) 

One promising concept is that of emotional intelligence (EI), defined as 

  • perceiving (awareness of the existence of emotions), 

  • understanding (comprehending the nature of the emotions and being able to discriminate different emotional states), 

  • managing (neither ignoring nor being overwhelmed by the emotions), and 

  • using (being able to experience, acknowledge, and integrate emotions in ways that promote positive rather than negative patient outcomes) 

  • one’s own and others’ emotions.68–70


감정조절

Emotion regulation


감정조절(ER), 즉 감정경험과 반응을 조절하는 능력, 72도 유망한 개념이다. 그 목표는 단순히 부정적인 감정의 하향 조절(축소)이 아니라 주로 환경 및 대인관계 우발상황의 변화에 적합한 인지적 재평가(즉, 감정적 대응방식을 바꾸기 위해 사고방식을 바꾸는 것)를 통해 저반응과 과반응 사이의 적절한 반응수준을 찾는 것이다73.

Emotion regulation (ER), or the ability to modulate one’s emotional experiences and responses,72 is also a promising concept. Its goal is not simply down-regulation (reduction) of negative emotions but, rather, finding a response between hypo- and hyper- arousal, primarily through a cognitive reappraisal (i.e., changing how we think in order to change how we respond emotionally) that is appropriate to changing environmental and interpersonal contingencies73;


어떤 이들은 ER의 변종으로 mindful emotion regulation을 제안했는데, 이는 골치 아픈 감정에 대응하여 의식 함양과 비활동성nonreactivity을 강조하는 것이다. 이러한 접근방식은 개개인이 자동으로 "미숙한unskillful" 감정에 사로잡히기 보다는 그들이 어떤 감정과 생각들과 동일시하는지를 의식적으로 선택할 수 있게 할 수 있다.

Some have proposed a variant of ER, mindful emotion regulation,73 which emphasizes cultivating awareness and nonreactivity in response to troublesome emotions. This approach may allow individuals to consciously choose which emotions and thoughts they identify with rather than automatically getting caught up in “unskillful” emotions;


관련개념

Related concepts


의료교육에서 감정을 탐구할 때 잠재적 가치의 다른 개념으로는 윤리학자 조디 할펜의 임상적 공감이라는 아이디어가 있는데, 이는 환자가 느끼고 있는 것에 대한 인지적 이해뿐만 아니라 세밀한 경험에 의존한다.

Other concepts of potential value in exploring emotions in medical education include ethicist Jodi Halpern’s46 idea of clinical empathy, which depends on a detailed experiential as well as cognitive understanding of what the patient is feeling.


관계 중심 치료76에는 영향을 주고 감정이 환자-의사 관계의 중심이 되는 사상이 핵심 원칙 중 하나로 포함된다.

Relationship-centered care76 includes as one of its core principles the idea that affect and emotion are central to the patient–doctor relationship.


감정적 자아 인식은 신경과학 연구에 기초하여 자아와 타인의 경험의 구분에 대한 인식이 공감의 결정적인 측면을 구성한다는 것을 입증한다.77

Emotional self-awareness is based on neuroscience research demonstrating that awareness of a distinction between the experiences of self and others constitutes a crucial aspect of empathy.77


월드와 동료는 감정적 회복탄력성을 감정적으로 도전적 상황에서 감정적 붕괴에 굴복하지 않는 역량으로 규정하면서 정서적 회복력 개념을 의학 교육의 세계에 적용했다.

Wald and colleagues78 have applied the concept of emotional resilience to the world of medical education, defining it as the capacity not to succumb to emotional collapse in emotionally challenging situations.


Coulehan79는 정서적 평형이라는 개념, 즉 정서적 안정(자기 자신의 감정이나 다른 사람의 감정에 압도되지 않는 능력)과 정서적 부드러움(다른 사람의 고통에 의해 감동되는 능력)을 결합한 균형을 제공한다.

Coulehan79 offers the concept of emotional equilibrium—a balance combining emotional steadiness (the capacity not to be overwhelmed by one’s own and/or another’s emotions) and emotional tenderness (the capacity to be moved by another’s suffering).


MBM(Mind-Body Medicine)은 흥미로운 가능성을 제공한다. 왜냐하면 그것은 환자의 전체 사람뿐만 아니라 의사의 자기 관리에도 영향을 미치기 때문이다.80–82

Mind– body medicine (MBM) offers interesting possibilities because it has implications for the self-care of physicians as well as care of the whole person of patients.80–82


감정 작업을 위한 도구

Tools for working with emotions


몇몇 교육자들은 학습자들의 감정적인 반응을 의식하기 위해 마음챙김 명상 훈련 64,85를 사용했다.

Several educators have used training in mindfulness meditation64,85 to bring mindful awareness to learners’ emotional responses,


서사 의학 87,88은 환자와 의사 경험의 감정적 차원에 관심을 가져온다.

Narrative medicine87,88 brings attention to the emotional dimension of both patient and physician experience.


일반적인 의료인문학, 특히 성찰적 글쓰기, 8,91 또한 학생들이 의학에서 감정과 자신의 역할을 더 잘 인식하도록 돕고, 임상 실습에서 감정의 역할에 대해 비판적으로 질문하는 방법을 배우고, 그 결과 다차원적 공감을 표현하는 데 도움을 준다는 측면에서 이론적, 일화적, 그리고 약간의 경험적 약속을 보여주었다.

The medical humanities in general,89,90 and reflective writing in particular,8,91 have also shown theoretical, anecdotal, and some empirical promise in terms of helping students to become more aware of emotions and their role in medicine, to learn how to critically question the role of emotions in clinical practice, and, as a result, to express multidimensional empathy.


학생들이 (내가 개인적으로 친숙한) 감정 관리 기술을 반영하고 개발할 수 있도록 돕는 또 다른 혁신적인 수단은 캘리포니아 대학교 어바인 의과대학이 제공하는 4학년 선택과목인 '닥터링의 예술'이다.

Another innovative means of helping students to reflect on and develop skills for managing emotions (with which I am personally familiar) is the fourth-year elective course, Art of Doctoring, that the University of California, Irvine, School of Medicine offers.



결론

In Sum


이 시점에서 의료진이 실제로 덜 이해하고 동의하는 것은 학생-의학자들이 이러한 감정을 인지하고 일할 수 있도록 어떻게 준비해야 하는가에 관한 것이다. 이론적이고 번역적인 작업이 많이 남아 있다.

At this point, what medical personnel actually understand and agree on less is how they should prepare student–physicians to be aware of and work with these emotions. Much theoretical and translational work remains to be done.



4 Oatley K, Keltner D, Jenkins JM. Understanding Emotions. 2nd ed. Malden, Mass: Wiley-Blackwell; 2006.


48 Coulehan J, Williams PC. Vanquishing virtue: The impact of medical education. Acad Med. 2001;76:598–605. http://journals.lww.com/ academicmedicine/Fulltext/2001/06000/ Vanquishing_Virtue__The_Impact_of_ Medical.8.aspx. Accessed November 15, 2010. XXX







. 2011 Mar;86(3):326-32.
 doi: 10.1097/ACM.0b013e3182088833.

Perspective: Does Medical Education Promote Professional Alexithymia? A Call for Attending to the Emotions of Patients and Self in Medical Training

Affiliations 

Affiliation

  • 1Program in Medical Humanities & Arts, University of California, Irvine, School of Medicine, Irvine, California, USA. jfshapir@uci.edu

Abstract

Emotions--one's own and others'--play a large role in the lives of medical students. Students must deal with their emotional reactions to intellectual and physical stress, the demanding clinical situations to which they are witness, as well as patients' and patients' family members' often intense feelings. Yet, currently few components in formal medical training--in either direct curricular instruction or physician role modeling--focus on the emotional lives of students. In this article, the author examines patients', medical students', and physician role models' emotions in the clinical context, highlighting challenges in all three of these arenas. Next, the author asserts that the preponderance of medical education continues to address the emotional realm through ignoring, detaching from, and distancing from emotions. Finally, she presents not only possible theoretical and conceptual models for developing ways of understanding, attending to, and ultimately "working with" emotions in medical education but also examples of innovative curricular efforts to incorporate emotional awareness into medical student training. The author concludes with the hope that medical educators will consider making a concerted effort to acknowledge emotions and their importance in medicine and medical training.


위임 결정: 교육과정 개발과 평가의 함의(Med Teach, 2020)

Entrustment decisions: Implications for curriculum development and assessment

Ara Tekiana , Olle Ten Cateb , Eric Holmboec , Trudie Robertsd and John Norcinie




도입

Introduction


2005년 도입 이후 의대생과 대학원생들의 교육·평가에 위임 가능한 전문 활동(EPA)이 주요 초점이 되고 있다. 개인의 능력을 지칭하는 역량과 대조적으로 EPA는 전문적인 작업의 단위일 뿐이며 누가 그러한 일을 하는가와 무관하다. 교육 병원의 교수진은 실행해야 할 실천 단위를 염두에 두고 특정 학습자가 해당 임상 과제를 수행할 책임을 받을 준비가 되어 있는지, 그리고 필요한 적절한 수준의 감독이 필요한지 판단해야 한다. (10 Cate 2005).

Since their introduction in 2005, entrustable professional activities (EPAs) have become a major focus in the teaching and assessment of medical students and postgraduate trainees. In contrast to the competencies, which refer to the ability of individuals, EPAs are merely units of professional work, and independent of who does that work. With a unit of practice that is to be executed in mind, faculty in a teaching hospital must make judgments about whether a particular learner is ready to receive the responsibility to perform that clinical task, and what is the appropriate level of supervision required. (ten Cate 2005).


위임이란 무엇이며 왜 중요한가?

What is entrustment and why is it important?


1995년 경영학 문헌에 실린 논문에서 메이어는 신뢰의 유용한 정의를 제공하였다: '다른 당사자가 다른 당사자를 감시하거나 통제할 수 있는 능력과 관계없이, 다른 당사자가 신탁자에게 중요한 특정 행동을 할 것이라는 기대에 근거하여 다른 당사자의 행동에 취약할 수 있는 의지'

In a 1995 paper in the management literature Mayer provided a useful definition of trust: ‘The willingness of a party to be vulnerable to the actions of another party based on the expectation that the other will perform a particular action important to the trustor, irrespective of the ability to monitor or control that other party.’


사회에서, 우리가 의심의 여지가 없는 혹은 추정적인 신뢰를 통해, 신뢰의 개념을 당연하게 여기는 예는 수없이 많다. 신뢰trust는 경솔함이 아니라 사회참여에 필요한 조건이다.

In society, there are numerous instances where we take the concept of trust for granted, through unquestioned or presumptive trust. This is not thoughtlessness, but a necessary condition for participation in society.


'학습자'는, 아직 훈련 중이기 때문에, 추정적 신뢰가 직접 확립될 수 없다. 즉, 학습자에 대해 '추정적 신뢰'를 갖기 위한 전제조건이 있다. 2016년 10명의 케이트와 동료들은 세 단계의 신뢰를 구별했다. 

  • 교육자가 처음 학습자를 만났을 때 빨리 발전할 수 있는 신뢰가 있다. 이것은 첫 인상을 바탕으로 한 '초기 신뢰'(Hauer 2015)이다. 

  • 그러나 교육자의 역할은 이러한 첫인상을 여러 가지 다양한 관찰을 바탕으로 '근거 있는 신뢰'를 부여하면서 타인이 지지할 수 있는 견고한 이미지로 끌어올리는 것이다. 

  • 근거 있는 신뢰는 '총괄적 위임 결정'이 필요한 감독을 감소시키는 동시에 더 높은 수준의 책임으로 행동할 수 있게 한다. 임상교육사가 학생과 레지던트에게 일상적으로 내리는 '즉석 위임 결정'과 달리, '총괄적 위임'은 임상진료 특권에 대한 인증의 성격을 띠고 있다.

For ‘learners,’ presumptive trust cannot be directly established, since they are still in training. As such, there are prerequisites to ‘presumptive trust’ for learners. Ten Cate and colleagues 2016, have distinguished three levels of trust. When an educator first meets a learner, there is trust that can quickly develop. This is ‘initial trust’ based on first impressions (Hauer 2015). However, the role of the educator is to elevate these first impressions into a robust image that can be supported by others, yielding a ‘grounded trust,’ based on multiple and varied observations. Grounded trust enables a ‘summative entrustment decision’ to act at a higher level of responsibility, with a concomitant decrease in required supervision. ‘Summative entrustment’ has the nature of certification for privileges in clinical care, as opposed to the ‘ad hoc entrustment decisions’ that clinical educators take on a daily basis with students and residents.


총괄적 위임은 교육팀 또는 임상역량위원회에서 충분한 정보를 바탕으로 심의가 필요했다 (10 Cate et al. 2015; Smit et al. 2019). 그러면 학생들은 다음 단계의 연수에 인도될 수 있다. 임상 교사들은 더 높은 수준에서 이 학습자에 대한 추정적 신뢰로부터 시작할 수 있다. 따라서 학습자에 대한 신뢰의 연속은 (1) 초기 신뢰로 시작하여 (2) 기초grounded 신뢰로 발전하고, 마지막으로 (3) 추정적 신뢰로 발전한다(10 Cate et al. 2016).

Summative entrustment required informed deliberation in an educational team or clinical competency committee (ten Cate et al. 2015; Smit et al. 2019). The student can then be delivered to the next phase of training here clinical teachers can start with presumptive trust in this learner at a higher level. Therefore, the continuum of trust for learners begins with (1) initial trust, develops into (2) grounded trust, and finally (3) presumptive trust (ten Cate et al. 2016).


1일차 레지던트는 MD학위 소지자에게 기대될 수 있는 전문적인 활동을 수행할 수 있도록 신뢰해야 하지만, 보다 복잡한 차원에서 활동을 위탁받을 수 있도록 평가를 받아야 한다.

A resident on day one should be trusted to perform any professional activity that may be expected of those with an MD degree, but need to be evaluated to be entrusted with activities on a more complex level.


그렇다면 어떤 요소가 신뢰의 세 단계 사이의 전환에 기여하는가? 연습자 요인, 감독 요인, 인식된 유익성 및 인식된 위해성이 있다.

So what factors contribute to transitions between the three levels of trust? There are trainee factors, supervisor factors, perceived benefits, and perceived risks.


신뢰를 가능하게 하는 연습생 요소로는 직무에 관한 학습자의 특정한 능력, 성실성의 일반적인 징후(진실성과 자비심), 신뢰성(양심성과 안정적 행동), 겸손(자신의 한계를 지키고 필요할 때 도움을 요청하며 피드백에 개방됨)과 능동성(일, 팀, 자신에 대한 적극적 태도).

Among trainee factors that enable trust are the learner’s specific ability regarding a task, general signs of integrity (truthfulness and benevolence), reliability (conscientiousness and stable behavior), and humility (observing own limits and asking for assistance when needed; being open to feedback) (Chen and ten Cate 2018), and agency (proactive attitude toward work, team and self).


감독자 요인 중 신뢰성향은 사람마다 다르다. 즉, 일부 감독자는 쉽게 신뢰하는 반면 다른 감독자는 더 많은 증거를 요구할 수 있다.

Among supervisor factors, the propensity to trust varies among people; that is, some supervisors may trust easily while others may require more evidence.


감독관이 학습자가 학습을 통해 배우기를 원하는 경우 교육적 편익도 있다. 또한 맥락적 편익도 있다. 예를 들어, 바쁜 시간에 손이 필요하기 때문에 학습자를 신뢰해야 하는 상황이 발생하는 경우.

There are educational benefits, where a supervisor wants a learner to learn by doing; there are also contextual benefits, for example where the situation calls for trusting a learner just because hands are needed at hectic times;


물론 가장 중요한 것으로 위험성이 있다 - 치료 팀과 병원과 같은 환자와 환경뿐만 아니라 개인 학습자에게도 위험성이 있다.

there are of course most importantly, risks–risks for patients and environment such as the care team and the hospital but also individual learner.


임상 작업장에서의 그러한 결정은 임상 교육자가 특정 환자 및 특정 맥락에서 학습자가 한 순간에 의료에 참여하도록 하는 특별하고 상황에 따라 달라지는 즉각적 결정일 수 있다. 종합 위임결정은 교육 팀(북미 대학원 교육에서는 임상 역량 위원회라 불림)에서 여러 명의 프로그램 책임자 낼게 되며, EPA를 기반으로 하는 경우 위임 결정을 내린다.

Such decisions in the clinical workplace might be ad hoc, context-dependent daily decisions that clinicianeducators make for learners to participate in healthcare at one moment, with a specific patient, and in a particular context. Summative entrustment decisions are made in educational teams, in North American postgraduate training called Clinical Competency Committees where a program director with a team of specialists, come to an entrustment decision if the program is based on EPAs.


위임결정은 교육생의 특성, 감독자, 맥락의 함수이다

  • 분명히, 연습생은 필요한 활동을 능숙하게 수행할 수 있어야 하지만, 다른 학습자 특성은 성실성, 신뢰성, 겸손, 주체성을 포함한 신뢰를 쌓는 데도 중요하다. 

  • 감독 요인은 이러한 결정에도 영향을 미친다. 그들은 신뢰하는 성향에서 크게 다를 수 있다(Sterkenburg et al. 2010). 

  • 마지막으로, 맥락은 이러한 결정에 중요하다. 구체적으로, 감독자와 학습자 모두에게 환자에 대한 위험이 최소인 혜택이 있는 경우가 있을 수 있다.

An entrustment decision is a function of the characteristics of the trainees, the supervisors and the context. Clearly, the trainee must be capable to skillfully perform the required activity but other learner characteristics are also important to building trust including integrity, reliability, humility and agency. Supervisor factors influence these decisions as well; they can differ vastly in their propensity to trust (Sterkenburg et al. 2010). Finally, the context matters to these decisions. Specifically, there may be instances where there is benefit for both the supervisor and the learner with minimal risk to patients.


평가에 대한 EPA의 의미는 무엇인가?

What are the implications of EPAs for assessment?


EPA는 '충분히 유능한 학습자에게 위탁할 수 있는 전문적인 연습 또는 과제의 단위'이다(10 Cate et al. 2015). 이 정의의 두 가지 측면은 평가에 영향을 미친다. 첫째는 전문적인 연습이나 과제의 단위에 초점을 맞춘다. 이러한 작업의 특성은 평가의 청사진, 채택된 시험 방법 및 점수 계산 방법에 영향을 미친다. 두 번째는 기준 설정 방식에 영향을 미친다.

An EPA is a ‘unit of professional practice or task that can be entrusted to a sufficiently competent learner’ (ten Cate et al. 2015). Two aspects of this definition have implications for assessment. The first is a focus on units of professional practice or tasks. The nature of these tasks influences an assessment’s blueprint, the test methods employed, and how scores are calculated. The second is a focus on decisions of entrustment, which have implications for the way standards are set.


프로페셔널 태스크

Professional tasks


각 EPA는 이력 수집 및 신체 검사 수행, 공통 진단 및 선별 검사 권고 및 해석, 임상 접촉에 따른 차등 진단 우선 순위 지정, 명령 및 처방전 입력 및 논의, 의사의 일반 절차 수행과 같은 통합 성과를 나타낸다. 이러한 수행능력에는 복수의 통합 역량이 필요하다.

Each EPA represents an integrated performance such as gathering a history and performing a physical examination, recommending and interpreting common diagnostic and screening tests, prioritizing a differential diagnosis following a clinical encounter, entering and discussing orders and prescriptions, and performing general procedures of physicians. These performances require multiple, integrated competencies.


개별 역량은 (효과적인 수행능력performance를 달성하기 위해 통합되어야 하기 때문에) EPA에는 필요하지만 충분하지 않은 조건이다.

These individual competencies are a necessary but not sufficient condition for an EPA since they need to be integrated to achieve an effective performance.


EPA를 목표로 한 평가는 블루프린트에 두 가지 차원을 둔다. 하나는 작업 또는 EPA에 대한 것이고, 다른 하나는 작업과 관련된 조건 또는 환자에 대한 것이다.

An assessment aimed at EPAs has two dimensions at the core of the blueprint. One describes the tasks or EPAs and the other describes the conditions or patients relevant to it.


역량이나 이정표와 같은 다른 차원을 추가할 수 있지만, 이 두 가지 차원이 EPA의 평가를 위한 핵심이다.

Other dimensions, such as competencies or milestones, can be added, but these two are core for the assessment of EPAs.


블루프린트가 표본추출을 위한 기초라는 점에 유의해야 한다.

It is important to note that a blueprint is a basis for sampling.


또한 EPA는 실천 활동을 구성하기 때문에 시험 방법과 자료에 영향을 미친다. 연습 활동은 몇 가지 역량에 기초하여 구축된 통합 성과를 의미한다.

EPAs also influence the test methods and materials since they constitute practice activities. A practice activity implies an integrated performance that is built on several competencies


따라서 평가 방법은 통합된 성과를 도출하는 시나리오 또는 비그넷을 제공할 필요가 있다. 직장에서의 평가가 그러한 시나리오의 풍부한 원천이지만, 사용될 수 있는 다양한 다른 방법들이 있다.

Consequently, the method of assessment needs to offer a scenario or vignette that elicits an integrated performance. While assessments in the workplace are a rich source of such scenarios, there are a variety of other methods that could be used.


EPA 평가는 채점에도 영향을 미친다. EPA 평가는 기본 역량에 의한 성과가 아니라 작업 단위에 대한 성과를 반영하는 방식으로 수행되어야 한다. 다르게 말하면, 측정의 초점은 EPA이지 역량이 아니다.

An assessment of EPAs also influences scoring—it must be carried out in a fashion that reflects performance on the units of work, not the performance by underlying competencies. Put differently, the focus of measurement is the EPA and not the competence.


EPA의 경우 작업별 또는 환자별로 점수를 개발한 다음 작업 단위 성능을 반영하는 전체 점수를 개발하기 위해 점수를 집계해야 한다. 평가의 초점은 EPA의 위임 개념이다. 학습자가 프로토콜의 모든 세부사항을 완료하지 않았거나 사전 지정되지 않은 행동을 추가적으로 했더라도, 포괄적인 평가 체크리스트 구성요소보다, '이것은 잘 수행되었고 향후 유사한 EPA로 학습자를 신뢰할 수 있다'는 전체적인 그림이 더 중요하다.

for EPAs, scores need to be developed for each task or each patient, and then they need to be aggregated to develop an overall score that reflects performance on units of work. The focus of the assessment is for EPAs the concept of entrustment. Even if a learner has not completed all details of a protocol, or has added non pre-specified actions, the holistic picture of ‘this was done well and the learner can be trusted with similar EPAs in the future’ is more important than the comprehensiveness of the components of an assessment checklist.


위임

Entrustment


특정 목적을 위해 수행이 충분한지 여부에 대한 결정은 평가에 기초하여 정기적으로 이루어진다. 일반적으로 이는 표준제정자의 판단에 허용되는 환자 진료를 반영하는 성과로 표현된다. 표준 설정 판단의 초점은 환자의 상황에 따른다situated. 단, EPA의 경우, 학습자의 수행능력이 감독 없이 또는 간접 감독만으로도 할 수 있겠다는 신뢰감을 고취시키는지에 따라 결정된다. 이는 학습자에만 관심을 갖던 평가의 초점을 환자를 포함하도록 이동시킨다. (10 Cate 2017b)

Decisions about whether a performance is good enough for a particular purpose, based on an assessment, are made routinely. Usually, this is expressed as a performance that reflects acceptable patient care in the judgment of the standard-setters. The focus of the standard-setting judgment is situated in the patient. For EPAs, however, decisions are based on whether the performance inspires trust in the learner to work unsupervised or with indirect supervision. This effectively shifts the focus from learner alone to include the patient (ten Cate 2017b).


실무적인 문제로서, (EPA)는 질문을 연습생의 유능함에서 연습생의 신뢰가능성 여부를 바꾼다. 이는 연습생의 역량에서 신뢰할 수 있는 것에 대한 심판의 감각으로 초점을 옮긴다.

As a practical matter, it changes the question from whether the trainee is competent to whether the trainee is trustworthy. This shifts the focus from the competence of the trainee to the judges’ sense of what is trustworthy.


안고프의 방법에서 심사위원들은 이제 수험생들의 역량에 대해 판단을 내려야 한다. EPA의 판단은 보더라인 '신뢰성'의 맥락에서 이루어진다(10 Cate 등). 인쇄 중). 보더라인 리그레션의 경우, '명확한 패스', '통과', '경계선', '실패'가 아닌 '위탁할 준비가 되지 않음', '직접 감독 하에서는 신뢰할 수 있음', '간접 감독 하에서는 신뢰할 수 있음', '감독되지 않은 관행에 대해서는 신뢰할 수 있음'과 같은 앵커들이 규모에 포함될 수 있다.

in Angoff’s method the judges are now asked to make judgments about the competence of examinees. for EPAs judgments are made in the context of borderline ‘trustworthiness’ (ten Cate et al. In press). For the borderline regression method, the scale might include anchors such as ‘not ready for entrustment,’ ‘trustworthy under direct supervision,’ ‘trustworthy under indirect supervision,’ and ‘trustworthy for unsupervised practice’ rather than ‘clear pass,’‘pass,’ ‘borderline,’ and ‘fail.’


마지막으로, 위임 결정은 점수 설정과 표준 설정을 결합하기 때문에 관찰 설정setting이 약간 다르다. 퍼포먼스가 얼마나 좋았는지를 판단한 다음에, 실제 위탁 결정을 하기에 충분한지도 판단할 필요가 있다. 두 관찰자가 동의하지 않을 때는, [퍼포먼스가 얼마나 좋은지]에 대해 서로 다른 판단을 내리고 있거나, [신뢰할 수 있는 것]에 대한 자신의 인식의 차이를 보이고 있기 때문일 것이다.

Finally, observational settings are a little bit different because entrustment decisions combine both scoring and standard settings. It’s necessary to judge how good the performance was and then whether it’s good enough for an actual entrustment decision. When two observers disagree, it might be because they are making different judgments about how good the performance is, or differences in their own sense of what can be trusted.


학부 환경에서 EPA의 당면 과제는 무엇인가?

What are the challenges of EPAs in an undergraduate setting?


2014년 AAMC에 의해 미국 학부 차원에서 13개의 핵심 EPA가 도입된 이후, 이들 EPA의 구현, 모니터링 및 평가에 대해 상당한 논의가 있었다. 일반적으로 위임 개념은 세계적으로 상당히 매력적이지만, 주요 어려움은 이러한 핵심 EPA를 작업 단위로 식별하고 강력한 평가 시스템을 개발하는 데 있다(Taylor et al. 2017; Tekian 2017).

Since the introduction of the 13 Core EPAs by AAMC in 2014 at the undergraduate level in the US, there has been considerable discussion about the implementation, monitoring and evaluation of these EPAs. The entrustment concept in general has been quite appealing worldwide, however, the major difficulty lies in the identification of these Core EPAs as units of work and developing a robust assessment system (Taylor et al. 2017; Tekian 2017).


2017년에 AAMC는 13개의 문서를 발표하여 이러한 EPA를 평가하고 적절한 교수진 개발 활동을 수행하는 방법을 상세히 기술하였다(Obeso et al. 2017). 13개의 핵심 EPA를 탐구하기 위해, 11개의 의과대학이 현재 그들의 구현을 시범적으로 시행하고 있다.

In 2017, AAMC published 13 documents, elaborating how to assess each of these EPAs, and conduct appropriate faculty development activities (Obeso et al. 2017). To explore the 13 Core EPAs, 11 medical schools are currently piloting their implementation.


영국에서는 학부 차원에서의 위탁에 대한 이해와 이행은 미국의 맥락과 달랐다. 의과대학에서의 임상 노출은 예년보다 훨씬 이른 교육과정 시점에서 일어나고 있다. 예를 들어, 영국의 경우, 많은 전통적인 입학 학교에서 18세 전후의 학생들이 의미하는 첫 해에 임상 환경에 들어가는 것은 드문 일이 아니다. 병 때문에 겁을 먹거나 연약함을 느낄 수 있는 환자에게는 돌봄의 일정 부분을 그런 후배에게 맡기는 것이 불편할 수 있다. 따라서 학생들이 아직 의미 있는 환자 책임이 없는 환경에 있는데 EPA를 적용하는 것은 적절하지 않다.

In the UK, the understanding and implementation of entrustment at the undergraduate level has been different than the US context. Clinical exposure in medical schools is occurring at much earlier points in the curriculum than in previous years. In the UK for example, it is not uncommon for students to enter the clinical environment in their first year which in many traditional entry schools would mean when the student is around 18 years old. For a patient, who may feel frightened or vulnerable because of their illness, it can feel uncomfortable to have certain parts of their care entrusted to such a junior person. Consequently, it’s less appropriate to apply EPAs in a setting where students do not yet have meaningful patient responsibilities.


영국에서 의대생들에게 제공되는 clinical teaching이 의사뿐만 아니라 다양한 치료사와 간호사 등 다양한 유형의 전문가들에 의해 수행된다는 것은 눈에 띄는 위협이다. 이러한 상황에서, 종종 제기되는 질문은 [전문직간 팀이 어떻게 개별 의대생에게 특정 시기에 무엇을 기대해야 하는지를 알 수 있느냐]에 관한 것이다. 그들이 한 첫 번째 간단한 일은 학년마다 학생들에게 다른 색깔의 배지를 주는 것이었다. 이것은 어떤 임상의나 의료 전문가가 어떤 학생을 보자마자 그들이 어떤 연도에 훈련을 받았는지 알 수 있다는 것을 의미한다. 공유된 정신적 모델을 만드는 것을 목표로 하는 교수진 개발도 필요하다. 

In the UK, it is a noticeable threat that the clinical teaching provided for medical students is undertaken by different types of professionals–not only medical doctors but a wide range of therapists and nurses. As such, a question that often get raised is how an interprofessional team knows what to expect from an individual medical student, at a particular time in their development into a graduate doctor. The first simple thing they did was to give students in different years different colored badges. This means that any clinician or healthcare professional could tell as soon as they saw a student which year in their training they were in. Faculty development aimed at creating a shared mental model, 


'리즈 기대 가이드'(LEF 2018) 학년별 기대치가 명확해졌다.

‘Leeds Expectations Guide’ (LEAF 2018). Expectations by year of study have been clarified.


그래서 심지어 병동 사무원이나 간호사, 의료 보조원들도 이 때 이 학생에게 무엇을 기대해야 할지 알 수 있다.

So even the ward clerk, nurse, or health care assistance can see what to expect from this student at this time.


가이드 내에는 학생들이 매 학년마다 숙달할 것으로 기대되는 핵심 임상 기술이 수록되어 있으며, 해당 기술에 대한 역량 수준이 제시되어 있다.

Within the guide are core clinical skills that students are expected to master in each year of study, the level of competence for that skill is shown.


평가 및 피드백에 대한 리드의 기대치(LEEP): 지도(2018년)는 학생과 교직원 모두에게 인기가 매우 높은 것으로 나타났다.

The Leeds Expectations for Assessment and Feedback (LEAF): Guidance (2018) was found to be extremely popular with both students and staff.


대학원 환경에서 EPA의 당면 과제는 무엇인가?

What are the challenges of EPAs in the postgraduate setting?


CanMEDS를 사용하든 미국의 6가지 일반 역량을 사용하든 역량 기반 접근법을 구현하면서 인식된 초기 과제 중 하나는 이러한 역량 프레임워크의 해석과 이해가 프로그램마다 매우 다양하다는 것이었다. 게다가, 교수진들에 의한 특정 역량의 가르침과 평가는 불완전하거나 시대에 뒤떨어질 수 있다.

One of the early challenges recognized with implementing a competency-based approach, whether using CanMEDS or the United States’ six general competencies, was the interpretation and understanding of these competency frameworks varied widely among programs. Furthermore, the teaching and assessment of certain competencies by faculty can be incomplete or out of date.


우리는 또한 시스템이 잘 작동하기 위해서는 [시스템이 무엇을 생산해야 하고, 시스템이 어떻게 효과적으로 기능해야 하는지]에 대한 공유된 정신적 모을 사람들이 가져야 한다는 것을 시스템 과학으로부터 배웠다(Cabrera and Cabrera 2015).

We have also learned from systems science that in order for systems to work well people have to possess a shared mental model of what the system should produce and how it functions effectively (Cabrera and Cabrera 2015).


이제 역량 또는 EPA에 대해 생각해 보자. 현재 사용 중인 역량과 EPA의 공유된 정신적 모델을 가지고 있는가?

Thinking now about a competency or EPA, do we have shared mental models of the competencies and EPAs currently in use?


미국 내과계의 '다중 진료 설정에 걸친 만성 질환 환자의 관리' EPA 사례를 참고하십시오. 중요한 질문은 '만성질환을 관리하기 위한 나의 정신적 모델은 무엇인가?'가 되어야 한다. 모든 내과 교수진은 고품질 만성 질환 관리를 수행하고 실행하는 데 필요한 모든 능력(즉, 역량)을 포함하는 이 EPA에 대한 강력한 정신 모델을 가지고 있는가?

Consider the EPA example of ‘manage care of patients with chronic diseases across multiple care settings’ from the internal medicine community in the U.S. The important question should be, ‘what’s my mental model for managing chronic disease?’ Do all internal medicine faculty have a robust mental model for this EPA that includes all the necessary abilities (i.e. competencies) to perform and execute high quality chronic disease care?


이 사례는 EPA의 목적과 설명에 대한 specification이 필요하다는 점을 강조한다(Taylor et al. 2017). 그렇지 않으면, 강력한 최신 규격이 없으면 혼란과 오해, 그리고 공유된 정신 모델의 결여로 이어질 것이다.

This example stresses the need for clear specification in the purpose and description of EPAs (Taylor et al. 2017). Otherwise, the absence of a robust, up-to-date specification will lead to confusion, misinterpretation and lack of a shared mental model.


고려해야 할 또 다른 문제는 효과적인 치료를 위한 임상 치료 제공 모델과 증거가 점점 더 빠른 속도로 변화하고 있다는 것이다. 만성질환 관리가 좋은 예다.

Another issue to consider is that clinical care delivery models and evidence for effective care are changing at an ever accelerating pace. Chronic disease management is a good example.


1990년대 미국 퍼시픽 노스웨스트 출신의 푸젯사운드의 그룹건강협동조합은 만성질환에 대한 효과적인 치료를 제공하기 위한 새로운 모델을 개발하였다(Wagner et al. 1996). 이 모델은 준비된 사전 예방적 실천 팀과 협업하면서 환자가 자신의 치료 관리에 대한 정보를 얻고 적극적으로 임하는 것이 중요하다는 점을 강조했다. 그들은 팀과 함께 일하는 환자의 중요성과 각 팀 구성원이 자신의 역할을 명확하게 이해할 필요가 있다는 것을 인식했다. 이러한 만성 질환 관리 모델은 지난 20년 동안 두드러져 왔지만, 이러한 증거 기반 모델조차도 현재의 건강 관리 요구를 충족시키기 위해 (또 다시) 수정되고 있다. 현재의 핵심 이론은 공동 생산 모델이다(Batalden et al. 2016). 동 생산의 원칙을 사용함으로써 의료 종사자들은 주요 간병인이 의료 전문가가 아니라 부모와 자식이라는 것을 더 잘 이해할 수 있었다.

In the 1990s, Group Health Cooperative of Puget Sound from the Pacific Northwest in the U.S. developed a new model for delivering effective care for chronic conditions (Wagner et al. 1996). The model highlighted the importance of patients being informed and active in their own care management while working collaboratively with a prepared, proactive practice team. They recognized the importance of patients working with teams and that each team member needed to have a clear understanding of their roles. This kind of model for chronic care has been prominent for the last twenty years, but even this evidence-based model is being modified to meet current health care needs. The key theory driving the current evolution is co-production (Batalden et al. 2016). Using principles of co-production helped health care professions better understand the primary caregivers are the parents and child, not the health care professionals.


요컨대 공동 제작은 고도로 효과적인 만성 관리를 제공하는 진화하는 정신적 모델의 한 예다.

In short, co-production is an example of an evolving mental model of providing highly effective chronic care.


역량 및 EPA 관점에서, '공동 생산'과 '전문직 간 관리'의 맥락 안에서 개별 의사가 효과적으로 수행하는데 필요한 활동은 무엇인가? 우리는 위임이라는 렌즈를 통해 통합된 활동을 바라보고 있으며, 그것을 평가하기를 원하지만, 활동을 구성하는 필수적인 요소를 이해하지 못한다면 EPA 또는 그 문제에 대한 역량을 효과적으로 평가하지 않을 것이고, 평가할 수 없을 것이다.

From a competency and EPA perspective, what are the activities that would be necessary for an individual physician to perform effectively within the context of coproduction and interprofessional care? We certainly want to look at integrated activities through the lens of entrustment and assess that, but if we don’t understand the essential components that make up the activity, we will not and cannot assess the EPA, or for that matter a competency, effectively.


만성 질환 관리와 같은 매우 정교한 활동인 경우, EPA로서 하나 또는 두 가지 역량 구성요소를 선택할 수 없고 적절히 정의할 수 없는 경우 이는 정말 어려운 일이 된다. EPA를 효과적인 학습 및/또는 평가 도구로 만들기 위해 많은 역량과 관련 지식, 기술 및 태도를 통합해야 한다.

This becomes really challenging when it’s a very sophisticated activity such as chronic disease care–one or two competency components cannot be chosen and appropriately defined as an EPA. It requires the integration of many competencies and their associated knowledge, skills and attitudes in order to make the EPA an effective learning and/or assessment tool.


세분화된 역량과 통합된 EPA의 특성 사이에는 항상 내재된 긴장이 존재할 것이다. 이것은 가치 있는 지속적인 지적 투쟁의 일부가 될 것이다. EPA가 의료 교육에서 구축될 때는 프로세스와 구성 요소에 대해 신중해야 하며, EPA에 너무 많은 양을 투입하는 동시에 핵심 요소를 잊지 않도록 주의해야 한다. EPA는 교육자가 과제의 강력한 정신적 모델을 구축하고 특히 평가와 커리큘럼 설계의 주요 목적에 부합하도록 도와야 한다.

There will always be an inherent tension between the granularity of the competencies and the integrated nature of the EPAs. This will be part of the worthwhile ongoing intellectual struggle. When EPAs are built in medical education, it is important to be thoughtful about the process and components, being careful not to put too much into an EPA while at the same time not forgetting key elements. An EPA should help educators build robust mental models of the task and be aligned with their primary purpose, especially assessment and curricular design.


두 번째로 고려해야 할 문제는 위임 판단에 대한 것이며, 교수들이 자신의 개인적 정신 모델에 따라 의료에 대한 접근방식이 다르기 때문이다

  • 어떤 경우에는, 당신은 훈련생들의 위를 맴돌면서 아무것도 못하게 하는 '헬리콥터 교수진'(헬리콥터 부모에게)이 있을 수 있다. 일부 외과의들이 연습생에게 수술실에서 많은 시술을 하도록 내버려두지 않는 수술에서 이러한 현상이 나타나는 예가 있다. 그렇다면 어떻게 위임판단을 내릴 수 있을까(Sandhu et al. 2017) 

  • 스펙트럼의 다른 쪽 끝에는 감독해야 하지만 감독하지 않는 주치의가 있다. 이런 주치의는 레지던트가 높은 수준의 자율성과 직접 감독 부족에 대한 준비가 되어 있지 않은 경우 환자를 위험에 빠뜨린다. (10 Cate 2018)

The second issue to consider involves entrustment judgements because faculty vary in their own approaches to care based on their own personal mental models. In one case, you may have ‘helicopter faculty’ (akin to a helicopter parent) who hover over the trainees and not allow them to do anything. There are examples of this phenomenon from surgery, where some surgeons do not let the trainee do much of a procedure in the operating room. How, then, will they be able make an entrustment judgement (Sandhu et al. 2017)? At the other end of the spectrum, there is the attending that should be in the room to supervise but is not–an attending that puts the patient at risk if the resident is not ready for this level of autonomy and lack of direct supervision (ten Cate 2018).


캐나다의 최근 연구는 교수 외과의사들 간의 원칙과 선호에 관한 문턱threshold의 개념을 탐구했다(Apramian et al. 2015). 

  • 원칙은 수술에서 핵심으로 간주되고 이론적으로는 협상할 수 없다. 

  • 선호는 단순히 레지던트가 교수진(즉, 거주자의 선호)과 다르게 업무를 수행할 수 있는 것으로서, 교수의 관점에서 선호는 문제가 되지 않고, 수용 가능하다. 선호는 의사마다 달랐는데, 이는 두 외과의사 간의 허용 가능한 차이를 나타내며, 학습자가 자신에게 가장 적합한 경로를 선택해야 했다.

A recent study in Canada explored the concept of threshold regarding principles and preference among faculty surgeons (Apramian et al. 2015). Principles are viewed as core in surgery and theoretically non-negotiable. Preferences simply refer to approaches where a resident may perform the task differently from the faculty (i.e. the resident’s preference) and from the faculty’s perspective these preferences are fine and acceptable. Preferences were seen as idiosyncratic, representing acceptable differences between two surgeons where the learner should choose the best path that works for them.


이것은 반드시 문제가 되는 것은 아니지만 측정의 관점에서 난제를 발생시킨다. 어떤 특정한 수술 기술의 경우, 교수진과 학습자 모두에게 [절차의 어떤 구성요소가 핵심 원리와 관련이 있는지] 또는 [어떤 구성요소가 진정으로 특이한 선호인지]를 아는 것이 중요하다. 불행히도, Apramian 연구는 11명의 출석 외과의사들 사이에서 핵심 원칙에 합의했지만, 그러한 원칙의 개인적인 적용에 대해서는 거의 합의되지 않았다는 것을 발견했다. 한 외과의에게 원칙인 것은 다른 외과의에 대한 선택적 선호일 수 있으며, 또한 선호로 간주되는 (중요하지 않은) 것에 대해 사람마다 큰 차이가 있었다(Apramian et al. 2015). 그들이 논문에서 언급했듯이, '외과의사가 학습자가 유능하다고 평가하는 정도는 외과의사 자신의 원칙과 선호의 문턱에 의해 형성될 수 있다.' 그렇다면 이 11명의 외과의사 중 위탁을 위한 정신적 모델은 무엇일까?

This is not necessarily a problem but does generates a challenge from a measurement perspective. For any particular surgical skill, it will be important for both the faculty and learner to know which components of a procedure relate to core principles and which components are truly idiosyncratic preferences. Unfortunately, the Apramian study found amongst 11 attending surgeons that while they agreed on core principles, there was little agreement on the personal application of those principles. What is a principle for one surgeon may be an optional preference for another surgeon–and there was wide variability about what was considered inconsequential preference (Apramian et al. 2015). As they noted in the paper, ‘The degree to which a surgeon assesses a learner to be competent may be shaped by the surgeon’s own threshold of principle and preference.’ What then, is the mental model for entrustment among these 11 surgeons?


내과에서 또 다른 연구는 교수들이 외래진료에서 레지던트 성과를 판단하기 위해 사용하는 기준틀이 다양하다는 점을 강조하였다. 44명의 교직원이 일련의 대본 비디오테이프와 라이브 대본 미팅을 보기 전에 8개의 스테이션 OSCE를 통과했다. 그 후 학습이 끝날 무렵 교수진들의 보고가 있을 때, 몇몇은 본질적으로 '솔직히 말하자면, 내가 이런 기술들을 어떻게 하고 있는지 잘 모르겠어. 나는 내 의료행위를 관찰받아본 적이 없다.'

Another study in internal medicine highlighted the different frames of reference used by faculty to judge resident performance in outpatient care. Forty-four faculty were put through an eight-station OSCE prior to watching a series of scripted video-tapes and live scripted encounters. During a subsequent debriefing of the faculty at the end of the study day, some essentially reflected along the lines of ‘I have to be honest with you, I’m not really sure in how I’m doing in some of these skills. I’ve never been observed doing this.’


예를 들어, 나쁜소식 전하기에서 대부분의 교수들은 나쁜 소식을 전할 수 있는 프레임워크를 모르고 있었다. 그러나, 그들이 비디오와 라이브 미팅을 판단하기 위해 사용한 주요 frame of reference(즉, 멘탈 모델)는 자기 자신(즉, '내가 이 기술을 어떻게 수행할 것인가')이었다. 교수진의 근본적인 정신적 모델과 역량은 방 안에 있는 코끼리다. 여러 연구에서 알 수 있듯이 '자신'이 참고의 틀이라면, 이는 역량과 위탁에 대한 판단에 분명히 영향을 미칠 것이다. 너무 자주 의사들은 '자기'가 유능하다는 가정으로 측정이 시작되기 때문에 이것은 훨씬 더 많은 주의를 요하는 사안이다. 현실은 이것이 항상 사실인 것은 아니며, 교직원이 효과적인 위탁 판단에 필요한 숙련도가 아닐 수도 있다는 것이다.

For example, there was a breaking bad news station and most of the faculty were unaware of a framework for breaking bad news. Yet, the primary frame of reference (i.e. mental model) they used to judge the videos and live encounters was self (i.e. ‘how I would perform this skill’). The underlying mental models and competence of the faculty is the elephant in the room. If ‘self’ is the frame of reference, as several studies show, this will clearly affect judgements about competencies and entrustment. This is an issue requiring much more attention because too often measurement starts with the assumption that ‘self’ is competent. The reality is this is not always true, and that faculty may not be at the level of proficiency needed for effective entrustment judgments.


요약

Summary


이 논문에서는 위임을 정의하고, 3단계 신뢰도를 기술했으며, 여기에 훈련생 및 감독자 요인과 인지된 유익성, 인지된 위해성이 영향을 미침을 설명했다.

It defines entrustment, describes the three levels of trust, and presents trainee and supervisor factors that influence it, perceived benefits, and perceived risks.


이 정의의 두 가지 측면은 평가에 영향을 미친다. 

(1) 평가의 블루프린트, 채택된 시험 방법 및 평가에 영향을 미치는 전문적 실무의 단위에 초점을 맞춘다. 

(2) 점수를 계산하는 방법 및 표준 설정 방법에 영향을 미치는 위탁 결정에 초점을 맞춘다.

Two aspects of this definition have implications for assessment, (1) a focus on units of professional practice which influences an assessment’s blueprint, the test methods employed, and (2) how scores are calculated and a focus on decisions of entrustment, which have implications for the way standards are set.




Obeso V, Brown D, Aiyer M, Barron B, Bull J, Carter T, Emery M, Gillespie C, Hormann M, Hyderi A, et al., eds. 2017. Toolkits for the 13 Core entrustable professional activities for entering residency. Washington (DC): Association of American Medical Colleges; https:// aamc.org/initiatives/coreepas/publicationsandpresentations.


ten Cate O. 2017a. Managing risks and benefits: key issues in entrustment decisions. Med Educ. 51(9):879–881.


ten Cate O. 2017b. Entrustment decisions: bringing the patient into the assessment equation. Acad Med. 92 (6):736–738.


ten Cate O, Hart D, Ankel F, Busari J, Englander R, Glasgow N, Holmboe E, Iobst W, Lovell E, Snell LS, et al. 2016. Entrustment decision making in clinical training. Acad Med. 91(2):191–198.


ten Cate O, Schwartz A, Chen HC. (In press). Assessing trainees and making entrustment decisions: on the nature and use of entrustment and supervision scales. Acad Med.




. 2020 Mar 15;1-7.
 doi: 10.1080/0142159X.2020.1733506. Online ahead of print.

Entrustment Decisions: Implications for Curriculum Development and Assessment

Affiliations 

Affiliations

  • 1Department of Medical Education, College of Medicine, University of Illinois at Chicago, Chicago, IL, USA.
  • 2Center for Research and Development of Education, University Medical Center Utrecht, Utrecht, The Netherlands.
  • 3Accreditation Council for Graduate Medical Education, Chicago, IL, USA.
  • 4Leeds Institute of Medical Education, Leeds, UK.
  • 5Foundation for Advancement of International Medical Education and Research, Philadelphia, PA, USA.

Abstract

With increased interest in the use of entrustable professional activities (EPAs) in undergraduate and postgraduate medical education, comes questions about their implications for curriculum development and assessment. This paper addresses some of those questions, discussed at a symposium of the 2017 conference of AMEE, by presenting the components of an EPA, describing their importance and application, identifying their implications for assessment, and pinpointing some of challenges they pose in undergraduate and postgraduate settings. It defines entrustment, describes the three levels of trust, and presents trainee and supervisor factors that influence it as well as perceived benefits, and risks. Two aspects of EPAs have implications for assessment: units of professional practice and decisions based on entrustment, which impact an assessment's blueprint, test methods, scores, and standards. In an undergraduate setting EPAs have great appeal, but work is needed to identify and develop a robust assessment system for core EPAs. At the postgraduate level, there is tension between the granularity of the competencies and the integrated nature of the EPAs. Even though work remains, EPAs offer an important step in the evolution of competency-based education.

Keywords: Written; medicine; outcome-based; postgraduate; undergraduate.


의과대학생의 전문직정체성: 전임상 시기의 자기 성찰(Med Teach, 1997)

Medical students' professional identity: self-reflection during the preclinical years

P M Niemi

Department of Psychiatry, University of Turku, Turku, Finland





도입

INTRODUCTION


학생이 [전문직의 도전과 기회에 대한 현실적인 시각을 키우는 것]은 전문직 정체성의 발전을 위해 필수적이다. 정체성 형성은 이용 가능한 대안을 탐구하고, 어떤 선택과 목표에 전념하는 것으로 구성된다. 오늘날, 의사의 직업적 의무는 전보다 덜 명확하고 더 복잡하다. 예를 들어, 좋은 의사는 (좋은 의료 지식과 임상 기술에 더하여) 좋은 대인관계 기술 및 자기 성찰에 대한 준비성을 갖추어야 한다. (Simpson et al. 1991; Boelen 1995). 성찰적 실천은 일반적으로 필수적인 전문적 문제를 식별하고, 자명한 '진리'에 도전하고, 피드백을 찾고, 개인 전문적 개발에 사용할 수 있다(예: Schoen 1983; von Wright 1992). 자기 성찰에 대한 준비는 평생학습과 전문적 발전을 위한 중요한 토대가 된다.

It is essential for the development of professional identity that the student develops a realistic view of the challenges and opportunities of the profession. Identity formation consists of exploring the available alternatives and committing to some choices and goals. Nowadays, the doctor's professional duties are less clear-cut and more complex than ever before. For example, qualified doctors are expected to have ± apart fromgood medical knowledge and clinical skills ± good interpersonal skills and readiness for self-reflection (Simpson et al. 1991; Boelen 1995). A reflective practitioner is typically able to identify essential professional problems, to challenge self-evident `truths', to seek for feedback and to use it for personal professional development (e.g. SchoÈn 1983; von Wright 1992). Readiness for self-reflection constitutes an important basis for lifelong learning and professional development.


전통적인 의료 커리큘럼은 학생들에게 비판적 사고와 문제 해결 능력과 같은 직업의 미래 도전에 대한 충분한 qualification을 제공할 수 없다는 비판을 받아왔다(Colles 1990; Tosteson 1990). 이러한 교육 문제에 대한 대응으로 많은 의과대학들이 교육 프로그램(예: 문제 기반 학습, 조기 환자 접촉 과정 및 지역사회 지향 프로그램)을 개발하기 시작했다.

Traditional medical curricula have been criticized for not being able to provide students with sufficient qualifications for the future challenges of the profession, e.g. critical thinking and problem-solving skills (Coles 1990; Tosteson 1990). As a response to these educational problems, many medical schools have started to develop their educational programmes (e.g. problem-based learning, early patient contact courses and community-oriented programmes).


정체성 개발과 자기성찰

IDENTITY DEVELOPMENT AND SELF-REFLECTION


에릭슨(1968)은 자아 인식의 평가, 선택, 조직 등의 과정이 본질적으로 관여하는 정체성 형성의 건설적 성격에 주목했다. 제임스 E. 마르시아(1966년, 1980년)는 정체성 상태 패러다임을 개발하여 에릭슨적 정체성 개념에 대한 조작적 정의를 제공하였다. "[자기탐색 또는 위기] 및 [개인적 헌신]". 

  • 개인적 헌신은 안정적인 자기-정의를 말한다. 즉, 자신이 하고 믿는 일에 대한 확고한 의식을 의미한다(Berzonsky 1990). 사람은 자신의 삶에 방향과 의미를 부여하는 자기 정의된 목표, 가치, 신념에 전념하고 싶어한다. 

  • 위기는 [한 사람이 다양한 역할에 대한 실험을 하고, 의식적으로 자신의 기본 가치와 신념, 목표를 질문하고 평가하는] 자기탐구의 시간이다. 

개인은 의도적인 자기 성찰에 임해야 하며, 자기 관련 정보를 적극적으로 처리하고 정교하게 작성해야 한다. 사람은 자신의 생각, 신념 및 행동을 다른 가능한 관점과 연관시킨다(Schoen 1983; Berzonsky 1990; von Wright 1992). 이 두 가지 차원에 따라 네 가지 서로 다른 정체성 상태를 설명할 수 있다(표 1 참조).

Erikson (1968) drew attention to the constructive nature of identity formation, where processes of evaluation, selection and organization of self-perceptions are essentially involved. James E. Marcia (1966, 1980) developed an identity status paradigm, which provided operational definitions for the Eriksonian concepts of identity ± self-exploration or crisis and personal commitment. 

  • Personal commitment implies a stable self-definition ± a firm sense of what one does and believes in (Berzonsky 1990). A person wants to commit to self-defined goals, values and beliefs which give direction and meaning to his/her life. 

  • A crisis is a time of self-exploration, when one experiments with various roles and consciously questions and evaluates one's basic values, beliefs and objectives. 

An individual must engage in deliberate self-reflection and actively process and elaborate self-relevant information. A person relates his or her own thoughts, beliefs and behaviours to other possible perspectives (SchoÈn 1983; Berzonsky 1990; von Wright 1992). According to these two dimensions, four different identity statuses can be described (see Table 1).



성취된 정체성은 개인의 자기탐구와 개인적 목표에 대한 헌신을 통해 발전되었다. 

모라토리엄은 아직까지 어딘가에 헌신하지 못한 적극적 탐험의 상황이다. 

  • 성취된 정체성을 가진 개인과 모라토리엄을 거치는 사람들은 더 큰 인지적 통합적 복잡성과 경험적 지향성을 보인다. 즉, 그들은 그들의 경험과 동기에 대해 호기심과 개인적인 의미를 찾는다(Stephen et al. 1992; Berzonsky et al. 1997). 

  • 성취된 정체성을 가진 사람은 높은 자아 수용력, 안정된 자기 정의, 정서적 안정감, 대인관계적 관점을 취할 수 있는 능력을 가진 것으로 묘사된다(예: 마르시아 1980; 워터맨 1984). 

  • 모라토리엄을 겪고 있는 사람은 변증법적 사고에서 높은 점수를 얻는데, 이는 사고의 모순에 대한 종합성, 상대성 및 내성으로 특징지어질 수 있다(Stephen et al. 1992). 집중적인 자기 탐구는 감정 반응성, 당혹감, 그리고 자기 의식의 증가를 초래할 수도 있다. 

  • 담보된 정체성을 가진 사람은 확고한 약속과 결정을 내릴 수 있다. 그러나 이것은 개인적인 자기 탐구 없이, 종종 권위 있는 인물들의 기대에 근거하여 행해진다. 이러한 사람들은 성취 지향적이지만, 성찰성이 떨어지고 여러 관점에서 정보를 통합할 능력이 떨어진다(Stephen et al. 1992; Berzonsky et al. 1997). 

  • 분산된 정체성을 가진 사람은 탐사를 시작하지도 않았고, 어떤 약속도 하지 않았다. 이 사람들은 문제를 가지고 대립하는 것을 피하거나 연기하려고 한다.

Achieved identity has developed through personal self-exploration and commitment to personal goals. Moratorium is a state of active exploration without commitments thus far. 

  • Individuals with achieved identity and those going through moratorium display greater cognitive integrative complexity and an experiential orientation, i.e. they are curious and seek personal meaning for their experiences and motives (Stephen et al. 1992; Berzonsky et al. 1997). Individuals with achieved identity are described as having a high acceptance of self, a stable self-definition, emotional stability and a capacity for interpersonal perspective taking (e.g. Marcia 1980; Waterman 1984). 

  • Individuals undergoing moratorium score high in dialectical thinking, which can be characterized by synthesis, relativism and tolerance of contradiction in thinking (Stephen et al. 1992). Intensive self-exploration may also result in emotional reactivity, embarrassment and increased self-consciousness. 

  • Individuals with a foreclosed identity may make firm commitments and decisions. However, this is done without personal self-exploration, often on the basis of the expectations of authority figures. These people are achievement-oriented, but less reflective and less able to integrate information from multiple perspectives (Stephen et al. 1992; Berzonsky et al. 1997). 

  • A person with a diffuse identity status has not started an exploration, nor made any commitments. These people try to avoid or postpone confrontation with problems.


Stephen 외 연구진(1992)은 한 상태에서 다른 상태로 진행하는데 선형적이거나 단일한 방법이 없다고 주장했다. 정체성 과정은 나선형으로 더 잘 설명될 수 있는데, 이 나선형은 [구조의 형성과 유지(즉, '나는 누구인가?')와 변화하기 위한 유연성과 개방성(예: 탐사, 예를 들어 '내가 무엇을 할 수 있는가?')] 사이의 역동적이고 변증법적인 평형이 유지되고 있다. 모순되고 모호한 상황과 경험은 대개 자신의 개인적 견해에 대한 자기 성찰과 의문을 자극한다. 이전의 사고방식과 행동방식은 더 이상 당면한 상황과 일치하지 않지만, 개인은 대안적 결의와 관점을 고려할 필요성에 직면해 있다. 전문직 정체성의 발전에 결정적인 순간은 아마도 직업 훈련과 경력의 시작 시기에 일어날 것이다. 새로운 경험과 인지 능력이 학생의 자기 성찰을 활성화시킬 수도 있다. 자이르비넨(1992)은 교육 중 의대생들의 직업적 지향이 전문적 실무에서 발전하기 위한 후속 준비 상태를 예측했다고 관찰했다. 대인관계 의사소통은 또한 자기 성찰과 자신의 경험의 정교함을 촉진시킬 수 있다(예: 롤로프 & 버거 1982). 학생이 자신의 감정과 생각을 다른 사람에게 전달하려고 할 때, 자기 자신의 사고방식도 알게 된다.

Stephen et al. (1992) argued that there is no linear or single way of proceeding from status to status. The identity process may be better described as a spiral, where a dynamic and dialectic equilibrium is maintained between the formation and maintenence of structure (i.e. commitment and the definition of self, e.g. `who am I?') and flexibility and openness to change (i.e. exploration, e.g. `what is possible for me?'). Contradictory and ambiguous situations and experiences usually stimulate self-reflection and questioning of one's personal views. The earlier ways of thinking and acting no longer match the situation at hand, but the individual is faced with a need to consider alternative resolutions and views. The moments crucial for the future development of professional identity probably occur at the beginning of the professional training and career. New experiences and cognitive con¯icts may activate a student's self-reflection. JaÈrvinen (1992) observed that medical students' professional orientation during the education predicted their subsequent readiness to develop in professional practice. Interpersonal communication can also facilitate self-reflection and the elaboration of one's own experiences (e.g. Roloff & Berger 1982). When a student tries to communicate his or her feelings and thoughts to another person, he or she also becomes aware of his/her own way of thinking.


이번 연구

PRESENT STUDY


전통적 교육과정의 혁신

Innovation in a traditional curriculum


투르쿠 대학의 의학 커리큘럼은 전통적으로 조직되어 왔다(예: 임상 전 훈련과 임상 훈련은 분명히 서로 분리되어 있다).

The medical curriculum at the University of Turku has been traditionally organized (e.g. preclinical and clinical training are clearly separate from each other).


이 프로그램의 교육 개혁은 PBL의 원칙과 초기 환자 접촉 과정인 '스트랜드'가 이 프로그램에 시행된 1991년에 시작되었다.

Educational reforms of the programme started in 1991, when the principles of PBL and an early patient contact course, a `strand', were implemented into the programme.


의대생들은 그들의 첫 2년간의 연구 기간 동안 정기적으로 1차 보건소를 방문한다. 그들은 의사±환자 관계에 대한 관찰을 하고, 기본적인 임상 기술을 배우고, 1차 의료 시스템에 대한 관점을 개발한다.

The medical students regularly visit primary health care centres during their first 2 years of studies. They make observations about the doctor±patient relationship, learn some elementary clinical skills and develop a view of the primary health care system.



연구 목적

Aims of the study


종방향 연구 프로그램인 '2000년을 위한 의사'는 의대생들의 발달 과정을 분석하기 위해 1991년에 시작되었다(예: Niemi et al. 1996).

The longitudinal research programme `Doctor for the year 2000' was started in 1991 to analyse medical students' developmental process (e.g. Niemi et al. 1996).


질문은 다음과 같았다. 1학년 학생들은 그들의 첫 번째 학습 경험을 전문적인 맥락에서 얼마나 그리고 어떤 방식으로 반영하고 있는가?

The question was: How much and in what way do first year students reflect their first learning experiences in a professional context?



방법

METHOD


참가자 및 절차

Participants and procedure


후속 연구는 1991년 8월 6년간의 의대 교육을 시작한 110명의 의대생들로 구성되어 있다. 이 중 절반은 남성, 절반은 여성으로, 평균 연령은 21세. 학생들의 발전은 학업의 첫날부터 1997년 의대를 졸업할 때까지 이어질 것이다. 본 기사는 임상 전년도(참가자 수와 응답률을 괄호 안에 표시) 동안 다음과 같은 질의 시간을 다루고 있다. 시간 0: 연구 첫째 날(109, 99%) 

    • 시간 1: 제 1기(NHN 94, 85%) 

    • 시간 2: 제 2기(NHW 91, 83%) 

    • 시간 5: 제 5기(즉, 전임상 시기의 종료시점) (NNNH 92, 85%). 1학기 및 2학기 동안 학습 일지를 제출하였다(NNH 90=100, 90%).

The follow-up study consists of 110 medical students who started their 6-year medical education in August 1991. Half of them are male and half female with an average age of 21 years at the beginning of their training. The development of the students will be followed from the first day of their studies until they graduate fromthe medical school in 1997. This article deals with the following times of inquiry during the preclinical years (the number of participants and the response rates are indicated in parentheses): time 0: first day of studies (Nˆ 109, 99%), time 1: end of the first term (Nˆ 94, 85%), time 2: end of the second term (Nˆ 91, 83%) and time 5: end of the fifth term, i.e. the preclinical period (Nˆ 92, 85%). Learning logs were handed in during the first and second terms (Nˆ 90=100, 90%).



척도

Measures


학습 로그

Learning logs.


학생들이 초기 환자 접촉 과정을 위해 1차 건강관리센터를 방문할 때마다, 그들은 그들의 경험에 대한 학습 일지를 보관하도록 요청 받았다. 그들은 일기를 쓰는 아이디어에 대한 간단한 설명을 제공받았다: "학습 일지를 쓰는 목적은 당신의 학습을 촉진하는 것이다. 그것은 당신의 학습을 강화시키고 심화시키며 당신의 자각을 발전시킨다." 가르침은 '배운 상황 후에 가능한 한 신선하게 생각을 적는 것이 목적'이었다. 자신의 생각, 경험, 감정을 개인적인 방법으로 자유롭게 기록하는 것이 중요하다. 당신이 중요하다고 생각하거나, 흥미롭거나, 중요하다고 생각하는 것들을 기록하는 것은 필수적이다. 올바른 해결책이 없기 때문에 로그를 사용하는 올바른 방법이 무엇인지 궁금하지 마십시오. 그 학습 일지는 당신에게 당신의 경험을 반영하고 궁금해할 수 있는 포럼을 제공한다. 이런 식으로 너는 로그를 너 자신에 대해 배우는 데 사용할 수 있다.'

Each time the students visited the primary health care centre for the early patient contact course, they were requested to keep a learning log about their experiences. They were presented with a short description of the idea of keeping a diary: `The aim of keeping a learning log is to promote your learning¼ it intensifies and deepens your learning and develops your self-awareness'. The instruction was: `The purpose is that you write your thoughts down as freshly as possible after the learning situation¼ It is important that you freely record your own thoughts, experiences and emotions in your personal way. It is essential to record the things you consider important, interesting or significant. Do not wonder which might be the right way to keep a log, as there is no one right solution. The learning log offers you a forum where to reflect and wonder about your experiences. In this way you can use themfor learning about yourself '.


보도를 자극하고 촉진하기 위해 몇 가지 질문이 주어졌다: '

      • 무엇을 관찰하고 경험했는가? 

      • 무엇이 가장 인상적이고 중요했는가? 

      • 기분이 어땠어? 

      • 어떻게 생각하셨나요? 

      • 무엇을 배우고 이해했는가? 

      • 무엇이 너의 생각을 자극했니? 

      • 무슨 일로 마음을 빼앗겼니? 

      • 가장 이해하기 어려웠던 점은 무엇이었습니까? 

      • 무엇을 물어보고 싶으세요? 

      • 당신은 어떻게 괴로운 상황에 대처하셨나요? 

      • 앞으로 비슷한 상황에 어떻게 대처할 것 같아? 

      • 만약 당신이 의사/환자 입장이었다면, 어떻게 행동했을까?'

some questions were given to stimulate and facilitate the reporting: 

      • `What did you observe and experience? 

      • What was most impressive and important? 

      • How did you feel? 

      • What were your thoughts? 

      • What did you learn and understand? 

      • What stimulated your thinking? 

      • What occupied your mind? 

      • What was the most difficult thing to understand? 

      • What would you like to ask? 

      • How did you cope with distressing situations? 

      • How do you think you will handle similar situations in the future? 

      • If you had been in the doctor's/patient's position, how would you have behaved?'


정체성 상태 인터뷰

Identity status interview.


학생들은 임상 전 훈련 기간이 끝날 무렵 자신의 정체성 발달에 대해 개별 면접을 보았다. 신분 상태 인터뷰의 프로토콜(부록 1)은 애덤스(1989년)가 개발한 인터뷰 프로토콜 외 에 기초하였다.

The students were individually interviewed about their identity development at the end of the preclinical training period. The protocol of the identity status interview (Appendix 1) was based on et al. the interview protocol developed by Adams (1989).



APPENDIX 1 Identity status interview

Have you already decided what kind of a career you are striving for?

A. If affirmative, answer:

1 Can you give reasons for considering this interest area?

2 Please describe how you arrived at this choice and how it occurred to you to think about this alternative.

3 What kind of experiences have helped or stimulated you in your decision-making?

4 Who are the people that have stimulated your reflection?

5 What is your opinion about the probability of changing your mind? (on a scale of 0±100%; 100% meaning that the respondent is 100% sure about his/her decision; 50% that there is a half chance of his/her changing his/her mind)

6 What kind of things could make you change your mind? Or why would you change your mind?

7 Would you change your mind if the significant others disagreed with your choice?

8 How would you feel if you were unable to execute your decision or plan?


B. If negative, answer:

1 Are you just now considering some resolution? Are you exploring some alternatives, plans or decisions at this very moment? What are the alternatives you now have in mind?


B1. If positive, answer:

1 Why are you considering precisely these alternatives?

2 Please describe how you arrived at these alternatives and how it occurred to you to think about them.

3 What kind of experiences have stimulated your reflection?

4 Who are the people that have stimulated your reflection?

5 How near are you to the ®nal decision-making? (0±100%; 100% indicating that the respondent is very near; 50% that he/she is in half way of making his/her decision)

6 On what basis do you think your future decisions will take their direction? Or what kind of things you will pay attention to in your career choice? 


B2. If negative, no further questions are asked.



전문직업적 관점과 선택

Professional views and choices.


학생들은 '미래 전문직에 대한 당신의 생각은 얼마나 명확한가?'(0, 1, 2, 5 시기의 3점 만점에 대한 자기 평가), '의료 훈련의 선택에 대해 얼마나 확신하는가?'(0, 1, 2, 5 시기의 5점 만점에 대한 자기 평가) 등의 질문을 받았다. 더구나 면접(시간 5)에서 '의료훈련을 그만두고 전공을 바꿀 생각을 했느냐' '의사로서 미래 직업에 적합하다고 생각하느냐'는 질문을 받았다.

The students were asked `How clear is your view of the future profession?' (self-ratings on a three-point scale at the times 0, 1, 2, 5) and `How sure are you about your choice of medical training?' (self-ratings on a five-point scale at the times 0, 1, 2, 5). Moreover, they were asked in the interview (time 5): `Have you thought about quitting medical training and changing your major?' and `Do you consider yourself suitable for the future profession as a doctor?'


질적 자료의 내용 분석

Content analyses of the qualitative material


학습 로그의 분석은 주어진 학생이 작성한 모든 학습 로그 자료를 바탕으로 수행되었다. 첫째, 신분 상태 패러다임에 기초하여 4가지 다른 범주의 보고가 가설되었다(표 1) 

    • (1) 탐구와 헌신 모두를 예시하는 성숙한 성찰, 

    • (2) 탐구와 의문이 가장 분명한 모라토리엄, 

    • (3) 헌신이 가시적이지만 반영이나 탐구심이 없는 담보된 보고 유형

    • (4) 약속이나 탐구의 징후 없는 분산된 보고

The analysis of the learning logs was done on the basis of all learning log material produced by a given student. First, four different categories of reporting were hypothesized on the basis of the identity status paradigm (Table 1): (1) mature reflection exemplifying both exploration and commitment; (2) moratorium, where exploration and questioning are most evident; (3) foreclosure type reports, where commitment is visible but without reflection or exploration; and (4) diffuse reporting with no signs of commitment or exploration.



결과

RESULTS


전문적 성찰의 초기 특성

The nature of early professional reflection


질적으로 서로 다른 4개의 학습 로그 그룹이 확인되었다.

Four qualitatively different groups of learning logs were identified.


(1) 헌신적 성찰

(1) `Committed reflection'


(NHW 14, 그룹 1  10 10, 그룹 2 ˆ 4) 의료 센터에서 행해진 경험과 관찰은 분석적으로 고려된다. 예를 들어, 학생은 자신의 수행, 학습, 일반 또는 환자-의사 상호작용의 직업 등을 성찰한다. 또한 다른 관점이나 다른 사람들의 관점의 현상을 고려하는 관점, 즉 perspective-taking 능력이 있다. 게다가 자신의 개인적 관점을 진술하는 증거를 제시한다.

(Nˆ 14, group 1 ˆ 10, group 2 ˆ 4). The experiences and observations made in the health care centre are considered analytically, e.g. the student reflects his/her own performance, learning, the profession in general or patient±doctor interaction. He or she also has capacity for perspective-taking, i.e. considering phenomena from different perspectives or from other people's viewpoints. Moreover, he/she gives evidence of stating his/her own personal point of view.


(2) 정서적 탐구

(2) `Emotional exploration'


(N ˆ 27, 그룹 1 ˆ 13, 그룹 2 ˆ 14). 이들 로그에서는 성찰의 징후도 보인다. 그러나 탐구는 자기인식, 감정표현, 당혹감 등이 특징이다. 범주 1의 전형적인 개인적 관점이나 타인의 관점에 대한 표현은 가끔만 일어났다.

(N ˆ 27, group 1 ˆ 13, group 2 ˆ 14). In these logs, signs of reflection are also visible. However, the exploration is characterized by self-consciousness, emotional expressions and embarrassment. The expression of personal standpoints or perspective-taking typical of category 1 only occurred occasionally.


(3) 객관적 보고

(3) `Objective reporting'


(N ˆ 26, 그룹 1 ˆ 12, 그룹 2 ˆ 14). 이러한 학습 로그는 객관적 사건, 임상적 사실 및 사례와 참가자의 성과에 초점을 맞춘 풍부한 보고 내용을 입증한다. 이 학생들은 [자신의 경험과 관찰에 대한 감정적 반응, 질문 또는 정교한 질문 대신] 발생했던 일에 집중한다. 사건들과 사실들은 다른 관점에서 성찰되지 않는다.

(N ˆ 26, group 1 ˆ 12, group 2 ˆ 14). These learning logs evidence an abundance of reporting focusing on objective events, clinical facts and cases and on the performance of the participants. These students concentrate on what happened ± instead of their emotional reactions, questioning or elaboration of their experiences and observations. The events and facts are not reflected on from different perspectives.


(4) 부족한 보고, 보고 회피

(4) `Scant and avoidant reporting'


(N ˆ 23, 그룹 1 ˆ 8, 그룹 2 ˆ 15). 이러한 로그의 일반적인 품질은 불충분하거나, 비어 있거나, 회피성 또는 확산성 보고다. 로그는 종종 짧지만, 더 길면 분리되고 피상적인 보고가 특징이다. 이 학생들은 (어떤 이유로든) 이 문제를 더 깊이 들여다보지 않는다.

(N ˆ 23, group 1 ˆ 8, group 2 ˆ 15). The typical quality of these logs is scant, empty, avoidant or diffuse reporting. The logs are often short, but if longer they are characterized by detached and superficial reporting. These students do not ± for some reason or another ± go into the matter.


전임상 교육 종료시점의 정체성 상태

Identity status at the end of the preclinical training


(1)전문직업적 정체성 획득'

(1)`Achieved professional identity'


(NNH 20). 학생들은 하나 이상의 전문적인 대안이나 계획을 표현한다. 게다가, 그들은 그 대인 중 하나에 상당히 전념하고 있는 것 같다(헌신률이 분명히 50%를 넘는다). 그러나 개인적 자기탐구는 면접에서 그들의 약속과 선택에 대한 근거로 표현되는 경우는 드물다.

(Nˆ 20). The students express one or more professional alternatives or plans. Furthermore, they seem to be considerably committed to one of them (commitment rate clearly above 50%). However, personal self-exploration is rarely articulated as a basis for their commitments and choices in the interview.



(2) "특정 대안의 적극적 탐구"

(2) `Active exploration of specific alternatives'


(NNND 29). 학생은 몇 가지 concrete한 대안을 제시하거나 specific한 대안을 정의한다. 그 또는 그녀는 가능성을 실험하고, 탐구하고, 고려하고 비교한다. 그러나 최종 결정을 내릴 확률은 분명히 50% 미만이 되는 등, 학생은 그 중 어느 것에 대해서도 확고한 의지를 갖고 있지 않다.

(Nˆ 29). The student expresses some concrete alternatives or defines a specific alternative. He or she experiments, explores, considers and compares possibilities. However, the student does not have a firm commitment to any of them, e.g. the probability of making a final decision is clearly under 50%.


(3) "모호한 환상과 잠정적인 생각"

(3) `Vague fantasies and tentative ideas'


(NNH 21). 그 학생은 자신의 미래에 대한 막연한 환상이나 잠정적인 생각을 스케치한다. 그 혹은 그녀는 몇몇 흥미로운 분야를 언급할 수도 있지만, 동시에 진지하게 탐구하거나 저지르려는 의도는 없다.

(Nˆ 21). The student sketches some vague fantasies or tentative ideas about his or her future chances. He or she may mention some interesting areas, but at the same time does not seriously explore or intend to commit.


(4) 분산된 정체성 상태

(4) `Diffuse identity status' (Nˆ 22).


그 학생은 어떤 대안도 표현하지 않고, 어떤 대안도 탐구하지 않는다. 미래의 직업적 선택을 고려할 적절한 시기가 아니라고 생각하는 듯하다.

The student does not express any alternatives, nor has explored any. He or she seems to think that it is not a proper time for considering future professional choices.


초기 전문적 반영, 신원 상태 및 전문적 견해 사이의 연관성

Associations between early professional reflection, identity status and professional views


보고 집단 간, 전문직 상태 집단 간 유의미한 성별이나 나이 차이가 없었다.

There were no significant sex or age differences between the reporting groups, nor between the identity status groups.


전문적 성찰과 전문적 견해

Early professional reflection and professional views


ID 상태 및 전문가 보기

Identity status and professional views


임상 전 훈련(시간 5: Chi square 3 75, P 53 053)이 끝날 무렵 '분산된'와 '모호한' 정체성 학생(44%)보다 '탐구하는'과 '성취한' 학생(67%)이 직업 선택에 대해 매우 확신하는 것으로 나타났다. '탐색하고 성취한 정체성' 학생이 '분산되거나' '모호한' 정체성 학생(47%)에 비해 직업에 적합하다고 생각하는 경향도 있었다(64%)

More `exploring' and `achieved identity' students (67%) were very certain about their professional choice than `diffuse' and `vague' identity students (44%) at the end of the preclinical training (time 5: Chi square ˆ 3 75, P ˆ 0 053). There was also a tendency for the `exploring and achieved identity' students to consider themselves suitable for the profession more frequently (64%) in comparison to the `diffuse' and `vague' identity students (47%).


고찰

DISCUSSION


'헌신적 성찰'은 성찰에 대한 기술과 경향으로, 비판적 사고, 조망수용, 헌신 등으로 정의된다. 따라서 고등학교에서 의과대학으로 직행하는 많은 대다수의 학생들이 학생들이 이런 '성숙한' 사고에 준비가 되어 있지 않다는 것은 이해할 수 있다. '헌신적 성찰자'는 미래 직업에 대해 가장 명확한 견해를 가지고 있었고, 다른 직업보다 직업 선택에 대해 더 확신하고 있었다. 요컨대, 그들의 학습 기록은 한결같이 그들의 더 강한 직업적 자신감을 반영했다.

`Committed reflection' was defined as a skill and tendency for reflection, critical thinking, perspectivetaking and commitment. Consequently, it is understandable that not many students, the majority of whom come straight from high school to the medical school, are ready for this kind of `mature' thinking. `Committed reflectors' had the clearest views of the future profession and they were more certain about their professional choice than the others. In sum, their learning logs consistently reflected their stronger professional confidence.


반면 '감정 탐험가'도 성찰의 자세를 보였다. 그들의 글은 직업적인 상황에 대한 개방적이고 민감하며 개인적인 지향점을 생생하게 묘사했다. 그러나 그들은 그들의 전문적인 견해와 선택에 대해 덜 확신하고 있었다. 분명히, 그들의 학습일지 보고서는 적극적인 자기탐구와 심지어 의심까지 동반한 지속적인 모라토리엄을 나타낸다(Stephen et al. 1992).

On the other hand, `emotional explorers' also showed a readiness for reflection. Their writings vividly illustrated an open, sensitive and personal orientation to the professional situations. They were, however, less certain of their professional views and choices. Quite apparently, their learning log reports represent ongoing moratorium with active self-exploration and even doubts (Stephen et al. 1992).


'객관적 보고자'는 개인의 학습 경험의 정교함 대신 의료 사실, 관행, 사건 등을 체계적으로 보도하는 데 집중했다.

`Objective reporters' systematically concentrated on reporting medical facts, practices and events instead of personal elaboration of learning experiences.


정반대로 '부족한, 회피성 보고자'의 로그 보도는 공허하고 분산되고 분리된 접근방식이 특징이었다. 이 학생들은 또한 의학 훈련을 그만둘 것을 고려했던 학생들 중 더 자주 있었다. 이러한 발견은 전문적이고 교육적인 헌신을 회피하려는 경향을 나타낼 수 있다.

An opposite was true of `scant and avoidant reporters', whose log reports were characterized by an empty, diffuse and detached approach. These students were also more often among those who had considered quitting medical training. These findings may be indicative of their tendency to avoid professional and educational commitments.


2.5년 전 임상 훈련 기간이 끝날 때 수행된 신원 면접을 기초로 네 가지 신원 상태 그룹을 확인할 수 있었다.

On the basis of the identity interview performed at the end of the 2.5-year preclinical training period, four identity status groups could be identified:


학생의 약 절반은 전문적 자기탐색을 미루거나 잠정적이고 막연한 생각만을 표현하려는 의향적인 정체성 상태에 있었다. 가장 큰 그룹(약 3분의 1)은 서로 다른 대안을 비교하고 고려했지만 아직 실천하지 못한 '능동적인 탐험가'였다.

About half of the students were in a state of diffuse or vague identity, i.e. willing to postpone professional self-exploration or to express only tentative and vague ideas. The biggest group (about one-third) were `active explorers' who compared and considered different alternatives but had not yet become committed.


요컨대, 임상 전 훈련이 끝나면, 대다수의 학생들은 여전히 임상적 맥락에 대한 개인적인 전문적 경험이 부족하기 때문에, 단지 가상의 직업 아이디어 테스트에 engage하는 것처럼 보인다. 직업적 정체성에 대한 개인적인 탐구는 일반적으로 임상 기간으로 '미뤄'진다. '성취한 정체성' 그룹으로 분류된 학생들조차 적극적인 자기탐색을 현재의 직업계획의 기초라고 말하는 경우는 거의 없었다. 임상 전기에 대한 이론적, 생물학적 연구는 분명히 이런 종류의 전문적 발달에 자극을 주지 않는다.

In sum, at the end of preclinical training, a majority of the students seem to engage in merely hypothetical testing of career ideas, since they still lack personal professional experiences of clinical contexts. Personal exploration of professional identity is ordinarily `postponed' to the clinical period. Even the students categorized as the `achieved identity' group fairly seldom described active self-exploration as the basis of their present professional plans. The theoretical and biomedical studies of the preclinical period apparently do not offer stimulation for this kind of professional development.


마지막으로, 학습 로그는 개발 과정의 특정 시점에서 자신의 경험과 대안을 표현하는 한 가지 방법만을 설명한다는 것을 명심해야 한다. 따라서 장기적 정체성 개발과 그 미래 방향에 대해 광범위한 추론을 할 수 없다. 정체성 발달이 반드시 선형적으로 진행되는 것은 아니다.

Finally, it should be kept in mind that learning logs illustrate only one way of expressing one's experiences and alternatives at a certain point of time in the developmental process. Consequently, no far-reaching inferences can be made about long-term identity development and its future direction. Identity development does not necessarily proceed in a linear way.







. 1997 Nov;31(6):408-15.
 doi: 10.1046/j.1365-2923.1997.00697.x.

Medical Students' Professional Identity: Self-Reflection During the Preclinical Years

Affiliations 

Affiliation

  • 1Department of Psychiatry, University of Turku, Finland.

Abstract

Critical thinking, readiness for self-reflection and professional development have recently been emphasized as important goals of medical education. However, little is known about the developmental processes through which a medical student elaborates his or her personal experiences during the training, and about the way he or she gradually develops a professional identity. How does the student identify the opportunities and alternatives offered by the profession and finally commit to the professional values and goals he or she finds personally important? In order to grasp the essential characteristics of the personal development process in depth, qualitative, process-oriented and individually tailored methods are warranted. In this paper, the quality of professional self-reflection and identity formation during the preclinical training are described on the basis of two qualitative materials--learning logs and identity status interviews. Four types of learning log reports on the early patient contact course could be identified: 'committed reflection', 'emotional exploration', 'objective reporting' and 'diffuse reporting'. At the end of the preclinical training, the identity status of several students could still be characterized as diffuse or giving rise to only very tentative professional considerations.


교육 근거를 진지하게 수용하면 어떤 일이 발생할 것인가? (Perspect Med Educ, 2014)

What would happen to education if we take education evidence seriously?

C. P. M. van der Vleuten • E. W. Driessen



"여전히 강의는 대부분의 의대에서 가장 지배적이며, 가장 많이 사용되는 수업방식이다. 우리는 흔히 '정보 전달(information delivery)'이 - 특히 전문가로부터의 정보전달이 - 좋은 학습결과(good learning)를 낳을 것이라고 가정하기 때문이다. 하지만 교육에 관한 근거를 모아보면, 이러한 생각이 얼마나 순진한지 알 수 있다."

학습(learning)은 '정보 전달'의 문제가 아니라 '정보 처리'의 문제이기 때문이다. 좋은 교육은 바로 이 '정보 처리'를 촉진할 수 있어야 한다. 물론 정보 전달은 학습의 일부이다. 그러나 말 그대로 '일부'이다."


"여태껏 의과대학에서는 '정보 처리' 과정의 대부분을 그저 학습자에게 맡겨두었고, 거기에 대한 서포트는 거의 하지 않았다." "우리는 '정보 전달'에 들어가는 시간과 자원을 더 줄이는 대신, 학습 과정(process of learning)을 서포트하기 위한 교육 전략에 더 많은 시간을 투자해야 한다."


"만약 우리가 교육에 근거를 사용하지 않는다면, 근거는 다락방에 둔 미술품에 지나지 않을 것이다"


도입

Introduction


21세기의 교육은 18세기의 교육과 크게 다르지 않다. 대부분의 교육은 선생님들이 학습자에게 정보를 전달하는 것에 크게 의존한다. 대조적으로, 20세기 의학의 실행은 18세기 의학과 상당히 다르다.

Education in the twenty-first century is not that different from education in the eighteenth century. Most education relies heavily on teachers transmitting information to learners. In sharp contrast, the practice of medicine in the twenty first century is quite different from medicine in the eighteenth century.


우리는 대부분의 의대나 다른 보건 과학 프로그램들이 여전히 가장 지배적인 형태의 수업방식으로서 강의에 크게 의존하고 있다고 주장할 것이다. 학습에 대한 우리의 공통된 개념에서 우리는 [정보 전달, 특히 전문가로부터 기인할 때 좋은 학습으로 이어진다고 가정]한다. 교육에 관한 모든 증거들이 우리가 가지고 있는 것처럼, 교육에 대한 이러한 견해는 다소 순진하다. 우리의 중심 주장은 학습은 정보 전달의 문제가 아니라 정보 처리의 문제라는 것이다. 좋은 교육은 이러한 정보 처리를 용이하게 하기 위한 전략을 제공한다. 당연히, 정보 전달은 학습의 일부일 뿐이지만, 매우 제한적인 부분이다. 우리는 (학습의) 많은 과정을 그저 학습자에게 맡긴다. 그리고 학습자에게 맡겨진 학습 과정의 그 부분에 대한 서포트는 정말 없다.

we would argue that most schools of medicine or other health sciences programmes in university still rely heavily on the lecture as the most dominant form of instruction. In our common conception of learning we assume that information delivery, particularly when stemming from an expert, leads to good learning. With all the evidence on education as we have it, this viewon education is rather naive. Our central argument is that learning is not so much a matter of information delivery, but of information processing. Good education provides strategies to facilitate this processing of information. Naturally, information delivery is part of learning, yet only a very limited part. A lot of the processing we simply leave to the learner. We do not really support that part of the learning process.


사람들은 또한 두 가지 건강관리 시스템의 효과에 대해 물어볼 수 있다; "건강관리 시스템은 또한 의미 있게 비교되기에는 너무 복잡하다"라고 말한다. 이렇게 큰 비교에 관한 자료를 모으는 것이 불가능하다고 말하는 것은 아니다. 당연히 PBL을 중심으로 데이터를 모았지만(그래서 합리적으로 PBL의 효과를 보여줌) [1], 이러한 비교에는 주요한 방법론적 문제가 있으며, 왜 PBL이 효과가 있는지에 대한 해답은 없다[3].

One might also ask about the effectiveness of two health care systems; health care systems are also too complex to be compared meaningfully. This is not to say that it is not possible to assemble data on such large comparisons. Naturally such data have been assembled around problem-based learning (reasonably showing its effectiveness) [1], but there are major methodological problems in these comparisons and it does not answer why problem-based learning works [3].


우리는 큰 단위의 교육 시스템의 (작은) 구성 요소들에 대한 증거가 필요하며, 어떤 것이 왜, 어떤 조건에서 작용하는지를 설명해야 한다[4]. 그러므로 교육에서의 증거는 교육 연구와 다른 관련 영역에서 기인하는 경험적 증거에서 나온 통찰력 그 이상이다. 경험적 증거에 근거한 이론도 포함하고 있다. 이론은 왜 어떤 것이 교육에 효과가 있는지 설명해준다.

We need evidence on the building blocks of the larger educational system, preferably also explaining why things work under which conditions [4]. Evidence in education is therefore more than insights from empirical evidence stemming from educational research and other related domains. It also includes theories that are based on empirical evidence. Theories provide explanations why things may work in education.


근거의 영역

Areas of evidence


설명하기

Elaboration


인지과학은 교육과 학습에 대한 엄청난 함의와 함께 심리학[6]에 혁명이 되어 왔다. 그것은 우리의 기억이 어떻게 작동하는지, 그리고 우리가 정보를 어떻게 장기 기억 속에 저장하고 회수하는지를 연구한다.

Cognitive science has been a revolution to psychology [6] with massive implications for education and learning. It studies how our memory works and how we store and retrieve information in long-term memory.


인지심리학은 학습자가 정보를 처리할 때 학습이 촉진된다는 것을 알려준다. 학습은 정보를 소비하는 것이 아니라 학습자가 정보를 적극적으로 처리하는 것이다. 정교화라는 용어는 이러한 현상을 설명하기 위해 사용된다 [7, 8].

Cognitive psychology tells us that learning is facilitated when the learner processes the information. Learning is not so much a matter of consuming information but of active processing of the information by the learner. The term elaboration is used to describe this phenomenon [7, 8].


정교한 작업은 여러 가지 방법으로 할 수 있다. 학습자가 정보를 사용할 수 있는 모든 활동은 유용하다. 정교화를 촉진하기 위한 무한한 전략이 있다. 예를 들어, 다른 사람과 토론하거나, 도식화하거나, 요약하거나, 자신의 말로 말하거나, 다른 상황이나 문제에 정보를 적용함으로써 정교화가 촉진된다. 학습자가 수동적으로 정보를 소비할 때 정교화가 방해된다. 순수하게 전통적인 강의 기반 시스템에서는, 대부분의 학습 컨텐츠에 대한 정교화 작업이 강의 수업강의실이 아닌 다른 곳에서 이루어질 것이다.

Elaboration can be done in many various ways. Any activity that allows learners to use the information is useful. There are infinite strategies to promote elaboration. For example, elaboration is facilitated by discussing with others, by schematizing, by summarizing, by verbalizing it in one’s own words, or by applying the information to another situation or problem. Elaboration is hindered when the learner passively consumes the information. In purely traditional lecture- based systems, most elaboration on learning content will not take place in the lecture theatre but elsewhere.


아마도, 가장 많은 정교화는 학습자가 과정을 마칠 때 시험을 준비해야 할 때 일어날 것이다. 학습자가 직접 상세히 설명할 것이다.

In all probability, most elaboration will occur when the learner needs to prepare for the exam at the end of the course. The learner will elaborate by him or herself.


결론적으로, 정보를 가지고 일하는 것working with은 정보를 이해하고 배우기 위해 매우 중요하다.

In conclusion, working with information is very important for understanding and learning the information.


협동학습

Cooperative learning


타인과 협력하여 배우는 것이 혼자 배우는 것보다 훨씬 더 효과적이라는 것을 보여주는 풍부한 증거가 있다[9]. 우리는 또한 다른 사람들과 함께 배우는 것이 가장 생산적인 조건도 알고 있다. 이러한 조건에는 

    • 참여의 평등, 

    • 개인의 책임을 지는 구성원, 

    • 상호 긍정적 상호의존성이 요구되는 과제, 그리고 

    • 협력적 학습을 촉진하는 동시에 이루어지는 상호작용이 포함된다[9].

There is a wealth of evidence showing that learning in cooperation with others is much more effective than learning alone [9]. We also know the conditions under which learning with others is most productive. These conditions include 

    • equality in participation

    • members carrying individual responsibility

    • tasks that require mutual positive interdependence, and 

    • finally simultaneous interactions promoting cooperative learning [9].


대부분의 전통적인 교육 제도에서, 우리는 개인 학습자에게 매우 의존한다. 어떤 형태로든 협력적 학습을 사용하지 않음으로써, 우리는 교육을 실제처럼 효과적으로 만들지 못하고 있다. 게다가, 전문직업적 삶에서는 사실상 모든 일이 팀 기반이다. 그러므로 다른 사람들과 협력하는 것은 더 효과적인 교육으로 이어질 뿐만 아니라, 바람직한 학습 성과, 즉 다른 사람들과 함께 일하는 능력을 나타낼 수도 있다.

In most traditional educational systems, we highly rely on the individual learner. By not using cooperative learning in some form, we are not making education as effective as it could actually be. Moreover, in later professional life virtually all work is team-based. Working in cooperation with others will therefore not only lead to more effective education, it may also represent a desirable learning outcome: the ability to work with others.


피드백

Feedback


거의 상투적인 것처럼 보이지만, 피드백은 효과가 있다[10]. 학습에 피드백보다 더 강력한 것은 거의 없다.

It almost seems like a platitude, but feedback works [10]. There is hardly anything that is more powerful to learning than feedback.


피드백 출처의 신뢰성, 관심의 초점(사람 지향적이기 보다는 관심의 초점), 그리고 환경에서의 피드백 문화. 또 다른 매우 효과적인 전략은 [피드백에 대한 후속 조치가 f/u되고, 도움과 지원이 제공되는 대화]를 중심으로 피드백 대화를 만드는 것이다 [13].

the credibility of the source, the focus of attention (task oriented rather than person oriented), and the feedback culture in the environment. Another very effective strategy is to create a dialogue around feedback, a dialogue in which follow-up on the feedback is promoted and where help and support is being provided [13].


학습에 대한 피드백의 효과성은 상투적으로 보일 수 있지만, 우리는 그것을 교육실무에서 극적으로 저용하고 있다. 많은 교육 관행은 피드백을 다소 환원주의적 방식으로 취급한다. 대부분의 전통적인 시스템에서 학생들이 받는 피드백은 종종 평가의 결과, 종종 성적의 형태로 제한된다. 성적은 어떻게 보면 피드백의 가장 빈약한 형태다[10]. 학습에 대한 서술적 피드백의 중요성에 대한 설득력 있는 증거가 있지만, 동일한 연구는 그것이 의학 교육에서 덜 사용되고 있다는 것을 보여준다[14]. 더욱이, 직장에서의 학습 피드백은 종종 암묵적으로 남거나 아예 주어지지 않는다[15].

The effectiveness of feedback for learning may seem a platitude, but we underuse it dramatically in educational practice. A lot of educational practices treat feedback in a rather reductionist way. In most traditional systems the feedback that students receive is often restricted to the outcomes of assessments, often in the formof grades. Grades are in a way the poorest formof feedback one can get [10]. Although there is convincing evidence for the importance of narrative feedback for learning, the same research tells us that it is underused in medical education [14]. Furthermore, in workplace learning feedback is often left implicit or not given at all [15].


멘토링

Mentoring


우리는 이미 앞 단락에서 학습 정보를 다른 사람과 공유하는 가치에 대해 암시했다. 멘토링을 둘러싼 연구는 정말 긍정적이다. 피드백 사용 증가, 전문성 개발 개선, 경력 준비 및 성공(더 높은 (임상) 생산, 더 높은 직위 포함), 그리고 예를 들어 번아웃을 통한 생산 손실 방지[17]와 관련이 있다. 스포츠나 음악과 같은 다른 많은 영역[18]에서는 학습자와 지속적인 개인적 관계가 존재하며, 이는 종종 의학교육 훈련 프로그램에 결여되어 있다.

We already hinted in the previous paragraph at the value of sharing learning information with someone else. The research around mentoring is really very positive. It is associated with increased use of feedback, improved professional development, career preparation and success (including higher (clinical) production, higher positions) and prevention of production loss such as for example through burnout [17]. In many other domains, such as sports or music [18], enduring personal relationships exist with learners, which are often lacking in our educational training programmes.


멘토들은 학습자의 자율성을 지원해야 한다. 예를 들어, 학생들의 관점을 듣고 인정하며 학생들이 무엇을 원하는지 탐색해야 한다[20]. 따라서 멘토의 임무는 주로 코칭이며, 답을 주기보다는 질문을 하는 것이다. 우리는 학습에 감정이 개입될 때 멘토링 프로그램을 가장 잘 계획할 수 있다. Transition은 전형적으로 감정과 스트레스의 순간일 뿐만 아니라 직장 같은 내재된 감정이 풍부한 학습 환경이다[23]. 아니면 우리가 가장 필요로 하는 사람들을 위해 그것을 사용할 수도 있다.

Mentors should support learners autonomy, e.g. listening to and acknowledging student’s perspectives, enquiring what students want [20]. The task of the mentor is thus primarily coaching, and to ask questions rather than give answers. We could schedule mentoring programmes best when emotions come into play in learning. Transitions are typically moments of emotions and stress [21, 22], as well as inherent emotion-laden learning environments such as workplaces [23]. Or we could use it for those who need it most.


그래서 멘토링의 장점이 널리 인정받고 있음에도 불구하고, 멘토링은 의학 교육에서 크게 활용되지 않고 있다: 의대생과 전고의의 50% 미만이 멘토를 가지고 있다. 더욱 놀라운 것은 잘 표현되지 않은 소수민족 거주자들과 여성들이 그들의 동료들보다 멘토를 가질 가능성이 적다는 것이다 [24].

So even though the benefits of mentoring are widely acknowledged, mentoring is largely underused in medical education: less than 50 % of medical students and residents have a mentor. What is even more striking is that underrepresented minority residents and females are less likely to have a mentor than their peers [24].


멘토링의 활용 부족은 몇 가지 요인 때문일 수 있다[17, 25, 26]. 

    • 첫 번째 요인은 교사에 대한 수업 시간과 인센티브의 부족이다[25, 26]. 

    • 두 번째 요인은 짧은 로테이션에 대한 임상 훈련의 구조화인데, 이것은 학생과 교사 사이의 더 많은 종적 관계를 방해한다. 

    • 멘토링의 낮은 활용 대한 세 번째 설명은 공식적인 멘토링 프로그램의 부족과 때때로 멘토를 찾는 것이 나약함의 표시로 보여지는 문화, 그리고 학생이나 거주자가 스스로 멘토를 찾을 수 없다는 것이다.

The underuse of mentoring could be due to several factors [17, 25, 26]. A first factor is the lack of teaching time and incentives for teachers [25, 26]. A second factor is the structuring of clinical training in short rotations, which hampers more longitudinal relationships between students and teachers. A third explanation for the underuse of mentoring is a lack of formal mentoring programmes, in combination with a culture in which looking for a mentor is sometimes seen as a sign of weakness, and the inability of students or residents to find mentors by themselves.


어떤 상황에서 멘토링이 효과적인가? 성공적인 멘토링 관계는 상호주의, 개인적 연결, 상호 존중, 공유된 가치와 분명한 기대감으로 특징지어진다. 멘토링은 멘토가 멘티를 착취하거나, 멘토가 학생이 해야 할 선택에 대해 선입견을 가지고 있을 때 기능하지 않는다[27]. 멘토는 멘티들이 무엇을 선택해야 할지 조언하고 문제에 대한 해결책을 제시하는 대신, (멘토는) 질문을 하고 멘티들이 자신의 선택에 대해 성찰할 수 있도록 도와야 한다. 멘토는 성찰에 의문을 제기하고 격려함으로써 멘티가 스스로 결정을 내리고 자신만의 해결책에 도달할 수 있도록 한다.

Under which circumstances is mentoring effective? Successful mentoring relationships are marked by reciprocity, personal connection, mutual respect, shared values and clear expectations. Mentoring is dysfunctional when the mentor takes advantage of the mentee or when the mentor has preconceived ideas about the choices students should make [27]. A mentor should ask questions and help mentees reflect on their choices, instead of advising them what to choose and offering solutions to their problems. By questioning and encouraging reflection the mentor enables the mentee to make their own decisions and arrive at their own solutions.


멘토링을 효과적으로 하기 위해서는 멘티가 적극적으로 나서 멘토에게 자신의 (학습) 필요와 기대를 알려 멘토링의 소유권을 가져가야 한다[29]. 이를 위해서는 멘티가 자유롭게 자신의 멘토와 자신의 발전을 자유롭게 토론할 수 있는 분위기[30]가 필수적이다.

In order to make mentoring effective, a mentee should be active and take ownership of the mentoring by informing the mentor about their (learning) needs and expectations [29]. To do this, a safe environment is essential, an atmosphere in which the mentees feel free to discuss in an open manner their development with their mentor [30].


참여

Engagement


참여는 활력, 헌신, 흡수력이 특징으로 하며, employee의 만족도가 가장 높은 상태를 말한다[33]. Engagement는 어떻게 보면 소진과는 정반대의 상태를 말한다.

Engagement is a state of highest satisfaction in employees that is characterized by vitality, dedication and absorption [33]. Engagement is, in a way, the opposite to burnout.


참여는 자율성, 자기 통제, 사회적 지원과 코칭, 끊임없는 변화, 다양성, 팀워크, 흥미로운 도전 등을 통해 연관되고 촉진된다. 외부통제, 규정된 업무, 지루함, 개성 등과 정반대다. Work Engagement Theory는 우리가 이미 언급한 자기 결정과 본질적 또는 외적 동기 부여[36]를 둘러싼 작업과 강하게 공명하며 교육에도 강한 영향을 미친다[20].

Engagement is associated and promoted through autonomy, self-control, social support and coaching, constant change, diversity, teamwork, interesting challenges, etc. It is the opposite from external control, prescribed tasks, boredom, individuality, etc. Work engagement theory resonates strongly with the work around self-determination and intrinsic or extrinsic motivation [36] that we have already mentioned and also has strong repercussions for education [20].


우리의 교육 관행은 외부 통제, 지루한 과제(수시간 교사의 말을 듣는 것), 지루하고 불안한 시험, 제한적인(조직화된) 사회적 지원, 모든 (불량) 학습을 지배하는 완전한 종합 시험 시스템 등으로 가득 차 있다. 우리는 학습자들이 매우 외부적으로 동기부여가 되어있다는 것이나 학습자로서의 역할에 관여하지 않는다는 사실에 놀라서는 안 된다. 교사 중심 프로그램은 열악한 학습 환경과 더 우울한 시스템 및 소모량과 관련이 있다[37]. 직장 내 학습자도 마찬가지다[38]. 직장 등 매우 잠재적으로 challenging한 교육 환경에서도, 그저 반복적인 학습 과제를 수행하는 비활성 학습자는 disengage된다.

Our education practices are full of external control, boring tasks (listening to teachers for hours), dull and anxious exams, limited (organized) social support, complete summative exam systems dominating all (poor) learning, etc. We should not be surprised that our learners are so externally motivated or are not engaged in their role as a learner. Teacher-centred programmes are associated with a poorer learning climate and more depressive systems and burnout [37]. The same is true for learners in the workplace [38]. Even in very potentially challenging education environments such as workplaces, inactive learners doing very repetitive learning tasks become disengaged.


학습자는 소속감을 경험하는 의료팀의 일원으로서 실제로 (감독된) 책임감을 가지고 작업에 참여할 때 [39] 가장 잘 배운다[40]. 우리의 교육은 의무와 최소한의 기준을 이행하는 것이 아니라 참여와 우수성에 맞춰져야 한다. 학습자에게 도전적인 과제를 제공해야 한다. 예를 들어, 종이 환자 문제가 문제 기반 학습 환경에서 실제 환자 접촉으로 대체되었을 때, 학생들의 동기는 엄청나게 증가되었다[41]. 학습자들은 더 많은 신뢰와 책임감과 자율성을 받아야 한다. 요컨대, 근로자들이 작업 환경에 어떻게 관여하게 되는가는 학습자들이 어떻게 학습 환경에 관여하게 되는가와 매우 유사하다.

Learners learn best when they actually participate in the work with their own (supervised) responsibility [39], as part of the health care team where they experience a sense of belonging [40]. Our education should be geared to engagement and excellence, not to fulfilling obligations and minimum standards. It should provide learners challenging tasks. For example, when paper patient problems were replaced by real patient encounters in a problem-based learning setting, the motivation of students was tremendously boosted [41]. Our learners should receive more trust, responsibility and autonomy. In sum, how workers become engaged in a work environment is very similar to how learners become engaged in a learning environment.


사회적 맥락에서 배우기

Learning in a social context


최근 몇 년 동안 의미 있는 사회적 관계와 실천의 맥락에서 배우는 것은 매우 중요한 것으로 간주된다[42]. Situated Learning은 사회문화적 학습 이론 중 하나이며 [견습]이라는 고전적 개념을 [관찰과 모방에 의한 학습]에서 [전문가 커뮤니티에서 능동적인 참여 학습]으로 확장한다[43].

In recent years learning from the context of meaningful social relationships and practices is considered to be very important [42]. Situated learning is one of the social cultural learning theories and extends the classic notion of apprenticeship as learning by observation and imitation through to active participation learning in a community of professionals [43].


의료 훈련 프로그램의 임상 단계는 전형적으로 견습-학습 모델을 따른다. 학생들은 정해진 과별 로테이션을 한다. 로테이션에서 transition이 많은 것은 학습에 해로운 것으로 보인다 [21]. Attachment의 수와 기간은 종종 관성적으로 결정되며, 또한 종종 개별 분야의 상태에 대한 치열한 논쟁의 결과이기도 하다.

The clinical phase of medical training programmes typically follows the classic through of apprenticeship-learning model. Students rotate a set disciplinary rotations. Creating many transitions in workplace rotations seems to be harmful to learning [21]. The number of disciplines and the time of duration of the attachments is often historically determined and also often a result of fierce debates on the status of individual disciplines.


사회 학습 이론은 임상 로테이션에 대한 새로운 접근법에 영감을 주었다.

Social learning theories have inspired newer approaches to clinical rotations.


한 가지 예는 학습자가 더 오랜 기간 동안 임상 환경에 몰입하는 LIC의 촉진이다[44–46]. 이러한 임상실습에서는 짧은 전통 버전보다 더 많은 연속성과 책임감이 있다.

One example is the recent promotion of longitudinally integrated clerkships where a learner is immersed in a clinical environment for a longer period of time [44–46]. There is more continuity and responsibility in these clerkships than in the shorter traditional versions of them.


사회문화학습 이론이 영향을 미치는 또 다른 예는 최근 업무 기반 평가에 대한 관심이다[48]. 그 목적은 직장에서 관련된 전문가[49]로부터 학습자에게 보다 의미 있는 피드백을 제공함으로써 학습을 지도하기 위한 지속적 관계에서 존경 받는 감독자와의 대화를 통해 자기주도적 학습을 유도하는 것이다[13].

Another example of where sociocultural learning theory is influential is the recent attention to work- based assessment [48]. The intent is to provide more meaningful feedback to the learners from the professionals involved in the workplace [49], to drive self- directed learning through the use of reflection and dialogues with respected supervisors in enduring relationships to guide learning [13].



이론에서 실천으로: 덜 함으로써 더 하기

From theory to practice: do more with less


포괄적이 되려는 시도조차 실제로 포괄적이지 않고 빠르게 시대에 뒤떨어진다. 이것은 교육 연구가 어떻게 진화하고 있는지를 보여준다. 증거의 대표성보다 더 중요한 것은 증거와 교육 관행의 괴리다. 만약 우리가 이 6개 정도의 임의적인 증거 영역만을 진지하게 받아들인다면, 우리는 기존의 관행을 근본적으로 바꿀 수 있을 것이다!

Even attempts to be comprehensive [50] are not really comprehensive and become quickly outdated. This shows how research in education is evolving. More important than the representativeness of the evidence is the gap between the evidence and educational practice. If we would only take these six more or less arbitrary areas of evidence seriously, we could radically change existing practices!


우리는 독자의 생각을 쉽게 짐작할 수 있다. 이것들은 값비싼 제안들이야! 이 모든 것의 비용은 얼마인가? 경제적 어려움의 시기에 누가 그것을 감당할 수 있을까? 우리의 주장은 우리가 자원을 잘못 쓴다는 것이다. 대부분의 커리큘럼에서 우리는 대부분의 시간과 노력을 실제로 정보 전달에 소비한다. 대부분의 전통적인 프로그램(아마도 여전히 세계 대부분의 프로그램)에서는 정보 전송이나 전달에 20시간에서 30시간을 쉽게 소비한다. 위에서 분명히 알 수 있듯이, 정보 전달은 좋은 학습에서 아주 작은 부분만을 차지한다.

We can easily guess the thoughts of the reader. These are expensive suggestions! What is the cost of all this? Who can afford that in times of economic hardship? Our argument would be that we spend our resources incorrectly. In most of our curricula we spend most time and effort actually on information delivery. In the most conventional programmes—probably still the vast majority of programmes in the world—20 to 30 h is easily spent on information transfer or delivery. As is clear from the above, good learning is considerably more than information delivery.


위의 학습 증거를 따른다면, 우리는 자원의 상당 부분을 전달에 소비하는 것을 중단해야 한다. 우리는 컴퓨터에 모든 정보 전달을 캡처하여 웹을 통해 배포하는 것을 제안할 것이다. MOOCs(Modern Online Open Course)와 온라인 콘텐츠를 갖춘 온라인 아카데미와 같은 이니셔티브가 세계를 정복하고 있다[51]. 일부는 심지어 학계의 파괴를 두려워한다[52]. 호주의 해부학과 교수가 캐나다의 해부학과 교수와 같은 정보를 다루는 것은 어느 정도 부끄러운 일이다. 정보를 포착해 매력적인 영상 자료를 부록이나 서면 자료의 대체물로 만드는 것이 어떨까?

With the above evidence on learning we should stop spending substantial parts of our resources on delivery. We would propose to capture all information delivery on the computer and distribute that through the web. Initiatives such as Modern Online Open Courses (MOOCs) and online academies with online content are conquering the world [51]. Some even fear the destruction of academia [52]. To some extent it is a shame that a professor in for example anatomy in Australia covers the same information as the anatomy professor in Canada. Why don’t we capture the information and construct attractive video material as an addendum or replacement to written materials?


일단 정보 전달이 가능하게 되면, 아마도 공개적으로라도, 우리는 학습 과정을 지원하기 위해 모든 노력을 기울일 수 있다. 프로그램의 질은 최고의 교사들로부터 최고의 정보를 어떻게 제공하는가에 달려 있는 것이 아니라, 교사로서 우리가 학습 과정을 최대한 용이하게 할 수 있는 방법에 달려 있다. 그리고 나서 우리는 작은 규모의 상황에서 그리고 학습자들과 긴밀한 상호작용으로 내용을 토론할 시간을 갖는다. 우리는 학습자 성과에 대해 적절한 피드백을 줄 수 있을 것이며, 프로그램을 진행하는 동안 그들을 지도하고 조언하는 시간을 가질 것이다. 학습자는 engage하게 된다. 재미는 학습자와 교사 모두에게 필수적인 요소가 될 것이다. 탁월함도 그렇다.

Once the information delivery is available, perhaps even publically, we can put all our efforts into supporting the learning process. The quality of programmes will not depend on howto give the best information fromthe best teachers, but on the way we as teachers are able to scaffold the learning process that maximally facilitates that learning. Then we have time to discuss content in small-scale situations and in close interaction with our learners. We will be able to give appropriate feedback on learner performance, and we will have time to guide and mentor them throughout a programme. Learners will become engaged. Fun will be an essential element for both learners and teachers. So is excellence.


고찰

Discussion


코스 내용을 배포하고 학생 중심의 학습에 집중한다는 발상은 새로운 것이 아니다. 프로버와 히스는 이 접근법을 '극장 없는 강당'이라고 불렀다[53]. 보다 일반적인 용어는 '거꾸로 교실'[54]이며, 우리는 보건 교육 프로그램에서 이러한 아이디어를 구현하기 위한 보고서와 첫 번째 시도를 기록한다[55]. 이것들은 위대한 이니셔티브들이다. 우리는 학습자의 학습 과정을 지원하는 교육 전략에 초점을 맞출 필요가 있다. [연구에 근거한 전략]과 [어떤 것이 어떤 상황에서 교육에서 효과가 있는지 설명하는 이론]에 초점을 둬야 한다.

The idea of distributing course content and focussing on student-centred learning is not new. Prober and Heath have called the approach ‘lecture halls without theatres’ [53]. A more common term is ‘flipped classroom’ [54] and we note reports and first attempts on implementing these ideas in health education programmes [55]. These are great initiatives. We need to focus on education strategies that support the learning process of the learner. Strategies that are based on research information and theories that explain why things work in education under which circumstances.


그렇게 함으로써 우리는 커리큘럼 X와 Y를 비교하는 것을 잊어야 한다. 대신에 우리는 교육과학의 증거와 이론을 숙지해야 하며, 아마도 참여해서 학술적인 작업에 기여해야 할 것이다. 그렇다면 이론부터 교육실무로 이어지는 [최적화된 translation을 만드는 교육전략]을 창의적으로 설계하는 데 참여해야 한다.

In doing so we should forget about comparing curriculum X versus Y to see which is superior. Instead we should acquaint ourselves with evidence and theory from the educational sciences, perhaps even participate and contribute to the scholarly work. Then we should engage ourselves in creatively designing educational strategies that make optimized translations from theory to education practice.


교육에 대한 이러한 접근방식에서 필수적인 것은 연구 정보에 입각한 [56] 교육 전략의 창의적 설계와 우리가 그것들을 실행하는 방법이다. Implementation은 종종 커리큘럼의 궁극적인 품질을 결정하지만, 동시에 종종 무시된다. [57]실행 실패 때문에 제대로 작동하지 않는 문제 기반 학습 커리큘럼의 구현을 보았다[58]. 변화에 대한 교수진의 참여가 성공의 열쇠다. 교육과학에 대한 연구는 [(부분적으로는 무의식적인) 학습에 대한 교사의 인식과 학습에 대한 신념 체계]가 교육실무에서 행동하는 방식을 결정한다는 것을 보여준다[59]. 이는 계획된 행동[60]에서 심리학의 광범위한 이론에서 비롯되며, planned behavior에 관한 이론은 건강 관련 행동을 변화시키는데 종종 사용된다[61]. 행동을 바꾸는 것은 어떤 전문 분야에서도 도전적인 일이다. 의사들이 최근의 증거를 사용하도록 설득하기 위한 시도가 이루어지고 있는 지속적인 전문가 개발에 대한 연구에 따르면, 전문가들로 하여금 어떻게 해야 할지를 설명하도록 하는 가장 일반적인 접근법은 가장 효과적이지 않다[62]. 의사의 요구에 밀접하게 부합하는 다중모드 접근법이 가장 잘 작동하는 것 같다[63].

Essential in this approach to education is the research-informed [56] creative design of instructional strategies and the way we implement them. Implementation often determines the ultimate quality of curricula and is often neglected. [57]We have seen implementations of problem-based learning curricula that did not work properly, simply because the implementation failed [58]. Buy-in from faculty about change is key to any success. Research in the educational sciences tells us that teachers’ perceptions on learning and their belief system on learning, partly being unconscious, determines the way they act in education practice [59]. This stems from a wider theory in psychology in planned behaviour [60], often used for changing health-related behaviours [61]. Changing behaviours is a challenging task in any professional field. In the research on Continuous Professional Development, where attempts are being made to convince doctors to use recent evidence, the most common approach of having experts explain what to do is least effective [62]. A multimodal approach closely aligned to the needs of the doctor seems to work best [63].


그러므로 학생 학습자에 대한 학습 증거가 선생님들에게도 똑같이 적용된다. 단순히 교수들에게 변화하라고 말하는 것만이 재앙을 낳는 가장 좋은 방법이 될 것이다. 우리는 그들을 참여시키고, 그들이 다른 방식으로 일하는 것을 경험할 수 있도록 해야 할 것이다. 변화를 이끄는 리더나 매니저가 있어서, 신뢰받고, 코칭하고, 도움을 줘야 할 것이다. 이것을 잘 한다면 교사들도 참여하게 될 것이고 이것은 변화 과정에 기름을 부을 것이다. 학습에 관한 증거를 참작하면서 교수개발 및 변화 관리 전략의 설계에 [변화 이론[57]]을 translate하기 위해서는 동일한 창의성이 필요하다.

We would therefore argue that the learning evidence on student learners equally applies to our teachers. Simply by telling them to change will be the best recipe for disaster. We will need to involve them, allow them to experience working in different ways, having a change leader or manager who is entrusted, who coaches, who helps. By doing this well, teachers will also become engaged and this will fuel the change process. We need the same creativity to translate the theory of change [57] to designs of faculty development and change management strategies, while taking the evidence on learning into account.


우리는 교육에서 증거의 사용에 대한 관점을 스케치했기를 바란다. 우리는 정보 전달에 더 적은 시간과 자원을 소비해야 한다, 그러나 학습 과정을 더 잘 지원하는 교육 전략에 더 많은 시간을 투자해야 한다. 우리는 전체 커리큘럼의 맹목적인 비교를 하는 것에 신중해야 한다. 왜 교육전략이 작동하는지, 어떤 조건에서 어떤 조건에서 교육전략이 작동하는지 설명하는 교육증거를 찾거나 기여해야 한다.

We hope to have sketched a perspective on the use of evidence in education. We should spend less time and resources on information delivery, but rather on educational strategies that better support the process of learning. We should be cautious doing rather blind comparisons of full curricula. We should seek or contribute to education evidence that explains why educational strategies work and under which conditions.


우리는 [단순히 전통과 직관에 근거하여 계속할 것인지], 아니면 [우리의 미래 교육 관행을 형성하기 위해 증거를 사용할 것인지]를 결정해야 한다. 만약 우리가 교육에 증거를 사용하지 않는다면, 그 증거는 다락방의 미술에 지나지 않는다.

We have a choice to simply continue based on tradition and intuition, or we could use the evidence to shape our future educational practices. Alternatively, if we do not use evidence in education, than the evidence is no more than fine art in the attic.


필수사항

Essentials


• 교육 관행 및 교육 연구가 잘못 조정됨

• Educational practice and educational research are misaligned.


• 효과적이지 않은 instruction에 너무 많은 노력을 기울인다.

• Too much effort is given to instruction which is not effective.


• 학습자에 대한 정보 전달은 웹으로 배포되어야 한다.

• Information delivery to learners should be web-distributed.


• 연구 증거는 학습을 지원하는 보다 효과적인 접근법에 대한 영감을 제공한다.

• Research evidence provides inspiration for more effective approaches supporting learning.


• 연구 증거는 교육 전략이 작동하는 이유를 설명하는 방향을 추구해야 한다.

• Research evidence should be directed on explaining why an education strategy works.







. 2014 Jun;3(3):222-32.
 doi: 10.1007/s40037-014-0129-9.

What Would Happen to Education if We Take Education Evidence Seriously?

Affiliations 

Affiliation

  • 1Department of Educational Development and Research, Maastricht University, PO Box 616, 6200 MD, Maastricht, the Netherlands, c.vandervleuten@maastrichtuniversity.nl.

Abstract

Educational practice and educational research are not aligned with each other. Current educational practice heavily relies on information transmission or content delivery to learners. Yet evidence shows that delivery is only a minor part of learning. To illustrate the directions we might take to find better educational strategies, six areas of educational evidence are briefly reviewed. The flipped classroom idea is proposed to shift our expenditure and focus in education. All information delivery could be web distributed, thus creating more time for other more expensive educational strategies to support the learner. In research our focus should shift from comparing one curriculum to the other, to research that explains why things work in education and under which conditions. This may generate ideas for creative designers to develop new educational strategies. These best practices should be shared and further researched. At the same time attention should be paid to implementation and the realization that teachers learn in a way very similar to the people they teach. If we take the evidence seriously, our educational practice will look quite different to the way it does now.


분야로서 HPE: 강력한 지식 생산을 위한 함의(Teach Learn Med, 2017)

HPE as a Field: Implications for the Production of Compelling Knowledge 

Anneke van Enk and Glenn Regehr

Centre for Health Education Scholarship, University of British Columbia, Vancouver, British Columbia, Canada




교육에서의 연구는 오랫동안 [학문적 이해 관계자]와 [실무에 기반을 둔 이해 관계자]들의 상충하는 우려와 씨름해 왔다.

Research in education, has long struggled with the competing concerns of academic and practice-based stakeholders.


[학계에서는] 많은 교육 연구가 방법론적으로나 이론적으로 열등하고, 효용(또는 실제적인 결과)에 지나치게 신경을 쓴다는 인식이 있다. 그리고 (교육연구가) '진정한' 학문으로서의 정당성이 있는지 문제 삼는다.

Among academics, there is a perception that much education research is methodologically and theoretically inferior and too concerned with utility (or practical outcomes), throwing its legitimacy as a “real” scholarly enterprise into question.


[동시에, 교육 실무자들과 정책 입안자들 사이에는] 교육연구가 특별히 유용하지 않고, 경직된 처방이나 불가사의한 추상화 중 하나를 제공하는 경우가 너무 많은데, 둘 다 "현실 세계"의 복잡성이나 일상적이고 구체적인 요구를 고려하지 못한다는 의식이 있다.

At the same time, there is a sense among educational practitioners and policymakers that it is not especially useful, that too often it offers either rigid prescriptions or arcane abstractions that, respectively, fail to take the complexities or the everyday, concrete needs of the “real world” into account.


라바레 1,2는 사실 교육연구의 바로 이러한 학술적 기여와 현실적 기여 사이의 긴장관계가 다른 기존의 많은 학문들에 비해 이 분야의 낮은 위신을 설명하는 것이라고 주장해 왔다.

Labaree 1,2 has argued that it is, in fact, this very tension between the intellectual and practical commitments in education research that accounts for its low prestige compared to many established disciplines in the academy.


[이론과 방법에 관한 중요한 우려]와 [교육자, 관리자 및 정책 입안자의 현실적 요구]를 모두 해결하는 새로운 지식을 생산해야 한다면, 학계와 실무자의 HPE 커뮤니티가 이러한 긴장에 효과적으로 대응할 수 있는 방법은 무엇인가?

how might the HPE community of academics and practitioners respond effectively to this tension in order to produce new knowledge that addresses both important concerns about method and theory and the practical needs of educators, administrators, and policymakers?


그러나, 하나의 분야로서, HPE 연구는 학문적으로도 실무적적으로도 둘 중 하나의 이해관계에 대한 특권을 부여하지도 않을 것이며, 긴장감을 해소하기 위한 어떤 결정적인 청사진을 시도하지도 않을 것이다. 오히려 HPE에서 학문과 실무적 이해관계는 본질적으로 상호 연관되어 있으며, 따라서 얼마가 되었든 일정정도의 긴장상태에 있다고 간주할 것이다.

As a field, however, HPE research would not privilege either disciplinary or practical interests, nor would it attempt any sort of definitive blueprint for resolution to the tension. Rather it would regard disciplinary and practical interests as inherently interconnected and, therefore, always in tension to varying degrees.


하나의 분야로서 HPE가 갖는 과제는 그 긴장을 해소하는 것이 아니라, 협업을 통해, 끊임없이 변화하는 협상과 타협을 통해, 그 긴장을 생산적인 방법으로 활용하는 것이다. 그것은 반드시 편안할 필요는 없지만 그럼에도 불구하고 지역사회의 모든 부분에 울려 퍼지는 지식을 육성할 것이다.

The challenge for a field is not to resolve that tension but to harness it in productive ways through collaboration, through ever-shifting negotiation, and compromise, engagements that will not necessarily be comfortable but will nonetheless foster knowledge that resonates with all parts of the community.


학문분야로서 교육

Education as discipline


하나의 학문분야란 (반드시 조화롭지는 않더라도) [지식의 축적과 검증을 위한 [지적 이익과 표준에 의해 결합된 집단]이 상대적으로 밀접하게 결속되는 경향이 있다. 한 학문분야의 구성원은 문제의 전문적 지식, 언어, 구성 등을 공유하며, 구성원은 문화화 과정을 포함한 광범위한 훈련 과정을 통해 (멤버십을) 획득한다.

Academic disciplines tend to be relatively close-knit, if not necessarily harmonious, groups united by intellectual interests and standards for accumulating and validating knowledge. Members of a discipline share specialized knowledge, language, and constructions of problems, and membership is acquired through an extensive process of training that is heavily laden with processes of enculturation.


Becher3는 '학문'이란 명확하게 구분된 "영토"를 보호하는 응집력 있는 "종족"라고 은유적으로 묘사했다. 비록 이 은유에 대한 많은 비평이 있지만, 사실 학문은 (적어도 겉으로는) 단결unity의 보존하고자 하며, 특히, 다른 학문분야 또는 비-학문분야와의 구별을 유지하기 위해 노력을 기울인다.

Becher3 offered a metaphorical description of disciplines as cohesive “tribes” protecting clearly demarcated “territories.” Although this metaphor has met with a good deal of critique,4,5 disciplines do, in fact, expend effort on the preservation of (at least the outward semblance of) unity and, in particular, on maintaining distinctions both from other disciplines and from nondisciplines.


여기서 우리의 목적을 위해 중요한 것은, 일반적으로 학술분야들은 이론의 진보를 그들의 주된 목표로 삼는다. 이론에 대한 이러한 일차적 초점은 종종 학문이 "실무real world practice" 으로부터 분명히 분리되게 한다. 이러한 분리에 대한 근거는 지적 탐구의 여력 측면에서 표현되어 왔다.

Important for our purposes here, academic disciplines generally take, as their primary goal, the advancement of theory. This primary focus on theory often leads disciplines to explicitly separate themselves from“real-world” practices. The rationale for this separation has been expressed in terms of its affordances for intellectual inquiry.


예를 들어, 파커는 학문이란 본질적으로 속세에 관심이 없으며unworldly, 학문이 반드시 효용성을 갖춰야 하는 것도 아니기에, 아이디어의 탐구에 대한 뿌리 깊은 헌신을 가능하게 한다고 말했다.

Parker,6 for instance, wrote that a discipline is by its very nature unworldly and that this allows for a deep-rooted commitment to the exploration of ideas not necessarily in the service of utility.


교육의 맥락에서, Hammersley7은 "두 세계"라는 관점을 사용하여 이 분리separation의 가치를 주장했다. 그는 "연구자와 실무자는 근본적으로 다른 두 가지 활동을 하고 있으며 이는 서로 다른 방향으로 나아가게 한다"고 제안했다. …두 가지 서로 다른 활동을 효과적으로 추진하려면 서로 다른 방향의 차이는 불가피하다."7(p62)

In the context of education, Hammersley7 asserted the value of this separation using a “two-worlds” perspective. He suggested that “researchers and practitioners are engaged in two fundamentally different activities, and … this gives rise to divergent orientations on their part. … This difference in orientation is essential if these different activities are to be pursued effectively.”7(p62)


[학술연구]와 [실천]의 분리도 HPE 문헌에 반영되어 있는데, 이는 '생산자를 위한 생산'과 '사용자를 위한 생산'이라는 양극단으로 구분하기 때문이다.9 학문 기반의 관점을 촉진하면서, 'influential figures'들은 HPE 연구는 "연구자 커뮤니티를 목표로 하는 작업 개발과 이론적 지식의 향상을 우선시"하고, 반대로 (HPE연구는) "현장에서의 연구 질문의 방향을 잡는데 있어서 의과대학 교수들의 요청에 의해 생기는 영향력"를 줄여야만 더 발전할 것이다라고 말한다.

The separation between academic research and practice is also mirrored in the HPE literature as the distinction between the poles of “production for producers” and “production for users.”9 Promoting a discipline-based perspective, “influential figures” have suggested that HPE research would improve if it gave “priority to the development of work aimed at the community of researchers and at the advancement of theoretical knowledge” and reduced “the sphere of influence exerted by the needs of faculties of medicine in orienting research questions in the field.”


[학문기반 지식 생산]과 [실무practice]적 우선순위를 별개의 것으로 나누게 되면, 필연적으로 이 두 가지 세계 사이에서 "gap"을 "bridge" 하기 위하여 지식 번역이 필요하게 된다. 이 또한 쉬운 일은 아니다.

The outcome of prioritizing disciplinary-based knowledge production as distinct from practice is that knowledge translation becomes necessary if we are to “bridge the gap” between these worlds. This entails challenges.


'지식 번역'에 대한 비평

Critiques of knowledge translation


[좁은 형태의 증거]와 [자연에 대한 단순한 가정]에 특권을 부여하는 것

privileging of narrow forms of evidence and simplistic assumptions about the nature


번역이 실무자의 책임이라고 주장될 때, 그것은 실무자가 학문적으로 이론가들이 배타적 영역으로 주장해온 언어, 개념, 특권적 지식을 이해해야 한다는 부담을 준다. 그것은 실무자들이 학문적 대화에 참여할 권한을 부여받지 않고 실무에 대한 가치를 확인하는 범위 내에서 이를 이해하고 받아들일 수 있어야 한다고 제안한다.

when translation is asserted to be the responsibility of the practitioner, it places a burden on the practitioner to understand the language, concepts, and privileged knowledge that the discipline has claimed as its exclusive domain. It suggests that practitioners ought not be authorized to participate in the disciplinary conversation but ought to be able to understand and appreciate it to the extent of identifying its value for practice.


반대로, 그러한 번역이 학술 연구자들에 의해 수행되었을 때, 적어도 역사적으로, (방법론적으로 엄격하지만 종종 좁은) 발견에 기초하여 하향식 처방의 과정이 되어 왔으며, 실무에 도움이 되는 만큼 많은 피해를 입히기도 했다. 이는 대부분, 연구자들 자신이 국지화된 실무적 복잡성에 대한 이해에 있어 세련되지 못했으며, 따라서 번역을 위한 노력은 단지 (논리적이지만 종종 난해한) 이론의 "dumbing down"으로 본다.

Conversely, when such translation has been undertaken by academic researchers, it has, at least historically, been a top-down process of prescription on the basis of (methodologically rigorous but often narrow) findings that might cause as much damage as help in practical settings.13 In large part, this is because the researchers themselves are often unsophisticated in their understanding of the localized complexities of practice and thus see translational efforts merely as the “dumbing down” of (elegant but often esoteric) theories.


이러한 지식번역은 학계 연구자들에게 별로 호소력이 없어 보일 뿐만 아니라, "(지식번역에 힘쓰는 것은) 실제로 연구자로서의 과학적 명성과 위신을 떨어뜨릴 수도 있다"는 인식이 있다.14(p3)

Not only does such translation seem to hold little appeal for academic researchers, but there is a perception that engaging in it “may actually decrease a researcher’s scientific reputation and prestige.”14(p3)


지식 번역에 관한 문헌은 이러한 문제들을 다루기 위해 노력해왔다. 구체적으로, 통합 지식 번역의 개념은 "잠재적 지식 사용자들은 연구 과정의 시작부터 적절하고 의미 있는 방법에 종사해야 한다."는 것을 인정한다. 이러한 변화는 지식번역을 개념화할 때, (지식 전달보다는) [지식 생산의 문제]로서 개념화하는 전환이 중요하다.

The literature on knowledge translation has made efforts to address these issues. Specifically, the concept of integrated knowledge translation acknowledges that “potential knowledge users must be engaged in appropriate and meaningful ways from the beginning of the research process.”15(p14) This shift to conceptualizing knowledge translation as a matter of knowledge production rather than knowledge transfer is significant.


실천으로서 교육 

Education as practice


이론-실무의 이분법에 대처하기 위한 대안적 접근방식은 학문지식이 아닌 실무에 더 우선순위를 두는 것이다. 이처럼 실무를 우선하고자 하는 노력의 두 가지 버전은 일반적으로 교육에서 설명된다: [실무자 조사]와 [증거 기반 교육].

An alternative approach to addressing the theory-practice divide privileges practice rather than disciplinary knowledge as the focus of the research enterprise. Two versions of this effort to foreground practice are commonly articulated in education: practitioner inquiry and evidence-based education.


[실무자 조사 운동]은 실무자 주도의 연구가 그들의 실제 지식 및 상황별 특수성과 더 잘 관련된 연구 결과를 만들어 낼 것이라고 주장한다. 실무자 질의에는 연구자로서의 교사, 16개의 비판적 해방 연구, 17, 성찰적 실천 등 수많은 접근방식이 있다.18

The practitioner inquiry movement posits that practitioner-led research will generate findings that relate better to their real-world knowledge and contextual particularities. There are numerous approaches to practitioner inquiry, including teacher as researcher,16 critical emancipatory research,17 and reflective practice.18


코크란-스미스와 리틀에 따르면

according to Cochrane-Smith and Lytle,


다음을 인정해야 한다.

실무자를 합법적 지식인으로 

전문적 맥락을 실무에서 발생하는 문제의 연구를 위한 조사 장소로 

탐구와 실무 사이의 모호한 경계를 

타당성과 일반성의 개념은 전통적인 연구의 관례와는 다름을

the acknowledgement of 

the practitioner as a legitimate knower; 

the professional context as inquiry site for the study of problems that arise from practice; 

blurred boundaries between inquiry and practice; [and] 

notions of validity and generalizability different from the conventions of traditional research.


그러나, 이 접근법에 의해 생성된 지식의 형태에 대한 우려가 제기되었다. 예를 들어, 20세의 펜스터마허는 실무자 조사가 영장 및 정당성의 요건을 충분히 심각하게 받아들이지 않았다고 제안했고, 휴버먼21(p132)은 교사의 "emic" 관점을 옹호하는 것이 "망상과 왜곡에 대한 안전장치를 약화시키는 결과"로 이어졌다고 우려를 표명했다. 따라서, 많은 학자들은 [여러 교육실무적 맥락에 대한 결정을 기반으로 하는 하는 지식의 "공유 가능한" 형태로서의 실무자 조사의 가치]를 의심한다.2

However, concerns have been raised about the forms of knowledge generated by this approach. Fenstermacher,20 for instance, suggested that practitioner inquiry has not taken seriously enough the requirements of warrant and justification, and Huberman21(p132) expressed concern that the championing of teachers’“emic” perspectives has led to “minimal safeguards against delusion and distortion.” Thus, the value of practitioner inquiry as a “shareable” form of knowledge upon which to base decisions about educational practice across contexts is questionable, at least to many academics.2


[증거 기반 교육]은 실무를 우선시하는 접근방식 측면에서 실무자 조사와 현저하게 다르다. [검증 가능한 실효성 입증에 근거해 일반화할 수 있는 실천적 처방이 자신 있게 구현될 수 있다]는 기대와 함께 실무에 대한 '강건한' 연구 방법의 활용을 촉진한다. 여기서 증거는 실무자 질의에서처럼 경험에 대한 반성을 통해서가 아니라, "실용적이고 복제가능한 교육 프로그램에 대한 연구의 과학적으로 타당하고 쉽게 해석할 수 있는 종합synthesis"이 가능하도록 (학문기반의, 대개 실험적인) 방법론의 엄격한 적용을 통해서 생산된다.

Evidence-based education differs sharply from practitioner inquiry in its approach to foregrounding practice. It promotes the use of “rigorous” research methods in service of practice, with the expectation that its generalizable prescriptions for practice can be implemented with confidence based on verifiable proof of effectiveness.22,23 Evidence here is not produced through reflection on experience, as it is in practitioner inquiry, but through rigorous application of (discipline-based and usually experimental) methodologies that allow for “scientifically valid and readily interpretable syntheses of research on practical, replicable education programmes.”24(p5)


그러나, [증거 기반 교육]을 위하여 창출되는 지식의 가치에도 의문이 있는데, 왜냐한 연구마다 ground가 서로 다르기 때문이다. 특히, 비평가들은 [단순화된, 일반화과능한 원칙]을 강조하는 것을 지적하며, 지식이 관련성을 갖기 위해서는 복잡하고 국지화된 상황에서 효과적으로 작동할 필요가 있음을 지적한다실무를 위한 servant로서 (이론보다) 방법에 초점을 둠으로써 이론-실무 분열을 바로잡으려는 이러한 노력은 수행자가 지역적 맥락에 "translation"할 필요가 있는 상황에서, 아는 학술적 knowing의 방법의 reassertion으로 볼 수 있다.

However, the value of the knowledge generated through this too, questioned approach, has been on various grounds. In particular, critics challenge its prosimplified, motion of generalizable principles over relevant knowledge be contextually that would required to act effectively in complex, localized situations. This effort to redress the theory-practice divide by focusing on method (rather than theory) as servant to practice can, then, be seen as a reassertion of disciplinary ways of knowing, with the attendant need for “translation” to local contexts.


흥미롭게도, 지금까지 HPE 문헌에서 실무 중심의 연구에 대한 우려가 나타난 양상은 조금 다르다. 그 결과 국지적으로 이루어진 개입의 설명description이나 정당성justification에 초점을 맞춘 연구가 지나치게 많이 나온 것으로 보인다.29 이러한 연구에서 답하고 있는 질문은 '왜' 또는 '어떻게' 질문과는 거의 또는 전혀 관련이 없는 "does it work?"만을 확인해온 것이다. Cook et al.29는 다음과 같이 제안했다.

Of interest, in the HPE literature, concern about practice-driven research has manifested slightly differently insofar it is seen to have led to an overly large number of articles focused on description or justification of local interventions.29 It is argued that the question being answered in these articles is “Does it work?” with little or no attempt to address “why” or “how” questions. Cook et al.29 suggested that


(이러한 연구는) "교육 및 학습 과정에 대한 이해에 영향을 미치는 영향이 제한적이고, 향후 실무와 연구에 미치는 영향도 마찬가지로 제한적이다"29(p132)

it has “a limited impact on our understanding of the teaching and learning process and in turn influence [has] limited on future practice and research”29(p132)


이와 유사하게, 다른 이들은 이론적 프레임워크에 질문과 데이터를 적절히 고정anchor하지 않는다면, HPE 연구는 지식의 통합체를 형성할 수 없을 것이며, 교육 맥락의 복잡성을 다루는 데 거의 진전이 없을 것이라고 언급했다.

Others have commented, similarly, that without properly anchoring questions and data in theoretical frameworks, HPE research cannot form an integrated body of knowledge and will make little progress in addressing the complexities of educational contexts.30,31


지식-생상 분야로서 교육

Education as knowledge-producing field3


우리는 지식 생산 분야가 전문가, 관리자, 정책 입안자와 같이 [학문 기반 지식 생산에 관여하지 않는 이해관계자]뿐만 아니라 [다양한 분야의 학문을 포함하는 조사 영역]으로 이해될 수 있다고 제안한다.

We suggest that a knowledge-producing field can be understood as a domain of inquiry that includes academics from a range of disciplines as well as stakeholders not engaged in discipline-based knowledge production, such as professionals, administrators, and policymakers


잘 작동하는 분야에 대한 우리의 개념은 Stokes가 개념화한 use-inspired basic research와 관련된다. 스톡스는 실무적 진전(적용을 위한 연구)이론의 진보(이해를 위한 연구)의 목표가 상호 배타적일 필요는 없다고 주장했다. 대신 그는 연구 결과를 판단할 수 있는 두 가지 직교 차원이라고 제안했다. 따라서, 그의 모델은 두 개의 교차 축으로 구성되었는데, 하나는 "사용의 고려"를 나타내고 다른 하나는 "기본적인 이해를 위한 질문"을 나타낸다. 이것은 4개의 사분면을 낳게 되는데, 이 사분면은 연구가 '실무use'와 '이론undersatnding'에 둘 다 기여하는 사분면에는 "Paster의 사분면"이라는 딱지가 붙는다. 우리는 이러한 이중적 기여가 한 분야가 달성하고자 하는 목표라고 제안한다.

Our conception of a well-functioning field is informed by Stokes’s32 notion of use-inspired basic research. Stokes argued that the goals of advancing practice (research for application) and advancing theory (research for understanding) need not be mutually exclusive (two poles on a single dimension). He instead proposed that they are two orthogonal dimensions on which research can be judged. Thus, his model comprised two intersecting axes, one representing “considerations of use” and the other the “quest for fundamental understanding.” This results in four quadrants, with the quadrant in which research contributes to both use and understanding (with no compromise in either value) labeled “Pasteur’s quadrant.” We propose that this dual contribution is what a field aims to achieve


분명히, 우리는 다음에 가치가 없다고 말하려는 것이 전혀 아니다.

  • "Bohr의 사분면"(학문의 추구와 연계하여, (이론적) 이해는 그 자체가 목적이 되어 추구되고 "최상의 관행"을 결정하는 효용이 기껏해야 부차적인 관심사에서 이뤄진다.) 

  • "에디슨의 사분면"(대략적으로 실무자 커뮤니티의 노력과 관련되며, 반대로 "최상의 관행"을 결정하는 것이 가장 중요하고, 혁신의 유용성 뒤에 있는 원칙을 이해하는 데는 관심이 적다).

To be clear, we are not arguing that there is no value in work produced in what Stokes termed 

  • “Bohr’s quadrant” (correlating with the pursuits of academic disciplines, where understanding is pursued for its own sake and its utility for determining “best practice” is, at best, a secondary concern) or in 

  • “Edison’s quadrant” (correlating roughly with the efforts of communities of practitioners, where, conversely, determining “best practice” is paramount and there is less immediate interest in understanding principles behind an innovation’s usefulness).


파스퇴르의 사분면을 차지하기 위한 연구에 대한 권고는 일반적으로 교육에서 새로운 것은 아니지만, HPE.34-36에서는 매력적으로 보이지만, 그것이 실제로 무엇을 의미하는지 확장하는 것은 아직 거의 없다.

Exhortations for research to occupy Pasteur’s quadrant are not new in education generally33 or in HPE.34–36 However, although the idea appears attractive, there is little as yet that expands on what it might actually mean.


여기서 우리는 한 분야가 만들어내는 것, 즉 "유용한 이론"을 스케치하는 것으로 시작하려고 한다. 우리는 [유용한 이론]과 [학문에서 전통적으로, 제도적으로 보상을 받는 경향이 있는 종류의 이론]을 대조하고자 한다. 후자의 이론은 매우 추상화된 이론이다 (링가드가 "T"heory, 또는 "grand explanations"이라고 부르는 것). 이러한 "T"heory는 기존의 이론에 기초하며, [데이터를 수집하고 해석하기 위한 명시적(계층화된) 방법론] 또는 [증거, 추론, 논쟁에 대한 보다 암묵적인 기준]에 의해 형성된다.

Here, we begin more generally by sketching out what it is a field produces, namely, “useful theory.” We contrast useful theory with the sort of theory the production of which tends to be institutionally rewarded in traditional disciplines, the highly abstracted theory (what Lingard37 called “T”heory, or “grand explanations”) that is built upon prior theory and shaped either by explicit (often hierarchicalized) methodologies for collecting and interpreting data or by more tacit standards for evidence, reasoning, and argumentation.


분야에 따라, 좋은 "T"heory는 예측 정확도 및/또는 개념적 우아함을 제공한다. 그러나 학문분야의 산물로서, "T"heory는 실제로 특별히 유용성이 높지 않을 수도 있고, 외부인이 접근하기 어려운 경향이 있다. 단순화된 (즉, 번역된) 형태에서도, 그것의 기원과 순환은 단순히 어떤 실무적인 맥락에서 너무 멀리 떨어져 있기 때문에, 그것은 실무자들을 "흥분시킬" 것 같지 않다.

Depending on the discipline, good “T”heory offers predictive accuracy and/or conceptual elegance. As a product of disciplinarity, however, “T”heory is not especially useable in practice and tends to be difficult for outsiders to access. Even in simplified (i.e., translated) form, it is unlikely to “hook” practitioners—its origins and circulation are simply too far removed from any practical context.


한 분야에서 '용도'에 관한 고려사항은 방법론적 근거 또는 개념적 정교함에 대한 학문적 정통성과 동등한 지위footing를 갖는다. 이것은 방법론의 중요성을 과소평가하기 위한 것이 아니라, 엄격한 지식 생산에 대한 소위 gold standard의 적용이 그 지식의 실용적 효용을 보장하거나 실무자들이 그것을 받아들이도록 설득하는 것이 아니라는 것을 인식하기 위한 것이다.

방법의 일관성 있는 구현은 중요하고,

체계성과 명시성도 중요하고,

클레임을 제기하기 위한 절차와 사고 과정에 대한 비판적인 정밀 조사도 중요하다.

In a field, considerations of use have (at least) equal footing with disciplinary orthodoxies regarding methodological grounding or conceptual sophistication. This is not to undercut the importance of methodology, but rather to recognize that the application of a so-called gold standard for rigorous knowledge production is not what will ensure the practical utility of that knowledge or convince practitioners to take it up.4

considered and consistent implementation of methods matters, 

systematicity and explicitness matter, 

critical scrutiny of procedures and thought processes that go into making a claim matters–



3 이 용어를 사용함에 있어서, 부르디유가 상세히 기술한 「필드」의 건설을 발동하는 것은 우리의 의도가 아니다. 부르디유의 '필드' 건설이 우리의 사례를 어느 정도 정교하게(또는 훼손)할 것인가를 탐구하는 것이 흥미로울 수도 있겠지만, 본 기사의 맥락에서 우리는 '특정 활동이나 관심의 영역'이라는 사전 정의를 빌려서 '필드'를 덜 기술적인 방법으로 사용하고 있다.

3 In using this term, it is not our intent to invoke the construct of “field” as elaborated by Bourdieu. Although it may be interesting to explore the extent to which Bourdieu’s construction of “field” would elaborate (or undermine) our case, in the context of this article, we are using “field” in a less technical way, borrowing the dictionary definition of “a particular sphere of activity or interest.”


4 실제로 방법론적 순수의 계층구조 의존은 실제로 실무에 대한 우리의 이해를 왜곡할 수 있다. RCT가 제공하는 좁게 초점을 맞춘 정보가 그림의 일부만을 제공한다는 것을 인식하지 못하고, 그 이후에 부분적인 이해에 따라 행동할 때, 우리는 복잡한 실무 체계를 혼란스럽게 할 수 있다.얼음, 새로운 문제 발생13

4 Indeed, a reliance on hierarchies of methodological purity may actually distort our understanding of practice—when we fail to recognize that the narrowly focused information supplied by an RCT provides only part of the picture and when we subsequently act on that partial understanding, we may upset and send into disarray a complex system of practice, creating new problems.13


따라서, 우리는 한 분야에서 이론의 가치는 [다양하고 복잡한 실제 상황에서 다양한 이해관계자들이 얼마나 잘 이해하고 행동할 수 있도록 하는가]에 의해 가장 먼저 결정되어야 한다고 주장할 수 있다.

We might posit, therefore, that in a field, considerations of use require that a theory’s value be determined first and foremost by how well it allows various stakeholders to understand and act in varied and complex practical situations.


파스퇴르의 사분면에 대한 연구는 베레이터38이 "개념적 인공물"이라고 부르는 것을 발굴하려고 할 것이다. 즉, 실무에 내재되어 있는 지식과 신념을 고찰하고 개선할 수 있는 '논의해볼만한 아이디어'으로 바꾸려고 할 것이다. 그것은 어떻게 '개념적 인공물'이 (우리의 교육적 실무 뒤에서) 목표의 달성을 지지하거나 방해하는지를 이해하기 위해 우리가 개념적 인공물을 비판적으로 생각해보게끔 해줄 것이다.

Research in Pasteur’s quadrant would seek to excavate what Bereiter38 called “conceptual artifacts.” That is, it would seek to turn the knowledge and beliefs that are embedded in practices into “discussable ideas” that can be examined and improved upon. It would allow us to critically consider conceptual artifacts in order to understand how they support and hinder accomplishment of the goals behind our educational practices.


여기서 핵심은 work의 invitational nature이다. 실무적 문제를 이론화하여 평가함에 있어서, 주어진 맥락 안에서 해결책을 개발하는 데 유용하고 유용한 방법들에 대한 통찰력을 공유하고, 대응할 수 있는 연습의 여지가 있다. 개념적 인공물을 발굴하여 비판적 분석에 노출시키는 과정은 이러한 개념적 인공물(이론/이해)를 고도화 시킬 수 있으며, 그 과정에서 이러한 인공물에 의존하는 실무(용도)를 진전시킬 수 있다.

Key here is the invitational nature of the work; in assessing the theorizing of a practical problem, there is room for practice to respond, to share insights into the ways in which it is and is not useful in developing a solution within a given context. The process of excavating conceptual artifacts and exposing them to critical analysis can advance the sophistication of these conceptual artifacts (understanding) and, in the process, advance the practices that rely on these artifacts (use).


함의: HPE가 분야였라면

Implications: If HPE were a field


한 분야의 중심적 이해는 [실무적 관련성]의 문제가 [지식 생산의 과정]과 불가분의 관계에 있다. 따라서 한 분야의 지식의 효과적인 생산은 자사노프의 공동 제작 개념을 통해 더욱 정교해질 수 있다. 공동제작이란 "사회와 과학 양쪽의 구성 요소들에 대한 대칭적 조사"를 허용하는 해석적 틀로 묘사했다.

Because the central understanding in a field is that questions of practical relevance are inextricably bound up with processes of knowledge production, effective production of knowledge in a field can be helpfully elaborated through Jasanoff’s39(p19) concept of coproduction, which she described as an interpretive framework that allows for “symmetrical probing of the constitutive elements of both society and science.”


학계와 실무자들 사이의 차이를 제거하려고 하지 말고, 이러한 차이를 인식하는 것이 여전히 중요하다. 오히려, 이러한 구별을 본질적으로 하는 것을 피해야 한다. Wehrens 40(p547)이 지적했듯이, 학계와 실무자들의 세계를 정적이고 일반화할 수 있는 것으로 취급하게 되면, "영역간의 이질성과 도메인 내의 동질성을 모두 지나치게 강조한다."

It is not that a field attempts to elide differences between academics and practitioners—recognizing these differences remains important. Rather, an effective field would avoid essentializing these distinctions. As Wehrens 40(p547) pointed out, treating the differences between the worlds of academics and practitioners as static and generalizable “overemphasizes both the heterogeneity between domains and the homogeneity within the domains.”


이와는 대조적으로, 다양한 이해관계자 집단을 [서로 다르지만 본질적으로 분리할 수 없는 것]으로 접근한다면, 학자들과 실무자들이 서로 무관해보였던, 전혀 예상하지 못했던 보어와 에디슨의 사분면으로부터, 파스퇴르의 사분면으로 서로를 끌어낼 수 있는 기회를 만든다. 

In contrast, approaching the various stakeholder groups as different but intrinsically inseparable creates opportunities for academics and practitioners to draw each other out of the irrespective, uni-perspectival quadrants of Bohr and Edison into Pasteur’s quadrant. 


많은 교육 영역에서, 연구에 종사하는 사람들은 학자 그 자신이 스스로를 "교육disciplined"했고, 그렇게 함으로써, 다양한 분야에서, 실무자들로부터 멀어지게 되었다.

In many educational domains, those engaged in research have “disciplined” themselves and, in doing so, have, to varying extents, withdrawn from engaging with practitioners and into the academy.


흥미로운 점은, HPE가 이러한 종류의 [두 공동체 모델]에 적합하지 않다는 것이다. 학술지든, 컨퍼런스든, 실무자들과 학술훈련을 받은 연구자들은 모두 여기에 의미 있는 수준으로 참여하고 있다. 더욱이, 그것은 학술 및 실무공동체에서 인정받을 수 있는 역할을 담당하고 있는 수많은 "경계를 넘나드는 사람"들(예: 교육에 초점을 맞춘 임상의 과학자와 의과대학의 교육실무 지원에 공식적인 역할을 하는 박사-교육자)들 사이에서 중요하다.

Of interest, HPE has not settled into this kind of two-communities model. There seems to be a greater degree of meaningful engagement by practitioners and discipline-trained researchers in the same journals and at the same conferences. Moreover, it counts among its members numerous “boundary spanners”41,42 who occupy roles that would be recognized by both disciplinary and practice communities (e.g., clinician-scientists whose research focuses on education, and Ph.D.-educators who play formal roles in supporting the educational practices of the medical school).


이러한 과정이 HPE 커뮤니티에서 이미 일반적이라고 가정할 만한 충분한 이유가 있다. 

  • 의사-의사가 담당하는 여러 역할, 

  • HPE 연구에 대한 실무자들의 광범위한 참여, 

  • 의료진 내 HPE 연구단위의 특이한 기관 위치 및 

  • 점점 더 다양해지는 구성원(멤버십)

  • 지식 생산 공동체로서는 상대적으로 신생분야인 HPE

There is good reason to suppose that such processes are already common in the HPE community, as suggested by the multiple roles physician-educators occupy, the extensive participation of practitioners in HPE research, the unusual institutional location of HPE research units within faculties of medicine, and HPE’s relative newness as a knowledge producing community, as well as its increasingly eclectic membership.


분명히, 파스퇴르의 사분면에서 추구된 use-inspired basic research를 수행하게 된다면, 학술적훈련을 받은 연구자들과 실무자들은 서로 협력하게 될 것이다. 그러나 그것은 우리가 찾아야 할 성공적인 협업을 보장하기 위한 처방전이 아니다. Wehrens40(p550)은 다음과 같이 표현한다: "합리적으로, 공동 제작 관점을 통해 행위자들이 협력적 형식 내에서 보다 유연하고 자의적인 방식으로 운영될 수 있으며, 때로는 조정과 경계의 연화를 강조하기도 하며, 그 밖의 지점에서는 경계를 유지하거나 강화할 수 있다."

Clearly, the enactment of use-inspired basic research pursued in Pasteur’s quadrant will involve collaboration between discipline-trained researchers and practitioners. But it is not so much a set of prescriptions for ensuring successful collaboration that we should be looking for. Wehrens40(p550) put it this way: “The co-production perspective, in sum, enables actors to operate in a more flexible and self-conscious way within collaborative formats, sometimes emphasizing coordination and softening boundaries, and at other points maintaining or strengthening boundaries.”


한 분야에서 연구와 실무 사이의 관계를 규정하는 것은 [사전에 정해진 경계]가 아니라, [맥락적으로 협상된 유연하고 자의적인 협력]이다.

It is precisely this flexible, self-conscious collaboration, with contextually negotiated rather than predetermined boundaries, that will define the relationship between research and practice in a field.


중요한 것은, 협업이 학문적 특권으로도, 실무적 특권으로도 이어져서는 안 된다는 것이다. 어느 그룹도 자신만 편안한 조건terms을 정할 수 없으며, 두 그룹 모두 양보를 할 준비가 되어 있어야 한다. 다시 말하지만, 그러한 양보의 잠재적 범위를 과소평가해서는 안 된다. 한 분야에서 이루어지는 협력의 종류는 부분적으로 긴장을 수반하고 있다. 왜냐하면 그것은 학자들과 실무자들 모두가 그들이 소중히 여기는 가치와 가정을 스스로 정의해야 하기 때문이다.

Important to note, the collaboration cannot proceed with the privileging of either academic or practical expertise—neither group can set such comfortable terms for itself, and both must be prepared to make concessions. Again, the potential extent of those concessions must not be underestimated. The kind of collaboration that takes place in a field is tension ridden partly because it requires both academics and practitioners to yield values and assumptions they hold dear, even self-defining.


  • 한 분야에서 이론의 형태로 갖춰진 이해는 반드시 용도가 있어야 한다useable. 이것은 [이론이 항상 그리고 정확하게 학문의 방법론적 기준에 부합하지는 않는다는 것]을 의미한다. 

  • 반대로, 실무자들에게 유용한 지식이 반드시 준비된 해결책과 빠른 대답의 형태를 취하지는 않을 것이며, 단지 내부자의 시각에만 의존하거나 "참호로부터" 경험에 특권을 부여해서는 안 될 것이다.

  • Understanding, in the form of theory, must be useable in a field, and that requirement means theory will not always and exactly fall in line with academics’ methodological (or other, more tacit) standards for scholarship. 

  • Conversely, knowledge useful to practitioners will not necessarily take the form of ready solutions and quick answers, nor can it rely merely on insider perspectives or privilege the experiences “from the trenches.”


게다가, 두 집단 모두 경계를 넘나들어야 하며, "보호주의" 경향을 피해야 한다. 다른 사람의 전문 분야에서 어느 정도 숙련도를 배양하는 것은 자신을 위한 전문지식을 주장할 필요 없이 그 전문가 관점을 공감적으로 이해할 수 있게 할 수 있다.

Moreover, both groups must eschew “protectionist” tendencies in favor of (respectful) boundary crossing. Cultivating some degree of proficiency in another’s area of expertise may enable a sympathetic understanding of that expert perspective without having to claim that expertise for oneself.


반대로 학술적 기준을 충족하지 못하거나, 충분한 실무경험을 가지고 있다는 이유로 자신의 전문분야에 대한 타인의 참여를 제한하거나 폄하하려는 충동은 그러한 공감적 이해를 위한 기회를 감소시킨다.

Conversely, the impulse to limit or disparage others’ participation in one’s own area of expertise on the grounds that they don’t meet disciplinary standards or have enough practical experience reduces opportunities for such sympathetic understanding


[문제의 공동구성]은 그 문제에 대한 다른 사람들의 관심을 어느 정도 상호인정함으로써 이뤄지지만, 모든 집단으로부터 동일한 공식화formulation를 요구하지는 않는다. 이러한 의미에서, 한 분야가 다루는 문제는 "boundary objects"라고 부르는 것과 거의 같은 방식으로 작용하게 될 것이다.

The co-construction of a problem is supported by a certain mutual appreciation of others’ interest in it, but it does not call for an identical formulation from all groups. In this sense, the problems with which a field deals will act in much the same way as what Star and Griesemer43(p393) termed “boundary objects”:


Boundary objects는 [국지적 필요와 이를 사용하는 여러 당사자의 제약조건에 적응할 수 있을 만큼 유연]하지만, [현장 전체에 걸쳐 공통된 정체성을 유지할 수 있을 정도로 견고한] 물체다. 그것들은 공통된 용도를 위하여 약하게 구조화되었지만, 개별 현장에서 사용될 때에는 강하게 구조화된다. 이러한 물체는 추상적일 수도, 구체적일 수도 있다. 그들은 서로 다른 사회세계마다 서로 다른 의미를 가지고 있지만, 그들의 구조는 그들을 알아볼 수 있도록, 번역의 수단인, 두 개 이상의 세계에게 충분히 공통적이다.

Boundary objects are objects which are both plastic enough to adapt to local needs and the constraints of the several parties employing them, yet robust enough to maintain a common identity across sites. They are weakly structured in common use, and become strongly structured in individual-site use. These objects may be abstract or concrete. They have different meanings in different social worlds but their structure is common enough to more than one world to make them recognizable, a means of translation.


마지막

Final thoughts


HPE가 한 분야로서 지위를 획들하려면, 이론적, 실제적 이해관계에 동일한 가중치를 부여함으로써 내포된 불가피한 긴장을 생산적으로 수용하고 이용해야 할 것이다. 스토크스의 모델은 use-inspired basic research가 생산되어야 하는 경제적, 정치적, 사회문화적 조건에 대해 말하지 않는다. 따라서, 많은 다른 측면들 중에서, 프로젝트 자금, 기관 고용 및 촉진 정책, 보급 창구를 포함하여, 지식 생산 분야의 물질과 조직 요건에 대해서는 여전히 알아야 할 것들이 많다.

If HPE is to embrace the status of a field, it will have to embrace and harness productively the inevitable tensions implied by granting equal weight to theoretical and practical interests. Stokes’s model does not speak to the economic, political, and sociocultural conditions under which use-inspired basic research is to be produced. Hence, there is much to be learned about the material and organizational requirements of a knowledge-producing field, including, among many other aspects, project funding,5 institutional employment and promotion policies, and dissemination channels.


또한, 긴장 상태에서 생산적으로 작동하는 것이 어려운 만큼, 그 긴장 상태를 유지하는 것도 어렵다

  • 한 분야의 구성원은 낡은 습관에 이끌려, 같은 생각을 가진 다른 사람들을 찾고, 징계나 실천 공동체를 모방한 하위 분야로 수렴하여 새로운 내부 경계를 확립할 수 있다. 

  • 반대로, 구성원들이 서로를 너무 잘 알게 되면, 서로의 관점을 효과적으로 '식민지화'하고 분야의 활력을 떨어뜨릴 수도 있다.

Moreover, if operating productively in tension is challenging, so is maintaining that tension. 

  • A field’s members can be drawn into old habits, seeking like-minded others and converging into subfields that mimic disciplinary or practice communities and establish new internal boundaries. 

  • Alternately, members might get to know each other too well, effectively “colonizing” each others’ perspectives and reducing the vitality of the field.


후자는 먼 위협처럼 보일 수도 있다. 인정하건대, 화해할 수 없는 상황에서 긴장이 무너질 가능성이 더 높을 수도 있다. 그러나 그것을 수정하지 않고 차이를 유지하는 것은 한 분야의 사인 qua non이며 우리가 파스퇴르의 사분면에서 우리 자신을 발견할 수 있는 유일한 방법이다.

The latter may seem a distant threat—admittedly, tensions may be more likely to collapse in the face of irreconcilability—but maintaining difference without reifying it is the sine qua non of a field and the only way we will find ourselves in Pasteur’s quadrant.



34. Yardley S. Lost in translation: Why medical education research must embrace “real-world” complexities. Medical Education 2014;48(3):225–7.





. Jul-Sep 2018;30(3):337-344.
 doi: 10.1080/10401334.2017.1392864. Epub 2017 Dec 14.

HPE as a Field: Implications for the Production of Compelling Knowledge

Affiliations 

Affiliation

  • 1a Centre for Health Education Scholarship, University of British Columbia , Vancouver , British Columbia , Canada.

Abstract

Issue: Research in education, including health professions education, has long struggled with the competing concerns of academic and practice-based stakeholders. Inspired partially by the work of Stokes and other theorists in science and technology studies, we propose that discussions about compelling research in health professions education might be usefully advanced by considering what it would mean if the community framed itself as a knowledge-producing field instead of aligning itself with either disciplinary or practical interests.

Evidence: Efforts to foreground disciplinary or practical interests in education research have been unproductive, leading to the privileging of one group's expertise at the expense of the other. Currently proposed principles and practices for responding to the divergence between these interests, such as knowledge translation or practitioner inquiry, have yielded comparatively little in the way of mutual satisfaction.

Implications: As a field, health professions education research would not privilege either disciplinary or practical interests, nor would it attempt any sort of definitive blueprint for resolution to the tension. Rather it would regard these interests as inherently interconnected and, therefore, always in tension to varying degrees. The challenge for a field is not to resolve that tension but to harness it in productive ways through collaboration, negotiation, and compromise, through ever-shifting engagements that will not necessarily be comfortable but will nonetheless foster knowledge that resonates with all parts of the community.

Keywords: Pasteur's quadrant; disciplinarity; educational practice; knowledge production; research and practice relationships.


혼합연구에 대한 개괄(Journal of Research in Nursing, 2009)

An overview of mixed methods research

Louise Doyle Lecturer School of Nursing & Midwifery Studies, Trinity College Dublin, 24 D’Olier St, Dublin 2, Ireland

Anne-Marie Brady Lecturer School of Nursing & Midwifery Studies, Trinity College Dublin, 24 D’Olier St, Dublin 2, Ireland 

Gobnait Byrne Lecturer School of Nursing & Midwifery Studies, Trinity College Dublin, 24 D’Olier St, Dublin 2, Ireland




도입

Introduction


이 방법을 사용하는 의료 연구자가 증가하면서 최근 들어 혼합 방법 연구가 건강관리 연구의 지배적인 패러다임으로 떠오르고 있다.

Mixed methods research is emerging as a dominant paradigm in health care research in recent years with an increase in health care researchers using this method.


따라서 보건 서비스 연구자들이 그들의 연구에서 혼합 방법 설계를 사용하는 것의 이점을 점점 더 확인하고 있는 것은 분명하다. 이것은 비교적 새로운 분야인 만큼, 혼합 방법 연구가 정확히 무엇이며, 의료 분야에서 연구자와 자금 제공자에게 어떤 이득이 되는지에 대한 논쟁과 혼란이 지속되고 있다.

It is clear therefore that health service researchers are increasingly identifying the benefits of using a mixed methods design in their research studies. As this is a relatively new area, debate and confusion persist as to what exactly constitutes mixed methods research and what are the benefits to researchers and funders in health care.


혼합 방법 설계의 정의

Definition of mixed methods design


혼합방법은 '조사자가 단일 연구에서 질적·정량적 접근법이나 방법을 사용하여 데이터를 수집하고 분석하며, 조사 결과를 통합하고, 추론을 도출하는 연구'로 정의할 수 있다(타샤끄코리와 크레스웰, 2007:4)

Mixed methods may be defined as ‘research in which the investigator collects and analyses data, integrates the findings and draws inferences using both qualitative and quantitative approaches or methods in a single study’ (Tashakkori and Creswell, 2007:4).


혼합 방법 연구는 질적 차원 및 양적 차원을 포함하는 연구지만, 연구자가 두 요소가 서로 어떻게 관련되는지 명확히 설명하려고 시도할 때 종종 어려움이 발생한다(Tashakkori와 Creswell, 2007). 무엇이 혼합 방법 연구를 구성하는지에 대한 연구자들 사이에 불일치가 있다(산델로프스키, 2001; 브라이먼, 2007; 타샤코리와 크레스웰, 2007). 일부 해석에서는 혼합된 방법을 양적 및 질적 데이터의 수집 및 분석으로 본다. 이 분야의 더 많은 현대 저술들은 두 접근방식의 완전한 통합의 중요성에 대한 이해를 발전시키기 위해 노력했다(Hanson, et al., 2005; Bryman, 2007; Creswell and Plano Clark, 2007).

A mixed methods study is one that includes a qualitative and quantitative dimension, but difficulties often arise when the researcher attempts to articulate how the two elements relate to one another (Tashakkori and Creswell, 2007). There is an inconsistency among researchers about what constitutes mixed methods research (Sandelowski, 2001; Bryman, 2007; Tashakkori and Creswell, 2007). Some interpretations view mixed methods as the collection and analysis of quantitative and qualitative data. More contemporary writings in this area had sought to develop an understanding of the importance of complete integration of the two approaches (Hanson, et al., 2005; Bryman, 2007; Creswell and Plano Clark, 2007).


존슨씨 외. (2007)은 이 연구 접근법이 계속 성장함에 따라 혼합 방법 연구의 정의가 시간이 지남에 따라 변화할 것이라고 제안한다.

Johnson, et al. (2007) suggest that the definition of mixed methods research will change over time as this research approach continues to grow.


패러다임 논쟁과 혼합 방법 연구

Paradigm debate and mixed methods research


연구자들은 (자신이 선택한) 패러다임 내에 연구를 locate할 것을 요구받는다. 모건(2007년: 47년)은 패러다임을 '현장을 인도하는 신념과 실천의 집합'으로 정의하며, 패러다임은 연구자의 신념을 요약하는 데 활용할 수 있다.

Researchers are urged to locate their research in a selected paradigm. Morgan (2007: 47) defines a paradigm as ‘the set of beliefs and practices that guide a field,’ and it can be used to summarise the beliefs of researchers.


무헌에서 세계관, 이론적 렌즈, 패러다임은 모두 상호 교환적으로 사용되는 용어들이다. 패러다임은 다음과 같이 구별되는 여러 요소에 의해 정의되는 세계관이다(Hanson, et al., 2005). 

  • 인식론(우리가 알고 있는 것을 어떻게 알 수 있는가) 

  • 온톨로지(실제의 특성), 

  • 가치론(가치) 및 

  • 방법론(연구 과정) (Hanson, et al., 2005).

The world view, theoretical lens and paradigm are all terms used interchangeably in the literature. Paradigm is a world view that is defined by distinct elements including 

  • epistemology (how we know what we know), 

  • ontology (nature of reality), 

  • axiology (values) and 

  • methodology (the process of research) (Hanson, et al., 2005). 


즉 패러다임의 차이는 우리가 (무엇인가를) 어떻게 알게 되는지, 현실에 대한 우리의 해석은 어떠한지, 연구에서의 가치와 방법론에 영향을 미친다.

In other words, paradigm differences influence how we know, our interpretation of reality and our values and methodology in research.


패러다임은 연구자들이 제기할 질문과 그 질문에 대답하기 위해 사용하는 방법에 영향을 미칠 것이다(Morgan, 2007). 연구자의 세계관은 그들이 서로 정렬하는 실증주의(양적) 패러다임이나 자연주의 또는 구성주의(질적) 전통에 의해 크게 영향을 받는다. 전통주의자들은 이러한 패러다임이 다르며 두 패러다임의 결합은 불가능하다고 주장할 것이다(샌델로프스키, 2001). 이 두 가지 연구 패러다임이 양립할 수 없는 것은 [양쪽 전통의 온톨로지적 자세와 인식론적 자세를 결합할 수 없기 때문이라는 가정]이 있다(구바와 링컨, 1988)

Paradigm will influence the questions that researchers will pose and the methods they employ to answer them (Morgan, 2007). The world view of the researcher is greatly influenced by the positivist (quantitative) paradigm or naturalistic or constructivist (qualitative) tradition to which they align themselves. Traditionalists would argue that these paradigms are different and a combination of the two is not possible (Sandelowski, 2001). There is an assumption that the research paradigms are not compatible because it is not possible to combine the ontological and epistemological stances of both traditions (Guba and Lincoln, 1988).


전통적으로, 연구자들은 [양적 방법과 관련된 실증주의적 과학적 연구 모델]과 [질적 방법과 관련된 해석적 모델] 사이에서 강제적인 선택을 해왔다(Howe, 1985) 역사적으로 보건의료연구에서의 접근법은 거의 전적으로 연구자가 객관적이고 편견이 없는 필요성을 전제로 한 양적 또는 실증주의적 전통을 따르고 있었으며, 많은 사람들에게 그것이 '표준gold standard'으로 간주된다

Traditionally, researchers have made a forced choice between the positivist scientific model of research associated with quantitative methods and the interpretative model associated with qualitative ones (Howe, 1985). Historically, the approach in health care research was nearly exclusively of the quantitative or positivist tradition which was predicated on the necessity for the researcher to be objective and unbiased, and for many, it is considered to be the ‘gold standard.’ 


실증주의는 하나의 현실이 존재하므로 객관적인 측정과 정량적 분석을 통해 인과관계를 규명하고자 한다고 주장한다(Firestone, 1987). 실증주의적 패러다임에서 연구자는 신중하게 구성된 가설을 시험하기 위해 더 큰 표본을 사용하여 독립적이고 객관적인 것으로 간주된다. 실증주의 전통에서의 지배적인 견해wisdom은 연구자가 탐구 과정에서 편견을 피하기 위해 (본인의) 가치를 제쳐둘 수 있다는 것이다.

Positivism contends that there is a single reality and therefore seeks to identify causal relationships through objective measurement and quantitative analysis (Firestone, 1987). In the positivist paradigm, the researcher is considered independent and objective using larger samples to test carefully constructed hypothesis. The prevailing wisdom is that the researcher in the positivist tradition can put aside values to avoid bias in a process of inquiry.


연구자들이 인간 경험의 맥락을 조사하려고 하면서 실증주의적 형태의 조사의 대안으로 구성주의 또는 질적 연구가 등장했다(Schwandt, 2000). 질적 패러다임은 최근 몇 년 동안 더 큰 관심을 받고 있으며, 때로는 자연주의적 탐구, 후-긍정적, 구성주의적 또는 해석적 접근법으로 설명되기도 한다(Creswell, 1994). 구성주의는 (어떤 연구에서든) 다양한 현실과 다른 해석이 나올 수 있다고 제안한다(Appleton and King, 2002).

Constructivism or qualitative research emerged as an alternative to the positivist form of inquiry as researchers sought to examine the context of human experience (Schwandt, 2000). The qualitative paradigm is receiving greater attention in recent years and is sometimes described as the naturalistic inquiry, post-positive, constructivist or interpretative approaches (Creswell, 1994). Constructivism proposes that there are multiple realities and different interpretations may result from any research endeavour (Appleton and King, 2002).


구성주의적 패러다임을 가진 연구자들은 타인의 경험에 대한 상세한 설명 과정을 통해 타인의 현실을 조명하고자 한다(Appleton and King, 2002). 해석적 패러다임에서, 연구자는 더 작은 표본에서 무슨 일이 일어나고 있는지 더 깊이 이해하는데 초점을 두고 주관적이다.

Researchers who work within the constructivist paradigm seek to illuminate the reality of others through the process of detailed descriptions of their experiences (Appleton and King, 2002). In the interpretative paradigm, the researcher is subjective with the focus directed at deeper understanding of what is happening with a smaller sample.


연구자가 연구에 몰두하는 구성주의적 패러다임에서와 달리, 실증주의적 관점에서 연구자는 연구 성과는 분리되어detached 있기에 연구자의 가치에 의해 편향되지 않는다는 것이다(Firestone, 1987년). 이것이 의미하는 바는 논리적 실증주의가 객관적이고 반면에 자연주의적인 조사는 주관적이라는 것이다. 하지만 Howe(1985)는 어떤 연구도 가치 판단에서 자유롭지 못하며 '가치를 가둬두려는bracket 시도'(p. 12)는 더 음흉한 편견을 낳을 뿐이라고 강하게 주장한다.

The positivist viewpoint is that the research outcomes are not biased by the values of the detached positivist researcher unlike in the constructivist paradigm where the researcher is immersed in the research (Firestone, 1987). The assumption is that logical positivism is objective, whereas the naturalistic inquiry is subjective. Howe (1985) argues strongly that no research endeavour is free from value judgments and an ‘attempt to bracket values’ (p. 12) only produces more insidious bias.


질적 연구와 양적 연구가 차별화될 수 있는 주요 방법 중 하나는 귀납과 연역의 구별이다(Morgan, 2007). 양적 연구의 단순화된 견해는 객관적인 추론 과정인 반면에 질적 과정은 주관적이고 맥락으로만 볼 수 있는 연역적 과정이라는 것이다(Morgan, 2007).

One of the key ways that qualitative and quantitative research may be differentiated is the distinction between induction and deduction (Morgan, 2007). The simplistic view of quantitative research is that it is an objective process of deduction whereas the qualitative process is subjective and a process of induction that can only be viewed in context (Morgan, 2007).


그것을 묘사할 때 사용되는 혼합된 방법과 언어의 분야는 비교적 새로운 것이다.

The field of mixed methods and language used to describe it is relatively new.


양적 대 질적 논쟁은 두 접근법이 상호 배타적이라는 착각을 낳았다(샌델로스키, 2001). 연습 훈련은 때때로 지나치게 '방법론적 곡예'에 관심을 갖는다(산델로프스키, 2001: 335). 일부 연구자들은 패러다임 간의 경쟁이 도움이 되지 않는다고 믿고 있으며, 전통적인 경쟁 관계가 유용하게 결합될 수 있는 방법에 초점을 맞추고 있다(Sale, et al., 2002; Stevenson, 2005). 혼합방법은 정량적 위치와 질적 위치 사이의 격차를 해소할 수 있는 제3의 패러다임이 될 수 있다고 제안된다(Johnson과 Onwuegbuzie, 2004).

Quantitative versus qualitative debates have resulted in an illusion that the two approaches are mutually exclusive (Sandelowski, 2001). The practice disciplines are sometimes overly concerned with ‘methodological acrobatics’ (Sandelowski, 2001: 335). Some researchers believe that competition between paradigms is not helpful, and focus on ways in which traditional rivalries may be usefully combined (Sale, et al., 2002; Stevenson, 2005). It is proposed that mixed methods may be the third paradigm, capable of bridging the gap between the quantitative and qualitative positions (Johnson and Onwuegbuzie, 2004).


혼합 방법 연구는 연구 과정 전반에 걸쳐 질적 접근과 질적 접근의 혼합을 가능하게 하는 철학적 가정에 의해 유도된다(Hanson, et al., 2005). 실용주의 철학은 그 결과들이 과정보다 더 중요하며 따라서 '끝이 수단을 정당화한다'는 개념을 발전시켰다. 실용주의 철학은 연구자들이 연구 질문에 대답하기 위해 어떤 것이 작용하는지 자유롭게 결정할 수 있도록 '절충주의'와 '연구 방법과 개념 선택에 대한 필요 기반 또는 우발적 접근'을 옹호한다(Johnson and Onwuegbuzie, 2004: 17).

Mixed methods research is guided by philosophical assumptions that enable the mixing of qualitative and qualitative approaches throughout the research process (Hanson, et al., 2005). The philosophy of pragmatism advanced the notion that the consequences are more important than the process and therefore that ‘the end justifies the means’. It advocates eclecticism and ‘a needs-based or contingency approach to research method and concept selection’ (Johnson and Onwuegbuzie, 2004: 17), so that researchers are free to determine what works to answer the research questions.


연구에 대한 실용적인 접근법에서는 탐구 과정에서 귀납과 연역 사이를 왔다 갔다 할 수 있는 abduction 과정이 권장된다(Morgan, 2007).

The pragmatic approach to research: a process of abduction is recommended which enables one to move back and forth between induction and deduction through a process of inquiry (Morgan, 2007).


존슨과 Onwuegbuzie(2004)는 혼합 방법 연구 분야가 양적 대 질적 논쟁을 넘어설 것이라는 포부를 공유하고 있다. 그 대신, 앞으로는 두 패러다임의 유용성을 인식하고 이러한 접근방식이 서로의 장점을 극대화하고 약점을 최소화하기 위해 한 연구에서 함께 사용될 수 있는 방법을 확인하는 데 초점을 맞출 것이라고 본다. 그들은 더 나아가 non-purist 입장을 취하여, 연구자들이 그들의 특정한 연구 질문에 대답할 수 있는 가장 좋은 기회를 제공할 수 있는 방법을 결합하여 연구를 설계해야 한다고 주장한다.

Johnson and Onwuegbuzie (2004) share their aspirations that the field of mixed methods research will move beyond quantitative versus qualitative arguments and will instead focus on recognising the usefulness of both paradigms and identifying how these approaches can be used together in a single study to maximise the strengths and minimise the weaknesses of each other. They further contend that taking a non-purist position allows researchers to design research studies that combine methods that will offer the best chance of answering their specific research questions.


혼합 방법 연구의 근거

The rationale for mixed methods research


혼합 방법 연구 연구를 수행한 많은 이유가 확인되었다. 혼합 방법 연구를 수행하기 위해 제안된 주요 합리성 또는 편익은 다음과 같다.

Many reasons have been identified for conducting a mixed methods research study. The main rationales or benefits proposed for undertaking a mixed methods study are as follows:


삼각측량: 이것은 양적 데이터와 질적 데이터 사이의 확증을 추구함으로써 연구에서 더 큰 유효성을 허용한다.

  • Triangulation: this allows for greater validity in a study by seeking corroboration between quantitative and qualitative data.


완전성: 연구 접근법을 조합하여 사용하면 연구 현상에 대한 보다 완전하고 포괄적인 그림을 얻을 수 있다.

  • Completeness: using a combination of research approaches provides a more complete and comprehensive picture of the study phenomenon.


약점을 상쇄하고 더 강한 추론을 제공: 많은 저자들은 혼합된 방법 접근법을 사용하면 각 접근법의 한계를 무력화시킬 수 있으며, 강점이 구축되어 더 강하고 정확한 추론을 제공할 수 있다고 주장한다(Bryman, 2006; Creswell, et al., 2003).

  • Offsetting weaknesses and providing stronger inferences: many authors argue that utilising a mixed methods approach can allow for the limitations of each approach to be neutralised while strengths are built upon thereby providing stronger and more accurate inferences (Bryman, 2006; Creswell, et al., 2003).


다양한 연구 질문에 답변: 크레스웰과 플라노 클라크(2007)는 혼합 방법 연구가 정량적 또는 정성적 방법만으로 대답할 수 없는 연구 질문에 대답하는 데 도움이 되며 연구의 목적과 목적을 충족시키기 위한 더 큰 도구 레퍼토리를 제공한다고 주장한다. 게다가, 세일, 외. (2002) 현상의 복잡한 특성과 요구되는 관점의 범위 때문에 간호와 같은 분야에서 연구 접근법의 조합이 어떻게 유용한지를 확인한다.

  • Answering different research questions: Creswell and Plano Clark (2007) argue that mixed methods research helps answer the research questions that cannot be answered by quantitative or qualitative methods alone and provides a greater repertoire of tools to meet the aims and objectives of a study. Furthermore, Sale, et al. (2002) identify how a combination of research approaches is useful in areas such as nursing because of the complex nature of phenomena and the range of perspectives that are required.


결과의 설명: 혼합 방법 연구는 한 연구 접근법(즉, 양적 또는 질적)을 사용하여 다른 연구 접근법을 사용하여 연구에서 생성된 데이터를 설명할 수 있다. 이것은 예상치 못한 또는 특이한 발견이 나타날 때 특히 유용하다. 예를 들어, 정량적 조사의 결과는 조사 대상의 표본과 인터뷰를 수행하여 얻은 결과에 대한 이해를 얻음으로써 추적되고 설명될 수 있다.

  • Explanation of findings: mixed methods studies can use one research approach (i.e., quantitative or qualitative) to explain the data generated from a study using the other research approaches. This is particularly useful when unanticipated or unusual findings emerge. For example, findings from a quantitative survey can be followed up and explained by conducting interviews with a sample of those surveyed to gain an understanding of the findings obtained.


데이터의 예시: 정량적 발견을 설명하기 위해 정성적 연구 접근법을 사용하는 것은 조사 중인 현상에 대한 더 나은 그림을 그리는 데 도움이 될 수 있다. 브라이먼(2006)은 이것이 건조한 양적 데이터의 '뼈에 붙은 고기'를 넣는 것과 비슷하다고 주장한다.

  • Illustration of data: using a qualitative research approach to illustrate quantitative findings can help paint a better picture of the phenomenon under investigation. Bryman (2006) suggests that this is akin to putting ‘meat on the bones’ of dry quantitative data.


가설의 개발 및 시험: 후속 정량적 단계에서 시험할 가설을 개발하기 위해 연구의 질적 단계가 수행될 수 있다.

  • Hypotheses development and testing: a qualitative phase of a study may be undertaken to develop hypotheses to be tested in a follow-up quantitative phase.


도구 개발 및 시험: 정성적 연구는 연구의 정량적 단계에서 사용될 설문지에 포함하기 위한 항목을 생성할 수 있다.

  • Instrument development and testing: a qualitative study may generate items for inclusion in a questionnaire to be used in a quantitative phase of a study.


이러한 점들은 특정 연구 질문에 대답할 때 혼합된 방법 연구 접근법이 가질 수 있는 유용성을 식별한다. 그러나 혼합 방법 연구가 연구 펀딩 유치 측면에서 더 실질적인 이익을 얻을 수 있다는 점에 주목했다(Gidding, 2006).

These points identify the usefulness that a mixed methods research approach can have in answering a particular research question(s). However, it has been noted that mixed methods research may have more practical benefits in terms of attracting research funding (Giddings, 2006).


혼합방법의 유형론

Typology of mixed methods


타샤크코리와 테들리(2003년: 680년)는 typology의 결정은 "혼합된 방법론에서 가장 복잡하고 논란이 많은 문제들 중 하나"라고 말한다. 혼합 방법의 유형론을 갖는 주요 이점은 방법론에 관한 엄격한 전달, 혼합 방법 연구에 대한 지침 제공 및 언어 개발 지원이다(Bryman, 2006; Teddlie와 Tashakkorri, 2006). 

Tashakkori and Teddlie (2003: 680) state that the determination of a typology is “among the most complex and controversial issues in mixed methodology.” The main advantages of having a typology of mixed methods include 

  • the conveying rigor regarding the methodology, 

  • providing guidance and 

  • assisting in the development of language for mixed methods research (Bryman, 2006; Teddlie and Tashakkorri, 2006). 


본 논문에서는 크레스웰과 플라노 클라크(2007)와 리치, 온웨그부지(2007)가 개발한 최근 분류 체계 2가지가 윤곽을 드러낼 예정이다.

In this paper, two recent classification systems developed by Creswell and Plano Clark (2007) and Leech and Onwuegbuzie (2007) will be outlined.


방법론을 결정할 때 첫 번째 질문은 [연구 질문에 가장 적합한 접근법]을 확인하는 것이다. 이는 모든 연구자가 해결해야 할 근본적인 문제로서 크레스웰과 플라노 클라크(2007)는 연구를 수행하기 위한 혼합 방법 접근법의 선택을 정당화하는 것이 중요하다고 강조해 왔다.

The first question when deciding on methodology is to ascertain which approach will best suit the research question. This is a fundamental issue that all researchers need to address, and Creswell and Plano Clark (2007) have stressed the importance of justifying the selection of a mixed methods approach to conduct research.


크레스웰과 플라노 클라크(2007)는 특정한 유형의 혼합 방법 설계를 선택하기 전에 내려야 할 세 가지 주요 결정이 있다고 제안하고, 그림 1은 고려해야 할 주요 이슈를 식별하는 의사결정 트리를 요약한다.

Creswell and Plano Clarke (2007) suggest that there are three major decisions to make before selecting a particular type of mixed methods design, and Figure 1 outlines a decision tree that identifies the main issues that need to be considered.



  • 첫 번째 결정은 질적 단계와 양적 단계를 동시에 또는 순차적으로 수행하는 것에 관한 것이다. 

  • 두 방법 모두 동등한 우선순위를 부여받는지 결정하는 것도 중요한 결정이다. 

  • 세 번째 쟁점은 질적 방법과 양적 방법의 혼합이 어디에서 일어날 것인지를 확인하는 것이다.

  • The first decision to be made is regarding conducting the qualitative and quantitative stages concurrently or sequentially. 

  • Deciding whether both the methods are given equal priority is another key decision. 

  • The third issue is to ascertain where the mixing of the qualitative and quantitative methods will occur.


크레스웰과 플라노 클라크(2007)는 기능적이고 편협한 것으로 묘사하고 4가지 주요 유형의 혼합 방법 연구를 식별하는 혼합 방법 설계의 유형학을 개발했다(그림 2).

Creswell and Plano Clark (2007) have developed a typology of mixed methods designs, which they describe as being functional and parsimonious, and which identifies four main types of mixed methods research (Figure 2).



삼각측량 설계는 가장 보편적이고 잘 알려진 설계로, 이것은 이전에는 동시 삼각측량 설계로 알려져 있었다(Creswell, et al., 2003). 정량적 단계와 질적 단계는 동시에 발생하며, 두 방법 모두 대개 동일한 가중치를 부여한다.

The triangulation design is the most common and well-known design, and this was previously known as the concurrent triangulation design (Creswell, et al., 2003). The quantitative and qualitative phases occur at the same time, and both the methods are usually given equal weighting.


삼각측량 설계의 전통적인 모델은 해석 단계에서 통합이 일어나는 수렴 모델이다.

The traditional model of triangulation mixed methods design is the convergence model where integration occurs during the interpretation phase.


데이터 변환 모델 내에서 정량적 데이터와 정성적 데이터를 동시에 수집하고, 초기 분석 후에는 정성적 데이터를 정량화하거나 정량적 결과를 선별하여 데이터를 변환한다.

Within the data transformation model, the quantitative and qualitative data are collected concurrently, and after the initial analysis, the data are transformed either by quantifying qualitative data or by qualifying quantitative results.


Creswell과 Plano Clark(2007)는 측량 기구에 대한 개방된 질적 질문의 사용을 검증된 정량적 데이터 삼각형 혼합 방법 설계로 설명한다.

Creswell and Plano Clark (2007) describe the use of open-ended qualitative questions on a survey instrument as a validated quantitative data triangulation mixed methods design.


삼각측량 설계의 다단계 연구 모델 변동은 연구의 초점이 시스템에 맞춰져 있고 다른 수준을 다루기 위해 다른 방법을 사용할 때 사용된다.

The multi-level research model variation of the triangulation design is used when the focus of the study is on a system and different methods are used to address the different levels.


삼각측량은 4대 연구 설계 중 가장 어려운challenging 설계로 보고 있으며, 이러한 형태의 연구 설계를 구현하기 위해 연구팀을 사용하는 경우가 많다.

Triangulation is viewed as the most challenging design of the four main research designs, and research teams are often used to implement this form of research design.


카라첼리와 그린(1997년)에 의해 처음 설명된 임베디드 디자인은 (양적 또는 질적 둘 중) 하나가 지배적인 방법인 , 다른 데이터 세트는 보조적 또는 지원적 역할을 제공한다.

The embedded design, first described by Caracelli and Greene (1997), is characterised by having one dominant method, whereas the other data set provides a secondary or supportive role.


임베디드 실험 모델은 임베디드 설계의 가장 일반적인 변형이며, 정량적 방법론에 우선권이 주어지며, 정성적 데이터 세트는 서브시스템(Creswell and Plano Clark, 2007)이다. 질적 요소의 목적 중 하나는 개입의 과정을 조사하는 것일 수 있다. 임베디드 실험 모델은 이전에 동시 중첩 혼합 방법 설계로 알려져 왔다(Creswell, et al., 2003).

The embedded experimental model is the most common variant of the embedded design, and the priority is given to the quantitative methodology, and the qualitative data set is subservient (Creswell and Plano Clark, 2007). One of the purposes of the qualitative component may be to examine the process of the intervention. The embedded experimental model has been previously known as the concurrent nested mixed methods design (Creswell, et al., 2003).


임베디드 설계의 또 다른 variation은 상관관계 모형의 결과를 설명하기 위해 정성적 데이터가 정량적 설계 내에 포함된 상관관계 모형이다. 내장된 설계 내에서, 방법은 동시에 또는 순차적으로 수행될 수 있다.

The last variation of the embedded design is the correlational model where the qualitative data are embedded within a quantitative design to help explain the outcomes of the correlation model. Within the embedded designs, the methods may be conducted concurrently or sequentially.


설명적 설계explanatory design는 순차적 설명 설계로 정량적 단계부터 시작하여 정성적 단계로 구성되며, 정량적 결과를 설명하거나 강화하는 것을 목적으로 한다. 그림 2는 설명 설계의 두 가지 변형을 개괄한다.

The explanatory design previously described by Creswell, et al., (2003) as sequential explanatory design consists of two phases, beginning with the quantitative phase and then the qualitative phase, which aims to explain or enhance the quantitative results. Figure 2 outlines the two variants of the explanatory design


후속 설명 모델 내에서, 연구자는 (그룹 간의 차이 또는 예기치 않은 결과, 특이사항과 같은) 구체적인 양적 발견을 식별하고, 이에 대하여 질적 방법론을 사용하여 추가적인 탐사를 진행한다.

Within the follow-up explanatory model, the researcher identifies specific quantitative findings, such as unexpected results, outliers or differences between groups that need further exploration using qualitative methodology.


이와는 대조적으로 참가자 선정 모델에서는 질적 단계가 우선순위를 가지며, 정량적 단계의 목적은 참가자를 식별하고 의도적으로 선정하는 것이다. 설명 설계는 순차적 성격으로 인해 (연구 진행 기간이 더 길어야 하지만) 네 가지 구현 방법 중 가장 쉬운 것으로 간주된다.

In contrast, the qualitative phase has priority in the participant selection model, and the purpose of the quantitative phase is to identify and purposefully select participants. The explanatory design requires a longer implementation time due to the sequential nature but is regarded as the easiest of the four methods to implement.


탐색적 설계는 첫 단계인 질적 설계가 정량적 단계의 개발에 도움이 되는 순차적 설계다.

The exploratory design is a sequential design where the first phase, qualitative, helps in the development of the quantitative phase.


크레스웰, 외 (2003)은 이 설계를 순차적 탐색적 설계라고 설명했다. 이 설계(그림 2 참조)는 도구개발 모델(도구개발 모델) 또는 분류 체계(택시 개발 모델) 개발에 사용된다. 도구 개발모형의 양적 실체에 우선권이 주어진다.

Creswell, et al. (2003) described this design as sequential exploratory design. This design (see Figure 2) is used for developing and testing instruments (Instrument Development Model) or for developing a taxonomy (Taxonomy Developmental Model). Priority is given to the quantitative entity in the instrument development model.


리치와 Onwegbuzie(2007)는 3가지 기준을 사용하여 혼합 방법 설계의 3차원 유형론을 개발하며, 여기에는 혼합 수준, 시간 방향 및 접근방식의 강조가 포함된다.

Leech and Onwuegbuzie (2007) use three criteria to develop their three dimensional typology of mixed methods design, and these include the level of mixing, time orientation and emphasis of approaches.


부분적으로 혼합된 연구는 데이터 해석 단계에서 혼합이 발생하기 전에 질적 단계와 양적 단계를 모두 독립적으로 수행하는 연구로 설명된다.

Partially mixed studies are described as those studies where both the qualitative and quantitative phases are conducted independently before mixing occurs at the data interpretation stage.


이와는 대조적으로 완전히 혼합된 방법 설계는 연구 목표, 데이터 유형, 분석 및 추론 중 하나 또는 전체에서 혼합이 발생한다.

In contrast, fully mixed methods designs have mixing occurring in either one or all of the following: the research objective(s), the types of data, analysis and inference.


그림 3

Figure 3




  • 첫 번째 단계는 연구를 부분적으로 또는 완전히 혼합된 설계로 구분하고, 

  • 두 번째 단계는 데이터 수집의 서로 다른 단계의 타이밍을 결정하고, 

  • 세 번째 단계는 방법론이 선택한 설계 내에서 동등한 지위를 부여받는지 여부를 결정한다.

  • The first layer differentiates the studies into either partially or fully mixed designs, 

  • the second decides on the timing of the different phases of data collection, and 

  • finally whether each methodology is given equal status within the chosen design.


 표 1.

 Table 1



이 분류 체계는 간단하고 이해하기 쉬우며 삼각측량이라는 단어의 사용을 피한다. 삼각측량이라는 용어는 여러 가지 의미가 귀속되는 것으로 샌델로우스키(2003)는 의미가 전혀 없을 정도로 많이 사용됐다고 주장한다. 이 분류 체계의 주된 한계는 혼합된 방법을 부분적으로 혼합된 연구와 완전히 혼합된 연구로 나누는 것이다.

This classification system is simple and easy to understand and avoids the use of the word triangulation. The term triangulation is one to which many meanings are attributed, and Sandelowski (2003) argues that it has been used so much that it has no meaning at all. The major limitation to this classification system is the division of mixed methods into partially mixed and fully mixed studies.


리치와 Onwuegbuzie(2007:3)는 부분 혼합 설계를 '단층 설계와 완전 혼합 방법 설계 사이의 어딘가에 점유하는 지역'이라고 설명한다. 저자들은 '부분적으로 혼용'과 '완전히 혼용'과 같은 문구를 사용하지 않을 수 있으며 '해석 단계에서의 통합'이라는 문구가 '부분적으로 혼합된 연구 설계'를 대체할 수 있다고 제안한다.

Leech and Onwuegbuzie (2007:3) describe partially mixed designs as ‘occupying regions somewhere between monomethod designs and fully mixed methods designs.’ The authors would suggest that the use of phrases such as ‘partially mixed’ and ‘fully mixed’ may be avoided and that the phrase ‘integration at the interpretation phase only” may be substituted for partially mixed research designs.


혼합 방법 연구의 한계

The limitations of mixed methods research


(혼합연구에 대한) 비판의 많은 부분은 비호환성 논제, 즉 양적 연구 방법과 질적 연구 방법이 매우 다른 존재론적 및 인식론적 기원을 가지고 있기 때문에 단일 연구에서 혼합될 수 없다는 믿음에 초점을 맞추고 있다. 방법론적 순수주의자들은 세계관과 연구 방법의 이분법을 강하게 믿고 있으며(Creswell과 Plano Clark, 2007) 따라서 양적 접근법과 질적 접근법의 결합에 반대한다고 주장한다.

Many of these criticisms focus on the incompatibility thesis, that is, the belief that quantitative and qualitative research methods cannot be mixed in a single study as they have such different ontological and epistemological origins. Methodological purists believe strongly in the dichotomy of world views and research methods (Creswell and Plano Clark, 2007) and therefore argue against the combination of quantitative and qualitative approaches.


구바(1987년:31)는 "지구가 둥글다고 믿는 경우 지구가 편평하다는 믿음을 완전히 배제하는 것과 (양적-질적 이분법은) 상대를 배제한다"고 명시함으로써 패러다임 사이의 이분법의 범위를 분명히 강조했다. 결과적으로, 세일 등은 (2002) 두 패러다임 사이의 근본적인 가정을 간과하고 불분명한 차이점을 보완한 신세대 연구자들이 혼합 방법 연구를 무비판적으로 수용하지 않도록 주의한다.

Guba (1987: 31) had clearly identified the extent of the dichotomy between the paradigms by stating how “the one precludes the other just as surely belief in a round world precludes belief in a flat one.” Consequently, Sale, et al. (2002) caution against the uncritical acceptance of mixed methods research by a new generation of researchers who have overlooked the underlying assumptions and incommensurate differences between the two paradigms.


그러나 온웨그부지(2002)는 실증주의 철학과 사후 실증주의 철학 사이의 이분법에 대한 순수주의자들의 견해는 사실 잘못된 이분법이라고 주장한다. 오히려 Onwuegbuzie(2002년)는 실증주의 철학과 비포시주의 철학이 중간지점을 차지하고 있는 혼합된 방법 연구가 있는 인식론적 연속체에 놓여 있음을 시사한다. 이와 비슷하게, Howe(1988)는 비호환성에 대한 주장에 반대하며, 대신 연구자들이 실용적인 접근법을 채택하고 '무엇이 작용하는가'를 추진해야 한다고 제안한다.

However, Onwuegbuzie (2002) argues that the purists’ view of the dichotomies between positivist and post-positivist philosophies are in fact false dichotomies. Rather, Onwuegbuzie (2002) suggests that positivist and nonpositivist philosophies lie on an epistemological continuum with mixed methods research occupying the middle ground. Similarly, Howe (1988) argues against the incompatibility thesis and instead suggests that researchers should adopt a pragmatic approach and forge ahead with ‘what works.’


혼성 방법 연구에 열성적인 신봉자인 메르텐스(2003)는 대부분의 혼합 방법 연구가 바탕이 되는 실용주의 철학에 대해 몇 가지 의문을 제기한다. 그녀는 [실용주의] 또는 ['무엇이 작용하는가']에만 관심을 두어 방법론적 선택을 하는 것이 '누구를 위해 어떤 목적을 위해 실용적인가?'라는 질문에 대답하지 않기 때문에 부적절하다고 주장한다.

Mertens (2003) who herself is an avid believer in mixed methods research poses some questions about the pragmatist philosophy upon which most mixed methods research is based. She argues that basing methodological choices solely on pragmatics or ‘what works’ is inadequate as it does not answer the question ‘practical for whom and to what end?’


타샤크코리와 테디(2003)는 실용주의 전통에 속하는 연구자들이 '연구 질문의 독재'라고 부르는 것을 준수한다고 주장하는데, 이는 [연구 질문]을 [(연구 질문의) 토대가 되는 방법이나 패러다임]보다 더 중요하게 여긴다는 것을 의미한다.

Tashakkori and Teddie (2003) argue that researchers within the pragmatist tradition abide by what they term ‘the dictatorship of the research question’, meaning they consider the research question to be more important than either the method or the paradigm that underlies it.


혼합 방법 접근법의 다른 비판이나 약점은 본질적으로 더 현실적인 문제를 지적한다. 존슨과 Onwuegbuzie(2004)는 정성적 단계와 정량적 단계를 동시에 수행할 경우 한 명의 연구자가 혼합된 방법 연구를 수행하기가 어려울 수 있다고 제안한다. 이 경우, 연구팀이 필요할 수 있다. 이반코바, 외. (2006) 순차적 연구도 연구의 뚜렷한 단계를 수행하는 데 상당한 시간과 자원이 소요될 수 있기 때문에 단점이 있음을 확인한다.

Other criticisms or weaknesses of a mixed methods approach are more practical in nature. Johnson and Onwuegbuzie (2004) suggest that it may be difficult for one researcher to carry out a mixed methods study if the qualitative and quantitative phases are to be undertaken concurrently. In this case, a research team may be required. Ivankova, et al. (2006) identify that sequential studies also have drawbacks as it may take considerable time and resources to undertake distinct phases of a study.


혼합 방법 연구 내에서는 연구자가 적어도 양적 방법과 질적 방법 모두에 대해 독립적으로 충분한 지식을 가지고 있고, 좋은 연구 결과를 얻기 위해 이러한 방법을 적절하게 혼합하는 방법을 가지고 있다는 요구사항도 있다.

Within a mixed methods study, there is also a requirement that the researcher has at least a sufficient knowledge of both quantitative and qualitative methods independently and how to mix these methods appropriately to achieve good study outcomes.


결론

Conclusion


혼합 방법 연구는 현재 제3의 방법론적 움직임으로 간주되고 있으며 건강과 사회과학 연구를 제공할 것이 많은 접근법으로 간주되고 있다. (연구의) 접근 방식을 혼합하는 목적은 연구 문제에 대한 보다 완전한 이해를 얻을 수 있는 기회를 제공하는 것이다(Creswell and Plano Clark, 2007). 연구원들은 혼합 방법을 통해 인간 현상의 복잡성을 포착할 수 있을 것으로 예상한다(샌델로스키, 2001). 

Mixed methods research is now viewed as the third methodological movement and as an approach that has much to offer health and social science researches. The purpose of mixing approaches is to afford opportunity to gain a more complete understanding of research problems (Creswell and Plano Clark, 2007). Researchers anticipate that mixing methods will enable them to capture the complexity of human phenomena (Sandelowski, 2001). 


혼합 방법 연구는 다양한 이해 관계자들의 연구에 대한 관심과 요구에 대응한다. 그린(2005년: 209년)은 '혼합된 방법 접근법은 (의사결정자의 의제에 대응하고자할 때) 단일 방법보다 더 큰 가능성을 제공하며, 다른 합법적 이해관계자에게도 이익이 된다'고 제안함으로써 명확히 확인된다. 헬스케어에서, 혼합 방법을 사용함으로써 의료 정책을 결정하고자 하는 의사결정자들에게 하드 데이터를 제공하고자 한다. 

Mixed methods research responds to the interests and needs of diverse stakeholders in research. This is clearly identified by Greene (2005: 209) who suggests that ‘a mixed method approach offers greater possibilities than a single method approach for responding to decision makers agenda, as well as to the interests of other legitimate stakeholders.’ In health care, the selection of mixed methods as a methodology seeks to provide hard data for the decision makers who seek to determine health care policy. 


혼합 방법 연구는 헬스케어에서 outcome을 강조하는 거에 대한 반응이지만, 그러한 결과의 맥락에 대해서도 보고할 수 있다. 크레스웰과 플라노 클라크(2007)는 간호 분야 내에서 혼합 방법 연구가 논의되고 광범위하게 사용되었음을 확인했다. 마찬가지로 트윈(2003: 553)은 "(혼합 방법이) 간호 분야에서 자주 직면하는 복잡한 건강 문제를 해결할 수 있는 적절한 방법론을 설계가 제공한다는 인식이 증가하고 있다"고 제안한다. 간호학 연구자들은 혼합 방법 연구의 강점을 인정하고 제한함으로써 창조적이고 상상적인 방법으로 이러한 '복잡한 건강 문제'를 해결할 수 있다.

Mixed method research responds to the pressures for outcomes in healthcare, but it can also report on the context of those outcomes. Creswell and Plano Clark (2007) have identified that within the nursing discipline, mixed methods research has been discussed and used extensively. Similarly, Twinn (2003: 553) suggests that “there is growing acceptance that the design provides an appropriate methodology to address the complex health problems frequently faced by the nursing discipline”. By building on the strengths, acknowledging and limiting the weaknesses of mixed methods research, nurse researchers can address these ‘complex health problems’ in a creative and imaginative way.




Mixed methods have become increasingly popular in health-related research, allowing a broader and deeper understanding of complex human phenomena. This growth in popularity has increased the range of usage and complexity in design approaches, producing greater need for understanding of logistical and practical application in this field. This paper aims to provide an overview of mixed methods research and orientate readers to the critical issues that arise for researchers. It provides an introduction to mixed methods design and the rationale and philosophical underpinnings for this methodological approach. It navigates the reader through some real world or ‘hot’ topics within mixed methods, including data analysis, integration and quality appraisal criteria.


기본 콜론 그 이상: 질적연구에서 효과적인 인용문구 사용(Perspect Med Educ, 2019)

Beyond the default colon: Effective use of quotes in qualitative research

Lorelei Lingard




진실성

Authenticity


원고 작성 시점에서 질적 연구원이 자료의 바다에서 헤엄치고 있다.

At the point of manuscript writing, a qualitative researcher is swimming in a sea of data.


그러나, 그들 중 극소수만이 최종 원고를 작성할 것이며, 특히 우리가 건강 연구나 의학 교육 저널에 게재하기 위해 3000~4000단어의 제한을 두고 집필할 경우에는 더욱 그러하다.

However, very few of them will make it into the final manuscript, particularly if we are writing for publication in a health research or medical education journal, with their 3000–4000 word limits.


이 소중한 발췌 중에서 가장 좋은 인용구를 고르는 것은 보기보다 어렵다. 우리는 진정성의 원리에 의해 안내되어야 한다: 이 인용문은 독자들이 자료의 지배적인 패턴에 직접 접근할 수 있도록 제공하는가? 우수하고 진실한 인용구를 고르는 데는 세 가지 부분이 있다: 

  • 인용문은 작성자가 데이터에 대해 말하고 있는 요점을 예증illustrative하고, 

  • 합리적으로 간결하며, 

  • 데이터의 패턴을 대표한다. 이 인용구를 보십시오.

Selecting the best quotes from among these cherished excerpts is harder than it looks. We should be guided by the principle of authenticity: does the quote offer readers first hand access to dominant patterns in the data? There are three parts to selecting a good, authentic quote: 

  • the quote is illustrative of the point the writer is making about the data, 

  • it is reasonably succinct, and 

  • it is representative of the patterns in data. Consider this quote,


의대생들은 훈련을 받으면서 정체성을 바꾸고 있다고 느끼기보다는 여러 정체성을 축적하고 조화시킨 경험을 묘사했다: 내가 이 일을 시작했을 때 내가 있던 '삶의 나'는 아직 여기 있지만, 지금은 일종의 '과학적인 나'와 같은 '의사적인 나'도 있다. 그리고 나는 그 모든 것이 되려고 노력하고 있다(S15).

Rather than feeling they were changing identities as they went through their training, medical students described the experience of accumulating and reconciling multiple identities: ‘the “life me”, who I was whenI started this, is still here, but now there’s also, like, a “scientific me” as well as a sort of “doctor me”. And I’m trying to be all of that’ (S15).


이 인용문은 

  • 예증적이며illustrative, 훈련이 전개될수록 학생정체성이 증대되고 있다는 점에 대한 명확한 예를 제공한다. 

  • 그것은 간결해서 다른 참가자들은 몇 페이지에 걸쳐서 묘사한 것을 효율적으로 표현한다. 

  • 그리고 이 아이디어를 보고하는 많은 참가자들의 전반적인 정서에 충실하면서 대표성이 있다.

This quote is illustrative, providing an explicit example of the point that student identity is multiplying as training unfolds. It is succinct, expressing efficiently what other participants took pages to describe. And it is representative, remaining faithful to the overall sentiments of the many participants reporting this idea.


그 인용문은 예증적인가?

Is the quote illustrative?


흔히 겪는 어려움은 인용문구가 작가의 주장을 '암묵적'으로 보여주는 경우이다. 다음 예를 고려하십시오.

A common challenge is the quote that illustrates the writer’s point implicitly, but not explicitly. Consider this example:


의대생들은 '항상 너무 많이 배우고 있다. 그리고 그 중 일부는 과학적인 것이고 일부는 전문적이거나 실용적인 윤리적인 것들인데, 우리는 그 모든 것을 알아내야 한다.' (S2)

Medical students are undergoing aprocess of identity-negotiation: we’re ‘learning so much all the time, and some of it is the science stuff and some of it is professional or, like, practical ethical things, and we have to figure all that out’ (S2).


이 인용문이 정체성-협상 포인트의 증거로 쓰이려면 독자가 'figure all that out'이라는 표현이 저자가 말하는 것에 대한 refernece라고 추론할 수 있어야 한다. 그러나 독자들은 인용문구의 의미를 디컨텍스트화된 대본 추출물에 읽게 된다. 간결함을 희생하더라도 명시적인 것이 낫다. 사실, 이것은 올바른 인용문이지만, 우리는 '정체성 구성'이 명시적으로 언급된 첫 세 문장을 줄였다. 인용문은 이러한 문장들을 포함하도록 길어질 수도 있고, 간결함을 보존하기 위해 인용된 문구만 인용문의 도입부에 삽입할 수도 있다.

For this quote to serve as evidence for the point of identity-negotiation, the reader must infer that ‘figure all that out’ is a reference to this process. But readers may read their own meaning into decontextualized transcript extracts. Explicit is better, even if it sacrifices succinctness. In fact, this is the right quote, but we had trimmed away the first three sentences where ‘figuring out identity’ got explicit mention. The quote could be lengthened to include these sentences, or, to preserve succinctness, just that quoted phrase can be inserted into the introduction to the quote:


의대생들은 '정체성'을 형성하고 있는데, '항상 그렇게 많이 배우고, 그 중 일부는 과학적인 것이고 일부는 전문적이거나 실용적인 윤리적인 것으로, 우리는 그 모든 것을 알아내야 한다'(S2)는 협상 과정이다.

Medical students are ‘figuring out identity’, a process of negotiation in which they are ‘learning so much all the time, and some of it is the science stuff and some of it is professional or, like, practical ethical things, and we have to figure all that out’ (S2).


인용문이 간결하니?

Is the quote succinct?


인터뷰 녹취록은 어눌하거나 생략적이거나 불완전한 특징이 있다. 따라서 부지런히 뒤져도, 10단어짜리 요점을 보여주기 위해서 200단어에 걸친 인용구를 찾는데 그치고 말 수도 있다. 때때로 긴 인용문이 완벽해서, 당신은 그것을 포함해야만 하는 상황도 있다. 하지만, 종종 당신은 그것을 더 줄일 필요가 있다. '간결함'을 진위 원칙authenticity principle의 일부로 포함시킴으로써, 저자들에게 그들의 축약tightening up이 인용문의 요지를 유지하는지 여부를 명시적으로 고려하도록 상기시키고자 한다.

Interview transcripts are characterized by meandering and elliptical or incomplete speech. Therefore, you can search diligently and still come up with a 200-word quote to illustrate your 10 word point. Sometimes the long quote is perfect and you should include it. Often, however, you need to tighten it up. By including succinctness as part of the authenticity principle, my aim is to remind writers to explicitly consider whether their tightening up retains the gist of the quote.


또 다른 해결책은 줄임표를 사용하여 인용문의 일부를 잘라냈음을 알리는 것이다.

Another solution is to use the ellipsis to signal that you have cut part of the quote out:


줄임표를 사용할 때는 인용문의 의미와 무관한 자료만 제거하고, 인용문의 의미를 중요시 하는 관련 자료는 제거하면 안 된다. 인용문을 잘라낼 때, 목표는 '내가 원하는 것을 참가자들이 말한 것처럼 보이도록' 아주 작은 조각들을 자르고 붙여넣는 브리콜라지를 만드는 것이 아니다; 줄임표 사용의 목적은 참가자가 의도한 의미에 충실한 간결한 표현을 보여주는 것이다.

When using an ellipsis, only remove material that is irrelevant to the meaning of the quote, not relevant material that importantly nuances the meaning of the quote. The goal is not a bricolage which cuts and pastes tiny bits so that participants say what you want them to; it is a succinct-enough representation that remains faithful to the participant’s intended meaning.


인용문의 표현을 바꾸면 항상 진위 원칙을 위반할 위험이 있기 때문에 작가들은 신중하게 해야 한다. 그러나, 두 가지 다른 상황이 이러한 접근법을 요구할 수 있다: [문법적 일관성 유지]하고 [구술 연설을 깔끔하게 정리]하는 것이다. 첫째는 보통 문제되지 않는데, 특히 여러분이 일관된 시제나 동사와 주제, 대명사와 선행의 일치나 대명사를 대체하거나 대명사를 그 참조로 대체하는 경우에 그렇다. 대괄호(square bracket)는 다음과 같은 변경 사항을 표시한다.

Changing the wording of a quotation always risks violating the authenticity principle, so writers must do it thoughtfully. Two other situations, however, may call for this approach: to maintain the grammatical integrity of your sentence and to tidy up oral speech1. The first is usually not problematic, particularly if you are altering for consistent tense or for agreement of verb and subject or pronoun and antecedent, or replacing a pronoun with its referent. Square brackets signal such changes:


그러나 지역 병원 시설 참가자들은 '교사를 평가할 때 익명성의 가정에 이의를 제기했다'고 말했다. (현재에서 과거로 시제가 변경됨)

Participants from the community hospital setting, however, ‘[challenged] the assumption of anonymity when evaluating teachers’. (verb tense changed from present to past)


두 번째 상황은 더 까다로울 수 있다: 대화 중에 발생한 '지저분함'을 언제 정리해야 하는가? 인터뷰 녹취록에는 언어학자들이 '필러' 또는 '말더듬기'라고 부르는 말, '아/어/음/좋다/알고/맞다'[1]와 같은 소리와 단어들로 가득하다. 질적 학자들 사이에서는 인용문은 가능한 한 실체적으로 제시되어야 한다는 데 일반적인 동의가 있으며, 담론과 서술 분석에 종사하는 사람들은 그러한 망설임들을 의미의 일부로 반드시 분석할 것이다. 그러나 다른 응용 사회 연구 방법론에서 작가들은 가독성과 윤리적적 이유 모두를 위해 약간의 '다듬기light tidying up'를 할 수 있다[2]

    • 윤리적 문제는 [참가자의 말 습관 '엄' '아' 등을 다 보여주는 것이 참가자에게 해를 끼칠 수도 있다는 것]을 방지하려는 욕구가 있다. 또는 사투리나 특수한 억양이 있는 것과 같이 개개인을 식별할 수 있는 언어적 특징을 제거함으로써 참가자의 익명성을 보호하려는 목적도 포함된다.

The second situation can be trickier: when should you tidy up the messiness of conversational discourse? Interview transcripts are replete with what linguists refer to as ‘fillers’ or ‘hesitation markers’, sounds and words such as ‘ah/uh/um/like/you know/right’[1]. There is general agreement among qualitative scholars that quotes should be presented verbatim as much as possible, and those engaged in discourse and narrative analysis will necessarily analyze such hesitations as part of the meaning. In other applied social research methodologies, however, writers might do some ‘light tidying up’ both for readability and for ethical reasons, as long as they do not undermine authenticity in doing so [2]. 

    • Ethical issues include the desire not to do a disservice to participants by representing the um’s and ah’s of their natural speech, and the concern to protect participant anonymity by removing identifiable linguistic features such as regional or accented speech.


마지막으로, 간결함을 위한 새로운 전략은 인용문을 표에 넣는 것이다. 많은 질적 연구자들은 표 형식의 제약이 정량적 영역으로부터의 침입이라고 분개한다. 그러나, 신중하게 사용되어, 복잡한 결과를 효율적으로 제시할 수 있는 수단을 제공할 수 있다. 이 예제에서 Goldszmidt 등은 내과 교수팀의 사례 검토 과정에서 관찰된 5가지 주요 유형의 감독자 업무 중단을 정의하고 설명한다(탭 1;[3]).

Finally, an emerging strategy for succinctness is to put the quotes into a table. Many qualitative researchers resent the constraints of the table format as an incursion from the quantitative realm. However, used thoughtfully, it can offer a means of presenting complex results efficiently. In this example, Goldszmidt et al. name, define and illustrate five main types of supervisor interruptions that they observed during their study of case reviewon internal medicine teaching teams (Tab. 1;[3]).



인용이 대표성이 있는가?

Is the quote representative?


우리 모두는 매우 자극적인 인용문(테이프에서 누군가가 말한 것을 믿을 수 없는 것)을 포함시키고 싶은 유혹을 받아왔다. 다만 세 번째 초안에 의해 그것이 데이터를 잘못 표현하고 포기해야 한다는 것을 깨달았다. 인용문 선택은 데이터의 강력한 패턴을 반영해야 한다. 불일치하는 예는 중요한 목적에 기여하지만, 인용문 선택은 목적적이고 명시적이어야 한다. 데이터 세트를 나타내기 위해 견적 선택 항목도 참가자 간에 분산되어야 한다. 이는 동일한 한두 명의 고도로 명확한 개인을 계속 인용하기 보다는 두 번째 또는 세 번째 모범 사례를 사용하는 것을 의미할 수 있다.

We have all been tempted to include the highly provocative quote (that thing we cannot believe someone said on tape), only to realize by the third draft that it misrepresents the data and must be relinquished. Quote selection should reflect strong patterns in the data; while discrepant examples serve an important purpose, their use should be purposeful and explicit. Your quote selection should also be distributed across participants, in order that you represent the data set. This may mean using the second- or third-best example rather than continuing to quote the same one or two highly articulate individuals.


독자들이 인용문의 의미를 정확하게 추론할 수 있는 충분한 맥락을 제공해야 한다. 때때로 이것은 면접관의 질문과 참가자의 대답을 포함하는 것을 의미한다. 그룹 토론이 강조되는 포커스 그룹 연구에서는 개별 의견을 추출하기보다는 참가자 간의 교환을 인용할 필요가 있을 수 있다. 이 예는 이 기법을 설명한다.

You must provide sufficient context that readers can accurately infer the meaning of the quote. Sometimes this means including the interviewer’s question as well as the participant’s answer. In focus group research, where the emphasis is on the group discussion, it might be necessary to quote an exchange among participants rather than extracting individual comments. This example illustrates this technique:


물론 긴 발췌가 간결함의 목표를 위협한다. 또는 인용을 위해서 여러 개의 발췌문을 자기가 만든 하나의 문장에서 사용할 수 있다.

Of course, a long excerpt threatens the goal of succinctness. Alternatively, you could use multiple quotes from this excerpt in a single sentence of your own:


이 그룹의 일부 표준화된 환자들은 그들의 평가자 역할이 '학생들에게 정말 중요하고, 그들은 우리가 그들의 성과에 대해 말하는 것을 듣는다'고 믿었고, 다른 환자들은 '우리는 아마도 그들에게 소품에 더 가깝기 때문에 그들이 얼마나 잘 했다고 생각하는지, 나는 그것이 중요한지 잘 모르겠다'고 주장했다. (FG2)

Some standardized patients in the group believed that their assessor role was ‘really important to the students, they listen to what we say about their performance’, while others argued that ‘we’re probably more like props to them, so how well we think they did, I’m not sure that matters’. (FG2)


때때로 어떤 인용문은 대표성이 있지만, 그 결과, (개개인을) 식별할 수 있으며 기밀성을 위태롭게 한다.

Sometimes a quote is representative but also, therefore, identifiable, jeopardizing confidentiality:


이 경우, 인용시에 범례(임상 역량 위원회 4, 참가자 2)를 사용하는 관습만으로는 익명성을 보호하기에 불충분할 수 있다. 연구에 프로그램이 거의 없고, 방법이 이를 식별하고(예: 소아과 및 의학) 기관(예: 웨스턴 대학교) 이름을 지정하는 경우, 일부 독자는 화자를 식별할 수 있다.

In this case, the convention of using a legend (Clinical Competency Committee 4, participant 2) to attribute the quote may be insufficient to protect anonymity. If the study involves few programs and the methods identify them (e.g., Paediatrics and Medicine) and name the institution (e.g., Western University), the speaker may be identifiable to some readers, as may the resident.


주장

Argument


인용된 자료는 그 자체로 의미를 가지지 않는다: 우리는 문법적으로나 수사학적으로 그것을 우리의 본문에 포함시켜야 한다. 문법적 통합은 비교적 간단하며, 하나의 핵심 규칙을 명심해야 한다: 인용된 자료는 인용되지 않은 자료와 문법과 구두점에 대한 문장 수준의 규약을 따른다. 이 예제를 크게 읽어 보십시오.

Quoted material does not stand on its own: we must incorporate it into our texts, both grammatically and rhetorically. Grammatical incorporation is relatively straightforward, with one main rule to keep in mind: quoted material is subject to the same sentence-level conventions for grammar and punctuation as nonquoted material. Read this example aloud:


예체능과 인문학교육은 교수진이 의대생들과 서로 다른 수준에서 연결될 수 있는 기회를 제공한다. '우리는 돌봄의 일에 대해 어떻게 느끼고, 어떤 대가를 치르는지, 인간으로서 우리에게 어떤 보상을 주는지 공유할 수 있다.'(F9).

Arts and humanities teaching offers an opportunity for faculty to connect with medical students on a different level, ‘we can share how we feel about the work of caring, what it costs us, how it rewards us, as human beings’ (F9).


아마도 이 문장은 (하나가 아니라) 두 문장으로 나뉘어야 한다고 느껴질 것이다. 그러나 인용 부호는 이것으로부터 우리를 산만하게 하는 것 같으며, 우리는 문장 사이에 쉼표를 넣어 런온 문장을 만든다. 간편한 수정 방법은 콤마를 콜론으로 대체하는 것이다.

Your ear likely hears that this should be two sentences. But quotation marks seemto distract us from this, and we create a run-on sentence by putting a comma between the sentences. An easy correction is to replace the comma with a colon.


예체능과 인문학교육은 교수진이 의대생들과 서로 다른 수준에서 연결될 수 있는 기회를 제공한다: '돌봄의 일에 대한 우리의 느낌, 그것이 우리에게 어떤 대가를 주는지, 그것이 우리에게 어떤 보상을 주는지, 인간으로서.

Arts and humanities teaching offers an opportunity for faculty to connect with medical students on a different level: ‘we can share how we feel about the work of caring, what it costs us, how it rewards us, as human beings’ (F9).


많은 작가들은 인용된 자료를 통합하기 위한 그들의 기본 메커니즘으로 콜론을 사용한다. 그러나 콜론을 사용하는 것이 문법적으로 정확한 경우가 많지만, 항상 수사학적으로 충분한 것은 아니다. 즉, 콜론은 인용문을 맥락화시켜주지 않으며, 해석도 하지 않는다. 대신에, 이런 방식의 인용은 인용문을 '떨어뜨리고drop', 독자 스스로 인용된 자료가 어떻게 주장을 설명하거나 진전시키는지를 유추하게 남겨둔다. 이것은 질적 결과를 제시할 때 해석의 적절성에 대한 요건을 충족하지 못하기 때문에 문제가 있다.

Many writers rely on the colon as their default mechanism for integrating quoted material. However, while it is often grammatically accurate, it is not always rhetorically sufficient. That is, the colon doesn’t contextualize, it doesn’t interpret. Instead, it ‘drops’ the quote in and leaves the reader to infer how the quoted material illustrates or advances the argument. This is problematic because it does not fulfil the requirement for adequacy of interpretation in presenting qualitative results.


Morrow의 주장대로, 작가들은 그들의 [해석]과 [supporting quotation]의 균형을 목표로 해야 한다: '참가자의 인용문을 희생하여 연구자의 해석에 대한 지나친 강조하면 그 해석이 어디에서 왔는지 의심하게 할 것이다; 반대로 인용문이 너무 많으면 독자들이 이야기의 난국에서 길을 잃게 될 것이다.' [4] (p. 256).

As Morrow argues, writers should aim for a balance of their interpretations and supporting quotations: ‘an overemphasis on the researcher’s interpretations at the cost of participant quotes will leave the reader in doubt as to just where the interpretations came from; an excess of quotes will cause the reader to become lost in the morass of stories’ [4]. (p. 256).


연구자 해석과 지지 인용문 사이에는 이러한 균형을 이루기 위한 많은 기법이 있다. 일부 기법은 기본 콜론을 유지하지만 그 앞에 있는 문장에 주의하는 것이다. 다음 예를 고려하십시오.

There are many techniques for achieving this balance between researcher interpretations and supporting quotations. Some techniques retain the default colon but attend carefully to the material that precedes it. Consider the following examples:


한 임상의는 '위탁은 결정이 아니라 관계'라고 말했다. (F21)

One clinician said: ‘Entrustment isn’t a decision, it’s a relationship’. (F21)


한 임상의는 '위탁은 결정이 아니라 관계'라고 주장했다. (F21)

One clinician argued: ‘Entrustment isn’t a decision, it’s a relationship’. (F21)


포커스 그룹의 한 임상의는 위탁이 연수생 진척 상황을 결정하는 것이라는 생각에 동의하지 않았다. '위탁은 결정이 아니라 관계다.' (F21)

One clinician in the focus group disagreed with the idea that entrustment was about deciding trainee progress: ‘Entrustment isn’t a decision, it’s a relationship’. (F21)


포커스 그룹 참가자들은 위탁의 의미에 대해 토론했다. 많은 이들이 '연습생이 진척해야 할지를 결정하기 위해 사용하는 과정'이라고 사실상 기술했고, 몇몇은 '위탁은 결정이 아니라 관계'라고 주장했다. (F21)

Focus group participants debated the meaning of entrustment. Many described it matter-of-factly as ‘the process we use to decide whether the trainee should progress’, while a few argued that ‘entrustment isn’t a decision, it’s a relationship’. (F21)


이러한 예들은 점차적으로 인용에 대한 맥락적 표현을 제공한다. 

    • 첫 번째 예는 단순히 '말했다'라는 비첨자 동사를 따라 인용구를 떨어뜨려 해석적인 광택을 주지 않고 따라서 독자에게 최소한의 수사적 통제력을 발휘한다. 

    • 두 번째는 참가자의 위치나 어조를 해석하는 동사 '논쟁'을 통해 어느 정도 맥락을 제공한다. 

    • 세 번째는 포커스 그룹 토론의 맥락에서 인용문을 배치함으로써 인용의 의미를 더욱 해석한다. 그리고 

    • 네 번째는 디폴트 콜론을 완전히 폐지하고, 두 개의 인용문을 저자의 문장의 서술 구조로 통합하여 이 FGI에서 위임에 대한 지배적인 위치와 불일치하는 입장을 설명한다.

These examples offer progressively more contextualization for the quote. The first example simply drops the quote in following the nondescript verb, ‘said’, offering no interpretive gloss and therefore exerting minimal rhetorical control over the reader. The second offers some context via the verb ‘argued’, which interprets the participant’s positioning or tone. The third interprets the meaning of the quote even more by situating it in the context of a focus group debate. And the fourth eschews the default colon entirely, integrating two quotes into the narrative structure of the author’s sentence to illustrate the dominant and the discrepant positions on entrustment in this focus group debate.


인용문을 마지막 예와 같이 문장의 서술 구조에 통합하는 것은 작가에게 두 가지 장점을 제공한다. 

  • 첫째, 독자에 대해 [인용문을 해석하고 따라서 인용문의 의미에 대한 강력한 수사적 통제]를 행사한다. 

  • 둘째, 다양성과 스타일을 제공한다. 만약 여러분의 목표가 설득력 있는 산문이라면, 다양성과 문체를 과소평가해서는 안 된다. 우리 모두는 기계적으로 진행되는 결과 섹션(점-콜론-쿼터, 점-콜론-쿼터, 점-콜론-쿼터 등)을 읽어본 경험이 있다. 독자의 경험을 더 즐겁게 하기 위해서라면, 당신의 수정 과정은 이것들 중 일부를 통합적 내레이션으로 변환하는 것을 포함해야 한다.

Integrating quotes into the narrative structure of your sentence, like the last example, offers two advantages to the writer. 

  • First, it interprets the quote for the reader and therefore exerts strong rhetorical control over the quote’s meaning. 

  • Second, it offers variety and style. If your goal is compelling prose, variety and style should not be underestimated. We have all had the experience of reading Results sections that proceed robotically: point-colon-quote, point-colon-quote, point-colon-quote .... If only to make the reader’s experience more enjoyable, your revision process should involve converting some of these to integrated narration.


간결함의 목표에도 불구하고, 때때로 당신은 더 긴 인용문을 포함할 것이다. 왜냐하면 그것은 요점을 아름답게 묘사하기 때문이다. 그러나, 긴 인용문은 독자들로 하여금 당신이 의도한 것 이외의 이미지나 문구에 초점을 맞출 수 있게 만들 수 있으며, 따라서 당신이 하고 있는 주장에는 일관성이 없는 것처럼 보이게 만들 수 있다. 이를 방지하기 위해 [인용문의 맥락을 설정하는 소개 문구]와 [인용 뒤에 요약 문장을 넣는]'인용 샌드위치' 기법[5]을 사용해 보십시오.

Notwithstanding the goal of succinctness, sometimes you will include a longer quote because it beautifully illustrates the point. However, a long quote may offer opportunities for readers to focus on images or phrases other than those you intended, therefore creating incoherence in the argument you are making about your results. To guard against this, you might try the ‘quotation sandwich’ technique [5]of both an introductory phrase that sets up the context of the quote and a summary statement following it emphasizing why you consider it important and what you are using it to illustrate.


마지막으로, 자신의 주장을 뒷받침하기 위해 몇 개의 인용문이 필요하십니까? 더 많은 것이 반드시 더 나은 것은 아니다. 당신의 요점을 설명하기에 하나의 인용문으로 충분할 것이다. 당신의 주장에서 일부 요점은 인용된 발췌문을 전혀 요구하지 않을 수도 있다.

Finally, how many quotes do you need to support your point? More is not necessarily better. One quote should be sufficient to illustrate your point. Some points in your argument may not require a quoted excerpt at all.


레지던트가 항상 피곤하다는 사실은 굳이 인용문이 필요하지 않다. 그것은 쉽게 이해할 수 있고 아무도 놀라게 하지 않을 것이다.

The finding that residents are always tired does not require illustration. It is readily understandable and will not surprise anyone;


만약 당신이 당신의 주장에서 하나의 요점을 설명하기 위해 여러 개의 인용구를 사용한다면, 당신은 독자를 위해 그들 사이의 관계를 설정해야 한다. 인용된 발췌문 사이에 또는 인용문 뒤에, 점진적으로 더 강한 인용문 문맥화를 설명하기 위해 사용된 네 가지 예를 사용하여 모델링한 대로 이 작업을 수행할 수 있다.

If you do use multiple quotes to illustrate a point in your argument, then you must establish the relations between them for the reader. You can do this between the quoted excerpts or after them, as modelled above with the four examples used to illustrate progressively stronger quote contextualization.


결론적으로, 인용문은 당신의 질적 연구 논문의 피blood가 될 수 있다. 하지만, 인용문은 주장이 아니라 증거들이다. 그들은 스스로를 대변하지 않으며 독자들은 당신이 그들이 무엇을 설명하고자 하는지를 추측할 수 없다. 

  • 진위 원리Authenticity principle는 설명적이고 간결하며 대표성이 있는 인용구를 선택하는 데 도움을 줄 수 있는 반면, 

  • 주장 원리Argument principle는 당신이 연구에 대해 말하고 있는 이야기에 인용문을 통합하는 문법과 수사적인 측면에 주의를 기울이도록 상기시킬 수 있다.

In conclusion, quotes can be the life’s blood of your qualitative research paper. However, they are the evidence, not the argument. They do not speak for themselves and readers cannot infer what you intend them to illustrate. The authenticity principle can help you select a quote that is illustrative, succinct and representative, while the argument principle can remind you to attend to the grammatical and the rhetorical aspects of integrating the quote into the story you are telling about your research.


6.Helmich E, Cristancho S, Diachun L, et al. ‘How would you call this in English?’ Being reflective about translations in international, cross-cultural qualitative research. Perspect Med Educ. 2017;6:127.









. 2017 Apr;6(2):127-132.
 doi: 10.1007/s40037-017-0329-1.

'How Would You Call This in English?' : Being Reflective About Translations in International, Cross-Cultural Qualitative Research

Affiliations 

Affiliations

  • 1Center for Education Development and Research in Health Professions, University of Groningen, Groningen, The Netherlands. e.helmich@umcg.nl.
  • 2Centre for Education Research & Innovation and Department of Medicine, Schulich School of Medicine & Dentistry, Western University, London, Ontario, Canada.

Abstract

Introduction: Medical education researchers increasingly collaborate in international teams, collecting data in different languages and from different parts of the world, and then disseminating them in English-language journals. Although this requires an ever-present need to translate, it often occurs uncritically. With this paper we aim to enhance researchers' awareness and reflexivity regarding translations in qualitative research.

Methods: In an international study, we carried out interviews in both Dutch and English. To enable joint data analysis, we translated Dutch data into English, making choices regarding when and how to translate. In an iterative process, we contextualized our experiences, building on the social sciences and general health literature about cross-language/cross-cultural research.

Results: We identified three specific translation challenges: attending to grammar or syntax differences, grappling with metaphor, and capturing semantic or sociolinguistic nuances. Literature findings informed our decisions regarding the validity of translations, translating in different stages of the research process, coding in different languages, and providing 'ugly' translations in published research reports.

Discussion: The lessons learnt were threefold. First, most researchers, including ourselves, do not consciously attend to translations taking place in international qualitative research. Second, translation challenges arise not only from differences in language, but also from cultural or societal differences. Third, by being reflective about translations, we found meaningful differences, even between settings with many cultural and societal similarities. This conscious process of negotiating translations was enriching. We recommend researchers to be more conscious and transparent about their translation strategies, to enhance the trustworthiness and quality of their work.

Keywords: International collaboration; Qualitative research; Translations.


프로그램평가 데이터를 질적연구에 활용하기 (J Grad Med Educ, 2016)

Using Data From Program Evaluations for Qualitative Research

Dorene F. Balmer, PhD Jennifer A. Rama, MD, MEd Maria Athina (Tina) Martimianakis, PhD Terese Stenfors-Hayes, PhD





도전

The Challenge


질적 연구자들에게 제기되는 일반적인 질문은 ''우리 프로그램의 평가에서 수집한 자유 텍스트 항목으로 질적 연구를 할 수 있는가? 거기에는 좋은 피드백이 있다!'라고 말했다. 하지만, 과정 종료 또는 로테이션 종료 평가에 자유 텍스트 항목으로서 풍부하고 건설적인 데이터가 있을 수 있지만, 그 텍스트를 연구를 위한 데이터로 사용하는 것은 프로그램 평가 목적으로 수집될 때 문제를 일으킬 수 있다.

A common question posed to qualitative researchers is, ‘‘Can I do qualitative research with the free-text entries from our program’s evaluations? There’s good feedback in there!’’ While there may be rich, constructive data as free-text entries on end-of-course or end-of-rotation evaluations, using that text as data for research can present problems when it is collected for program evaluation purposes.


알려진 내용(또는 토론된 내용)

What Is Known (or Debated)


연구와 프로그램 평가 모두 철저하고 체계적인 질의지만, 다음과 같은 오랜 논쟁이 있다. 연구와 프로그램 평가는 이론적으로 구별되는가, 실질적으로 구별되는가, 아니면 같은 것인가? 이 둘의 구분은, (만약 이 둘의 구분이 존재한다면) 프로그램 평가를 위한 설문조사에 대한 주관식 서술 항목과 같이 질적인 데이터를 이용가능한 상황에서 이 둘의 구별은 덜 명확해진다. 교육 프로그램은 일반적으로 동적 구성요소로 구성되며 복잡하고 예측 불가능한 맥락에서 펼쳐지기 때문에, 프로그램 평가는 프로그램 목표가 명확해지거나 개입이 새로운 학습에 길을 내줄 때 시간이 지남에 따라 적응해야 할 수 있다.2,3

Although research and program evaluation are both thorough, systematic inquiries, there is a long-standing debate: Are research and program evaluation theoretically distinct, practically distinct, or one-and-the-same?1 The distinction, if it exists, becomes less clear when available data are qualitative in nature, as when the data are free-text entries on surveys intended for program evaluation. Because educational programs typically consist of dynamic components and unfold in complex, unpredictable contexts, program evaluation may have to adapt over time as program goals are clarified or as interventions give way to new learning.2,3


그러나 연구와 프로그램 평가 사이에는 핵심적인 차이가 있다. 이 글에서 우리는 이러한 질의는 

(1) 이 둘이 다루는 문제, 

(2) 의도된 범위, 

(3) 일반적으로 Work의 질을 판단하기 위해 사용하는 표준(특히 데이터)

However, there are key differences between research and program evaluation. In this article, we propose that these inquiries are distinct in (1) the issues they address; (2) their intended scope; and (3) the standards they use to judge the quality of the work in general, and the data in particular.



이슈와 스콥

Issues and Scope


질적 연구는 대개 이론적인 문제를 다루며 "왜 이런 일이 생기는가?"와 같은 질문을 던진다.

Qualitative research usually addresses theoretical issues, asking questions such as, ‘‘Why is this happening?’’


반대로, 프로그램 평가는 대개 실제적인 문제를 다루고 "실제로 무슨 일이 일어나고 있는가?" 또는 "무슨 일이 일어나야 하는가?"와 같은 질문을 던진다. 이러한 질문에 대한 답은 [(연구 결과를) 다른 맥락으로 transfer할 수 있다는 엄격한 주장보다는], 프로그램 개선전략이나 프로그램의 가치에 대한 판단을 로컬하게 알리는 것을 목표로 한다.

Conversely, program evaluation usually addresses practical issues and asks questions such as, ‘‘What is actually happening’’ or ‘‘What should be happening?’’ Answers to these questions aim to inform strategies for program improvement or judgments about the worth of a program locally, without stringent claims for transferability to other contexts.


질적 연구에서도 때때로 "무슨 일이 일어나야 하는가?"라고 질문할 수 있고 프로그램 평가에서도 "왜 이런 일이 일어나는가?"를 다룰 수 있다. 그러나, 일반적인 문제들과 프로젝트의 범위는 다르다.

Qualitative research may occasionally ask, ‘‘What should be happening?’’ and program evaluation may address, ‘‘Why is this happening?’’ However, the general issues addressed and the project’s scope are different (TABLE).


품질판단기준

Standards for Judging Quality


정성적 연구의 방법론적 엄격성에 대한 표준은 다음을 포함한다. 

    • 신뢰할 수 있는 데이터(내부 타당성을 위한 프록시), 

    • 양도 가능한 데이터(외부 타당성을 위한 프록시), 

    • 신뢰할 수 있는 데이터(신뢰성을 위한 프록시), 

    • 확인 가능한 데이터(객관성을 위한 프록시)가 있는가?5

Standards for methodological rigor in qualitative research include the following: Are the data 

    • credible (a proxy for internal validity), 

    • transferable (a proxy for external validity), 

    • dependable (a proxy for reliability), and 

    • confirmable (a proxy for objectivity)?5


프로그램 평가(의 질 판단)를 위한 표준은 실제 관심사에 대한 방법론적 초점이 다르다. 데이터가 의사결정에 유용한가?, 데이터를 수집할 수 있는가?, 이해관계자 관점을 정확히 대표하고 있는가?6

Standards for program evaluation have a different methodological focus on practical concerns: Are the data useful for informing decisions, feasible to collect, and accurate representations of stakeholder perspectives?6


연구에서 차이가 중요한 이유

Why Differences Matter in Scholarship


의학 교육자들은 프로그램 평가를 위해 수집된 자유 텍스트 질문에 대한 응답을 후향적으로 질적 연구 기준에 맞추려고 애쓸 수 있다. 이것은 보통 학술지에 논문을 출판하고자 하는 욕구와 함께 일어날 수 있다.

Medical educators may try, inadvisably, to retrospectively fit responses to free-text questions collected for program evaluation into rigorous standards for qualitative research. This may occur with the desire to disseminate their work in academic journals.


예를 들어, 로테이션 평가에 대한 자유 텍스트 항목의 정보가 교육 프로그램을 refine하기 위해 어떻게 사용되었는지 설명하기 보다는(프로그램 평가자가 관심이 있음), 그들은 데이터의 풍부함과 신뢰성에 초점을 맞춘다(연구자가 관심이 있음). 마찬가지로, 교수진과의 인터뷰를 통해 수집된 데이터가 평가자에게 중요한 온라인 CME 프로그램의 국지적local 가치를 확립하는 데 어떻게 도움이 되었는지에 대해 걱정하기보다는, 편의 샘플링 전략을 사용한 것이 다른 연구자들에게 어떻게 보여질지에 대해 걱정한다.

For example, rather than describing how information in free-text entries on end-of-rotation evaluations was used to refine an educational program, which would be of interest to evaluators, they focus instead on abundance and credibility of data, of interest to researchers. Similarly, rather than discussing how data collected from interviews with faculty members helped establish the local worth of an online continuing medical education program, which would be of concern to evaluators, they fret about their convenience sampling strategy, of concern to researchers.


그렇다고 해서 프로그램 평가가 연구보다 체계적이거나 생각적으로 덜 진행되어야 한다는 뜻은 아니다. 오히려, 요점은 각 프로젝트에 대한 초기 결정은 (비록 유일하진 않지만) 서로 다르다는 점이다: 주로 이론적인 문제를 다룰 것이냐(연구)나 실제적인 문제를 다룰 것이냐(프로그램 평가)

This is not to say that program evaluation should be conducted less systematically or thoughtfully than research. Rather, the point is that initial decisions about each project will be guided differently: primarily, although not solely, by theoretical issues (research) or by practical issues (program evaluation).


선을 흐리게 하는 것으로 돌아가기

Back to Blurring the Lines


최근 일부 의학 교육 학자들은 (학습자가 배우는 방법과 같은) 교육 과정을 뒷받침하는 메커니즘을 이해하는 것이 프로그램 평가와 유사하다고 제안했다.2 이러한 관점에서, 인간의 작용 과정human process을 이해하기 위해서는 연구의 방법론적 엄격성이 요구된다.

Recently, some medical education scholars have proposed that understanding mechanisms underpinning educational processes, such as how learners learn, is akin to program evaluation.2 From this point of view, methodological rigor of research is required to understand the human processes at play.



오늘 시작할 수 있는 것

How You Can Start TODAY


1. 프로젝트 시작 시 질적 데이터가 관련될 때(예: 자유 텍스트 항목) 그 목적에 대해 명확히 하십시오. 질적 연구를 위한 표준과 프로그램 평가를 위한 표준 중 어떤 표준을 제시하는가?

1. Be clear at the start of your project about its purpose when qualitative data are involved (eg, free-text entries). Which standards are indicated: those for qualitative research or those for program evaluation?


2. 프로젝트의 목적이 명확해지면 적절한 기준에 따르십시오.

2. Once the purpose of your project is clear, attend to the appropriate standards.


3. 질적 연구와 프로그램 평가가 충족시켜야 할 기준의 세트가 서로 다르다는 것을 안다.

3. Expect qualitative research to meet one set of standards and program evaluation to meet another.


장기적으로 할 수 있는 것

What You Can Do LONG TERM


1. 활용 중심의 평가, 개발 평가, 현실주의 평가 등 질적탐구에 잘 맞는 프로그램 평가 모델을 숙지한다.1–3

1. Become familiar with models of program evaluation that fit well with qualitative inquiry such as utilization-focused evaluation, developmental evaluation, or realist evaluation.1–3


2. 프로그램 평가 작업을 배포할 때, 청중에게 데이터의 품질을 판단하는 데 사용한 표준을 알려야 한다. 이 기준은 질적 연구와는 다르지만 여전히 중요하다.

2. When disseminating your program evaluation work, inform your audience of the standards you used to judge the quality of your data, standards which are as important as, but different from, qualitative research.


3. 의학교육에서 표준적합성 질적 연구와 표준적합성 프로그램 평가를 모두 보급할 수 있는 추가 장소를 지지한다.

3. Advocate for additional venues in which to disseminate both standard-conforming qualitative research and standard-conforming program evaluation in medical education.









. 2016 Dec;8(5):773-774.
 doi: 10.4300/JGME-D-16-00540.1.

Using Data From Program Evaluations for Qualitative Research


실패의 유용성: 연구와 학문을 위한 분류학(Perspect Med Educ, 2019)

The utility of failure: a taxonomy for research and scholarship

Meredith Young





아마도 인류의 오류의 역사는, 모든 것을 고려했을 때, 그들의 발견의 역사보다 더 가치 있고 흥미로울 것이다. 진실은 균일하고, 좁다[. . ] 그러나 오류는 끝없이 다양하다1. (벤자민 프랭클린)

Perhaps the history of the errors of mankind, all things considered, is more valuable and interesting than that of their discoveries. Truth is uniform, and narrow[. . . ] But error is endlessly diversified1. (Benjamin Franklin)


우리 모두는 [위대한 학자 또는 과학자]에 대한 친밀한 전형들을 가지고 있다.

We all have our own closely-held archetypes of a great scholar or scientist


우리는 훌륭하고 성공적인 스칼라십이란 어떤 모습인지에 대해 조심스럽게 단면적인 견해를 가지고 있다[1].

We have a carefully crafted one-sided view of what good and successful scholarship looks like [1].


학자 공동체로서 우리는 또한 연구비 확보가 얼마나 어려운지를 알고 있다(내 맥락에서 성공률 16–47%) [2, 3], 그리고 특정 저널에 게재되는 논문의 낮은 비율(상위 HPE(Health Professions Education) 저널에 대한 수용률)이 약 13–30%를 맴돌고 있다[4].

As a scholarly community we are also aware of how challenging it is to secure funding (success rates in my context range from 16–47%) [2, 3], and the low percentages of papers that see publication in a given journal (acceptance rates for top Health Professions Education (HPE) journals hover around 13–30%) [4].


이러한 지표는 이종 학자들의 공동체를 위한 총체적인 성공 척도로, 프로젝트가 자금을 지원받지 못하거나 출판되지 못하는 다양한 이유가 있을 수 있다[4–11].

Those metrics are aggregate measures of success for a heterogeneous community of scholars, and a project may not receive funding or be accepted for publication for a variety of reasons[4–11]—


'피칭', 즉 프로젝트를 다른 사람에게 설명할 때, 우리는

  • 문헌의 gap을 식별하지 못할 수도 있고

  • 우리의 목표를 명확히 설명하지 못하거나, 일관된 이론 또는 개념 체계를 설명하지 못할 수도 있고

  • 데이터 수집 또는 분석에 대한 접근 방식을 효과적으로 설명하지 못할 수도 있고

  • 이 연구가 HPE 커뮤니티에 미치는 영향을 명확히 설명하지 못할 수도 있다.

In ‘pitching’ or describing a project we may have failed to identify the gap in the literature [12], failed to clearly articulate our objectives, failed to describe a coherent theoretical or conceptual framework [13, 14], failed to describe our approach to data collection or analysis effectively, or failed to articulate the impact of this piece of scholarship on the HPE community.


여기서, 나는 분명히 잘 적응하고, 잘 설계되고, 심사숙고하며, 잘 실행되지 않는 학문적 프로젝트에 초점을 맞추고 싶다. 간단히 말해 [기대되는 연구결과를 생성하지 못했거나] [가정이나 이론을 뒷받침하지 못하거나 완전히 놀랍고 종종 곤혹스러운 결과를 낳은] '좋은 연구' 에 초점을 맞출 것이다. 즉, 기대했던 결과나 지식, 영향을 일으키지 못한 이러한 수준 높은 연구 노력을 탐구하고, 학술 프로젝트의 건전한 실패는 사실 HPE에서의 성공적인 학술활동의 중요한 요소라고 주장하고 싶다.

Here, I would like to focus explicitly on the well-situated, well-designed, well-considered, and well-executed scholarly project that fails—

the ‘good study’ that simply 

fails to generate the expected learning outcomes, 

fails to support an assumption or theory, or generates entirely surprising and often puzzling results. 

In other words, I wish to explore these high-quality research endeavours that have failed to generate the findings, knowledge, or impact that were anticipated, and argue that the failure of a sound scholarly project is actually a critical component of successful scholarship in HPE.


실패는 성공의 결여로 정의될 수 있지만, 또한 '기대, 요구 또는 예상된 무언가의 비발생'으로 정의될 수 있다[16]. 연구, 프로젝트 또는 일련의 탐구 실패가 모든 과학 또는 학술 분야에서 중요한 역할을 했다[1, 17, 18]. 실패가 없다면 발견도, 새로운 이론도, 사상에서의 새로운 혁명도 있을 수 없다[17]. 가설과 이론의 반증falsification은 현재의 과학적 관행[18–20]의 특징이며, 이러한 관행은 언제 특정 아이디어가 실패하는지를 발견하는 데 의존한다. 변칙적이거나 예상치 못한 발견의 축적은 현상에 대한 [현재의 사고방식의 실패]의 표시로, 쿤은 이것이 종종 패러다임 변화의 시작을 의미한다고 제안한다[17].

Failure can be defined as a lack of success, but also as a ‘nonoccurrence of something due, required or expected’ [16]. The failure of a study, project, or line of inquiry to generate expected findings has had a critical role in every domain of science or scholarship [1, 17, 18]. Without failure there can be no discovery, no new theories, no new revolutions in thought [17]. Falsification of hypotheses, and theories have been a hallmark of current scientific practices [18–20], and these practices rest on discovering when an idea fails. The accumulation of anomalous or unexpected findings is a marker of the failure of a current way of thinking about a phenomenon, and Kuhn suggests that this often marks the beginning of a paradigm shift [17].


실패는 학술연구의 중요한 요소 중 하나이며, 우리의 사고가 진보하도록 돕기 위해 필요하다. 그러나, 과학 공동체가 크게 쓰이면서, 우리는 실패의 빈도, 실패의 이익, 실패의 직접적인 결과로 가능한 성장을 제대로 전달하지 못했다[1]. 우리는 일반 대중에게 연구에는 일정 빈도의 실패가 필요하다는 것을 인정하지 않았으며, 대신에 마치 작업한 프로그램을 의도적으로 논리적이고 선형적이며 실패가 없는 것으로 정교하게 큐레이션하고 홍보하는 것을 선택했다[1]. 우리의 실패를 조용히 정리함으로써 우리는 중요한 무의미하거나 예상치 못한 발견을 집단적으로 놓쳐왔으며, 그 결과 연습생, 동료, 그리고 종종 우리 자신으로부터 배울 수 있는 중요한 기회를 숨기거나 최소화하게 되었다.

Failure is one important component of scholarship, and is necessary to help our thinking progress. But, as a scientific community writ large, we have done a poor job of communicating the frequency of failure, the benefits of failure, and the growth that is possible as a direct result of failure [1]. We have failed to admit the frequency of failure necessary in scholarship to the general public, instead choosing to promote our carefully curated programs of work as intentionally logical, linear, and failure-free [1]. By quietly filing away our failures we are collectively missing out on important null or unexpected findings and hiding or minimizing important opportunities for learning from our trainees, peers, and often ourselves.


실패의 형태 분류법 생성

Generation of the taxonomy of forms of failure


스튜어트 파이어스타인의 저서 '실패:과학이 그렇게 성공적인 이유'[1]. 

Stuart Firestein’s book ‘Failure:Why Science is So Successful’ [1]. 


이 책에서 저자는 두 개의 인용구, 즉 에디슨과 아인슈타인의 분류법 내에서 내가 그렸던 인용구들을 그리고 있는데, 이 두 인용구들을 대조한 그의 작품은 내가 학문적인 실패의 유형에 대해 생각하는 데 기초를 두었다.

In this book, the author draws on two quotes—the ones I have drawn on as examples within the taxonomy from Edison and Einstein—and his work contrasting these two quotes laid the foundations in my thinking about the types of scholarly failure.


표1

Tab. 1.


실패의 형태

Forms of failure



혁신 지향적 실패

Innovation-oriented failure


HPE는 깊은 이론과 완전히 실용적인 분야를 연결하는 분야다. Albert는 HPE연구를 [생산자(즉, 연구자 및 학자)를 위해 생산한 작업]과 [사용자(즉, 교육자 및 교사)를 위해 생산한 작업]의 스펙트럼으로 설명했으며[37], [서비스 지향 연구]와 [발견 지향 연구] 사이의 긴장을 논의하였다[38]. HPE 연구에 존재하는 스펙트럼을 존중하는 한편, 이 분야는 최대한의 환자 관리를 지원하기 위한 최선의 교육을 보장한다는 실용적 목표에 초점을 맞춘 것으로 묘사되어 왔다. 즉, '의학교육의 1차 목표는 환자진료를 개선하는 것이다' [39, 페이지 6].

HPE is a field that bridges the deeply theoretical and the entirely pragmatic. Albert describes HPE scholarship on a spectrum of work produced for producers (i.e. researchers and scholars) to work produced for users (i.e. educators and teachers) [37], and has discussed the tension between service-oriented research and discovery-oriented research [38]. While respecting the spectrum of work present in HPE scholarship, the field has been described as centring on the pragmatic goal of ensuring the best education to support the best possible patient care. In other words, ‘The primary goal of medical education is to improve patient care’ [39, p. 6].


우리의 첫 번째 실패는 혁신적 사고방식과 강하게 연관되어 있다. 종종 혁신은 어떤 것을 '이렇게 해야 한다' 또는 '이렇게 되어야 한다'는 생각, 즉 커리큘럼을 어떻게 구성해야 하는지, 콘텐츠가 어떻게 전달되어야 하는지, 또는 역량에 대한 추론이나 판단이 어떻게 이루어져야 하는지에 대한 생각에서 시작된다. 현상을 유지하는 것에서 '해야 하는 방식'으로 바꾸려는 시도가 이루어지며, 어떤 일을 하는 새로운 방식을 혁신하고 구현하기 위한 시도가 이루어진다. 때로는 효과가 있고, 때로는 효과가 없다.

Our first kind of failure is strongly associated with an innovation mindset. Often innovations begin with an idea of how something ‘should be’ or ‘should be done’—a particular way a curriculum should be structured, how content should be delivered, or how inferences or judgments of competence should be made. Attempts are made to change from a status quo to what ‘should be’—attempts are made to innovate and implement a new way of doing something. Sometimes it works, and sometimes it doesn’t.


토마스 에디슨의 것으로 유명한 '나는 실패한 적이 없다, 단지 그것이 작동하지 않는 10,000가지 방법을 발견했다'는 인용문은 혁신 지향적인 실패의 본질을 포착하고 있다. 이런 종류의 실패는 체계적이고 진보적이며 목표 지향적인 실패다. 왜 혁신이 실패했는지에 대한 세심한 고찰과 함께 당신이 생각해야만 하는 것을 향한 느린 진군이다. 왜 기술혁신이 의도한 목표에 도달하지 못했는지에 대한 세심한 분석을 통해, 다시 한 번 시도를 할 때 기술혁신의 [프로세스나 내용을 수정]하도록 만든다. - 어떤 것을 '해야 하는' 방법에 더 가까이 다가가도록 한다.

The quote ‘I have never failed, just found 10,000 ways it doesn’t work2’, famously attributed to Thomas Edison, captures the essence of innovation-oriented failure. This kind of failure is systematic, progressive, goal-oriented failure. The slow march towards what you think should be, with careful consideration for why an innovation may have failed. Careful analysis of why an innovation failed to reach its intended goal leads to modification of process or content of the innovation often in order to try it again—to try to get closer to how things ‘should be’.


혁신지향적 실패는 가고 싶은 곳을 알 때 일어나지만, 거듭되는 시도와 실패는 어떻게 가야 하는지 알아내는 데 도움이 된다.

Innovation-oriented failure occurs when you know where you want to go, but repeated attempts and failures help you figure out how to get there.


발견 지향적 실패

Discovery-oriented failure


과학적인 사고가 어떻게 변해왔는가를 논할 때, 우리는 종종 물리학의 역사를 그린다. 중요한 예는 우리가 태양계의 중심이라는 개념을 어떻게 포기했는가 하는 것이다. 이것들은 패러다임 변화의 전형적인 예로서, 우리의 '전형적인' 이해방식이 새로운 이론, 새로운 가정, 그리고 세계의 새로운 이해로 대체될 때 나타난다. 새로운 발견, 새로운 이론, 사상에서의 새로운 혁명은 현상에 대한 현재의 이해가 실패하는 것에 달려 있다.

When discussing how scientific thought has changed, we often draw on the history of physics—a key example being how we abandoned the notion of the earth being the centre of the solar system. These are classic examples of paradigm shifts [17]—when our ‘typical’ way of understanding something is replaced by a new theory, new set of assumptions, and new understandings of the world. New discovery, new theories, new revolutions in thought are dependent on the failure of our current understanding in the face of phenomena.


우리의 두 번째 유형의 실패는 발견 지향적인 실패다. 이러한 종류의 실패는 우리가 알고 있는 것(또는 우리가 알고 있다고 생각하는 것)[40]의 경계에서 발생한다—이러한 종류의 실패는 우리가 이론을 개발하거나 시험하고 있을 때, 가설을 반증하려고 시도하거나, 어떤 사상의 일반성 또는 새로운 맥락으로의 전달 가능성을 비판적으로 검토할 때 일어난다[13, 41]. 발견지향적 실패의 전형은 아인슈타인의 '실패는 진행중인 성공이다3'라는 말로 대변될 수 있다. 이런 종류의 실패는 이론, 아이디어, 가설을 깨질 때까지 밀어붙이는 큰 규모의 실패다. 그것을 향상시키기 위해서, 혹은 언제 그것을 포기해야 하는지를 알기 위해서 그것을 더 잘 이해하기 위해서 그것이 실패할 때까지 밀어붙이는 것이다. 발견 지향적인 실패는 통념에 도전하고, 사고의 변화 가능성을 열어두고, 낡은 문제나 현상에 대한 새로운 설명을 탐구하며, 우리가 알고 있다고 생각하는 것의 한계를 시험하는 것이다.

Our second type of failure is discovery-oriented failure. This kind of failure occurs at the periphery of what we know (or think we know)[40]—this kind of failure happens when we are developing or testing a theory [32], attempting to falsify a hypothesis, or critically examine the generalizability or transferability of an idea to a new context [13, 41]. Our archetype of discovery-oriented failure is none other than Einstein for whom ‘Failure is success in progress3’. This kind of failure is purposeful failing on a grand scale—pushing a theory, an idea, a hypothesis until it breaks. Pushing it until it fails in order to understand it better in order to improve it, or to know when to abandon it. Discovery-oriented failure is what challenges conventional wisdom, opens up the possibility of changes in thought, explores new explanations for old problems or phenomena, and tests the limits of what we think we know.


어떻게 보면 발견 중심의 실패는 엔지니어링 및 제조에서 파괴 시험의 원리와 유사하다. 파괴 시험에서 물체, 물질 또는 최종 제품은 세밀한 감시 하에 다양한 조건(예: 압력, 온도, 진동)을 받는다. 그 물체는 실패할 때까지 점점 더 많은 스트레스를 받는다. 그 실패는 면밀하게 분석된다. 어떤 조건에서 실패했는가? 어떻게 실패했지? 그리고 때때로 파괴적인 테스트는 치명적인 결함을 제거하고 그 대상, 물질 또는 제품은 재설계, 재설계 및 재시험된다.

In a way, discovery-oriented failure is analogous to the engineering and manufacturing principle of destructive testing. In destructive testing, an object, material, or final product is subjected to a variety of conditions (e.g. pressure, temperature, vibration) under close monitoring. The object is subjected to increasing stress until it fails. The failure is analyzed closely—under what conditions did it fail? How did it fail? And occasionally, destructive testing uncovers a fatal flaw and that object, material, or product is re-engineered, re-designed, and re-tested.


발견 지향적 실패와 파괴 실험은 아이디어나 물체가 강하게 남아 있는 상황과 실패하는 상황을 이해하기 위해 기대한 한계를 뛰어넘는다. 이런 종류의 실패는 덜 빈번하고 덜 자주 출판된다.

Discovery-oriented failure and destructive testing both push beyond anticipated limits in order to understand the circumstances under which an idea or object remains strong, and where it fails. this kind of failure is a less frequent, less frequently published,


우연적 실패

Serendipitous failure


그리고 때때로 그저 일이 계획대로 되지 않는다. 우리는 기술혁신이나 연구를 설계하는 것은 건전한 교육 및 연구 실천에 의존하고 이론 및 개념적 프레임워크를 세심하게 만들고 연구나 개입을 시작하기 전에 가용한 작업을 도출하는 것이라는 것을 배우고 싶다. 우리는 (일반적으로) 연구가 어떻게 진행될 것 같은지, 우리가 기여하고자 하는 문헌의 어떤 이론과 토론이 어떤 것인지에 대한 감각을 가지고 있으며, 어쩌면 특정한 가설을 의도적으로 시험하고 있는지도 모른다.

And sometimes things just don’t go as planned. We are taught (and hopefully role model) that crafting an innovation or designing a study are dependent on engaging sound educational and research practices, carefully crafting theoretical and conceptual frameworks [13, 14], and drawing on available work prior to launching a study or intervention. We (generally) have a sense of how the study is likely going to progress, what theories and discussions in the literature we are intending to contribute to, and perhaps are even purposefully testing a specific hypothesis.


하지만, 어떤 때는 계획대로 되지 않는다. 아이작 아시모프가 말했다.'과학에서 들을 수 있는 가장 흥미진진한 구절, 새로운 발견을 예고하는 구절은 "유레카!"가 아니라 "그것 참 재미있군" ...'4이다. 이러한 우연한 실패는 연구와 학술활동의 실패에서 더 흔한 유형 중 하나일 수 있다.

But, some-times things don’t go as planned. Isaac Asimov said‘The most exciting phrase to hear in science, the one that heralds new discoveries, is not “Eureka!” (I found it!) but “That’s funny” ...’4. This serendipitous failure may be one of more common types of failure in research and scholarship—


이러한 기회주의적 실패는 발견의 패턴 뒤에 숨겨진 '왜'를 이해하기 위해 예상치 못한 발견과 연관시키고 추적하는 데 초점을 맞춘다[42].

This opportunistic failure focuses on engaging with and chasing the unexpected finding to try to understand the ‘why’ behind the pattern of findings [42].


일반적으로 과학철학의 핵심 사상가로 여겨지지는 않지만, 우리의 우연한 실패의 전형은 '실수라는 것은 없다. 그저 행복한 작은 사고들만 있을 뿐이다'이라고 말한 미국의 공공 화가 밥 로스다. 아시모프와 로스 둘 다 예상치 못한 사건의 가치를 인식하고, 실패를 전통적인 관념으로 보기보다는, [새로운 이해를 창조하거나 발견하기 위한 기회를 수용하기 위한 기회로 인식 전환을 가능캐해주는 통찰력과 진보]로 바라본다. 이러한 종류의 실패는 반직관적인 발견, 전형적인 접근법이나 틀에 대한 질문, 그리고 전통적인 사고방식에 대한 생산적인 조사방식의 발견을 가능하게 한다. 이런 종류의 실패를 이용하기 위해서는, 우리는 우연한 발견과 예기치 못한 발견 뒤에 있는 메커니즘을 탐구하는 데 열려 있어야 한다.

While not typically considered a key thinker in the philosophy of science, our archetype for serendipitous failure is American public painter Bob Ross, who said ‘there are no mistakes, just happy little accidents’. Asimov and Ross both recognize the value of unexpected events—and suggest the insights and progress possible in shifting perception from traditional notions of failure to opportunities to embrace the unexpected to create, or uncover, new understanding. This kind of failure allows for the circumstantial discovery of counter-intuitive findings, of questioning typical approaches or frames, and of productive lines of inquiry counter to traditional pathways of thinking. In order to harness the benefits of this kind of failure, we must be open to exploring the mechanisms behind our serendipitous and unexpected findings.



고찰

Discussion


첫째, 실패가 의도성이 있는지, 혁신 지향적이었는지, 발견 지향적이었는지, 예상치 못한 뜻밖의 실패였는지는 연구와 학술활동의의 필수적인 요소라는 것이다. '과학은 어리둥절한 어리둥절함, 회의론, 실험의 난해함 속에서 성장한다'[1,p.59], 우리는 일반적으로 의미 있는 실패 뒤에 행해진 종종 어리둥절하고, 예상치 못한, 도전적인 작업을 감추고, 따라서 다소 정리된 형태의 학문적 과정을 영속시켜 왔다[1]. 우리는 실패의 가치를 과소평가해왔고, 이것은 좋은 연구가 선형적이라는 편견, 성공 중심성에 대한 편향된 관점을 형성하게 기여했을 가능성이 높다[1]. 우리가 현대 과학을 논리적이고 선형적인 방법으로 서서히 증거를 축적하는 것으로 생각하는 경향이 있는 반면, 포퍼는 성공 가능성이 높은 작고 안전한 가설들이 지식을 쌓는 데 기여하지만, 이해를 진전시키는 데는 도움이 되지 않는다고 제안했다. 오히려, 앞으로 나아가는 위대한 발걸음은 크고 위험한 아이디어에서 나온다. 실패 가능성이 높은 아이디어는 우리의 사고 진전에 도움을 주는 아이디어들이다[18].

The first is that failure is an integral component of research and scholarship—whether that failure was purposeful and innovation-oriented, discovery-oriented, or unanticipated serendipitous failure. ‘Science grows in the mulch of puzzled bewilderment, scepticism, and experiment’ [1,p.59],and we have typically hidden the often puzzling, unanticipated, and challenging work done following a meaningful failure, and so have perpetuated a rather tidiedup version of the scholarly process [1]. We have underrepresented the value of failure, and this has likely contributed to a skewed perspective of the linearity and success-focused nature of good scholarship [1]. While we tend to think of modern science as slowly accumulating evidence in a logical, linear way, Popper has suggested that small, safe hypotheses with a high likelihood of success contribute to building knowledge, but don’t help advance understanding. Rather, great steps forward come from big, risky ideas—ideas that have a high likelihood of failure are the ones that help our thinking progress [18].


두 가지 결과가 있을 수 있다: 

만약 결과가 가설이 옳았다면, 당신은 측정을 한 것이다. 

만약 결과가 가설에 반하는 것으로 나왔다면, 당신은 발견을 한 것이다.5

There are two possible outcomes: if the result confirms the hypothesis, you’ve made a measurement. If the result is contrary to the hypothesis, then you’ve made a discovery.5


과학에서 실패가 중요한 역할을 한다는 것을 인정하면서, 우리는 실패가 제공하는 기회를 의도적으로 이용해야 한다(표 2의 특정 권고사항). 이 작품 전체에 걸쳐 짜여진 암묵적인 주장은 실패한 프로젝트가 실패한 연구는 아니라는 것이다. 그러나, 왜 특정한 혁신이 실패했는지 또는 왜 실패한 프로젝트를 성공적인 장학금으로 바꾸기 위해 특정한 결과의 패턴이 생성되었는지 이해하기 위해 많은 노력이 필요하다.

Acknowledging that failure has an important role to play in science is an important first step, we must also purposefully engage with the opportunities that failure provide (specific recommendations in Tab. 2). An implicit argument woven throughout this piece is that a failed project is not failed scholarship. However, hard work is needed to understand why a particular innovation failed, or why a particular pattern of results were generated in order to turn a failed project into a successful piece of scholarship.



실패를 교훈으로 삼아야 한다.

engage with the failure in order to learn from it.


  • 왜 혁신이나 개입이 문제를 해결하지 못했는지, 

  • 왜 어떤 특정한 조건에서 이론이 실패하는지, 

  • 왜 깨끗하게 설계된 연구가 예상치 못한 방향으로 진행되었는지.

why an innovation or intervention failed to solve a problem, 

why a theory fails under certain conditions, or 

why a cleanly designed study went in an unanticipated direction.


그러나, 이러한 목적적 참여는 시간이 걸리고, 종종 후속 연구를 위한 자원이 필요하며, 때때로 새로운 이론적 렌즈를 배우고 채택하는 것을 포함하며, 때로는 주어진 장학금 전체에 내재된 자신의 가정을 비판적으로 재고하는 것을 포함한다. 실패한 프로젝트를 제쳐놓거나 서랍 바닥에 집어넣어버리는 것이 더 쉬울 수 있지만, 실패에 관여하지 않는 것을 선택하는 것은 학문적으로 성장하기 위한 기회를 놓치는 것이다

But, this purposeful engagement takes time, often requires resources for follow-up studies, occasionally involves learning and adopting a new theoretical lens, and sometimes involves critically reconsidering your own assumptions embedded throughout a given piece of scholarship. It may be easier to put a failed project aside, or tuck it into the bottom of a file drawer, but choosing not to engage with a failure is a missed opportunity for scholarly growth.


의도적으로 실패에 관여하는 것은 연구팀에 유익할 수 있지만, 연구란 근본적으로 사회적 노력이다. 우리 공동체는 사회적으로 배운다. 우리는 다른 사람들의 일을 통해 배운다. 생산적 실패가 제공하는 기회를 공동체적으로 활용하기 위해서는 공개적으로 실패와 협력해야 한다. 공개적으로 실패를 공유하는 것은 쉽지 않다.

While purposefully engaging with failure can be informative to a research team, scholarship is a fundamentally social endeavour. Our community learns socially—we learn from the work of others. In order to capitalize as a community on the opportunities provided by productive failure, we must publically engage with failure. Sharing failure publically is not easy.


과학은 외부인들이 상상하는 직설적인 논리적인 방식으로 진행되지 않는다. 대신에 한 발 앞으로 (그리고 때로는 뒤로) 가는 경우는 종종 매우 인간적인 사건이다.

Science seldom proceeds in the straightforward logical manner imagined by outsiders. Instead its steps forwards (and sometimes backward) are often very human events6.


실패에 대한 공개와 실패한 프로젝트를 이해함으로써 도출된 중요한 통찰력은 우리의 건강직업 교육(HPE) 학계 커뮤니티에서 가치 있는 것으로 볼 필요가 있다.

Public disclosure of failure, and important insights drawn from understanding a failed project, need to be seen as valuable by our Health Professions Education (HPE) scholarly community.


공동체로서, 우리는 우리의 집단적 지식 기반을 키우기 위해 생산적인 실패와 그것으로부터 비롯되는 우리의 통찰에 대해 더 편안하게 토론할 필요가 있다. 다른 것이 아니라면, 실패한 프로젝트에 대한 고의적인 공개 토론은 제한된 연구와 교육 자원을 더 효과적으로 사용하게 할 수 있다. 만약 우리가 누군가가 시도하고 실패했다는 것을 안다면, 우리는 같은 것을 다시 시도함으로써 이득을 얻을 것 같지 않다.

As a community, we need to become more comfortable discussing productive failures and our insights that have resulted from them in order to grow our collective knowledge base. If nothing else, deliberate public discussion of failed projects could lead to more effective use of limited research and educational resources—if we know that someone has tried and failed, we are unlikely to benefit from trying the same thing again.


실패에 의도적으로 관여하고, 실패한 일을 공개적으로 논하는 것은 적절한 학술 자원 관리 및 성공적인 혁신의 더 나은 translation에 기여할 수 있다[45]. 또한, 의도적으로 실패에 관여하는 것은 커뮤니티 전체의 성장형 마음가짐을 가져올 수 있다[46]. 여기서 우리는 실패에 관여하는 것을 학문적 공동체로서 성장과 발전의 기회로 평가할 것이다.

Purposefully engaging with failure, publicly discussing failed work, could contribute to appropriate scholarship resource stewardship and better translation of successful innovations (if we know why/how they have failed) [45]. Further, purposefully engaging with failure could embed a community wide growth mindset [46]—where we would value engaging with failures as opportunities for growth and development as a scholarly community.


커뮤니티 전체의 성장 사고방식의 가능성 외에도, 광범위한 교육 문헌에서의 연구는 생산적 실패의 이점을 문서화했다[47].

In addition to the possibility of a community-wide growth mindset, work in the broader educational literature has documented the benefits of productive failure [47].


집단으로 일하는 학생들이 능력 밖의 문제를 해결하기 위해 창의적으로 문제를 해결하려고 노력하지만, 그렇지 않다면 그렇게 하는 경우는 드물다. 그러나 이러한 '생산적인 실패'의 효과는 학생들이 개별적으로 문제를 풀어나갈 때 나타난다. 문제를 해결하는 데 실패하도록 설계된 그룹에서 작업한 사람들은 후속 작업에 더 잘 수행한다. 그들은 잘 정의되지 않은 문제와 잘 정의되지 않은 문제를 모두 해결할 수 있다. 해결할 수 없는 문제를 해결하기 위해 고군분투하는 후유증은 나중에 문제를 더 잘 풀 수 있다는 것이다.

For the students who work in groups to solve problems outside of their abilities, they engage creatively trying to solve the problem, but rarely, if ever, do. But the effects of this ‘productive failure’ are seen when the students go on to solve problems individually. Those who worked in groups designed to fail to solve the problem perform better on the subsequent tasks—they are better able to solve both well- and ill-defined problems. The aftereffects of struggling to solve an unsolvable problem are that you are better able to later solve problems.


생산적 실패의 현상은 고등교육의 맥락[48]에 적용되었고, 계속 다듬고 토론되고 있지지만, 기초적인 개념은 연구와 학술활동에서 실패의 가치에 대한 논의에 여전히 도움이 된다. 실패한 학문적 프로젝트에 관여하는 것 자체가 통찰력이나 해결책으로 이어지지 않을 수도 있지만, 그럼에도 불구하고 그것은 우리의 다음 문제나 프로젝트에 더 효과적으로 관여하는 것을 촉진할 수 있다. 한 프로젝트에 실패하는 것을 감수하는 것은 다음 학문적 프로젝트에 도움이 될 수 있다.

The phenomena of productive failure has been applied in higher education contexts [48], and continues to be refined [49] and debated, however the underlying notion remains helpful for a discussion of the value of failure in research and scholarship. While engaging with our failed scholarly projects may not in itself lead to insight or solution, it may nevertheless facilitate engaging with our next problem or project more effectively—engaging with the failure on this project may support our next scholarly project.


마지막으로, 과학의 실패를 성찰하는 것은 실패의 배후에 있는 과학자, 학자, 연구원들에 대한 인정을 필요로 한다. 공동체로서 실패를 인정하고, 받아들이고, 실패로부터 배우는 것은 실패한 프로젝트의 경험을 인간화하고 정상화하는데 도움이 될 수 있다. 즉, 우리 모두는 실패하고, 모두 실패하고, 그리고 계속 실패할 것이다. 만약 우리가 실패하지 않는다면, 우리는 우리의 분야를 발전시키지 못하고 있는 것이다[18]. 결론적으로, 나는 Neil Gaiman7에 동의한다. "가서, 흥미로운 실수를 하십시오. 영광스럽고 환상적인 실수를 하십시오." 그런 다음 그것들을 공유하십시오.

Finally, reflecting on failure in science necessitates an acknowledgement of the scientists, scholars, and researchers behind the failures. Acknowledging, engaging with, and learning from failures as a community may help to humanize and normalize the experience of a failed project—we all fail, have all failed, and will continue to fail. If we aren’t failing, we aren’t helping our field move forward [18]. In conclusion, I echo Neil Gaiman7 and encourage us to “Go, and make interesting mistakes, make glorious and fantastic mistakes”. And then be sure to share them.


42. Young M, LaDonna K, Varpio L, Balmer D. Focal length fluidity: research questions in medical education research and scholarship. Acad Med. 2019;94(11S):S1–S4.








. 2019 Dec;8(6):365-371.
 doi: 10.1007/s40037-019-00551-6.

The Utility of Failure: A Taxonomy for Research and Scholarship

Affiliations 

Affiliation

  • 1Department of Medicine and Institute for Health Sciences Education, McGill University, Montreal, QC, Canada. Meredith.young@mcgill.ca.

Abstract

Introduction: Health professions education (HPE) research and scholarship utilizes a range of methodologies, traditions, and disciplines. Many conducting scholarship in HPE may not have had the opportunity to consider the value of a well-designed but failed scholarly project, benefitted from role-modelling of the value of failure, nor have engaged with the common nature of failure in research and scholarship.

Methods: Drawing on key concepts from philosophy of science, this piece describes the necessity and benefit of failure in research and scholarship, presents a taxonomy of failure relevant to HPE research, and applies this taxonomy to works published in the Perspectives on Medical Education failures/surprises series.

Results: I propose three forms of failure relevant to HPE scholarship: innovation-driven, discovery-oriented, and serendipitous failure. Innovation-driven failure was the most commonly represented type of failure in the failures/surprises section, and discovery-oriented the least common.

Conclusions: Considering failure in research and scholarship, four conclusions are drawn. First, failure is integral to research and scholarship-it is how theories are refined, discoveries are made, and innovations are developed. Second, we must purposefully engage with the opportunities that failure provide-understanding why a particular well-designed project failed is an opportunity for further insight. Third, we must engage publicly with failure in order to better communicate and role model the complexities of executing scholarship or innovating in HPE. Fourth, in order to make failure truly an opportunity for growth, we must, as a community, humanize and normalize failure as part of a productive scholarly approach.

Keywords: Failure; Research; Scholarship; Surprises.


질적연구 실행가이드 파트4. Trustworthiness와 출판(Eur J Gen Pract, 2018)

Series: Practical guidance to qualitative research. Part 4: Trustworthiness and publishing

Irene Korstjensa and Albine Moserb,c




도입

Introduction



신뢰성

Trustworthiness


질적 연구의 품질 기준은 무엇인가?

What are the quality criteria for qualitative research?


동일한 품질 기준이 '빅3' 접근방식을 포함한 모든 정성적 설계에 적용된다. 정량적 연구에 사용되는 품질 기준(예: 내부 타당성, 일반성, 신뢰성, 객관성)은 정성적 연구의 품질을 판단하기에 적합하지 않다. 질적 연구자들은 신뢰성trustworthiness에 대해 말하는데, 이것은 '결과가 신뢰할 수 있을까?'라는 질문을 제기하는 것이다[4].

The same quality criteria apply to all qualitative designs, including the ‘big three’ approaches. Quality criteria used in quantitative research, e.g. internal validity, generalizability, reliability, and objectivity, are not suitable to judge the quality of qualitative research. Qualitative researchers speak of trustworthiness, which simply poses the question ‘Can the findings to be trusted?’ [4].


가장 잘 알려진 기준은 링컨과 구바가 정의한 신뢰도, 이전 가능성, 신뢰성 및 확인성이다 [4].

the best-known criteria are credibility, transferability, dependability, and confirmability as defined by Lincoln and Guba [4].



신뢰성이란 무엇이며 그것을 보장하기 위해 어떤 전략을 사용할 수 있는가?

What is credibility and what strategies can be used to ensure it?


신뢰성은 양적 연구에서 내부 타당성에 상당하며 진리-가치 측면과 관련이 있다[4]. 장기적 관여, 지속적인 관찰, 삼각 측량 및 구성원 확인(상자 2)을 통한 신뢰성 확보 전략.

Credibility is the equivalent of internal validity in quantitative research and is concerned with the aspect of truth-value [4]. Strategies to ensure credibility are prolonged engagement, persistent observation, triangulation and member check (Box 2).


모든 전략이 적절하지는 않을 것이다. 예를 들어, 읽고 쓸 수 있는 수준이 낮은 연구 참여자에게는 서면 조사 결과의 멤버체킹이 불가능할 수 있다.

not all strategies might be suitable. For example, a member check of written findings might not be possible for study participants with a low level of literacy.


장기 결속.

Prolonged engagement.


숙달과 관련된 주제에 대해 몇 가지 분명한 질문이 있었다. 참가자들에게 예를 들어 그들의 진술을 지지하도록 격려했고, 인터뷰 진행자는 후속 질문들을 했다. 연구자들은 연구중인 현상의 범위를 제공하기 위한 이론이 나올 때까지 그들의 인터뷰 원자료에서 나온 자료를 연구했다. 

Several distinct questions were asked regarding topics related to mastery. Participants were encouraged to support their statements with examples, and the interviewer asked follow-up questions. The researchers studied the data from their raw interview material until a theory emerged to provide them with the scope of the phenomenon under study. 


삼각측량.

Triangulation.


삼각측량법은 복수의 접근법을 이용하여 질적 연구 과정을 향상시키는 것을 목표로 한다[7]. 

      • 방법론적 삼각측량은 심층면접, 포커스그룹토론, 현장노트 등 서로 다른 데이터 수집 방법으로 데이터를 수집해 활용했다. 

      • 사자 삼각측량은 연구팀 구성원과 마찬가지로 여러 연구자를 참여시키고, 연구의 조직적인 측면과 분석 과정을 다루는 방식으로 적용되었다.

Triangulation aims to enhance the process of qualitative research by using multiple approaches [7]. Methodological triangulation was used by gathering data by means of different data collection methods such as in-depth interviews, focus group discussions and field notes. Investigator triangulation was applied by involving several researchers as in research team members, and involving them addressing the organizational aspects of the study and the process of analysis.


지속적인 관찰.

Persistent observation.


코드, 개념 및 핵심 범주를 개발하는 것은 데이터의 특성을 조사하는 데 도움이 되었다. 연구자들은 끊임없이 데이터를 읽고 다시 읽고, 분석하고, 그에 대한 이론을 세우고, 그에 따라 개념을 수정했다. 그들은 코드, 개념, 그리고 핵심 범주를 리코딩하고 다시 라벨을 붙였다. 연구원들은 최종 이론이 의도한 통찰력의 깊이를 제공할 때까지 이 자료를 연구했다. 

Developing the codes, the concepts and the core category helped to examine the characteristics of the data. The researchers constantly read and reread the data, analysed them, theorized about them and revised the concepts accordingly. They recoded and relabelled codes, concepts and the core category. The researchers studied the data until the final theory provided the intended depth of insight. 


회원 체크.

Member check.


인터뷰와 포커스 그룹 토론의 모든 녹취록은 참가자들에게 보내져 피드백을 받았다. 또한, 학습 기간 중 중간쯤에는 인터뷰나 포커스 그룹 토론에 참여한 경험이 있는 사람들과의 미팅이 진행되어 해석을 수정하고 '잘못된' 해석에 도전할 수 있었다. 마지막으로, 그 발견은 이론을 확인하기 위해 다른 회의의 참가자들에게 제시되었다. 

All transcripts of the interviews and focus group discussions were sent to the participants for feedback. In addition, halfway through the study period, a meeting was held with those who had participated in either the interviews or the focus group discussions, enabling them to correct the interpretation and challenge what they perceived to be ‘wrong’ interpretations. Finally, the findings were presented to the participants in another meeting to confirm the theory. 



전이가능성은 무엇을 의미하며 누가 '전이가능성 판단'을 하는가? 

What does transferability mean and who makes a ‘transferability judgement’? 


이전가능성은 적용가능성의 측면과 관련이 있다[4].연구자로서 당신의 책임은 참가자와 연구 과정에 대한 '두터운 설명'을 제공하여 독자가 당신의 연구 결과가 자신의 설정으로 이전될 수 있는지 평가할 수 있도록 하는 것이다. 이것이 소위 전이가능성 판단이다. 이것은 (독자의 구체적인 상황을 모르는) 당신이 아닌 독자가 전달가능성을 판단한다는 것을 의미한다.

Transferability concerns the aspect of applicability [4].Your responsibility as a researcher is to provide a ‘thick description’ of the participants and the research process, to enable the reader to assess whether your findings are transferable to their own setting; this is the that so-called transferability judgement. This implies the reader, not you, makes the transferability judgment because you do not know their specific settings.


연구가 수행된 상황, 그 설정, 표본 크기, 표본 전략, 인구통계학적, 사회경제적, 임상적 특성, 포함 및 배제 기준, 인터뷰 절차 및 주제, 반복 연구 과정에 기초한 인터뷰 질문의 변경, 인터뷰 가이드의 발췌 등. 

such as the context in which the research was carried out, its setting, sample, sample size, sample strategy, demographic, socio-economic,and clinical characteristics, inclusion and exclusion criteria, interview procedure and topics, changes in inter-view questions based on the iterative research process, and excerpts from the interview guide. 


신뢰성과 확인성의 차이점과 감사 추적이 필요한 이유는 무엇인가? 

What is the difference between dependability and confirmability and why is an audit trail needed? 


신뢰성에는 일관성의 측면이 포함된다[4].분석 프로세스가 특정 설계에 대해 승인된 표준과 부합in line with되는지 여부를 확인해야 한다.

Dependability includes the aspect of consistency [4].You need to check whether the analysis process is in line with the accepted standards for a particular design.


확인가능성은 중립[4]의 측면과 관련이 있다. 데이터의 상호-주관성을 확보해야 한다. 해석은 당신 자신의 특정한 선호와 관점이 아니라, 데이터에 근거할 필요가 있다. 여기서 초점은 분석 과정에 내재된 해석 과정에 있다.

Confirmability concerns the aspect of neutrality[4]. You need to secure the inter-subjectivity of the data. The interpretation should not be based on your own particular preferences and viewpoints but needs to be grounded in the data. Here, the focus is on the interpretation process embedded in the process of analysis.


신뢰성 및 확인성을 확보하기 위해 필요한 전략은 감사 추적으로 알려져 있다. 귀하는 연구 과정, 연구팀 회의, 성찰적 생각, 샘플링, 채택된 연구 자료, 조사 결과의 출현 및 데이터 관리에 대한 정보에 대한 완전한 일련의 결정을 제공할 책임이 있다. 이를 통해 감사인은 연구경로의 투명성을 연구할 수 있다.

The strategy needed to ensure dependability and confirmability is known as an audit trail. You are responsible for providing a complete set of notes on decisions made during the research process, research team meetings, reflective thoughts, sampling, research materials adopted, emergence of the findings and information about the data management. This enables the auditor to study the transparency of the research path.


앞서 언급한 당뇨병 자기관리 연구에서는 대학 기반의 감사인이 정확성을 위해 분석 과정, 기록, 회의록 등을 조사하여 근거 이론 방법론의 모든 분석 기법이 그에 따라 사용되었는지 여부를 평가하였다. 또한 이 감사자는 분석(즉, 서술적, 축적 및 선택적 코드)을 검토하여 데이터(원시 데이터, 분석 노트, 코딩 노트, 프로세스 노트, 보고서)에서 추적하고 데이터에 근거하는지 여부를 검토하였다. 신뢰성 및 확인성 감사를 수행한 감사관은 연구팀의 일부가 아니라 근거 이론 전문가였다. 감사 보고서는 연구팀의 모든 구성원들과 공유되었다.

In the aforementioned study of diabetes self-management, a university-based auditor examined the analytical process, the records and the minutes of meetings for accuracy, and assessed whether all analytical techniques of the grounded theory methodology had been used accordingly. This auditor also reviewed the analysis, i.e. the descriptive, axial and selective codes, to see whether they followed from the data (raw data, analysis notes, coding notes, process notes, and report) and grounded in the data. The auditor who performed the dependability and confirmability audit was not part of the research team but an expert in grounded theory. The audit report was shared with all members of the research team.


왜 성찰성이 중요한 품질 기준인가?

Why is reflexivity an important quality criterion?


질적 연구자로서, 데이터를 수집, 분석, 해석하는 과정에서, 그리고 (연구에 들어설 때) 이미 가지고 있던 가정assumption에 대한 자신의 역할에 대해 자각적이고 성찰적인 것이 중요하다는 것을 인정해야 한다.[8]. 그러므로, 당신의 인터뷰, 관찰, 집중 그룹 토론과 모든 분석 데이터는 당신의 성찰노트로 보충될 필요가 있다. 

As a qualitative researcher, you have to acknowledge the importance of being self-aware and reflexive about your own role in the process of collecting, analysing and interpreting the data, and in the pre-conceived assumptions, you bring to your research [8]. Therefore, your interviews, observations, focus group discussions and all analytical data need to be supplemented with your reflexive notes. 


앞서 언급한 당뇨병 자가 관리에 대한 연구에서, 인터뷰에 대한 반사적 메모는 인터뷰 자체와 오디오 테이프를 옮겨 적으며 대본을 분석하는 동안 언급된 인터뷰의 설정과 측면을 기술했다. 성찰주석에는 또한 설정과 인터뷰 대상자와의 관계에 대한 연구자의 주관적 반응도 포함되었다.

In the aforementioned study of diabetes self-management, the reflexive notes for an interview described the setting and aspects of the interview that were noted during the interview itself and while transcribing the audio tape and analysing the transcript. Reflexive notes also included the researcher’s subjective responses to the setting and the relationship with the interviewees.


출판

Publishing


질적 연구를 어떻게 보고해야 하는가?

How do I report my qualitative study?


당신의 질적연구 글쓰기를 하는과정은 [질적 연구를 수행하는 반복적인 과정]을 반영한다. 연구를 시작하면서 디자인에 대한 선택을 하게 되고, 연구가 진행되면서 디자인을 더욱 발전시킨다. 원고를 쓸 때도 마찬가지다. 첫째, 당신은 그것의 구조를 결정하고, 글 쓰는 과정에서 특정한 측면들을 적응시킨다. 게다가, 글을 쓰는 동안 여러분은 여전히 여러분의 연구 결과를 분석하고 미세하게 조정하고 있다. 기사의 일반적인 구조는 부제목이 있는 구조화된 추상적이며, 그 뒤에 본문이 있고, 소개-방법-결과-토론이라는 섹션으로 구성된다. 예를 들어 Results를 Findings(소견으로 이름 변경)와 같이 이 구조를 느슨하게 적용할 수 있지만, 때로는 특정 스터디 설계에 다른 구조가 필요한 경우도 있다.

The process of writing up your qualitative study reflects the iterative process of performing qualitative research. As you start your study, you make choices about the design, and as your study proceeds, you develop your design further. The same applies to writing your manuscript. First, you decide its structure, and during the process of writing, you adapt certain aspects. Moreover, while writing you are still analysing and fine-tuning your findings. The usual structure of articles is a structured abstract with subheadings, followed by the main text, structured in sections labelled Introduction-Methods-Results-Discussion. You might apply this structure loosely, for example renaming Results as Findings, but sometimes your specific study design requires a different structure.


질적인 기사는 대개 양적인 기사보다 훨씬 길다(5000~7000단어). 이 기사들은 종종 그 결과를 표로 제시한다. 당신은 테이블이나 실행 중인 텍스트에 참가자의 수량화된 특성을 나타낼 수 있으며, 당신은 당신의 인터뷰 가이드나 질문 경로 또는 카테고리, 테마의 주요 발견에 대한 개요를 제시하기 위해 상자를 사용할 가능성이 있다. (질적연구) 글쓰기는 대부분 running text이고, 균형 잡힌 프레젠테이션을 제공하고 있다. 참가자와 맥락에 대한 두꺼운 설명을 제공하고, 자신의 방법을 투명하게 기술하고 반성하며, 보고, 해석 및 토론에서 질적 발견의 풍부함을 정당화한다. 따라서 방법 및 결과findings 섹션은 정량적 논문에서보다 훨씬 더 길 것이다.

A qualitative article is usually much longer (5000–7000 words) than quantitative articles, which often present their results in tables. You might present quantified characteristics of your participants in tables or running text, and you are likely to use boxes to present your interview guide or questioning route, or an overview of the main findings in categories, subcategories and themes. Most of your article is running text, providing a balanced presentation. You provide a thick description of the participants and the context, transparently describe and reflect on your methods, and do justice to the richness of your qualitative findings in reporting, interpreting and discussing them. Thus, the Methods and Findings sections will be much longer than in a quantitative paper.


보고 양적 연구와 질적 연구 사이의 차이는 결과 섹션에서 가장 잘 나타난다. 정량 기사는 증거를 제시하는 결과 섹션과 토론 섹션 사이에 엄격한 구분이 있다. 이와는 대조적으로, 질적 논문의 소견 섹션은 대부분 종합과 해석으로 구성되며, 종종 경험적 데이터에 대한 링크와 함께 구성된다.

The difference between reporting quantitative and qualitative research becomes most visible in the Results section. Quantitative articles have a strict division between the Results section, which presents the evidence, and the Discussion section. In contrast, the Findings section in qualitative papers consists mostly of synthesis and interpretation, often with links to empirical data.


분석 결과를 입증할 수 있는 증거를 제시하십시오. 당신은 발견의 다양성과 풍부함을 보여주고 시각화하기 위해 텍스트, 필드 노트, 텍스트 발췌 또는 사진들을 상자 안에 있는 인용문이나 인용문을 사용한다.

You present evidence to substantiate your analytic findings. You use quotes or citations in the text, or field notes, text excerpts or photographs in boxes to illustrate and visualize the variety and richness of the findings.



연구 결과를 게시할 잠재적인 저널을 선택하는 방법

How do I select a potential journal for publishing my research?


질적 기사 출판을 위한 잠재적 저널 선정은 양적 기사 출판에 사용되는 절차와 크게 다르지 않다.

Selecting a potential journal for publishing qualitative articles is not much different from the procedure used for quantitative articles.


질적인 원고를 받아들일 때 저널 편집자들이 고려할 사항은 무엇인가? 

What are the journal editors’ considerations in accepting a qualitative manuscript? 


당신의 논문은 수준 높은 연구를 효과적으로 제시해야 하며 저널의 지침을 준수해야 한다. 편집자는 질적 기사에 대해 양적 기사와 동일한 기준을 기본적으로 사용한다. 새로운 것인가, 사실인가, 관련이 있는가? 그러나 편집자들은 (명시적이든 명시적이든) 증거 수준 피라미드를 사용할 수 있으며, 질적 연구는 하위 계층에 위치한다. 게다가, 많은 의학 저널 편집자들은 질적인 일보다 양적인 디자인에 더 익숙할 것이다. 

Your article should effectively present high-quality research and should adhere to the journal’s guidelines.Editors essentially use the same criteria for qualitative articles as for quantitative articles: Is it new, it is true,is it relevant? However, editors may use—implicitly or explicitly—the level-of-evidence pyramid, with qualitative research positioned in the lower ranks. Moreover,many medical journal editors will be more familiar with quantitative designs than with qualitative work. 


그러므로 편집자에게 보내는 커버레터에는 새로운 것, 진실성, 목적적합성, 그리고 당신의 작품의 질에 대한 그들의 신뢰를 높이기 위해 당신은 약간의 추가적인 노력을 기울일 필요가 있다.

Therefore, you need to put some extra effort in your cover letter to the editor, to enhance their confidence in the newness, trueness and relevance, and the quality of your work


작품의 질에 대한 자신감을 높이기 위해서는 품질 기준을 어떻게 적용했는지 설명하거나 사용한 체크리스트(상자 2와 3)를 참고해야 한다.

To enhance confidence in the quality of your work, you should explain how you applied quality criteria or refer to the checklist you used (Boxes 2 and 3). 



[1] Moser A, Korstjens I. Series: practical guidance to qualitative research. Part 1: Introduction. Eur J GenPract. 2017;23:271–273. 


[2] Korstjens I, Moser A. Series: practical guidance to qualitative research. Part 2: Context, research questions and designs. Eur J Gen Pract. 2017;23:274–279. 


[3] Moser A, Korstjens I. Series: practical guidance to qualitative research. Part 3: Sampling, data collection and analysis. Eur J Gen Pract. 2018;24. DOI:10.1080/13814788.2017.1375091 











2018 Dec;24(1):120-124.
 doi: 10.1080/13814788.2017.1375092. Epub 2017 Dec 5.

Series: Practical Guidance to Qualitative Research. Part 4: Trustworthiness and Publishing

Affiliations 

Affiliations

  • 1a Faculty of Health Care, Research Centre for Midwifery Science , Zuyd University of Applied Sciences , Maastricht , The Netherlands.
  • 2b Faculty of Health Care, Research Centre Autonomy and Participation of Chronically Ill People , Zuyd University of Applied Sciences , Heerlen , The Netherlands.
  • 3c Faculty of Health, Medicine and Life Sciences, Department of Family Medicine , Maastricht University , Maastricht , The Netherlands.

Abstract

In the course of our supervisory work over the years we have noticed that qualitative research tends to evoke a lot of questions and worries, so-called frequently asked questions (FAQs). This series of four articles intends to provide novice researchers with practical guidance for conducting high-quality qualitative research in primary care. By 'novice' we mean Master's students and junior researchers, as well as experienced quantitative researchers who are engaging in qualitative research for the first time. This series addresses their questions and provides researchers, readers, reviewers and editors with references to criteria and tools for judging the quality of qualitative research papers. The first article provides an introduction to this series. The second article focused on context, research questions and designs. The third article focused on sampling, data collection and analysis. This fourth article addresses FAQs about trustworthiness and publishing. Quality criteria for all qualitative research are credibility, transferability, dependability, and confirmability. Reflexivity is an integral part of ensuring the transparency and quality of qualitative research. Writing a qualitative research article reflects the iterative nature of the qualitative research process: data analysis continues while writing. A qualitative research article is mostly narrative and tends to be longer than a quantitative paper, and sometimes requires a different structure. Editors essentially use the criteria: is it new, is it true, is it relevant? An effective cover letter enhances confidence in the newness, trueness and relevance, and explains why your study required a qualitative design. It provides information about the way you applied quality criteria or a checklist, and you can attach the checklist to the manuscript.

Keywords: General practice/family medicine; general; publishing; qualitative designs and methods; reflexivity; trustworthiness.


감독관 경험이 신뢰, 감독, 수련생 학습에 미치는 경향: 질적 연구(Acad Med, 2017)

How Supervisor Experience Influences Trust, Supervision, and Trainee Learning: A Qualitative Study

Leslie Sheu, MD, Jennifer R. Kogan, MD, and Karen E. Hauer, MD, PhD






[적절한 신뢰와 감독]은 훈련생들이 감독받지 않는 practice을 위한 준비로 나아갈 성장을 가능하게 한다.1–5

Appropriate trust and supervision enable trainees’ growth as they progress toward readiness for unsupervised practice.1–5


Goldszmidt 외 연구진17은 [미니멀리스트 철학]에서 직접 환자 치료에 대한 [높은 참여 선호]에 이르는 4가지 감독 스타일을 설명한다. 감독의 변동성은 부분적으로 신뢰에 대한 선천적 성향, 감독자와 임상의사로서의 자신감, 경험 등의 감독자 특성 때문에 발생한다.9,18

Goldszmidt et al17 describe four supervisory styles ranging from a minimalist philosophy to a preference for high involvement in direct patient care. Variability in supervision occurs in part because of supervisor characteristics, such as innate propensity to trust, confidence as a supervisor and clinician, and experience.9,18


"어떤 것이 신뢰할 수 있고, 좋고, 정직하고, 효과적이라는 믿음"으로 정의되는 신뢰는 환자 관리 업무에 대해 훈련생에게 얼마나 많은 자율성을 부여할지를 결정하는 데 있어 중요한 결정 요인이다.9–12 임상 감독에 필요한 능력에는 "환자 안전을 극대화하기 위해 특정 임상 상황에서 의사의 장단점을 예측할 수 있는 능력"이 통합되어 있다.13 

  • 필요 이상으로 감독할 경우, 훈련생은 발전하지 못하여, 임상 의사결정에 덜 적극적으로 참여하게 된다.13,14,15 

  • 반대로 부적절한 감독은 환자의 안전과 훈련자의 학습 경험을 손상시킬 수 있다.3,16

Trust, defined as the “belief that someone or something is reliable, good, honest, effective,”8 is a key determinant for deciding how much autonomy to grant trainees with patient care tasks.9–12 Clinical supervision incorporates the “ability to anticipate a doctor’s strengths and weaknesses in particular clinical situations in order to maximize patient safety.”13 If supervised more than needed, trainees may not be able to progress toward competence and may participate less actively in clinical decision making.1,3,14,15 Conversely, inadequate supervision can compromise patient safety and trainees’ learning experiences.3,16


Vygotsky의 ZPD를 고려한다면, 이상적인 감독자는 훈련생이 어떤 수준의 감독으로 수행할 수 있는지 파악하고 그에 따라 감독을 조정하여 최적의 학습과 환자 안전을 보장할 것이다. 그러나, 이러한 조정이 항상 일어나는 것은 아니다.22 그리고 감독자의 조정 능력은 그녀나 그의 경험에 따라 달라질 수 있다. 현재의 의학 교육에서는 전공의와 주치의 모두 제한된 공식적인 훈련 과정에서 자연스럽게 개인 경험을 통해 감독을 배우게 된다고 가정한다.23 이러한 "learning on the job" 접근법은 경험학습 도는 구성주의 학습 이론과 일치한다. 관리자들은 경험을 통해 임상 환경에서 자신의 역할에 대한 이해를 심화시키는 것이다.

Considering Vygotsky’s zone of proximal development,21 the ideal supervisor would identify which tasks trainees can perform with what level of supervision and adapt supervision accordingly to ensure optimal learning and patient safety. However, this adaptive style does not always occur,22 and a supervisor’s ability to adapt may vary with her or his experience. Current medical education practice largely assumes that both residents and attendings naturally learn to supervise through personal experience, with limited formal training.20,23 This “learning on the job” approach aligns with experiential and constructivist learning theories, as supervisors deepen their understanding of their roles within the clinical setting through experience.24


Dreyfus의 전문지식 개발을 위한 모델에 따르면, 개개인은 경험을 통해 다음과 같이 발달한다.

  • 맥락을 고려하지 않고 규칙과 원칙을 준수하는 것으로 특징지어지는 초보 단계에서부터 

  • 상황 인식을 달성하고, 

  • 궁극적으로는 상황이나 연습생들을 통해 무엇을 어떻게 해야 하고 어떻게 해야 하는지 직관적으로 볼 수 있게 된다

Dreyfus’s25 model for expertise development suggests that with experience, individuals mature 

  • from a novice stage characterized by adherence to rules and principles without considering context, 

  • to achieving situational awareness, and 

  • ultimately being able to see intuitively what needs to be done and how, across situations and trainees.25


감독자 성숙의 성숙도 비슷한 발달단계를 밟는다: 

  • 초보 감독자는 역할 모호성과 불확실성으로 시작하여 

  • 점차적으로 환자 치료 제공자로부터 임상의사 훈련의 감독자로 방향을 전환하여 임상 참여에 있어 더 큰 유연성과 함께 학습자의 요구에 더 초점을 맞춘다.26–28

a similar supervisor maturation through developmental stages: 

  • Novice supervisors start with role ambiguity and uncertainty, and 

  • gradually shift their orientation from patient care provider to supervisor of the clinician-in- training, focusing more on the learners’ needs with greater flexibility in their clinical involvement.26–28


방법

Method


연구 설계

Study design


Sensitizing concept에 의한 유도콘텐츠분석을 이용한 2단계 질적 연구를 설계했다. 

    • 첫째, 레지던트들이 인턴에 대한 신뢰를 어떻게 발전시키고 어텐딩이 레지던트에 대한 신뢰를 어떻게 발전시키는지에 대한 이전 두 가지 연구를 위해 수집된 감독관들의 인터뷰를 분석했다. (1년차 인턴을 감독하는 2, 3년차 레지던트, 1~3년차 레지던트) 어느 연구도 신뢰와 감독에 대한 접근방식이 감독자 경험과 어떻게 다른지 탐구하지 않았다. 

    • 2단계에서 연습생 포커스 그룹은 초기, 개발 및 숙련된 감독관의 모범 사례가 작업자와 일관성이 있는지 또는 어떻게 다른지에 대한 연습생들의 의견을 탐구했다. 우리는 다른 모범 사례들이 그들의 학습에 미치는 영향에 대한 의견을 초대했다.

We designed a two-phase qualitative study using inductive content analysis guided by sensitizing concepts.32,33 

    • First, we analyzed interviews of supervisors (second- and third-year residents who supervise first-year interns, and attendings who supervise first- through third-year residents) collected for two previous studies on how residents develop trust in their interns and how attendings develop trust in their residents.19,20 Neither study explored how approaches to trust and supervision differwith supervisor experience. 

    • In phase two, our trainee focus groups explored trainee comments about whether and how supervisor exemplars for early, developing, and experienced supervisors were consistent with or differed from supervisors with whom they worked. We invited comments on the implications of different exemplars on their learning. 


1단계: 감독관 인터뷰 및 사례 개발

Phase one: Supervisor interviews and development of exemplars



참가자 및 설정.

Participants and setting.


데이터 수집 및 계측기

Data collection and instrument.


2년차 및 3년차 거주자와 인터뷰 참석자 모두 신뢰 형성에 관한 질문, 신뢰에 영향을 미치는 요인 및 감독 접근법(Supplemental Digital 부록 1, 2 , http://links.lww.com/ACADMED/ A417)을 포함했다.19,20 신뢰의 5요소 모델에 근거한 질문을 했다.

Both second- and third-year residents as well as attending interviews included questions about trust formation, factors influencing trust, and approaches to supervision (Supplemental Digital Appendix 1 and 2 , http://links.lww.com/ACADMED/ A417).19,20 We based questions on the five-factor model of trust.9


데이터 분석.

Data analysis.


두 가지 감각적인 개념이 우리의 귀납적 내용 분석을 유도했다.32,33 첫째, 신뢰의 5요소 모델(감독자, 감독자, 관계, 컨텍스트 및 과제)을 사용하여 신뢰를 학습자 감독을 위한 지침으로서 이해하였고, 9 주로 감독자 요소에 초점을 두었다. 둘째, 구성주의 학습 이론에서 도출하여, 우리는 Dreyfus의 전문성 개발 모델을 사용하여 감독자 신뢰를 경험과 실습을 통해 습득한 기술로 이해했다.

Two sensitizing concepts guided our inductive content analysis.32,33 First, we used the five-factor model of trust (supervisor, supervisee, relationship, context, and task) to understand trust as a guide for learner supervision,9 primarily focusing on the supervisor factor. Second, drawing from constructivist learning theory, we used Dreyfus’s25 model of expertise development to understand supervisor trust as a skill acquired with experience and practice.


우리는 경험에 따라 변하는 네 가지 신뢰와 감독 영역을 확인했다. 이를 바탕으로 초기, 개발 및 숙련된 감독자의 행동을 설명하는 세 가지 예제를 생성했다(결과 섹션, 1단계 설명). 모든 감독자는 세 가지 예제 중 하나에서 주로 특징을 설명했지만, 일부 감독자는 스펙트럼을 따라 특징을 나타낸다.

We identified four domains of trust and supervision that changed with experience. Based on this, we generated three exemplars describing behaviors of early, developing, and experienced supervisors (described in the Results section, phase one). Some supervisors manifested features along the spectrum, although all supervisors primarily demonstrated features in one of the three exemplars.


2단계: 교육자 포커스 그룹

Phase two: Trainee focus groups


참가자 및 설정.

Participants and setting.


1단계에서 개발된 예시들의 정확성과 대표성을 검증하기 위해, 우리는 연습생들에게 예시들을 검토하고 감독관들과의 경험과 관련하여 토론해 줄 것을 요청했다. 우리는 또한 다양한 감독 접근법이 그들 자신의 학습에 어떻게 영향을 미치는지에 대한 훈련생들의 인상을 요청했다. 우리는 참가자들이 서로의 반응에 상호작용하고, 반응하며, 서로의 반응에 기반을 둘 수 있도록 하기 위해 포커스 그룹 방법을 선택했다.36

To validate the accuracy and representativeness of the exemplars developed in phase one, we asked trainees to review the exemplars and discuss them in relation to their experiences with supervisors. We also solicited trainees’ impressions of how the different approaches to supervision influence their own learning. We chose focus group methodology to allow participants to interact with, react to, and build on one another’s responses.36


데이터 수집 및 계측기

Data collection and instrument.


참가자들은 학습과 환자 관리에 대한 각 감독관의 예시적 의미와 그들이 받은 감독이 그들이 선호하는 것이 아닌 상황을 어떻게 다루는지 설명하도록 요청 받았다(Supplemental Digital 부록 3, http:// links.lww.com/ACADMED/A417)).

Participants were asked to describe implications of each supervisor exemplar for learning and patient care and how they handled situations in which the supervision they received was not what they preferred (Supplemental Digital Appendix 3, http:// links.lww.com/ACADMED/A417).


데이터 분석.

Data analysis.


우리 중 2명(L.S. K.E.H)은 4개의 녹취록을 모두 검토하여, 연습생들이 그 예문에 동의했는지, 잘못 전달된 것이 있는지, 그리고 추가적인 예문이 누락되었는지 여부를 판단했다. 그 후 우리는 다른 감독 접근방식이 훈련생들의 인식 학습과 환자 치료에 미치는 영향을 설명하는 테마의 사본을 검토했다. 귀납적 내용분석을 사용하여 코드북을 개발한 후 이를 더 큰 범주로 구성했다.32,33

Two of us (L.S., K.E.H.) reviewed all four transcripts to determine if trainees agreed with the exemplars, if anything was misrepresented, and whether additional exemplars were missing. We then reviewed transcripts for themes describing the impact of different supervisory approaches on trainees’ perceived learning and patient care. We used inductive content analysis to develop a codebook and then organized these into larger categories.32,33


결과

Results


1단계: 감독자 인터뷰 분석 및 사례 개발

Phase one: Analysis of supervisor interviews and development of exemplars


초기, 개발 및 경험 많은 감독자의 차이는 신뢰 결정에 사용되는 데이터, 감독 접근 방식, 감독 지침의 관점, 임상 경험의 네 가지 영역에서 발생했다(그림 1). ES, DS, XS의 행동은 연속체를 나타냈고, 감독관, 연습생 또는 상황에 따라 연속체를 따라 움직이는 것이 가능할 것 같았다. "경험 있는" 감독관들의 특징을 주로 보여준 감독관들은 모두 어텐딩이었다. 4개 도메인의 주요 차이점은 그림 1에 설명되어 있으며, 표 1에는 대표적인 인용문이 수록되어 있다.

Differences among early, developing, and experienced supervisors occurred in four domains: data used to determine trust, approach to supervision, perspective to guide supervision, and clinical experience (Figure 1). Behaviors of early, developing, and experienced supervisors represented a continuum, and movement along the continuum seemed possible based on the supervisor, trainee, or context. All supervisors who predominantly demonstrated characteristics of “experienced” supervisors were attendings. The key differences in the four domains are described in Figure 1, with representative quotes in Table 1.




    • ES 초기 감독관들은 업무 완성에 세밀하게 집중하는 경향이 있었다. 

    • DS 중견 감독관들은 것은 훈련생들의 기술과 능력에 초점을 맞추었다. 

    • XS 숙련 독관들은 연습생들의 자질과 행동을 총체적으로 강조했다. 

Early supervisors tended to granularly focus on task completion, and 

developing supervisors focused on trainees’ skills and abilities, whereas 

experienced supervisors holistically emphasized trainees’ qualities and behaviors. 


    • ES 초기 감독관들은 더 많은 감독을 하는 실수를 저질렀다.

    • DS 중견 감독관들은 연수생들의 기량에 맞춰 감독한다

    • XS 숙련 감독관들은 종종 상당한 자율권을 부여했다. 

Early supervisors erred toward more supervision, 

developing supervisors tailored supervision toward trainees’ skills, and 

experienced supervisors often granted significant autonomy. 


    • ES 초기 감독관의 관점은 주로 연습생으로서 자신의 역할에 의해 inform 되었다. 

    • DS 중견 감독관은 자신의 ES 초기 감독관 시절의 경험을 성찰하였다 

    • XS 숙련 감독관들은 제도적인 지식과 전반적 경험을 활용하여 감독하였다. 

Early supervisors’ perspective was informed primarily by their role as trainees. 

Developing supervisors reflected on their early supervisor experience, while 

experienced supervisors drew on institutional knowledge and global experience to inform supervision. 


마지막으로, 감독자 자신의 임상적 확실성이 감독에 대한 접근방식을 조정했다.

Finally, supervisors’ own clinical certainty mediated their approach to supervision.


이러한 발견에 기초하여, 우리는 단계 2 포커스 그룹에 대해 3개의 감독자 예시(초기, 개발 및 경험 있는 감독자)를 생성했다(차트 1)

On the basis of these findings, we generated three supervisor exemplars (early, developing, and experienced supervisors) (Chart 1) for the phase two focus groups.




2단계: 교육자 포커스 그룹

Phase two: Trainee focus groups


우리가 개발한 세 가지 모범 사례는 연습생들의 경험과 부합하였다.

The three exemplars we had developed resonated with trainees’ experiences.


훈련생들은 학습에 도움이 되지 않는 네 번째 희귀한 예시를 발견했다. 이는 신뢰에 관계없이 상당한 자율권을 부여하는 감독관 이다. 훈련생들은 이러한 네 번째 접근법을 교육이나 환자 치료에 대한 감독관의 관심 부족이나 시간 부족 탓으로 돌렸다. 그들은 이것이 감독관의 nonclinical obligation 때문이라고 추측했다. 연습생 학습을 위한 각각의 예시들에 대한 인식된 장단점이 그림 2에 설명되어 있다.

Trainees identified a fourth uncommon exemplar that was unhelpful for their learning: the supervisor who grants significant autonomy irrespective of trust. Trainees attributed this fourth approach to supervisors’ lack of interest in or time for education or patient care. They conjectured that this was due to supervisors’ nonclinical obligations. The perceived pros and cons of each exemplar for trainees’ learning are depicted in Figure 2.



시간이 지남에 따라 연습생 선호도 및 학습 요구도 변화.

Shifting trainee preference and learning needs over time.


훈련생들은 감독에 대한 선호도가 [학습 요구에 기반하여, 시간이 지남에 따라 바뀐다]는 데 동의했다. 

Trainees agreed that their preferences regarding supervision changed over time based on their learning needs. 


훈련 초기에, 많은 이들은 환자 치료의 어떤 측면에 주의를 기울여야 하는지 그리고 다른 시스템을 탐색하는 방법을 그들에게 가르쳐 줄 수 있는 좀 더 세밀한 감독관으로부터 배우기를 선호했다. 연습생들이 자신감을 얻으면서 그들은 더 많은 자율성을 원했다. 1년차 전공의들은 올해 초 약물 복용과 빈도, 어떤 검사를 오더할지 등 세심한 관리를 요구했다고 회상했다. 또한 업무 우선순위화, 메모 작성 시기, 상담 전화 방법, 병원 시스템 내에서 탐색하는 최선의 방법 등 간단한 워크플로우 전략을 익히는 것을 중시했다. 점차 작업에 익숙해지면서, 이러한 과제에 자율성을 원했고, (임상 문제에 접근하고 환자의 치료 계획에 다음 단계를 예상하는 방법 등) 더 많은 임상 의학을 배우는 것을 중요시했다. 

Early in training, many preferred to learn from more detail-oriented supervisors who could teach them what aspects of patient care to pay attention to and how to navigate different systems. As trainees gained confidence, they desired more autonomy. First-year residents recalled desiring close supervision of details of care early in the year, such as medication dosing and frequency or which labs to order. They also valued learning simple workflow strategies, such as task prioritization, when to write notes, how to call a consult, and best ways to navigate within the hospital system. As they gained comfort, they desired autonomy in these tasks and valued learning more clinical medicine, such as how to approach clinical problems and anticipate next steps in patients’ care plans. 


이와 유사하게 2, 3년차 수련생들은 환자관리결정에 대한 면밀한 감독을 바란다는 것을 일찍부터 표명했고, 임상 의사결정 과정과 환자의 입원목표에 있어서 주치의들의 사고과정을 듣는 것에 감사했다. 임상적 의사결정에 대한 편안함이 증가함에 따라, 이 2, 3년차 수련생들은 환자 치료와 자기 주도적 학습을 지도하는 데 있어 더 많은 독립성을 원했다. 그들은 곧 레지던트를 완료하고 감독 없이 연습할 것이라는 점에 주목하면서 supervisor를 컨설턴트로 사용하는 것을 선호했다. 1, 2, 3학년 수련생들은 모두 신뢰에 기초한 자율성을 부여받고 싶다고 강조했. 그들은 감독관이라는 "안전망" 안에서 독립적으로 문제를 생각할 기회를 갖고, 뒤에서 이중 점검받는 것에 대해 높이 평가하였다.

Similarly, second- and third- year trainees expressed desire for close supervision of management decisions early on and appreciated hearing their attendings’ thought processes in clinical decision making and goals of patients’ hospitalization. With growing comfort in making clinical decisions, these second- and third-year trainees desired more independence in directing patient care and self-directed learning. They preferred to use their supervisors as consultants, noting that soon, they would complete residency and practice without supervision. First-, second-, and third-year trainees all emphasized wanting to be granted autonomy based on trust. They appreciated the opportunity to think through problems independently with the “safety net” of supervisors double-checking things in the background.


감독관의 훈련된 기대.

Trainee expectations of supervisor.


훈련생들은 감독관들이 [자율성과 감독] 사이에서 올바른 균형을 부여할 것으로 기대했다. 그들은 환자 치료에 투자되어 필요할 때 직접 진료를 할 수 있는 지식과 기술을 가진 관리자들을 원했다. 그들은 감독관들이 미리 기대와 목표를 논의할 시간을 정하고, 그들의 능력과 선호도에 대한 정확한 평가에 맞춰 그들이 제공하는 자율성에 대해 신중해지기를 원했다. 그들은 개방적인 의사소통, 유연성, 그리고 환자에 대한 공동의 책임 의식이 적절한 관리 수준을 달성하는 데 중요하다고 표현했다.

Trainees expected supervisors to grant the right balance of autonomy and supervision. They desired supervisors who were invested in their patients’ care and had the knowledge and skills to direct care when needed. They wanted supervisors to set aside time to discuss expectations and goals up-front, and be deliberate about the autonomy they afforded, adjusted to an accurate assessment of their competence and preferences. They expressed that open communication, flexibility, and a sense of shared responsibility for patients were crucial to achieving the right amount of supervision.


연습생 선호와 감독자 접근방식의 불일치 함의.

Implications of mismatch between trainee preference and supervisor approach.


훈련생들은 대부분 감독관들과 긍정적인 업무 관계를 공유했다. 그러나 감독관과 훈련생들의 자율에 대한 인식의 불일치는, [특히 그들이 과도하게 감독받는 것을 인지했을 때], 훈련생들에게 불안감, 원망, 학습 의욕의 결여, 저평가되는 느낌을 야기시켰다. 

Trainees mostly shared positive working relationships with their supervisors. However, discordance between supervision and trainees’ perception of their readiness for autonomy, particularly when they perceived oversupervision, created trainee feelings of insecurity, resentment, lack of motivation for learning, and being undervalued. 


세부사항에 대한 감독자가 지나치게 신경쓸 경우, 흔히 회진과 체크인에서 비효율과 불필요한 중복이 발생하고, 근무시간이 더 길어지며, 환자 케어가 딜레이되는 원인이 된다고 강조했다. 연습생들은 더 많이 일하지만 덜 배운다고 느꼈다. 

A supervisor’s excessive attention to detail was commonly and emphatically cited as causing inefficiencies and redundancies with rounding and checking in, longer workdays, and delays in patient care; trainees felt they worked more but learned less. 


반대로, 감독이 부족하다고 느꼈을 때, 훈련생들은 환자 관리의 모든 측면에 대한 책임감에 압도되었다. 이러한 상황은 졸업 근처의 3년차 레지던트가 감독할 때 인턴십이 시작될 때 발생하는 것으로 여러 명의 1년차 연수생들에 의해 언급되었다.

When they felt undersupervised, trainees became overwhelmed by the responsibility for all aspects of patient care. This situation was mentioned by several first-year trainees as occurring at the start of an internship when supervised by a third-year resident near graduation.


건설적인 피드백을 제공하는 과제

Challenges providing constructive feedback.


감독관이 선호하는 방식과 다르게 감독하는 상황을 어떻게 대처하느냐는 질문에, 훈련생들은 감독을 바꿀 힘이 없다고 느끼는 경우가 많았다. 그들의 상사와 함께 일하는 짧은 시간은 그들의 상사의 스타일에 적응하거나 받아들이기 전에 피드백을 제공할 기회를 찾기가 어렵게 만들었다. 상사를 불쾌하게 하거나 피드백을 너무 개인적인 느낌으로 받을까 두려움이 있는 경우 피드백을 주는 것을 단념하게 되었다. 훈련생들은 감독관의 [변화에 대한 (낮은) 개방성]에 대해서도 우려를 표시했다.

When asked how they dealt with situations where supervisors were supervising differently than how they preferred, trainees often felt powerless to change this supervision. The short amount of time working with their supervisors made it hard to find opportunities to provide feedback before adapting to or accepting their supervisor’s style. Fear of offending their supervisor or having the feedback feel too personal dissuaded them from providing feedback. Trainees also expressed concerns about supervisors’ openness to change.


고찰

Discussion


전공의와 주치의는 신뢰와 감독에 대한 접근방식에서 자연스럽게 진화하는 것 같다. 훈련자는 감독자의 경험과 관련된 감독 접근방식의 차이를 쉽게 인지했다. 감독 접근방식은 역량 자체 평가에 근거한 연습생 자신의 선호도와 항상 일치하지는 않았다. 훈련생들은 [자신의 학습을 촉진하기 위해] Supervision에서의 유연성과 개별화된 접근법을 원했다.

Resident and attending supervisors seem to evolve naturally in their approach to trust and supervision. Trainees readily perceived differences in supervisory approaches related to their supervisors’ experience; supervisory approaches did not always align with trainees’ own preferences based on self-assessment of competence. Trainees desired flexibility and an individualized approach to supervision to promote their learning.


우리의 연구는 다른 사람을 믿을 수 있게 되기 전에, 임상적으로나 감독자로서 경험과 신뢰를 쌓아야 하는 감독관의 중요성을 강조한다. 드레퓌스의 전문성 개발 모델과 다른 분야의 감독자 개발에 관한 문헌에서와 마찬가지로 우리의 

  • 초보 임상 감독자들은 신뢰에 대한 체계적이고 규칙적인 접근법에서 출발하는 것 같았다.25–27 초보 감독관은 [연습생의 성향이나 맥락]보다 [자기자신의 편안함과 선향]이 신뢰 결정을 지배했다. 시간이 흐르고 성찰을 해나가면서 감독자들은 엄격한 루틴보다 [패턴 인식과 직관]을 더 따르게 되었고, 그 결과 훈련생 자율성에 더 큰 유연성을 허용했다. 

  • 중견 감독관이나 숙련된 감독관은 훈련자 자율성과 환자 안전 사이의 균형을 최적화하기 위해 신뢰에 영향을 미치는 4가지 요인(훈련자, 상황, 관계 및 과제)에 근거하여 신뢰와 감독을 맞춤화하는 것 같았다.9,25

Our study highlights the importance of supervisors needing to gain experience and trust in oneself, both clinically and as supervisors, before being able to trust others. Just as in Dreyfus’s model for expertise development, and in literature on supervisor development in other fields, 

  • our novice clinical supervisors seemed to start with a systematic, rule- based approach to trust.25–27 Their own comfort and preferences dominated trust decisions, rather than trainee preference or context. With time and through reflection, supervisors were guided more by pattern recognition and intuition than rigid routines, allowing greater flexibility in trainee autonomy as appropriate. 

  • Developing and experienced supervisors seemed to tailor their trust and supervision based on the other four factors influencing trust (trainee, context, relationship, and task) to optimize the balance between trainee autonomy and patient safety.9,25


감독관의 발달 궤적과 연습생 역량 수준에 적응하는 능력은 연습생 학습에 큰 영향을 미친다. trainee에서는 반복적으로 [준비가 되기 전에는 그렇지 않다가, 준비가 되었다고 느끼자마자, 자율성을 희망]하는 양상이 나타나는데, 이는 자기결정 이론으로 설명할 수 있다. 훈련생들은 자율성, 역량, 관련성에 대한 열망에 의해 동기 부여된다. 즉, 자율적으로 적절한 임상적 결정을 함으로써 자신감과 역량을 기르고 의료계에서 의사로서 가치가 있다고 느낀다.

Supervisors’ developmental trajectory and ability to adapt to their trainee’s level of competence have significant implications for trainee learning. The recurrent theme of our trainees desiring autonomy as soon as they felt ready, but not before, can be explained by self-determination theory: Trainees are motivated by a desire for autonomy, competence, and relatedness—by making appropriate clinical decisions autonomously, they develop confidence and competence and feel like they are valued as physicians in the medical community.37,38 


"좋은" 임상 감독자에 대한 최근 문헌 검토에 따르면, 관계(감독관이 연습생과 parter with 할 수 있는 능력)는 적절한 활동을 할 수 있도록 하고 의료계 실무진 진입을 용이하게 하기 위한 중요한 첫걸음이다.23 이러한 관계를 가능하게 하기 위해, (우리가 상사와 연습생 모두에게 들은 일관된 메시지는) 감독관이 훈련생들의 필요에 맞춰 신뢰와 감독을 조정할 수 있는 유연한 목표를 가지고, (trainee의) 기대expectation에 대해 논의하고 감독에 대한 피드백을 받고자 하는 것이다. 

Based on a recent literature review on “good” clinical supervisors, relationship—the ability for the supervisor to partner with their trainee—is a critical first step to allowing trainees opportunities to engage in appropriate activities and facilitating their entry into the medical community of practice.23 To enable this relationship, one consistent message we heard from supervisors and trainees alike is the desire to discuss expectations and receive feedback about supervision, with the goal of supervisor flexibility in tailoring their trust and supervision to trainee needs. 


그러나, 훈련생들은 (그들이 더 많은 자율성을 원할수록), 감독관들에게 [감독에 대한 건설적인 피드백]을 제공할 수 있는 empowerment를 느끼지 못했다. 그 이유는 이전에 설명한 현상인 이 피드백의 위계적 및 개인적 특성에 뿌리를 두고 있다. 참가자들은 또한 짧은 감독자 훈련 시간과의 로테이션식 학습 구조가 요인이라고 말했다. trainee와 supervisor가 피드백을 하게 되는 때는, 그것은 그들이 함께 일하는 시간이 끝나는 때였다.

However, trainees did not feel empowered to provide constructive feedback to their supervisors about their supervision, particularly when they desired more autonomy. Reasons cited were rooted in the hierarchical and personal nature of this feedback, a phenomenon previously described.39 Participants also implicated that the rotational learning structure with short supervisor–trainee contact time was a factor40; by the time trainee and supervisor engaged in feedback, it was the end of their time working together.


이전 작업에서 강조된 두 가지 중요한 요소인 맥락과 직무task의 역할은 감독자와 서로 얽혀 있다.19,20 초기 감독자는 상황에 관계없이 모든 연습생에 대한 높은 수준의 감독을 지향하는 경향이 있는 반면, 경험 있는 감독자는 연습생 자신뿐만 아니라 연습생에 기초한 감독을 조정한다. 맥락과 직무에 관하여 훈련생들은 자율성을 위한 기회를 중시했고, 특히 급성도가 낮은 환자에 대한 과잉감독에 부정적인 반응을 보였으며, 반대로 [환자가 바쁘거나 예민하거나 복잡할 때에는] 환자진료에 대한 감독자의 감독과 지침을 높이 평가하였다. 

The roles of context and task, two significant factors to trust emphasized in previous work, are intertwined with the supervisor factor.19,20 While early supervisors tend to err toward high levels of supervision for all trainees regardless of context, experienced supervisors tailor their oversight based not only on the trainees themselves but also on context and task. Trainees valued opportunities for autonomy and reacted negatively to oversupervision, particularly with lower-acuity patients, and conversely appreciated greater supervisor oversight and guidance in patient care when they were busy or when patients were high in acuity or complexity. 


이러한 발견은 [임상교육현장의 맥락에서, 특정 환자 치료 활동과 해당 활동에서, 훈련자 역량에 기초하여 숙고하여deliberately 의사결정 내려야 하는 교육적 중요성]을 강조함으로써 EPA에 관한 여러 연구들을 보완한다.7 우리의 연구결과는 초기 감독관들이 컨텍스트나 연습생 능력에 근거하여 신뢰와 감독을 적응시킬 준비가 되어 있지 않을 수 있다는 것을 암시한다. 초기 감독자의 감독 적응 능력을 향상시키기 위한 교육을 제공하는 방법에 대한 추가적인 연구가 도움이 될 수 있다.

These findings complement the growing work on EPAs by emphasizing the educational importance for trust decisions to be made deliberately based on specific patient care activities and trainee competency in that activity, all in the context of the clinical workplace.7 Our findings suggest that early supervisors may not be as ready to adapt their trust and supervision based on context or trainee competence. Further exploration of ways to provide training for early supervisors to enhance their ability to adapt their supervision could be helpful.


감독관 체험이 신뢰와 감독뿐 아니라 훈련생들의 학습과 만족도에 어떤 영향을 미치는지에 대한 우리의 연구 결과는 다음의 실용적 함의가 있다. 

Our findings on how supervisor experience influences trust and supervision as well as trainees’ learning and satisfaction yield practical implications. 


첫째로, supervisor training은 감독자들이 팀 지도자의 역할을 더 의식적으로 성찰하고, 연습생들의 필요에 적합한 신중하고 유연한 감독을 제공하는 데 도움이 될 수 있다. 초기 감독관들은 (자신이) 너무 가까이서 감독하는 잠재적인 경향이 있을 수 있다는 것 예상도록 배우고, 연습생들의 요구에 더 일찍 그들의 감독을 맞춤화하는 것을 배울 수 있을 것이다. 시니어 감독관들은 임상 전문가가 언제나 감독 전문가는 아니며, 자율성은 모든 사람에게 주어지는 것이 아니라, 스스로 얻어내야 하는 것임을 상기시킬 수 있다.

  • First, supervisor training could help supervisors engage more consciously in reflecting on their team leadership role and providing deliberate, flexible supervision appropriate for trainees’ needs. Early supervisors could learn to anticipate a potential tendency to supervise too closely and learn to customize their supervision to trainees’ needs earlier. Senior supervisors might benefit from reminders that expert clinicians are not always expert supervisors, and autonomy should be earned, not given to all.27 


둘째, 연습생들은 기술 워크샵, 역할 놀이 또는 시뮬레이션을 통해 "상향식 관리manage up" 방법을 학습함으로써 이익을 얻을 수 있다. 훈련생들은 또한 감독관들이 그들의 요구를 해결하는 것을 돕기 위해 처음 함께 일하기 시작할 때 감독관들과 솔직한 자기 평가를 나누는 것을 배울 필요가 있다. 연습생들이 supervision practice에 대해 [[연습생과 감독자의 관계]를 강조하는 건설적인 피드백을 주는 전략]은 연습생들이 이러한 토론에 참여하기를 주저하는 것을 극복하는 데 도움이 될 수 있다. 

  • Second, trainees may benefit from learning how to “manage up,” perhaps through skills workshops, role-playing, or simulation. Trainees also need to learn to share honest self-assessments with their supervisors when they first start working together to help supervisors address their needs. Strategies for trainees to give constructive feedback on supervision practices that emphasize the relationship between trainee and supervisor could help overcome trainees’ hesitance to engage in these discussions. 


마지막으로, 의료 교육자는 [선호도나 요구에 근거한 의도적인 감독자 연습생 짝짓기]가 학습을 강화하는지, 아니면 [종단적 감독자 훈련자 관계]가 연습생 성장을 위한 기회를 개선할 수 있는지를 탐구할 수 있다.

  • Lastly, medical educators can explore 

    • whether deliberate supervisor– trainee pairings based on preferences or needs enhance learning, or 

    • whether more longitudinal supervisor–trainee relationships can improve opportunities for trainee growth.


9 Hauer KE, Ten Cate O, Boscardin C, Irby DM, Iobst W, O’Sullivan PS. Understanding trust as an essential element of trainee supervision and learning in the workplace. Adv Health Sci Educ Theory Pract. 2014;19:435–456.










, 92 (9), 1320-1327
 

How Supervisor Experience Influences Trust, Supervision, and Trainee Learning: A Qualitative Study

Affiliations 

Affiliation

  • 1L. Sheu is assistant professor of medicine, Department of Medicine, University of California, San Francisco, School of Medicine, San Francisco, California. J.R. Kogan is professor of medicine, Department of Medicine, Perelman School of Medicine at the University of Pennsylvania, Philadelphia, Pennsylvania. K.E. Hauer is professor of medicine, Department of Medicine, University of California, San Francisco, School of Medicine, San Francisco, California.

Abstract

Purpose: Appropriate trust and supervision facilitate trainees' growth toward unsupervised practice. The authors investigated how supervisor experience influences trust, supervision, and subsequently trainee learning.

Method: In a two-phase qualitative inductive content analysis, phase one entailed reviewing 44 internal medicine resident and attending supervisor interviews from two institutions (July 2013 to September 2014) for themes on how supervisor experience influences trust and supervision. Three supervisor exemplars (early, developing, experienced) were developed and shared in phase two focus groups at a single institution, wherein 23 trainees validated the exemplars and discussed how each impacted learning (November 2015).

Results: Phase one: Four domains of trust and supervision varying with experience emerged: data, approach, perspective, clinical. Early supervisors were detail oriented and determined trust depending on task completion (data), were rule based (approach), drew on their experiences as trainees to guide supervision (perspective), and felt less confident clinically compared with more experienced supervisors (clinical). Experienced supervisors determined trust holistically (data), checked key aspects of patient care selectively and covertly (approach), reflected on individual experiences supervising (perspective), and felt comfortable managing clinical problems and gauging trainee abilities (clinical). Phase two: Trainees felt the exemplars reflected their experiences, described their preferences and learning needs shifting over time, and emphasized the importance of supervisor flexibility to match their learning needs.

Conclusions: With experience, supervisors differ in their approach to trust and supervision. Supervisors need to trust themselves before being able to trust others. Trainees perceive these differences and seek supervision approaches that align with their learning needs.


프로그램적평가의 이론적 고려사항(Med Teach, 2020)

Theoretical considerations on programmatic assessment

Dario M. Torrea, L. W. T. Schuwirthb and C. P. M. Van der Vleutenc,d




도입

Introduction


PA(Programmatic assessment)는 평가를 시스템이나 프로그램 전체로 보는 평가 접근방식이다(Van der Vleuten and Schuwirth 2005). 최적의 건설적 정렬을 달성하기 위해 의도적인 방법 조합을 사용한다(Bigs 1996). PA의 각 개별 평가는 전형적으로 학습에 최적화된 데이터 지점일 뿐이다. 즉, 데이터 포인트당 합격/불합격 결정이 이루어지는 것이 아니라, 데이터 포인트 간에 충분한 정보를 수집한 후에야 통과/실패 결정을 의미한다. PA에서는 주기적으로 성찰과 자기조절학습이 촉진되는데, 이는 데이터 포인트에서 얻은 정보에 대해 정기적으로 진척 상황을 논의하는 코치(실적 데이터를 수집하여 사용하는 교수진)와 논의하기 때문이다. 충분한 데이터가 수집된 후에야, 일반적으로 (독립적) 평가위원회 형태에서 총괄적 결정이 이루어진다(PA의 핵심 측면에 대한 개요는 표 1 참조). 거의 모든 경우에서 PA는 이른바 학습을 위한 평가AfL라는 철학과 연관되어 있다.

Programmatic assessment (PA) is an approach to assessment in which assessment is seen as a system or a program as a whole (Van der Vleuten and Schuwirth 2005). It uses a deliberate mix of methods to achieve optimal constructive alignment (Biggs 1996). Each individual assessment in PA is merely a data point which is typically optimized for learning. This means that pass/fail decisions are not taken per data point, but only after enough information across data points has been collected. In PA, self-regulated learning is promoted by periodic reflection by the learners on the information received from the data points and with coaches (faculty members who gather and use performance data to stimulate and support students in managing their learning) who regularly discuss the learner’s progression. Only when sufficient data are collected, a summative decision is taken, usually in the form of an (independent) committee of assessors (see Table 1 for an overview of the core aspects of PA). In almost all cases, PA is associated with a so-called assessment for learning philosophy (Schuwirth and Van der Vleuten 2011).


그러나 PA의 이론적 기반은 명확하게 설명되지 않았다.

However, the theoretical underpinnings of PA have not been clearly described.

  • 첫 번째 그리고 가장 분명한 이유는 다른 과학 영역과 마찬가지로 의학 교육 뒤의 과학은 이론과 그에 뒤따르는 가설에 대한 실험적인 테스트를 통해 발전하기 때문이다. 

  • 또 다른 중요한 이유는 이론이 연구 결과를 이해하는데 중요하며, 특정 현상이 발생하는 이유를 이해하면 교육자들이 한 교육적 맥락에서 다른 교육적 맥락으로 연구 결과를 적용adapt할 수 있다는 것이다(Cianciolo et al. 2013).

  • The first and most obvious reason is that, like any scientific domain, the science behind medical education progresses through experimental testing of theories and their ensuing hypotheses. 

  • Another important reason is that theories are important for making sense of research findings and that understanding why certain phenomena occur allows educators to adapt research findings from one educational context to another (Cianciolo et al. 2013).

우리는 여기서 경고할 것이 있다. 이 글의 목적은 특정 이론이 PA의 교리를 설명하는데 다른 이론보다 낫다고 주장하는 것이 아니다.

We want to express a caveat here. The purpose of this article is not to argue that one particular theory is better than others to explain the tenets of PA.


표 1. 프로그램 평가의 특성.

Table 1. Characteristics of programmatic assessment.


프로그램은 각각의 개별적인 방법의 강점과 약점이 어떻게 시너지적으로 결합되는지를 바탕으로 의도적으로 복수의 측정도구를 사용한다.

The program uses multiple instruments deliberately based on how each individual method’s strengths and weakness are combined synergistically.


PA의 평가는 학습자의 강점, 약점 및 진행상황에 대한 정보를 수집하고 수집하는 지속적이고 종단적 과정이다.

The assessment in PA is a continual and longitudinal process during which information about the learner’s strengths, weaknesses, and progress is collected and collated.


학습자에 대한 정보는 평가도구 내withn에서 수집되지 않고(예: OSCE의 한 스테이션과 다른 스테이션의 성과를 결합한 결과) 평가도구들 사이의 의도적 삼각 측량(다른 평가 방법의 관련 정보와 함께 OSCE 스테이션에서의 성과)하여 역량에 대한 의미 있는 "진단"에 도달한다.

Information about the learner is not collated within instruments (such as the result on one station in an OSCE being combined with performance on another station) but purposefully triangulated across instruments (performance on the OSCE station with relevant information from another assessment method) to arrive at a meaningful “diagnosis” of competence.


의사결정은 비례적이다; 평가결정의 부담은 그것이 근거하는 정보의 풍부함에 비례한다.

Decision-making is proportional; the stakes of an assessment decision are proportional to the richness of the information on which it is based.


평가 프로세스의 품질과 효용성은 표준 심리측정, 멤버체킹, 포화, 단계별 복제, 전문성 개발 등 다양한 품질 보증 프로세스에 의해 결정된다.

Quality and utility of the assessment process are determined by a variety of quality assurance processes, including standard psychometrics, member checking, saturation of information, stepwise replication, and expertise development.


핵심은 통해 정보를 풍부하게 유지하는 것으로서, 이를 통해서 (환원주의자와 달리) 전체적인holistic 역량의 평가가 가능하다. 한 가지 방법은 포트폴리오를 통한 수집이다.

The focus is on keeping the information rich, for instance through collection in a portfolio, to enable holistic, as opposed to reductionist, assessment of competence.


초기 초점은 학습에 대한 평가 정보를 (단순히 행동주의적인 방식이 아니라) 학습을 위하여, 학습자에게 의미 있는 방식으로 사용하는 데 있다.

The initial focus is on using the assessment information on driving learning in a way that is meaningful to the learner rather than merely behaviorist.


성공적인 학습과 개선은 다른 학생들보다 더 잘하기 보다는 각각의 학생이 될 수 있는 최고의 건강 전문가가 되는 것으로 정의된다.

Successful learning and improvement are defined as becoming the best health professional each student can be, rather than being better than the other students.


핵심은 [피드백을 수용하거나 사용하려 하지 않(못)하거나, 피드백을 학습의 원동력과 개선의 동력으로 사용하지 않(못)으려고 하는] 학습자를 식별하는 데 있다.

The focus is on identifying those learners who are unable or remain unwilling to accept and use feedback and demonstrate using it to drive their learning and to improve.


PA에서는 피드백 루프를 항상 닫혀야 한다.

In PA, the feedback loop has to be closed all the time.


PA는 다소 체계적이고 학교 통제적인 평가에서 자기 소유의 평가와 학습에 이르기까지 학습자의 기관과 학습 진전에 대한 책임을 점진적으로 증가시키려 한다.

PA seeks to gradually increase the learner’s agency and accountability for their own learning and progress, starting from rather structured and school-controlled assessment to self-owned assessment and learning.



프로그래밍 방식 평가: 모델

Programmatic assessment: The model


1. 교육활동은 일련의 [학습과제]를 수반하며, 교육설계원칙에 근거한 커리큘럼을 만드는 데 기여하는 방식으로 정비된다.

1. Training activities involve a series of learning tasks and are arranged in such a way that they contribute to create a curriculum based on principles of instructional design


2. [평가 활동]은 학습자에게 의미 있고 지속적인 학습과 성장을 지원하도록 설계된다. 그들은 교사에게 다양한 평가 방법에서 얻은 복수의 평가 데이터 포인트를 제공한다.

2. Assessment activities are designed to be meaningful to the learner and to support ongoing learning and growth. They provide the teacher with multiple assessment data points from a wide array of assessment methods.


a. 평가자의 주요 임무는 각 데이터 지점의 정보를 활용하여 학습자에게 피드백을 제공하고, 또한 이전 평가 정보에 기초하여 학습자의 진행 상황에 대한 결정을 내리는 것이다. 저부담 데이터포인트 정보는 평가자에 의해 나중에 활용될 수 있다.

a. The main task of the assessor is to provide feedback to the learner by utilizing the information from each data point and to make a decision about the progress of the learner also based on previous assessment information. Low-stake data point information can be later utilized by the assessor.


b. 평가와 훈련training 활동은 매우 밀접하게 연관되어 있으며 때로는 같을 수도 있다. 대부분의 평가 과제는 개발적이지만 숙달 지향적인 것도 있다. 숙달 지향적 과제는 보통 고부담이지만, 그것은 여전히 피드백의 기회가 있으며, 저부담 활동과는 완전히 관련이 없거나 영향을 받지 않을 수 있다.

b. Assessment and training activities are very closely interrelated and sometimes, they may be the same. Most assessment tasks are developmental but some are mastery-oriented. A mastery-oriented task is high stakes, but it does still constitute an opportunity for feedback and may not be completely unrelated or unaffected by low-stakes activities.


3. 따라서 평가 활동은 종단적 방식으로 이루어진다. PA에는 지속적으로 정보를 수집하는 과정이 있으며(공식적 평가를 통해 이뤄지거나, 비공식적/공식적 피드백을 통해 이뤄진다), 정기적인 성찰과 교수/코치와의 미팅을 진행한다. 학습자의 피드백 수행enactment은 평가의 필수적인 부분이다.

3. Assessment activities happen therefore in a longitudinal fashion. There is a continuous process of collecting information – either through formal assessments or through informal and formal feedback – in a dossier or portfolio with periodic reflections and meetings with a faculty member/coach. The enactment on feedback by the learner is an integral part of the assessment.


4. 지원활동에는 성찰적 학습과 자기조절학습이 포함된다. 학습자는 학습 및 평가 활동의 정보에 기초하여 성찰적 학습을 수행한다. 자기조절학습은 학생을 지도하고 멘토링하는 교직원의 서포트를 받는다. 사회적 상호작용은 성찰활동과 자기조절 학습을 위한 비계scaffold를 제공한다.

4. Supporting activities include reflective and self-regulated learning. Reflective learning performed by learners is based on information from learning and assessment activities. Self-regulated learning is supported by faculty through students’ coaching and mentoring. Social interaction provides a scaffold for reflective activities and self-regulated learning.


5. 중간 및 최종 평가는 연속체에 걸친 훈련과 평가 활동 전반에 걸쳐 교차하는 의사결정 지점이다. 중간 평가는 교정조치 지향적remediation-oriented이며, 학습을 위한 정보가 풍부한 권장사항을 제공하며, 학습자의 종단적 개발을 목표로 한다.

5. Intermediate and final evaluations are decision points interspersed throughout training and assessment activities across the continuum. Intermediate evaluations are remediation-oriented, provide information-rich recommendations for learning, and are aimed at the longitudinal development of the learner.


6. 최종 평가는 학습자가 프로그램을 진입/진학할progress 수 있는지 또는 종료해야 하는지 여부를 결정한다는 목표를 가진 고부담 결정이다. 복수의 데이터 포인트와 중간 평가의 정보를 활용하여 판단을 내리는 전문가 위원회에 의해 달성된다(Van der Vleuten et al. 2012).

6. The final evaluation is a high-stakes decision with the goal of determining whether the learners can progress in the program or should exit. It is achieved by a committee of experts who make a judgment utilizing information from multiple data points and intermediate evaluations (Van der Vleuten et al. 2012).


이론적 특

Theoretical frameworks


PA 기본원칙: 의미 구축

Fundamental PA principle: Meaning making


PA에서 의미와 의미구축이 중심적인 역할을 한다. PA 의미구축에서, 학습자는 자신이 이용할 수 있는 모든 정보를 분석하고 삼각측량하여 특정한 장점과 약점을 식별하도록 요구되거나, 그렇게 할 동기를 부여 받는다. 그 결과 학습자는 정보의 의미를 적극적으로 구축하고, 자신의 성과를 새롭게 파악하며, 향후 학습을 위한 구체적인 계획을 설계한다

Meaning and meaning making play a central role in PA. In PA meaning making, learners are required or incentivized to analyze and triangulate all information available to them, identifying specific strengths and weaknesses. As a result, learners actively construct meaning of the information, develop a new understanding of their performance, and design concrete plans for future learning. 


평가 방법에 걸쳐 정보를 삼각측량할 수 있도록 교사와 학습자는 정보가 결합합으로써 의미를 파악할 수 있어야 한다. 이는 임상의사가 병력청취와 신체검사 결과(Tweed and Wilkinson 2019)를 결합하여 의미를 파악하는 것과 비슷하다. 의미구축은 또한 건설적인 피드백의 제공과 유용하고 실행 가능한 학습 목표의 형성에 중요하다. 몇 가지 이론은 왜 이것이 더 나은 판단과 더 나은 학습으로 이어질 수 있는지를 뒷받침한다.

In order to be able to triangulate information across assessment methods, the teacher and learner must be able to see meaning in the way the information is combined – much like a clinician sees meaning in combining a lab result with a history taking response and a physical examination finding (Tweed and Wilkinson 2019). This meaning making is also important for the provision of constructive feedback and the formulation of useful and actionable learning goals. Several theories underpin why this would lead to better judgments and better learning.


설명 이론: 구성주의자 및 사회적 구성주의자

Explanatory theories: Constructivist and social constructivist


[구성주의적 접근법]에서 학습은 능동적인 의미 생성 과정으로 간주된다. 학습은 미래의 문제 해결을 위해 지식을 보유하고 접근하기 위해 내부적으로 구성되어야 한다. 이 이론은 더 많은 지식과 이해는 '구성construction'이라고 기술하고 있는데, 이것은 학습자가 기존의 지식과 이해에 기반하여 적극적으로 구축되어야 하고 따라서 수동적으로 획득되지 않는다는 것을 의미한다. 학습은 또한 이해관계자(학습자와 교사)와 교사들 사이의 사회적 활동이다(Dewey 1938; Bruner 1960; Vygotsky 1978; Bruner 1986). 따라서 [효과적인 학습이라는 목적을 가진 상호작용]은 이해관계자들 사이의 shared meaning making에 달려 있다.

In a constructivist approach, learning is seen as an active process of meaning making, positing that knowledge has to be constructed internally in order to be retained and accessible for future problem-solving. The theory states that further knowledge and understanding are constructions, which means that they have to be actively built on existing knowledge and understanding and are therefore not acquired passively. Learning is also seen as a social activity between stakeholders (learners and teachers) and teachers facilitate and support students’ active involvement with the material (Dewey 1938; Bruner 1960; Vygotsky 1978; Bruner 1986). Interaction with the purpose of effective learning thus depends on shared meaning making between the stakeholders.


사회적 구성주의는 인지 발달과 깊은 이해에서 [사회적 과정의 가치]를 강조한다. 다른 사람들과의 결정적 상호작용은 기존 지식에 대한 새로운 지식의 구축을 촉진할 뿐만 아니라 학습자들이 그들의 이해를 구성하고 재구성하도록 한다. 따라서 그들은 사회적이고 협력적인 환경을 통해 학습된 지식과 이해에 대한 다양한 의미 있는 관점을 만들어 낸다. 따라서 학습 과정의 협력적 성격과 문화적 사회적 맥락의 중요성을 강조한다. 인지 과정의 강화는 사회적 상호작용에서 비롯되고, 사회적 상호작용의 결과다. 학습은 [학습자에 의한 새로운 지식의 동화]일 뿐만 아니라 학습은 [학습자가 지식 공동체로 통합되는 과정]이기도 하다(Vygotsky 1978; Bruner 1986). 따라서 의미 부여와 의미 있는 상호작용은 이러한 프로세스의 필수불가결요소이다.

Social constructivism stresses the value of the social process in cognitive development and deep understanding. The critical interactions with others not only facilitate the building of new knowledge on existing knowledge but also make the learners construct and reconstruct their understanding. Thus, they create various meaningful perspectives on the learned knowledge and understanding through a social and collaborative setting. It emphasizes, therefore, the collaborative nature of learning and the importance of the cultural and social context in the learning process. This strengthening of cognitive processes originates in and is the result of social interactions. Learning is not only the assimilation of new knowledge by learners, but it is also the process by which learners become integrated into a knowledge community (Vygotsky 1978; Bruner 1986). Meaning making and meaningful interaction are therefore sine qua nons for these processes.


기본 PA 원리: 종단성

Fundamental PA principle: Longitudinality


PA에서도 학습자의 진행 상황에 대한 정보를 종단적으로 수집하는 접근법은 중요하다. 그것은 더 긴 기간 동안의 평가 참여가 가능하게 하며, 스냅숏보다는 더 많은 장면을 제공한다. 또한, 의사결정의 부담이 데이터의 신뢰성, 풍부성 및 견고성에 비례해야 하는 비례성 원칙(Schuwirth et al. 2017)이 있다. 이 원칙에 따르면, 오랜 시간 동안 평가에 참여한다면prolonged engagement, 여러 평가의 데이터 포인트를 수집하고 수집하는 데 더 많은 시간을 사용할 수 있고, 고부담 의사결정에 대한 이해관계자 수가 늘어날 것이다. 그리고 평가 피드백이 이전의 피드백에 기반하여 구축build on될 수 있도록 한다.

The approach to collect information about the learner’s progress longitudinally is important in PA as well. It provides a longer assessment engagement and thus more of a movie rather than a snapshot. Further, in accordance with the principle of proportionality (Schuwirth et al. 2017)in which the stakes of the decisions have to be proportional to the credibility, richness, and robustness of data, prolonged engagement allows for more time to collect and collate multiple assessments’ data points and greater stakeholder numbers in relation to high stakes in decision making and it enables the assessment feedback to better build on previous feedback.


설명 이론: 구성주의자 및 사회 구성가

Explanatory theories: Constructivist and social constructivist


듀이(1938년)는 수십 년 전, 모든 경험은 이전의 경험에 의해 형성되고 '어떤 식으로든 다음에 오는 경험의 질을 변화시킨다는' [경험의 연속성]의 원리를 기술했다(p. 27). 연속성의 원칙에 기초하면, 효과적인 교육은 지속적인 성장의 과정으로 간주되고 경험의 질은 이후의 경험에 영향을 미치는 방법으로 의도된다. 따라서 경험의 연속성의 원칙은 지속적인 학습을 지원하기 위해 평가, 훈련 및 지원 활동을 배치하는 PA의 중요한 측면이다.

Dewey (1938), many decades ago, described the principle of continuity of experience in which every experience is shaped by the previous experience and ‘modifies in some ways the quality of those which come after’ (p. 27). Based on the principle of continuity, effective education is seen as a process of continuous growth and the quality of the experience is intended as a way to influence later experiences. The principle of continuity of experience is therefore an important aspect of PA in which assessment, training, and supporting activities are arranged to support ongoing learning.


이것은 비고츠키(1978년)와 푸에르슈타인 등의 작업에 의해 더욱 지원되며(2002년), 여기서 핵심은 정적 평가와 반대되는 동적 평가 개념이다. 동적 평가는 assisted performance를 통한 학습자의 미래 발전을 목표로 한다. 그것은 단순히 학생이 특정 시점에 무엇을 할 수 있느냐(배움의 관점에 대한 더 많은 평가)가 아니라, 학생이 피드백과 도움(배움에 대한 평가)에 어떻게 대응할 수 있느냐에 대한 것이다. 그러므로 강조되는 것은 과거에 배운 것이 아니라 현재와 미래에서 배울 수 있는 것에 있다

This is further supported by the work of Vygotsky (1978) and Feuerstein et al. (2002) in which the concept of dynamic assessment, opposed to static assessment, is central. Dynamic assessment aims at the future development of the learner through a process of assisted performance. It is not merely about what the student can do at a certain point in time (more an assessment of learning perspective) but how the student could respond to feedback and assistance (assessment for learning). The emphasis is therefore not on what has been learned in the past but on what can be learned in the present and the future. 


현대 교육에서, 이것은 불가능한 기대가 아니다; 평생학습에 대한 기대가 증가함에 따라, 우리는 – 행동주의자와 같은 방식의 – 통제는 졸업으로 끝나며, 대학의 사회에 대한 책임은 졸업과 함께 시작된다는 것을 깨닫는다. ...다음의 것들은 [사회적 학습 맥락에서 발생하는, 사회 구성주의 이론적 프레임워크에 기반을 둔] PA의 요소 중 하나이다.

    • 학습자에게 피드백을 지속적으로 전달하며, 학습을 지원하고 만들기 위한 평가 활동의 배치

    • 학생들을 지도하고 지도하는 교육자  역할

    • 고부담 또는 저부담 결정을 내리는 전문가 위원회를 구성하는 평가자 간의 사회적 상호의존성과 상호작용 

In modern education, this is not an implausible expectation; with the increasing expectation of the lifelong learner, we realize that the – behaviorist – span of control ends with graduation and the university’s responsibility to society starts with graduation. 

    • The arrangement of assessment activities to support and create learning with constant delivery of feedback to learners, 

    • the role of teachers in coaching and mentoring students, and 

    • the social interdependence and interactions among assessors in the setting of a committee of experts who make high or low stakes decisions 

...are some of the elements of PA that occur in a social learning context and are grounded in a social constructivist theoretical framework.


앞선 학습이 다음에 뒤따를 학습에 미치는 영향의 중요성을 감안하여, PA는 지식의 재구조화가 일어날 수 있도록 하는 교육적 핵심 요소를 포함한다. PA는 새로운 지식 구조의 개발을 위한 비계를 만들고 학생들에게 새로운 상황에서 개념과 전략을 적용할 수 있는 지속적인 기회를 제공한다. 이러한 맥락에서, 가르침과 평가는 학습의 목표, 특히 [현재의 이해]와 [추구하는 새로운 이해 사이]의 격차를 좁히는 목표를 향해 혼합blend된다. 학습을 위한 평가AfL와 학습의 평가AoL 구성요소의 조합은 (다른 평가 행위와 도구의 여러 데이터 포인트에 의해 지원되는) 교육 연속체 전체에 걸쳐 지속적인 평가를 가능하게 한다.

In view of the importance of prior learning as an influence on new learning, PA includes key elements of pedagogic practice that allow knowledge restructuring to occur. PA creates the scaffold for the development of new knowledge structures and provides students with continuous opportunities to apply concepts and strategies in novel situations. In this context, teaching and assessment are blended toward the goals of learning, particularly the goal of closing gaps between current understanding and the new understandings sought. The combination of components of assessment for and of learning allows creating a continuous assessment across an educational continuum supported by multiple data points from different assessment practices and tools.


기본 PA 원칙: 지속적인 피드백 및 피드백 루프 닫기

Fundamental PA principle: Continuous feedback and closing the feedback loop


PA에서는 피드백의 제공 및 획득과 피드백 루프의 폐쇄를 위한 중심 역할이 존재한다. 이것은 형성적 평가와 혼동되어서는 안 된다. 그보다, 이것은 [피드백 과정을 학습을 유도하는 최적의 접근방식으로 사용하는 것]에 관한 것이다. 이는 학생들이 피드백을 사용해야on board하고, 후속 학습 목표에서 의도한 개선을 이루었음을 증명해야 한다는 것을 의미한다. 

In PA, a central role exists for the provision and uptake of feedback and closing the feedback loop. This is not to be confused with formative assessment; instead, it is about an approach in which the feedback process is used to optimally drive student learning. This means that the student has to take the feedback on board and has to demonstrate that the ensuing learning goals have led to the purported improvement. 


이것은 [PA의 총괄적 측면]이란 일회성으로 특정 합격 점수를 획득하는 것이 아니라, 외부 세계에서도 수용할 수 있는 목표에 상호 합의하는 지속적인 과정이라는 것을 의미한다. 이것은 학습자에게 쉬운 과정이 아니며 종종 학습자들을 그들의 안전 영역 밖으로 밀어낼 것이다. 다양한 이론들이 이것이 효과적인 학습을 용이하게 하는 이유를 설명한다.

This means that the summative aspect in PA is not the attainment of a certain cutoff score in a one-off occasion but a continuous process of reaching mutually agreed upon targets which are also acceptable to the outside world. This is not an easy process for the learner and will often push them outside of their comfort zone. Various theories explain why this facilitates effective learning.


설명 이론: 인지적 및 인지적 발달 방향

Explanatory theories: Cognitivist and cognitive development orientation


동화 이론(Ausubel 2012)과 인지 개발 이론(Vygotsky 1978)은 PA의 중요한 이론적 신조다. 동화 이론은 새로운 사상이 확립된 사상이나 관념에 의해 관련되고 동화되었을 때 효과적으로 학습되어 새로운 인지 구조를 만들 수 있다고 가정한다. PA에서는 새로운 데이터 포인트가 이전의 '기존의established' 데이터 포인트에 지속적으로 동화되며, 평가 데이터는 이전의 확보된 평가 데이터와 동화되어 중간 및 최종 평가로 이어진다.

Assimilation theory (Ausubel 2012) and the theory of cognitive development (Vygotsky 1978) are important theoretical tenets of PA. Assimilation theory posits that new ideas are effectively learned when they are related to and assimilated by established ideas or notions, so that they can create a new cognitive structure. In PA, new data points are continually assimilated to previous ‘established’ data points, and assessment data are assimilated to previous established assessment data, leading to both the intermediate and final evaluation of the model.


Vygotsky의 인지 발달 이론에서, 하나의 중심 목표는 인지 갈등을 만들어 인지 성장을 장려하는 것이다.

In Vygotsky’s theory of cognitive development, one central aim is to encourage cognitive growth by creating cognitive conflict,


Vygotskian 이론의 핵심 개념은 학습자의 실제 개발과 잠재적 개발 사이의 공간 또는 거리로 의도된 근위부 개발 영역(ZPD)이다. ZPD는 학습과 개발이 상호 작용하는 영역을 나타내며 개발 준비의 척도를 제공한다. ZPD에 있는 어려운 과제들은 최대치의 인지적 성장을 촉진한다따라서 교육자가 종단적 저부담 평가와 고부담 평가를 통합하므로써, ZPD에서 학습자의 성과를 점진적으로 평가할 수 있는 기회를 만든다면, PA에서 새로운 통찰력을 제공할 수 있을 것이다. ZPD는 [세계에 대한 학습자의 기존 개념]이 [새로운 정보]와 충돌할 때 존재하며, 이는 학습자 자신의 능력에 대한 자기 인식에도 적용된다.

A key concept of the Vygotskian theory is the zone of proximal development (ZPD) which is intended as the space or distance between the actual and potential development of a learner. The ZPD represents an area in which learning and development interact and it provides a measure of developmental readiness. Challenging tasks that are in the ZPD promote maximum cognitive growth. Therefore, the opportunity for educators to progressively assess learners’ performance in the ZPD, integrating longitudinal lowand high-stakes assessment information, may provide a new insight in PA and deserves further exploration. The ZPD exists when the learner’s existing conceptualizations about the world clash with new information, and this applies to self-conceptualizations about the learner’s own competence as well.


이것은 메지로의 변혁적 학습 이론(Mezirow 2002)에 의해 제시된 혼란스러운 딜레마와 유사하다. 이 딜레마는 여러분 주변의 세계와 학습자로서 여러분 자신을 이해하는 출발점이 된다. PA의 개발 구조와 지원 활동은 ZPD에서 학생과 교사의 상호작용을 허용하며, 따라서 인지 발달과 인지적 변화를 촉진한다.

This is similar to the disorientating dilemma as posited by Mezirow’s transformative learning theory (Mezirow 2002), in which the disorientating dilemmas serve as a starting point for reframing understanding, both of the world around you and of yourself as a learner. The developmental structure and supporting activities of PA allow the interaction of students and teachers in the ZPD, therefore promoting cognitive development and cognitive change.


기본 PA 원칙: 학습에 대한 평가 및 학습에 대한 평가

Fundamental PA principle: Assessment for learning and assessment as learning


학습을 위한 평가AfL로서 PA는 [교육 과정과 평가 과정 사이의 경계가 더 모호]하다는 점에서 더 전통적인 접근 방식과는 다르다. 보다 전통적인 접근법에서 평가는 단지 교육 과정의 결과를 측정하는 것을 목적으로 한 교육 이외의 과정으로 볼 수 있는 반면, PA에서 평가와 교육은 서로 불가분한 영역이다. 이것은 아마도 철학적 입장에서 가장 어려운 변화일 것이다. 그러나 PA가 왜 전통적인 평가보다 더 나은 학습자 역량의 개발을 지원하는지에 대한 타당한 이론적 뒷받침이 있다.

The PA as an assessment for learning approach is different from a more traditional approach in that the lines between educational and assessment processes are fuzzier. In the more traditional approaches, assessment can be seen as a process extrinsic to education, merely aimed at measuring the outcome of the educational process, whereas in PA, the assessment process is an inextricable part of education. This is perhaps the most difficult change in philosophical stance but there is, again, plausible theoretical underpinning of why PA supports the development of learner competence, likely even better than traditional assessment.


설명 이론: 교육적 설계 및 구성주의적 지향 이론

Explanatory theories: Theory of instructional design and constructivist orientation


학습 과제와 평가 활동의 상호 결합을 '학습으로서의 평가'라고 부르기도 한다. 학습 과제에는 TBL 또는 PBL 소그룹 튜토리얼, 자율학습, 강의, 역사 및 신체검사 작성, 문제해결 과제 등 학습으로 이어지는 여러 가지 학습 활동이 포함될 수 있다. 학습 과제 분석에는 목표와 활성화 목표를 달성하는 데 필요한 필수 역량의 식별이 포함된다(Gagne 등 2005).

The interweaving of learning tasks and assessment activities is sometimes called ‘assessment as learning.’ A learning task may involve a number of learning activities leading to learning: a TBL or PBL small group tutorial, a self-study, a lecture, a history and physical exam write up, or a problem-solving assignment. Learning task analysis involves the identification of prerequisite competencies which are needed to achieve target and enabling objectives (Gagne et al. 2005).


그 다음, 프로그램에서 목적적합한 과제 선정이 요구된다. 학습 과제는 학생이 필요한 기본 지식, 기술 또는 이해를 습득하는 데 도움이 되도록 만들어져야 하며, 이는 목표에 도달하거나 더 깊이 있는 학습을 촉진하는 [도약대 역할]을 하게 된다. 이 원칙은 medical competence의 획득뿐만 아니라 learning how to learn에도 해당된다. PA에서는 학습자가 학습 목표를 공식화하고 성공적으로 제정enact하기 위해 이것을 사용할 것이라는 기대와 함께, 학습자가 의미를 부여하기 위한 지속적인 피드백과 요구사항requirement은 '학습'에 관한 학습과제로 간주된다. PA의 학습과제 개념은 학습과제에 대한 Gagne의 분석에 타당하게 근거하고 있다. 즉, 훈련 활동과 평가 활동이 밀접하게 연관되어 있을 뿐만 아니라, medical competence와 learning to learn에 대한 학습도 이루어지고 있다.

A purposeful selection of tasks in the program is then required; learning tasks are set to support the student in acquiring necessary basic knowledge, skills, or understanding to serve as a springboard to reach target objectives or promote further and deeper learning. This principle does not only pertain to the acquisition of medical competence but also to learning how to learn. In PA, the continuous feedback and requirement for the learner to make meaning, in conjunction with the expectation that the learner will use this to formulate and successfully enact learning goals, are to be seen as learning tasks on ‘learning to learn.’ The concept of learning tasks of PA is plausibly grounded in Gagne’s analysis of learning tasks. In other words, not only are training activities and assessment activities closely connected, but also are learning for medical competence and learning to learn.


마찬가지로 Merri€enboer와 Kirschner(2017년)는 10단계 및 4C/ID(4개 구성 요소 지침 설계) 모델을 설명한다. 이 모델의 주요 요소와 첫 번째 요소 중 하나는 학습 과제의 설계를 수반한다. PA 모델과 유사하게, 4C/ID 모델의 구조적 요소는 상호의존적이며, 퍼포먼스 평가의 설계는 특정한 시점에 각 과제에 대한 성과를 측정할 수 있다. 이를 통해 학습과제에 대한 학습자의 종단적 진행을 모니터링할 수 있다.

Similarly, Merri€enboer and Kirschner (2017) describe a ten-step and 4C/ID (4 components instructional design) model. One of the main and first component of this model entails the design of learning tasks. Similar to the PA model, the structural elements of 4C/ID model are interdependent and the design of performance assessments allows to measure performance on each of the tasks, at particular points in time. This allows for monitoring the learners’ longitudinal progression over the leaning tasks.


또한, 4C/ID의 단계 중 하나는 학습 과제의 시퀀스(3단계)를 포함한다. 이 순서는 단순한 것에서 복잡한 것으로 나아가는 것이며, 수행능력 평가(2단계)와 결합되어서 함께 학습을 최적화하고 개별화된 학습 개발 궤적을 만든다. Van Merri€enboer와 Kirschner(2017년)는 4C/ID 모델에서 평가의 총괄적 초점(AoL)은 고부담 결정을 내리는 것에 있지만, 동시에 강력한 형성적 기능 - 의미있는 피드백 - 을 수행해야 한다고 주장했다.

Further, one of the steps involves the sequence of learning tasks (step 3), from simple to more complex, which, coupled with frequent performance assessments (step 2), optimizes learning and creates individualized learning developmental trajectories. In the 4C/ID model, Van Merri€enboer and Kirschner (2017) contend that even though the summative focus of assessment (assessment of learning) is to make high-stakes decisions, it must also perform a strong formative – meaningful feedback – function.


따라서 학습과 평가 과정을 성공적으로 진행하기 위하여 AoL과 AfL은 건설적으로 정렬되고, 교육 이론과 설계와 완벽하게 통합되어야 하지만, 이것이 얼마나 성공할 수 있는가는 [교사나 코치의 질]과 [조직의 학습 문화]에 달려 있다(Harrison 등 20).16, 2017).

Therefore, assessment of and for learning can be constructively aligned, and fully integrated with instructional theory and design, if they are to succeed in driving the learning and assessment process, but how successful this can be done depends on the quality of the teacher or coach and the learning culture in the organization (Harrison et al. 2016, 2017).


PA 기본원칙: 학생 주체성과 책임

Fundamental PA principle: Student agency and accountability


PA의 중요한 측면은 학생들이 자신의 학습과 평가에 대한 주체성과 책임을 맡도록 허용하거나 만드는 것이다. 앞에서 말했듯이, 학습자의 학습과 평가에 대한 행동주의자적 통제 범위는 그들의 졸업으로 끝나지만, 의대의 사회에 대한 책임은 졸업으로 시작된다. 그러므로 PA 프로그램은 점차적으로 그 기관과 책임을 학습자에게 넘기는 것을 추구한다. 이는 행동주의자와 자기조절이론에 정통한 운전자 사이의 의식적이고 의도적인 균형이 구현의 일부임을 암시한다. 

An important aspect of PA is allowing or making the student assume agency and accountability for their own learning and their own assessment. As said before, the span of – behaviorist – control over the learners’ learning and assessment ends with their graduation but the medical school’s responsibility to society starts with graduation. PA programs therefore seek to gradually hand over that agency and accountability to the learner. This implies that a conscious and purposeful balance between behaviorist and self-regulation theory-informed drivers is part of the implementation.


설명 이론: 자기결정론(SDT)과 자기규제학습이론(SRL)

Explanatory theories: Self-determination theory (SDT) and self-regulation learning theory (SRL)


지원 활동, 특히 '자율성 지지 교육'이라는 개념은 PA 모델의 핵심 요소로서 학습자와 교사가 참여한다. 이러한 '자율성 지원 교육'은 무엇보다도 SDT와 SRL의 두 가지 이론적 프레임워크에 근거를 두고 있다.

Supporting activities, in particular the concept of ‘autonomy-supportive teaching,’ are a key component of the PA model and involve learners and teachers. Such ‘autonomy-supportive teaching’ is grounded in, among others, two theoretical frameworks, SDT and SRL.


SDT의 주요 축 중 하나는 자율성의 개념과 필요성이다. SDT에서 자율성은 '[자기 행동]의 인식된 기원이나 근원이 되는 것'(Deci와 Ryan 2004, 페이지 8)으로 의도되므로, 자율적 행동은 자아의 표현이다. SDT에서는 자율성-지지적 교사는 학생에게 독립적인 업무의 기회를 제공하고, 내부 동기를 지원하며, 학생들의 요구에 유연하고 대응한다. 따라서 '자율성 지지적 교육'은 PA의 맥락에서 교사들이 하는 주요한 역할이며, 코칭은 학생들의 자기 결정을 촉진하고, 학생들을 자율성의 연속체에서 움직이도록 돕는다.

One of the main pillars of SDT is the concept of or need for autonomy. In SDT, autonomy is intended as ‘being the perceived origin or source of one’s own behaviour’ (Deci and Ryan 2004, p. 8) and therefore, an autonomous behavior is an expression of the self. In SDT, autonomy-supportive teachers provide opportunities for independent work and support internal motivations, and they are flexible and responsive to the needs of the students. Therefore, ‘autonomy-supportive teaching’ is a major role teachers play in the context of PA, and the coaching fosters students’ self-determination and helps move the students across an autonomy continuum.


성공적인 평생 학습자에게 필요한 원하는 자율성을 달성할 수 있도록 하기 위해, 자기조절학습(SRL)은 통찰력이 있을 수 있다(Pintrich 2004; Schunk 2005). SRL은 학습자가 목표 설정, 학습 전략 선택 및 자체 성과 평가에 관여한다는 것을 전제로 한다. 또한 '자율적 지원 교육'의 개념은 [교사가 학생의 목표 설정, 학습 과제 제안, 학습과정 감시 및 평가 등을 돕는] 사회적조절학습의 원칙에도 근거를 두고 있다(Zimmerman 1998; Bandura 2001).

In order to be able to achieve the desired autonomy needed for successful lifelong learners, self-regulated learning (SRL) can be insightful (Pintrich 2004; Schunk 2005). SRL posits that learners are involved in goal setting, selecting learning strategies and evaluating their own performance. The concept of ‘autonomy-supportive teaching’ is also grounded in the principle of socially regulated learning in which the teacher helps the student in setting goals, suggesting learning tasks, monitoring and assessing the learning process (Zimmerman 1998; Bandura 2001).


설명 이론: 행동주의적 성향과 고의적 실천 원칙

Explanatory theories: Behaviorist orientation and principles of deliberate practice


행동주의적인 접근법의 교리는 우리가 PA에서 숙달학습의 개념을 접할 때 해당되는 것이다(Block 1980; Guskey 1980; Skinner 2011). 숙달학습에서 학생들은 정해진 수준의 숙련도를 보여주지 않으면 다음 수준의 수업으로 나아갈 수 없다. 이러한 숙달력은 의료 역량의 요소와 관련될 수 있지만 학습의 요소에도 해당될 수 있다. 예를 들어, 성찰 또는 자기분석 문서를 작성하는 것은 일련의 프로그램된 연습을 통해 배울 필요가 있을 수 있다. 이러한 모든 측면에 대해, [점진적으로 과제의 난이도를 증가시키면서, 즉각적인 보강과 피드백을 결합]하는 shaping이라는 개념은 행동주의자적 원칙이다.

Tenets of behaviorist approaches are considered when we encounter the concept of mastery learning in PA (Block 1980; Guskey 1980; Skinner 2011). In mastery learning, students cannot progress to the next level of instruction unless they demonstrate a set level of proficiency. This mastery can pertain to elements of medical competence but also to elements of learning to learn. For example, producing reflection or self-analyses documents may need to be learned through a series of programed exercises. For all these aspects, the concept of shaping, where instruction proceeds with tasks of increasing levels of difficulty, coupled with immediate reinforcement and feedback is a principle of the behaviorist orientation.


숙달학습은 어떤 면에서 [의도적인 연습DP]의 핵심 원칙이다DP는 코치에 의해서 설계되는 활동으로서, 반복과 정교화를 통해 개인의 성과를 향상시키는 것이 목적이다(Anders Ericsson 2008). [학습자 동기 부여]와 [과제 설계]는 DP의 중요한 요소들이다. 교육자는 [학습자의 사전 지식 및 이해를 고려하여, 단시간의 교육 후에 학습자가 과제를 정확하게 이해할 수 있도록] 해야 한다. 학습자는 각 과제와 관련된 활동이 끝난 후 즉시 관련 피드백과 성과에 대한 지식을 얻어야 한다.

Mastery learning is a key principle of deliberate practice for some aspects – typically the more technical aspects – as is meaning making to others – typically the more understanding/insight-related aspects. Deliberate practice is intended as the activity designed by a coach to improve performance of an individual through repetition and refinement (Anders Ericsson 2008). Learners’ motivation and the design of the task are crucial elements of deliberate practice. Educators should take into account ‘the pre-existing knowledge and understanding of the learners, so that the task can be correctly understood after a brief period of instruction.’ Learners should receive immediate relevant feedback and knowledge of results of their performance after each task-related activity.


또한, 비고츠키아의 관점에 따르면, [배우는 과정에서는 교사와 학생이 학습 프로세스의 shaping과 directing 책임을 분담하지만], 점차적으로 책임이 바뀌는 co-regulated learning에 참여해야 할 것이다. 이를 위해 초기 비계는 서서히 제거되고 학생은 점차적으로 자신의 학습에 대한 책임감을 높여 자기 조절 능력을 키울 것으로 예상된다(van Houten-Schat et al. 2018). PA에서 학생과 교사의 관계는 매우 중요하며, PA의 역할은 실제로 그들의 발전의 다른 단계에 있는 학생들의 자기조절을 강화하는 것일 수 있다.

Further, according to the Vygotskian perspective, teacher and student will have to engage in co-regulated learning, in which they share the responsibility of shaping and directing the learning process but with a gradual change of responsibilities. For this, the initial scaffold will be slowly removed and the student is expected to gradually take increasing responsibility of his or her own learning, developing self-regulating skills (van Houten-Schat et al. 2018). In PA, the relationship of student and teacher is crucial, and one role of PA might indeed be that of foster self-regulation of students at different stages of their development.


해설론: 직업수요원론

Explanatory theories: Job demand–resource theory


고용수요원론(JDR-T) (Bakker and Demeruti 2017)에서 직업 특성은 크게 두 가지 범주로 나뉜다. 직무 요구와 직무 자원

    • 직무 요구는 [높은 업무 부담이나 감정적으로 힘든 상황]과 같신체적, 심리적, 조직적 노력이다. 

    • 직무 자원은 직무 요구를 줄여주거나, 자율성을 높여주거나, 성과에 대한 피드백을 제공하거나, 개인의 성장을 촉진하거나, 업무 목표를 달성하는 것이 포함된다. 직무 자원은 미래의 업무 참여와 동기를 예측한다.

In the job demand–resource theory (JDR-T) (Bakker and Demerouti 2017), job characteristics fall into two main broad categories: job demands and job resources. 

    • Job and demands are physical psychological organizational efforts that may include high work pressure or emotionally demanding situations. 

    • Job resources are those aspects of the job that reduce job demands, foster autonomy, provide feedback on performance, promote personal growth, and achieve work goals. Job resources predict future work engagement and motivation.


PA 평가에서 지원 활동에서 교직원의 역할은 바커와 데메루티(2017년)가 정의한 [직무 자원의 창출]과 유사할 수 있다. 코치로 활동할 때 교수들은 학생들의 자기 결정과 자율성을 개발하고, 상호작용적 사회적 학습 환경을 조성하며, 학생들이 직업 수요에 대처할 수 있도록 하고, 발전과 성장의 기회를 창출할 수 있도록 하는 직업 자원을 제공하기 위해 노력한다.

In PA assessment, the role of the faculty within the supporting activities may be similar to that of creating job resources as defined by Bakker and Demerouti (2017). Faculty when acting as coaches contribute to develop students’ self-determination and autonomy, foster an interactive social learning environment, and strive to provide those job resources that allow students to cope with job demands while creating opportunities for development and growth.


고찰

Discussion


의학연구와 달리 의학교육연구는 연구결과의 완벽한 복제를 자동적으로 가정하지는 않는다. 따라서 (RCT처럼) 의료 연구가 문맥적 특징에 관계없이 다른 맥락에서 복제할 수 있는 발견을 목표로 하는 경우가 많다면, 종종 의학교육 연구는 '복잡성' 또는 '시스템'을 가정하고 시작한다(Rosas 2015). 복잡한 상황에서, 발견을 한 맥락에서 다른 맥락으로 직접 복제하는 것은 작동하지 않는다; 대신에, 어떤 것이 작용하여 다른, 약간 다른 문맥에 맞게 수정되거나 전달될 수 있는 이유를 이해할 필요가 있다. 그러한 이해는 문제 해결을 transfer하는데 있어서 깊은 구조deep structure의 역할과 유사하다고 볼 수 있다(Eva et al. (Eva et al. 1998). 따라서 이론은 특정 상황이나 학습 조직에서 발생할 수 있는 구현의 과제를 극복하는 데 도움이 될 수 있다(Torre 등 2006).

Unlike in medical research, medical education research does not automatically assume perfect replication of research findings. So, where medical research is often aimed at producing findings that can be replicated in any other context regardless of contextual features – typically like randomized controlled trials – often (medical) education research starts from the assumption of complexity or systems (Rosas 2015). In complex situations, direct replication of findings from one context to another does not work; instead, there is a need to understand why something works so it can be adapted or transferred to fit another, slightly different context. Such understanding can be seen as analogous to the role of a deep structure in transfer of problem solving (Eva et al. 1998). Theory can therefore help overcome the challenges of implementation that may arise in specific contexts or learning organizations (Torre et al. 2006).


이론이 PA의 실행을 위한 기회를 알려준 한, 우리는 이론이 구현 도전에 직면하는 데 어떻게 도움이 될 수 있는지에 대한 예를 설명하기를 좋아한다. 예를 들어, 학생들은 임상실습에서, 그들은 한 번의 로테이션에서 동안 문제가 있을 수 있다. 그런 다음, 향후 로테이션 감독자/조정자가 이러한 문제에 대해 알아야 후속 로테이션 중에 이러한 문제를 학생에게 구체적으로 지원할 수 있다. 그러나, 감독관에게 앞선 로테이션의 정보를 주는 것을, 다음 감독관에게 편견을 갖게 하며, 학생들은 마치 '범죄 전과criminal case record'를 부당하게 넘기는 것처럼 인식할 수 있다. 그러나 PA 관점에서는, 이것은 '관리의 연속성' 프로세스에 더 가까울 것이다. 이 딜레마는 학습 맥락에 대한 표준 평가에서 주요 문제지만, PA 맥락에서 쉽게 해결할 수 있다.

As far as theory informed opportunities for the implementation of PA, we like to illustrate an example of how theory may help face an implementation challenge. For instance, when students are in their clinical rotations, they might have issues during one rotation. It is then imperative that the supervisor/coordinator of future rotations knows about these issues, so that they can specifically support the student with these during the subsequent rotations. However, notifying that supervisor may be perceived by the students as an unfair transfer of a ‘criminal case record’ and therefore may be seen to be biasing the next supervisor. From a PA view, it would be more like a ‘continuity of care’ process. This dilemma is a major one in a standard assessment of learning context, but it is an easy one to solve in a PA context.


한 로테이션을 도는 동안 문제를 경험한 학생은 학습 코치 –와 함께 –을 분석하고 교정조치 계획을 제시하도록 요청 받는다. 그 후 학생은 미래의 감독자와 이 계획을 소통하고 토론하며 이 계획을 어떻게 실행할지 준비할 것으로 예상된다. 점검 단계에서, 감독관이 계획에 서명하도록 요구될 수 있으며, 그것은 포트폴리오의 일부가 된다. 또한 학생과 그들의 학습 코치는 학생들이 이러한 어려운 대화를 다루는 방법을 배울 수 있도록 하기 위해 미래의 감독자/코디네이터와 그들의 문제를 소통하는 방법을 토론하고 연습할 수 있다. 이와 같이, 정보의 연속성과 종단성이 보호된다면, 학생이 자신의 학습에 주체성을 가지게 되고, 지난 로테이션의 문제는 단순히 나쁜 경험이 아니라 학습의 기회로 여겨지며, 그 문제는 단순히 성적표에 대한 체크박스가 아니라 학습의 의미 형성을 최적화하고, 자기조절학습을 촉진하고, 지속적인 성장과 학습자의 발전을 자극하는 수단으로 사용될 것이다.

The student who experiences issues during one rotation is asked to analyze – together with their learning coach – and provide a plan for remediation. The student is then expected to communicate and discuss this plan with their future supervisor and make arrangements for how to implement this plan. As a check, it can be required that the supervisor signs a plan and it becomes part of the portfolio. The student and their learning coach could also discuss and practice the way the student would communicate their issues with their future supervisor/coordinator, as a way of allowing the student to learn how to deal with these difficult conversations. As such, continuity of care and longitudinality of information is safeguarded, agency lies with the student for their own learning, the issues in the past rotation are not merely bad experiences but opportunities for learning, and the issues are not just a tick box on an academic transcript, but are being used to optimize meaning making of learning, foster self-regulated learning, and promote continuous growth and learner’s development.


우리가 다루지 않은 것과 점점 더 중요한 이슈로 인식되고 있는 것은 [조직문화]와 [소위 순진한 인식론]의 역할이다. 전자는 조직의 변화 의지를 촉진하거나 저해한다는 점에서 중요하다(Harrison et al. 2017). 후자는 더더욱 극복하기 어렵다, 깊은 신념과 관련되기 때문에, 우리는 비체계적이고 유도되지 않은 경험에 의해 우리 주변의 세계에 대해 발전한다(Vosniadou 1994). 이러한 현상은 종종 사람들로 하여금 그들이 교육받고 평가받는 방식이 현대 교육의 틀이 되어야 한다고 믿게 한다. 하지만, 우리가 50년 전처럼 의술을 실천하지 않는 것처럼, 우리도 50년 전처럼 교육을 실천하는 것을 목표로 해서는 안 된다. 왜 의학은 왜 일반적으로 진보하는 방향으로 자연스러운 전문직업적 경향을 갖는데 있고, 의학 교육에 관해서는 보수적이 되는지는 여전히 불분명하다. 우리는 이 분야에서 아직 이 요소를 우리의 서술에 포함시키기에는 충분한 이론적 발전이 없다고 느꼈다.

What we have not addressed and what is increasingly being recognized as a significant issue is the role of organizational culture and of so-called naïve epistemologies. The former is significant in that it facilitates or hampers the willingness in the organization to change (Harrison et al. 2017). The latter is even more difficult to overcome, as it relates to the deep beliefs, we develop about the world around us by unsystematic and unguided experience (Vosniadou 1994). This phenomenon often leads people to believe that the way they were educated and assessed should be the mold for modern education. However, like we do not practice medicine like we did 50 years ago, neither should we aim at practicing education the way we did 50 years ago. Why there is a general natural professional tendency in medicine to progress and when it comes to medical education to be conservative is still unclear. We felt that there is not sufficient theoretical development in this field yet to include this element in our narrative.



van Houten-Schat MA, Berkhout JJ, van Dijk N, Endedijk MD, Jaarsma AD, Diemers AD. 2018. Self-regulated learning in the clinical context: a systematic review. Med Educ. 52(10):1008–1015.







, 42 (2), 213-220
 

Theoretical Considerations on Programmatic Assessment

Affiliations 

Affiliations

  • 1Department of Medicine, Uniformed Services University of Health Sciences, Bethesda, MD, USA.
  • 2Department of Education and Health Profession Education, Flinders Medical School, Adelaide, Australia.
  • 3Department of Educational Development and Research, Maastricht University, Maastricht, The Netherlands.
  • 4Faculty of Health Medicine and Life Sciences, School of Health Professions Education, Maastricht University, Maastricht, The Netherlands.

Abstract

Introduction: Programmatic assessment (PA) is an approach to assessment aimed at optimizing learning which continues to gain educational momentum. However, the theoretical underpinnings of PA have not been clearly described. An explanation of the theoretical underpinnings of PA will allow educators to gain a better understanding of this approach and, perhaps, facilitate its use and effective implementation. The purpose of this article is twofold: first, to describe salient theoretical perspectives on PA; second to examine how theory may help educators to develop effective PA programs, helping to overcome challenges around PA.Results: We outline a number of learning theories that underpin key educational principles of PA: constructivist and social constructivist theory supporting meaning making, and longitudinality; cognitivist and cognitive development orientation scaffolding the practice of a continuous feedback process; theory of instructional design underpinning assessment as learning; self-determination theory (SDT), self-regulation learning theory (SRL), and principles of deliberate practice providing theoretical tenets for student agency and accountability.Conclusion: The construction of a plausible and coherent link between key educational principles of PA and learning theories should enable educators to pose new and important inquiries, reflect on their assessment practices and help overcome future challenges in the development and implementation of PA in their programs.


타당도: 한 단어, 여러 의미(Adv in Health Sci Educ, 2016)

Validity: one word with a plurality of meanings

Christina St-Onge1 • Meredith Young2 • Kevin W. Eva3 • Brian Hodges4




도입

Introduction


타당도는 일반적으로 측정할 개념, (개발된) 평가 도구, (사용된) 분석 접근법, 평가 결과의 선택에 필요한 정보를 주는 퀄리티 평가의 표지로 간주된다(AERA 등 1999). 즉, '타당도는 평가의 필수불가결한 것이다. 왜냐하면 타당도가 없다면 의학교육에서 평가는 아무런 의미가 없기 때문이다' (Downing 2003). 이와 같이 타당도는 흔히 도구의 퀄리티를 '증명attest'하고 입학부터 실무에 이르기까지 높은 보건 전문직 교육에서 고부담 평가의 사용을 정당화하기 위해 사용된다. 다른 말로 하자면, [무엇이 타당한가]에 대한 결정이 개인과 사회에 영향을 미치기 때문에타당도는 다른 사람들에게 특정한 도구, 분석 절차 또는 시험 점수가 높은 품질 기준을 충족한다는 것을 확신시키기 위해 사용되는 수사학적 '갓-텀'(Lingard 2009)이 되었다.

Validity is generally considered a beacon of quality assessment, informing the choice of concepts measured, assessment tools developed, analytic approaches used, and interpretation of assessment results (AERA et al. 1999). That is, ‘‘Validity is the sine qua non of assessment, as without evidence of validity, assessments in medical education have little or no intrinsic meaning’’ (Downing 2003). As such, validity is often used to ‘attest’ to the quality of tools and to justify the use of assessments in health professions education where stakes are high from admissions to entry into practice. In other words, because decisions about what is considered valid impact upon individuals and society, validity has become a ‘god term’ (Lingard 2009) that is used rhetorically to convince others that particular instruments, analytic procedures, or test scores collected meet high standards of quality.


그러나 최근 몇 가지 리뷰에서 문서화한 바와 같이, HPE(Health Professions Education) 내에서 '타당도'이라는 용어를 사용하는 방식에는 명백한 불일치가 있다(Cook et al. 2013, 2014). 그러한 가변성을 지적하는 작가는 일반적으로 (적어도 암묵적으로) 이러한 불일치의 원인이 현대 이론과 타당도에 대한 접근에 관한 무지에 의한 것이라고 가정한다. 그러나 타당화 관행의 variability는, 부분적으로, 서로 다른 영역의 사람들에게, 서로 다른 방식으로 가치를 제공하는, 서로 다른 타당도의 개념화로부터 발생할 수 있다고 생각할 수 있다.

There is clear inconsistency, however, in the way the term ‘validity’ is used within Health Professions Education (HPE), as documented by several recent reviews (Cook et al. 2013, 2014). Authors who point to such variability commonly assume (at least implicitly) that it is driven by ignorance regarding modern theories and approaches to validity. It is conceivable, however, that the variability in validation practices could arise, in part, from different conceptualizations of validity that provide value to those who work in health professions education in different ways.


HPE은 교육심리학, 측정학, 사회학, 실험심리학 등 여러 분야의 전문가로부터 지속적으로 정보가 유입되는 응용분야로, 이 모두가 분야의 방법론적, 개념적 풍요로움에 기여한다. 그러나 이러한 '풍요로움richness'은 [타당도의 상이한 개념화]를 유발하고, 이는 서로 다른 우선순위로 이어질 수 있으며, 따라서 혼동, 오해, 갈등을 유발할 수 있는 다수의 해석과 이해의 원인이 될 수 있다.

Health professions education is an applied field full of practitioners that is continuously informed by many different disciplines, including educational psychology, measurement, sociology and experimental psychology, all of which contribute to the methodological and conceptual richness of the field. This ‘richness’, however, may lead to different priorities that are supported by differing conceptualizations of validity, thereby generating multiple interpretations and understandings that have the potential to create confusion, miscommunication, and conflict.


타당도에 대한 [묵시적 개념화]와 [상이한 개념화]의 공존은 문제가 있다. 왜냐하면 HPE에서 매일 중대한 결정이 평가 점수의 '퀄리티'에 크게 의존하는 방식으로 이뤄지기 때문이다(예: 개인이 자신이 선택한 직업에 접근할 수 있는 능력, 잘못 인지된 상황에 직면했을 때 법적 상환legal recourse, 그리고 가장 일반적으로 그리고 중요한 것은 환자가 받는 치료의 질이다.) 평가 점수의 '방어가능성'과 그러한 점수의 '정확성'에 대한 개념은 생산된 점수의 타당도에 관한 논쟁에 강하게 놓여 있다.

The co-existence of implicit and different conceptualizations of validity is problematic because important decisions are made every day within the health professions that rely heavily on the ‘quality’ of assessment scores (e.g., individuals’ access to a career of their choice, legal recourse when faced with perceived fault, and most generally and importantly, the quality of care received by patients). Notions of the ‘defensibility’ of assessment scores and the ‘accuracy’ of such scores rest strongly on arguments regarding the validity of the scores produced.


목적

Purpose


이 연구의 주된 목적은 담화 분석을 사용하여 보건 직업 교육에서 '타당도'이라는 용어가 사용되는 다양한 방법을 식별하는 것이었다.

The primary purpose of this study was to use discourse analysis to identify the different ways in which the term ‘validity’ is used within health professions education.


방법

Method


설계

Design


우리의 연구는 담론 이론(Mills 2004)에 기반을 두고 있으며, 따라서 담론 분석의 방법론을 채택하고 있다. 우리의 접근방식은 주로 Hodges 등이 '경험적 담화 분석'라고 명명한 것을 따르고 있으며, 보건 직업 교육 문헌의 텍스트와 언어로 타당도가 구성되는 방법에 일차적으로 초점을 맞추고 있다.

Our research is based on discourse theory (Mills 2004) and thus employs a methodology of Discourse Analysis. Our approach is primarily what Hodges et al. (2008) have labeled ‘empirical discourse analysis’—having a primary focus on ways validity is constructed in text and language in the health professions education literature.


자료(아카이브)

Data (Archive)


토론 분석은 관심의 소지를 식별하기 위해 분석되는 텍스트 및 기타 자료의 식별에서 시작된다(Hodges et al. 2008). 우리는 주로 우리의 연구 기록보관을 보건직 교육원들로 제한했다. 그 목적은 그 분야에서 일하는 사람들에 의해 어떻게 그 건축물이 변형적으로 사용되는지를 탐구하는 것이기 때문이다.

Discourse analysis begins with identification of an archive—the textual and other materials that are analyzed to identify discourses of interest (Hodges et al. 2008). We predominantly restricted our study archive to sources from health professions education because the purpose was to explore how the construct is variably used by people working in that field.


이 연구를 위해 조립된 기록보관소는 4단계 과정으로 구축되었으며, 타당도와 평가를 주제로 한 영어와 프랑스어 출판된 동료 검토 논문과 책으로 구성되어 있다.

The archive assembled for this research was constructed in a four-step process and is comprised of English and French published peer-reviewed articles and books on the topic of validity and assessment.


1단계 본 논문의 모든 저자들은 프레임 평가 관행 측면에서 '매우 중요'하다고 간주한 개인 소장품으로부터 보건 전문직 교육 분야의 타당도와 평가에 관한 5개 내지 6개의 주요 논문을 식별했다. 한 작가(CSO)는 이 텍스트를 비판적으로 검토하여 새로운 언어와 타당도에 대한 개념을 식별하였다.

Step 1 All authors of this paper identified five to six key papers on validity and assessment in the field of health professions education fromtheir personal collection that they considered to be ‘very important’ in terms of framing assessment practices. One author (CSO) reviewed the texts critically to identify emerging language and concepts about validity.


2단계 이 문서 모음에서 인용한 내용은 이차 출처를 포함하도록 아카이브를 확장하기 위해 검토되었다. 한 작가(CSO)는 새롭게 대두되는 담론을 추가로 파악하기 위해 이 텍스트들을 검토했다.

Step 2 The references from this collection of papers were examined to expand the archive to include secondary sources. One author (CSO) reviewed these texts in order to further identify emerging discourses.


3단계 PubMED, ERIC 및 PsycINFO/PsycLit을 사용하여 보건 전문직 교육 문헌에 대한 보다 공식적인 검색을 포함하며, 학술적 사서의 도움을 채용했다. 이 검색의 목표는 1995년에서 2013년 사이에 건강 전문직 교육에서 '평가 타당도'을 주제로 출판된 더 큰 기사의 집합을 확인하는 것이었다. 검토는 전통적인 체계적 검토를 수행하기 보다는 보관소의 폭과 범위를 증가시킬 목적으로 잘린truncated 키워드를 사용하여 실시되었다(valid*, assess*). 즉, 목표는 이 검색으로 포괄적이거나 매우 정밀한 포함/제외 기준을 설정하는 것이 아니라 가능한 한 많은 타당도 개념화를 포함하는 것이었다. 기록보관소에 대해 고려되기 위해서, 기사는 보건 직업 교육 분야에서 평가의 맥락에서 타당도 문제를 다루어야 했다.

Step 3 Involved a more formal search of health professions education literature using PubMED, ERIC, and PsycINFO/PsycLit, employing the assistance of an academic librarian. The goal of this search was to identify a larger set of articles, published between 1995 and 2013, on the topic of ‘validity of assessment’ in health professions education. The review was conducted using the truncated key words valid* and assess* with the intention of increasing the breadth and coverage of the archive rather than with the aim of undertaking a traditional systematic review. In other words, the goal was not to be comprehensive with this search or to set very precise inclusion/exclusion criteria, but was to be as inclusive of as many validity conceptualizations as possible. To be considered for the archive, an article had to address the topic of validity in the context of assessment in the field of health professions education.


4단계 위에서 언급한 검색은 2013년부터 2015년까지 주요 작성자가 설정한 콘텐츠 경고 표에 의해 플래그가 표시된 텍스트로 보완되었다. 한 저자(CSO)는 이러한 목표를 염두에 두고 논문의 포함/제외를 평가하기 위해 문헌검색에서 검색된 모든 제목과 추상화를 검토하였다.

Step 4 The above mentioned search was complemented by texts from 2013 to 2015 flagged by Table of Content alerts set by the principal author. One author (CSO) reviewed all titles and abstracts retrieved from the literature search to assess the inclusion/exclusion of papers with these goals in mind.


절차

Procedure


분석

Analysis


분석은 반복적이었으며, 연속적인 각 단계에서 순차적으로 담론표를 작성했고, 팀의 집단적 및 개별적 전문지식(추후 기술)과 그 결과로 나타나는 내재적 관점을 통해 이를 알게 되었다. 담론의 요소(핵심어, 개념, 주장, 관련 개인과 제도)가 더욱 명확하게 규명됨에 따라 결국 표 1의 구축으로 이어지는 패턴으로 분류되었다.

The analysis was iterative, building the discourse table sequentially at each successive stage and it was informed by the team’s collective and individual expertise (that are subsequently described) and the inherent perspectives that result. As elements of discourse (key words, concepts, arguments, associated individuals and institutions) were more clearly identified, they were sorted into patterns that eventually led to the construction of Table 1.



결과

Results


연구된 기록 자료에서 세 가지 다른 담론이 확인되었다. 

(1) 시험 특성으로서의 타당도, 

(2) 논쟁 기반 증거-체인으로서의 타당도, 

(3) 사회적 의무로서의 타당도.

Three different discourses were identified in the archival materials studied: (1) Validity as a test characteristic, (2) Validity as an argument-based evidentiary-chain and (3) Validity as a social imperative.


  • 시험 특성으로서의 타당도는 타당도가 도구의 본질적 속성이며 따라서 내용 및 문맥에 독립적인 것으로 보일 수 있다는 개념에 의해 뒷받침된다.

Validity as a test characteristic is underpinned by the notion that validity is an intrinsic property of a tool and could, therefore, be seen as content and context independent.


  • 주장에 기초한 증거-체인으로서의 타당도는 타당도가 도구/장치에 속하지belong 않도록 지속적인 분석을 통해 평가 결과의 해석을 지원하는 것의 중요성을 강조한다. 프로세스 기반 검증(타당도란 목표가 아니라 여정)이 강조된다.

Validity as an argument-based evidentiary-chain emphasizes the importance of supporting the interpretation of assessment results with ongoing analysis such that validity does not belong to the tool/instrument itself. The emphasis is on process-based validation (emphasizing the journey instead of the goal).


  • 사회적 의무로서의 타당도는 긍정적이든 부정적이든 개인과 사회 수준에서 평가의 결과를 예견한다.

Validity as a social imperative foregrounds the consequences of assessment at the individual and societal levels, be they positive or negative.


시험의 특성으로서 타당도

Validity as a test characteristic


이 담화에서 타당도는 흔히 "시험이 실제로 측정하고자 하는 것을 측정하는 정도"로 정의된다(Anastasi 1988, 페이지 28). 문자 그대로 액면가로서 그러한 정의는 타당도 주장을 도구 자체의 특성(즉, 본질적으로 도구에 속하는 것)에 대한 진술로 취급한다. 이와 같이 도구에 내재된 속성으로서의 타당도는 내용, 컨텍스트, 시간이 바뀌어도 유지된다. 종종 이 담론과 연관되어 발견되는 개념은 "시험은 상관관계가 있는 모든 것에 대해 타당valid하다"(길포드 1946, 페이지 429)라는 문장에서 예시된 개념이다. 이 담론을 사용하여 도구가 '타당한' 것으로 '낙인 찍히면' 그 도구는 그 품질을 무한정 유지하는 것처럼 취급된다.

In this discourse, validity is often defined as ‘‘the degree to which the test actually measures what it purports to measure’’ (Anastasi 1988, p. 28). Taken literally and at face value, such a definition treats claims of validity as statements about a characteristic of the tool itself (i.e., something that inherently belongs to the tool). As such, validity as a property inherent in a tool spans domains of content, context, and time. Often found associated with this discourse is a concept illustrated by the statement: ‘‘a test is valid for anything with which it correlates’’ (Guilford 1946, p. 429). Once a tool is branded as ‘valid’ using this discourse, the tool is treated as though it retains that quality indefinitely.


따라서 시험 특성으로서의 타당도는 그 도구를 승인해주는 '금도장'으로 생각할 수 있다. 예를 들어, 이 담론을 사용하는 사람들은 MCQ(다중 선택 질문)가 지식의 타당한 척도라고 말할 수 있다. 따라서 그들은 필기 시험을 만들 때 주어진 형식을 따르는 것만으로도 방어될 수 있다. 다음은 타당도의 '골드 씰'을 달성한 것으로 프레임된 도구에 대한 사례 몇 가지이다.

Validity as a test characteristic, therefore, can be thought of as a ‘gold seal of approval’. As an example, those employing this discourse would say that Multiple Choice Questions (MCQs) are a valid measure of knowledge, full stop. Thus they can be defended as the goto format when creating written exams. Here are a few examples of claims about tools that are framed as having achieved a ‘gold seal’ of validity:


증거는 JSE[Jefferson Scale of Empathy]가 의료 분야에서 의대생과 의사에게 타당valid하고 신뢰할 수 있는 공감의 척도가 된다는 것을 보여주었다. (Van Winkle et al. 2013, 페이지 219 - 저자)

Evidence has shown the JSE [Jefferson Scale of Empathy] to be a valid and reliable measure of empathy in medical students and physicians in the context of healthcare. (Van Winkle et al. 2013, p. 219 -emphasis by authors)


타당도를 도구의 품질로 간주하는 경우, 주어진 영역(지식, 기술, 전문성 등)에 대해 [가장 타당한 것으로 보일 수 있는 하나의 우수한 도구가 있을 수 있는 가능성]이 열린다. 따라서 이러한 담론은 측정하려는 내용이나 능력과는 무관한, '최고의' 평가 도구를 식별하기 위한 탐색, '성배'를 찾기 위한 퀘스트를 가능하게 한다.

When one considers validity to be a quality of a tool, the door is opened for the possibility that for any given domain (knowledge, skills, professionalism, etc.) there could be one superior tool that could be shown to be the most valid. Thus, this discourse makes possible the quest for ‘holy grails’ of assessment, a quest to identify the ‘best’ assessment tools, independent of content or ability to-be-measured.


MCQ 테스트는 서면 평가의 가장 효율적인 형태로서, 콘텐츠의 광범위한 적용범위에 의해 신뢰성과 타당도를 갖는다. (McCoubrie 2004, 페이지 711 - 저자 강조)

MCQ testing is the most efficient formof written assessment, being both reliable and valid by broad coverage of content. (McCoubrie 2004, p. 711 -emphasis by authors)


흥미롭게도, 우리는 시험적 특징으로서의 타당도의 담론을 비판적으로 평가하는 일부 사람들은 이를 '구식', '논쟁적', '가치 결여'라고 주장한다.

Interestingly, we found that the discourse of validity as a test characteristic is judged harshly by some who argue that this view is ‘antiquated’, ‘controversial’, or ‘lacking in value’.


우리는 종종 '타당화된 도구'라는 말을 듣는다." 이 개념화는 그 도구가 타당하거나 그렇지 않다는 이분법을 암시한다. 이 견해는 부정확하다. 첫째로, 타당도는 추론의 속성이지, 기구가 아니라는 것을 기억해야 한다. 둘째, 해석의 타당도는 항상 정도의 문제다. 도구에서 얻은 점수는 기초 구조를 더 정확하거나 덜 정확하게 반영하지만 결코 완벽하지 않다. (Cook and Beckman 2006, p. 166e10)

We often read about ‘‘validated instruments.’’ This conceptualization implies a dichotomy—either the instrument is valid or it is not. This view is inaccurate. First, we must remember that validity is a property of the inference, not the instrument. Second, the validity of interpretations is always a matter of degree. An instrument’s scores will reflect the underlying construct more accurately or less accurately but never perfectly. (Cook and Beckman 2006, p. 166e10)


타당도 범주를 고려할 때, 타당도 증거는 다양한 정도까지 존재한다고 이해되지만, 평가가 '타당하다'라고 할 수 있는 threshold는 없다. (벡먼 외) 2004, 973쪽

When considering categories of validity, it is understood that validity evidence exists to various degrees, but there is no threshold at which an assessment is said to be valid. (Beckman et al. 2004, p. 973)


그러나 보건 전문직 교육 문헌에 이러한 타당도 담론이 지속적으로 존재함에 따라 '즉각적 해결책'이 필요한 개인(예: '타당한' 평가 프로그램, 도구, 접근법을 새로 만들려는 열망/지식/자원이 없는 교육자와 관리자)가 필요로하는 실용적 필요성을 충족시킬 수 있음을 시사한다. 타당도의 담론을 시험 특성으로 사용하면, 자원이나 심리학적 전문지식이 부족한 상황에서도, 퀄리티가 높다고 보고된 도구를 사용하여 평가와 관련된 과제를 극복할 수 있기 때문이다. 즉, '이미 발견된found' 해결책의 사용이 가능한 것이다.

However, the continued presence of this discourse of validity in the health professions education literature suggests that it may fill a pragmatic need for individuals who require ‘off-the-shelf solutions’ (e.g., educators and administrators who do not have the desire, knowledge, or resources to create ‘valid’ assessment programs, tools, or approaches de novo). Using the discourse of validity as a test characteristic permits the possibility of ‘found’ solutions to overcome the challenges associated with assessing students and future professionals using tools reported to be of high quality in a context of limited resources or limited psychometric expertise.


...대학 차원의 가용자원으로 타당하고 신뢰할 수 있는 역량 평가를 개발하기는 쉽지 않다.(로버트 외 2006, 저자의 542 강조)

…Developing a valid and reliable assessment of competence is not easy to achieve with the resources available at the university level. (Roberts et al. 2006, p. 542 emphasis by authors)


우리는 타당도를 시험의 내재된 특성으로 강조함으로써 다른 효과에 대해 추측할 수 있다. 시험의 불변성 속성으로서의 타당도는 평가 실무자에게 잘못된 안전의식을 심어줄 우려가 있다. 평가자는 평가도구의 '금도장gold seal'에 대해 의문을 제기하거나 다시 확인해볼 필요성을 전혀 느끼지 못할 수 있다. 예를 들어, MCQ 시험 형식을 사용하는 것은, 할라디나 등 2002년에 제시된 것과 같은 항목 작성 지침이나 MCQ가 사용되는 맥락적 성격을 고려하지 않고 '타당하다valid'(McCoubrie 2004)고 들었기 때문이다. 이런 것이 이 담론에 존재하는 사각지대의 사례이다. 마찬가지로 적절한 청사진이나 문제가 있는 시나리오에 대한 주의vigilance 없이 OSCE나 MMI와 같은 평가 접근방식을 배치하는 것을 선택하는 것은 맥락적으로 의미 있는 평가를 달성하려는 [원래 의도했던 목적]을 어렵게 만들 수 있다(Eva 및 Macala 2014). 더욱이 원래 연구한 용도 이외의 목적으로 또는 원래 맥락을 넘어서는 목적으로 시험을 사용하는 것도 (부정적) 결과를 초래할 수 있다.

We can speculate about some of the effects of emphasizing validity as a test characteristic over other discourses of validity. Validity as an immutable property of a test has the potential to create a false sense of security for assessment practitioners, who may never feel the need to question or re-evaluate an instrument’s ‘gold seal’. Using an MCQ exam format, for example, because it is said to be ‘valid’ (McCoubrie 2004) without consideration for item-writing guidelines such as those put forward in Haladyna et al. 2002), or the nature of the context in which the MCQs are used, is an example of such a blind spot. Similarly, choosing to put in place an assessment approach like OSCEs or MMIs without proper blueprinting strategies or without vigilance for problematic scenarios may defeat the intended purpose of achieving a contextually meaningful assessment (Eva and Macala 2014). Moreover, using tests beyond their original contexts or for purposes other than the originally studied uses can have consequences.


잘못된 인간에 대한 측정:

IQ 테스트가 지능을 하나의 탈맥락화된 점수로 수량화할 수 있다는 전제를 가지고 이뤄진 결과, 어떻게 새로운 맥락(이민 목적 등)에서 사용된 다음, IQ 점수에 근거하여 특정 인종-민족 집단을 '지능이 낮은 사람'으로 표기하는 등의 부적절한 결론을 도출해 왔는가.

The Mismeasure of Man: 

how the IQ test, based on the premise that intelligence can be quantified in a single, decontextualized score, has been used in novel contexts (such as for immigration purposes) to draw inappropriate conclusions such as labelling of entire ethno-cultural groups as ‘less intelligent’ based on test scores.



인수 기반 증거-체인으로서의 타당도

Validity as an argument-based evidentiary-chain


이 담론을 사용할 때, 타당도는 논쟁 기반 증거-체인으로 구체화되며, "평가 결과에 할당된 의미나 해석을 뒷받침하거나 반박하기 위해 제시된 증거"로 정의된다(2003년, 페이지 830). 이 담론에서의 타당도는 때때로 (이전의 담론에서와 같이) 특정 도구에 초점을 맞추지만, 타당도 자체는 매우 맥락의존적으로 본다. 여기서는 타당도 확인 프로세스를 통해 달성할 수 있는 점수의 타당한 해석에 초점을 맞추고 있다. 즉, 시행된 각각의 시험마다 (기초 이론/예측과 관련하여) 평가 결과의 해석을 뒷받침할 수 있는 충분한 증거가 있는지 검증한다. 여기서 명사 'validation'과 동사 'to validated'가 주로 나타나지만, 형용사 'validated'라는 문구는 절대 사용하지 않는다. 이는 평가되는 도구의 품질이 아니라 도구 사용의 적절성이라는 개념과 평가 프로세스를 구현하는 방식에 따라 시험자의 성과나 평가 점수에서 도출된 해석과 결론을 반영한다.

When this discourse is used, validity is framed as an argument-based evidentiary-chain and defined as ‘‘the evidence presented to support or refute the meaning or interpretation assigned to assessment results’’ (Downing 2003, p. 830). Though validity in this discourse does sometimes focus on particular tools (as in the previous discourse), validity itself is seen as highly contextual. The focus is on the valid interpretation of scores that can be achieved via a validation process used to verify that there is sufficient evidence in each administration of a test to support the interpretation of the assessment results in relation to the underlying theory/expectations. Here, the adjective ‘validated’ never appears while the noun ‘validation’ and the verb ‘to validate’ are common. This reflects the notion that it is not the quality of the tool that is judged but rather the appropriateness of the uses of the tool, and the interpretations and conclusions drawn from the examinees’ performance or assessment scores given the way the assessment process was implemented.


예를 들어, certification 시험의 타당화validation 프로세스는 임상 시뮬레이션을 주의 깊게 작성하고, 실제로 구현하며, 표준화했다는 문서화뿐만 아니라, 원하는 역량을 획득한 후보만 합격하고, 역량을 숙달하지 못한 후보만 시험에 불합격하도록 하는 것을 목적으로 할 수 있다. 그러나 중요한 것은 이 근거출처와 그에 기반한 certification 시험의 타당도 판단은 이 한 가지 사례에만 적용될 것이다. 그 다음에 사용할 때, 그리고 그 다음에 생성된 결과는 또 다른 타당도 검사를 필요로 할 것이다.

For example, a validation process for a certification exam might aim to document that clinical simulations were created carefully, implemented authentically, and standardized as well as ensuring that only the candidates who have acquired the sought after competences pass and only the candidates who do not master the competences fail the exam. Importantly, however, these sources of evidence and the determination of validity of the certification examinations would apply only to one instance of its use. Subsequent usages and the results generated would require repeated validation.


논쟁 기반 증거-체인으로 타당도 담론을 채택하는 사람들에게, 데이터/점수의 사용과 해석을 뒷받침하거나 반박하기 위한 증거를 제공하기 위해 '타당도'을 사용한다는 점에서 [과학적 방법]에 비유될 수 있다. 이 담론에서는 증거가 계속 축적되면서 결론이 바뀔 수도 있다고 인식한다. 따라서 타당도 과정을 평가 목적을 정의한 후 구현되는 여정으로 특징짓기도 한다. 타당화 과정의 목표는 검증 프로세스에서 가능한 한 많은 증거를 수집하고, 특정 테스트에서 생성된 데이터의 타당도 정도를 알려주는 변수/요소를 식별하는 것이다. 이 뿐만 아니라, 타당도 주장을 이해하고, 그 한계를 설정하는 것이다.

For those employing the discourse of validity as an argument-based evidentiary-chain, there is an analogy to the scientific method in that ‘validation’ is used to provide evidence to support or refute the use and interpretation of data/scores. There is also recognition that conclusions may change as evidence continues to accumulate. It is thus characterized by some as a journey on which one embarks after having defined the assessment purpose(s). The goal is to collect as much evidence as possible in a validation process and to identify variables/factors that inform the degree to which data produced by a particular test are valid but also to understand and set limits on claims of validity.


이 담론의 사용자들은, 이론에 근거한 평가 전략을 만든 다음, 관찰된 결과가 토대를 이루는underlying 이론의 예상 징후를 보여주는지를 평가하는 것을 목표로 한다.

Users of this discourse aim to create assessment strategies that are based on theories and then evaluate if the observed results show evidence of expected manifestations of the underlying theory.


이 담론은 타당화 접근법과 표준을 전면에 배치하며, 두 저자 메식(1995)과 케인(2006)은 이 담론의 anchor authorities으로 매우 자주 인용된다. 따라서 [논쟁 기반 증거 체인으로서의 타당도]는 [평가에 의해 생성된 점수의 품질에 대해 (권위 있게 말하고자 하는 경우) 적용할 일련의 규칙과 규정]을 만든다.

this discourse places validation approaches and standards at the forefront, and two authors—Messick (1995) and Kane (2006)—are very frequently cited as anchor authorities for this discourse. Validity as an argument-based evidentiary-chain thus creates a set of rules and regulations to be applied if one wants to speak authoritatively about the quality of the scores generated by an assessment.


이러한 담론은 타당도 및 검증 관행을 규제하는 교육 및 심리 테스트 표준 SERT (AERA 등 1999년), 교육 테스트 서비스 ETS 및 기타 기관과 같은 공식화된 평가 기관과 강하게 관련되어 있는 것으로 보인다. 더욱이, 이러한 기관들은 권장되는 관행recommended practice을 적용하고 집행하는 고도로 자격을 갖춘 사람들의 역할을 정당화한다.

This discourse appears to be strongly associated with formalized assessment institutions such as; the Standards for Educational and Psychological Testing (AERA et al. 1999), the Educational Testing Service, and others that regulate validity and validation practices. Moreover, these institutions legitimize the role of highly qualified people who apply and enforce the recommended practices.


이 타당도 담론을 과도하게 강조할 때 발생할 명백한 결과는 [검증 과정이 절대 끝나지 않는 과정이 될 것]이라는 점이다(Bertrand and Blais 2004). "타당도 및 평가 검증 및 개정'은 절대 끝나지 않는 사이클이다(Beckman 등). 2009년, 페이지 188)". 게다가, 점수 해석을 위해 다른 형태의 증거들을 어떻게 따져볼지에 대한 명확한 규칙이 없는 것 같다. 따라서 [수집된 타당도 근거와 새로운 점수 해석]을 해석하고 통합할 필요가 있기 때문에, QA 프로세스에 지속적으로 engage해야만 한다(Cook et al. 2015).

An apparent consequence of an over-emphasis of this discourse of validity is that the validation process would become a never-ending process (Bertrand and Blais 2004): ‘‘validity and assessment validation and revision is a never-ending cycle’’ (Beckman et al. 2009, p. 188). In addition, there appear to be no clear rules about how to weigh the different forms of evidence for different score interpretations. Thus, one can remain engaged in a continuous quality assurance process with the need to interpret and incorporate each new piece of validity evidence collected and each new score interpretation (Cook et al. 2015).


마지막으로, 이러한 담론을 강조함에 따른 또 다른 결과는, '내용 전문가content exprt'들이 실제로 좋은 성과를 정의하는 것이 무엇인지를 '알고' 있지만, (보다 공식화된 검증 프레임워크에 따르려면) 이들의 판단은 증거체인에서 relevant하거나 reliable해보이지 않기 때문에 평가 과정에서 저평가될 수 있다는 것이다. 즉, [타당도의 근거로 간주되는 것을 너무 협소하게 바라볼 경우], 자신의 전문직을 규제할 책임이 있는 전문가에게 상황에 맞춘 적절하고 중요한 평가 전략의 결정능력이 주어지지 않을 수 있다.

Finally, one further consequence of emphasizing this discourse is that little consideration may be given to content experts who feel that they ‘know’ what defines good performance in practice but who may become undervalued in the assessment process because their judgement does not seem relevant or reliable in the evidentiary-chain according to the more formalized validation frameworks. In other words, the professionals who are responsible for regulating their own profession may experience lessened capacity to determine contextually appropriate and important strategies for assessment if too narrow a lens is placed on what counts as evidence of validity.


검증의 증거-체인을 지원하기 위해 데이터를 수집하는 데 시간과 리소스가 필요하다. 이것은 임상 실습과 교육에서 최전선에서 일하는 사람들에게 어려울 수 있다. 그들은 또한 (더 많은 적시point-in-time 시험 전략을 위해 수집할 수 있는 증거의 덩어리를 모으는 것이 더 어려운) '주관적subjective' 또는 '관찰적observational'으로 보이는 평가를 채택할 때 저항에 직면할 수 있다.

Time and resources are required to collect data to support an evidentiary-chain of validation. This may prove difficult for those working at the front lines in clinical practice and education settings. They may also face resistance when employing assessments that are seen as ‘subjective’ or ‘observational’ for which it is more difficult to assemble the mass of evidence that can be gathered for more point-in-time testing strategies.


사회적 의무로서의 타당도

Validity as a social imperative


사회적 의무으로서의 타당는, 개별적으로 취했을 때, 대부분의 독자들에게 친숙하게 보일 수 있는 몇 가지 요소들로 새롭게 부상하는 담론이다. 이 담론은 처음 두 가지 담론보다 새로이 등장한 것으로, 다양한 종류의 전문성, 관점, 이해관계자(관리자, 연구원, 정책 분석가 등)의 역할을 강조한다. 사회적 의무로서의 타당도는 개인 및 사회 수준에서 평가의 결과에 대한 신중한 고려를 포함하는 평가에 대한 사회 주도적 관점으로 나타났다. 이러한 담론은 보다 광범위한 개인 및 사회 문제를 전망함으로써, 특정 도구에 대해 한 가지만 고려하지 않고sole consideration, 이를 뛰어넘는 '조감도'를 취한다는 것이 특징이다. 

Validity as a social imperative is an emerging discourse with several components that, when taken individually, may seem familiar to most readers. This discourse is newer and informed by different kinds of expertise, perspectives, and stakeholders (administrators, researchers, policy analyst, etc.) than the first two discourses. Validity as a social imperative appeared in our archive as a socially driven perspective on assessment that includes calls for deliberate consideration for the consequences of assessment at both individual and societal levels. This discourse appears to be characterized by taking a ‘bird’s eye view’ of assessment that foregrounds broader individual and societal issues and that goes beyond the sole consideration of specific tools.


시험의 결과에 주의를 기울이는 것은 반드시 이 신흥 담론에만 국한되는 것은 아니며, 위에서 설명한 타당도의 증거적 개념과 더 일반적으로 관련이 있는 저자를 찾을 수 있다. 어느 정도, 사회적 의무로서의 타당도는 증거-체인으로서의 타당도에서 뻗어나온 결과물outgrowth일 수 있다. 우리가 [사회적 의무]를 별개의 담론으로 식별하려는 이유는, '사회적 의무'로 타당도를 사용하는 사람들은 [평가 개발 및 검증 프로세스 전반에 걸쳐 나타나는 평가의 사회적 결과]를 특히 중요시하는 것처럼 보이기 때문이다. 이와는 대조적으로, 증거-체인 담론에 포함되는 경우, 평가의 결과는 많은 변수 중 하나일 뿐이며, 일반적으로 전혀 고려되지 않을 경우 사소한 변수일 뿐이다. 또한 사회적 의무로서의 타당도의 담론은 학습자를 넘어 보다 거시적 사회 수준에서 영향을 포함하도록 평가 결과의 개념을 확장시킨다.

Giving attention to the consequences of a test is not necessarily unique to this emerging discourse and can be found authors who are more commonly associated with the evidentiary-chain notion of validity described above. To some degree, validity as a social imperative may be an outgrowth of validity as an evidentiary-chain. Our argument for identifying it as a discrete discourse arises from the observation that those who employ validity as a social imperative seem to foreground social consequences of assessment throughout assessment development and validation processes. By contrast, when included in the evidentiary-chain discourse, consequences of assessment are just one of many variables, usually a minor one if considered at all. This discourse of validity as a social imperative also expands the idea of consequences of assessment beyond learners to include impacts at a more macro societal level.


...참가할 가치가 있는 10%를 선정하는 과정에서(따라서 사회에서 존경받고 보수가 좋은 자리를 보장한다) 우리는 나머지 90%에게 그들이 가치 없는 사람이고, 그들이 충분히 좋지 않으며, 개인적인 결함을 가지고 있다고 말하고 있다. (노먼 2004)

…in the course of selecting the 10 % who are worthy of admission (and hence guaranteed an esteemed and well-paid place in society), we are telling the other 90 % that they are unworthy; that they are not good enough, that they have personal failings. (Norman 2004)


이러한 타당도 담론을 채택하는 사람들은 평가 목적에 대한 프로그램적 관점에 부합하는 경향이 있기 때문에, 이 담론의 지지자들은 사후 분석에는 주의를 덜 기울이는 것 같다. 오늘날 작가들은 평가를 도입하기 전에 [평가 전략의 개념적 계획 및 평가에 대한 목적적 접근의 우선 순위 지정을] 더욱 강조해 왔다. 또한 평가 후에는 [(평가 수행 후 문제를 식별하고 해결하는 데 초점을 맞춘평가의 품질에 대한 분석적 점검]보다 [의도하지 않은 결과의 최소화]를 강조해왔다예를 들어, 개별 평가 도구에 의해 생성된 데이터에서 시험 데이터가 결합되는 방식으로 강조점이 이동하기도 한다. 

Because those who adopt this discourse of validity tend to align themselves with a programmatic perspective on the purpose of assessment, proponents of this discourse seem to give less attention to post hoc analyses. Writers today have put greater emphasis on conceptual planning of an assessment strategy and prioritizing a purposeful approach to assessment by using tools and strategies a priori (prior to its administration) and minimizing unintended consequences over analytic checking of the quality of assessment results a posteriori, practices that focus on identifying and addressing issues post administration. For example, there is also a shift in emphasis from data generated by individual assessment tools to the way in which testing data are combined.


[(거의) 완벽한 평가도구의 조합]보다 오히려 [덜 완벽한 평가도구의 세심한 결합]이 결과적으로는 더 나을 것이다. 즉, 중요한 것은 있는 것은 빌딩블록의 퀄리티 뿐만 아니라, 빌딩블록을 결합하는 방식이다. (슈워스와 반 데르 블뤼텐 2012, 페이지 39)

A combination of (near-) perfect instruments may result in a weaker programme than a carefully combined set of perhaps less perfect components. In other words, it is not only the quality of the building blocks that is relevant, but also the ways in which they are combined. (Schuwirth and van der Vleuten 2012, p. 39)


이것은 사후 심리측정학 분석 데이터가 중요하지 않다고 말하는 것은 아니다. 다만, 사후 심리측정적 분석은 평가 전략의 복잡성을 완전히 파악하지 못하는 것 같다.

This is not to say that post hoc psychometric analytic data are not important. However, they seem unable to fully capture the complexity of assessment strategies


따라서, [학습자가 평가에 지불하는 비용]과 [사회와 실무자 모두가 경험할 수 있는 편익] 사이의 균형을 잡으려는 맥락에서 판단해야 한다.

and as such, they must be considered in the context of striving for balance between the costs of having learners submitted to the assessment and the potential for benefits to be experienced by both society and the practitioner.


심리측정적 접근방식은 [의료 전문가에게 점점 더 필수적이라고 여겨지는 상위 수준의 역량을 평가하기에는], 특히 이 역량을 [authentic context에서 분리하여 의미 있게 평가할 수 없다는 점]에서, 너무 환원주의적이다 (Kuper 등 2007). (Beendonk 외 2013, 페이지 560)

[…] the psychometric approach is considered to be too reductionist (Huddle and Heudebert 2007) for the assessment of higher order competencies, which are increasingly deemed to be essential for medical professionals but cannot be meaningfully assessed detached from the authentic context (Kuper et al. 2007). (Berendonk et al. 2013, p. 560)


넓은 사회과학적 관점에서 볼 때, 전통적인 OSCE 타당도 조사는 약간 좁았다. ...OSCE는 맥락의존적이고, 잠재적으로 formative하며, 권력, 경제, 문화의 관계와 같은 사회학적 변수의 영향을 많이 받는 복잡한 사회적 사건이다. (호지 2003, 페이지 253)

From the vantage point of a broad social-science perspective, traditional OSCE validity research has been a bit narrow. …OSCEs are complex social events that are highly contextual, potently formative and heavily influenced by sociological variables such as relations of power, economics and culture. (Hodges 2003, p. 253)


본질적으로, 이 담론은 관심의 초점을 [도구나 검증 과정의 속성]에서 [학습자와 사회를 위하여 평가가 지향해야 하는 목적]으로 이동시킨다.

In essence, this discourse shifts the focus of attention from the properties of the tool or the validation process to the desired purpose of assessment for the learner and for society.


평가의 교육적 가치는 쉽게 과소평가된다. 대부분의 학습자가 평가의 요구 사항을 발견하고 충족하는 데 능숙하기 때문에 평가의 성격과 내용은 학생들이 채택하는 학습 전략에 강한 영향을 미친다. (크로슬리 외 2002, 페이지 800)

The educational value of assessment is easily underestimated. The nature and content of assessment strongly influences the learning strategies that students adopt because most learners are adept at spotting and meeting the requirements of an assessment. (Crossley et al. 2002, p. 800)


이러한 담론을 사용하는 개인들이 종사하는 교육 프로그램 및 조직에서는 [커리큘럼]과 [사회가 졸업생에게 기대하는 미래의 의료행위practice]에 부합하는 완전하고 포괄적인 평가 프로그램을 주장한다. (약점을 식별하는) 후향적인 관점이기보다는, 이는 (assessment practice 개선을 통한) 전향적인 관점이다.

Individuals that employ this discourse often work in training programs and organizations that claim ownership of a complete, comprehensive program of assessment aligned with the curriculum and the expectations of society for future practice (and in some cases certification) of graduates prospectively (through improving assessment practices) rather than retrospectively (through identifying weaknesses).


더욱이, 이러한 담론은 평가의 일치단결된concerted 발전을 중요시하기에, 프로그램적인 평가 개발을 지도guide하는 평가 위원회나 이사들의 필요성을 강조한다. 평가 도구와 접근법의 결정은 개별 코스를 담당하는 자 또는 개별 코스의 특이한 견해/책임을 가진 사람, 생성된 데이터의 타당도를 측정하는 사람에게 맡겨둘 것이 아니다.

Moreover, this discourse promotes concerted developments in assessment, thus creating the need for evaluation committees or directors that guide programmatic assessment development rather than leaving the selection of tools and approaches to the idiosyncratic views/abilities of those responsible for individual courses, or in the hands of those who measure the validity of data generated.


단순히 좋아 보이는 도구를 사용하게 놔둬서, 학생들의 미래를 바꾸는 life-changing decision을 내리는 것은 분명 용납될 수 없다는 것이 내 견해다(6). 그러나 그것은 반대 의견이다.(노먼 2015, 페이지 300, 301)작가에 의한 강조

My own view is that it is surely not acceptable to make life changing decisions about students’ future using instruments that simply look good (6). But that is one opinion against another. (Norman 2015, pp. 300, 301)—emphasis by authors


문헌에 따르면, 사회적 의무로서 타당도를 지나치게 강조하면 "대부분의 교육자들에게 물의를 일으킬 뿐만 아니라, 실제로 시험 사용의 의도된 결과와 의도하지 않은 결과에 대한 주의를 덜 기울일 수 있다"(Shepard 1997, 페이지 13). 일반적으로 이러한 타당도 형태와 관련된 데이터는 다양한 출처에서 얻으며, 양적 정보뿐만 아니라 질적 정보도 포함할 수 있다.

It has been suggested in the literature that an overemphasis on validity as a social imperative may ‘‘not only muddy the waters for most educators, it may actually lead to less attention to the intended and unintended consequences of test use’’ (Shepard 1997, p. 13). Typically, data related to this form of validity come from a variety of sources and may include qualitative as well as quantitative information.


좀 더 전통적인 것을 소홀히 할 가능성이 있지만 그럼에도 불구하고 유용한 정신측정학 모니터링은 특히 개별 도구의 퀄리티 수준에서 이루어진다. '큰 그림'만 보고 평가 도구(예: 항목 분석, 신뢰성, 합격률 등)에 의해 생성된 구체적인 데이터의 품질을 모니터링하는 시력을 상실할 경우, '신뢰할 수 없는' 검사나 불공정한 합격/불합격 점수를 중심으로 사각지대가 발생할 수 있다. 이 담론에서 심리측정적 분석은 타당도 확인의 중심적 접근방식은 아니지만, 적절히 사용할 경우 그 사용은 목적적합한 평가의 목표를 지원할 수 있다. 질적 데이터의 사용에 대한 강력한 접근방식이 이 담화(Kuper et al. 2007; Van Der Vleuten et al. 2010)에서 유용할 수 있다는 주장이 제기되었지만, 그렇게 하는 방법은 초기 단계에 머물러 있다.

there is the potential of neglecting the more traditional, but nevertheless useful psychometric monitoring a posteriori, particularly at the level of the quality of individual tools. If one attends only to the ‘big picture’ and loses sight of monitoring the quality of data generated by specific assessment tools (e.g., item analysis, reliability, pass rates, etc.), blind spots may develop around ‘unreliable’ examinations or unfair pass/fail cut scores. While in this discourse psychometric analysis is not the central approach to ascertain validity, its use may support the goal of purposeful assessment when used appropriately. It has been argued that robust approaches to the use of qualitative data could be useful within this discourse (Kuper et al. 2007; Van Der Vleuten et al. 2010), however methods to do so remain in their infancy.


고찰

Discussion


본 연구는 보건 직업 교육 및 평가의 특정한 맥락 안에서 "타당도"이라는 용어를 사용하는 것에 초점을 맞추었다. 기본적인 개념화와 무관하게, 타당도는 보건 직업 교육에 일반적으로 사용되며 높은 부하를 받는 용어임이 분명하다.

This study has focused on the use of the term ‘‘validity’’ within the specific context of health professions education and assessment. Independent of the underlying conceptualization, it is clear that validity is a commonly used -and highly loaded- term in health professions education.


  • 타당도는 어떤 사람들에게는 도구가 특정 금본위제를 충족하였기 때문에 도구가 사용될 수 있거나 심지어 사용되어야 한다는 것을 나타내는 것처럼 보인다.

Validity seems to signify, for some, that a tool can or even should be used since it has met a certain gold standard.


  • 다른 사람들에게는 점수 해석의 적절성을 보장하기 위해 진행되는 과정에 대해 말하는 것 같다.

For others, it seems to speak to the process put in place to ensure the appropriateness of the score interpretation.


  • 어떤 그룹에게 타당도는 의도하지 않은 결과를 최소화하는 데 초점을 맞춘 학습자와 사회의 평가의 역할과 가치에 대한 고려사항에 관한 것으로 보인다.

For a third group, validity seems to be about the considerations for the role and value of assessment for learners and society with a focus on minimizing unintended consequences.


이러한 각 단점을 채택함으로써 얻을 수 있는 권력관계와 편익은 (부분적으로는) 공개된 타당화 관행에서 채택되는 프로세스와 시험testing 기관이 생성 및 승인한 지침에 의해 권장되는 프로세스 간의 관찰된 불일치를 설명할 수 있다.

The power relations and benefits gained by adopting each of these discourses may explain—in part—the observed discrepancies between the processes that are sometimes adopted in published validation practices and the processes recommended by the guidelines generated and endorsed by testing organizations.


[논쟁 기반 증거-체인의 담론]을 채택하는 사람들에게 신뢰를 받으려면, 특정 용어를 사용해야 하고, 이른바 '현대적' 타당도 이론을 언급해야 할 것으로 예상된다. 따라서 이 담론에 참여하는 한 가지 방법은 [기술 보유자 또는 적절한 언어와 기술을 익힌 사람]이 되어서, 타당도의 규칙과 규정(일반적으로 케인과 메시크에 관한 것)을 주장하는 것이다. 이들은 타당도 접근법을 권장하고 적용할 수 있는 힘을 가지고 있다. 즉, [논쟁 기반 증거-체인 담론]은 특정한 기술과 지식 기반을 가진 사람들이, 특정한 전문화된 직업을 갖는 것을 가능하게 한다. 또한 [선별된 그룹의 사람]만이 타당화 작업을 처리할 수 있는 전문 지식을 가지고 있다는 것을 암시하는 것으로 보인다.

To be credible to those employing the discourse of argument-based evidentiary-chain, one is expected to use a specific set of terminology and refer to what are called ‘modern’ theories of validity, as illustrated by the multiple reviews on the subject (Cizek et al. 2008, 2010; Cook et al. 2014, 2015; Wools and Eggens 2013). Thus, one way of participating in this discourse is as a skill holder or a person who has mastered the appropriate language and skills and, as such, lays claim to the rules and regulations of validation (usually in reference to Kane and Messick). Such individuals have the power to recommend and apply validation approaches. In other words, this discourse makes certain specialized jobs possible for people who have a specific skill set and knowledge base. It also appears to imply that only a select group of people have the expertise to tackle a validation task.


최근의 체계적인 검토를 살펴보면 '근대적 타당성 이론'의 채택이 늦어지고lag 있다는 점을 지적하고 비평한다(Cook et al. 2013, 2014). 이러한 담론이 지배적인 경우, 고도로 훈련된 개인이 평가 도구의 지속적인 타당도를 보장해야 함을 암시하는 경우가 많다. 결과적으로, (—제한적인 공식 훈련만 받은 —)'novices'가 평가 프로그램을 개발하고 모니터링해야 하는 상황에서,

  • 그들은 같은 언어를 사용하지 않기 때문에 '외계인' 또는 '임포스터'로 인식될 수 있다. 

  • 인가된 타당성 이론을 능숙하게 사용하지 못할 수 있다. 

  • '전문가'에게 통상적이지 않거나 설득력이 없는 타당도 프로세스 근거를 제시할 수 있다.

Recent systematic reviews document and critique a ‘lag’ in uptake of ‘modern validity theories’ (Cook et al. 2013, 2014). Where this discourse is dominant, it is often implied that highly trained individuals are required to ensure the ongoing validation of assessment tools. Consequently, when ‘novices’—with limited formal training—are called upon to develop and monitor assessment programs, they 

  • may be perceived as ‘outsiders’ or ‘impostors’ because they do not use the same language, 

  • may not adeptly use sanctioned theories of validity, and 

  • may put forward evidence during a validation process that is not conventional or convincing to a ‘professional’.


[사회적 의무로서의 타당도]와 같은 타당도에 대한 새로운 담론과 개념화가 등장하며, 다른 역할의 가능성이 대두되고 있다. 그리고 다음의 질문이 제기된다.

  • 타당성이란 것은 무엇을 의미하는지(또는 어떤 담론이 합법적이라고 여겨지는지)에 대해서 판단할 수 있는(또는 허용되지 않는) 사람은 누구인가?

  • 궁극적으로, '적절한' 평가라는 것은 무엇인가?

With new emerging discourses and conceptualizations of validity—such as validity as a social imperative—comes the possibility of different roles and, as such, calls into question 

  • who is now allowed (or not allowed) to judge what validity means (or which discourse is considered legitimate) and 

  • ultimately what is considered ‘appropriate’ assessment. 


이 세 번째 담론의 사용자는 정책 입안자, 교사 및 커리큘럼 및/또는 평가 프로그램 전문가를 포함한다. 세 번째 담론을 채택하는 사람들은 종종 시험 대상자를 옹호하거나(평가 대상자가 평가로부터 피해를 경험하지 않도록 해야 함), 사회 전반을 옹호함으로써(평가 프로그램이 프로그램의 가치와 사회의 요구에 부합되어야 함) 이러한 담론에 윤리적 요소를 끌어오는confer 경우가 많다.

Users of this third discourse might include policy makers, teachers, and curriculum and/or assessment program specialists. Those who employ this discourse often do so by advocating for those being tested (aiming to make sure that no harm is experienced by the learners from the assessment) or for society in general (by making sure that the programs of assessment are aligned with programs’ values and society’s needs) thus conferring on this discourse an ethical quality.


Validation의 초점을 바꾸려는 생각에 어떤 사람들이 예민하게 반응하는 것은 놀랄 일이 아니다. (본 논문의) 개발 단계에서 이 연구에 대해 다음과 같은 의견을 들었다(즉, 연구비 신청에 대응하여): 

"심리학적 관점에서, 나는 [타당도 개념화 연구]가 우리의 지식에 새로운 어떤 것도 추가할 수 있다고 생각하지 않는다. 타당도는 사회언어적 이슈에 근거하지 않는다. 그것은 경험적 자료와 현대/전통적인 심리학적 방법에 기반을 두고 있다."

it is not surprising that some individuals would react strongly to the thought of shifting the focus of validation, as exemplified by the following review received about this work at the development stage (i.e., in response to a grant application): 

‘‘From a psychometric perspective, I do not believe that [investigating conceptualizations of validity] can add anything new to our knowledge. Validity is not based on sociolinguistic issues; it is based on empirical data and modern/traditional psychometric methods.’’


우리가 '시험기 가진 특성'으로서 타당도(=첫 번째 담론)를 주장하는 사람을 만나지는 않았지만, 문헌에는 이러한 관점을 받아들이고 있음이 문헌상에는 명확히, 그리고 지속적으로 확인되며, 따라서 심리측정적 담론이 충족시켜주는 요구가 분명 존재한다. 우리는 분석에서 타당도의 담론과 관련하여 나타나는 두 가지 주요 역할, 즉 소비자와 생산자를 확인할 수 있었다. 즉, 이 담론은 [생산자(개별이든 조직이든)]가 ['타당화된validated' 도구를 필요로 하는 소비자]에게 [제품(테스트/평가 전략)]을 제공 및 판매하는 소비주의 철학을 선호한다.

While we did not encounter anyone laying claim to validity as a test characteristic, its clear and continued presence in the literature suggests both that many accept this perspective and that it fulfills a need. We could see in our analysis two major roles emerging in association with the discourse of validity as a test characteristic: consumers and producers. In other words, this discourse favours a consumerism philosophy in which producers (whether individuals or organizations) provide (and market) products (tests/ assessment strategies) to consumers who need ‘validated’ tools.


이 경우에 소비자는 개인(예: '쉘프 시험'을 사용하는 교수)이나 집단(예: 어떤 직업의 문지기로 라이선스 시험을 받아들이는 사회)가 될 수 있다. 소비자는 외부 출처에 근거하여 '사전에 이미 검증된' 평가 도구를 제공받고 싶어하며, 자신이 선택한 도구에서 생성된 데이터의 타당도에 대해 독립적으로 의문을 제기할 수 없거나(능력) 의문을 제기할 의사가 없을 수 있다(의지).

Consumers can be individuals (such as professors using a ‘shelf exam’) or collectives (such as a society that accepts a licensure exam as the gatekeeper of a profession). The consumers need to rely on external sources to provide them with ‘pre-validated’ assessment tools and may not be able or willing independently to question the validity of the data generated by those tools that they have taken up.


평가 도구가 '명성name'을 지닌다면 [이러한 형식의 타당도 담론을 채택하는 것은] 생산자(개별 연구자, 개발자 또는 조직)에게 매력적일 수 있으며, 그 후에 상업적 목적을 위해 학술적 영향, 브랜드 또는 저작권을 증명하는 데 사용될 수 있다. 이 기업가적 성격은 시험의 특성으로서 타당도의 담론을 촉진하기 위한 동기를 창출할 수 있다. 또한 기관은 판매 가능한 제품을 생산하기 위한 적절한 요소(즉, '타당화된 평가 도구')를 결합할 수 있을 때 이 담론을 사용함으로써 신뢰도나 힘을 얻을 수 있다.

Adopting this form of validity discourse may also be attractive to producers (individual researchers, developers, or organizations) when an assessment tool carries their name and then can be used to demonstrate scholarly impact, branded, or copyrighted for commercial purposes. This entrepreneurial dimension may create an incentive to promote the discourse of validity as a test characteristic. Institutions may also gain credibility or power from using this discourse when they can put together the appropriate ingredients to yield sellable products (i.e., ‘validated assessment tools’).


이번 연구에서 알 수 있듯이, 개개인이 최고의 품질 기준을 충족시키기 위한 평가를 밑바닥부터de novo 만들 수 있는 모든 자원을 가지고 있지 않을 수 있다는 점을 감안할 때, 타당도를 이러한 방식으로 개념화하는 것이 실용주의적 요구에 부응하는 것처럼 보인다. 

As indicated in our results, this conceptualization of validity does seem to answer a pragmatic need given that individuals might not have all the resources to create assessment de novo to meet the highest standards of quality. 


또 하나 또는 추가적인 설명은 담론이 임상학에서 '수입'되었다는 것이다. Clinical science에서는 고전적인 타당도 모델(또는 내용, 구성 및 준거 타당도)이 문헌에 남아 있으며(Mokkink et al. 2012; Portney 2000), 타당도를 임상에서 사용하는 평가 도구의 속성으로 간주한다.

Another or additional explanation is that the discourse was ‘imported’ from the clinical sciences in which the classical model of validity (or the validity trinity of content, construct, and criterion validity) is still present in the literature (Mokkink et al. 2012; Portney 2000) and in which we see validity as the property of a clinical assessment tool.


이 작업의 한계에는 특정 문맥에 대한 담화 분석을 집중하기로 선택한 것이 포함된다.

Limitations of this work include that we chose to focus our discourse analysis on a specific context—the scientific literature of health professions education.


결론

Conclusion


타당도는 보건 직업 교육에서 몇 가지 다른 의미를 가지고 있다. 이러한 의미들의 공통점은, 아마도 어떤 형태로든 타당도가 평가 개발 및 품질 모니터링에 대한 논의의 핵심이며, 그 중심에 있어야 한다는 암묵적 이해일 것이다. 본 연구에서 관찰된 담론은 보건 직업 교육에 영향을 미치는 다수의 병행적 분야와 분야의 타당도 개념 사용과 관련하여 발생할 가능성이 높다. 어떤 담론이 합법적이거나 지배적인 것으로 보이는 변화가 있었다면, 이는 [보건 직업과 다른 분야 사이의 관계 변화] 때문일 수 있다.

Validity has several different meanings in health professions education. What these meanings have in common, perhaps, is an implicit understanding that validity, in some form, is and should be at the heart of any discussion about assessment development and quality monitoring. It is likely that the discourses observed in this study arise in relation to usages of the concept of validity in a number of parallel disciplines and fields that influence health professions education. It may be that changes in which discourse is seen as legitimate or dominant can be traced to changing relationships between the health professions and other fields.


따라서, 타당도 개념을 채택하는 사람들에 대한 우리의 권고는 평가 도구와 프로그램의 가치 및 적절성에 대한 진술을 하기 전에 자신이 타당도에 대해 갖는 개념을 명시적으로 설명하는 것이다. 그렇게 한다고 해서 한 사람이 사용하는 담론의 한계가 없어지는 것은 아니며, 다른 담론을 채택한 경우에 관련될 타당도에 대한 함축도 피할 수 없다. 그러나 이는 타당도 개념이 비판적 성찰에서 자유롭지 않게 채택되지 않을 가능성을 증가시키고 따라서 현장이 현장에 영향을 미치는 불일치와 긴장을 해소하는 데 도움이 될 수 있다.

As such, our recommendation for those employing concepts of validity is to explicitly describe one’s conceptualizations before making statements of truth about the worth and/or appropriateness of assessment tools and programs. Doing so will not eliminate the limitations of the discourse one uses, nor will it avoid the implications for validity that would be relevant had a different discourse been adopted. It will, however, increase the likelihood that the notion of validity is not adopted free of critical reflection and might, therefore, help the field to bridge discrepancies and tensions that are currently impacting upon the field.


Lingard, L. (2009). What we see and don’t see when we look at ‘‘competence’’: Notes on a god term. Advances in Health Sciences Education, 14, 625–628.


Norman, G. (2015). Identifying the bad apples. Advances in Health Sciences Education, 20(2), 299–303. doi:10.1007/s10459-015-9598-9.


Schuwirth, L. W. T., & van der Vleuten, C. (2012). Programmatic assessment and Kane’s validity perspective. Medical Education, 46(1), 38–48. doi:10.1111/j.1365-2923.2011.04098.x.


Van Der Vleuten, C. P. M., Schuwirth, L. W. T., Scheele, F., Driessen, E. W., & Hodges, B. (2010). The assessment of professional competence: Building blocks for theory development. Best Practice and Research: Clinical Obstetrics and Gynaecology, 24(6), 703–719. doi:10.1016/j.bpobgyn.2010.04.001.










, 22 (4), 853-867
 

Validity: One Word With a Plurality of Meanings

Affiliations 

Affiliations

  • 1Université de Sherbrooke, Sherbrooke, Canada. Christina.St-Onge@USherbrooke.ca.
  • 2McGill University, Montreal, Canada.
  • 3University of British Columbia, Vancouver, Canada.
  • 4University of Toronto, Toronto, Canada.

Abstract

Validity is one of the most debated constructs in our field; debates abound about what is legitimate and what is not, and the word continues to be used in ways that are explicitly disavowed by current practice guidelines. The resultant tensions have not been well characterized, yet their existence suggests that different uses may maintain some value for the user that needs to be better understood. We conducted an empirical form of Discourse Analysis to document the multiple ways in which validity is described, understood, and used in the health professions education field. We created and analyzed an archive of texts identified from multiple sources, including formal databases such as PubMED, ERIC and PsycINFO as well as the authors' personal assessment libraries. An iterative analytic process was used to identify, discuss, and characterize emerging discourses about validity. Three discourses of validity were identified. Validity as a test characteristic is underpinned by the notion that validity is an intrinsic property of a tool and could, therefore, be seen as content and context independent. Validity as an argument-based evidentiary-chain emphasizes the importance of supporting the interpretation of assessment results with ongoing analysis such that validity does not belong to the tool/instrument itself. The emphasis is on process-based validation (emphasizing the journey instead of the goal). Validity as a social imperative foregrounds the consequences of assessment at the individual and societal levels, be they positive or negative. The existence of different discourses may explain-in part-results observed in recent systematic reviews that highlighted discrepancies and tensions between recommendations for practice and the validation practices that are actually adopted and reported. Some of these practices, despite contravening accepted validation 'guidelines', may nevertheless respond to different and somewhat unarticulated needs within health professional education.

Keywords: Assessment; Discourse analysis; Health profession education; Validation; Validity.


비판적 사고 가르치기: 진단오류를 줄이고 환자안전을 개선하기 위한 인지편향 교육(Acad Med, 2019)

Teaching Critical Thinking: A Case for Instruction in Cognitive Biases to Reduce Diagnostic Errors and Improve Patient Safety

Celeste S. Royce, MD, Margaret M. Hayes, MD, and Richard M. Schwartzstein, MD





환자의 질병과 사망률에서 진단 오류의 역할에 대한 인식이 최근에 증가했다.

Recognition of the role of diagnostic errors in patient morbidity and mortality has recently increased,


의료 오류의 원인으로서 의료 시스템의 기능에 대한 주의에도 불구하고, 진단 오류의 인지적 요소를 다루기 위해 수행된 경우가 상대적으로 거의 없다. 그러나 인지적 요소는 의료 오류 원인의 70%에 이를 수 있다.2–5

Despite the attention given to the function of health care systems as a cause of medical error, relatively little has been done to address the cognitive component of diagnostic error, which may contribute to as many as 70% of medical errors.2–5


진단 오류의 예방은 의료 시스템에 안전 점검을 구축하는 것보다 더 복잡하다. 진단 오류를 예방하려면 진단을 수행하는 임상 추론과 인지 프로세스를 이해해야 한다. 임상 추론(=환자를 진단하고 치료하기 위해 인지적 기술, 지식, 경험을 적용하는 과정)은 본질적으로 평가하기 어렵기 때문에 인지 오류를 발견하기 어렵다. 임상 추론의 단계는 대개 빠르게 발생하며, 거의 문서화되거나 설명되지 않으며, 임상의의 머리 속에서조차 명백하지 않을 수 있다.6,7

Prevention of diagnostic errors is more complex than building safety checks into health care systems; it requires an understanding of the clinical reasoning and cognitive processes through which diagnoses are made. Clinical reasoning— the process of applying cognitive skills, knowledge, and experience to diagnose and treat patients—is inherently difficult to assess, which makes cognitive errors difficult to detect. The steps of clinical reasoning usually occur rapidly, are rarely documented or explained, and may not be apparent even in the mind of the clinician.6,7


진단 오류가 인식되면, 임상적 추론 중 어디에서, 어쩌다 오류가 발생했는지 파악하는 것이 필수적이다. 사전 경험이나 현재 상황의 긴급성에 근거하여 데이터에 대응하려는 인지적 편견이 진단 오류를 야기할 수 있다. 노먼 외8은 최근 지식 부족이 진단 오류의 1차적 원인이라고 주장했지만, 인지적 편견이 진단 오류의 원인이 된다는 것을 시사하는 실질적인 증거가 있다. 진단 오류로 인한 대부분의 실제 의료과실 사례에서 오류는 무지함 때문이 아니라 정확한 진단을 고려하지 않았기 때문이다.3,9 

When a diagnostic error is recognized, it is imperative to identify where and how the mistake in clinical reasoning occurred. Cognitive biases, or predispositions to respond to data on the basis of prior experience or the exigencies of current conditions, can contribute to diagnostic errors. Although Norman et al8 recently argued that knowledge deficits are the primary cause for diagnostic errors, there is substantial evidence to suggest that cognitive biases contribute to diagnostic errors. In the majority of real-world malpractice cases attributed to diagnostic error, the errors are not due to ignorance but, rather, to the failure to consider the correct diagnosis.3,9 


간디 외 연구진 5는 종결된 의료과실 청구 중 64%에가 진단 오류에 의한 것이며, 이 중 79%는 "판단 실패"를 포함함을 밝혔. 진단 오류에서 인지편향의 역할은 의사들이 충분히 인식하지 못하며, 이러한 가정들이 의사결정에 어떤 영향을 미치는지 잘 모를 수 있다.6 진단 지연 및 오진에 대한 사례 연구는 진단 실패에서 인지편향의 중심적 역할을 설명해준다. 인지 편향에서 발생하는 오류는 외래 클리닉에서 확인된 진단 오류의 50% 이상에 영향을 미친다. 내과의사가 보고한 진단 오류와 관련된 사례에서는 83%까지 증가한다. 인지적 편견으로 인한 오류가 어떻게 발생하는지를 조사함으로써 실수나 환자 위해를 방지하기 위한 전략을 개발할 수 있다.

Gandhi et al5 found 64% of closed malpractice claims to be due solely to diagnostic error, with 79% of those cases including a “failure of judgment.” The role of cognitive bias in diagnostic error is underappreciated by physicians, who may be unfamiliar with how these assumptions influence their decision making.6 Case studies of diagnostic delay and misdiagnosis illustrate the central role of cognitive bias in diagnostic failure, showing that errors arising from cognitive bias play a role in over 50% of identified cases of diagnostic error in ambulatory clinics and in up to 83% of cases involving physician-reported diagnostic errors.9–12 By examining how errors due to cognitive biases occur, strategies may be developed to avoid mistakes and patient harm.


우리는 비판적 사고의 구성요소로 메타인지와 인지적 편견에 대한 명확한 지침이 진단 오류를 줄이고 따라서 환자 안전을 개선할 수 있는 잠재력을 가지고 있다고 주장한다.

We argue that explicit instruction by medical educators about metacognition and cognitive biases as components of critical thinking has the potential to help reduce diagnostic errors and thus improve patient safety.


진단 프로세스

The Diagnostic Process


인지 과정으로 인한 진단 오류를 예방하는 방법을 알기 위해서는, 우선 의사가 임상 결정을 내리는 방법을 이해하는 것이 중요하다. 인지 심리학자들은 문제 해결과 의사결정이 이중 프로세스 모델을 통해 이루어져야 한다고 제안했다. 

  • 시스템 1: 직관적이고 신속한 패턴 기반 의사결정, 

  • 시스템 2: 보다 분석적이고 논리적인 추론, 

When considering how to prevent diagnostic errors that are due to cognitive processes, it is important to understand how physicians make clinical decisions. Cognitive psychologists have proposed that problem solving and decision making occur through a dual process model: 

  • intuitive, rapid, pattern-based decision making, termed System 1; and 

  • more analytic, logical reasoning, termed System 2.13,14 


문헌에는 이중 처리에 대한 많은 설명이 존재하지만, 다음과 같은 일반적인 동의가 있다. 

  • 시스템 1은 패턴 인식, 엄지손가락 규칙, 또는 휴리스틱스라고 알려진 정신적 쇼트컷을 사용하여 빠르고 거의 즉각적인 결정을 내리는 것이다. 

  • 시스템 2는 문제 해결에 대한 보다 분석적인 접근방식이며, 일반적으로 익숙하지 않은 문제, 어려운 결정 또는 모순된 증거에 직면할 때 사용된다. 

Although many descriptions of dual processing exist in the literature,15 there is general agreement that 

  • System 1 is the use of pattern recognition, rules of thumb, or mental short cuts, known as heuristics, to make quick, almost instantaneous decisions. 

  • System 2 is the more analytic approach to problem solving and is typically employed when confronted with an unfamiliar problem, a difficult decision, or contradictory evidence. 

이중 처리 이론은 두 시스템이 순차적으로 기능한다는 것을 제시한다. 휴리스틱스는 문제를 즉시 해결하기 위해 사용되며, 분석적 추론은 원래의 인상을 바꾸기 위해 사용될 수 있다(물론 사용되지 않을 수도 있다).

The dual process theory suggests that the two systems function in sequence: Heuristics are used to immediately solve the problem, and analytic reasoning may (or may not) be employed to alter the original impression.16


메타인지는 의사결정을 감시하는 과정에서 자기성찰과 자기조절 능력을 말하며, 어떤 목적을 가지고 시스템2를 활용하여 문제를 해결하고자 자신의 추론에 대해 성찰하고 심사숙고하는 것이다. 메타인지 전략은 종종 시스템 2 의사결정의 활성화를 초래한다. 왜냐하면 성찰의 과정이 사용 가능한 데이터에 대한 더 분석적인 점검을 촉진할 수 있기 때문이다.

Metacognition—the capacity for self-reflection on the process of thinking and self-regulation in monitoring decision making—can be described as the purposeful engagement of System 2 problem solving through reflection and deliberative examination of one’s own reasoning. Metacognitive strategies often result in activation of System 2 decision making because the process of reflection may prompt a more analytic examination of available data.


예를 들어, 상어 공격에 관한 다큐멘터리를 본 후 어떤 동물이 인간의 죽음을 가장 많이 유발하느냐는 질문을 받았을 때, 시스템 1 처리를 사용한 당신의 즉각적인 대답은 "상어"일 가능성이 높다. 곰곰이 생각해보면(메타인지적 실천) 시스템 2 처리를 하고 정답인 모기(모기)에 도달할 수 있다.17

For example, when you are asked which animal causes the most human death after you view a documentary on shark attacks, your immediate answer, using System 1 processing, is likely to be “sharks.” On reflection (a metacognitive practice), you might engage System 2 processing and arrive at the correct answer, which is the mosquito.17


분석적 추론은 가설연역적 또는 귀납적 추론 능력이 필요하지만, 무엇보다 노력이 필요하기 때문에, (진단) 오류는 단순히 손쉽게 휴리스틱스에 의존하는 성향 때문에 발생할 수 있다. 트베르스키와 카네만은 "사람들은 제한된 수의 경험적 원칙에 의존하여, 확률 평가의 복잡한 작업을 단순 작업으로 축소시킨다." 그리고 이것이 "심각한 시스템적 오류"로 이어질 수 있다.

Because analytic reasoning requires effort—as well as an understanding of and the ability to engage in hypothetico-deductive and/ or inductive reasoning—errors may arise simply due to the expediency of depending on heuristics. As Tversky and Kahneman18 note, “people rely on a limited number of heuristic principles which reduce … complex tasks of assessing probabilities … to simpler operations” which can “lead to severe and systemic errors.”


적응적 전문성의 이론은 이중처리이론을 보완한다. 즉 임상문제 해결 시에 효율과 혁신의 균형을 맞추는 것이다.

The theory of adaptive expertise complements the dual process theory with the idea of expert practice—that is, of balancing efficiency and innovation in clinical problem solving.20,21


이 모델에서 일상적 전문성기존의 지식을 사용하여 일상적이거나 친숙하거나 복잡하지 않은 문제를 신속하게 해결하는 것이다. 

In this model, the routine expert is an individual at any level of training who appropriately uses preexisting knowledge to quickly solve routine, familiar, or uncomplicated problems.


이와는 대조적으로, 적응적 전문성깊은 개념적 이해를 습득하고, 성찰에 참여하여, 복잡하거나 생소한 문제에 대한 새로운 해결책을 만들어낼 수 있으므로, 지식 기반, 추론 능력 및 이전에 접하지 못한 사례를 해결하는 능력을 추가해야 한다.22 전문적 실천을 위해서는 성장을 위한 성찰이 필요하다. 이러한 메타인지적 과정이 없이는, 실천은 개선되지 않고, 고정되며, 진단 오류가 발생할 가능성이 증가한다.23 적응적 전문성은 고정된 역량이 아니라 개인의 지식과 문제해결 능력과 함께 발전한다. 이 이론에 따르면, 

  • [임상의는 경험 수준과 무관하게 기본지식이 있다면] 논리와 추론을 채택하여 단순한 시나리오뿐만 아니라 보다 복잡하고 불확실하며 생소한 경우에서도 적절한 진단을 내릴 수 있다. 

  • 반대로 [경험이 풍부한 임상의]더라도, 복잡한 문제, 새로운 프레젠테이션 또는 모순된 데이터에 직면했을 때 반성과 혁신의 필요성을 인식하지 못하면 잘못된 진단에 도달할 수 있다.

In contrast, the adaptive expert is able to employ a deep conceptual understanding and engage in reflection to create novel solutions for complicated or unfamiliar problems, thus adding to his or her knowledge base, reasoning capacity, and ability to solve cases not previously encountered.22 Expert practice requires reflection for growth; without engagement in this metacognitive process, practice improvement is stalled, and the chance of diagnostic errors occurring increases.23 Adaptive expertise is not a static competency; rather, it develops as the individual’s knowledge and problem-solving skills grow. 

  • In this theory, a clinician of any experience level who possesses foundational knowledge may make appropriate diagnoses not only in simple scenarios but also in more complex, uncertain, or unfamiliar cases by employing logic and reasoning. 

  • Conversely, an experienced clinician may arrive at an incorrect diagnosis if he or she fails to appreciate the need for reflection or innovation when confronted with a complex problem, a novel presentation, or contradictory data.


이중 프로세스와 적응적 전문성 모델을 함께 사용하면, [일상적 전문가]들이 복잡한 문제 진단에 대한 접근법에 있어 [적응적 전문가]와 어떻게 다른지 설명할 수 있다. 

  • 일상적 전문가는 신속하고 정확하게 진단에 도달하여 경험과 지식을 활용하여 경험적 질병 대본을 채택할 수 있다. 그들은 경험하지 않은 문제나 데이터에 직면했을 때 분석적 추론 전략을 사용할 필요성을 인식하지 못하거나, 주로 이전에 접했던 다른 패턴으로 전환하기 위한 목적으로 분석을 사용한다. 진단에 대한 이러한 유형의 이중 프로세스 접근방식은 적절한 임상 지식, 적절한 경험, 인지 과부하가 없는 상태, 필요할 때 성찰 또는 메타인지를 할 수 있는 능력에 근거하고 있으며, 이는 숙련된 임상의사가 임상 의사결정을 내리는 효율을 결정한다.

  • 적응적 전문가두 가지 유형의 사고에 모두 관여하며, 혁신의 단계를 추가하는 능력에 의존한다. 즉, 이전의 경험과 지식을 창의적으로 활용하여, 이전에 겪지 않았던 새로운 문제나 복잡한 문제에 대한 새로운 해결책을 설계하는 것이다따라서 적응형 전문가들은 시스템 1과 시스템 2 접근방식을 모두 사용하여 문제를 해결하고 새로운 해결책을 도출하기 위해 기초 지식과 학습된 경험을 적용함으로써 변화하는 조건에 대응하여 효율과 혁신의 균형을 맞춘다.

The dual process and adaptive expertise models can be used together to explain how routine experts differ from adaptive experts in their approaches to diagnosing a complex problem. 

  • Routine experts may rapidly and correctly arrive at a diagnosis, drawing on previous experience and knowledge to employ heuristic illness scripts. They may not recognize the need to use analytic reasoning strategies when faced with an unfamiliar problem or data that do not fit into the solution proposed by the heuristic, or they may use analysis primarily to switch to another previously encountered pattern. This type of dual process approach to diagnosis is predicated on adequate clinical knowledge, experience, the lack of distracting cognitive overload, and the ability to engage in reflection or metacognition when indicated, and it results in the efficiency experienced clinicians bring to clinical decision making.23,24 

  • Adaptive expertise relies on the ability to engage in both types of thinking and adds the step of innovation—that is, designing novel solutions to new or complex problems not encountered previously by drawing creatively on prior experience and knowledge. Adaptive experts, therefore, balance efficiency and innovation in response to changing conditions, using both System 1 and System 2 approaches to problem solving and applying their foundational knowledge and learned experience to formulate novel solutions.


학습자가 임상적 의사결정을 효율적으로 하는 경우는 드물다. 학습자는 효율적 임상결정을 위하여 노력으로 휴리스틱스를 써볼 수 있지만, 경험 부족이 부족하기 때문에 휴리스틱스가 실패했을 때 지식의 부족이나 자기조절의 문제를 판단하지 못하고, 경험 있는 임상의보다 실수를 더 많이 한다. 그러나 초보자든 경험이 많은 의사든, 모두 인지편향으로 인한 진단오류를 경험할 수 있다.

Learners are rarely efficient in their clinical decision making. They may try to employ heuristics in an effort to be efficient, but they may be more prone to errors than experienced clinicians, as their lack of experience provides inadequate knowledge or self-regulation to determine when heuristics fail. However, both novices and experienced clinicians can experience diagnostic error due to cognitive bias.


휴리스틱스와 인지 편향 사이의 상호작용이 진단 오류를 초래할 수 있는 임상 상황의 [경고 징후]에 포함되는 것으로는, 하나 이상의 가능한 진단을 생성하지 못하거나 모든 데이터를 설명하지 못하는 것이 있다. 이러한 "적색 깃발"은 임상의사가 사례를 더 분석하게 유도해야 하며, 이는 그 순간에 메타인지를 보여준다고 할 수 있다. 기초과학 연구가 임상지식을 위한 프레임워크의 개발을 통해 의대생들에게 복잡한 과목의 미래 학습을 준비시키듯이, 25 인지적 편견이 휴리스틱과 어떻게 상호작용할 수 있는지에 대한 인식은 메타인지적 성찰 전략을 학습하기 위한 비계를 제공할 수 있다. 또한 학습자가 [휴리스틱스 사용에 내재된 가치와 위험] 두 가지를 모두 이해할 수 있도록 할 수 있다. 

Warning signs of clinical situations in which the interaction between heuristics and cognitive bias may lead to diagnostic error include the failure to generate more than one possible diagnosis or the failure to account for all the data. These “red flags” should prompt the clinician to further analyze the case, a cognitive process that represents metacognition in the moment. Just as the study of basic science prepares medical students for future learning of complex subjects through the development of a framework for clinical knowledge,25 an awareness of how cognitive biases may interact with heuristics can provide a scaffolding for learning metacognitive reflective strategies and may allow learners to understand both the value and risk inherent in the use of heuristics.


마지막으로, 진단에 대한 의사 결정은 [질병의 기본 비율, 우도 비율 및 사전 테스트 확률]에 대한 의사의 이해를 사용하여 임상 맥락에서 이루어진다. 진단 테스트의 민감성과 특수성에 대한 이해 외에도 의사의 개인적인 경험은 테스트 결과의 해석과 진단 결정에 기여한다. 일화적 경험("N=1인 상황")때문에 생길 수 있는 잠재적인 편견에 대한 인식이 없다면 아무리 경험이 많은 의사라도 진단 오류를 범할 수 있다.

Lastly, decisions about diagnoses are made in the clinical context, using the physician’s understanding of base rates of disease, likelihood ratios, and pretest probabilities. The physician’s personal experiences, in addition to his or her understanding of the sensitivity and specificity of a diagnostic test, contribute to the interpretation of test results and determination of a diagnosis. Without an awareness of potential bias based on anecdotal experience (the “N of one”), even the most experienced physician can make a diagnostic error.


궁극적으로 임상 추론은 휴리스틱스, 베이지안 임상 역학 원리, 질병의 메커니즘에 대한 철저한 이해에 기초한 귀납적 이성 부여를 포함한 복수의 접근방식을 통합해야 하며, 아래에서 논할 것처럼 인지적 편견의 효과에 대해 반성하고 수정할 수 있는 능력(그림 1)이 필요하다.

Ultimately, clinical reasoning requires integration of multiple approaches including heuristics, Bayesian principles of clinical epidemiology, inductive reasoning based on thorough understanding of mechanisms of disease, and, as we will discuss below, the ability to reflect on and correct for the effect of cognitive biases (Figure 1).



진단 오류에서 인지적 실수의 역할에 대한 증거

Evidence for the Role of Cognitive Mistakes in Diagnostic Errors


진단 오류에서 인지 처리의 역할을 검사할 때 어려운 점 중 하나는, 대부분의 인지 실수가 사례 중 일부에서만 발생한다는 것이다. 이러한 실수는 진단 과정의 여러 단계에서 발생할 수 있다.

One of the challenges of examining the role of cognitive processing in diagnostic error is that most cognitive mistakes are made in a subset of cases. These mistakes can arise at multiple steps in the diagnostic process.


예를 들어, 일반적인 질병의 비전형적 presentation, 혼수상태의 존재, 또는 인지된 기준률base rate을 변경시키는 환자 특성이 있으면, 다음의 인지적 편견으로 인해 부정확하거나 불완전한 진단으로 이어질 수 있다. 

  • 앵커링(환자의 초기 프레젠테이션의 특정 기능에 대한 수정, 새로운 정보로 조정 실패) 

  • 프레임 설정(문제가 고려되는 임상적 맥락 또는 이전 제공자가 제공한 분석에 의해 영향을 받는 결정) 

  • 확증편향ascertainment(의사가 찾기를 희망하거나 기대하는 것에 의해 형성되는 생각). 

  • 인지 과부하는 잘못된 추론 전략의 원인이 될 수 있다.

For example, an unusual presentation of a common illness, the presence of comorbidities, or patient characteristics that change the perceived base rate can lead to incorrect or incomplete diagnoses due to the cognitive biases of 

  • anchoring (fixation on specific features of a patient’s initial presentation, failure to adjust with new information), 

  • framing (decisions affected by the clinical context in which a problem is considered or by the analysis provided by a prior provider), or 

  • ascertainment (thinking shaped by what the physician hopes or expects to find). 

  • Cognitive overload may contribute to faulty reasoning strategies. 


일상 생활에서 대부분의 경우는 쉽게 알아볼 수 있는 진단이나 일반적인 문제에 대한 전형적 프레젠테이션이며, 즉, "루틴"이다. 이러한 경우 시스템 1의 의사결정은 신속하고 정확하며 적절하다.

In daily practice, most cases are “routine,” with an easily recognizable diagnosis or a classical presentation of a common problem. For these cases, using System 1 decision making is quick, accurate, and appropriate.


진단 오류의 원인을 분석할 때 의사가 전형적 프레젠테이션에서 진단에 도달하는 방법을 연구하는 것은 유용하지 않다.

In analyzing the causes of diagnostic errors, studying how physicians arrive at the diagnosis in classic presentations (even of unusual conditions) is not useful


오히려 인지적 편견을 감지하기 위해 검사해야 하는 것은 의사들이 어떻게 비전형적 프레젠테이션에서 진단에 도달하는가 하는 것이다. 이 때, 어려운 진단에 직면하게 되면 인지적 편향이 드러난다.

Rather, to detect cognitive bias, what must be examined is how physicians arrive at the diagnosis in atypical presentations, where cognitive biases may be unmasked in confronting a difficult diagnosis.27


예를 들어, 한 연구에서 레지던트들은 컴퓨터 기반의 복잡성 차이를 평가하도록 요청받았다.28 그 사례들 중 하나는 일산화탄소 중독의 전형적 임상표현로 구성되었다. 아무리 분석적 추론을 해도 이 진단에 대한 임상의의 마음은 바뀌지 않을 것이며, 경험이 풍부한 의사가 굳이 더 분석적인 접근법을 채택할 이유가 없다.

For example, in one study residents were asked to evaluate computer-based cases of differing complexity.28 One of the cases consisted of a classic presentation of carbon monoxide poisoning. No amount of analytical reasoning will change a clinician’s mind about this diagnosis, and for experienced clinicians, there is no reason to employ a more analytic approach.


이와는 대조적으로, 비전형적 임상표현이 있는 경우 또는 진단 확신이 덜한 모순되거나 복잡한 데이터를 가지고 있는 경우, 경험이 있는 의사라 할지라도, 의대생이나 레지던트보다 진단 정확도가 더 높지 않을 수 있다. 각 사례의 중간에 모순된 정보가 소개된 네 가지 사례를 이용하여, Krupat 외 연구진들은 진단 정확도가 교직원, 레지던트 , 의대생들 간에 다르지 않다는 것을 발견했다. 경험이 많은 의사들은 추가적인 정보가 불일치했음에도 불구하고 초기 인상을 고집하는 경향이 있었다.

In contrast, when presented with cases with atypical presentations or with conflicting or complex data for which the diagnosis is less certain, experienced physicians may have no better diagnostic accuracy than medical students or residents. Using four cases in which contradictory information was introduced midway through each case, Krupat et al29 found that diagnostic accuracy was not different among faculty physicians, residents, and medical students. The more experienced physicians tended to persist with their initial impressions despite the additional discordant information.


비록 소수의 경우를 대표하지만, 비전형적 임상표현은 상당한 환자에 대한 harm으로 이어질 수 있다. 이러한 경우 의사는 엄격한 분석적 추론의 적용과 인지 처리에 대한 더 나은 인식으로부터 이익을 얻을 수 있다.

Unusual presentations, although representing a minority of cases, are the ones that may lead to substantial patient harm. In these cases, physicians would benefit from better awareness of cognitive processing and application of rigorous analytic reasoning.


환자 치료에서 지식 부족은 오진의 원인 중 흔하지 않다. 매사추세츠 주의 23,000건 이상의 의료과실 사례에서 발생한 비공개 클레임 데이터를 분석한 결과, 전체 사례의 20%가 진단 오류로 인한 것으로 나타났다.9 이러한 진단 오류 사례의 73%에서 임상 추론에서 확인 가능한 오류가 있었다. 이와는 대조적으로, 전체 사례의 3%만이 지식의 결핍에 기인했다; 즉, 오류는 의사가 진단에 익숙하지 않아서가 아니라, 의사가 진단을 고려하지 않았기 때문에 일어났다. 성공적인 청구 중 72.1%가 진단 오류와 관련된 1차 진료 의료 과실 청구 분석에서도 유사한 결과가 발견되었다.3 이러한 오류는 궁극적으로 환자 및 가족력을 얻거나 업데이트하거나, 적절한 신체검사를 수행하거나, 적절한 진단 테스트를 오더하거나, 환자를 적절하게 refer하지 못하였기 때문에 발생하였다.

In patient care, a knowledge deficit is an uncommon cause for misdiagnosis. In an analysis of closed claims data from over 23,000 malpractice cases in Massachusetts, 20% of total cases were attributed to diagnostic errors.9 In 73% of these diagnostic error cases, there was an identifiable lapse in clinical reasoning. In contrast, only 3% of total cases were attributed to a knowledge deficit; in these cases, the error occurred not because the doctor was unfamiliar with the diagnosis but, rather, because the doctor did not consider the diagnosis. Similar results were found in an analysis of primary care malpractice claims where 72.1% of successful claims were related to diagnostic errors.3 The errors ultimately attributed to faulty clinical reasoning occurred in the failure to obtain or update a patient and family history, to perform an adequate physical exam, to order appropriate diagnostic tests, and/or to refer patients appropriately.


차트 검토 및 기타 품질 개선 이니셔티브에서 인지 오류로 인한 진단 오류의 빈도를 보여준 바 있다.

Chart reviews and other quality improvement initiatives have demonstrated the frequency of diagnostic errors due to cognitive mistakes.


복통을 나타내는 환자의 차트에 대한 응급의학 검토 결과 35%가 진단 오류를 가지고 있으며, 불완전한 이력 복용, 부정확하거나 의미 없는 테스트 또는 비정상적인 테스트 결과에 대한 후속 조치 부족으로 인한 오류의 69%가 발견되었으며, 30. 지연되거나 누락된 진단은 결핵, HIV 관련 질병, 암, 심혈관 질환과 같이 비전형적 임상표현이 나타날 수 있는 진단에도 흔하다.31 표준화된 환자를 이용해 외래진료소를 찾는 ‘비밀구매자’ 프로그램은 일반 질병으로 10%~15%의 오류율을 보였다입원환자 설정에서 83%의 진단 오류가 예방 가능한 것으로 확인되었으며, 반면 부검 연구는 지속적으로 10%에서 20%의 진단 누락을 보여주었다.

An emergency medicine review of the charts of patients presenting with abdominal pain found that 35% had diagnostic errors, with 69% of those errors due to incomplete history taking, incorrect or unindicated testing, or lack of follow-up on abnormal test results.30 Delayed or missed diagnoses are also common for diagnoses that may have unusual presentations, such as tuberculosis, HIV-associated disease, cancer, and cardiovascular disease.31 “Secret shopper” programs, which use standardized patients to visit outpatient clinics, have demonstrated a 10% to 15% error rate with common diseases.31 In the inpatient setting, 83% of diagnostic errors have been found to be preventable,32 whereas autopsy studies have consistently shown a 10% to 20% rate of missed diagnoses.33,34


인지 편향은 진단 오류의 근본 원인으로 잘 인식되지 않는다. 그보다는 의료시스템의 문제가 더 많이 지적된다. 의사들은 의료 인프라에 대해 공개적으로 인정하고 다루지만, 개개인의 실패라고 인식될 수 있는 인지적 실수를 논하는 것은 불편할 수 있다.35

Cognitive bias is less well recognized as a root cause of diagnostic error than are failures of health care systems. Physicians openly acknowledge and address medical infrastructure factors, but they may not be comfortable discussing cognitive mistakes, which are often perceived as individual failings.35


실제 사례에 대한 연구는 인지적 편견이 의사결정에 미칠 수 있는 영향을 입증하여 잘못된 판단과 환자에게 위험 또는 위해를 초래할 수 있다.

Studies of real-world cases have demonstrated the effect that cognitive bias can have on decision making, leading to faulty judgment and possible risk or harm to patients.


개업 의사들의 인지편향에 관한 문헌의 체계적인 검토39에서는 과신, 고정, 가용성 편향(정신적 회수의 용이성에 근거한 사건 발생 가능성을 판단) 및 위험의 허용이 진단 부정확성 또는 부적절한 관리와 관련이 있다는 것을 발견했다. 네덜란드의 차트 검토 결과 (조기 종결, 확증 편향, 과신 등) 인지적 편견으로 인해 정보 처리에 결함이 있는 경우는 정보 수집이 잘못되거나 불완전한 경우보다 진단 오류와 환자 위해로 이어질 가능성이 더 높았다.40

A systematic review39 of the literature on cognitive bias in practicing physicians found that overconfidence, anchoring, availability bias (judging the likelihood of an event based on the ease of mental retrieval), and tolerance of risk were associated with diagnostic inaccuracies or suboptimal management. Chart reviews from the Netherlands found that cases with faulty information processing due to cognitive biases, such as premature closure, confirmation bias, and overconfidence, were more likely to lead to diagnostic error and patient harm than were cases with faulty or incomplete information gathering.40


메타인지의 한 가지 형태인 성찰 능력을 더 많이 보이는 의사의 환자 결과는 더 뛰어날 수 있다. 예 외 연구진 41은 성찰 능력 테스트에서 더 높은 점수를 받은 산부인과 의사들이 제왕절개 분만 후 질 출산 시도의 성공률이 더 높다는 것을 발견했다.

Physicians who display more reflective capacity, a form of metacognition, may have better patient outcomes. Yee et al41 found that obstetricians who scored higher on reflective capacity tests had higher rates of successful attempts of vaginal birth after cesarean delivery.


의료과실 및 진단 오류 문헌은 개선된 임상 추론의 역할을 분명하게 보여주며, 비판적 사고를 가르치기 위한 교육적 개입이 필요하다는 것을 시사한다. 그러한 개입의 방식으로는 

  • 인지 전략을 개선하거나, 

  • 인지 편향 완화 전략을 가르치거나, 

  • 인지 편향에 대한 인식을 높이려고 시도할 수 있다.

The malpractice and diagnostic error literatures clearly demonstrate a role for improved clinical reasoning and suggest that educational interventions for teaching critical thinking are needed. Such interventions may attempt to 

  • improve metacognitive strategies, 

  • teach cognitive bias mitigation strategies, or 

  • increase awareness of cognitive bias.


Norman 등 8명은 최근 인지적 편견을 인정하고 해결하기 위한 교육 전략이 지금까지 성공하지 못했다고 제안했다. 환자 안전이나 결과 면에서 교육적 개입의 효과를 입증하는 것은 어렵다.

Norman et al8 recently suggested that educational strategies to recognize and address cognitive bias have been unsuccessful so far. Demonstrating efficacy of any educational intervention in terms of patient safety or outcomes is difficult.


블루멘탈-바비와 크리거는 학습자의 인지편향에 대한 연구가 생태학적 타당성을 갖는 경우는 거의 없다고 지적했다. 대부분의 연구는 (실제) 임상적 의사결정이 아닌 실험 상황의 사례 vignete에 기초했으며, 연구된 인지적 편견은 몇 가지로 제한되어 있다.

  • 프레이밍

  • 누락(부작용의 부작용보다 더 나쁜 것으로 판단하는 경향) 

  • 상대위험(절대위험보다 상대위험이 주어졌을 때 개입을 선호하는 경향) 

  • 가용성 편견43


Blumenthal-Barby and Krieger,43 pointed out that few studies of cognitive bias in learners had ecological validity. Most studies were based on experimental case vignettes rather than clinical decision making, and the cognitive biases studied were limited to a few — 

  • framing, 

  • omission (the tendency to judge adverse outcomes of actions as worse than adverse outcomes of inaction), 

  • relative risk (the tendency to prefer to choose an intervention when given the relative risk rather than the absolute risk), and 

  • availability biases.43


그러한 연구의 많은 부분이 임상적 추론과 의사결정에 적용가능성이 의심스럽다. 예를 들어, 노먼 외 연구진은 2년차 레지던트를 "신속 코호트"와 "성찰 코호트"로 구분했다. 그러나 연구의 실험 조건(연습 기간이 경과한 타이머를 표시하는 컴퓨터 모듈)은 저자들이 복제하려고 했던 바쁜 응급실을 정확한 보여주었다고 볼 수 없다.

The applicability of many of such studies to clinical reasoning and decision making is questionable. For example, Norman et al28 divided second-year residents into a “speed cohort” and “reflect cohort.” However, the experimental conditions used (computer modules with a timer displaying elapsed duration of the exercise) are not an accurate representation of a busy emergency department, which the authors were trying to replicate.


반대로, 다른 연구에서는 성찰연습 훈련이 진단 정확도를 향상시킬 수 있다는 것을 발견했다. 내과 레지던트들을 대상으로 한 연구에서 마메데 외 연구진은 1, 2년차 레지던트들에게 향상된 진단 정확도를 보여주었다. 추론 기술, 확률론적 의사결정 및 베이지안 추론에 대한 지침은 특히 조기 종결, 질병의 기본 비율base rate의 무시, 휴리스틱스에 대한 부적절한 의존의 영향을 감소시킴으로써 진단 정확도를 향상시킬 수 있다.45,46

Conversely, others have found that training in reflective practice may improve diagnostic accuracy: In a study of internal medicine residents, Mamede et al44 demonstrated improved diagnostic accuracy in first-and second-year residents. Instruction in reasoning skills, probabilistic decision making, and Bayesian reasoning may improve diagnostic accuracy by decreasing the effects of cognitive biases—in particular premature closure, neglect of base rates of disease, and inappropriate reliance on heuristics.45,46


인지전략이 진단정확성에 미치는 영향

Effect of Metacognitive Strategies on Diagnostic Accuracy


임상 추론을 개선하고 진단 오류를 피하기 위해 [메타인지 기술 교육의 효과]에 대한 데이터를 평가할 때, 연구 대상자의 전문성 수준을 인식하는 것이 중요하다. 임상적 추론에서 인지적 편견에 대한 인식을 높이기 위한 전략을 가르치려는 시도(때로는 인지적 강제력 전략, 약화 전략 또는 인지적 편향 완화라고 함)는 서로 다른 그룹과 상충되는 결과를 보였다.6,47,48

When evaluating the available data on the efficacy of teaching metacognitive skills to improve clinical reasoning and avoid diagnostic error, it is important to recognize the level of expertise in the study population. Attempts to teach strategies to raise awareness of cognitive bias in clinical reasoning—sometimes referred to as cognitive forcing strategies, debiasing strategies, or cognitive bias mitigation—have shown conflicting results with different groups.6,47,48


의대생을 대상으로 한 연구는 진단 정확도의 향상이 제한적임을 보여주었는데, 이는 초기 단계의 학습자에게 내재된 지식의 결핍 때문일 수 있다: 지식의 결핍이 존재한다면, 단기적으로 진단 정확도나 속도를 향상시키지 못할 가능성이 있다.24,47,48 게다가, 학생들은 애초에 앵커링 또는 가용성 편견의 희생양이 될 정도의 충분한 경험이 없었을 수 있다. 따라서 초보 학생이 특별히 인지편향에 면역력이 있지는 않지만, 메타인지 기법이나 debiasing 전략을 배운다고 해서 즉시 이익을 얻지는 못할 수 있다.

Studies involving medical students have demonstrated limited improvement in diagnostic accuracy, which may be due to knowledge deficits inherent in early-stage learners: Debiasing strategies are unlikely to improve diagnostic accuracy or speed in the short term if knowledge deficits exist.24,47,48 Furthermore, students may not have enough experience to fall victim to anchoring or availability biases. Therefore, although novice students are not immune to cognitive bias, they may not immediately benefit from instruction in metacognitive techniques or debiasing strategies.


수련과 레지던트 전환이 진전되면서 지식과 경험을 쌓게 되고 패턴 인식과 휴리스틱스를 이용해 문제를 해결할 가능성이 높아진다. 그러나 경험을 쌓고 질병 대본illness script가 만들어짐에 따라 가용성 편중과 앵커링으로 인해 진단 오류를 범하기 쉬워진다.44 레지던트들에게 메타인지 기술을 가르치려는 노력의 발견이 흥미롭고 이 발달 단계와 일치한다.28,49–53

As students advance in their training and transition to residency, they acquire knowledge and experience, and they become more likely to problem solve using pattern recognition and heuristics. However, as trainees acquire experience and develop illness scripts, they also become more prone to making diagnostic errors due to availability bias and anchoring.44 Findings from efforts to teach metacognitive skills to residents are interesting and consistent with this developmental stage.28,49–53


일반적인 인지 편견과 debiasing 전략을 인식하기 위한 상세한 지침을 제공하는 교육적 개입은 레지던트의 비판적 사고 능력을 단기 및 장기적으로 개선한다는 것이 입증되었다.49,50 메타인지 기술과 debiasing 전략 기반의 종단적 커리큘럼은 공통적 인지 편향에 대한 인식을 증가시켰다. 그리고 환자, 가족, 그리고 동료들과의 토론이 개선되었다. 무엇보다 중요한 것은 이러한 효과가 1년간의 후속 조치에서도 지속되었다는 점이다.49

Educational interventions providing detailed instruction in recognizing common cognitive biases and debiasing strategies have demonstrated both short-and long-term improvements in residents’ critical thinking skills.49,50 A longitudinal curriculum of metacognitive skills and debiasing strategies resulted in increased awareness of common cognitive biases, as well as improved discussions with patients, families, and colleagues. Importantly, this effect persisted at the one-year follow-up.49


메타인지가 임상추론을 촉진한다

Metacognition Prompts Clinical Reasoning Strategies


시스템 1 의사결정에 의존하는 것이 모든 진단 오류의 원인은 아니다. 실제로, 심사숙고적 사고를 더 많이 했을 때 오류를 야기할 수 있다는 일부 증거가 있다.48 그러나 부적절하거나 검토되지 않은 휴리스틱스를 사용하면 의사결정이 손상될 수 있다.54 그리고 슐츠55가 지적하듯이, "결정을 할 때 잘못된 의사결정을 하는 순간에도 옳은 결정을 하는 것과 같은 느낌을 받는다." 인지적 편견의 영향에 익숙하고 휴리스틱스에 의존하는 함정에 대한 인식을 가지고 있는 의사들 조차도 그들 자신이 그들의 영향에 취약하다고 믿지 않을 수 있으며, 그들은 그들 자신의 의사결정에 있어서 단지 소수의 인지적 편향만을 인정할 수 있다.56

Reliance on System 1 decision making is not the cause for all diagnostic errors; indeed, there is some evidence that more deliberative thinking can also result in errors.48 However, the inappropriate or unexamined use of heuristics can result in impaired decision making,54 and as Schulz55 notes, “when making a decision, making a wrong decision feels the same as making a right decision.” Even physicians who are familiar with the effects of cognitive biases and have an awareness of the pitfalls of dependence on heuristics may not believe themselves to be vulnerable to their influence, and they may only acknowledge a few of many instances of cognitive biases in their own decision making.56


편향적 사고를 피하기 위한 전략 학습 및 실천(즉, debiasing 또는 인지적 강제 전략 필요)을 위해서는 노력과 조심성이 필요하다. 이러한 전략은 [임상 추론의 자동성]을 방해할 때 가장 잘 작용하는 것으로 보인다. 임상의사는 증거의 다시 생각해봄으로써 자신의 초기 사고 과정을 재평가해야 한다.57–59

Learning and practicing strategies to avoid biased thinking—that is, debiasing or cognitive forcing strategies—requires effort and vigilance.6 These strategies seem to work best when they disrupt the automaticity of clinical reasoning, requiring the clinician to reevaluate his or her initial thought processes through reconsideration of the evidence.57–59


자신의 추론에 대한 반성이 가장 중요하다. 의료인은 휴리스틱스(Huristics)를 검사하고, 실수나 편견에 대한 자신의 추론을 모니터링하고, 사고 과정을 스스로 규제하도록 가르칠 수 있고 가르쳐야 한다. 인지적 편견 인식 전략은 다른 비판적 사고 기술과 마찬가지로 환자의 안전과 환자 관리를 향상시키기 위한 잠재적인 도구로서 의학 학습자에게 가르칠 수 있다. 학습자들은 "1분 교수법"으로 알려진 5가지 마이크로스킬 모델, 60과 같은 비판적 사고를 촉진하기 위한 다른 전략과 함께 인지 편향 인식을 배울 수 있다. 환자 인도 시 또는 복잡한 환자를 마주할 때 "diagnostic time-out"(진단을 유도하는 사고 프로세스를 성찰하기 위한 명시적 일시 정지)를 요구하는 것과 같은 간단한 작업만으로도 의사들을 위한 성찰과 메타인지를 촉진할 수 있다.

Reflection on one’s reasoning is of paramount importance. Clinicians can and should be taught to examine heuristics, monitor their own reasoning for mistakes and biases, and self-regulate their thought processes. Cognitive bias awareness strategies, like other critical thinking skills, can be taught to learners in medicine as potential tools to advance patient safety and patient care. Learners can be taught cognitive bias awareness along with other strategies to promote critical thinking, such as the five microskills model known as the “one-minute preceptor,”60 to help them develop habits of mind and healthy skepticism about their own thought processes. Engaging in simple practices such as calling for a “diagnostic time-out” (an explicit pause to reflect on the thinking process leading to the diagnosis) at patient handoff or when confronted with a complex patient promotes reflection and metacognition for physicians at any level.60,61


더 나은 진단 정확성과 환자 결과를 위한 증거

Evidence for Better Diagnostic Accuracy and Patient Outcomes


진단 오류와 환자 위해를 예방하는 인지 바이어스 인식 훈련의 효과를 살펴본 연구는 거의 없었다. 진단 오류를 방지하기 위한 최근 개입 검토 결과 대부분의 개입이 교육적이지 않은 것으로 나타났다. 109개 연구 중 11개 연구만 임상의 교육을 포함했으며, 환자 결과를 보고한 사람은 거의 없었다.62

Few studies have looked at the efficacy of cognitive bias awareness training in preventing diagnostic error and patient harm. A recent review of interventions to prevent diagnostic errors found that the vast majority of interventions were not educational: Only 11 of 109 studies included clinician education, and few reported any patient outcomes.62


종단적 및 통합 커리큘럼은 인지적 편견에 대한 인식 향상과 성찰적 실천의 사용에 효과적이다.49,63 메인 메디컬 센터에서 거주자와 개업 의사를 위한 통합 인지 바이어스 인식 커리큘럼의 도입으로 진단 오류의 보고와 스탠다드에 대한 프로토콜의 증가로 이어졌다.환자를 돌보다64

Longitudinal and integrated curricula are effective at improving awareness of cognitive biases and use of reflective practice.49,63 Introduction of an integrated cognitive bias awareness curriculum for residents and practicing physicians at Maine Medical Center led to an increase in the reporting of diagnostic errors, as well as protocols to standardize patient care.64


이러한 연구는 인지적 편견과 변형에서 지속적인 교육이 환자 결과를 향상시킬 수 있음을 시사한다.

These studies suggest that continuing education in cognitive biases and metacognition may improve patient outcomes.


미래 방향과 결론

Future Directions and Conclusions


의료 교육이 내용 전달에 초점을 맞춘 것에서 비판적 사고와 문제 해결 기술의 발달로 옮겨감에 따라, 교육자들은 학습자가 특정 환자의 이력, 신체 검사 및 실험실 데이터를 설명하기 위해 기초 원리와 개념에서 추론하는 데 필요한 기술을 개발하고 연습하도록 강요해야 한다. 학생이 임상실습을 시작하고, 레지던트 프로그램으로 나아감에 따라 교수진은 이러한 기술을 지속적으로 강화해야 한다. 귀납적 추론과 메타인지 스킬은 규칙적으로 연습하지 않으면 점점 쇠퇴한다.

As medical education shifts from a focus on content transfer to the development of critical thinking and problem-solving skills, educators must push learners to develop and practice the skills needed to reason from foundational principles and concepts to explain the history, physical examination, and laboratory data for a given patient.67,68 As students enter clinical clerkships and progress to residency programs, faculty must continue to reinforce these skills; when not practiced regularly, inductive reasoning and metacognitive skills atrophy.


시간이 지남에 따라, [성찰적 실천]과 [인지적 편향 인식 전략]을 가르치려는 노력은 더 나은 진단 습관을 가져오고 궁극적으로 환자 안전을 향상시킬 수 있다.63

Over time, efforts to teach reflective practice and cognitive bias awareness strategies may lead to better diagnostic habits and ultimately to improved patient safety.63


  • 베이시안 추론과 같은 분석적 접근법을 가르치는 것, 

  • 확률적 의사결정 및 가능성 비율에 대한 의사의 이해도 향상 

  • 진단 테스트의 특수성 및 민감도에 대한 평가 향상 

...등도 인지적 실수로 인해 발생한 진단 오류를 줄이는 데 도움이 될 수 있다.

  • Teaching analytic approaches such as Bayesian reasoning, 

  • improving physicians’ understanding of probabilistic decision making with likelihood ratios, and 

  • increasing appreciation of diagnostic test specificity and sensitivity 

may also help to decrease diagnostic errors made because of cognitive mistakes.


학습자가 적응적 전문지식을 습득할 수 있도록 교육자는 반드시 

  • 휴리스틱 추론과 분석적 추론의 적절한 사용과 도전을 인식하도록 도와야 한다.

  • 임상 시나리오에 대한 진단 접근 방식을 조정해야 한다. 

  • 불확실한 일에 부딪쳐도 마음이 편해야 한다.

To help learners achieve adaptive expertise, educators must 

  • help them recognize the appropriate use and challenges of both heuristics and analytic reasoning, 

  • adapt their approach to diagnosis to the clinical scenario, and 

  • become comfortable with regular encounters with uncertainty.


작업장 개입은 의료진의 진단 오류를 피하기 위한 노력에 도움이 될 수 있다. 전 세계의 medical practice는 진단 정확도에 대한 피드백을 얻기 어려운 임상 환경으로 변화하고 있으며, 의사들이 실수로부터 배우지 못하게 만들고 있다.33,34

Workplace interventions may assist practicing clinicians in their efforts to avoid diagnostic errors. Global changes in medical practice have led to a clinical environment in which feedback on diagnostic accuracy is difficult to obtain, denying physicians the opportunity to learn from mistakes.33,34


또한 진단 오류에 관한 의학 문헌의 변화가 필요하다. 전문직으로서, 의사는 의료 오류를 초래하는 의료 시스템 요인을 식별하고 다루는 것을 편한하게 느낀다. 반면 진단 오류는 해결하고 예방하기가 더 어려운 것으로 인식된다. 의사들은 그들 자신의 진단 오류를 인정하기를 꺼린다. 특히 실수가 종종 개인적인 실패와 전문적인 과실로 보여질 때, 문화와 의사소통의 작은 변화는 진단에서 불확실성을 인정하고 오류를 인정하는데 더 안전한 환경을 구축하는 데 도움이 될 수 있다. Singh가 제안하든, "진단 오류"를 "진단 기회 누락"으로 명칭을 단순하게 변경하면 이러한 오류를 탈-낙인화하고 비-개인화하는데 도움이 될 수 있다.72 어려운 경우나 환자 핸드오프 시 진단 타임아웃을 일상적으로 통합하는 것과 같은 안전하고 개방적인 의사소통의 문화를 촉진하기 위한 기법을 사용해야 한다.60,61,73 도덕률 및 사망률 회의는 책임 배정에 대한 징벌적 또는 판단적 접근보다는, 추론을 탐구하는 데 초점을 맞춰 진단 오류를 식별하고 학습하는 원래의 취지로 돌아가야 한다.

Further, a change in the culture of medicine regarding diagnostic error is needed. As a profession, physicians have become more comfortable with identifying and addressing health care systems factors that lead to medical error.35 Diagnostic error is perceived as more difficult to address and prevent. Physicians are reluctant to acknowledge their own diagnostic errors, especially when mistakes are often seen as personal failings and professional lapses.64 Small changes in both culture and communication may help establish a safer environment for admitting uncertainty in diagnoses and acknowledging errors. A simple change in name, as suggested by Singh, from “diagnostic errors” to “missed opportunities in diagnosis” may help destigmatize and depersonalize these errors.72 Techniques to promote a culture of safe and open communication should be employed, such as routinely incorporating a diagnostic time-out for difficult cases or at patient handoffs.60,61,73 Morbidity and mortality conferences should return to the original intent: identifying and learning from diagnostic errors, focusing on an exploration of reasoning rather than taking a punitive or judgmental approach to assigning blame.


의사는 불확실성의 개념을 [무지와 무능의 인정]이 아니라 [임상 의학에 대한 정교한 접근]의 표현으로 받아들여야 한다.74 진단 프로세스에서 다른 의료 전문가, 환자 및 가족을 의미 있는 파트너로 받아들이는 것도 잠재적으로 진단 오류를 탐지하고 예방하는 데 강력하다.70 마지막으로, 불확실성과 오류성를 표현하는 한 가지 방법은, "감별 진단"을 "진단 가설"로 재명명하는 것이며, 그렇게 한다면 임상 시나리오가 전개됨에 따라 검증testing을 장려하고, 잠재적으로 결론을 변경할 수 있다.


Physicians should embrace the idea of uncertainty as a mark of a sophisticated approach to clinical medicine, rather than as an admission of ignorance or incompetence.74 Enlisting other health care professionals, patients, and families as meaningful partners in the diagnostic process is also potentially powerful for detection and prevention of diagnostic errors.70 Lastly, relabeling “differential diagnosis” as “diagnostic hypotheses,” as an expression of uncertainty and fallibility, would encourage testing and potentially changing one’s conclusions as a clinical scenario unfolds.75


과학에 기초한 학문으로서의 의학 교육의 표준화가 20세기 의학에 지장을 주지 않는 발전을 가져다 주었듯이, 비판적 사고력의 발달에 대한 집중이 증가함에 따라 금세기에도 유사한 이익을 얻을 수 있을 것이다.

Just as standardization of medical education as a science-based discipline helped bring unimagined improvements to medicine in the 20th century, the increased focus on the development of critical thinking skills may reap similar benefits in this century.



8 Norman GR, Monteiro SD, Sherbino J, Ilgen JS, Schmidt HG, Mamede S. The causes of errors in clinical reasoning: Cognitive biases, knowledge deficits, and dual process thinking. Acad Med. 2017;92:23–30.


29 Krupat E, Wormwood J, Schwartzstein RM, Richards JB. Avoiding premature closure and reaching diagnostic accuracy: Some key predictive factors. Med Educ. 2017;51:1127– 1137. XXX


68 Schwartzstein RM, Roberts DH. Saying goodbye to lectures in medical school— Paradigm shift or passing fad? N Engl J Med. 2017;377:605–607.








, 94 (2), 187-194
 

Teaching Critical Thinking: A Case for Instruction in Cognitive Biases to Reduce Diagnostic Errors and Improve Patient Safety

Affiliations 

Affiliation

  • 1C.S. Royce is instructor, Department of Obstetrics and Gynecology, Beth Israel Deaconess Medical Center, Harvard Medical School, Boston, Massachusetts. M.M. Hayes is assistant professor, Department of Medicine, Shapiro Institute for Education and Research, Beth Israel Deaconess Medical Center, Harvard Medical School, Boston, Massachusetts. R.M. Schwartzstein is professor, Department of Medicine, Shapiro Institute for Education and Research, Beth Israel Deaconess Medical Center, Harvard Medical School, Boston, Massachusetts.

Abstract

Diagnostic errors contribute to as many as 70% of medical errors. Prevention of diagnostic errors is more complex than building safety checks into health care systems; it requires an understanding of critical thinking, of clinical reasoning, and of the cognitive processes through which diagnoses are made. When a diagnostic error is recognized, it is imperative to identify where and how the mistake in clinical reasoning occurred. Cognitive biases may contribute to errors in clinical reasoning. By understanding how physicians make clinical decisions, and examining how errors due to cognitive biases occur, cognitive bias awareness training and debiasing strategies may be developed to decrease diagnostic errors and patient harm. Studies of the impact of teaching critical thinking skills have mixed results but are limited by methodological problems.This Perspective explores the role of clinical reasoning and cognitive bias in diagnostic error, as well as the effect of instruction in metacognitive skills on improvement of diagnostic accuracy for both learners and practitioners. Recent literature questioning whether teaching critical thinking skills increases diagnostic accuracy is critically examined, as are studies suggesting that metacognitive practices result in better patient care and outcomes. Instruction in metacognition, reflective practice, and cognitive bias awareness may help learners move toward adaptive expertise and help clinicians improve diagnostic accuracy. The authors argue that explicit instruction in metacognition in medical education, including awareness of cognitive biases, has the potential to reduce diagnostic errors and thus improve patient safety.


전문가적 진단에 대한 저명한 의사의 인식(Acad Med, 2012)

Renowned Physicians’ Perceptions of Expert Diagnostic Practice

Maria Mylopoulos, PhD, Lynne Lohfeld, PhD, Geoffrey R. Norman, PhD, Gurpreet Dhaliwal, MD, and Kevin W. Eva, PhD




보건 전문가 커뮤니티의 교육자들은 전문가 퍼포먼스를 이해하고 보다 효과적인 전문가를 개발하는 데 사용할 수 있는 적절한 역량 프레임워크를 만들기 위해 광범위한 노력을 해왔다. 의학 분야에서 이러한 전문지식의 탐구들은 전통적으로 의사의 진단적 통찰력에 초점을 맞추었으며, 효과적이고 효율적인 임상적 추론을 뒷받침하는 지식을 이해하는 데 중점을 두고 있다. 연구자들이 의사의 조직과 지식의 사용에 있어 중요한 전문가의 차이를 확인한 반면에, 연구자들은 모든 의사가 동일한 수준의 전문가 성과를 달성하는 것은 아니며, 일부 의사들은 그냥 '그저그런 정도에 머무는' 것을 점점 더 인식하고 있다.2

Educators in the health professions community have made extensive efforts both to understand expert performance and to create appropriate competency frameworks that can be translated into developing more effective experts. In the field of medicine, these explorations of expertise have traditionally focused on physicians’ diagnostic acumen, with an emphasis on understanding the knowledge that underpins effective and efficient clinical reasoning. Whereas researchers have identified important expert–novice differences in physicians’ organization and use of knowledge,1 researchers also increasingly recognize that not all physicians achieve the same level of expert performance, with some merely “swelling the ranks of the mediocre.”2


의사의 진단적 통찰력을 뛰어넘는 전문가 수행의 측면을 탐구하는 연구는 이러한 현실을 강화시켰다. 본 연구는 "적응적 전문가adaptive expert"는 지식을 효과적으로 사용할 뿐만 아니라, 그 실천과정에서 새로움을 접하면 새로운 지식을 구축할 수 있는 방법을 강조하여, 지속적인 실천 개선 과정에 참여하는 것을 강조한다.3 또한, 걸출한exceptional 의료 실천에 대해 의사가 어떤 개념을 가지고있는지가 더 한 사람이 가지고 있는 지식을 넘어서는 다양한 기술과 전문적인 적합성을 반영하고 있다는 것을 보여주었다.4

Studies exploring facets of expert performance that range beyond physicians’ diagnostic acumen have reinforced this reality. This research has emphasized the ways in which “adaptive experts” not only use knowledge effectively but also are able to construct new knowledge in response to novelty in their practice, thereby engaging in a process of sustained practice improvement.3 Moreover, our own research has shown that physicians’ conceptions of exceptional medical practice increasingly reflect a diverse set of skills and professional aptitudes that extend beyond the knowledge that one possesses.4


방법

Method


2008년부터 2010년까지, 우리는 전문가 진단 실습의 실질적인 이론의 개발에 기여하기 위하여, 구성주의적 근거이론의 인터뷰 기반 연구를 수행했다.

From 2008 to 2010, we conducted a constructivist grounded theory,5 interview-based study, intended to contribute to the development of a substantive theory of expert diagnostic practice.


참가자

Participants


우리의 목표 샘플링 접근방식은 기준과 이론적 샘플링 전략을 결합했다.6

Our purposive sampling approach combined both criterion and theoretical sampling strategies.6


우리의 샘플을 내과 교수진들로 제한하는 것은 그들이 특별한 동료들을 지명하는 이유의 변동성을 단순히 전문분야에 걸친 다양성에 기인할 수 없다는 것을 보장했다.

Restricting our sample to internal medicine faculty ensured that any variability in their reasons for nominating an exceptional colleague could not be attributed simply to the variability across specialties.


우리는 이메일을 통해 모든 내과 교수들에게 그들이 "뛰어난 의사"로 간주하는 동료들을 지명하는 웹 기반의 조사를 완료하도록 요청했다. 응답자들이 특정한 실천적 측면에 편견을 갖지 않도록 하기 위해, 우리는 "뛰어난 실무자"라는 문구를 정의하지는 않았다. 그 후 응답자에게 "걸출한 진단가"와 "걸출한  전문가"를 추천하도록 요청하였다.4 전자에 대해 더 자세히 설명하지는 않았지만 후자를 "윤리적인 의사결정, 의사소통 능력 또는 환자와의 관계에 근거한 것"이라고 정의했다.

We asked all internal medicine faculty via e-mail to complete a Web-based survey nominating peers whom they considered to be “outstanding practitioners.” To avoid biasing respondents to particular aspects of practice, we did not define the phrase “outstanding practitioner” any further. We then asked respondents to nominate “exceptional diagnosticians” and “exceptional professionals.”4 We did not elaborate further on the former term but did define the latter as being “based on ethical decision-making, communication skills, or relationships with patients.”


포화 샘플7에는 34명의 참가자가 포함되었다. 20명은 예외적인 진단 전문가로, 14명은 예외적인 전문가로 지명되었다.

Our saturation sample7 included 34 participants: 20 nominated as exceptional diagnosticians, 14 nominated as exceptional professionals.


자료 수집

Data collection


본 연구의 2단계인 현재 연구를 위해, 우리는 각 참가자들과 1시간 반의 구조적인 인터뷰를 실시했다. 우리는 우리 연구팀의 구성원들과 4명의 연구 과학자 그리고/또는 일반 전문 문헌에 대한 강한 지식을 가진 의료 교육자들이 포함된 하루 동안의 회의 동안에 협의 과정에서 인터뷰 프로토콜을 개발했다. 우리는 먼저 각 참가자의 뛰어난 임상 실습, 진단적 통찰력, 전문가 문제 해결, 개인 생활 및 경력 궤적에 대한 개념화를 탐구했다. 그런 다음 참가자들에게 "쉬운", "힘든" 또는 "스텀퍼"로 판명된 진단 경험(즉, 결코 해결할 수 없는 경우)을 설명해 달라고 요청했다.

For our current study, phase two of the project, we conducted a one-hour, semistructured interview with each participant. We developed the interview protocol in a consultative process during a daylong meeting that included members of our research team and four research scientists and/or medical educators with strong knowledge of the general expertise literature. We first explored each participant’s conceptualizations of outstanding clinical practice, diagnostic acumen, expert problem solving, and personal life and career trajectory. We then asked the participants to describe diagnostic experiences that they found to be “easy,” “hard,” or “stumpers” (i.e., cases they were never able to solve).


자료 분석

Data analysis


우리는 면접 성적표에 대한 구성주의적 근거 이론 분석을 실시했다. 각 연구팀원(연구현장 3명, 연구보조원 1명)은 일정한 비교분석을 용이하게 하기 위해 자료수집 과정에서 나타난 예비코드를 개별적으로 파악했다.7 우리의 구성주의 기반 이론 접근방식과 일관되게, 팀의 각 구성원은 데이터를 탐색하기 위해 자신의 이론 렌즈를 사용했고, 그 결과 데이터에서 나올 때 유도적인 주제와 연역적 연구자들이 그들의 이전 데이터 및 이론적 관점을 의도적으로 개발하기 위해 사용한 분석 프로세스를 만들었다.그는 주제 구조를 드러내고 있다.

We conducted a constructivist grounded theory analysis of the interview transcripts. Each member of the research team (five investigators from three of the research sites and a research assistant) individually identified the preliminary codes as they emerged during data collection to facilitate the constant comparative analysis.7 Consistent with our constructivist grounded theory approach, each member of the team used his or her own theoretical lens to explore the data, resulting in an analytic process that was both inductive—themes developed as they emerged from the data—and deductive—researchers purposefully used their prior data and theoretical perspectives to develop the emerging thematic structure.


결과

Results


의사들이 전문가 진단 관행을 개념화하는 방법에 대한 이해를 나타내는 4개의 상호 연결된 테마가 인터뷰 기록에 대한 분석에서 나타났다. 

(1) 의료 실무에 대한 목적적이고 지속적인 참여를 통해 구축된 광범위한 지식 보유 

(2) 환자 "스토리"를 효과적으로 수집할 수 있는 기술의 보유

(3) 해당 지식과 진단 중 환자 이야기를 반영하여 통합

(4) 임상실습을 통한 지속적인 학습

Four interconnected themes informing our understanding of how physicians conceptualize expert diagnostic practice emerged from our analysis of the interview transcripts: 

  • (1) possession of extensive knowledge built through purposeful, continuous engagement in clinical practice, 

  • (2) possession of the skills to effectively gather patient “stories,” 

  • (3) reflective integration of that knowledge and those patient stories during diagnosis, and 

  • (4) continuous learning through clinical practice.


주제 1: 임상 실습에서 목적적이고 지속적인 참여를 통해 구축된 광범위한 지식 보유

Theme 1: Possession of extensive knowledge built through purposeful, continuous engagement in clinical practice


참석자들은 폭넓은 지식 기반을 확보하고 유지하는 것이 중요하다고 강조했다. 특히, 그들은 지식의 개발과 유지보수를 의료실무에 지속적으로 관여하는 적극적인 과정으로 보았다.

Participants emphasized the importance of acquiring and maintaining an extensive knowledge base. Notably, they saw the development and maintenance of knowledge as an active process of continued engagement in clinical practice:


참가자들은 [임상적 실천을 통해 이루어지는 일상적인 학습]이 우수성을 뒷받침하는 광범위한 지식기반의 유지에 필수적이라고 강조한 반면, 그들은 또한 [자신의 전문분야에 대한 깊은 지식]을 유지하고 [여러 의료영역에 걸쳐 광범위하게 넓히는 데] 있어서 독서reading의 중요성에 대해 언급했다.:

Whereas participants emphasized that the daily learning that takes place through clinical practice is integral to the maintenance of the extensive knowledge base underpinning excellence, they also commented on the importance of reading both for maintaining a deep knowledge in their specialty and for gaining breadth across the broader medical domain:


비록 그 점이나 그 논문이 내가 현재 하고 있는 어떤 일에도 사실 전혀 무관한 것처럼 보이지만, 지금부터 6개월 내지 8개월 후에 그것이 관련될지도 모른다. 그리고 사실대로 말하자면 나는 아주 자세하게 기억하지 못할 것이다. 그러나, 그것은 나에게 어떤 임상적인 점에 대한 나의 결정에 영향을 미칠 수 있는 추가적인 약간의 지식을 가질 수 있는 계층화, 배경화 그리고 능력을 주는 것 같다.

Even though that point or that article is seemingly actually quite irrelevant to anything I’m doing currently, six or eight months from now that might become relevant. And to tell you the truth I won’t remember a lot in great detail. But, it seems to give me that layering and background and ability to then have that additional little bit of knowledge that maybe influences my decision about some clinical point.


주제 2: 환자 이야기를 효과적으로 수집하는 기술 보유

Theme 2: Possession of the skills to effectively gather patient stories


참가자들은 진단 과정에서 환자 이야기라고 기술한 지식을 습득하는 것이 중요하다는 점에 주목했다. 그들은 신체 검진와 관련된 효과적인 의사소통 및 기술력을 포함하여 이러한 이야기를 습득할 수 있는 기술을 강조하였다.

Participants noted the importance of acquiring knowledge that they described as patient stories during the diagnostic process. They highlighted the skills that enabled them to acquire these stories, including effective communication and technical skills related to physical examination:


사실, 나는 듣는 것을 배우는 것이 가장 중요하다고 생각해. 이 기술은 [환자가 당신에게 말하고자 하는 것]을 실제로 듣고, [환자가 당신이 듣고자 하는 것만 말하도록 하지 않도록 하는] 기술이다. 그것들은 매우 다른 것이다. 나는 숙련되지 않은 임상의가, 경험이 적은 임상의가 계속 질문을 할수록 환자가 실제로 가만히 앉아서 무슨 말을 해야 하는지를 듣는 것이 아니라 환자에게 지시하는 것이라고 생각한다. 왜냐하면 대부분의 진단은 당신의 눈이 아니라 귀로 발생하기 때문이다.

Actually, I think most important is learning to listen. It’s the skill of actually hearing what the patient wants to tell you and not trying to get the patient to tell you what you want to hear. Those are two very different things. I think the less skilled clinician, less experienced clinician interrupts, keeps asking questions, directs the patient rather than actually sitting back and actually hearing what the patient has to say because the vast majority of diagnosis happens with your ears, not with your eyes.


참가자들은 또한 [사용 가능한 모든 지식을 환자 이야기와 관련지어 관찰 및 분석하는 것]을 통하여, 환자의 상호작용을 이해하는 것의 중요성에 대해 언급했다.

Participants also commented on the importance of understanding patient interactions through observing and collating all available knowledge into a patient story:


엘리트 임상의는 지식과 기술력뿐만 아니라, 듣고 보고 두드리고 나서 모든 것을 종합해 볼 수 있는 능력이 있는데, 이것은 그들이 가지고 있는 또 다른 재능이다.

Elite clinicians not only knowledge and technical skills, but they have the ability to pick up the physical things by hearing, looking at it, percussing it, and then have to put it all together, which is another talent they have.


주제 3: 진단 중 해당 지식과 환자 이야기를 반영하여 통합

Theme 3: Reflective integration of that knowledge and those patient stories during diagnosis


참가자들은 [과거의 지식]과 [경험을 현재]의 [환자 이야기]와 통합하여 발생하는 진단 과정을 이해하였다.

Participants understood the process of diagnosis to occur through the integration of past knowledge and experience with a current patient story:


또한 참가자들은 진단 과정 중에 지식을 효율적으로 통합하고 사용하기 위한 패턴 인식의 우선성을 인식했다.

In addition, participants recognized the primacy of pattern recognition for integrating and using knowledge efficiently during the diagnostic process:


경험적 데이터베이스를 가져가야 할 것 같다. 휴리스틱스나 패턴 인식을 위해 지름길을 만들 수 있도록 말이다. 그것은 오직 경험으로만 올 수 있다. 여러분은 심장마비라는 주제에 대한 20가지의 다른 변형을 봐야만 한다. 심장마비라는 미묘한 비정형적 표현뿐만 아니라 공통점을 인식할 수 있기 때문이다.

So I think you have to take your experiential database … to allow you to kind of make short cuts to have those heuristics, that pattern recognition. That only can come with experience. You have to have seen 20 different variations of the theme of heart attacks to be able to recognize the common as well as the subtle atypical presentations.


그러나 참여자들은 패턴 인식이 오진을 초래할 수 있다는 가능성을 인식하였고, 진화하는evolving 진단을 위해 성찰적 자세가 필요하고, 보완적임을 명시하였다.

However, participants also articulated a necessary and complementary reflective stance toward the evolving diagnosis, thereby recognizing the possibility that pattern recognition can lead to misdiagnosis:


내가 가끔 빠져드는 함정이나 함정 중 하나는 이것이 패턴에 해당한다고 가정하고 어떤 상태에 고정되는 것이다. 그리고 네모난 펙트를 잘못된 구멍에 집어넣으려고 하는 것과는 반대로 "좋아, 또 무슨 일이 일어날 수 있지?" "왜 이게 맞지 않는 거지?"라고 말하는 사고의 융통성을 유지하기는 어렵다.

One of my traps or pitfalls that I fall into sometimes is that you kind of assume this is going to fall into the pattern and you kind of get anchored to a certain condition. And it’s hard to keep the flexibility of thought to say, “Okay, what else could be going on?” and “Why is this not fitting?” as opposed to trying to jam a square peg into the wrong hole.


또한 참가자들은 자신의 경험을 활용하여, 기존 지식이 필요한 진단을 위해 불충분할 때를 인식하는 것현재 환자 평가를 자신의 임상 영역에 대한 깊은 이해를 증진시키는 기회로 사용하는 것이 중요하다는 점에 주목하였다.

Moreover, participants noted the importance both of using their experience to recognize when their existing knowledge was insufficient for the necessary diagnosis and of using their current patient assessment as an opportunity to cultivate a deep understanding of their clinical domain:


주제 4: 임상 실습을 통한 지속적인 학습

Theme 4: Continuous learning through clinical practice


진단 활동에 대한 성찰적 접근방식은 medical practice에 대한 광범위한 접근방식을 보여주는 것이었다. 이러한 태도는 그들을 평생학습자로 만들었다. 왜냐하면 [실천에 기초한 학습에 종사하는 임상의사로서 겸손]의 필요성뿐만 아니라 [그들 자신의 지식에 대한 회의적인 입장]을 갖게 했기 때문이다.

For participants, the reflective approach to the activity of diagnosis was mirrored by their broader approach to medical practice that shaped them as lifelong learners through the adoption of a skeptical stance toward their own knowledge as well as the need for humility as clinicians engaged in practice- based learning;


겸손한 것 같아. 겸손은 당신의 실수로부터 배우는 것을 의미한다고 생각한다. 왜냐하면 당신이 근본적인 것을 하지 않았기 때문에 다음 번에는 그것을 하지 않기 때문이다. 그것도 전문가로서의 한 부분이다.

I think being humble. I think humility means learning from your mistakes also because you remember when you didn’t do something fundamental so you don’t do it the next time. That’s part of being an expert too.


고찰

Discussion


우리의 결과는 네 가지의 상호 연결된 진단 관행을 강조하는 탁월함의 모델을 보여준다.

Our results reveal a model of excellence that emphasizes four interconnected dimensions of diagnostic practice.


의학 교육에 있어서의 현재 담론의 맥락 안에서 우리의 결과를 탐구하는 것은 이러한 우수한 진단능력을 구성하는 두 가지 주요 특징을 전면에 내세운다. 

(1) 진단 프로세스를 뒷받침하는 의료 역량의 통합적 특성 

(2) 진단 프로세스의 "최적 적응" 특성.

Exploring our results within the context of current discourses in medical education brings to the forefront two key features of this construct of diagnostic excellence: 

(1) the integrated nature of the medical competencies that underpin the diagnostic process, and 

(2) the “optimally adaptive”3 nature of the diagnostic process.


대학원 의학 교육 위원회(ACGME)의 핵심 역량9 및 CanMEDS 의사 역할10은 강력한 지식 기반을 넘어 광범위한 기술을 유지하는 의사의 중요성을 강조한다. 우리의 연구에서 나온 우수성의 모델은 [진단 전문가로서의 능력을 유지하고 향상시키기 위하여] [진단 프로세스 및 광범위한 접근 방식에서 의사가 다양한 역량을 어떻게 통합하는지]를 강조한다. 

The Accreditation Council for Graduate Medical Education (ACGME) core competencies9 and the CanMEDS physician roles10 emphasize the importance of physicians maintaining a broad skill set beyond a strong knowledge base. The model of excellence that emerged from our study highlights the ways in which physicians integrate different competencies both during the diagnostic process and in their broader approach to maintaining and improving their skills as diagnosticians.


예를 들어, 우리의 연구결과는 뛰어난 의사가 진단적 실천을 생각하는 방식이 다음의 밀접한 관계를 반영한다는 것을 시사한다. 

  • CanMEDS 역할에서 의료 전문가, 의사 전달자 및 학자

  • ACGME 역량에서 의료 지식, 대인 관계 및 커뮤니케이션 기술, 연습 기반 학습 및 개선 

For example, our findings suggest that the way in which reputed physicians conceive of diagnostic practice reflects a close entwining of 

  • the medical expert, communicator, and scholar CanMEDS roles, or 

  • the medical knowledge, interpersonal and communication skills, and practice-based learning and improvement ACGME competencies.


우리가 여기서 보고한 결과는 한 가지 능력이나 역할을 훌륭히 해내는 것만으로 뛰어난 의사가 되기에는 부족하다는 것을 시사한다. 게다가, 그들은 의사들이 통합적 구조로서 그들 자신과 다른 사람들의 의료 행위를 이해한다는 것을 증명한다.

the results that we report here suggest that excelling in any one competency or role alone is insufficient to be an exceptional physician. Moreover, they demonstrate that physicians understand their own and others’ medical practice as an integrated construct,


기본적으로, 학생과 전공의가 진단 전문 지식과 뛰어난 의료 지식을 위해 노력하는 것을 돕는데 있어서, 우리는 그들의 실천기반 학습과 의사소통 기술을 동시에 길러야 한다이러한 기술들을 그들의 진단적 우수성의 발전을 위한 중요한 수단이며, 단순히 양호한 임상 수행의 독립적인 요소가 아니다이와 관련하여, 특정 역량에 의도적으로 초점을 맞추는 평가 관행은 역효과를 낳을 수 있기에, 역량이 독립적으로 평가되어야 한다는 wisdom에 더욱 의문을 제기할 수 있다.

Essentially, in helping students and residents strive for diagnostic expertise and outstanding medical knowledge, we must simultaneously cultivate their practice-based learning and communication skills and treat these skills as a crucial means toward their development of diagnostic excellence, rather than simply as independent components of good clinical performance. In this regard, assessment practices that deliberately focus on a particular competency may be counterproductive, bringing further into question the wisdom of assessing competencies independently.11


참가자들은 진단 정의에서 이러한 기술의 통합은 사전 지식과 환자 이야기를 결합하는 과정으로 설명하면서 환자가 마주치는 동안 진화하는 진단에 대한 성찰적 자세를 채택했다. 예를 들어, 참가자는 지식을 [패턴 인식 과정을 통해 환자를 효율적으로 진단하는 수단]으로서뿐만 아니라 [까다로운 진단 사례에서 새로운 지식을 구성하기 위한 자료]로서 설명하였다. 적응성 전문 이론가들이 말한 바와 같이, 이러한 행위는 의사가 "최적 적응성 경로"을 따르는 것으로 이해해야 한다.

Participants described this integration of skills in their definition of diagnosis as a process of combining prior knowledge with patient stories while adopting a reflective12,13 stance toward a diagnosis as it evolves during a patient encounter. For example, participants described using knowledge not only as a means to efficiently diagnose a patient through a process of pattern recognition but also as a resource to construct new knowledge in challenging diagnostic cases. We understand this process to be at work when a physician is working within the “optimal adaptability corridor,”3 as described by adaptive expertise theorists.


optimal adaptability corridor OAC 란 적응적 전문가가 실천의 효율(과거 지식의 사용)혁신(새로운 지식의 구축 및 학습) 치수 사이에서 효과적인 균형을 유지할 수 있는 능력을 말한다. 실제로 이러한 전문가들은 그 한계로 인해 제약이나 misled 없이 과거의 지식을 활용할 수 있는 동시에 필요할 때 효과적인 문제 해결을 위한 새로운 지식을 구축할 수 있다. OAC를 따르게 되면, 본 연구에서 "임상실천을 통한 지속적인 학습"으로 개념화한 프로세스인, 문제 해결과정을 통한 지속적 학습이 가능하다

The optimal adaptability corridor refers to the ability of adaptive experts to maintain an effective balance between complementary efficient (use of past knowledge) and innovative (construction and learning of new knowledge) dimensions of their practice. In effect, these experts are able to use their past knowledge without being constrained or misled by its limitations, while also constructing new knowledge for effective problem solving when necessary. Working within the optimal adaptability corridor allows experts to continuously learn as they problem solve, a process that participants conceptualized as “continuous learning through clinical practice.”






, 87 (10), 1413-7
 

Renowned Physicians' Perceptions of Expert Diagnostic Practice

Affiliations 

Affiliation

  • 1University of Toronto Faculty of Medicine, Learning Institute, Hospital for Sick Children, Toronto, Ontario, Canada. maria.mylopoulos@utoronto.ca

Abstract

Purpose: To further the development of a substantive theory of expert diagnostic practice, the authors explored the ways in which exceptional physicians, nominated by their peers, conceptualized their own diagnostic expertise specifically and diagnostic excellence generally.

Method: In this grounded theory, interview-based study, physicians at six North American research sites were nominated by their peers as exceptional diagnosticians and exceptional professionals and invited to participate in the study. A saturation sample included 34 participants, 20 exceptional diagnosticians, and 14 exceptional professionals. Using a constant comparative approach, the authors conducted one-on-one interviews with participants, transcribed the audiotapes of those interviews, and analyzed them for emergent themes. They developed a stable thematic structure and applied it to the entire data set.

Results: Four interconnected themes emerged that inform the community's understanding of how physicians conceptualize expert diagnostic practice: (1) possession of extensive knowledge built through purposeful, continuous engagement in clinical practice, (2) possession of the skills to effectively gather patient stories, (3) reflective integration of that knowledge and those patient stories during diagnosis, and (4) continuous learning through clinical practice.

Conclusions: Exploring these results within the context of current discourses in medical education brings to the forefront two key features of physicians' construction of diagnostic excellence: (1) the integrated nature of the medical competencies that underpin the diagnostic process and (2) the optimally adaptive nature of the diagnostic process. These findings can inform the development of practical and effective pedagogical strategies to guide trainees, clinicians, and medical educators who strive for excellence.


임상추론에서 오류의 원인: 인지적 편향, 지식 부족, 이중처리 사고(Acad Med, 2017)

The Causes of Errors in Clinical Reasoning: Cognitive Biases, Knowledge Deficits, and Dual Process Thinking

Geoffrey R. Norman, PhD, Sandra D. Monteiro, PhD, Jonathan Sherbino, MD, Jonathan S. Ilgen, MD, Henk G. Schmidt, PhD, and Silvia Mamede, MD, PhD



의료오류는 2000년 획기적인 의학연구소(IOM) 보고서인 "The Errr Is Human: Building a Safer Health System"이 발표된 이후 상당한 주목을 받아왔다. 그 보고서는 의료 오류에 대한 사회적 비용이 크다는 점에 대해 구체적인 주의를 환기시켰다. IOM의 2015년 후속 보고서도 다음과 같이 덧붙였다.

Medical errors have received considerable attention since the publication of the landmark Institute of Medicine (IOM) report “To Err Is Human: Building a Safer Health System” in 2000.1 The report called specific attention to the large societal cost of medical errors. A 2015 follow-up report also from the IOM added that


의료전달시스템은 수십 년 동안 사각지대를 가지고 유지되어 왔다. 바로 진단 오류이다. 이는 정확하지 않거나 지연된 진단을 말하며, 모든 진료 환경 전반에 분포하고 있으며, 지속적으로 납을할 수 없을 만큼 많은 수의 환자를 계속 해친다.2

[t]he delivery of health care has proceeded for decades with a blind spot: Diagnostic errors—inaccurate or delayed diagnoses—persist throughout all settings of care and continue to harm an unacceptable number of patients.2


이 후속 보고서에서 IOM은 의사, 가족, 시스템을 포함한 여러 가지 진단 오류의 원인을 강조하였다. 그러나 진단을 목적으로 하는 추론 과정에 대한 설명은 전적으로 임상의의 인지 과정에 국한되었다. 이러한 초점이 맞춰지는 한 가지 이유는 결국 "임상추론은 의사의 마음 속에서 일어난다"는 것일 수 있다.2

In this follow-up report, the IOM highlighted the multiple causes of diagnostic error, including the clinician, the family, and the system. However, the description of the process of reasoning directed at making a diagnosis was entirely restricted to the cognitive processes of the clinician. One reason for this focus may be that, at the end of the day, “clinical reasoning occurs within clinicians’ minds.”2


확실히, 1970년대와 1980년대의 첫 번째 연구로 거슬러 올라가는 초창기 임상추론 연구는 심리학적 관점에 의해 지배되어 왔으며, 개인 임상의사의 사고 과정을 탐구했다.

Certainly, research in clinical reasoning, dating back to the first studies in the 1970s and 1980s,3,4 has been dominated by a psychological perspective, exploring the thinking processes of the individual clinician.


그루펜과 동료5는 1차 진료의사들이 78%의 사례에서 CC만을 근거로 정확한 진단을 내렸다는 것을 발견했다. 보다 최근에 펠라키아와 동료6은 응급의사들운 환자를 만나기 전에 이미 25%의 가설을, 임상적 만남의 첫 5분 동안 75%의 가설을 생성했다는 것을 보여주었다.

Gruppen and colleagues5 found that primary care physicians had the correct diagnosis based on just the chief complaint in 78% of cases. More recently, Pelaccia and colleagues6 showed that emergency physicians generated 25% of hypotheses before meeting the patient and 75% of hypotheses in the first five minutes of the clinical encounter.


이러한 발견은 사고의 "이중 프로세스 모델"을 기술하는 심리학에서 다수의 문헌에서 나온 결과와 일치한다.7–13 특정한 이론은 다를 수 있지만, 일반적인 특징은 사고에는 두 가지 시스템이 관련되어 있다는 것이다. 

  • 더 빠른 시스템인 타입 1은 자동적이고, 무의식적이며, 겉보기에는 힘이 없어 보이는 반면, 

  • 느린 시스템인 타입 2는 통제되고, 의식적이며, 노력한다. 


에반스와 스타노비치13이 설명했듯이 

  • 시스템1은 "직관적이고, 휴리스틱하며, 

  • 시스템2는 "반사적이고, 분석적"이다.

These findings are consistent with the findings from a large body of literature in psychology that describes “dual process models” of thinking.7–13 Although particular theories may differ, a common feature is that thinking involves two systems. The faster system, Type 1, is automatic, unconscious, and seemingly effortless, whereas the slower system, Type 2, is controlled, conscious, and effortful. As Evans and Stanovich13 described it, Type 1 is “intuitive, heuristic,” and Type 2 is “reflective, analytic.”


많은 저자들은 제1형 사고와 관련된 휴리스틱스와 그로 인한 인지적 편견이 진단 오류를 초래할 수 있는 가능성에 관심을 가져왔다.18–20 2015년 IOM 보고서는 휴리스틱스와 진단 오류의 관계에 대해 상당히 자세히 설명하였다.

Many authors have drawn attention to the heuristics associated with Type 1 thinking and to the possibility that the resulting cognitive biases may lead to diagnostic errors.18–20 The 2015 IOM report went into considerable detail about the relationship between heuristics and diagnostic errors:


휴리스틱스(Heuristics)는 인식 전략 또는 무의식적으로 채택되는 정신적 지름길로서, 의사결정에 특히 중요하다. 휴리스틱스는 의사결정을 용이하게 할 수 있지만 오류를 일으킬 수도 있다. 휴리스틱이 실패할 때, 그것은 인지적 편견이라고 불린다.2

Heuristics—cognitive strategies or mental shortcuts that are automatically and unconsciously employed—are particularly important for decision making. Heuristics can facilitate decision making but can also lead to errors. When a heuristic fails, it is referred to as a cognitive bias.2


비록 이 진술이 절대적인 것처럼 보이지만, 인간 추론에서 편향의 증거는 상당부분 상식 수준에서, 전문지식이 없이 질문에 대답하는 학부 심리학과 학생들의 연구에서 도출되었다.21 IOM 보고서는 이러한 연구를 광범위하게 인용하였으나 임상 추론에서 편견의 역할에 대한 증거를 검토하지 않았다.2

Although this statement appears definitive, much of the evidence of bias in human reasoning has been derived from studies of undergraduate psychology students answering commonsense and expertise-free questions.21 The IOM report extensively cited these studies but did not examine evidence of the role of biases in clinical reasoning.2


기억과 이중 처리의 구조

The Architecture of Memory and Dual Processing


인간의 추론은 왜 빠른 직관적 처리와 휴리스틱스에 의존하는가? 답은 사고와 기억의 특징 때문이다. 정신은 모든 계산이 발생하는 [제한된 용량의 작업 메모리]와 새로운 정보와의 연관성의 강도에 기초하여 메모리를 검색하는, [본질적으로 용량이 제한되지 않은 장기적 연관 기억]을 모두 포함한다.22

Why does human reasoning rely on rapid intuitive processing and heuristics? The answer lies in the nature of thinking and memory. The mind contains both a working memory of limited capacity in which all computations occur and a long-term, associative memory of essentially limitless capacity, whereby memories are retrieved based on the strength of their association with the new information.22


유형 1 사고는 새로운 정보와 기억 속의 유사한 예제 사이에 직접적인 연관성을 만드는 것으로 볼 수 있다.23 그러한 메모리 검색은 매일 매 시간마다 수천 번 발생한다.

Type 1 processing can be viewed as making a direct association between new information and a similar example in one’s memory.23 Such memory searches occur thousands of times every hour of every day;


이러한 연관성 만드는 작업은 노력없이 이뤄지며, 작업 메모리에 과부하를 주지 않는다.13 유사한 예를 검색할 가능성은 오류를 야기할 수 있는 여러 요인에 의해 영향을 받을 수 있는 연관성의 강도와 관련이 있다.24

These associations are effortless and do not overload our working memory.13 The likelihood of retrieving a similar example is related to the strength of the association, which can be influenced by a number of factors, that may lead to errors.24


  • 과거에 연고가 관찰된 횟수, 

  • 기억 속에 저장된 예시 횟수 또는 

  • 공통적인 특징의 개수, 

  • 최근성이나 생동감 같은 외부 특성의 개수,

  • the number of times the association has been observed in the past, 

  • the number of examples stored in one’s memory, or 

  • the number of common features, 

  • the number of extraneous characteristics, such as recency or vividness,


반대로, 타입 2 프로세싱은 자신의 작업 메모리에 있는 연산에 기초한다. 예를 들어, 사례에 존재하는 진단 범주에서 피쳐를 식별하고 특정 질병의 가능성을 추정한다.23 타입 2 프로세싱은 그 성격상 추상적이고 규범적이거나 논리적인 규칙과 일치하기 때문에 작업기억에 무거운 부담을 지운다. 따라서 제한된 작업 메모리에 대한 부하가 증가함에 따라 계산 오류가 발생할 가능성이 발생한다.13

Conversely, Type 2 processing is based on computations in one’s working memory—for example, identifying the features from a diagnostic category that are present in a case and estimating the likelihood of a particular disease.23 Type 2 processing is, by its nature, abstract and normative—or consistent with logical rules—so it places a heavy burden on one’s working memory. Thus, the possibility arises that computational errors may occur as a result of the increased load on one’s limited working memory.13


그렇다면 이 두 과정과 추론 오류 사이의 관계는 무엇인가? 한 가지 관점은 [모든 오류는 유형 1 추론에서 발생하며, 유형 2 추론에 의해서는 수정되지 않는다]는 관점이다.

What is the relationship, then, between these two processes and reasoning errors? One view is that all errors originate from the heuristics that are employed in Type 1 reasoning and not corrected by Type 2 reasoning:


직관적 판단의 오류는 두 시스템의 고장을 모두 포함한다. 오류를 발생시킨 시스템 1과 오류를 감지하고 수정하지 못한 시스템 2.25

Errors of intuitive judgment involve failures of both systems: System 1, which generated the error, and System 2, which failed to detect and correct it.25


대안적 관점은 [두 프로세스 모두에서 오류가 발생]한다는 것이다.

An alternative view is that errors arise from both processes:


아마도 이중 과정 이론에 대한 인식에서 가장 끈질긴 오류는 제1종 프로세스(직관적, 휴리스틱)가 모든 나쁜 사고를 책임지고 제2종 프로세스(반사적, 분석적)가 반드시 올바른 반응을 이끌어 낸다는 생각일 것이다.... 그래서 이 좋은 생각의 본질은 나쁜 생각이고 어떤 이중 과정 이론들은 그것을 그들의 핵심 용어로 만들었다.13

Perhaps the most persistent fallacy in the perception of dual-process theories is the idea that Type 1 processes (intuitive, heuristic) are responsible for all bad thinking and that Type 2 processes (reflective, analytic) necessarily lead to correct responses.… So ingrained is this good–bad thinking idea that some dual- process theories have built it into their core terminology.13


그렇다면 어떻게 하면 오류를 줄일 수 있을까? 위의 첫 번째 공식에서 오류는 유형 1 처리에 있어서 유선 연결된 인지적 편견의 결과이기 때문에, 해결책은 편견이 발생할 수 있는 시기를 감지하는 것을 학습한 다음 분석 유형 2 추론을 사용하여 다음과 같이 수정하는 것이다.

How can we reduce errors, then? In the first formulation above, because errors are a consequence of hardwired, cognitive biases in Type 1 processing, the solution is to learn to detect when a bias may arise and then use analytical Type 2 reasoning to correct it:


시스템 1에서 비롯되는 오류를 차단하는 방법은 원칙적으로 간단하다: 인지 지뢰밭에 있다는 징후를 인식하고 속도를 늦추고 시스템 2에 보강을 요청한다.

The way to block errors that originate in System 1 is simple in principle: recognize the signs that you are in a cognitive minefield, slow down, and ask for reinforcement from System 2.26


이 관점은 오류가 지식의 결핍에서 발생할 수 있다는 것을 인정하거나 (분석적이든 경험적이든) 도메인에서 지식을 증가시키는 것이 오류의 감소로 이어질 것임을 시사하지 않는다. 그 대신, 이 관점은 오류로 이어질 수 있는 사고 과정의 결함에 초점을 맞추고 있다.

This view does not acknowledge that errors may arise from knowledge deficits or suggest that increasing knowledge in a domain (either analytical or experiential) will lead to fewer errors. Instead, the focus is on flaws in the thinking processes that may lead to errors.


다른 이론가들은 이 두 과정이 다른 종류의 지식을 반영한다고 본다. 

  • 제1종 프로세싱은 무의식적인 연관성의 과정을 통해 개별 경험의 검색을 수반하는 반면, 

  • 제2종 프로세싱은 "상징적으로 표현된 ...지식"을 사용한다9 

프로세스에 집중하는 것과는 대조적으로, 이 관점은 각 유형의 생각에서 요구되는 지식의 종류와 그 지식이 어떻게 학습되는지를 명시적으로 검토한다.

Other theorists believe that the two processes reflect different kinds of knowledge. Type 1 processing involves the retrieval of individual experiences through a process of unconscious association, while Type 2 uses “symbolically represented … knowledge.”9 In contrast to a focus on processes, this perspective explicitly examines the kinds of knowledge required by each type of thinking and how that knowledge is learned.


만약 오류가 인지적 편견의 결과라면,

If errors are a consequence of cognitive biases, then:


1. 지식과 경험의 증가와 오류의 관계는 없을 것이다.

1. There will be no relationship between increasing knowledge and experience and errors.


2. (속도감 있는 작업이나 주의 산만과 같은) 제약조건은 제2형식 분석 처리에 영향을 미치고 더 많은 오류를 초래할 것이다.12

2. Constraints such as speeded tasks or distractions will affect Type 2 analytical processing and lead to more errors.12


3. 오류는 인지편향을 명시적으로 인식하고 오차를 시정하기 위한 분석전략을 발동하는 학습을 통해 교정될 것이다.19

3. Errors will be corrected by learning to explicitly recognize a cognitive bias and invoke analytical strategies to correct the error.19


반대로 오류가 지식 결손의 결과라면,

Conversely, if errors are a consequence of knowledge deficits, then:


1. 경험이 많아지면 분석적 지식이나 경험적 지식 모두 커져서 오류가 줄어든다.

1. More experience will lead to greater knowledge, both analytical and experiential, and result in fewer errors.


2. 제1형 처리가 전문지식을 밑거름으로 하는 한, 신속한 작업이나 산만함이 정확도에 미치는 영향은 미미할 것이다.

2. To the extent that Type 1 processing underlies expertise, speeded tasks or distractions will have minimal effect on accuracy.


3.오류는 구체적인 지식을 적용한다면 시정될 것이다.

3. Errors will be corrected by applying specific knowledge.


오류의 원인에 대한 두 가지 넓은 관점을 검토하기 위해, 인지 편향이나 지식 부족을 우리는 문헌에 대한 검토를 either/or 이분법적으로 프레이밍했다. 그러나 실제로는 두 가지 결손 모두 오류의 원인이 될 가능성이 높다.

To examine the two broad perspectives on the causes of errors—cognitive bias or knowledge deficiency—we have framed our review of the literature as an either/or dichotomy. In fact, it is likely that both deficits contribute to errors.



의학 임상 추론 연구의 증거

Evidence From Clinical Reasoning Studies in Medicine


임상적 추론의 오류는 인지적 편견에 의해 야기되는가?

Are errors in clinical reasoning caused by cognitive biases?


Evans12가 지적한 바와 같이, 오류는 유형 1 처리의 휴리스틱에서 발생하여 유형 2 처리의 개입에 의해 수정되는 한 가지 증거는 오류와 진단 속도 사이의 관계다. 진단을 철저히 하기 위해 더 긴 시간을 사용하거나 속도를 늦추라는 지침은 제2형식 처리를 더 많이 사용할 수 있어야 하며 따라서 더 높은 정확도를 산출해야 한다.

As Evans12 indicated, one kind of evidence that errors arise from the heuristics of Type 1 processing and are corrected by the interventions of Type 2 processing is the relationship between errors and the speed of diagnosis. A longer time to a diagnosis, or instructions to slow down, to be thorough, etc., should permit more use of Type 2 processing and hence produce greater accuracy.


이러한 모든 연구는 시간을 증가시키고, 따라서 타입 2 처리에 더 많이 의존하는 것은 오류를 개선시키지 않는다는 것을 시사한다. 그러나, 최근의 한 연구는 시간을 심하게 제약하는 것이 초보자의 오류를 증가시킨다는 것을 보여주었다.32

All of these studies suggest that increasing time, and thus relying more heavily on Type 2 processing, does not ameliorate errors. However, one recent study showed that severely constraining time does increase novices’ errors.32


문헌에서 나온 증거에 따르면, 더 많은 처리 시간은 일반적으로 더 적은 수의 오류가 아니라 더 많은 오류와 연관되어 있다. 만일 오류가 유형 1 처리의 인지적 편견에 의해 야기되고 유형 2 처리에 의해 해결된다면, 그 반대가 사실일 것이다. 이 발견에 대한 한 가지 설명은 두 시스템 모두에서 오류가 발생할 수 있다는 것이다. 예를 들어, 조기 종결(진단 오류의 가장 일반적인 원인으로 확인됨3)와 확증편향 모두 데이터 수집 및 합성 과정에서 발생하는 현상이기 때문에 유형 2 프로세싱과 연관될 가능성이 더 높다.34 더욱이 오류 해결은 단순히 추가적인 분석 노력을 기울이는 경우가 아니며, 충분한 지식이 없으면 추가 처리가 오류를 해결하는 데 도움이 되지 않을 것 같다. 우리는 적절한 시기에 이 과정에서 지식의 역할에 대해 자세히 설명할 것이다.

According to this evidence from the literature, more processing time is generally associated with more, not fewer, errors. If errors are caused by cognitive biases in Type 1 processing and resolved by Type 2 processing, the reverse would be true. One explanation for this finding is that errors can arise in both systems; for example, both premature closure (which has been identified as the most common contributor to diagnostic error33) and confirmation bias are phenomena that arise during the process of data gathering and synthesis, so they are more likely to be associated with Type 2 processing.34 Moreover, the resolution of errors is not simply a case of exerting additional analytical effort; without sufficient knowledge, additional processing is not likely to be helpful in resolving errors. We will elaborate on the role of knowledge in this process in due course.


임상 추론의 오류가 제1형 처리와 관련되어 있는가?

Are errors in clinical reasoning associated with Type 1 processing?


지금까지 일반 문헌에는 100개 이상의 인지편견이, 의학 문헌에는 적어도 38개 이상의 인지편향에 대해 기술되어 있다.19 인지편향과 진단오차를 연관짓는 글의 두드러진 점을 감안할 때, 진단추론에서 인지편향에 대한 경험적 실증적 실증이 비교적 적다는 것은 다소 놀라운 일이다최근 체계적인 검토에서 보건의료에서 인지편향에 대한 213개의 연구가 확인되었지만, 많은 사람들이 진단추론이 아닌 치료선택(추론)과의 관련성을 검토했다.39 이 기사를 검토한 후, 우리는 15개의 연구만이 진단오류에서 인지편향의 역할을 검사했고, 7개의 편견만 검사했다고 결론지었다.

To date, over 100 cognitive biases have been described in the general literature and at least 38 in the medical literature.19 Given the prominence of writings associating cognitive bias with diagnostic error,14–20,35–38 it is somewhat surprising that there are relatively few empirical demonstrations of cognitive bias in diagnostic reasoning. A recent systematic review identified 213 studies of cognitive bias in health care; however, many examined the therapeutic choices , not diagnostic reasoning.39 After reviewing this article, we concluded that only 15 of the studies examined the role of cognitive bias in diagnostic error, and only 7 biases were examined.


실제로 존재하는 진단 추론에서 인지편향의 역할에 대한 증거는 다음 두 종류의 연구에서 도출된다. 

    • (1) 편견을 설명하기 위해 자극이 특별히 조작되는 실험 연구 (예: 연구 초기에 참가자에게 사례를 보여 준 다음, [가용성 편향] 시퀀스 후반에 유사한 사례를 진단하도록 요청함)

    • (2) 오류가 발생한 경우에 대해, 후향적으로 검토하여 가능한 오류의 원인을 판단한다.

The evidence of the role of cognitive bias in diagnostic reasoning that does exist is derived from two kinds of studies: 

    • (1) experimental studies in which the stimuli are specifically manipulated to illustrate a bias (e.g., by showing participants a case early in the study, then asking them to diagnose a similar case later in the sequence [availability bias]); and 

    • (2) retrospective reviews of cases where an error has occurred, to determine the possible cause of the error.


많은 실험 연구들이 다양한 인지적 편견을 보여주었다.

A number of experimental studies have demonstrated various cognitive biases.


다른 여러 연구에서는 유사한 사례에 대한 참가자의 최근 경험과 다른 진단으로 인해 오류가 발생한 "가용성" 편향을 입증했다.

Several other studies have demonstrated “availability” bias, where participants’ recent experience with a similar case but a different diagnosis led to errors.


그러나 피부과에서의 두 가지 연구에서 동일한 카테고리의 사례를 직전에 본 경우, 정확한 진단을 더 용이하게 할 수 있다는 것이 밝혀졌다.44,4,45

However, availability bias seems to work both ways—two studies in dermatology showed that a prior example from the same category can facilitate accurate diagnosis.44,45


모든 연구가 인지적 편견을 유도할 수 있었던 것은 아니었다. 크리스텐슨과 동료 46명은 연구에 사용된 8가지 사례 중 두 가지 사례에만, 최소한의 편견만이 존재한다는 것을 발견했다.

Not all studies were able to induce a cognitive bias. Christensen and colleagues46 found that minimal bias was present in only two of the eight cases used in the study.


따라서, 편견을 유도하기 위해 특별히 설계된 자료를 사용한 많은 연구가 임상의사가 인지적 편견, 특히 가용성 편견을 보일 수 있다는 것을 보여주었지만, 그들은 이러한 편견이 실제로 발생할 수 있는 정도에 대한 통찰력을 제공하지 못했다. 또한 어떤 연구에서는 가용성 편향이 정확성을 감소시킬수도, 개선할 수 있다는 연구 결과가 나왔다.44,45

Thus, although a number of studies that used materials specifically designed to induce bias showed that clinicians can exhibit cognitive biases, particularly availability bias, they provided no insight into the extent to which these biases may arise in practice. Moreover, some studies showed that availability bias may both reduce and improve accuracy.44,45


진단 추론에서 인지편향의 역할을 조사하는 두 번째 연구 부류는 실제 오류에 대한 후향적 검토다. Graber와 동료들은 응급실에서 발생한 100건의 진단 오류 사례를 연구했다. 그들은 사례의 약 68%가 인지적 편견, 주로 조기 폐쇄(즉, 중요한 정보를 얻지 못한 채 접견을 종료)와 관련이 있다는 것을 발견했다. 그러나 또 다른 연구는 인지적 편견의 인과관계에 대한 증거를 찾지 못했다.48

The second class of studies that examine the role of cognitive bias in diagnostic reasoning are retrospective reviews of actual errors. Graber and colleagues33 studied 100 cases of diagnostic errors committed in the emergency department. They found that about 68% of cases were associated with a cognitive bias, primarily premature closure (i.e., terminating the encounter without getting the critical information). However, another study found no evidence of a causal role of cognitive biases.48


최근 한 연구는 특정 편향을 예시하지는 않았지만 두 가지 동일한 가능성이 있는 진단을 받았기 때문에 선택된 경우, 진단 오류 전문가들에게 인지적 편견을 식별하도록 요청했다..49 전문가들 사이에서 특정 편차의 유무에 대한 동의는 0에 가까웠다. 더욱이, 이 연구는 후향적 검토 자체가 사후 판단 편향에 취약하다는 것을 보여주었는데, 동일한 사례 연구에서도 진단이 잘못되었던 경우 진단이 옳았던 경우보다 두 배나 많은 편견을 식별하게 되었다.

A recent study asked experts in diagnostic errors to identify cognitive biases in case workups that were chosen because they did not exemplify a particular bias but had two equally probable diagnoses.49 Agreement on the presence or absence of specific biases among the experts was close to zero. Furthermore, the study showed that retrospective review is itself vulnerable to hindsight bias, where an incorrect diagnosis resulted in the identification of twice as many biases as a correct diagnosis in an otherwise identical case workup.


이것은 임상의사의 사후판단편성의 분명한 예다. 전문가들이 특정 편견에 동의할 수 없고 사후 판단 편향에 취약하다면, 어떻게 편견의 정의를 가르치는 것이 오류 감소로 이어질 수 있는가?

This is a clear example of hindsight bias in the clinicians. If experts cannot agree on specific biases and are vulnerable to hindsight bias, how can teaching definitions of biases lead to error reduction?


임상적 추론의 오류는 지식의 결핍에 의한 것인가?

Are errors in clinical reasoning caused by knowledge deficits?


놀랄 것도 없이, 추가 교육과 지식이 오류 감소와 관련이 있다는 실질적인 증거가 있다. 이러한 증거의 대부분은 임상의사 시니어 레지던트가 주니어 레지던트보다 오류율이 낮다는 것을 보여주는 연구에서 도출되었다. 비록 이것이 항상 그런 것은 아니지만, 실제 경험이 실천을 향상시킨다는 것은 문헌에서 덜 명확하다; 대부분의 연구는 작은 부정적인 면을 보여준다. 즉, 진단 정확도와 나이 사이의 negative 관계가 있다.

Not surprisingly, there is substantial evidence that additional education and knowledge are associated with reduced error rates. Much of this evidence is derived from studies of postgraduate trainees that show that practicing clinicians and/or senior residents have lower error rates than junior residents,41,50,51 although this is not always the case.52 It is less clear from the literature that experience in practice leads to improved practice; most studies show a small negative relationship between diagnostic accuracy and age.53,54


실제 임상 진단 수행에 대한 한 연구에서 Zwaan과 동료들48은 "최적화되지 못한 임상 행위"의 원인이 불충분한 지식이라는 증거를 발견했다.

In one study of actual clinical diagnostic performance, Zwaan and colleagues48 found evidence of insufficient knowledge as a basis for “suboptimal clinical acts.”


그러나 이러한 연구는 어떤 종류의 전문지식이 오류와 관련되어있는지를 식별하지 못한다. 

    • 경험적experiential 지식의 정확성과 측정 사이의 긍정적인 연관성은 전문지식이 제1형 처리와 관련이 있음을 시사할 수 있다. 

    • 식적formal 지식의 측정과의 연관성은 전문지식이 부분적으로 더 광범위한 분석적 지식기반에 존재함을 의미할 수 있으며, 따라서 제2형 처리에 기여할 것이다.

However, these studies do not identify the kind of knowledge that is related to errors and expertise. 

    • A positive association between accuracy and measures of experiential knowledge would suggest that expertise is related to Type 1 processing; 

    • an association with measures of formal knowledge would imply that expertise resides in part in a more extensive analytical knowledge base, and thus would contribute to Type 2 processing.


우리는 문헌에서 두 가지 관계에 대한 증거를 발견했다.

We found evidence for both relationships in the literature.



임상 추론 오류 감소 전략

Strategies for reducing errors in clinical reasoning


문헌에는 일반 전략, 휴리스틱 기반 전략, 지식 기반 전략 등 최소 세 가지 종류의 개입이 설명되어 있다.55

At least three classes of interventions have been described in the literature: general strategies, heuristic- based strategies, and knowledge-based strategies.55


일반 오류 감소 전략.

General error reduction strategies.


아마도 오류를 줄이기 위한 가장 간단한 전략은 "속도를 줄이고 시스템 2에서 보완을 요청하라"는 Kaneman의 지시에 따라, 임상의사에게 신중하고 체계적으로 그리고 모든 대안을 모색하라고 훈계하는 것일 것이다. 이러한 유형의 개입을 검토하기 위한 전형적인 연구전략은, 타입 2 처리에 이용 가능한 시간을 수정하기 위해, 한 집단은 "조심하고, 체계적이며, 철저하다"라고 하고, 다른 집단은 "가능한 한 빨리 가라"라고 하는 두 집단 설계를 이용하는 것이다. 이 전략을 사용한 세 가지 연구는 진단 정확도에 차이가 없음을 보여주었다.29,30,56 반면에 Mamede와 동료들은 비슷한 전략을 사용하였고 어느 정도 성공하였다.

Perhaps the simplest strategy to reduce errors is to admonish clinicians to be careful and systematic and to explore all alternatives, following Kahneman’s26 directive to “slow down and ask for reinforcement from System 2.” A typical research strategy to examine this type of intervention is to use a two-group design in which one group is told to be “careful, systematic, thorough” and the other group is told to “go as quickly as possible,” with a view to modifying the time available for Type 2 processing. Three studies using this strategy showed no difference in diagnostic accuracy.29,30,56 On the other hand, Mamede and colleagues57 used similar strategies with some success.


경험적 기반 오류 감소 전략.

Heuristic-based error reduction strategies.


인지적 편견의 영향을 줄이기 위한 전략은 이러한 인식이 진단 오류를 감소시킬 것이라는 가정 하에 참가자들에게 발생가능한 편견을 교육하기 위해 고안되었다. 몇몇 연구들은 단순히 편견을 확인하는 데 초점을 맞춰왔다.

Strategies directed at reducing the effect of cognitive biases are designed to educate participants about possible biases, with the assumption that this awareness will reduce diagnostic errors. Several studies have focused on simply identifying biases.


본드와 동료는 응급의학 전공의에게 인지적 편견에 대한 강의를 했다. 전공의들이 편견에 대해 배웠다고 인식했지만, 다시 한번 진단 오류에 대한 개입의 효과는 테스트되지 않았다. Ogdie와 동료들61은 전공의들이 인지편향과 진단오류 경험에 대한 성찰적 글쓰기 및 토론 과제를 완료하는 과정을 구현했다. 비록 전공의들이 인지적 편견을 보인 사건을 상기할 수 있었지만, 그 편향을 독립적으로 확인하지 못했고, 그 편향이 그들의 진단 정확도에 미치는 영향의 측정도 없었다.

Bond and colleagues60 taught a course on cognitive biases to emergency medicine residents. Although residents perceived that they had learned about biases, again, the effect of the intervention on diagnostic errors was not tested. Ogdie and colleagues61 implemented a course where residents completed reflective writing and discussion assignments about their experience with cognitive bias and diagnostic error. Although the residents were able to recall an episode where they exhibited a cognitive bias, there was no independent confirmation of that bias and no measurement of its effect on their diagnostic accuracy.


오직 세 가지 연구만이 참가자들에게 진단 추론에서 특정한 인지적 편견을 인식하도록 가르치기 위해 고안된 교육적 개입의 효과를 조사했다.62–64 이러한 연구들 중 두 가지는 응급의학 교대로 사무직 학생에 대한 교육적 개입을 테스트했고, 이어서 서면 사례 기반 사후 테스트가 있었다.62,63 개입에 따른 오류의 감소는 없었다.

Only three studies examined the effect of an educational intervention designed to teach participants to recognize specific cognitive biases in diagnostic reasoning.62–64 Two of these studies tested an educational intervention on clerkship students in an emergency medicine rotation, followed by a written case-based posttest.62,63 There was no reduction in errors from the intervention.


다른 연구에서는 [debiasing 체크리스트의 효과("내가 경험적 사고의 내재적 결함을 고려했는가?"와 같은 질문 포함)] 대 [25개의 가능한 차등 진단에 대한 사례별 체크리스트의 효과]65를 비교했다. 저자들은 debiasing 체크리스트의 유의한 이점은 찾지 못했다. 그러나 사례별 체크리스트는 진단 정확도를 크게 향상시켰다.

One other study directly compared the effect of a debiasing checklist (with questions like “Did I consider the inherent flaws of heuristic thinking?”) versus the effect of a case-specific checklist of 25 possible differential diagnoses.65 The authors found no significant benefit to the debiasing probe; however, the case- specific checklist resulted in a significant improvement in diagnostic accuracy.


따라서 다수의 연구가 레지던트가 인지적 편견을 정의하는 법을 배울 수 있다는 것을 증명했고, 특정한 편견을 설명하기 위해 설계된 서면 및 비디오 사례 작업에서 편견을 인식할 수 있다는 약한 증거가 있지만, 놀랍게도 [인지적 편견을 식별하는 능력]과 [편견과 진단 오류의 감소] 사이의 연관성을 연구한 연구는 거의 없다. 이 관계를 연구한 사람들은 그러한 개입에 아무런 도움이 되지 않았다.

Thus, although a number of studies have demonstrated that residents can learn to define cognitive biases, and there is weak evidence that they may be able to recognize biases in written and video case workups that are designed to illustrate specific biases, surprisingly few studies have examined the link between their ability to identify cognitive biases and a decrease in diagnostic errors. Those that did study this relationship showed no benefit to such interventions.


지식 기반 오류 감소 전략.

Knowledge-based error reduction strategies.


아마도 가장 광범위하게 연구된 개입은 Mamede, Schmidt 및 동료들이 개발한 기술인 의도적 성찰일 것이다.42,43,666670 그들의 전략은 [작업 진단working diagnosis이 정확하지 않다는 것을 인식하는 열쇠가 그 진단과 모순되는 증거를 식별하는 것]이라는 가정에 기초한다. 이 기법은 사례로 돌아가서 그 특징을 모두 기록한 다음 작업 진단과 일치하지 않는 특징을 식별해야 한다.

Perhaps the most widely studied intervention is deliberate reflection, a technique developed by Mamede, Schmidt, and colleagues.42,43,66–70 Their strategy is based on the assumption that the key to recognizing that a working diagnosis is not correct is identifying evidence that is inconsistent with that diagnosis. This technique requires going back to the case, writing down all of its features, and then identifying any features that are discordant with the working diagnosis.


이 전략은 분석적(타입 2) 사고에 근거한 시정조치를 권장하지만, 그것은 분명히 (잘못에 대한 인지적 휴리스틱을 식별하는 것이 아니라) 적절한 지식을 식별하는 데 초점을 맞추고 있으며, 진단적 관련 정보의 검색 및 재구성에 대한 구조적 접근방식으로 가장 잘 설명될 수 있다.

Although this strategy encourages a corrective action based on analytical (Type 2) thinking, it is clearly focused on identifying the appropriate knowledge, not on identifying the cognitive heuristic at fault, and may best be described as a structured approach to the retrieval and reorganization of diagnostically relevant information.


한 연구는 단순 사례와 복잡한 사례 진단에 대한 성찰 효과와 지시되지 않은 추론의 효과를 대조하였다.69 복잡한 사례 진단에서 성찰의 긍정적인 효과가 주로 주목되었다.

One study contrasted the effects of reflection and those of undirected reasoning on diagnosing simple versus complex cases.69 The positive effect of reflection was primarily noted in diagnosing complex cases.


세 번째 연구 52. 간단한 사례를 해결하는 레지던트의 경우, 저자들은 진단 정확도에 차이가 없음을 발견했고, 복잡한 사례를 해결하는 사람들에게는 '의식적인 사고' 조건에서 결과가 우월했다. 반대로, 이 개입은 의대생들이 간단한 사건을 해결하는 데 도움이 되었지만, 복잡한 사건을 해결하는 데는 도움이 되지 않았다. 이 연구결과는 이 개입이 분석지식을 동원했다는 것을 시사하는데, 초보자들에게는 [단순한 사례의 해결]이 개선되고, 반면 더 advanced 의사에게는 [복잡한 사례의 해결]에 효과적이었다.

A third study 52. For residents solving simple cases, the authors found no difference in their diagnostic accuracy; for those solving complex cases, the results of the conscious thought condition were superior. Conversely, the intervention benefited medical students solving simple cases but not those solving complex cases. This finding suggests that the intervention mobilized analytical knowledge, which for novices resulted in improvement in solving simple cases and for more advanced clinicians was effective for solving complex cases.


salient distracting feature가 있는(즉, 임상의의 정확한 진단을 방해하기 위해 의도적으로 포함된 특징) 연구에서, 성찰적 추론을 사용하도록 권장된 레지던트들은 예시-기반 추론을 사용하라는 말을 들었을 때보다 더 정확했다.68 그러나 저자들은 의대생들에게 아무런 차이를 발견하지 못했다. 다시 말하지만, 이 발견은 레지던트의 보다 광범위한 분석적 지식을 보여주는 것일지도 모른다.

In a study of salient distracting features (i.e., features deliberately included to distract the clinician from the correct diagnosis), residents encouraged to use reflective reasoning were more accurate than when they were told to use exemplar-based reasoning.68 However, the authors found no difference for medical students. Again, this finding may reflect residents’ more extensive analytical knowledge.


두 가지 연구에 따르면, 성찰을 위한 추가 시간이 레지던트와 경험 있는 의사들 사이에서 진단 정확도의 큰 증가를 이루었다.71,72 그러나 반사 단계에는 참여자의 정확도 향상에 큰 기여를 할 수 있는 추가 임상 데이터의 제시도 포함되었다.

Two studies showed that additional time for reflection resulted in a large increase in diagnostic accuracy, among both residents and experienced physicians.71,72 However the reflection phase also involved the presentation of additional clinical data, which may be a major contributor to participants’ increased accuracy.


이러한 연구를 통해 우리는 학습자의 수준과 사례의 난이도가 영향을 미치기는 하지만, 성찰이 상당히 일관되게 유익하다고 결론지을 수 있다. 이러한 차이는 [문제해결에 필요한 적절한 지식의 가용성]의 차이로 인 결과인 듯 하다. 성찰이 효과적인 경우에는, 참가자들이 자신의 지식을 식별하고 재구성하도록 장려했기 때문에 그러한 결과를 달성한 것이다

From these studies, we conclude that reflection is fairly consistently beneficial, although the level of the learners and the difficulty of the cases do affect its impact. This mitigation appears to be a consequence of the availability of appropriate knowledge to resolve the problem; to the extent that reflection is effective, it achieves these results by encouraging participants to identify and reconfigure their knowledge. 


이 전략은 복잡한 사례를 해결하는 주니어 임상의에게는 효과적이지 않다. 왜냐하면 그들은 처음부터 사건을 해결할 충분한 지식을 가지고 있지 않기 때문이다. 반대로, 전문가들은 그러한 문제들을 처음부터 쉽게 해결할 수 있기 때문에 단순한 경우를 해결하는 데 있어서 성찰의 혜택을 받지 못한다.

This strategy is ineffective for junior clinicians solving complex cases because they simply do not have sufficient knowledge to resolve the case from the start. Conversely, experts do not benefit from reflection in solving simple cases, because they can solve such problems easily from the start.


이러한 개입에 대해 한 가지 더 고려할 점이 있다. 일반적으로 모든 경우에 대한 성찰은 두 번째 패스로 요구되며, 원래의 서면 케이스가 이용 가능하다. 실제로 유용하기 위해서는, Kahneman이 말하는 것처럼, 임상의는 "자신이 지뢰밭에서 있다는 것을 인식해야" 하며, 자신이 실수를 저질렀다고 믿고, 더 이상 return할 case description이 없을 때 추가 검토를 시작해야 한다. 그렇다면 문제는 [의사는 과연 주어진 상황이 문제가 있다는 것을 인식하고 스스로 오류를 고칠 수 있는가] 하는 것이다.

There is one further consideration regarding these interventions. the reflection is usually required for all cases as a second pass, with the original written case available. To be useful in practice, the clinician must, as Kahneman26 says, “recognize [she is] in a minefield” and initiate additional review when she believes she has committed an error and does not have a case description to which to return. The question then is: Can clinicians recognize that a situation is problematic and correct the error on their own?


답은 "약간만 그렇다"인 것 같다. 인턴, 레지던트, 의대생들을 대상으로 프리드먼과 동료 73명이 실시한 대규모 연구에서 참가자들의 자기평가 신뢰도가 잘못 진단한 경우보다 올바르게 진단된 경우에 더 높은 것으로 나타났다. 전문지식이 높아짐에 따라 정확성과 신뢰성이 향상되었지만, 저자들은 과신 및 저신뢰의 많은 예를 확인하였다.

The answer appears to be “a bit.” A large study by Friedman and colleagues73 involving practicing internists, residents, and medical students showed that participants’ self-assessed confidence was higher for cases they diagnosed correctly than for those they diagnosed incorrectly. Increasing expertise led to greater accuracy and confidence, although the authors identified many instances of both over- and underconfidence.


결론적으로, 여러 근거에 따르면, 휴리스틱스 및 편견의 식별을 통한 오류 감소에 대한 개입이 진단 오류에 아무런 영향을 미치지 않는다는 것을 암시한다. 이와는 대조적으로, 임상의가 자신의 지식을 동원하고 재구성하거나 사례의 내용을 성찰하도록 장려하는 다양한 전략을 사용하는 여러 연구에서는 어느 정도 이점이 나타났다. 즉, 이는 참가자가 문제와 관련된 추가 지식을 identify해야 한다는 것을 보여주는 결과일 가능성이 높다.

In conclusion, the evidence suggests that interventions directed at error reduction through the identification of heuristics and biases have no effect on diagnostic errors. By contrast, a number of studies using various strategies that encourage clinicians to mobilize and reorganize their knowledge or to reflect on the content of the case showed some benefit, which is presumably a consequence of directing participants to identify additional knowledge that is relevant to the problem.


결론

Conclusions


(1) 임상 추론의 오류가 주로 많은 저자가 제시한 하나의 처리 전략(타입 1)에서 발생하는지 

(2) 이러한 오류가 인지적 편견 또는 지식 결손의 결과인지 여부.

(1) whether errors in clinical reasoning arise primarily from one processing strategy (Type 1) as suggested by many authors, and 

(2) whether these errors are a consequence of cognitive biases or knowledge deficits.


우리가 문헌에서 발견한 증거는 일관성이 있는 것 같다. 임상 추론의 오류가 주로 제1형식 처리에서 발생하며 제2형식 처리에 의해 수정된다는 이론적 입장은 너무 단순하다. 오류는 두 종류의 처리에서 모두 발생할 수 있다. 무엇이 오류를 일으키고 그것들을 줄이기 위해 무엇을 할 수 있는지에 대해, 현재까지 문헌은 Graber와 동료들의 결론에 부합한다. "이러한 개입의 폭과 열의 사이에는 큰 차이가 있지만... 실제 개입의 빈약함[그리고 진단 정확도나 오류를 다루는 매우 제한된 증거]이 있다." 

The evidence we found in the literature appears consistent. The theoretical position that errors in clinical reasoning arise primarily from Type 1 processing and are corrected by Type 2 processing is simplistic. Errors can arise from both kinds of processing. As to what causes errors and what can be done to reduce them, the literature to date aligns with Graber and colleagues’55 conclusion that there is “a major discrepancy between the breadth and enthusiasm for these interventions … but a paucity of actual interventions [and] very limited evidence addressing diagnostic accuracy or errors.” 


그럼에도 불구하고, 우리가 검토한 연구에서 몇 가지 결론은 가능하다. 첫째, 지금까지의 근거는 [대부분의 오류는 인지적 편견의 결과이며, 의사들이 편견을 인식하도록 훈련시킴으로써 감소될 수 있다]는 가정을 지지하지 않는다. 마찬가지로, "속도를 늦추거나, 성찰하거나, 주의하고, 체계적으로 행동하라"는 일반적인 경고는 진단 과정을 늦추는 것 이상의 효과는 그다지 없어 보인다. 이와는 대조적으로, 지식이 부족한 것이 진단 오류의 중요한 원인이 되며, 지식의 일부 재조직화를 유도하는 전략은 작지만 일관된 이점이 있는 것으로 보인다.

Nevertheless, some conclusions are possible from the studies we reviewed. First, the assumption that most errors are a consequence of cognitive biases and could be reduced by training physicians to recognize biases is not borne out by the evidence. Similarly, general admonitions to slow down, reflect, or be careful and systematic likely have minimal effect beyond slowing the diagnostic process. By contrast, knowledge deficits are a significant contributor to diagnostic error, and strategies to induce some reorganization of knowledge appear to have small but consistent benefits.


개별 수준에서 오류 감소를 지향하는 다양한 교육 전략을 검토했지만, 다른 수준의 다른 접근 방식도 제안되었다. 집단 의사결정은 시뮬레이션 트라우마 사례를 사용하여 연구된 그러한 가능성 중 하나이다.74 컴퓨터 의사결정 지원 시스템은 오랜 역사를 가지고 있다. 그러나, 그러한 시스템이 의사에게 주는 이점은 크지 않다.75 그리고 앞에서 논의한 바와 같이, 의사들은 종종 자신의 오류를 인식하지 못하기 때문에 의사결정에서 서포트를 얻고자 하지 않는다.

While we have examined various educational strategies directed at error reduction at an individual level, other approaches at different levels also have been suggested. Group decision making is one such possibility that has been studied using simulated trauma cases.74 Computer decision support systems have a long history; however, the benefit of such systems to physicians is not large,75 and, as we discussed earlier, physicians often are not aware of their errors, so they do not seek out decision support.73


하지만 한 가지는 분명하다. [진단 오류는 인지적 편견에서 비롯되며], [비교적 단순하고 빠른 전략이 편견을 식별하고 제거하는 것이 오류를 줄일 수 있다]는 가정이 얼마나 매력적이든간에, 근거는 이러한 전략이 효과성이 없거나 제한적이라는 것을 일관되게 입증한다. 지식이 중요하다. 인지적 편견에서 오류의 일부 비율이 발생하더라도 오류를 해결하기 위해서는 임상적 지식의 적용이 필요한데, 이러한 지식이 부족한 것이 초반의 실수의 원인이었을 수 있다.77 오류 감소에 관한 과학이 있다면 그것은 유아기에 있으며, 우리는 아직 갈 길이 멀다.

One thing is clear though. However attractive the assumption is that diagnostic errors originate in cognitive biases, and the implication that relatively simple and quick strategies directed at identifying and eliminating biases can reduce errors, the evidence is consistent in demonstrating that such strategies have no or limited effectiveness.76 Knowledge matters. Even if some proportion of errors arise from cognitive biases, the resolution of errors also involves the application of clinical knowledge, which may underlie the initial mistake.77 If there is a science of error reduction, it is in its infancy, and we have far to go.


마지막으로, 진단 오류의 실제 비율에는, 약간의 불확실성이 있지만, 이러한 오류를 방지할 수 있는 범위에는 훨씬 더 큰 불확실성이 존재한다는 점에 주의해야 한다. 임상에서 모호함은 상수다. 절대적 진단을 내릴 정보가 불충분하기 때문에, 어떤 오류는 발생할 수밖에 없다. 모든 오류를 없애기 위해 마법의 총알이 등장할 것이라는 가정은 희망사항에 지나지 않을 것이다.

Finally, we must caution that, while there is some uncertainty in the actual rate of diagnostic errors, there is far greater uncertainty in the extent to which these errors are preventable. Ambiguity is a constant in clinical practice; it is inevitable that some errors will arise simply because there is insufficient information to make a definitive diagnosis. The assumption that a magic bullet will emerge to eliminate all errors is likely nothing more than wishful thinking.



2 Balogh EP, Miller BT, Ball JR, eds. Improving Diagnosis in Health Care. Washington, DC: National Academies Press; 2015.






Comment

 

, 92 (1), 23-30
 

The Causes of Errors in Clinical Reasoning: Cognitive Biases, Knowledge Deficits, and Dual Process Thinking

Affiliations 

Affiliation

  • 1G.R. Norman is emeritus professor, Department of Clinical Epidemiology and Biostatistics, McMaster University, Hamilton, Ontario, Canada. S.D. Monteiro is assistant professor, Department of Clinical Epidemiology and Biostatistics, McMaster University, Hamilton, Ontario, Canada. J. Sherbino is associate professor, Department of Medicine, McMaster University, Hamilton, Ontario, Canada. J.S. Ilgen is associate professor, Department of Medicine, University of Washington School of Medicine, Seattle, Washington. H.G. Schmidt is professor, Department of Psychology, Erasmus University, Rotterdam, the Netherlands. S. Mamede is associate professor, Department of Psychology, Erasmus University, Rotterdam, the Netherlands.

Abstract

Contemporary theories of clinical reasoning espouse a dual processing model, which consists of a rapid, intuitive component (Type 1) and a slower, logical and analytical component (Type 2). Although the general consensus is that this dual processing model is a valid representation of clinical reasoning, the causes of diagnostic errors remain unclear. Cognitive theories about human memory propose that such errors may arise from both Type 1 and Type 2 reasoning. Errors in Type 1 reasoning may be a consequence of the associative nature of memory, which can lead to cognitive biases. However, the literature indicates that, with increasing expertise (and knowledge), the likelihood of errors decreases. Errors in Type 2 reasoning may result from the limited capacity of working memory, which constrains computational processes. In this article, the authors review the medical literature to answer two substantial questions that arise from this work: (1) To what extent do diagnostic errors originate in Type 1 (intuitive) processes versus in Type 2 (analytical) processes? (2) To what extent are errors a consequence of cognitive biases versus a consequence of knowledge deficits?The literature suggests that both Type 1 and Type 2 processes contribute to errors. Although it is possible to experimentally induce cognitive biases, particularly availability bias, the extent to which these biases actually contribute to diagnostic errors is not well established. Educational strategies directed at the recognition of biases are ineffective in reducing errors; conversely, strategies focused on the reorganization of knowledge to reduce errors have small but consistent benefits.


의료전문직 교육에서 임상추론이라는 용어: 함의와 고려할 점(Med Teach, 2019)

The terminology of clinical reasoning in health professions education: Implications and considerations

Meredith Younga,b , Aliki Thomasa,c,d , David Gordone, Larry Gruppenf , Stuart Lubarskyb,g, Joseph Rencich,i , Tiffany Ballardf, Eric Holmboej,k,l , Ana Da Silvam , Temple Ratcliffen , Lambert Schuwirtho,p,q,r and Steven J. Durningr




임상 추론은 보건 전문가(Higs et al. 2008)의 핵심 요소로 간주되며, 보건 직업 교육(Eva 2005; Young et al. 2018a의 요약)에서 교육 및 평가에 중요한 초점이 되어 왔다.

Clinical reasoning is considered a core component of being a health professional (Higgs et al. 2008) and has been an important focus for teaching and assessment in health professions education (summaries in Eva 2005; Young et al. 2018a).


그러나 임상 추론은 동질적 구인이 아니다임상 추론에 관한 문헌은 광범위하고 다양하여 다양한 직업과 이론적 프레임워크를 나타낸다(Eva 2005; Norman 2005; Ilgen et al. 2012; Cutrer et al. 2013; Holmboe & Durning 2014; Norman et al. 2014; Bluumal-Barby and Kriger 2015). 임상추론에 관한 여러 가지 서로 다른 이론적 틀 외에도, 임상 추론을 가리키는 용어도 많다. 보건 전문직 전반에 걸친 임상 추론과 관련하여 100개 이상의 용어가 확인되었다. 

However, clinical reasoning is not a homogeneous construct—the literature on clinical reasoning is broad and diverse, representing many different professions and theoretical frameworks (Eva 2005; Norman 2005; Ilgen et al. 2012; Cutrer et al. 2013; Holmboe & Durning 2014; Norman et al. 2014; Blumenthal-Barby and Krieger 2015). In addition to several different theoretical frameworks within the literature, there are a large number of terms used to refer to clinical reasoning. A recent review identified over one hundred terms used in reference to clinical reasoning across the health professions (Young et al. under review). 


용어의 다양성(예: 진단 추론, 직관적 프로세스, 상황별 추론, 비판적 사고, 공유 의사 결정)은 다음으로 이어진다. 

  • 교육적 개입에서 다양한 타겟, 

  • 평가에서 다양한 초점 

  • 임상적 추론이 무엇인지에 대한 서로 다양한 이해

이러한 용어는 명시적으로 정의되는 경우는 거의 없고, 주로 독자에게 해석이 맡겨져 있다.

The diversity of terms (e.g. diagnostic reasoning, intuitive processes, contextualized reasoning, critical thinking, shared decision making) leads to different targets for specific teaching interventions, different areas of focus for assessment, and likely different understandings of what clinical reasoning is. These terms are seldom explicitly defined (Young et al. under review), leaving interpretation up to the reader.


방법론

Methodology


이 범위 연구는 검토에 포함된 625개 논문에서 임상 추론을 언급하는 데 사용되는 용어를 식별하고 분류하였다.

This scoping study identified and categorized terms used to refer to clinical reasoning across 625 papers included in the review.


데이터 추출

Data extraction


분석

Analysis


용어의 분류가 특정 전문적 배경의 영향을 받을 가능성이 있다는 것을 인지하고, 분석 과정의 엄격성과 신뢰도를 높이기 위해 분류 과정(그림 1에서 요약)에 다양한 전문 분야(연구자 또는 임상 교육자)를 가진 5명의 팀원(MY, AT, SL, DG, LG)이 포함되었다. 

    • 연구자 또는 의사교육자

    • 의사 또는 직업 치료사 

    • 연구 및/또는 교육 책임의 핵심 중점 분야로서의 임상 추론을 다루는 사람

Recognizing that the categorization of terminology is likely influenced by particular professional backgrounds, the categorization process (summarized in Figure 1) involved five team members (MY, AT, SL, DG, LG) with various areas of expertise (researcher or clinical educator; physician or occupational therapist; clinical reasoning as a core focus area of research and/or educational responsibility), in order to increase the rigor and trustworthiness of the analytical process.


1단계: 카테고리 구조 개발

Phase 1: developing category structure


2단계: 테스트 카테고리 구조

Phase 2: testing category structure


3단계: 불일치 조정

Phase 3: reconciling disagreement



결과

Results


13개의 코더들이 임상적 추론을 언급하는 데 사용되는 것으로 625개의 논문에서 110개의 용어를 확인했다(영 외). 검토 중인 110개 항은 625개 논문에서 모두 693차례 확인됐다.

Thirteen coders identified 110 terms, across 625 papers, as being used to refer to clinical reasoning (Young et al. under review). The 110 terms were identified a total of 693 times across the 625 papers.


용어 및 코드 설명 범주

Categories of terms and code descriptions


아래의 6개 범주에 대해 설명하고 각 범주와 관련된 합의 용어를 표 1에 제시한다. 코딩 프로세스를 통해 개발되고 개선된 용어의 범주는 다음과 같았다.

The six categories of terms are described below and consensus terms associated with each category are presented in Table 1. The categories of terms, developed and refined through our coding process, were:


1. 추론의 목적: 임상추론을 하는 목적, 과제 또는 목표(예: 환자 관리)와 관련된 용어

1. Purpose/goal of reasoning terms referred to the purpose, task, or goal for engaging in reasoning (e.g. patient management).


2. 추론의 결과: 용어는 과정이나 추론에 대한 접근(예: 진단)보다는, 임상 추론의 성과나 산출물, 또는 정의된 추론의 종결점end-point에 초점을 맞춘다.

2. Outcome of reasoning: terms reflect a focus on the product or output of clinical reasoning or on a defined end-point of reasoning, with little emphasis on process or approach to reasoning (e.g. diagnosis).


3. 추론 수행능력: 추론의 성과나 과정의 숙달(예: 임상 역량, 전문가적 추론) 또는 추론 결과의 퀄리티(예: 판단 오류)에 관한 용어

3. Reasoning performance: terms reflect the mastery of performance or process(es) of reasoning (e.g. clinical competence, expert reasoning), or the quality of outcome of reasoning (e.g. judgment error).


4. 추론 프로세스: 문제 해결에 사용되는 프로세스, 전략, 구성 요소, 단계 또는 근거를 포함하는 임상 추론의 프로세스 구성요소에 초점을 맞춘 용어. 추론 과정을 반영하는 용어는 다양한 인지적 또는 심리학적 기반 프레임워크(예: 패턴 인식)와 밀접하게 연계되는 경향이 있었다.

4. Reasoning process: terms focus on the process components of clinical reasoning, encompassing processes, strategies, components, steps, or rationale used to solve a problem. Terms reflecting reasoning process tended to be tightly linked to a variety of cognitive or psychology-based frameworks (e.g. pattern recognition).


5. 추론 기술: 이 용어에서 임상추론(또는 구성요소 프로세스)이라는 용어는 안정적이고 일반화 가능하다. 확장extension을 통해서 교육가능, 학습가능, 훈련가능작업이나 기술들의 광범위한 집합이다(예: 비판적 사고).

5. Reasoning Skills: terms imply clinical reasoning (or component processes) is stable and generalizable; a set of broad tasks or skills that are teachable, trainable, and/ or by extension learnable (e.g. critical thinking).


6. 추론의 맥락: 이 범주는 환경, 사회, 환자 또는 제공자 특성이 임상 추론에 미치는 영향(예: 상황 인식)을 반영한다.

6. Context of reasoning: This category reflects the influence of environmental, social, patient, or provider characteristics on clinical reasoning (e.g. situational awareness).




임상적 추론을 가리키는 용어의 분류

Categorization of terms used to refer to clinical reasoning


1. 가장 적절한 분류(n1⁄474)에 대해 완전한 합의가 가능했던 용어. 표 1을 참조한다.

1. Terms for which complete consensus was possible regarding the most appropriate categorization (n¼74); see Table 1.


2. 다수결 합의(코더 3개 중 2개로 정의)는 가능했지만 합의가 불가능했던 용어(n1⁄416); 표 2를 참조한다.

2. Terms for which majority agreement (defined as two of three coders) was possible, but no consensus was possible (n¼16); see Table 2.


3. 동의나 합의가 불가능했던 용어(n1⁄420); 표 3을 참조한다.

3. Terminology for which no agreement or consensus was possible (n¼20); see Table 3.


4. 표 4의 임상적 추론을 언급하기 위해 가장 일반적으로 사용되는 5가지 용어와 그 분류(해당되는 경우)에 관한 합의.

4. Agreement regarding the five most commonly used terms to refer to clinical reasoning, and their categorization (where applicable), in Table 4.






고찰

Discussion


심층적이고 반복적이며 다단계 코딩 프로세스를 통해 다음과 같은 6가지 주요 용어 범주를 파악했다. 

  • 기술로서의 추론, 

  • 하나의 과정으로서 추론, 

  • 목표 지향적인 추론, 

  • 결과의 수단으로서의 추론, 

  • 문맥적으로 자극된 추론, 또는 

  • 추리 수행 

Through an in-depth, iterative, and multi-stage coding process, we identified six main categories of terms: 

  • reasoning as a skill, 

  • reasoning as a process, 

  • reasoning as goal-oriented, 

  • reasoning as a means to an outcome, 

  • reasoning as contextually-influenced, or 

  • reasoning performance. 


대다수의 용어(110개 중 74개)에 대해서는 합의가 이루어졌지만 임상 추론을 지칭하는 용어의 거의 3분의 1에 대해서는 분류의 차이를 해소할 수 없었다.

Though consensus was reached for the majority of terms (74 out of 110), we were unable to resolve differences in categorization for nearly one third of terms used to refer to clinical reasoning.


우리는 이 조건들에 대한 협상된 공통의 이해를 통해 합의를 도출하는 것이 우리의 의견 불일치를 문서화하는 것만큼 유익하지 않다고 판단했다. 추측이지만, 이 가장 일반적인 용어들 중 일부는 똑같이 광범위한 임상 추론 구조를 위한 넓은 대체물로 사용될 수 있다. 따라서, [초점, 훈련, 입장, 교육이나 평가 대상, 또는 무엇이 임상추론을 구성하는지에 대한 개념화]에 따라 다르게 해석되는 경향이 있다. 

We decided that creating consensus through a negotiated common understanding of these terms was not as beneficial as documenting our disagreement. While speculative, it may be that some of these most common terms are used as broad substitutes for the equally broad construct of clinical reasoning, and, as such, tend to be interpreted differently depending on the focus, training, stance, teaching or assessment target, or even conceptualization of what constitutes clinical reasoning (Young et al. 2018b). 


"임상추론"이라는 용어가 서로 다르게 사용되며 서로 다르게 이해되는 매우 광범위한 개념일 뿐만 아니라, 이러한 [일반적 대체 용어]는 용어에 대한 로르샤흐 시험의 기능을 할 수 있다. 즉, 사람마다 임상 추론을 이해할 때 자신의 특별한 렌즈를 통해 용어를 해석하는 것이다.

It may be that in addition to the term “clinical reasoning” being a very broad concept that is differentially used (Young 2018) and differentially understood (Young et al. 2018b), these common substitute terms may function as terminological Rorschach test—with individuals interpreting these terms through the lens of their particular understanding of clinical reasoning.


우리 팀 전체의 합의가 부족하다는 것은 중요한 의미를 지닌다. 임상추론을 가리키는 용어의 [유추된 의미]에 모호함이 있음을 시사한다.

The lack of consensus across our team has important implications. It suggests that there is ambiguity in the inferred meaning of terms used to refer to clinical reasoning.


교육 및 평가 실무의 맥락에서, 이것은 임상 추론을 언급하기 위해 사용되는 용어에 대한 일관되지 않은 이해가 있을 수 있다는 것을 의미한다. 사람마다 교육 및 평가의 함의에 대해서 동일한 의미를 서로 다른 의미로 사용할 수 있다. —임상 교육자, 프로그램 감독자 또는 학습자 중 어느 쪽이든 —

In the context of teaching and assessment practices, this could mean that there may be inconsistent understanding of the terms being used to refer to clinical reasoning. Individuals—whether clinical educators, program directors, or learners—may use the same terms with different intended meanings with potentially concerning pedagogical and assessment implications.


예를 들어, 교육 세션의 주제가 "진단 판단"에 있는 경우

—이 개념은 다르게 이해될 수 있다. 

  • 추론 목적(임상적 추론 뒤에 있는 "이유")으로, 

  • 추리 기술(좋은 임상 추론의 "행복"), 또는 

  • 추리 수행(숙달되어야 할 것)으로서. 

For example, if the topic of a teaching session is on “diagnostic judgment”—that concept could be understood differently; 

  • either as a reasoning purpose (the “why” behind clinical reasoning), 

  • a reasoning skill (the “habits” of good clinical reasoning), or as 

  • a reasoning performance (something to be mastered). 


또한 진단 판단에 대한 이러한 상이한 이해는 매우 다른 평가 관행을 초래할 수 있다.

  • 어떤 사람은 formal rationale로 의사결정을 정당화할 수 있는 능력에 초점을 맞출 수 있다. 

  • 다른 사람은 판단을 위한 정보출처로 복수의 증거 자료를 얼마나 일관되게 사용하는지를 조사할 수 있다. 

  • 또 다른 사람은 시간이 지남에 따라 진단의 정확도가 향상되었다는 문서화된 증거가 있는지 검사할 수 있다.

Further, these different understandings of diagnostic judgement would likely result in very different assessment practices—

  • one might focus on the ability to justify a decision with a formal rationale (assessing the “why”), 

  • the other might examine how consistently one uses multiple sources of evidence to inform judgment (assessing the “habits”), and 

  • another might examine whether there is documented evidence of improved accuracy of diagnosis across time (assessing mastery).


용어는 또한 교사와 학습자 사이에서도 서로 다르게 이해될 수 있다. 학습자가 competent reasoner가 되기 위해 어떤 행동을 보여 주어야 하는지에 관한 혼동을 초래할 수 있다(2015년).

Terms may also be differentially understood between teachers and learners— potentially leading to confusion regarding what behaviors learners should be demonstrating to appear as competent reasoners (similar to procedural variation work done by Arpamian et al. (2015)).


용어를 사람마다 서로 다르게 이해하는 문제는 임상추론에 국한되지 않는다. 예를 들어, 어떤 구성의 서로 다른 이해와 관련된 유사한 문제는 전문직업성에서 확인되었다(Wynia et al.2014). 임상 추론의 경우, 우리가 모두가 공통의 이해 또는 의도된 해석을 한다고 가정하지만, 임상추론이라는 용어의 의도된 의미에 대한 혼동이 존재하면 역량 프레임워크 내에서 특히 문제가 될 수 있다.

The potential of multiple different understandings of a key term are not limited to clinical reasoning; for example,similar issues around different understandings of a construct have been identified in professionalism (Wynia et al.2014). In the case of clinical reasoning, confusion regarding the intended meanings of terms could be particularly problematic within competency frameworks if we assume a common understanding, or intended interpretation


우리는 우리가 의도적으로 완전히 합의된 방법에 관여하려고 하지 않았다는 것을 반복하고 싶다. 델파이 방법론을 사용하거나 델파이 방법론을 채택하거나 "주요 규칙" 분류 또는 코드화 규칙을 부과하는 것이 가능했을지라도, 합의를 지지하기 위한 과정에 참여하는 것은 우리의 분석 과정에 의해 밝혀지는 중요한 불일치를 얼버무렸을 것이다. 의견 불일치를 해소하기 위해 노력하기보다는, 임상추론에 대한 여러 용어에 대한 이해의 차이에 관한 논의를 촉진하는 편이 낫다고 판단했다.

We want to reiterate that we intentionally did not seek to fully engage in consensus methods. Though it may have been possible to use a Delphi, or adapted Delphi methodology, or to impose a “majority rules” categorization or coding rule, engaging in a process intended to support consensus would have glossed over important disagreements brought to light by our analysis process. Rather than trying to resolve disagreement, we decided to report it to facilitate a discussion regarding differences in our understandings of the many terms for clinical reasoning.



Conclusion


이 연구는 또한 임상추론은 다양한 용어로 표현되는 다차원적 개념이며, 일반적으로 이해되는 하나의 통일된 구조라기 보다는 암묵적 의미와 유추된 의미 모두를 가진 다차원 개념임을 시사한다.

This work also suggests that clinical reasoning is a multidimensional concept, with a wealth of associated language, and a multiplicity of both implied and inferred meanings, rather than a singular, unified, commonly understood construct. 




Young ME, Dory V, Lubarsky S, Thomas AT. 2018a. How different theories of clinical reasoning influence teaching and assessment. Acad Med. 93:1415. (AM Last Page)


Young ME, Thomas A, Lubarsky S, Ballard T, Gordon D, Gruppen L, Holmboe E, Ratcliffe T, Rencic J, Schuwirth L, Durning S. 2018b. Drawing boundaries: the difficulty of defining clinical reasoning. Acad Med. 93:990–995.


Wynia MK, Papadakis M, Sullivan WM, Hafferty FW. 2014. More than a list of values and desired behaviors: a foundational understanding of medical professionalism. Acad Med. 89:712–714.





, 41 (11), 1277-1284
 

The Terminology of Clinical Reasoning in Health Professions Education: Implications and Considerations

Affiliations 

Affiliations

  • 1Department of Medicine, McGill University , Montreal , Canada.
  • 2Institute for Health Sciences Education, McGill University , Montreal , Canada.
  • 3School of Physical and Occupational Therapy, McGill University , Montreal , Canada.
  • 4Centre for Interdisciplinary Research in Rehabilitation of Greater Montreal , Montreal , Canada.
  • 5Division of Emergency Medicine, Department of Surgery, Duke University School of Medicine , Durham , NC , USA.
  • 6Department of Medical Education, University of Michigan , Ann Arbor , MI , USA.
  • 7Department of Neurology, McGill University , Montreal , Canada.
  • 8School of Medicine, Tufts University , Boston , MA , USA.
  • 9Division of General Internal Medicine, Tufts Medical Center , Boston , MA , USA.
  • 10Accreditation Council for Graduate Medical Education , Chicago , IL , USA.
  • 11Department of Medicine, Yale School of Medicine, Yale University , New Haven , CT , USA.
  • 12Feinberg School of Medicine, Northwestern University , Chicago , Illinois , USA.
  • 13Swansea University Medical School, Swansea University , Swansea , UK.
  • 14Department of Medicine, University of Texas Health Science Center , San Antonio , TX , USA.
  • 15Flinders University Prideaux Centre for Research in Health Professions Education , Adelaide , Australia.
  • 16Department of Educational Development and Research, Maastricht University , Maastricht , the Netherlands.
  • 17Medical Education Research Centre, Chang Gung University , Taoyuan City , Taiwan, China.
  • 18Uniformed Services, University of the Health Sciences , Bethesda , MD , USA.

Abstract

Introduction: Clinical reasoning is considered to be at the core of health practice. Here, we report on the diversity and inferred meanings of the terms used to refer to clinical reasoning and consider implications for teaching and assessment. Methods: In the context of a Best Evidence Medical Education (BEME) review of 625 papers drawn from 18 health professions, we identified 110 terms for clinical reasoning. We focus on iterative categorization of these terms across three phases of coding and considerations for how terminology influences educational practices. Results: Following iterative coding with 5 team members, consensus was possible for 74, majority coding was possible for 16, and full team disagreement existed for 20 terms. Categories of terms included: purpose/goal of reasoning, outcome of reasoning, reasoning performance, reasoning processes, reasoning skills, and context of reasoning. Discussion: Findings suggest that terms used in reference to clinical reasoning are non-synonymous, not uniformly understood, and the level of agreement differed across terms. If the language we use to describe, to teach, or to assess clinical reasoning is not similarly understood across clinical teachers, program directors, and learners, this could lead to confusion regarding what the educational or assessment targets are for "clinical reasoning."


핵심 임상실습 성적: 객관성의 환상(Acad Med, 2019)

Core Clerkship Grading: The Illusion of Objectivity

Karen E. Hauer, MD, PhD, and Catherine R. Lucey, MD




성적은 유치원부터 대학까지 보편적으로 받아들여지고 겉으로 보기에 객관적으로 보이는 성취의 척도다. 고학년 평균은 대학, 졸업생 또는 전문학교에 입학할 수 있는 학생의 능력에 종종 도움이 된다. 그러므로 의과 교육적인 측면에서 레지던트 프로그램이 그들이 그들의 프로그램에 들어가고 싶어하는 졸업 의대생을 선발하기 위해 핵심 임상실습 성적에 의존하도록 발달해온 것은 놀랄 일이 아니다.

Grades are a universally accepted and seemingly objective measure of accomplishment from kindergarten through college. High grade point averages are frequently instrumental to a student’s ability to earn entrance into college, graduate, or professional school. It is therefore not surprising that, in the medical education context, residency programs have developed a reliance on core clerkship grades to select the graduating medical students they would most like to enter their programs.


핵심 임상실습 성적을 사용하는 근거는 (미적분학 과정의 시험 점수의 평균과 마찬가지로) 성적이란 [어떤 학생이 과거에 성취한 것은 미래에 유사한 상황에서 유사한 성적을 낼 수 있는 가능성에 대한 척도]라는 것이다. 더욱이 한 학생을 다른 학생과 비교하여 순위를 매기기 위해 성적을 사용하는 것이 공정하고 공평하며 필요한 것이라는 가정이 있다.

The rationale behind the use of core clerkship grades is that they, like the average of test scores in a calculus course, are a measure of a student’s achievement and the likelihood of future similar performance by that student in similar circumstances. Moreover, there is an assumption that it is fair, equitable, and necessary to use grades to rank one student in comparison with another.


의대 2학년 때 핵심 임상실습을 시작하려는 전국적인 경향에도 불구하고, 핵심 임상실습 성적에 대한 이러한 의존은 오늘날에도 여전히 유효하다. 이 말은, 특정 전공분야에서 어떤 학생이 미래 성공할지 여부가 의대 교육이 절반도 지나지 않은 시점에 평가될 수 있다는 것을 의미한다.

This reliance on core clerkship grades remains true today, despite the national trend to begin core clerkships in year two of medical school, meaning that a student’s aptitude for future success in a given specialty may be judged before the halfway point in his or her medical school education.


핵심 임상실습에서 점수의 과녁을 놓치는 이유

How Core Clerkship Grades Miss the Mark


복잡성

Complexity


성적은 많은 교육적 맥락에서 유용하지만, 핵심 임상실습은 미적분학 수업이 아니다. 학생이 숙달할 것으로 예상되는 [역량의 복잡성]과 학생이 귀속되어 학습하게 될 [맥락의 가변성]은 쉽게 성적에 반영되지 않는다. 

Although grades are useful in many educational contexts, core clerkships are not calculus classes. The complexity of competencies a student is expected to master and the variability of contexts in which they are expected to learn do not translate readily to grades. 


그럼에도 불구하고, 학생과 교수들은 모두 성적으로 환산된 정량적 점수가 복잡한 임상 환경에서 학생들의 수행 정도를 정확하게 측정한다는 객관성의 환상에 굴복한다. 전국의 의과대학은 학생들의 웰빙를 장려하고 학습을 강화하기 위해 교육과정 초기에 합격/불합격 등급을 사용하는 경우가 많지만, 같은 학교에서는 학생을 차별화하기 위해 "명예" "고등 합격" "통과" 등과 같이 총괄적 성적을 부여한다.1

And yet, students and faculty alike succumb to the illusion of objectivity—that quantitative ratings converted to grades convey accurate measures of students’ performance in complex clinical environments. Although medical schools across the country commonly use pass/fail grading early in the curriculum to encourage student well-being and enhance learning, the same schools assign summative clerkship grades of “honors,” “high pass,” and “pass” to differentiate students.1


자료의 오류

Flawed data


게다가, 그 성적을 산출하기 위해 수집된 자료들이 자주 결함이 있다는 충분한 증거가 있다. 학생을 감독하는 교직원과 레지던트는 학생들이 환자에게 임상 기술을 수행하는 상황을 거의 관찰하지 않는다고 보고하면서도, 동시에 병력청취, 신체 검사, 환자 의사소통을 포함한 학생들의 능력을 일상적으로 평가한다.4 아마도 감독자들은 회진 중 구두 발표 기술 등 대리 정보로 이러한 기술을 평가하거나, 학생을 관찰한 다른 사람의 의견을 구할 것이다.

In addition , there is ample evidence that the data collected to support that grade are frequently flawed. Supervising faculty and residents routinely rate students’ skills including history taking, physical examination, and patient communication, although students report rarely being observed performing these clinical skills with patients.4 Presumably, supervisors rate these skills by inferring from proxy information, such as oral presentation skills during rounds, or seek input from others who have observed the student.


문제는 의학교육의 로테이션 모델로 인해서 더 심각해진다. 교수들이 자주 교대함에 따라서 이들에게 감독받는 학생들은 관찰 기반 피드백을 받을 기회가 적어지고, 받은 피드백에 응답respond 수 있는 능력을 보여주기가 점점 더 어려워지기 때문이다.3,6 교수들은 심지어 학생들을 관찰하고 있는 상황에서조차, 교수마다 관찰 결과를 등급으로 변환하는 방법이나, 성과 기대치를 이해하는 방법은 매우 다양하다. 평가자의 인식에 관한 문헌에 따르면, 교수들이 등급을 매기는rating 복잡한 과정을 지나치게 단순화해서는 안 된다. 왜냐하면 평가자들마다 개별적인 관점과 편견에 영향을 받기 때문이고, 학생들에게 주어진 학생-환자 조우의 특정한 측면에 의해서도 영향을 받기 때문이다.

The rotational model of medical training exacerbates the problem of assessment as students supervised by faculty who rotate frequently are increasingly challenged to find opportunities to receive observation-based feedback and to demonstrate their ability to respond to feedback.3,6 Even when faculty do observe students, the ways that they translate those observations to ratings and understand performance expectations are widely variable. Literature on rater cognition urges caution in oversimplifying the complex processes by which faculty make ratings, which are inherently informed by their individual perspectives and biases as well as the specific aspects of particular student–patient encounters.7


학생들의 성적에 대한 서술형 평가도 한계가 있다. 학습과 개선에 있어 성과에 대한 서술적 피드백은 필수적이지만, 학생들은 임상실습 동안 유용한 서술적 피드백을 거의 받지 못한다고 보고한다. 일반적으로 서술적 정보를 포함하고 있는 총괄 평가에서 [개선을 위한 영역]이 언급되어있으면, 마치 performance가 나빴던 것으로 간주된다. 서술형 코멘트는 슈버파이저들이 직무과정에서 학습한, 하지만 학생들은 모호하고 애매하다고 느끼는 "암호화된" 언어로 가득 차 있다.8

Narrative evaluations of student performance suffer shortcomings as well. Although narrative feedback on performance is essential for learning and improvement, students report rarely receiving useful narrative feedback during clerkships. In summative evaluations, which do typically contain narrative information, mention of areas for improvement are considered to signal bad performance. Narratives can be replete with “code” language that supervisors learn on the job but that students find obscure and ambiguous.8


불균등한 기회

Unequal opportunities


모든 학생들이 핵심 임상실습에 대한 중압감은 똑같이 느끼지 않는다. 시간에 쫓기고 상대평가로 등급이 매겨지는 환경에서, 초반부터 빠르게 적응하고 잘 수행하는 학생들은, 비록 모든 학생이 최종적으로 동일한 기대성과를 달성하더라도, 다른 학생들보다 더 좋은 점수를 받을 것이다. 이러한 현실은 본질적으로 의대 이전에 얻은 이점을 가져다 주는 학생들에게 유리하다. 의사 가족을 둔 학생들 또는 의료 또는 다른 전문적 경험을 가진 학생들은 이미 임상 환경의 언어와 규범 중 일부를 이해하고 있다. 현실에서 그들은 "빠른 학습자"가 아니라, 이미 적응할fit in 줄 아는 학습자들이다.

Grading pressures in core clerkships are not felt equally by all students. In a time-challenged, normatively graded environment, students who adapt quickly and perform well from the start may be rated more favorably than other students, even if they all eventually achieve expected competency. This reality inherently favors students who bring advantages acquired before medical school. Students who come from families of physicians or other health providers, and those who have medical or other professional experience, already understand some of the language and norms of the clinical environment. In reality, they are not “quick learners” but, rather, learners who already know how to fit in.


원래 자신이 가지고 있던 경험이나 문화적 배경이 임상 실습의 전문적인 환경과 다른 학생들은 자연스럽게 적응하는 데 더 많은 시간이 필요할 수 있다. 비록 더 많은 것을 배울 수 있는 이러한 학생들은 많은 노력을 기울이고 빠른 속도로 배울 수 있지만, 어떤 평가자들은 이 학생들을 다른 학생들보다 더 낮게 평가한다. 하지만 학생들마다 배우는 속도는 다르더라도, 같은 성과에 도달할 수 있다.

Students whose experience or cultural background differs from the professional environment of clinical practice may naturally need more time to acclimate. Although these students who have more to learn may apply great effort and learn at a rapid rate, their assessors frequently rate them as lower-performing than some of their peers. Students can learn at different rates and get to the same point


외향과 자신감을 더 강한 수행의 지표로 추천할 수 있는 환경에서, 선천적으로 조용하거나 사고 과정에 더 내향적인 학생들은 다른 기술과 상관없이 덜 능력 있는less competent 학생으로 간주될 수 있다.

In an environment where extroversion and confidence may be commended as indicators of a stronger performance, students who are naturally quiet or who are more introverted in their thought processes may be viewed as less competent, regardless of their other skills.


특히, 현재 핵심 임상실습은 평가와 채점 관행은 URM 학생들에게 불리하게 작용할 수 있는 방식이다. 표준화된 시험성적에서 모집단간 차이는 소수민족과 다수민족 사이에 존재하는 것으로 알려져 있으며, 오랜 기간 동안 지속된 구조적 인종차별에 기인한다. 임상 성과보다 표준화된 시험에 상당한 비중을 두는 등급 패러다임은 이러한 구조적 문제의 영향을 증폭시킬 수 있다.

Particularly concerning are the ways that current assessment and grading practices in core clerkships may disadvantage students who are underrepresented in medicine. Population group differences in standardized exam performance are known to exist between minority and majority populations and are attributed to long-standing structural racism. Grading paradigms that give substantial weight to standardized exams over clinical performance may amplify the impact of these structural issues.


초점의 이동

Shifting the Focus


의과대학의 일차적 책임은 학생을 서열화하는 것이 아니라 모든 졸업생이 다음 교육 단계로 이행하는 데 필요한 필수 역량을 갖추도록 하는 것이다.

The primary responsibility of medical school is not to rank students but to ensure that every graduate is prepared with the requisite competencies needed to transition into the next phase of education


학생들이 진로 선택권을 유지하기 위해 honor 등급을 받아야 한다고 느낄 때, 

  • 그들은 배움과 향상보다는 보여주기performing에 초점을 맞추고 있다. 

  • 그들은 마음을 여는 질문을 환영하기 보다는 두려워한다. 

  • 그들은 교정 피드백을 찾기 보다는 두려워한다. 

  • 그들은 또래와 협력하기 보다는 경쟁한다. 

  • 그들은 환자들로부터 배울 수 있는 기회에 활력을 느끼기보다는 스트레스를 받는다.

When students feel compelled to earn an honors grade to maintain their career options, 

  • they focus on performing rather than on learning and improving, 

  • they dread rather than welcome questions that stretch their minds, 

  • they fear rather than seek out corrective feedback, 

  • they compete rather than collaborate with peers, and 

  • they feel stressed rather than energized by the opportunity to learn from their patients


  • 임상실습이 표준화된(쉘프) 시험에 의존하여 성적 과제의 객관성을 높이려고 할 때, 학생들은 그들의 직접적인 환자 관리와 전문가 간 팀 능력을 최적화하는 것보다 [시험을 위한 공부]를 우선시한다. 

  • 시간에 쫓기는 교수들이 자신의 평가 역할을 우등생인지 아닌지를 판단하는 것으로 볼 때, 학생들은 미래의 성공을 위한 코칭보다는 [즉각적인 성과를 판단]하는 데 더 초점을 맞춘다.

  • When clerkships attempt to increase the objectivity of grade assignments by relying on standardized (shelf) exams, students prioritize studying for the test over optimizing their direct patient care and interprofessional team skills. 

  • When time-challenged faculty view their assessment role as determining whether or not the student is an honors candidate, they focus more on judging immediate performance rather than coaching for future success.


평가에 대한 새로운 접근

A new approach to assessment


의과대학은 측정의 우선순위를 정하고 학생 역량 개발을 지속적으로 진전시키는 평가 프로그램의 설계와 구현에 노력을 다시 집중해야 할 시점이다(표 1).

It is time for medical schools to refocus their efforts on designing and implementing programs of assessment that prioritize measuring and continuously advancing student competency development (Table 1).



학습을 위한 평가AfL는 학생의 발전, 성찰, 평생학습 능력을 촉진하는 관찰과 피드백을 수반한다. 학생들은 누군가가 보고 있을 때 좋은 성적을 내는 것 만이 아니라 [학습과 향상을 보여준 것에 대해 보상]을 받아야 한다.12

Assessment for learning entails frequent observation and feedback that promote students’ development, reflection, and lifelong learning skills. Students should be rewarded for demonstrating learning and improvement, rather than only for performing well when someone is watching.12


교육자는 핵심 임상실습의 시작부터 학생 및 학생의 다른 교육자와 협력하여 각 학생의 출발점에 대한 이해를 학습 및 평가 과정에 포함시켜야 한다. (한 임상실습 학생에 대한 수행 정보가 다음 임상실습으로 제공되는) 학생들이 "Feed Forward"를 교수들을 편향시키는 정보라고 두려워하기 보다는, 종단적 학습의 전략으로 포용하게 되어야 한다.

Educators must work with students and students’ other educators from the beginning of a core clerkship to incorporate understanding of each student’s starting point into the learning and assessment process. “Feed forward,” in which performance information about a student from one clerkship is provided to the next clerkship, should be embraced as a strategy for longitudinal learning rather than feared by students as information that biases their teachers.


학생들이 성장과 발전을 보여줄 수 있는 기회

Opportunities for students to demonstrate growth and development


지속적인 학습을 위한 평가의 마인드 습관 기르기

Fostering the habit of mind of assessment for continuous learning


학생들의 성적평가는 핵심 임상실습 성적 할당에 초점을 맞추기보다는 학습 진척도에 대한 전문가의 판단을 반영해야 한다. 예를 들어, 임상교육위원회는 정량적 점수 및 서술적 코멘트를 포함한 학생들의 평가 데이터를 한 과의 임상실습과 전체 임상슬습에 걸쳐 검토할 수 있다. 학생들은 자신의 performance 데이터를 검토하여 상대적 강도의 영역과 추가적인 성장을 위한 영역을 자체 평가할 수 있다. 이러한 접근방식은 학생들이 핵심 임상실습에서 [보여주기]보다는 [학습]에 집중할 수 있게 할 것이다. 그 결과 서브인턴을 포함한 4학년 임상실습에서 최고의 성과를 보여줄 준비가 될 것이다. 

Rather than focusing on assigning grades in the core clerkships, student performance review should incorporate expert judgment of learning progress. For example, a committee of clerkship educators can review assessment data for students, including both quantitative scores and narrative comments, within and across clerkships. Students could simultaneously review their own performance data to self-assess areas of relative strength and areas for further growth. This approach would enable students to focus on learning rather than performance during the core clerkships, so that they are ready to demonstrate their best performance during final-year clinical rotations, including subinternships. 


최종 학년에서 grading으로 돌아가는 것은 각 학생의 레지던트 수행 능력에 대한 가장 최근의 평가를 반영하기 때문에 논쟁이 있다.

There is an argument to be made for returning to grading during final-year rotations because those rotations reflect the most current assessment of each student’s ability to perform well in residency.


전공의 선발에 미치는 영향

The effect on residency selection


의대와 레지던트 프로그램 이사는 지식과 기술을 향상시키면서 뛰어난 환자 진료를 제공할 레지던트 프로그램에 학생을 매칭하는 것을 같은 목표로 삼고 있다. 전공의 선발을 위한 최선의 정보는 학생들의 가장 최근의 역량 업적을 기술하는 하위 인터네셔널의 성적, 내러티브 및 추천서의 조합에서 찾을 수 있다.

Medical schools and residency program directors share the same goal: to match students to the residency programs in which they will provide outstanding patient care while advancing their knowledge and skills. The best information to achieve this goal is found in the combination of grades, narratives, and letters of recommendation from subinternships that describe students’ most recent competency achievements.


학생들이 어떻게 그들의 학습에 접근하고, 팀원들과 함께 일하며, 그들의 기술을 향상시키기 위해 피드백을 통합하는 정직하고, 솔직한 묘사를 묘사하는 핵심 사무직 내러티브들은 레지던트 이사와 관련된 여러 기술에 대한 귀중한 정보를 제공할 것이다.

Core clerkship narratives that portray honest, forthright descriptions of how students 

    • approached their learning, 

    • worked with team members, and 

    • incorporated feedback to improve their skills would provide valuable information about multiple skills relevant to residency directors,


교육자들은 프로그램이 예비 후보들에 대한 전체적인 검토에 더 많은 시간을 할애할 수 있도록 레지던트 프로그램 자라에 대한 지원자의 수를 제한하는 국가 전략을 옹호해야 한다.

Educators should advocate for national strategies to decrease the high volume of applicants per residency program position so that programs can spend more time on a holistic review of potential candidates.


결론

Conclusion


임상실습 성적 부여는 학습자에게 그들의 궁극적인 독립적 관행에 대한 함축과 함께 의도하지 않은 여러 결과를 초래한다. 점수는 조기 학습자에게 스트레스와 혼란을 야기하며, 이는 학습에 대한 바람직한 접근법을 방해하고 불평등을 심화시키는 방식으로 학생들에게 불리하게 작용할 수 있다. 학습을 위한 평가에 초점을 맞춘 성적을 없애는 것은 필수 환자 관리 및 팀워크 기술을 개발하는 과정에 학습자를 참여시키고 평생 학습 습관의 개발을 촉진할 수 있는 가능성을 가지고 있다.

Clerkship grading causes multiple unintended consequences for learners with implications for their eventual independent practice. Grading generates stress and confusion for early learners, and that can interfere with desired approaches to learning and disadvantage students in ways that exacerbate inequities. Eliminating grades focused on assessment for learning holds promise to engage learners in the process of developing essential patient care and teamwork skills and to foster their development of lifelong learning habits.



10 Krupat E, Borges NJ, Brower RD, et al. The Educational Climate Inventory: Measuring students’ perceptions of the preclerkship and clerkship settings. Acad Med. 2017;92:1757– 1764.


12 Boud D. Feedback: Ensuring that it leads to enhanced learning. Clin Teach. 2015;12:3–7.








, 94 (4), 469-472
 

Core Clerkship Grading: The Illusion of Objectivity

Affiliations 

Affiliation

  • 1K.E. Hauer is associate dean for assessment and professor, Department of Medicine, University of California, San Francisco, San Francisco, California; ORCID: https://orcid.org/0000-0002-8812-4045. C.R. Lucey is vice dean for education and professor, Department of Medicine, University of California, San Francisco, San Francisco, California.

Abstract

Core clerkship grading creates multiple challenges that produce high stress for medical students, interfere with learning, and create inequitable learning environments. Students and faculty alike succumb to the illusion of objectivity-that quantitative ratings converted to grades convey accurate measures of the complexity of clinical performance.Clerkship grading is the first high-stakes assessment within medical school and occurs just as students are newly immersed full-time in an environment in which patient care supersedes their needs as learners. Students earning high marks situate themselves to earn entry into competitive residency programs and selective specialties. However, there is no commonly accepted standard for how to assign clerkship grades, and the process is vulnerable to imprecision and bias. Rewarding learners for the speed with which they adapt inherently favors students who bring advantages acquired before medical school and discounts the goal of all learners achieving competence.The authors propose that, rather than focusing on assigning core clerkship grades, assessment of student performance should incorporate expert judgment of learning progress. Competency-based medical education is predicated on the articulation of stepwise expectations for learners, with the support and time allocated for each learner to meet those expectations. Concurrently, students should ideally review their own performance data with coaches to self-assess areas of relative strength and areas for further growth. Eliminating grades in favor of competency-based assessment for learning holds promise to engage learners in developing essential patient care and teamwork skills and to foster their development of lifelong learning habits.


의학교육에서 공감의 발달 평가: 체계적 문헌고찰(Med Educ, 2016)

Assessing empathy development in medical education: a systematic review

Sandra H Sulzer,1 Noah W Feinstein2 & Claire L Wendland3



도입

INTRODUCTION


레쇼날레

Rationale


의사와 환자 관계의 공감은 의학 학자들에게는 익숙한 주제이며, 의학 교육자들에게는 중요한 목표다. 그러나 공감의 정의는 연구자마다 일관되지 않고 그 분야의 몇몇 기본적인 문제들에 대해 첨예한 의견 차이가 있다.

Empathy in doctor–patient relationships is a familiar topic for medical scholars and a crucial goal for medical educators. Yet definitions of empathy are not consistent from one piece of scholarship to another and there is sharp disagreement on some basic issues in the field.


휴머니스트, 윤리학자, 사회과학자들은 공감이 매우 중요(그리고 매우 자주 부족)하다는 데 동의한다.

Humanists, ethicists and social scientists agree that empathy is critical – and very often lacking – in medical care.


인기 있는 텔레비전 쇼인 House, MD는 의사가 병상 매너를 무시한 것을 공공연히 칭송하며, 대인관계 차원을 숙달하지 않고도 좋은 의사가 될 수 있다고 암묵적으로 전달한다. 이러한 행동은 드라마에만 국한되지 않는다: 임상 인턴과 레지던트의 잠재 커리큘럼에서 교육받으며, 새로운 의사들은 특정 그룹의 환자들을 조롱하는 것을 배운다.4

the popular television show House, MD openly celebrates a doctor’s disregard for bedside manner, implicitly communicating that one can be a good doctor without mastering the interpersonal dimensions of the job.3 Such behaviour is not confined to fiction: schooled in the hidden curriculum of clinical internships and residency, new doctors learn to mock certain groups of patients.4


의료 훈련생들 간의 공감의 발달이 의학 교육자들에게 중요한 목표였던 반면에, 그것은 연구원들에게 흥미로운 난제였다: 상당한 (어느 정도 논란이 되긴 했지만) 여러 연구에 따르면 의학교육기간 중에 공감이 전형적으로 감소한다는 것을 증명했다.5

Whereas the development of empathy among medical trainees has been an important goal for medical educators, it has been an intriguing conundrum for researchers: a substantial (if somewhat controversial) body of research has demonstrated that empathy typically decreases during medical training.5


그러나 수많은 개입 전략에도 불구하고 '의학 교육은 여전히 학생들이 환자의 입장에서 보도록 만드는 데 놀라울 정도로 비효율적인 것 같다.' 이러한 지속적인 어려움 때문에 일부 연구자들은 이 문제가 치료보다는 선발에 있다고 주장했고, 의과대학은 우선 좀더 공감력이 있거나 의사소통 능력이 뛰어난 학생들을 식별하고 모집할 수 있는 방법을 찾아야 한다고 제안했다. 그러한 제안의 기초가 되는 가정은 공감은 개인적이고 비교적 변하지 않는 특성이라고 보기 때문이다. 즉, 공감은 있든지 없든지 둘 중 하나이다.

Yet despite a host of intervention strategies, ‘medical education still seems surprisingly ineffective in helping students walk a mile in their patients’ shoes’.6 This persistent difficulty has led some researchers to suggest that the problem lies in selection, rather than treatment, and that medical schools must find ways to identify and recruit students who are more empathic or have better communication skills to begin with. The assumption underlying such proposals seems to be that empathy is a personal and relatively immutable characteristic: one either has it, or one does not.


다른 연구자들은 이러한 공감의 감소가 실제로 존재하는지 의문을 제기하며, 연구 설계와 측정의 문제점을 지적한다.7 의대생과 레지던트 사이의 공감의 변화에 대한 두 가지 최근 검토는 서로 다른 결론에 도달했다. 체계적인 검토에서, Neumann 등 8은 학생들이 환자와 더 많이 engage함에 따라 의학적 훈련 동안 감정이입이 감소한다는 것을 발견했다. 콜리버 외 연구진은 (대부분의 동일한 연구에 대한) 메타 분석을 실시했으며, 의료 훈련 중 공감이 감소하는 것은 미미하며, 어쩌면 존재하지 않을 수도 있다고 결론지었다. 이 두 번째 그룹은 또한 '공감'을 연구하기 위해 사용되는 도구들이 임상 실습이나 환자 만족에 의미 있는 어떤 것도 측정하지 않을 수도 있다고 주장했다. (예를 들어, 대부분의 과거 연구는 학생들의 자기 평가를 이용했는데, 이것은 공감을 측정하는 비효과적인 방법이 될 수 있다.)

Other researchers question whether this much lamented decline in empathy is actually real, pointing to problems in study design and instrumentation.7 Two recent reviews of changes in empathy among medical students and residents reached disparate conclusions. In a systematic review, Neumann et al.8 found that empathy declines during medical training as students engage more with patients. Colliver et al.7 conducted a meta-analysis drawing on much of the same research and concluded that declines in empathy during medical training are minimal, perhaps even non-existent. This second group7 also argued that the instruments used to study ‘empathy’ may not be measuring anything meaningful to clinical practice or to patient satisfaction. (For example, most past research has utilised student self-assessment, which may be an ineffective way to measure empathy.)


목표

Objectives


의료 교육에서 공감에 대한 보다 우수하고 유용한 연구를 육성하기 위해 의료 교육 연구에서 공감이 어떻게 정의되고 운영되는지 알아보기 위해 체계적인 검토를 설계했다.

To foster better and more useful research on empathy in medical training, we designed a systematic review in order to learn how empathy is defined and operationalised in medical education research:


대부분의 체계적인 검토와 메타 분석은 경험적 연구의 방법과 결과에 초점을 두는 반면에, 우리는 방법론적 결정보다, 그 앞에 있는 개념적이고 정의적인 문제들이 현장의 상태를 이해하는 데 열쇠가 되며, 공감에 대한 불완전하고 제대로 표현되지 않은 이해가 양쪽의 불협화음의 근저에 있다고 믿는다. 또한 이것이 교육 개입의 제한적 성공의 원인일 것이다.

Whereas most systematic reviews and meta-analyses focus on the methods and results of empirical research, we believe that conceptual and definitional issues that precede methodological decisions are key to understanding the state of the field, and that an incomplete, poorly articulated understanding of empathy is at the root of both the discordant results and the limited success of educational interventions.



방법

METHODS


정보 출처 및 검색

Information sources and search


2012년 11월 1일 이전에 발표된 관련 영어 연구에 대해 다음 데이터베이스를 체계적으로 쿼리했다.

We systematically queried the following databases for relevant English-language studies published before 1 November 2012:



자격 기준

Eligibility criteria


이러한 체계적인 검토를 위해, 우리는 

(i) 의사, 의대생 또는 레지던트를 조사한 것, 

(ii) 실증적 연구에 공감을 조작operationalize한 것

(iii) 일부 정량적 요소를 포함한 영어 간행물을 포함했다.

For this systematic review, we included English language publications that: (i) examined physicians, medical students or residents, (ii) operationalised empathy in an empirical study, and (iii) included some quantitative component.


스터디 선택: 제목 및 추상 검토

Study selection: title and abstract review


데이터 수집 프로세스 및 데이터 항목

Data collection process and data items


데이터 분석 및 요약 측정

Data analysis and summary measures



결과

RESULTS


공감의 정의

Definition of empathy


어떤 저자들은 공감의 정의에 대한 합의가 거의 없다는 점에 주목했다.101 존재하는 정의는 인지, 감정 또는 행동 요소 또는 그 조합을 강조할 수 있다. 우리의 검토에 포함된 109개 기사 중 22개 기사(20%)는 공감의 정의를 전혀 제시하지 않았다. 정의를 제공한 87개 기사에 대해, 우리는 그 정의에 사고, 느낌 또는 행동과 관련된 요소가 포함되어 있는지 여부를 코드화했다. 정의는 한 가지, 두 가지 또는 세 가지 요소를 모두 통합할 수 있으며, 우리는 'acting'이라는 루브릭 아래에 구두 의사소통을 포함시켰다. 생각, 느낌 및 행동을 식별하는 데 사용되는 단어 목록은 부록 S3에서 확인할 수 있다.

Other authors have noted that there is little consensus on definitions of empathy.101 Those definitions that exist may emphasise cognitive, emotional or behavioural elements, or some combination thereof. Twenty-two of the 109 articles (20%) included in our review offered no definition of empathy at all. For the 87 articles that did provide definitions, we coded whether those definitions included elements related to thinking, feeling or acting. A definition could incorporate one, two or all three elements, and we included verbal communications under the rubric of ‘acting’. A list of words used to identify thinking, feeling and action can be found in Appendix S3.


전반적으로 정의의 대부분은 둘 이상의 도메인의 구성요소를 포함했다(그림 2).

Overall, the majority of definitions included components from more than one domain (Fig. 2).



공감의 작동

Operationalisation of empathy


우리의 표본에 포함된 모든 연구(n = 109)는 모든 연구가 어떤 식으로든 그것을 측정, 평가 또는 평가하고자 한다는 의미에서 공감을 운영했다. 총 95개(87%)의 연구가 공감을 평가하기 위해 어떤 종류의 scarlar 도구를 사용했으며 43개(39%)가 non-scalar도구를 사용했다(예: 환자에게 의사의 공감을 설명하도록 요청). Twentynine 연구(27%)가 이 두 가지를 모두 사용했다. 

    • 가장 흔한 스칼라 도구는 JSPE(Jefferson Scale of Physician Empathy)이다. 45개(41%)의 연구는 JSPE 또는 JSPE-Student Version을 사용했다. 

    • 19명(17%)은 대인관계 반응지수(IRI)를 사용했다. 

    • 5명(5%)은 호건 공감 척도를 사용했다. 

    • BEES(Balanced Emotional Empathy Scale), Barrett–Lennard Scale, Accurrent Empathy Scale, Consultation and Relational Empathy Measure(CARE)를 각각 4번(각 4%) 사용되었다. 

    • 12개 이상의 다른 척도들은 더 드물게 사용되었으며, 일반적으로 한 번의 연구에서 사용되었다.

All of the studies included in our sample (n = 109) operationalised empathy in the sense that every study sought to measure, assess or evaluate it in some way. A total of 95 (87%) studies used some sort of scalar tool to evaluate empathy and 43 (39%) used a non-scalar tool (such as in asking patients to describe physicians’ empathy). Twentynine studies (27%) used both. The most common scalar instrument was the Jefferson Scale of Physician Empathy (JSPE). Forty-five (41%) studies used either the JSPE or the JSPE-Student Version. Nineteen (17%) used the Interpersonal Reactivity Index (IRI). Five (5%) used the Hogan Empathy Scale. The Balanced Emotional Empathy Scale (BEES), the Barrett–Lennard Scale, the Accurate Empathy Scale and the Consultation and Relational Empathy Measure (CARE) were each used four times (4% for each). More than a dozen other scales were used more rarely, typically in a single study.



공감 할당

Assignment of empathy


우리는 각 연구의 맥락에서 공감의 유무를 누가 결정했는지를 평가하였다. 가장 일반적으로 사용되는 연구: 

    • 109건 중 66건은 자기보고 도구만을 사용했으며, 

    • 13건은 다른 평가 자료와 결합하여 자기보고서를 사용하였다. 

종합적으로, 

    • 79개(72%)은 자기보고서를, 

    • 18개(17%)는 환자 또는 표준화된 환자보고서에 의존했으며, 

    • 28개(26%)은 교수진, 훈련된 관찰자 또는 동료의 보고서와 같은 제3자 보고서를 사용했다. 

    • 14개의 연구(13%)는 복수의 관점에서 보고서를 사용했으며, 일반적으로 자기 보고서를 관찰자의 보고서와 결합했다.

We evaluated who determined the presence or absence of empathy in the context of each study. Studies most commonly used self-report: 66 of 109 (61%) used only self-reporting tools, and an additional 13 articles used self-report in combination with another source of evaluation. In total, 79 (72%) used self-report, 18 (17%) relied on patient or standardised patient reports, and 28 (26%) used a third-party report such as that of a faculty member, a trained observer or a peer. Fourteen studies (13%) used reports from multiple perspectives, typically combining a self-report with that of an observer.


구성으로서의 공감

Empathy as a construct


마지막으로, 우리는 공감이 

(i) 존재, 부재 또는 정도에서 측정되어야 하는 글로벌 구조인지 또는 

(ii) 다중 요소 부분의 합계로 개념화되었는지에 대한 데이터를 추출했다. 

위의 예26과 같이 운용화(n = 102)의 세부사항을 평가할 수 있는 논문 중 

    • 80(78%)은 글로벌 구조로서의 운용 공감, 

    • 45(44%)는 복합 구조로서의 운용화 공감을 평가하였다. 

    • 15개 출판물(15%)이 둘 다로 공감을 조작화했다

Finally, we extracted data on whether empathy was conceptualised as: (i) a global construct to be measured in presence, absence or degree, or (ii) a summation of multiple component parts. Among the papers for which we could assess details of operationalisation (n = 102), 80 (78%) operationalised empathy as a global construct and 45 (44%) operationalised empathy as a composite construct, as in the example26 above. Fifteen publications (15%) operationalised empathy in both ways.


정의와 운영화 간의 일관성

Consistency between definition and operationalisation


구체적으로, 우리는 공감에 대한 정의의 코딩을 공감을 위한 코딩과 비교했다. 예를 들어, JSPE의 개발자인 Hojat와 LaNouuui가 제공하는 공감의 정의를 사용한 연구: 

'환자의 경험, 우려, 관점에 대한 이해(감정과는 반대로)를 수반하는 인지적 속성(감정적 또는 정서적과는 반대로)으로, 이 이해를 의사소통하는 능력과 결합된 것'116 

Specifically, we compared our coding of the definitions of empathy with our coding for operationalisations of empathy. For example, several studies used the definition of empathy provided by Hojat and LaNoue, developers of the JSPE: 

‘a predominantly cognitive (as opposed to affective or emotional) attribute that involves an understanding (as opposed to feeling) of patients’ experiences, concerns, and perspectives combined with a capacity to communicate this understanding.’116 


우리는 이 정의를 사고와 행동 요소를 포함하되, 느낌feeling은 포함하지 않는 것으로 코드화했다. JSPE 척도의 항목들을 검사한 결과, 행동에 대한 항목이 없기 때문에 사고방식에 광범위하게 초점을 맞춘 것으로 나타났다. 이 정의를 사용하고 JSPE만으로 조작화한 연구는 비매칭으로 간주된다.

We coded this definition as including thinking and acting components, but not feeling. An examination of the items in the JSPE scale shows an extensive focus on thinking; there are no items on action. A study that used this definition and operationalised it with the JSPE alone would be considered non-matching.


102개 연구 중 13%만이 이러한 차원에 걸쳐 운영과 정의가 일치했다.

In only 13 (13%) of 102 studies did operationalisations and definitions match across these dimensions.


고찰

DISCUSSION


근거 요약

Summary of evidence


의학 교육의 공감에 대한 경험적 연구는 점점 더 흔해지고 있지만, commentaries가 여전히 수적으로 우세하다. 게다가, 우리의 분석은 이러한 연구의 많은 부분이 공감의 개념화와 운영화 둘 다에서 내부 모순과 모호함으로 특징지어지는 것을 보여준다.

Empirical studies on empathy in medical education, although increasingly common, are still outnumbered by commentaries. Furthermore, our analysis reveals that many of these studies are characterised by internal inconsistencies and vagueness in both the conceptualisation and operationalisation of empathy,


우리의 표본에 있는 연구들의 5분의 1은 공감의 중심 구조를 정의하는 데 실패했고 대신에 공감의 상식적인 개념에 의존하거나 사실상의 공감의 정의로서 scale이나 다른 도구를 사용했다.

One-fifth of the studies in our sample failed to define the central construct of empathy and instead either relied on commonsense notions of empathy or used a scale or other instrument as a de facto definition of empathy.


측정 도구를 암묵적으로 정의하여 사용하는 것은 다른 학자들이 특정 도구가 적절한지 그리고 그 결과 발생하는 주장이 유효한지 판단할 수 있는 구성 정의이기 때문에 문제가 있다.

Using a measurement tool as an implicit definition is problematic because it is the construct definition that enables other scholars to judge whether a particular instrument is appropriate and the resulting claims are valid.


공감을 정의한 모든 연구(n = 87)는 이들 중 어느 것이 핵심 요소인가에 대한 합의가 없었음에도 불구하고 사고, 느낌, 행동의 세 가지 영역 중 적어도 하나를 통합하였다

    • 12개 연구(14%)가 3차원을 모두 통합했다. 예를 들어, Shanafelt 외 연구진.96은 공감을 '환자의 말을 듣고, 그들의 관점을 이해하고, 그들의 경험을 느끼sympathize고, 이해와 존경과 지지를 표현하는 능력'으로 정의했다. 

    • 또 다른 51개(59%)는 가장 일반적인 사고와 행동이라는 두 가지 차원을 포함했다(34개 연구[39%]). 따라서, 2004년 논문에서 Hojat 등은 공감을 다음과 같이 정의했다: '이 이해를 환자에게 전달할 수 있는 능력과 결합된, 별도의 개인으로서 환자의 내적 경험과 관점에 대한 이해를 수반하는 인지적 속성'. 

    • 공감을 정의한 연구의 4분의 1만이 감정 차원을 포함했다. 그러나 일부 연구는 'empathy'의 어원적 기원(처음에는 그리스어로 '감정' 또는 '감정'을 의미)에도 불구하고 그것을 꽤 구체적으로 배제했다. 

All of the studies that defined empathy (n = 87) incorporated at least one of the three domains of thinking, feeling and acting, although there was no consensus about which of these were the key components. 

    • Twelve studies (14%) integrated all three dimensions. For example, Shanafelt et al.96 defined empathy as ‘the ability to listen to a patient, understand their perspective, sympathise with their experience, and express understanding, respect, and support’. 

    • Another 51 (59%) included two dimensions, most commonly thinking and acting (34 studies [39%]). Thus, in a 2004 paper Hojat et al.59 defined empathy as: ‘a cognitive attribute that involves an understanding of the inner experiences and perspectives of the patient as a separate individual, combined with a capability to communicate this understanding to the patient.’ 

    • Only a quarter of the studies that defined empathy included its feeling dimension – and some quite specifically excluded it – despite the etymological origins of ‘empathy’ in the German and, initially, Greek terms for, literally, ‘feeling in’ or ‘feeling with’.


놀라울 정도로 많은 연구가 수반되는 척도나 연구 기구와는 다른 차원(즉, 사고, 느낌, 행동)에 초점을 맞춘 정의를 사용함으로써 내부 모순을 포함하고 있었다.

A surprising majority of studies contained internal contradictions, with definitions that focused on dimensions (i.e. thinking, feeling and acting) that differed from those of the accompanying scales or research instruments.


11개 연구(14%)만이 공감의 정의와 조작화 측면에서 일관성있었다.

only 11 studies (14%) defined and operationalised empathy consistently.


검토에 포함된 모든 연구를 전반적으로 살펴보면, 우리의 분석은 공감을 연구하는 데 사용되는 방법들이 임상 환경에서 공감의 유무를 예측하는 데 한계가 있다는 것을 보여준다. 공감을 측정하기 위한 가장 일반적인 도구는 자기 보고서에 의존하는데, 콜리버 등이 우리에게 상기시켜주듯이, 자기보고식 공감은 행동과 아주 약하게만 연관되어 있을 뿐이다. 게다가, 많은 도구들은 인식, 즉 공감과 관련된 생각들에 큰 중점을 둔다. 의료사고와 임상판단에서 최고의 연구들은 언제나 인식과 행동을 결합시켜왔으며, 이는 인식만으로는 예측가치가 제한되기 때문이다.

Looking across all studies included in the review, our analysis reveals that the methods used to study empathy have limited power to predict the presence or absence of empathy in clinical settings. The most common instruments for measuring empathy rely on self-report, which, as Colliver et al.7 remind us, is only loosely correlated with behaviour. Furthermore, many instruments place a heavy emphasis on cognition, or thoughts related to empathy. The best research on medical thought and clinical judgement has always paired cognition with its action consequences because the predictive value of cognition alone is limited.117


결론

CONCLUSIONS


이 검토에서 지적된 다양한 개념적 결함들 즉 정의의 결여, 정의와 운영의 불일치, 인지 및 자기 보고에 대한 지나친 의존은 의학 교육에서 공감에 대한 연구의 타당성에 상당한 도전을 제기한다. 그러나 우리의 가장 큰 관심사는 경험적 연구가 공감을 '블랙박스'로 취급하는 정도로서, 따라서 임상적 공감을 뒷받침하는 메커니즘을 조명할 수 없다.

The various conceptual flaws noted in this review – lack of definition, mismatch between definition and operationalisation, an over-reliance on cognition and self-report – raise significant challenges to the validity of research on empathy in medical education. Our greatest concern, however, is the degree to which empirical studies treat empathy itself as a ‘black box’ and are thus incapable of shedding light on the mechanisms that underlie clinician empathy.


기초 과학 연구(진화 심리학 및 영장류 연구 포함)는 의료 사회 과학이 공감의 근본적인 메커니즘을 조사함에 따라 따를 수 있는 몇 가지 단서를 제공한다.15 적절한 훈련을 통해 통째로wholesale 바뀔 수 있는 개인의 질quality라기보다는, 이 연구는 공감이, 주체와 객체 사이의 engagement를 표상하는, 관계적인 것임을 시사하고 있다. 게다가, 이 연구는 공감은 스스로 자신과 비슷하다고 생각하는 사람들에게 더 호의적임을 보여준다

Basic scientific research (including evolutionary psychology and primate studies) offers some leads that medical social science might follow in investigating the underlying mechanisms of empathy.15 Rather than a personal quality that may be modified wholesale through appropriate training, this research suggests that empathy is relational, that it represents an engagement between a subject and an object. Furthermore, this research suggests that empathy favours individuals who we perceive as similar to ourselves.9


따라서 임상적 공감에 관한 연구에서는 인종, 계급, 성별, 문화적 역량과 같은 문제를 소홀히 할 수 없다. 자기자신을 다른 사람으로부터 보호shieling하는 것은(이는 의료 교육의 널리 알려진 결과이다) 실제로 공감을 감소시킬 수 있다.16

Therefore, in research on clinical empathy, issues such as race, class, gender and cultural competency cannot be neglected. Shielding oneself from identifying with another – a widely noted consequence of medical education – may actually reduce empathy.16






Review
 
, 50 (3), 300-10
 

Assessing Empathy Development in Medical Education: A Systematic Review

Affiliations 

Affiliations

  • 1Department of Family Medicine, University of Wisconsin-Madison, Madison, Wisconsin, USA.
  • 2Departments of Curriculum and Instruction and Community & Environmental Sociology, University of Wisconsin-Madison, Madison, Wisconsin, USA.
  • 3Departments of Anthropology, Obstetrics & Gynecology, and Medical History & Bioethics, University of Wisconsin-Madison, Madison, Wisconsin, USA.

Abstract

Context: Empathy in doctor-patient relationships is a familiar topic for medical scholars and a crucial goal for medical educators. Nonetheless, there are persistent disagreements in the research literature concerning how best to evaluate empathy among physicians, and whether empathy declines or increases across medical education. Some researchers have argued that the instruments used to study 'empathy' may not measure anything meaningful to clinical practice or patient satisfaction.

Methods: We performed a systematic review to learn how empathy is conceptualised in medical education research. We examined how researchers define the central construct of empathy and what they choose to measure, and investigated how well definitions and operationalisations match.

Results: Among the 109 studies that met our search criteria, 20% failed to define the central construct of empathy at all and only 13% used an operationalisation that was well matched to the definition provided. The majority of studies were characterised by internal inconsistencies and vagueness in both the conceptualisation and operationalisation of empathy, constraining the validity and usefulness of the research. The methods most commonly used to measure empathy relied heavily on self-report and cognition divorced from action, and may therefore have limited power to predict the presence or absence of empathy in clinical settings. Finally, the large majority of studies treated empathy itself as a 'black box', using global construct measurements that are unable to shed light on the underlying processes that produce an empathic response.

Conclusions: We suggest that future research should follow the lead of basic scientific research that conceptualises empathy as relational - an engagement between a subject and an object - rather than as a personal quality that may be modified wholesale through appropriate training.

프로페셔널리즘 실수와 위계: 의과대학생의 저항의 네러티브(Soc Sci Med, 2018)

Professionalism lapses and hierarchies: A qualitative analysis of medical students' narrated acts of resistance

Malissa Kay Shawa, Charlotte E. Reesb, Nina Bjerre Andersenc, Lori Faye Blackd, Lynn V. Monrouxea,∗

a Chang Gung Medical Education Research Centre, Chang Gung Memorial Hospital, Linkou, No.5, Fuxing St., Guishan Dist., Taoyuan City, 333, Taiwan b Monash Centre for Scholarship in Health Education, Monash University, Australia c Department of Oncology, Aarhus University Hospital, Denmark d Cardiff University & Vale NHS Trust, UK




1. 도입

1. Introduction


저항은 사회적 통제와 구조의 강요에서 기관과 저항의 문제로 관심이 이동함에 따라 사회과학에서 흥미로운 주제가 되었다. 대체로, 저항은 "통제 행위에 대한 반응으로 권력을 행사하는 것"(Langhout, 2005, p. 125)으로 특징지어진다. 이와 같이, 그것은 사회 구조의 교착에 대한 반동으로 구성된다. 학생들이 의사가 되는 법을 배우면서 전통적인 의료 및 전문직간 계층 구조는 의료현장에서 지속되고 있다; 그들의 권한 부여와 저항 능력에 잠재적인 장벽으로 작용하는 힘의 불균형을 만들어낸다. 푸코(1978년, 페이지 95–96년)가 우리에게 "권력power이 있는 곳에는 저항이 있다"고 알려 주듯이 말이다. 본 기사에서는, 의대생들이 선배들의 전문성 결여, 비윤리적 또는 비도덕적인 행동방식으로 행동하거나, 자신에게 그러한 행동을 요구했을 때, 여기에 직면하여 저항하는 다양한 방법(Monrowse and Rees, 2017)을 탐구한다.

Resistance has become an intriguing topic in the social sciences as attention has moved away fromforces of social control and structure to issues of agency and resistance. Broadly speaking, resistance is characterized as “an exercise of power in reaction to an act of control” (Langhout, 2005, p. 125). As such, it comprises a reaction against confining social structures. Traditional medical and interprofessional hierarchies persist in the healthcare workplace as students learn to become doctors; creating a power imbalance that acts as a potential barrier to their empowerment and ability to resist. As Foucault (1978, p. 95–96) informs us, “where there is power, there is resistance.” In this article, we explore the various ways medical students resist in the face of their seniors' professionalism lapses – unprofessional, unethical, or immoral ways of acting – or when asked by seniors to commit lapses themselves (Monrouxe and Rees, 2017).


1.1. 일상적 저항의 형태에 대한 스콜라적 설명

1.1. Scholarly accounts of everyday forms of resistance


홀랜더와 아인워너(2008)는 저항의 두 가지 일반적인 특성을 식별한다. 

    • 행동적, 언어적, 인지적 또는 물리적 작용에 따라 달라지는 행동 감각 

    • 일반적으로 보다 강력한 개인이나 제도를 지향하는 저항 감각 

그들은 또한 문헌에서 두 가지 더 논쟁적인 요소, 즉 저항의 행위가 의도적이어야 하는지의 여부, 저항의 대상이 저항을 의도적인 것으로 인식해야 하는지의 여부를 확인하게 된다.

Hollander and Einwohner (2008) identify two common characteristics of resistance: 

    • a sense of action that varies between behavioral, verbal, cognitive, or physical action; and 

    • a sense of opposition that is generally made towards a more powerful individual or institution. 

They further identify two more contested factors in the literature: whether acts of resistance have to be intentional, and if resistance must be recognized as such by the target of the resistance.


스콧(1985, 페이지 290)은 "저항의 작용이 의도한 결과를 달성하지 못할 수 있기 때문에 의도성이 결과보다 저항의 더 나은 지표"라고 주장하지만 저항의 의도는 여전히 존재하고 있었다. 단, 외부인(연구자 등)이 의향을 관찰하기는 어렵다. 의도는 항상 행동을 통해 표시되거나 완전히 연결되지 않지만 상징적이거나 반사적일 수 있다(Langhout, 2005, 페이지 126). 그러므로 방법론적으로 말해서 의도를 평가하기 위해서는 본질적으로 자신의 행동 뒤에 숨은 의도를 더욱 형성할 수 있는 과정인 저항자resister와 대화해야 한다. 마찬가지로 저항의 의도된 대상이 저항행위를 인식하는지 여부도 외부인은 눈치채지 못할 수 있지만, 보다 중요한 것은 저항행위가 대상의 주의를 끌지 못하게 하려는 의도일 수 있다. 선거권을 박탈당한 개인이나 집단이 저항을 제정할 때, 그들은 대립이나 결과를 피하기 위해 신중한 저항 행위를 하는 것을 선호할 수 있다(Hollander and Einwhner, 2008; Scott, 1985, 1990). [외부인에 의해 알려졌든 알려지지 않았든, 심지어 저항의 대상이 알든 모르든 간에] 자신의 의도는 인식보다 더 중요하다.

Scott (1985, p. 290) claims that intentionality is a better indicator of resistance than outcomes, because “acts of resistance may fail to achieve their intended result,” but the intention to resist was still present. However, it is difficult for outsiders (e.g. researchers) to observe intention. Intent is not always displayed through action or fully articulated, but may be symbolic or reflexive (Langhout, 2005, p. 126). Therefore, methodologically speaking, assessing intent requires conversing with the resister, a process that, intrinsically, may further construct the intentions behind one's acts. Similarly, the recognition of an act of resistance by the intended target of the resistance may also go unnoticed by an outsider, but more importantly the resister may intend that the act not draw the attention of the target. When disenfranchised individuals or groups enact resistance they may prefer to perform discreet acts of resistance to avoid confrontation or consequence (Hollander and Einwohner, 2008; Scott, 1985, 1990). One's intention, whether known or unknown by an outsider or even the target of the resistance, therefore, is more important than recognition.


저항에 대한 우리의 이해의 복잡성은 저항이라고 분석할 수 있는 다양한 행동이나 비행동 때문에 더 복잡해진다

The complexity of our understanding of resistance has been compounded due to the various acts or inactions that have been analyzed as resistance.


이와 같이 사회과학자들로부터 일상, 개인, 그리고 미묘하거나 전술적인 형태의 저항(예: 아부 루고드, 1990; 에윅과 실베, 2003; 굿맨, 1978; 스콧, 1985)을 탐구하라는 요구가 있었다. 사회구조에 도전하고 변혁하는 것을 목표로 하는 저항의 집단시위와 달리, 일상적이고 미묘한 저항은 "권력관계을 변화시키거나 안정시키는 것이 아니라, 권력관계에서 탈출하기 위한 것일 수 있다"(Ewick and Silbey, 2003, 페이지 1337) 저항의 하위 행위들은 육체적인 것이 아니라 언어적인 것일 수 있고, 직접적direct이기보다는 신중discreet할 수 있다.

As such, there has been a call from social scientists to explore everyday, individual, and subtle or tactical forms of resistance (e.g. Abu-Lughod, 1990; Ewick and Silbey, 2003; Goodman, 1978; Scott, 1985). Unlike overt, collective demonstrations of resistance that often aim to challenge and transform social structures, everyday and subtle resistance may be “practiced to escape, rather than to change or stabilize, a relationship of power” (Ewick and Silbey, 2003, p. 1337). Subtle acts of resistance may not be physical, but rather verbal, and discreet instead of direct.


[한정된 자원과 권력을 가진 사람은 일반적으로 그러한 [미묘한 행위]를 이용하는데, 이 때 이용할 수 있는 자원과 기회를 예기치 못한 독특한 방법으로 수용accommodate하여 부정적 파급효과를 회피한다.

Those who have limited resources and power commonly utilize such subtle acts by accommodating the resources and opportunities available to them in unexpected and unique ways to avoid repercussions.


마덕(2013년, 페이지 116–117)은 agency의 초점을 개인의 행동에서 "윤리적 성찰"과 "그들의 다양한 담론적 전략"으로 바꿀 것을 제안했다. 성찰을 통해 저항하는 것은 자신의 상황, 자신이 내린 결정 또는 타인이 내린 결정, 그러한 결정을 내린 이유, 그리고 어떤 대체 결정이 내려질 수 있었는지를 포함한다.

Madhok (2013, p. 116–117) proposed shifting the focus of agency from individuals' actions, or lack thereof, to their “ethical reflection” and “their various discursive strategies.” Resisting through reflection includes reflecting on one's situation, the decisions one makes or those made by others, the reasons for making such decisions, and what alternative decisions could have been made.


일상적인 형태의 저항이 나타날 수 있는 방법의 다양성을 고려하여, 우리는 Ewick과 Silbey(2003, 페이지 1336131337)가 제안한 네 가지 특성 중 세 가지를 우리 연구에서 의대생들이 서술한 대로 저항을 분류하는 틀로 활용한다. 

(1) 권력 관계에서 덜 강력한 지위를 갖고 있음을 의식하는 것 

(2) 저항할 기회를 의식하는 것. 

(3) 알아주지는 않을 수 있더라도, "정의와 공정성"을 의도한 주장을 하는 것

Considering the diversity of ways in which everyday forms of resistance can manifest, we utilize three of the four characteristics proposed by Ewick and Silbey (2003, p. 1336–1337) as a framework for classifying resistance as narrated by medical students in our study: 

(1) being conscious of holding a less powerful position in a relationship of power; 

(2) being conscious of an opportunity to resist; and 

(3) making claims that may go unannounced but are intended “about justice and fairness.”


1.2. 의료 교육의 힘, 계급, 전문성 상실

1.2. Power, hierarchy, and professionalism lapses in medical education


의료 문화는 위계적이다. 의사들의 높은 교육 수준과 지역사회에 대한 봉사를 고려할 때, 그들은 위신과 권위를 부여받았고, 전형적으로 그들을 기관 사다리 중 가장 높은 지위에 올려놓았다. 의사의 과대포지션은 품위침해, 학대, 과실치사(Turner, 1987년)의 경우에도 부하직위(환자, 의대생)가 자신의 행동에 의문을 제기하는 것을 막는 요인으로 해석되어 왔다. 이러한 내재된 권력의 비대칭성과 그러한 의료 권력 관계에 대한 연구는 전통적으로 의사-환자 관계에 초점을 맞추고 있다(예: 푸코, 1973; 프리드슨, 1970; 루프톤, 1997; 파슨스, 1951; 리스 외, 2007). 최근에 이 문학 기구는 환자의 권한 부여, 자율성 및 지식에 초점을 맞추어 의료 시스템 내에서 다양한 형태의 환자 저항성을 고려하도록 진화했다(예: Elsey et al., 2017; Preferi, 2003; Shilling, 2002). 연구는 workplace 학습활동 중 (다양한 계급의)기성 의사와 의대생들 사이의 권력 관계를 분석하기 시작했다(Monrouxe et al., 2009; Rees et al., 2007; 2013a; Rees and Monrouxe, 2010a).

Healthcare cultures are hierarchical. Given doctors' high levels of education and service to the community, they have been afforded prestige and authority, typically placing them on the highest rung of the institutional ladder. The doctor's superordinate position has been interpreted as a factor that prevents those in subordinate positions (e.g. patients, medical students) from questioning their behavior, even in cases of dignity breaches, abuse, or malpractice (Turner, 1987). Studies of this seemingly ingrained power asymmetry and such medical power relations are prolific but have traditionally focused on doctor-patient relations (e.g. Foucault, 1973; Freidson, 1970; Lupton, 1997; Parsons, 1951; Rees et al., 2007). Recently this body of literature has evolved to consider diverse forms of patient resistance within the medical system, focusing on patient empowerment, autonomy, and knowledge (e.g. Elsey et al., 2017; Prior, 2003; Shilling, 2002). Furthermore, research has begun to analyze the power relations between established medical doctors (of various ranks) and medical students during workplace learning activities (Monrouxe et al., 2009; Rees et al., 2007; 2013a; Rees and Monrouxe, 2010a).


예를 들어, 리스 외 연구진(2013b)의 연구는 의사, 학생 및 환자들이 모두 언어 패턴을 통해 권력을 행사하는 동안, 의사들은 학생이나 환자보다 불균형적으로 (권력을) 더 많이 행사했다는 것을 보여준다. 의사들은 또한 학생과 환자를 비-인간(non-persons)로 구성했는데, 그들의 낮은 지위를 반영하여 (옆에) 존재함에도 불구하고 3인칭으로 언급하였다(Res et al., 2013b). 침상교습에서의 웃음 분석에서, 학생들은 일반적으로 컨설턴트에게 놀림거리였으며, 의학적 만남에서 그들의 종속적인 위치를 나타냈다(Res and Monrouxe, 2010a). 학생들은 낮은 위계subordination에도 불구하고, 때때로 학생들은 웃음을 멈춤으로서 특정 놀림에 대하여 컨설턴트에 대한 반대의사를 미묘하게 알렸다 (Res and Monrouxe, 2010a.)

For instance, a study by Rees et al. (2013b) demonstrates that while doctors, students, and patients all enacted power through their speech patterns, doctors did so disproportionately more than students or patients. Doctors also constructed students and patients as non-persons, referring to them in the third-person despite their presence, reflecting their lower status (Rees et al., 2013b). In an analysis of laughter in bedside teaching, students were commonly the butts of teases instigated by consultants, indicating their subordinate position in the medical encounter (Rees and Monrouxe, 2010a). Despite their subordination, at times students refrained from laughing at consultants' comments subtly signaling their disapproval of certain teasing (Rees and Monrouxe, 2010a). 


이 발견들은 권력의 푸코의 개념화를 반복한다. 권력은 권력을 가진 개인들과 그렇지 않은 사람들 사이의 대조가 아니다. 오히려 권력은 쌍방이 행동할 수 있는 능력을 가진 상호작용에서 제정enact된다. 다만 상관은 부하 직원의 행동을 제약할 수 있을 뿐이다.(Foucault, 1982, p. 789). 학생들은 부정적인 파장을 우려해 선배들에게 직접 도전challenge하는 것을 자제할 수도 있다. 다시 말해서, 그들의 힘은 의료위계에 의해 제한될 수 있지만 이것은 학생들이 무력하다는 것을 의미하지는 않는다.

These findings reiterate a Foucauldian conceptualization of power – power is not a contrast between individuals who possess power and those who do not, rather power is enacted in interactions in which both parties have the ability to act, but the superordinate may constrain the actions of the subordinate (Foucault, 1982, p. 789). Students may refrain from directly challenging their seniors due to fear of negative repercussions. In other words, their power may be constrained by the medical hierarchy but this does not imply that students are powerless.


이러한 하위위계subordinate의 힘을 인정하는 것은 저항분석에 매우 중요하다. Ewick과 Silbey(2003, 페이지 1335)는 가핀켈(1964년)는 다음과 같이 설명한다. 사회 구조는 위계에 의해 제정된 권력에 영향을 미친다(그리고 종종 지지한다). 이러한 사회 구조의 존재와 그것이 우리에게 어떤 영향을 미치는지 인식함으로써, 우리는 어떻게 그러한 구조들을 '방해'할 수 있는지 상상할 수 있다. 예를 들어 제약 시스템내에서 작업하거나 이에 저항하는 것이다.(Ewick and Silbey, 2003, 페이지 1335).

Acknowledging this power of the subordinate party is crucial to the analysis of resistance. Ewick and Silbey (2003, p. 1335), drawing on Garfinkel (1964), explain that social structures influence (and often support) the power enacted by superordinates. By recognizing the existence of these social structures and howthey affect us, we can imagine howto ‘disturb’ such structures, for instance by working within systems of constraints or resisting them (Ewick and Silbey, 2003, p. 1335).


의료 프로페셔널리즘은 사회적으로 윤리, 안전, 존경 및 품위 있는 의료 관행으로 간주되는 것에 대한 맥락특이적 이해이다(Chandratilake et al., 2012; Jha et al., 2015; Monrouxe and Rees, 2017). 전문가가 되는 것은 학생들이 의사가 되는 것이 무엇을 의미하는지 사회적이고 제도적인 규범과 가치를 확인(그리고 내실화)하게 하는 과정이다(Monrouxe, 2016). 이것은 궁극적으로 학생들이 의학 전문가로서의 자아의식을 다시 개발하게 되는 2차 사회화의 과정이다. 전문성 과오를 목격하거나 전문성 과실에 참여participate하는 것은 학생들이 어떻게 가장 잘 행동해야 하는지에 대한 전문성 딜레마를 야기할 수 있다(Monrouxe고리스, 2017년).

Medical professionalism is a context-specific understanding of what is socially considered to be ethical, safe, respectful, and dignified healthcare practice (Chandratilake et al., 2012; Jha et al., 2015; Monrouxe and Rees, 2017). Becoming a professional is a process that entails students coming to identify with (and internalizing) the societal and institutional norms and values of what it means to be a doctor (Monrouxe, 2016). This is ultimately a process of secondary socialization where students come to redevelop their sense of self as medical professionals. Witnessing or participating in professionalism lapses may create professionalism dilemmas for students around how they should best act (Monrouxe and Rees, 2017).


전문성 실수는 심각성이 다양하며 환자의 동의, 환자 존엄성, 환자 안전 및 학생 학대에 위반이 포함된다. 전문성 과실에 참가하고 관찰하는 것도 학생 자신의 전문적 정체성 형성에 장애가 될 수 있다. 실제로, 학생들의 전문직업성은 훈련을 통해 발전함에 따라 때때로 감소한다는 연구 결과가 나왔다(Feudtner et al., 1994). 이것은 부분적으로, 학생들이 교육자와 의사 역할 모델의 전문성 과실과 그러한 행동에 대한 그들 자신의 참여에 기인한다(Hafferty, 2016; Monrouxe and Rees, 2017).

Professionalism lapses vary in severity and include breaches in patient consent, patient dignity, patient safety, and student abuse. Participating in and observing professionalism lapses may also form a barrier to students' own professional identity formation. Indeed, studies have suggested that students' professionalism sometimes decreases as they progress through their training (Feudtner et al., 1994). This has been attributed to, in part, students internalizing the professionalism lapses of their educators and doctor role-models, and their own participation in such behaviors (Hafferty, 2016; Monrouxe and Rees, 2017).


전문직업적 실수를 경험하는 것은 도덕적 고통을 초래할 수 있다: 윤리적으로 올바른 행동 방법을 알고 있지만 그렇게 할 수 없다고 느낄 때이다. 몬로우시 외 연구진(2015년, 페이지 9)은 전문직업성 과실의 경험 빈도가 증가함에 따라, 학생들은 학습을 위해 과실이 정당화될 수 있을 때 습관화(감정적 둔화)를 경험하거나, 과실이 정당화될 수 없을 때 교란(더욱 괴로워하게 되는 것)을 경험하게 된다는 것을 발견했다. 두 가지 모두 학생들의 직업적 정체성 형성에 지속적인 영향을 미칠 수 있다. 즉, 비윤리적이고 잘못된 전문성 개념을 내재화하여 스스로 그러한 실수를 재현할 가능성을 높이거나, 학업, 동료, 감독자 및 환자로부터 점점 멀어지고 물러난다. 

Experiencing professionalism lapses may result in moral distress: when one knows the ethically correct way to act, but feels unable to do so (Jameton, 1984). Monrouxe et al. (2015, p. 9) found that as the frequency of experiencing professionalism lapses increased, students either experienced habituation (emotional desensitization) when lapses could be justified for their learning, or disturbance (becoming increasingly distressed) when lapses could not be justified. Both may have lasting effects on students' professional identity formation: they either come to internalize unethical, incorrect notions of professionalism, thus increasing the likelihood of such lapses being reproduced by themselves, or they become increasingly distraught and withdrawn from their studies, peers, supervisors, and patients. 


하지만 전문직업성 과실에 대한 대안적인 반응은 저항이다. 전문성 실수에 직면했을 때 경험되는 교란은 저항과 직접 관련이 있다고 주장되어 왔는데, 저항은 고통을 야기하는 상황을 변경하거나 탈출하기 위한 것이기 때문이다(Jamton, 1984; Edmonson, 2010).

However, an alternative reaction to professionalism lapses is resistance. It has been argued that the disturbance experienced when confronted with a professionalism lapse is directly related to resistance, as resistance is intended to alter or escape the situation that causes distress (Jameton, 1984; Edmonson, 2010).


2. 방법

2. Methods


이 질적 2차 분석은 건강관리 학생들의 전문성 딜레마 경험을 탐구하는 대규모 연구 프로그램의 일부다(Monrouxe et al., 2015; Monrouxe and Rees, 2012, 2017; Rees et al., 2013b). 여기서 특별히 분석된 데이터는 영국과 호주의 의과대학에서 실시된 두 가지 연구에서 나온 것이다.

This qualitative secondary analysis is part of a larger research program exploring healthcare students' professionalism dilemma experiences (Monrouxe et al., 2015; Monrouxe and Rees, 2012, 2017; Rees et al., 2013b). The data specifically analyzed here comes from two studies conducted across medical schools in the UK and Australia:



2.1. 연구 1

2.1. Study 1


설정 및 참가자: 설정은 잉글랜드, 웨일스, 호주의 3개 의과대학(Monrouxe and Rees, 2012)으로 구성되었다. 참가자들의 편리한 샘플은 학교 사무실 이메일, 캠퍼스 주변에 전시된 포스터, 강의 발표, 눈덩이처럼 불어나는 것을 통해 모집되었다. 질적 면접에 참여한 의대생 200명(32그룹, 22명 개인): n =120명(60%)은 여성, n =167명(84%)은 백인, n =133명(67%)은 3년차 이상(대부분의 학생이 환자를 접하고 있음)이었다. 백인이 아닌 참가자는 아프로 카리브해(n =3) 아시아(n =20) 기타(n =10)로 스스로 식별된다. 

Setting and Participants: The setting comprised three medical schools in England, Wales, and Australia (Monrouxe and Rees, 2012). A convenience sample of participants was recruited via emails from the school offices, posters displayed around campuses, announcements in lectures, and via snowballing. Two hundred medical students participated in qualitative interviews (32 group, 22 individual): n =120 (60%) were female, n =167 (84%) were white, and n =133 (67%) were in their 3rd year or above (the time when most patient contact occurs). Non-white participants self-identified as Afro-Caribbean(n =3), Asian (n =20), and other (n =10). 


2.2. 연구 2

2.2. Study 2


설정 및 참가자: 이 환경은 31/32개의 영국 의과대학으로 구성되어 있다. 참가자의 총 모집단 샘플(즉, 모든 영국 의대생)은 Study 1과 동일하지만 Facebook을 포함한 방식으로 모집되었다. 온라인 설문지는 Study 1에서 식별된 전문성 딜레마 주제에 대한 고정 선택 질문과 가장 기억에 남는 전문성 딜레마를 설명하기 위한 자유 텍스트 '당신의 이야기' 섹션을 추가했다. 영국 29/32 의대 학생들은 서면 서술문을 제공했다(Res et al., 2013b). (2397명의 응답자 중 28%가 전문적 실수에 대한 이야기를 제공했다.) 여기서 분석하는 것은 다음과 같은 서면 서술이다: n =478(70%) 응답자의 경우 여성, n =555(82%)는 백인, n =557(85%)은 3년 이상이었다. 혼성, 인도, 극동, 기타 아시아, 파키스탄, 중동, 방글라데시, 대륙, 블랙으로 구분된다. 아프리카, 흑인 카리브해, 그리고 흑인 기타.

Setting and Participants: The setting comprised 31/32 UK medical schools. A total population sample (i.e. all UK medical students) of participants were recruited in the same manner as Study 1 but also including Facebook. The online questionnaire comprised fixed-choice questions on the professionalism dilemma themes identified in Study 1, with the addition of a free-text ‘your story’ section asking them to narrate their most memorable professionalism dilemma: students from 29/32 UK medical schools provided a written narrative (Rees et al., 2013b). Six-hundred-and-eighty (of the 2397 respondents; 28%) provided a professionalism lapse story. It is these written narratives that we analyze here: n =478 (70%) of the respondents were female, n =555 (82%) were white, and n =557 (85%) were in their 3rd year or above. self-identified (in Non-white participants decreasing order of frequency) as mixed, Indian, Far-Eastern, Other Asian, Pakistani, Middle Eastern, Bangladeshi, Continental, Black African, Black Caribbean, and Black Other.


2.3. 팀 성찰성

2.3. Team reflexivity


이차분석을 수행하는 연구팀은 우리의 교육적 배경(예: 건강심리학, 인지심리학, 사회학, 의학)과 질적 연구 전문성(예: 초보/경험에서 전문가/경험에 이르기까지) 면에서 다양하다. 전문성 실수에 대한 분석이 어떻게 저항을 드러내는 데 도움이 될 수 있는지에 대해 긍정적인 믿음을 가지고 있었지만, 이전의 교육과 경험이 데이터에 대한 해석에 어떤 영향을 미칠 수 있는지에 대해 우리는 분석에 주의했다. 우리는 비판단을 유지하기 위해 노력했다. 우리는 내레이션된 저항의 행위라는 관점에서 서술의 구체적인 내용에 초점을 맞추었고, 따라서 데이터는 사건 자체보다는 사건의 내러티브를 구성했으며, 따라서 특정 맥락에서 특정 청중을 위한 구성물(즉, 연구)임을 인정하였다.

The research team undertaking this secondary analysis is diverse in terms of our educational background (e.g. health psychology, cognitive psychology, sociology, and medical), and in terms of our qualitative research expertise (e.g. from novice/inexperienced to expert/experienced). While we had positive beliefs about how the analysis of professionalism lapse narratives could help to reveal resistance, we were mindful in our analysis about how our previous education and experiences could influence our interpretation of the data. We endeavored to remain non-judgmental. We focused on the specific content of the narratives in terms of narrated acts of resistance, thus acknowledging that the data comprised narratives of events – rather than the events themselves – and were therefore constructions for a particular audience in a particular context (i.e. research).


2.4. 데이터 분석

2.4. Data analysis


3. 결과

3. Results


어떤 저항 행위는 직접적인 도전으로 나타난 반면, 다른 저항 행위는 미묘했다(우리의 분류는 표 1 참조). 게다가, 어떤 행동들은 내레이터가 가해자가 눈치채지 못하게 하려고 의도한 것처럼 보였다. 다음 분석에서 우리는 이러한 저항행위의 특이성을 분류하고 기술한다. 참가자들이 하나의 딜레마 상황에 대해 서술하는 동안, 그들은 종종 어떤 단일 상황에서든 둘 이상의 행동을 내레이션했다는 것에 주목할 필요가 있다. 또한 본 논문에서 제시된 서술문은 명확성과 간결성을 위해 편집되었지만, 우리는 원래의 의미를 유지하기 위해 노력했다는 점에 유의하십시오. 비록 모든 참가자가 익명화되었지만, 우리는 제시된 데이터를 문맥화하기 위해 연구의 해, 연구의 국가, 그리고 서술이 구두(연구 1)인지 또는 서면(연구 2)인지를 제공한다.

Some acts of resistance manifested as direct challenges, while others were subtle (see Table 1 for our classification). Furthermore, certain acts seemed intended by the narrator to go unnoticed by the perpetrator. In the following analysis, we categorize and describe these idiosyncrasies of acts of resistance. It is worth noting that, whilst participants narrated a single dilemma situation, they often narrated more than one act within any single situation. Also note that while the narratives presented in this paper have been edited for clarity and succinctness, we have strived to maintain the original meanings. Although all participants have been anonymized, we provide the year of study, country of study, and whether the narrative was oral (study 1) or written (study 2) in order to contextualize the data presented.



3.1. 행사 중 저항 행위

3.1. Acts of resistance during the event


3.1.1. 구두 저항 행위

3.1.1. Verbal acts of resistance


3.1.1.1. 직접 언어적 행동. 

3.1.1.1. Direct verbal acts. 


직접적인 언어적 저항 행위는 학생들이 실수를 해결하기 위해 실수의 가해자와 직접 대화하는 다양한 상황을 구성한다. 마취된 환자에게 정밀 검사를 해달라는 요청에 "아니오"라고 말하는 것, 직접 의사의 진단에 도전하는 것, 교육자의 교육 방식에 불만을 나타내는 것이 이 예이다. 따라서 이러한 직접적인 언어 저항 행위는 가해자의 행동이나 권위에 명백히 도전했고, 때로는 부적절한 행동을 요구했을 때 직접적인 거부로 나타나기도 했다.

Direct verbal acts of resistance comprise a range of situations whereby students directly spoke with the perpetrator of the lapse in order to address the lapse, such as saying “no” to a request to conduct an intimate examination on an anesthetized patient, directly challenging a doctor's diagnosis, or expressing dissatisfaction with an educator's teaching style. These acts of direct verbal resistance therefore explicitly challenged the behavior or authority of the perpetrator, and at times manifested as a direct refusal when asked to do something inappropriate.


참가자들은 직접 구두로 저항할 수 있는 다양한 이유를 설명했다. 

    • 일부는 그들이 도전한 사람이 직속 교육 감독관이 아니거나 그들이 'near-peer'(예: 새로 자격을 얻은 의사에게 도전하는 최종 학년)으로 여겨졌을 때와 같은 계층적 제약으로부터 상대적으로 자유로운 느낌을 받는 것에 대해 논의했다. 

    • 상황적 이유도 있었다. 그들이 순응할 것이라는 기대가 낮았던 시기에 도착하거나, 올바른 정보를 손에 넣거나, 최근에 윤리 수업을 들었다. 가해자에게 어떤 핑계를 대며 퇴장하도록 하는 등 저항하는 상황을 만들어 다른 사람들 앞에서가 아니라 사석에서 직접 도전할 수 있게 했다. 

    • 직접적으로 언어적으로 도전하는 윤리적 또는 도덕적 이유도 있었다. 다른 이들은 개인적인 파장에도 불구하고 옳은 일을 하려는 강한 도덕적 헌신이 느껴지는 상황이다.

Participants narrated a range of reasons that enabled them to verbally challenge directly. 

    • Some discussed feeling relatively free from hierarchical constraints, such as when the person they challenged was not their immediate educational supervisor or when they were considered a ‘near-peer’ (e.g. a final year student challenging a newly qualified doctor). 

    • Situational reasons were also narrated: arriving at the right time when expectations for them to conform were low, having the right information at hand, or having recently attended an ethics class. Some created the situation for resisting themselves, such as asking the perpetrator to step out of the room under some pretext, thereby enabling them to directly challenge in private rather than in front of others. 

    • Others narrated ethical or moral reasons for directly verbally challenging, including situations where a strong moral commitment to do the right thing was felt despite potential personal repercussions:



3.1.1.2. 간접적인 언어 행위. 

3.1.1.2. Indirect verbal acts. 


간접적 언어 행위에는 우려스러움을 말로 표현하는 것과 언어적 역할 모델링이 있었다. 언어 역할 모델링에서 학생들은 그들의 전문적 관행을 생각하도록 하기 위해 선배들에게 구두로 프로페셔널한 실천을 보여주는데, 예를 들면, 선배들에게 어떻게 그들을 환자에게 소개할 것인지, 그리고 어떻게 학생들이 환자 치료에 참여하도록 동의할 것인지를 묻는 것과 같은 것이다.

Indirect verbal acts comprised verbally demonstrating concern and verbal role-modeling. In verbal role-modeling, students verbally demonstrate professional practice to their seniors in an attempt to make them think about their professional practice, such as students showing seniors how to introduce them to patients and how to ask for consent for student's involvement in patient care:


언어적 역할 모델링을 통해, 매튜는 자신, 컨설턴트, 환자 간의 향후 상호작용을 변화시킬 의도를 가지고 컨설턴트의 행동에 대해 미묘하게 불편함을 표현한다. 그는 자신의 불편함과 환자들이 겪고 있는 불편함을 완화하기 위해 그렇게 했다.

By verbally role-modeling, Matthew subtly makes his discomfort with the consultant's behavior known, with the intention of changing future interactions between himself, the consultant, and patients. He did so to alleviate his own discomfort and the discomfort he perceived the patients to be experiencing.


말로 우려를 제기하는 방식으로, 학생들은 선배들에게 환자의 상황이나 치료 궤적에 대해 질문을 던졌고, 환자의 상황에 대해 위계상 더 가까운 사람(예: 간호사)에게 말하거나, 자신의 시술 참여에 대해 물어보았다. 이러한 우려는 간과되었을 수 있는 상황에 주의를 기울이거나, 환자의 치료에 미묘하게 의문을 제기하거나, 학생이나 환자가 겪고 있는 불편함을 완화하기 위해 제기되었다.

In verbally raising concerns, students asked their seniors questions about a patient's situation or about a treatment trajectory, speaking to someone else closer to their rank (e.g. a nurse) about a patient's situation, or asking about their own participation in procedures. Such concerns were raised to bring attention to situations that may have been overlooked, to subtly question a patient's treatment, or to ease any discomfort the student or patient might be experiencing:


베타니는 동의 없이 검사를 수행하지 않겠다고 직접적으로 말하기보다는, 먼저 질문을 통해 동의가 부족하다는 우려를 암묵적으로 드러냈고, 그 다음에는 그녀와 그녀의 동료가 진행하기 전에 동의를 얻기를 원한다는 것을 표시했다. 이렇게 해서 베타니는 잠재적인 전문성 실수에 저항하고 그녀(그리고 그녀의 동료)가 적절한 동의를 얻어 시험을 치를 수 있도록 상황을 바꾸었다. 여기서 그녀의 저항은 그녀(그리고 그녀의 동료)가 경험하는 괴로움을 제거했고 환자 동의의 위반을 피했다.

Rather than directly verbalizing that she would not perform the exam without consent, Bethany tacitly demonstrated her concern for the lack of consent first through a question and then through indicating that her and her peer truly wanted consent to be gained before proceeding. In this way, Bethany resisted a potential professionalism lapse and changed the circumstances so that she (and her peer) could perform the exam with proper consent. Here, her resistance eliminated the distress she (and her peer) experienced and avoided a breach in patient consent.



3.1.2. 저항을 보여주는 신체행동

3.1.2. Bodily acts of resistance


3.1.2.1. 육체적 역할 모델링. 

3.1.2.1. Bodily role-modeling. 


신체적 역할 모델링은 가해자를 명확히 지시하고 있었으며, 종종 환자의 존엄성과 안전의 증진을 포함한 저항에 대한 합리성과 함께 환자의 존엄성과 위생을 구성하는 맥락에서 변화에 영향을 미치도록 의도되었다.

Acts of bodily role-modeling were clearly directed at the perpetrator and intended to affect change, often in the context of comprised patient dignity and hygiene with rationales for resisting including the promotion of patient dignity and safety:


애비: 나는 ...가 권위 있는 인물이라고 말하는 것이 정말 어렵다 ...그래서 우리는 환자를 보기 전과 후에 큰 쇼를 하기로 결정했다. 바로 매번 손을 씻는 것이다.

Abbey: It is really difficult for me … telling someone who … is an authority figure what to do …[so we decided to] make a big show out of …washing our hands …each time, before and after [seeing a patient].


집단행동을 통해 학생들은 의도와 함께 적절한 행동을 보여주었다예를 들어 튜터도 적절한 손씻기를 하도록 만들어서 환자 안전을 보호하도록 할 수 있다. 이러한 신체 역할 모델링의 행동은 직접적이기보다는 미묘했지만, 그럼에도 불구하고 손 씻기를 실천함으로써 학생들이 불편해하는 것을 가해자에게 분명히 전달했다. 애버리와 마가렛은 그들의 역할 모델링이 이 특정 튜터에게 가시적인 영향을 미치지는 않않았다고 이야기하지만, 다른 이야기들은 신체적인 역할 모델링이 효과적일 수 있다는 것을 암시한다. 닉이 "의대 개교 이후 손 씻는 관습이 바뀌었다" 왜냐하면 "학생들이 모두 손을 씻었으니까" 그 다음에는 교수들이 "우리가 손을 씻지 않는 것은 끔찍하다"고 말하기 시작했다.

Through a collective act, the students demonstrated the appropriate behavior with the intention that their example would cause the tutor to adopt appropriate hand washing techniques, thus safeguarding patient safety. This action of bodily role-modeling was subtle rather than direct, but nonetheless overtly conveyed to the perpetrator the students' unease with his hand washing practice. While Abbey and Margaret narrate how their role-modeling had no visible effect on this particular tutor, other narratives suggest that bodily role-modeling can be effective, such as Nick stating that hand washing practices had: “changed since the medical school opened … because we [students] all did [washed our hands], they [staff] all started going ‘my God they wash their hands between every single person, this is terrible that we don't’” (Nick, Yr. 3, England, Oral narrative).



3.1.2.2. 신체활동을 방해한다. 

3.1.2.2. Disruptive bodily acts. 


이것들은 얼굴 제스처를 통해 진단이나 의사의 행동에 대한 자신의 불일치를 표현하거나 불필요한 검사를 하도록 요청 받았을 때 자리를 뜨는 것과 같은 명백한 신체적 저항 행동들로 구성되어 있다. 이러한 행위는 어떤 사건을 교란시키거나 방지하거나, 어떤 상황에서 빠져나오기 위한 것이다. 학생들이 저항에 대한 명확한 이유를 설명했지만, 가해자들이 저항의 이면에 있는 이유를 알고 있었는지 여부는 명백하지 않다. 한 학생이 신체적으로 저항하는 예는 그가 17세 여성에 대한 유전자 클리닉 회전을 하는 동안 골반 검사를 참관하는 것에 대한 동의가 의사에게 의해 강요된 것이라고 느꼈을 때 나타난다.

These comprise actions of obvious bodily resistance such as expressing through facial gestures one's disagreement with a diagnosis or a doctor's behavior, or walking away when asked to perform an unnecessary examination. Such acts intended to disrupt or prevent an event, or remove the student from a situation. While students narrated a clear reason for their resistance, it is not evident in their narratives if the perpetrators were aware of the reason behind the resistance. An example of one student's bodily resistance comes as he felt that consent for him to observe a pelvic examination on a 17year-old female during a genitourinary clinic rotation had been coerced by the doctor:


의사의 전문적 실수와 그로 인한 환자의 불안감을 느꼈던 스튜어트는 현장에서 빠져나왔다그가 이 사건의 내레이션을 할 때, 그는 자신의 행동에 대한 이유, 즉 환자의 불편함과 의사의 고집 등을 분명히 했다. 그의 신체적 행동과 언어적 논평은 환자와 의사에게 그가 방을 나간다는 것을 분명히 알려주었다. 이 신체적인 행동과 간접적인 언어적 발언을 통해, 그는 의사가 만든 전문성 실수에 참여하기를 거부했고 잠재적으로 환자의 불안감을 줄였다.

Acknowledging the professionalism lapse of the doctor (coerced consent), and the unease it caused the patient, Stuart removes himself from the scene. As he narrated this event he made the reason for his action evident, i.e. the patient's discomfort and the doctor's insistence. His physical action and verbal comment clearly informed the patient and the doctor that he was leaving the room. Through this bodily action and indirect verbal comment, he resisted participating in the professionalism lapse created by the doctor and potentially reduced the patient's unease.



3.1.2.3. 신중히 행동하다. 

3.1.2.3. Discreet bodily acts. 


신체적인 역할 모델링과 방해적 신체 활동과는 달리, 일부 학생들은 선배들이 그들의 저항에 주목하도록 의도하지 않았다. 오히려 이러한 신중한 행동은 서술자, 즉 제3자가 전문성 실수가 일어나는 동안 더 편안함을 느끼도록 하기 위한 것이었다. 위에서 논의한 바와 같이 저항 행위는 대상이나 외부인이 눈치채지 못할 수 있지만, 그렇다고 저항의 의도가 제거되는 것은 아니다. 신중한 신체행동은 다음과 같이 구성되어 있다. 예를 들어, 교수자가 편향되어 있을 경우 다른 학생들도 완전히 참여할 수 있도록 특정 학습활동을 기피한다든가, 노출된 환자를 가려주거나 옷을 다시 입게 해주는 것이다.

Unlike bodily role-modeling and disruptive bodily acts, some students did not intend for seniors to notice their resistance. Rather, these discreet acts were intended to make the narrator, or a third party, feel more comfortable during a professionalism lapse. As discussed above, acts of resistance may go unnoticed by the target or an outsider, but that does not eliminate the intent behind the resistance. Discreet bodily acts consisted of avoiding certain learning activities in cases of instructor bias to allow other students to fully participate and covering up or helping redress exposed patients:


어떤 것에 직접적으로 도전하지 않는 것이 더 쉽다고 생각한다. 나는 가끔 환자가 좀 더 편안하게 느끼도록 내가 할 수 있는 일이 있는지 생각한다의사가 외출하는 곳처럼 커튼을 열어놓고 가면, 난 그냥 가서 빨리 환자들을 위해 그것을 잡아당기고 싶다. 하지만 나는 내가 의사들의 발가락을 밟는 것처럼 보이거나 느끼도록 하지 않았다. 나는 그것이 환자의 기분을 좀 나아지게 해주길 바랐다. (리사, 1년차 웨일스, 구강 서사)

I think it's easier not to challenge something directly. I think sometimes if there is something you can do to make the patient feel a bit more comfortable … like where the doctor would go out and like leave the curtain open and I'd just like go and like quickly pull it across for them but …I didn't do it so that the doctor would see or feel like I was stepping on their toes …I kind of hoped it made the patient feel a bit better. (Lisa, Yr. 1, Wales, Oral narrative)



3.1.3. 심리적 행위

3.1.3. Psychological acts


학생들이 내레이션을 하는 가장 수동적인 저항 행위는 감정적으로 그 상황에서 언어적, 신체적으로 또는 둘 다 물러나는 것이었다. 철수withdrawing에는 가해자에게 도전하는 것이 아니라 의도적으로 불참하는 것이 포함되었는데, 가해자가 이를 눈치챘을 수도 있고 그렇지 않을 수도 있다. 대부분의 철수에 대한 서술은 학생(그리고 잠재적으로 환자)이 환자에 대한 선배의 말에 불편함을 느끼거나, 환자를 화나게 할 수 있는 환자 예후 질문 앞에서 질문을 받거나, 절차를 수행하도록 요청받거나 하는 등, 그들에게 육체적으로 그리고 조용히 후퇴하는 것을 포함한다. 환자의 동의가 없는 경우 학생들은 감정적으로나 법적으로나 스스로를 보호하고 환자의 존엄성과 프라이버시를 유지하기 위해 후퇴했다.

The most passive act of resistance students narrated was emotionally withdrawing from the situation either verbally, bodily, or both. Withdrawing did not include the student challenging the perpetrator but intentionally not participating in the event, which may or may not have been noticed by the perpetrator. Most narratives of withdrawing involved students physically and silently retreating from a situation that caused them (and potentially the patient) distress such as feeling uncomfortable with a senior's comments about a patient, being asked in front of a patient prognosis questions that could upset the patient, or when asked to perform procedures without consent. Students withdrew to protect themselves both emotionally and legally and to maintain patient dignity and privacy:


의사의 말에 불편함을 느낀 나탈리는 의식적으로 의사의 질문이나 의견에 답하지 않는 쪽을 택했다. 그렇게 하면서 그녀는 선배의 전문성 실수에 대한 불만을 드러냈는데, 그것은 가해자가 눈치채지 못하게 되었을지도 모르는 행동이었다. 그럼에도 불구하고, 이것은 그녀가 환자를 더 이상 고통스럽게 하는 것을 피할 수 있다. 그 상황을 반성하면서, 나탈리는 자신의 결정으로 인해서 선배에게 학대를 당하더라도, 자신의 저항이 환자를 보호한다고 거듭 말했는데, 이는 나탈리의 전문적 정체성 발달을 증명하는 깨달음이었다.

Feeling uncomfortable with the doctor's comments, Natalie consciously chose not to respond to his question or comment. In doing so she demonstrated her disapproval of her senior's professionalism lapse, an action that may have gone unnoticed by the perpetrator. Nonetheless, this allowed her to avoid causing the patient further distress. In reflecting on the situation, Natalie reiterated that even if her decision caused her to be abused by her senior, her resistance protected the patient, a realization that demonstrates Natalie's professional identity development.


3.2. 사건 발생 후 저항

3.2. Resisting after the event


특정 저항 행위는 가해자가 떠난 사건 이후에 일어났다. 이러한 저항 행위는 가해자의 전문성 오류를 직접 보고하는 것과 관련된다. 

  • 직접적 우려 제기(‘내부고발’ 발생) 

  • 감독자 또는 동료와 전문직업성 결여에 대해 논의(상시하게 우려 사항 해결) 

  • 사건에 관련된 제3자에게 사과(대개 환자) 

Certain acts of resistance happened after events with perpetrators absent. Such acts of resistance involved directly reporting perpetrators' professionalism lapses through 

  • directly raising concerns (akin to ‘whistleblowing’), 

  • discussing the professionalism lapses with supervisors or peers (discreetly addressing concerns), and/or 

  • apologizing to third parties involved in incidents (often patients).


3.2.1. 직접 우려 제기

3.2.1. Directly raising concerns


일부 참가자가 의대나 병동에 정식 민원을 제기하는 한편, 다른 참가자는 전문적 지위가 높은 사람(예: 수석 간호사, 레지던트 또는 교육자)에게 직접 우려를 제기했다. 문제를 직접적으로 제기하는 이유에는 잘못된/부적절한 기술, 학생 학대 및 환자 안전 위반이 포함된다.

While some participants filed formal complaints with their medical schools or wards, others reported directly raising concerns to various individuals of higher professional status (e.g. lead nurses, residents, or educators). Reasons given for directly raising concerns included teaching wrong/inappropriate techniques, student abuse, and patient safety breaches:


환자의 안전 위험을 인식한 티모시는 외과의사의 전문성이 병동에게 실추되어 외과의사의 권위에 간접적으로 저항한다고 보고했다. 외과의사의 전문성 실수에 대한 보고의 즉각적인 결과는 티모시의 이야기에서 분명하지 않지만, 외과의사의 행동을 보고하는 것은 그 외과의사에 대한 향후 질책을 초래했을지도 모른다.

Recognizing the patient safety risk, Timothy reported the surgeon's professionalism lapses to the ward-sister, thus indirectly resisting the surgeon's authority. While the immediate consequences of reporting the surgeon's professionalism lapse are unclear from Timothy's story, reporting the surgeon's actions may have resulted in a future reprimand of that surgeon.


또 다른 학생은 의대에 공식 고소장을 제출하기도 했고, 사건이 발생한 자리에서 컨설턴트에게 직접 구두로 이의를 제기하기도 했다고 설명하고 있다. 실제로 아담은 오전 한 시간 동안 신경과 전문의에게 심리적으로 학대를 받은 후, 자문위원에게 이렇게 물었다. "너는 모든 의대생들을 이렇게 대하니? 그렇게 생산적이라고 생각하십니까?" (3년차 영국, 구강 설화) 사건이 발생한 자리에서 컨설턴트에게 구두로 이의를 제기함으로써, 아담은 불쾌한 치료를 중단할 수 있었고, 이후 직접적으로 우려를 제기함으로써 상담원의 전문직업적 문제행동이 의대에 알려지게 되었다. 아담은 나중에 컨설턴트와 마주치는 동안 '최고의 남자'처럼 행동했고, 아담에게 좀더 '학생 친화적인' 방식으로 가르쳤다고 보고했다. 다른 학생들도 그 컨설턴트의 교육 스타일과 태도가 개선되었다는 것을 알아차렸다.

Another student describes how he raised concerns about the lapse of a consultant by filing an official complaint with the medical school but also directly verbally challenging the consultant during the event. Indeed, after being psychologically abused by a consultant on a neurology placement for a morning, Adam confronted the consultant, asking: “Do you treat all your medical students like this? Do you think it's that productive?” (Yr. 3, England, Oral narrative). By verbally challenging the consultant at the time, Adam was able to stop the unpleasant treatment, while directly raising concerns afterwards made the consultant's professionalism lapses known to the medical school. Adam reported that during a later encounter with the consultant, he acted like the “nicest guy” and taught Adam in a more “student friendly way.” Other students had also noticed that the consultant's teaching style and attitude had improved.


3.2.2. 신중히 우려 제기

3.2.2. Discreetly raising concerns


학생들은 또 미묘한 수단을 통해 선배들의 전문성 과실을 flag했다. 이는 교육자 및/또는 동료와 신중하게 우려 사항 해결하는 것으로서, 다음 행동에 대해 문제를 제기했다.

    • 강제적인 동의와 비윤리적인 관행에 대한 우려와 같은 것 

    • 학습 혜택에 대한 환자의 고통을 유발하는 것,, 

    • 진단 정보를 환자에게 공개하지 않는 것, 

    • 환자 존엄성 침해 

에밀리가 이 비유적인 서술에서 묘사하는 바와 같이, 학생들은 사회적 지원을 받고 상황을 이해하려는 의도에서 우려가 제기되었다.

Students also flagged their seniors' professionalism lapses through subtle means – discreetly addressing concerns with educators and/or peers such as concerns about coerced consent and unethical practices, causing patient distress for learning benefits, not disclosing diagnoses to patients, and patient dignity violations. Concerns were raised with the intention to receive social support and to make sense of the situation, as Emily describes in this paraphrased narrative:


에밀리는 사건 도중 튜터에게 저항하기보다는, 나중에 성찰을 통해서 가해자의 윤리적 권위와 의료계층에 대해 보다 일반적으로 의문을 품게 되었다. 비록 그녀의 성찰이 상황을 변화시키지는 못했지만, 그것은 그녀에게 사건이 일어나도록 허락한 사회 구조를 이해시킬 수 있게 해주었다. 이러한 깨달음은 미래에 전문성 과실에 직면했을 때 그녀 자신의 윤리적 판단으로 그녀를 더욱 자신있게 만들지도 모른다.

Rather than resisting her tutor during the event, Emily's later reflection permitted her to question the ethical authority of the perpetrator and the medical hierarchy more generally. Although her reflection did not change the situation, it allowed her to make sense of the social structure that permitted the event to happen. This realization may make her more confident with her own ethical judgments when confronted with professionalism lapses in the future.


3.2.3. 사과

3.2.3. Apologizing


일부 학생들은 사과를 통해 환자나 환자의 동반자에게 우려를 제기하기도 했다. 사과하는 것은 선배들이 환자를 물리적으로 노출시키거나 환자를 무시하는 등 환자를 대하는 태도에 대해 학생들이 유감을 표시하는 것과 관련이 있다. 이러한 사과 행위에서 학생들은 동시에 선배들의 행동을 비난하고 그들 자신의 전문성을 확립했다.

Some students also raised concerns to patients or patients' companions through apologies. Apologizing involved students expressing regret for the ways their seniors treated patients such as physically exposing themfor longer than necessary or ignoring patients. In such acts of apologizing, students simultaneously denounced seniors' behaviors and enacted their own professionalism:


사만다의 사과에서 그녀는 간접적으로 선배의 행동을 비판하고, 환자의 괴로움을 인정하고, 자신의 전문성을 발휘하며, 실수가 환자에게 미치는 부정적인 영향에 대해 더 많은 통찰력을 얻는다.

In Samantha's apology, she indirectly criticizes the actions of her senior, acknowledges the patient's distress, displays her own professionalism, and gains further insights into the negative impacts of the lapse on the patient.


4. 고찰

4. Discussion


전문성 실수 상황에서 발생하는 저항은 일반적으로 여러 가지 기능을 수행한다. 

  • 환자 및/또는 학생의 고통을 경감시키고, 현재 표준 이하의 치료를 방지한다. 

  • 특히 저항이 언어적 또는 육체적 시위로 나타날 때, 가해자들이 자신의 행동을 인식하도록 하여 그들의 행동을 바꾸도록 가르친다. 

공감, 동정심, 환자진료 및 의료실무의 개선에 대한 열망에 의해 동기 부여된 저항은 일반적으로 학생들의 전문직 정체성 구조를 보여준다. 그리고 이러한 저항은 간호 문헌에서 논의된 "도덕적 용기"의 행위와 유사하다(예: Edmonson, 2010; Murray, 2010).  전문직업적 가치관이 구현embodiment됨에 따라 학생들은 자신들이 subordinate임에도 불구하고 그 가치를 지지하도록 만든다.

Resistance occurring during professionalism lapses generally served multiple functions: to alleviate patient and/or student distress; to prevent substandard care in the moment; and to make perpetrators aware of their actions, thereby teaching them to change their behaviors, particularly when the resistance manifested as verbal or bodily demonstrations. Resistance motivated by empathy, compassion, and the desire to improve patient care and medical practice in general demonstrates students' professional identity construction, and resembles acts of “moral courage,” as discussed in the nursing literature (e.g. Edmonson, 2010; Murray, 2010). The embodiment of these professional values pushes students to uphold them despite their subordinate position.


사건 후에 저항하는 것은 종종 같은 의도를 가지고 있었지만 다소 지연되었다. 일부 사례에서 지연된 저항은 향후 표준 이하의 비윤리적인 관행을 방지하거나, 문책과 추가 교육을 통해 나중에 의사들의 행동을 변화시키기 위한 것이다. 하지만 사건 중 저항과 달리, (사건 후 저항에서) 의도도 지연된 점을 감안하면, 서술된 사건에 관련된 환자들은 더 나은 보살핌을 받지 못할 것이고, 사건 동안 가해자들은 학생들에 대한 태도를 바꾸지 않을 것이다. 

Resisting after the event often involved the same intentions but in a somewhat delayed fashion. Delayed resistance in some instances intended to prevent future substandard or unethical practice, or to change the doctors' behaviors later through reprimand and further education. However, unlike resistance during the event, given that the intention was also delayed, patients involved in the narrated events would not receive better care, nor would perpetrators alter their demeanor towards students during events. 


이론적으로 말하면 저항은 결과보다는 의도에 근거하여 식별되어야 한다는 스콧(1985)의 의견에 동의하지만, 저항이 전문성 과실을 막을 수 있는 의료 환경에서 저항은 (최소한 순간적으로라도) 사건 중 의료 전문가의 행동을 변화시키는 것이 바람직하다. 우리는 사건 후에 직접적으로 우려를 제기하는 것이 덜 대리적인agentic 저항의 형태일 뿐만 아니라, 직접적으로 우려를 제기하는 것이 학생들 사이에서 촉진되어서는 안 된다는 것을 제안하고 있지 않다. 오히려, 우리는 학생들이 [환자 복지의 이익을 위해] 전문성 과실이 있는 동안 선배 의사들에게 [도전하려는 노력을 더 잘 지원받아야 한다]고 생각한다.

Although, theoretically speaking, we agree with Scott (1985) that resistance should be identified based on intent rather than outcome, in the medical setting where resistance may prevent professionalism lapses, it is desirable for resistance to alter, at least momentarily, healthcare professionals' behaviors during events. We are not suggesting that directly raising concerns after events are less agentic forms of resistance, nor that directly raising concerns should not be promoted among students. Rather, we believe that students should be better supported in their efforts to challenge seniors during professionalism lapses for the benefit of patient wellbeing.


전문성이 결여된 상태에서 저항이 지원되어야 한다는 우리의 요구에도 불구하고, 우리는 성찰과 지각 형성sense-making이 촉진할 수 있는 긍정적인 영향을 간과하고 싶지 않다. 학생들은 문제를 주의 깊게 다루거나, 전문성 실수를 목격하거나 참여 후 어떤 형태로든 디브리핑을 함으로써 성찰과 sense-making을 할 수 있다학생들은 전문성 과실의 경험을 성찰하고 신의 행동이나 행동의 이면에 있는 이유를 고려함으로써, 어떻게 교실에서 학습된 전문성의 개념이 의료실무 중에 제한되거나 간과될 수 있는지를 이해하게 된다. 

Despite our call for resistance to be supported during professionalism lapses, we do not want to overlook the positive impact that reflection and sense-making may generate when students discreetly address concerns or undergo other forms of debriefing after witnessing or participating in professionalism lapses. Through reflecting upon experiences of professionalism lapses and (re)considering reasons behind one's and others' actions or inactions, students come to understand how the notions of professionalism learned in the classroom may become constrained or overlooked during medical practice. 


이러한 성찰은 학생들이 선배들에게 도전하는 것을 용이하게 하거나 방해하는 구조적 요인을 이해할 수 있게 해줄 것이다. 실제로, 이것은 학생들이 실제 일상생활 문제를 해석하고 다루는 방법을 배우는 데 필요한 '성찰적 전문직업성'을 개발하는 데 도움이 될 것이다(Otto et al., 2009, 페이지 4766477). 

Such reflection will allow students to make sense of the structural factors that facilitated or prevented them from challenging their seniors. Indeed, this will assist students in developing the ‘reflexive professionalism’ necessary to learn how to interpret and tackle practical daily life issues (Otto et al., 2009, p. 476–477). 


이러한 sense-making 과정 내에서 학생들은 계속해서 그들의 직업적 정체성을 창조하기 때문에 그들 스스로 (re)fashion도 할 수 있다. 비켈은 이렇게 설명한다. "학생들이 자신의 윤리적인 딜레마를 어떻게 다루는지, 

환경의 스트레스에 어떻게 적응하는지, 그들이 그들의 동료 및 교사들과 어떻게 관계를 형성하는지...등은 그들이 의사로서 받아들이고 있는assume 전문직업적 윤리의 규범을 보여주는 지표들이다." 성찰을 통한 저항이 선배의사들의 전문성과 환자 치료에 당장 영향을 미치지는 않겠지만, 학생들의 전문성 발달에 즉각적으로 영향을 미칠 것이다

Within this sense-making process, students may also (re) fashion themselves (Madhok, 2013, p. 116), as they continuously (re) create their professional identity. Bickel explains that, “how students deal with their own ethical [and professionalism] dilemmas, how they adapt to the stresses of their environment, and how they relate to their peers and teachers … are likely indicators of the codes of professional ethics they will assume as physicians” (in Hundert et al., 1996, p. 355). While resistance through reflection may not immediately impact seniors' professionalism and patient care, it should immediately impact students' professionalism development.


Ewick과 Silbey(2003년, 페이지 1329년)는 저항의 이야기를 공유함으로써 지배적인 사회구조가 전복된 순간에 "연기자의 이름 및 그에 따라 노출"하여 저항의 행위를 일시적으로 확장시킨다고 주장한다. 따라서, 저항의 내러티브를 공유하는 것은, 저항의 행동을 관찰하는 것 외에, 우리 연구에서 일부 학생들이 설명한 행위로서 다른 의대생들 사이에 학습과 성찰을 일으킬 수 있다(Res and Monrouxe, 2010b). 

Ewick and Silbey (2003, p. 1329) argue that through sharing stories of resistance, “actors name and thus expose” moments where dominant social structures were upended, which temporarily extends the act of resistance. Thus, sharing narratives of resistance, an act some students in our study described doing, in addition to observing acts of resistance may also generate learning and reflection among other medical students (Rees and Monrouxe, 2010b). 


[학생들은 저항과 그러한 행위에 대한 내레이션]을 통해 의료계의 위계에도 불구하고 저항이 가능하다는 것을 자신과 다른 사람들에게 증명한다경험적 증거에 따르면 직업적 발전이 역할 모델링과 같은 비공식적 학습을 통해 일어날 가능성이 더 높다는 것을 제시한다(Goldie, 2000; Hundert et al., 1996). 학생들이 선배들의 과실에 저항하여 자신들의 전문직업적 위치를 보여주는 행동을 해석함에 있어, 우리는 힘(및 저항)이 어떻게 생산적일 수 있는지 확인할 수 있으며, 개인들이 생산적이고 공평한equitable 방식으로 특정한 상황을 행동하고 성찰하도록 요구한다(Foucault, 1984, 페이지 61).

Through resisting, as well as the narration of such acts, students demonstrate to themselves and others that resistance is possible despite medical hierarches. Empirical evidence suggests that professional development is more likely to happen through informal learning such as role-modeling (Goldie, 2000; Hundert et al., 1996). In interpreting students' demonstrations of their professional stances through resisting their seniors' lapses, we see how power (and resistance) can be productive, requiring individuals to act and reflect upon certain situations in a fruitful and equitable manner (Foucault, 1984, p. 61).


선배들의 전문성 과실에 대한 학생들의 저항도 다양한 수준에서 지배적인 의료구조의 미묘한 변화를 촉진시킬 수 있다는 점에서 생산적이다. 

  • 첫째, 저항을 통해 학생들은 일시적으로 또는 영구적으로, 미묘하게 또는 심오하게 선배들의 전문성을 변화시킬 수 있다. 

  • 둘째로, 저항의 이야기와 그러한 행위를 목격(혹은 듣는 것)하는 이야기에서 저항의 행위는 공동체가 되어, 당연하게 여겼던 사회구조(예: 의료 위계)에서 기회를 노출시키고, 다른 사람들도 유사한 상황에 직면했을 때 그러한 반응을 유도한다(Ewick and Silbey, 2003). 

  • 셋째, 학생들은 저항 행위에 대한 반성을 통해 의학적 영역에서 자신의 도덕적 위치를 파악하여 자신의 직업적 정체성을 더욱 발전시킨다. 

Students' resistance to their seniors' professionalism lapses is also productive in that it may promote the subtle transformation of the dominant medical structure on various levels. 

  • First, through resistance students may alter the professionalism of their seniors either in the moment or afterwards, temporarily or permanently, subtly or profoundly. 

  • Second, in sharing stories of resistance and witnessing (or hearing about) such acts, acts of resistance become communal, exposing opportunities in taken for granted social structures (i.e. the medical hierarchy) and encouraging such reactions from others when faced with similar situations (Ewick and Silbey, 2003). 

  • Third, through reflecting on acts of resistance, students make sense of their moral position in the medical realm and further develop their professional identities. 


학생들은 저항함으로써, 비록 미묘하지만, 선형 의학 서열체계를 유지하려고 하는 제약constraint에 대해 일정한 압력을 가한다. 학생들이 이러한 개별적 저항행위의 힘을 인식하게 되면 집단적 저항행위가 뒤따를 수 있으며, 의료사회시스템에서 미묘한 물질적 변형이 아니라면 상징적 변혁의 가능성을 발생시킨다(Ewick and Silbey, 2003).

By resisting, students create a constant, though subtle, push against the constraints that try to maintain the linear medical hierarchy. As students come to recognize the power of these individual resistance acts, collective acts of resistance may ensue, generating the possibility for symbolic if not subtle material transformations in the medical social system (Ewick and Silbey, 2003).


우리의 참가자들은 오직 영국과 호주에서만 왔다. 비록 우리가 연구 사이트 전체에 걸쳐 전문성 오류와 저항에 대한 학생들의 서술에서 유사점을 발견했지만, 우리는 우리의 연구 결과가 다른 (예: 비서양) 문화로 옮겨지는 것에 대해 어떠한 주장도 하지 않는다. 실제로, 우리는 비 서구 문화 내에서 의대생들의 저항 행동을 탐구하고 문화간 비교를 가능하게 하기 위한 추가적인 연구를 권고한다(Chandratilake et al., 2012; Monrouxe et al., 2017).

our participants were from the UK and Australia only. Although we found similarities in students' narratives of professionalism lapses and acts of resistance across our research sites, we make no claims about the transferability of our findings to other (e.g. non-Western) cultures. Indeed, we recommend further research to explore medical students' acts of resistance within non-Western cultures and to enable cross-cultural comparisons (Chandratilake et al., 2012; Monrouxe et al., 2017).


비록 우리의 분석은 서술된 다양한 형태의 저항의 분류법을 개발하는 데 초점을 맞추었지만, 추가적인 연구는 저항의 실천에 있어서 개인의 차이(예: 성별, 민족성, 나이, 가해자의 계급 또는 성별 등)를 탐구할 수 있을 것이다. 마지막으로, 내러티브는 전문성 오류에 대한 학생들의 감각적 판단을 더 잘 이해할 수 있게 해주며, 그들이 그들의 의도와 저항의 결과에 대한 인식을 표현할 수 있게 해주지만, 우리는 내러티브가 수사학적이라는 것을 기억해야 한다: 그것들은 반드시 일어난 일이나 학생이 어떻게 일어났는지에 대한 '정확한' 설명을 나타내는 것은 아니다. 그 순간에 사건을 이해하였고, 게다가 그들은 때때로 사건 발생 후 한참 후에 학생들의 리콜에 의존하였다(Res et al., 2013b).

Although our analysis focused on developing a taxonomy of the different forms of resistance narrated, further research could explore any individual differences (e.g. gender, ethnicity, age, rank or gender of the perpetrator, etc.) in the enactment of resistance. Finally, while narratives allow us to better understand students' sense-making around professionalism lapses, enabling them to articulate their intentions and their perceptions of the outcomes of resistance, we must remember that narratives are rhetorical: they do not necessarily represent an ‘accurate’ account of what happened or how the student understood the event in the moment, plus they rely on the recall of students, sometimes long after the event (Rees et al., 2013b).


5. 결론

5. Conclusion


결론적으로, 학생들이 선배들의 저항하는 전문성 과실에 대해 이야기하는 다양한 방식의 분류법을 개발하면서, 우리는 일상적 저항의 형태에 대한 사회학적 토론을 방해했다. 우리는 또한 연구자들이 행동의 분류에 있어서 그러한 저항의 행위나 심리적 저항의 경우 또는 극히 미묘한 형태의 저항의 경우, 저항의 이유를 이해해야 하는 근본적인 필요성을 입증했다. 마지막으로 Ewick과 Silbey(2003)의 개별 저항 행위를 서술하는 것이 집단 행동을 창출하는 데 미칠 수 있는 잠재적 영향과 구조적 변화의 잠재력에 대한 개념적 이해에 참여함에 있어, 우리는 의료 사회 시스템이 학생들의 저항 행동을 통해 어떻게 미묘하게 변형될 수 있는지를 입증했다.

To conclude, in developing a taxonomy of the diverse ways in which students narrate resisting professionalism lapses of their seniors, we have furthered the sociological discussion on everyday forms of resistance. We have also demonstrated the fundamental need for researchers to understand the reasons behind such acts of resistance in classifying actions, or inactions in the case of psychological or extremely subtle forms of resistance, as resistance. Finally, in engaging with Ewick and Silbey's (2003) conceptual understanding of the potential impact narrating individual acts of resistance may have on generating collective actions and its potential for structural change, we have demonstrated how the medical social system may be subtly transformed through students' acts of resistance.








, 219, 45-53
 

Professionalism Lapses and Hierarchies: A Qualitative Analysis of Medical Students' Narrated Acts of Resistance

Affiliations 

Abstract

Resistance is classified as a reaction against confining social structures. During their education, medical students encounter traditional medical and interprofessional hierarchies as they learn to become doctors. These create a power disparity that may prevent their empowerment and ability to resist. Despite their subordinate position, students are not always powerless when encountering situations that contradict their ethical, moral, and professional understandings of appropriate medical practice - so called 'professionalism dilemmas.' A qualitative analysis of over 1500 narratives from interviews, focus groups, and questionnaires with 808 medical students in the UK and Australia highlights how students draw on a number of direct and indirect, verbal and bodily, instantaneous and delayed forms of resistance to counter the professionalism lapses of their seniors, which they face in everyday clinical and educational interactions. Within students' narratives of resistance we come to see how they resist hegemonic practices and their reasons for doing so, such as to prevent patient and student abuse, promote hygienic practice, and uphold patient consent. Through these various acts of resistance (and their narration), medical students may promote the subtle transformation of the dominant medical structure either consciously or unconsciously. They may do this through reflecting on acts of resistance to professionalism lapses, making sense of their moral position and the development of their professional identities, by encouraging others to also resist through sharing resistance narratives, and finally, by altering the professional conduct of their seniors. We encourage all workplace learning stakeholders to better understand the social dynamics of hierarchies and resistance and to encourage the enactment of resistance in the face of professionalism lapses in order to protect the health and wellbeing of learners and patients.

Keywords: Australia; Hierarchies; Medical education; Medical students; Professionalism; Resistance; Social structures; UK.

의과대학생의 전문직업적 과오에 대한 대처 로드맵(Acad Med, 2019)

A Road Map for Attending to Medical Students’ Professionalism Lapses

Marianne C. Mak-van der Vossen, MD, Anne de la Croix, MA, MEd, PhD, Arianne Teherani, PhD, Walther N.K.A. van Mook, MD, PhD, Gerda Croiset, MD, PhD, and Rashmi A. Kusurkar, MD, PhD




학부 의대생들의 전문직업적 문제 해결에 참여하는 것은 교육자들에게 어렵고 시간이 많이 소요되는 일이다.1 전문성 과오를 관리하는 방법은 가르치지 않으며, 전문성은 쉽게 얻을 수 없다.2 그 중요성이 인정되고 있음에도 불구하고, 어떤 행동이 미래의 문제를 예방하기 위해 개선되어야 하는지, 어떤 행동이 변화를 일으킬 수 없는지를 나타내는 증거는 없다.

Attending to professionalism lapses of undergraduate medical students is a demanding and time-consuming task for educators.1 How to manage professionalism lapses is not taught, nor does expertise come easily.2 Despite its acknowledged importance, there is no evidence indicating which behaviors should be remediated to prevent future problems, nor which behaviors are not amenable to change.


미래의 의사들에 의한 좋은 환자 관리를 전달하기 위해서는 학부교육에서 교육, 모델링, 전문직업성 감시가 필수적이다.3-8 이전의 연구는 학생들의 전문성 실수가 소위 4가지 I, 즉 참여, 진실성, 상호 작용, 자기 성찰에서 발생하는 것을 보여준다.9

Teaching, modeling, and monitoring professionalism in undergraduate medical education are crucial for the delivery of good patient care by future physicians.3–8 Previous research shows that students’ professionalism lapses occur in four domains, the so-called 4 I’s: lapses in involvement, integrity, interaction, and introspection.9


여기에 기여요인은 [인식, 기술 및 태도의 결함과 같은 개별적 영향]과 [학습 환경에서 오는 맥락적 영향]의 조합이다. 전문직 종사자의 행동에 대한 이해가 증가하고 있음에도 불구하고, 교육자들이 그것을 보고하기를 꺼리기 때문에, 더 나은 식별과 교정조치가 쉽지 않다. 교육자들은 종종 lapses의 교정조치가 어렵고 비효율적이라고 생각한다.

Contributing factors are often a combination of individual influences such as deficits in cognition, skills, and attitude,13,14 and contextual influences from the learning environment.15–17 Despite a growing understanding of (un)professional behavior, better identification and remediation is hampered by educators’ reluctance to report it.18–21 Educators often consider remediation of lapses difficult and ineffective.18,22–24 


전문성 오류를 관리하는 모델은 몇 가지 이론 논문에 설명되어 있다. 이러한 모델은 [특정한 전문직업성에 대한 우려를 다루는 구체적인 모델]과 [지식, 기술 또는 태도 문제에 적용되는 일반 모델]의 두 가지 유형으로 구성되어 있다.6,8,27-30 개요는 표 1을 참조한다.

Models for managing professionalism lapses have been described in several theoretical papers. These models are of two types: specific models that target professionalism concerns, and general models that are applicable to knowledge, skills, or attitude problems.6,8,27–30 See Table 1 for an overview



지금까지, 무엇이 각 단계level 사이의 문턱threshold을 구성하는지는 불분명하다.

So far, it is unclear what constitutes the thresholds between the levels.


방법

Method


연구 설계

Study design


우리는 이 연구를 수행하는데 기초적인 이론적 접근법을 채택했다. 31,32 그것은 우리가 이해를 계발할 수 있게 해주었고, 전문성 과실의 관리에 관한 이론적 모델을 제안하였다. 근거 있는 이론적 접근방식은 종종 귀납적 방법으로 사용되지만, 또한 기존의 지식에 더 많은 것을 쌓기 위해 사용될 수 있다.33 본 연구에서 데이터 수집 및 분석은 이전 연구 결과의 지침에 따라 수행되었다.10,34

We employed a grounded theory approach to conduct this study,31,32 as it allowed us to develop an understanding, and propose a theoretical model regarding the management of professionalism lapses. A grounded theory approach is often used as an inductive method but can also be used to build further on existing knowledge.33 In this study, the data acquisition and analysis was guided by findings from our previous research.10,34


성찰성

Reflexivity


우리는 지식이 인간의 상호작용과 관계의 결과로서 능동적으로 구성되고 고취되는 것으로 보이는 구성주의적 패러다임을 사용했다.35 저자 팀 중에서 우리는 모두 의대생들의 직업적 행동을 가르치고 지도하는 데 경험이 있는 교육적 연구자 및/또는 의료 교육자였다. 전문적 행동에 대한 우리의 공통된 비전은 이 경험과 이 주제에 대한 이전의 연구에 의해 이끌어진다. M.M., G.C., R.A.K.는 일반의사, W.M은 실천의사, A.T는 교육연구가, A.C는 언어학자다. M.M.과 W.M.은 프로답지 않은 행동을 보이는 학생들의 지도에 적극적으로 관여하고 있다. 다른 저자들은 의학 교육의 일상적 관행과 거리가 더 멀기 때문에, 그들은 결론이 너무 일찍 도출되지 않도록 보장했고, 데이터에 근거를 두었다. 연구과정에 대한 우리 자신의 공헌을 고려하고, 따라서 우리의 발견의 신뢰도를 높이기 위해, 우리는 정기적으로 서로 논의되고 네덜란드 암스테르담의 VUmc 의과대학의 연구회의들에서 논의되는 감사 추적을 유지했다.

We used a constructivist paradigm, in which knowledge is seen as actively constructed and cocreated as a result of human interactions and relationships.35 Among the author team, we are all educational researchers and/or medical educators experienced in teaching and guidance of medical students’ professional behavior. Our shared vision on professional behavior is guided by this experience and by our earlier research on this topic. M.M., G.C., and R.A.K. are general medical doctors, W.M. is a practicing clinician, A.T. is an education researcher, and A.C. is a linguist. M.M. and W.M. are actively involved in the guidance of students who display unprofessional behavior. As the other authors have more distance from the daily practice of medical education, they ensured that conclusions were not drawn too prematurely, and were grounded in the data. To consider our own contribution to the research process, and thus to enhance the trustworthiness of our findings, we kept an audit trail that was regularly discussed with each other and debated in research meetings of the Department of Research in Education, VUmc School of Medical Sciences, Amsterdam, the Netherlands.


절차와 참여자

Procedures and participants


"전문적 교정조치 감독자"(PRS).

“professionalism remediation supervisor” (PRS).


데이터 분석

Data analysis


윤리 승인

Ethical approval


결과 

Results


인터뷰에 기초하여, 우리는 교육자들이 학생들의 전문직업성 과실에 어떻게 참여했는지를 3단계 과정으로 시각화했다. 각 단계의 특징은 다음과 같다.

  • 1단계는 "탐색·이해"로, 

  • 2단계는 "재교육"으로, 

  • 3단계는 "제적를 위한 증거자료"

On the basis of the interviews, we visualized how educators attended to students’ professionalism lapses as a three-phase process. 

  • Phase 1 was characterized as “explore and understand,” 

  • phase 2 was “remediate,” and 

  • phase 3 was “gather evidence for dismissal.” 


  • 1단계와 2단계 사이의 임계값은 실수의 근본적인 원인에 의해 구성되는 것으로 보였다. 

  • 2단계와 3단계 사이의 임계값은 학생의 성찰능력과 개선의 부족에 의해 구성되는 것으로 보였다.

  • The threshold between phases 1 and 2 appeared to be constituted by the underlying causes for the lapse. 

  • The threshold between phases 2 and 3 appeared to be constituted by the student’s reflectiveness and (lack of) improvement.


세 단계 각각은 달성해야 할 목표, 관련 개인, 수행된 활동의 유형 및 의사결정의 이면에 있는 추론에서 차이를 보였다.

Each of the three phases differed in the goals to be achieved, the individuals involved, the type of activities undertaken, and the reasoning behind decisions that were made.


각 단계마다 교수들은 다른 역할을 수행했다. 

  • 1단계에서는 이러한 인은 관심 있는 교사의 역할을, 

  • 2단계에서는 보조 코치의 역할을, 

  • 3단계에서는 전문직의 문지기가 되었다.

For each phase these individuals fulfilled different roles. 

  • In phase 1 these individuals had the role of a concerned teacher, 

  • in phase 2 that of a supportive coach, and 

  • in phase 3 they became gatekeepers of the profession.


1단계: 탐색 및 이해

Phase 1: Explore and understand


한 학생이 전문성 실수로 지목된 후, PRS는 학생과 대화를 나눴다고 보고했다. PRS는 처음에 무슨 일이 일어났는지와 그 실수에 대한 학생들의 감정을 이해하려고 했다.

After a student had been cited for a professionalism lapse, PRSs reported holding a conversation with the student, in which the PRS initially sought the student’s understanding of what happened and the emotions regarding the lapse:


그 학생이 내 사무실로 들어올 때 내가 묻는 첫 번째 질문은 아마도 "무슨 일이 있었는지 나에게 설명해줘." (P2)

The first question that I ask the student when he comes into my office is probably just: “Explain to me what happened.” (P2)


이 단계에서 PRS는 어떤 개인적 또는 상황적 요인이 행동에 영향을 미치는지 이해해야 한다.

In this phase the PRS was tasked to understand what personal or contextual factors influenced the behavior:


우리는 근본적인 문제들이 무엇인지 살펴봐야 한다. 당신이 그것을 심각하게 받아들이지 않는 것인지 아니면 그들의 삶에서 다른 문제들이 일어나고 있는 것인지, 아니면 마약과 알코올 남용인지, 아니면 우울증인지. 여러 가지. 근본적인 특징들이 무엇인지 아는 것은 행동 그 자체보다 훨씬 더 중요하다. (P12)

We have to look at what the underlying issues are, whether it’s you’re just not taking it seriously, or there are other issues going on in their life, or is it drug and alcohol abuse or is it depression? Any number of things. Knowing what the underlying features are is much more important to us than just the behavior itself. (P12)


한 PRS는 초기 대화에서 추가적이고 중요한 목표 중 하나는, 학교가 전문직업성을 심각하게 여기는 것을 보여주는 것임을 인정했다. PRS는 학생들은 [아직 실수로 비전문적으로 행동할 수도 있는 발달과정의 의사]라고 느꼈다. 따라서, 1단계에서 PRS는 이 인용문으로 입증된 바와 같이 학생을 처벌하는 것이 아니라 지지하고 돕는 것을 목표로 하는 '관심있는 교사' 역할을 맡았다.

One PRS recognized that an additional and important goal of the initial conversation was to show that the school takes professionalism seriously. PRSs felt that students are developing physicians who can accidentally behave unprofessionally. Hence, in phase 1, the PRS assumed the role of a concerned teacher who aims to support and help, not to punish the student, as is evidenced by this quote:


내가 그 학생을 벌하지 않을지라도, 그들은 와서 나에게 말을 해야 하고 그들은 그들의 행동이 눈에 띄었다는 것을 알고 있다. 내 생각엔 그것 자체가 강력한 것 같아. 벌칙 같은 거 없이. 누군가에게 "오, 사실, 그들은 이것을 심각하게 받아들인다."라고 알리기 위해.

Even though I’m not going to penalize the student, they have to come and talk to me and they know that their behavior was noticed. I think that’s kind of powerful itself. Without any penalties or anything like that. For someone simply to know: “Oh, actually, they take this seriously.” (P12)


이 단계에서, PRS는 학습자를 "진단"하는 것이 허용되는 것에 대한 이해 상충에 종종 직면한다고 보고하였다.

In this phase, PRSs reported often encountering a conflict of interest about being allowed to “diagnose” a learner:


나는 어떤 학생에게도 어떤 진단 라벨도 주는 것을 매우 매우 꺼린다. 너도 알다시피, 거기에는 분명하고 강력한 이유가 있어. 동시에, 교육자로서 나의 역할에서 정신 건강 지식과 통찰력을 제거하는 것은 불가능하다.

I’m very, very reluctant to give any student any kind of diagnostic label whatsoever. You know, there are clear, strong reasons for that. At the same time, it’s impossible for me to eliminate my mental health knowledge and insight from my role as an educator. (P5)


PRS와 학생이 개인, 외부, 대인 또는 맥락으로 분류된 전문성 실수의 기여 요인에 대해 상호 이해에 이상적으로 도달하였다. 본 연구의 참가자가 언급한 기여 요인의 목록은 목록 1을 참조한다.

Interview responses show that the PRS and the student would ideally arrive at a mutual understanding about the contributing factors for the professionalism lapse, which were classified as personal, external, interpersonal, or contextual. See List 1 for a list of contributing factors that were mentioned by the participants in this study.



PRS와 학생 모두 실수가 우발적이었고, 반복을 방지할 필요가 더 이상 없는 경우, 참가자들은 학생이 정상적인 교육과정으로 교육을 계속 받을 수 있게 하였음을 시사했다. 교수와 학생 모두 학생이 추가적인 지원(예: 지식 격차를 채우거나 특정 기술을 개발하기 위해)이 필요하다는 데 동의할 경우, 해당 학생에게는 교정조치가 제공되었고, 2단계가 시작되었다.

In the case that both the PRS and student were of the opinion that the lapse was accidental, and there was no further need to prevent repetition, participants indicated that the student continued her or his education in the normal curriculum. If both agreed that the student needed further support (e.g., to fill in a knowledge gap or to develop certain skills), the student was offered remediation, and phase 2 commenced.


불법행동의 경우, 학생은 때때로 즉시 3단계로 이동했다. 그러한 즉각적인 제적는 예외적으로 드물었고 극단적인 사건의 경우에만 고려될 것 같았다. 한 참가자가 말한 바와 같이:

In the case of unlawful behaviors, the student sometimes immediately moved to phase 3. It seemed that such immediate dismissal was exceptionally rare and would only be considered in the case of an extreme event. As one participant stated:


비록, 해고의 경우에도, 해고를 초래하는 다른 데이터가 없을 때 그러한 규모의 사건이 일어나는 것은 이례적이라고 말할 수 있다. (P16)

Although, I would say that even for dismissal, it’s unusual to be an event of such magnitude in the absence of other data that would result in dismissal. (P16)


2단계: 재교육

Phase 2: Remediate


이 단계의 목표는 학생들의 성찰 능력을 향상시키고 학생들이 전문직업적 과실의 원인이 된 지식, 기술 및 역량의 확인된 결함을 극복하는 것이었다. 따라서 참여자들은 이러한 문제들이 해결되기 어렵다는 것을 인정하였지만, 어려운 개인적 요인이나 실수에 대한 외부적 기여 요인에 대해서는 개별적인 지원이 제공되었다. 학생과 협력하여 학생의 개인적 요구에 맞춘 개입을 기술하는 교정조치 계획을 수립했다. 

The goal of this phase was to improve students’ ability to reflect, and for students to overcome identified deficiencies in knowledge, skills, and competencies that contributed to the professionalism lapses. Therefore, individual support was offered for difficult personal factors or external contributing factors for the lapse, although participants acknowledged that these issues were hard to solve. In collaboration with the student, a remediation plan was set up that described interventions tailored to the student’s personal needs. 


PRS는 교정조치 개입 설계 시 창의성이 필요하다고 설명했으며 각각 다음과 같은 구체적인 목표를 가지고 다른 옵션을 고려했다. 

    • 문직업성에 대한 지식 기반을 개선하고 (필수) 의사와 환자 치료에 대한 비전문적 행동의 결과를 명확히 하기 위한 과제 

    • 특정 기술을 향상시키고 학생의 자기 성과에 대한 인식을 심어주기 위한 스킬 교육 

    • 치관을 가르치고 경험에 대한 guided 성찰을 제공하는 일대일 멘토링

PRSs described creativity in designing remediation interventions, and considered different options, each with its specific goal: 

    • assignments to improve the knowledge base of professionalism and to clarify the consequences of unprofessional behavior for (aspiring) physicians and patient care; 

    • skills training to improve specific skills and create the student’s awareness about own performance; or 

    • one-to-one mentoring to teach values and offer guided reflection on experiences. 


PRS는 종종 교정조치의 수행에 적절한 전문지식을 갖춘 핵심 교직원을 선택했다.

PRSs often chose a core faculty member with adequate expertise to conduct the remediation:


그들은 종종 우리가 아는 사람들이지만, 그들은 존경 받는 교수진이다. 학생들은 그것에 잘 반응하고, 학생들은 그들을 존경한다. 네, 손에 잡혔어. (P10)

They’re often people who we know do this well, but they’re respected faculty. Students respond to them well, students respect them. Handpicked, yeah. (P10)


이 단계에서 PRS와 교정 교사는 지지적 코치로 설명되었다. 개선이 이루어져야 하는 기간을 포함해서, 기대치와 목표에 도달하지 못했을 경우에 따르는 결과가 명확하게 제시되었다.

In this phase the PRS and remedial teachers were described as supportive coaches. The expectations and consequences of not reaching the goals were set out clearly, including a time frame in which improvement must be reached:


당신은 아마도 우리가 여기서 개선이 보이지 않는다면, 이것을 전문위원회에 회부하거나, 아니면 진급위원회에 회부할 것이라고 말할 것이다. 만약 우리가 여기서 개선점을 찾지 못한다면, 당신은 비전문적인 행동으로 제적당할 위험에 처해 있다.

You would probably say if we don’t see an improvement here, we’re going to take this to the Professionalism Committee or we’re going to take this to the Promotions Committee. You’re at risk of being dismissed for unprofessional behavior if we don’t see an improvement here. (P9)


참가자들은 전문성 교정조치의 의도하지 않은 효과를 언급했다. 일부 학생들은 참가자들이 전문성의 가치를 내재화하지 않고 교육자들을 만족시키기 위한 바람직한 행동을 보여주는 것으로 묘사하는 "게임을 하는" 것 같았다.

Participants mentioned an unintended effect of professionalism remediation. Some students seemed to “play the game,” which was described by the participants as displaying desired behaviors to satisfy their educators, without having internalized the values of professionalism:


때때로 그 학생이 성공하는 것은 우리가 그들이 깨달음에 도달하는 것을 도왔기 때문이 아니라, 그들은 그 게임을 하기로 결정했기 때문이다. 이 경우에도 학생들은 실수를 바로잡을 것이다. 그들은 규칙을 따르고, 그들은 그들의 규칙을 따를 것이고, 그들은 필요한 것을 할 것이다: "내가 그것을 할 것이고, 그리고 나서 나는 이곳을 통과할 것이다." (P12)

Sometimes the student succeeds not because we have helped them reach an epiphany, but they have decided that they will play the game and they will make it right. They will follow the rules, they will cross their t’s, they will do what is necessary: “I’ll do it and then I will just get through this place.” (P12)


이런 유형의 비전문적 행동이 언급되었지만, 이렇게 재교육과 "게임을 하는" 학생을 어떻게 다루어야 하는지에 대한 생각은 자료에서 나오지 않았다.

This type of unprofessional behavior was described by the interviewees, yet no ideas on how to deal with the “gaming” student came forward from the data.


3단계: 해고를 위한 증거 수집

Phase 3: Gather evidence for dismissal


2단계와 3단계 사이의 문턱은 만약 문제가 재교육에도 불구하고 지속되는 것처럼 보인다면 그리고 학생이 부정직하거나 심지어 불법적인 행동을 보이는 것이었다. 이 경우 환자 안전이 위협받는 것으로 간주되었다.

The threshold between phases 2 and 3 was crossed if the problem appeared to persist despite remedial teaching, and if the student displayed dishonest or even unlawful behaviors. In these cases, patient safety was deemed to be threatened:


그런 점에서 상황이 심각할 때, 우리는 환자에 대한 염려, 공공의 안전을 위해서 그런 것을 이용하게 된다. (P17)

When things are severe in that regard, we have concern for patients, for public safety, then we make use of that. (P17)


때때로 참가자들은 학생들이 자신의 행동이 의료 환경에서 가져올 결과에 대한 통찰력이 부족하다고 보고했다. 결과적으로, 그 학생은 전문성 기대치에 도달할 의향이 없거나 도달할 수 없었다. PRS에 따르면, 개인화된 재교육에도 불구하고, 어떤 학생들은 개선되지 않고 반복적인 전문성 오류를 초래할 수 있다.

Sometimes participants reported a student lacking insight into the consequences of his or her behavior for working in a medical environment. Consequently, the student was not willing or able to reach the professionalism expectations. According to PRSs, this could result in repetitive professionalism lapses without improvement, despite individualized remedial teaching:


학생들이 자신들이 하고 있는 일이 문제이고 변하지 않는 것을 보지 못한다면, 그들은 행동을 반복할 가능성이 높다. 그것이 학생들이 의대에서 해고되는 것이다.

If the student doesn’t see that what they’re doing is a problem and doesn’t change, they’re likely to repeat behavior. That’s what gets students dismissed from medical school. (P4)


3단계에서 PRS는 추가 교정조치가 더 이상 효과적이지 않을 것이라는 의견이었다. 한 교육자가 말한 바와 같이:

In phase 3, PRSs were of the opinion that further remediation would not be effective anymore. As one educator stated:


나는 처음에는 비관적인 느낌이 들지만, 희망을 잃지 않으려고 노력한다. 내가 그저 그렇게 해야 할 것 같은 학생들이 몇 명 있었다. 그런 통찰력이나 능력이 우리의 툴 키트에 들어 있지 않은 경우, 그들에게 그러한 통찰력을 갖도록 하는 데 필요한 작업(P14)

I don’t have a … I have a pessimistic feeling at the beginning, but I try to keep hope. There have been a handful of students I just felt like it would take.… The kind of work it would take to get them to have that insight or the ability wasn’t in our tool kit. (P14)


제적을 위해서는 매우 명확한 절차를 통해 강력한 증거를 확보해야 했다.

Strong evidence had to be obtained for dismissal, through very clear processes:


학업을 계속하는 것에 대한 결정은 PRS의 손에 달려 있지 않고, 오히려 진급위원회의 몫이었다. 진급위원회는 학생 제적이라는 힘든 결정을 꺼릴 수 있다.

The responsibility for deciding about continuing the studies was not in the PRS’s hand but, rather, belonged to a promotion committee. Promotion committees could be reluctant to take the tough decision to dismiss a student:


나는 4개의 의과대학에 다녔는데 그 모든 학교에서는 문화가 똑같다. 대학에서는 일단 의대에 입학한 학생을 제적하는 것을 정말 꺼린다. 의대보다 다른 많은 학원에서 학생들을 해고하는 것을 꺼리는 것이 훨씬 적다.

I’ve been in four medical schools and the culture is the same in all those schools. There’s a real reluctance to dismiss students once they’re admitted to medical school. There’s a lot less reluctance to dismiss students from lots of other academic programs than there is in medical school. (P9)


3단계에서 PRS는 1단계와 2단계에서와는 전혀 다른 역할을 담당한다고 보고했다. 그들은 의료계의 문지기 노릇을 했다. 그들은 이 역할을 진지하게 받아들였지만, 학생이 의사가 되는 것을 허락해서는 안 된다고 단정하는 것은 어렵다는 것을 알았다. PRS는 제적을 정당화하기 위해 의대 진급위원회에 정보를 알려야 했다. PRS는 협력자에서 opponent로 가면서 학생의 관심사와 의료 및 환자의 관심 사이에서 선택의 충돌이 발생한다고 기술했다.

In phase 3, PRSs reported taking up a completely different role than in phases 1 and 2: They became the gatekeepers of the medical profession. Although they took this role seriously, they found it difficult to conclude that a student should not be allowed to become a doctor. PRSs had to notify the medical school promotion committee with information to justify dismissal. Going from collaborator to opponent, PRSs described experiencing a conflict in choosing between the interest of the student and the interest of health care and patients:


더욱이, 참여자들은 교정조치가 교사 그룹 간에 공유되어야 하는 까다로운 작업임을 인정하였다.

Furthermore, participants acknowledged that remediation is a demanding task that has to be shared among a group of teachers:



로드맵 모델

The road map model


데이터를 분석하고 관련시킴으로써 우리는 의대생들의 전문성 실수에 대한 참여 과정을 설명하는 로드맵 모델을 개발하게 되었다. 그림 1은 이 로드맵을 나타내고 있다.

Analyzing and relating the data prompted us to develop a road map model that describes the process of attending to professionalism lapses of medical students. Figure 1 depicts this road map.


PRS는 첫 번째 단계를 정규 교육으로, 두 번째 단계만 교정조치로 간주한다. 만약, 비전문적 행동을 교정하기 위한 공동의 노력 끝에, 학생들이 의학을 계속하도록 해서는 안 된다는 결론이 도출된다면, 3단계는 시작될 것이다. 이 마지막 단계에서, 직업의 문지기로서의 PRS의 역할은 관련 교사 및 지원 코치의 역할과 경쟁한다.

PRSs consider the first phase as regular teaching, and only the second phase as remediation. If, after a concerted effort to remediate unprofessional behavior, the conclusion was drawn that the student should not be allowed to continue the medical studies, the third phase would start. In this last phase, the role of the PRS as gatekeeper of the profession competes with the role of concerned teacher and supportive coach.



고찰

Discussion


이 연구에서 우리의 목적은 전문성을 담당하는 교수들이 실수를 보이는 학생들을 위한 개입에 대해 어떻게 결정하는지를 밝혀냄으로써 전문성 과실에 참여하는 모델을 만드는 것이었다. 우리의 연구결과는 세 단계로 나눌 수 있다.

Our purpose in this study was to create a model for attending to professionalism lapses by unraveling how faculty responsible for professionalism decide about interventions for students who display lapses. Our findings can be grouped into three phases:


 (1) 탐구하고 이해한다.

 (2) 교정조치 및

 (3) 해고를 위한 증거를 수집한다. 

 (1) explore and understand,

 (2) remediate, and

 (3) gather evidence for dismissal. 


또한 결과는 이러한 단계 사이에 명확한 임계값이 존재함을 시사한다. 

In addition, results suggest that clear thresholds exist between these phases. 


1단계와 2단계 사이의 임계값은 PRS와 학생이 인지된 실수의 기여 요인에 기초하여 교정 교육이 필요하다는 상호 이해에 의해 결정된다. 교정적 가르침에도 불구하고 계속되는 과실의 패턴에서 증명되는 반사성과 적응성의 부족은 3단계로 진행해야 하는 이유로 보여지고, 따라서 2단계와 3단계 사이의 문턱을 형성한다. 참가자들은 학생들의 반사력과 적응력의 부족이 잠재적인 환자안전의 저해로 이어질 수 있다고 표현했다. 

The threshold between phases 1 and 2 is determined by the mutual understanding of the PRS and student that remedial teaching is necessary, based on the perceived contributing factors of the lapse. A lack of reflectiveness and adaptability, as evidenced by an ongoing pattern of lapses despite remedial teaching, is seen as a reason to proceed to phase 3, and thus forms the threshold between phases 2 and 3. Participants expressed that a lack of reflectiveness and adaptability by students can lead to potential compromises of patient safety. 


PRS는 3단계에서 역할이 달라 이해충돌을 일으킬 수 있다. 3단계를 기술하는 로드맵은 학부 의대생의 전문성 과실에 참여하기 위한 지침을 제공한다.

PRSs have different roles in the three phases, which can create conflicts of interest. The road map delineating the three phases provides a guideline to faculty for attending to professionalism lapses of undergraduate medical students.


이 연구가 기존 모델에 추가한 사항

What this study adds to existing models


우리의 연구결과는 전문성 실수에 참여하는 과정에서 더 일반적으로 단계를 설명하는 이전에 제안된 모델에 경험적 지원을 제공한다. 우리가 1단계로 지정한 것은 힉슨과 동료들이 제안한 "한 잔의 커피" 대화라는 모든 이전 모델의 첫 번째 단계와 유사하다. 우리의 연구결과는 1단계와 2단계에서 교정조치에 대한 접근방식은 행동에 대한 기여요인과 학생이 피드백에 어떻게 반응하는지에 따라 달라진다는 것을 나타낸다. 

Our findings provide empirical support to earlier proposed models more generally describing phases in the process of attending to professionalism lapses.6,8,27–30 What we designate as phase 1 resembles the first phase in all previous models: the “cup of coffee” conversation as proposed by Hickson and colleagues.27 Our findings indicate that in phases 1 and 2, the approach to remediation is guided by the contributing factors for the behavior, and how the student responds to feedback. 


이 발견은 단계가 전문성 실수의 [인지된 심각도]에 기초하는 기존 모델과 대조된다. 또한 이전의 연구에 따르면, 이러한 행동의 심각성이 전문성 결핍으로 인해 학교에서 해고된 이유로 가장 많이 인용되고 있다. 우리는 교정조치의 개입에도 불구하고 학생이 성능 향상을 보이지 않을 경우 교정조치의 규모가 확대됨을 확인한다. (기존 모델에서는) 원인에 관계없이 반복적인 전문성 실수는 3단계로 향한다.

This finding contrasts with existing models in which the phases are based on the perceived severity of the professionalism lapse.6,8,27–30 Also, according to previous research, severity of the behavior is most often cited as the reason for dismissal from school for professionalism deficits.24 We do confirm that remediation is scaled up if the student does not show improvement of performance, despite remedial interventions: Recurrent professionalism lapses, regardless of the cause, point to phase 3. 


이와는 대조적으로, 우리 연구의 결과에 따르면, 그 과정의 마지막 단계에서 행동의 심각성이나 인과 요인은 중요하지 않아 보인다. 우리는 학생의 통찰력과 개선의 부족이 마지막 단계로 가는 문턱을 결정한다는 것을 발견했다. 이것은 크르지자니악과 주민들 사이의 동료들의 발견과 일치한다. 학생이 성찰력과 적응력이 진보하지 않으면 더 이상 실천공동체 문화에 몰입하지 않게 된다. 이것은 해고를 초래할 수 있다. 이러한 발견은 기존 모델에 추가된다.

In contrast, according to the findings in our study, in the last phase of the process neither the severity of the behavior nor causal factors seem to be important. We found that a student’s lack of insight and improvement determines the threshold to the last phase. This is in line with Krzyzaniak and colleagues’12 findings among residents. If a student does not show progress in reflectiveness and adaptability, she or he will no longer be absorbed into the culture of the community of practice. This can lead to dismissal. These findings add to existing models.6,8,27–30


칼렛과 동료는 교정조치가 커리큘럼의 일부가 되어야 한다고 주장하는데, 이는 우리 연구의 결과에 의해 뒷받침된다. 2단계에서 적용되는 교정 전략은 기본적으로 일반적인 교육 방법과 다르지 않다. 차이점은 PRS가 "평균 이상" 기술을 보유해야 한다는 것이다. 본 연구의 PRS 참여자들은 교정조치가 어려운 이유는, 교사들을 직접 골라야 하고, 그 업무가 에너지 소비적이기 때문에 이들에게 지원을 제공해야 하기 때문이라고 말했다. 분명히, 교수들은 그들의 경험을 공유하고 의대에서 전문성을 향상시키기 위해 협력함으로써 이익을 얻을 수 있다.2

Kalet and colleagues37 advocate that remediation should be a part of the curriculum, which is supported by the findings of our study. Remediation strategies, as applied in phase 2, do not in essence differ from normal teaching methods. The difference is that the PRS needs to have “above average” skills. PRS participants in this study confirmed that remediation is a demanding task for which they need to handpick teachers, and give support to these individuals because their work can be energy consuming.1 Clearly, faculty could benefit from working together to share their experiences and improve expertise in the medical school.2


정상적인 교육과정에 따라, 참가자들은 때때로 학생들의 "시스템과 게임을 하는" 행동을 주목했는데, 이는 학생들이 부족한 전문적 가치를 통합하지 않고, 단순히 원하는 행동만을 보인다는 것을 의미한다. 행동과 전문성 발달에 초점을 맞추면 전통적인 virtue에 대한 관심이 줄어들 수 있다.26 이 결과는 전문성 가치의 지식 기반이 기초적이라는 것을 확인시켜주고, 그러한 행동을 방지하기 위해 학생의 전문성 가치를 향상시키기 위한 활동과 기술 훈련을 결합해야 한다는 것을 확인시켜 준다.5,6

Congruent to the normal curriculum, participants sometimes noticed “gaming the system” behavior by their students, meaning that students show desired behaviors without having incorporated the lacking professional values. Possibly, the focus on behaviors and professional development diminishes the attention for traditional virtues.26 This finding confirms that the knowledge base of professionalism values is foundational, and that skills training has to be combined with activities to improve the student’s professionalism values to prevent such behavior.5,6


단계와 실천공동체

The phases and the community of practice


놀라운 통찰력은 다양한 교정조치 단계를 실천공동체 프레임워크를 사용하여 전문성 오류에 대한 참여에 추가적인 통찰력을 추가할 수 있다는 것이었다. 크루스와 동료들이 말했듯이, 이 틀은 medical practice을 위한 기초 이론의 역할을 할 수 있다. 왜냐하면 이것은 "다른 이론의 타당성이나 유용성에 영향을 미치지 않으면서" 동시에 대부분의 다른 이론에 유용한 배경을 제공할 수 있기 때문이다. 의료행위를 실천공동체로 본다면 의대 학생 여정은 합법적인 주변부 활동에서 완전한 참여와 멤버십으로 진행되고, 이 과정에서 공동체의 핵심에 점점 더 가까워진다. 전문적 행동은 핵심부(=역량있는 의사)들이 실천하는, 실천공동체의 공동의 가치로 볼 수 있다전문적이지 못한 행동은 공동체의 표준이 아니므로, 학생들이 공동체 안으로의 여정에 하는데 도움이 필요하다는 신호가 될 수 있다.

A surprising insight was that the different remediation phases could be interpreted using the framework of communities of practice to add further insights to attending to professionalism lapses.38 As Cruess and colleagues39 state, this framework can serve as the foundational theory for medical practice, as it “does not in any way affect the validity or usefulness of other theories,” yet can provide a useful background for most other theories. If we view medical practice as a community of practice, the student journey at the medical school progresses from legitimate peripheral activities to full participation and membership, coming closer and closer to the core of the community. Professional behavior can be seen as a common value of the community, practiced by those in the core—competent physicians. Unprofessional behavior, however, is not the standard in the community, and can be a signal that a student needs help in his or her journey into the community.


이것을 한 걸음 더 나아가서, 전문성 실수에 대한 우리의 3상 모델과 실천 프레임워크의 관계를 살펴볼 수 있다(그림 2 참조).

Taking this a step further, we can look at the relationship between our three-phase model of attending to professionalism lapses, and the communities of practice framework (see Figure 2).




우리의 3단계 모델에서, 1단계는 그 학생이 아직 사회에 합류하는 과정에 있다고 가정한다. 전문성이 떨어졌지만 그 학생에 대한 접근은 친절하고, 개방적이며, 도움이 된다. 교정조치에 참여한 사람들은 학생들을 지역사회에 포함시키기 위해 일치된 노력을 하고, 그들의 역할은 한 명의 관심을 갖는 교사나 동료이다.

In our three-phase model, the first phase assumes that the student is still in the process of joining the community. There has been a lapse in professionalism, yet the approach to the student is friendly, open, and helping. The individuals involved in remediation make a concerted effort to include students into the community, and their role is one of a concerned teacher or colleague. 


2단계에서는 그 의도가 서서히 바뀌는 것 같은데, 이 단계에서는 학생들이 사회에 남을 수 있는 기술을 개발할 의지와 능력이 있다는 것을 증명할 필요가 있다. 학생들을 다시 실천공동체로의 여정으로 이끌기 위해, 참가자들은 학생들을 지도하고 역할 모델에 맞추는 형태를 언급했다. 우리의 로드맵은 실제로, 여전히 공동체에 머물 자격이 있는 학생에게 접근하는 것을 목표로 하고 있지만, (학생에게는) 조건이 제시되어 있으며, 학생들이 요구조건을 충족시킬 필요가 있다는 것을 분명히 하고 있다. 

In the second phase, the intention seems to slowly shift, as in this phase the student needs to prove that he or she is willing and able to develop the skills to stay in the community. To steer the student back onto the journey into the community of practice, participants mentioned forms of mentoring and matching the student to role models. Our road map shows that indeed, while the goal is to approach the student as still being eligible for staying in the community, conditions are being laid out, and it is made clear that the student needs to meet the requirements. 


그러나 3단계에서 학생은 더 이상 주변부에서 중심부로 이동하지 않고, 다른 방향으로 나아간다. 예상된 관행을 따르지 않았기 때문이다. 이 단계에서는 의료계의 핵심 가치가 위협받고 있다. 여기서 역 과정의 시작을 알 수 있다: 노력들은 학생들을 실천의 공동체 밖으로 인도하는 데 투입된다.

In phase 3, however, the student no longer moves from the periphery to the center, but in the other direction, by not adhering to the expected practices. In this phase, core values of the medical community are threatened. This is where we see the initiation of a reverse process: Effort is put into guiding the student out of the community of practice.


함의

Implications


본 연구의 결과는 의료 교육자들에게 전문성 과실을 보이는 학생에 대응하는 이론적 기반을 제공할 수 있다. 실천공동체의 개념에 따르면, 개인을 공동체의 핵심으로 끌어들이기 위해서는 사회관계가 중요하다.38 교정조치가 정규 교육적 맥락 밖에서 이루어지는 경우, 학생의 고립을 초래할 수 있다. 이것은 그 학생이 공동체에 진출하는 것을 훨씬 더 어렵게 만들 수 있다. 이는 교정조치 궤적에서 다른 학습자 및 교육자와의 연결 필요성에 주의를 기울여야 함을 의미한다.

The results of this study may offer medical educators a theoretical base for attending to students who display professionalism lapses. According to the concept of communities of practice, social relations are important to bring an individual into the core of a community.38 When remediation takes place outside the regular educational context, it can lead to isolation of the student. This can make it even more difficult for the student to enter the community. This implies that, during remediation trajectories, attention should be given to the need for connection with other learners and educators.


맥락은 본 연구에서 다시 확인되는 행동에 영향을 미치며, 15-17 PRS는 전문성 실수에 대한 상황적 기여 요인에 대해 정보를 제공받으며, 그들은 의료 학생의 미래 과실을 방지하기 위해 기관 문화를 변경하는 데 이 정보를 사용할 수 있다.

Context influences behavior, which is confirmed again in this study.15–17 PRSs are informed about contextual contributing factors for professionalism lapses, and they can use that information to make changes in the institutional culture to prevent medical students’ future lapses.


Future investigations


Limitations


Conclusions







, 94 (4), 570-578
 

A Road Map for Attending to Medical Students' Professionalism Lapses

Affiliations 

Affiliation

  • 1M.C. Mak-van der Vossen is general physician, coordinator of professional behavior, and PhD student, Department of Research in Education, VUmc School of Medical Sciences, Amsterdam University Medical Centers, Amsterdam, The Netherlands; ORCID: https://orcid.org/0000-0001-7810-6575. A. de la Croix is assistant professor, LEARN! Academy, Vrije Universiteit, and researcher, Department of Research in Education, VUmc School of Medical Sciences, Amsterdam University Medical Centers, Amsterdam, The Netherlands. A. Teherani is professor of medicine and education researcher, Center for Faculty Educators, School of Medicine, University of California, San Francisco, San Francisco, California. W.N.K.A. van Mook is internist/intensivist, Department of Intensive Care Medicine, postgraduate dean, Maastricht University Medical Center, and professor of medical education, Maastricht University, Maastricht, The Netherlands. G. Croiset is professor of education and training, Health and Life Sciences, and dean of education and training, University Medical Center Groningen, Groningen, The Netherlands. R.A. Kusurkar is associate professor of medical education and head, Department of Research in Education, VUmc School of Medical Sciences, Amsterdam University Medical Centers, Amsterdam, The Netherlands; ORCID: https://orcid.org/0000-0002-9382-0379.

Abstract

Purpose: To develop a road map for educators attending to medical students' professionalism lapses, aiming to offer an empirical base for approaching students who display such lapses.

Method: Between October 2016 and January 2018, 23 in-depth interviews with 19 expert faculty responsible for remediation from 13 U.S. medical schools were conducted about the way they handle students' professionalism lapses. Three researchers independently completed three rounds of coding. Data collection, coding, and analysis were performed in a constant comparative process. A constructivist grounded theory approach was used to develop an explanatory model for attending to students' professionalism lapses.

Results: Based on participants' descriptions, the authors developed a three-phase approach for attending to professionalism lapses. In phase 1, experts enacted the role of concerned teacher, exploring the lapse from the student's perspective. In phase 2, they functioned as supportive coach, providing feedback on professionalism values, improving skills, creating reflectiveness, and offering support. In phase 3, if the student did not demonstrate reflectiveness and improvement, and especially if (future) patient care was potentially compromised, participants assumed an opposite role: gatekeeper of the profession.

Conclusions: An explanatory model for attending to professionalism lapses that fits in the overarching "communities of practice" framework was created. Whereas phase 1 and 2 aim at keeping students in the medical community, phase 3 aims at guiding students out. These findings provide empirical support to earlier descriptive, opinion-based models and may offer medical educators an empirical base for attending to students who display professionalism lapses.







롤모델링 - 가장 강력한 교육 전략(BMJ, 2008)

Role modelling—making the most of a powerful teaching strategy

Sylvia R Cruess, Richard L Cruess, Yvonne Steinert



의사들은 역사적으로 그들의 활동을 그들이 존중하고 신뢰하는 의사들의 활동 패턴에 맞추었다. 이러한 것들은 "자신의 전문직업적 존재방식과 행동방식으로 감명을 주는 개인"이라는 역할모델로 불려왔다.1

doctors historically have patterned their activities on those of practitioners whom they respect and trust. These have been called role models, “individuals admired for their ways of being and acting as professionals.”1


비록 역할 모델링이 "성격 형성"의 핵심이지만, 의대생들과 주니어 의사들은 많은 임상 교사들이 그닥 좋지 않은 역할 모델이라는 것을 관찰했다.

Although role modelling is at the heart of “character formation,”3 medical students and junior doctors have observed that many clinical teachers are poor role models.


역할 모델에서 배우는 것은 관찰과 성찰을 통해 이루어지며 의식 활동과 무의식 활동이 복잡하게 뒤섞여 있는 것이다(그림 1). 그 과정에 대한 적극적 성찰은 무의식적 감정을 원칙과 행동으로 번역할 수 있는 의식적 사고로 전환할 수 있다.

Learning from role models occurs through observation and reflection, and is a complex mix of conscious and unconscious activities (fig 1). Active reflection on the process can convert an unconscious feeling into conscious thought that can be translated into principles and action.



역할 모델은 멘토와 다르다.6 역할 모델은 다른 일을 하는 동안에도 (학습자에게) 영감을 주고 예시로서 가르친다. 멘토들은 시간이 지남에 따라 학생과 노골적인 관계를 맺고 있으며, 그들은 종종 자유롭게 질문을 하고 조언을 함으로써 학생을 지도한다.7

Role models differ from mentors.6 Role models inspire and teach by example, often while they are doing other things. Mentors have an explicit relationship with a student over time, and they more often direct the student by asking questions and giving advice freely.7


효과적인 역할 모델이 되는 이유는 무엇인가?

What makes for an effective role model?


첫 번째 vignette(박스 1)에 설명되어 있다.

illustrated in the first vignette (box 1).



역할 모델의 특성은 잘 문서화되어 있으며, 1348-10(그림 2)으로 세 가지로 나눌 수 있다.

The characteristics of role models have been well documented1348-10 (fig 2) and can be divided into three categories:



  • 임상 역량은 지식과 기술, 환자 및 직원과의 커뮤니케이션, 건전한 임상 추론과 의사결정을 포괄한다. 이 모든 기술들은 의학의 실천의 핵심에 놓여 있는 것처럼 모델링되어야 한다.

Clinical competence encompasses knowledge and skills, communication with patients and staff, and sound clinical reasoning and decision making. All of these skills must be modelled as they lie at the heart of the practice of medicine.


  • 교수 기술은 임상 능력을 전달하는 데 필요한 도구다. 효과적인 의사소통, 피드백 및 반성의 기회를 통합하는 학생 중심의 접근방식은 효과적인 역할 모델링에 필수적이다.

Teaching skills are the tools required to transmit clinical competence. A student centred approach incorporating effective communication, feedback, and opportunities for reflection is essential to effective role modelling.


  • 개인의 자질에는 연민, 정직, 청렴 등 치유를 촉진하는 속성이 포함된다. 효과적인 대인관계, 실천과 가르침에 대한 열정, 그리고 탁월함을 향한 비타협적인 탐구가 똑같이 중요하다.

Personal qualities include attributes that promote healing, such as compassion, honesty, and integrity. Effective interpersonal relationships, enthusiasm for practice and teaching, and an uncompromising quest for excellence are equally important.


" 우리는 인정해야 한다...우리가 학생들에게 제공해야 할 가장 중요한 것은 우리 자신뿐이라는 것이다. 다른 모든 것은 책에서 읽을 수 있다." - DCTosteson19

“ We must acknowledge...that the most important, indeed the only, thing we have to offer our students is ourselves. Everything else they can read in a book.” – DCTosteson19


역할 모델링은 어디에서 이루어지는가?

Where does role modelling take place?


우리는 이제 형식적인 커리큘럼, 비공식적인 커리큘럼, 숨겨진 커리큘럼이 있다는 것을 이해한다.10 역할모델은 세 가지 모두에서 기능한다.

We now understand that there is a formal, an informal, and a hidden curriculum.10 Role models function in all three.


공식적인 커리큘럼은 교직원들이 자신들이 가르치고 있다고 믿는 것을 상세하게 설명하는 미션과 코스 목표에 요약되어 있다. 여기서 역할 모델링은 예외없이 이루어지며, 이 수준에서 의대 교사의 행위는 심오한 효과를 가져올 수 있다. 의술에 대한 열정과 열정을 보이는 교사들은 매우 효과적일 수 있다; 그렇게 하지 않는 것은 귀중한 기회를 놓치는 것이다.

The formal curriculum is outlined in mission statements and course objectives, detailing what faculty members believe they are teaching. Role modelling certainly takes place here, and the conduct of medical teachers at this level can have a profound effect. Teachers who show passion and enthusiasm for medicine can be extremely effective; failing to do so is to miss a valuable opportunity.


불문하고, 계획되지 않은, 그리고 고도의 대인관계 형태의 교습과 학습으로 구성된 비공식 교육과정은 매우 강력하다. 또래에서 고참 의사까지 비공식 커리큘럼에서는 모든 사람이 역할 모델로 기능한다.1011 및 부정적 역할 모델링의 많은 부식 효과가 여기에서 경험된다.

The informal curriculum, which consists of unscripted, unplanned, and highly interpersonal forms of teaching and learning, is very powerful. All role models, from peers to senior doctors, function in the informal curriculum,1011 and many of the corrosive effects of negative role modelling are experienced here.412


마지막으로, 크게 숨겨져 있는 영향의 집합은 기관의 조직 문화와 구조 수준에서 기능한다. 이 숨겨진 커리큘럼이 역할 모델링에 미치는 영향은 여기서 효과적인 역할 모델링의 여러 장벽을 발견할 수 있기 때문에 심대할 수 있다. 예를 들어, 

  • [과로를 조장하는 제도적 문화]는, 학생들 사이에서 모범 사례를 입증하는 데 필요한 성찰적 실천을 촉진하는 데 충분한 시간을 할애하지 않는, 효과적인 역할 모델링에 부정적 영향을 미치게 된다. 

  • 마찬가지로, [부적절한 임상 치료나 열악한 대인관계를 용인하는 문화]는 모범이 되려고 노력하는 사람들의 감사와 지원을 보여주지 못하는 행정적 결정처럼 긍정적인 모델링을 억제한다.

Finally, a set of influences, which are largely hidden, function at the level of the organisational culture and structure of the institution. The influence of this hidden curriculum on role modelling can be profound, as many of the barriers to effective role modelling can be found here. For example, an institutional culture that promotes overwork, leaving insufficient time for harried clinical teachers to promote the type of reflective practice needed to demonstrate best practices among students, is detrimental to effective role modelling. Similarly, a culture that tolerates inadequate clinical care or poor interpersonal relationships inhibits positive modelling, as do administrative decisions that fail to show appreciation and support, both financial and non-financial, of those who are trying to be exemplary.


역할 모델링을 개선할 수 있는 방법은 무엇인가?

How can role modelling be improved?


역할 모델로서 우리 자신의 장단점을 분석하는 개인 수준과 우리가 가르치는 제도 문화의 영향을 고려하는 조직 차원의 두 가지 영역이 다루어져야 한다.

Two areas need to be addressed: the personal level, where we analyse our own strengths and weaknesses as role models, and the organisational level, where we consider the impact of the institutional culture in which we teach.


Box 2 역할 모델링 개선 전략

Box 2 Strategies to improve role modelling


역할 모델임을 인지하십시오.

임상 역량 입증

교육 시간 보호

당신이 하는 일에 대해 긍정적인 태도를 보여라.

학생 중심의 교육 방식 구현

임상 경험 및 모델링된 내용에 대한 성찰 촉진

동료와의 대화 유도

관련 인력 개발 참여

제도문화 개선 노력

가능한 경우 모델링하는 내용에 대해 명시적임

Be aware of being a role model

Demonstrate clinical competence

Protect time for teaching

Show a positive attitude for what you do

Implement a student centred approach to teaching

Facilitate reflection on clinical experiences and what has been modelled

Encourage dialogue with colleagues

Engage in pertinent staff development

Work to improve the institutional culture

Whenever possible be explicit about what you are modelling


개인 성과 개선 전략

Strategies to improve personal performance


역할 모델로서의 인식

Awareness of being a role model


교육 및 학습 전략으로서의 역할 모델링의 중요성과 우리가 모델링하는 것의 긍정적 또는 부정적 영향에 대한 의식적인 인식은 성과 향상에 필수적이다. 우리는 항상 역할 모델이다 - 우리가 가르칠 때 그리고 우리가 사회적 상황에 있을 때. 우리는 또한 학생들과 인식을 공유해야 한다.

The conscious recognition of the importance of role modelling as a teaching and learning strategy, and the positive or negative impact of what we are modelling, is fundamental to improving performance. We are role models at all times—when we are teaching and when we are in social situations.9 We must also share our awareness with our students.


가르칠 시간

Time to teach


임상적 요구의 어려움에도 불구하고, 우리는 대화, 성찰, 디브리핑을 용이하게 하기 위해 "시간을 보호"해야 하며, 이 모든 것들은 학습자에게 역할 모델링을 통해 교훈을 배우도록 하기 위해 필요하다.

Despite the challenges of clinical demands, we must “protect time” in order to facilitate dialogue, reflection, and debriefing, all of which are needed to make the lessons learnt through role modelling apparent to the learner.1415


부정적인 태도는 긍정적인 태도만큼 강력하다. 의식적으로 능력을 모델링하는 것, 긍정적인 태도, 그리고 의술의 실천에 대한 열정이 변화할 수 있다.14

Negative attitudes, are as powerful as the positive ones . Consciously modelling competence, positive attitudes, and enthusiasm for the practice of medicine, can be transformative.14


성찰의 중요성: 암묵적 표현

The importance of reflection: making the implicit explicit


우리가 보여주고 있는 행동과 속성을 의식하고 성찰하는 능력은 효과적인 역할 모델링에 필수적이다. 가능하면 학생과 후배 의사, 동료들이 지켜보는 가운데 무엇을 하는지 점검하고 설명해야 한다. 이것은 "행동에서의 반성"이라고 불렸다.14 조우가 일어난 후 환자, 학생, 그리고 자신에게 미치는 영향에 대해 학생들과 의논하는 것도 도움이 된다.-"행동에 대한 반성". 그때 우리가 이 경험을 미래의 행동과 연관시킨다면, 우리는 "행동을 위한 반성"에 종사하고 있다.

The ability to be conscious of, and reflect on, the behaviours and attributes that we are demonstrating is crucial to effective role modelling. Whenever possible, we should examine and explain what we do in the presence of students, junior doctors, and colleagues. This has been called “reflection in action.”14 It is also helpful to discuss with students the impact of the encounter on the patient, the student, and oneself after it has occurred—“reflection on action.” If we then relate this experience to future actions, we are engaged in “reflection for action.”


많은 상황들은 긍정적인 역할과 부정적인 역할 모델링의 혼합을 포함한다; 이러한 경험들을 돌이켜보면 학생들에게 귀중한 교훈을 준다. 하지만, 이러한 사건들에 대해 생각해보지 않는다면, 학생들은 관찰한 것들로부터 배우지 못할 수도 있다.

Many situations include a mix of positive and negative role modelling; reflecting on these experiences provides valuable lessons to students. However, without thinking about these events, students may not learn from what they have observed.


인력개발 참여

Participating in staff development


교육 기술을 향상시키기 위해 고안된 직원 개발 프로그램이 현재 널리 이용되고 있다.

Staff development programmes designed to improve teaching skills are now widely available,


제도문화 개선전략

Strategies to improve the institutional culture


역할 모델링에 영향을 미치는 수많은 요인들을 고려할 때, 우리가 일하는 기관 문화를 개선하기 위해 일하는 것은 무시할 수 없다. 효과적인 역할 모델링을 위한 중요한 제도적 장벽에는 과로를 조장하는 조직적 구조가 포함되어 있으며, 이로 인해 교육 시간이 부족해지고, 교육 기관 지원이 부족하며, 의료팀 구성원 간의 부적절한 환자 관리 또는 열악한 관계를 수용하는 문화가 있다.11

Given the multitude of factors that impact role modelling, working to improve the institutional culture in which we work cannot be ignored. The important institutional barriers to effective role modelling include an organisational structure that encourages overwork, resulting in insufficient time for teaching15; a lack of institutional support for teaching1011; and a culture that accepts inadequate patient care or poor relationships between members of the healthcare team.11






Review

 

, 336 (7646), 718-21
 

Role Modelling--Making the Most of a Powerful Teaching Strategy

Affiliations 

Affiliation

  • 1Centre for Medical Education, McGill University, 1110 Pine Avenue West, Montreal, QC, Canada H3A 1A3. sylvia.cruess@mcgill.ca

Abstract

Teachers need to be aware of the conscious and unconscious components of learning from role modelling, so that the net effect of the process is positive


의학교육에서 개념지도: 분석적 문헌 고찰(Med Educ, 2010)

Concept maps in medical education: an analytical literature review

Barbara J Daley1 & Dario M Torre2




도입

INTRODUCTION

 

슐먼에 따르면, 1 '여러 전문직의 시그니처 교수법은 영원하지 않고 불변하지 않는다. 그들은 어느 시점에서도 현저히 안정되어 보이지만, 직업 그 자체와 전문적인 서비스나 관리를 제공하는 기관의 조건이 더 큰 사회적 변화를 겪기 때문에 항상 변화의 대상이 된다.'

According to Shulman,1 the signature pedagogies of the professions are not eternal and unchanging. Even though they seem remarkably stable at any one point in time, they are always subject to change as conditions in the practice of the profession itself and in the institutions that provide professional service or care undergo larger societal change. 


의미 있는 학습, 즉 관련 의학 개념을 사전 지식에 연결하여 이해하고 관련시킬 수 있는 능력은 의대생들에게 커다란 형태적 가치가 있다. 

Meaningful learning, the ability to understand and relate relevant medical concepts by linking them to prior knowledge, is of great formative value to medical students.

 

개념지도: 무엇인가?

CONCEPT MAPS: WHAT ARE THEY?

 

정의

Definitions

 

지식을 체계화하고 표현하기 위한 그래픽 도구인 개념 맵은 노박과 고윈3에 의해 개발되었으며 아우수벨의 4,5 동화 학습 이론에 기초하고 있다. 노박과 고윈3는 개념 지도를 ‘명제의 틀에 내재된 개념의 의미 집합을 나타내는 도식적 장치’라고 설명한다. 이러한 관점에서 우리는 새로운 개념을 이미 알고 있는 것과 연결시켜 개념으로 생각하고 배운다.6

The concept map, a graphic tool for organising and representing knowledge, was developed by Novak and Gowin3 and is based on Ausubels4,5 assimilation theory of learning. Novak and Gowin3 describe a concept map as a schematic device for representing a set of concept meanings embedded in a framework of propositions. In this view, we think and learn with concepts by linking new concepts to what we already know.6 


또한, 학문이 성장함에 따라 개념을 계층적으로 저장하고 차별화한다. 개념 맵을 사용하여 학습한다는 것은 학습자가 개념을 서로 연결, 차별화 및 관련시키기 위해 의도적으로 노력하고 있음을 의미한다.3,7 

In addition, concepts are stored hierarchically and differentiated as learning grows. Learning with concept maps means that the learner is making an intentional effort to link, differentiate and relate concepts to one another.3,7

 

이론 프레임워크

Theoretical framework

 

Ausubel과 그의 공동저자들은 개념으로 사고와 학습하는 과정에서 개인은 세 가지 과정을 사용한다고 믿는다. 즉, 하위분화, 점진적 분화, 통합적 화해를 이용한다.5,8 

    • 하위분화에서 하위 수준의 개념은 상위개념에 따라 포함된다.9 

    • 점진적 분화에서는 개념을 더 미세한 요소와 더 미세한 요소로 세분화한다. 이와 같이 점진적 분화는 분석 과정과 유사하다. 

    • 마지막으로, 통합적 화해는 학습자가 지도 왼쪽에 있는 개념을 오른쪽의 개념과 조화시키고 연결하려고 시도할 때 발생한다.10,11 이것은 통합의 과정과 유사하다.

Ausubel and his co-authors believe that during the process of thinking and learning with concepts, an individual uses three processes: subsumption, progressive differentiation and integrative reconciliation.5,8 

    • In subsumption, lower-order concepts are subsumed under higher-order concepts.9 

    • In progressive differentiation, concepts are broken down into finer and finer components. In this way, progressive differentiation is similar to the process of analysis. 

    • Finally, integrative reconciliation occurs when the learner attempts to reconcile and link concepts on the left side of the map with those on the right.10,11 This is similar to the process of synthesis.


개념 맵의 개념 맵인 그림 1은 이 세 가지 프로세스를 보여준다. 

Figure 1, a concept map of a concept map, depicts these three processes.


 

개념지도 만들기

Creating concept maps

 

개념 맵을 작성하기 위해 학습자는 다음 단계를 포함하는 능동적 프로세스에 참여한다. 

    • 첫째, 학습자는 가장 일반적인 개념을 식별하여 지도의 맨 위에 배치한다. 

    • 둘째로, 학습자는 일반적인 개념과 관련된 보다 구체적인 개념을 어떤 방식으로 식별한다. 

    • 셋째로, 학습자는 일반적이고 구체적인 개념을 자신에게 맞는 단어와 연계시킨다. 

    • 마지막으로 학습자는 적극적으로 지도의 한쪽에서 다른 쪽 개념으로 개념을 묶는 교차 링크를 찾는다.

To create a concept map, the learner engages in an active process that includes the following steps. 

    • Firstly, the learner identifies the most general concepts and places them at the top of the map. 

    • Secondly, the learner identifies more specific concepts that relate to the general concepts in some way. 

    • Thirdly, the learner ties together the general and specific concepts with linking words that make sense to him or her. 

    • Finally, the learner actively looks for cross-linkages that tie concepts from one side of the map to concepts on the other.

 

개념 맵 사용 시 당면 과제

Challenges in using concept maps

 

개념 지도는 학생과 교수진 모두에게 새로운 학습방식으로 여겨지는 경우가 많으며, 그러한 만큼 개념지도를 학습전략으로 이해하고 통합하는 데 시간이 걸린다. 의과대학 교과과정에 개념 매핑을 통합하는 초기 단계에서 학생들의 저항이 나타나는 경우가 있다. 이 저항은 보통 지도를 만드는 데 걸리는 시간과 관련이 있다. 또한 지도 제작과 학습이 표준화된 시험에서 점수를 잘 받는 데 어떻게 도움이 되는지 학생들이 이해하지 못하는 것과 관련이 있을 수 있다.2.3

Concept maps are often considered a new way of learning by both students and faculty staff, and as such it takes time for both to understand and incorporate mapping as a learning strategy. Student resistance is sometimes seen during the initial stages of incorporating concept mapping into the medical school curriculum. This resistance is usually related to the time it takes to create maps. It may also be related to the students inability to understand how constructing maps and learning meaningfully will assist them in scoring well on standardised tests.2,3 


지도를 사용하는 또 다른 도전은 지도들이 의미 있는 학습 개념을 구현하도록 설계되었다는 것을 교수들이 이해하도록 돕는 것이다. 이것은 교직원의 초점이 내용을 가르치는 것에서 학생들이 자신의 의료실무의 맥락 안에서 개념의 의미를 만들고 이해하도록 돕는 것으로 바뀐다는 것을 의미한다. 학생들이 의미에 대한 이해를 발달시킴에 따라, 그들의 지도에는 커리큘럼의 내용뿐만 아니라 임상 실습에서의 경험도 포함될 것이다. 이것은 학생들의 학습이 성장함에 따라, 그들이 만든 지도는 시간이 지남에 따라 바뀔 것이라는 것을 암시한다. 

Another challenge in using maps involves helping faculty understand that maps are designed to implement the concept of meaningful learning. This means that the faculty member’s focus shifts from teaching content to helping the student create and understand the meaning of the concepts within the context of his or her medical practice. As students develop an understanding of meaning, their maps will incorporate not only the content of the curriculum, but also their experiences in clinical practice. This implies that as the students’ learning grows, the maps they create will change over time. 


지도 교직원은 이것을 지도에서 'unreliability'로 볼 수 있는데, 실제로 지도의 특이성이 학생들의 학습이 시간이 지남에 따라 어떻게 발전하고 변화했는지를 보여준다. 이것은 전문지식의 발달에서 일어나는 과정과 유사하다. 의사들의 전문지식이 발달함에 따라 특정 주제에 대한 이해도가 높아지고 깊어진다. 한 사람이 두 전문가에게 같은 주제에 대한 지도를 개발하라고 한다면, 이 지도들은 그 전문가들의 다양한 임상 경험뿐만 아니라 다른 사람들의 인지 구조를 반영하고 있기 때문에 다르게 보일 가능성이 높다. 이처럼 콘셉트 맵핑은 학생과 교직원 모두의 조정이 필요한 학습전략이다. 

Teaching staff may see this as unreliability in the maps, when in reality the idiosyncratic nature of the maps demonstrates how the students learning has grown and changed over time. This is analogous to the process that takes place in the development of expertise. As doctors develop their level of expertise, their understanding of particular topics grows and deepens. If one asks two experts to develop maps on the same topic, it is likely that these maps will look different because they reflect the cognitive structures of different people, as well as the varied clinical experiences of those experts. As such, concept mapping is a learning strategy that requires adjustment on the part of both students and teaching staff.

 

 

방법

METHODS

 

표 S1은 본 검토를 위해 선정된 35조 13~47항의 목적과 결과를 간략히 설명한다.

Table S1 briefly describes the purpose and findings of the 35 articles1347 selected for this review.

 

결과

RESULTS

 

여기서 검토한 연구는 개념 맵이 의학 교육에서 네 가지 주요 방식으로 기능한다는 것을 나타낸다.

The studies reviewed here indicate that concept maps function in four main ways within medical education:


1 의미 있는 학습을 촉진하는 방법 

2 학습을 위한 추가 자원을 제공함 

3 강사가 학생들에게 피드백을 제공할 수 있도록 함

4 학습 및 성과 평가를 수행한다.


1 by promoting meaningful learning; 

2 by providing an additional resource for learning; 

3 by enabling instructors to provide feedback to students, and

4 by conducting assessment of learning and performance.

 

의미있는 학습을 촉진

Promoting meaningful learning

 

개념 지도는 25년 이상 45년 이상 교육에서 성공적으로 사용되었으며, 증가하는 문헌은 의학 교육에서 사용이 증가하고 있음을 보여준다. 대다수의 기사는 개념 맵이 학습자의 의미 있는 학습, 비판적 사고 및 문제 해결의 개발을 촉진한다는 것을 나타낸다.

Concept maps have been successfully used in education for over 25 years45 and a growing body of literature indicates that their use in medical education is increasing. The vast majority of articles indicate that concept maps foster the development of meaningful learning, critical thinking and problem solving in the learner.13,1720,22,24,26,37,40,42,46


의미 있는 학습은 학생이 새로운 지식을 이전의 지식과 연결시켜 더 통합된 인지 지식 구조를 만들 때 일어난다. 개념 맵을 사용하여 학생들은 기본 및 임상 과학 정보를 통합하고, 선형적 사고 패턴에서 보다 통합된 전체론적 패턴으로 이동하고, 그들의 학문 내에서 비판적 사고 능력을 보여줄 수 있었다.

meaningful learning occurs when the student links new knowledge with previous knowledge, thereby creating more integrated cognitive knowledge structures. through the use of concept maps, students were able to integrate basic and clinical science information, move from linear thinking patterns to more integrated holistic patterns, and demonstrate critical thinking abilities within their disciplines. 


이러한 한계에도 불구하고, 많은 흥미로운 발견들이 이 검토에서 명백하다. 첫째, 개념 맵은 의료 및 보건 전문직 교육에서 [문제 기반 학습(PBL) 접근법]의 제공에 통합되고 있다. Hsu25는 PBL의 토론 구성요소 내에서 콘셉트 맵의 성공적인 사용을 보고한다. 그녀의 결과는 ‘실험집단이 통제집단에 비해 개념지도에 대한 명제 및 계층 점수가 상당히 높았다’.25 Rendas 등.37은 유사한 결과를 설명하고 ‘개념지도의 사용이 PBL 과정 내에서 의미 있는 학습을 자극했다는 것을 나타내는 것으로 나타난다’고 보고했다. 그들은 'PBL과 개념 매핑은 정보 수집, 가설 생성, 그리고 개념 맵에서 시각화된 광범위한 지식 요구의 노출에 허용된 학습 문제의 식별 방법 때문에 상호 보완적인 도구로 입증되었다.'37

Despite these limitations a number of interesting findings are apparent in this review. Firstly, concept maps are being integrated into the delivery of problem-based learning (PBL) approaches in medical and health professions education. Hsu25 reports the successful use of concept maps within the discussion component of PBL. Her results indicate that the experimental group had significantly higher proposition and hierarchy scores for their concept maps compared with the control group.25 Rendas et al.37 describe similar findings and report that their results appear to indicate the use of concept maps stimulated meaningful learning within a PBL course. They go on to state: PBL and concept mapping proved to be complementary tools because the method of information gathering, hypothesis generation, and identification of learning issues allowed for the exposure of a broad range of knowledge needs that were visualised in the concept maps.37 


둘째로, 개념 맵은 [그룹과 협업 학습]의 발전을 촉진하기 위해 의료 및 보건 전문직 교육에 사용되고 있다. 예를 들어 Kinchin과 Hay27은 학생들의 컨셉 맵을 분석할 때 세 가지 주요 패턴이나 구조를 식별하는 정성적 연구를 수행했다. 이러한 패턴이나 구조물(스포크, 체인, 네트)은 서로 다른 발달 이해의 지표로 식별되었다. Kinchin과 Hay28은 협업 학습에서 이 작업과 개념 매핑을 확장하기 위해 계속되었다. 연구결과는 매우 다른 지식구조를 가진 3인 1조로 이루어진 학생들이 더 유사한 지식구조를 가진 그룹에 속한 학생들보다 학습에 더 큰 향상을 보인다는 것을 보여주었다. 

Secondly, concept maps are being used in medical and health professions education to foster the development of group and collaborative learning. For example, Kinchin and Hay27 performed a qualitative study that identified three major patterns or structures when analysing students concept maps. These patterns or structures (spoke, chain and net) were identified as indicators of different developmental understanding. Kinchin and Hay28 went on to expand this work and study concept mapping in collaborative learning. Findings indicated that students who were in triads of individuals with very different knowledge structures showed greater improvements in their learning than students who were in groups with more similar knowledge structures.

 

셋째로, 최근의 연구는 특정한 학습 스타일을 가진 학생들이 개념 지도의 사용으로부터 이익을 얻는지 그리고 어떻게 얻는지 조사했다.

Thirdly, recent research has examined if and how students with specific learning styles benefit from the use of concept maps.


이 연구자들은 개념 맵이 다종다양한 학습 스타일을 가진 학습자 그룹 전반에 걸쳐 잘 기능할 수 있음을 나타낸다.

These researchers indicate that concept maps can function well across groups of learners with multiple and varied learning styles.


마지막으로, 두 가지 연구는 의학 교육 분야에서 흥미롭고 새로운 이슈를 제기했는데, 이것은 추가적인 연구와 탐구가 필요할 것이다. 한 연구에서 All과 Huycke14는 시간의 경과에 따른 학생의 사고의 진화를 보여주기 위해 대학원 교육에 직렬 개념 지도를 사용했다. All과 Huycke14는 직렬 개념 맵을 '지정된 기간에 걸쳐 단일 개념에 대해 생성된 일련의 진화하는 맵'으로 정의한다.

Finally, two studies have raised interesting and new issues within the field of medical education that will need additional research and exploration. In one of the studies, All and Huycke14 used serial concept maps in graduate education to demonstrate the evolution of a students thinking over time. All and Huycke14 define a serial concept map as a series of evolving maps created about a single concept over a specified time period.


또한 곤자'레즈 외 연구진.21의 새로운 연구는 개념 지도를 사용하는 그룹이 문제 해결 시험에서 상당히 더 잘 수행되었음을 나타낸다. 그들의 객관식 시험 성적은 전통적인 그룹의 성적과 비슷했다.

In addition, new work by Gonza´lez et al.21 indicate that the group using concept maps performed significantly better on the problem-solving examination. Their performance on the multiple-choice examination was similar to that of the traditional group. 


West et al.,2는 개념 맵을 사용한 평가가 더 표준화된 테스트를 사용한 평가와 다른 인지 영역을 측정하고 있을 수 있음을 나타낸다. 곤자'레즈 외 연구진.21 연구에서 더욱 흥미로운 것은 문제 해결에서 개념 지도를 사용하는 것이 가장 낮은 인지 능력을 가지고 연구에 참가한 학생들에게 영향을 미친다는 사실이다. 

West et al.,2 indicate that assessments with concept maps may be measuring different cognitive domains from assessments with more standard tests. Even more interesting in the Gonza´lez et al.21 study is the finding that using concept maps in problem solving had the most impact on students who came into the study with the lowest cognitive competence.

 

학습을 위한 리소스 제공

Providing a resource for learning

 

학습을 위한 자원으로서, 개념 지도는 학생들이 특정한 지식의 기관과 관련된 개념에 대한 숙달된 지식을 보여줄 수 있게 해준다. 개념 매핑은 자신의 이해에 대한 반성을 촉진하는 창조적인 활동이다.6 Pinto와 Zeitz에 따르면, 개념 지도는 학생들이 중요한 개념의 조직과 통합을 쉽게 이해할 수 있게 해준다. 토레 외 연구진은 학생들이 보고한 것에 주목한다: '개념 지도는 패턴 인식, 주제에 대해 폭넓게 생각할 수 있는 능력, 그리고 마지막으로 지식 통합을 가능하게 하는 사고 시스템을 개발함으로써 창의성을 허용했다.'

As a resource for learning, concept maps allow students to demonstrate their mastery of the concepts associated with a particular body of knowledge. Concept mapping is a creative activity that fosters reflection on ones own understanding.6 According to Pinto and Zeitz,9 concept maps can facilitate students understanding of the organisation and integration of important concepts. Torre et al.40 note that students reported: ‘…the concept maps allowed for creativity by developing a system of thinking that included pattern recognition, the ability to think broadly on topics, and finally, allowed for knowledge integration. 


Laight30은 미리 준비된 개념 맵이 유용한지 물었다. 많은 학생들이 미리 준비된 개념 맵이 학습에 유용하다고 보고했다. 따라서, Laight30에 따르면, 미리 준비된 개념 맵은 대규모 수업에서 대안적이고 혁신적인 학습과 교수 기회와 방법을 제공할 수 있다.

Laight30 asked whether Pre-prepared concept maps were useful . A significant majority of students reported that pre-prepared concept maps were useful to their learning. Therefore, according to Laight30, pre-prepared concept maps may offer alternative and innovative learning and teaching opportunities and methods in large classes. 


Patrick et al.36과 Weiss와 Levison41은 모두 개념 맵을 학습과 커리큘럼 개발을 위한 자원으로 설명한다. Weiss와 Levison은 또한 지도들이 학과와 학과들 간의 커리큘럼 주제 통합에 도움이 될 수 있다는 것을 보여준다.

Patrick et al.36 and Weiss and Levison41 both describe concept maps as a resource for learning and curriculum development. Weiss and Levison also indicate that the maps can serve to assist with the integration of curricular themes across and among departments and disciplines,


카스트로 외 연구진 15명과 윌렘슨 외 연구진.43은 개념 맵이 지식 모델 개발에 기능할 수 있음을 나타낸다. 카스트로 외 연구진 15명은 어떻게 그들이 영양학 커뮤니티 내에서 지식 온톨로지를 구축하기 시작했는지 묘사한다. Willemsen 외 연구진.43은 방대한 양의 정보를 시각화할 수 있는 지식 모델에서 155개의 개념 맵을 함께 만들었다.43 

Castro et al.15 and Willemsen et al.43 indicate that concept maps can function in the development of knowledge models. Castro et al.15 describe how they used concept maps to begin building a knowledge ontology within the nutrigenomics community. Willemsen et al.43 created 155 concept maps linked together in a knowledge model that allows for the visualisation of vast amounts of information.43

 

피드백 제공

Providing feedback

 

피드백과 관련하여 개념 매핑은 학생들이 주제를 명확히 하는 데 도움을 줄 수 있으며, 교사들은 지도를 사용하여 피드백을 제공하고 학생들의 오해를 확인할 수 있다.38 Kinchin과 Hay에 따르면, 27개의 콘셉트 맵은 학생과 교사 사이의 의사소통을 위한 도구로 보여지는데, 이것은 학생들의 연결 구조를 보여준다.

In relation to feedback, concept mapping can assist students in clarifying a topic, and teachers can use maps to provide feedback and identify student misunderstandings.38 According to Kinchin and Hay,27 concept maps are seen as a tool for communication between student and teacher which reveals the students constructions of connections. 


에드몽슨과 스미스18 학생의 거의 절반은 개념 지도를 만드는 것이 효과적인 학습 장치라는 데 동의했다. 개념지도는 교사에게 학생들의 과오를 이해시켜 주었고, 이에 따라 교사가 피드백을 제공하고 내용과 성과를 명확히 할 수 있게 되었다.

Edmondson and Smith18 Almost one-half of the students agreed that creating a concept map was an effective learning device. As a teaching method, the concept map provided the teacher with an understanding of the students errors, thereby allowing the teacher to provide feedback and clarify both content and performance. 


모스와 주트라스35. 통제 그룹은 개념 맵을 구성하지 않았다. 두 번째 그룹은 개별적으로 맵을 작성했고, 세 번째 그룹은 개별적으로 맵을 생성한 다음 피어 및 강사 피드백을 제공하는 팀으로 맵을 논의했다. 이 연구의 결과는 ‘ 피드백이 없는 개념 맵은 학생들의 성적에 큰 영향을 미치지 않았다’는 것을 나타내지만, 피드백이 있는 개념 맵은 학생들의 문제 해결 능력 및 실패율의 감소를 측정할 수 있는 수준으로 증가시켰다.3

Morse and Jutras35 . The control group did not construct concept maps; the second group constructed maps individually, and the third group created maps individually and then discussed them in teams that provided both peer and instructor feedback. Results from this study indicate that concept maps without feedback had no significant effect on student performance, whereas concept maps with feedback produced a measurable increase in student problem solving performance and a decrease in failure rates.35 


노박과 고윈3은 개념 매핑의 주요 목적이 교육자와 학생 사이에 공유된 의미의 개발을 촉진하는 것이라고 생각한다. 강사들과 학생들이 개념 지도에 대해 토론하고, 생각하고, 수정함에 따라, 그들의 학습과 공유된 의미 부여 과정은 깊어진다.

Novak and Gowin3 believe that a major purpose of concept mapping is to foster the development of shared meaning between the instructor and the student. As instructors and students discuss, think about and revise concept maps, their learning and shared meaning-making processes deepen.

 

학습과 수행능력 평가

Assessment of learning and performance

 

개념 맵은 다양한 연구에서 학생 임상 성과를 확인하고, 학생의 사고와 추론 과정을 이해하고, 학생 맵을 전문가 맵과 비교하기 위한 평가 도구로 사용되어 왔다. Williams44는 개념 맵이 단지 학습의 최종 과정으로서가 아니라 학습을 평가하는 데 사용될 수 있다고 지적한다. 그러나 로버츠에 따르면 38 ‘개념지도는 스타일이 크게 달라질 수 있기 때문에 특정 유형의 지도에 맞는 채점 방법을 선택해야 한다’고 한다.

Concept maps have been used in a variety of studies as an assessment tool to identify student clinical performance, understand student thinking and reasoning processes, and compare student maps with expert maps. Williams44 notes that concept maps can be used to assess learning rather than just as an end process of learning. However, according to Roberts,38 because maps can vary greatly in style, a scoring method which suits the particular type of map must be chosen. 


Daley et al.17은 개념 지도를 학습 전략과 평가 전략 둘 다로 사용했다. 결과는 이번 학기의 첫 번째와 마지막 컨셉 맵 점수 사이에 통계적으로 중요한 변화가 있음을 나타낸다. 힉스-모어와 파스티리크23도 컨셉 맵으로 비판적 사고 수준을 평가하는 연구를 실시했다.

Daley et al.17 used concept maps as both a learning and an assessment strategy. Results indicate a statistically significant change between the first and last concept map scores of the semester. Hicks-Moore and Pastirik23 also conducted a study to assess the level of critical thinking with concept maps. 


West et al..2 Daley et al.,17 West et al.2에 의해 수행된 연구는 개념 매핑 평가(CMA) 점수는 과정 지시 후에 향상되었지만, CMA 점수는 최종 과정 또는 표준화된 시험 점수와 관련이 없다는 것을 발견했다. West et al.에 따르면, 2 '긍정적 상관관계가 없다는 것은 CMA가 객관적 검사를 수행하는 것과 다른 지식 특성을 측정한다는 것을 의미한다'고 한다. 따라서 CMA는 학생이나 레지던트가 기존의 시험이 할 수 없는 방식으로 지식을 어떻게 조직하고 사용하는지를 평가할 수 있는 잠재력을 가지고 있다.

study carriedout by West et al.2 Like Daley et al.,17 West et al.2 found that concept mapping assessment (CMA) scores improved after course instruction; however, CMA scores did not correlate with final course or standardised test scores. According to West et al.,2 the absence of a positive correlation suggests that CMA measures a different knowledge characteristic than do multiple-choice examinations; therefore, CMA has the potential to evaluate how students or residents organise and use knowledge in a way that traditional tests cannot. 


West et al.10은 구조적 채점 방법과 관계적 채점 방법을 연구함으로써 이 작업을 확장했다. 

    • 구조 점수는 지도의 계층 구조, 개념 링크 및 교차 링크 구성에 기초한다. 구조 채점에서는 4개 범주의 유효한 각 구성 요소에 대한 점수를 부여한다. 

    • 관계 점수는 지도의 전체 구조와 관계 없이 각 구성요소의 품질이나 중요도에 기초한다.

West et al.10 expanded on this work by studying both a structural scoring method and a relational scoring method. 

    • Structural scoring is based on the maps organisation of hierarchical structure, concept links and cross-links. Structural scoring assigns points for each valid component in four categories. 

    • Relational scoring is based on the quality or importance of each component, with no regard to the overall structure of the map.

강사 지도와 학생 지도의 유사성은 지침에 따라 현저하게 증가했다. 

the similarity of student maps with instructor maps increased significantly following instruction.

 

그러나 부차적으로 맥가기 등은 전문가 지도에서 매우 다양한 내용을 보고하고 있다.33

However, as a side note, McGaghie et al. report a wide variety in the maps of experts.33


가장 최근에는 CMA에 대한 이해가 고무와 복수 채점 시스템 개발로 옮겨갔다. 예를 들어, Moni와 Moni34는 지도의 내용, 논리 및 표시에 기초한 평가 루브릭을 개발했다.

Most recently, the understanding of CMAs has moved to the development of rubrics and multiple scoring systems. For example, Moni and Moni34 developed an assessment rubric based on the content, logic and presentation of the maps.


D'Antoni et al.16은 West et al.2에 의해 개발된 CMA 점수 시스템을 채택하고 지도의 깊이를 개념 링크, 교차 링크, 계층, 예제, 그림 및 색상에 기초하여 평가할 수 있다는 것을 발견했다.

DAntoni et al.16 adapted the CMA scoring system developed by West et al.2 and found that the depth of the map can be assessed based on concept links, cross-links, hierarchies, examples, pictures and colours.


스미니바산 외 연구진 39는 CMA의 신뢰성을 시험하기 위한 연구를 개발했다. 그들은 4개의 채점 시스템을 만들었고, 지도의 품질, 개념의 품질과 중요성, 그리고 하이브리드 시스템에 초점을 맞춘 채점 시스템은 유사한 신뢰성을 가지고 있었으며, 전체적으로 지도의 구조에만 초점을 맞춘 채점 시스템보다 더 신뢰성이 높다는 것을 발견했다. 

Srinivasan et al.39 developed a study to test the reliability of CMAs. They created four scoring systems and found that the scoring systems that focused on the quality of the map, on the quality and importance of concepts, and a hybrid system had similar reliability and were overall more reliable than the scoring system that focused on the structure of the map alone.

 

의학교육과 미래 연구를 위한 함의

IMPLICATIONS FOR MEDICAL EDUCATION AND FUTURE RESEARCH

 

이 리뷰에서 인용된 연구는 개념 맵이 의대생 학습에 도움이 될 수 있다는 것을 보여준다. 심사자들은 의학 교육에 이 전략을 사용하는 것의 해로운 영향을 나타내는 어떤 연구도 찾을 수 없었다.

The research cited in this review demonstrates that concept maps can assist in medical student learning. The reviewers could find no studies that indicate detrimental effects of using this strategy in medical education.  


마지막으로, 네스비트와 아데소프47이 언급하고 있듯이: ‘...투자자들은 학생들이 개념 지도와 함께 배우는 과정과 문제해결 전달, 응용, 분석, 개념적 변화와 학습 기술의 발전과 같은 더 높은 수준의 학습 목표에 미치는 영향을 검토해야 한다.' 우리는 의학 교육에서도 개념 지도와 임상 추론, 의료 문제 해결, 진단 오류 사이의 관계에 대한 추가 연구가 필요하다고 믿는다.

Finally, as Nesbit and Adesope47 state: ‘…investigators should examine the processes by which students learn with concept maps and their effects on higher-level learning goals such as problem-solving transfer, application, and analysis; conceptual change and the development of learning skills. We believe that further research into the relationships between concept mapping and clinical reasoning, medical problem solving and diagnostic errors in clinical practice is also needed in medical education.


노박과 캔 ̃as가 말한 것처럼: '처음에는 개념 맵이 정보의 또 다른 그래픽 표현으로 보일 수 있지만, 이 도구의 기초와 적절한 사용을 이해하면 사용자는 이것이 정말 심오하고 강력한 도구라는 것을 알게 될 것이다. 처음에는 단어의 단순한 배열처럼 보일 수도 있지만, 단어로 대표되는 개념을 체계화하는 데 주의가 사용되며, 명제나 사상이 잘 선택된 연결 단어로 형성되면, 좋은 개념 지도는 한 번에 간단하지만 심오한 의미를 지닌 우아하게 복잡하다는 것을 알게 된다.'12 

As Novak and Can˜as state: While at first glance concept maps may appear to be just another graphic representation of information, understanding the foundations for this tool and its proper use will lead the user to see that this is truly a profound and powerful tool. It may at first look like a simple arrangement of words into a hierarchy, but when care is used in organising the concepts represented by the words, and the propositions or ideas are formed with well-chosen linking words, one begins to see that a good concept map is at once simple, but also elegantly complex with profound meanings.12

 



 2010 May;44(5):440-8. doi: 10.1111/j.1365-2923.2010.03628.x. Epub 2010 Mar 30.

Concept maps in medical education: an analytical literature review.

Author information

1
Department of Administrative Leadership, School of Education, University of Wisconsin - Milwaukee, Milwaukee, Wisconsin, USA. bdaley@uwm.edu

Abstract

OBJECTIVES As the medical profession continues to change, so do the educational methods by which medical students are taught. Various authors have acknowledged the need for alternative teaching and learning strategies that will enable medical students to retain vast amounts of information, integrate critical thinking skills and solve a range of complex clinical problems. Previous research has indicated that concept maps may be one such teaching and learning strategy. This article aims to: (i) review the current research on concept maps as a potential pedagogical approach to medical student learning, and (ii) discuss implications for medical student teaching and learning, as well as directions for future research. METHODS The literature included in this review was obtained by searching library databases including ACADEMIC SEARCH, ERIC, EBSCOHost, PsychINFO, PsychARTICLES, PubMed/MEDLINE, CINAHL and EMBASE. This literature review is a summary of both conceptual and empirically published literature on the uses of concept mapping in medical education. RESULTS The 35 studies reviewed here indicate that concept maps function in four main ways: (i) by promoting meaningful learning; (ii) by providing an additional resource for learning; (iii) by enabling instructors to provide feedback to students, and (iv) by conducting assessment of learning and performance. CONCLUSIONS This review provides ideas for medical school faculty staff on the use of concept maps in teaching and learning. Strategies such as fostering critical thinking and clinical reasoning, incorporating concept mapping within problem-based learning, and using concept mapping in group and collaborative learning are identified. New developments in medical education include the use of serial concept mapsconcept maps as a methodology to assist learners with lower cognitive competence, and the combination of group concept maps with structured feedback.

PMID:
 
20374475
 
DOI:
 
10.1111/j.1365-2923.2010.03628.x


+ Recent posts