반대편-질환에-존재함: 의학교육과 임상진료의 현상학적 존재론(Teach Learn Med, 2023)
Being-Opposite-Illness: Phenomenological Ontology in Medical Education and Clinical Practice
John Humm

소개
Introduction

질병은 환자에게만 일어나는 일입니다. 이것은 의대생으로서 일찍부터 배우는 중요한 교훈입니다.
Illness is something that happens only to patients. This is an important lesson you learn early on as a medical student.

헨리 마쉬1(p215)
Henry Marsh1(p215)

해를 끼치지 마라
Do No Harm

현상학은 의학에 유용한 도구입니다. 질병에 대한 생생한 경험에 대한 서술적이고 상세한 설명은 정량적인 과학적 탐구만으로는 놓칠 수 있는 특징을 밝혀냅니다.2 현상학은 인간 존재론의 근본적인 측면을 밝혀낼 수 있습니다.3 이 작업에서 '존재론'과 '존재론적'은 하이데거의 존재에 대한 연구를 의미합니다.4 우리의 존재론 또는 존재 방식의 다른 측면이나 변화는 우리가 세계를 경험하는 방식을 변화시킵니다. 이러한 개념을 처음 접하는 독자들을 위해 간단한 예를 들자면, 드 보부아르의 여성됨 연구는 여성으로서의 경험에 대한 현상학적 고찰을 기반으로 합니다.5 드 보부아르는 자신과 다른 여성들의 일상적 경험에 대한 고찰을 통해 "여성으로 태어나는 것이 아니라 오히려 여성이 되는" 존재론적 변화로서 여성이 되는 것을 제시합니다.5(295쪽) 이 연구는 이러한 접근법을 의과대학생들의 경험에 적용하고 있습니다. 의대생으로서 환자와 상호작용하는 경험과 이것이 시간이 지남에 따라 어떻게 변화했는지에 대한 현상학적 설명을 제공하는 것이 저의 의도입니다. 이를 통해 의사의 존재론에 대한 논의를 시작하고자 합니다.  
Phenomenology is a useful tool for medicine. Descriptive, detailed accounts of lived experiences of illness bring to light features that can be missed by quantitative scientific inquiry alone.2 Phenomenology can reveal underlying aspects of human ontology.3 Ontology’ and ‘ontological’ in this work refer to Heidegger’s study of being developed.4 Different aspects of, or changes to, our ontology, or way-of-being, change the way we experience the world. To use a simplified example for readers new to these concepts: de Beauvoir’s study of being female is based on a phenomenological examination of her experience of being a woman.5 De Beauvoir presents becoming a woman as an ontological transformation over time, “one is not born, but rather becomes, a woman,” in part through her examination of her and other women’s everyday experiences.5(p295) This work applies this approach to the experience of medical students. My intention is to provide a phenomenological description of my experience as a medical student interacting with patients, and how this has changed over time. By doing so, I intend to open a discussion on the ontology of the doctor.

질병은 근본적으로 세상을 경험하는 방식에 영향을 미칩니다.2 하이데거의 용어를 빌리자면, 질병은 환자의 세계 내 존재에 영향을 미칩니다. 저는 질병을 목격하고 치료하는 것 또한 존재론적 영향을 미칠 수 있다고 제안합니다.4 저는 이것이 의사에게 독특한 존재 방식을 초래한다고 주장하며, 이를 위해 질병-반대편의-존재라는 용어를 사용합니다. 간단히 말해, 질병-반대편의-존재환자를 객관화함으로써 발생하는 존재론적 결과를 말하는데, 이는 질병을 보는 것에 대한 신체적 반응을 줄이기 위해 필요한 것으로 보입니다. 
Illness fundamentally affects one’s way of experiencing the world.2 To use Heidegger’s term: it affects a patient’s being-in-the-world. I suggest witnessing and treating illness can also have ontological effects.4 I argue this results in a unique way of being for the doctor, for which I use the term being-opposite-illness. In brief, being-opposite-illness refers to the ontological result of objectifying patients, which appears to be required to reduce one’s bodily response to seeing illness.

현상학은 의학교육에도 유용한 도구로 활용되고 있습니다.6,7 특히, 현상학은 일상적인 경험을 주의 깊게 살펴봄으로써 겉으로 보기에 별것 아닌 사건이 그 경험의 근본 구조를 어떻게 숨길 수 있는지를 보여줍니다. 이러한 영향력을 인정하고 그에 따라 행동하면 의학교육자가 교육 실습에 대한 새로운 접근 방식을 만들어내는 데 도움이 될 수 있습니다. 또한 이 작품은 철학을 배우고 읽으면서 의대생인 제가 환자를 보는 방식이 어떻게 바뀌었는지 보여줍니다. 
Phenomenology has also been shown to be a useful tool for Medical Education.6,7 Specifically, phenomenology’s careful examination of everyday experiences demonstrates how seemingly unremarkable occurrences can hide underlying structures of those experiences. Acknowledging and acting on these influences can help medical educators produce renewed approaches to educational practice. Furthermore, this work shows how learning and reading philosophy changed the way I, a medical student, see patients.

이 작업은 세 부분으로 나뉩니다.

  • 첫 번째 섹션에서는 철학적 방법으로서의 현상학을 소개하고 신체에 대한 생물 의학적 관점과 현상학적 관점의 차이점을 강조합니다.
  • 섹션 2에서는 현상학적 설명의 층위를 구축하기 위한 세 가지 유형의 경험, 즉 타자와의 기본적인 만남(우리가 다른 사람과 상호작용하는 방식), 질병과의 만남(우리가 아프거나 다친 사람을 경험하는 방식), 임상적 만남(의사가 환자와 상호작용하는 방식)에 대해 설명합니다. 임상적 만남과 일반인이 질병을 접하는 방법의 핵심적인 차이점은 질병을 대면하는 것입니다.
  • 섹션 3에서는 두 의사의 1인칭 이야기를 살펴봅니다: 헨리 마쉬1와 폴 칼라니티입니다.8 이 두 의사의 이야기는 '반대되는 질병'과 그것이 의사와 의사-환자 관계에 미치는 영향에 대한 강력한 예시를 제시합니다.

This work is split into three sections.

  • In section one, I introduce phenomenology as a philosophical method and stress the differences between biomedical and phenomenological views of the body.
  • In section two, I describe three types of experience to build up layers of phenomenological description: the basic encounter with the Other (how we interact with any other person), the encounter with illness (how we experience someone who is ill or injured), and the clinical encounter (how doctors interact with patients). Being-opposite-illness is a key difference between the clinical encounter and how the public may encounter illness.
  • In section three, I explore first-person accounts from two doctors: Henry Marsh1 and Paul Kalanithi.8 I suggest both accounts provide powerful illustrations of being-opposite-illness and its effect on doctors and the doctor-patient relationship.

용어를 정의하고 설명의 한계를 설정하기 위해.

  • '타자'는 우리가 만나는 또 다른 사람입니다.9
  • '의사'는 서양의 현대 전통 의료에서 훈련된 임상의를 의미합니다.
  • '환자'는 질병을 가진 개인을 의미합니다.
    • 질병disease은 "신체의 생리적 기능 장애"를 의미합니다.2(p1) 이 '병리학적 해부학'은 의학적 시선의 초점입니다.10(p152)
    • 대신, 질환illness은 "심각하고 만성적이며 삶을 변화시키는 불건강"이라는 주관적인 삶의 경험을 의미합니다.2(p2) 우리는 이것이 환자와 의사가 질병과 상호작용하는 방식 사이에 중요한 구분임을 알게 될 것입니다.
  • 임상적 만남이란 의사와 환자 간의 대면 만남을 의미합니다. 여기에는 상담과 신체 검사는 물론 수술과 같이 의사가 직접 대면하여 수행하는 치료가 포함됩니다.
  • 또한 일반 대중이 질병과 만나는 과정도 탐구합니다. 여기서 '일반인'이란 의학적 교육을 받지 않은 일반인을 의미합니다.

마지막으로, 이 연구는 저나 특정 의사에 대한 단일 임상 사례와 그 존재론적 영향에 대한 조사가 아닙니다. 그보다는 임상적 경험, 의사, 환자에 대한 일반화를 시도하여 필수적인 특징을 파악하고 마지막 섹션에서 텍스트 분석을 통해 이를 뒷받침합니다. 
To define the terms and set out the limits of my description.

  • The ‘Other’ is another person which we encounter.9 
  • ‘Doctor’ refers to the trained clinician of western contemporary conventional healthcare.
  • ‘Patient’ refers to an individual with illness.
    • Disease refers to “physiological dysfunction of the body.”2(p1) This ‘pathological anatomy’ is the focus of the medical gaze.10(p152) 
    • Instead, illness denotes the subjective lived experience of “serious, chronic, and life-changing ill health.”2(p2) We will see this be an important separation between the way patients and doctors interact with illness.
  • By clinical encounter, I refer to the face-to-face meeting between doctor and patient. This includes the consultation and physical examination, as well as treatments conducted by doctors face-to-face, such as surgery.
  • I also explore the general public’s encounter with illness. By ‘public’ I refer to non-medically trained members of the general population.

Lastly, this is not an examination of a single clinical encounter and its ontological effects upon me or a specific doctor. Rather, I attempt generalization of the clinical encounter, doctor, and patient to identify essential features and support this with textual analysis in the final section.

다른 일인칭 현상학과 마찬가지로, 제 경험은 백인, 유능한 신체, 시스젠더 남성으로서의 제 구체화embodiment에 의해 결정됩니다. 이러한 범주에 속하지 않는 사람들의 생생한 경험은 저와 다를 것입니다. 따라서 여기서 제가 설명하는 것은 단지 출발점에 불과합니다. 또한, 저의 현상학적 분석은 학부 시절 의과대학을 다니며 겪은 생생한 경험에 뿌리를 두고 있으며, 그 경험으로부터 확장됩니다. 의학교육은 국제적, 기관적, 개인적 수준에서 매우 다양합니다. 따라서 저는 현대 서양의 생물 의학에서 훈련받은 모든 사람들에게 공통적인 의학교육과 임상 실습의 측면을 끌어내려고 노력했습니다. 
As with any first-person phenomenology, my experience is dictated by my embodiment as a white, able-bodied, cis-gender male. The lived experience of those who do not identify with these categories will be different from my own. Thus, my description here intends to be only a starting point. Furthermore, my phenomenological analysis is rooted in, and spreads outwards from, my lived experience through medical school as an undergraduate. Medical education varies significantly at the international, institutional, and individual levels. Hence, I have attempted to draw on aspects of medical education and clinical practice common to all those who have trained in modern Western biomedicine.

섹션 1: 배경
Section 1: background

데카르트, 생물의학, 객관화
Descartes, biomedicine, and objectification

데카르트가 신체를 확장된 존재로 규정한 것은 의학에 대한 서양의 과학적 접근 방식이 발전하는 데 매우 중요한 역할을 했습니다. 데카르트는 영혼은 신체가 아닌 비물질적인 정신에 붙어 있다고 주장하여 신체를 비종교적인 대상으로 만들었습니다. 이를 통해 이전에는 금지되었던 시체 해부를 통해 신체를 과학적으로 연구할 수 있게 되었습니다.11 푸코10는 해부학의 발달에 따른 의료 행위의 변화를 이야기합니다. 그는 '병리학적 해부학'에 대한 과학적 연구가 질병에 대한 새로운 이해를 가능하게 했고, 이는 환자 개개인의 추상화를 촉진했다고 주장한다.10(152쪽) 해부를 통해 처음으로 "서구인은 자신의 눈에 자신을 과학의 대상으로 구성할 수 있었다."10(243쪽) 따라서 푸코의 대상화하는 의료 시선의 발전은 데카르트적 존재론에 의존했다. 
Descartes’ designation of the body as res extensa was vital for the development of the western scientific approach to medicine. Descartes argued the soul was attached to the immaterial mind, not the body, making the body a non-religious object. This allowed the body to be studied by science through the dissection of cadavers, which was previously prohibited.11 Foucault10 recounts the resulting changes in medical practice following the development of dissection. He argues the scientific study of ‘pathological anatomy’ enabled a new understanding of disease which encouraged abstraction of the individual patient.10(p152) Through dissection, for the first time, “western man could constitute himself in his own eyes as an object of science.”10(p243) Therefore, the development of Foucault’s objectifying medical gaze depended on cartesian ontology.

현대의 생물심리사회적 임상 실습은 동일한 존재론적 가정을 유지하며 신체-객체에 초점을 맞추고 있습니다.11,12 따라서 객관화는 2.3절에서 살펴본 임상적 만남의 필수적인 부분이 됩니다. 다른 철학 작품들에서도 임상 검사가 객관화되는 촉감, 시선, 청진을 가지고 있음을 보여주었습니다.10,13-15 또한 푸코10 는 병력기록의 언어가 증상(환자의 생생한 경험)에서 벗어나 신체-객체의 기저질병의 식별자로 이동하면서, 주로 개별 주체로서의 환자를 건너뛰는 변화를 언급하고 있습니다. 
Modern biopsychosocial clinical practice keeps the same ontological assumptions and focuses on the body-object.11,12 Thus, objectification becomes an essential part of the clinical encounter explored in Sec. 2.3. Other works of philosophy have shown the clinical examination to have an objectifying touch, gaze, and auscultation.10,13–15 Furthermore, Foucault10 recounts changes in the language of the history-taking: moving away from symptoms (lived patient experiences) and toward identifiers of underlying disease of the body-object, largely bypassing the patient as an individual subject.

신체와 질병의 현상학
Phenomenology of the body and illness

현상학은 우리에게 나타나는 대로 경험을 주의 깊게 연구하는 학문입니다. 이러한 강조점은 데카르트와 비교하여 신체에 대한 태도를 상당히 다르게 만듭니다.2,16 우리가 일상에서 사물 또는 현상과 상호 작용하는 방식을 신중하게 고려할 때, 우리의 마음과 신체는 분리할 수 없습니다. 그것들은 내가 나라고 이해하는 하나의 존재의 일부입니다. 매일 나에게 있는 그대로의 내 몸, 즉 살아있는 몸은 우리가 세상을 경험할 수 있게 해줍니다. 나는 내 몸을 마치 사물처럼 만지고 경험할 수 있지만, 내가 먼저 체화되어 있기 때문에 만질 수 있습니다.16,17 
Phenomenology is the careful study of experience as it appears to us. This emphasis results in significantly different attitudes to the body compared to Descartes.2,16 When we carefully consider how we interact with objects, or phenomena, in the everyday, our mind and body are inseparable. They are part of one being which I understand to be myself. My body as it is for me each day, or the lived body, enables our experience of the world. I can touch and experience my own body as if it were an object, but I can only touch because I am first embodied.16,17

하이데거4는 현상학을 사용하여 인간 존재를 가능하게 하는 근본적인 구조 또는 '존재'의 방식을 탐구합니다. 그는 독일어로 완전히 통일된 존재 방식을 설명하기 위해 긴 신조어를 만들어 냈습니다. 이 단어들은 원래의 의미를 유지하기 위해 영어로 번역할 때 하이픈으로 연결됩니다. 세계-안-존재는 인간이 세계 자체와 분리될 수 없으며, 우리가 항상 세계 안에서 이미 자신을 발견하는 방식을 설명합니다. 이것은 존재의 본질적이고 피할 수 없는 부분입니다.4 하이데거의 연구를 바탕으로 사르트르9는 일상적인 세계 경험에서 침묵-속-지나쳐버리는 신체에 대해 설명합니다.

  • 내 몸은 내 관심의 초점이 되는 경우는 거의 없으며, 그 대신에 내가 하고 있는 일을 완수할 수 있게 해주는 배경이 됩니다.
  • 이와는 대조적으로, 질병에 걸리면 우리의 프로젝트는 중단되고 몸은 더 이상 침묵 속에서 지나치지 않고 세계 안에서 하나의 대상으로서 자신을 드러내고 우리의 주의를 끌게 됩니다.2,18,19 질병은 또한 우리가 세계와 상호 작용하는 방식에 영향을 미치므로 세계-속-존재에 영향을 미칩니다.2,18

다음 섹션에서는 타자에서 질병을 목격하는 것을 제안하며, 몸은 질병에서와 마찬가지로 더 희미하고 미묘하지만 대상으로서 자신을 다시 드러냅니다.
Heidegger4 uses phenomenology to examine the underlying structures or ways of ‘being’ which make human existence possible. In German, he forms long new words intended to describe complete unified ways of being. These are hyphenated when translated to English to maintain this original meaning. Being-in-the-world describes human inseparability from the world itself and how we always already find ourselves within the world. This is an essential, unavoidable part of being.4 Building on the work of Heidegger, Sartre9 describes the body as normally passed-by-in-silence in my everyday experience in the world.

  • My body is rarely the focus of my attention, instead, in the background, it enables me to complete whatever task I happen to be doing.
  • In contrast, in illness, our projects are interrupted, and the body is no longer passed-by-in-silence, it reveals itself as an object within the world and draws our attention.2,18,19 Illness also affects how we interact with the world and thus effects our being-in-the-world.2,18 

In the next section, I suggest witnessing illness in the Other, the body again reveals itself as an object, as it does in illness, however more faintly and subtly.

툼스18는 임상 현장에서 의사와 환자가 질병을 대하는 서로 다른 방식에 대해 관찰합니다. 툼스에게 있어 의사는 질환의 특정 측면에 집중하고, 이를 질병 진단으로 '주제화'합니다. 우리가 어떤 경험을 어떻게 주제화하는지는 궁극적으로 우리의 전기적 상황에 의해 좌우되는 마음의 습관에 달려 있습니다.18 따라서 의사가 질병신체-대상에 집중하는 방식은 의사-존재, 즉 의학교육에 따라 달라지며 그 결과입니다. 결정적으로, 투움스는 의사의 구체화된 경험에 대한 자세한 설명을 제공하지 않습니다. 따라서 저는 의사의 구체화가 임상적 만남 자체에 영향을 미치고, 임상적 만남이 의사의 구체화에 영향을 미친다는 것을 보여드리려고 합니다.
Toombs18 makes observations about the different ways doctors and patients attend to illness within the clinical encounter. For Toombs, doctors focus upon certain aspects of illness and ‘thematise’ it into a diagnosis of disease. How we thematise any experience is ultimately dependent upon habits of mind, which are dictated by our biographical situation.18 Therefore, the way in which doctors focus on disease and the body-object is dependent on, and results from, their being-a-doctor, and thus their medical education. Crucially, Toombs does not provide a detailed description of the embodied experience of the doctor. Therefore, I attempt to show the embodiment of the doctor influences the clinical encounter itself, and the clinical encounter influences the doctor’s embodiment.

섹션 2: 임상적 만남
Section 2: the clinical encounter

기본적인 만남
The basic encounter

다른 사람에 대한 나의 경험은 사물에 대한 나의 경험과 다릅니다. 나는 체화된 의식으로서 타자의 행동을 통해 다른 개인(또는 타자)이 나처럼 자신의 목표와 프로젝트를 향해 나아가는 것을 봅니다.17 역동적이고 복잡하며 체화된 행동에서 타자를 나와 같은 존재로 봄으로써 나는 나 자신이 그들과 같은 존재임을 깨닫습니다. 타자의 생동감 있는 행동을 통해 나는 타자가 다른 어떤 대상처럼 행동하지 않으며, 나 역시 마찬가지라는 것을 알게 됩니다. 분명히 말하지만, 이것은 우리 자신의 행동과 타자의 행동을 신중하게 고려한 후 내리는 지적인 판단이 아니라, 우리가 타자를 경험하는 기본적인 방식입니다.16
My experience of another person is different to my experience of objects. Through their behavior, as embodied consciousnesses, I see other individuals (or the Other) orientate themselves toward their goals and projects as I would.17 By seeing the Other as being like me in their dynamic, complex, embodied behavior, I realize myself as being like them. Through their animated behavior, I see the Other does not behave like any other object, and neither do I. To be clear, this is not an intellectual judgment we make after carefully considering our own behavior and the behavior of the Other, rather it is the basic way in which we experience the Other.16

[저는 타자의 질병에 대한 우리의 반응]이 타자와 유사한 구체화에 달려 있다고 제안합니다. 나와 테이블과의 만남은 타자와의 만남과 동일하지 않습니다. 따라서 테이블 다리가 부러지는 것에 대한 나의 경험과 반응은 누군가의 다리가 부러지는 것을 보는 것과는 근본적으로 다릅니다. 타자의 질병, 고통, 경험에 대한 나의 즉각적인 반응은 그들과 유사한 나의 구체화에 뿌리를 두고 있습니다.
I suggest, our response to the illness of the other depends on this similar embodiment to the Other. My encounter with the table is not the same as my encounter with the Other. Therefore, my experience and reaction to breaking a table leg are fundamentally different to seeing someone break their leg. My immediate reaction to the Others illness, pain, and experience is rooted in my similar embodiment to them.

질환과의 만남
The encounter with illness

병에 걸린 사람은 저마다 독특한 경험을 하게 됩니다. 병에 걸리기까지의 개인의 경험, 현재 상황, 특정 병리에 따라 각 질병의 사례는 독특합니다. 그러나 철학자들은 이러한 경험의 근본적인 특징이 모두에게 공통적이라고 제안합니다.2,18 이 섹션에서는 아프거나 아프게 된 타자를 만나는 경험에서 유사한 근본적인 구조를 탐구하는 것을 목표로 합니다. 
Each individual who becomes ill will have a unique experience. A person’s experience up to the point of becoming ill, their current situation and the specific pathology make each instance of illness unique. However, philosophers suggest there are underlying features of this experience that are common to all.2,18 This section aims to explore the similar underlying structures in the experience of encountering the Other who is, or becomes, ill.

노인이 길에 쓰러지는 것을 보면 지나가던 사람들은 움찔하고 몸을 움츠리게 됩니다. 누군가 다치는 것을 보면 마치 자신의 몸을 보호하듯 팔을 가슴으로 가져갑니다. 아이가 이빨을 부러뜨리는 것을 보면 내 이빨에 불편한 감각이 느껴집니다. 정형외과 의사가 환자에게 부상이 어떻게 발생했는지 설명하는 동안 저는 대퇴골이 부러진 엑스레이를 보며 다리를 잡습니다. 의과대학에 입학하기 전, 열일곱 살 때 처음 수술을 본 저는 메스꺼움에 압도되어 집중할 수 없었고 기절했습니다. 쓰러진 사람이든 인공호흡기를 달고 있는 사람이든 병에 걸린 사람을 보면 즉각적인 무의식적 신체 반응이 일어납니다. 이러한 반응은 나에게도 같은 질병이 발생할 수 있다는 의식적인 고려를 통해 일어나는 것이 아닙니다. 오히려 내가 무슨 일이 일어났는지 의식적으로 고려하기 전에 신체가 먼저 반응합니다. 이전 연구에서도 생체역학 시뮬레이션을 통해 학생들에게 이러한 정서적 반응이 존재함을 보여주고 그 교육적 중요성을 강조했습니다.20 묄러와 동료들은 학습자가 "자신의 신체와 관련된 [부상의] 시각적 표현을 맥락화하는 것이 교육적 가치가 있다고 결론지었습니다."20(p144). 
In seeing the old man fall on the street, passersby will wince and recoil. In seeing someone injure themselves, our arms are brought to our chests as if protecting our own bodies. I see a child knock their teeth out and there is an uncomfortable sensation within my own teeth. I grasp my leg looking at an x-ray of a broken femur as the Orthopedic surgeon explains how the injury occurred to the patient. Before medical school the first time I saw surgery, aged seventeen, I was overwhelmed with nausea, unable to concentrate, and fainted. There is an immediate unconscious, bodily response to seeing someone with an illness, whether this is someone falling or someone on a ventilator. This response does not occur through conscious consideration of how the same illness could occur to me. Rather, the body reacts before I have a chance to consciously consider what has occurred. Previous research has also shown the presence of and stressed the educational importance of this emotional response in students through biomechanics simulation.20 Möller and their colleagues concluded there is educational value for learners to “contextualize the visual representations [of injury] relative to one’s own body.”20(p144)

스타인의 공감 현상학은 최근 인지 과학계에서 주목을 받고 있으며 이러한 신체적 반응에 대한 설명을 제공합니다. 스타인은 공감의 기본 유형을 "다른 생명체의 경험을 느끼는 것"이라고 설명합니다.21(p746) 스타인은 다른 사람의 경험에 대한 신체적 반응이 공감의 한 유형이라고 제안합니다. 아프거나 다친 다른 사람을 볼 때 우리가 경험하는 신체적 반응이 바로 이러한 유형이라고 제안합니다. 이것은 우리에게도 같은 일이 일어날 수 있다고 상상하기 전에 일어나는 것이지, 우리가 상상해서 일어나는 것이 아닙니다. 사전 반사적 반응입니다. 타자의 질병에 대한 이러한 신체적 반응을 통해 우리의 관심의 초점은 질병 자체에서와 마찬가지로 아픈 사람에게서 우리 자신의 몸으로 바뀔 수 있습니다. 예를 들어, 저는 속이 메스꺼워 기절하지 않으려고 노력하면서 환자의 수술에 집중하는 것이 (당연히) 어렵다는 것을 알았습니다. 
Stein’s phenomenology of empathy has received recent attention in the cognitive sciences and provides an explanation for this bodily response. Stein describes a basic type of empathy as “felt experiences of other living bodies.”21(p746) Stein suggests bodily responses to the experiences of another is a type of empathy. I suggest, when we see another person who is ill, or who injures themselves, it is this type of bodily response we experience. This occurs before we might imagine the same happening to us, not because we do. It is pre-reflective. Through this bodily response to illness in the Other, the focus of our attention may turn away from the person who is ill and onto our own bodies, as it does in illness itself. For instance, I found it (unsurprisingly) difficult to concentrate on the patient’s surgical procedure while trying not to faint from the nausea in my stomach.

중요한 것은 스타인의 공감이 의사가 환자의 경험에 공감할 수 있는 다른 유형의 상상적 공감도 배제하지 않는다는 점입니다.21 따라서 환자의 신체적 대상에 대한 신체적 반응이 없더라도 의사와 환자 사이에는 다른 형태의 공감이 가능하다는 것입니다. 나는 직접 만난 적이 없고 전쟁을 느끼는 난민과 같이 공통된 경험을 거의 공유하지 않는 사람들과도 공감할 수 있습니다. 나는 그들의 경험을 의식적으로 상상하고 머릿속에서 재생함으로써 이를 달성할 수 있습니다. 스타인의 공감 현상학은 이러한 형태의 공감을 배제하는 것이 아니라, 신체적 반응을 통해 우리가 어떻게 전-의식적으로 공감할 수 있는지에 대한 설명을 제공합니다. 
Importantly, Stein’s empathy does not exclude other types of imaginative empathy, through which doctors may also relate to patient experiences.21 Therefore, even in the absence of bodily reactions to the body-object of the patient, other forms of empathy are possible between doctor and patient. I can empathize with people whom I have never met face to face and share little common experience, such as refugees feeling war. I may achieve this by consciously imagining their experiences and replaying them in my head. Stein’s phenomenology of empathy does not exclude this form of empathizing but rather provides an explanation for how we can empathize pre-consciously through a bodily reaction

자너는 『자아의 맥락』에서 신체-대상이 우리 자신이 아플 때만 자신을 드러낸다고 가정하는 것은 "완전한 순진함"이며, 대신 "건강한 신체에는 희미하게나마 존재한다."19(56쪽) 아이가 이빨이 빠지는 것을 볼 때, 우리는 자신의 이빨도 마찬가지로 빠질 수 있는 대상으로 인식하게 된다고 말한다. 반면에 평소에는 내 치아와 그 취약성을 인식하지 못합니다. 질병을 목격함으로써 신체는 더 이상 무심코 지나치지 않고, 내 몸이라는 대상을 세상 속에서 연약하고 취약한 존재로 인식하는 것으로 잠시나마 대체됩니다.
Zaner in The Context of Self states “it would be an utter naivety” to assume the body-object only announces itself in times of our own illness, instead it is “present, however faintly, in the healthy body.”19(p56) I suggest when we see the child knock their teeth out, we become aware of our own teeth as objects that could similarly be knocked out. Whereas, normally I am unaware of my teeth and their apparent fragility. Through seeing illness, the body is no longer passed-by-in-silence and is replaced, perhaps only briefly, by an awareness of my body-object as a fragile, vulnerable thing within the world.

또 다른 예로, 어머니가 채소를 썰다가 칼에 베는 모습을 보면 움찔하고 배가 뒤집어집니다. 심지어 무의식적으로 제 손가락을 잡을 수도 있습니다. 제가 어머니로부터 칼질을 이어받으면 어머니가 칼질하는 모습을 보지 않았을 때보다 더 조심스럽게 칼질을 합니다. 신체 반응을 통해 나는 손가락이 세상 안에서 연약한 물체라는 것을 인식하게 되었습니다. 자너는 타인의 질병을 마주하는 독특하고 불편한 본질을 암시합니다: 
Another example: if I see my mother cut herself while chopping the vegetables, I wince, and my stomach turns. I may even unconsciously grab my own finger. When I take over the cutting from her, I cut with more care than I would have if I had not seen her cut herself. Through my bodily reaction, I have become aware of my fingers as fragile objects within the world. Zaner alludes to the unique, uncomfortable nature of encountering illness in another:

실제로, [질병]이 그토록 특이한 극적인 힘, 즉 '정상인'이 병든 사람이나 불구자를 만났을 때 발생하는 침묵, 불안, 경외감을 주는 것은 바로 질병과 장애가 우리의 고유한 인간성에서 우리에게 직접적으로 영향을 준다는 점입니다.19(159쪽)
Indeed, what gives [illness] such peculiarly dramatic force—the hush, anxiety and awe engendered when the “normal” person encounters the ailing or the maimed—is precisely that illness and impairment affect us directly in what seems our unique humanity.19(p159)

[타자 안에 있는 우리 자신에 대한 인식과 우리 몸에 대한 인식]은 질병과의 만남에 그 심각성과 낯섦을 부여합니다. 질병과 정면으로 마주했을 때, 몸은 더 이상 침묵 속에서 지나치지 않습니다. 저는 자신의 몸에 대한 이러한 인식이 의료 행위와 교육에 도전을 준다고 주장합니다. 누군가 자신의 몸을 베는 것을 보고도 움찔한다면 어떻게 메스로 똑바로 베는 법을 배울 수 있을까요? 스물다섯 살의 제가 어떻게 기절하지 않고 수술을 보조할 수 있을까요? 의사에게는 어느 정도의 냉철한 객관적 사고가 필요하며, 의사들은 질병을 보는 것에 대한 신체적 반응이 줄어든 것으로 보입니다. 의학교육의 결과, 이름도 없고, 주소도 없고, 가르침도 없는 존재론적 변화가 이미 내 안에 일어난 것 같습니다. 이 변화의 결과는 정반대의 질병입니다. 이 점을 염두에 두고 이제 임상적 만남 자체에 대해 이야기해 보겠습니다. 
Our recognition of ourselves in the Other and our awareness of our own body gives the encounter with illness its salience and strangeness. When confronted with illness face-to-face, the body is no longer passed-by-in-silence. I argue, this awareness made of one’s own body presents a challenge to medical practice and education. If we flinch when we see someone cut themselves, how can we learn to cut straight with a scalpel? How am I now able to assist in surgery, aged twenty-five, and not faint? A certain level of detached objective thinking appears to be required from doctors, and doctors appear to have a reduced bodily response to seeing illness. As a result of medical education, an unnamed, unaddressed, and untaught ontological transformation appears to have already occurred within me. The result of this transformation is being-opposite-illness. With this in mind, we now come to the clinical encounter itself.

임상적 만남
The clinical encounter

일반인과 달리 의사는 의학교육을 통해 해부학, 병리학, 치료 옵션에 대한 광범위한 지식을 보유하고 있습니다. 툼스가 논의했듯이, 의학교육을 통해 질병을 질병으로 주제화하는 것이 가능해지며, 이는 환자를 진단하는 데 사용됩니다.18 의대생은 객관적이고 의학적인 시선으로 보는 법을 배웁니다.10 의사의 존재, 그들의 교육, 목표, 전문성이 임상적 만남을 일반 대중의 질병과의 만남과 구분 짓는 요소입니다. 다음으로 사르트르의 '시선' 현상학에 주목하여 환자의 대상화와 의사의 질병에 대한 신체적 반응의 감소를 연결해 보겠습니다.9(276-326쪽) 나는 대상화하는 자로서의 의사와 대상화되는 형태로서 환자들이 질병-반대편의-존재 존재론적 대립의 축을 형성한다고 제안합니다. 
Unlike the public, through medical education, doctors possess extensive knowledge on anatomy and pathology and treatment options. As Toombs discussed, through medical education, the thematization of illness into disease becomes possible and is used to diagnose patients.18 Medical students learn to look with an objectifying, medical gaze.10 It is the presence of the doctor, their education, goals, and expertise which distinguishes the clinical encounter from the general public’s encounter with illness. Next, I will focus on Sartre’s phenomenology of ‘the look’ to link patient objectification to the doctor’s reduced bodily response to illness.9(p276–326) I suggest the doctor as the objectifier and the patient as objectified forms the ontological axis of opposition for being-opposite-illness.

사르트르9는 열쇠구멍을 들여다보면서 사물로서의 자신의 몸을 인식하게 되었다는 이야기를 들려줍니다. 이전에는 문 너머에서 일어나는 일에 집중했다면, 누군가 오는 소리가 들리자 자신의 몸과 그 모습이 상대방에게 어떻게 보이는지 인식하게 됩니다. 타자의 시선이 불러일으키는 수치심을 통해 사르트르는 자신의 몸을 세상의 사물로 인식하게 됩니다. 수치심에 대한 사르트르의 설명은 신체-대상이 대상화되는 임상적 만남에서 환자가 느끼는 수치심에 대한 설명과 직접적으로 유사합니다.9,22
Sartre9 provides an account of becoming aware of his body-as-object while looking through the keyhole. While previously he was focused on what was occurring on the other side of the door, when he hears someone coming, he becomes aware of his own body and how it appears to them. Through the shame brought about by the look of the Other, Sartre becomes aware of his body as an object in the world. Sartre’s account of shame parallels directly with accounts of shame felt by patients within the clinical encounter, where one is objectified as their body-object is focused upon.9,22

우리가 타자를 대상으로 구성할 때 이러한 두려움에서 벗어나 "[자신을] 회복"할 수 있습니다. 열쇠구멍을 들여다보던 중 고개를 돌려 우리를 바라보는 타자라고 생각했던 것이 나무 그림자라는 것을 깨닫는다면, 우리는 더 이상 우리를 바라보지 않는다는 것을 깨닫고 몸은 다시 침묵 속으로 사라집니다."9(p313) 
One can escape this fear and “recover [oneself]” if we constitute the Other as an object. While looking through the keyhole, if we turn and realize what we thought was the Other looking at us is instead, say, the shadow of a tree, we realize we are no longer looked at and the body fades back into silence, since one cannot be an “object for an object.”9(p313)

대중질병을 마주할 때, 자신의 몸을 병을 가진 타자와 유사하게 형상화함으로써 자신의 몸을 세상에서 취약한 대상으로 인식하게 된다. 의사에 의한 환자 대상화는 환자를 하나의 객체로 구성한다. 의사는 대상화될 수 없기 때문에 의사는 주체로서의 존재를 유지하고, 신체적 반응을 제한하며, 따라서 의사의 초점은 자신을 넘어 환자에게로 향하게 됩니다. 질환-반대편에-존재함은 구체적으로 이러한 존재론적 극성을 의미합니다. 의사가 자신을 주체로 유지하면서 자신의 목표에 집중하고, 환자의 신체는 침묵 속에 지나가는 동안 환자는 객체로 축소됩니다. 임상에서 환자는 자신의 몸으로만 간주되는 경향이 있는 반면, 의사의 몸은 잊혀집니다. 
For the public’s encounter with illness, one recognizes their body as a vulnerable object in the world, through their similar embodiment to the Other-with-illness. Patient objectification by the doctor constitutes the patient as an object. Since the doctor cannot be objectified by an object, this maintains the doctor’s being-as-subject, limits their bodily response, and thus their focus remains beyond themselves and toward the patient. Being-opposite-illness specifically refers to this ontological polarity. The patient is reduced to an object as the doctor maintains themselves as a subject, tending to their goals, with their body passed-by-in-silence. In the clinical encounter, the patient tends to be considered as only their body, whereas the doctor’s body is forgotten.

극단적인 예를 들자면, 해부학 수업을 통해 환자의 다리를 테이블 다리와 다를 바 없는 것으로 경험할 수 있다면 대퇴골 고정을 위한 수술실에서 느끼는 메스꺼움이 현저히 줄어들 것입니다. 수술이 학문적 장인 정신의 절차에 지나지 않는다고 생각할 수 있었습니다. 또한 칼라니티는 해부 시 얼굴을 가리는 것을 고려합니다. 이는 환자를 객관화시키고 수술에 대한 신체적 반응을 제한합니다.8
To use a prior example, in the extreme, if anatomy class allows me to experience a patient’s leg as no different from a table leg, my nausea in the operating theater for a femur fixation would be significantly reduced. I could see the operation as nothing more than a procedure of academic craftsmanship. Furthermore, Kalanithi considers covering faces during dissection. This is objectifying for the patient and limits his bodily response to the procedure.8

전신 마취 상태에서 무의식 상태로 수술을 받는 환자는 클리닉에서 진찰을 받는 환자보다 더 객관화될 수밖에 없습니다. 그러나 저는 환자의 다리를 해부학적 모델과 다를 바 없는 완전한 객관화는 불가능하다고 주장합니다. 죽음에 이르러서도 시체에 대한 우리의 반응은 다른 물체와 동일하지 않습니다.4 의과대학에서 신체에 대해 배우면서 환자와 시체에 대한 신체적 반응은 감소합니다. 그러나 의사가 완전한 객관화가 불가능하다는 것을 보여주는 환자의 경험에 완전히 영향을 받지 않을 수는 없습니다. 이는 소진과 대리 외상이라는 잘 알려진 현상에서 잘 드러납니다.23,24 사실 의사가 객관화를 통해 거리를 두는 것은 환자에게 영향을 받을 수 있기 때문에 필요한 것일 수 있습니다. 제 경험에 따르면 수술 중에도 신체적 대상인 환자는 인간성을 유지하며 완전히 물건으로 환원되지 않습니다. 그럼에도 불구하고 객관화는 윤리적 우려와 논쟁을 불러일으킵니다. 환자와 시체는 테이블과 같은 물건이 아니며, 결코 그렇게 취급해서는 안 됩니다. 
The patient undergoing surgery, inert under general anesthesia, is no doubt objectified more than the patient examined in the clinic. However, I maintain that complete objectification—constituting the patient’s leg as no different from the anatomical model—is not possible. Even in death, our reaction to a cadaver is not the same as another object.4 As one learns about the body at medical school, one’s bodily response to patients and cadavers does reduce. However, doctors cannot remain completely unaffected by the experiences of patients showing complete objectification is not possible. This is shown in the well-documented phenomena of burnout and vicarious traumatization.23,24 In fact, doctors distancing themselves through objectification may only be necessary because they can be affected by their patients. In my experience, even in surgery, the patient as body-object maintains their humanity and are not reduced entirely to an object. Despite this, objectification raises ethical concerns and debates. Patients and cadavers are not objects like a table, and should never be treated as such.

의사가 환자를 객관화하는 데 어려움을 겪을 수 있는 마지막 예를 살펴보겠습니다. 일반의협의회 지침에 따르면 의사는 자기 가족 이외의 일반의에게 등록해야 합니다.25 부분적으로는 의사가 가족을 객관화하기 어렵기 때문에 객관적으로 정확하게 치료하는 것이 어렵다고 생각합니다. 외과의사가 자신의 가족을 수술해야 한다면 집중하기 어려울 것이라고 상상해 보십시오. 객관화가 부족하면 의사는 객관적으로 생각하지 못하고 질병에 대해 더 감정적이고 신체적으로 반응하게 됩니다. 우리는 가까운 사람을 주체로서 모든 것을 알고 있기 때문에 대상화하기 어렵습니다. 우리는 그들이 좋아하는 것, 싫어하는 것, 희망, 꿈을 알고 있습니다. 제가 주장했듯이 객관화가 부족하면 신체를 침묵-속에-지나가는-것으로 유지할 수 없습니다. 따라서 의사는 눈앞의 환자를 객관화하고 신체 반응을 제한 할 수있을 때 더 분리 된 방식으로 생각할 수 있으며, 이는 가족에게는 더 어렵습니다.
Let us explore a final example where the doctor may struggle to objectify the patient. General Medical Council guidance states doctors should be registered to a General Practitioner outside their family.25 I suggest, in part, it is difficult for doctors to treat their family objectively precisely because it is difficult to objectify them. One imagines if a surgeon was to operate on a member of their family, they would struggle to focus. The lack of objectification stops the doctor from thinking objectively and results in a more emotional, bodily response to illness. It is difficult to constitute a person close to us as an object because we are aware of everything they are as a subject. We are aware of their likes, dislikes, hopes, and dreams. As I have argued, a lack of objectification results in an inability to maintain the body passed-by-in-silence. Thus, doctors are more able to think in a detached manner when they can objectify the patient in front of them and limit their bodily response, and this is harder to do with a family member.

이 섹션에서 저는 타자의 질병을 볼 때 우리의 유사한 구현이 '신체적 취약성'의 경험, 즉 [우리 몸이 세계 내에서 취약한 대상으로 인식되는 불편한 경험]을 제시한다는 것을 보여 주려고 시도했습니다. 저는 환자를 대상화함으로써 임상에서 의사의 신체적 취약성을 감소시키는 것을 설명합니다. 이는 의사의 신체를 침묵-속에서-지나가는-존재로 유지하고 환자의 신체에 집중하도록 유도합니다. 이러한 변화는 의학교육을 통해 이루어지며, 이를 통해 학생들은 객관화된 의학적 시선으로 바라보고 질병을 질병으로 주제화할 수 있게 됩니다. 따라서 의학교육은 질병에 대한 학생의 반응이 대중과 일치하는 것에서 의사의 존재-대립-질병으로 바뀌는 존재론적 변화로 간주할 수 있습니다. 의학교육의 결과인 질병-반대편에-존재함의사의 고유한 존재론으로, 환자를 대상화하는 데 뿌리를 둔 질병에 대한 신체적 반응이 감소하는 것으로 입증됩니다. 
In this section, I have attempted to show when seeing illness in the Other, our similar embodiment presents the experience of ‘bodily fragility’: an uncomfortable experience through which our body is realized as a vulnerable object within the world. I account for the reduction of bodily fragility in doctors within the clinical encounter through patient objectification. This maintains their body as passed-by-in-silence and directs their focus toward the body of the patient. This transformation occurs through medical education, as this enables students to look with an objectifying medical gaze and thematise illness into disease. Thus, medical education can be considered an ontological transformation, where a student’s response to illness changes from one aligned with the publics to the doctor’s in being-opposite-illness. Being-opposite-illness, as a result of medical education, is the unique ontology of the doctor, demonstrated by the diminished bodily response to seeing illness, rooted in objectification of the patient.

 

섹션 3: 질병-반대편의-존재
Section 3: being-opposite-illness

이 섹션에서는 폴 칼라니티8와 헨리 마쉬의 유명한 일인칭 서술 두 편을 살펴봅니다.1 저는 이들의 분석을 통해 환자의 신체를 대상화하고 이것이 환자의 존재 방식에 어떤 영향을 미치는지에 초점을 맞추고자 합니다. 또한, 저자들이 직접 병에 걸렸을 때 병에 걸린다는 사실이 삶의 경험에 미치는 영향도 살펴볼 수 있습니다. 이 섹션에서는 이러한 유형의 문헌에 대한 포괄적인 검토를 제공하려는 의도는 없습니다. 대신 텍스트 분석에 중점을 두어 위에 제시된 주장에 대한 예시를 제공하고자 합니다. 
This section will look at two popular first-person accounts from Paul Kalanithi8 and Henry Marsh.1 My analysis focuses on their objectification of patients’ bodies, and how this impacts their way of being. Furthermore, the impact of being-opposite-illness upon lived experience can be seen when the authors fall ill themselves. This section does not intend to provide a comprehensive review of this type of literature. Instead, I focus on textual analysis to provide illustrations of the arguments put forward above.

칼라니티의 '숨결이 바람 될 때'8는 저자가 암과 싸워온 과정을 가슴 아프게 솔직하게 묘사한 책입니다. 의과대학 시절, 칼라니티는 "죽은 자를 객관화하여 말 그대로 장기, 조직, 신경, 근육으로 환원"하는 법을 배우는 것에 대해 이야기합니다.8(p49) 그러나 의대생이 된 첫날, 칼라니티에게 "시체의 인간성을 부정할 수는 없다."8(p49) 칼라니티가 시체를 점점 더 객관화하면서 그의 경험은 "혐오감, 상쾌감, 메스꺼움"이라는 신체적 느낌이 지배하는 것에서 단순히 "학문적 연습"의 경험으로 바뀌게 됩니다. "8(44쪽) 칼라니티는 시체를 '가짜'로 '가장'하고 얼굴을 가리는 것이 "일을 더 쉽게 해준다."8(45쪽) 여기서 우리는 해부학을 배워야 하고 신체 반응의 산만함으로 인해 제약을 받는 의대생에게 '질환-반대편에-존재함'이 미치는 영향과 유용성을 모두 볼 수 있습니다. 시체와 상호작용하는 것의 중요성과 특이성은 최근의 연구에서 탐구되었으며 칼라니티의 경험을 반영하고 있습니다.3 
Kalanithi’s8 When Breath Becomes Air is a heart-breaking candid account of the author’s fight with cancer. During medical school, Kalanithi discusses learning to “objectify the dead, literally reducing them to organs, tissues, nerves and muscles.”8(p49) However, for Kalanithi, on a medical student’s first day, “you simply [cannot] deny the humanity of the corpse.”8(p49) As Kalanithi increasingly objectifies the cadavers, his experience changes from one dominated by bodily feelings of “revulsion, exhilaration, [and] nausea” to an experience of merely “academic exercise.”8(p44) Kalanithi adds “pretending” cadavers are “fake” and covering their faces “makes work easier.”8(p45) Here we see both the impact and usefulness of being-opposite-illness to the medical student who needs to learn the anatomy and is limited by the distraction of bodily reactions. The salience and peculiarity of interacting with cadavers has been explored in more recent research and echoes Kalanithi’s experiences.3

칼라니티8는 외과의사로서의 경력에 대한 객관화를 계속하고 있습니다. 그는 환자가 아니라 "거대 동맥류, 뇌내 동맥 우회술, 동정맥 기형"과 같은 "케이스"를 가지고 수술실에 있다고 묘사합니다.8(p10-11) 저자와 가까운 사람에게 질병과 죽음이 닥쳤을 때 비로소 그는 [환자로부터의 분리]와 (자신을 이반 일리치의 의사와 비교하면서) ["다양한 진단"으로 "깔끔하게 포장하는" 방법]을 깨닫게 됩니다.8 (p85),26 나는 저자가 친구에 대한 친숙함과 그로 인한 객관화 불능이 그녀를 수술한다는 생각에 대한 불편한 신체적 반응을 불러 일으킨다고 제안합니다.
Kalanithi8 continues his objectification into his career as a surgeon. He describes being in theater, not with patients but, with “cases” such as “giant aneurysms, intracerebral arterial bypasses, arteriovenous malformations.”8(p10–11) It is only when illness, and death, strikes someone close to the author, he realizes his detachment from patients and how he “neatly packages” them into “various diagnoses,” comparing himself to Ivan Ilych’s doctor.8(p85),26 I suggest, the author’s familiarity with his friend and resulting inability to objectify them, drives the uncomfortable bodily reaction he has to the thought of conducting surgery on her.

환자를 대상화한 것이 칼라니티가 병에 걸렸을 때 어떤 영향을 끼쳤는지 알 수 있습니다. 그의 표현을 빌리자면, 그는 "의사에서 환자로, 행위자에서 피행위자로, 주체에서 직접적인 대상으로" 변모하고 그 영향은 그에게 미친다.8(180쪽) 마쉬의 서문을 인용하며 칼라니티는 자신의 병을 마치 환자에게 일어나는 일처럼 묘사하기로 한다: 
We can see the impact of his objectification of patients on Kalanithi’s embodiment when he becomes ill. In his own words, he transforms “from doctor to patient, from actor to acted upon, from subject to direct object” and its effect on him.8(p180) Echoing the epigraph quote from Marsh, Kalanithi chooses to describe his illness as if it were happening to a patient:

설명할 수 없는 체중 감소와 새로 시작된 허리 통증이 있는 35세의 환자에게 정답은 (C) 암입니다.8(p5)
thirty-five-year-old with unexplained weight loss and new-onset back pain—the obvious answer would be (C) Cancer.8(p5)

칼라니티는 자신의 질병으로부터 자신을 추상화하기로 결정합니다. 그는 자신의 질환을 가상의 환자의 질병으로 주제화합니다. 이를 통해 칼라니티는 매우 쉽게 진단을 내릴 수 있지만 자신의 병을 받아들이는 데 어려움을 겪습니다. 나중에 칼라니티는 신체를 대상으로 진단하는 것이 쉬워졌음에도 불구하고 자신이 암에 걸렸는지 의심하게 됩니다:
Kalanithi chooses to abstract himself from his own illness. He thematises his illness into the disease of an imaginary patient. Through this, Kalanithi can very easily provide a diagnosis but struggles to come to terms with the illness being his own. Later, Kalanithi doubts whether he has cancer, despite his ease when diagnosing the body-as-object:

(허리 통증의 해부학, 생리학, 환자들이 다양한 종류의 통증을 설명할 때 사용하는 여러 단어 등) 허리 통증에 대해 많이 알고 있었지만 어떤 느낌인지 몰랐다. 어쩌면 그게 전부였을지도 모른다.8(p12)
I knew a lot about back pain—its anatomy, its physiology, the different words patients used to describe different kinds of pain—but I didn’t know what it felt like. Maybe that’s all this was.8(p12)

이 구절들을 보면 칼라니티가 자신의 질환을 질병으로 주제화함으로써 자신의 병을 다루기가 더 쉬워졌다는 것을 알 수 있습니다. 칼라니티에게 질병은 대상화된 몸에서 일어나는 사건이며, 따라서 대개 침묵 속에서 무심코 지나치기 때문에 자신의 것이 아니다. 칼라니티는 질병을 데카르트적 신체-객체에서 발생하는 것으로 쉽게 이해하지만, 살아있는 현상학적 신체는 이해하지 못합니다.
It is clear from these passages Kalanithi finds it easier to deal with his illness by thematising it into disease. For Kalanithi, disease is an event in the objectified body and thus not his own as it is usually passed-by-in-silence and unfelt. Kalanithi readily understands illness as it occurs to the cartesian body-object, but not the lived phenomenological body.

수련을 중단한 후 칼라니티는 급격한 신체적 쇠퇴를 경험하고, 일주일 전만 해도 "거의 36시간"에 가까운 수술 시간을 보냈었는지 놀라움을 금치 못합니다. 칼라니티는 "병자를 돌봐야 할 의무가 [자신을] 밀어붙이지 않으면 [자신은] 무능한 사람이 되고 말았다."8(125쪽) 수술실에서는 Being-opposite-illness가 되면서, 칼라니티의 몸은 환자들의 몸에만 집중하며 passed-by-in-silence가 되었다. 임상에서 물러난 후 칼라니티의 몸은 음소거가 해제되었고, 그는 자신의 증상을 훨씬 더 잘 인식하게 되었습니다.
After ceasing to practice, Kalanithi describes a fast-physical decline and is stunned how he spent “nearly thirty-six hours” operating less than week before. Kalanithi concludes “without [the] duty to care for the ill pushing [him] forward, [he] became an invalid.”8(p125) Being-opposite-illness in the operating theater, Kalanithi’s body remained passed-by-in-silence by focusing on that of the patients. Once removed from clinical practice, Kalanithi’s body becomes unmuted, he becomes far more aware of his symptoms.

칼라니티의 종양 전문의인 에밀리는 그를 또 다른 의사로서 존중하며, 두 명의 임상의가 세 번째 환자에 대해 결정하듯이 종종 그의 치료에 대한 결정을 함께 내립니다.7 그러나 에밀리는 칼라니티에게 자신의 책임을 내려놓고 "의사가 되게 해달라"며 칼라니티에게 "그냥 환자가 되라"고 함의합니다.8(p182) 그러나 "통제권을 내려놓는다는 생각은 칼라니티가 "불가능"하다고 여깁니다. 대신, 칼라니티는 "의사-자신은 환자-자신에 대해 [여전히] 책임이 있다."8(p183) 이 구절은 의료 직업이 개인의 존재론에 미치는 강력한 영향력을 강조합니다. 칼라니티에게 의사 자아의 영향력은 수술실을 넘어 병에 걸린 후에도 지속됩니다. 이는 병에 걸린다는 것이 직업적 페르소나로서 켜고 끌 수 있는 것이 아니라는 것을 보여줍니다. 
Kalanithi’s oncologist, Emily, respects him as another doctor and they often make decisions about his care together, as two clinicians would about a third patient.7 However, Emily suggests he could abdicate his responsibility and allow her to “just be the doctor” implying Kalanithi just be a patient.8(p182) However, the thought of “abdicating control” is one Kalanithi finds “impossible.” Instead, Kalanithi’s “doctor-self [remained] responsible for [his] patient-self.”8(p183) This passage highlights the powerful influence the medical profession has on an individual’s ontology. For Kalanithi, the influence of his doctor-self extends far beyond the operating room and persists once he becomes ill. This shows being-opposite-illness is not something which is switched on and off as a professional persona.

의대, 수술, 질병에 대한 마쉬의1 경험은 모두 칼라니티와 저의 경험과 유사합니다. 서문에서 Marsh1(p.xi)는 다음과 같이 조언합니다: "눈에 보이는 것을 객관적으로 바라보되, 그 과정에서 인간성을 잃지 않는 법을 배워야 합니다." 마쉬는 처음부터 의사에게 요구되는 냉철함과 타인의 고통에 대한 감정적 반응이 균형을 이루어야 한다는 점에 초점을 맞춥니다. 
Marsh’s1 experiences of medical school, surgery, and illness all bear similarities to Kalanithi’s and mine. From the preface, Marsh1(p.xi) instructs: “You must learn to be objective about what you see, and yet not lose your humanity in the process.” From the outset, Marsh focuses on the detachment required from doctors, which must be balanced with the emotional response to the suffering of others.

이 책의 뒷부분에 저의 조사를 촉발시킨 대목이 있습니다. Marsh1(p215)는 의대생들이 "자기 보존"의 문제로 요구되는 "필요한 분리"에 대해 배우면서 소위 "의대생 증후군"인 건강염려증이 거의 지속되지 않는다고 지적합니다. 마쉬는 의과대학이 자신의 신체와의 관계를 어떻게 변화시키는지에 주목합니다. 이러한 관계의 변화를 통해 학생들은 "질병은 환자에게만 일어나는 일이라는 것을 배웁니다. 그것은 의과대학에서 일찍부터 배우는 것입니다."1(p215) 그러므로 질병-반대편의-존재는 환자 대상화를 통해 자신의 몸으로부터 존재론적 분리를 가능하게 합니다.
Later in the book lies the line which sparked my investigation. Marsh1(p215) notes the so-called hypochondria of “medical student syndrome” rarely persists as medical students learn about the “necessary detachment” required as a matter of “self-preservation.” Marsh draws attention to how medical school changes one’s relationship with their body. Through this changed relationship, students learn “illness is something that only happens to patients. That is something you learn early on a medical school.”1(p215) Being-opposite-illness, then, allows an ontological separation from one’s own body through patient objectification.

마시1(p216)는 의사들이 "단순한 환자"가 되는 것을 피하기 위해 "초기 증상을 무시"하고 "자신의 질병을 진단하는 데 느리게" 행동한다고 지적합니다. 이 모든 것은 Marsh가 스스로에게서 발견한 행동이며 칼라니티의 기록에서도 찾아볼 수 있습니다. Marsh는 다리가 부러진 후 석고를 갈기 위해 기다리는 동안 동료 컨설턴트와의 짧고 놀라운 만남에 대해 설명합니다. 
Marsh1(p216) remarks that doctors often “dismiss their initial symptoms” and are “slow to diagnose their own illnesses” all to escape becoming a “mere patient.” All of which are behaviors Marsh finds in himself and are found in Kalanithi’s account. Marsh describes breaking his leg and while waiting for his plaster to be changed, he describes a brief, remarkable encounter with a fellow consultant.

그는 내 다리가 부러지는 것을 허용함으로써 내가 단순한 환자가 된 저속한 방식에 불만을 품은 듯 매우 원초적인 목소리로 '오, 이런'이라고 말했습니다.1(229쪽) 
‘Oh dear’, he said in a very prim voice, as though he disapproved of the vulgar way in which, by allowing my leg to be broken, I had become a mere patient.1(p229)


허용이라는 단어 선택은 의사로서 마쉬가 다리를 부러뜨리는 것이 자신의 통제 범위 안에 있다는 태도를 유추하게 한다. 물론 마쉬가 그랬던 것처럼 계단에서 넘어지는 것은 누구에게나 일어날 수 있는 터무니없는 일이다. 의사의 뼈는 환자의 뼈와 다르지 않습니다. passed-by-in-silence in being-opposite-illness로 유지하는 것은 의사에게 병이 발생하지 않았다는 잘못된 태도를 조장합니다. 
The word choice of allowing infers an attitude that, as a doctor, Marsh breaking his leg was within his control. Of course, this is absurd, falling down the stairs, as Marsh did, could happen to anyone. A doctor’s bones are no different to that of a patient. The bodies maintenance as passed-by-in-silence in being-opposite-illness promotes a false attitude of illness not occurring to doctors.

마쉬와 칼라니티의 설명은 의사의 독특한 존재론과 의학교육 전반에 걸쳐 변화하는 모습을 보여줍니다. 환자 대상화는 의사의 존재론을 변화시키고, 의사를 자신의 몸으로부터 멀어지게 합니다. 그 결과 의사가 질병과 직접 대면하는 신체적 반응이 부족해집니다. 그러나 타자를 대상화함으로써 자신의 몸으로부터 초점을 돌릴 수 있다.9 이런 식으로 몸을 침묵 속에 묻어두면 질병은 "환자에게만 일어나는 일"이 된다."1(215쪽) 환자의 질병-존재함의사의 질환-반대편에-존재함 사이에는 존재론적 분리가 존재한다. 환자가 대상화되면서 의사의 시선은 단지 [바라보는 방식]이 아니라 [존재의 방식]이 된다. 의사는 바라보지만 바라봐지지 않는 존재가 된다. 대상화하는 시선은 의사와 환자 사이의 유사한 구체화를 부정합니다. 존재-대립-질병은 의사와 환자 사이의 이러한 존재론적 극성을 나타냅니다. 
Marsh and Kalanithi’s accounts demonstrate a unique ontology of the doctor and the transformation undergone throughout medical education. Patient objectification changes a doctor’s ontology, distancing them from their own body. I suggest, this results in the lack of the doctor’s bodily reaction being face-to-face with illness. However, by objectifying the Other I can direct my focus away from my own body.9 By muting the body in this way, keeping it passed-by-in-silence, illness becomes “something that happens only to patients.”1(p215) There is an ontological separation between the patient’s being-ill and the doctor’s being-opposite-illness. As the patient is objectified, the medical gaze is not only a way of looking but becomes a way of being: the doctor looks without being looked at. The objectifying gaze denies the similar embodiment between doctor and patient. Being-opposite-illness denotes this ontological polarity between doctor and patient.

 

한계와 결론
Limitations and conclusions

메를로-퐁티, 하이데거, 사르트르가 모두 백인, 시스젠더, 유능한 남성의 경험만을 설명했다는 비판을 받을 수 있다는 것을 알고 있습니다.2,5,27,28 이것은 중요한 비판이며, 앞으로의 연구가 제 연구에 추가하고 수정할 수 있기를 바랍니다. 저는 모든 의사에게 공통된 의사 경험의 측면에 집중하여 제 경험에 적용될 수 있는 특징을 파악하려고 노력했습니다. 이 조사는 의대생 시절뿐만 아니라 일반인으로서 환자가 되어 다른 사람의 질병을 본 경험을 바탕으로 작성되었습니다. 이 글을 쓰는 시점에서 저는 의사로서 첫 직업을 시작한 지 몇 달이 지났고, 의대 재학 기간 동안 환자의 객관화를 이해하기에 충분한 경험을 쌓았다고 생각합니다. 또한 이 글은 서양의 전통적인 현대 의학만을 다루고 있으며, 대면 임상 경험만을 설명하려고 시도했습니다. 간호사나 다른 의료 전문가에게는 적용될 수도 있고 적용되지 않을 수도 있습니다. 마지막으로, 이 설명의 한계는 정신과 임상 사례에 국한되어 있다는 점입니다. 정신과 질환의 양상과 정신과 질환에 대한 현재의 학문적 이해로 인해, 저는 제 설명을 정신과 임상 사례까지 확장하지 않았으며 정신과 임상 사례는 그 자체로 완전한 현상학적 분석이 필요하다고 생각합니다. 
I am aware that I may be criticized as Merleau-Ponty, Heidegger, and Sartre all have been for providing accounts explaining only the experiences of white, cis-gendered, able-bodied, males.2,5,27,28 This is an important critique and I hope further works can add to and correct mine. I have tried to focus on aspects of doctor’s experiences common to all to identify features that apply beyond my own experiences. This investigation is built on my experiences of being a patient and seeing illness in other people both as an untrained member of the public as well as during my time as a medical student. At the time of writing, I am months from starting my first job as a doctor and I believe my years at medical school have given me enough experience to understand patient objectification. Additionally, this account concerns only western conventional contemporary medicine and attempts to describe only the face-to-face clinical encounter. It may or may not apply to nurses or other healthcare professionals. Finally, a limitation of this account is the psychiatric clinical encounter. Due to how psychiatric illness presents and the current academic understanding of psychiatric disease, I do not extend my account to the psychiatric clinical encounter and maintain the psychiatric clinical encounter warrants its own complete phenomenological analysis.


여기서 의사의 존재론에 영향을 미칠 수 있다고 생각하여 제외시킨 다른 현상들에는 의사와 환자에 대한 사회의 시각도 포함된다. 드 보부아르5 가 제안하고 영28 이 이를 바탕으로 구축한 것처럼, 사회가 개인을 바라보는 방식은 개인이 세상에 존재하는 방식에 영향을 미친다. 둘째, 나는 임상적 만남의 시간적 요소를 탐구하지 않았다. 병동 회진이나 진료실에서 환자들은 연속적으로 마주칩니다. 따라서 의사는 다음 환자에게 집중하기 위해 각 환자로부터 자신을 분리할 수 있습니다. 
Further phenomena that I have excluded here I believe may affect the ontology of the doctor includes society’s view of doctor and patient. As de Beauvoir5 suggests and Young28 builds upon, the way a society views an individual affects their being-in-the-world. Secondly, I have not explored the temporal element of the clinical encounter. On the ward round and in clinic, patients are encountered in series. Therefore, it may be that doctors detach themselves from each patient to focus on the next.

결론적으로, 이 분석은 의사들의 구체화된 삶의 경험을 설명함으로써 의사들의 경험을 탐구하는 새로운 방법을 제시하고자 합니다. 이러한 설명은 의대생 시절의 경험과 저의 의료 인문학과의 접목을 인정하지 않고서는 불가능했을 것입니다. 앞서 주장했듯이, 이 연구는 의대생에게 철학을 가르치는 것의 가치를 보여줍니다.7 임상적 만남을 체화된 두 개인 간의 만남으로 논의하는 것은 의사-환자 관계와 임상 술기 교육에 대한 새로운 접근을 촉진할 수 있습니다. 특히 의대생의 존재론적 전환을 설명함으로써 말입니다. 저는 의학교육자로서 공감과 연민과 같은 현상을 새롭게 바라보고, 이것이 어떻게 발달하지만 또한 어떻게 상실되는지 탐구할 수 있기를 바랍니다. 또한, 향후 연구에서는 의대생의 존재론적 전환이 의료 윤리에 미치는 영향을 살펴보고, 질병에 대한 신체적 반응을 윤리적 요구로서 선을 행하는 것으로 탐구할 수도 있습니다. 요약하자면, 저는 의과대학과 임상 실습을 통해 존재론적 전환을 겪는다는 것을 보여드리려고 노력했습니다. 이는 궁극적으로 의사의 독특한 존재 방식, 즉 '질병-반대편의-존재'로 귀결됩니다. 
In conclusion, this analysis attempts to present a new way of exploring the experiences of doctors by accounting for their embodied lived experience. This account would not be possible without acknowledging the medical student experience and my medical humanities intercalation. As argued previously, this work illustrates the value of teaching philosophy to medical students.7 The discussion of the clinical encounter as being between two embodied individuals may promote renewed approaches to the doctor-patient relationship and clinical skills education. Specifically, by accounting for the ontological transition of medical students. I hope as medical educators we can take a fresh look at phenomena like empathy and compassion, exploring how these are developed but also lost. Furthermore, future work may look at the impact of the ontological transition of medical students on medical ethics, perhaps exploring the bodily response to illness as an ethical demand to do good. In sum, I have attempted to show that one undergoes an ontological transformation at medical school and through clinical practice. This ultimately results in a unique way of being for doctors: being-opposite-illness.

 


 

 

Teach Learn Med. 2023 Jan-Mar;35(1):108-116. doi: 10.1080/10401334.2022.2108814. Epub 2022 Aug 18.

 

Being-Opposite-Illness: Phenomenological Ontology in Medical Education and Clinical Practice

Affiliations collapse

1Hull-York Medical School, University of York, York, UK.

PMID: 35979806

DOI: 10.1080/10401334.2022.2108814

Abstract

Issue: Phenomenology has proven to be a very useful tool for medicine. Descriptive, first-person accounts of patient experiences can reveal new and unique insights. These insights can inform renewed approaches to medical education and practice. However, comparatively little research has been done on the other side of the clinical encounter. This leaves the lived experiences of doctors diagnosing and treating illness unaddressed and the ontological transformation of medical students through medical education unexplored. Evidence: This paper provides a phenomenological description of the clinical encounter and ontological transformation of the medical student into the doctor. I argue doctors have a unique ontology, rooted in the objectification of the patient, for which I use the term being-opposite-illness This is achieved, through phenomenological examination of my experiences as a medical student and through descriptions of three distinct types of face-to-face encounters: the basic encounter with the Other, the encounter with illness, and the clinical encounter, which I argue are all metaphysically distinct. Finally, textual analysis of popular first-person accounts from two doctors, Henry Marsh and Paul Kalanithi, provide an illustration of being-opposite-illness in clinical practice and how this ontological transformation occurs through medical education. Implications: Together, the phenomenology of the clinical encounter and textual analysis of Marsh and Kalanithi reveal clinical practice and medical education be an ontological transformative process. This paper attempts a new understanding of this experience of doctors by accounting for their unique ontology. In sum, I suggest being-opposite-illness can represent a new lens for analyzing the experience of doctors. Through this, I hope to promote new medical education and practice approaches.

Keywords: Phenomenology; medical education; medical humanities; student perspective.

 

우리는 돌보기에: 의학교육의 정신에 대한 철학적 탐구(Teach Learn Med, 2022)
Because We Care: A Philosophical Investigation into the Spirit of Medical Education
Camillo Cocciaa and Mario Veenb

 

 

소개
Introduction

의료 교육에 대한 우리의 일상적인 경험에서 돌봄은 끊임없이 등장하는 주제입니다. 수련생은 환자를 돌봐야 하는 의료 시스템 내에서 교육을 받습니다. 이 교육에 등록하려면 유능한 의료 전문가가 되고자 하는 충분한 동기, 즉 수년간의 헌신적인 교육에 임할 수 있는 충분한 동기가 있어야 합니다. 교육자, 학생, 의료 전문가 커뮤니티로서 우리의 직업 생활에서 '돌봄'의 많은 사례를 통해 우리는 '돌봄'의 의미를 정확히 알고 있다고 믿을 수 있습니다. 그러나 우리와 가장 가까이 있고 우리 주변에 있는 것이 가장 정의하기 어려운 경우가 많습니다. 이 백서에서는 돌봄의 구체적인 사례를 넘어 철학적 질문을 던져보려고 합니다: 케어란 무엇인가?  
In our daily experiences with health care education, care is a theme that arises constantly. Trainees are educated within a health care system where they are supposed to care about and for their patients. To enroll in this education, we demand that they are sufficiently motivated to, that is, care about becoming competent health care professionals, to put in years of dedicated training. The many instances of ‘care’ in our professional lives as a community of educators, students, and health care professionals may lead us to believe we know exactly what ‘care’ means. But that which is closest to us and all around us is often most difficult to define. In this paper, we will try to go beyond particular instances of care to ask a philosophical question: What is care?

'건강'의 개념은 의학에서 널리 논의되고 있습니다. 건강이란 무엇이고 질병이란 무엇일까요? 예를 들어, WHO의 건강 정의는 다음과 같습니다: "건강이란 단순히 질병이나 허약함이 없는 상태가 아니라 신체적, 정신적, 사회적으로 완전히 안녕한 상태입니다."1 이 정의는 지속적인 논쟁의 대상이 되고 있으며, 많은 의학 커리큘럼에서 이를 의료 교육의 일부로 포함하고 있습니다. 이러한 교육은 수련생이 건강과 웰빙의 정의, 질병과 질병을 구분하는 것의 의미, 건강과 건강하지 않은 상태의 경계선, 어떤 경우에 증거로 간주되는 것, 불확실성에 대처하는 방법 등을 검토하는 프로그램의 형태로 이루어집니다.2-4 
The concept of ‘health’ is widely discussed in medicine. What is health and what is illness? For instance, the WHO’s definition of health states: “Health is a state of complete physical, mental and social well-being and not merely the absence of disease or infirmity.”1 This definition is subject to ongoing debate and many medical curricula include it as part of medical training. These take the form of programs where trainees examine definitions of health and wellness, and what it means to make distinctions between disease and illness, where one should draw the line between being healthy and unhealthy, what counts as evidence in which case, how to deal with uncertainty.2–4

돌봄care과 관련해서는 이와 유사한 논쟁이 부족합니다. 상세한 조사의 필요성은 분명하지만,5 돌봄이 무엇인지에 대한 언급은 거의 없습니다. 문헌은 연민, 환자 중심 치료, 돌봄 관계, 전문성, 타인을 배려하는 방법과 같은 특정 주제에 초점을 맞춰 연민이 윤리적 행동과 어떤 관련이 있는지 탐구하는 경향이 있습니다.6-9 이러한 주제는 탐구하고 조사해야 할 중요한 주제이지만, 이러한 접근 방식은 치료의 기본 원칙이 이미 이해되었으며 적절한 적용만 필요하다는 것을 전제로 합니다. 그러나 우리는 모든 사람이 돌봄에 대해 '일상적으로' 이해하고 있으며, 이는 너무 당연해서 명시적으로 설명할 필요가 없을 수도 있다는 데 동의하지만, 돌봄에 대한 이러한 암묵적 이해를 명시적으로 설명할 필요가 있다고 주장합니다. 임마누엘 칸트 철학의 핵심 통찰은 우리가 실천을 경험하고 성찰하는 개념은 종종 경험과 성찰의 대상이 아니라는 것입니다.10 이러한 개념은 우리의 실천을 형성하지만 그 자체로는 일반적으로 조사 대상이 아닙니다.  
A similar debate is lacking when it comes to care. While the need for detailed investigation is articulated,5 there is little addressing what care is. The literature tends to focus on particular themes like compassion, patient-centred care, caring relationships, professionalism and how to show due consideration to others to explore how compassion relates to ethical behavior.6–9 While these are crucial themes to explore and investigate, these approaches presuppose that the underlying principle of care is already understood, and only needs proper application. But while we agree that everyone has an ‘everyday’ understanding of care, which may seem so obvious that it does not warrant making explicit, we argue it is necessary to make this tacit understanding of care explicit. A central insight from Immanuel Kant’s philosophy is that the concepts through which we experience and reflect on our practices are often not objects of experience and reflection.10 These are concepts that shape our practices but are themselves not usually subject to investigation.

우리는 돌봄을 보건의료 교육의 정신으로 가장 잘 볼 수 있다고 주장합니다. 보건의료 교육을 케이크에 비유한다면, 돌봄은 케이크의 재료 중 하나가 아니라 베이킹 과정을 안내하는 화학 법칙과 같습니다. 이 법칙은 그 안에서 일어나는 모든 일에 스며들어 있으며, 주변적인 것이 아니라 본질적인 개념이므로 근본적인 개념입니다. 이처럼 서로 다른 정당한 의미를 하나로 묶는 것이 무엇인지에 대한 질문은 이론적인 질문이 아니라 존재론적인 철학적 질문입니다. 우리 모두는 돌봄에 대한 사전 성찰적이고 구체화된 이해를 가지고 있기 때문에 돌봄은 우리가 '배우고' 나서 '적용'해야 하는 것이 아닙니다. 그러나 돌봄이 무엇을 의미하는지 진정으로 이해하려면 이러한 사전 성찰적 이해를 명시적으로 만들어야 하는데, 이것이 바로 현상학의 과제입니다.11
We argue that care can best be seen as the spirit of health care education. If health care education is a cake, care is not just one of its ingredients, but the laws of chemistry that guide the baking process. It permeates everything else that happens there; it is essential rather than peripheral, and therefore a fundamental concept. The question of what unites these different and legitimate meanings is not a theoretical question, but an ontological philosophical question. Since we all have a pre-reflective, embodied understanding of care, care is not something we have to ‘learn’ and then ‘apply’. But to authentically understand what care means we have to make this pre-reflective understanding explicit, which is the task of phenomenology.11

우리가 근본적인 개념에 대한 주인의식을 갖지 않으면 정치적, 경제적 이해관계나 문화적 신념과 습관에 따라 달라질 수 있습니다. 이 논문에서 우리는 돌봄을 유연하고 변화에 개방적인 이동하는 개념으로 취급합니다.12,13 분명히 말하지만, 우리의 의도는 돌봄을 최종적으로 정의하는 것이 아니라 성찰의 대상이 되어야 하는 것으로서 돌봄에 주목하는 것입니다. 이를 위해서는 돌봄과 같은 기본 개념을 충분히 다루기 위해 다양한 철학적 탐구 방법을 이해하는 새로운 방식을 개발해야 합니다. 
If we do not take ownership of our fundamental concepts, they can be subject to political and economic interests, or whatever our cultural beliefs and habits happen to be. In this paper we treat care as a traveling concept that is flexible and open to change.12,13 To be clear, our intention is not to define care finally, but rather to draw attention to care as something that should be subject to reflection. In order to do this, we need to also develop new modes of understanding a variety of philosophical avenues of inquiry in order to fully address foundational concepts like care.

20세기 주요 철학 저작 중 하나로 널리 알려진 존재와 시간14은 현상학과 실존주의 발전의 중심이 되었습니다. 이 작품은 존재, 특히 인간에 대한 질문에 초점을 맞추고 있습니다. 1927년에 출판된 이 저작은 저자가 파시스트 독일에서 개인적, 정치적 선택에 문제가 있었다는 점을 인정해야 하지만,15 하이데거가 돌봄이 인간 존재의 존재론적 구조라고 결론을 내린다는 점에서 더 깊이 탐구할 가치가 있는 작품이라고 할 수 있습니다. 다음에서는 보건의료 교육 현실에서 발생하는 돌봄의 의미를 하이데거의 돌봄 개념의 관점에서 살펴봄으로써 어떻게 더 깊은 성찰의 지평을 열 수 있는지 살펴보고자 합니다. 
Widely recognized as one of the major philosophical works of the 20th century, Being and Time14 was central to the development of phenomenology and existentialism. The work focuses on the question of being, particularly of human being. Though it was published in 1927 and we need to acknowledge its author’s later problematic personal and political choices in fascist Germany,15 the work warrants further exploration if only because Heidegger concludes that care is the ontological structure of human existence. In the following, we will explore how the meaning of care as it occurs in the reality of health care education can be opened up for deeper reflection by examining it from the perspective of Heidegger’s concept of care.

하이데거의 존재론적 방법14을 활용하여 돌봄일상적인 사용과 더 깊은 의미를 연결해 보겠습니다. 하이데거의 철학은 영향력이 크지만 어렵기로 악명이 높습니다. 여기서는 단 하나의 '하이데거적' 개념, 즉 온틱과 존재론의 차이로만 한정하여 설명하겠습니다. '온틱'(문자 그대로: 존재)은 구체적이고 사실적인 존재를 가리키는 반면, '존재론'(문자 그대로: 존재에 대한 연구)은 다른 존재와의 관계에 주의를 기울여 그 존재를 연구하는 것을 말합니다. 예를 들어, 존재론적으로 나는 방에 혼자 있을 수 있지만, 존재론적으로 나는 본질적으로 사회적 존재입니다. 이 구체적이고 특정한 존재로서 나는 혼자이거나 다른 사람들과 함께 있을 수 있으며, 나 자신을 더 사교적인 사람 또는 더 내성적인 사람으로 묘사할 수 있습니다. 그러나 존재론적으로 다른 사람과 함께 있다는 것은 우리가 인생에서 무엇을 하든 항상 우리 존재의 핵심입니다. 예를 들어, 다른 사람과 어울리는 것을 피하는 것은 다른 사람과 관계를 맺지만 부정적인 방식으로 관계를 맺는 것입니다. 나는 온틱적으로 홀로 남아 있지만, 존재론적으로는 여전히 다른 사람들과 관계를 맺고 있습니다. 하이데거는 『존재와 시간』에서 존재의 방식을 탐구한다는 의미에서 존재론을 수행하면 존재론적으로 더 의식적이고 자유로운 관계를 맺을 수 있음을 보여주었습니다. 따라서 존재론적 돌봄과 관련하여 보건의료 교육에서의 다락방 돌봄을 분석하는 것은 무엇을 해야 하는지, 어떤 유형의 돌봄이 가장 좋은지 알려주는 것이 아니라 개념을 더 깊이 성찰하고 탐구할 수 있도록 열어주는 것입니다. 
We will draw on Heidegger’s ontological method14 to relate the everyday use of care to its deeper meaning. Heidegger’s philosophy, while highly influential, is notoriously difficult. We will limit ourselves to only one ‘Heideggerian’ notion: the difference between the ontic and the ontological. ‘Ontic’ (literally: being) refers to concrete, factual existence, while ‘ontological’ (literally: study of being) refers to the being of that being with due attention to its relations to other beings. For instance, ontically I may be alone in a room, while ontologically I am an inherently social being. As this concrete, particular being I may be either alone or with others, and might describe myself as having a more social or more introverted person. But ontologically, being-with-others is always at the heart of our being, no matter what else we do in life. For instance, avoiding the company of others is relating to others but in a negative way. While I remain ontically alone, I am still relating to others ontologically. In Being and Time,14 Heidegger showed that doing ontology, in the sense of examining ways of being, can yield a more conscious and free relationship to beings ontically. Thus our analysis of ontic care in health care education in relation to ontological care will not tell us what to do, or which type of care is best, but rather open up the concept to a deeper reflection and exploration.

철학적 측면에서 우리는 돌봄의 온틱적 의미를 존재론적 의미와 연관시키려고 시도할 것입니다. 먼저, 보건의료 교육에서 돌봄이 이미 사용되고 있는 방식에서 돌봄이 갖는 의미를 살펴볼 것입니다. 이 분석에서 서로 다른 의미 사이의 충돌이 나타나며, 이를 실제 사례를 통해 설명합니다. 그런 다음 케어에 대한 하이데거의 실존 분석적 관점을 살펴보고 이것이 오늘날 보건 교육에서 '케어'가 어떻게 사용되고 있는지에 대해 어떻게 조명할 수 있는지 살펴볼 것입니다. 마지막으로, 돌봄의 관점에서 보건의료 교육을 살펴보면 의사가 되는 것이 기계적이고 공식적인 과정이 아니라 몰입적이고 성찰적인 과정이라는 것을 알 수 있습니다.
In philosophical terms, we will attempt to relate the ontic meaning of care with its ontological meaning. First, we will examine the meaning that care already has in the way that it is being used in health care education. From this analysis emerge some clashes between its different meanings, which we illustrate with a working example. Then, we will investigate Heidegger’s perspective of existential analytic on Care and ask how it can shed light on how ‘care’ is used in health care education today. Finally, we will attempt to show that an examination of health care education in terms of care reveals that becoming a doctor is not a mechanical, formulaic process but rather an immersive and reflective one.

돌봄의 일상적 의미
The everyday meaning of care

일상에서의 돌봄
Care in everyday life

일상에서 '보살핌'이라는 단어는 아이를 돌보는 어머니의 모습이나 아플 때 사랑하는 사람의 보살핌을 받았던 기억을 떠올리게 합니다. 광고에서 보살핌의 표현으로 부드러움과 친밀감이 흔히 등장합니다. 이는 종종 우리에게 중요한 무언가를 표현하는 것으로, "Because we Care"라는 캐치프레이즈에 불을 붙입니다. 더 크게 보면, 우리는 위험으로부터 보호한다는 의미에서 덜 친밀하고 더 단호한 버전의 보살핌을 발견할 수 있습니다. 우리는 보살핌을 옹호라고 생각할 수 있습니다. 목소리를 낼 수 없는 사람들은 목소리를 낼 수 있는 사람들에 의해 지지되고 대변될 수 있습니다. 그러나 이 의미는 또한 중요함을 나타내기도 합니다. 즉, 관심 있는 것을 방어, 보호 또는 옹호하는 것입니다.16 보다 중립적인 의미에서 돌봄은 개인적 또는 기관적 수준(보육, 재정적 돌봄, 재향군인 돌봄, 법적 돌봄) 또는 (국가 간) 수준에서 필요한 모든 것을 제공하는 것을 의미하기도 하는데, 의료가 대표적인 예입니다. 
In everyday life, the word ‘care’ conjures up images of a mother nursing a child, or memories of ourselves being nurtured by our loved ones when we are sick. Tenderness and intimacy are commonplace in advertising as representations of care. These are often representations of something important to us, igniting the catchphrase: “Because we Care”. On a larger scale, we find a less intimate and more assertive version of care, in the sense of protection against harm. We may view care as advocacy: those who are unable to have a voice may be supported and spoken for by those who can. But this meaning also indicates importance: one defends, protects or advocates for that which one cares about.16 In a more neutral sense, care is also used to imply the provision of whatever is necessary on a personal or institutional level (daycare, financial care, veteran care, legal care), or even on an (inter)national level, of which health care is a prime example.

의료 교육에서의 케어
Care in health care education

의료 교육에서는 일상적인 돌봄의 의미에 대한 다양한 변형을 발견할 수 있습니다. 이는 의료 교육 자체가 의지와 능력을 갖춘 예비 의사를 유능한 의료 전문가로 양성하는 교육을 제공하는 '돌봄 시스템'의 일부이기 때문에 당연한 결과입니다. 의료 전문가는 환자에게 의료 자금을 분배하기 위해 시스템에 요청해야 하는 시스템 내에서 일합니다. 이 시스템 내에서 사람들은 히포크라테스 선서의 의미에 따라 건강을 돌보는 방법에 대한 집단적 지식과 이러한 지식을 실제로 적용할 수 있는 기술을 접할 수 있습니다: "나는 나의 능력과 판단에 따라 환자의 이익을 위해 고려하는 치료법을 따르고 해롭고 장난스러운 것은 무엇이든 삼가겠다."17는 히포크라테스 선서의 의미입니다. 
In health care education we can find variations on everyday meanings of care. This is logical as health care education is itself part of a ‘care system’ that concerns itself with providing training that forms willing and able prospective physicians into competent medical professionals. Health care professionals work within a system that requires them to ask a system to distribute medical funding toward their patients. Within this system, people have access to a collective body of knowledge about how to care for health, and the skills to apply this knowledge in practice, in the sense of the Hippocratic Oath: “I will follow that system of regimen which, according to my ability and judgment, I consider for the benefit of my patients, and abstain from whatever is deleterious and mischievous.”17

보호로서의 보살핌은 여러 가지 실제적인 방식으로 나타납니다. 과잉진료를 하는 의사로부터 환자를 보호하는 안전장치와 윤리적 경계, 의사가 익숙하지 않은 상황에 대처할 때 보다 안전한 방법을 안내하는 제도적 프로토콜을 생각해 볼 수 있습니다. 이를 치료하는 의사에게 중요한 것은 환자의 안녕이라는 관점에서 보면 돌봄라고 생각할 수 있습니다. 의사는 환자의 안녕을 염려하기 때문에 환자가 해를 입지 않도록 보호하고(우선 의학적 또는 윤리적 실수로 인해 자신이 입을 수 있는 해로부터), 환자를 간호하여 병을 완화하는 데 필요한 의학적 치료를 제공합니다. 같은 방식으로 교육 전문가가 유능한 전문가가 되기 위해 필요한 것을 제공하는 시스템을 구축하여 의료 수련생을 돌봐야 하는 보건의료 교육의 구조에 대해 생각해 볼 수 있습니다.
Care as protection has a multitude of practical ways of showing itself. We may think of safety mechanisms and ethical boundaries which protect patients from overzealous doctors, and of institutional protocols that guide doctors toward safer methods when they deal with situations with which they are unfamiliar. We can imagine this as care in the way that what matters to the treating physician is the well-being of their patient. As they care about their patient’s well-being, they protect them against harm (firstly against the harm they themselves could do by making a medical or ethical mistake), and nurse them, that is, give them the medical attention they need to alleviate what ails them. In the same way, we can think about the structure of health care education, where educational professionals are expected to care for and about medical trainees by setting up a system that provides them with what they need to become competent professionals.

의료 교육에서 돌봄을 다루는 다른 방법도 있습니다. 첫 번째는 '환자 중심 진료'라는 개념으로 표현됩니다. 진료의 중심을 어디에 둘 것인지에 대한 대안이 없다면 왜 이 개념이 존재할까요? 환자 중심 진료라는 개념이 존재한다는 것은 환자의 건강 요구와 희망이 의료 서비스를 주도한다는 것이 당연한 것이 아니라는 것을 의미합니다. 치료와 관련하여 환자 중심주의를 의제화함으로써 치료라는 단어는 무엇이 중요한지를 가리키는 것으로 나타납니다. 의료기관은 이를 모토로 삼아 의료기관이 중요하게 생각하는 것이 무엇인지 나타낼 수 있습니다. 이런 의미에서 돌봄은 약속이기도 합니다. 누군가 또는 무언가에 관심을 갖는다는 것은 그들의 필요를 채워주겠다는 약속입니다.
There are other ways in which care is addressed in health care education. The first is expressed by the concept of ‘patient-centred care’. Why would this concept exist if there were no alternatives for what to center care around? The fact that the concept of patient-centred care exists implies that it is not a given that the patient’s health needs and wishes drive health care. By agendizing patient-centeredness in relation to care, the word care emerges as pointing to what is important. Institutions can have this in their mottos to indicate that it is what they care about. In this sense, care is also a commitment: if one cares about someone or something, this is a promise that one will take care of their needs.

돌봄은 보건 교육에서의 성찰을 논의할 때도 다뤄집니다. 성찰은 보호와 밀접한 관련이 있는 개념으로, 성찰적 실무자는 미래의 행동에 정보를 제공하기 위해 현재 자신의 과거 경험과 실수를 검토하는 평생 학습자입니다.18
Care is also addressed in discussing reflection in health care education. It is a concept that is closely related to protection: reflective practitioners are lifelong learners who examine their past experiences and mistakes in the present in order to inform their actions in the future.18

중요성으로서의 돌봄친밀성으로서의 돌봄과 밀접한 관련이 있습니다: 사랑하는 사람의 건강 상태에 대한 소식을 기다리는 가족들로 가득 찬 병원 대기실을 상상할 수 있습니다. 환자의 설명을 듣거나 나쁜 소식을 전할 때, 또는 환자 및 그 가족과의 기타 상호작용을 할 때 의사는 단순히 의학 지식을 병든 신체에 적용하는 것이 아니라, 환자를 한 인간으로서 배려해야 한다고 배워왔습니다. 이는 의료 교육 문헌에서 공감 또는 연민과 같은 제목으로 논의되며 전문직업성이라는 개념도 포함되어 있습니다. 이러한 의미에서 돌봄은 종종 감정 또는 태도로 설명되며,6 개별 교육생 내에서 인지 과정으로 개념화됩니다. 수련의가 모든 환자에게 친밀한 방식으로 배려할 것을 합리적으로 기대할 수 있는지, 아니면 상대방이 어떤 사람인지 상상하기 어려울 정도로 자신과 다른 사람에게 배려할 것을 기대하는 것은 너무 피곤하고 어쩌면 불가능한 일인지에 대한 논의가 있습니다. 위에서 설명한 기술적이고 경험적으로 검증 가능한 돌봄의 사용 외에도 친밀성으로서의 돌봄이 예를 들어 응급 치료 프로토콜이나 교육 프로그램의 품질 및 효과와 같은 유형의 측정 대상이 될 수 있는지에 대한 논쟁도 있습니다.19-21 예를 들어, 교육생들은 진정으로 공감을 경험하지 못했을 때 "유감입니다"라고 말해야 할 때 부조화를 느낀다고 보고합니다.22
The meaning of care as importance is closely related to care as intimacy: we can imagine waiting rooms of hospitals with families waiting for news on loved ones’ medical conditions. In listening to a patient presentation, or delivering bad news, or in any other interaction with patients and their families, doctors have been taught not to just apply their medical knowledge to diseased bodies, but to care about the patient as a human being. This is discussed in health care education literature under headings such as empathy or compassion, and the concept of professionalism is also included. Care, in this sense, is often described as an emotion or an attitude,6 and conceptualized as a cognitive process within individual trainees. There are discussions about whether we can reasonably expect trainees to care about every patient an intimate way, or if it is too exhausting and perhaps even impossible to expect that they would care about people who are different from them in some respect to the point where it is difficult for them to imagine what something is like for the other person. There are also debates on whether, in addition to the technical and empirically verifiable use of care outlined above, care as intimacy can be subjected to the same types of measurement as the quality and effectiveness of, for instance, emergency care protocols or educational programs.19–21 For instance, trainees report a feeling of dissonance when they are expected to say “I’m sorry to hear that” when they do not authentically experience empathy.22

다른 사람과의 공감 외에도 감정과 중요성(사람에게 중요한 것)으로서의 돌봄도 동기부여라는 제목의 연구에서 연관되어 있습니다. 동기 부여에 관한 연구에서는 의대생의 동기 부여 여부를 나타내는 요인을 조사하고23 내재적 동기와 외재적 동기를 구분합니다.24 목표는 예를 들어 수련의가 건강 프로토콜을 공부하거나 유능한 사람이 되기 위해 필요한 다른 일을 하는 데 필요한 것이 무엇인지 구분하는 것입니다. 교육생이 이미 충분히 돌봄의 능력을 갖고 있는가, 아니면 시험과 평가를 연계하는 등을 통해 돌봄의 능력을 갖추도록 만들어야 하는가? 성찰과 공감과 관련하여 시험examination의 문화는 성찰20 및 공감21의 문화와 충돌할 수 있으며, 이는 돌봄의 두 가지 의미, 즉 기대로서의 돌봄감정으로서의 돌봄 사이의 충돌로 다시 표현할 수 있다고 합니다. 공감과 성찰과 같은 현상에 대한 심리측정 평가에 반대하는 사람들은 평가가 그와 관련된 행동의 성과를 이끌어내지만, 성과를 요구하는 것은 돌봄을 가치 있게 만드는 진정성 있고 감정적인 경험을 방해한다고 주장합니다. 지지자들은 이러한 역량을 더 이상 평가하지 않는다면 교육생이 해당 역량을 배울 만큼 관심을 갖지 않을 수 있다고 반박합니다.
In addition to empathy with other people, care as emotion and importance (what matters to a person) are also linked in studies under the header of motivation. Studies about motivation examine what factors indicate whether a medical student is motivated,23 and distinguish between intrinsic and external motivation.24 The goal is to distinguish what is required for a trainee to, for instance, study health protocols or do other things that are necessary to become competent. Do they already care about this enough, or should they be made to care, for instance, by coupling tests to assessment? In relation to reflection and empathy it has been said that the culture of examination may clash with the culture of reflection20 and empathy21, which can be rephrased as a clash between two meanings of care: care as anticipation versus care as emotion. Opponents of psychometric assessment of phenomena like empathy and reflection argue that assessment brings out performances of behavior that is associated with them, but demanding performance interferes with the authentic and emotional experience of caring that makes it valuable. Proponents counter that if we would no longer assess these competencies, trainees might not care enough to learn them.

이러한 의미에서 돌봄의 시간적 측면, 즉 기대로서의 돌봄뿐만 아니라 과거와 현재에 대한 인식도 드러납니다. 병원 대기실에 있는 가족들은 어떤 소식을 듣게 될지 기대에 부풀어 걱정하고 있습니다. 성찰적인 실무자는 미래의 상황에서 배우기 위해 현재 자신의 과거 행동을 분석합니다. 커뮤니케이션에서 공감은 내가 이런 말을 하면 상대방이 어떻게 느낄지, 또는 환자에 대한 의학적으로 관련 있는 정보를 제공하는 반응을 이끌어내기 위해 어떤 말을 해야 할지 예상하는 것과 관련이 있습니다. 그러나 환자가 이전 상담에서 공유한 개인 정보를 기억하는 것도 배려의 표시가 될 수 있습니다. 
In these meanings, the temporal aspect of care becomes visible: care as anticipation, but also of awareness of the past and present. The family members in the hospital waiting room are worried in anticipation of what news they might receive. Reflective practitioners analyze their past actions in the present, in order to learn from it in future situations. Empathy in communication has a lot to do with anticipating what another person might feel if one were to say this, or what one should say in order to elicit this response that would provide one with medically relevant information about a patient. But it can also be a sign of care if one remembers the personal details that a patient shared in a previous consultation.

실제에서의 돌봄
Caring in practice

지금까지 의료 교육에서 '돌봄'이라는 단어와 관련된 다양한 의미와 몇 가지 공통된 특성이 서로 다른 돌봄의 방식을 어떻게 묶는지에 대해 살펴보았습니다. 이러한 광범위한 분석의 위험은 단어가 모든 것을 의미할 수 있는 컨테이너 개념이 되어 개념적 힘을 잃는다는 것입니다. 이것은 우리 모두가 어떤 개념에 대해 정확히 같은 것을 의미해야 한다는 것이 아니라 "의미적으로 동의하지 않을 수 있는" 충분한 상호주관성이 있다는 것을 의미합니다.12(13쪽) 개념은 서로 다른 의미가 충돌하는 것으로 보이는 구체적인 상황에서 더욱 명확하게 구분될 수 있습니다. 이제 실제 사례를 살펴보고 이 사례가 돌봄의 일상적 의미에 비추어 어떻게 보이는지 살펴보겠습니다. 
So far we have focused on the plurality of meanings associated with the word ‘care’ in health care education, and how a few common qualities bind different modes of caring. The risk with such a broad analysis is that the word becomes a container concept that can be taken to mean anything and thereby loses its conceptual power. This does not mean that we should all mean exactly the same thing by a concept, but that there is enough intersubjectivity to “meaningfully disagree”.12(p. 13) Concepts can become more clearly distinguished in a concrete situation in which its different meanings can be seen to clash. We will now look at a practical example and examine how this example looks in the light of the everyday meaning of care.

내과 레지던트 후배가 응급실의 의뢰로 근무 시간 외 환자를 진료했다고 가정해 보겠습니다. 입원 후 레지던트는 입원 전 일상적인 조사로 혈액 검사가 필요하다는 사실을 알게 됩니다. 레지던트는 환자와 상담한 결과 채혈을 여러 번 시도했고 환자의 팔에 멍이 들어 있어 환자가 불안하고 불편해하는 것을 발견했습니다. 아침 병동 회진에서 어텐딩은 혈액 검사 결과를 요청하고 레지던트는 당연히 당황하게 됩니다. 이때 주치의는 혈액 검사 결과 없이는 어떤 결정도 내릴 수 없다는 사실에 짜증이 납니다. 또한 전공의가 혈액 검사에 전혀 신경을 쓰지 않는 것처럼 보일 수도 있습니다. 
Imagine a junior resident in internal medicine has seen a patient after-hours as a referral from the ER. Upon admission, the resident notices a blood test is required as a routine investigation prior to admission. Upon consulting with the patient, the resident notices that multiple attempts had been made to draw blood and that the patient’s arms were bruised, making the patient restless and uncomfortable. On the morning ward round the attending requests the blood results and, naturally, the resident is at a loss. The attending at this point is annoyed that no decision can be made without the results of a blood test. It also may seem to the attending that the resident did not care to do the blood tests at all.

이 예에서는 여러 가지 요소가 작용하고 있습니다. 동정심을 느끼는 사람에게 해를 끼치고 싶지 않다는 친밀한 의미의 돌봄이 환자의 안녕을 보호하는 것과 상충될 수 있습니다. 여기에는 기대감도 작용합니다. 레지던트는 실제로 채혈을 시도하지는 않지만, 환자에게 이 질문을 던지는 것만으로도 불쾌한 환경을 조성하거나 환자의 신뢰를 훼손할 수 있다고 걱정합니다.
There are a multitude of elements at work in this example. Care in the intimate sense of not wanting to do harm to someone that one feels compassion for may be conflicted with the safeguarding of the patient’s well-being. Anticipation is also at work here. The resident does not actually attempt to draw blood but worries that even confronting the patient with the question may bring about an unpleasant environment or that she somehow would undermine their trust.

역설적이게도 주치의에게는 부주의하다고 인식되는 것에서도 배려가 드러납니다. 우리는 레지던트가 환자의 안녕을 걱정하는 마음프로토콜을 따르지 않는 레지던트에 대한 주치의의 시각을 이해할 수 있습니다. 레지던트가 아침 회진에서 내려야 할 결정을 위해 일상적인 혈액 검사의 중요성을 인식하지 못했고 의사 결정이 지연되면 환자의 건강에 영향을 미칠 수 있다는 사실에 짜증이 날 수도 있습니다. 그러나 다른 관점에서 보면 레지던트는 환자를 돌보았습니다. 레지던트는 환자가 사소한 시술로 인해 속상해하고 신체적 고통을 경험할 수 있다는 점을 고려했습니다. 레지던트가 절차적 요구보다 이러한 우려를 우선시한 것은 배려의 한 방법으로 볼 수 있습니다. 
Paradoxically, care shows itself even in what is perceived by the attending as carelessness. We can understand the residents’ care about the patient’s well-being, as well as the attending’s view of the resident not following protocols. They might be annoyed that the resident did not see the importance of the routine blood tests for the decision that was to be made on the morning round and that a delay in decision-making may affect the health of the patient. From another perspective, however, we see that the resident did care. The resident cared that the patient may feel upset and experience physical pain for what the resident sees as a minor procedure. It might be seen as a way of caring that the resident prioritized these concerns over procedural demands.

레지던트의 결정과 어텐딩의 상황 평가에는 아직 환자 치료를 완전히 맡겨지지 않은 수련의로서의 역할, 환자를 치료하는 의료 전문가로서의 역할, 프로토콜을 따라야 하는 병원 직원으로서의 역할 등 세 가지 돌봄의 대상이 경쟁적으로 실현되기 위해 경쟁하고 있습니다.

  • 환자 중심 치료의 관점에서 레지던트는 환자를 충분히 돌보는 것으로 간주될 수 있습니다.
  • 직원의 관점에서 보면 레지던트의 행동은 병원에서 모든 직원이 따라야 하는 진료 구조와 충돌합니다.
  • 수련의의 관점에서 주치의는 레지던트가 배워야 할 것을 배우지 못한 것으로 간주할 수 있습니다. 

Three objects of care are competing for realization within the resident’s decision as well as the attending’s assessment of the situation: the role of the resident as a trainee who is assessed and not yet entrusted fully with patient care, as a health care professional who treats patients, and as an employee of the hospital who is expected to follow protocols.

  • From the perspective of patient-centered care, the resident may be seen as fully caring.
  • From the perspective of an employee, her actions conflict with the care structure that all employees are supposed to follow in the hospital.
  • From the perspective of being a trainee, the attending may see the resident as failing at having learned something that they are supposed to learn.

레지던트가 무언가를 돌보지 않는다는 예를 상상할 수 없을 정도로 돌봄은 매우 근본적인 것입니다. 그것이 후배 의사의 경력이든, 병원의 프로토콜이든, 재정적 이익이든, 도덕적 무결성이든, 그 어떤 것이든 돌봄이 존재합니다. 부주의한 상황에서도 돌봄은 항상 작용하기 때문에 문제는 '보살핌이 있느냐'가 아니라 '이 특정 사례에서 보살핌이 어떤 형태를 취했느냐'입니다. 의료 교육과 돌봄의 근본적인 관계 때문에 우리는 돌봄이 단순히 실용적, 교육적, 심리적 문제가 아니라 심오한 철학적 문제라고 주장합니다. 
Care is so fundamental that it is impossible to imagine the example without the resident caring about something. Whether that something is the junior doctor’s career, the hospital’s protocols, financial benefits or moral integrity, care is present. Since even in encounters with carelessness, care is always at work, the question is not do they care?’, but ‘what form has care taken in this particular case?’ The fundamental relationship of care to health care education is why we argue that care is not just a practical, educational or psychological matter, but a deeply philosophical one.

돌봄과 철학적 만남
Philosophical encounters with care

하이데거는 『존재와 시간』에서 현대 사회에서 지식이 폭발적으로 증가하던 20세기 초를 배경으로 글을 씁니다. 이 시기에 하이데거는 철학이 존재한다는 것이 무엇을 의미하는가라는 가장 근본적인 질문으로 돌아가야 한다고 주장합니다. 이전의 철학자들과는 달리 그는 인간을 고립된 실체로 접근하는 것이 아니라 일상 생활에 완전히 몰입하여 모든 혼란, 양면성, 기쁨, 어려움을 겪는 존재로 접근합니다. 이러한 환경에서 사람은 "내가 여기서 무엇을 하고 있는가?"라고 질문할 수 있습니다. 하이데거의 대답은 돌봄입니다. 하이데거는 돌봄을 태도나 기술이 아니라 질문에 대한 응답으로 봅니다: "존재한다는 것은 무엇을 의미하는가?" 
In Being and Time,14 Heidegger writes from the beginning of the 20th Century during an explosion of knowledge in the modern world. During this time, Heidegger asks philosophy to return to the most fundamental question: what does it mean to be? In contrast to earlier philosophers, he does not approach human beings as isolated entities, but as beings that are completely immersed in daily life with all its befuddlements, ambivalence, joys, and difficulties. In this setting a person may ask, “what am I doing here?” Heidegger’s response is care. Heidegger does not see care as an attitude or technique but as a response to the question: “What does it mean to be?

존재와 시간의 관점에서 보면 우리의 모든 일상 활동은 돌봄을 중심으로 구조화되어 있습니다. 이러한 맥락에서 건강은 인간이 관심을 갖는 돌봄의 대상 중 하나일 뿐이며, 우리는 건강 자체를 위해서가 아니라 기분이 좋고, 가족과 함께 시간을 보내고, 오래 살고, 일하고, 지붕을 덮을 수 있기를 원하기 때문에 건강을 돌봅니다. 건강하면 일, 가족, 장수와 같은 다른 문제에 관심을 기울일 수 있습니다. 하이데거에게 건강 관리는 죽음을 연기하는 것입니다. 우리가 필멸자이기 때문에 치료가 존재하는 것입니다. 달리 말하면, 의료 교육에서 이 세 가지 용어 중 가장 근본적인 것은 돌봄입니다. 병원이 존재하는 이유도, 예시에서 레지던트가 자신의 명백한 실패에 죄책감과 체념을 느끼는 것도 모두 그 근원에 돌봄이 있음을 나타냅니다. 
From the perspective of Being and Time, all our daily activities are structured around care. In this context, health is only one of the objects of care that human beings are concerned with: we care for our health not for its own sake, but because we want to feel well, to spend time with our family, to live a long life, to be able to work and put a roof over our heads, and so on. Being healthy allows us to direct our attention to other matters such as work, family, or living a long life. For Heidegger, health care is about postponing death. It is precisely because we are mortal that care exists. Put differently, in health care education, the most fundamental of these three terms is care. Both the reason that hospitals exist and that the resident in our example feels guilt and resignation at her apparent failure indicate care at their origin.

간단한 예시를 통해 이러한 욕구가 항상 일치하는 근본적인 방향이 있음을 알 수 있습니다. 하이데거는 이를 시간의 구조와 동일시합니다. 현재에 무언가가 필요한 이유는 현재 상황에서 발생하는 미래를 상상하기 때문일 수 있습니다. 하이데거는 시간과 얽혀 있는 세 가지 요소, 즉 과거 현재 미래, 이미 있음, 함께 있음, 아직 없음이라는 개념을 통해 돌봄에 대한 자신의 생각을 소개합니다. 
We can see in simple examples there is always an underlying direction to which these needs align. Heidegger identifies this with the structure of time. One might need something now in the present, but it is only because we imagine a future arising from the current state of affairs. Heidegger introduces his idea of care with three elements that are intertwined with time: past present and future, which he calls already-there, being-with and not-yet.

이미 있음: "우리는 이 집에 태어났습니다. 이 세상 속으로 우리는 던져진다" - 1967년 문
Already-there: “into this house we’re born. Into this world we’re thrown” – the doors 1967

하이데거는 우리가 우리보다 훨씬 이전에 존재했던 세계에 도착한다는 사실을 주로 인정합니다. 레지던트는 의료 수련을 시작하기 전부터 이미 존재했던 병원에 있습니다. 수많은 시스템과 장비가 레지던트들이 임무를 수행하는 데 도움을 줍니다. 일상적인 혈액 샘플 채취라는 단순한 행위조차도 글로벌 제조 공급망, 재고 주문 및 관리, 임상 기술 교육 등의 조율된 구조에 따라 달라집니다. 의료 수련 과정에서 레지던트는 이미 의료가 존재하고 있기 때문에 이미 구축된 세계에 '던져진' 것입니다. 
Heidegger primarily acknowledges the fact that we arrive in a world which has been in existence long before us. The resident is in a hospital that was already there before they started medical training. A multitude of systems and equipment serve to assist them in doing their duty. Even the simple act of taking a routine blood sample is contingent on a coordinated structure of global manufacturing supply chains, stock ordering, and management, training in clinical skills etc. In medical training, the resident is ‘thrown’ into a world that was already there and has been constructed because care is already present.

존재-함께: "인간의 환경은 동료 인간이다." - 줄스 델더
Being-with: “the environment of the human being is fellow human being.” – Jules Deelder

레지던트는 주로 겁에 질리고, 취약하고, 압도당할 수 있는 사람으로서 환자를 만납니다. 레지던트의 관심은 환자를 병원에 오게 한 실질적인 이유(이미 병원에 온 이유와 앞으로 달성해야 할 목표 모두)에서 벗어나 현재의 다른 무언가에 쏠리게 됩니다. 이 순간 환자는 더 이상 단순한 조사 대상이 아니라 레지던트에게 원활한 의사소통과 개방성을 요구하고 한 인간으로서 인정받아야 하는 존재가 됩니다. 이러한 호감은 관계 형성의 시작이며, 레지던트의 모든 태도나 분위기에 영향을 미칩니다. 예를 들어, 환자가 레지던트의 인간성에 호소하는 경우, 레지던트는 자신이 원하는 절차를 따르지 못하고 부서나 상사의 절차에 얽매여 있는 것에 짜증을 낼 수 있습니다. 
Our resident encounters the patient primarily as someone who is scared, vulnerable, and perhaps overwhelmed. Their attention is drawn away from the practical reason that brought them to hospital (both in the sense of a reason for the visit that was already there and the future goal that needs to be accomplished) and instead to something else in the present. At this moment, the patient is no longer simply an object for investigation but a human being whose presence demands good communication, openness, and for the resident to acknowledge them as a person. This appeal is the beginning of forming a relationship which colors the resident’s attitude or mood toward everything else. For instance, in light of the patient’s appeal to her humanity, the resident may be annoyed that they cannot follow the procedure they need to but are bound to the processes of her department or supervisor.

레지던트의 상황은 단순히 객관적으로 존재하는 것들(환자, 주사기, 레지던트가 있는 방)의 집합이 아닙니다. 레지던트가 특정한 방식으로 함께 있는 요소들의 집합입니다. 이 예에서 레지던트와 상황의 관계는 두 개의 경쟁적인 치료 대상의 갈등에 대한 반응으로서 좌절감입니다. 좌절감을 주는 것은 개별적인 요소가 따로 있는 것이 아닙니다. 사랑에 빠지거나 지루한 사람이 사랑이나 지루함의 관점에서 모든 것을 경험하는 것처럼, 모든 것은 좌절의 관점에서 발생합니다.
The resident’s situation is not a collection of things that are merely objectively present (the patient, the syringe, the room they are in). It is a constellation of elements that the resident is with in a particular way. In our example, the resident’s relationship with the situation is frustration as a response to the conflict of two competing objects of care. It is not any distinct individual element that is frustrating. Everything occurs in the light of being frustrated, just as a person who is in love or bored experiences everything in the light of being in love or of boredom.

아직은 아니죠: "미래는 일어나기 훨씬 전에 우리 안에서 스스로 변화하기 위해 우리에게 들어온다." 릴케, 젊은 시인에게 보내는 편지, 10번 편지
Not-yet: “the future enters us, to change itself in us, long before it happens.” Rilke, letters to a young poet, letter 10

하이데거에게 돌봄의 마지막 차원은 가장 중요한 차원입니다. 이 세 가지가 모두 하나의 통일체이지만, 이것이 바로 돌봄에 의미와 방향을 부여하는 것입니다. 레지던트가 애초에 그곳에 앉아 이미 존재하는 구조 안에서 환자와 함께 있는 이유는 의사가 되고자 하는 의학적 수련을 받고 있기 때문입니다. 이 예에서 주치의는 환자의 안전을 위해 일상적인 혈액 검사가 중요하다고 지적할 수 있지만, 가장 중요한 것은 레지던트가 이 검사가 자신의 전문적 성장을 위해 왜 중요한지 이해하는 것입니다. 
The final dimension of care is the most important for Heidegger. Even though all three are one unity, this is the one that gives care its meaning and direction. The reason the resident is sitting there in the first place, being with a patient within a structure that was already there, is that they are in medical training: they want to become a physician. In our example, the attending may point out that this routine blood sample is important to do for patient safety but most importantly it is crucial that the resident understands why the test is important for her own professional growth.

이 예에서 우리는 이러한 예상 가능한 측면이 작동하는 것을 볼 수 있습니다. 환자는 위험 가능성으로부터 보호되어야 하며, 레지던트는 자신의 성장과 학습을 보여주기 위해 이러한 일상적인 검사의 중요성을 배워야 합니다. 갈등은 레지던트가 불필요한 검사로 인해 환자에게 상처를 입힐까 봐 걱정하고 두려워할 때 발생합니다. 이 갈등은 실제 사건이 아니라 가능한 사건 사이에서 발생하지만 상황을 결정적으로 형성합니다. 
In this example, we see these anticipatory facets at work. The patient must be protected from the possibility of harm and the resident must learn the importance of these routine tests for them to show her growth and learning. The conflict arises when the resident is concerned and scared of hurting the patient for what may possibly be an unnecessary test. This conflict is between possible events, not actual events, and yet they decisively shape the situation.

하이데거에게는 이것이 문제의 핵심입니다. 의료 실습생은 아직 의사가 아니지만 의사가 되기 위한 과정에 있습니다. 따라서 의료 수련생은 자신에게 중요한 것이 무엇인지, 그리고 미래에 자신이 어떻게 될 것인지에 대해 성찰해야 합니다. 이 사례의 레지던트는 환자가 겪게 될 고통에 대해 걱정하면서도 주치의가 자신을 어떻게 생각할지, 그리고 이것이 자신의 평가에 미칠 영향에 대해 걱정하는 양면성을 지니고 있습니다. 이러한 돌봄 대상의 갈등 속에서 레지던트는 어려운 선택에 직면하게 됩니다. 사실 이러한 갈등은 의사가 환자에게 하는 다양한 약속의 핵심을 관통합니다. 이러한 갈등은 진료의 대상이 실제로 무엇이며 어떻게 기능하는지 면밀히 검토할 필요성을 제기합니다. 여기서 우리는 수련의가 임상적 또는 윤리적 의사 결정에서 이러한 어려움을 헤쳐 나갈 때 중요한 고려 사항을 파악하고 이해하도록 돕는 것이 교육의 근본적인 초점이라는 사실을 발견합니다.
For Heidegger, this is the crux of the matter. The medical trainee is not yet a doctor but is in the process of becoming one. This asks a medical trainee to reflect on what is significant to them and how they see themselves being in the future. The resident in this example is ambivalent: she cares about the suffering her patient will experience but also cares what her attending will think of her and the effect this may have on her assessment. In this conflict of objects of care it is obvious that the resident is confronted by a difficult choice. In fact, this conflict cuts to the very core of the different commitments a doctor makes to their patients. It brings into view the need to closely examine what these objects of care really are and how they function. This is where we discover that a fundamental focus of education is helping trainees identify and comprehend the important considerations when navigating these difficulties in clinical or ethical decision-making.

철학은 이러한 복잡한 갈등을 헤쳐나가는 데 어떻게 도움이 될 수 있을까요? 존재와 시간에서의 돌봄은 다음과 같이 설명할 수 있습니다. 다른 사람, 사물, 장비와 함께하는 우리의 태도를 형성하고 현재 순간을 비추는 종말을 예상하는 것입니다. 이는 교육 프로그램의 효과를 극대화하기 위해 활용하는 기술적 모델이 아니라 의료 교육의 인간적 요소에 초점을 맞추는 데 도움이 될 수 있는 성찰적 패러다임입니다.
How can philosophy help us navigate these complicated conflicts? Care in Being and Time can be described as follows: anticipating an end that shapes our attitude to being with others, things, and equipment, that illuminate our current moment. This is not a technical model that we utilize for maximizing effectiveness of our teaching programmes but a reflective paradigm that can help us bring the human elements of health care education into full focus.

시사점: 의료 교육에서의 돌봄
Implications: Care in medical education

보건의료 교육에서의 돌봄에 대한 철학적 분석에서 우리는 『존재와 시간』에 나타난 돌봄의 개념이 보건의료 교육의 정신으로서 돌봄에 대한 깊은 성찰을 어떻게 열어줄 수 있는지 탐구하려고 시도했습니다. 우리는 이를 탐구하기 위해 '철학자 하이데거'나 다른 철학적 관점의 비교를 출발점으로 삼기보다는 하나의 철학 작품에서 하나의 개념으로 의식적으로 제한했습니다. 
In our philosophical analysis of care in health care education, we have attempted to explore how the concept of Care as it appears in Being and Time can open up a deep reflection on care as the spirit of health care education. We have consciously limited ourselves to one concept in one philosophical work to explore this, rather than, taking ‘the philosopher Heidegger’ or a comparison of different philosophical perspectives as a starting point.

더 많은 탐구를 위해 존재와 시간 외에도 돌봄에 대한 다른 해석을 살펴볼 수 있습니다. 하이데거는 이 작업 이후 자신의 철학을 더욱 발전시켰는데, 예를 들어 의료 전문가를 대상으로 한 일련의 강연인 졸리콘 세미나25가 있습니다. 그러나 하이데거의 실존 분석을 비판적으로 구축한 다른 철학자들이 있는데, 이들은 의료 교육에서 소홀히 다루어지는 치료 방식을 지적하는 데 사용할 수 있습니다. 레비나스는 삶의 윤리적 만남에서 연민으로 행동하는 타자를 강조합니다.26 하이데거와 니체를 자신의 두 가지 주요 영향으로 꼽은 푸코는 '존재론적으로' 돌봄은 결코 중립적이지 않으며 권력/지식 관계의 네트워크에서 발생한다는 것을 보여주었습니다.27 드 보부아르의 연구에 이어,28 보건의료 교육의 성차별적 과거는 일부에게 특권을 부여하는 돌봄의 방식을 강조한 것으로 볼 수 있습니다. 돌봄은 여성의 의무로 여겨졌고, 간호 업무는 돌보는 일로 여겨졌지만, (아마도 남성인) 의사의 의무는 질병에 대한 냉철하고 과학적인 이해로 여겨졌습니다. 우리는 이 두 가지 모두 돌봄의 방식이므로 역할이나 성별에 관계없이 모든 의료 전문가에게 기대해야 한다고 주장합니다. 마지막으로, 스티글러는 기술도 치료의 한 방식이라는 사실을 지적합니다. 
For further avenues of exploration, we could look at other interpretations of care beyond Being and Time. Heidegger himself further developed his philosophy after this work; for instance, the Zollikon Seminars25 is a series of lectures he gave for medical professionals. But there are other philosophers who critically built on Heidegger’s existential analytic who could be used to point us to neglected modes of care in health care education. Levinas places emphasis on the Other in acting compassionately in the ethical encounters of life.26 Foucault, who named Heidegger and Nietzsche as his two major influences, showed that ‘ontically’, care is never neutral but it happens in a network of power/knowledge relations.27 Following De Beauvoir’s work,28 health care education’s sexist past could be seen as highlighting a mode of care that privileges some over others. While caring was seen as the duty of a woman, the work of nursing was seen to be the work of caring, the duty of the (presumably male) doctor was seen as a cold detached and scientific understanding of disease. We argue that both of these are modes of care and thus should be expected of all health care professionals, regardless of role or gender. Finally, Stiegler points us to the fact that technology is also a mode of care, but that its double-sided nature can also threaten care.29,30

우리는 존재와 시간의 경계 안에 머물기로 한 우리의 선택을 되돌아봅니다. 이 논문이 게재되는 시리즈의 목적은 철학이 의료 교육에 어떻게 도움이 될 수 있는지 탐구하는 것입니다. 이전 연재에서는 한 철학자31 또는 전체 철학적 전통11 또는 철학적 분야4의 연구가 어떻게 한 문제를 전체적으로 해명할 수 있는지 살펴보았습니다. 
We reflect on our choice to stay within the boundaries of Being and Time. The purpose of the series in which this paper appears is to explore how philosophy can be helpful for health care education. Previous installments have explored how the work of a philosopher31 or even an entire philosophical tradition11 or philosophical field4 can elucidate an issue as a whole.

윤리로써의 돌봄을 살펴보면 의료 교육 문헌에 이미 존재한다는 것을 알 수 있습니다. 현재 의료 교육 모델에서는 해부학, 생리학, 약리학 임상 기술을 합쳐서 의사가 되고, 이를 배려하는 방식으로 적용하는 방법을 아는 의사가 되는 것을 목표로 삼고 있습니다. 그러나 우리가 공감을 가르치려고 노력하는 동안 의대생들은 교육을 통해 공감 능력이 떨어지고 있습니다.32 그러나 존재론적으로 돌봄이 어디에나 존재한다면, 질문은 "왜 학생들은 덜 돌보는가?"에서 "왜 학생들은 한 가지 돌봄 방식을 다른 방식보다 우선시하도록 가르치는가?"로 바뀝니다.  
If we examine care as an ethic, we find it already present in health care education literature. The models of health care education currently view making a medical student by adding together anatomy, physiology, pharmacology clinical skills and ensure that the doctor knows how to apply these in a caring manner. However, while we are trying to teach empathy, medical students are becoming less empathetic through their education.32 But if, ontologically, care is ubiquitous, the question changes from “why do students care less?” to “why are students taught to privilege one mode of care over others?”

존재론적 수준에서 돌봄을 이해하는 것의 실질적인 가치는 성찰적 학습을 통해 드러납니다. 성찰은 쉽지 않은 주제이지만,33 성찰의 목표는 학습을 확장하고 업무 환경을 더 잘 이해하는 것입니다. 물론 우리는 의대생이 환자의 의학적 상태, 환자의 전반적인 신체 건강, 환자를 현재 상태에 이르게 한 인과적 요인의 성격 등 물질적 상황에 대해 성찰하기를 바랍니다. 하지만 이 과정에서 "이 진단이 나에게 무엇을 의미하는가?"와 같은 질문을 불러일으킬 수 있는 표정이나 날카로운 침묵에도 주목해야 합니다. 
The practical value of understanding care on an ontological level emerges through reflective learning. While reflection is a slippery subject,33 the goal of reflection is to expand learning and to better understand a work environment. Of course, we want medical students to reflect on the material circumstances of the patients’ medical condition, their general physical health, and the nature of the causal agents that brought the patient to where they are today. But in doing this they must also notice the facial expression or the pointed silence which can invite questions like “what does this diagnosis mean for me?”

하이데거는 우리의 존재에 대해 어려운 질문을 던지는 것을 방해하는 것이 일상 생활의 현실이기 때문에 이것을 철학적 탐구의 영역으로 끌어들입니다. 그러나 하이데거는 이러한 현실적인 방해가 항상 더 깊은 사고의 구조를 향하고 있다는 사실에도 주목합니다. 예를 들어, 저는 체크리스트의 일부로 정맥주사를 놓을 수도 있지만, 환자의 첫 번째 화학요법에서도 역할을 하고 있습니다. 치료 기반 분석의 목표는 이러한 일상적인 기술 프로세스의 근본적인 시간적 구조를 밝혀내는 것입니다. 이러한 기본 구조는 반드시 인과관계가 있는 것은 아니지만, 의료 전문가라는 존재의 근간이 되는 약속입니다. 만약 우리가 진료의 표면적인 현상만을 계속 살펴본다면, 우리는 의료전문직업인이 주어진 상황에서 올바르게 행동했는지 또는 잘못 행동했는지 여부만 판단할 수 있을 것입니다. 하지만 이러한 진료의 겉으로 드러나는 현상 너머를 들여다보면 그 근본적인 구조가 철학적 탐구를 위해 완전히 열려 있다는 것을 알 수 있습니다. 
Heidegger draws this into the domain of philosophical enquiry as it is the practicalities of everyday life that prevent us asking difficult questions about our existence. However, Heidegger also notices that these practical distractions are always directed at some deeper structure of care. For instance, I might well be putting up an IV line as part of my checklist, but I am also playing a role in a patient’s first dose of chemotherapy. The aim of a care-based analytic is to be able to bring to light the underlying temporal structure of these everyday technical processes. These underlying structures are not necessarily causal agents but are rather the commitments that underlie the being of a Health Care Professional. If we were to continue to look at the ontic manifestations of care, we might only be able to judge whether a HCP acted correctly or incorrectly in a given situation. But if can look beyond these manifestations of care we see that the underlying structure is completely open for philosophical investigation.

우리의 주장은 성찰하는 의료진은 이 두 가지를 모두 수행해야 한다는 것입니다. 그들은 조사가 적절한지 또는 병리 또는 치료 양식을 더 잘 이해하기 위해 더 많은 주의를 기울여야 하는지에 대해 잠시 멈추고 성찰할 수 있어야 합니다. 그러나 이러한 기술적 프로세스가 궁극적으로 의사가 되기 위한 다양한 약속을 어떻게 지향하는지 조사할 수 있어야 합니다. 우리는 의료 교육에서 철학의 역할이 어떤 행동을 취해야 하는지, 취하지 말아야 하는지에 대한 범주적 판단을 가르치는 것이 아니라 올바른 질문을 할 수 있도록 돕는 것이라고 주장합니다. 궁극적으로 이것이 의료 교육에 대한 도전입니다. 우리는 교육과 가르침의 기술적 과정을 넘어 다음과 같은 질문을 할 수 있을까요? 의사가 된다는 것은 무엇을 의미할까요? 
Our claim is that a reflective practitioner ought to do both. They should be able to pause and reflect on whether an investigation is appropriate or whether some more attention should be paid to better understanding pathology or treatment modalities. However, they should also be able to investigate how these technical processes are ultimately aimed at the various commitments that constitute being a doctor. We argue that this is the place of philosophy in health care education, not to teach categorical determinations of what action should or should not be taken, but rather to help us to ask the right questions. Ultimately this is the challenge to health care education. Are we able to look past the technical processes of education and teaching and start asking: What does it mean to be a doctor?


Teach Learn Med. 2022 Jun-Jul;34(3):341-349. doi: 10.1080/10401334.2022.2056744. Epub 2022 Apr 25.

Because We Care: A Philosophical Investigation into the Spirit of Medical Education

Affiliations collapse

1Department of Medicine, University of Cape Town, Cape Town, South Africa.

2Department of General Practice, Erasmus Medical Center, Rotterdam, The Netherlands.

PMID: 35469534

DOI: 10.1080/10401334.2022.2056744

Abstract

Although in health care education we encounter the word care at every turn, the concept is hardly ever defined or subjected to scrutiny. Care is a foundational concept of health care education, and if we do not take control of our basic concepts, their meaning can be subject to other influences. We take a philosophical approach to care and ask what care is, to connect different conceptions of care in health care education to their common root. We do this by first examining how the concept is used in health care education, how it features in Martin Heidegger's Being and Time, and finally, how these philosophical implications may be applied to medical education.

The use of care in medical education suggests that it is foundational to understanding health care education. However, presently the concept is ambiguous and risks being a 'container concept' that becomes meaningless because it is used generally. In publications that feature the concept, it is usually in service of another aspect that is under investigation, and not care itself. For instance, publications on teaching patient-centred care focus on the meaning of 'patient-centeredness' rather than care. In 'health care', there are debates about what 'health' means, but not care. The concept is also used in different and sometimes contradictory meanings: care as the organizational structure of health care that safeguards (health care system), care as empathy or careful attention of medical trainees for patients (caring about one's patients, treating them carefully), and, finally, care as motivation and focus toward a goal (caring about graduating, making a contribution). We turn to the philosophy of Heidegger to integrate these different appearances of care into a unified structure. Heidegger's Being and Time describes care as the basic ontological structure of human existence. This turns out to be a structure of time: in the familiar structure of past present and future. Anticipating a future end, which determines our attitude toward the people, objects, and physical structures we are with now, and in the light of which we orient ourselves to what is already there.

By describing the ontological (foundational) structure of care, we argue that care is the spirit of health care education. This unifying structure can be used to integrate phenomena that are recognized as important in health care education but are usually seen as separate. We use an example to illustrate how empathy, health protocols, and educational goals can be connected in one situation. Just as health provides a framework for patient management, care can provide this framework for education. This fundamental concept of care can be used in practice for reflection on anticipated ends in situations in which different modes of care seemingly conflict. Beyond our focus on care, we also illustrate how one can take an important concept in health care education and use philosophy to root it in a foundational understanding of that concept.

Keywords: Philosophy; care; empathy.

임상 카데바의 라이프사이클: 실천-기반 민족지학(Teach Learn Med, 2022)
The Lifecycle of a Clinical Cadaver: A Practice-Based Ethnography
Anna MacLeoda , Victoria Luonga , Paula Camerona , George Kovacsb, Molly Fredeena, Lucy Patrickb, Olga Kitsc and Jonathan Tummonsd

 

 

소개
Introduction

최근 학자들은 의학교육 탐구에서 보다 명확한 철학적 전환을 요구하며 우리 커뮤니티가 과학 철학을 접하고 "아무도 찾지 못한 문제"를 탐구하도록 장려하고 있습니다.1,2 존재를 다루는 철학의 한 분야인 존재론에 대한 질문은 의학교육 영역에서 중요한 고려 사항으로 제기되었습니다.3 우리는 의학교육에서 가장 복잡한 실습 중 하나인 카데바 기반 시뮬레이션(CBS)을 경험적 및 철학적으로 탐구함으로써 이 요청에 응답했습니다. 이 논문에서는 사람들이 시체를 대면할 때마다 몰입하는 매혹적인 철학적 움직임에 대해 새롭게 조명합니다. 
Scholars have recently called for a more explicit philosophical turn in medical education inquiry, encouraging our community to engage with philosophies of science, and to explore “problems no one looked for.”1,2 Questions of ontology, the branch of philosophy that deals with being, have been raised as important considerations in the realm of medical education.3 We responded to this call by both empirically and philosophically exploring one of the most complex practices of medical education: cadaver-based simulation (CBS). In this paper, we shed new light on the fascinating philosophical moves in which people engage each time they find themselves face to face with a cadaver.

시체는 전통적으로 해부학 교육 영역에서 많은 의학교육 프로그램에서 중요한 요소입니다.4,5 의학교육에서 전통적인 시체에 관한 문헌은 해부학 교육에 대한 효과뿐만 아니라,6 시체 사용과 관련된 윤리적7,8 및 전문적9-11 복잡성을 탐구해 왔습니다. 많은 사람들이 논란의 여지가 있는 시체 해부의 역사를 되돌아보면서 한때 "도덕적이지 않고 거의 합법적이지 않은 활동"11(p3)에서 최고 수준의 존중을 요구하는 활동으로 진화했으며, 이는 현재 시체 기반 교육에 관한 윤리 지침 및 법적 규정에 반영되어 있습니다.12 또한 최근의 저자들은 안구 자극부터 불안, 놀라움, 열정에 이르기까지 의료 실습생이 시체 해부와 관련하여 보이는 다양한 신체적, 정신적, 정서적 반응을 탐구했습니다.7,13-17 일반적으로 이러한 연구는 다른 해부학 교육 방법에 비해 시체 기반 학습의 우수성을 입증하고 있으며,6 시체가 학생의 공감과 휴머니스틱 케어에 미칠 수 있는 긍정적인 영향을 입증하고 있습니다.18,19 
Cadavers are an important element in many medical education programs, traditionally in the realm of anatomy education.4,5 The literature on traditional cadavers in medical education has explored not only their effectiveness for teaching anatomy,6 but also some of the ethical7,8 and professional9–11 complexities associated with their use. Many have reflected on the controversial history of cadaveric dissection, which has evolved from a once “dubiously moral and barely legal activity” 11(p3) to one demanding the highest standards for respect, which are reflected in current ethical guidelines and legal regulations around cadaver-based education.12 As well, recent authors have explored the various physical and psycho-emotional reactions medical trainees have in relation to cadaveric dissection—ranging from ocular irritation, to anxiety, surprise, and enthusiasm.7,13–17 Generally speaking, these studies attest to the superiority of cadaver-based learning compared to other methods of anatomy education,6 as well as the positive impacts cadavers may have on student empathy and humanstic care.18,19

그러나 맥도날드20와 할람21과 같은 일부 학자들은 시체의 역동적이고 전개되는 특성에 주목하기 위해 인류학 및 민족지학적 접근 방식을 취했습니다. 맥도날드는 학생들이 시체를 어떻게 "습득"하는지를 보여줍니다. "끊임없이 활동하는 미세 관절 과정"에서 학생들은 시간이 지남에 따라 다양한 방식으로 보고, 냄새 맡고, 다루고, 듣는 법을 배웁니다.20(129쪽) 예를 들어, 저자는 학생들이 매뉴얼에 설명된 도표를 눈앞의 시체와 일치시키는 방법을 점차적으로 배우는 과정을 설명하는데, 맥도날드는 이를 "특정한 눈을 획득...보는 법을 배우는 것"으로 묘사하고 있습니다. 또한 할람21은 사후 시신 해부를 "관계적 과정"21(p100)으로 간주하며, 시신은 항상 시신의 조달, 사용 및 추모와 관련된 사회적, 물질적 요소와 관련하여 이해됩니다. 이러한 방식으로 "사후 시신은 인격체로서, 해부학적 지식의 생성 및 전달을 위한 자료로서, 의학 발전을 위한 선물로서 가치가 있다"21(p99). 
Some scholars, however, such as McDonald20 and Hallam,21 have taken an anthropological and ethnographic approach to attend to the dynamic and unfolding character of cadavers. McDonald demonstrates how cadavers are “acquired” by students; in an “ever-active process of micro articulation,” students learn to see, smell, handle, and hear in various ways over time.20(p129) For example, the author explains how students gradually learn to match diagrams illustrated in their manuals to the cadavers before them: a process McDonald describes as “acquir[ing] particular eyes…learn[ing] to see.” Moreover, Hallam21 considers the dissection of a body after death a “relational process”21(p100) whereby the cadaver is always understood in relation to the social and material elements involved in their procurement, use, and memorialization. In this manner, “bodies after death are valued as persons, as materials for the generation and communication of anatomical knowledge, and as gifts for the advancement of medical science”21(p99)

최근에는 보존 기술의 발전으로 특히 술기 교육 및 시뮬레이션 영역에서 시체가 새롭게 활용되고 있습니다.22-27 다른 형태의 시뮬레이션과 마찬가지로 CBS는 학습자가 실제와 같은 맥락에서 술기를 연습하고 지식을 적용한다는 아이디어에 기반합니다. 실제 인체보다 인체의 복잡성, 가변성, 특수성을 더 충실하게 재현할 수 있는 마네킹은 없기 때문에 CBS는 특히 고숙련, 저빈도 술기 연습을 위한 유망한 교육 접근법으로 부상하고 있습니다.22-27 이러한 보존 기술은 아직 비교적 새롭기 때문에 임상 사체의 사용을 구체적으로 검토한 연구는 부족합니다. CBS에 관한 기존 문헌은 몇 가지 주목할 만한 예외를 제외하고는 주로 학습에 대한 유효성과 효과를 측정하는 데 중점을 두었습니다.22-28. 예를 들어, 더글러스 존스(Douglas-Jones)29 의 민족지학적 설명은 대만의 추기경 침묵 멘토 프로그램인 메디컬 시뮬레이션 센터에서 사람들이 기증자의 신원을 인정하기 위해 사진을 배치하고 기증자의 삶에 대한 이야기를 들려줌으로써 기증의 문화적 특수성을 자세히 설명합니다. 
More recently, advancements in preservation techniques have led to new uses for cadavers, specifically in the realm of procedural skills teaching and simulation.22–27 CBS, like any form of simulation, is based on the idea that learners practice skills and apply knowledge in lifelike contexts. Arguably, no manikin can offer more fidelity in reproducing the complexity, variability, and particularity of the human body than an actual human body; thus, CBS is emerging as a promising approach for teaching, particularly for practicing high-skill, low frequency procedures.22–27 Because these preservation techniques are still relatively new, there is a paucity of research examining the use of clinical cadavers specifically. The limited existing literature on CBS has largely focused on measuring its validity and effectiveness for learning,22–28 with a few notable exceptions. Douglas-Jones’29 ethnographic account, for example, details the cultural specificities of donation in the Taiwanese Tzu Chi Buddhist Silent Mentor program Medical Simulation Center, where people make a deliberate effort to acknowledge the identity of the donor, by positioning photographs and telling stories about the donor’s life.

이러한 시체의 윤리적, 전문적 복잡성은 기존 시체와 크게 다를 수 있습니다. 예를 들어, 전통적인 시신과 비교했을 때 CBS를 위해 준비된 시신은 시각적으로나 촉각적으로 더 생생합니다.

  • 딱딱하게 고정된(전통적인) 시신은 포름알데히드라는 화학 물질을 사용하여 방부 처리하는데, 이는 시신 조직의 분해를 지연시킬 뿐만 아니라 시신을 뻣뻣하고 유연하지 않게 만들기도 합니다. 이러한 시신은 신체 조직의 복잡한 형태와 위치를 유지하지만 살아있는 시신과 잘 닮지 않습니다.30
  • 반면, 최근에 Thiel,31과 대만,29,32 볼티모어, 핼리팩스의 과학자들이 개발한 소프트 보존(CBS) 시신은 마취된 환자의 모습과 느낌을 그대로 유지합니다. 코백과 동료들은 임상 시체라고 부르는 이러한 실물보다 더 실물 같은 시체를 사용하여27 높은 수준의 충실도로 시술을 연습할 수 있습니다.34 

Arguably, the ethical and professional complexities of these cadavers could differ significantly from those of traditional cadavers. For example, compared to traditional cadavers, bodies prepared for CBS are undeniably more lifelike—both visually and tactilely. 

  • Hard-fixed (traditional) cadavers are embalmed using the chemical formaldehyde, which delays the decomposition of the body’s tissues, but also renders them stiff and unpliable. These cadavers maintain the intricate form and location of bodily tissues but poorly resemble living bodies.30 
  • In contrast, soft-preserved (CBS) cadavers, such as those more recently developed by Thiel,31 as well as scientists in Taiwan,29,32 Baltimore, and Halifax,27,33 maintain the look and feel of anesthetized patients. Medical learners across the continuum can use these more lifelike cadavers, termed clinical cadavers by Kovacs and colleagues,27 to practice procedures with high degrees of fidelity.34

맥도날드나 할람과 같은 학자들은 시체 해부의 인류학적 및 관계적 차원에 대한 풍부한 통찰력을 제공했으며, '해부' 과정에서 시체가 갖는 다양한 가치와 역할을 암시했습니다.20,21 그러나 이 분야의 학자들은 아직 CBS에 실제와 같은 시체를 사용하는 것과 관련된 근본적인 철학적 및 존재론적 문제를 충분히 검토하지 못했습니다. 또한 일부는 수술 술기 교육을 용이하게 하기 위해 다르게 보존된 시체를 사용하는 프로그램의 문화적 뉘앙스를 설명했지만,29,32 이러한 논문은 아직 CBS에 관련된 사람들이 행정에서 교육에 이르기까지 당면한 다양한 작업을 수행하기 위해 참여해야 하는 개념적 작업에 대해서는 다루지 않았습니다. 이러한 격차를 해소하기 위해 우리는 들뢰즈와 과타리의 창조로서의 존재론 개념을 활용하여 의학교육자들이 시체를 이해하면서 어떻게 진화하는 개념들을 개발하는지를 분석했습니다.35 저자들은 고전적인 저작인 "철학이란 무엇인가?"에서 우리가 세상을 이해하려고 할 때 관여하는 세 가지 주요 행위를 과학, 예술, 철학으로 구분했습니다. 우리는 의학교육자들이 오랫동안 CBS의 과학과 예술을 접해 왔지만, 이 작업의 철학적 측면, 특히 존재론에 대한 질문에는 아직 주의를 기울이지 않았다고 주장합니다. 
Scholars such as McDonald and Hallam have given us rich insights into some of the anthropological and relational dimensions of cadaveric dissection, hinting at the multiple values and roles that bodies take on during the process of “anatomisation.”20,21 However, scholars in the field have not yet fulsomely examined the underlying philosophical and ontological questions associated with using lifelike cadavers to engage in CBS. And, while some have described the cultural nuances of programs using cadavers that are differently preserved in order to facilitate surgical skills teaching,29,32 these pieces have not yet addressed the conceptual work in which people involved with CBS must engage to accomplish the variety of tasks at hand—ranging from administrative to educational. In an effort to address this gap, we worked with Deleuze and Guattari’s notion of ontology as creation to analyze how medical educators develop an evolving suite of concepts to make sense of cadavers as they go about their work.35 In their classic work What is Philosophy?,35 the authors distinguished three primary acts in which we engage as we try to make sense of the world: science, art, and philosophy. We argue that medical educators have long engaged with the science and art of CBS; however, we have not yet carefully attuned to the philosophical aspects of this work, and in particular to questions of ontology.

2년에 걸친 실무 기반 36 민족지학적 CBS 연구를 통해 우리는 시체가 존재론적으로 복잡하며 끊임없이 개념이 재창조되는 과정에 있다는 것을 알게 되었습니다. 여기에서는 교육용 시신의 6단계 생애주기를 설명하면서 CBS를 통한 교육 및 학습 작업을 용이하게 하기 위해 각 단계에서 발생해야 하는 존재론적 전환을 설명합니다. 이 백서는 실제와 같은 시체를 다루는 작업의 더 깊고 철학적인 복잡성을 조사하여 현재의 이해를 확장합니다.
Through a two-year practice-based
36 ethnographic study of CBS, we learned that cadavers are ontologically complex, and in a process of constant conceptual re-creation. We describe herein a six-step lifecycle of an educational cadaver, delineating the ontological transitions that must occur at each stage to facilitate the work of teaching and learning through CBS. This paper expands our current understanding, probing the deeper, philosophical complexities of working with lifelike cadavers.

방법
Method

이론적 틀
Theoretical frame

본 연구는 실천 이론에 이론적 틀을 두고 있습니다.36 실천 이론은 사회 세계를 "숙련된 인간의 몸과 마음, 사물과 텍스트에 새겨지고 한 수행의 결과가 다른 수행의 자원이 되는 방식으로 함께 매듭지어져 내구성이 있는 방대한 수행의 배열 또는 집합체"로 보는 관점을 제시한다고 할 수 있습니다.37(p20) 실천은 물질적으로 매개되고 사회적이고 관계적인 것과 얽혀 있습니다.36 이 접근법은 사람들이 직장과 기타 일상 환경에서 참여하는 일상 활동의 네트워크를 이해하는 데 중점을 둡니다.37,38
Our study is theoretically framed in Practice Theory.36 Practice theory can be said to present a view of the social world as

  • “a vast array or assemblage of performances made durable by being
    inscribed in skilled human bodies and minds, objects and texts and
    knotted together in such a way
    that the results of one performance become the resource for another.”37(p20) 

Practices are materially mediated and entangled with the social and relational.36 This approach focuses on understanding the networks of everyday activities in which groups of people engage in their workplaces and other everyday settings.37,38

우리는 시체 업무와 관련된 여러 인간 및 비인간 행위자를 고려하면서 사람(예: 시체 보관소 직원, 관리자, 교사, 학습자)과 사물(도구, 공간, 법률 및 교육 문서)은 물론 한계 공간에 존재하며 어떻게 보면 인간인 동시에 비인간인 시체 자체에 주목했습니다.39 우리는 CBS의 복잡성을 충분히 이해하고 설명하기 위해 일상적이고 당연하게 여겨지는 요소를 세밀하게 연구하는 데 관심이 있었기 때문에 실무 기반 접근법을 선택했습니다. 사체는 인간과 비인간 배열의 일부이며 이러한 네트워크와 관행에서 관련 행위자입니다. "... 사물이 승인, 허용, 여유, 장려, 허용, 제안, 영향, 차단, 가능, 금지 등을 할 수 있기 때문이다."40(p72) 카데바 작업의 관행에 집중함으로써 우리는 이러한 전문적인 환경에서 수행되는 일상적인 활동의 복잡성을 명확하게 표현하고 더 잘 이해할 수 있었습니다.
We considered multiple human and non-human actors associated with cadaver work, taking care to note both people (e.g., cadaver staff, administrators, teachers, learners) and things (tools, spaces, legal and educational documents), as well as the cadaver itself, which exists in a liminal space, and is somehow both human, and non-human.39 We selected a practice-based approach because we were interested in studying, in fine detail, the everyday, taken for granted elements of CBS in order to fulsomely understand and describe its complexities. Cadavers are part of the human and non-human arrangement and are relevant actors in these networks and practices as “… things might authorize, allow, afford, encourage, permit, suggest, influence, block, render possible, forbid, and so on.”40(p72) Focusing on the practices of cadaver work allowed us to articulate, and better understand, the complexities of day-to-day activities performed in these professional settings.

분석과 해석과 관련하여 우리는 '시체'의 개념이 어떻게 진화하는지 이해하기 위해 들뢰즈와 과타리의 '되기'와 '차이'에 대한 아이디어를 활용했습니다. 들뢰즈와 과타리는 차등적 존재론자고 불리며, 이는 개념이 항상 차이에 기초하여 구성된다는 가정 하에 작업한다는 의미입니다(우리는 사물을 아닌 것으로 식별합니다). 따라서 이러한 관점을 존재론의 문제에 접목하려면 새로운 사고 방식이나 이해 방식을 제시하기 위해 존재에 대한 전통적인 관념을 해체하려는 고의적인 노력이 필요합니다.
With respect to analysis and interpretation, we drew on Deleuze and Guattari’s ideas about becoming and difference to understand how the concept of “cadaver” evolves. Deleuze and Guattari have been referred to as differential ontologists, meaning that they worked with the assumption that concepts are always constituted on the basis of difference (we identify things by what they are not). Folding this perspective into questions of ontology, then, requires a deliberate effort to unravel traditional ideas about being in order to offer new ways of thinking or understanding.

들뢰즈와 과타리는 철학의 목적이 세계가 실제로 어떤 것인지 '발견'하는 것이라고 믿지 않았습니다. 그들에게 이것은 불가능한 목표였습니다. 대신 그들은 철학을 개념의 창조와 동일시했습니다철학은 우리가 세상의 무한한 복잡성을 이해하는 데 도움이 되는 틀을 만드는 것입니다. 우리가 일상에서 하는 모든 행위에는 새로운 개념에 영감을 줄 수 있는 잠재력이 있습니다. 따라서 존재는 발견이 아닌 창조의 과정으로 개념화됩니다. 이는 발견해야 할 하나의 이야기나 통일된 진실이 없다는 것을 의미합니다. 오히려 세상을 구성하는 개념을 창조하는 것은 우리의 몫입니다.
Deleuze and Guattari did not believe that the purpose of philosophy was to “discover” what the world is really like. To them, this was an impossible goal. Instead, they equated philosophy to the creation of concepts: philosophy is about creating frameworks that help us make sense of the infinite complexity of the world. Each act in which we engage in our everyday life has the potential to inspire new concepts. Being, then, is conceptualized as a process of creation rather than discovery. This means that there is no one story, or unified truth to be discovered. Rather, it is up to us to create the concepts that structure the world.

우리의 사례와 관련하여, 우리는 인체 기증과 시체 기반 시뮬레이션의 심오한 복잡성을 더 잘 이해하는 데 도움이 되는 일련의 개념을 제시하는 데 관심이 있습니다. 이러한 들뢰즈의 아이디어를 우리의 실무 기반 접근 방식과 연결하면 인체 기증과 시체 기반 시뮬레이션이라는 일상적인 활동이 실제로는 '되기'의 행위로 간주될 수 있음을 알 수 있습니다. 이러한 관점에서 시신은 고정된 정체성이 없으며, 우리가 시신과 상호작용하거나 시신에 무언가를 할 때마다 끊임없이 다른 존재가 됩니다
Specific to our case, we are interested in putting forth a series of concepts that help us better understand the profound complexity of the practices of human body donation and cadaver-based simulation. Linking these Deluezian ideas to our practice-based approach, we see that the everyday activities of human body donation and cadaver-based simulation can, in fact, be taken as acts of becoming. From this perspective, a cadaver has no fixed identity; it is constantly becoming something different each time we interact with, or do things to, it.

설정
Setting

우리는 Dalhousie 임상 시체 프로그램(CCP)에 대한 실무 기반 민족지학적 조사를 실시했습니다. Dalhousie CCP는 레지던트와 의사가 통제된 환경에서 고도로 전문화되고 종종 생명을 구하는 시술 기술을 연습할 수 있도록 새로 사망한 부드러운 보존 상태의 임상 시체를 제공합니다. Dalhousie CCP는 매년 약 150구의 시신을 수락하는 Dalhousie University 인체 기증 프로그램(HBD)에서 시신을 확보합니다. 두 프로그램이 원활하게 운영될 수 있도록 CCP와 HBD의 관리자와 직원이 함께 협력하고 있습니다. 
We conducted a practice-based ethnographic investigation of the Dalhousie Clinical Cadaver Program (CCP). The Dalhousie CCP provides newly deceased, soft-preserved, clinical cadavers that allow residents and physicians to practice highly specialized, often life-saving, procedural skills within a controlled setting. The Dalhousie CCP obtains their bodies from the Dalhousie University Human Body Donation Program (HBD), which accepts approximately 150 bodies per year. Administrators and staff from the CCP and HBD work in concert to ensure that both programs operate smoothly.

방법론
Methodology

민족지학적 몰입은 실천에 기반한 이론적 접근 방식과 일치하여 연구자가 일상적인 활동을 관찰하고 문서화할 수 있습니다. 따라서 우리는 의학 교육에서 시체 작업의 일상적인 관행을 자세히 이해하기 위해 다양한 데이터 수집 전략을 사용했습니다. 니콜리니의 실천 이론 접근법에 따라 카데바 작업의 특정 측면을 '확대'한 다음, 의학교육에서 카데바 작업과 시뮬레이션에 대한 보다 광범위한 사회적 대화에서 이러한 관행을 찾기 위해 '축소'했습니다.38 이를 위해 2년 동안(2018/19-2019/20) 여러 출처에서 데이터를 반복적으로 수집하고 분석했습니다.
Ethnographic immersion is consistent with a practice-based theoretical approach, allowing researchers to observe and document everyday activity. We therefore used a range of data collection strategies in order to develop a detailed understanding of everyday practices of cadaver work in medical education. In accordance with Nicolini’s approach to practice theory, we “zoomed in” on specific facets of cadaver work, and then “zoomed out” to locate these practices in broader societal conversations about cadaver work and simulation in medical education, more broadly.38 In order to do this, we iteratively collected and analyzed data from multiple sources over a two-year period (2018/19–2019/20).

팀 구성 및 반사성
Team composition and reflexivity

우리는 교육 민족지학(AM, PC, OK, VL, JT), 실무 이론(AM, PC, OK, VL, JT), 임상의학(GK, VL, LP), CBS(GK, LP) 등 의학 및 의학교육의 다양한 측면에 전문성을 가진 연구자들로 구성된 팀입니다. 우리는 다양한 전문 분야를 한데 모아 절차적 술기 학습과 임상 시체를 이용한 시뮬레이션에 대한 새로운 질문을 던졌습니다.  
We are a team of researchers with expertise in various facets of medicine and medical education including educational ethnography (AM, PC, OK, VL, JT), practice theory (AM, PC, OK, VL, JT), clinical medicine (GK, VL, LP), and CBS (GK, LP). We brought our various areas of expertise together to ask new questions about procedural skills learning and simulation with clinical cadavers.

이 과정에서 임상 시체 프로그램 의료 책임자(GK)와 CBS를 경험한 학습자(LP)의 CBS 프로그램에 대한 내부 지식을 바탕으로 질문을 진행했습니다. 이 팀원들은 인터뷰할 주요 인물과 관찰해야 할 중요한 교육적 노력을 파악하는 데 도움을 주었습니다. 또한 CBS 직원들과의 연결을 용이하게 하여 운송부터 교육에 이르기까지 시체 작업이 이루어지는 공간에 접근할 수 있도록 도와주었습니다.  
Throughout the process, we relied on insider knowledge of the CBS program from the Medical Director of the Clinical Cadaver Program (GK) and a learner experienced with CBS (LP) to guide our inquiry. These team members helped us identify key people to interview, as well as important educational endeavors to observe. They also facilitated connections with the workers of CBS, so that we might gain access to spaces in which cadaver work—everything from transportation to education—was taking place.

반성적인 대화와 연구 과정 및 전략의 개선은 우리 작업의 정기적인 부분이었습니다. 다시 말해, 우리의 프로세스는 선형적이지 않았고, 즉흥적인 대화에 반사성이 내재되어 있었습니다. 이는 작업의 초점이 시신에 맞춰져 있고, 시신과 마주치면 당황스럽고 불안할 수 있다는 사실을 고려할 때 특히 중요했습니다.16,20,41 우리는 정기적으로 분석 대화를 나누며 데이터에 대해 토론하고 반영했습니다. 이러한 대화는 데이터에 대한 공동 분석을 발전시키는 데 도움이 되었지만, 동시에 반성하는 연습이기도 했습니다. 우리 팀에게 중요한 훈련 중 하나는 개인으로서 교육 목적으로 시신 기증을 고려할 수 있는지 생각해보는 것이었습니다. 우리는 최근에 관찰한 시나리오나 최근에 인터뷰한 사람에 따라 이 질문에 대한 답이 달라진다는 사실을 발견했습니다.  
Reflexive conversations and refinement of our research processes and strategies were a regular part of our work. In other words, our process was not linear, and reflexivity was built into our emergent conversations. This was particularly important given the focus of the work, and the fact that encountering cadavers can be upsetting and unsettling.16,20,41 We held regular analytical conversations to discuss and reflect upon our data. While these conversations served to advance our collaborative analysis of the data, they were also an exercise in reflexivity. One important exercise for our team was to reflect upon whether we, as individuals, would consider donating our bodies for educational purposes. We found that, depending on which scenario we had recently observed, or which person we had recently interviewed, the answer to that question changed.

데이터 수집
Data collection

민족지학적 몰입
Ethnographic immersion

아래에서는 공식적, 비공식적으로 CBS 관련 활동을 관찰한 시간을 보고하지만, 우리의 작업은 근본적으로 민족지학적 연구입니다. 즉, 저희는 CBS와 HBD의 공간과 사람들과 '어울리며' 상당한 시간을 보냈습니다. 우리는 배경 자료를 읽고 영안실, 시뮬레이션실, 시체 준비 및 교육 공간을 방문했습니다. 우리는 HBD 및 CBS 관계자들과 함께 앉아 프로젝트에 대해 논의하고, 시간을 내어 질문에 답하고, 자신을 개방함으로써 신뢰를 쌓고 관계를 구축하기 위해 열심히 노력했습니다. 이를 통해 현장에서 질문하고 시간을 보내며 편안하고 친숙해질 수 있는 기회를 얻을 수 있었습니다. 
While we report below on the hours we spent formally and informally observing CBS related activities, our work is fundamentally ethnographic. This meant that we spent a significant amount of time “hanging around” the spaces and people of CBS and HBD. We read background materials and visited morgues, simulation suites, and cadaver preparation and teaching spaces. We worked hard to build trust and establish relationships with the people involved with HBD and CBS by sitting down to discuss our project with them, making time to answer their questions, and making ourselves available. This, in turn, provided us an opportunity to ask questions and spend time in the field in order to become comfortable and familiar with it.

구체적으로, 우리가 방문한 곳은 캐나다 핼리팩스에 있는 Dalhousie University의 CBS 공간과 장소였습니다. 대서양 연안에 위치한 달하우지 의과대학은 해양 의과대학으로 알려져 있으며, 캐나다 3개 주의 지역사회에 서비스를 제공하고 있습니다: 노바스코샤, 뉴브런즈윅, 프린스 에드워드 아일랜드입니다. Dalhousie 의과대학은 핼리팩스 준비27로 알려진 Thiel 시체 준비 기법의 개선과 이러한 임상 시체를 활용한 지속적인 전문성 개발 기회로 국제적으로 인정받고 있습니다. 
Specifically, our field was the spaces and places of CBS at Dalhousie University in Halifax, Canada. Situated on the Atlantic Coast, Dalhousie Medical School is known as the Medical School of the Maritimes, and serves the communities of three Canadian Provinces: Nova Scotia, New Brunswick, and Prince Edward Island. Dalhousie Medical School is internationally recognized for our refinement of the Thiel Cadaver preparation technique, known as the Halifax Preparation27 and our continuing professional development opportunities that make use of these clinical cadavers.

이 기관에서 수년간 의료 교육 분야에서 일해 왔음에도 불구하고 임상의가 아닌 팀원들에게는 이러한 공간 중 많은 부분이 처음이었습니다. 특히 CBS의 업무 대부분은 일화적으로 들어본 적은 있지만 직접 걸어볼 기회는 없었던 일련의 터널로 연결된 지하 공간에서 이루어집니다. 따라서 우리의 민족지학적 작업은 익숙한 장소에서 숨겨진 공간을 발견하는 낯선 과정이었으며, 우리는 비공식적인 대화에서 이를 "지하세계"라고 불렀습니다. 
Despite years of working in medical education at this institution, many of these spaces were new to the non-clinician team members. Notably, much of the work of CBS takes place in underground spaces, connected by a series of tunnels that we had heard mentioned anecdotally, but had never had the opportunity to walk through. Thus, our ethnographic work was a strange process of discovering hidden spaces in familiar places, which we referred to in our informal conversations as “the underworld.”

이와는 대조적으로 기증자를 모집하고 기록을 관리하며 교육 목적으로 임상 시체를 준비하는 HBD의 업무는 오피스 타워의 가장 높은 층에서 이루어집니다. 이 공간에는 작은 사무실과 시체 준비 공간, 교육 실습실이 있습니다. 이 공간은 밝고 깨끗하며 위생적입니다. 세탁기와 톱 및 기타 도구가 있다는 것 외에는 이곳에서 시신 준비가 어떻게 이루어지는지에 대한 단서는 거의 없었습니다. 
In contrast, the work of HBD, where donors are recruited, records are managed, and clinical cadavers are prepared for educational purposes, takes place on the highest floors of an office tower. The space includes small offices, as well as cadaver preparation spaces and teaching labs. Here, the space is bright, pristine, and hygienic. There were few clues about the cadaver preparation that happens here, except for the presence of washing machines and saws and other types of tools.

일부 팀원들은 지속적인 전문성 개발 과정에 참여하는 학습자 집단에 합류하여 CBS의 활동에 어느 정도 참여할 수 있었습니다. 단순히 그림자처럼 따라 하는 것이 아니라 강의에 참여했고, CBS의 자료를 보고 냄새 맡고 만질 수 있었기 때문에 참여 자체가 감각적인 경험이었습니다.
Some team members were able to participate, to some degree, in the activities of CBS, by joining a cohort of learners participating in a continuing professional development course. Rather than simply shadowing, we were engaged in the lectures, and even our participation was a sensory experience, as we were able see, smell, and touch the materials of CBS.

관찰
Observations

우리 연구팀은 4회의 지속적인 전문성 개발 기도 관리 과정(관찰 40시간 × 관찰자 2~3명/회 = 90시간), 4회의 응급 레지던트 교육 세션(8시간 × 관찰자 1~2명/회 = 10시간), 1회 안치식 및 기증자를 기리는 추모식(5시간 × 관찰자 2명 = 10시간) 등 총 110시간의 공식 관찰을 통해 교육용 카데바 사용의 다양한 측면을 공식적으로 관찰했습니다. 관찰할 교육 활동과 기타 중요한 행사/장소는 전문 팀원과의 협의와 후속 인터뷰 중 참가자들의 조언을 바탕으로 선정했습니다. 현장 노트는 관찰 가이드(부록 A)에 따라 공간, 행위자, 활동, 사물, 행위, 이벤트, 시간, 목표와 관련된 메모와 성찰을 기록했습니다.42 또한 다감각적 참여에 참여하여38 CBS와 관련된 소리, 냄새, 감정을 문서화했습니다.
Our research team formally observed various facets of educational cadaver use including four continuing professional development airway management courses (40 hours of observations × 2–3 observers/session = 90 hours), four emergency resident teaching sessions (8 hours × 1–2 observers/session = 10 hours), as well as one interment and two memorial services honoring donors (5 hours × 2 observers = 10 hours) for a total of 110 hours of formal observation. We identified educational activities and other significant events/locations to observe based on consultation with expert team members, and on advice that emerged from participants during subsequent interviews. Field notes were guided by an observation guide (Appendix A), these recorded notes and reflections surrounding spaces, actors, activities, objects, acts, events, times, and goals.42 We also engaged in multisensory participation,38 documenting the sounds, smells, and emotions involved in CBS.

또한 구조화되지 않은 관찰도 완료했습니다. 이러한 관찰 세션은 반응성 효과를 줄이기 위해 생체 내에서가 아니라 후향적으로 문서화한 다음43 연구팀 간에 논의했습니다. 이를 통해 프로그램에 대한 전반적인 지식과 사체 프로그램의 범위를 파악할 수 있었습니다. 여기에는 HBD 본사(0.5시간 × 연구원 2명 = 1시간), 대학 영안실(2시간 × 연구원 3명 = 6시간), 시체 준비 공간(2시간 × 연구원 3명 = 6시간), 다양한 병원 기반 시뮬레이션 공간(3시간 × 연구원 2명 = 6시간), 지역 해부학 박물관(2시간 × 연구원 4명 = 8시간) 방문이 포함되었습니다. 이렇게 해서 총 27시간의 비정형 관찰이 이루어졌습니다. 
We also completed unstructured observations. These were observational sessions which were documented retrospectively rather than in vivo to reduce reactivity effects43 and then discussed amongst the research team. They informed our overall knowledge of the program and the scope of the cadaver program. This included visits to the HBD main office (0.5 hours × 2 researchers = 1 hour), the university morgue (2 hours × 3 researchers = 6 hours), the cadaver preparation space (2 hours × 3 researchers = 6 hours), various hospital-based simulation spaces (3 hours × 2 researchers = 6 hours), and the local anatomy museum (2 hours × 4 researchers = 8 hours). This led to a total of 27 hours of unstructured observations.

총 137시간의 공식적인 관찰 데이터를 수집했습니다. 
In total, we gathered 137 hours of formal observational data.

인터뷰
Interviews

관찰과 함께 학습자(지속적인 전문성 개발 학습자 n = 5명, 응급의학과 레지던트 n = 4명), 임상 교사(n = 4명), 과거 기증자의 가족(n = 5명)을 대상으로 24회의 반구조화 인터뷰를 실시했습니다. 또한 인체 기증 직원(n = 6)에는 CCP 프로그램의 행정(예: 기증자 연락, 기록 보관), 법률(예: 시신 수락 및 관리), 기술(예: 시신 준비) 업무에 관여하는 사람들이 포함되었습니다. 저희는 전문가 팀원들의 자문을 바탕으로 인터뷰 대상자를 선정했습니다. 의도적으로 24명을 모집하여 초대를 수락한 모든 사람을 인터뷰했습니다. 인터뷰 가이드는 대화 형식으로 각 참가자의 역할에 맞게 제작되었으며(예시는 부록 B 참조), 연구팀의 여러 구성원이 함께 개발했습니다. 우리는 진화하는 주제에 따라 지속적으로 가이드를 수정했습니다. 
Alongside observations, we conducted 24 semi-structured interviews with learners (continuing professional development learners n = 5 & emergency medicine residents n = 4), clinical teachers (n = 4), as well as family members of past donors (n = 5). As well, human body donation staff (n = 6) included those involved in the administrative (e.g., contacting donors, record keeping), legal (e.g., accepting and managing bodies), and technical (e.g., preparing cadavers) tasks of the CCP program. We identified individuals to interview based on consultation with expert team members. We purposively recruited 24 people and interviewed all who accepted the invitation. Our interview guides were conversational in nature and were tailored to each participant’s role (see Appendix B for an example); they were developed by multiple members of the research team. We continuously revised the guides according to evolving themes.

문서 분석
Document analysis

인체 기증 프로그램 및 시신 기반 교육과 관련된 문서도 검토했습니다[n = 22]. 여기에는 시신 기증 및 매장 과정과 관련된 법률 행위 및 보고서, 인체 기증 프로그램 관련 문서, 커리큘럼 자료 및 광고와 같은 교육 자료, 언론 보도 등이 포함되었습니다. 이전에 개발한 문서 검토 양식을 개선하여 이 부분의 분석을 구성했습니다(부록 C).44 
Documents related to the Human Body Donation program and cadaver-based education were also reviewed [n = 22]. This included legal acts and reports related to the process of body donation and burial; documents related to the human body donation program; educational material such as curriculum materials and advertisements; and media coverage. We refined our previously developed document review form to structure this piece of the analysis (Appendix C).44

데이터 분석
Data analysis

저희의 분석은 민족지학적 데이터 분석에 대한 울콧의45 3단계 접근 방식기술, 분석, 해석과 일치했습니다. 이 접근 방식은 다음의 조합을 사용합니다. 

  • 순수한 기술(데이터에 근접),
  • 체계적 분석(핵심 요소와 관계 파악),
  • 해석(데이터 너머로 확장하여 무슨 일이 일어나고 있는지 이해)

울콧은 정성적 데이터를 변환하는 세 가지 방법을 구분하지만, 이 세 가지 방법은 서로 겹치면서 동시에 발생한다는 점을 강조합니다. 따라서 우리는 시신의 개념이 생애주기에 걸쳐 어떻게 변화했는지, 그리고 그 진행과 전환에 기여한 행위자와 자료에 주목하면서 반복적인 분석 접근 방식을 따랐습니다. 
Our analysis aligned with Wolcott’s45 three-step approach to the analysis of ethnographic data: description, analysis, and interpretation. This approach uses a combination of

  • pure description (staying close to the data),
  • systematic analysis (identifying key factors and relationships), and
  • interpretation (extending beyond the data, making sense of what is happening).

Although Wolcott distinguishes three ways to transform qualitative data, he emphasizes that they overlap and occur simultaneously. Accordingly, we followed an iterative approach to analysis, attuning to how the concept of the cadaver changed across the lifecycle, as well as the actors and materials contributing to its progression and transitions.

설명 단계에서는 출처별(문서, 관찰, 인터뷰), 유형별(응급 레지던트 또는 지속적인 전문성 개발 과정 참가자 관찰, 학생, 교사, 직원 또는 기증자/기증자 가족 인터뷰) 등 각 데이터 세트를 개별적으로 검토한 다음 이러한 통찰력을 더 넓은 전체의 일부로 재검토하는 작업이 포함되었습니다. 세 명의 연구원(MF, PC, VL)이 안전한 데이터 관리 및 공유를 지원하는 질적 데이터 분석 소프트웨어(ATLAS.ti)를 사용하여 각 데이터 소스를 독립적으로 검토하고 코딩했습니다.
Broadly speaking, the descriptive phase involved reviewing each data set separately, including by source (document, observation, interview) and by type (observation of emergency residents or continuing professional development course participants; interview with student, teacher, staff, or donor/donor’s family), and then reconsidering these insights as part of a broader whole. Three researchers (MF, PC, VL) independently reviewed and coded each data source using qualitative data analysis software (ATLAS.ti) which also assisted with secure data management and sharing.

분석 단계에서는 현장 조사, 인터뷰, 문서 검토를 통해 얻은 아이디어를 적극적으로 번역하고 그룹별로 토론하여 서면으로 표현했습니다. 패턴, 일관성, 불일치를 찾으면서 참가자들이 임상 시체의 모호성을 관리하면서 철학적 작업에 참여하는 방식에 흥미를 갖게 되었습니다. 특히, 기증자/시신/시체가 어떻게 사용되느냐에 따라 시신을 생각하는 방식이 크게 달라진다는 점에 주목했습니다. 이 시점에서 우리는 '라이프사이클'이라고 부르기 시작한 6단계를 식별하고, 특히 다양한 언어 패턴과 작업에 맞게 조정하여 존재론적 전환을 식별할 수 있었습니다. 
At the analytic phase, ideas borne from our field work, interviews, and document review were actively translated, discussed as a group, and represented in written form. As we searched for patterns, consistencies, and inconsistencies, we became intrigued by the way in which participants were engaging in philosophical work as they managed the ambiguity of clinical cadavers. In particular, we noted that the ways in which donors/bodies/cadavers were conceived evolved significantly, depending on how they were being used. At this point, we identified the six stages of what we began to refer to as a “lifecycle,” and specifically attuned to different language patterns and tasks which in turn allowed us to identify ontological transitions.

해석 작업에 참여하면서 우리는 개념적 전환이 시체가 생애주기를 어떻게 통과할 수 있게 했는지에 초점을 맞춰 들뢰즈적 관점에서 실무에서 얻은 통찰력을 고려했습니다. 이 해석 작업에는 시체가 어떻게 끊임없이 변화하는 상태에 있는지 탐구하고, 각 단계에서 참가자들이 다양한 유형의 작업에 참여하면서 눈앞의 시체를 이해하기 위해 어떻게 적극적으로 새로운 개념을 만들어냈는지 묘사하는 것이 포함되었습니다. 
As we then engaged in interpretive work, we considered our practice-generated insights from a Deleuzian perspective, focusing on how the conceptual shifts allowed the cadaver to move through the lifecycle. This interpretive work involved exploring how the cadaver was in a constant state of becoming, and delineating how, at each stage, participants actively created new concepts to make sense of the body in front of them, as they engaged in various types of work.

윤리적 고려 사항
Ethical considerations

노바스코샤 보건연구윤리위원회는 이 연구를 승인했습니다(REB 파일 번호: 1023958). 인체 기증자의 기밀을 유지하기 위해 관찰 내용을 식별할 수 있는 사진, 비디오 또는 오디오 녹음을 하지 않았습니다. 
The Nova Scotia Health Research Ethics Board approved this study (REB FILE#: 1023958). No identifying photographs, videos, or audio-recordings of observations were taken in order to preserve the confidentiality of human donors.

결과
Results

인체 기증(HBD)과 CBS를 통해 사망한 사람은 자신의 신체가 살아있는 환자를 위해 "대신" 살아 있는 "사후의 삶"에 참여했습니다. 여기에서는 기증자 등록부터 최종 안치까지 이 주기와 각 단계의 관련 존재론적 전환에 대해 설명합니다(표 1). 우리가 설명하는 요소는 우리가 연구한 HBD 프로그램에 한정된 것이지만, 이러한 전환 자체는 다른 상황에도 적용될 수 있다고 생각합니다. 
Through Human Body Donation (HBD) and CBS, a deceased person participated in a “life after death” where their body “stood in” for a living patient. We describe herein this cycle, from donor enrollment to eventual interment, and the associated ontological transitions at each stage (Table 1). While the elements we describe are specific to the HBD program we studied, we believe the transitions, themselves, are transferable to other contexts.

온톨로지는 "존재"에 대한 질문, 즉 "무엇이 있는가"에 초점을 맞춥니다. 교육용 시신과 관련해서는 존재론적 질문이 중요했습니다: 이것은 사람인가? 이것은 교육용 도구인가? 무엇이 사람을 사람답게 만드는가? 우리는 기증자의 시신이 HBD 프로그램을 통해 진행됨에 따라 연구 참여자들이 시신을 개념화하는 방식이 크게 바뀌는 것을 발견했으며, 이러한 개념 변화를 존재론적 전환이라고 부릅니다. 이러한 전환은 참가자들이 언어를 사용하는 방식에서도 분명하게 나타났습니다. 예를 들어 직원, 교사, 학습자, 연구자 모두 시신을 사람, '사람이 아닌 것', 환자, 표본, 이 사람/저 사람, 신체, 그/그녀, 교육 도구 등으로 혼용하여 불렀습니다. 이러한 변화하는 온톨로지는 참가자들이 시신을 다루는 방식에서도 분명하게 드러났습니다. 때때로 참가자들은 살아있는 생명체에게는 하지 않는 방식으로 몸을 연습하기도 하고, 무생물에게는 절대 보여주지 않을 것 같은 부드러움과 존중으로 몸을 대하기도 했습니다. 이러한 방식으로 참가자들은 시체를 완전한 사람이 아닌 사물 이상의 존재로 생각했습니다. 
Ontology focuses on questions of “being”—in other words, “what is.” With respect to educational cadavers, the ontological questions were significant: Is this a person? Is this an educational tool? What makes something human? We noted that as a donor’s body progressed through the HBD program, the ways in which study participants conceptualized the body changed significantly, and we refer to these changing concepts as ontological transitions. These transitions were apparent in the way participants used language. For example, staff, teachers, learners, and researchers alike interchangeably referred to the cadaver as a person, a “not-a-person”, a patient, a specimen, this/that “guy”, a body, a him/her, and an educational tool. These shifting ontologies were also apparent in the way participants handled the bodies. At times, they practiced on the body in ways that they would not on a living being; at others, they treated the body with a tenderness and respect that they likely would never show an inanimate object. In this manner, participants conceived of cadavers as not fully people, but also as much more than things.

시신과 관련하여 관찰한 존재론적 복잡성에는 사람, 인체, 시신, 교육 도구 사이의 불확실하고 변화하는 경계가 포함되었습니다. 시체를 이해하는 방식은 공간과 시간에 따라 지속적으로 변화했으며, 때로는 예측 가능하지만 때로는 예측할 수 없는 방식으로 변동하고 진화했습니다. 다음 섹션에서는 전문적인 관행을 통한 이러한 철학적 작업이 기증자, 시신, 시신, 교육용 시신, 교사, 사랑하는 사람/유산의 '생애주기'를 따라 시신을 어떻게 이끌어 가는지 설명합니다.
The ontological complexity we observed in relation to the cadaver involved uncertain and shifting boundaries between person, human body, cadaver, and educational tool. How the cadaver was understood changed continuously over space and time, fluctuating and evolving in sometimes predictable, but sometimes, unpredictable ways. The following sections illustrate how this philosophical work brought about through professional practices drives the cadaver along its “lifecycle” from person to donor, body, cadaver, educational cadaver, teacher, and loved one/legacy.

우리가 설명하는 단계는 "깔끔한" 단계가 아니며 개별적인 단계도 아니라는 점을 분명히 말씀드리고 싶습니다. 가독성을 높이고 존재론적 전환을 명확히 하기 위해 단순화했지만, 실제로 이러한 단계는 명확하게 정의되어 있지도 않고 정적인 것도 아닙니다. 사람/시체/시신은 끊임없이 변화하는 상태이며, 다양한 단계에 대한 설명은 특정 시점의 CBS 및 HBD와 관련된 관행에 초점을 맞추기 위해 확대한 시점을 나타내는 '스냅샷'일 뿐이라는 것이 저희의 관점입니다. 
We want to state clearly that the stages we describe are not “neat,” nor are they discrete. We have simplified, in order to increase readability and clarify the ontological transitions, but in reality, these stages are not clearly defined nor are they static. Our perspective is that people/bodies/cadavers are in a perpetual state of becoming, and our description of the various stages are only “snapshots” representing points in time, when we zoomed in to focus on the practices associated with CBS and HBD at a given moment.

저희는 의도적으로 사망 시점부터 유산에 이르기까지 시신의 생애주기를 따라가려고 한 것이 아닙니다. 사실 이 작업을 시작할 당시에는 공동 기술, 분석 및 해석을 통해 개발하게 될 라이프사이클에 대한 개념이 없었습니다. 대신 우리는 민족지학적 몰입을 통해 CBS와 HBD의 프로세스와 활동에 대해 배웠습니다. 즉, HBD 및 CBS의 사람들과 함께하고 관계를 구축함으로써 우리는 공식적으로 관찰할 사건/시나리오를 식별하고 결정할 수 있었습니다. 
We did not set out to deliberately follow a cadaver from point of death to legacy, through the lifecycle we described. In fact, when we began this work, we had no concept of the lifecycle which we would eventually develop through collaborative description, analysis, and interpretation. Instead, we learned about the processes and activities of CBS and HBD through ethnographic immersion. In other words, by being present and building relationships with the people of HBD and CBS, we were able to identify and decide upon events/scenarios to formally observe.

사람에서 기증자로
Person to donor

한 사람이 기증자가 된 것은 공동의 의사 결정, 관료적 업무, 윤리적 문제에 대한 신중한 고려의 (때로는 긴) 과정을 거친 후입니다. 저희가 인터뷰한 기증자 가족에 따르면, 대부분의 사람들이 이타적인 이유로 기증자가 되기를 희망했습니다. 많은 사람들이 잘 알려지지 않은 질병으로 고통받고 있었기 때문에, '과학에 기여하고 싶다', 즉 미래 세대가 질병에 대한 더 많은 이해를 통해 혜택을 받을 수 있도록 돕고 싶다는 소망이 대화에 스며들었습니다. 기증자와 가족들의 이러한 바람은 HBD 프로그램의 일부 종사자들에게 긴장감을 주기도 했습니다. HBD 직원들은 참가자들이 종종 자신의 기부가 표적이 될 것이라는 생각을 가지고 있다고 지적했습니다. 한 사람은 다음과 같이 말했습니다.  
A person became a donor after a (sometimes long) process of shared decision-making, bureaucratic work, and careful consideration of ethical concerns. According to the family members we interviewed, most people wished to become donors for altruistic reasons. As many suffered from illnesses that were poorly understood, an overarching wish to contribute “to science”—as in, to help future generations benefit from a greater understanding of their illness— permeated our conversations. This wish of donors and family members, we observed, presented a tension for some workers in the HBD program. HBD workers noted that participants often have the idea that their donation will be targeted. One person noted

'남편이 파킨슨병으로 돌아가셨기 때문에 파킨슨병 연구에 도움이 될 수 있는 일이라면 무엇이든 하고 싶어요. 저는 [우리 프로그램이] 매우 정직하다고 생각합니다. 시신 기증자와 가족들에게 시신은 연구용으로 사용하는 것이 아니라 교육용으로 사용한다고 말합니다. [대부분의 기증자들은 '아, 그것도 괜찮아요'라고 말합니다. 하지만 저는 항상 약간의 단절이 있는 것이 걱정됩니다. (HBD 직원) 
‘You know, my husband died of Parkinson’s disease, so whatever I can do to help Parkinson’s research.’ I think [our program] is very honest. We [tell donors and families that we] don’t really use the bodies for that, we use them for teaching. [Most donors say] ‘oh, well, you know, that’s fine too.’ But, I always worry that there’s a little disconnect. (HBD Staff)

다른 기부자들은 의대생들이 "책으로는 배울 수 없는" "실전 학습"을 할 수 있도록 돕고 싶다고 분명히 밝히거나, 한 기부자의 말처럼 "누군가의 학업을 발전시킬 수 있다면 좋은 생각이라고 생각했다"고 말했습니다. 대개 이 프로그램에 대해 알고 있는 가족이나 친구를 통해 이 프로그램에 대해 알게 된 기부자 또는 그 가족은 프로그램에 연락하여 동의서를 제출하는 서류 작업을 시작했습니다.
Others clearly articulated that they wanted to help medical students gain “hands-on learning” that they simply “can’t learn in a book” or, as one donor noted, “we just thought it was a good idea if we could further somebody’s studies.” After finding out about the program (usually through family or friends who knew about the program), these individuals or their loved ones reached out to the program and initiated the paperwork involved in providing consent.

이 첫 접촉 이후, HBD 직원은 기부가 이루어지기 위해 몇 가지 작업을 수행해야 했습니다. 이 작업의 대부분은 프로그램 자료(예: 웹사이트, 정보 팜플렛, 동의서) 개발과 기록 보관 등 문서 제작과 관련된 것이었습니다. 우리의 현장 기록46은 개인에서 기증자로의 전환과 관련된 행정 업무의 진화하는 특성을 문서화하는 데 핵심적인 관행을 형성했습니다. 민족지학적 몰입은 1900년대 초로 거슬러 올라가는 원본 장부를 검토할 수 있는 기회를 제공했으며, 이 장부에는 기부자의 이름이 자필로 기재되어 있습니다. 잠재적 기부자에게 정보를 제공하기 위해 고안된 문서에는 "차분하다"고 표현할 수 있는 신중하게 선택된 언어가 사용되었습니다. 프로그램 문서를 분석한 결과, "기부 프로그램은 쉽게 접근할 수 있고, 정중하며, 부드러우면서도 규정이 엄격하다는 것을 알 수 있었습니다. 사용된 언어는 존중과 지속적인 추모(예: "지속적인 유산")를 의미합니다." 
After this initial contact, HBD staff needed to accomplish several tasks in order for donation to occur. Much of this work was bound up in the production of texts: developing program materials (e.g., website, information pamphlets, consent forms) and recording-keeping. Our field noting46 formed a key practice in documenting the evolving nature of administrative work associated with the transition from person to donor. Our ethnographic immersion provided the opportunity for us to review original ledgers, dating back to the early 1900s, listing the names of donors in handwriting. The documents designed to provide information for potential donors used carefully chosen language, that we described as “calm.” Through our analysis of program documents, we noted that “the donation program is easily accessible, respectful, gentle, but firm on its regulations. The language used implies respect and ongoing remembrance (i.e. “lasting legacy”).”

비공식적으로 직원들은 기증자 및 그 가족들과 신뢰 관계를 형성하고, 기증에 대한 기대치를 관리하며, 시신이 존중받을 것이라는 확신을 주어야 했습니다. 
More informally, staff also needed to create trusting relationships with donors and their families, manage expectations around donation, and give them the confidence that the body would be treated with respect.

또한 직원들은 사전 동의와 같은 시신 기증과 관련된 윤리적 문제와도 씨름해야 했습니다. 무엇보다도 HBD 프로그램은 사전 동의를 "모든 일의 주춧돌"이라고 생각했습니다. 하지만 기증자가 사망하기 30년 전에 동의하고 그 이후로 프로그램에 연락하지 않았다면 어떻게 해야 할까요? 가족이 반대했다면 어떻게 해야 할까요? 이러한 질문은 프로그램에서 심각하게 고려한 질문입니다: 
Further, staff grappled with the ethical challenges associated with body donation, such as informed consent. Chiefly, the HBD program considered informed consent “the pillar stone of everything [they] ever do”. But what if the donor consented 30 years prior to their death and had not contacted the program since? What if the family was opposed? These are questions the program took seriously:

아버지, 어머니, 형제 또는 자매가 여기 있을지도 모른다는 사실에 겁에 질린 누군가를 그런 상황에 처하게 하고 싶지 않으니까요. 가족에게 이런 말을 하기는 어렵고 저도 절대 하지 않겠지만, 결국에는 죽은 사람은 알 수 없기 때문에 그 사람이 그 사실을 알 수 있는지 여부에 영향을 미쳐야 한다고 생각해요. (시신 직원) 
Because you don’t want to put someone in that situation where they’re just horrified by the fact that, you know, their father, mother, brother or sister or whatever would be here. And I think…that that should play a part in whether or not the person…because at the end of the day—it’s hard to say this to a family and I never would—but at the end of the day, the person who’s dead is not going to know. (Cadaver staff)

따라서 기증자 본인과 가족, HBD 프로그램 직원을 포함한 여러 사람이 중요한 결정을 내리고, 행정 업무와 기록 보관에 참여하고, 구체적인 조치를 취하고, 불가피한 협상에 참여한 후에야 한 사람이 기증자가 될 수 있습니다
A person thus became a donor only after multiple people—including the donors themselves, their families, and staff from the HBD program—made important decisions, engaged in administrative work and record keeping, took concrete actions, and engaged in inevitable negotiations.

시신 기증자
Donor to body

죽음은 기증자에서 시신으로 전환되는 가장 확실한 신호입니다. 한 학습자가 설명한 것처럼, 살아 숨 쉬는 사람(누군가)과 생명이 없는 시신(무언가)의 차이는 명확하게 느껴졌습니다: 
Death is the most obvious marker of the transition from donor to body. As one learner illustrated, the difference between a living, breathing person (a somebody) and a still, lifeless body (a something) felt unambiguous:

이불 속에서 얕은 숨을 쉬며 잠들어 있는 89세 노인과 문밖에서 바라보고 있는 사람 사이에는 큰 차이가 있습니다. 하지만 그분들이 살아있다는 것을 알 수 있는 무언가가 있습니다. 그리고 그들이 죽으면 사라져 버리죠. 그게 뭔지 모르겠어요. 하지만 시체는 그냥 가구가 되죠. 침대, 의자, TV, 그리고 죽은 사람이 있는 것과 같죠. 침대, TV, 의자가 있고 거기서 자고 있는 사람이 있는 것과는 많이 다르죠. (응급 의학 학습자) 
There’s a huge difference between the 89-year-old who’s under the covers asleep, breathing shallowly, and you’re just looking in from the door. But there’s something there that you just know they’re alive. And when they die, it’s gone. And I don’t know what it is. But bodies just become furniture. You know, it’s like there’s a bed, a chair, a TV, and a dead person. Which is much different than there’s a bed, a TV, a chair, and there’s somebody sleeping in there. (Emergency Medicine Learner)

동시에 기증자가 시신이 된 정확한 순간은 기증자가 사망한 순간이 아니었습니다. 오히려 주변 사람들이 기증자의 죽음을 알게 되는 순간이었습니다. 시신의 맥박, 동공 및 촉각 반응, 자발 호흡 등 생명 징후를 검사하고 사망을 선언하고 사망 진단서에 서명함으로써 사망을 '공식화'하는 것은 담당 의사의 재량에 달려 있었습니다. 
At the same time, the exact moment that the donor became a body was arguably not the moment the donor died. Rather, it was the moment those around them become aware of their death. This moment was up to the discretion of the doctor in charge who made the death “official” by examining the body for signs of life (e.g., pulse, pupil and tactile response, spontaneous respiration), declaring death, and signing a death certificate.

사망 선언을 통해 일련의 일상적인 이벤트가 동원되어 결국 임상 시체가 만들어졌습니다. '사망 시'에 어떤 일이 일어나는지 설명하기 위해 설계된 프로그램 문서를 분석한 결과, 기증자에서 시신으로 개념이 바뀌는 것을 확인할 수 있었습니다. 이러한 자료는 사망이 발생한 장소에 따라 어떻게 진행해야 하는지에 대한 지침을 포함하여 물류에 중점을 두었습니다. 이 문서에는 시신의 프로그램 수용 여부를 최종적으로 결정하는 '해부 검사관'의 역할에 대한 언급도 처음 포함되었습니다. 
The declaration of death mobilized a routine set of events that eventually led to the creation of a clinical cadaver. Through our analysis of programmatic documentation designed to delineate what happens “at the time of death”, we saw the conceptual shift beginning from a donor to a body. These materials focused on logistics, including instructions on how to proceed, depending on where the death occurred. These documents also included the first mention of the role of the “Inspector of Anatomy,” who ultimately determined whether a body would be accepted into the program.

기증자가 병원에서 사망하면 간호 직원은 시신에서 심장 및 산소 모니터, 삽관 튜브, 중심정맥관, 정맥주사, 바디 테이프 및 기타 모든 의료 장비를 제거하는 작업을 수행했습니다. 또한 피부에서 혈액과 기타 물질을 닦아내고 담요를 교체하고 눈을 감겼습니다. 이러한 활동은 기증자가 병원 밖에서 사망했을 때 특히 중요했습니다. 이러한 경우 시신을 청소한다는 것은 죽음에 대한 공포를 완화하는 것을 의미하는데, 대부분의 경우 새로 죽은 시신의 모습은 정말 불안할 수 있기 때문입니다: 
When a donor died in-hospital, nursing staff attended to removing heart and oxygen monitors, intubation tubes, central lines, IVs, body tape, and all other medical equipment from the body. They wiped blood and other substances from the skin, replaced blankets, and closed the eyes. These activities were especially important when a donor died outside of the hospital. In these cases, cleaning the body meant attenuating the horror of death because, in many cases, the appearance of newly dead bodies could be truly unsettling:

처음 가서 시체를 수습할 때요. 입이 열려 있고, 때로는 눈이 열려 있고, 입에서 토사물이 나올 수도 있고... 그냥 깨끗하지 않은 상태의 시신을 보게 될 겁니다. 그리고 궤양이 생기기도 하고... 토사물에 질식하기도 하고... (시체 직원)
The first time you go and pick up a dead body. Their mouths’ open, sometimes their eyes are open, there could be purge coming out of their mouth…you’ll get people in a state where they’re just, they’re not clean. And you’re going to get some ulcers…if they soil themselves…they choke on their vomit… (Cadaver staff)

이러한 활동의 목적은 시신을 외부 세계에 '보기 좋게' 보이게 하여 가족들이 시신을 인식하고 반응하는 방식을 바꾸고, 시신을 보려는 사람들의 충격을 완화하는 데 있습니다. 
The purpose of these activities was to make the body look “presentable” to the outside world, transforming the way the family will perceive and react to the body, and serving to soften the blow for those who wish to view it.

시신에서 시신으로
Body to cadaver

의료진과 HBD 직원이 시신에서 질병(예: 산소 모니터, 삽관 튜브)과 사망(예: 혈액, 체액 분비물)의 가장 명백한 징후를 제거한 후 시신body은 시신cadaver이 될 준비가 되었습니다. HBD 직원들의 일련의 전문적이고 관료적인 활동은 이러한 전환을 완료하는 데 도움이 되었습니다. 
After healthcare workers and HBD staff removed the most obvious signs of illness (e.g., oxygen monitors and intubation tubes) and death (e.g., blood, bodily secretions) from the body, it was ready to become a cadaver. A series of specialized, bureaucratic activities from the part of HBD staff served to complete this transition.

기증자가 사망한 장소와 관계없이 의료진은 사망 진단서를 받자마자 해부 검사관(IoA)에게 연락하여 알렸습니다. 보건부 장관이 임명하는 해부조사관은 HBD 프로그램에 대한 첫 번째 연락 창구였습니다. 이 담당자는 시신을 프로그램에 수용할지 여부(즉, 시신으로 인정할지 여부)를 결정하기 위해 치료를 담당한 의료진, 가족, HBD 직원과 소통합니다. 특히, IoA는 시신에 특정 금기 사항(예: 전염병 위험, 이전 부검, 병적 비만, 주요 절단)이 없는지 확인하고 기증자 가족에게 연락하여 지속적인 동의 여부를 확인합니다. 의심스러운 사망 상황에서는 검시관도 관여했을 수 있으며, 부검이 필요한 경우 시신은 프로그램에서 제외되었습니다. 대학 영안실은 특정 수의 시신만 보관할 수 있고, HBD 프로그램은 특정 목적에 따라 특정 유형의 시신을 수시로 필요로 했기 때문에 임상 시신 담당 직원은 시신이 현재 요구 사항을 얼마나 잘 충족하는지 평가하는 데 IoA를 지원했습니다. 
Regardless of where the donor died, healthcare workers would contact and inform the Inspector of Anatomy (IoA) as soon as they received the death certificate. Appointed by the Minister of Health, the IoA was the first point of contact to the HBD program. This individual would communicate with medical personnel in charge of their care, the family, and HBD staff in order to decide whether or not the body should be accepted into the program (i.e., to become a cadaver). Specifically, the IoA verified that the body lacked specific contraindications (e.g., risk of infectious disease, previous autopsy, morbid obesity, major amputations) and contacted the donor’s family to ensure their ongoing consent. In circumstances of suspicious death, the medical examiner may have also been involved; need for an autopsy excluded the body from the program. Because the university morgue was only able to hold a certain number of cadavers and the HBD program required certain types of bodies for specific purposes at any given time, clinical cadaver staff aided the IoA in assessing how well the body met their current needs.

이 단계에 참여한 HBD 직원들은 프로그램의 요구와 고통에 처한 가족의 요구 사이의 균형을 맞추는 데 주력했습니다. 한 참가자는 시신을 프로그램에 받아들이는 데 관련된 관료적 업무를 관리하는 데 어려움을 겪었다고 설명했습니다. 
HBD workers involved at this stage were engaged in balancing the needs of the program with the needs of a family in distress. One participant described the challenges of managing the bureaucratic work involved in accepting a body into the program.

사망 진단서 없이는 행동할 수 없습니다. ... 집에서 누군가 사망하면 전화를 받습니다... 시신을 기증하고 싶다고 하는데... 사망 진단서가 없으면 아무것도 할 수 없습니다. 따라서 시신은 사망 장소에 머물거나 가족이 비용을 부담해야하며, 수락 여부에 대한 결정이 내려질 때까지 저온 보관소가있는 장례식장으로 가져 가야합니다. (HBD 직원) 
I can’t act without a death certificate. … So, if someone dies at home, I get a call… The person wishes to donate their body …but without a death certificate, I can’t do anything. And so, the body has to either stay at the place of death or at the family’s expense, needs to be taken to a funeral home which has cold storage until a decision can be made about acceptance. (HBD Staff)


프로그램에 접수된 시신은 병원이나 지역 공공 영안실에 임시로 보관되는 경우가 많았습니다. 공간이 확보되면 HBD 프로그램은 운송 직원을 고용하여 시신을 대학 영안실로 가져왔습니다. 보관 공간의 중요성은 프로그램 전반에 걸쳐 중요한 고려 사항이었으며, 시신을 관리해야 할 대상으로 인식하는 데 중요한 역할을 했습니다. HBD 참가자들은 기증자를 위한 '공간'이 필요하며, 공간의 물리적 용량 내에서 작업해야 한다고 자주 설명했습니다. 몰입과 관찰을 통해 시설의 물리적 현실과 관련 보관에 대해 참가자들이 설명한 어려움은 분명해졌습니다. 한 연구자는 다음과 같이 언급했습니다: 
Once accepted by the program, the cadaver was often temporarily stored in the hospital or local public morgue. When space became available, the HBD program hired transportation staff to bring the cadavers to the university morgue. The importance of storage space was a key consideration throughout and pointed to a conception of the body as a thing to be managed. Participants from the HBD frequently described having “room” for a donor, and a need to operate within the physical capacity of the space. Through immersion and observation, the physical realities of the facilities, and related storage, challenges participants described were made plain. One researcher noted:

[뇌가 가득 담긴 양동이와 시신으로 가득 찬 냉장고가 선반에 쌓여 있었습니다. 화장터로 가는 복도에는 관 모양의 골판지 상자가 줄지어 있었습니다. 그리고 그 한가운데에는 지게차가 있었습니다. (현장 노트) 
[there were] buckets full of brains and a fridge full of bodies—stacked up on shelves. The hallways were lined with coffin-shaped cardboard boxes on their way to the crematorium. And in the middle of it all, there was a forklift. (Fieldnote)

이러한 물리적, 물류적 보관 문제에도 불구하고 각 장소에서는 시신 처리에 신중을 기했습니다. 대학 영안실의 일반적인 파란색 또는 흰색 비닐 봉투 대신 부드러운 자수가 놓인 천으로 된 봉투에 시신을 옮겼습니다. HBD 프로그램과는 별개로 진행되었지만, 운송 직원들은 시신을 픽업하고 내려놓기 위해 정장 차림으로 한 번도 빠짐없이 도착했습니다. 
Despite these physical and logistical storage challenges, in each of these locations, handling of the cadavers was taken seriously. Rather than the typical blue or white plastic bags of the university morgue, cadavers were transferred at this moment to bags of soft embroidered fabric. Despite being independent from the HBD program, transportation staff never failed to arrive fully dressed in formal suits to pick up and drop off the bodies.

 

시신에서 교육용 시신으로
Cadaver to educational cadaver

시신이 대학 시체 안치소에 도착하면 HBD 직원들은 시신을 교육용으로 준비하기 시작했습니다. 이들은 분비물을 제거하고 체액이 계속 고여 있는 목과 위를 석션하고 대변이 더 이상 배출되지 않도록 청소했습니다. 때로는 기관과 식도 등 신체의 특정 부위를 잘라 체액이 더 이상 축적되는 것을 막기도 했습니다. 그런 다음 시신을 방부 처리하고 냉동 보관했습니다. 가능한 한 익명을 보장하기 위해 머리를 밀었고, 이후 각 시신을 식별하기 위해 발가락에 장부에 있는 번호에 해당하는 태그를 붙였습니다. 각 CBS 세션 전에 스태프들은 시신을 얼리지 않고 깨끗이 씻고 석션한 다음 눈은 수술용 모자로, 나머지 신체 부위는 파란색 수술용 천으로 덮었습니다. 한 연구원이 지적했듯이 눈과 머리 윗부분을 덮는 것이 특히 중요했습니다:  
Once cadavers arrived at the university morgue, HBD staff began preparing them for their educational purposes. These individuals further cleaned the body of its secretions, suctioning the throat and stomach which had continued to build up fluids, and cleaned any further release of feces. They sometimes cut certain parts of the body, such as the trachea and esophagus, to halt further build-up of fluids. They then embalmed and froze the bodies. To make them as anonymous as possible, they shaved their heads; to identify each body thereafter, they attached tags to their toes with a number corresponding to one in a ledger book. Before each CBS session, staff unfroze these bodies, freshly cleaned and suctioned them, then covered their eyes with surgical caps and the rest of their bodies in blue surgical drapes. The covering of eyes and the top of the head were particularly significant, as one researcher noted:

하지만 한 번은 시체의 얼굴 덮개가 벗겨져 은빛 눈동자, 아가페 입, 두개골을 가로지르는 넓은 상처가 거칠게 꿰매진 것을 볼 수 있었습니다. 이런 디테일은 저를 괴롭혔습니다. 그렇지 않으면 수면 중인 환자와 시체 사이의 차이를 최소화하기 위해 전략적으로 덮는 것이 트릭을 수행하는 것 같았습니다. (현장 노트)
Once, though, a cadaver’s face covering slipped, and I could see blank silver eyes, mouth agape and a broad gash roughly stitched across its skull. These details [bothered me]. Otherwise, strategic covering seemed to do the trick to minimize the difference between a sleeping patient and cadaver. (Fieldnote)

교육용 시신을 준비하기 위해 HBD 직원이 사용한 위에서 설명한 절차는 전통적인 방부 처리사나 장례 전문가가 장례식을 위해 시신을 준비할 때 사용하는 절차와는 크게 달랐습니다. 예를 들어, 장례식을 위해 준비된 시신은 순전히 미적인 목적으로 세척하고 옷을 입히며, 이 경우 기관과 식도를 절단하거나 폐를 보기 위해 가슴을 열 이유가 없습니다. 따라서 시신 준비에 관여하지 않은 방부처리사나 장의사는 이러한 행위를 시신 훼손으로 간주하는 경우가 많았습니다: 
The procedures described above, which HBD staff used to prepare an educational cadaver, differed markedly from those traditional embalmers and funeral professionals use to prepare bodies for a funeral service. For instance, bodies prepared for a funeral service are cleaned and dressed for purely esthetic purposes; there is no reason, in these cases, to sever the trachea and esophagus or cut open the chest to help visualize the lungs. Consequently, embalmers and funeral directors who were not involved in cadaver preparation often saw these acts as mutilation:

장례식장에서는 장례식장 방부사가 준수해야 하는 기준이 정해져 있습니다. 반면에 아주 사소한 일탈도 하지 말아야 할 일을 하는 것으로 간주됩니다. (HBD 직원) 
In a funeral home, I mean everything is, there’s a set kind of standard that funeral embalmers should adhere to. Whereas even the smallest diversion [is considered] doing something that you shouldn’t. (HBD staff)

참가자들은 시신을 사용하여 의미 있는 교육적 경험을 제공한다는 목표를 향해 일하고 있다는 점을 염두에 두고 작업에 집중함으로써 이러한 복잡성을 헤쳐 나간다고 설명했습니다. 
Participants described navigating this complexity by focusing on the work and keeping in mind that they were working toward a goal: using the cadaver to generate a meaningful educational experience.

작업에 집중할 수 있을수록 더 좋은 결과를 얻을 수 있습니다. ... 제가 제 일을 제대로 잘하면 [학습자에게] 도움이 될 것입니다. ... 여기서도 동일한 자부심과 동일한 관심을 가지고 학생들을 위한 교재를 제작합니다. (HBD 직원)
I find that the more I can concentrate on the task [the better]. … If I do my job properly well that’s going to help [learners]. … Here again the same pride and the same attention is to create those teaching materials for the students. (HBD staff)

따라서 시신 담당 직원들의 전문적인 (때로는 논란의 여지가 있는) 작업은 전통적인 장례 관행에서 벗어나 시신을 시신과는 다른, 즉 임상 도구로 탈바꿈시키는 과정이었습니다.
Hence, the specialized—and sometimes controversial—work of cadaver staff deviated from traditional funeral practices and transformed the cadaver into something different from a dead body: it was in the process of becoming a clinical tool.

교육용 카데바에서 교사로
Educational cadaver to teacher

시뮬레이션 실습실에서 전담 직원은 촉촉하고 노랗게 얼룩진 흰색 시트와 깨끗한 파란색 커튼으로 겹겹이 덮인 금속 테이블 위에 시체를 놓았습니다. 짧은 세션 동안에는 시신을 시신 가방에 넣어 지퍼를 다시 닫아 냉장고에 보관하기도 했습니다. 그들은 수술 도구, 기계, 스크린을 사이드 테이블과 이동식 카트 위에 조심스럽게 배치했습니다. 
In the simulation lab, dedicated staff placed cadavers on metal tables, covered in layers of moist, yellow-stained white sheets and clean, blue drapes. For short sessions, they often kept the cadavers in their body bags, ready to be zipped back up and returned to their refrigerators. They carefully arranged surgical instruments, machines, and screens throughout the room on side tables and mobile carts.

시뮬레이션 세션이 시작되자 노란색 가운과 파란색 장갑을 착용한 교사와 학습자들이 시신을 둘러싸고 있었습니다. 최적의 학습 환경을 제공하기 위해 교사, 학습자, 시체 보관소 직원들이 분주하게 움직였습니다. 한 연구자는 공간의 분주함을 다음과 같이 설명했습니다, 
When the simulation sessions began, teachers and learners, dressed in yellow gowns and blue gloves, encircled the cadavers. The room would be busy as teachers, learners, and cadaver staff worked to provide an optimal learning environment. One researcher described the busyness of the space, noting,

사람들이 서로 다른 도구나 공간으로 이동하기 위해 서로를 피해야 하는 모습은 마치 콘서트장의 관중을 헤쳐나가는 것 같았고, 서로 부딪히지 않으려고 애쓰는 모습이 떠올랐습니다. (현장 노트)
The way people have to duck around each other to get to different tools or spaces makes me think of navigating a concert crowd – lots of shuffling and trying not to bump anything. (Fieldnote)

여기저기서 흡입하는 소리와 흥분된 목소리가 들려왔고, 방부액과 체액 분비물이 섞인 다양한 냄새가 방 안 구석구석에 스며들었습니다. 가만히 들여다보면 아이러니가 무르익어 있었습니다. 시신의 눈을 가리는 수술용 보닛은 종종 알록달록한 행복한 얼굴이나 곰 인형으로 장식되어 있었습니다. 한 번은 심지 3개짜리 양초가 배경에서 천천히 타오르면서 방에 "설탕을 넣은 스니커 낙서" 냄새가 났던 적도 있습니다. 
The sounds of suctioning and excited voices arose from huddles, and various smells—mostly embalming fluid mixed with bodily secretions—infiltrated all corners of the room. When one attended to it, irony was ripe in this environment. The surgical bonnets that covered the eyes of the cadavers were often decorated with colorful happy faces or teddy bears. On one occasion, a 3-wick candle burned slowly in the background, making the room smell of “sugared snicker doodle.”

이러한 공간에서 시체는 이야기하고, 기대고, 만지고, 찌르고, 자르는 대상이 되었습니다. 시신은 온전하게 보존되어 있었지만 학습자가 살펴보고 조작할 수 있는 분리된 부위(무릎, 턱, 가슴 창)의 집합으로 개념화되었습니다. 학습자들은 시체 주위에 모여들면서 각 학습자가 당분간 작업할 신체 부위를 '소유'하고, 작업이 끝나면 다른 학습자가 그 자리를 차지하도록 했습니다. 교사가 다양한 기술을 시연할 수 있었기 때문에 교육 도구로서 시체의 어포던스는 분명했습니다: 
In these spaces, cadavers became things that were talked about, leaned on, touched, prodded, and cut. While the cadavers remained fully intact, they were conceptualized as a collection of isolated parts (a knee, a jaw, a chest window) that learners examined and manipulated. As they crowded around the body, each learner “claimed” a body part to work on for the time being, letting another learner take their place when they were finished. The affordances of the cadaver as an educational tool were clear, as teachers were able to demonstrate different techniques:

첫 번째 그룹을 관찰하기 위해 멈춰선 교사는 기도 시술에서 흔히 사용하는 '스니핑' 자세에 대한 대안적인 머리 자세를 설명하고 있었습니다. 그는 참가자들에게 바에서 테이블로 걸어갈 때 맥주 윗부분을 홀짝이는 자세인 '홀짝이기' 자세를 시도해 보라고 권유했습니다. 이 설명에 주위에 모인 참가자들은 잔잔한 웃음을 터뜨렸습니다. (현장 노트) 
The first group I stopped to observe: the teacher was describing an alternative head position to the “sniffing” position often advocated for in airway procedures. He encouraged participants to try the “sipping” position: how you might sip the top of a beer as you walk from the bar to your table. This description was met with gentle laughter in the cluster of participants gathered around him. (Fieldnote)

시체 위와 다리 사이에 장비가 쌓이기 시작했습니다. 많은 교사와 학습자에게 이 순간 시체는 임상 도구였습니다:
Equipment would begin piling up on the cadaver and between its legs. For many teachers and learners, the cadaver was, at this moment, a clinical tool:

시체가 그곳에 있을 때 저에게는 그저... 교육 도구일 뿐입니다. 무례하다는 뜻이 아닙니다. 제 말은 그것들이 거기에 있지만, 저는 그것들을 예전과 같은 것으로 생각하지 않는다는 것입니다. (교사) 
To me when they’re there, they’re just a…teaching tool. And I don’t mean that in a disrespectful way. I mean they’re there, I just don’t think of them as what they were. (Teacher)
제 생각에는 인지적으로 우리는 이 사람이 사람이었다는 사실을 정말 분리해서 생각하는 것 같아요. 우리는 그들을 존중하지만 또한... 우리가 [시신 준비 실험실]에있을 때 우리 중 많은 사람들이이 사람이 살아 있었을 때 어떤 사람이었을지 생각하지 않는 것 같아요. 그것은 우리 모두가 가지고 있는 일종의 인지적 분리라고 생각합니다. (학습자) 
I think part of it is like the, cognitively, we really separate the fact that… We really keep the fact that this was a person kind of separate. We treat them with respect, but we also… I don’t think when we’re in [the body preparation lab], I don’t think very many of us are thinking like about who this person might have been when they were alive or something. I think that that’s just sort of a cognitive separation thing that we all have. (Learner)

교사와 학습자 모두 세션이 진행되는 동안 눈과 몸에서 흘러내린 보닛과 커튼을 계속 교체했습니다. 시신을 덮어두는 것은 환자의 존엄성을 지키기 위한 목적도 있지만, 시신을 사람으로 보지 않는 '분리감'을 강화하는 역할도 했습니다:
Both teachers and learners continuously replaced bonnets and drapes that slipped off the eyes and body during the course of the session. While keeping the body covered primarily aimed to preserve the patient’s dignity, it also served to reinforce a “detachment” from viewing the cadaver as a person:

우리는 시신을 최대한 가린 상태로 유지하려고 노력합니다... 시간이 지남에 따라 학생들은 시신의 손이나 발을 노출하면 보는 것이 부담스러워진다는 것을 알고 있다고 설명하는 것을 보았습니다. 그리고 시체를 교육 자료로 사용하는 데 있어 학생들이 편안함을 느끼는 부분 중 하나는 이것이 사람이었다는 사실에 대해 조금은 거부감을 느낄 수 있다는 것입니다. 조금만 분리할 수 있다면 침습적인 시술을 반복해서 하는 것이 조금 더 쉬워질 수 있습니다. (교사) 
We try to keep the cadaver as covered up as possible…I’ve seen over time, students describe like you know they get bothered by seeing—if you expose a cadaver’s hands or feet. And I think…part of their comfort level in working with a cadaver as a teaching resource is that they may disconnect a little bit from saying this was a person. Where it’s a little easier to do some invasive procedures over and over again if you can disconnect a little bit from that. (Teacher)

시체 실습에서 학습자의 불편함을 줄이는 중요한 작업을 수행했음에도 불구하고 교사와 선임 학습자는 시체가 (전) 사람이라는 생각을 강화하고 학습자에게 시체를 존중하는 태도로 대할 것을 상기시켰습니다:
Despite accomplishing the important work of reducing learners’ discomfort in the cadaver lab, teachers and senior learners also reinforced the idea that the cadaver was a (former) person, and reminded learners to treat the body with respect:

우리는 학생들에게 시체가 사람이라는 사실을 상기시키는 데 큰 중점을 둡니다. 그들은 환자입니다. 우리는 모두 다른 연설을 합니다. 저는 기본적으로 시신을 환자와 가족들이 들을 수 있는 사람처럼 대하는 것을 기본 원칙으로 삼고 있습니다. 그리고 다른 환자처럼 대하세요. (교사) 
We make a big point…to remind students that they are people. They are patients. We all have different speeches. Mine is basically about, you know, you treat the cadaver as if it’s a patient who can hear you and their family members can hear you. And treat them as if they’re any other patient. (Teacher)
저는 여전히 최소한의 손상을 입히는 데 집중하고 있습니다... 실제 환자에게도 하지 않을 일을 하고 싶지 않아요. (시니어 학습자) 
I’m still focusing on causing minimal damage…I wouldn’t want to do something that I wouldn’t do in real life with a real patient. (Senior learner)

몇몇 학습자는 시체 교사를 복제할 수 없는 자원으로, 심지어 생명의 은인이나 영웅으로 개념화했습니다. 한 참가자는 이렇게 말했습니다: 
Several learners conceptualized the cadaver teacher as an irreplicable resource, and even a lifesaver, or hero. One participant noted:

가장 큰 차이점은 [CBS]에서 하는 것과 외상실에서 하는 것은 사실상 같은 일이기 때문에 차이가 거의 없다고 생각합니다... 말 그대로 일주일 후에 삽관하는 다음 환자는 이완, 해부학적인 측면에서 매우 유사했습니다... 선생님은 그냥 거기에 계셨던 것입니다. (학습자) 
I think that the biggest difference is going from what you’re doing in [CBS] to the trauma room is so small because it’s effectively the same thing … literally the next patient I was intubating like a week later was very similar in terms of their relaxation, the anatomy… you were just there. (Learner)

사랑하는 사람에 대한 스승이자 유산
Teacher to loved one and legacy

시신이 교육 도구로서의 역할을 마친 후, HBD 프로그램은 가족에게 연락하여 시신을 돌려주거나 화장 또는 대학 전용 묘지에 안장할 준비를 했습니다. 기증자의 가족은 매년 봄에 열리는 안장식 및 추모식에 초대되었습니다. 
Once the cadaver completed its intended role as an educational tool, the HBD program contacted the family and made arrangements to either return the body to them or to prepare it for cremation and/or burial in the university’s dedicated cemetery. Family members of the donors were invited to an annual interment and memorial service in the Spring.

안장식은 공동묘지에서 진행되었습니다. 기증자의 유골이나 유골함은 천막 아래에 놓여 있었고 그 위에 기증자의 이름이 적힌 명판이 놓여 있었습니다. 참석자들은 그 옆에 꽃과 기념품을 놓았습니다. 파이퍼가 연주하고, 성직자들이 연설하고, 비둘기가 날아갔으며, HBD 프로그램 대표가 150여 명의 기부자 이름을 큰 소리로 읽었습니다. 이 행사는 공동체적이면서도 매우 개인적인 행사였습니다. 
The interment ceremony happened at a cemetery. The ashes or urns of the donors were set out under a tent with plaques placed on top indicating their names. Attendees placed flowers and keepsakes beside them. A piper played, members of the clergy spoke, doves were released, and a representative from the HBD program read the names of more than 150 donors out loud. The event was both communal and deeply personal.

추모식은 웅장한 가톨릭 교회에서 열렸습니다. HBD 직원, 교수진, 학생들은 모두 정장 차림으로 장례식장을 가득 메운 기부자 가족들과 함께했습니다. 학생들은 물망초 씨앗을 깔끔하게 꽂은 안내 책자를 나눠주며 기부에 동참했습니다. 성직자, HBD 프로그램 회원, 교사, 학습자 등 다양한 사람들이 연설했습니다. 그들은 감사, 슬픔, 관대함, 인간관계에 대해 이야기했습니다: 
The memorial service happened in a grand Catholic church. HBD staff, faculty, and students—all formally dressed in funeral wear—joined the families of donors as they filled into the pews. Students contributed by handing out information booklets with forget-me-not seeds tucked neatly inside them. A number of people spoke: clergy, members of the HBD program, teachers, and learners. They spoke of gratitude, grief, generosity, and human connection:

다양한 의료 직종에 종사하는 많은 학습자가 강단에 올라 이 프로그램을 통해 어떤 혜택을 받았는지 이야기했습니다. 대부분 교과서적인 내용입니다. 충분히 사려 깊고 친절하지만 여러분이 기대할 수 있는 그런 내용입니다. 하지만 가장 아름답고 의미 있는 연설을 하는 사람이 한 명 있습니다. 그 연설이 감동적이었던 이유는 그가 인간으로서 우리를 연결하는 요소에 초점을 맞추었기 때문이라고 생각해요. 그는 우리가 누군가를 알 수 있는 모든 방법, 학습자가 함께 일하는 (전?) 사람들을 친밀하게 알게 되는 방법에 대해 이야기했습니다. 그리고 이것이 어떻게 그가 남겨진 사람들과 공유하는 유대감인지에 대해 이야기했습니다. 교육, 슬픔, 희망을 연결하는 방법, 즉 예상했던 것을 미묘하게 재조정하는 것이죠. 완벽했습니다. (현장 노트) 
A number of learners from the various health professions come to the lectern to speak about how they’ve benefited from the program. For the most part, they’re pretty textbook remarks. Thoughtful and kind enough, but the kind of thing you’d expect. But there’s one guy who gives the most beautiful, meaningful speech. And, I’ve thought about this—I think the thing that made it so poignant was the fact that he focused on what connects us as humans. He talked about all the ways we can know someone, how learners come to intimately know the (former?) people they work on. How this is a bond that he shares with the people who were left behind. It’s a subtle reorientation of the expected—a way to connect education, grief, and hopefulness. It was perfect. (Fieldnote)

따라서 안장식과 추모식은 고인에 대한 감사와 추모에 전념했습니다. 이렇게 교구로서의 시신은 배경으로 사라졌습니다. 그 대신 시신을 기증한 관대한 '영웅'을 추모하고 참석자들은 다음 현장 노트에서 볼 수 있듯이 그들이 제공한 모든 것에 대해 감사를 표했습니다: 
The interment and memorial service was thus dedicated to thanking and commemorating the dead. In this manner, the cadaver-as-teaching-tool faded to the background. In its place, all celebrated the memory of the generous “hero” who donated their body and attendees appreciated them for all that they have offered, as illustrated in the following field note:

연사 중 한 명이 부모님을 축하하기 위해 이 자리에 모인 모든 사람을 먼저 기립시키고, 그 다음에는 형제자매를 축하하는 사람, 사랑하는 사람, 사랑하는 사람의 기증으로 혜택을 받은 모든 사람이 기립하도록 요청하는 특별한 순간이 있었는데, 연사가 "이것이 바로 영향력이고, 이것이 바로 사랑이며, 이것이 우리가 여기 있는 이유"라고 말하며 마지막에 모든 사람이 기립한 모습은 정말 놀라웠습니다. 고인의 시신뿐만 아니라 고인이 나눈 사랑과 고인이 감동한 삶이 무대 위의 디스플레이로는 결코 담아낼 수 없는 거대하고 강력한 에너지와 결합되어 있다는 사실이 갑자기 이해가 되었습니다. 
There is an exceptional moment when one of the speakers asks first everyone who is here to celebrate their parent to stand, then those celebrating their sibling, then their loved one, then anyone who’s benefitted from the loved ones’ donation—everyone at the end of it was standing and the speaker said “this is the impact, this is the love, this is why we are here” and it was stunning. All of a sudden, the relatively small candle memorial makes sense—it’s not just about the person’s body but about the love they shared and the lives they’ve touched, all combined a massive and powerful energy that could never be captured by a display on a stage.

토론
Discussion

시체 작업의 복잡성의 핵심은 존재론적 모호함, 즉 시체를 사람 또는 사물, 인간 또는 인간이 아닌 것, 교사 또는 도구로 규정할 수 없다는 것입니다. 이러한 구분은 시체를 산 자와 구별할 수 없게 만드는 새로운 보존 기술의 발달로 인해 더욱 모호해지고 있습니다. 우리가 설명하는 수명 주기의 일부 단계가 반드시 임상 시신에만 적용되는 것은 아니라는 점을 잘 알고 있습니다. 물론 기존의 고정된 시신은 다양한 맥락에서 다르게 사용됨에 따라 변형됩니다. 그러나 우리는 시체가 딱딱하고 회색일 때, 즉 인간성을 간과하기 쉬울 때 철학적 작업이 덜 어려울 수 있다고 믿습니다. 임상 사체의 존재론적 충실성은 생애주기의 각 단계에서 특정 관행에 영감을 주며, 우리는 사람들이 말하고 행동하는 방식을 주목하고 분류하는 과정에서 이를 확인했습니다. 이러한 말과 행동36은 임상 시체의 모호하지만 부인할 수 없는 인간성의 산물입니다. 
Central to the complexity of cadaver work is what we refer to as its ontological ambiguity: the inability to qualify the cadaver as either a person or a thing; human or not human; or as a teacher or a tool. This distinction is becoming ever more ambiguous with the development of novel preservation techniques that render cadavers less and less distinguishable from the living. We recognize that some of the stages of the lifecycle we describe are not necessarily unique to clinical cadavers. Certainly, a traditional hard-fixed cadaver is transformed as it is used differently, in different contexts. We believe, however, that the philosophical work may be less troubling when the cadaver is rigid and gray—its humanity is perhaps easier to overlook. The ontological fidelity of clinical cadavers inspires specific practices at each stage of the lifecycle, which we identified in noting, and classifying, the ways in which people speak and act. These sayings and doings36 are a product of the nebulous, but undeniable, humanness of clinical cadavers.

CBS는 시체 해부에는 예술과 과학이 모두 존재한다는 것을 관찰했습니다.

  • 예술적 측면에서는 시체를 준비하고 전시하는 방식이 예술적이었으며, 작업자들은 실제 임상 사례에 가까운 상호작용을 장려하는 실제와 같은 표본을 제시하는 데 자부심을 가지고 있었습니다.
  • 과학과 관련해서는 보존 기술의 혁신, 정교한 기술, 도구 및 장치 테스트에 주목했습니다.

하지만 카데바 기반 시뮬레이션의 철학은 좀 더 모호했습니다. 하지만 철학적 작업이 사실 CBS의 근간을 이루고 있다는 사실을 알게 되었습니다. 
We observed that there is both an art, and a science, to CBS.

  • With respect to art, the ways in which cadavers are prepared and presented was artful, with workers taking pride in presenting lifelike specimens that encouraged an interaction closer to a real clinical encounter.
  • With respect to science, we noted the innovations in preservation techniques, the refined skill, the testing of tools and devices.

The philosophy of cadaver-based simulation, however, was more nebulous to identify. Yet, once we attuned to it, it became clear that philosophical work was, in fact, foundational to CBS.

들뢰즈적 관점에서 보면 CBS에 종사하는 사람들은 철학을 하고 있는 셈입니다.47 여기에는 사체가 생애주기를 거치면서 존재론적 모호성을 관리하는 개념적, 정서적, 윤리적, 기술적 작업이 포함되며 전문적인 관행에 의해 능동적으로 형성됩니다. 해부학적 대상으로서의 교육용 시체를 제작하고 재제작하는 것은 중요한 고려 사항이며20, 시체 기반 교육학의 관계적/사회적 요소21는 교육용 시체 작업의 복잡성에 대한 이해를 넓혀주었지만, 시체의 생애주기에 걸친 철학적 전환에 조율하는 것은 미묘한 요소를 추가합니다. 

  • 당사자에서 기증자로의 전환을 통해 참가자들은 사후에 시신이 어떻게 사용될지 계획하고 조직할 수 있었습니다. 
  • 사망 시 발생하는 기증자에서 시신으로의 존재론적 전환은 미래의 생명을 구하기 위한 시신 기반 교육의 실제 실습을 위한 프로세스를 시작할 수 있게 했습니다. 
  • 시신에서 시체로 전환된다는 것은 참가자들이 특정 상황에서 특정 시신으로 무엇을 할 것인지에 대한 결정을 내릴 수 있다는 것을 의미했습니다. 
  • 시신에서 교육용 시신으로 전환하면서 참가자들은 '더 큰 선', 즉 자신의 치료가 필요할 미래의 상상 속 환자에 초점을 맞추면서 시신을 비인격화할 수 있었습니다. 
  • 교육용 시신에서 교사로 전환한 참가자들은 시신에 직접 손을 대고 임상 술기와 절차를 연습할 수 있었습니다. 
  • 마지막으로, 교사에서 유산으로의 전환을 통해 참가자들은 자신이 참여하는 복잡한 작업에 대해 성찰하고, 기증자를 기리는 공간을 제공하며, 시신을 기증한 사람들의 인격을 기억하는 생애주기의 시작점으로 돌아갈 수 있었습니다.

From a Deleuzian perspective, then, people engaged in CBS are doing philosophy.47 This involves the conceptual, emotional, ethical, and technical work of managing ontological ambiguities as the cadaver passes through the lifecycle and is actively shaped by professional practices. While the making and remaking of teaching cadavers as anatomical objects is an important consideration20 and the relational/social elements of cadaver-based pedagogy21 have broadened our understanding of the complexity of educational cadaver work, attuning to the philosophical transitions across the lifecycle of a cadaver adds a nuanced element to the conversation.

  • The transition from person to donor allowed participants to plan and organize for how a body will be used after death.
  • The ontological transition from donor to body that occurred at death allowed the process to be set in motion for the actual hands-on work of cadaver-based education, which is intended to save future lives.
  • The transition from body to cadaver meant that participants were able to make decisions about what to do with a particular body, in a particular set of circumstances.
  • The transition from cadaver to educational cadaver allowed participants to depersonalize the cadaver as they focused on “the greater good”: future, imagined patients who will need their care.
  • The transition from educational cadaver to teacher allowed participants to do things to the cadaver, practicing clinical skills and procedures.
  • Finally, the transition from teacher to legacy allowed participants to reflect on the complex work in which they engage, providing space to honor donors, and returning us to the start of the lifecycle where we remember the personhood of those who gave the gift of their body.

이러한 존재론적 전환에 대한 철학적 작업은 라이프사이클의 각 단계에서 수행해야 하는 작업의 기초가 됩니다. 예를 들어, 우리가 신체를 사람으로 생각하기를 멈추지 않는다면, 해부학적 구조를 관찰하기 위해 신체를 절단하는 것은 상상하기 어렵습니다. 우리는 이 철학적 작업이 사실 "사전 경험적"이라고 믿습니다."35 이는 우리가 시체 기반 교육의 예술이나 과학에 참여하기 전에 먼저 들뢰즈와 과타리가 "개념을 형성, 발명, 조작하는 것"으로 정의한 철학에 참여해야 한다는 것을 의미합니다. 35(p2) 참가자들이 눈앞의 신체를 이해하기 위해 만들어낸 개념은 CBS의 전문적 관행과 분리할 수 없습니다. 
This philosophical work of ontological transitions is foundational to the tasks that must occur at each stage of the lifecycle. It is difficult to imagine, for example, cutting into a body to observe its anatomical structures had we never stopped thinking about that body as a person. We believe this philosophical work is, in fact, “pre-empirical.”35 This means that before we can engage in the art or science of cadaver-based education, we must first engage in philosophy, which Deleuze and Guattari defined as “forming, inventing, and fabricating concepts.” 35(p2) The concepts which participants created in order to make sense of the body before them are inseparable from the professional practices of CBS.

온톨로지 충실도
Ontological fidelity

CBS에 관한 문헌은 주로 시뮬레이터의 효과성 문제에 초점을 맞추고 있습니다. 22,27,34 특히, 현실을 재현하는 사실감의 정도 또는 정확성으로 정의되는 높은 충실도 때문에 의학교육자들에게 CBS는 매력적입니다.48 의학교육자들은 일반적으로 두 가지 유형의 충실도를 인식합니다.49

  • 물리적(즉, 시뮬레이터의 모양과 느낌의 유사성)
  • 기능적(즉, 시뮬레이터가 조작 또는 개입에 반응하는 방식의 유사성)

그러나 CBS에 대한 우리의 연구는 물리적 및 기능적 충실도보다 더 많은 것이 있음을 시사합니다. 특히, 저희는 세 번째 관련 충실도 유형인 존재론적 충실도가 있다고 주장합니다.
The literature on CBS has primarily been focused on issues of simulator effectiveness. 22,27,34 In particular, CBS is appealing to medical educators because of its high fidelity, defined as the degree of realism, or exactness with which it reproduces reality.48 Medical educators generally recognize two types of fidelity:

  • physical (i.e., similarity in the look and feel of the simulator) and
  • functional (i.e., similarity in how the simulator responds to manipulation or intervention).49 

Our study of CBS suggests, however, that there is more to fidelity than physical and functional. Specifically, we argue that there is a third relevant type of fidelity: ontological fidelity.

존재론적 충실도가 중요하다는 것은 부인할 수 없는 사실입니다. 기존의 딱딱하게 고정된 시신과 달리 임상 시신에는 마네킹 시뮬레이터 및 실제 신체와 구별되는 본질적인 고유성이 있습니다. 카데바는 사람이므로 부드러움과 존중을 가지고 다뤄야 합니다. 그러나 카데바는 살아있는 사람이 아니므로 교육용 도구처럼 자르고, 찌르고, 조작할 수 있습니다. 시체에는 냄새, 촉감, 이야기가 있습니다. 교육생이 CBS에 접근하는 진지함은 다른 어떤 학습 활동과도 비교할 수 없습니다. 따라서 우리의 연구는 시체가 무엇인지에 대한 질문이 CBS 실습에 중요하며 대체할 수 없는 고유한 실습이라는 것을 보여주었습니다. 아무리 기술적으로 진보된 고충실도 마네킹이라도 '인간됨'을 속일 수는 없기 때문에 실제 인체를 대체할 수는 없을 것입니다. 
It is undeniable that ontological fidelity matters. In contrast to traditional, hard-fixed cadavers, there is something inherently unique to the clinical cadaver that makes it distinct from both the manikin simulator and the living body. The cadaver is human, and therefore needs to be treated with tenderness and respect. The cadaver is not, however, a living person, and therefore can be cut, prodded, and manipulated like an educational tool. The cadaver has a smell, a feel, and a story. The seriousness with which trainees approach CBS is incomparable to any other learning activity. Our study thus demonstrated that the question of being—what a cadaver ismatters to the practice of CBS, and makes it a unique and irreplaceable practice. Arguably, the most technologically advanced, high-fidelity manikin will never replace a real human body, because you simply cannot fake “human.”

우리는 존재론적 충실도가 들뢰즈와 과타리의 세 가지 사고 방식(예술, 과학, 철학)과 관련하여 빠진 조각일 수 있다고 생각합니다.35 예술이 개념의 감각적, 지각적 측면을 표현하고 과학이 그 기능을 설명하고 조작할 수 있게 해 준다면 철학은 새로운 개념을 묘사하고 창조할 수 있게 해 줍니다. 충실도를 물리적, 기능적, 존재론적 개념으로 개념화하면 CBS를 예술적, 과학적, 철학적으로 표현하는 데 도움이 될 수 있습니다.
We believe ontological fidelity may be the missing piece related to Deleuze and Guattari’s three modes of thought (art, science, and philosophy).35 If art allows us to represent the sensory and perceptual aspects of a concept; science allows us to explain and manipulate its functions; then philosophy allows us to delineate and create new concepts. Conceptualizing fidelity as physical, functional, and ontological can help us represent CBS artistically, scientifically, and philosophically.

시체의 존재론적 충실도 개념은 결과적인 개념입니다. 더글러스-존스가 설명한 "침묵의 멘토"와 함께 작업할 때의 감정적 요소와 함께,29 이는 대면 시체 작업을 없애는 것에 반대하는 중요한 논거를 제공합니다. 현대에는 시체가 더 이상 필요하지 않다는 주장도 있습니다. 특히 코로나19 팬데믹 기간 동안 해부학 학습을 위한 가상 기술의 괄목할 만한 발전으로 값비싸고 자원 집약적인 임상 시체 프로그램이 필요하지 않게 되었습니다.50 그러나 우리의 연구에 따르면 화면을 통해 전달하기 훨씬 더 어려운 시체의 인간성 수준이 중요하다는 것을 알 수 있습니다.39 
The concept of ontological fidelity of cadavers is a consequential one. Along with the emotional elements of working with “silent mentors” as described by Douglas-Jones,29 it provides an important argument against eliminating in-person cadaver work. There has been some argument that cadavers are no longer necessary in the modern era. Particularly during the COVID-19 pandemic, there have been notable advancements in virtual technologies for anatomy learning that could eliminate the need for expensive and resource-intensive clinical cadaver programs.50 However, our research suggests that the level of humanness of the cadaver—something much more difficult to convey through a screen—matters.39

올레자즈41 는 해부 실습실을 도덕적 실험실, 윤리 교육을 실제로 이해할 수 있는 공간, 해부에 사용되는 인체의 모호함에 대처하는 방법을 기증자로부터 배울 수 있는 공간으로 묘사하고 있습니다. 마찬가지로 CBS와 관련된 교육 공간은 도덕적 교육 역할을 합니다. 이 독특한 환경에서 의학교육의 연속선상에 있는 학습자들은 눈앞에 놓인 시체의 물질적 형태와 씨름하며 새로운 개념을 만들어내고, 이를 통해 수행해야 하는 과제를 용이하게 수행할 수 있습니다. 절차적 술기를 가르칠 수 있는 마네킹이나 기타 시뮬레이터 형태의 다른 교육 도구도 분명 존재하지만, 시체의 존재론적 충실도와 그 사용과 관련된 철학적 작업은 대체할 수 없다고 생각합니다. 
Olejaz41 describes the dissection lab as a moral laboratory, a space in which we may come to understand ethics training in practice, as well as a space where students are given a chance by donors to learn how to deal with the ambiguity of human bodies that are used for dissection. Similarly, the teaching spaces associated with CBS serve as a moral pedagogy. It is in this unique environment that learners across the continuum of medical education grapple with the material form of the cadaver in front of them, creating new concepts to facilitate the tasks that must be accomplished. While there are certainly other educational tools available in the form of manikins or other such simulators which enable the teaching of procedural skills, we believe that the ontological fidelity of cadavers, and the philosophical work associated with its use, are irreplicable.

실제 인체와 함께 작업하는 것은 다른 유형의 시뮬레이터로 작업하는 것과는 본질적으로 다르며, 시뮬레이션을 통해 배울 수 있는 것과 그렇지 않은 것, 또는 배울 수 있는 것에 영향을 미치는 방식이 다릅니다.
Working with a real human body is inherently different from working with any other type of simulator in ways that influence what is, is not, or can be learned from simulation.

한계점
Limitations

일반적인 민족지학적 전통에 따라, 우리의 실습 기반 연구는 한 기관에 대해서만 심층적인 설명을 제공합니다. 특히 임상 시신의 준비는 제한된 수의 기관에서만 고유하게 이루어집니다. 이 연구에서 얻은 통찰력이 인체 기증 및 기타 유형의 시신 기반 교육과 관련된 다른 상황에도 적용될 수 있다고 생각하지만, 우리 연구의 이전 가능성을 보장할 수는 없습니다. 
In typical ethnographic tradition, our practice-based study provides an in-depth description of only one institution. The preparation of clinical cadavers, in particular, is unique to a limited number of institutions. While we believe the insights garnered herein translate to other contexts engaging in both human body donation and other types of cadaver-based education, we cannot guarantee the transferability of our work.

우리는 철학적 원리가 중요한 교육 개념을 재고하는 데 어떻게 도움이 될 수 있는지 보여주기 위해 들뢰즈와 과타리의 『철학이란 무엇인가』를 참고했습니다. 그러나 여기서 소개하는 내용은 단순화되고 집중적이며 교훈을 주기 위한 것입니다. 각자의 맥락에서 철학적 작업에 참여하고자 하는 동기를 가진 독자는 예술, 과학 및 철학에 대한 들뢰즈와 과타리의 관점의 미묘한 차이를 이해하기 위해 원본 기고문35을 읽어 보시기를 권장합니다. 
We drew on Deleuze and Guattari’s What is Philosophy in order to demonstrate how philosophical principles can help us to reconsider important educational concepts. However, what we present here is simplified, focused, and intended to be instructive. We encourage readers who are motivated to engage in philosophical work in their own contexts to read the original contribution,35 in order to understand the subtleties of Deleuze and Guattari’s perspectives on art, science, and philosophy.

결론
Conclusion

카데바 기반 시뮬레이션은 카데바 기반 의학 교육의 오랜 역사 속에서 유망하고 흥미로운 혁신입니다. 교육용 카데바는 그 자체로 삶과 죽음 사이의 공간에 존재하며, 눈에 보이는 것과 보이지 않는 곳에서 전문가 간 팀이 수행하는 실습으로 인해 '되기'의 사이클에 있습니다. 시체의 '인간성'은 시체를 분류하기 어려운 자료로 만듭니다. 그러나 이러한 모호성은 절차적 기술 학습뿐만 아니라 참가자들이 시체에 대해 말하는 방식과 시체에 대해 한 일 또는 하지 않은 일에서 분명하게 드러나는 의식적, 무의식적 성찰을 불러일으키는 강력한 교육 도구이기도 합니다. 따라서 CBS는 삶과 죽음의 이분법, 그리고 교육적 타당성을 확립하는 데 필요한 관행에 대한 고정 관념을 불안정하게 만듭니다. 우리는 CBS와 관련하여 "실재하는 것은 되는 것이 통과하는 고정된 조건이 아니라 되는 것, 그 자체, 되는 블록"이라는 들뢰즈와 과타리의 관점을 지지합니다. 35(p238)
Cadaver-based simulation is a promising, and fascinating innovation within the long history of cadaver-based medical education. The educational cadaver, itself, exists in a space between life and death, and is in a cycle of “becoming” because of the practices performed by an interprofessional team both visible and behind the scenes. The “humanness” of the cadaver makes it a difficult material to categorize. However, this ambiguity also makes a powerful educational tool, inspiring not only procedural skills learning, but also conscious and unconscious reflection, made evident in the ways in which participants spoke about cadavers, and in the things they did, or did not do, to them. CBS, then, unsettles fixed ideas about the life/death binary, and about the practices required to establish educational relevance. We support Deleuze and Guattari’s perspective that, when it comes to CBS, “what is real is the becoming, itself, the block of becoming, not the supposedly fixed terms through which that which becomes passes.” 35(p238)

교사, 학습자, 시체 보관소 직원들은 시체의 존재론적 가단성을 관리하면서 철학을 적극적으로 수행하고 있습니다. 우리는 이러한 사전 경험적 철학적 작업이 사실 CBS를 움직이는 원동력이라고 믿습니다. 이러한 존재론적 전환을 개념적으로 관리하고 실질적으로 실행하지 않으면 CBS의 작업은 불가능할 것입니다. 이 논문이 교육 수명 주기 전반에 걸쳐 시신을 관리할 때 참여자들이 불러일으키는 철학적 전략을 반영함으로써 의학교육에서 시신 작업의 복잡한 세계를 새롭게 조명할 수 있기를 바랍니다.
Teachers, learners, and cadaver staff are actively doing philosophy as they manage the ontological malleability of cadavers. We believe this pre-empirical philosophical work is, in fact, the motor that drives CBS. Without conceptually managing and materially enacting these ontological transitions, the work of CBS would not be possible. We hope that in reflecting on the philosophical strategies invoked by our participants as they manage the cadaver across its educational lifecycle, this paper sheds new light on the complex world of cadaver work in medical education.


 

 

Teach Learn Med. 2022 Oct-Dec;34(5):556-572. doi: 10.1080/10401334.2022.2092111. Epub 2022 Jun 30.

 

 

The Lifecycle of a Clinical Cadaver: A Practice-Based Ethnography

Affiliations collapse

Affiliations

1Department of Continuing Professional Development and Medical Education, Dalhousie University, Halifax, Nova Scotia, Canada.

2Department of Emergency Medicine, Dalhousie University, Halifax, Nova Scotia, Canada.

3Research Methods Unit, Nova Scotia Health, Halifax, Nova Scotia, Canada.

4School of Education, Durham University, Durham, UK.

PMID: 35770381

DOI: 10.1080/10401334.2022.2092111

 

Abstract

PhenomenonCadavers have long played an important and complex role in medical education. While research on cadaver-based simulation has largely focused on exploring student attitudes and reactions or measuring improvements in procedural performance, the ethical, philosophical, and experiential aspects of teaching and learning with cadavers are rarely discussed. In this paper, we shed new light on the fascinating philosophical moves in which people engage each and every time they find themselves face to face with a cadaver. ApproachOver a two-year period (2018/19-2019/20), we applied ethnographic methods (137 hours of observation, 24 interviews, and the analysis of 22 documents) to shadow the educational cadaver through the practical stages involved in cadaver-based simulation: 1. cadaver preparation, 2. cadaver-based skill practice with physicians and residents, and 3. interment and memorial services. We used Deleuze and Guattari's concepts of becoming and acts of creation to trace the ontological "lifecycle" of an educational cadaver as embedded within everyday work practices. FindingsWe delineated six sub-phases of the lifecycle, through which the cadaver transformed ontologically from person to donor, body, cadaver, educational cadaver, teacher, and loved one/legacy. These shifts involved a network of bureaucratic, technical, educational, and humanistic practices that shaped the way the cadaver was perceived and acted upon at different moments in the lifecycle. By highlighting, at each phase, 1) the ontological transitions of the cadaver, itself, and 2) the practices, events, settings, and people involved in each of these transitions, we explored questions of "being" as it related to the ontological ambiguity of the cadaver: its conceptualization as both person and tool, simultaneously representing life and death. InsightsEngaging deeply with the philosophical questions of cadaver-based simulation (CBS) helped us conceptualize the lifecycle as a series of meaningful and purposeful acts of becoming. Following the cadaver from program entry to interment allowed us to contemplate how its ontological ambiguity shapes every aspect of cadaver-based simulation. We found that in discussions of fidelity in medical simulation, beyond both the physical and functional, it is possible to conceive of a third type: ontological. The humanness of the cadaver makes CBS a unique, irreplaceable, and inherently philosophical, practice.

Keywords: Cadaver-based simulation; human body donation; medical education; ontological fidelity; philosophy of science.

보건전문직교육에서 현상학적 연구: 양쪽 끝에서 터널 만들기(Teach Learn Med, 2022)
Phenomenological Research in Health Professions Education: Tunneling from Both Ends
Chris B. T. Rietmeijera and Mario Veenb

 

소개
Introduction

다음은 CBTR(크리스)과 MV(마리오)의 이메일 대화 내용입니다. 이 대화는 비엔나에서 열린 2019 유럽 의학교육협회 컨퍼런스에서 시작되었으며, 그 이후로 계속되고 있습니다. 그 목적은 두 가지 관점을 보건 전문직 교육(HPE) 연구의 현상학이라는 공통 기반에 연결하는 것이었습니다. 우리는 현상학적 관점에서 의미 있는 연구를 수행하는 데 관심이 있을 뿐만 아니라 교육 연구자들이 현재 이용할 수 있는 '지침'에 대한 불만도 공유하고 있습니다. Chris는 일반의(GP)이자 GP 수련 프로그램 디렉터로, 수퍼바이저가 GP 수련생을 직접 관찰하는 박사 연구를 진행하고 있습니다. 마리오는 의학적 배경이 없는 학제 간 철학자이자 교육 연구자입니다. 양쪽 끝에서 터널링을 통해 공통의 지점에서 만나려는 시도를 경험했습니다. 이 과정에서 마리오는 직접 관찰 상황에서 환자의 경험에 대한 Chris의 연구 프로젝트에 참여하여 우리가 논의하던 현상학적 원칙을 구체화하는 데 도움을 주었습니다. 현상학적 접근 방식에 충실하게 우리의 대화는 여전히 계속되고 있습니다. 이 논문에서는 현재의 이해를 제시합니다. 이 글은 부분적으로 대화 형식으로 작성되었지만, 우리는 모든 섹션의 후속 초안과 최종 논문을 함께 논의하고 작성했습니다. 
What follows is the substrate of an e-mail dialogue between CBTR (Chris) and MV (Mario). We started this dialogue at the 2019 Association for Medical Education in Europe conference in Vienna, and it has been ongoing since then. The purpose was to connect our two perspectives to a common ground: phenomenology in health professions education (HPE) research. We share an interest in conducting meaningful research from a phenomenological perspective, as well as a frustration with the current “pointers” that are available for educational researchers. Chris is a general practitioner (GP) and GP training program director, who is conducting PhD research on direct observation of GP trainees by their supervisors. Mario is an interdisciplinary philosopher and educational researcher, with no medical background. Tunneling from both ends is how we experienced this attempt to meet on common ground. During this process Mario joined Chris’s research project on patients’ experiences in direct observation situations, which helped us concretize the phenomenological principles we were discussing. True to the phenomenological approach, our dialogue is still continuing. In this paper, we present our current understanding. While this text is – partly – written as a dialogue, we discussed and wrote subsequent drafts of all sections and the final paper together.

크리스 소개
Introduction Chris

몇 년 전, 제 박사 지도교수가 환자 인터뷰 연구에 현상학적 접근법을 제안했습니다.1 우리는 일반 수련에서 직접 관찰(DO)에 대한 레지던트와 수퍼바이저의 관점에 대한 구성주의적 근거이론 포커스 그룹 연구를 두 차례 마쳤습니다.2,3 지도교수는 우리가 DO 상황에 대한 환자들의 경험에 관심이 있으므로 현상학적 접근법이 적절할 것 같다고 주장했습니다. 저는 혼란스러워서 레지던트와 수퍼바이저의 경험을 연구할 때 사용했던 구성주의적 근거 이론 접근법과 어떤 차이가 있는지 물어보았습니다. 이미 현상학적 접근법이 아니었나요? 
A few years ago, my PhD supervisor suggested a phenomenological approach for a patient interview study.1 We had finished two constructivist grounded theory focus group studies on the residents’ and the supervisors’ perspectives on direct observation (DO) in general practice training.2,3 My supervisor argued that since we were interested in the patients’ experiences with DO situations, a phenomenological approach seemed appropriate. This confused me and I asked him what the difference would be from the constructivist grounded theory approach we had used to study the experiences of residents and supervisors. Was that not already phenomenological?

이것이 제 연구에서 현상학의 가치를 이해하고 현상학적 접근이 지금까지 해왔던 것과 어떻게 다른지 배우기 위한 탐구의 시작이었습니다. 저는 HPE 안팎에서 현상학에 관한 문헌을 검색하기 시작했습니다. HPE 문헌에서 저는 여러 현상학 학파에 대한 개요를 발견했습니다.4-6 이 문헌에서는 후설의 설명적 또는 초월적 현상학과 하이데거의 해석적 또는 해석학적 현상학 간의 차이점을 설명하는 경우가 많았습니다. 현상학에 대한 설명과 "괄호치기", "현상학적 환원", "사전 반성적 경험"과 같은 트레이드마크 용어를 제공합니다. 안타깝게도 저는 이러한 설명이 복잡하고 때때로 모순된다는 것을 알았습니다. 제 프로젝트에 대한 구체적인 지침을 제공하지 못했습니다. 
This was the beginning of my quest to understand the value of phenomenology for my research, and to learn how a phenomenological approach differs from what I had been doing so far. I embarked on a search of the literature on phenomenology in and outside HPE. In HPE literature, I found overviews of distinct phenomenological schools.4–6 This literature often explains the differences between Husserl’s Descriptive or Transcendental phenomenology and Heidegger’s Interpretive or Hermeneutic phenomenology. It provides descriptions of phenomenology and trademark terms such as “bracketing,” “phenomenological reduction,” and “pre-reflective experience.” Unfortunately, I found these descriptions complex and at times contradictory. They did not provide concrete guidance for my project.

그래서 저는 현대 현상학자들의 저작을 읽기로 결심했습니다.7,8 이를 통해 현상학적 원리를 이해하는 데 도움이 되었지만 혼란이 가중되기도 했습니다. 이 분야의 노련한 과학자들 사이에서 많은 의견 차이를 접했습니다: 반 마넨은 스미스의 해석적 현상학적 분석을 공격합니다.9 자하비는 반 마넨이 "상당히 잘못 이해하고 있다"고 비난합니다.10 분명히 현상학자들 스스로도 현상학이 무엇인지에 대해 동의하지 않는 것 같습니다. 게다가 인터뷰 연구와 같은 연구에서 현상학을 적용하는 방법에 대한 실용적인 지침을 거의 찾을 수 없었습니다. 실제로 이 문헌을 통해 현상학의 핵심 요소 중 하나는 연구 방법은 말할 것도 없고 정해진 규칙이 없다는 점을 분명히 알 수 있었습니다. 
I therefore decided to read works by some contemporary phenomenologists.7,8 This helped me start to grasp some phenomenological principles, but also added to my confusion. I encountered many disagreements among seasoned scientists in this field: Van Manen attacks Smith’s Interpretive Phenomenological Analysis.9 Zahavi accuses van Manen of “getting it quite wrong.”10 Apparently, phenomenologists themselves disagree on what phenomenology is. Moreover, I hardly found any practical guidelines on how to apply phenomenology in research, such as in the context of an interview study. Indeed, this literature made clear to me that one of the core elements of phenomenology is the absence of fixed rules, let alone a research method.

세 번째 전략으로 현상학적 접근법을 주장하는 HPE 영역의 연구 논문 사례를 연구했습니다. Ajjawi와 Higgs11는 물리 치료사가 임상적 추론을 학습하는 방법과 이에 대해 소통하는 방법에 대한 연구를 수행했습니다. 바이넘과 동료들은 레지던트들의 수치심 경험을 조사했습니다.12 맥라클란과 동료들은 의대생 교육에 대한 환자들의 경험을 연구했습니다.13 더 많은 사례가 있습니다.14,15 이 인터뷰 연구의 저자들은 현상학적 방법을 자세히 설명하고 있으며, 데이터에 대한 몰입과 철저한 반성을 통해 세심한 분석의 증거를 보았습니다. 안타깝게도 많은 논문의 질적 수준에는 깊은 인상을 받았지만, 제가 보기에는 다른 질적 탐구 방법의 결과와 상당히 유사해 보였습니다. 현상학적 입장과 방법에 대한 설명이 다소 혼란스러웠고, 현상학적 연구와 '비현상학적' 인터뷰 연구를 구별할 수 있는 어떤 종류의 '현상학적 마법' 또는 적어도 실행 가능한 요소를 발견할 수 없었습니다. 
As a third strategy, I studied examples of research papers in the HPE domain that claim a phenomenological approach. Ajjawi and Higgs11 conducted research on how physical therapists learn clinical reasoning and how to communicate about this. Bynum and colleagues investigated shame experiences of residents.12 McLachlan and colleagues studied patients’ experiences of medical student teaching encounters.13 There are more examples.14,15 The authors of these interview studies describe their phenomenological methods in detail, and I saw evidence of meticulous analyses through immersion in data and thorough reflexivity. Alas, although I was impressed by the quality of many of these papers, to me, the type of results they provided seemed quite similar to the results of other qualitative inquiry methods. I found descriptions of the phenomenological stance and methods somewhat confusing, and was unable to discern any kind of “phenomenological magic,” or at least a workable ingredient that would distinguish phenomenological from “non-phenomenological” interview studies.

저는 HPE 문헌에서 현상학은 종종 사람들이 어떤 현상에 대해 갖는 주관적인 경험을 조사하는 것과 동의어로 제시된다는 결론을 내렸습니다. 하지만 구성주의적 근거 이론과 같은 다른 유형의 질적 연구에서도 이를 조사할 수 있습니다. 후설 이후 120년이 지난 지금, 모든 질적 연구자들이 현상학에서 얻은 통찰을 통합하여 이 용어가 불필요해진 것이 아닌가 하는 생각이 들었습니다. 
I concluded that, in HPE literature, phenomenology is often presented as synonymous with investigating subjective experiences that people have with some phenomenon. But other types of qualitative research, such as constructivist grounded theory, can also investigate this. The thought occurred to me that perhaps, 120 years after Husserl, all qualitative researchers have integrated insights from phenomenology so that the term has become superfluous.

그래서 저는 이 세 가지 검색을 통해 매혹, 압도, 빈손, 짜증이라는 세 가지 감정을 발견했습니다. 그 자체로 유망한 세계인 현상학에 매료되고 압도되었지만 외부인에게는 이해할 수 없었습니다. 대부분의 철학자가 평생 동안 임상적 추론을 마스터하지 못하는 것과 마찬가지로, 저는 GP로서 평생 동안 고전적 현상학을 깊이 있게 이해하지 못할 것이라는 사실을 이쯤 되면 분명히 알 수 있었습니다. 명확한 실용적인 연구 방법론을 찾지 못해 공허함을 느꼈고, 제가 볼 수 있는 한 다른 질적 접근 방식과 근본적으로 다른 결과를 제공하지 않는 연구 논문에서 현상학에 대한 혼란스러운 설명에 약간 짜증이 났었습니다. 
So, here I found myself after these three searches, fascinated, overwhelmed, empty handed, and annoyed. Fascinated and overwhelmed by phenomenology as a promising world in itself, but incomprehensible to outsiders. It was clear to me by now that in my lifetime, as a GP, I was never going to really understand classical phenomenology in depth, in the same way that most philosophers, in their lifetime, are never going to master clinical reasoning. I felt empty handed because I had not found a clear practical research methodology, and a bit annoyed with confusing descriptions of phenomenology in research papers that, as far as I could see, did not deliver results that fundamentally differed from some other qualitative approaches.

그럼에도 불구하고 저는 현상학에 흥미를 느꼈고, 사람들이 어떤 현상에 노출되었을 때 기본적으로 경험하는 것을 밝혀낼 수 있다는 점에서 그 가능성을 보았습니다. 그래서 포기하지 않고 현상학적 접근법이 구성주의적 근거 이론과 같은 다른 질적 접근법과 어떻게 다른지, 그리고 그것을 이해하기 쉬운 언어와 방법으로 어떻게 포착할 수 있는지 알아보고자 결심하게 되었습니다. 이 과정에서 비엔나에서 열린 AMEE 컨퍼런스에서 마리오 선생님을 만났습니다. 철학자로서 저의 혼란을 이해해주셔서 안심이 되었습니다. 또한 단기적으로는 불편했지만, 당신 스스로도 HPE 연구에 현상학을 적용하는 데 어려움을 겪고 있었으며 간단한 해답이 없었다는 사실에 위안을 받았습니다. 그때부터 우리는 광범위한 편지 교환을 통해 이 터널링 프로젝트를 시작했습니다. 
Nevertheless, phenomenology intrigued me and I saw beauty in its promise to reveal what people basically experience when exposed to a phenomenon. So, instead of throwing in the towel, I became determined to find out how a phenomenological approach differs from other qualitative approaches, such as constructivist grounded theory, and how that can be captured in understandable language and methods. Somewhere in this process I met you, Mario, at the AMEE conference in Vienna. It was a relief that you, as a philosopher, understood my confusion. It was also a consolation, though inconvenient for the short term, that you yourself were struggling with the application of phenomenology in HPE research; you had no brief answers. That is when we started this tunneling project through an extensive exchange of letters.

마리오 소개
Introduction Mario

현상학에 대한 질문으로 저에게 다가오셨을 때, 관련성이 있는 질문이라는 것은 알지만 쉽게 대답할 수 없다는 점에서 당혹스러웠습니다. 저는 인문학 전공자이고 약 10년 전에 의학교육 분야에서 일하기 시작했습니다. 이는 흥미로운 경험이자 문화적 충격이었습니다. 인문학에서 익숙했던 연구 접근 방식이 의학교육 연구에서는 '현상학'이라고 불린다는 것을 알게 되었습니다. 종종 이것은 "경험적" 연구와 대조되었습니다. 그런데 놀랍게도 현상학은 경험적 연구를 수행하기 위한 '방법'으로 제시된다는 사실도 알게 되었습니다. 
When you approached me with questions about phenomenology, this was confronting in the sense that I recognized your questions as relevant but could not answer them easily. My background is in the Humanities and I started working in medical education about ten years ago. This was an interesting experience and culture shock. I found out that the approach to research I was used to in the Humanities was referred to as “phenomenology” in medical education research. Often, this was contrasted with “empirical” research. But, to my confusion, I also found out that phenomenology was presented as a “method” for conducting empirical research.

인문학에서 누군가 현상학에 대해 주장할 때 가장 먼저 하는 질문은 "누구의 현상학인가?"입니다. 현상학은 서로 다른 사상가들이 현상학이 무엇이며 어떻게 실천할 것인가에 대해 서로 다른 반응을 보이는 지적 전통으로 볼 수 있습니다. 후설은 일반적으로 철학적 현상학의 창시자로 여겨집니다. 그러나 그는 칸트나 헤겔과 같은 초기 사상가들도 이 용어를 사용했습니다. 그의 제자 하이데거 역시 후설에 응답했지만, 후설이 현상학에 대해 가졌던 몇 가지 근본적인 가정을 비판하기도 했습니다. 현상학의 역사적 전통에서 각 사상가는 전임자의 개념을 발전시키기도 하고 다른 사상가를 비판하기도 합니다. 예를 들어 버틀러16는 젠더 연구와 문화 이론에 큰 영향을 미친 드 보부아르의 젠더 개념17을 발전시켰습니다. 이 모든 사상가들의 공통점은 무엇을 현상학으로 보는지, 또는 누구의 현상학을 사용하는지 먼저 정의한다는 점입니다.
In the Humanities, when someone makes a claim about phenomenology, the first question is “whose phenomenology?” Phenomenology can be seen as an intellectual tradition in which different thinkers respond to each other and differ with regard to what phenomenology is and how to put it into practice. Husserl is generally seen as the founder of philosophical phenomenology. But he responded to earlier thinkers such as Kant and Hegel, who also used the term. His student, Heidegger, in turn responded to Husserl, but also criticized some fundamental assumptions that Husserl had made about phenomenology. In the historical tradition of phenomenology, each thinker both develops notions of their predecessor and criticizes others. For instance, Butler16 develops de Beauvoir’s notion of gender17 in a way that was hugely influential in gender studies and cultural theory. All of these thinkers have in common that they first define either what they see as phenomenology, or whose phenomenology they are using, rather than treating it as an out-of-the-box method.

여러분이 저에게 질문을 던졌을 때 저는 여러분이 말했듯이 쉬운 대답을 할 수 없었습니다. 이것은 철학과 의학교육 연구에서 계속되는 투쟁입니다. 하지만 현상학은 일상적인 현상을 연구하는 과학으로서 경험, 의미, 의도 등 우리에게 친숙한 단어를 기술적으로 사용한다는 점에서 또 다른 도전에 직면해 있습니다. 일상 언어와 HPE 연구에서 우리는 종종 "경험"과 같은 단어를 마치 그 의미를 정확히 알고 있는 것처럼 사용합니다. 현상학에서는 이에 대해 의문을 제기합니다(경험이란 무엇인가?). HPE 연구는 실무 지향적이기 때문에 이러한 각 용어에 대해 자세히 설명할 여력이 없습니다. 
When you approached me with questions, I had, as you say, no easy answers. This is an ongoing struggle with philosophy and medical education research. But phenomenology faces an additional challenge; as a science of studying everyday phenomena, it uses words that are familiar to us in a technical way for instance: experience, meaning, and intention. In our everyday language and HPE research, we often use words such as “experience” as if we know exactly what they mean. Phenomenology calls these into question (what is experience?). Since HPE research is practically oriented, we simply do not have the bandwidth to elaborate on each of these terms in depth.

그럼에도 불구하고 현상학에 대한 기술적 정의부터 시작하겠지만, 이 정의가 실제로 무엇을 의미하는지는 연구를 진행하면서 명확해져야 할 것입니다. 현상학을 한다는 것은 의식에서 발생하는 것(현상)을 설명하는 것을 의미합니다. 현상학은 현상을 근본적인 객관적 또는 주관적 실재의 표현으로만 취급하는 것이 아니라, 그 자체로 설명할 가치가 있는 대상으로 취급합니다. [그러한 실재가 존재하는지, 그리고 우리가 그러한 실재에 도달할 수 있는지]는 현상학이 답을 구하기보다는 "괄호"(제쳐두는) 질문으로, 현상학은 [현상이 언제 어떻게 우리에게 일어나는지 정확히 기술하고 현상에서 반복되는 패턴이나 구조를 찾는 데] 집중하기 위해 이 질문에 답하지 않습니다. 이러한 구조를 현상의 본질18이라고 부를 수 있는지, 아니면 우리가 세상에 존재하는 우연적인 현상19이라고 부를 수 있는지는 현상학자들이 논쟁하는 근본적인 질문 중 하나입니다.
Let us start with a technical definition of phenomenology nonetheless, although what this definition means in practice will have to become clear as we go along. Doing phenomenology means describing that which arises in consciousness (phenomena). Phenomenology treats phenomena as objects worthy of description in their own right, rather than only as manifestations of an underlying objective or subjective reality. Whether there is such a reality and whether we can ever get to it, is a question that phenomenology “brackets” (sets aside) rather than trying to answer it, in order to focus on describing phenomena exactly how and when they occur to us, and looking for recurrent patterns or structures in their occurrence. Whether these structures can be called essences18 of phenomena or are contingent manifestations of our being-in-the-world19 is one of those fundamental questions phenomenologists debate.

말씀하신 문제에 대해 제 의견을 말씀드리자면, 현상학이 HPE 연구에 도움이 되는 것은 사실이지만, 현상학은 바로 적용할 수 있는 '방법'이나 '방법론'이 아닙니다. 현상학은 연구자의 특정 태도를 요구하는 연구 접근 방식입니다. 이러한 태도는 연구 질문, 데이터 수집, 세분화된 분석, 결과 보고 방식, 연구자로서의 자신의 입장에 대한 성찰 등 연구의 모든 단계에 스며들어 있습니다. 이러한 태도가 없으면 철학적 접근 방식으로서 현상학에 부합하지 않는 방식으로 현상학으로 분류되는 방법을 사용할 수 있지만, 이는 좋은 연구가 아니라는 의미가 아니라, 현상학이 아니라는 의미일 뿐입니다. 반대로 현상학으로 분류되지 않는 방법을 현상학적인 방식으로 사용할 수도 있습니다. 이러한 복잡성에 더해, 연구의 한 측면(예: 현상학적 인터뷰20)에만 현상학적 접근 방식을 취할 수 있고 다른 측면에는 적용하지 않을 수도 있습니다.
Here is my version of the problem that you stated: while we both see benefits of phenomenology in HPE research, phenomenology is not an out-of-the-box “method” or even “methodology” that we can simply apply. It is an approach to research that requires a certain attitude of the researcher. This attitude permeates all levels of the research: research question, data collection, fine-grained analysis, how you report your results, and reflexivity on your own position as a researcher. Without this attitude, one can use methods that are labeled as phenomenological in a way that is inconsistent with phenomenology as a philosophical approach – which does not mean it is not good research; it is just not phenomenology. And conversely, one can use methods that are not labeled as phenomenology in a phenomenological way. Adding to this complexity, one can take a phenomenological approach to only one aspect of the research – e.g. phenomenological interviewing20 – but not to others.

서로 다른 현상학적 접근법 간의 논쟁에 휘말리지 않기 위해 HPE 연구와 직접적으로 관련된 현상학의 몇 가지 기본 사항을 이해하는 것으로 한정하겠습니다. 
To avoid getting bogged down in a debate between different phenomenological approaches, let us confine ourselves to understanding some basics of phenomenology that are directly relevant to HPE research.

현상학이란 무엇인가요?
What is phenomenology?

제가 현상학을 어떻게 보는지 전문 용어를 최소화하여 공유하겠습니다. 현상학은 우리가 편향되거나 편향되지 않은 지식을 가질 수 있는 객관적 실체로서 세계를 조사하는 연구 접근 방식과는 근본적으로 다른 출발점을 가지고 있습니다. 현상학의 주요 특징은 인간에게 일어나는 세계에 초점을 맞추고, 세계가 일어나는 방식과 무관하게 세계를 객관적으로 '있는 그대로' 설명하는 것은 불가능하다고 주장한다는 점입니다. 
Let me share - with a minimum of jargon - how I see phenomenology. Phenomenology has a radically different starting point from approaches to research that investigate the world as an objective reality that we can have biased or unbiased knowledge of. Its key feature is that it focuses on the world as it occurs to human beings, and asserts that it is impossible to describe the world as it objectively “is” independent of how it occurs.

현상학은 우리가 마주하는 현상을 분석하는 학문입니다. 세상이 일상 생활에서 우리 인간에게 나타나는 방식이 그 출발점입니다. 현상은 사물부터 상황, 생각이나 경험에 이르기까지 우리가 하루를 보내면서 인식하게 되는 모든 것이 될 수 있습니다.

  • 현상은 스스로 드러나는 것, 또는 일어나는 것을 의미합니다.
  • 따라서 현상은 우리에게 나타나는 대로 우리에게 나타나는 것을 연구하는 것을 의미합니다.19

이러한 방식으로 현상학은 일상생활을 출발점으로 삼지 않는 과학 및 연구 접근법, 일상생활을 그 자체로 보지 않고 미리 설정된 분석적 틀 안에서 조사하는 접근법과 대조됩니다. 
Phenomenology is the analysis of phenomena as we encounter them. The way the world presents itself to us human beings in ordinary life is its starting point. A phenomenon can be anything from a thing to a situation to a thought or experience that we become aware of as we go about our day. 

  • Phenomenon means that which shows itself, or that which occurs.
  • Phenomenology therefore means to study that which shows itself to us as it shows itself to us.19 

In this way, phenomenology is contrasted with approaches to science and research that do not take everyday life as a starting point, and with those that examine everyday life occurrences not on their own terms, but within preset analytical frameworks.

예를 들어, 잠에서 깨어나 그날 밤 꾼 꿈을 기억한다고 생각해 보세요. 꿈은 현상입니다. 아마도 꿈에서 당신은 하늘을 날고 있었을 것입니다. 그 꿈에 대해 생각하고 분석하면서 생각을 적고 기분이 어땠는지, 반복되는 꿈인지, 그 꿈이 자신에게 어떤 의미가 있는지 살펴볼 수 있습니다. 매일 아침 꿈을 적고, 비교하고, 패턴을 찾고, 일기를 쓰는 등 하루 중 꿈의 특정 요소와 겹치는 다른 사건이 있는지 살펴봄으로써 꿈에 대한 현상학적 분석을 수행할 수도 있습니다. 이 현상학적 분석에서는 꿈이 진짜인지 아닌지, 예측 가치가 있는지 없는지, 꿈의 원인이 무엇인지에 대해서는 관심을 두지 않는다는 점에 유의하세요. 여러분은 단순히 자신에게 일어나는 일을 설명하는 것을 목표로 하고 있습니다. 
As an example, think of waking up and remembering a dream you had that night. The dream is the phenomenon. Perhaps, in the dream, you were flying. You could think about the dream and analyze it, writing your thoughts down and examining how it makes you feel, whether this is a recurring dream and if the dream means anything to you. You could even perform a phenomenological analysis of your dreams by writing them down each morning, comparing them, looking for patterns, and examining (e.g. by keeping a diary) whether there are other events in your day that seem to co-occur with certain elements in dreams. Notice that in this phenomenological analysis, you have not concerned yourself with whether dreams are real or not, whether they have predictive value, or what causes them. You are simply aiming to describe what occurs to you.

예를 들어 꿈을 낮 동안의 미완성 된인지 활동의 처리로 보는 등 꿈에 대한 신경학적 또는 심리적 이론을 살펴보기 시작하는 순간 우리는 현상학을 벗어난 것이다. 그렇다고 현상학에서 신경학적 또는 다른 설명의 가능성을 부정하는 것은 아니며, 현상이 의미 있는 사건으로 우리에게 어떻게 나타나는지에 집중하지 않기 위해 이 옵션을 일시 중단한 것입니다. 현상학에서 설명이나 이론을 중단하는 것을 '괄호 치기'라고 하는데, 우리는 현상(이 경우 꿈)이 '진짜'인지 또는 무엇이 '원인'인지에 대해서는 관심을 두지 않습니다. 대신 '사물 자체'를 설명하는 데 집중합니다.18(168쪽) 해석적 틀을 통해 현상을 분석하기 전에 현상이 어떻게 발생하는지를 포착하는 것이 현상학의 핵심이자 주요 과제입니다. 이는 '가공된' 세계가 아니라 세계가 우리에게 제시하는 날것 그대로의 방식, 즉 반성 이전의 인식을 포착하는 것이 이상적입니다. 우리(특히 연구자)는 분석적 프레임워크 내에서 현상을 분류하여 즉각적으로 분석하는 데 익숙하기 때문에 이는 매우 어려운 일입니다.  
The moment we start to look at neurological or psychological theories about dreams, for instance by seeing dreams as the processing of unfinished cognitive activities during the day, we have left phenomenology. This does not mean that, in phenomenology, we deny the possibility of neurological or other explanations; we simply suspend this option in order not to be distracted from how the phenomenon shows itself to us as a meaningful event. This suspending of explanations or theory in phenomenology is called “bracketing”: we are not concerned with whether the phenomenon – in this case the dream – is “real” or with what “caused” it. Instead, we remain focused on describing the “things themselves”.18(p168) This is both the core and the major challenge of phenomenology, to capture how a phenomenon occurs before we analyze it through interpretive frameworks. This is the ideal of capturing pre-reflective awareness: the raw way in which the world presents itself to us, rather than a “processed” version of it. This is so challenging because we (especially researchers) are used to instantly analyzing phenomena by categorizing them within analytical frameworks.

현상학의 몇 가지 기본 원칙
Some basic principles of phenomenology

현상에 대한 즉각적인 접근
Immediate access to phenomena

이 예를 염두에 두고 현상학은 우리가 즉각적으로 접근할 수 있는 것에 관심을 갖는다고 현상학에 대한 기본적인 설명을 할 수 있습니다. 꿈을 꾸는 사람만이 꿈에 직접 접근할 수 있습니다. 다른 사람들(연구자 포함)은 꿈꾼 사람이 보고하는 것을 통해서만 꿈에 접근할 수 있습니다.

  • 비현상학적 접근법은 일반적으로 우리가 즉각적으로 접근할 수 있는 것을 넘어 심리학이나 신경학과 같이 미리 정의된 이론적 입장에서 현상을 분석하려고 시도합니다.
  • 비현상학적 접근의 또 다른 예인 현실주의적 평가"인과적 규칙성을 발생시키는 근본적이고 생성적인 메커니즘"을 파악하려고 시도합니다.21(p1)

현상학은 이러한 종류의 메커니즘이 존재하는지, 또는 무엇으로 구성되어 있는지에 대해 어떠한 주장도 하지 않으며, 단지 우리가 단순히 우리에게 일어나는 것을 관찰할 때 즉시 이용할 수 없다는 것만 주장합니다. 이러한 현상학의 원리를 환자가 직접 관찰(DO) 상황을 경험하는 방식에 대한 인터뷰 연구에 적용하여,1 우리의 목표는 일상 생활 맥락에서 참가자가 현상에 즉각적으로 접근하는 방식을 연구하여 DO 상황과 환자 간의 관계에서 반복되는 패턴을 찾는 것이었습니다. 
With this example in mind, we come to a basic description of phenomenology as being concerned with that to which we have immediate access. Only the dreamer has direct access to the dream. Others (including researchers) only have access to the dream through what dreamers report.

  • Non-phenomenological approaches usually attempt to go beyond that which we have immediate access to, and instead analyze phenomena from a pre-defined theoretical position, such as psychology or neurology.
  • Realist evaluation, as another example of a non-phenomenological approach, attempts to identify “underlying, generative mechanisms that give rise to causal regularities”.21(p1) 

Phenomenology does not make any claim about whether these kinds of mechanisms exist or what they consist of, but only that they are not immediately available when we simply observe what occurs to us. Applying this principle of phenomenology to our interview study on how patients experience direct observation (DO) situations,1 our goal was to study participants’ immediate access to the phenomenon in an everyday life context, looking for recurring patterns in the relationship between the DO situation and the patient.

그러나 HPE 연구 실무에서 문제는 참가자가 직접 접근할 수 있는 것뿐만 아니라, 연구자로서 어떤 데이터와 방법을 통해 상황에 접근할 수 있는지에 대한 것입니다. 이 질문에 대한 명확한 답은 없습니다. 우리의 DO 연구는 연구자가 참여자가 되어 자신의 경험을 기술하고 성찰하는 자기인류학 방법을 사용하여 수행될 수 있었습니다. 또는 실제 DO 상황을 녹화하고 비디오 녹화를 분석하는 방법을 사용할 수도 있습니다. 이 경우 언어적 상호작용뿐만 아니라 시선 접촉, 누가 어디에 앉는지 등 DO 중에 보이는 것과 들리는 것을 즉각적으로 파악할 수 있었을 것입니다. 그래서 저희는 참가자와의 인터뷰를 진행하기로 결정했습니다. 그러나 어떤 데이터 수집 방법을 채택하든, 처음부터 해석, 기억 또는 기타 분류의 필터를 거치지 않고 현상 또는 현상의 일부가 그 자체로 드러날 수 있도록 하는 데 초점을 맞춰야 합니다.  
However, in the practice of HPE research, the question is not just what the participants have direct access to, but through which data and methods we as researchers can gain access to the situation. There is no obvious answer to that question. Our DO study could have been done using methods of autoethnography, in which the researcher is the participant and describes and reflects on their own experience. Or alternatively, through recording actual DO situations and analyzing the video recordings. In that case, we would have had immediate access to what is visible and audible during DO: what happens in terms of verbal interaction, but also in terms of eye contact, who sits where, etc. We opted for conducting interviews with participants. But whatever data collection method one adopts, it should be focused on the phenomenon, or part of the phenomenon, being able to show itself on its own terms, rather than through a filter of interpretation, memory, or any other categorization we impose on it from the start.

경험적 연구에서 '사전 성찰'은 이상적이지만, 저희는 참가자가 그 DO 상황에 처했을 때의 '날것' 경험을 최대한 포착하려고 노력했습니다. DO 상황이 발생한 직후에 인터뷰를 진행했기 때문에 참가자들이 그 경험을 '생생하게' 느끼고 반성할 시간이 많지 않았습니다. 인터뷰에서는 특정 현상과 관련하여 참가자에게 인식된 장벽과 조력자에 대해 명시적으로 묻는 인터뷰 연구에서와 같이 DO에 대한 의견이나 이에 대한 참가자의 해석에 초점을 맞추기보다는 경험의 '방법'에 초점을 맞춰 참가자를 부드럽게 안내했습니다. 정교한 질문을 통해 해석의 틀을 제시하는 대신 고개를 끄덕이거나 문장의 마지막 단어를 반복하는 등 비지시적인 프롬프트를 통해 참가자를 자극했습니다. 
Although in the practice of empirical research “pre-reflective” is an idealization, we tried as much as possible to capture the “raw” experience of what it was like for the participant to have been part of that DO situation. We performed the interviews immediately after the DO situation, so that the experience was still “fresh” and the participants did not have much time to reflect on it. In the interviews, we gently steered participants to the “how” of the experience, rather than focusing on their opinions about DO or their own interpretations of it – as might be done in an interview study that explicitly asks participants about perceived barriers and enablers with regard to a certain phenomenon. Instead of introducing interpretive frameworks through elaborate questions, we stimulated participants with non-directive prompts, like nodding and repeating the last words of a sentence.

의미와 자연스러운 태도를 괄호로 묶기
Meaningfulness and bracketing the natural attitude

두 번째 기본 원칙으로, 현상학에서는 의미를 현상의 필수적인 부분으로 간주하며, '객관적인' 연구 대상을 갖기 위해 제거해야 하는 것이 아니라고 생각합니다. 현상은 누군가에게 발생하며 무언가를 가리킵니다. 예를 들어, 누군가에 의한, 그리고 무언가에 대한 지식이 아닌 '지식'이란 존재하지 않습니다. HPE 연구에서 다루는 연구 대상은 거의 항상 의미가 있습니다. 예를 들어 의학과는 달리 우리는 화학적 과정이 아니라 인간의 과정을 연구합니다. 우리는 대상과 대상 간의 관계를 연구합니다. 이번 연구 프로젝트에서는 환자가 주체가 되어 환자가 처한 DO 상황과의 관계를 연구했습니다. 현상학에서는 주체와 객체, 그리고 이들 간의 관계를 현상의 본질적인 부분으로 간주하며, 이 관계 없이는 현상을 이해할 수 없습니다. 이러한 관계는 당연한 것으로 받아들이는 것이 아니라 현상학적 탐구의 일부입니다.
As a second basic principle, phenomenology considers meaning to be an integral part of phenomena and not something that we have to do away with in order to have an “objective” research object. Phenomena occur to someone and point to something. For instance, there is no such thing as “knowledge” that is not knowledge by someone and about something. The research objects that HPE research concerns itself with are almost always meaningful. Unlike medical science, for instance, we do not study chemical processes but human processes. We study relationships between objects and subjects. In our research project, the patient was the subject and we studied their relationship to the DO situation that they were in. Phenomenology treats subjects, objects, and the relationships between them as essential parts of phenomena without which we cannot understand them. These relationships are part of a phenomenological investigation instead of taking them for granted.

후설은 관계를 당연시하는 것을 자연적 태도, 즉 객관적 실재의 존재나 그 실재와의 관계에 대해 의문을 제기하지 않는 일상적 삶의 태도라고 불렀습니다.22 이는 또한 우리 외부에 우리가 속하지 않고도 조사할 수 있는 경험적 실재가 있다는 관점에서 연구를 수행하는 비현상학적 HPE 연구에서 우리가 취하는 태도입니다. 자연적 태도의 관점에서 보면 레지던트는 환자와 상담을 하고 슈퍼바이저는 관찰을 위해 '그냥 거기'에 있는 것입니다. 물론 이것이 이상적이라는 것은 알고 있지만, 수퍼바이저가 이 역할에 충실하고 '벽에 붙은 파리'가 될수록 관찰이 더 성공적으로 이루어질 수 있습니다.2 예를 들어 자연적 태도에서는 참여자와 인터뷰를 하고 코딩할 수 있습니다.
Husserl called this taking for granted of relationships the natural attitude: the attitude of everyday life in which we do not question the existence of an objective reality or our relationship to it.22 It is also the attitude we have in non-phenomenological HPE research, in which we conduct research from the perspective that there is an empirical reality outside of us that we can investigate without being part of it. From the perspective of the natural attitude, the resident has a consultation with a patient, and the supervisor is “just there” to observe. Of course we know this is an ideal, but the more the supervisor can conform to this role and be a “fly on the wall,” the more successful the observation will be.2 From the natural attitude, we could, for instance, hold interviews with the participants and code them.

그러나 현상학적 태도(자연적 태도에 괄호를 치는)에서 우리는 "직접 관찰"이라는 아이디어에 의문을 제기했습니다. 우리는 슈퍼바이저와 참석자 간의 관계가 어떤지 미리 알고 있다고 가정하지 않았습니다. 사실, 이것이 바로 우리가 조사하고자 했던 것이었습니다. 이 조사의 일환으로 저희는 환자들이 그 상황을 어떻게 경험했는지에 대해 인터뷰하고 싶었습니다. 그런 다음 이러한 인터뷰를 분석하면서 환자가 상황 전체에 대한 관계와 함께 동석한 다른 두 사람과의 관계를 어떻게 구성했는지에 초점을 맞추었습니다.
But from a phenomenological attitude (bracketing the natural attitude), we called the idea of “direct observation” into question. We did not assume that we knew beforehand what the relationship was between the supervisor and the other people present. In fact, this was precisely what we wanted to investigate. As part of this investigation, we wanted to interview patients about how they experienced the situation. In the analysis of these interviews, we then focused on how patients constructed their relationship to the situation as a whole and their relationship to the two other people that were present.

중요한 것은 자신이 알고 있는 것만 괄호로 묶을 수 있다는 것입니다. 현상에 대해 우리가 이미 가지고 있는 성향을 인식하는 것은 그것들을 한쪽에 배치하는 것만큼이나 중요합니다. 현상학에서 우리는 우리가 인식하는 대상에 우리의 관점, 판단, 가치관이 스며들어 있음을 인식합니다.3 우리가 보는 모든 것은 이미 세상에 대한 우리의 근본적인 태도에 의해 채색되어 있습니다. 그러나 자신의 근본적인 가정을 인식하는 것은 가장 어려운 철학적 관행 중 하나입니다.23 이는 연구 전후에 한 번만 성찰하는 것이 아니라 현상학적 연구 전반에 걸쳐 지속적으로 수행되는 관행입니다. 본 연구에서는 인터뷰를 진행하기 전에 두 명의 주요 연구자가 각각 DO 상황에서 환자가 되는 것에 대한 자신의 가정에 대한 에세이를 썼습니다. 그런 다음 이 에세이에 대해 서로 인터뷰했습니다. 이 세션은 녹음, 필사 및 분석되었으며, 이 과정은 두 연구자가 연구 기간 내내 작성한 반성적 일기의 시작이 되었습니다.
Importantly, one can only bracket what one is aware of. Becoming aware of the dispositions we already have toward the phenomenon is just as important as placing them to one side. In phenomenology, we recognize that the objects we are aware of are imbued with our perspective, our judgements, and our values.3 Anything we see is already colored by our fundamental attitude to the world. However, becoming aware of one’s own fundamental assumptions is one of the most challenging philosophical practices.23 It is an ongoing practice throughout phenomenological research, rather than a one-time reflection before or after the research. In our study, prior to conducting interviews the two main researchers each wrote an essay on their own assumptions about being the patient in a DO situation. They then interviewed each other about these essays. This session was recorded, transcribed, and analyzed, and this process served as the start of a reflexive diary that both researchers kept throughout the study.

연구자의 반성적 성찰은 모든 질적 접근 방법의 일부이지만, 일반적으로 연구자로서의 자신의 배경이 관점을 편향되게 만들었을 수 있는 방법을 찾기 위해 자신의 입장을 성찰하는 것으로 귀결됩니다. 그러나 괄호는 연구자가 가질 수 있는 의견(또는 기타 "편견")이 아니라 관계에 대한 가정(예: 이 경우 DO 상황에서 환자와 레지던트 및 감독자 간의 관계)과 DO에서 작동한다고 가정하는 기본 메커니즘에 대한 가정에 관한 것입니다. 
While researcher reflexivity is a part of all qualitative approaches, it usually comes down to reflecting on one’s own positionality to look for ways in which one’s own background as a researcher might have biased their perspective. However, bracketing is not so much about the opinions (or other “biases”) one might have, but on assumptions about the relationships, such as, in this case, for example, the relationship between the patient and the resident and supervisor in the DO situation, and about what underlying mechanisms one assumes are at work in DO.

현상을 그 자체로 설명하기
Describing phenomena on their own terms

세 번째 원칙으로, 현상학은 대부분의 연구 접근 방식에서 익숙한 방식, 즉 현상을 '파일화할 수 있는' 연구 대상으로 환원하고 주관적 경험의 고유성에서 추상화하는 것을 지양합니다이론은 '제3의 관점', 즉 내 것도 네 것도 아닌 일종의 비인격적 입장에서 세상을 설명합니다. 현상학에서 현상은 일차적인 것이며, 의학교육 연구에서 체계적으로 또는 일상에서 '비공식적으로' 사물을 분석하는 방식으로 현상을 이론화하고 분석하는 것은 이 일차적인 경험에 뿌리를 두고 있습니다. 현상학은 3인칭의 '외부' 관점에서 공식화된 범주가 아닌, 현상 자체의 관점에서 현상을 이해하는 것을 목표로 합니다.
As a third principle, phenomenology refrains from doing something that we are so used to in most approaches to research: reducing phenomena to research objects that become “fileable” entities and abstracting them from the uniqueness of subjective experience. Theory describes the world from a “third perspective,” a kind of impersonal position that is neither yours nor mine. In phenomenology, the phenomenon is primary, and theorizing and analyzing phenomena – whether systematically in medical education research, or in the way that we analyze things “informally” throughout our day – is rooted in this primary experience. Phenomenology aims to understand phenomena on their own terms rather than in terms of categories that have been formulated from a third-person, “outside” perspective.

환자 연구에서 우리는 구성주의적 근거 이론의 목표가 될 수 있는 심리적 또는 사회학적 과정에 대한 이론을 구축하는 측면에서 말한 내용을 이해하려고 노력하지 않았습니다. 대신, 우리는 사람들의 성찰 전 경험 사이의 공통점을 설명하고자 했습니다. 예를 들어, 일부 환자들은 레지던트와 수퍼바이저 간의 명확한 역할 분담이 수련 중에 위반되어서는 안 되는 중요성에 대해 보고했습니다. 그러나 역할 위반이 때때로 DO와 일치하는 것으로 취급된다는 징후도 발견했습니다. 또한 많은 환자들이 레지던트와 슈퍼바이저가 서로 조화를 이루는 것 같아서 즐거운 경험이었다고 강조했습니다. 
In our patient study, we were not striving for an understanding of what was said in terms of building theory on psychological or sociological processes as could, for instance, be the aim of constructivist grounded theory. Instead, we wanted to describe commonalities between people’s pre-reflective experiences. As an example, some patients reported on the importance of a clear role division between resident and supervisor that should not be breached during DO. But we also found indications that role breaching was sometimes treated as consistent with DO. Moreover, many patients emphasized that the experience had been pleasant because the resident and supervisor seemed in harmony with each other.

비현상학적 접근법이었다면, 우리는 이러한 결과를 통해 DO 상황에서의 역할 분담과 조화에 대한 이론을 유도했을 것입니다. 대신 우리는 이러한 환자들의 생각을 반복되는 경험의 사전 반성적 구조로 거슬러 올라갔습니다. 즉, 진료 상황에서 환자가 된다는 것은 두 명의 의사와 한 공간에 있는 것을 의미하며, 그들이 서로 어떻게 상호작용할지, 그리고 자신과 어떻게 상호작용할지 모른다는 것을 의미했습니다. 이는 차분하고 친근한 상호 작용에 대한 환자의 요구와 이를 보장하기 위한 환자의 수동적인 역할에 공감을 불러일으켰습니다. 
In a non-phenomenological approach, we might have induced from these findings a theory on role division and harmony in DO situations. Instead we traced these patients’ ideas back to a recurring pre-reflective structure of the experience: being the patient in a DO situation meant being in a room with two doctors, not knowing how they will interact with each other and with oneself. This resonated with patients’ needs for calm and friendly interactions, and their passive role in securing these.

경험에서 반복되는 패턴을 파악하기 위해 우리는 이 요소(상상적 변형)가 없어도 그 현상을 여전히 그 현상이라고 할 수 있는지에 대한 질문에 따라 안내를 받았습니다.7 예를 들어, 환자와 슈퍼바이저 사이의 눈맞춤에 대한 많은 코드가 있었기 때문에 경험의 필수 요소로 보였습니다. 그러나 우리는 이러한 아이컨택이 없어도 DO 상황에서 환자가 되는 것은 여전히 같은 현상이 될 것이라고 생각했습니다. 아이컨택은 DO에 필수적이지 않은 것 같았습니다. 환자가 공감하고 안심할 수 있는 두 번째, 더 선배 의사의 존재가 필수적인 것으로 보였고, 이 때 아이컨택이 중요한 역할을 하는 경우가 많았습니다.
To identify recurring patterns in the experience, we were guided by the question of whether the phenomenon would still be the phenomenon without this element (imaginative variation).7 We had, for example, many codes about eye contact between the patient and the supervisor, which therefore seemed an essential element of the experience. However, we reasoned that without this eye contact, being the patient in a DO situation would still be the same phenomenon. Eye contact did not seem essential for DO. What seemed essential was the presence of a second, more senior doctor that the patient could relate to and be reassured by, in which eye contact often played a role.

HPE 연구의 현상학적 관행
Phenomenological practices in HPE research

질적 연구에 대한 배경 지식이 있는 독자는 위에서 설명한 많은 원칙의 측면을 자신의 연구 방법에서 인식하고 현상학과 (다른 형태의) 질적 연구의 차이점이 무엇인지 궁금해할 수 있습니다. 실제로 현상학이 일반적으로 질적 연구와 즉시 구별되지 않는 경우가 많기 때문에 현상학이 무엇인지 파악하는 데 있어 HPE 연구자들이 겪는 어려움 중 하나가 바로 이것입니다. 
Readers with a background in qualitative research might recognize aspects of many of the principles discussed above in their own methods, and wonder what constitutes the difference between phenomenology and (other forms of) qualitative research. Indeed, this is one of the challenges for HPE researchers in grasping what phenomenology is: it is often not immediately distinguishable from qualitative research in general.

여기에는 역사적, 철학적 이유가 있습니다. 예를 들어, 사회 구성주의는 후설, 하이데거, 메를로퐁티와 같은 현상학자들을 배경으로 그리고 그들과의 대화를 통해 발전해 왔기 때문에 [현상학]을 [사회 구성주의적 접근 방식]과 대조하는 것은 오해의 소지가 있습니다. HPE 연구에 영향을 미친 사상가 중 한 명인 푸코(이 시리즈의 이전 연재 주제25)는 흔히 포스트 구조주의자로 분류되며 구성주의 및 구성주의와 관련이 있습니다. 그러나 푸코는 하이데거를 자신의 사고에 가장 중요한 영향을 준 사람 중 한 명으로 꼽았습니다.26 역사적 관점에서 보면 현대의 민족지학, 구성주의, 담론 분석 등은 모두 현상학이라는 역사적, 철학적 운동의 존재에 어느 정도 의존하고 있습니다. 따라서 현상학을 공부하면 종종 현상학과 대조되지만 실제로는 현상학에 의존하는 접근법을 더 잘 이해할 수 있습니다. 
There are historical and philosophical reasons for this. For instance, it is misleading to contrast phenomenology with social constructivist approaches, since social constructivism has been developed against the background of and in dialogue with phenomenologists like Husserl, Heidegger, and Merleau-Ponty. Foucault, one of the thinkers who has been influential in HPE research24 (and the subject of a previous installment in this series25), is often categorized as a post-structuralist and associated with constructivism and constructionism. However, Foucault listed Heidegger as one of the most important influences on his thinking.26 In historical terms, our modern versions of ethnography, constructivism, discourse analysis, and so on, are all to some extent dependent on the existence of the historical and philosophical movement of phenomenology. Studying phenomenology will therefore also lead to a better understanding of approaches that are often contrasted with it, but that actually depend on it.

[철학적 사유]란 [연구 수행에 대한 광범위한 접근 방식]과 [구체적인 연구 방법] 간의 관계에 관한 것입니다. 우리가 설명한 방식으로 자연스러운 태도를 괄호로 묶지 않고도, 자신의 해석적 틀의 관점이 아닌 자신의 용어로 문화 현상을 설명하기 위해 열린 자세로 민족지학에 현상학적 접근법을 취할 수 있는 것처럼, 비현상학적 방식으로 해석적 현상학적 분석(IPA)27을 적용할 수 있습니다. 현상학은 [과학에 대한 접근 방식]이지 [특정 과학적 방법]이 아닙니다. 현상학은 해답을 제공할 뿐만 아니라 구체적인 연구 수행과 관련된 특정 질문을 하도록 자극합니다. 
The philosophical reason concerns the relationship between broad approaches to conducting research and concrete research methods. Without bracketing the natural attitude in the way we have described, one can apply Interpretive Phenomenological Analysis (IPA)27 in a non-phenomenological way, just as one can take a phenomenological approach to ethnography with a deep commitment to being open to describe cultural phenomena on their own terms rather than from the perspective of one’s own interpretive frameworks. Phenomenology is an approach to science, and not a particular scientific method. Not only does it provide answers, it also stimulates asking certain questions related to the concrete practice of doing research.

모든 연구자, 특히 현상학적 관점에서 연구를 수행하고자 하는 연구자가 스스로에게 던져볼 수 있는 네 가지 질문이 있습니다:
There are four questions we suggest all researchers, but especially those committed to conducting research from a phenomenological perspective, could ask themselves:

  1. 내가 연구하고자 하는 현상에 대해 어떤 즉각적인 접근이 가능한가, 그리고 다양한 데이터 수집 방법이 접근에 어떤 영향을 미치는가? 예를 들어, 인터뷰를 통해 그 사람이 그 상황에 처했을 때 어땠는지 보다 직접적으로 접근할 수 있지만, 과거의 상황이기 때문에 항상 어느 정도 해석과 반영이 필요합니다. 상황의 비디오 녹화를 통해 각 참가자의 말과 행동 측면에서 상황이 어떤지 즉각적으로 알 수 있지만, 그들이 생각하거나 느끼는 것, 또는 의도가 무엇인지에 대해서는 알 수 없습니다.
    What immediate access do I have to the phenomenon I want to study, and what implications do different data collection methods have for access? For instance, through interviews I have a more direct access to what it was like for that person to be in that situation, but because the situation is in the past, there is always some extent of interpretation and reflection. Through video recordings of the situation I do have immediate access to what the situation is like in terms of what each participant says and does, but I do not have access to what they think or feel, or what their intentions are.
  2. 내 데이터를 통해 즉각적으로 접근할 수 있는 것이 무엇인지에 대한 질문과 관련하여, 연구에서 현상에 대해 알고 주장할 수 있는 것의 한계는 어디까지일까요? 연구를 수행한다는 것은 우리가 무엇을 연구하고 있는지, 우리가 연구하는 대상과 어떤 관계가 있는지, 그리고 그것에 대해 어떤 종류의 진술을 할 수 있는지 또는 할 수 없는지에 대해 정확하게 파악하는 것을 의미합니다. 예를 들어, '감정'이 아닌 '감정에 대해 인터뷰하는 사람들의 오디오 녹음'과 같은 데이터가 무엇인지, 그리고 이 연구 데이터를 통해 무엇을 말할 수 있는지 명확히 해야 합니다. 인터뷰 녹음에서는 '생각'을 관찰하는 것이 아니라 설명, 상호작용 등과 같은 사회적 행동을 관찰합니다. 따라서 우리는 "환자가 생각한다"라고 말하지 않고 "참가자가 그렇게 보고한다..."라고 말합니다. 
    Related to the question of what my data gives me immediate access to, what are the limits to what I can know and assert about the phenomenon in my research? To conduct research means to be precise about what we are studying, what our relation is to that which we are studying, and what kind of statements we can or cannot make about it. We have to be clear what our data is (for instance, “audio recordings of people being interviewed about emotions,” instead of “emotions”) and what this research data allows us to say. In recordings of interviews, we do not observe “thoughts,” but social actions such as descriptions, interactions, and so on. So, we do not say “patients think”, but "participants report that…".
  3. 내가 조사하는 상황에 대한 나의 자연적 태도는 무엇이며, 그 현상이 저절로 나에게 나타나기 위해서는 무엇이 필요할까요? 일반적인 연구(따라서 현상학적 연구 포함)와 관련된 성찰과는 달리, 이러한 유형의 성찰은 나의 문화적 배경과 가정이 (객관적인) 현상에 대한 나의 인식을 어떻게 편향시키는지에 관한 것이 아니라, 나와 인터뷰 대상자와의 관계 또는 인터뷰 대상자와 그들이 말하는 DO 상황의 관계와 같은 관계에 관한 가정에 관한 성찰입니다. "편향"이라는 용어는 주관적인 연구자가 관점을 가지고 있는 상황이 존재한다고 말하는 자연스러운 (객관주의적) 태도를 말합니다. 즉, 주관성은 가능한 한 비활성화해야 하는 필터로 간주됩니다. 그러나 현상학에서 주관성은 나쁜 것이거나 현상에 덧붙여진 것이 아니라 오히려 현상의 필수적인 부분이며 현상을 이해하기 위한 필수 요건입니다. 예를 들어, 담화 심리학28에서는 상황의 기록에서 눈에 보이고 들리는 것만 기술하도록 제한하고, 참여자가 수행해야 하는 제도적 역할이나 남성인지 여성인지와 같은 상호작용 외적인 범주에 대해서는 언급하지 않습니다. 물론 참여자 스스로가 이러한 범주를 관찰 가능하게 만들어 상호작용과 현상의 일부로 삼지 않는 한 말이죠.
    What is my natural attitude toward the situation I examine and what would it take for the phenomenon to show itself to me on its own terms? In contrast to reflexivity as it pertains to research in general (thus, including phenomenological research), this type of reflection is less about how my cultural background and assumptions would bias my perception of the (otherwise objective) phenomenon, but rather about assumptions regarding relationships, such as my relationship to the interviewee, or the relationship of the interviewee to the DO situation they are speaking about. The term “bias” refers to the natural (objectivist) attitude that says that there is a state of affairs out there that a subjective researcher has a perspective on. In other words, subjectivity is seen as a filter that we should disable as much as possible. Within phenomenology, however, subjectivity is not something bad or added on to phenomena, but rather it is an integral part of phenomena and a requirement to understand them. In Discursive Psychology,28 for instance, we confine ourselves to only describing what is visible and audible in the recordings of the situation, and refrain from referring to interaction-external categories such as the institutional role that a participant is expected to fulfill or whether they are male or female – unless, of course, the participants themselves observably make these categories part of the interaction and therefore of the phenomenon.
  4. 내 연구 장치가 내가 조사하는 현상에 어떤 영향을 미치나요? 이 질문에서 알 수 있듯이 연구 장치, 즉 내가 일하는 대학의 전체 구성, 라이브 인터뷰든 Zoom을 통한 인터뷰든, 인터뷰 코딩 방식, 논문 작성 방식은 현상에 대한 외부의 관점이 아니라 현상의 일부로 간주됩니다.29 연구도 다른 관행과 마찬가지로 관행입니다. 연구를 수행하는 사람들과 그들이 처한 상황에 따라 달라집니다. 이는 연구 장치를 중립적인 것으로 취급할 수 없음을 의미합니다. 여기에는 연구자의 업무 환경부터 방법론적 선택, 인터뷰 중 던지는 질문까지 모든 것이 포함됩니다. 연구자는 연구 외부에 있는 것이 아니라 연구에 '체화embodied'되어 있는, 즉 연구의 필수적인 부분입니다. 우리는 모든 연구 프로젝트에서 어떤 식으로든 이러한 인사이트를 정의롭게 구현해야 합니다. 이에 대한 한 가지 실질적인 의미는 데이터에서 분석이 "이루어졌다"는 인상이나 주제가 "나타났다"는 인상을 주지 않도록 능동태로 작성하는 것입니다.
    How does my research apparatus factor into the phenomenon I am investigating? As this question suggests, the research apparatus – the whole constellation of the university I work in, whether I interview live or via Zoom, the way I code the interviews, the way I write up the paper – is considered part of the phenomenon rather than an outside perspective on it.29 Research is a practice like other practices. It is contingent on the people who conduct it and the circumstances in which they conduct it. This means that we can never treat the research apparatus as neutral. It includes everything from one’s work environment to methodological choices and questions asked during an interview. The researcher is not outside the research, but is “embodied,” i.e., an integral part of it. We have to do justice to this insight in some way in every research project. One practical implication of this is to write in the active voice, so as not to give the impression that an analysis “was made” and themes “have emerged” from the data.

터널 끝의 마법
Magic at the end of the tunnel

지난 2년 동안 이 터널을 파면서 크리스인 제가 배운 것은 무엇일까요? 무엇보다도 현상학은 방법이 아니라 과학에 대한 접근 방식이라는 점입니다. 그리고 그것은 자연스러운 태도를 중단하고 근본적으로 다른 방식으로 바라볼 것을 요구합니다. 
What have I, Chris, learned while digging this tunnel over the last two years? First and foremost, that phenomenology is not a method but an approach to science. And that it calls for a radically different way of looking, suspending the natural attitude.

둘째, 실용적인 연구자로서 저는 이제 현상학적 인터뷰 연구에서 어떤 종류의 결과를 찾고 있는지, 그리고 이것이 인터뷰 데이터를 사용하는 다른 접근 방식의 결과와 어떻게 다른지 알게 되었습니다. 우리는 사람들의 [생각, 감정, 의견 그 자체]에 관심이 있는 것이 아니라 이러한 생각, 감정, 의견의 근간이 되는 반복적인 경험 구조에 관심이 있다는 것을요. 제가 보기에 현상학적 마술은 데이터의 소위 "이데아적 환원"8,30에 있으며, 데이터를 이러한 반복적인 경험 구조에 대해 드러내는 것으로 되돌려 놓는 데 있습니다. 제가 생각하는 마법은 수많은 설명을 현상의 의미 있는 소수의 특성으로 구조화하는 결과의 단순성에 있습니다. 이렇게 관리 가능한 수의 특성을 고려하면 지속적인 문제를 해결하는 데 도움이 될 수 있다는 실용적인 관련성이 있습니다. 
Second, as a practical researcher, I now know what kind of results I am looking for in a phenomenological interview study, and how these differ from results of other approaches that make use of interview data: we are not interested in people’s thoughts, feelings, or opinions per se, but rather in the recurring structures of experience that underlie these ideas, opinions, and feelings. To me, that is the phenomenological magic: it is in the so-called “eidetic reduction8,30 of data, in bringing the data back to what it reveals about these recurring structures of experience. The magic, to me, is in the simplicity of its results that structure numerous accounts into a small number of meaningful characteristics of the phenomenon. The practical relevance of this is that taking this manageable number of characteristics into account may help resolve persistent problems.

이를 설명하기 위해 마지막으로 한 가지 예를 들자면, 일반과 레지던트 시절의 진료 상황에 대한 환자들의 경험을 조사한 결과, 환자들은 후배와 선배라는 두 명의 의사가 있는 상황을 경험했습니다. 이 단순하고 반복적인 구조는 선배에 대한 환자의 모든 종류의 생각과 행동에 영향을 미쳤습니다.1 예를 들어, 환자들은 종종 치료 계획에 대한 선배의 승인 표시를 찾았습니다. 이 연구 결과를 통해 우리는 수퍼바이저가 DO를 진행하는 동안 수퍼바이저가 관찰하고자 하는 상황을 완전히 바꾸어 버리는 즉흥적인 접근 방식의 적절성에 의문을 갖게 되었습니다. 자명하지만 종종 간과되는 이 발견은 이러한 상황에서 우리가 가장 잘 행동할 수 있는 방법과 학습 및 평가 목적에 가장 잘 사용하는 방법에 영향을 미칠 수 있습니다. 
To give one last example to illustrate this, in our investigation of patients’ experiences with DO situations in general practice residency, patients experienced the presence of two doctors, a junior and a senior. This simple, recurring structure was responsible for all kinds of thoughts and behaviors of patients toward the senior.1 For instance, patients often looked for signs of approval from the senior of the treatment plan. This finding made us question the appropriateness of a fly-on-the-wall approach by supervisors during DO; supervisors, by being there, completely change the situation that they intend to observe. This self-evident but often overlooked finding may have consequences for how we can best behave in these situations and how best to use them for purposes of learning and assessment.

결론
Conclusion

현상학적 관점에서 HPE 연구를 수행하는 것은 복잡하지만 가치 있는 일입니다. 그 복잡성은 기술적 고려 사항 때문이 아니라 많은 연구자, 특히 의과학 배경을 가진 연구자에게 익숙한 것과는 다른 기본 태도를 습득해야 하기 때문입니다. 이를 위해 HPE 연구원들은 일상적인 연구 관행을 뒷받침하는 몇 가지 철학적 "편견"31에 대해 한 발 물러서서 숙고하는 노력을 기울여야 합니다. 현상학이 취하는 근본적으로 다른 접근 방식에 대한 기본적인 개념이 없다면, 현상학적 '방법'은 이름만 현상학적인 것일 수 있습니다. 
Conducting HPE research from a phenomenological perspective is complex but valuable. Its complexity is not due to technical considerations, but to acquiring a basic attitude that is different from what many researchers, especially those with a medical science background, are used to. To achieve this, HPE researchers must make the effort to step back and contemplate some of the philosophical “biases”31 that underpin our daily research practice. Without some basic idea of the fundamentally different approach that phenomenology takes, phenomenological “methods” may be phenomenological in name only.

현상학은 HPE에서 주제를 조사하기 위한 논리적 출발점입니다. 현상학은 연구를 시작하기 전부터 현상을 어느 정도 파악하고 있느냐에 따라 연구가 제한됩니다. 의학교육의 대부분의 연구는 연구 대상을 정의하는 것에서 시작됩니다. 이는 종종 연구 대상에 대한 정의를 제공하는 것으로 이루어집니다. 예를 들어, "성찰은 메타인지적 과정으로...". 현상학의 관점에서 볼 때, 이것은 연구 대상을 해당 현상에 대한 가정을 전제로 하는 특정 해석 프레임워크로 미리 축소하는 환원주의입니다. 해석적 틀에 맞지 않는 것은 전혀 고려되지 않거나 연구와 무관한 것으로 무시됩니다. 현상학자들은 연구의 목표가 현상을 이해하는 것이라면, 현상이 무엇인지 이미 알고 있다고 주장하지 말고 현상 그 자체로 드러나도록 내버려 두어 현상이 무엇인지 이해하려는 노력부터 시작해야 한다고 반박합니다. 현상학자는 해석의 틀을 괄호로 묶고 현상에 대해 "초보자의 마음"32을 가정합니다. 현상학적 분석 과정에서 성찰과 같은 현상은 성찰이 특정 결과로 이어져야 하는 인지적 렌즈, 감정의 렌즈, 교육적 렌즈 등을 통해 더 깊이 이해할 수 있다는 것이 분명해질 수 있습니다. 연구 대상을 그 자체로 이해하려는 초기 시도는 환자 중심성, 학생 중심성, 맥락 민감성을 추구하는 HPE 연구의 야망과 밀접하게 맞닿아 있습니다. HPE 연구에서 우리는 우리의 맥락이 아닌 그들의 맥락에서 현상을 이해하고자 합니다. 

Phenomenology is a logical start for investigating topics in HPE. Research is limited in advance by the degree to which it has apprehended the phenomenon even before the research starts. Most research in medical education starts with delineating the research object. Often, this is done by providing a definition of the research object. For instance, “reflection is a metacognitive process that…”. From the perspective of phenomenology, this is reductionism: reducing the research object in advance to a specific interpretive framework that makes assumptions about the phenomenon in question. Anything that does not fit the interpretive framework is not seen at all or is dismissed as irrelevant to the research. Phenomenologists counter that, if the goal of our research is to understand a phenomenon, then we should start with trying to understand what the phenomenon is by letting it show itself on its own terms, instead of claiming to already know what it is. A phenomenologist brackets interpretive frameworks and assumes a “beginner’s mind”32 to the phenomenon. In the course of the phenomenological analysis it may become clear that a phenomenon like reflection can be further understood through the lens of cognition, the lens of emotion, the educational lens in which reflection should lead to a specific result, and so on. The initial attempt to understand a research object on its own terms fits closely with the ambition of HPE research to do justice to patient-centeredness, student-centeredness, and context sensitivity. In HPE research, we want to understand phenomena in their context, not ours.

 


 

 

Teach Learn Med. 2022 Jan-Mar;34(1):113-121. doi: 10.1080/10401334.2021.1971989. Epub 2021 Sep 29.

 

 

Phenomenological Research in Health Professions Education: Tunneling from Both Ends

Affiliations collapse

Affiliations

1Department of General Practice/Family Medicine, Amsterdam University Medical Centers, Amsterdam, The Netherlands.

2Department of General Practice, Erasmus Medical Center, Rotterdam, The Netherlands.

PMID: 34586929

DOI: 10.1080/10401334.2021.1971989

Abstract

Issue: The term "phenomenology" is increasingly being used in Health Professions Education research. Phenomenology refers to a philosophical tradition or discipline. For researchers in Health Professions Education without a philosophical or humanities background, there are two practical problems. The first is that it is not always clear how studies that call themselves "phenomenological" are distinct from studies that use other methods; phenomenology as a label seems to be used for any study that is interested in the experiences of participants. The second problem is that a more in-depth study of phenomenology in the literature yields either abstract definitions such as "examining the underlying structures of consciousness," or contrasting translations of phenomenology to concrete research tools. What would phenomenology in medical education research look like that is both true to its philosophical roots and yields research findings that contribute to the quality of medical education? Evidence: Two medical education researchers, one with a medical background and the other with a philosophy background, engaged in a dialogue with the purpose of formulating an approach for phenomenology in medical education research. The first departed from the practical demands of his research project in which phenomenology was suggested as a methodology, but guidance was lacking. The other departed from the philosophical tradition of phenomenology with the purpose of exploring how phenomenological insights can be valuable for medical education research. The paper presents these journeys and the results of this dialogue where they formulate starting points for an approach to conducting HPE research that has scientific phenomenological integrity and yields practical results. Implications: Phenomenology has been one of the defining developments in philosophy and the humanities in the 20th century. A basic grasp of its insights is useful for medical education researchers since any research today takes place in the light of these insights. Within medical education, there are certain types of phenomena, research questions, and research goals that call for an explicitly phenomenological approach. Rather than prescribing specific methods or methodologies, phenomenology offers signposts for how to think about the relationship between our research object, methods, and data, and our own role as researchers. We suggest that researchers in HPE, when reporting a phenomenological study, instead of claiming to have followed a certain phenomenological method, explain how their research question, methods, and results fit the purposes and standards of phenomenology. We illustrate this with an example of how to use phenomenology in an interview study.

Keywords: Phenomenology; interview study; philosophy of science; qualitative research.

 

의학교육에서 우리의 인종적 과거를 다루기: 푸코적 관점(Teach Learn Med. 2021)
Contending with Our Racial Past in Medical Education: A Foucauldian Perspective
Zareen Zaidia , Ian M. Partmanb, Cynthia R. Whiteheadc, Ayelet Kuperd, and Tasha R. Wyatte

 

"의학이, 그리고 이를 통해 정부가 시민을 바라봐야 하는 자유로운 시선이 어떻게 지식의 난해함과 사회적 특권의 경직성에 얽매이지 않고 유능한 역량을 갖출 수 있을까요?" - 미셸 푸코, 클리닉의 탄생
“How can the free gaze that medicine, and, through it, the government, must turn upon the citizens be equipped and competent without being embroiled in the esotericism of knowledge and the rigidity of social privilege?” – Michel Foucault, The Birth Of The Clinic

미국 사회와 기관의 구조에 깊이 뿌리내린 체계적이고 구조적인 인종차별에 대한 국가적 논의가 계속되는 가운데, 교육 기관, 특히 대학이 스스로의 인종차별적 역사, 관행, 편견을 인식하고 이를 완화하기 위한 전략을 개발해야 한다는 압력이 커지고 있습니다. 이러한 압력과 함께 의학 및 의학교육을 포함한 교육기관 내에서 인종 불평등을 논의하거나 줄이기 위해 사용되는 기존의 방법이 불충분하거나 경우에 따라서는 문제가 있다는 인식이 증가하고 있습니다. 1 이러한 기관들은 어떻게 그리고 왜 제도적 구조 내에서 조직적인 인종차별을 피상적으로만 다루고 있을까요? 의학교육과 그 기관이 이러한 실패를 완화하고 궁극적으로 바로잡는 데 방해가 되는 것은 무엇일까요? 
Amidst ongoing national conversations about the systemic and structural racism deeply embedded in the fabric of American society and institutions, there is growing pressure for educational institutions – in particular, colleges and universities – to reckon with their own racist histories, practices, and biases and develop strategies for mitigation. With this pressure comes increasing recognition that preexisting methods employed to discuss or decrease racial inequality within institutions, including medicine and medical education, are insufficient or, in some instances, problematic. 1 How and why do these institutions only superficially address systemic racism within their institutional architectures? What is preventing medical education and their institutions from mitigating and ultimately rectifying these failures?

이 초청 글에서 우리는 이러한 실패가 중립적이지도 우연적이지도 않으며, 특정 개인에게 다른 개인보다 특권을 부여하는 깊숙이 자리 잡은 체계적 위계질서의 직접적인 결과라고 주장합니다. 우리는 다음과 같은 두 가지 질문을 제기합니다:

  • (1) 이러한 위계를 어떻게 이해할 수 있는지,
  • (2) 프랑스 이론가 미셸 푸코의 이론을 바탕으로 의학교육에서 체계적인 인종 차별을 해체하기 위한 단계를 어떻게 식별할 수 있는지.

의학교육의 인종 정치 분석에 대한 이러한 푸코적 접근 방식을 통해 우리는 실질적이고 실행 가능한 해결책으로 이어지는 이론 중심의 해답을 제시할 수 있습니다. 
In this invited article, we argue that these failures are neither neutral nor accidental, but the direct result of a deeply entrenched systematic hierarchy that privileges specific individuals over others. We take up the dual questions of:

  • (a) how we can understand this hierarchy and
  • (b) how we can identify steps to dismantle systemic racism in medical education drawing upon the theoretical work of French theorist Michel Foucault.

This Foucauldian approach to the analysis of the racial politics of medical education enables us to propose theory-driven answers to our questions that lead to practical, actionable solutions.

왜 푸코인가?
Why Foucault?

미셸 푸코는 의학과 의학교육에 대해 잘 알려져 있지만, 그의 연구는 의료 사회학 및 인류학과 같은 다른 분야에서 더 잘 알려져 있습니다. 2 이론가로서 푸코는 받아들여지는 지식의 형태, 과학적 이해, 무엇이 진리로 간주되는지를 통해 권력이 어떻게 구성되는지 이해하는 데 관심이 있습니다. 특히 교육과 의료와 같은 '돕는' 직업이 고객의 요구에 부응하기 위해 어떻게 권력을 행사하는지에 대해 관심을 갖고 있습니다. 특히 푸코는 전문가가 새로운 지식을 창출하고 이를 실제로 사용할 때 개인이 자신을 보는 방식, 타인과의 관계, 자신이 살고 있는 현실에 어떤 영향을 미치는지 살펴봅니다. 푸코의 사상은 현재 우리 의료계가 환자와 수련의 모두에게 영향을 미치는 인종차별, 즉 우리 직업에 뿌리 깊게 자리 잡은 조직적 인종차별을 어떻게 다룰지 고민하고 있는 상황에서 특히 적절합니다. 
Michel Foucault is no stranger to medicine and medical education, yet his work has perhaps greater visibility in other disciplines, such as medical sociology and anthropology. 2 As a theorist, Foucault is interested in understanding how power is constituted through accepted forms of knowledge, scientific understanding, and what is considered truth. Of particular concern is how “helping” professions, such as education and medicine exercise power in an attempt to serve their clients’ needs. Specifically, Foucault examines how, when professionals create new knowledge and use it in practice, they affect how individuals view themselves, their relationship to others, and the reality in which they live. Foucault’s ideas are particularly relevant now as our field grapples with how to address the deep-seated systemic racism in our profession; racism that affects both patients and trainees.

주체의 만들기
The making of a subject

권력과 지식의 관계에 대한 푸코의 탐구는 그의 학문적 작업의 중심이었습니다. 그러나 그는 자신의 목표가 권력 그 자체에 대한 연구가 아니라 인간이 주제로 만들어지는 방식에 대한 연구라는 점을 분명히 했습니다. 2 주제대상화 과정을 통해 만들어집니다. 푸코는 그의 저서에서 개인이 "권력의 효과"에 의해 행동하고 영향을 받는 대상화의 세 가지 방식 또는 기법을 설명합니다. 3 (375쪽) 이러한 대상화 과정은 개인과 집단을 다른 사람들의 조직적, 기능적 요구에 부응하기 위해 명명되고, 분류되고, 재분류되는 대상으로 재구성합니다. 
Foucault’s exploration of the relationship between power and knowledge was central to his academic work. He was clear, however, that his goal was not the study of power itself, but of the ways that humans are made into subjects that interested him most. 2 Subjects are created through a process of objectification. In his work, Foucault describes three different modes or techniques, of objectification in which individuals are acted upon and influenced by an “effect of power.” 3 (p.375) This objectification process recasts individuals and groups as objects where they are named, sorted, and reclassified to serve the organizational and functional needs of others.

첫 번째 기법은 '탐구 방식' 또는 지식을 생성하고 체계화하는 방법을 다룹니다. 4 (777쪽) 의학의 탐구 방식은 주로 생물 의학적인 것으로, 의사는 심리적, 환경적, 사회적 영향을 배제하고 질병에 대한 생물학적 요인과 설명에 초점을 맞춥니다. 따라서 의학교육은 교육 커리큘럼을 생물의학에 맞추고, 환자 치료에 대한 이러한 접근 방식을 강화하는 실무에서 의사를 교육하는 것과 관련된 문제에 관심을 갖고 있습니다. 
The first technique deals with “modes of inquiry” or ways of creating and codifying knowledge. 4 (p.777) Medicine’s mode of inquiry has primarily been biomedical, in which physicians focus on biological factors and explanations for disease to the exclusion of psychological, environmental, and social influences. As such, medical education is concerned with issues related to aligning their training curriculum with biomedical sciences, and then training physicians in practices that reinforce this approach to patient care.

이러한 생물의학적 접근 방식은 의사가 환자와 질병을 보는 방식에 광범위한 영향을 미쳤으며, 다른 형태의 지식을 주변부로 밀어냈습니다. 전 세계 다른 곳의 의사들은 북미를 지배하는 생의학적 접근 방식 외에도 건강에 대해 생각하고, 인체 내 치유를 지원하며, 질병을 치료하는 다양한 방법을 사용합니다. 5 학문과 전문직 내에서 이러한 탐구 방식은 대상화의 수단으로 면밀히 검토되는 경우는 드물지만, 지식이 생성되고 주제를 보는 방식을 형성하는 과정입니다. 의학에서는 환자를 보는 방식과 의사를 교육하는 방식에 영향을 미쳤습니다. 
This biomedical approach has had far reaching consequences for how physicians see patients and their diseases and has pushed other forms of knowing to the periphery. Elsewhere in the world, physicians use different ways of knowing, thinking about health, supporting healing within human bodies, and treating disease beyond just the biomedical approach that dominates North America. 5 Such modes of inquiry within disciplines and professions are rarely scrutinized as a means of objectification, yet they are the process by which knowledge is created and shapes the way we see subjects. In medicine, this has had consequences for how we see patients and the way we train physicians.

두 번째 기법은 사람들을 분류하고 그룹화한 다음 그 분류와 그룹에 따라 다른 사람들과 분리하는 과정인 '분할 관행'을 통해 발생합니다. 푸코의 관점에서 볼 때, 과소 대표 소수자(URM)라는 용어 자체에는 인종 차별적 대상화 프로젝트가 내포되어 있습니다. 의학교육에서 URM이라는 범주는 이제 직업 내에서 보호받는 인종 그룹(예: 흑인, 라틴계, 원주민)을 나타내는 데 보편적으로 사용되며, 이러한 그룹 간에는 중요한 차이가 있음에도 불구하고 이 용어가 사용되고 있습니다. 이 문구는 주로 미국의 제도적, 학문적 언어에서 비백인 학생을 설명할 때 사용되지만, 이러한 커뮤니티의 많은 사람들은 이러한 방식으로 스스로를 식별하지 않습니다. 흑인 의대생의 경험은 히스패닉계 학생의 경험과 크게 다르기 때문에 이러한 분류에 의해 그 차이가 사라지기 때문입니다. 두 학생 모두 소수자이자 비백인이라는 신분적 특성으로 인해 예속의 형태를 경험하지만, 그러한 예속의 경험은 억압의 다양한 역사적, 사회적 맥락에 따라 달라집니다
The second technique occurs through “dividing practices,” which is the process by which people are labeled, grouped, and then separated from others in accordance with that labeling and grouping. From a Foucauldian perspective, the very term, underrepresented minorities (URM) is steeped in a project of racist objectification. In medical education, the category of URM is now ubiquitously used to represent protected racial groups within the profession (e.g., Black, Latinx, Indigenous) even though there are important differences between these groups. The phrase appears mostly in American institutional, academic language to describe nonwhite students, however, many of these communities do not self-identify in this way. This is because the experience of a Black medical student is vastly different from that of a Hispanic student, differences that are washed away by this grouping. Even though both students experience forms of subjugation by nature of their underrepresented and nonwhite status, their experience of such subjugation is contingent on the different historical and social contexts of their oppression.

따라서 '분할 관행'의 문제는 그것이 사용되는 것 자체가 아니라 그 사용 방법과 이유에 있습니다. 특정 정체성과 개인에 대한 역사적 과소대표를 통해 다양성과 포용의 틀을 짜려는 열망이 좋은 의도를 가지고 있더라도, 이러한 열망의 결과가 정작 혜택을 받아야 할 사람들에게는 부정적일 수 있음을 우리는 URM이라는 용어의 반복을 통해 알 수 있습니다. URM의 프레임워크는 의료기관 내 대표성에 대한 보다 강력한 설명을 허용하기보다는 교차성과 관련된 중첩된 차별 체계에 대한 관심 없이 소수자라는 용어를 일반화함으로써 분할 관행을 성문화하고, 결과적으로 집단적 예속의 역사적으로 특정한 성격을 지워버립니다. 분할 관행은 개인을 대상화하여 다른 사람들이 생각하고 행동할 수 있는 주제가 되게 하는 방법 중 하나로, 우리의 제도적 정책, 관행, 담론에 깊이 내재되어 있는 기법입니다. 결국 이러한 용어를 사용하는 것은 권력 관계를 유지하고 기존의 사회적 위계를 정당화합니다. 관행을 구분하는 것은 선택적 포용과 배제의 미덕을 통해 규범이 어떻게 성문화되는지를 밝히는 데 도움이 됩니다. 

The problem with “dividing practices,” then, is not so much that they are used, but how and why. We see – in the very iteration of the term URM – that even when the aspiration to frame diversity and inclusion efforts through historical underrepresentation of certain identities and individuals is well-intended, the consequences of these aspirations can be negative precisely for those whom they are supposed to benefit. Rather than allow for more robust accounts of representation within medical institutions, the framework of URM codifies dividing practices by generalizing the term to minorities without attention to overlapping systems of discrimination associated with intersectionality and, subsequently, erasing the very historically specific nature of their collective subjugations. Dividing practices is one of the ways that individuals are objectified and then become subjects for others to think about and act upon, a technique that is deeply embedded in our institutional policies, practices, and discourses. In turn, using these terms maintains power relations and legitimatizes preexisting social hierarchies. Dividing practices help to illuminate how norms are codified through the virtue of selective inclusion and exclusion.

세 번째 기법은 인종, 계급, 섹슈얼리티, 성별 등 특정 범주의 존재를 '주체화'하여 특정 인간 집단이 주체가 되는 과정입니다. 여기서 사람은 자신의 정체성의 일부로 자신의 라벨을 받아들입니다. 예를 들어, 다른 사람에 의해 URM으로 분류된 사람들은 자신을 URM 그룹의 일부로 식별하기 시작합니다. 주체가 자신에게 주어진 정체성을 형성하고 연관시키는 이러한 대상화 방식은 제도 내에서 권력 관계를 성공적으로 유지하는 데 가장 중요한 역할을 합니다. 예를 들어, URM이라는 문구에는 개인의 정체성과 그 정체성이 기관의 권력 매트릭스 내에서 어떻게 배치되는지에 대한 가정이 내재되어 있습니다. 이는 여러 가지 의문을 제기합니다: 누가 대표성을 갖는 것으로 간주되고 누가 과소 대표성을 갖는 것으로 간주되는가? 대표성과 과소 대표성의 기준은 무엇인가요? URM이라는 문구는 대표성에 대한 결정을 누가 어떤 조건으로 내리는지에 대한 질문도 떠올리게 합니다. 동일시는 주체가 외부의 관점에서 자신을 생각하는 방법을 배우는 데 영향을 미치며, 이는 다시 이러한 라벨의 내면화에 영향을 미칩니다.
The third technique is the process by which specific groups of human beings become subjects through “subjectification” with certain categories of being, such as race, class, sexuality, or gender. Here, a person takes up their label as part of their identity. For example, those labeled by others as URMs begin to identify themselves as part of the URM group. This mode of objectification, by which subjects form and associate themselves with identities that were handed to them is paramount to the success of maintaining power relationships within institutions. For example, embedded in the phrase URM is an assumption about the person’s identity and how that identity is placed within the matrices of power in an institution. It raises questions around: Who counts as represented and who counts as underrepresented? What are the thresholds for representation and underrepresentation? The phrase URM also conjures questions of who makes the decision about representation, and under what terms. Identification affects how subjects learn to think of themselves from an outside perspective, which in turn affects their internalization of these labels.

이러한 객관화 기술에 대한 푸코의 이해는 누가 주체로 간주되는지, 주체가 제도적 풍경을 어떻게 탐색하는지와 같은 더 깊은 질문을 제기합니다. 의학교육에 적용하면 푸코의 연구는 다음과 같은 다른 질문을 제기합니다: 

  • 의학교육에서 누가 주체가 될 수 있는가?
  • 어떤 주체가 지식에 대한 권위를 갖는가?
  • 그 권위는 권력과 어떻게 연결되어 있으며, 주체가 될 수 없는 사람들에게 이 권력이 미치는 영향은 무엇인가?
  • 마지막으로, 교육기관 내에서 주체는 어떻게 계속 대상화되고 있을까요?
  • 그리고 아마도 가장 중요한 것은 이러한 객관화 과정을 성문화하는 제도 내에서 이러한 객관화 과정에 어떻게 이의를 제기하고 도전할 수 있을까요?

Foucault’s understanding of these techniques of objectification raise deeper questions such as who counts as a subject and how do they navigate institutional landscapes. Applied to medical education, Foucault’s work raises other questions, such as:

  • Who gets to be a subject within medical education?
  • Which subjects have authority over knowledge?
  • How is that authority linked to power, and what is the effect of this power on those who cannot become subjects?
  • And finally, how do subjects continue to be objectified within our institutions?
  • And perhaps, most importantly, how might these processes of objectification be contested and challenged within the institutions that befit and codify them.

의학교육의 정상화
Normalization in medical education

정상화란 사회적으로 구성된 어떤 것이 정상으로 간주되는 과정을 말합니다. 이는 사람을 측정하는 과학에 의해 만들어진 기준일 수 있습니다(예: 제정신인 사람 또는 법을 준수하는 시민은 "정상" 사람). 그러나 "정상"이라는 개념은 비정상적인 존재(예: 광인 또는 범죄자)의 존재를 의미하기도 합니다. 6 즉, 일탈이라는 개념은 규범이 존재하는 곳에서만 가능합니다. 푸코에게 규범은 "정상" 범주에 부합하지 않는 사람들을 배제하기 때문에 우리를 평가하고 통제하는 데 끊임없이 사용되는 대상화의 기술입니다. 따라서 정상화 과정은 피할 수 없지만 현대 사회에서 교묘하게 해로운 특징입니다.
Normalization is the process whereby something that is socially constructed comes to be considered normal. This could be a standard created by science against which people are measured (e.g., the sane man or the law-abiding citizen are "normal" people). But the idea of "normal" also implies the existence of the abnormal (i.e., the madman or the criminal). 6 In other words, an idea of deviance is possible only where norms exist. For Foucault, norms are techniques of objectification that are constantly used to evaluate and control us because they exclude those who cannot conform to "normal" categories. As such, the process of normalization is unavoidable, but an insidiously harmful feature of modern society.

정상화는 행동, 신념, 관행을 강화하여 특정 형태의 지식을 정당화하고 특정 종류의 주체를 만들어내는 데 사용됩니다. 정상화의 과정은 푸코의 다른 권력 개념과 불가분의 관계에 있습니다. 정상과 비정상을 규정함으로써 감시 시스템에서 규범을 벗어난 방식으로 행동하는 사람들을 자격을 부여하고 분류하고 처벌할 수 있게 됩니다. 6 결국 이 시스템은 주체를 형성하고 표준화된 존재 방식과 사고 방식에 참여하도록 강요합니다. 
Normalization is employed by reinforcing behaviors, beliefs, and practices, which legitimatize certain forms of knowledge, and the creation of certain kinds of subjects. The process of normalization is inextricably linked to Foucault’s other ideas of power. By establishing what is normal and abnormal, it makes it possible to qualify, classify, and punish those who behave in ways outside the norm in a system of surveillance. 6 In turn, this system shapes subjects and coerces them into engaging in standardized ways of being and thinking.

정상화 과정은 표준화된 교육, 의료 전문직 조직, 교육 병원과 같이 건강에 대한 일반적인 규범을 지속적으로 영속화하는 시스템의 도입에 존재합니다. 

  • 예를 들어, 의학교육에서 전문직 정체성 형성(PIF) 문헌은 백인 남성이 지지하는 전문직 정체성과 일치하는 특정 유형의 의사 이미지를 강화하는 데 도움이 되는 방식으로 연구를 구성한 연구로 가득 차 있습니다. 7 이와는 대조적으로 유색인종 의사의 PIF 경험을 조사한 연구는 단 한 건에 불과하며, PIF를 연구하는 데 사용되는 비판적 입장은 거의 부재했습니다. 8 의사가 된다는 것이 무엇을 의미하는지에 대한 이러한 협소한 구성은 규범 관행에 영향을 미치며 흑인/아프리카계 미국인 의사가 자신을 보는 방식과 상충됩니다. 8 

The process of normalization exists in the introduction of standardized education, the organization of the medical profession, and systems that continue to perpetuate general norms of health, such as teaching hospitals.

  • For example, in medical education, the professional identity formation (PIF) literature is replete with studies that have framed research in ways that help to reinforce the image of a certain kind of physician, one that has a professional identity that is in line with those espoused by white men. 7 In contrast there is only one study that explores experiences of PIF in URM physicians and there was an almost complete absence of critical stances used to study PIF. 8 This narrow construction of what it means to be a physician influences norming practices, and conflicts with the ways in which Black/African American physicians see themselves. 8

어느 기관에서나 특정 주체의 직위를 승인하고 정상화하기 위한 근거로 지배적인 관점과 아이디어가 존재합니다. 이러한 관점은 "규범"과의 관계에 따라 일부에게는 진입을 허용하고 다른 사람들에게는 진입을 거부하는 근거가 됩니다. 따라서 정상화는 기존의 지배와 억압의 현장을 강화하는 데 사용됩니다. 7 이를 위해 정상화는 현대 미국 사회를 조직하는 백인 우월주의 규범을 유지하고, 만들고, 형성하는 데 중심적인 역할을 하는 것으로 볼 수 있습니다. 9

  • 다른 예로는 백인 학생들이 의학에 내재된 다양한 의미를 말하고 접근하는 방식이 있습니다. 10 의학적 맥락에서 언어 사용의 미묘한 의미 변화를 이해하면 백인 학습자는 의학 언어를 접하지 못한 소수계 학습자가 이용할 수 없는 방식으로 의학 커뮤니티에 참여할 수 있기 때문에 유리한 위치에 서게 됩니다. 

Within any institution, dominant perspectives and ideas exist as the basis for authorizing and normalizing certain subject positions. These perspectives become the basis for granting entry to some and denying entry to others based on their relationship to the “norm.” Normalization is thus used to reinforce preexisting sites of domination and oppression. 7 

  • To this end, normalization can be seen as playing a central role in upholding, creating, and shaping the white supremacist norms that organize contemporary American society. 9 
  • Other examples include the ways of speaking and accessing the multiple meanings embedded in medicine that white students bring to the profession. 10 Understanding subtle meaning shifts in language use within a medical context puts white learners at an advantage because it helps them join the medical community in ways that are not available for minoritized learners who have not had access to the language of medicine.

의학교육에서 규범화 과정은 일부 의대생에게 멘토로부터 더 나은 의대생 성과 평가서(MSPE)11를 받을 수 있는 기술을 갖추게 하고, 알파 오메가 알파 명예 의사회(AOA)에 선발될 가능성을 높이는 기타 기술을 갖추게 함으로써 혜택을 줍니다. 12 , 13 이러한 리소스는 학습자가 명망 있는 수련의 자리를 확보할 가능성을 높여줄 뿐만 아니라,14 학습자의 경력에 더 큰 영향을 미칠 수도 있습니다. 예를 들어, 백인 학습자는 의학의 언어와 프레임워크에 접근할 수 있기 때문에 소수 민족보다 첫 번째 R01 연구 보조금을 확보할 가능성이 더 높습니다. 15 이는 학습자가 사전에 수준 높은 예비 교육, 이전 업무 경험 및 기타 특권 양식을 이용할 수 있는 경우 내부자 지위를 얻는 것이 훨씬 더 쉽기 때문입니다. 16 종종 인식하지 못하는 것은 개인이 자신의 가치, 신념, 관행을 중심으로 조정된 사회에서 성장하면 그 사회의 거의 모든 곳에서 유리한 위치에 놓이게 된다는 사실입니다. 
In medical education, the process of normativity also benefits some medical students by equipping them with the skills that result in better Medical Student Performance Evaluation letters (MSPE) 11 from mentors, and other skills that increase their likelihood of selection for the Alpha Omega Alpha Honor Medical Society (AOA). 12 , 13 These resources increase learners’ likelihood of securing prestigious training positions, 14 but may also have influence further along in learners’ careers. For example, because white learners have access to the language and framing of medicine, white individuals are more likely than minoritized individuals to secure their first R01 research grants. 15 This is because achieving insider-status is much easier when learners have prior access to high-quality preparatory education, previous work experience, and other modalities of privilege. 16 What often goes unrecognized is that when an individual grows up in a society that is calibrated around their values, beliefs, and practices, they are placed at an advantage almost anywhere in that society.

궁극적으로 정상화 과정의 기저에는 백인을 표준으로 다른 모든 인구를 비교하는 암묵적인 관념이 자리 잡고 있습니다. 미국 기관은 소수 인종을 관리하고 통치하기 위해 고안된 이와 같은 개별적인 형태의 지배를 품고 있습니다. 17 따라서 기관은 다른 사람들의 권위를 유지하기 위해 특정 개인에 대한 차별적 행위를 제재하는 방식으로 작동하기 때문에 이 과정에 연루되어 있습니다.

  • 예를 들어, 의학교육은 과소 대표 집단과 과대 대표 집단을 명확하게 구분하는 것을 정상화함으로써 소위 과소 대표를 초래한 문제와 시스템을 계속 회피하고 있습니다. 18 이러한 회피는 권력으로서의 과대 대표성이라는 역동성을 강화합니다.
  • 다른 예로는 의과대학입문자격시험(MCAT)과 같은 의학교육 전 평가와 의과대학 입학 관행이 있으며, 19 이러한 평가는 규범화 그룹에 속하지 않은 의사를 선별하는 데 사용됩니다.
  • 다른 관행으로는 의학교육에서 인종을 생물학적 변수로 취급하는 의학 커리큘럼이 있으며,20 이는 소수 인종 환자와 학습자의 건강과 삶의 경험에 대한 사회역사적 맥락이라는 더 큰 문제를 근본적으로 지워버리는 것입니다.

문화적 역량 커리큘럼이나 다양성 프로그램과 같이 의료기관 내 인종차별에 맞서기 위한 선의의 이니셔티브조차도 의학교육에 깊이 뿌리내린 관행에 의미 있게 도전하지 못하며, 따라서 정상화 과정의 전개에 도전하는 데 실패합니다. 21-23
Ultimately, what is underlying the process of normalization is the unspoken notion that white people are the norm whereby all other populations are compared. American institutions harbor discrete forms of domination, such as these which are designed to govern and manage minoritized populations. 17 Therefore, institutions are complicit in this process because they work by sanctioning discriminatory acts against certain individuals in order to maintain the authority of others.

  • For example, by normalizing a clear distinction between underrepresented and overrepresented groups, medical education continues to sidestep the issues and systems that have led to the so-called underrepresentation. 18 This sidestep reinforces the very dynamic of overrepresentation-as-power.
  • Other examples include pre-medical education assessments like the MCAT and medical admission practices, 19 which are used to screen physicians, many of whom are not a part of the norming group.
  • Other practices include medical curricula, which treats race as a biological variable in medical education, 20 essentially erasing larger issues of sociohistorical context on the health and lived experiences of minoritized patients and learners.

Even well-intentioned initiatives to combat racism in medical institutions, such as cultural competency curricula and diversity programs fail to meaningfully challenge deeply entrenched practices in medical education, and as such deploy processes of normalization. 21–23

정상화 과정은 모든 학생에게 해롭지만, 특히 [백인이 정한 규범을 따르라는 요구를 가장 눈에 띄게 받는 소수계 의사]에게는 더욱 어렵습니다. 다시 말해, 백인 사회에 고유한 규범을 사용하여 의사에게 기대되는 것을 규범화함으로써, 의학교육은 소수계 의사를 자신이 선택한 주체로 형성하는 데 그 힘과 지식을 사용합니다. 정상화에 맞서기 위해서는 기관이 정책과 절차에 맞서야 하는데, 이는 결국 그 기원이 "있는 그대로의 모습"에 포함되기 때문에 어려울 수 있습니다. 예를 들어, 2020년에 트럼프 행정부는 연방 기금을 받는 기관이 해당 기관 내에서 암묵적 편견 교육에 참여, 후원 및/또는 자금을 지원하는 것을 기능적으로 금지하는 행정 명령을 만들었습니다. 24 백악관은 암묵적 편견 교육을 근본적으로 반미 운동으로 규정했으며, 이는 앞으로 한동안 인종 관계에 영향을 미칠 수 있습니다. 시간이 지나면 기관들은 인종 문제를 다루지 않을 위험에 처하게 될 것이며, 이러한 회피는 "정상"으로 느껴질 것입니다. 사회적, 제도적, 교육적 차원에서 전개되는 이러한 정책과 관행은 우리 사회의 인종 차별적 구조를 영속화합니다. 
While the process of normalization is harmful to all students, it is particularly difficult for minoritized physicians who are most noticeably asked to conform to the norms set by white individuals. In other words, by norming what is expected from physicians using norms endemic to white society, medical education uses its power and knowledge of what is expected to shape minoritized physicians into subjects of their choosing. Combating normalization requires that institutions confront their policies and procedures, which can be challenging because their origins are eventually subsumed into the “just the way things are.” For example, in 2020, the Trump administration created an executive order that functionally prohibits federally funded institutions from engaging in, sponsoring, and/or funding implicit bias training within those institutions. 24 The White House labeled implicit bias training as fundamentally an anti-American exercise, which could have consequences for race relations for some time to come. In time, institutions would run the risk of not addressing issues of race, and this avoidance would feel “normal.” Deployed at the societal and institutional and educational level, policies and practices like these perpetuate racist structures in our society.

푸코를 의학교육에 맥락화하기
Contextualizing Foucault into medical education

모든 교육 기관과 마찬가지로 의학교육도 권력을 유지하기 위한 수단으로서 정상화 과정에 깊숙이 개입되어 있는 것은 분명합니다. 푸코는 "공간의 처분, 내부 생활을 지배하는 세심한 규정, 그곳에서 조직되는 다양한 활동, 그곳에서 살거나 서로 만나는 다양한 사람들, 각자의 기능과 잘 정의된 성격을 가진 사람들, 이 모든 것이 능력-소통-권력의 블록을 구성한다"고 썼습니다. 4 (787쪽) 의료계에서 조직적이고 체계적인 인종 차별의 정상화는 비단 현대의 문제만은 아닙니다. 인종차별은 미국 사회에 깊은 뿌리를 두고 있으며, 역사적으로 흑인 및 기타 소수계 의사가 배제된 것에서 가장 쉽게 찾아볼 수 있습니다. 1910년 아브라함 플렉스너는 카네기 재단으로부터 북미 전역의 의과대학을 조사해 달라는 의뢰를 받았는데, 그의 보고서에 따르면 역사적으로 흑인 의과대학 두 곳을 제외한 모든 의과대학이 문을 닫아 흑인 예비 의사가 수련의 기회를 갖지 못하게 되었습니다. 25 그는 종종 현대 의학 표준화의 조상으로 알려져 있지만, 이러한 학교를 폐쇄하라는 권고를 정당화하면서 흑인 의사 양성에 대한 그의 발언은 흑인 의사를 위한 의학교육의 기능은 "자신의 인종"을 위해 봉사할 미래의 의사를 양성하는 것뿐만 아니라, 아프리카계 미국인 커뮤니티에서 전염되는 질병으로부터 백인 인구를 보호하는 것이라고 주장하는 명백한 인종차별주의자였습니다:

Clearly, medical education, like all educational institutions is deeply enmeshed in the process of normalization as a means to uphold power. As Foucault writes, “the disposal of its space, the meticulous regulations which govern its internal life, the different activities which are organized there, the diverse persons who live there or meet one another, each with his own function, his well-defined character – all these things constitute a block of capacity-communication-power.” 4 (p.787) Normalization of systemic and systematic racism in medicine is not just a contemporary issue. It has deep roots in American society and is often most easily seen in the historical exclusion of Black and other minoritized physicians. In 1910, when Abraham Flexner was commissioned by the Carnegie Foundation to survey medical schools across North America, his report closed all but two historically Black medical schools essentially leaving Black would-be physicians without an opportunity to train. 25 He is often credited for being the grandfather of standardizing modern medicine, yet in justifying his recommendations for closing these schools, his comments toward the training Black physicians were overtly racist, insisting that the function of medical education for Black doctors was not only to train future physicians to be a service to “[their] own race” but also to protect white populations from diseases contracted from African American communities:

흑인은 그를 위해서뿐만 아니라 우리를 위해서도 교육을 받아야 합니다. 그는 인간의 눈으로 볼 수있는 한 국가의 영구적 인 요소입니다. 그는 개인으로서 권리와 마땅한 가치를 지니고 있지만, 그 외에도 감염과 전염의 잠재적 원천으로서 엄청난 중요성을 지니고 있습니다. 25 (p.180) 
The negro must be educated not only for his sake, but for ours. He is, as far as human eye can see, a permanent factor in the nation. He has his rights and due and value as an individual; but he has, besides, the tremendous importance that belongs to a potential source of infection and contagion. 25 (p.180)

흑인 인구가 백인 공동체의 안전에 본질적인 건강 위험을 초래한다는 플렉스너의 믿음과 역사적으로 흑인 의과대학의 대부분을 폐쇄하자는 그의 제안은 정상화가 사회와 제도 내에서 비대칭적인 권력 관계를 유지하는 데 얼마나 널리 퍼져 있는지를 보여줍니다. 플렉스너의 보고서에 따르면 의학교육을 개선한다는 명목으로 거의 한 세기 동안 흑인 의사에 대한 인종적 폭력이 자행되었으며, 그 이후에도 흑인 의사는 백인 의사와 비교할 수 없을 정도로 낮은 비율의 인력을 유지하고 있습니다.
Flexner’s belief that Black populations posed an inherent health risk to the safety of white communities, and his suggestion to close the majority of historically Black medical schools, demonstrates the pervasiveness of how normalization works to maintain asymmetrical power relations in society and within our institutions. In the name of improving medical education, Flexner’s report committed forms of racial violence against Black physicians for nearly a century and since then, Black physicians remain unrepresented in the workforce at levels incommensurate with white physicians.

흑인을 의료계로 끌어들이려는 여러 시도가 있었지만, 이러한 입법 개혁은 이러한 불평등을 약간만 해소하는 데 그쳤습니다. 예를 들어, 이러한 재조정 이니셔티브 중 일부에는 의과대학과 병원이 연방 기금을 받으려면 인종 차별을 해소해야 한다는 내용이 포함되었습니다. 미국 차별 금지법을 통해 제안된 다른 프로그램들은 보건 분야에서 소외된 소수자를 위한 학업 지원 시스템을 개선했습니다. 1977년 미국 대법원 판례인 캘리포니아 대학교 리전트 대 바케 사건은 입학의 다양성을 높이기 위해 고안된 적극적 차별 금지 조치 관행을 승인했습니다. 26 전문가 수준에서는 미국 의과대학협회(AAMC)가 소수자 우대 정책을 감독하여 의과대학에 입학하는 소수자 비율이 3%에서 10%로 증가했습니다. 27 그 후 AAMC는 "2000년까지 3000명" 보건 전문가 파트너십 이니셔티브를 시행하여 전국적으로 파이프라인 프로그램을 만들어 2000년까지 의과대학의 URM 수를 두 배로 늘렸습니다. 28 목표에는 미치지 못했지만, 이 이니셔티브는 1995년까지 소수계 등록률을 12%까지 끌어올렸습니다. 24 그러나 1996년 이후 미국에서 소수집단 우대 조치 프로그램이 공격받기 시작했고, 그 결과 URM 의대생 입학이 감소했습니다. 29 
Even though there have been multiple attempts to enfold Black individuals into the profession, these legislative reforms have had only slightly countered these inequalities. For example, some of these rebalancing initiatives included forcing medical schools and hospitals to desegregate if they were to receive federal funding. Others proposed programs through US anti-discrimination legislation improved academic support systems for under-represented minorities in health. The 1977 U.S. Supreme Court case University Of California Regents vs. Bakke authorized affirmative action practices designed to increase diversity in admissions. 26 At the professional level, the Association of American Medical Colleges (AAMC) oversaw affirmative action policies, which resulted in an increase in minority enrollment in medical schools from 3 to 10%. 27 Then later, the AAMC implemented the “3000 by 2000” Health Professional Partnership Initiative, which created pipeline programs nationally to double the number of URMs in medical schools by the year 2000. 28 While falling short of its goal, the initiative led to a further increase in minority enrollment to 12% by 1995. 24 However, since 1996, affirmative action programs have been under attack in the U.S., which has resulted in a decline in URM medical student admissions. 29

의학교육 내에서 권력의 균형을 재조정하려는 이러한 이니셔티브는 중요합니다. 그러나 푸코의 관점에서 보면 의과대학의 인종을 고려한 입학 정책이 소수계 학생의 등록률과 입학률을 높인다고 해도 의대 내에 존재하는 인종차별적 규범, 편견, 정책을 바꾸지는 못할 것입니다. 인종차별은 단순히 소수인종 의대생을 더 많이 수련과정에 입학시킨다고 해서 사라지지 않습니다. 인종차별은 그 자체로 권력의 한 형태이며, 기관 내에서 정상화되어 있기 때문에 지속되는 것이므로, 입학의 경우 과소 대표성을 형성하는 관행을 먼저 고려하지 않고는 바로잡을 수 없습니다. 필요한 것은 백인이 아닌 사람들을 희생시키면서 개인을 올바른 종류의 주체로 형성하기 위해 노력하는 기관에서 사용하는 규범을 전문직이 조사하는 것입니다. 소수계 의사가 자신의 가치, 신념, 인종적 규범을 지키는 의사가 될 수 있도록 규범화 관행은 반드시 해결되어야 합니다. 8 
These initiatives to rebalance power within medical education are important. However, viewed from the Foucauldian lens, even if medical schools’ race-conscious admissions policies increase the enrollment and admissions rates of minority students, this will not change the racist norms, biases, and policies that exist within the profession. Racism does not go away simply by admitting more minoritized medical students into training. Racism is itself a form of power that persists precisely because of its normalization within institutions, and thus, cannot be rectified without accounting for – in the case of admissions – the practices that shape underrepresentation in the first place. What is needed is for the profession to interrogate the norms used by institutions that work to shape individuals into the right kind of subject at the expense of nonwhite subjects. It is the norming practice that must be addressed, so that minoritized physicians can be the kind of physician that upholds their own values, beliefs, and racial norms. 8

그러나 앞서 언급했듯이 백인 개인은 다른 모든 집단과 비교되는 규범이며, 우리 교육 시스템에서 조직적인 힘으로 작용하는 것은 백인 규범 집단이기 때문에 이 문제는 어렵습니다. 고등 교육에서 백인 규범이 작동하고 있다는 사실은 최근 대법원이 대학이 입학 과정에서 인종 할당제를 사용하는 것은 위헌이지만 소수계 지원자를 받아들이기 위해 학교가 적극적 우대 조치를 사용하는 것은 합헌이라고 판결한 캘리포니아주 리전트 대 바케 사건에서 드러난 바 있습니다. 대법원에서 바케는 "소수자 입학 계획은 역사적으로 억압받지는 않았지만 평등 보호 조항의 의미 내에서 '사람'인 백인에 대한 수정헌법 제14조의 보장을 약화시켰다"고 주장했습니다. 30 (1772쪽) 이 판결은 인종을 고려한 입학의 수혜자가 아닌 백인을 위한 특별 입학 프로그램의 폐지에 대한 선례를 남김으로써 백인 규범성을 지지했습니다. 31 이와 같은 사례는 백인 규범성주체를 만들고 대우하는 데 강력한 힘을 발휘한다는 것을 보여줍니다. 이러한 규범성은 기관의 외부나 가장자리에만 존재하는 것이 아니라 기관 내부에 깊숙이 내재되어 있습니다. 
However, this is challenging because as noted earlier, white individuals are the norm against which all other groups are compared, and it is the white norming group that works as an organizing force in our educational systems. The existence of a white norm at work in higher education was recently revealed in the Regents of California vs. Bakke case where the Supreme Court ruled that a university’s use of racial quotas in its admissions process was unconstitutional, but a school’s use of affirmative action to accept minoritized applicants was constitutional. In the Supreme Court, “Bakke argued that the minority admissions plan abridged Fourteenth Amendment guarantees for whites, who although not historically oppressed, were nevertheless ‘persons’ within the meaning of the Equal Protection Clause.” 30 (p.1772) This ruling upholds white normativity by setting a precedent for the abandonment of special-admissions programs which would otherwise have aided the nonwhite beneficiaries of race-conscious admissions. 31 Cases like these demonstrate that white normativity is powerful in the creation and treatment of subjects. It does not exist solely outside of or on the edges of institutions; it is deeply embedded within them.

숨겨진 교육과정으로서의 인종계약
The racial contract as hidden curriculum

의학의 커리큘럼의 표면 아래에는 의학의 구조적인 조건, 의학 교육의 문화적인 역사, 그리고 의학 지식이 권력의 계통을 따라 계층화되는 방식을 감추는 숨겨진 커리큘럼 32의 일부로 볼 수 있습니다. 이러한 숨겨진 연습은 의학의 모든 측면에 영향을 행사하면서, 불문율적이고 비공식적인 존재, 사고, 그리고 느낌의 방식으로 의대생들을 사회화하는 숨겨진 커리큘럼 32의 일부로 볼 수 있습니다.

  • 누가 커리큘럼에 무엇이 포함되고 우선순위가 될 것인지 결정합니까?
  • 누가 커리큘럼 개발과 평가를 맡고, 그들은 무엇이 포함되는지에 대해 어떻게 결정합니까? 

Lurking under the surface of medicine’s curriculum are hidden practices, which mask the structural conditions of medicine, the cultural history of medical education, and the ways in which medical knowledge is stratified along lines of power. These hidden practices might be viewed as part of the hidden curriculum 32 that socializes medical students in ways of being, thinking, and feeling that are unwritten and unofficial, exerting influence over all aspects of medicine and call into question:

  • Who decides what is to be included and prioritized in the curriculum?
  • Who is charged with curricular development and assessment, and how do they make decisions about what is included?

숨겨진 커리큘럼은 암묵적이고 강력하다. 비대칭적인 권력 관계를 강화하고 합법화하는 방식으로 제도를 변형하고 조직하기 때문이다. 그것은 정상화 과정과 주체의 창조에 관련되어 있습니다. 예를 들어, 숨겨진 커리큘럼은 의학이 사회와 사회적 계약을 형성하는 데 있어 강력한 힘입니다. 이것들은 어떤 종류의 의사가 적합한지를 규제하는 역할을 하는 기관과 사회 사이의 (명시적이기보다는) 암묵적인 협약이다. 한 쪽에서, 의사들은 전문성의 가치를 지지하고, 아픈 사람들을 돌보며, 전문가로서 그들의 역할을 수행할 것으로 기대됩니다. 그 대가로, 사회는 그들과 그들의 직업 존중, 실천의 자율성, 자율성, 그리고 재정적인 보상을 부여합니다. 그러나 사회 계약은 주체를 이상적인 버전의 의사로 형성함으로써 숨겨진 커리큘럼에 복무합니다. 이러한 방식으로, 그것들은 백인과 그들의 유전적인 후손을 보호하기 위해 만들어졌기 때문에 그들은 항상 인종차별을 핵심에 품고 있습니다. 34 본질적으로, 의학의 사회 계약은 훈련생을 올바른 종류의 의사로 형성하려고 시도하고, 35는 그렇게 함으로써 명시적으로 되는 것이 드물지만, 힘, 지식, 그리고 정규성의 과정에 대한 푸코의 개념의 선에 해당하는 방식으로 소수화된 개인들을 억압합니다.
The hidden curriculum is tacit and powerful as it transforms and organizes institutions in ways that reinforce and legitimatize asymmetrical power relationships. It is implicated in normalization processes and in the creation of subjects. For example, the hidden curriculum is a powerful force in shaping medicine’s social contract with society. These are more implicit than explicit agreements between institutions and society that serve to regulate what kinds of physicians are suitable. On one side, physicians are expected to uphold the values of professionalism, care for the sick, and fulfill their role as a professional. In return, society grants them and their profession respect, autonomy in practice, self-regulation, and financial rewards. 33 However, social contracts serve the hidden curriculum by shaping of subjects into an idealized version of a physician. In this way, they always harbor racism at its core because they were created to protect white people and their genetic descendants. 34 Essentially, medicine’s social contract attempts to shape trainees into the right kind of physician, 35 thereby oppressing minoritized individuals in ways that are rarely made explicit, yet fall along the lines of Foucault’s notions of power, knowledge, and processes of normativity.

예를 들어, 백인이 아닌 학생들이 학습 기관에 입학할 때 그들은 "학교와 사회가 그들에게 이용할 수 있는 정체성과 열망의 한계" 안에서 배웁니다. 36 (p.470) 이 제한적인 환경은 소수화된 학생들이 백인 학생들이 이용할 수 있는 가능성에 대한 접근을 거부함으로써 교육적 불평등과 계층화를 받아들이도록 훈련시키는 환경입니다. 다른 예들은 학생들이 주로 강의, 세미나, 그리고 임상 연구를 통해 가르치는 의과 대학의 교육학에서 발견됩니다. 의과대학 교육은 생의학의 실증주의와 객관성의 근본적인 구성과 같은 특정한 가치와 믿음을 전달합니다. 이러한 교육학적 관행의 사용은 주체를 만드는 바로 그 형태의 대상화를 강화합니다. 학생들이 환자와의 상호 작용에서 객관적인 탐구 방식과 분열적인 관행을 사용함에 따라 이것은 더욱 재확인됩니다. 푸코는 "권력의 행사는 명백한 사실, 제도적 권리도 아니고 버티거나 부수는 구조도 아닙니다. 그것은 정교화되고 변형되고 조직화됩니다. 그것은 상황에 다소 조정된 과정을 스스로에게 제공합니다." 38 (p.792)
For example, when nonwhite students enter institutions of learning they are taught within “the limits of the identities and aspirations that school and society make available to them.” 36 (p.470) This limiting environment is one that trains minoritized students to accept educational inequities and stratifications by denying them access to possibilities available to white students. Other examples are found in medical schools’ pedagogy in which students are taught primarily through lectures, seminars, and clinical research, 37 which impart particular values and beliefs, such as biomedicine’s underpinning constructs of positivism and objectivity. Use of these pedagogical practices reinforces the very form of objectification that creates subjects. This is further reified as students employ objective modes of inquiry and divisive practices in their interactions with patients. As Foucault writes, “the exercise of power is not a naked fact, an institutional right, nor is it a structure which holds out or is smashed: it is elaborated, transformed, organized; it endows itself with processes which are more or less adjusted to the situation.” 38 (p.792)

이러한 관점에서 볼 때, 엘리트의 사회적 헤게모니를 보존하기 위한 일차적인 기능을 가진 엘리트 그룹에 복무하는 커리큘럼 프로젝트가 조직됩니다. 39 이런 식으로 자주 언급되지는 않지만 숨겨진 커리큘럼은 학습자를 규범적 공간에 동화시키기 위한 수단이며, 이는 학습자를 이미 억압적이고 깊은 인종차별적인 사회로의 진입을 불균등하게 준비시킵니다. 40 
Seen in this perspective, curricular projects are organized in service of elite groups with a primary function to preserve the elite’s social hegemony. 39 Although not often spoken of in this way, the hidden curriculum is a means to assimilate learners into a normative space, which unevenly prepares learners for entrance into an already oppressive and deeply racist society. 40

의학교육의 기존 권력구조에 대한 저항
Resisting existing power structures in medical education

현대 의학교육에서 숨겨진 커리큘럼의 만연한 효과를 고려할 때, 인종폭력의 규모와 범위를 줄이기 위해서는 체계적인 인종차별을 밝히고 훼손하기 위한 카운터-방법론과 교육학을 개발하는 것이 필수적입니다. 41 필요한 것은 푸코가 "주체와 권력"에서 말하는 "권력관계의 새로운 경제"; 4 (p.779), 즉 의료기관 내 권력관계의 분배와 상호작용에 대한 광범위한 이해를 포괄하는 방법론과 의제입니다. 카운터-방법론을 개발하는 데 있어 목적은 의학교육을 개혁하는 것이 아니라, 기존 권력구조에 저항하고 완전히 뒤집는 것이라는 것을 이해하는 것이 중요합니다. 
Given the pervasive effects of hidden curricula in contemporary medical education, developing counter-methodologies and pedagogies to reveal and undermine systemic racism is imperative for reducing the scale and scope of racial violence. 41 What is needed is what Foucault refers to in “The Subject and Power” as a “new economy of power relations”; 4 (p.779) that is, methodologies and agendas that encompass a broad understanding of the distribution and interaction of power relations within medical institutions. In developing counter-methodologies, it is important to understand that the aim is not to reform medical education, rather to resist existing power structures and upend it altogether.

의학 교육을 개선하는 과정에서, 의학 내의 다양성의 부족이 "학습과 전문적인 발전을 방해"하기 때문에, 그 직업은 인종적으로 다양한 교수진의 채용에 집중할 필요가 있습니다. 42 (p.251) 의학 학생의 다양성을 증가시키기 위해 많은 노력을 기울였지만, 교수진의 대다수는 백인입니다. 43 푸카우디안의 분석에 따르면, 교수진의 다양성의 부족은 또한 교육학적 다양성을 제한하고 방해할 수 있습니다. 백인 교수진은 [그들과 그들의 경험, 관행, 가치]가 [다른 모든 경험, 관행, 가치]를 제한하는 지배적인 규범으로 간주하는 사회를 경험하기 때문에, 그들이 그들의 교육 과정에 대해 가지고 있는 지식의 종류는 미국 사회의 체계적인 인종차별의 복잡한 형태, 특히 체계적인 인종차별이 그들의 지식을 얼마나 적극적으로 구성하는지와 관련하여 제한됩니다. 24 확실히, 더 다양한 의학 교수진이 반 인종주의 의학 교육 과정으로 직접적으로 번역되지는 않습니다. 그러나, 교수진 다양성의 부족은 기존의 권력 관계를 보존하고 선의의 개혁 노력을 개발할 수 있는 기관의 능력을 약화시키는 문제가 있습니다.
In the process of upending medical education, the profession needs to focus on the recruitment of racially diverse faculty because the lack of diversity within medicine “hampers learning and professional development”. 42 (p.251) Great efforts have been made to increase the diversity of medical students, however faculty members remain majority white. 43 Following a Foucauldian analysis, a lack of faculty diversity may also limit and hamper pedagogical diversity. Because white faculty experience a society that regards them and their experiences, practices, and values as the dominant norm by which all other experiences, practices, and values are circumscribed, the kinds of knowledge they have about their curriculum is limited in regards to the complex shape of systemic racism in American society – and particularly, how systemic racism actively constitutes their knowledge. 24 Certainly, a more diverse medical faculty doesn’t directly translate into an anti-racist medical curriculum. However, the lack thereof is problematic that preserves existing power relations and undermines an institutions ability to develop well-intentioned reformation efforts.

게다가, 의학교육은 교육에 대한 질적이고 비판적인 틀의 접근법보다 양적 연구와 경험적인 임상 기반 교육을 특권으로 부여합니다. 44–46

  • 강의와 소규모 그룹과 같은 교훈적인 교육은 이러한 접근법을 탐구하고 참여할 수 있는 공간을 거의 부여하지 않으며, 객관식 질문 은행은 생물학적 인종에 대한 자연화된 이해를 강화하고 유해한 고정관념을 영구화하는 것으로 나타났습니다. 47

이러한 관행은 교육 과정의 내용에 상한ceiling을 두고 생의학에 대한 학제 간 접근법의 가능성을 제한합니다. 의료 교육 프로그램은 역량 기반 의료 교육(CBME) 프레임워크에 의해 점점 더 형성됩니다. CBME는 교육 과정 내용을 효율적으로 전달하는 것을 돕는 반면, 접근법이 의료 교육의 모든 측면에 적합한지 여부에 대한 질문이 제기되었습니다. 5 의학교육을 탈식민화하고, 실용적인 지혜(프로네시스)에 집중해야 한다는 요구가 있어 왔습니다. 프로네시스가 의사에서 구현될 때 생의학 및 임상 과학의 지식과 기술을 도덕적 지향성 및 소명과 연결하게 된다48 필요한 것은 "임상적 만남을 둘러싼 대인 관계망, 환경적 요인 및 정치/사회 경제적 힘의 인식"과 더 나아가 이러한 변수가 건강 악화를 위한 조건을 생성하는 방식을 강조하는 교육 과정입니다. 49 (p.684)  
Additionally, medical education privileges quantitative research and experiential, clinical-based education over qualitative, critical-frame approaches to education. 44–46 

  • Didactic instruction, like lectures and small groups, grant little space for exploring and engaging in these approaches, and multiple-choice question banks have been shown to reinforce a naturalized understanding of race-as-biological and perpetuate harmful stereotypes. 47 

These practices produce a ceiling on the content of the curriculum and limit the possibility for interdisciplinary approaches to biomedicine. Medical education programs are increasingly shaped by the Competency Based Medical Education (CBME) framework. While CBME helps deliver curriculum content efficiently questions have been raised about whether the approach is appropriate for all aspects of medical education. 5 There have been calls to decolonize medical education and focus on practical wisdom (phronesis) which, when embodied in the physician, links the knowledge and skills of the biomedical and clinical sciences with a moral orientation and call. 48 What is needed is a curriculum that emphasizes “recognition of the web of interpersonal networks, environmental factors and political/socioeconomic forces that surround clinical encounters,” and further, the way that these variables produce the conditions for poor health. 49 (p.684)

푸코를 통한 의학교육 재구상
Reimagining medical education through Foucault

푸코의 연구는 권력과 지식의 창조가 권력의 위치에 있는 사람들에게 유리한 불균형한 체계를 유지하는 방식에 관심을 끕니다. 권력, 지식, 대상화 및 규범성을 통해 의사들은 그들을 기관에 의해 통제될 수 있는 주체로 바꾸는 방식으로 전문 분야에 포함됩니다. 우리가 소수화된 개인들의 학대를 지지하는 시스템적 인종차별과 구조를 해결하려면 의료 교육 사업에 계속해서 사소한 조정을 하는 것은 이 목표에 도달하기에 불충분합니다. 필요한 것은 시스템을 유지하는 구조를 방해할 수 있는 제안된 해결책입니다. 푸코의 접근법은 개인에만 초점을 맞추는 것이 아니라 미국 의과 대학(AAMC)의 지도자 자리를 포함하여 의학의 모든 사람(즉, 의사, 과학자, 관리자, 교육자, 직원 및 훈련생)이 시스템적 인종차별을 해결하는 데 참여하는 공동의 노력을 주장합니다. 51

Foucault’s work draws attention to the ways power and the creation of knowledge uphold a system that is unbalanced in favor of those in positions of authority. Through power, knowledge, objectivation, and normativity, physicians are enfolded into the profession in ways that turn them into subjects that enable them to be controlled by institutions. If we are to address systemic racism and its structures that uphold the mistreatment of minoritized individuals, continuing to make minor adjustments to the medical education enterprise are insufficient to reach this goal. 50 What are needed are proposed solutions capable of disrupting the structures that keep the system in place. A Foucauldian approach would not just focus on individuals, but insist on a coordinated effort in which everyone in medicine (i.e. physicians, scientists, administrators, educators, staff, and trainees), including those in leadership positions at the American Association of Medical Colleges (AAMC) be involved in addressing systemic racism. 51

이를 위해, 우리는 푸코가 지지할 것이라고 믿는 세 가지 전략을 제안합니다.
To this end, we propose three strategies that we believe Foucault would support.

첫째, 의학 교육은 의학 교육을 역사적으로 구성되고 사회적으로 협상된 것으로 인식하고 포지셔닝하는 것으로 시작해야 하며, 그 다음 이러한 구성이 어떻게 유지되는지 이해하기 위해 노력해야 합니다. 50 이것을 달성하기 위해, 교육자들은 학술 의학에서 그들의 역할을 재개념화하고 교육학적 방법을 비판 의식의 요소를 통합하는 쪽으로 전환해야 합니다. 52

  • 비판 의식은 개인의 사회적 현재 상태와 비판하려는 노력으로 그들을 만든 힘에 대한 이해를 높이고 따라서 이러한 조건을 변화시킵니다. 53
  • 비판 의식을 보건 전문 교육에 통합하라는 여러 요구가 있었고, 21 그리고 이러한 모든 노력에서 교육자들은 의과 대학을 "사회적, 문화적, 역사적 맥락"에 배치하려고 시도하고 있습니다. 53 (p.782)
  • 비판 의식을 통합하면 교육 과정에서 훈련생들이 체계적인 인종 차별을 유지하는 근본 구조를 확인하고 의사로서 그들에 저항하는 방법을 배울 수 있는 플랫폼을 만들 수 있습니다.
  • 게다가, 그것의 통합은 훈련생들이 의학의 "문화가 없는 문화"와 씨름하는 것을 도와서 그들이 어떻게 시스템이 다른 그룹보다 부당하게 유리한지에 대한 민감성을 발달시킬 수 있을 것입니다 

First, medical education must begin by recognizing and positioning medical education as historically constructed and socially negotiated, and then work to understand how these constructions are maintained. 50 To achieve this, educators must reconceptualize their role in academic medicine and shift their pedagogical methods to incorporate elements of critical consciousness. 52 

  • Critical consciousness raises individuals’ understanding of their social current conditions and the forces that have created them in an effort to critique and therefore change these conditions. 53 
  • There have been multiple calls to incorporate critical consciousness into health professions education, 21 and in all of these efforts, educators are attempting to place medical schools in a “social, cultural, and historical context… [coupling it] with an active recognition of societal problems and a search for appropriate solutions”. 53 (p.782) 
  • Incorporating critical consciousness would create a platform for trainees to identify the underlying structures that maintain systemic racism and learn how to resist them as physicians in training.
  • Further, its integration would help trainees grapple with medicine’s “culture of no culture,” so that they can develop sensitivities to how the system unfairly advantages some groups over others. 54

의학 교육에서 비판적 의식을 촉진하기 위해 사용할 수 있는 많은 도구들이 있지만, 성공적으로 그렇게 하는 것은 현재 권장되는 것과는 다른 종류의 전문적인 발전을 필요로 할 것입니다. 21, 55 

  • 예를 들어, 교육자들은 개인의 맥락이 새로운 지식의 창조에 어떻게 영향을 미치는지에 대한 훈련생의 이해를 돕기 위해 훈련생의 개인적인 역사와 살아있는 경험을 이끌어내는 활동을 통합해야 합니다. 21, 56
  • 추가적으로, 소외된 집단의 경험으로부터의 교육과정을 통합함으로써, 학생들은 종종 당연하게 여겨지는 환자와 그들의 필요에 노출될 것입니다. 57

There are many tools available to promote critical consciousness in medical education, but successfully doing so will necessitate different kinds of professional development than what is currently recommended. 21 , 55 

  • For example, educators should incorporate activities that elicit trainees’ personal histories and lived experience, to assist trainees’ understanding how an individuals’ context impacts the creation of new knowledge. 21 56 
  • Additionally, by incorporating curricula from marginalized groups’ experiences, students will be exposed to patients and their needs that are often taken for granted. 57

둘째로, 의학 교육은 오랫동안 의사들이 긴 근무 시간, 대단히 많은 양의 내용, 그리고 불합리한 환자 치료 기대로 그들에게 과도한 부담을 주는 체계에서 회복력이 있어야 한다는 생각을 지지해 왔습니다. 그러나, 고장난 체계를 바로잡지 않고 의사의 회복력을 높이기 위한 시도는 진실하지 않은 것에 가깝습니다. 59 푸카우디안의 관점은 의학 교육이 현재의 체계를 유지하는 현재의 기대에 부합하기 보다는 학생들이 언제 현재의 구조에 저항해야 하는지를 더 잘 이해하도록 돕기 위한 노력에 다시 집중할 필요가 있다고 제안할 것입니다.
Second, medical education has long supported the idea that physicians must be resilient in a system that overburdens them with long working hours, grueling amounts of content, and patient care expectations that are unreasonable. 58 However, attempts to boost physician resilience without correcting broken system borders on the disingenuous. 59 A Foucauldian perspective would suggest that medical education needs to refocus its efforts to better help students understand when individuals should resist current structures, rather than conform to current expectations that keep the current system in place.

이러한 이유로, 의학 교육은 의사로서 훈련에 생산적이고 필수적인 것으로 옹호 노력을 재평가할 필요가 있습니다. 현재, 의학 교육에서 옹호 훈련은 논란이 많습니다.

  • 한 쪽에서는, 의사들이 정치적인 문제에 관여하는 것이 의사의 전문적인 책임 밖에 있다고 믿지만,
  • 다른 쪽에서는, 의사들은 사회적인 요인들과 건강 사이의 연관성을 관찰하고 묘사할 수 있는 독특한 자격이 있다고 생각됩니다. 61

Foucauldian 분석은 사회적인 조건을 개선하기 위해 옹호에 참여하는 방법에 대한 훈련생의 직접적인 교육을 지원할 것입니다. 다른 의과 대학이 영감으로 사용할 수 있는 옹호 훈련의 효과를 보여주는 다양한 웹 사이트에 대한 몇 가지 작은 연구와 사례가 있습니다. 41, 62–64 추가적으로, 훈련생을 위한 더 건강한 시스템을 만드는 데 도움이 될 의료 교육의 임상 및 학습 환경 전반에 걸쳐 체계적인 인종 차별을 해결하기 위해 기관이 취할 수 있는 다른 구조적인 조치가 있습니다. 51 
For this reason, medical education needs to recast advocacy efforts as productive and integral to their training as physicians. Currently, advocacy training in medical education is controversial.

  • On one side, physicians believe that it is outside the professional responsibility of physicians to engage in political issues, 60 
  • whereas on the other, physicians are thought to be uniquely qualified to observe and delineate links between social factors and health. 61 

A Foucauldian analysis would support trainees’ direct instruction on how to engage in advocacy to improve societal conditions. There are several small studies and examples on various websites that show the efficacy of advocacy training other medical schools might use as inspiration. 41 , 62–64 Additionally, there are other structural actions that institutions can take to address systemic racism throughout medical education’s clinical and learning environments that would help create a healthier system for trainees. 51

셋째, 의학교육에서 교육과정 작성과 전달은 개인이 대상화되는 한 가지 방법입니다. 따라서 교육자들은 내용이 재구성되고, 소수화된 개인의 살아있는 경험을 반영할 수 있도록 소수화된 학생들과 교육과정을 공동으로 구성해야 합니다. 지배적인 관점만을 가르치는 것은 소수화된 훈련생과 환자를 계속해서 대상화하는 과정을 새롭게 만드는 것입니다. 따라서 교육자들은 학생들과 교육자들을 공유된 공간으로 초대하여 의료교육의 교육과정, 평가 방법 및 목표한 결과를 재구성할 수 있는 전략을 개발해야 합니다. 65
Third, in medical education, curricula writing and delivery is one way that individuals are objectified. Therefore, educators should co-construct curricula with minoritized students so that content is reimagined and reflective of the lived experiences of minoritized individuals. To only teach dominant perspectives is to reify the processes that continue to objectify minoritized trainees and patients. Therefore, educators should develop strategies that invite students and educators into a shared space to reimagine the educational process, methods of assessment, and targeted outcomes of medical education. 65

결론
Conclusion

미셸 푸코의 역사적이고 이론적인 작업은 의학 교육과 그 기관 내의 권력과 체계적인 인종차별의 행렬을 분석할 수 있는 생성 렌즈를 제공합니다. 우리의 목표는 광범위하게 정의된 현대 의학 교육과정의 권력 경향과 인종 중립적인 프로젝트에 저항하면서 의학 교육을 다시 상상하는 것의 중요성을 보여주는 것이었습니다. 명백하게 급진적이고 반 인종주의적인 의학 교육학은 의료 교육 내의 제도적 및 교육 관행에 정보를 제공하고 지위 다양성 이니셔티브의 물질적 단점을 피해야 합니다. 
The historical and theoretical work of Michel Foucault provides a generative lens from which to analyze the matrices of power and systemic racism within medical education and its institutions. Our goal has been to demonstrate the importance of re-imagining medical education, resisting the tending-toward power and race-neutral projects of contemporary medical curricula broadly defined. An explicitly radical, anti-racist medical pedagogy should inform institutional and educational practices within medical education and avoid the material shortcomings of status-quo diversity initiatives.

그러한 관행의 위험은 크지만, 전술한 결과는 훨씬 더 큽니다. 의도적이고 결과적인 형태의 권력과 지식으로서 숨겨진 커리큘럼, 인종을 의식하는 다양성 이니셔티브, 평가 편향을 백인 규범성의 스키마에 정면으로 배치함으로써, 우리는 의학 교육이 어떻게 그리고 왜 소수화된 학생들을 실패하게 하는지 더 잘 이해할 수 있습니다. 나아가, 우리는 이러한 실패를 의미 있고 영향력 있는 방법으로 완화하는 데 필요한 방법론을 개발할 수 있습니다. 전국의 기관들이 체계적인 반흑인 인종주의로 인한 피해에 대해 큰 책임을 지고 있기 때문에, 우리는 그러한 인종차별적 폭력을 강화하고, 합법적이며, 정상화하는 의료 기관 내에서 어떻게 구체적인 권력 기술이 제정되는지 고려하지 않는 것이 좋을 것입니다. 푸코가 우리에게 상기시키듯이, "이것이 권력인 곳에는 저항이 있습니다." 66 (p.95) 우리 모두는 그 저항의 일부가 될 필요가 있고, 그것은 억압 체계를 유지하기 위한 더 큰 역사적, 문화적, 정치적 행위를 계속 수용하는 방식을 우리의 기관들을 조사하는 것에서 시작합니다.

The stakes of such a practice are large, but the consequences of its foregoing are much larger. By placing hidden curricula, race-conscious diversity initiatives, and assessment bias squarely in the schema of white normativity, as intentional and consequential forms of power and knowledge, we can better understand how and why medical education fails minoritized students. Further, we can develop the methodologies necessary to mitigate these failures in meaningful and impactful ways. As institutions across the country face great reckoning for the damage caused by systemic anti-Black racism, we would be remiss not to consider how specific technologies of power are enacted within medical institutions that reinforce, legitimate, and normalize such racist violence. As Foucault reminds us, “where this is power, there is resistance.” 66 (p.95) We all need to be part of that resistance, and it starts by examining our institutions for the ways in which it continues to harbor larger historical, cultural, and political acts meant to maintain systems of oppression.

 


 

 

Teach Learn Med. 2021 Aug-Sep;33(4):453-462. doi: 10.1080/10401334.2021.1945929. Epub 2021 Jul 11.

 

 

Contending with Our Racial Past in Medical Education: A Foucauldian Perspective

Affiliations collapse

Affiliations

1Department of Medicine, University of Florida College of Medicine, Gainesville, Florida, USA.

2New York University, New York, New York, USA.

3Department of Family and Community Medicine, University of Toronto, Toronto, Ontario, Canada.

4Department of Medicine, University of Toronto, Toronto, Ontario, Canada.

5Department of Medicine, Uniformed Services University, Bethesda, Maryland, USA.

PMID: 34279159

DOI: 10.1080/10401334.2021.1945929

Abstract

Practices of systemic and structural racism that advantage some groups over others are embedded in American society. Institutions of higher learning are increasingly being pressured to develop strategies that effectively address these inequities. This article examines medical education's diversity reforms and inclusion practices, arguing that many reify preexisting social hierarchies that privilege white individuals over those who are minoritized because of their race/ethnicity. Evidence: Drawing on the work of French theorist Michel Foucault, we argue that medical education's curricular and institutional practices reinforce asymmetrical power differences and authority in ways that disadvantage minoritized individuals. Practices, such as medical education's reliance on biomedical approaches, cultural competency, and standardized testing reinforce a racist system in ways congruent with the Foucauldian concept of "normalization." Through medical education's creation of subjects and its ability to normalize dominant forms of knowledge, trainees are shaped and socialized into ways of thinking, being, and acting that continue to support racial violence against minoritized groups. The systems, structures, and practices of medical education need to change to combat the pervasive forces that continue to shape racist institutional patterns. Individual medical educators will also need to employ critical approaches to their work and develop strategies that counteract institutional systems of racial violence. Implications: A Foucauldian approach that exposes the structural racism inherent in medical education enables both thoughtful criticism of status-quo diversity practices and practical, theory-driven solutions to address racial inequities. Using Foucault's work to interrogate questions of power, knowledge, and subjectivity can expand the horizon of racial justice reforms in medicine by attending to the specific, pervasive ways racial violence is performed, both intra- and extra-institutionally. Such an intervention promises to take seriously the importance of anti-racist methodology in medicine.

Keywords: Foucauldian analysis; advocacy; critical consciousness; resistance; structural racism.

프로젝트 기반 학습과 연구 기반 학습(Higher Education Faculty Career Orientation and Advancement, Ch 8)
P
ROJECT BASED LEARNING (PBL) AND RESEARCH BASED LEARNING

V P S AroraParul SaxenaNeha Gangwar3

1Pro Chancellor, Shri Venkateshwara University Uttar Pradesh

2Assistant Professor, Sharda University, Greater Noida

3Assistant Professor, Periyar Management and Computer College, New Delhi

 

8.2 소개
8.2 Introduction

문제/프로젝트/연구/사례 기반 학습은 전통적인 교실 학습에 대한 흥미로운 대안입니다. 이러한 학습 방법은 학생 중심의 학습으로, 능동적인 학습과 지식의 이해 및 유지를 향상시킵니다. 이를 통해 학생들은 콘텐츠 지식을 향상시키고 의사소통, 문제 해결, 비판적 사고, 협업 및 자기 주도적 학습 능력을 키우는 생활 기술을 개발할 수 있습니다. 이러한 접근 방식을 통해 학생들은 실제 경험을 최적으로 해결할 수 있는 능력을 갖추게 됩니다. 이러한 접근 방식은 주로 강의 기반인 기존의 교수 학습 철학에서 패러다임의 전환을 의미합니다. 이러한 방법을 통한 교육 구성은 전통적인 강의실 또는 강의식 교육과는 매우 다르며 소그룹 학습을 지원하기 위해 더 많은 준비 시간과 리소스가 필요한 경우가 많습니다. 이 방법에서 교사는 학생들에게 강의나 과제, 연습 문제가 아닌 문제를 제시합니다. 학생들에게 '콘텐츠'를 전달하지 않기 때문에 학생들이 문제 해결에 필요하다고 판단되는 콘텐츠를 스스로 발견하고 작업한다는 의미에서 학습이 활발해집니다. 이 과정에서 교사는 "솔루션"의 제공자가 아니라 촉진자이자 멘토의 역할을 합니다.  
Problem/ Project/ Research/ Case-based learning are exciting alternatives
to traditional classroom learning. These methods of learning are student-focused, which allow for active learning and better understanding and retention of knowledge. These facilitate students develop life skills that enhance content knowledge, foster the development of communication, problem solving, critical thinking, collaboration, and self-directed learning skills. Through these approaches students are positioned to optimally act resolving real-world experiences. These approaches represent a paradigm shift from traditional teaching and learning philosophy, which is primarily lecture based. The constructs for teaching through these methods are very different from traditional classroom or lecture teaching and often requires more preparation time and resources to support small group learning. Under these methods teacher presents students a problem, not lectures or assignments or exercises. Since students are not handed “content”, the learning becomes active in the sense that students discover and work with content that you determine to be necessary to solve the problem. In the process the teacher acts as facilitator and mentor, rather than a source of “solutions.”

문제 기반 학습(PBL)은 학생들이 개방형 문제를 해결하기 위해 그룹으로 협력하여 과목을 학습하도록 하는 학생 중심 접근 방식입니다. 문제는 동기 부여와 학습의 원동력이 됩니다. 관련 자료를 가르친 다음 학생들이 지식을 적용하여 문제를 해결하도록 하는 것이 아니라 문제가 먼저 제시됩니다. 확실한 해결책을 찾기 위해 진행하는 고유한 메커니즘은 없습니다. 그러나 이 과정에는 지식 습득, 향상된 그룹 협업 및 커뮤니케이션이 포함됩니다. PBL 프로세스는 처음에 의학 교육을 위해 개발되었으며 이후 다른 학습 영역으로 확대 적용되었습니다. 이 프로세스를 통해 학습자는 향후 실무에 사용할 기술을 개발할 수 있습니다. 이 프로세스는 비판적 평가, 문헌 검색을 향상시키고 팀 환경에서 지속적인 학습을 장려합니다.
Problem-based learning
(PBL) is a student-centered approach in which students are made to learn a subject by working in groups to solve an open-ended problem. The problem is what drives the motivation and the learning. Rather than teaching relevant material and subsequently having students apply the knowledge to solve problems, the problem is presented first. There is no unique mechanism to proceed to find a definite solution. The process however includes knowledge acquisition, enhanced group collaboration and communication. The PBL process was initially developed for medical education and has since been broadened in applications for other domains of learning. The process allows for learners to develop skills used for their future practice. It enhances critical appraisal, literature retrieval and encourages ongoing learning in a team environment.

이 과정은 학습 과정을 지원, 안내 및 모니터링함으로써 교사를 촉진자로 활용합니다. 교사는 학생에게 자신감을 심어주고 문제에 대한 이해를 높이는 것 외에도 학생들을 격려합니다. 학생들은 먼저 용어를 명확히 하고 문제를 정의한 다음, 브레인스토밍을 통해 문제를 구조화하고 가설과 학습 목표를 수립한 다음, 마지막으로 연구를 수행하고 결과를 종합합니다. PBL을 받는 학생들은 일반적으로 - 문제를 식별하고, 조사하고, 개념화합니다;
The process uses teacher as a facilitator by supporting, guiding, and monitoring the learning process. He builds confidence in students, and encourages them besides improving their understanding of the problem. Students first clarify terms and define problem(s), then brainstorm, structure the issues and formulate hypothesis and learning objectives, and finally conduct study and synthesis the findings. Students under PBL generally • Identify, examine and conceptualize the problem;

  • 문제의 요소 또는 그와 관련된 이슈를 탐색하고 근본적인 문제에 대해 무엇을 알고 있는지 알아봅니다;
  • 문제를 해결하기 위해 무엇을 배워야 하는지, 어떤 정보와 도구를 습득하거나 이해해야 하는지 결정합니다;
  • 문제와 문제를 해결하기 위한 대체 방법을 평가합니다;
  • 문제에 대한 가능한 최선의 해결책을 찾습니다.
  • 보고서 준비
  •  • Explore the elements of the problems or issues involved therein as also what do they know about underlying issues;
  •  • Determine as to what they need to learn and what information and tools they need to acquire or understand to resolve the issues problem;
  •  • Evaluate alternate ways to resolve the issues and the problem as such;
  •  • Find the best possible solution to the problem; and
  •  • Prepare the report

다음은 문제 기반 학습 프로젝트를 개발하는 기본 단계입니다:
Following are the basic steps in developing a Problem Based Learning Project:

  • 프로젝트의 학습 결과, 즉 학생들이 무엇을 알 것으로 기대되는지 또는 과제 참여로 어떤 결과가 예상되는지 명확하게 설명합니다.
  • 문제 생성. 학생들이 프로젝트에 흥미를 갖도록 하려면 실제 상황 또는 학생들이 향후 직업이나 생활에서 직면할 수 있는 문제여야 합니다.
  • 학생들이 그룹으로 효과적으로 작업할 수 있도록 처음에 가이드라인을 설정합니다.
  • 학생들이 자신의 작업과 동료의 작업을 모두 평가하는 연습을 할 수 있는 준비 운동을 통해 그룹 프로세스를 준비합니다.
  • 각 학생에게 다른 역할을 맡기거나 전체 프로젝트를 나누어 학생에게 다른 역할을 부여하는 설계를 개발합니다.
  • 과제를 평가하고 평가할 수 있는 기준을 설정합니다. 학생이 자신의 작업과 팀원의 과제에 대해 자신만의 평가 방법을 만들도록 하는 것이 이상적입니다.
  •  • Articulation of learning outcomes of the project i.e. what students are expected to know or what result of participation in the assignment is anticipated?
  •  • Creation of the problem. To make the project exciting to students the problem should be a real-world situation or that students may encounter in their future careers or lives.
  •  • Establishment of guidelines in the beginning itself so that students to work effectively in groups.
  •  • Prepare students for group processes by doing some warm up exercises that allow them to practice assessing both their own work and that of their peers.
  •  • Develop a design wherein each student is to take a different role or the entire project is divided having different roles for students.
  •  • Establish yardsticks to evaluate and assess the assignment. Ideally let students make their own methods of assessments of their own work and that of their teammate’s of the assignment.

위에서 언급한 단계를 통해 학습 과정과 그룹 역학은 학생들이 사회적 지식 구성에 참여하는 능동적인 주체가 되는 PBL의 필수 구성 요소임을 알 수 있습니다. PBL은 경험과 상호작용을 기반으로 의미를 창출하고 세상에 대한 개인적인 해석을 구축하는 과정을 지원합니다. 다음 섹션에서는 프로젝트 기반 학습, 연구 기반 학습 및 사례 기반 학습 방법에 대해 자세히 설명합니다.
From the above mentioned steps it is revealed that the learning process and group dynamics are essential components of PBL wherein students are active agents who engage in social knowledge construction. PBL assists in processes of creating meaning and building personal interpretations of the world based on experiences and interactions. In following sections project based learning, research based learning, and case based learning methods are detailed.

 

8.3 프로젝트 기반 학습
8.3 Project Based Learning

프로젝트 기반 학습에 대한 단일 정의는 존재하지 않지만, 벅 교육 연구소(BIE)에서는 광범위한 범위의 간결한 표준 중심 정의를 제시하고 있습니다. BIE(Markham, Larmer, & Ravitz, 2003)에 따르면 프로젝트 기반 학습은 "복잡하고 실제적인 질문과 신중하게 설계된 제품 및 과제를 중심으로 구조화된 확장된 탐구 과정을 통해 학생들이 지식과 기술을 학습하도록 하는 체계적인 교수법"입니다. 프로젝트 또는 활동을 구현하는 것만으로는 프로젝트 기반 학습으로 간주할 수 없으며, 5가지 필수적인 특징이 충족되지 않으면 프로젝트 기반 학습으로 간주할 수 없습니다. PBL의 필수 기능은 다음과 같습니다.
While a single accepted definition for PBL does not exist, the Buck Institute for Education (BIE) does offer a concise standards-focused definition, broad in scope. According to the BIE (Markham, Larmer, & Ravitz, 2003), project-based learning is “
a systematic teaching method that engages students in learning knowledge and skills through an extended inquiry process structured around complex, authentic questions and carefully designed products and tasks”. Implementing a project or activity is not enough to be considered project-based learning unless five definitive features are met. The essential features of PBL include

1. 중심 프로젝트;
2. 중요한 지식과 기술에 대한 구성주의적 초점;
3. 복잡한 질문, 문제 또는 도전의 형태로 진행되는 활동;
4. 교사가 안내하는 학습자 주도 조사;
5. 학습자에게 진정성이 있는 실제 프로젝트

  • 1. A central project;
  • 2. A constructivist focus on important knowledge and skills;
  • 3. A driving activity in the form of a complex question, problem, or challenge;
  • 4. A learner-driven investigation guided by the teacher;
  • 5. A real-world project that is authentic to the learner

킬패트릭(1918)은 프로젝트 방법에 대한 광범위한 개념을 제시했습니다. 그는 표 1에 나열된 절차에 따라 네 가지 유형의 프로젝트를 식별했습니다: 
Kilpatrick (1918) offered a broad conception of project method. He identified four types of projects with procedures listed in Table 1: 

이 장에서는 프로젝트 기반 코스를 설계할 때 교사가 사용할 수 있는 새로운 프레임워크, 즉 일련의 지침을 제시했습니다. 이 프레임워크는 6가지 테마로 구성됩니다:
In this chapter we have presented an em
ergent framework, a set of guidelines, for teachers when designing project based courses. The framework consists of six themes:

(1) 프로젝트 목표/주제 파악,
(2) 프로젝트 설계,
(3) 프로젝트 그룹 구성,
(4) 모니터링
(5) 피드백 및
(6) 코스 평가 및 개선.

  • (1) Identifying Project objectives/themes,
  • (2) Project Design,
  • (3) Constituting the project group,
  • (4) Monitoring,
  • (5) feedback and
  • (6) Course evaluation and improvement.

학습과 지속적인 개선 및 프로세스 관점은 이 프레임워크에서 분명하게 드러납니다. 이 부문에서 정교화된 프레임워크는 전문가 그룹의 규범과 능동적인 커리큘럼 내에서 교사의 전문적 자율성 개발을 지원해야 합니다. 이 프레임워크가 코스의 질에 긍정적인 영향을 미친다는 강력한 징후가 있습니다. 공식적인 코스 평가에서 학생들은 명확한 코스 설계, 높은 학생 활동, 관련성 있고 진정성 있는 프로젝트 과제, 명시적인 프로젝트 그룹 작업 조건, 명시적인 기준 세트에 따른 다양한 시험 양식, 교사의 수준 높은 피드백을 성공적인 프로젝트 기반 학습의 중요한 구성 요소로 강조했습니다. 프로젝트 기반 학습의 몇 가지 이점은 다음과 같이 요약할 수 있습니다:
The learning and continuous improvement and process perspective is evident in the framework. The framework elaborated in this segment should support teachers’ development of a professional autonomy within the norms of a professional group and an active curriculum. There are strong indications that the framework has positive effects on the quality of the courses. In a formal course evaluation, the students’ have highlighted a clear course design, high student activity, relevant and authentic project tasks, explicit project group work conditions, a variation in examination forms based on an explicit set of criteria, and high quality feedback from the teachers as important constituents of a successful project based learning. Some of the benefits of Project based learning can be summed up as follows:

  •  - 다양한 범위의 학습 스타일을 대상으로 함
  •  - 협업을 촉진하고 그룹 효능감과 자기 효능감을 높입니다.
  •  - 탐구심을 촉진하고 학생들 간의 동기 부여를 증가시킵니다.
  •  - 콘텐츠 지식, 비판력 및 문제 해결 능력 측면에서 긍정적인 학생 반응 보고
  •  - 책임감을 더 잘 받아들여 학업 성취도가 향상됨
  •  - 높은 수준의 학생 참여 유도
  •  - 학생의 자신감 향상 및 커뮤니케이션 능력 향상
  •  • Targets different range of learning styles
  •  • Promotes collaboration and increased group efficacy and self efficacy
  •  • Promotes Inquiry and results in increased motivation among students
  •  • Reports positive student response in terms of content knowledge, critical and problem solving skills
  •  • Results in better academic gains with greater acceptance of responsibility
  •  • Results in high level of student engagement
  •  • Builds student confidence and results in better communication skills

PBL은 학생뿐만 아니라 교사/강사에게도 효과적인 도구임이 입증되었습니다. PBL을 실행하면 수업 결석률이 감소하고, 평생 학습을 촉진하며, 교사가 학습 결과를 평가할 수 있는 다양한 평가 방식을 사용할 수 있다는 것이 연구를 통해 입증되었습니다.
PBL has yielded benefits not only for the students but it has proved to be an effective tool for teachers/ instructors too. It has been proven through studies that implementation of PBL results in reduced absenteeism in class and promotes life-long learning and let teacher have different assessment modalities to evaluate the learning outcomes.

8.3.1 프로젝트 목표/주제 파악하기
8.3.1 Identifying Project Objectives/Themes

목표 설정은 프로젝트 기반 코스에서 핵심적인 요소입니다. 목표는 교사/강사가 학생과 상의하여 설정해야 합니다. 학생은 자신의 관심사와 경험에 맞게 과제를 자유롭게 구성하고 틀을 잡을 수 있어야 합니다. 프로젝트 목표는 다음과 같아야 합니다:
The setting- up of objectives is a core aspect in a project based course. The objectives should be set up by the teacher/instructor in consultation with the students. The students should be given some freedom shape and frame the tasks to fit their own interests and experiences. The project objectives should be:

  • 관련성 및 진정성 - 프로젝트 과제와 프로젝트 결과는 커리큘럼 및 미래 직업(예: 시스템 개발자, IT 또는 경영 컨설턴트, 프로젝트 리더)의 기본 기술을 달성하기 위해 관련성이 있어야 하며 실제 상황(예: ERP 시스템 구현 프로젝트의 문제 해결, 경영학과 학생의 채용처 및 교육 기관 파악)을 반영해야 합니다.
  • 다양한 학습 스타일을 다루기 위해 교사가 텍스트 및 구두로 소개합니다.
  • 특정 또는 간격의 시간 공간을 기반으로합니다. 학습 포인트를 명시하는 것도 중요합니다. 특정 과제를 수행하는 데 필요한 시간에 대한 학생의 기대치에 영향을 미치기 위해 이를 중요한 포인트로 파악했습니다. 시간 관리 및 계획은 프로젝트 작업 설정과 강사가 학생이 습득하기를 바라는 학생의 기술에서도 중요한 부분입니다.
  • 구체적이고 명시적으로 표현합니다: 프로젝트 목표를 명확하게 설정할 때는 코스에서 프로세스 및/또는 제품에 중점을 두는 정도를 정의하는 것도 중요합니다. 교수자는 프로세스 및 제품 차원의 필요성을 명확하게 정의해야 합니다.
  • 학생의 관심사 및 경험에 맞게 조정할 수 있을 만큼 유연해야 합니다.  
  •  • Relevant and authentic – the project task and the project outcome should be relevant in order to achieve basic skills in the curriculum and in a future profession (e.g. as a system developer, IT- or management consultant, project leader) and reflect authentic situations (for example problem solving in an ERP system implementation project, or identifying the sources of recruitment of and educational institute for a management student).
  •  • Introduced by teachers in text and orally in order to address different learning styles.
  •  • Based on a certain or interval space of time. It is also important to make the study points explicit. We have identified this as an important point in order to have an influence on student expectations of time needed to work with a particular task. Time management and plans are also important parts of the project work setting and the student skills that the instructor would like students to gain.
  •  • Concrete and expressed explicitly: When making the project objectives explicit it is also important to define the degree of process and/or product focus in the course. The instructor should clearly define the need for making the process and product dimension
  •  • Flexible enough to adjust to student interests and experiences.  

 

8.3.2 학생 프로젝트 설계하기
8.3.2 Designing Students’ Project

교사는 코스를 전반적으로 설계할 때 다음과 같은 측면을 고려해야 합니다:
In the overall design of a course a teacher should consider the following aspects:

  • 학습 목표는 교사가 명확하게 명시하고 학생들도 알 수 있어야 합니다. 코스 설계의 이러한 측면은 실습(프로젝트에서 학생의 입장)과 이론에 따라 중요합니다.
  • 코스 설계는 전체적으로 다음과 같은 자극을 주어야 합니다:
    • o 학생 활동.
    • o 학생 자신의 경험과 지식을 고려.
    • o 학습 과정과 학생의 자격에 중점을 둠.
    • o 코스의 기반이 되는 커리큘럼의 개선.
  • 코스 활동은 메타인지 수준에서 사고와 기술을 자극해야 합니다(문제 해결의 기본 원리 및 패턴에 대한 성찰과 인식, 학생 자신의 사고 및 학습).
  • 교사의 관점에서 코스 설계는 지난번에 코스를 운영했을 때(해당되는 경우)에 대한 성찰을 기반으로 해야 하며, 그 당시 제기된 변화 요구 사항을 다루어야 합니다.
  • 프로젝트 그룹의 구성은 학급 규모, 달성하고자 하는 학습 결과, 마지막으로 학생들의 다양한 학습 스타일을 염두에 두고 학급 규모에 따라 이루어져야 합니다. 연구에 따르면 그룹은 홀수로 구성해야 효과적입니다. 효과적이고 생산적인 그룹의 이상적인 규모는 7~9명 사이입니다.
  •  • The learning objectives should be clearly stated by the teacher and known by the students. This aspect of course design is important according to practice (student standpoints in our project) and theory.
  •  • The design of the course as a whole should give a stimulus to: o Student activity. o Take students own experiences and knowledge into account. o Focus on a learning process and student qualifications o An improvement of the curriculum that serves as a basis for the course.
  •  • The course activities should stimulate thoughts and skills on a meta-cognitive level (reflection and awareness of underlying principles and patterns in problem solving, students own thinking and learning)
  •  • The design of the course should, from a teacher perspective, be based upon a reflection over the last time the course was run (if applicable) and should address the change needs addressed at that time
  •  • The composition of projects groups should be based on the class size and keeping in mind the class size, the learning outcomes aimed to be achieved and finally the different learning styles of the students. As per the research, the groups should be formed in odd numbers to be effective. An ideal size of the group to be effective and productive is between7-9.

 

8.3.3 프로젝트 모니터링 및 피드백
8.3.3 Project Monitoring and Feedback

모니터링의 설계 및 구성은 코스 설명서/강의 계획서에 명시적으로 설명되어야 하며, 교사는 현재 채점 간격과 함께 구두로 설명해야 합니다. 모니터링은 사전 정의된 기준(예: 문제 처리, 분석, 결론 등의 측면에서 고품질 작업의 특징 설명)에 따라 이루어져야 하며, 교사는 교육 활동을 수행할 때 코스 설계의 효과, 경험 및 가능한 개선 사항에 대한 일지를 작성해야 합니다.
The design of the monitoring and its organizing should be explicitly described in a course description/ syllabus and orally by the teacher together with the present marking interval. Monitoring should be based on a predefined set of criteria (describing for example the distinguishing features of a high quality work in terms of problem handling, analysis, conclusions etc.).The teacher should keep a logbook over the effects, experiences of the course design and possible improvements when performing the education activities.

이상적인 모니터링에는 다양한 학생의 학습 스타일을 다루고 무임승차자의 위험을 줄이기 위해 항상 최소 두 가지 형태의 시험이 포함되어야 합니다
An ideal monitoring should always include at least two different forms of examination in order to address different student learning styles and reduce the risk of free riders.

  • 한 코스에서 적어도 한 번의 시험은 개별 학생의 성취도를 측정해야 합니다.
  • 시험은 신뢰할 수 있고 공정하며 공평해야 합니다.
  • 시험은 교사와 학생 간에 상호 신뢰를 유지해야 합니다.
  • 시험은 학생이 더 많은 것을 배울 수 있는 기회여야 합니다.
  • 시험은 현재의 커리큘럼, 강의 계획서 및 해당 과목에서 표현한 기타 의도와 관련성이 있어야 합니다.
  •  • At least one examination in a course should measure an individual student’s achievement.
  •  • Examination should be reliable, fair and impartial.
  •  • Examination should maintain a reciprocal trust between the teacher and the student.
  •  • Examination should be an opportunity for the students to learn more.
  •  • Examination should be relevant compared with the present curriculum, syllabus and other intentions expressed by the subject area.

8.3.4 피드백
8.3.4 Feedback

여기서 해석하는 피드백은 한편으로는 특정 프로젝트 마일스톤 또는 기타 결과물 달성과 관련된 학습 및 프로젝트 과정의 일부일 수 있으며, 다른 한편으로는 특정 점수 외에 교사의 시험 및 학생과의 커뮤니케이션의 명시적인 부분이 될 수 있습니다.
Feedback, as interpreted here, can on one hand be a part of learning and project process, for example related to achieving certain project milestones or other deliverables, and on the other hand be an explicit part of the teacher’s examination and communication with the student besides a particular mark.

  • 예상되는 피드백의 종류는 교사가 특정 작업의 전제 조건에 명시해야 합니다.
  • 피드백 시점은 항상 교사가 명시해야 합니다.
  • 피드백은 비판적이어야 합니다: 비판적이어야 하고, 차이를 만들어야 하며, 반성적이어야 합니다.
  • 건설적인 비판을 표현하고 검토한 성취도의 긍정적인 측면과 부정적인 측면을 모두 포함해야 합니다.
  • 특정 점수에 대한 표현만 포함해서는 안 된다는 의미에서 질적이어야 합니다. 담당 교사(시험관)의 평가가 포함되어야 합니다. 한 코스에서 여러 단계 또는 단계를 통합합니다.
  • 피드백은 학생과 교사 또는 학습 과정의 일부로서 같은 코스를 수강하는 학생 간의 지속적인 대화를 자극해야 합니다.
  •  • The expected kind of feedback should be expressed by the teacher in the prerequisites of a particular task.
  •  • The point of time for feedback should always be expressed by the teacher.
  •  • Feedback should: Be critical, make a difference, and be reflective.
  •  • Express constructive criticism and contain positive and negative aspects of the achievement examined.
  •  • Be qualitative in a sense that it should not only contain the expression of a particular mark. It should contain estimation from the responsible teacher (examiner).Integrate different stages or phases in a course
  •  • The feedback should stimulate to a continuous dialogue between the student and the teacher or with a student who is on the same course as a part of a learning process.

 

8.3.5 프로젝트 평가
8.3.5 Project Evaluation

프로젝트 평가는 프로젝트 기반 학습의 가장 중요한 측면입니다. 교사/강사는 네 가지 차원을 포괄하는 세 가지 유형의 평가, 즉 자기 평가, 동료 평가, 교사 평가 및 공개 평가를 고려할 수 있습니다:
Project evaluation is the most important aspect of project based learning. A teacher / instructor can consider three types of evaluation encompassing four dimensions viz. Self, peer, teacher and public evaluation:

  • 머디 카드 평가 - 코스 중간에 '머디 카드' 평가를 수행할 수 있습니다(학생이 장단점이 적힌 카드를 작성하고, 이를 바탕으로 노력도를 평가합니다).
  • 교사의 관점에서 수행되는 최종 평가. 학생에게 구술 시험을 보도록 요청하거나 평가를 위해 자신의 경험을 바탕으로 반성적 에세이를 작성하도록 요청할 수 있습니다. 한 과목 영역에서 여러 교사 간의 공동 작업(허용되는 경우)을 수행할 수도 있습니다.
  • 코스 마지막에 학생의 관점에 기반한 자체 평가를 통합할 수도 있으며, 종합적인 평가를 위해 개인 발표/그룹 발표를 권장할 수 있습니다. 자기 평가는 자료, 프로세스 및 최종 결과물에 대한 더 높은 수준의 사고와 인식을 활용하기 때문에 종합 평가의 중요한 부분입니다. 이를 통해 학생은 자신의 성공, 실수 및 다음 목표에 대해 생각하게 됩니다. 구두 또는 서면 형식을 선택하고 이 평가에 대한 기대치 또는 루브릭을 포함합니다.
  • 동료 평가는 교사가 학생의 경험을 고려하기 때문에 더 나은 공동 작업 과정을 촉진하므로 공동 작업 프로젝트에 고유합니다. 이 정보를 사용하여 다음 프로젝트의 워크플로를 수정하고 학생의 작업(노력, 팀에 대한 건설적인 기여도 등)에 대한 책임을 물을 수 있습니다. 평가에서 얻은 의견은 현재 코스를 개선하기 위한 기초 자료로 활용해야 합니다.
  •  • Muddy card evaluation- “Muddy Cards” evaluation can be performed in the middle of the course (student fill in cards with pros. and cons, and based on their listing are evaluated for their efforts
  •  • A Final evaluation performed from a teacher perspective. The students can be asked to appear for a viva- voce exam or to write a reflective essay based on their experience for evaluation purposes A joint action between several teachers (if permissible) in a subject area can also be conducted.
  •  • A self- evaluation based on a student perspective at the end of the course can also be incorporated wherein individual presentation/ group presentations can be encouraged for a comprehensive evaluation. Self-evaluation is an important piece of the summative evaluation because it taps into higher-level thinking and awareness of the material, process, and final product. It makes students think about their successes, mistakes, and goals for the next time. Choose oral or written form, and include expectations or rubrics for this evaluation.
  •  • Peer evaluations are unique to collaborative projects, as they facilitate a better collaborative process because the teacher considers the student experience. We can use this information to modify the workflow for the next project and hold students accountable for their work (effort, constructive contributions to the team, etc.). The input from the evaluation should serve as a basis for improvement of the present course.

8.3.6 프로젝트 기반 학습에 대한 도전 과제
8.3.6 Challenges to Project Based Learning

PBL은 학생 중심 교육을 구현하고 장려하는 효과적인 방식이지만 다음과 같은 과제가 있는 것으로 인식되고 있습니다:
Though PBL is an effective mode to implement and encourage student centric education, it is perceived to have the following challenges:

1. 코스/과목에 대한 심도 있는 탐구 및 PBL 실행을 위한 시간 부족
2. 교육구 커리큘럼 지침을 준수하면 유연성을 발휘할 공간이 거의 또는 전혀 없음
3. 대학/학교 일정 내에서 프로젝트 실행
4. 구성원의 학습 스타일, 관심사, 경험이 다양하므로 프로젝트 그룹 관리 및 모니터링
5. 학생의 이해와 학습 결과를 측정하기 위한 진정한 평가 설계

  • 1. Lack of time for in-depth exploration of the course / subject and implement PBL
  • 2. Adherence to district curriculum guidelines leaves little or no space for flexibility
  • 3. Implementing the project within the University/ school schedule
  • 4. Managing and monitoring project groups as the learning style, interest, experience of the members vary
  • 5. Design of authentic assessment to measure student understanding and learning outcomes

 

8.4 연구 기반 학습
8.4 Research Based Learning

시대의 변화에 따라 고등 교육은 전통적인 강의식 학습에서 학생 중심 교육으로 패러다임이 전환되고 있습니다. 점점 더 많은 고등 교육 기관이 연구 기반 학습의 중요성을 깨닫고 있습니다. 연구 기반 학습은 이론적 지식 기반 또는 이론적 지식을 적절한 데이터 수집 및 분석 절차를 사용하여 현상이나 발생을 조사, 검증 또는 연구하는 통합입니다. 미래 전문가로서의 연구 역량을 키우기 위해서는 탐구와 연구를 실천하는 활동이 필요합니다. 학생들은 이론과 실제가 서로 연결되고 상호 작용하는 학습 과정에 참여해야 합니다. 또한 학생들은 이론 중심의 방법론 수업이 필요하며 관찰, 인터뷰, 해석과 같은 기술을 익혀야 합니다. 연구 기반 교육은 학생들이 자신의 코스에서 독립적으로 연구를 수행하고 그 결과를 공개하는 것을 의미합니다. 이러한 형태의 교수 학습은 강사와 학생이 공동으로 새로운 지식을 습득하는 데 중점을 둡니다. 이를 위해서는 강사가 교사와 학습자로서의 역할을 성찰해야 합니다. 연구 기반 학습의 의도는 대학 학자들이 학생들이 연구 분야와 학생 자신의 학습 사이에 강력한 지적 및 실용적 연결을 구축하도록 돕기 위해 긍정적인 움직임을 보이는 것입니다. 이는 연구 수행 및 방법, 정확한 질문 구성, 연구 과정 처리 및 모니터링과 같은 기술을 내면화하고 연습하는 데 도움이 됩니다. 학생들은 불확실성에 대처하는 능력, 독립성, 팀워크 및 조직 기술을 습득합니다. 
With the changing times, higher education is going through a paradigm shift, moving away from traditional lecture bound learning to student centric education. More and more institutions of higher learning have realized the importance of research based learning. Research based learning is the integration of the theoretical knowledge base or theoretical knowing with the use of appropriate data collection and analysis procedures to examine, verify or study a phenomenon or occurrence. Activities of practicing inquiry and research are needed to develop research competences of future professionals. Students should be involved in a learning process where the theory and practice emerged and interconnect each other. Students also need theoretically oriented method courses and need to work on skills like observation, interview and interpretation. Research-based teaching implies that students carry out research in their courses independently and with an open outcome. This form of teaching and learning focuses on the joint acquisition of new knowledge by instructors and students. This requires lecturers to reflect on their role as teachers and learners. The intention of research-based learning is that university academics make positive moves to help students build strong intellectual and practical connections between research frontiers and the students’ own learning. This helps to internalize and practice research conducts and methods, skills such as formulating a precise question and processing and monitoring a research process. Students attain abilities in dealing with uncertainty, independence, teamwork and organizational skills.

8.4.1 연구 기반 학습의 이점
8.4.1 Benefits from Research Based Learning

학생이 연구 기반 학습을 통해 얻을 수 있는 이점은 다음과 같습니다: 
Benefits Students can derive from research based learning include:

  • 학생 동기 부여 및 수업 참여도 증가
  • 다음을 포함한 학생의 기술 및 역량 개발 및 향상:
    • 비판적 및 분석적 사고, 정보 검색 및 평가와 같은 일반적인 기술 및 문제 해결 능력 향상
  • 학생들의 긍정적인 학습 결과와 연결된 탐구 기반 및 체험적 방법과 같은 교수 학습 접근 방식에 대한 향상된 기회를 제공합니다.
  • 자신이 선택한 학문이 사회에 어떻게 긍정적으로 기여하는지에 대한 학생들의 이해 증진
  • 능동적 학습 촉진; 학생이 지식과 기술을 개발하는 데 적극적으로 참여할 때 가장 많은 것을 배울 수 있습니다.
  • 학습 내용과의 관련성 및 연관성 찾기
  • 학습에 대한 애정을 키우고 평생 학습자 되기
  • 직업 및 개인 생활에서 성공하는 데 필요한 새롭고 필요한 기술과 능력을 개발합니다. 또한 그룹 작업, 시간 및 리소스 관리, 데이터 처리와 같이 이전 가능한 귀중한 기술을 습득합니다.
  •  • Increasing Student motivation and class engagement
  •  • Developing and enhancing students skills and capabilities including: Generic skills such as critical and analytical thinking, information retrieval and evaluation; and problem solving
  •  • Providing enhanced opportunities for teaching and learning approaches such as inquiry-based and experiential methods that have been linked to positive learning outcomes for students
  •  • Increasing students’ understanding of how their chosen discipline contributes positively to society
  •  • Promoting Active learning; student learn most when they are actively involved in developing their knowledge and skills
  •  • Finding relevance in and connections with what they are learning
  •  • Developing a love of learning and become lifelong learners
  •  • Developing new, necessary skills and abilities to be successful in professional and personal life. Also valuable transferable skills such as group work, time- and resource-management and data handling.

 

학생을 위한 교육 혜택은 다음과 같습니다:
Educational benefits for students include:

  • 교수진 멘토와 긴밀히 협력
  • 학생이 선택한 분야의 이슈, 방법, 리더에 대해 학습할 수 있습니다.
  • 수업에서 배운 개념을 '실제' 상황에 적용하기
  • 문제 해결 능력 강화
  • 주요 문헌을 읽는 법 배우기
  •  • Working closely with a faculty mentor
  •  • Learning about issues, methods, and leaders in students’ chosen field
  •  • Applying concepts learned in coursework to ‘real-life’ situation
  •  • Sharpening problems-solving skills
  •  • Learn to read primary literature


학생을 위한 직업적 혜택은 다음과 같습니다:
Professional benefits for students include:

  • 미래 직업 탐색 및 준비
  • 시장성 있는 기술 개발
  • 전문적인 커뮤니케이션 기술 향상
  • 다른 사람들과 협업하고 팀의 일원으로서 효과적으로 일하기
  •  • Exploring and preparing for future careers
  •  • Developing marketable skills
  •  • Enhancing professional communication skills
  •  • Collaborating with others and working effectively as part of a team

학생을 위한 개인적 혜택은 다음과 같습니다:
Personal benefits for students include:

  •  - 분석적이고 독립적인 사상가로서의 성장
  •  - 학생의 비판적 사고, 작문 및 말하기 강화
  •  - 도전 과제를 해결하고 프로젝트를 완료할 수 있는 능력 입증
  •  - 개인적인 관심사 발견 및 증가
  •  • Growing as a analytical and independent thinker
  •  • Strengthens student’ critical thinking, writing, and speaking
  •  • Meeting challenges and demonstrating the ability to complete a project
  •  • Discovering personal interests and increases

강사/교사/진행자를 위한 잠재적 혜택은 다음과 같습니다:
Potential Benefits for Instructor/ Teacher/ facilitator include:

  • 학생과 교사의 관계를 돈독히 합니다: 교육과 연구 활동을 긴밀하게 연계하면 둘 사이의 노력의 경제를 지원합니다.
  • 수업 준비에 소요되는 시간 감소: 학생을 위해 고안할 수 있는 연구와 유사한 학습 활동이 많을수록 교사는 콘텐츠 기반 커리큘럼 준비에 집중할 필요가 줄어듭니다. 교육 콘텐츠에서 학습 과정으로 강조점을 전환하면(종종 학생에게 더 많은 책임을 부여하는 것을 포함) 결국 준비 시간을 줄일 수 있습니다.
  • 연구 과정에 대한 기여도: 학생들이 연구와 같은 학습에 더 많이 참여할수록 학생과 교사 간에 연구 활동에 도움이 되는 대화가 더 많이 이루어질 가능성이 높아집니다.
  • Builds strong student – teacher relationships: Drawing teaching and research activities closely together supports an economy of effort between the two
  •  • Less time spent on teaching preparation: The more research-like learning activities that can be devised for students, the less the teacher has to concentrate on preparing a content-based curriculum. A switch of emphasis from teaching content to learning processes (that often include placing more responsibility on the students) can eventually reduce preparation time.
  •  Contributions to the research process: The more involved students are with research-like learning, the more likely there will be dialogue between students and teachers which feeds into research activity.

8.4.2 연구 기반 학습의 프레임워크
8.4.2 Framework of research-based learning

새로운 도전에 직면하기 위해 대학 프로그램은 학생들의 연구 역량, 특히 연구 프로젝트 수행과 관련된 역량을 개발하고 지식과 학문적 경험을 전문 교육 실무로 이전할 수 있도록 학습 프로그램과 방법을 조정해야 합니다. 이 제안에서 '연구 기반 교육'의 패러다임은 대학 연구 제안에서 구현하기에 가장 적합한 것 중 하나로 보입니다. 연구 기반 교사 교육은 다양한 맥락과 교육 수준에서 연구되어 왔으며, 석-박사 과정에서도 중요한 관심을 가지고 있습니다. 미래 전문직의 연구 역량을 개발하기 위해서는 학습 프로그램의 일부로 탐구와 연구를 실천하는 활동이 필요합니다. 연구 기반 학습은 연구와 교육을 연계하는 다양한 학습 및 교수 전략을 지칭하는 다면적 개념입니다. 연구 기반 학습의 좋은 프레임워크에는 다음이 포함될 수 있습니다: 
In order to face new challenges, university programs have to adapt their study programs and methods in order to develop students’ research competences, especially those related to conduct research projects and also to be able to transfer their knowledge and academic experiences to their professional teaching practice. For this propose, the paradigm of “research-based education” seems to be one of the most adequate to be implemented in the universities study proposals. Researchbased teacher education has been studied in different contexts and education levels, and has a crucial interest in master and doctoral studies. In order to develop research competences of future professionals, activities of practicing inquiry and research are needed as part of the study programs. Research-based learning is a multi-faceted concept referring to a variety of learning and teaching strategies that link research and teaching. Good framework of research-based learning may include:

  • 커리큘럼을 포괄하는 연구 결과 설정
  • 연구 과정 기반 교수학습 방법의 광범위하고 신중한 사용
  • 학생들에게 연구 도구 사용에 대한 워크샵/자습서를 통한 교육 제공
  • 포괄적인 연구 맥락 개발(Blackmore & Fraser, 2007)
  •  • Setting research outcomes that cover the curriculum
  •  • Extensive and Judicious use of research-process based methods of teaching and learning
  •  • Imparting training through workshops/ tutorials to students for using the research tools
  •  • Developing an inclusive research context (Blackmore & Fraser, 2007)

 
8.4.3 연구 기반 학습을 커리큘럼에 통합하기 위한 전략
8.4.3 Strategies for incorporating research-based learning into curriculum

다음 전략은 연구 기반 학습을 코스 및 프로그램에 통합하기 위한 일반적인 지침을 제공합니다. 범주 간에 중복되는 부분이 있을 수 있으며, 일부 제안은 일부 학문 분야, 일부 학년 수준 및 일부 교수-학습 상황에서 다른 것보다 더 적절할 수 있습니다. 아래에 나열된 전략은 다양한 옵션을 제공하며 교수자는 특정 상황과 학생 집단에 맞게 조정할 수 있습니다. 
Following strategies provide general guidelines for incorporating research-based learning into courses and programs. There might be an overlap between categories and some suggestions are more appropriate in some disciplines, at some year levels and in some teaching and learning contexts than others are. The strategies listed below give a range of options and the instructor can tailor these to be used in particular context and student cohort.

코스를 설계하고 가르칠 때 개인 연구를 활용하기
Draw on personal research in designing and teaching courses

  • 현재 진행 중인 연구를 전체 코스의 초점으로 커리큘럼에 직접 통합합니다.
  • 학생들이 아이디어, 개념 및 이론을 이해하는 데 도움이 되도록 연구에서 '실제' 문제를 해결한 자신의 경험을 예시적인 사례로 제시합니다.
  • 대학원생을 포함한 교수진이 현재 진행 중인 연구 프로젝트에 대해 토론하도록 하여 해당 학문의 가치, 관행 및 윤리를 설명합니다.
  • • Incorporate current research directly into the curriculum as the focus of an entire course.
  •  • Refer to your own experience of tackling ‘real world’ problems in your research as illustrative examples to help students understand ideas, concepts and theories.
  •  • Illustrate the values, practices and ethics of your discipline by having faculty members, including postgraduate students, discuss their current research projects.

학과 연구 프로젝트에 학생 참여
Involve students in departmental research projects

  • 학생들에게 더 큰 프로젝트 내에서 독립적인 프로젝트를 제공하세요.
  • 학생들이 대학원생이나 교수진의 연구 조교로 활동하도록 조직합니다.
  • 연구 센터, 산업체 현장 방문을 조직합니다.
  •  • Give students a self-contained project within a larger project.
  •  • Organize students to act as research assistants to higher degree research students or faculty members.
  •  • Organize site visits to research centres, industries

프로그램 내에서 연구 방법, 기술 및 기술을 명시적으로 가르침
Teach research methods, techniques and skills explicitly within programs

  • 실험실 수업 중 연구 방법론에 대한 학생들의 이해도를 높입니다.
  • 실제 연구 문제에 연구 기술을 적용할 수 있는 기회를 제공하는 연구 방법론 과정을 설계합니다.
  • 학생들에게 현대의 주요 연구 문제와 관련된 다양한 방법과 기술을 배울 수 있는 기회를 제공하는 과목 내 평가 과제를 설계합니다.
  •  • Develop students’ understanding of research methodologies during laboratory classes.
  •  • Design research methodology courses that provide opportunities to apply research skills to authentic research problems.
  •  • Design assessment tasks within subjects that provide students with opportunities to learn different methods and skills associated with key contemporary research issues.

소규모 연구 활동을 학부 과제로 만들기
Build small-scale research activities into undergraduate assignments

  • 모든 수준의 학생들은 종종 그룹으로 수행할 수 있는 소규모 연구 활동의 이점을 누릴 수 있습니다. 이는 개인 연구보다는 연구 팀에서 작업하는 연구 문화를 반영합니다.
  • 학생에게 기존 '실제' 프로젝트의 연구 데이터를 분석하도록 요청합니다.
  • 학생들에게 소규모 문헌 검토를 수행하고, 방법론을 결정하고, 데이터를 수집하고, 결과를 작성하고, 결론에 도달해야 하는 연구 질문을 제공합니다.
  •  • Students at all levels can benefit from small-scale research activities that can often be carried out in groups. This mirrors the research culture of working in research teams rather than conducting individual research.
  •  • Ask students to analyze research data from existing ‘real world’ projects.
  •  • Provide students with a research question which requires them to conduct a small-scale literature review, decide on methodology, gather data, write up results and reach conclusions.

학생들이 학과의 연구 문화의 일부라고 느끼도록 장려합니다.
Encourage students to feel part of the research culture of Departments

  • 학부생에게 자신이 공부하고 있는 학과의 연구 관심 분야와 직원들의 강점에 대해 알려주세요.
  • 동료의 관심 분야와 업적을 언급하고 가능하면 동료가 학생들과 자신의 연구에 대해 이야기하도록 초대합니다.
  • 학부생과 대학원생이 학자 방문 연구 세미나에 참석하고, 컨퍼런스에서 논문을 발표하고, 학생 컨퍼런스를 주최하도록 장려합니다.
  •  • Inform undergraduate students about the research interests and strengths of staff in the Departments in which they are studying.
  •  • Refer to colleagues’ areas of interest and achievements and, where possible, invite them to speak to students about their work.
  •  • Encourage undergraduate and postgraduate students to attend research seminars by visiting scholars, give papers at conferences, and host student conferences.

교육에 연구자의 가치를 불어넣으세요.
Infuse teaching with the values of researchers.

  • 학생들이 객관성, 증거 존중, 타인의 견해 존중, 모호성에 대한 관용, 분석적 엄격성 등 연구자의 가치를 이해하고 이를 지향하도록 장려하세요:
  • 강의실 상호작용에서 연구자의 가치 모델링하기
  • 연구자가 논문이 출판되기 전에 거치는 과정과 일반적으로 수정을 거치는 횟수에 대해 이야기하기
  • 동일한 주제에 대해 상반된 주장을 제시하는 연구 논문을 제공하고 학생에게 그 타당성을 분석하고 결론을 도출하도록 요청하는 등, 학생이 이러한 가치를 개발하도록 요구하는 구조화된 학습 경험을 제공합니다
  • • Encourage students to understand and aspire to researchers’ values such as objectivity, respect for evidence, respect for others’ views, tolerance of ambiguity, and analytical rigour, by:
  •  • Modeling researchers’ values in classroom interactions
  •  • Talking about the process that researchers go through before their work is published and the number of revisions typically involved
  •  • Providing structured learning experiences that require students to develop these values, such as, providing research articles presenting opposing arguments on the same topic and asking students to analyze their validity and draw a conclusion

8.4.4 현대 연구 이슈를 중심으로 학습 활동 설계하기
8.4.4 Designing learning activities around contemporary research issue

  • 학생들에게 최신 연구 문제를 탐구하거나 학문의 기초에 대한 지식을 바탕으로 현재 현실 세계의 문제에 대한 해결책을 제안하도록 요청합니다. 이 활동의 변형으로는 학생들에게 다음과 같은 질문을 하는 것도 포함됩니다:
  • 연구에 대한 언론 보도와 공식 보고서를 비교하여 해당 분야의 현재 연구 문제 현황에 대한 보고를 조사합니다.
  • 최근 연구 결과를 설명하는 저널 기사에 제시된 방법론과 논거를 분석합니다.
  • 소규모 문헌 검토를 수행하여 지식의 현재 상태와 해결해야 할 추가 질문에 대한 결론을 도출합니다.
  • • Ask students to explore cutting-edge research problems or to suggest solutions to current real world problems based on their knowledge of the fundamentals of the discipline. Variants of this activity include asking students to:
  •  • Investigate the reporting of the status of a current research question in the discipline by comparing media reporting of a study with the official report.
  •  • Analyze the methodology and argument presented in a journal article setting out recent research findings.
  •  • Conduct a small-scale literature review, leading to a conclusion about the current state of knowledge and further questions to be addressed.

8.4.5 프로그램 내에서 연구 방법, 기법 및 기술을 명시적으로 가르치기
8.4.5 Teaching research methods, techniques and skills explicitly within programs

학부 및 대학원 수준의 많은 학생들이 연구 수행을 위한 기초가 매우 취약합니다. 이러한 결핍은 교수자와 학생 모두에게 좌절감을 안겨줄 수 있는 도전적인 과제가 됩니다. 이러한 문제를 방지하기 위해 강사는 다음 사항을 고려해야 합니다.
Many students at both undergraduate and graduate levels possess very weak foundations for conducting research. This deficit makes it a challenging undertaking that can lead to frustration for both the instructor and the student. For avoiding the problems the instructor should take into consideration the following points.

  • 실험실 수업 중에 연구 방법론에 대한 학생의 이해를 개발합니다. 
  • 연구 과제를 더 잘 이해할 수 있도록 시뮬레이션 과정을 설계합니다. 
  • 학생에게 현대의 주요 연구 문제와 관련된 다양한 방법과 기술을 배울 수 있는 기회를 제공하는 과목 내 평가 과제를 설계합니다. 
  • 실제 연구 문제에 연구 기술을 적용할 수 있는 기회를 제공하는 연구 방법론 과정을 설계합니다. 
  • 수업 세션 중에 학생들을 팀으로 나누고 각 팀이 매우 직관적인 가설을 세우고 질문을 생성하도록 장려해야 합니다. 
  • 문헌 검토 단계에서는 일반적으로 다른 코스에서는 사용되지 않지만 독창적인 연구를 수행하는 데 필수적인 중요한 온라인 아카이브를 학생에게 노출할 수 있는 기회를 교수자에게 제공합니다. 
  • 학생에게 다양한 통계 소프트웨어 및 통계 방법에 대한 실무 지식을 제공합니다. 
  •  • Develop students’ understanding of research methodologies during laboratory classes.
  •  • Designing simulation courses for better understanding the research tasks.
  •  • Design assessment tasks within subjects that provide students with opportunities to learn different methods and skills associated with key contemporary research issues.
  •  • Design research methodology courses that provide opportunities to apply research skills to authentic research problems.
  • • During a class session, students may be divided into teams, and each team came up with a set of very intuitive hypotheses, they should be encouraged to generating the question.
  •  • The literature review step offers the instructor an opportunity to expose students to important online archives that typically are not used in other courses, but that are essential to conducting original research.
  •  • Proving some hands-on knowledge to the students for different statistical software and statistical methods.

8.4.6 소규모 연구 활동 구축하기
8.4.6 Building small-scale research activities

모든 수준의 학생들은 종종 그룹으로 수행할 수 있는 소규모 연구 활동의 혜택을 누릴 수 있습니다. 이는 개인 연구보다는 연구 팀에서 일하는 연구 문화를 반영합니다. '실습' 접근 방식을 강조하는 코스에서는 학생들에게 연구가 어떻게 수행되는지 가르쳐야 하지만, 사회과학에서 경험주의의 중요성을 전달하기 위한 방법으로 학생들이 직접 연구를 수행하도록 요구해야 합니다. 강사와 학생 모두 소규모 연구 활동의 이점을 누릴 수 있습니다. 교수자에게는 연구와 강의를 통합할 수 있는 기회를 제공하고, 학생들에게는 활발한 연구 의제에 직접 참여할 수 있는 기회를 제공합니다. 교수는 특정 분야를 연구한 경험을 학생들과 공유할 수 있습니다. 이 경우 학생들은 권위자를 조사하면서 발견한 어려움, 보람, 기회에 대한 솔직한 토론을 높이 평가했습니다. 
Students at all levels can benefit from small-scale research activities that can often be carried out in groups. This mirrors the research culture of working in research teams rather than conducting individual research. A course that stresses the “hands-on” approach should teach students how research is conducted, but it also should require them to do the research, as a way of communicating the importance of empiricism in the social sciences. Both instructors and students can benefit from the small scale research activities. It gives the instructor an opportunity to integrate research with teaching, and to inject students directly into an active research agenda. Professors are able to share with students their experiences of trying to research a particular area. In this case, students appreciated the frank discussions regarding the difficulties, rewards, and opportunities that they discovered while researching authorities.

  • 학생들이 자신의 관심 분야에 대해 발표된 연구를 평가하는 등 자신의 관심 분야에 방법을 적용할 수 있는 과제를 제시하세요.
  • 자신의 교실, 학생 또는 라이프스타일 문제에서 문제가 되는 영역을 찾아내는 과제를 주는 등 다양한 분야에서 수행된 실제 연구 사례를 통해 학생들의 참여를 유도합니다.
  • 학생들에게 기존 '실제' 프로젝트의 연구 데이터를 분석하도록 요청합니다.
  • 학생들에게 소규모 문헌 검토를 수행하고, 방법론을 결정하고, 데이터를 수집하고, 결과를 작성하고, 결론에 도달해야 하는 연구 질문을 제공합니다.
  • 이전 학기에 습득한 연구 기술과 학문적 지식을 활용하여 주요 프로젝트에 초점을 맞춘 캡스톤 과정을 제공합니다.
  • 동료의 관심 분야와 성과를 참고하고, 가능하면 동료가 학생들과 자신의 작업에 대해 이야기하도록 초대합니다.
  • 학부생과 대학원생이 학자 방문 연구 세미나에 참석하고, 학회에서 논문을 발표하고, 학생 컨퍼런스를 주최하도록 장려합니다.
  • • Give assignments that let students apply methods to their own area of interest such as evaluate published studies in their area of interest.
  •  • Engage them with real world examples of research conducted in different areas, such as give them a task to indentify the area of issue in their own classroom, students or their life style issues.
  •  • Ask students to analyze research data from existing ‘real world’ projects.
  •  • Provide students with a research question which requires them to conduct a small-scale literature review, decide on methodology, gather data, write up results and reach conclusions.
  •  • Offer capstone courses that focus on a major project utilizing the research skills and disciplinary knowledge acquired in previous semesters.
  •  • Refer to colleagues’ areas of interest and achievements and, where possible, invite them to speak to students about their work.
  •  • Encourage undergraduate and postgraduate students to attend research seminars by visiting scholars, give papers at conferences, and host student conferences.

8.4.7 학생(고등 연구생)에게 연구 가치관 심어주기
8.4.7 Infusing research values in the students (higher degree research students)

학생들이 객관성, 증거 존중, 타인의 견해 존중, 모호성에 대한 관용, 분석적 엄격성과 같은 연구자의 가치를 이해하고 열망하도록 장려합니다: 
Encourage students to understand and aspire to researchers’ values such as objectivity, respect for evidence, respect for others’ views, tolerance of ambiguity, and analytical rigour, by:

  • 강의실 상호작용에서 연구자의 가치 모델링하기
  • 연구자가 논문이 출판되기 전에 거치는 과정과 일반적으로 수정을 거치는 횟수에 대해 이야기하기
  • 동일한 주제에 대해 상반된 주장을 제시하는 연구 논문을 제공하고 학생에게 그 타당성을 분석하고 결론을 도출하도록 요청하는 등 학생들이 이러한 가치를 개발하도록 요구하는 구조화된 학습 경험을 제공합니다. 학부 연구에 참여하는 것은 학생들에게 교육적, 직업적, 개인적으로 유익합니다. 연구를 통해 얻을 수 있는 이점에 대해 교육합니다.
  •  • Modeling researchers’ values in classroom interactions
  •  • Talking about the process that researchers go through before their work is published and the number of revisions typically involved
  •  • Providing structured learning experiences that require students to develop these values, such as, providing research articles presenting opposing arguments on the same topic and asking students to analyze their validity and draw a conclusion Participation in undergraduate research benefits students educationally, professionally, and personally. Educate them for about the benefits they get from doing research.

8.5 사례 기반 학습
8.5 Case Based Learning

"사례"우리가 사용하는 문제 또는 의사 결정자가 실제로 직면하여 그의 분석과 결정을 필요로 하는 상황에 대한 설명입니다. 학습 환경에서는 주어진 환경에서 문제에 대한 가능한 최선의 해결책을 찾기 위해 그룹 토론을 하는 경우가 많습니다. 사례 토론은 단순한 경험의 공유를 넘어 협동적이고 창의적인 사고의 연습입니다. 확실히 함께 행동하는 그룹의 작업은 개별 부분의 합보다 더 많은 것을 의미합니다. 따라서 이 학습 방법은 사례와 토론이라는 똑같이 중요한 두 가지 요소를 기반으로 한다는 점을 명심해야 합니다. 
A “Case” is a problem in our usage, or a description of a situation that has actually faced a decision maker and required his analysis and decision. In learning environment it is quite often a group discussion exercise to find the best possible solution to the problem in the given environment. Case discussion is more than just a pooling of experience; it is an exercise in cooperative and creative thinking. Certainly the work of the group acting together is something more than the sum of its individual parts. Thus it is important to bear in mind that this method of learning is based on two equally important elements—cases and discussions.

8.5.1 사례 사용의 철학/근거
8.5.1 Philosophy / Rationale for Use of Case

다음은 교육에 사례를 사용하는 철학 및/또는 근거에 대한 발췌문입니다.
Here is an excerpt on the philosophy and / or rationale for using cases for teaching.

"의심할 여지없이 교과서와 강의의 경로를 통해 소위 지식을 습득하는 것이 더 쉬울 것입니다. 사례 방식은 어려운 방식입니다. 그럼에도 불구하고 사례법은 실제 교육과 단순히 수동적으로 습득한 단어와 아이디어 사이의 차이를 만듭니다. 지식이 곧 힘이라는 말은 자주 사용됩니다. 너무 자주 이 말은 지식이 권력을 부여한다는 의미로 해석됩니다. 수동적으로 습득한 지식이 받는 사람에게 어떤 권력을 부여한다는 것은 사실과 다릅니다. "지식은 힘이다"라는 말의 진정한 의미는 진정한 지식은 문제를 해결하고, 문제를 분석하고, 사실을 정리하고, 무엇을 해야 하는지 파악한 다음 실행할 수 있는 힘, 이러한 힘으로 구성된다는 것입니다. 즉, 진정한 교육은 단순히 책으로 배우는 것이 아니라 상황에 대처할 수 있는 힘, 특히 새롭고 낯선 상황에 대처할 수 있는 힘을 길러줘야 합니다. 이제 그런 힘은 주어지는 것이 아닙니다. 습득해야 합니다. 개인적인 노력을 통해 습득해야 합니다. 진정한 교육은 노력입니다. 강사의 아이디어를 주입하는 것이 아니라 학생의 마음을 끌어내는 과정입니다. 케이스 방식에서는 학생 스스로 무언가를 찾아내야 합니다. 케이스 방식에서는 학생이 수동적인 역할이 아니라 능동적인 역할을 합니다. 강사가 지시하는 것이 아니라 학습자가 사례를 연구하여 강사에게 말하기를 기대합니다. 그런 다음 자신이 취한 입장을 논리적으로 정당화할 수 있는지 질문합니다. 처음에는 사례 방식이 어렵게 느껴질 수 있지만 결국에는 큰 도움이 될 것입니다. "(브라운 외 1961) 
“Undoubtedly it would be easier for you to acquire so-called knowledge by the route of the textbook and the lecture. The case method is the hard way. Nevertheless the case method makes the difference between real education and merely passively acquired words and ideas. The statement frequently is made that knowledge is power. Too frequently that is interpreted to mean that knowledge confers power. Nothing could be less true than the passively acquired knowledge confers any power on the recipient. The true meaning of the statement “knowledge” is power” is that true knowledge consists of power, power to tackle a problem, break it down, sort out the facts, see what must be done, and then get it done. In other words, real education should equip the student not just with book learning but with power to deal with situations, particularly power to deal with new and unfamiliar situations. Now that kind of power cannot be conferred. It has to be acquired. It has to be acquired by painstaking personal effort. Real education is hard work. It is a process of drawing out the student’s mind, not of pouring in the instructor’s ideas. Under the case method you are expected to dig things out for yourself. Under the case method you play an active rather than a passive role. The instructor does not tell you, he expects you to study the case and tell him. Then he questions you to see whether you can logically justify the position which you take. You will find the case method hard at the outset but it will pay dividends in the end. “(Brown et.al 1961)

........ 지혜는 말할 수 없기 때문에2
……..
Because wisdom can’t be told2

현명한 말과 건전한 조언을 듣는 단순한 행위는 누구에게도 도움이 되지 않는다고 단호하게 말할 수 있습니다. 학습 과정에서는 학습자의 역동적인 협력이 필요하지만, 이러한 협력이 저절로 생기는 것은 아닙니다. 이러한 협력은 제공되어야 하고 지속적으로 장려되어야 합니다. 
It can be said flatly that the mere act of listening to wise statements and sound advice does little for anyone. In the process of learning, the learner’s dynamic cooperation is required, such cooperation form students does not arise automatically, however. It has to be provided for and continually encouraged.

비즈니스를 학문으로 삼은 사람들의 축적된 경험과 지혜를 강의와 독서를 통해 지적인 젊은이들에게 전달함으로써 원하는 결과를 얻을 수 있다는 분석되지 않은 가정을 쉽게 받아들일 것입니다. 물론, 보다 신중하게 선택된 젊은이들이 다른 사람들이 습득하고 발전시키는 데 평생이 걸렸던 정보와 일반적인 원칙을 제공받는 이점을 가지고 비즈니스 경력을 시작한다면, 그들은 정보가 부족한 동시대 사람들보다 확실히 앞서 나갈 것으로 기대할 수 있습니다. 
It would be easy to accept the unanalyzed assumption that by passing on, by lectures and readings, to young men of intelligence the accumulated experience and wisdom of those who have made business their study, the desired results could be achieved. Surely, if more carefully selected young men were to begin their business careers with the advantage of having been provided with information and general principles which it has taken others a lifetime to acquire and develop, they might be expected to have a decided head start over their less informed contemporaries.

교사는 다른 사람들의 지식의 지평을 넓히는 것이 자신의 목표이기 때문에 특히 자신이 알고 있는 것을 알려주고 올바른 생각과 행동의 길을 제시하고 싶은 유혹에 시달립니다. 그들의 도움이 요청되는 영역은 그들이 여러 번 침투한 영역입니다. 그들은 아마도 모든 각도에서 자신의 주제에 대해 성찰했을 것입니다. 그들은 자신이 답을 알고 있다고 생각하며 사심 없이 모든 사람에게 기꺼이 알려줍니다. 따라서 그들의 학생들은 그들이 그렇게 훌륭한 답을 찾을 수 있다고 가정하더라도 문제를 해결하는 데 걸렸을 모든 시간과 노력을 절약 할 수 있습니다. 
Teachers, since it is their avowed objective to extend the knowledge boundaries of others, are particularly beset by the temptation to tell what they know - - to point out right paths of thoughts and action. The areas in which their help is called for are the once they have penetrated many times. They have reflected, presumably, upon their subjects from all angles. They feel that they know the answers and, with unselfish abandon, they are willing to tell all. Their students thus will be saved all the time and effort it would have taken them to work things out for them, even granted they ever could work out such excellent answers.

우리는 다른 사람의 통찰력과 지식을 효과적으로 사용할 수 없습니다: 우리가 사용하는 것은 반드시 우리 자신의 지식과 통찰력이어야 합니다.....
We cannot effectively use the insight and knowledge of others: it must be our own knowledge and insight that we use…..

8.5.2 사례 교수법에 따라 학생과 교사는 어떻게 되나요?
8.5.2 What happens to students and teachers under the case method of teaching?

사례 중심 교수법은 사실상 정반대의 가부장적 성격을 띠는 주입식 교수법과는 달리 민주적이라고 할 수 있습니다. 사례법을 사용하면 교사와 학생 등 학습 그룹의 모든 구성원이 동일한 기본 자료를 가지고 있으며, 이를 바탕으로 분석하고 결정을 내릴 수 있습니다. 따라서 각자는 비즈니스 관행과 정책을 규율하는 원칙 체계에 기여할 수 있는 동일한 기회를 갖게 됩니다. 모두가 동등한 위치에 있으며 모두가 경쟁하고 있습니다. 강의실 안팎에서 강력한 기브앤테이크가 이루어질 수 있는 기반이 마련됩니다. 상호 만족스럽고 우월한 개념을 구축하는 것을 목표로 아이디어를 교환하는 귀중한 예술이 배양됩니다. 이러한 교환은 생각을 자극하고 다른 사람으로부터 배우는 방법에 대한 교훈을 제공하며 자신의 아이디어를 효과적으로 전달하는 경험도 제공합니다.
The case plan of instruction may be described as democratic in distinction to the telling method, which is in effect diametrically patriarchal. With the case method, all members of the academic group, teacher and students, are in possession of the same basic materials into the light of which analysis are to be made and decisions arrived at. Each therefore, has an identical opportunity to make a contribution to the body of principles governing business practice and policy. Everyone is on a par and everyone is in competition. The basis is provided for strong give and take both inside and outside the classroom. The valuable art of exchanging ideas is cultivated, with the object of building up some mutually satisfactory and superior notion. Such an exchange stimulates thought, provides a lesson in how to learn from others, and also gives experience in effective transmission of one’s own ideas.

교사와 학생 모두에게 사례 학습 방법의 규율은 엄격합니다. 가부장적인 강사의 지배를 받아왔기 때문에 사실과 아이디어를 다소 수동적으로 받아들이고 그대로 반복하는 비교적 단순한 작업만 해왔던 젊은 남성들에게는 때때로 그 충격이 치명적일 수 있습니다. 모든 학생이 능동적으로 사고하고 동시대 사람들의 격렬한 도전을 받을 수 있는 독립적인 판단을 내리는 부담을 견딜 수 있는 것은 아닙니다. 많은 사람들은 항상 정답이 정해져 있는 것을 선호합니다. 특히 시스템에 익숙하지 않은 교사들은 독단주의라는 안전한 피난처를 떠나 민주적인 방식으로 학생들을 만나는 것이 때때로 부담스러울 수 있습니다. 그러나 사례 시스템의 본질적으로 극적이고 도전적인 특성은 새로 온 사람에게 불안과 혼란을 야기할 수 있지만, 동시에 깊은 관심을 불러일으키고 적응에 필요한 노력을 기울이게 합니다. 
For both teachers and students, the disciplines of the case method of learning are severe. Sometimes the shock is devastating to young men who previously have been dominated by patriarchal instructors and thus have been faced merely with the relatively simple task of more or less passive reception and verbatim repetition of facts and ideas. Not all students can bear the strain of thinking actively, of making independent judgments which may be challenged vigorously by their contemporaries. Many people will always prefer to have answers handed to them. Teachers, for their part, particularly those unused to the system, sometimes find it straining to leave the safe haven of dogmatism and meet their students on a democratic plane. The inherently dramatic and challenging character of the case system, however, although it may produce anxiety and confusion for the newcomer, also arouses his deep interest and leans him to make the effort required for adjustment.

모든 학생들이 동시대 사람들의 격렬한 도전을 받을 수 있는 독립적인 판단을 내리는 능동적인 사고를 견딜 수 있는 것은 아닙니다. 많은 사람들은 항상 정답이 정해져 있는 것을 선호합니다. 특히 시스템에 익숙하지 않은 교사들은 독단주의라는 안전한 피난처를 떠나 민주적인 방식으로 학생들을 만나는 것이 때때로 부담스러울 수 있습니다. 그러나 사례 시스템의 본질적으로 극적이고 도전적인 특성은 새로 온 사람에게 불안과 혼란을 야기할 수 있지만, 동시에 깊은 관심을 불러일으키고 적응에 필요한 노력을 기울이게 합니다.
Not all students can bear thinking actively, of making independent judgments which may be challenged vigorously by their contemporaries. Many people will always prefer to have answers handed to them. Teachers, for their part, particularly those unused to the system, sometimes find it straining to leave the safe haven of dogmatism and meet their students on a democratic plane. The inherently dramatic and challenging character of the case system, however, although it may produce anxiety and confusion for the new comer, also arouses his deep interest and leans him to make the effort required for adjustment.

8.5.3 사례를 어떻게 분석하고 준비하나요? (데이비드 외 1965)
8.5.3 How to Analyze and prepare a case? (David et al 1965)

사례 분석에 대한 공식은 없으며, 각 사례는 새롭고 독특한 상황으로 다루어야 합니다. 한 사례에 적절해 보이는 접근 방식이 다른 사례에는 매우 부적절할 가능성이 높습니다. 그러나 사례 준비 시 따를 수 있는 몇 가지 일반적인 절차가 있습니다. 많은 사례를 분석하기 위한 전제 조건은 의사 결정의 언어에 대한 이해입니다. 각 사례에는 결정이 필요한 문제가 있습니다. 당연히 결정은 사건의 사실관계에 대한 정확한 파악을 바탕으로 내려져야 합니다. 따라서 사례에 접근하는 데 있어 중요한 첫 번째 단계는 사건 자체를 주의 깊게 읽고 파악하는 것입니다. 사실 첫 번째 읽기로 사실관계를 파악하는 것은 거의 불가능하며, 첫 번째 읽기는 주로 주요 쟁점을 분리하고 배경을 스케치하는 수단으로 유용합니다. 일반적으로 세부 사항을 채우려면 두 번째 읽기가 필요합니다.
There is no formula for the analysis of cases; each must be handled as a new and unique situation. The approach that appears to be appropriate for one case is more than likely quite inappropriate for another. There are, however, certain general procedures that can be followed in the preparation of cases. A prerequisite to analysis of many cases is an understanding of the language of the decision making. Each case poses issues requiring decision(s). Obviously, decisions should be based on a sound grasp of the facts of the case. A vital first step in approaching any case, then, is to read and read carefully the case itself. It is seldom possible to assimilate the facts in a first reading; indeed, the first reading is useful primarily as a means of isolating leading issues and sketching the background. A second reading is generally necessary to fill in the details.

학생은 사례를 읽는 동안 끊임없이 스스로에게 질문해야 합니다: 무엇이 문제인가? 조치가 필요한 요점은 무엇인가? 이 상황을 초래한 원인은 무엇인가요? 대부분의 경우 문제는 매우 간단하고 직접적일 수 있지만, 어떤 경우에는 복잡하고 모호할 수 있습니다. 많은 경우, 처음 읽었을 때 문제처럼 보이는 것이 자세히 살펴보면 더 깊고 근본적인 문제의 한 증상일 수 있습니다. 사례 처리의 이 단계는 의사가 환자의 질병을 진단하려고 시도하는 것과 유사합니다. 의사는 여러 가지 증상을 관찰하여 가설을 세웁니다. 사실상 여기 학생도 같은 일을 하고 있는 것입니다. 의료 사례에서와 마찬가지로 이 진단 단계는 문제의 진단에 따라 조치에 대한 권장 사항이 달라지기 때문에 매우 중요합니다. 진단 기술은 교과서를 읽는다고 해서 생기는 것이 아니라 실제 사례를 반복적으로 관찰하는 데서 비롯됩니다. 
Throughout his reading of the case, the student should be constantly asking himself:
what is the problem? What is the point (or points) on which action is required? What has caused this situation? In many cases, the issue will be quite simple and direct; in others, it will be complex and obscure. In many cases, what seems like the issue on first reading may upon reflection be only a symptom of some deeper, more basic problem. This stage in the handling of a case is analogues to the physician attempting to diagnose his patient’s illness. He develops a hypothesis by observing a number of symptoms. In effect, the student here is doing the same. As in a medical case, this stage of diagnosis is crucial, for it is on the diagnosis of the problem that recommendations for action will depend. Skill in diagnosis seldom from reading textbooks: it comes from repeated observation of actual cases.

핵심 문제와 그 원인을 진단한 학생은 일반적으로 몇 가지 대안적인 행동 방침에 직면하게 되는데, 이 단계에서 가능한 모든 행동 방침의 전체 목록을 작성하는 것이 종종 유용합니다. 그런 다음 각각을 개별적으로 고려하고 그 의미와 예상되는 결과를 검토할 수 있습니다. 이 과정에서 각 조치가 회사 내부 운영뿐만 아니라 소비자, 경쟁사 및 경제 전체에 미치는 영향을 신중하게 검토해야 합니다. 그런 다음 일부 대안은 더 이상 고려하지 않고 신속하게 제거할 수 있습니다. 이제 사례를 읽고, 진단하고, 대안을 고려했습니다. 이 절차를 통해 실현 가능한 대안을 두세 가지로 줄이는 데 성공했다고 가정하고, 이 대안들이 모두 상당히 균형 있게 고려되었다고 가정해 봅시다. 이 시점에서 명확한 결정을 내리기 전에 답을 구해야 하는 일련의 질문으로 중심 문제를 세분화하는 것이 유용할 수 있습니다.
Having diagnosed the central problem and its likely causes, the student is generally faced with several alterative courses of action; it is frequently useful at this stage to make a complete listing of all the possible courses of action. Then each may be considered individually, and the implications and likely results examined. In this process, the effects of each action, not only upon the internal operations of the firm, but upon consumers, competitors, and the economy as a whole, should be carefully weighed. Some alternatives may then be quickly eliminated from further consideration. The case has now been read, diagnosed, and alternatives considered. Let us, suppose that this procedure has succeeded in reducing the feasible alternatives to two or three in number, all fairly evenly balanced. It may be useful at this point to break down the central problem into a series of questions which requires answers before any definite decisions can be made.

많은 경우 질문에 대한 명확한 답이 나오지 않을 것입니다. 학생이 질문에 답할 수 있을 만큼 충분한 정보가 없는 경우도 종종 있습니다. 이 경우 좌절감을 느낄 수 있지만, 학생은 비즈니스에서도 동일한 상황이 종종 발생한다는 점을 인식해야 합니다. 대부분의 의사 결정은 불완전한 정보를 바탕으로 이루어집니다. 학생들은 정보에 입각한 추측을 하거나 직감에 의존해야 합니다. 
At many points, no definite answers will be forthcoming in response to questions. Often there will not be sufficient information in the case to enable the student to answer the questions. While this may prove frustration, the student should realize that the same situation is often the case in business itself. The vast majority of decisions are made on the basis of incomplete information. They must make informed guesses, or even play hunches.

8.5.4 교실에서 기대되는 것은 무엇인가? (David 외 1965)
8.5.4 What is expected in the Classroom? (David et al 1965)

개별 사례 연구를 통해 얻을 수 있는 보상은 의심할 여지가 없지만, 교실에서의 주고받기는 사례 방법을 진정한 결실로 가져다 줍니다. 어떤 학생은 이 단계가 가장 어렵다고 느낄 수 있으며, 개인 작업에서 가장 뛰어난 학생도 다른 사람들 앞에서 자신의 생각을 발표하고 방어해야 할 때는 상당히 비효율적이 될 수 있습니다. 물론 그 반대도 마찬가지입니다. 아마도 이 글을 읽는 대부분의 독자는 관리직에 진출할 계획이 있기 때문에 이 글을 읽고 있을 것입니다. 경영은 진공 상태에서 이루어지는 것이 아니라 사람을 위해 사람이 운영하는 것입니다. 다른 사람들과 소통하고 협력하는 능력은 효과적인 경영을 위해 필요한 자질 목록에서 높은 순위를 차지합니다. 
While there are undoubted rewards from individual study of cases, the give and take of the classroom brings the case method to true fruition. Some students will find this the most difficult step of all; some who are most brilliant in their individual work become quite ineffective when called on to present and defend their thinking before others. The reverse is also true, of course. Presumably, most of the readers are here because they plan to enter a management career. Management is not carried on in a vacuum; it is run by people for people. The ability to communicate with others and to work with others stands high on the list of qualities necessary for effective management.

사례법을 수업에 활용하면 상대방의 의견을 경청하는 법을 배우고, 자신을 표현하고 다른 사람을 자신의 관점으로 설득하는 방법을 배우는 경험을 할 수 있습니다. 이 방법은 자신의 판단에 대한 자신감을 얻을 수 있는 기회를 제공할 뿐만 아니라 어느 정도의 겸손함도 제공합니다. 또한 문제의 한 차원 또는 다른 차원에 대한 엄격한 논리적 분석과 공통 분모가 없는 여러 요소를 고려해야 할 때 판단력이 어느 정도까지 발휘되는지 배울 수 있는 가장 귀중한 기회를 제공합니다.5 
The case method if used in class provides an experience in learning to listen to the views of one’s gears and in learning how to express one’s self and perhaps to persuade others to one’s point of view. The method provides an opportunity to gain confidence in one’s own judgment, but also a degree of humility as well. It also provides a most invaluable opportunity to learn how far one can go by rigorous logical analysis of one or another dimension of the problem and the extent to which judgment comes into play when many factors which have no common denominator must be weighed.
5

8.5.5 케이스 방법의 한계: (말콤 1954)
8.5.5 Limitations of Case Method: (Malcolm 1954)

그러나 사례법에는 단점도 있습니다. 
The case method, however, has its disadvantages.

첫째, 행정 기술 개발의 진전이 느리고, 특히 학생이 사례법을 처음 접하고 사례법에 따른 자신의 변화된 지위와 책임을 이해하려고 노력하는 초기에는 학생과 교사 모두 좌절감을 느낀다. 
First, progress in developing administrative skills is slow, and student and teacher alike feel thwarted, especially in the early months, when the student first comes into contact with the case method and is seeking to comprehend his changed position and responsibilities under the case method of instruction.

둘째, 교육에 적용되는 사례법은 사실에 대한 기본적인 지식과 성숙도(책임을 받아들일 준비가 되어 있는 상태)를 전제로 하는데, 그 결과가 현실적이기 위해서는 학생의 젊음에 한계를 두어야 합니다.
Secondly, the case method as applied to instruction assumes a basic knowledge of facts as well as a maturity - - a readiness for acceptance of responsibility- - that, if the results are to be realistic, puts a lower limit to the youthfulness of the student.

사례 방법의 더 중요한 한계는 문제 상황을 지나치게 단순화한다는 것입니다. 검색해야 할 영역이 사례 자체에 의해 제한되기 때문에 문제 인식이 단순화되는데, 이는 비즈니스에서는 일반적이지 않은 조건입니다. 또한, 비즈니스 상황에서는 어떤 정보가 필요한지 결정하고 적절한 노력을 기울이면 얻을 수 있는지를 파악하는 것이 관리자의 중요한 업무인 반면, 사례에서는 분석과 계획에 필요한 요소와 많은 정보가 사례 작성자에 의해 사례에 통합되어 있습니다. 사례 방법의 또 다른 중요한 한계는 전체 행정 프로세스를 종합할 수 없다는 것입니다. 분석이 완료되고 계획이 수립된 후에는 실제 수행 과정, 대면 수준에서 세부 사항을 매일 감독하고 결과를 확인하는 작업이 있으며, 이 과정에서 사례 방법은 제한적으로 도움이 될 수 있습니다.
A more important limitation of the case method is that it oversimplifies the problem situation. Recognition of a problem is simplified because the areas to be searched are limited by the case itself, a condition not typical of business. Furthermore, the factors involved and much of the information needed for analysis and planning have been incorporated in the case by the case writer; whereas in the business situation, deciding what information is required and getting it (if it is available with an appropriate expenditure of effort) are an important part of the task of the administrator. Another important limitation of the case method is that it cannot synthesize the whole administrative process. After analysis is completed and plans have been laid, there is the actual carrying-out process, the daily supervision of details on a face-to-face level, and the checking up on results, in operation for which the case method can be of limited help.

8.6 요약
8.6 Summary

변화하는 사회에 적응하는 새로운 직업 문화 속에서 고등 교육은 지속적인 변화를 경험하고 있습니다. 따라서 교육자/강사는 전통적인 강의식 학습을 넘어서는 사고방식이 필수적이 되었습니다. 교육 전문가는 자신의 전문적 요구와 전문 분야에서 발생하는 새로운 주제에 대해 철저히 생각할 수 있는 연구자이자 지식 사용자가 되어야 합니다. 따라서 문제, 프로젝트 및 연구 기반 학습은 수동적인 학습에서 능동적인 학습으로의 전환을 촉진하여 교육자와 학생이 자신의 분야가 얼마나 복잡한지 인식하고 이 분야를 형성하는 사회적, 문화적, 역사적, 철학적, 심리적 맥락에 부합해야 한다는 것을 이해할 수 있도록 합니다. 성공적인 교육을 위해서는 교사가 자신의 전문 분야에 대한 연구자가 되어야 합니다. 이 제안을 위해 대학 프로그램은 학생과 교사의 연구 역량, 특히 연구 프로젝트 수행과 관련된 역량을 개발하고 지식과 학문적 경험을 전문적 실천으로 옮길 수 있도록 학습 프로그램과 방법을 조정해야 합니다. 이 장에서는 수업 기반 교수법에 대한 대체 학습 모델, 즉 문제 기반 학습, 프로젝트 기반 학습, 연구 기반 학습 및 사례 기반 학습에 대해 자세히 설명했습니다. 이러한 방법과 관련된 프로세스, 주의 사항 및 이러한 방법을 통해 얻을 수 있는 이점에 대해 설명했습니다. 
In this new professional culture, adapted to a changing society, higher education is experiencing a continuous transformation. Thus, it has become imperative for educators/ instructors to think beyond the traditional lecture bound learning. Education professionals ought to be researchers and knowledge users to be able to think thoroughly upon their own professional needs and upon the new topics arising in their professional field. And thus problem, project, and research based learning facilitate a shift from a passive to an active learning enabling educators and students to become aware of how complex their field is and to understand that this field should meet the social, cultural, historical, philosophical, and psychological context shaping it. Teachers should become researchers of their own professional practice, in order to give thrive successfully. For this propose, university programs have to adapt their study programs and methods in order to develop both students/ teachers’ research competences, especially those related to conduct research projects and also to be able to transfer their knowledge and academic experiences to their professional practice. The current chapter has gone into details about alternate learning models to class based teaching viz., problem based learning, project based learning, research based learning and case based learning. Process involved in, cautions to be exercised, and benefits accrued from these methods have been described.

8.7 주요 용어 및 정의
8.7 Key terms with Definition

문제 기반 학습: 문제 기반 학습은 학생들이 개방형 문제를 해결하기 위해 그룹으로 작업하여 과목을 학습하도록 하는 학생 중심 접근 방식입니다. 문제는 동기 부여와 학습의 원동력이 됩니다. 
Problem based Learning:
Problem based Learning is a student-centered approach in which students are made to learn a subject by working in groups to solve an open-ended problem. The problem is what drives the motivation and the learning.

프로젝트 기반 학습: 프로젝트 기반 학습은 "복잡하고 실제적인 질문과 신중하게 설계된 제품 및 과제를 중심으로 구성된 확장된 탐구 과정을 통해 학생들이 지식과 기술을 학습하도록 유도하는 체계적인 교육 방법"입니다.
Project based Learning:
Project based Learning is “a systematic teaching method that engages students in learning knowledge and skills through an extended inquiry process structured around complex, authentic questions and carefully designed products and tasks”

연구 기반 학습: 연구 기반 교수법이란 학생들이 코스에서 독립적으로 실험/연구를 수행하고 그 결과를 공개하는 것을 의미합니다. 이러한 형태의 교수학습은 강사와 학생이 공동으로 새로운 지식을 습득하는 데 중점을 둡니다.
Research based learning:
Research-based teaching means that students carry out experiments/ research in their courses independently and with an open outcome. This form of teaching and learning focuses on the joint acquisition of new knowledge by lecturers and students.

사례 기반 학습: 사례 기반 학습은 주어진 환경에서 문제에 대한 가능한 최선의 해결책을 찾기 위한 체계적인 그룹 토론 연습입니다. 이는 단순한 경험의 공유를 넘어 협동적이고 창의적인 사고의 연습입니다.
Case based Learning:
Case based Learning is a systematic group discussion exercise to find the best possible solution to the problem in the given environment. It is more than just a pooling of experience; it is an exercise in cooperative and creative thinking.

8.8 검토 질문
8.8 Review Questions

1. 문제 기반 학습이란 무엇을 이해합니까? 강사/교사가 학생들에게 이러한 유형의 학습을 장려하는 것이 왜 중요하다고 생각하십니까?
2. 프로젝트 기반 학습이란 무엇입니까? 전통적인 교실 학습과 어떻게 다른가요? 오늘날의 역동적인 비즈니스 세계와 어떤 관련이 있습니까?
3. 프로젝트 기반 학습에서 직면하는 다양한 도전 과제에 대해 설명하고, 강사/진행자로서 이러한 장애물을 극복할 수 있는 방법을 제안하세요?
4. 연구 기반 학습이란 무엇을 이해합니까? 몇 가지 예를 들어 설명하십시오.
5. 교실에서 연구 기반 학습을 시작하는 것이 왜 중요하다고 생각하는가?
6. 연구를 통해 가르치는 것이 학생뿐만 아니라 교수자에게도 어떤 이점이 있는지 설명하십시오.
7. 사례 기반 학습이란 무엇을 이해합니까? 이러한 유형의 학습을 통해 학생들이 탐구할 수 있는 다양한 생활 기술/취업 능력에는 어떤 것이 있습니까?

  • 1. What do you understand by Problem based learning? Why do you think it is important for instructor/ teacher to encourage this type of learning among students?
  • 2. What is Project based learning? How is it different form the traditional classroom learning? What is its relevance in today’s dynamic business world?
  • 3. Describe various challenges confronted in project based learning; suggest means to overcome these hurdles as instructor/ facilitator?
  • 4. What do you understand by research based learning? Explain with few examples.
  • 5. In your opinion why it is important to initiate research based learning in the classroom.
  • 6. What area the benefits of teaching through research to the instructor as well as student, explain.
  • 7. What do you understand by case based learning? What are the different life skills/ employability skills of students can be explored through this type of learning?

 

8.9 사례 연구
8.9 Case Study

기업가 정신: 사례
Entrepreneurship: A Case

디팍 조시는 17살 때 한 가게에서 아이스크림을 맛보고 더 맛있게 만들 수 있다고 생각했습니다. 그는 자신만의 레시피를 만들어 고향인 벨가움에서 아이스크림 바, 콘, 컵을 판매하기 시작했습니다. 사람들은 그에게 더 많은 것을 요청하기 시작했습니다. 디팍은 마이소르에서 직접 교육을 받고 다양한 맛과 구성의 아이스크림을 만드는 기술을 개발했습니다. 디팍 조시는 적은 수익과 어머니의 부엌을 이용해 아이스크림을 대량으로 만들기 시작했습니다. 그 후 그는 직접 포장지를 디자인하고 여러 학교에서 아이스크림을 판매하는 친구들을 위한 커미션 시스템을 개발했습니다. 
When Deepak Joshi was 17 years old, he sampled ice cream at a store and thought that he could make it better. He made his own recipe and began selling ice cream bars, cones, and cups in his hometown of Belgaum. People began asking him for more. Deepak got himself trained at Mysore and developed skills to prepare ice creams of different flavours and compositions. Using meager profits and his mother’s kitchen, Deepak Joshi began making large batches of ice creams. He then designed his own wrappers and developed a commission system for friends who sold ice creams at several schools.

장사가 너무 잘되어 집착이 될 정도였습니다. 디팍은 방과 후, 주말, 공휴일에도 일했고, 보건부에서 아이스크림 제조 허가를 받을 때까지 잠시 영업을 중단한 기간을 제외하고는 대학을 졸업할 때까지 자신만의 방법으로 다양한 종류의 아이스크림을 만들었습니다. 처음에는 특별한 장비를 구입하거나 다른 활동을 희생하지 않고도 수요를 충족할 수 있었지만, 대학 기금 모금 행사나 축제에 아이스크림을 제공하기 시작하자 수요가 수용 능력을 초과했고, 결국 Deepak은 전문 장비를 구입하고 도우미를 고용하고 대량으로 물품을 구입해야 했습니다. 
Business was so good that it became an obsession. Deepak worked after college, weekends, and holidays and aside from a brief period when the health department suspended his operations until he obtained proper permits to make ice cream, he made different types of ice cream by trying his own methods until he graduated from college. At first, he could meet the demand without purchasing special equipment or sacrificing other activities, but when he began providing ice creams for college fund raising events and fun fairs, demand exceeded capacity, and Deepak found himself buying professional equipment, hiring helpers, and purchasing bulk supplies.

디팍은 당시를 돌이켜보며 사업에 대한 집착과 긴 시간, 그리고 배움에 대한 열정을 떠올렸습니다. 디팍은 지역 상점에 주문하고 수십 개의 학교, 대학, 케이터링 업체, 호텔, 시민 단체와 계약을 맺기 시작했습니다. 그의 사업은 곧 가족과 가장 친한 친구들까지 끌어들여 회사를 등록하고 아이스크림 가게를 차렸습니다. 첫 달에 18,000건의 주문을 받았고, 졸업할 무렵에는 3개 주에 있는 소매점에 특수 아이스크림을 납품하고 있었습니다. 
Looking back, Deepak recalled the obsession, the long hours, and the drive to learn about business. Deepak set about placing orders with local stores and developing contracts with dozens of schools, colleges, caterers, hotels, and civic organizations. His business soon consumed his entire family and closest friends; he registered the company and set up an ice cream parlour. During the first month, he has 18,000 orders, and by the time he graduated, Deepak was distributing specialty ice creams to retail stores in three States.

26세가 되던 해, 디팍은 회사를 특수 아이스크림의 주요 유통업체로 재편하고 현재의 아이스크림 제조 및 유통 시스템을 보완할 수 있는 고급 아이스크림 가게 체인을 계획하기 시작했습니다. 계획을 잠시 멈추고 생각해보니 지역 또는 전국적인 체인을 시작하려면 조직에 큰 변화가 필요하다는 것을 깨달았습니다. 그와 그의 가족이 모든 책임을 감당해서는 안 되며, 디팍의 아이스크림 사업의 성격이 바뀔 것입니다. 큰 사업을 추진한다는 생각은 흥미로웠지만, 디팍은 불안한 마음을 감출 수 없었습니다. 
At the age of 26, Deepak repositioned his company as a major distributor of specialty ice creams and began planning a chain of upscale ice cream parlours which would complement his current ice cream manufacturing and distribution system. When he paused to think about his plans, he realized that to launch a regional or national chain would mean major changes in his organization. He and his family should not handle all the responsibilities, and the nature of Deepak’s ice cream business would change. Though the idea of pursuing a major business was exciting, Deepak would not help feeling apprehensive.

디팍은 자신의 사업을 되돌아보며 많은 사람들이 자신의 성공을 그저 좋은 아이스크림을 만들다가 우연히 좋은 시장을 몇 군데 발견한 한 젊은이의 운에 지나지 않는다고 생각한다는 사실을 깨달았습니다. 사실 그는 고객을 유치하기 위해 매우 열심히 노력했습니다. 대부분의 고객들은 젊은 대학생에게 물건을 사는 것을 불편해했고, 고객들은 오랫동안 그와 거래하기 전까지는 그를 진지하게 받아들이지 않았습니다. 디팍에게 고객을 확보하는 것은 장애물이 아니라 항상 도전이었으며, 특이한 아이스크림을 만드는 일은 흥미진진했습니다. 
Reflecting upon his business, Deepak realized that many people considered his success to be no more than the luck of a personable young man who made good ice creams and accidentally stumbled upon a few good markets. In fact, he had worked extremely hard to attract clients. Most of his customers had not been comfortable buying from a young college student, and customers seldom took him seriously until they had dealt with him for a long time. Winning over customers had always been a challenge to Deepak, not a roadblock, and creating unusual ice creams had been exciting.


회사 경영자가 되고 싶다는 생각은 없었고, 항상 다른 사람들과 잘 어울렸지만 디팍은 독립하는 것을 좋아했습니다. 회사를 운영한다는 것은 자신의 자율성을 희생하는 것을 의미하지만, 자신의 전문 아이스크림을 판매하는 매장 체인을 만드는 것은 수년 동안 꿈꿔온 일이었습니다. 동시에 사업 확장은 재정적 위험을 수반하기 때문에 디팍은 항상 부채를 피하고 현금으로만 거래하며 사소한 손실도 피하기 위해 항상 신중하게 비용을 계산해왔습니다. 디팍은 자신의 젊은 커리어에서 중요한 기로에 서 있다는 것을 깨달았습니다. 꿈을 좇아 사업을 확장할지, 아니면 기존 사업에 만족할지 선택해야 했습니다. 
He was not anxious to become a corporate manager, and although he had always worked well with others, Deepak liked being independent. Running a company would mean sacrificing his autonomy, yet the idea of a chain of stores selling his specialty ice creams had been a dream for years. At the same time, expansion would mean financial risk, and Deepak had always avoided debt; he dealt in cash and had always carefully calculated his expenses to avoid even the slightest loss. He realized that he was at a major crossroad in his young career. The choice seemed to be whether to follow his dream and expand or to be content with his existing business.

사례 연구를 위한 질문
Questions for Case Study

1. 디팍 조시의 기업가적 특성을 파악하세요. 성공적인 기업가의 특징과 어떻게 일치하는가?
2. 아이스크림 가게 체인으로 확장할지 여부에 대해 디팍이 직면한 결정에 대한 입장을 취하십시오.
3. 디팍에 대해 알고 있는 것과 그의 특성이 무엇이라고 생각하는지에 근거하여, 그의 성공이 운 때문이라고 할 것인가 아니면 끈기 때문이라고 할 것인가? 설명하십시오.
4. 모든 비즈니스 벤처에서 운은 어떤 역할을 하는가?

  • 1. Identify the entrepreneurial characteristics of Deepak Joshi. How do they match the characteristics described for successful entrepreneurs?
  • 2. Take a position regarding the decision facing Deepak on whether to expand into a chain of ice cream parlours.
  • 3. Based on what you know about Deepak and what you believe his characteristics to be, would say his success was due to luck or persistence? Explain.
  • 4. How does luck play a role in any business venture?

 

 

 

연구-바탕 교육과정 설계에서의 실제성 프레임워크 (TEACHING IN HIGHER EDUCATION, 2017)
A framework for authenticity in designing a research-based curriculum
Navé Wald and Tony Harland

소개
Introduction

저희는 뉴질랜드 오타고 대학교의 학부 생태학 커리큘럼을 살펴보던 중 고등 교육에서 진정성이라는 주제에 관심을 갖게 되었습니다(Harland, Wald, Randhawa, 곧 출간 예정). 이 프로그램에서 학생들은 연구를 통해 학습하며, '진정성'이라는 개념은 오랫동안 학습 활동 설계의 중심이 되어 왔습니다. 기본 아이디어는 학생들이 생태학을 공부할 때마다 어떤 형태로든 진정성 있는 연구에 참여해야 한다는 것입니다. 우리가 진정성이라고 생각하는 것을 달성하기 위해 교사는 전문적인 연구 활동을 사용하여 학생들을 안내합니다. 진정성을 갖추기 위해 교사-학생 관계는 대학원 감독과 호환되는 모델로 전환됩니다. 교육 및 커리큘럼에 대한 이러한 일반적인 접근 방식은 연구자로서 학생을 가르치기 위한 전략 2에서 Jenkins, Healey, Zetter(2007)에 의해 설명되었지만, 이 저자들은 진정성을 주장하지는 않습니다. 생태학에서는 이전에는 '진정성'의 정확한 의미를 고려하지 않았으며, 이 글에서는 이 용어의 사용과 관련된 담론적 수사를 이론 및 교육 실무와 관련하여 살펴볼 것입니다. 그런 다음 이러한 지식을 바탕으로 연구를 통해 교수의 진정성에 대한 프레임워크를 제시합니다.  
We became interested in the subject of authenticity in higher education while examining the undergraduate ecology curriculum at the University of Otago, New Zealand (Harland, Wald, and Randhawa forthcoming). In this programme, students learn by doing research and the concept of ‘authenticity’ has long been central to the design of learning activities. The basic idea is that anytime students are studying ecology, they should be engaged in some form of authentic research. In order to achieve what we consider as authenticity, teachers use their professional research activities to guide them. In order to be authentic, the teacher-student relationship shifts towards a model compatible with postgraduate supervision. This general approach to teaching and curriculum has been described by Jenkins, Healey, and Zetter (2007) in their Strategy 2 for teaching students as researchers, although these authors do not claim authenticity. In ecology, we had not previously considered the precise meaning of ‘authenticity’ and in this essay the discursive rhetoric around the use of the term will be examined in relation to theory and teaching practice. We then use this knowledge to offer a framework for authenticity in teaching through research.

우리는 연구자로서 학생들을 가르치는 다양한 모델에서 진정성에 대한 주장을 찾기 시작했지만(Hung and Chen 2007, Laursen 외. 2010, Sadler 외. 2010, Sadler and McKinney 2010), 고등 교육에서도 다양한 맥락에서 진정성이 사용된다는 사실을 발견했습니다. 여기에는 교수 및 학습(Cranton 2001, Cranton과 Carusetta 2004a, 2004b, Herrington과 Herrington 2006, Herrington, Reeves, Oliver 2014), 평가(Frey, Schmitt, and Allen 2012, Gulikers, Bastiaens, Kirschner 2004, Herrington과 Herrington 1998), 성취(Newmann 1996, Newmann과 Archbald 1992) 등이 포함됩니다. 거의 모든 경우에서 '진정성' 또는 '진정성 있는 행동'을 구성하는 요소의 의미는 완전히 설명되지 않았으며, 따라서 여전히 애매한 상태로 남아 있습니다. 고등 교육에서 진정성에 대한 연구는 결코 미지의 영역이 아니지만, 역사적 측면에서 보면 20세기 듀이주의 사상(Petraglia 1998)에 뿌리를 둔 비교적 최근의 아이디어이므로 교육의 진정성에 대한 탐구는 긴 궤적을 가지지 않습니다(Splitter 2009).
Although we set out to find claims to authenticity in various models of teaching students as researchers (Hung and Chen 2007; Laursen et al. 2010; Sadler et al. 2010; Sadler and McKinney 2010), we discovered that it was also used in many different contexts in higher education. These include teaching and learning (Cranton 2001; Cranton and Carusetta 2004a, 2004b; Herrington and Herrington 2006; Herrington, Reeves, and Oliver 2014), assessment (Frey, Schmitt, and Allen 2012; Gulikers, Bastiaens, and Kirschner 2004; Herrington and Herrington 1998), and achievement (Newmann 1996; Newmann and Archbald 1992). In nearly all cases the meaning of what constitutes ‘being authentic’ or ‘doing something authentically’ is not fully explained and thus remains elusive. While the study of authenticity in higher education is by no means uncharted territory (for examples see Carusetta and Cranton 2005; Cranton and Carusetta 2004a, 2004b; Kreber 2013; Kreber et al. 2007), in historical terms it is a relatively recent idea rooted in twentieth-century Deweyan thought (Petraglia 1998), and thus inquiries into educational authenticity do not have a long trajectory (Splitter 2009).

진정성의 복잡성을 이해하기 시작하려면 용어의 다양한 용도와 정의를 살펴보는 것부터 시작할 수 있습니다. 옥스퍼드 영어 사전(1989)은 '진위성'을 명사로, '진품'을 형용사이자 명사로 정의합니다. 주로 이러한 용어는 사람, 문서, 인공물, 아이디어, 행동, 정체성, 프로세스 등 어떤 것을 지칭합니다. - 진짜, 진품, 진실, 원본, 사실, 정확성, 유효성, 권위 등의 고유한 특성을 지닌 것으로 인식되는 것을 의미합니다. 정확한 의미는 구체적인 맥락에 따라 달라집니다. 사회학적 관점에서 '진정성은 존재의 상태가 아니라 과정이나 표현의 객관화, 즉 특정 시간과 장소의 사람들이 이상이나 모범을 대표한다고 동의하게 된 일련의 자질을 의미합니다'(Vannini and Williams 2009, 3). 따라서 진정성은 사회적으로 구성되므로 유동적이고 맥락에 따라 달라지며 논쟁의 대상이 될 수 있습니다. 따라서 진정성의 구성은 권력, 현실성, 권위, 그리고 궁극적으로는 우월성에 대한 내재적이고 암묵적인 아이디어를 암시합니다. 따라서 진정성은 다양한 의미와 가치가 담긴 키워드입니다(Williams 1976).
To begin to appreciate the complexity of authenticity one can start by examining the term’s various uses and definitions.

  • The Oxford English Dictionary (1989) defines ‘authenticity’ as a noun and ‘authentic’ as both adjective and noun. Primarily, these terms refer to something – person, document, artefact, idea, behaviour, identity, process, etc. – having the perceived inherent quality of being real, genuine, true, original, factual, accurate, valid, authoritative, and so forth. The exact meaning will depend on the specific context at hand.
  • From a sociological perspective, ‘Authenticity is not so much a state of being as it is the objectification of a process or representation, that is, it refers to a set of qualities that people in a particular time and place have come to agree represent an ideal or exemplar’ (Vannini and Williams 2009, 3). 

Thus, authenticity is socially constructed and as such is fluid, highly contextual and may be contested. Constructions of authenticity, then, allude to inherent and implicit ideas of power, realness, authority and, ultimately, of superiority. Authenticity is, therefore, a keyword laden with a range of meanings and values (Williams 1976).

연구를 통해 과학을 가르친다는 좁은 맥락에서조차도 실질적으로 다른 교육 모델과 관련하여 진정성에 대한 주장이 제기되는 것은 놀라운 일이 아닙니다. 그런 다음 우리는 '어떤 이유로 사건과 경험이 어떻게 해석되고 해석되어야 하는지에 대해 궁금증을 불러일으킬 때 철학을 해야 한다'고 주장한 맥신 그린(1973, 10)에서 힌트를 얻습니다. 달리 말하면, 그린은 우리가 파편화되고 의미가 거의 없는 그림에서 더 나은 일관성을 추구할 때 추상화로 전환할 것을 촉구합니다. 따라서 이 글에서는 이 용어의 사용과 관련된 담론적 수사를 살펴볼 것입니다. 진정성에 관한 문헌을 읽은 것은 연구를 통한 학습의 원리와 진정성 이론을 연결할 수 있는 중요한 아이디어를 발견하기 위한 목적으로 특별히 수행되었습니다. 본질적으로 우리는 '우리의 작업이 '진정성있다'라는 말을 이해하는 데 도움이 되는 매우 복잡한 현상에서 무엇을 취할 수 있을까'라는 연구 질문을 던졌습니다. 문헌 검토를 통해 새롭게 등장한 연관성을 바탕으로 교육과 학습, 그리고 진정성에 대한 현재의 논쟁에 정보를 제공하기 위해 설계된 프레임워크를 구축했습니다. 그 결과, 우리의 질문과 관련된 진정성을 이해하는 세 가지 방법을 확인할 수 있었습니다:  
It is of little surprise then that even within the narrower context of teaching science through research, claims for authenticity are made in relation to substantially different educational models. We then take a cue from Maxine Greene (1973, 10) who argued we ought to ‘philosophize when, for some reason, we are aroused to wonder about how events and experiences are interpreted and should be interpreted’. Put differently, Greene urges us to turn to abstraction when we seek better coherence from a picture otherwise fragmented and of little sense. In this article, therefore, the discursive rhetoric around the use of the term will be examined. Our reading of the literature on authenticity was done specifically with the purpose of discovering significant ideas that might connect the principles of learning through research with the theories of authenticity. Essentially we were asking the research question: ‘what can we take from a highly complex phenomenon that would help us understand our work as authentic?’ After our literature review, emerging associations were used to construct a framework designed to inform both teaching and learning and the current debates around authenticity. We were able to identify three ways of understanding authenticity that were relevant to our inquiry:

  1. '실제 세계'와 관련된 진정성
    Authenticity as relating to the ‘real-world’
  2. 실존적인 진정한 자아
    The existential authentic self
  3. 의미의 정도
    A degree of meaning

 

'현실 세계'와 관련된 진정성
Authenticity as relating to the ‘real world’

진정성을 과학교육과 연결하는 가장 일반적이고 응용적인 관점은 '실제 세계'를 반영하는 교육입니다. 간단히 말해, '진정성 있는 과학은 과학자들이 연구하는 방식과 밀접하게 일치하는 탐구 교육의 변형이며 전통적인 학교 과학 실험실 실습과는 다르다'(크로포드 2015, 113)고 할 수 있으며, 이 개념은 우리가 여기서 다루는 생태 프로그램의 커리큘럼 설계에 큰 지침이 되었습니다. 과학교육의 진정성에 대한 이러한 단순한 개념화는 '상응하는 관점'(Kreber 2013, Splitter 2009)으로도 알려져 있으며, 존 듀이와 진보주의 운동의 실용주의 교육적 신념과 강하게 공명합니다. 듀이는 엘리트주의-이상주의 교육과 직업-도제 교육 사이의 확립된 이분법을 거부했는데, 이는 '아이디어의 궁극적 중요성은 현실 세계에 적용될 때 그 결과에서 찾을 수 있다는 가정에 뿌리를 둔 거부'였습니다(Petraglia 1998, 26). 따라서 페트라글리아(1998)는 듀이가 교육과 '실제 삶' 사이의 벽을 허물고, 이를 통해 진정성에 대한 특정한 수사학을 확립한 영향력 있는 유산을 남겼다고 평가합니다. 듀이는 '학습은 학생들에게 '배울 것'이 아니라 '할 일'이 주어질 때 일어난다'고 믿었으며, 학생들이 하는 일은 '실제 삶'과 관련되어야 하며, 이것이 바로 이러한 접근 방식을 의미 있고 가치 있게 만드는 이유입니다(Greene 1973, 158, 원문에서 강조). 
The most common and applied perspective that links authenticity with science education is teaching that mirrors the ‘real world.’ Put simply, ‘Authentic science is a variation of inquiry teaching that aligns closely with how scientists do their work and differs from traditional school science laboratory exercises’ (Crawford 2015, 113), and this concept has largely guided the curriculum design of the ecology programme that we address here. This simple conceptualisation of authenticity in science education, also known as the ‘corresponding view’ (Kreber 2013; Splitter 2009), strongly resonates with the pragmatist pedagogical beliefs of John Dewey and the Progressivist movement. Dewey rejected the established dichotomy between an elitist-idealist education and vocational-apprenticeship training, a rejection that ‘was rooted in the assumption that the ultimate significance of an idea is to be found in its consequences when applied in the real world’ (Petraglia 1998, 26). Thus, Petraglia (1998) attributes to Dewey the influential legacy of dismantling the wall between education and ‘real life,’ by which a particular rhetoric of authenticity was established. Dewey believed that ‘learning takes place when students are given something to do rather than something to learn,’ and what they do should relate to ‘real life,’ which is what renders this approach significant and worthwhile (Greene 1973, 158, emphasis in original).

예를 들어, 헤링턴, 리브스, 올리버(2014, 401)는 '진정성 있는 학습은 학습 과제를 미래의 사용 맥락에 위치시키는 교육학적 접근 방식'이라고 주장합니다. 따라서 진정한 학습의 모델은 지식이 실제 생활에서 그리고 나중에 어떻게 활용될지를 반영하도록 설계됩니다. 이 접근 방식에 따르면 학생들은 졸업 후 자신이 선택한 직업과 분야에서 지식을 창출하고 혁신을 이룰 수 있는 지식과 기술을 습득해야 합니다. 따라서 진정성은 전문적인 환경에서 지식이 어떻게 생산되고 전달되는지를 반영합니다(Herrington 및 Herrington 2006). 이러한 교육적 접근 방식은 지식이 적용될 맥락에서 의미 있는 학습이 설정된다는 Brown, Collins, Duguid(1989)의 상황적 학습 또는 상황적 인지 이론에 뿌리를 두고 있습니다(Herrington, Reeves, Oliver 2010).

Herrington, Reeves, and Oliver (2014, 401), for example, maintain that ‘Authentic learning is a pedagogical approach that situates learning tasks in the context of future use.’ Models of authentic learning are thus designed to reflect how knowledge will be utilised in real life and at a later time. Accoㄴrding to this approach, students should acquire knowledge and skills that would allow them, after graduation, to create knowledge and innovate in their chosen professions and fields. Therefore, authenticity reflects how knowledge is produced and communicated in professional settings (Herrington and Herrington 2006). This pedagogical approach is rooted in Brown, Collins, and Duguid’s (1989) theory of situated learning or cognition in which meaningful learning is set in the context within which the knowledge will be applied (Herrington, Reeves, and Oliver 2010).

그러나 Hung과 Chen(2007)은 학교 공동체와 전문직 공동체 모두 그 자체로 진정성이 있다고 주장합니다. 그들은 이 두 커뮤니티 간의 관계를 맥락-프로세스 프레임워크 내에서 분석해야 한다고 제안합니다. 이 프레임워크에서 진정성에 대한 접근 방식은 주로 유동적이고 다면적인 정체성 개념과 학교 공동체와 전문직 공동체 사이의 전환과 관련된 정체성의 문화화, 형성 및 변화에 초점을 맞추고 있습니다. Hung과 Chen(2007, 162-3)은 '진정성의 문제를 현실 세계의 실천과 학문에만 국한시켜서는 안 되며, 맥락과 과정 차원을 모두 만족시킬 때 진정성 있는 학습이 가능하다'고 말했는데, 여기서 전자는 실천 공동체를, 후자는 정체성 함양과 변형을 의미합니다. 이와는 대조적으로 Splitter(2009, 139)는 '교실 밖의 세계'에서 일어나는 일이 우리가 진정성이 의미하는 바, 또는 의미할 수 있는 바에 대한 표준을 제공한다는 가정에 의문을 제기합니다. 이 저자는 교실에서 이루어지는 일과 '실제 세계'에서 이루어지는 일 사이의 단순한 관계에 반대합니다. 대신, 스플리터에게 진정성은 과업의 의미, 성취도 또는 가치에 뿌리를 두고 있기 때문에 '실제'에 있는 것은 실제보다 덜 중요하다고 말합니다. 이 개념은 진정성에 대한 주장이 이상화된 관행에 대한 주관적인 가치 판단에 근거한다는 것을 의미합니다(Splitter 2009).
However, Hung and Chen (2007) argue that both what they call school community and professional community are authentic in their own right. They propose that the relationships between these two communities should be analysed within a context-process framework. In this framework, approaches to authenticity focus predominantly on the fluid and multi-faceted notion of identity, and its enculturation, formation and transformation within and in relation to the transition between the school community and the professional community. For Hung and Chen (2007, 162-3) ‘the issue of authenticity should not be constrained to real world practices and disciplines, but authentic learning should be possible when we satisfy both context and process dimensions,’ where the former refers to the practice community and the latter to identity enculturation and transformation. In contrast, Splitter (2009, 139) questions ‘the presumption that what happens in “the world beyond the classroom” offers a standard for what we mean, or might mean, by authenticity.’ This author argues against a simple relationship between what is done in the classroom and what is being done in the ‘real world.’ Instead, for Splitter authenticity is rooted in a task’s degree of meaning, fulfilment or worthiness, and therefore what is ‘out there’ is less important than what ought to be. This idea means that assertions of authenticity are based on subjective value judgments about idealised practices (Splitter 2009).

수학적 모델링을 가르치는 맥락에서 Vos(2011)는 '교육-현실 세계'의 연결고리에 대한 다른 관점을 제시합니다. Vos는 진정성의 개념이 사회적으로 구성되는 것으로 인식하고 특정 맥락에서 진정성을 형성하는 데 신중을 기할 것을 촉구합니다.

  • 먼저, 진정성이 사본과 시뮬레이션을 지칭할 수 있는지, 아니면 무조건적인 원본을 지칭할 수 있는지 결정해야 합니다.
  • 두 번째 고려 사항은 진위가 예/아니오의 이진법인지, 아니면 어느 정도 서수적 품질을 갖는지에 관한 것입니다.

보스는 진위성의 정의는 이분법적이어야 하며 원본만을 지칭해야 한다고 주장합니다. 따라서 교육 과제는 전체적으로 진정성이 있는 것이 아니라, 진정성 있는 측면을 포함할 수 있습니다. 또한 과제에 진정성 요소가 있으려면 학교 밖 전문가가 인증 할 수있는 학교 밖에서 유래 한 널리 인식 할 수있는 품질이 있어야하며, 이는 '실제로 ... 진정성을 구현'해야합니다 (Vos 2011, 720). 
Writing within the context of teaching mathematical modelling, Vos (2011) provides a different view on the ‘teaching-real world’ nexus. Vos recognises the concept of authenticity as being socially constructed and urges its formation in a particular context to be done thoughtfully.

  • First, a decision should be made as to whether authenticity can refer to copies and simulations or to unconditional originals.
  • The second consideration concerns whether authenticity is a yes/no binary or has an ordinal more-or-less quality.

Vos argues that a definition of authenticity should be a binary and refer only to originals. Consequently, an educational task will never be authentic as a whole; rather, it may contain authentic aspects. In addition, for a task to have authentic elements it must have a widely recognisable quality that has an out-of-school origin certifiable by out-of-school experts, which ‘in fact … embody the authenticity’ (Vos 2011, 720).

실존적 진정성 자아
The existential authentic self

교육에서 진정성의 또 다른 중요한 측면은 실존 철학과 자아 및 존재 감각과 관련이 있습니다. 교육 문헌에서는 교사의 행동 및 가치관, 교사-학생 관계와 관련하여 진정성의 이러한 측면을 논의하는 경향이 있지만, 여기서는 연구를 통해 교육이라는 주제와도 연결하고자 합니다. 
Another important facet of authenticity in education is linked to existential philosophy and to a sense of self and of being. Whereas the education literature tends to discuss this aspect of authenticity in relation to teachers’ behaviour and values and to teacher-student relations, here we also wish to link it to the theme of teaching through research.

철학적 관점에서 볼 때, 일부 진정성은 '현대 서구 세계의 문화적 구성물이며 ... [그리고] 개인에 대한 서구의 개념과 밀접하게 연관되어 있다'(Handler 1986, 2). 테일러(1991)의 『진정성의 윤리』에서 그는 이러한 개인주의가 현대 사회의 업적이면서 동시에 그 폐해라고 말하며, 개인주의가 사람들의 의미와 존재감에 미친 결과에 대해 우려하고 있습니다. '진정성'이란 사회적 관습과 압력에도 불구하고 자기 자신에 대해 독창적이고 진실한 것을 의미합니다. 트릴링(1972, 93)은 진정성이 '불길한 의미를 지닌 단어'이며, '이 단어가 우리 시대의 도덕적 속어의 일부가 된 것은 타락한 상태의 특이한 본질, 존재와 개인 존재의 신뢰성에 대한 불안을 가리킨다'고 지적합니다. 기든스(1991)도 자아 정체성, 대인 관계, 도덕성 또는 도덕적 지지와 관련하여 진정성에 대해 논의합니다. 그에 따르면 '진정성 있는 사람은 자신을 알고 그 지식을 담론적으로 그리고 행동 영역에서 상대방에게 드러낼 수 있는 사람'입니다(Giddens 1991, 186-7). 따라서 진정성은 사람들 간의 신뢰와 도덕적 지원을 강화하기 위해 자아의 무결성을 활용하는 데 매우 중요합니다.
From a philosophical standpoint, for some authenticity is ‘a cultural construct of the modern Western world … [and is] closely tied to Western notions of the individual’ (Handler 1986, 2). In Taylor’s (1991) Ethics of Authenticity, this individualism is both an achievement of modern society and its malaise, and he is concerned with the consequences it has had for people’s sense of meaning and being. Being ‘authentic’ means being original and true to one’s self in spite of societal conventions and pressure. Trilling (1972, 93) notes that authenticity ‘is a word of ominous import’ and that this ‘word has become part of the moral slang of our day points to the peculiar nature of our fallen condition, our anxiety over the credibility of existence and of individual existences.’ Giddens (1991) also discusses authenticity in relation to self-identity, interpersonal relationships and morality, or moral support. For him, ‘the authentic person is one who knows herself and is able to reveal that knowledge to the other, discursively and in the behavioural sphere’ (Giddens 1991, 186-7). Authenticity, then, is crucial for harnessing the integrity of the self for enhancing trust and moral support among people.

따라서 진정성은 일반적으로 긍정적인 의미를 지니며, 포터(2010, 6)가 '모성어'라고 부르는 '커뮤니티', '지속 가능성', '자연'과 같은 유사한 강력한 용어 그룹에 속한다고 볼 수 있습니다. 서구 사회는 진정성에 대한 추구에 사로잡혀 있으며, 포터는 현대 생활에서 의미를 찾기 위해 자기 성취와 발견을 추구하는 개인주의적 추구로 이해합니다. 그러나 포터에게 진정성이란 특권의 본질은 누구나 가질 수 있는 것이 아니기 때문에 특권을 구성하는 관계적이고 주관적인 속성인 허구입니다. 따라서 진정성에 대한 열망은 현대 사회의 문제에서 벗어나기보다는 근대 이전의 삶에 대한 잘못된 낭만적 관념을 조장합니다(Potter 2010). 치커링(2006)도 진정성의 일반적인 긍정적 속성과 함께 진정성이 나쁠 수 있는 가능성에 주목합니다. 그에게 진정성은 개념적으로 간단합니다. '진정성이 있다는 것은 보이는 것이 곧 얻는 것임을 의미합니다. 내가 믿는 것, 내가 말하는 것, 내가 행동하는 것이 일관성이 있다는 것입니다'(Chickering 2006, 8). 그러나 내적 일관성은 진정으로 선하거나 악한 사람에게도 똑같이 적용될 수 있습니다. 
Thus, authenticity usually carries positive connotations and arguably belongs to a group of similarly powerful terms like ‘community,’ ‘sustainability’ and ‘natural;’ what Potter (2010, 6) calls ‘motherhood words.’ Western society is possessed by a quest for authenticity, which Potter understands as an individualistic pursuit after self-fulfilment and discovery in order to find meaning in modern life. For Potter, however, authenticity is a hoax, a relational and subjective attribute that constructs privilege, because the very nature of privilege is that not everybody can have it. So rather than escaping the malaises of modern society, the aspiration to authenticity promotes ill-informed romantic notions of pre-modern life (Potter 2010). Chickering (2006) also notes the usual positive attribute of authenticity alongside the possibility for authenticity to be bad. For him, authenticity is conceptually straightforward: ‘Being authentic means that what you see is what you get. What I believe, what I say, and what I do are consistent’ (Chickering 2006, 8). Internal consistency, however, can be equally ascribed to someone who is authentically good or evil.

Kreber (2013)와 Kreber 외(2007)가 교육과 학문적 실천에서 진정성을 조사했을 때, 하이데거의 실존철학과 '죽음을 향한 진정한 존재의 존재론적 가능성'과 관련하여 '일상성', '진정성', '비진정성' 사이의 구별에 상당한 주의를 기울였습니다(Heidegger 1962, 304). 

  • 여기서 일상성이란 자신의 행동과 신념이 타인의 행동과 신념에 의해 지시되는 순응주의를 의미합니다. 이 상태는 '부(un)진정성'으로 간주되는 반면,
  • '비(in)진정성'은 사람이 자신의 예정된 죽음을 받아들이거나 깨닫지 못하여 자신의 삶을 비판적으로 검토하지 않는 상태입니다.
  • 따라서 진정성개인이 자신의 유한한 존재를 인식하고 성찰하는 삶을 살도록 요구합니다. '하이데거의 작업에서 [돌본다는 것은] 세속적인 일과 자신의 존재에 대해 '관심을 갖는 것'을 의미하기 때문에'(Kreber 외, 2007, 32, 원문 강조) 돌봄의 개념은 이러한 성찰적 삶의 핵심입니다.

When Kreber (2013) and Kreber et al. (2007) examined authenticity in teaching and academic practice, considerable attention was paid to Heidegger’s existential philosophy and his distinction between ‘everydayness,’ ‘authenticity,’ and ‘inauthenticity’ in relation to the ‘ontological possibility of an authentic Being-towards-death’ (Heidegger 1962, 304).

  • Here, everydayness denotes conformism, where one’s actions and beliefs are directed by those of others. This state is deemed unauthentic,’
  • whereas inauthenticity’ is when persons do not come to terms with or realise their own predetermined demise and therefore do not critically examine their lives.
  • Authenticity, then, requires individuals to appreciate their finite existence and live examined lives. The notion of care is central to such examined life; for ‘in Heidegger’s work, [to care] means “to be concerned about worldly affairs and one’s own existence’ (Kreber et al. 2007, 32, emphasis in original).

하이데거의 존재 방식은 무엇보다도 자신의 유한한 경력을 고려하고 이 시기에 무엇을 성취하고 싶은지, 성취해야 하는지를 고민해야 하는 교사의 직업적 삶과 관련이 있습니다.

  • 일상성이라는 선택지는 교사가 다른 모든 사람들이 하는 것처럼 보이는 일을 하는 길을 의미합니다.
  • 반대로 진정성이란 교육자로서 자신의 제한된 선택지를 인식하는 동시에 가르치는 것에 대해 성찰하고 반성하며, 자신이 가르치는 대상과 영향력에 대해 진정으로 관심을 갖는 것을 의미합니다.
  • Kreber 등(2007)에 따르면 비진정성은 가르치기를 꺼려하고 이기적인 이유만으로 가르치는 것을 의미합니다.

이러한 진정성 개념화의 초점은 주로 자기 자신에 맞춰져 있지만, 크레버와 동료들은 개인이 생활하고 행동하는 사회적 맥락의 중요성을 강조한 아도르노(1973)의 비판에도 주목합니다. 개인의 결정, 신념, 행동이 환경의 영향을 받는다는 점에서 아도르노의 진정성에 대한 관점은 보다 구조주의적입니다. 이를 깨닫기 위해서는 비판적 의식이 필요합니다.
Heidegger’s modes of Being are relevant to the professional lives of teachers, who first and foremost should consider their own finite careers and ponder what they wish or ought to achieve in this time.

  • The option of everydayness implies a path where a teacher does what everybody else seems to be doing.
  • In contrast, being authentic means to be cognisant of one’s limited options as an educator but also to be reflective and reflexive towards teaching, and to genuinely care about one’s subject and impact.
  • Inauthenticity, for Kreber et al. (2007), implies being reluctant to teach and doing so only for selfish reasons.

The focus of this conceptualisation of authenticity is devoted primarily to one’s self, but Kreber and colleagues also note Adorno’s (1973) critique that emphasises the importance of the social context within which individuals live and act. Adorno’s view of authenticity is more structuralist as an individual’s decisions, beliefs and actions are influenced by their environment. Realising this requires a critical consciousness.

의식이라는 개념은 실존주의와 진정성에 관한 사르트르의 저술에서도 핵심적인 개념입니다. 사르트르에게 있어 사람의 존재는 본질보다 우선합니다. 이것은 '인간은 무엇보다도 먼저 존재하고, 자신을 만나고, 세계로 솟구쳐 오르고, 그 후에 자신을 정의한다'는 것을 의미합니다(Sartre 2001, 29). 이는 무엇보다도 인간이 되는 데에 미리 정해진 목적이 없으며, 인간은 자신의 실존적 존재를 구성할 책임과 자유가 있다는 것을 의미합니다(카코리 및 후투넨 2012). 그러나 자신의 존재에 의미를 부여하는 자유와 책임은 내면적으로만, 고립적으로만 일어나는 것이 아니라 '존재는 본질에 선행하기 때문에 자신이 무엇이며 타인을 위해 무엇을 하는지에 대해 도덕적으로 책임이 있다. 사람은 자신에 대해서만 책임지는 것이 아니라 모든 인간에 대해 책임을 져야 한다'(카코리와 후투넨 2012, 355). 따라서 자신의 선택에 대한 책임감은 사르트르(1957)의 실존주의 사상의 핵심입니다. 또한, 선택의 자유와 능력은 아무리 제약이 있더라도 '의식의 존재와 그 자체에 대한 의식을 수반한다'(Priest 2001, 107)고 말합니다.
The idea of consciousness is also central in Sartre’s writings on existentialism and authenticity. For Sartre, a person’s existence comes before essence. This means ‘that man first of all exists, encounters himself, surges up in the world – and defines himself afterwards’ (Sartre 2001, 29). This means, inter alia, no predetermined purpose for being human as well as humans’ responsibility and freedom to construct their own existential being (Kakkori and Huttunen 2012). The freedom and responsibility for giving meaning to one’s being, however, does not happen only internally, in isolation; but rather, ‘Because existence precedes essence, one is morally responsible for what one is and what one does for others. One is not responsible for only oneself but instead for all humans’ (Kakkori and Huttunen 2012, 355). This sense of responsibility for one’s own choices, then, is key in Sartre’s (1957) existential ideas. Moreover, one’s freedom and capacity of making choices, however constrained, ‘entails the existence of consciousness, and consciousness of itself’ (Priest 2001, 107).

사르트르의 실존주의는 하이데거의 실존주의에 비해 고등 교육 분야에 덜 영향을 미쳤지만, 존재와 자아에 대한 그의 사상은 어느 정도 구매력이 있었습니다. 예를 들어, Barnett(2007)은 사르트르의 사상을 고등 교육에서 학생들이 (자신의 행동에 대한 책임을 지는 것과 같이) 자신의 존재를 변화시키는 여정과 연결시킵니다. Barnett(2007, 61)은 '고등 교육은 학생이 진정성을 갖게 될 때 정점에 도달한다'고 말하며, 여기서 하이데거의 작품에서도 발견할 수 있는 '소유권'이라는 개념이 중추적인 역할을 한다고 말합니다. 책임감소유권이라는 실존적 개념은 개인이 독립적인 학습자가 되는 데 중요하며, 이러한 학습은 답을 찾는 것뿐만 아니라 질문하는 사람이 됨으로써 이루어집니다(Greene 1973). 
Sartre’s existentialism has had less impact on the field of higher education, compared with Heidegger’s, but his ideas of being and self did have some purchase. Barnett (2007), for example, links Sartre’s ideas to the journey students undergo in higher education, where they transform their being by, among other things, assuming responsibility for their actions. For Barnett (2007, 61), ‘Higher education achieves its apogee when the student becomes authentic,’ where the idea of ‘ownership,’ which he also finds in Heidegger’s work, is pivotal. These existential ideas of responsibility and ownership are important for individuals’ ability to become independent learners, and this learning happens by means of not only finding answers but also being the ones asking the questions (Greene 1973).

Brook(2009)도 하이데거의 실존 철학과 진정성 개념을 통해 교수법을 검토합니다. 다시 말하지만, 하이데거의 실존적 의미의 진정성은 진정한 인간이 되는 것을 필요로 합니다. 이것은 자기 자신이 되고, 타인을 돌보고, 자신의 필멸성과 따라서 시간성을 깨닫는 것을 포함합니다. 인간은 진정성 있는 존재로 태어나지 않으며, 평생을 진정성 있는 존재가 되지 못한 채 살아갈 수도 있기 때문에 진정성 있는 존재가 되고 변화한다는 개념이 중요합니다. 따라서 인간은 진정한 존재가 될 수 있으며, '하이데거는 교육을 진정한 의미에서 진정성의 형성으로 공식화한다'(Brook 2009, 51, 강조 추가)고 말합니다. 이러한 맥락에서 크레버(2013, 45)는 교사와 학생 모두의 진정성을 증진하는 것이 '고등교육의 주요 목적 또는 보편적 목표가 되어야 한다'고 주장합니다. 그녀에게 고등 교육에서 그리고 고등 교육을 통해 진정성을 형성하는 것은 궁극적으로 사람들이 더 비판적이고, 인식하고, 동정심을 갖고, 연결되는 더 공정하고 풍요로운 세상을 촉진하는 것을 목표로합니다. Jarvis(1992)에 따르면 교사는 관련된 모든 사람의 개인적 발전과 성장을 촉진하려고 노력할 때 진정성 있게 행동합니다. 이 과정에서 학습은 일방적인 것이 아니라 교사와 학생이 대화를 통해 학습하고 상호 성장을 위한 책임을 공유한다는 Paulo Freire(2000)의 아이디어를 따릅니다.  
Brook (2009) also turns to Heidegger’s existential philosophy and notions of authenticity for examining teaching. Again, Heidegger’s existential meaning of authenticity necessitates becoming truly human. This constitutes being one’s self, caring for others and realising one’s own mortality and hence temporality. This notion of becoming, of transforming, is key because humans are not born authentic and may live their entire lives without being authentically themselves. Thus, they can become authentic beings, and ‘Heidegger formulates education in its proper sense as the formation of authenticity’ (Brook 2009, 51, emphasis added). In this vein, Kreber (2013, 45) argues that promoting the authenticity of both teachers and students ‘should be a chief purpose or universal aim of higher education.’ For her, the formation of authenticity in and through higher education ultimately aims to promote a fairer and more enriched world, where people are more critical, aware, compassionate and connected. For Jarvis (1992), teachers act authentically when they attempt to nurture the personal development and growth of everybody involved. In this process, learning is not uni-directional; but rather, it follows Paulo Freire’s (2000) ideas around teachers and students learning in dialogue and sharing responsibilities for mutual growth.

프레이레(2000)는 그의 대표작인 '억압받는 자의 교육학'에서 진정성을 언급하거나 '진정성'이라는 용어를 다양한 방식으로 사용했습니다. 주로 '진실성' 또는 '진정성'을 의미하며, 예를 들어 혁명(지도자가 민중과 소통하는 것)과 권위(권력이 위임되고 공유되는 것)와 관련해서도 사용됩니다. 프레이레는 연대, 자유, 진정성을 함께 연결하며, 이러한 결합은 양방향 소통의 교육학에 달려 있습니다. '진정한 교육은 'A'가 'B'를 위해 또는 'A'가 'B'에 대해 수행하는 것이 아니라, 'A'와 'B'가 (세계, 즉 양 당사자에게 감동을 주고 도전하며 그에 대한 견해나 의견을 제시하는) 세계를 매개로 수행됩니다'(Freire 2000, 93, 원문에서 강조 표시). 교사의 사고는 학생의 사고에 의해 인증되어야 하며, 프레이레에 따르면 이는 학생이 자신의 비진정적이고 억압된 존재를 확인하고 그 사고를 해방하기 위해 행동하지 않는 한 일어날 수 없습니다. 이러한 억압을 내면화하는 상태는 본질적으로 하이데거(1962)가 말한 일상성, 즉 현실을 수동적으로 받아들이고 독창적이고 비판적인 사고가 결여된 상태입니다.
In his seminal work Pedagogy of the Oppressed, Freire (2000) refers to authenticity or uses the term ‘authentic’ in various ways. It primarily denotes ‘truthfulness’ or ‘genuineness,’ for instance in relation to revolution (where leaders communicate with the people) and authority (where power is delegated and shared). Freire links together solidarity, freedom and authenticity, whose combination depends on a pedagogy of bidirectional communication, ‘Authentic education is not carried on by “A” forB” or by “A” aboutB,” but rather by “A” withB,” mediated by the world – a world which impresses and challenges both parties, giving rise to views or opinions about it’ (Freire 2000, 93, emphasis in original). The teacher’s thinking must be authenticated by student thinking and, for Freire, this cannot occur unless the students are able to identify their inauthentic and oppressed being and act to liberate their thought. Such a state of internalising oppression is essentially Heidegger’s (1962) everydayness: a passive acceptance of reality and lack of original and critical thinking.

크레버(2013, 11)는 '진정성은 적어도 세 가지의 광범위한 철학적 전통, 즉 실존주의, 비판주의, 공동체주의에 의해 뒷받침되는 다차원적 개념'이라고 말합니다. 

  • 실존적 관점에서 진정성은 자신의 가능성과 삶의 목적에 대한 자기 인식과 내면의 견해에 대한 헌신으로 이해됩니다. 
  • 비판적 관점에서 실존적 진정성을 포함한 진정성은 자신의 지식, 가치, 신념에 대한 반성적 비판을 전제로 합니다. 이러한 비판은 이러한 것들이 어떻게 무비판적으로 동화되어 왔으며, 때로는 당연한 것으로 받아들여졌는지를 고려합니다. 
  • 공동체주의적 관점은 개인의 진정성에 영향을 미치는 사회적 맥락의 중요성을 지적함으로써 비판적 관점과 관련이 있습니다. 

진정성은 종종 자기 자신을 발견하고 진실해지는 것과 관련이 있지만, 사람들은 고립되어 살지 않으며 공동체주의 관점은 관계의 중요성과 사람들의 상호 연결성을 강조합니다.
Kreber (2013, 11) notes that ‘Authenticity is a multidimensional concept underpinned by at least three broad philosophical traditions: the existential, the critical and the communitarian.’

  • From an existential perspective authenticity is understood as self-awareness of one’s own possibilities and purpose in life, and commitment to one’s inner views.
  • From a critical perspective, authenticity, including existential authenticity, is contingent on reflective critique of one’s own knowledge, values and beliefs. This critique would take account of how these have been uncritically assimilated and, at least sometimes, taken for granted.
  • The communitarian perspective is related to the critical by pointing to the importance of social contexts in affecting an individual’s authenticity.

While authenticity is often associated with discovering and being true to one’s self, people do not live in isolation and the communitarian perspective stresses the importance of relationships and people’s interconnectedness.

의미의 정도
A degree of meaning

의미의 정도진정성의 가치를 구성한다는 생각은 두 가지 측면이 있습니다.

  • 첫째, 서론에서 언급했듯이 진정성이라는 개념은 복잡하고 상황에 따라 달라지지만, 본질적으로 긍정적인 속성을 가지고 있습니다. 이런 의미에서 진정성이 있다고 평가받으려면 사람, 사물, 아이디어 또는 프로세스가 기본적으로 높은 수준의 의미를 가져야 합니다.
  • 둘째, 교육학적 관점에서 볼 때 의미의 정도는 실존적 자아뿐만 아니라 해당 관점(Splitter 2009)의 중요한 속성입니다. 따라서 의미 정도라는 개념을 통해 진정성을 이해하는 것은 여기에서 확인된 진정성의 다른 가치에 내재되어 있기 때문에 의문을 제기할 수 있습니다.

그러나 우리는 고등 교육에서 그리고 고등 교육을 통해 진정성을 향상시키는 데 중요하기 때문에 이 아이디어를 별도로 다루었습니다(Kreber 2013 참조). 이를 별개의 가치로 다루는 것은 위에서 설명한 것처럼 의식, 책임, 소유권, 보살핌에 관한 실존적 아이디어의 중요성을 강조하는 데 도움이 됩니다. 이러한 의미에서 우리는 진정한 자아가 다소 개인적인 의미를 지닌 경험('현실 세계'에 해당하거나 그렇지 않은 경험)에 따라 다르게 영향을 받는다고 주장합니다. 개인적 의미를 지닌 경험은 부과된 과제와 필수 지식을 포함하는 교육 시스템에서 항상 제공되는 것은 아니며, 학생들은 학습 과제에서 주인의식책임감에 따라 의미를 찾을 가능성이 더 높습니다.
The idea that a degree of meaning constitutes a value of authenticity is twofold.

  • First, as noted in the introduction, while the concept of authenticity is complex and context dependent, it has an inherent positive attribute. In this sense, to be regraded authentic, a person, an object, an idea or a process must by default have a high degree of meaning.
  • Second, from a pedagogical perspective, a degree of meaning is an important attribute of the corresponding view (Splitter 2009) as well as of the existential self. As such, understanding authenticity through the idea of a degree of meaning could be questioned because it is inherent to the other values of authenticity identified here.

However, we have treated this idea separately because of its importance for enhancing authenticity in and through higher education (see Kreber 2013). Having this as a distinct value serves to emphasise the importance of existential ideas around consciousness, responsibility, ownership and care, as outlined above. In this sense, we argue that the authentic self is influenced differently by experiences (‘real world’ corresponding or otherwise) that have more or less personal meaning. Experiences that have personal meaning are not always available in a system of education that includes imposed tasks and required knowledge, and students are more likely to find meaning in a learning task depending on the sense of ownership and responsibility it animates in them.

학습이 학생에게 의미를 가져야 한다는 생각은 단순히 '암기식 학습'에 반대하여 '의미 있는 학습'을 경험하는 것에 관한 것이 아닙니다(Novak 2002; Ramsden 2003). 또한 의미 있는 지식은 학습자가 이미 알고 있고 할 수 있는 것을 기반으로 구축되어야 한다는 구성주의적 관점도 아닙니다. 여기서 우리가 관심을 두는 것은 학습 경험의 맥락에서 개인적 의미를 개발하는 것입니다(Rawson 2000). Rawson에 따르면, 개인적 의미는 학생이 스스로 지식을 탐색하고, 어느 정도의 자기 결정권과 주제와 맥락을 초월할 수 있는 잠재력을 제공하는 활동에 참여할 때 가장 잘 달성됩니다. 이러한 의미에서 의미 있다는 것은 학생이 중요하거나 가치 있다고 판단하는 경험을 의미하며, 결과적으로 다른 진정성 가치와도 잘 부합합니다. 또한 하이데거와 사르트르에 따르면 학습자 개개인은 항상 더 넓은 사회적 맥락에서 주체이며, 개인의 의미는 더 넓은 커뮤니티의 다른 사람들을 통해 구성되고 그들과 공유된다고 주장합니다.
The idea that learning should have meaning for a student is not just about experiencing ‘meaningful learning’ as opposed to ‘rote learning’ (Novak 2002; Ramsden 2003). Neither is it about the constructivist view that to have meaning knowledge should be built on what the learner already knows and can do. What we are concerned about here is developing personal meaning in the context of the learning experience (Rawson 2000). According to Rawson, personal meaning is best achieved when students are engaged in their own search for knowledge, an activity that offers a degree of self-determination and the potential to transcend both subject and context. Being meaningful in this sense is about an experience that the student determines to be significant or worthwhile, and as a consequence fits well with other authenticity values. In addition, following Heidegger and Sartre, we also argue that the individual learner is always a subject in a wider social context and that personal meaning is both constructed through, and shared with, others in a wider community.

'진정성 있는' 연구를 통한 학부생 교육
Teaching undergraduate students through ‘authentic’ research

우리는 진정성의 세 가지 렌즈를 사용하여 오타고 대학의 생태학 프로그램에서 진정성 있는 연구에 대한 우리의 주장을 재고했습니다. 이 작업을 돕기 위해 이론적 아이디어를 출발점으로 삼아 각 아이디어를 교육, 커리큘럼, 지식 및 학생 학습 결과에 대한 아이디어와 연결하는 프레임워크가 개발되었습니다. 이를 통해 우리는 생태학 분야의 진정한 학부 연구를 구성하는 요소에 대한 보다 자세한 설명을 만들었습니다(표 1). 이 표에는 생태학 프로그램의 현재 관행 중 일부가 진정성에 대한 요건을 충족한다고 주장할 수 있는 개념이 포함되어 있지만, 더 중요한 것은 이러한 개념이 현상에 대한 이해를 발전시키는 데 도움이 된다는 것입니다. 프레임워크를 설명한 후에는 연구를 통한 다른 형태의 학부 교육이 이 진정성 프레임워크와 어떻게 비교되는지 논의할 것입니다.

Using the three lenses of authenticity we have reconsidered our claim to authentic research in the ecology programme at the University of Otago. To help us in this task a framework was developed that took the theoretical ideas as a starting point and then connected each of these to ideas about teaching, curriculum and outcomes for knowledge and student learning. In doing so we have produced a fuller explanation of what we consider constitutes authentic undergraduate research in ecology (Table 1). The table includes concepts that allow us to claim that parts of the present practices in the ecology programme meet the requirements for authenticity, but more importantly, these concepts assist our developing understanding of the phenomenon. After explaining the framework, we will discuss how other forms of undergraduate teaching through research compare with respect to this framing of authenticity.

이 프레임워크는 특정 맥락에서 진정성의 핵심 가치로 간주되는 것을 통합합니다. 이러한 가치는 커리큘럼을 조정할 때 교사가 집중해야 하는 주요 개념과 일치합니다(Biggs and Tang 2011). 표 1에서 정렬은 커리큘럼 설계, 교수 전략 또는 특정 교수 철학의 채택을 통해 초점 포인트를 적용하는 것을 의미합니다. 따라서 우리는 '실제 세계'에서 과학이 수행되는 방식을 반영하는 보다 응용적 속성과 실존적 자아에 대한 철학적 요소를 함께 가져옵니다. 그러나 결정적으로, 진정성은 맥락에 따라 달라지고 사회적으로 구성되기 때문에 이 프레임워크는 진정성을 주장하는 데 필요한 의미의 정도를 전달합니다. 따라서 연구를 통한 진정성 있는 교육 모델은 학생에게 연구에 대한 주인의식을 고취시켜야 하며, 이는 학생에게 과제에 대한 책임동료에 대한 보살핌을 맡기고, 교사는 전문적인 지원을 제공함으로써 달성됩니다. 따라서 이 프레임워크는 이론적 요소뿐만 아니라 실제적 요소도 포함하고 있습니다. 언급된 결과 중 많은 부분이 측정하거나 평가하기 어려운 것은 사실이지만, 더 많은 경험적 테스트가 필요하지만 현재 연구를 통해 다양한 교육 모델과 비교하여 검토할 수 있습니다. 
The framework incorporates what we consider the core values of authenticity within our particular context. These values are then matched with the main concepts that teachers would need to focus on when aligning a curriculum (Biggs and Tang 2011). In Table 1 alignment refers to the application of focus points, either through curriculum design, teaching strategies or adopting specific teaching philosophies. As such we bring together the more applied attributes of mirroring how science is done in the ‘real world,’ and philosophical elements of the existential self. But crucially, since authenticity is context dependent and socially constructed, the framework conveys the degree of meaning necessary for claiming authenticity. Thus conceived, an authentic model of teaching through research should promote students’ sense of ownership over the research, which is achieved by entrusting them with the responsibility for the work and care for their peers, while teachers provide expert support. The framework therefore contains theoretical as well as practical elements. It is certainly the case that many of the outcomes noted will be difficult to measure or evaluate, but while more empirical testing is required, it is currently possible to examine it against different models of teaching through research.

이 프레임워크를 뒷받침하기 위해 Chinn과 Malhotra(2002)는 듀이(1938)가 사용한 용어인 '진정한 탐구'와 관련된 인지적 과정에 대한 포괄적인 개요를 제공합니다. 이러한 과정에는 자신의 연구 질문 생성, 복잡한 절차의 발명, 자신의 결과에 대한 의문 제기, 다양한 형태의 논증 사용, 이전 연구의 (때로는 상충되는) 결과의 사용 등이 포함됩니다. 이러한 과제는 학생의 주인의식과 고차원적인 학습 결과로 이어집니다. 그러나 일부 저자는 완전히 다른 패러다임과 관련하여 진정성을 주장하기도 했습니다. 따라서 진정한 탐구 또는 연구, 즉 '진짜 과학을 하는 것'에 대한 단순한 이해는 일반적으로 공유되지만, 우리의 프레임워크에서는 진정성이라는 하나의 가치로만 구성됩니다. 진정성에 대한 유일한 척도를 갖는 것과는 대조적으로, 이 프레임워크를 구성하는 일련의 가치들은 필연적으로 연구를 통해 근본적으로 일관된 형태의 교육을 초래할 것입니다. 이 주장을 받아들인다면, 생태학에 대한 우리의 주장을 포함하여 모든 주장이 그 자체로 진정성이 있을 수 있는지에 대한 의문이 제기됩니다. 우리는 대답은 '아니오'라고 제안하며, 여기에 제시된 프레임워크가 연구 모델을 통한 진정한 교육을 설계하는 데 어느 정도 유연성을 허용하지만, 적절하고 인식 가능한 경계를 설정하기 때문에 충분히 제약적이라는 점에 유의해야 합니다. 
In support of the framework, Chinn and Malhotra (2002) provide a comprehensive overview of the cognitive processes implicated in what they call ‘authentic inquiry,’ a term also used by Dewey (1938). These processes include the generation of one’s own research questions, the invention of complex procedures, the questioning of one’s own results, the employment of multiple forms of argument, the use of (sometimes conflicting) results from previous studies, and more. These tasks lead to both ownership and higher-order learning outcomes for students. However, some authors have made claims for authenticity in relation to quite different paradigms. Therefore, while the simple understanding of authentic inquiry or research – namely ‘doing real science’ – is commonly shared, in our framework it constitutes only one value of authenticity. In contrast to having a sole measure for authenticity, the set of values constituting this framework will inevitably result in a fundamentally consistent form of teaching through research. If this argument is accepted, then it brings into question whether all claims can be authentic in their own right (including our own for ecology). We suggest the answer is no, and further note that although the framework offered here allows for some flexibility in designing an authentic teaching through research model, it is also sufficiently constraining because it sets adequate and recognisable boundaries.

이를 '실제 세계'의 가치와 관련하여 설명하기 위해 Laursen 외(2010, 2)에 따르면 '실제 연구란 질문, 방법, 일상적인 작업 방식이 해당 분야에 진정성 있는 연구'라고 합니다. 따라서 학부 연구는 진정성에 대한 해당 관점을 주요 특징으로 삼고, 프로그램의 가치나 효과를 평가할 수 있는 기준으로 삼습니다. 같은 저자들은 또한 진정성이 교직원과 학생 모두에게 유익한 것으로 보고 있으며 다음과 같은 점에 주목합니다:
To illustrate this with reference to the ‘real world’ value, according to Laursen et al. (2010, 2), ‘real research is an investigation whose questions, methods, and everyday ways of working are authentic to the field.’ Undergraduate research, therefore, privileges the corresponding view of authenticity as a key feature, and positions it as a benchmark according to which the value or effectiveness of a programme could be evaluated. The same authors also see authenticity as being beneficial to both staff and students and note that:

지도교수는 답을 알 수 없지만 자신과 자신의 학문에 관심이 있고, 그 답에 기득권을 가지고 있기 때문에 진짜인 연구 질문에서 시작합니다. 그들은 그 질문의 범위를 정의하고, 제한된 시간 내에 초보 연구자에게 적절한 규모의 프로젝트를 제공하는 접근 방식을 고안한 다음, 의도적으로 가르칠 수 있는 순간을 활용합니다. (Laursen 외. 2010, 205)
Advisors begin with a research question that is real because its answer is unknown but of interest to them and their discipline; they have vested interest in its answer. They define the scope of that question and devise approaches to it that offer a right-sized project to a novice researcher with a limited time frame, then purposefully exploits its teachable moments. (Laursen et al. 2010, 205)

그러나 진정성 있는 연구에 대한 이러한 관점에도 문제가 없는 것은 아닙니다. 이러한 연구 프로젝트는 교실을 넘어서는 관련성이 있고 독창적이라는 측면에서 진정성이 있을 수 있지만, 학생들의 독창성, 창의성 및 아이디어와 관련된 측면에서는 그렇지 않을 수 있습니다. 또한 Hung과 Chen(2007)의 말을 빌리자면, 이 모델은 과학자로서의 정체성을 형성하고 교양을 쌓는 진정한 학습의 과정 차원에서는 부적절할 수 있습니다. 마찬가지로, 우리의 프레임워크를 사용하면 이러한 모델이 '실제' '지식 결과' 기준의 일부 요소를 충족할 수 있지만 학생의 기여도를 완전히 인정받지 못할 수도 있습니다. 또한 학생이 연구 설계 및 수행에 대한 책임이 있다는 의미에서 프로젝트를 소유하지 않기 때문에 세 가지 가치 범주에 걸친 학생의 성과가 실현될 가능성이 낮습니다. 
This view of authentic research, however, is not without problems. Such a research project could be authentic in terms of having relevance beyond the classroom and being original, but not so much in relation to students’ originality, creativity and ideas. And, borrowing from Hung and Chen (
2007), this model may be inadequate for the process dimension of authentic learning, where identity formation and enculturation as scientists are developed. Similarly, using our framework, whereas such a model may satisfy some elements of the ‘real-world’ ‘knowledge outcomes’ criterion, the contribution of the student may not be fully recognised. In addition, student outcomes across the three value categories are unlikely to materialise because the student does not own the project in the sense of having the responsibility for designing and performing the research.

다른 학생 연구 모델도 있으며, 미국에서는 학부생이 기존 과학 연구팀에서 견습생으로 일할 수도 있습니다(Laursen 외. 2010). Grabowski, Healy, Brindley(2008)는 학부생이 교수진의 연구 프로젝트와 매칭되어 구직 지원과 유사한 과정을 거치는 프로그램을 조사했습니다. 오버하우저와 르분(2012)은 학부생이 시민 과학이라는 더 넓은 틀 안에서 연구에 참여하는 약간 다른 사례를 조사합니다. 이 모델에서 학생들은 연구 설계, 프로토콜 테스트, 데이터 수집, 출판물 공동 저술과 같은 다양한 연구 과제를 수행했으며, 이 모든 과제는 진정성 있는 것으로 간주되었습니다. 그러나 이 연구의 대부분이 여름 방학 동안 이루어졌고, 얼마나 많은 학생이 프로젝트에 참여했는지 명확하지 않았으며, 학생들이 다른 실제 하위 과제에 참여했을 수 있기 때문에 전체 연구 과정을 경험했는지 또는 얼마나 많은 학생이 경험했는지는 확실하지 않습니다. 
There are other models of student research and in the United States, undergraduates may work as apprentices in an established scientific research team (Laursen et al. 2010). Grabowski, Healy, and Brindley (2008) examine a programme where undergraduate students are matched with faculty members’ research projects in a process that resembles a job application. Oberhauser and LeBuhn (2012) examine a slightly different example whereby undergraduate students engage in research within a broader framework of citizen science. In this model students performed different research tasks such as study design, protocol testing, data collection and co-authoring publications, all of which were deemed authentic. It seems, however, that much of this research was done over summer breaks, it was not clear how many students were involved in the project, and because students may have been involved in different authentic sub-tasks it is not certain if or how many experienced the complete research process.

학부 연구에 대한 접근 방식에 대한 간략한 논의에서 Harvey와 Thompson(2009, 13)은 진정한 학부 연구 경험이란 '발표 및 출판을 목표로 연구를 수행하는 지적 동료로서 한 명 이상의 학생을 참여시키는 교수 주도 프로젝트'라고 주장합니다. 저자들이 인정하듯이 이 접근 방식에는 소수의 선별된 학생만 참여할 수 있고 교수의 연구 관심사에 치우칠 수 있지만, 지속 가능한 모델이 될 수 있습니다. 결정적으로, 학생의 참여는 인지적으로나 인식론적으로 유의미해야 하며, 의미 있는 협업으로 이어져야 하는데, 이는 위에서 언급한 다른 견습 모델보다 더 중요한 요건일 수 있습니다. 그러나 저자들이 이 견습 모델이 지속 가능한 상생 모델이라는 보다 명시적인 주장과 '실제 과학을 하는 것'이라는 암묵적인 주장 외에 왜 이 모델이 진정성 있는 것으로 간주되는지는 명확하지 않습니다. 
In their brief discussion of approaches to undergraduate research, Harvey and Thompson (2009, 13) maintain that an authentic undergraduate research experience is ‘a faculty-led project [that] engages one or more students as intellectual colleagues who conduct research directed toward presentation and publication.’ This approach would include, as the authors admit, only a small and selective number of students and would lean towards the teacher’s research interest, but this would make it a sustainable model. Crucially, students’ involvement should be cognitively and epistemically significant, resulting in a meaningful collaboration, a requirement that perhaps goes further than some of the other apprenticeship models mentioned above. It is not entirely clear, however, why this apprenticeship model is deemed authentic by the authors, beyond the more explicit claim that it is a win-win sustainable model and the implicit claim that it is about ‘doing real science.’

연구 견습생 관련 문헌을 검토한 새들러와 맥키니(2010)는 여러 연구에서 이러한 직책을 맡은 학부생이 지식과 기술 수준이 향상되었다는 증거를 발견했다고 언급했습니다. 그러나 이 저자들은 '이러한 경험이 데이터 분석, 질문 제기, 가설 세우기 등 인식론적으로 더 까다로운 관행을 포함하도록 발전하지 않으면 고차원적인 결과에 대한 학습 이득이 제한될 수 있다'는 우려를 표명합니다(Sadler and McKinney 2010, 48). 따라서 학생들이 '실제' 연구에 참여할 수는 있지만, 어떤 역할이나 과제를 수행해야 하는지, 주인의식, 책임감, 관심을 통해 의미를 가질 수 있을 만큼 연구 과정을 충분히 경험할 수 있는지 여부가 항상 명확하지는 않습니다.  
In a review of the research apprentice literature, Sadler and McKinney (2010) noted that several studies found evidence that undergraduate students that held such positions improved their level of knowledge and skills. However, these authors express a concern that ‘if these experiences do not evolve to include more epistemically demanding practices, such as data analysis, question posing, and hypothesizing, then learning gains on higher-order outcomes will likely be limited’ (Sadler and McKinney 2010, 48). Thus, students may be involved in ‘real-world’ research but it is not always clear what roles or tasks they are required to perform and whether or not they get to experience enough of the research process for it to have meaning through a sense of ownership, responsibility and care.

또한, 도제식 모델에서 '실제' 연구를 통한 학습이 대중 고등 교육에 적합한 전략인지에 대한 적절한 의문이 제기되고 있습니다. 소수의 재능 있는 학생을 선별하여 연구 기회를 제공하는 것과 모든 능력을 갖춘 다수의 학생이 독창적인 연구를 수행하여 학습하는 것은 결코 같을 수 없기 때문에 이 질문은 중요합니다. 예를 들어, Gardner 등(2015)은 '떠오르는 대학 신입생'(62명)을 포함한 견습생 연구 프로그램을 연구했는데, 그 수는 공개되지 않았지만 8명의 학생이 연구 참여에 동의했습니다. 따라서 이 프로그램은 상대적으로 소수의 뛰어난 능력을 가진 학생들을 대상으로 한 것으로 보입니다. 반면, 우리의 프레임워크는 연구를 통한 진정한 교육을 학급의 모든 학생을 위한 커리큘럼에 통합할 수 있는 지침을 제공하는 것을 목표로 합니다. 
Moreover, there is a pertinent question as to whether learning through ‘real-world’ research in an apprenticeship model is a viable strategy for mass higher education. This question is important since selectively identifying a small number of talented students for research opportunities is by no means the same as getting a large number of students of all abilities to learn by carrying out original research. Gardner et al. (2015), for instance, studied an apprenticeship programme of research that included what they describe as ‘rising college freshmen’ (62), and while their number was not disclosed, eight student agreed to take part in the study. It seems, therefore, that this programme was targeted at relatively small number of exceptionally capable students. In contrast, our framework aims to provide guidance for the incorporation of authentic teaching through research into a curriculum for all students in a class.

2000년대 초 오타고 대학교의 생태학 프로그램이 재설계되었을 때 주요 목표 중 하나는 비판적 사고 능력을 개발하는 것이었습니다. 과학자가 되는 법을 배우는 것도 우선 순위가 높았지만 이는 대부분 비판적 사고의 범주에 속했습니다. 그러나 이 두 가지 모두 학생들이 진정한 연구에 참여하게 함으로써 달성할 수 있는 목표였습니다(Spronken-Smith 외. 2011). Spronken-Smith 외(2011, 732)는 '생태학 프로그램의 탐구는 학생에게 새로운 지식을 창출하고 궁극적으로 과학에 새로운 지식을 제공할 수 있는 모든 기회가 있어야 한다는 의미에서 진정성이 있었다'고 말합니다... [프로그램의 3년 동안의] 모든 연구 활동은 생태학자의 작업 측면을 다루기 때문에 이런 의미에서 모두 진정성이 있다'고 설명합니다. 앞서 언급한 '실제 세계'에 상응하는 진정성에 대한 주장은 좀 더 심도 있는 설명이 필요합니다. 
When the ecology programme at the University of Otago was redesigned in the early 2000s one of the main aims was to develop critical thinking skills. Learning to be a scientist also featured high as a priority, but this largely fell within the parameters of critical thinking. Both, however, were to be achieved through getting students engaged in authentic research (Spronken-Smith et al. 2011). Spronken-Smith et al. (2011, 732) note that ‘the inquiry in the ecology programme was authentic in the sense that there had to be every chance of new knowledge being created for the student and eventually new knowledge to science … All research activities [over three-years of the programme] cover aspects of an ecologist’s work so, in this sense, they are all authentic.’ This earlier claim to ‘real world’ corresponding authenticity requires some more in-depth explanation.

커리큘럼은 모든 학생이 대학에 처음 입학할 때부터 연구자로서의 훈련을 받도록 설계되어 3년 동안의 경험 중 일부는 연구를 통해 배우는 데 중점을 두어 연구를 수행하도록 합니다. 연구 활동은 학생들의 현재 능력에 맞게 조정되며, 프로그램이 진행됨에 따라 기대되는 연구 수준이 높아져 결국에는 고급 대학원생이나 심지어 학부 교사의 작업과 비슷해집니다(Harland 2016). 이 프로그램은 학생들이 완전히 설계하고 주도하는 캡스톤 연구 프로젝트로 마무리됩니다. 이 연구 프로젝트의 준비는 프로그램에 참여한 교사들이 연구를 수행하는 방식을 면밀히 따릅니다. 학생들은 짝을 이루어 2학년 때 짧은 현장 학습을 통해 다양한 생태계를 탐험한 후, 3학년 프로젝트에 대한 연구 제안서와 함께 보조금 신청서를 작성합니다. 이 보조금 신청서는 교직원과 학생이 모두 참여하는 이중 맹검 동료 검토 과정을 거치며, 피드백은 연구 설계를 개선하는 데 사용됩니다. 프로그램 3년차에는 학생들이 연구 프로젝트를 수행하고 보고서를 작성합니다. 이러한 프로젝트에서 생성된 지식은 해당 분야에 새로운 지식일 가능성이 높으며, 지난 몇 년 동안 일부는 기존 학술지(Harland, Wald, Randhawa 곧 출간 예정)에 연구를 발표하기도 했습니다. 그러나 이 프로그램은 미래의 학자를 양성하는 것이 목적이 아니라 학생 연구자로서의 작업을 통해 모든 학생의 개인적 성장을 촉진하고자 합니다(Harland 2016).
The curriculum is designed so that all students are trained as researchers from when they first start at university so that a part of their experiences over three years focuses on learning through research by learning to do research. Research activities are aligned to students’ current abilities and as they progress in the programme, the expected level of research increases so that eventually their work resembles that of more advanced postgraduate students or even of their academic teachers (Harland 2016). The programme concludes with a capstone research project that is fully designed and led by the students. The preparation of this research project follows closely how the teachers in the programme do research. Working in pairs, and following a short fieldtrip in second-year where students explore a number of different ecosystems, students write a grant application with a research proposal for the third-year project. This grant application goes through a double-blind peer-review process involving both staff and students, and the feedback is then used to improve the research design. In the third year of the programme, students conduct their research projects and write their reports. The knowledge generated in these projects has every chance of being new to the discipline and in past years some have published their research in established journals (Harland, Wald, and Randhawa forthcoming). The programme, however, does not aim to train future academics; instead, it wishes to promote the personal growth of all students through their work as student-researchers (Harland 2016).

이 모델에는 '실제 과학 수행'이라는 익숙한 형태로 '실제 세계'와의 대응이 포함될 수 있지만, 우리는 더 이상 이것만으로는 '진짜authentic'라고 부르기에 충분하다고 주장하지 않습니다. 오히려 연구를 통한 교육이 진정성을 가지려면 학생들이 자신이 선택한 학문 분야에서 학습자이자 연구자로서, 그리고 교실 밖에서도 자아를 긍정적이고 의미 있게 발전시킬 수 있어야 한다는 것이 우리의 견해입니다. 진정성 있는 학습자는 자신의 가치와 행동에 대한 지식을 얻고 이것이 자신과 타인에게 어떤 영향을 미치는지 알게 됩니다. 학생들의 의식에 대한 이러한 실존적 효과는 학생들이 더 큰 책임감을 갖도록 장려하고 연구를 결정할 수 있는 더 많은 자유를 부여하는 커리큘럼을 통해 달성됩니다. 이 주장을 받아들인다면, 이러한 교육 모델에서 연구는 독창적일 뿐만 아니라 대부분 학생이 주도해야 한다는 결론이 나옵니다. 표 2는 생태학 프로그램의 캡스톤 프로젝트에서 학생과 교사가 책임져야 하는 '실제' 과제를 세분화하여 보여줍니다.
The ‘real-world’ correspondence may be embedded in this model in the familiar form of ‘doing real science,’ but we would no longer claim that this in itself is sufficient for calling it ‘authentic.’ Rather, it is our view that for teaching through research to be authentic, it should positively and meaningfully enable students to develop their sense of self, both within their chosen discipline as learners and researchers, and beyond the classroom. The authentic learner gains knowledge about his or her values and actions and how these impact on self and others. This existential effect on students’ consciousness is achieved by a curriculum that encourages them to assume greater responsibility and that gives them more freedom to determine their research. If this argument is accepted, then it follows that in such a pedagogical model research should be not only original but also largely student-led. Table 2 breaks down ‘real-world’ corresponding tasks and shows what students and teachers assume responsibility for in the capstone project of the ecology programme.


이러한 책임은 진정한 자아의 일부이지만, 이것이 프로젝트 주인의식을 전제로 하는 개인적으로 의미 있는 경험과 어떻게 관련될지 예측하기는 더 어려워 보입니다. 학생에게 책임감을 부여하고 프로젝트를 설계하도록 요구할 수는 있지만, 진정성에 대한 우리의 관점에서 진정으로 느껴야 하는 소유권을 부여할 수는 없습니다(Barnett 2007). 지금까지는 코스 평가에서 주인의식이 특히 학습자이자 연구자로서 자신감을 키우는 데 매우 중요하다는 사실이 일관되게 밝혀졌다는 사실 외에 이러한 경험이 학생들에게 어떤 의미를 갖는지는 명확하지 않았습니다. 진정성의 맥락에서 우리는 진정성 있는 학습 경험에 어느 정도의 개인적 의미가 필요한지 묻고 있습니다. 우리가 결정해야 할 것은 의미가 학습자이자 생태학자가 되는 데, 그리고 궁극적으로 한 사람의 존재와 자아가 되는 데 어떤 영향을 미치는지입니다(Barnett 2007). 그런 다음 이것이 공동 연구 커뮤니티 내에서 일하는 것과 어떤 관련이 있는지, 그리고 나중에 학생들이 사회에 더 광범위하게 기여하는 방법과 어떤 관련이 있는지 확인해야 합니다. 

Such responsibility is part of the authentic-self but it seems more difficult to predict how this might relate to personally meaningful experiences that are predicated on the idea of project ownership. Students may be given responsibility and be required to design a project, but they cannot be given ownership, which has to be genuinely felt (Barnett 2007) in our view of authenticity. To date it has not been clear what the experiences have meant to students, beyond the fact that course evaluations have consistently shown that ownership has been very important, particularly with respect to students growing in confidence as both learners and developing researchers. In the context of authenticity we are asking what degree of personal meaning is required for an authentic learning experience. What we need to determine is how meaning impacts on becoming a learner and an ecologist, and ultimately on being and becoming one’s own person (Barnett 2007). We then need to ascertain how this relates to working within a collaborative research community and perhaps later how students contribute to society more broadly.

전반적으로, 그리고 보다 실용적인 측면에서 볼 때, 연구를 통한 진정한 교육 모델은 대학원 및 학부 연구자들이 지식을 학습하고 생성하는 방식을 최대한 가깝게 따르는 모델이며, 여기에는 여러 가지 기술적 작업뿐만 아니라 연구에 만연한 복잡성, 불확실성, 정치성을 다루어야 하는 것도 포함됩니다. 이 개념에서 학부생은 마치 대학원생처럼 일하기 때문에 일반적으로 이 수준에서 기대할 수 있는 것보다 훨씬 더 큰 학습 책임을 지는 동시에 교수와 훨씬 더 긴밀하고 협력적인 관계를 구축합니다(Harland 2016). 이러한 새로운 관계는 고차원적인 학습 성과와 인식론적으로 까다로운 관행에 대한 요구의 결과입니다. 우리 중 한 명은 수년 동안 이 프로그램에 참여해 왔고 오랫동안 학생들을 연구자로 가르치는 것을 지지해 왔지만, 연구를 통한 교육에서 진정성을 위한 프레임워크의 정교화는 프로그램 개발에서 거의 고려되지 않았던 기술적 과제와 가치를 모두 강조했습니다. 이는 대부분 실존적인 진정한 자아와 의미의 정도와 관련이 있습니다. 이 프레임워크를 통해 우리는 이러한 형태의 교육학, 무엇에 집중해야 하는지, 우리의 가치를 실천과 어떻게 일치시킬 수 있는지 재고할 수 있었습니다. '현실 세계'에 해당하는 과제는 비교적 쉽게 연계할 수 있는 것처럼 보이지만, '존중', '소속감', '풍요로움'과 같은 가치는 학생의 학습 결과에 대한 광범위한 토론에서 거의 주목을 받지 못했으며, Barnett(2007)의 '되기'는 더더욱 그러했습니다. 그러나 우리는 이러한 요소들이 모두 진정한 연구를 통해 학습의 필수적인 부분이라고 주장할 수 있습니다. 
Overall, and in more pragmatic terms, an authentic model of teaching through research is one that follows as closely as possible how postgraduate and academic researchers learn and generate knowledge, which includes a number of technical tasks as well as having to deal with the complexities, uncertainties and politics that are omnipresent in research. In this conception, undergraduate students work as if they were postgraduate students and so have a far greater responsibility over their learning than might typically be expected at this level, while establishing a much closer and more collaborative relationship with their teachers (Harland 2016). These new relationships are a consequence of the drive for higher-order learning outcomes and epistemologically demanding practises. Although one of us has been involved in this programme for many years, and has long been an advocate of teaching students to be researchers, the elaboration of a framework for authenticity in teaching though research has highlighted both technical challenges and values that have received little consideration in the development of the programme. These are mostly related to the existential authentic self and degree of meaning. The framework has allowed us to reconsider this form of pedagogy, what to focus on and how to align our values with practice. Although the ‘real world’ corresponding tasks seem relatively straightforward to align, values such as ‘respect’, ‘belonging’ and ‘enrichment’ have received little attention in wider debates on student learning outcomes; Barnett’s (2007) ‘Becoming,’ even less so. Yet we would argue that they are all an essential part of learning through authentic research.

결론
Conclusions

이 논문은 학부 생태학 프로그램에서 연구를 통한 교육과 관련하여 무엇이 진정성을 구성하는지에 대한 논의에서 시작되었습니다. 과학 교육에서 진정성이란 일반적으로 과학자들이 교실에서 생각하고 작업하는 방식을 그대로 재현하는 것을 의미합니다(Crawford 2015). 그러나 우리의 토론은 진정성에 대해 더 미묘하고 정보에 입각 한 조사를 수행하도록 자극하는 여러 가지 질문을 제기했습니다. 학부생들이 독창적인 연구를 통해 새로운 지식을 창출하는 데 참여하도록 하는 아이디어는 연구를 통한 교수법에서 중추적인 역할을 하며, 진정성은 일반적으로 소위 '실제 세계'와 '대응하는 관점'으로 알려진 것과 관련하여 프레임워크가 구성됩니다(Splitter 2009). 
This paper was conceived out of a discussion about what constitutes authenticity in relation to teaching through research in an undergraduate ecology programme. The common use of authenticity in science teaching refers to replicating the way in which scientists think and work in the classroom (Crawford 2015). Our discussion, however, raised a number of questions that prompted us to carry out a more nuanced and informed inquiry into authenticity. The idea of getting undergraduate students involved in generating new knowledge through original research is pivotal in pedagogies of teaching through research and authenticity is commonly framed in relation to the so-called ‘real world,’ and what has become known as the ‘corresponding view’ (Splitter 2009).

그러나 여기에 제시된 진정성에 대한 제안된 프레임워크는 연구를 통한 교육에서 진정성을 구성하는 요소에 대한 보다 복잡한 이해를 제공합니다. 이는 일반적으로 사용되는 '현실 세계'에 해당하는 관점에 진정성의 다른 두 가지 핵심 가치, 즉 실존적 진정한 자아의미의 정도를 추가함으로써 그렇게합니다. 하이데거, 아도르노, 사르트르와 같은 실존 철학자들의 연구, 특히 의식, 책임, 소유권, 보살핌과 관련된 진정성에 대한 그들의 분석은 고등 교육 분야의 학자들에 의해 확인되고 사용되어 왔습니다. 그러나 여기서 우리의 주요 기여는 이러한 아이디어를 연구를 통해 교육 맥락에서 '현실 세계'에 대한 상대적으로 더 일반적인 아이디어와 결합하는 것입니다. 실존주의와 밀접한 관련이 있는 의미의 정도는 진정성과 관련된 주로 긍정적인 의미를 반영하며, 이는 다시 우수한 모범의 표현이라는 개념의 더 일반적인 의미를 반영합니다. 이러한 가치들을 종합하면 교사가 주요 초점 포인트와 이러한 포인트가 다양한 결과와 어떻게 연계되는지를 안내하는 프레임워크가 구성됩니다. 이 프레임워크는 커리큘럼을 설계할 때 어느 정도 유연성을 허용하는 동시에 연구를 통해 과학 교육의 맥락에서 우리가 진정성이 있다고 인식하는 것에 대한 명확한 지침과 경계를 제공합니다. 
The proposed framework for authenticity presented here, however, offers a more complex understanding of what constitutes authenticity in teaching through research. It does so by adding to the commonly used ‘real world’ corresponding view two other core values of authenticity; namely, the existential authentic self and a degree of meaning. The work of existential philosophers such as Heidegger, Adorno and Sartre, and more specifically their analyses of authenticity in relation to consciousness, responsibility, ownership and care, have been identified and used by scholars in higher education. But our main contribution here is joining these ideas together with the relatively more common ideas about the ‘real world’ within the context of teaching through research. A degree of meaning, which is also closely related to existentialism, reflects the predominantly positive connotation associated with authenticity, which in turn echoes the concept’s more common meanings as a representation of a superior exemplar. Put together, these values constitute a framework that directs teachers towards key focus points and how these align with different outcomes. It allows for some flexibility in designing a curriculum while at the same time provides clearer guidance and boundaries for what we perceive to be authentic in the context of science teaching through research.

따라서 제안된 프레임워크는 주로 연구를 통한 진정한 교육 모델이 어떻게 학생들의 개인적, 심지어 직업적 발달에 긍정적이고 의미 있으며 장기적인 효과를 가져올 수 있는지에 초점을 맞추고 있습니다. 프레임워크의 '학생'과 '지식 결과'에는 교육자로서 학생들이 갖추기를 바라는 몇 가지 핵심 가치와 기술이 포함되어 있습니다. 프레임워크의 '초점' 및 '정렬' 구성 요소는 커리큘럼이 이러한 가치와 기타 결과를 심어줄 수 있는 방법에 대한 지침 역할을 합니다. 원하는 결과를 달성하기 위한 이러한 수단은 주로 학생이 주도하고 책임감, 주인의식, 파트너십 및 배려의 개념을 키우는 학습 환경에 의해 조정되는 '실제 세계'에 해당하는 과제에 달려 있습니다. 하지만 이 프레임워크 내에서 '실제 세계' 측면에 대한 몇 가지 좋은 증거가 있지만, 실존과 의미 속성에 대해서는 더 많은 조사가 필요합니다. 
The proposed framework is thus mainly concerned with how an authentic model of teaching through research could lead to positive, meaningful and long-lasting effects on the personal, and perhaps even professional, development of students. The ‘student’ and ‘knowledge outcomes’ in the framework include some key values and skills that we as educators wish our students to have. The ‘focus’ and ‘alignment’ components in the framework serve as guidance for ways in which a curriculum could instil those values and other outcomes. These means for achieving the desired outcomes predominantly rests on ‘real world’ corresponding tasks that are student-led and moderated by a learning environment that fosters notions of responsibility, ownership, partnership and care. And yet, while we have some good evidence for the ‘real world’ aspects within this framework, the existential and meaning attributes require further inquiry.


ABSTRACT

This conceptual paper is concerned with the discursive and applied attributes of ‘authenticity’ in higher education, with a particular focus on teaching science through student research. Authenticity has been mentioned in passing, claimed or discussed by scholars in relation to different aspects of higher education, including teaching, learning, assessment and achievement. However, it is our position that in spite of the growing appeal of authenticity, the use of the term is often vague and uncritical. The notion of authenticity is complex, has a range of meanings and is sometimes contested. Therefore, we propose here a practice-oriented and theoretically-informed framework for what constitutes authenticity within the context of teaching through research. This framework brings together aspects of the ‘real world,’ existential self, and embedded meaning, and aligns them with different outcomes relating to knowledge and to students. Different models of teaching through research with conflicting claims to authenticity are used to illustrate the framework.

연구-바탕 학습이 효과적인가? 사회과학에서 사전-사후 분석(STUDIES IN HIGHER EDUCATION, 2021)
Is research-based learning effective? Evidence from a pre–post analysis in the social sciences
Insa Wessels a,b, Julia Rueßa, Christopher Gessa, Wolfgang Deickea and Matthias Zieglerb

 

소개
Introduction

교육과 연구는 잘 정의된 다양한 교육 형식을 통해 연결될 수 있습니다. 그 중 하나는 학생이 지도 교수자의 도움을 받아 스스로 연구를 수행하는 연구 기반 학습(RBL)입니다. RBL은 현재 의미 있는 학습 경험의 부족과 자극적인 교육 형식의 필요성 등 고등 교육 분야의 다양한 요구를 해결하기 위한 만병통치약으로 여겨지고 있습니다. 따라서 몇몇 저자와 기관은 모든 학문적 연구 프로그램은 아니더라도 많은 학문적 연구 프로그램의 커리큘럼에 RBL을 통합해야 한다고 주장합니다(예: Healey와 Jenkins 2009). 실제로 미국 국립과학재단의 REU 프로그램과 같이 다양한 학문 분야와 형태로 RBL을 구현하려는 프로그램이 점점 더 많이 시도되고 있습니다. 이러한 노력의 주요 목표는 학생들에게 연구 참여를 경험할 수 있는 기회를 제공하는 것입니다. 과학, 기술, 공학 및 수학(STEM) 분야에서는 RBL이 실제로 그 약속에 부응하고 효과적인 학습 경험을 구성한다는 증거가 있습니다(Linn 외. 2015). 그러나 STEM 분야 외의 분야에서는 RBL이 어떤 연구 성향을 촉진하는지는 아직 불분명합니다. 따라서 본 연구는 다양한 인지적, 정의적 동기부여적 연구 성향의 습득에 관한 RBL의 효과를 사회과학 분야로 일반화할 수 있는지 살펴보고자 합니다. 
Teaching and research can be linked through a variety of well-defined instructional formats. One of these is research-based learning (RBL), in which students conduct their own research with the help of a supervisor. RBL is currently seen as a panacea for addressing a range of demands within higher education, e.g. a lack of meaningful learning experiences and the need for stimulating instructional formats. Accordingly, several authors and institutions claim that RBL should be incorporated into the curriculum of many if not every academic study programme (e.g. Healey and Jenkins 2009). Indeed, a growing number of programmes have attempted to implement RBL in a range of disciplines and forms, e.g. the REU programme by the US National Science Foundation. The main goal of these endeavours is to provide students with an opportunity to experience participation in research. In science, technology, engineering, and mathematics (STEM) disciplines, there is evidence that RBL does indeed live up to its promises and constitutes an effective learning experience (Linn et al. 2015). However, outside the STEM disciplines, it is still unclear which research dispositions RBL fosters. Thus, this study aims to examine whether RBL’s effectiveness regarding the acquisition of various cognitive and affective-motivational research dispositions can be generalised to the social sciences.

이론적 배경
Theoretical background

다른 형태의 연구 관련 교육과 관련하여 연구 기반 학습의 포지셔닝
Positioning research-based learning in relation to other forms of research-related teaching

교육과 연구는 다양한 방식으로 연결될 수 있습니다. 널리 사용되는 모델에서 Healey와 Jenkins(2009)는 두 가지 축을 따라 학생을 연구에 참여시키기 위한 다양한 교육 형식을 구분합니다.

  • 첫 번째 축은 연구 결과 또는 연구 과정 중 어느 쪽을 강조하는지를 설명합니다.
  • 다른 축은 학생이 참여자로서 능동적인 역할을 맡는지, 아니면 청중으로서 수동적인 역할을 맡는지를 설명합니다.

이 두 축은 네 가지 형식으로 결합할 수 있습니다: 연구-지도형, 연구 주도형, 연구 중심형, 연구 기반 학습입니다. RBL에서는 교수자가 연구 과정에 초점을 맞추고 학생은 능동적으로 연구와 탐구를 수행합니다. 그러나 이러한 설명은 학생의 연구 참여의 정확한 본질을 설명하지 못합니다. Huber(2014)는 RBL을 학생이 자신의 연구 질문에 따라 자율적인 방식으로 전체 연구 과정을 진행하는 교육 형식으로 정의합니다. 교수자는 촉진자 역할을 맡습니다. 이론적으로 도출된 이 정의는 연구 관련 형식의 경험적 분류(Rueß, Gess, Deicke 2016)에서 재현되었으며, 현재 연구에서 RBL의 기본 정의로 사용됩니다.각주1 
Teaching and research can be linked in different ways. In a popular model, Healey and Jenkins (2009) distinguish among different instructional formats for engaging students in research along two axes. The first axis describes whether the research results or the research process is emphasised. The other axis describes whether students take on an active role as participants or a passive role as audience. These two axes can be combined into four different formats: research-tutored, research-led, research-oriented and research-based learning. In RBL, teaching focuses on the research process, and students actively conduct research and inquiry. However, this description fails to describe the exact nature of students’ involvement in research. Huber (2014) further defines RBL as an instructional format in which students work through the entire research process in a self-regulated manner, guided by their own research questions. The instructor takes on a facilitating role. This theoretically derived definition was replicated in an empirical classification of research-related formats (Rueß, Gess, and Deicke 2016) and serves as the underlying definition of RBL in the current study.Footnote1

연구 기반 학습의 효과
The effectiveness of research-based learning

자신의 연구 프로젝트를 수행하는 것은 다양한 인지적, 행동적, 정서적 경험을 수반하며(Lopatto, 2009, 29), 이는 결과적으로 RBL과 관련된 다양한 이점으로 이어집니다. 
Conducting one’s own research project involves various cognitive, behavioural, and affective experiences (Lopatto, 2009, 29), which in turn lead to a wide range of benefits associated with RBL.

RBL은 과학적 커리어를 육성할 수 있기 때문에 장기적인 사회적 혜택과 관련이 있습니다: RBL에 참여한 학생들은 대학원 교육 또는 박사 학위 취득에 더 큰 관심을 보였으며(Lopatto 2007; Russell, Hancock, McCullough 2007), 졸업 후 6년 후에도 과학 관련 직업에 종사할 가능성이 더 높았습니다(Hernandez et al. 2018). 
RBL is associated with long-term societal benefits because it can foster scientific careers: Students participating in RBL reported a greater interest in pursuing postgraduate education or PhDs (Lopatto 2007; Russell, Hancock, and McCullough 2007) and were more likely to be engaged in scientific careers six years after graduation (Hernandez et al. 2018).

또한 RBL은 학계 밖의 직업에도 필요한 연구 기술을 육성합니다(British Academy 2012). RBL은 데이터나 상황을 객관적으로 검토하고 문제 해결의 즐거움을 찾는 능력, 즉 '연구자적 사고방식'을 개발하는 데 도움이 된다고 합니다(Wood 2003). 연구자의 사고방식은 다양한 직업 활동에서 효과적일 수 있습니다. 예를 들어 심리 치료 분야에서 치료사는 연구 지식을 활용하여 새로운 치료 접근법에 대한 증거를 참조할 수 있습니다(Levant 외. 2006). 따라서 연구 관련 지식과 기술을 습득하는 것은 과학 및 비과학 분야 모두에서 성공적으로 커리어를 쌓기 위한 전제 조건이며, 이는 이 글의 적절한 초점입니다. 
In addition, RBL fosters research skills that are also necessary for occupations outside academia (British Academy 2012). RBL is said to facilitate the development of a ‘researcher’s mindset’ – the ability to objectively examine data or a situation and finding enjoyment in solving problems (Wood 2003). A researcher’s mindset can be effective in a wide range of professional activities. For example, in the field of psychotherapy, therapists could draw upon their research knowledge to consult evidence on new therapeutic approaches (Levant et al. 2006). Hence, the acquisition of research-related knowledge and skills is a prerequisite for successfully engaging in both scientific and non-scientific careers – making it an appropriate focus for our article.

과제를 성공적으로 수행하려면 지식과 같은 인지적 성향과 이러한 지식을 실천에 옮기기 위한 정서적 동기 부여 성향이 모두 필요합니다(Blömeke, Gustafsson, Shavelson 2015). 성향특정 상황에서 개인이 일반적으로 어떻게 행동할지를 결정하는 다양한 잠재적, 개인적 자원(예: 태도, 특성 및 능력)을 나타내는 포괄적인 용어입니다(Schmidt-Atzert와 Amelang 2012, 63). 따라서 연구 영역에서 유능한 성과를 내기 위해서는 다양한 인지적(예: 지식) 및 정서적-동기적(예: 흥미) 연구 성향이 필요합니다. RBL이 다양한 인지적 및 정의적-동기적 연구 성향의 개발을 촉진하는 데 효과적인지 여부는 이전 연구의 초점이었습니다. 기존 증거는 다음 섹션에서 소개합니다. 
Successfully engaging in a task requires both cognitive dispositions, such as knowledge, and affective-motivational dispositions to put this knowledge into practice (Blömeke, Gustafsson, and Shavelson 2015). Disposition serves as an umbrella term to denote a range of latent, personal resources (e.g. attitudes, traits and abilities) that determine how an individual will normally act in a certain situation (Schmidt-Atzert and Amelang 2012, 63). Accordingly, competent performance in the research domain requires various cognitive (e.g. knowledge) and affective-motivational (e.g. interest) research dispositions. Whether RBL is effective at facilitating the development of different cognitive and affective-motivational research dispositions has been the focus of previous studies. The existing evidence will be introduced in the following sections.

인지적 이득
Cognitive gains

RBL의 효과에 대한 대부분의 경험적 연구는 인지적 연구 성향에 초점을 맞추고 있습니다. 그러나 이러한 연구의 대부분은 STEM 학생을 평가했으며(예: Linn 외. 2015; Seymour 외. 2004), 사회과학 분야에서 RBL의 효과를 조사한 연구는 소수에 불과합니다. 사회복지학 분야의 한 연구에서 학생들은 영역 전반의 연구 지식을 습득했습니다(Whipple, Hughes, Bowden 2015). 타라반과 로그(2012)는 심리학 학생들이 연구에 참여함으로써 연구 방법 기술 향상과 같은 다양한 인지적 이점을 얻을 수 있다는 증거를 발견했습니다. RBL에 참여하면 과학적 과정 전반에 대한 이해도도 높아질 수 있습니다(Lloyd, Shanks, Lopatto 2019). 
Most empirical studies on the effectiveness of RBL focus on cognitive research dispositions. However, the majority of these studies assessed STEM students (e.g. Linn et al. 2015; Seymour et al. 2004), with only a few studies investigating the effect of RBL in the social sciences. In a study from the field of social work, students gained domain-general research knowledge (Whipple, Hughes, and Bowden 2015). Taraban and Logue (2012) found evidence for a range of cognitive benefits of psychology students’ participation in research, such as improved research methods skills. Participation in RBL can also lead to increased understanding of the scientific process as a whole (Lloyd, Shanks, and Lopatto 2019).

다른 연구자들은 개별 연구 단계와 관련된 특정 기술, 예를 들어 통계 소프트웨어 사용 능력(Whipple, Hughes, Bowden 2015), 연구 결과의 전달 및 발표 능력(Stanford 외. 2017)을 조사했습니다. 또한 RBL은 비판적 사고(Hunter, Laursen, Seymour 2007; Kilgo, Ezell Sheets, Pascarella 2015)와 독립적으로 작업하는 능력(Stanford 외. 2017)과 같은 보다 일반적인 인지적 성향을 촉진하는 것으로 보입니다. 
Other researchers have examined specific skills pertaining to individual research steps, e.g. the ability to use statistics software (Whipple, Hughes, and Bowden 2015) and communicating and presenting one’s research (Stanford et al. 2017). RBL also seems to facilitate more general cognitive dispositions like critical thinking (Hunter, Laursen, and Seymour 2007; Kilgo, Ezell Sheets, and Pascarella 2015) and the ability to work independently (Stanford et al. 2017).

따라서 사회과학에서 RBL은 다양한 인지적 성향을 촉진하는 데 효과적인 것으로 보이지만, 이러한 결과는 예비적 증거로만 사용될 수 있습니다. 이 분야의 이러한 연구와 다른 연구들의 해석 가능성과 관련된 문제는 방법론적 설계에 있습니다: 대부분의 기존 연구는 주관적인 사후 평가와 스스로 평가한 기술 향상에 초점을 맞추고 있습니다(예: 스탠포드 외. 2017). 그러나 자기 평가는 종종 성격(John and Robins 1994) 또는 기술 수준 자체(숙련되지 않은 학생은 자신의 능력을 과대평가함, Kruger와 Dunning 1999 참조)에 의해 왜곡될 수 있습니다. 객관적인 척도를 사용한 대규모 조사는 보다 실질적인 결론을 제공하지만, 지금까지는 STEM 학생을 대상으로만 완료되었습니다(예: Russell, Hancock, McCullough 2007). Linn 등(2015)은 RBL의 효과를 객관적으로 조사할 수 있는 유효한 척도가 부족하다는 것이 근본적인 문제라고 지적합니다. 이 문제를 해결하기 위해 사회과학 분야의 인지적 연구 성향을 객관적으로 측정하는 사회과학 연구 역량 테스트가 Gess와 동료들에 의해 개발되었습니다(Gess, 가이거, 지글러 2018; Gess, 웨셀스, 블뢰메케 2017). 이 도구는 연구 과정의 중요한 단계를 수행하는 데 필요한 다양한 연구 지식 영역의 일관된 모델을 기반으로 합니다(부록 1, 온라인 보충 데이터 참조). 검증 연구에서 이 도구는 사회과학 연구 교육을 평가하는 데 적합한 것으로 나타났으며 RBL의 인지적 이점을 객관적으로 측정할 수 있는 도구로 사용될 수 있습니다. 
Thus, while RBL in the social sciences seems to be effective at facilitating a range of different cognitive dispositions, these results can only serve as preliminary evidence. A problem concerning the interpretability of these and other studies in the field lies in their methodological designs: Most existing studies focus on subjective ex-post assessments and self-evaluated skill gains (e.g. Stanford et al. 2017). However, self-assessments are often distorted by personality (John and Robins 1994) or skill levels themselves (unskilled students overestimate their abilities, see Kruger and Dunning 1999). Large-scale investigations using objective measures provide more substantial conclusions, but have so far only been completed for STEM students (e.g. Russell, Hancock, and McCullough 2007). Linn et al. (2015) note that the underlying problem is a lack of valid measures to objectively investigate the effectiveness of RBL. To address this problem, the Social-scientific Research Competency Test, an objective measure of cognitive research dispositions in the social sciences, was developed by Gess and colleagues (Gess, Geiger, and Ziegler 2018; Gess, Wessels, and Blömeke 2017). The instrument is based on a coherent model of different areas of research knowledge necessary to conduct critical steps in the research process (see Appendix 1, online supplemental data). In validation studies, the instrument has been shown to be suitable for evaluating social-scientific research education and could serve as an objective measure of the cognitive benefits of RBL.

정서적 동기 부여 효과
Affective-motivational gains

고등 교육 연구에서 학습에 대한 정서적 동기 부여 측면의 중요성을 점점 더 인정하고 있습니다(예: Postareff와 Lindblom-Ylänne 2011). 이러한 일반적인 추세를 반영하여 RBL에 대한 연구에서도 정서적 동기 부여에 대한 관심이 높아지고 있습니다. 
Higher education research is increasingly acknowledging the importance of affective-motivational aspects for learning (e.g. Postareff and Lindblom-Ylänne 2011). Reflecting this general trend, affective-motivational gains have also drawn increased attention in research on RBL.

RBL이 정서적 동기 부여 연구 성향을 변화시킬 수 있다는 증거는 여러 분야의 표본을 대상으로 한 연구에서 종종 발견됩니다. 연구 자기 효능감 향상(Deicke, Gess, Rueß 2014; Whipple, Hughes, Bowden 2015), 지적 호기심 증가(Bauer, Bennett 2003), 연구 과정의 장애물에 대한 높은 내성(Lloyd, Shanks, Lopatto 2019) 등의 이점이 입증되었습니다. 또한 STEM 학생을 대상으로 한 연구에서는 학습에 대한 열망이 더 크고 모호한 문제를 해결하려는 성향이 증가하는 것으로 나타났습니다(Ward, Bennett, Bauer 2003). 
Evidence on RBL’s potential to alter affective-motivational research dispositions often stems from studies with multidisciplinary samples. Demonstrated benefits include higher research self-efficacy (Deicke, Gess, and Rueß 2014; Whipple, Hughes, and Bowden 2015), increased intellectual curiosity (Bauer and Bennett 2003) and a higher tolerance for obstacles in the research process (Lloyd, Shanks, and Lopatto 2019). Furthermore, a study with STEM students demonstrated a greater desire to learn and an increased disposition towards working with ambiguity (Ward, Bennett, and Bauer 2003).

기존의 몇몇 연구는 모두 개인의 정서적-동기적 연구 성향을 조사했으며, 주로 탐색적인 방식으로 진행되었습니다. 그러나 연구를 수행하는 것은 학생들이 불확실성과 다양한 좌절을 처리해야 하는 특히 까다로운 작업입니다(John and Creighton 2011). 따라서 연구를 성공적으로 수행하려면 연구 과정의 어려움에 대처할 수 있는 다양한 정서적-동기적 성향이 필요하다고 가정할 수 있습니다. 사회과학 분야의 학생 연구에 필요한 정서적-동기적 연구 성향에 대한 일관되고 경험적으로 근거한 모델이 최근에 개발되었습니다(Wessels 외. 2018). 예를 들어, 연구 과정을 시작하고 유지하는 데 필요한 성향은 연구 흥미가 필요하며, 연구 과정을 지속하려면 불가피한 좌절에 대처할 수 있는 좌절 내성이 필요합니다. RBL이 이러한 연구 성향을 개발하는 데 효과적인지 여부는 불분명합니다.  
The few existing studies all examine individual affective-motivational research dispositions, often in an exploratory manner. However, conducting research is an especially demanding task that requires students to handle uncertainties and manifold frustrations (John and Creighton 2011). Thus, it can be assumed that successfully conducting research requires a range of different affective-motivational dispositions to cope with the challenges of the research process. A coherent, empirically grounded model of the affective-motivational research dispositions necessary for student research in the social sciences has been recently developed (Wessels et al. 2018). It encompasses dispositions that are necessary to begin and to sustain the research process: for example, research interest is needed to initiate a research process, while sustaining it requires frustration tolerance to cope with inevitable setbacks. It is unclear whether RBL is effective in developing these research dispositions.

전반적으로 사회과학에서 RBL의 본질과 효과에 대한 연구는 다른 분야의 연구와 달리 일반적으로 부족하고 취약한 방법론적 설계에 기반하는 경우가 많습니다. 그러나 STEM 학생을 대상으로 한 연구에서 얻은 증거가 사회과학에 쉽게 적용된다고 가정할 수는 없습니다.

  • 첫째, 연구는 사회과학보다 자연과학 분야의 대학 프로그램에서 더 중요해 보입니다(Taraban and Logue 2012 참조).
  • 둘째, STEM 분야의 연구 경험은 대부분 교육적 문화가 다를 수 있는 구조화된 실험실 환경에서 이루어집니다(Rand 2016).
  • 셋째, 학문 분야별 결과 변수를 조사하려면 해당 학문 분야에서 연구를 수행해야 합니다. 

Overall, studies on the nature and effectiveness of RBL in the social sciences are generally scarce and often based on weak methodological designs – in contrast to studies from other disciplines. However, one cannot assume that the evidence gained in studies with STEM students easily translates to the social sciences.

  • First, research seems more important to university programmes in the natural sciences than in the social sciences (cf. Taraban and Logue 2012).
  • Second, most research experiences within STEM disciplines occur in structured lab environments that might have a different pedagogical culture (Rand 2016).
  • Third, if discipline-specific outcome variables are to be investigated, a study needs to be conducted in that specific discipline.

또 다른 미해결 질문은 사회과학에서 RBL이 다양한 연구 성향의 변화에 영향을 미치는 과정에 관한 것입니다. STEM 학생을 대상으로 한 연구에서 학습 향상에 대한 주요 예측 변수는 연구 경험의 기간과 강도입니다. 연구 경험이 오래 지속되고 강도가 높을수록 기술 수준이 더 크게 향상됩니다(Bauer와 Bennett 2003). 또 다른 연구에 따르면 연구 과정에서 자율성(예: 스스로 방법론을 결정할 수 있는 자율성)이 높은 학생일수록 학습 성과가 더 높은 것으로 나타났습니다(Gilmore 외. 2015). 그러나 사회과학에서 RBL 과정의 어떤 특성이 다양한 연구 성향의 변화에 영향을 미치는지는 아직 연구되지 않았습니다. 
Another open question pertains to the processes by which RBL in the social sciences affects changes in different research dispositions. In studies with STEM students, the main predictors of learning gains are the duration and intensity of the research experience: longer-lasting and more intense research experiences lead to stronger increases in skill levels (Bauer and Bennett 2003). Another study found that students with higher levels of autonomy in the research process, e.g. the autonomy to make their own methodological decisions, showed stronger learning gains (Gilmore et al. 2015). However, which characteristics of RBL courses in the social sciences affect changes in different research dispositions has not been studied yet.

연구 질문 및 가설
Research questions and hypotheses

이 백서의 목적은 사회과학에서 RBL 과정의 효과를 분석하는 것입니다.

  • (1) 연구 기반 학습이 인지적 및 정의적-동기적 연구 성향에 긍정적인 영향을 미치는가?
  • (2) 다양한 코스 특성이 이러한 연구 성향의 변화와 어떤 관련이 있는가?

The objective of this paper is to analyse the effectiveness of RBL courses in the social sciences. Two main research questions guided our work:

  • (1) Does research-based learning have a positive effect on cognitive and affective-motivational research dispositions?
  • (2) How do different course characteristics relate to changes in these research dispositions?

첫 번째 연구 질문과 관련하여 다음과 같은 가설을 테스트했습니다:
Pertaining to the first research question, the following hypotheses were tested:

  • 가설 1a: 이전 연구에서 학생의 연구 경험과 자기 평가 지식 습득 간의 연관성이 발견되었으므로(Taraban and Logue 2012), 연구 지식(방법 지식, 방법론 지식, 연구 과정 지식)에 대한 사전 시험 점수보다 사후 시험 점수가 유의미하게 높을 것으로 예측합니다. 
    Hypothesis 1a:
     As previous studies have found associations between student research experiences and self-evaluated knowledge gains (Taraban and Logue 2012), we predict that students will have significantly higher post-test scores than pre-test scores for research knowledge (knowledge of methods, knowledge of methodologies and research process knowledge).
  • 가설 1b: 이전 연구에서 학생의 연구 경험과 연구 과정의 장애물에 대한 높은 내성(Lloyd, Shanks, and Lopatto 2019)과 모호성을 다루는 능력 증가(Ward, Bennett, and Bauer 2003) 사이의 연관성이 발견되었으므로, 우리는 학생들이 정서적 동기 연구 성향에 대해 사전 테스트 점수보다 사후 테스트 점수가 유의하게 높을 것으로 예측합니다. 
    Hypothesis 1b:
     As previous studies have found associations between student research experiences and a higher tolerance for obstacles in the research process (Lloyd, Shanks, and Lopatto 2019) as well as an increased ability to work with ambiguity (Ward, Bennett, and Bauer 2003), we predict that students will have significantly higher post-test scores than pre-test scores for affective-motivational research dispositions.

두 번째 연구 질문과 관련하여 다음과 같은 가설을 테스트했습니다:
Pertaining to the second research question, the following hypotheses were tested:

  • 가설 2a: STEM 분야의 연구에서 더 길고 강도 높은 연구 경험(Bauer와 Bennett 2003)이 RBL 참여 효과에 긍정적인 영향을 미친다는 사실이 입증되었으므로, 연구 경험의 강도, 즉 수행한 연구 단계의 수가 연구 지식의 변화에 영향을 미칠 것으로 예측합니다. 
    Hypothesis 2a: Since studies in STEM disciplines have demonstrated that longer and more intense research experiences (Bauer and Bennett 2003) have a positive influence on the effect of participation in RBL, we predict that the intensity of the research experience, i.e. the number of research steps performed, will influence changes in research knowledge.
  • 가설 2b: 연구 과정에서의 자율성이 높을수록 RBL 참여 효과에 긍정적인 영향을 미친다는 연구 결과(Gilmore 외. 2015)가 있으므로, 학생들의 자율성, 즉 연구 질문과 연구 방법을 자유롭게 선택할 수 있는 능력은 정서적-동기적 연구 성향의 변화에 긍정적인 영향을 미칠 것으로 예측합니다. 
    Hypothesis 2b: Since studies in STEM disciplines have demonstrated that higher levels of autonomy in the research process (Gilmore et al. 2015) positively impact the effect of participation in RBL, we predict that students’ autonomy, i.e. ability to freely choose a research question and a research method, will positively affect changes in affective-motivational research dispositions.
  • 가설 2c: 학생들의 자기 효능감, 자신이 '진짜 연구'를 하고 있다는 지각, 학생들의 과제에 대한 교수자의 관심, 향후 진로에 대한 RBL의 유용성 지각 등 다양한 동기 부여 요인이 정의적-동기적 성향의 변화에 긍정적인 영향을 미칠 것이라고 예측합니다. 
    Hypothesis 2c: We predict that different motivating factors, e.g. students’ self-efficacy, the perception that they are doing ‘real research’, perceived instructor interest in the students’ work, and the perceived usefulness of RBL for their later career will positively affect changes in affective-motivational dispositions.

연구 방법
Methods

연구 질문에 답하기 위해 10개 대학에서 다양한 사회과학 분야에서 제공되는 RBL 과정의 시작과 종료 시점에 종이 기반 측정을 실시했습니다.
To answer our research questions, paper-based measurements were conducted at the beginning and the end of RBL courses offered in different social scientific disciplines at 10 different universities.

절차
Procedure

사회과학 분야의 비교 가능한 RBL 과정을 연구하는 것이 목적이었기 때문에 경험적 사회과학 연구 방법을 사용하는 학습 프로그램의 커리큘럼만 고려했습니다. 여기에는 사회학, 정치학, 심리학, 교육학이 포함되었습니다(Gess, Wessels, Blömeke 2017 참조). 
As the objective was to study comparable RBL courses in the social sciences, only the curricula of study programmes employing empirical social science research methods were considered. These included sociology, political science, psychology, and education science (see also Gess, Wessels, and Blömeke 2017).

적합한 RBL 코스는 코스 설명을 통해 확인했습니다. RBL의 정의에 따라 학생들이 자율적인 방식으로 전체 연구 주기를 경험할 수 있는 코스만 고려했습니다. 146개 코스의 강사에게 이메일을 통해 연락하여 연구 참여를 요청했으며, 65명이 참여에 동의했고 50명은 주로 강의 시간 제약으로 인해 참여를 원하지 않았으며 나머지 31명의 강사는 응답하지 않았습니다. 사전 테스트는 과정의 첫 2주 동안, 사후 테스트는 과정의 마지막 2주 동안 예정되어 있었습니다.
Suitable RBL courses were identified via their course descriptions. Only courses that allowed students to experience a full research cycle in a self-regulated manner were considered, in line with our definition of RBL. The instructors of 146 courses were contacted via email and asked to participate in the study; 65 agreed to participate, 50 did not wish to participate, mostly due to time constraints in the course, and the remaining 31 instructors did not respond. Pre-tests were scheduled for the first two weeks of the course, and post-tests for the last two weeks of the course.

사전 및 사후 측정은 독일 전역의 10개 대학에서 총 70개의 RBL 코스에서 실시되었습니다. 실험에 참여한 모든 대학은 다양한 분야의 학위를 제공하는 10,000~50,000명의 학생을 보유한 국공립 대학이었습니다. 
Altogether, pre- and post-measurements were conducted in N = 70 RBL courses at 10 universities across Germany. All universities included were state-funded public universities with 10,000-50,000 students offering degrees in a wide range of disciplines.

테스트는 이 기사의 저자 중 한 명이 수업 시간에 진행했으며, 그는 연구의 절차 및 일반적인 목적을 설명했습니다. 설문지는 인쇄된 소책자 형태로 배포되었습니다. 생일 월 등 민감하지 않은 정보를 기반으로 한 개인 6자리 코드를 사용하여 익명성을 보장하면서 사전 및 사후 설문지를 일치시켰습니다. 설문지를 작성하는 데 약 25분 정도 소요되었습니다. 사후 테스트도 동일한 절차를 따랐습니다. 또한 코스 강의의 특성에 대한 간단한 강사 설문조사도 실시했습니다. 
The testing itself was conducted during class time by one of the authors of this article, who explained the procedure and general purpose of the study. The questionnaires were administered in the form of printed booklets. A personal 6-digit code based on non-sensitive information, e.g. birthday month, was used to match pre- and post-test questionnaires while granting anonymity. Filling in the questionnaire took approximately 25 min. The post-test followed the same procedure. Additionally, a brief instructor survey on characteristics of the course instruction was administered.

샘플
Sample

표본은 총 952명의 학생(여성 74.1%, 남성 23.5%)으로 구성되었으며, 이 중 881명이 1차 측정에, 539명이 2차 측정에 참여했습니다. 첫 번째 측정 시점의 참여율이 더 높았던 이유는 학기 초에 코스 출석률이 높았기 때문입니다.
The sample encompassed N = 952 students (74.1% female, 23.5% male), of which 881 participated in the first measurement and 539 participated in the second measurement. Higher participation rates at the first measurement point were due to higher course attendance at the beginning of the semester.

참여 학생의 평균 연령은 M = 24.38세(SD = 4.79)였습니다. 학생의 61.6%는 학사 과정에 재학 중이었고 29.5%는 석사 과정에 재학 중이었습니다. 50명의 학생은 전통적인 독일 대학 졸업장과 같은 다른 학습 프로그램에 등록했으며, 학습 진도에 따라 학사 또는 석사 과정 학생으로 분류되었습니다. 학사 과정 학생들은 평균적으로 2학년이 거의 끝날 무렵이었으며, 이수한 학기 수는 평균 3.33학점(SD = 1.67)이었습니다. 석사 과정 학생들은 평균적으로 석사 2학년 초에 재학 중이었으며, 평균 이수 학기는 M = 2.57 (SD = 1.63) 학기였습니다.  
The mean age of the participating students was M = 24.38 years (SD= 4.79). 61.6% of the students were enrolled in a bachelor’s programme, while 29.5% were enrolled in a master’s programme. Fifty students were enrolled in other study programmes, such as the traditional German university diploma, and were treated as either bachelor’s or master’s students depending on their study progress. Bachelor’s students were near the end of their second year of study on average; the mean number of semesters completed was M = 3.33 (SD= 1.67). Master’s students were at the beginning of their second year of master’s studies on average, with M = 2.57 (SD= 1.63) semesters of the degree completed on average.

학생들은 교육학(31.4%), 심리학(22.4%), 사회학(10.3%), 커뮤니케이션학(8.6%), 정치학(5.5%) 등 다양한 전공 분야에 등록했으며 나머지 학생들은 미디어 연구와 같은 보다 구체적인 사회과학 과목을 공부하고 있었습니다. 
The students were enrolled in different fields of study, namely educational science (31.4% of the students), psychology (22.4%), sociology (10.3%), communication science (8.6%), and political science (5.5%) The remaining students were studying other, more specific social scientific subjects (i.e. media studies).

학생들은 70개의 RBL 과정 중 하나에 등록했습니다. 참여는 종종 학생들의 학습 프로그램에서 필수적인 부분이었습니다: 41.8%의 학생들은 이 특정 과정에 의무적으로 등록해야 했고, 35.7%는 다른 RBL 과정을 선택할 수 있었으며, 17.6%만이 RBL 교육 형식이 포함되지 않은 과정을 선택할 수 있었습니다. 코스당 평균 참가자 수는 M = 13.54명(SD = 12.62명)이었습니다. 대부분의 학생은 한 학기 코스에 등록했으며(77.7%), 22.3%의 학생은 두 학기 코스에 등록했습니다. 65명의 강사 또는 공동 교수진이 강의를 진행했습니다. 이 중 52명의 강사가 코스 종료 시 강사 설문조사에 참여했습니다. 
The students were enrolled in one of 70 RBL courses. Participation was often a mandatory part of the students’ study programmes: 41.8% of the students were required to enrol in this specific course; an additional 35.7% could have chosen a different RBL course, while only 17.6% could have chosen a course not involving the instructional format of RBL. The average number of participants per course was M = 13.54 (SD = 12.62). The majority of students were enrolled in one-semester courses (77.7%); 22.3% of the students were enrolled in two-semester courses. The courses were led by 65 different instructors or co-teaching teams. Fifty two of these instructors participated in the instructors’ survey at the end of the course.

측정 항목
Measures

연구 지식 Research knowledge

사회과학 분야의 연구 지식을 평가하기 위해 Gess, Wessels, Blömeke(2017)의 9개 항목으로 구성된 사회과학 연구 역량 측정의 짧은 버전이 사용되었습니다. 이 테스트는 양적 연구와 질적 연구에 관한 문항으로 연구 방법에 대한 지식, 방법론에 대한 지식, 연구 과정 지식을 평가합니다. 이 시험은 다양한 연구 문제에 대한 객관식 문항과 함께 짧은 비네팅을 사용합니다(부록 1, 온라인 보충 데이터의 샘플 문항 참조). 이 도구는 여러 검증 연구를 거쳤으며 학사 및 석사 학위 프로그램에서 사회과학 연구 과정을 평가하는 데 적합합니다(Gess, Geiger, Ziegler 2018; Gess, Wessels, Blömeke 2017). 27개 문항으로 구성된 전체 측정은 완료하는 데 35분이 걸리고 수업 시간이 부족하기 때문에 변별 변인, 문항 난이도, 신뢰도, 장문 버전과의 상관관계를 바탕으로 내용 영역 측면에서 원래 시험의 전체 범위를 반영하는 9개 문항으로 구성된 짧은 버전이 개발되었습니다. 짧은 버전의 개인별 점수와 긴 버전의 개인별 점수의 상관관계는 r = 0.86으로, 두 버전이 유사한 구성을 측정한다는 것을 나타냅니다. 그러나 짧은 버전의 테스트는 긴 버전과 동일한 검증 절차를 거치지 않았다는 점에 유의해야 합니다. 학생들의 답변은 정답(1) 또는 오답(0)으로 코딩되어 최종 데이터는 9개의 이분법적 항목으로 구성되었습니다. 신뢰도는 가중 오메가 h = 0.69로 수용 가능한 수준이었습니다(표 1 참조). 

A 9-item short version of the social-scientific research competence measure by Gess, Wessels, and Blömeke (2017) was used to assess research knowledge in the social sciences. This test assesses knowledge of research methods, knowledge of methodologies and research process knowledge with items referring to both quantitative and qualitative research. The test uses short vignettes coupled with multiple choice questions on different research problems (see sample item in Appendix 1, online supplemental data). The instrument has gone through several validation studies and is suitable for the evaluation of research courses in the social sciences in both bachelor’s and master’s degree programmes (Gess, Geiger, and Ziegler 2018; Gess, Wessels, and Blömeke 2017). Since the full 27-item measure takes 35 min to complete and in-class time was sparse, a 9-item short version reflecting the full breadth of the original test in terms of content areas was developed based on the discrimination parameters, item difficulty, reliability and correlation with the long version. The correlation of the person scores for the short version and the person scores for the long version is r = 0.86, which indicates that the two versions measure a similar construct. However, it must be noted that the short version of the test has not undergone the same validation procedure as the long version. The students’ answers were coded as either correct (1) or incorrect (0), such that the final data consisted of 9 dichotomous items. The reliability was acceptable, with weighted omega h = 0.69 (see Table 1).

cshe_a_1739014_sm1493.docx
0.34MB

 

정서적-동기적 연구 성향

Affective-motivational research dispositions

정서적-동기적 연구 성향 모델(Wessels 등, 2018)은 사회과학 연구를 수행하는 데 필요한 9가지 성향을 포괄하며, 이 중 4가지 성향을 본 연구에서 조사 대상으로 선정했습니다.

  • (1) 연구에 대한 가치 관련 관심은 연구의 유용성에 대한 신념을 포함합니다.
  • (2) 연구 수행의 즐거움은 다양한 연구 활동과 관련하여 경험하는 즐거움을 의미합니다.
  • (3) 연구 관련 불확실성 내성은 연구 과정의 불확실성에 대처하는 성향을 의미합니다.
  • (4) 연구 관련 좌절 내성은 연구 과정에서 좌절을 견딜 수 있는 성향을 의미합니다.

The model of affective-motivational research dispositions (Wessels et al. 2018) encompasses nine necessary dispositions for pursuing research in the social sciences, of which four were selected to be investigated in the present study.

  • (1) Value-related interest in research subsumes beliefs about the usefulness of research.
  • (2) Finding joy in conducting research denotes the joy experienced with respect to different research activities.
  • (3) Research-related uncertainty tolerance is the disposition to handle uncertainties in the research process.
  • (4) Research-related frustration tolerance is the disposition to endure setbacks in the research process.

자기 평가 척도(샘플 항목과 기본 설명 데이터는 표 1에서 확인할 수 있음)는 연역적 및 귀납적 검사 구성 절차에 따라 다단계 프로세스로 개발되었습니다(Burisch 1984). 먼저, 고정된 이론 중심의 구성 원칙에 따라 각 성향별로 최소 20개의 문항을 구성했습니다(Wilson 2005). 문항은 사회과학과 학생 250명을 대상으로 한 파일럿 연구를 바탕으로 선정 및 개선되었습니다. 최종 도구는 각 성향당 4~5개 문항으로 구성되었으며, 보통 또는 양호한 신뢰도를 보였습니다(가중 오메가 h = 0.68-0.82). 모든 정서적 동기 부여 측정의 응답 형식은 1점(전혀 동의하지 않음)에서 5점(전혀 동의함)까지의 5점 리커트 척도입니다.
Self-assessment scales (sample items and basic descriptive data can be found in Table 1) were developed in a multistep process following deductive and inductive test construction procedures (Burisch 1984). First, at least 20 items per disposition were constructed according to fixed theory-driven construction principles (Wilson 2005). The items were selected and refined based on a pilot study with N = 250 students from the social sciences. The final instruments encompass 4 or 5 items per disposition and exhibit acceptable or good reliabilities (weighted omega h = 0.68–0.82). The response format for all affective-motivational measures was a five-point Likert scale ranging from 1 (completely disagree) to 5 (completely agree).

교수자 및 코스 특성
Instructor and course characteristics

학생 설문 조사
Student survey

사전 및 사후 테스트 중에 학생에게 추가 정보를 요청했습니다. 사전 테스트에서는 학생들이 스스로 평가한 연구 자기 효능감(5점 척도 6개 항목, 예: '주요 변수를 조작하기 어렵더라도 정량적 연구에 적합한 평가 도구를 찾을 수 있다고 확신한다')이 포함되었습니다. 사후 테스트에서 학생들은 지금까지 수행한 연구 단계(예: 관련 문헌 검색), 연구 프로젝트에 대한 강사의 관심도, '실제' 연구를 하고 있는지에 대한 인식, 향후 커리어에 대한 이 과정의 유용성에 대해 질문했습니다(모두 5점 척도로 각 항목 1개씩 측정). 
During the pre- and post-test, students were asked for additional information. At pre-test, this included their self-assessed research self-efficacy (6 items on a 5-point scale, e.g. ‘I am sure I can find suitable assessment tools for a quantitative study, even if the main variable is difficult to operationalize’). At post-test, students were asked about the research steps (e.g. searching for relevant literature) they had completed so far, their perception of the instructor’s interest in their research project, their perception of whether they were doing ‘real’ research, and the perceived usefulness of the course for their later career (all measured with one item each on a 5-point scale).

강사 설문조사
Instructor survey

사후 테스트는 강사의 관점에서 강좌의 교육 개념에 대한 정보를 수집하는 데에도 사용되었습니다. 강사에게 배포된 5분 분량의 설문지를 통해 학생들이 연구 질문과 방법을 자율적으로 선택할 수 있는지에 대해 질문했습니다(5점 척도 2개 항목). 
The post-test was also used to gather information about the course’s instructional concept from the instructor’s perspective. A 5-minute questionnaire distributed to the instructors asked about students’ autonomy in choosing their own research question and method (two items on a five-point scale).

통계 분석
Statistical analysis

첫 번째 단계로, 학생들의 사전 및 사후 테스트 데이터는 개인 6자리 코드를 통해 매칭되었습니다. SPSS 23을 사용하여 데이터 확인 및 매니페스트 변수에 대한 설명적 분석을 수행했습니다. 시간 경과에 따른 다양한 변수의 변화를 조사하기 위해 잠재 변화 점수 모델링(McArdle 2009, LCM)과 다중 회귀 분석을 사용했습니다. LCM과 필요한 모든 선행 분석은 Mplus 버전 8(Muthén and Muthén 2017)을 사용하여 수행했습니다. 다음 세 단계가 수행되었습니다:  
In a first step, students’ pre- and post-test data were matched via their personal six-digit code. We used SPSS 23 to conduct data checks and descriptive analyses of the manifest variables. To investigate changes in the different variables over time, we employed latent change score modelling (McArdle 2009; LCM) and multiple regressions. LCM and all necessary preceding analyses were performed with Mplus version 8 (Muthén and Muthén 2017). The following three steps were performed:

차원성 테스트
Dimensionality tests

가정된 요인 구조를 확인하고 데이터의 의미 있는 해석을 위해 모든 변수에 대해 확인적 요인 분석을 실시했습니다(부록 2, 온라인 보충 데이터 참조). 거의 모든 변수에 대해 단차원 모형이 더 나은 모델 적합도를 보였습니다. 유일한 예외는 '연구 수행의 즐거움 찾기' 변수였는데, 이 변수는 1차원 모형과 3차원 모형 모두에서 부적합한 모델 적합도를 나타냈습니다. 따라서 데이터의 의미 있는 해석을 위해 이 구성요소를 두 가지 요인으로 분리하여 후속 분석을 실시했습니다.

  • 첫 번째 요인은 '과학 문헌 작업의 즐거움'을,
  • 두 번째 요인은 '경험적 데이터 작업의 즐거움'을 설명합니다. 

To confirm the assumed factor structures and allow for a meaningful interpretation of the data, we conducted confirmatory factor analyses on all variables (see Appendix 2, online supplemental data). For almost all variables, the unidimensional model exhibited better model fit. The only exception was the variable ‘Finding joy in conducting research’, which exhibited inadequate model fits in both the unidimensional and the three-dimensional solution. Hence, subsequent analyses were conducted with two separate factors for this construct to ensure a meaningful interpretation of the data. The first factor describes ‘joy in working with scientific literature’, while the second describes ‘joy in working with empirical data’.

측정값 불변성 테스트
Measurement invariance tests

잠재 변화 점수 모델링의 전제 조건은 강력한 요인 불변성입니다(McArdle 2009). 강력한 요인 불변성이 주어져야만 모든 요인 적재량과 절편이 모든 측정 지점에 대해 동일한 값으로 고정될 수 있습니다. Meredith와 Horn(2001)에 따라 점점 더 제약이 많은 모델의 CFI 값을 비교했습니다(부록 3, 온라인 보충 데이터 참조). 모든 변수에 대해 강력한 요인 불변성 또는 부분 측정 불변성이 확립되었으며, 이는 후속 분석이 의미 있게 해석될 수 있음을 의미합니다. 
A prerequisite for latent change score modelling is strong factorial invariance (McArdle 2009). Only if strong factorial invariance is given can all factor loadings and intercepts be fixed to the same values for all measurement points. Following Meredith and Horn (2001), the CFI values of increasingly constrained models were compared (see Appendix 3, online supplemental data). For all variables, either strong factorial invariance or partial measurement invariance was established, meaning that the subsequent analyses can be meaningfully interpreted.

잠재 변화 점수 모델링
Latent change score modelling

그런 다음 시간에 따른 변수의 변화를 조사하기 위해 잠재 변화 점수 모델링(LCM)을 사용했습니다. LCM에서 변화는 두 개 이상의 측정 지점에서의 변화를 표현하는 잠재 차이 변수로 모델링됩니다(그림 1 참조). 이 접근 방식을 통해 측정 오류 없이 개인 내 변화의 개인 간 차이를 관찰할 수 있습니다(McArdle 2009).  
We then employed LCMs to examine changes in our variables over time. In LCM, change is modelled with latent difference variables that express the change across two or more measurement points (see Figure 1). This approach enables us to observe interindividual differences in intraindividual change free from measurement error (McArdle 2009).

LCM 분석은 두 단계로 수행되었습니다:

  • 첫 번째 단계에서는 각 변수에 대해 단변량 LCM(두 개의 측정 지점, T1 및 T2 포함)을 지정했습니다. 잠재 변화 변수는 T1에서 T2까지의 개인 내 변화를 나타냅니다. 따라서 이 변수는 가설 H1a 및 H1b(효과)를 테스트하기 위해 해석되었습니다. 잠재 변화 변수의 분산은 개인 간 차이, 즉 학생의 연구 성향이 다른 방식으로 발전하는지 여부를 나타냅니다.
  • 유의미한 개인 간 차이가 발견되면 두 번째 단계로 잠재 변화 변수를 6가지 코스 특성에 따라 회귀 분석했습니다. 그런 다음 회귀 계수를 해석하여 가설 H2a, H2b 및 H2c(코스 특성의 영향)를 테스트했습니다. 

LCM analyses were performed in two steps:

  • In the first step, we specified univariate LCMs (with two measurement points, T1 and T2) for each variable. The latent change variable indicates intraindividual changes from T1 to T2. Therefore, this variable was interpreted to test hypotheses H1a and H1b (effectiveness). The variance of the latent change variable indicates interindividual differences, i.e. whether students’ research dispositions develop in different ways.
  • When significant interindividual differences were found, in a second step, the latent change variable was regressed on six different course characteristics. The regression coefficients were then interpreted to test hypotheses H2a, H2b and H2c (impact of course characteristics).

데이터의 중첩된 구조(70개 코스에 중첩된 952명의 학생)를 설명하기 위해 Mplus 명령 TYPE = COMPLEX를 사용하여 코스를 클러스터 변수로 사용했습니다. 또한 두 측정 지점에서 동일한 항목을 사용하여 발생하는 방법 분산을 설명하기 위해 자동 상관 오류를 포함했습니다. 누락된 데이터는 전체 정보 최대 가능성 추정(FIML)을 사용하여 처리했습니다. 양호한 모델 적합도를 결정하기 위한 기준으로는 Hu와 Bentler(1999)가 제시한 기준을 사용했으며, CFI가 0.95 이상이고 RMSEA가 0.06 미만인 모델을 적절한 적합도를 가진 것으로 간주했습니다. 
To account for the nested structure of the data (N = 952 students nested in 70 courses), we used the course as a cluster variable with the Mplus command TYPE = COMPLEX. Additionally, auto-correlated errors were included to account for method variance resulting from the use of the same items over the two measurement points. Missing data were handled using full-information maximum likelihood estimation (FIML). The criteria suggested by Hu and Bentler (1999) were used as a reference point for determining good model fit: models with a CFI > 0.95 and a RMSEA < 0.06 were considered to have adequate fit.

결과
Results

단변량 잠재 변화 점수 모델: 시간에 따른 개인의 인지 및 정서적-동기적 연구 성향의 변화(가설 H1a 및 H1b)
Univariate latent change score models: changes in individual cognitive and affective-motivational research dispositions over time (hypotheses H1a and H1b)

연구 지식
Research knowledge

연구 지식에 대한 LCM은 양호한 모델 적합도를 보였습니다(표 2 참조). 변화 변수의 평균은 작지만 유의미했으며(ΔM = 0.04, p < .01), 이는 T1에서 T2로 유의미한 변화가 있었음을 나타냅니다. 즉, RBL 과정을 수강한 후 학생들은 T1보다 평균 0.45개 문항(9개 문항 중)을 더 많이 정답으로 맞힐 수 있었습니다. 따라서 데이터는 가설 H1a를 지지했습니다. 변화 변수의 분산은 매우 작고 유의하지 않았으며(σ2 = 0.001, p = .8), 이는 개인 간 차이가 없음을 나타냅니다. 
The LCM for research knowledge exhibited good model fit (see Table 2). The mean of the change variable was small but significant (ΔM = 0.04, p < .01), indicating a significant change from T1 to T2. This means that after taking the RBL course, students were able to correctly answer 0.45 questions more on average (out of nine questions) than at T1. Thus, the data supported hypothesis H1a. The variance of the change variable was very small and not significant (σ2 = 0.001, p = .8), indicating that there were no interindividual differences.

모든 정서적 동기 부여 성향에 대한 단변량 LCM은 매우 우수한 모델 적합도를 보였습니다(표 2 참조). 이러한 성향은 T1에서 T2로 발전하는 과정에서 차이가 있었습니다:
The univariate LCMs for all affective-motivational dispositions had very good model fits (see Table 2). The dispositions differed in their development from T1 to T2:

연구에 대한 가치 관련 관심
Value-related interest in research

그 결과 T1에서 T2로 넘어갈수록 유의미한 감소가 나타났습니다(ΔM = -0.14, p < .01). 변화 변수의 유의미한 분산(σ2 = 0.33, p < .01)은 관심도 변화에 개인 간 차이가 있음을 나타냅니다.
The results revealed a significant decrease from T1 to T2 (ΔM = −0.14, p < .01). The significant variance of the change variable (σ2 = 0.33, p < .01) indicates the presence of interindividual differences in changes in interest.

연구 활동과 관련된 기쁨
Joy with respect to research activities

위에서 설명한 바와 같이 이 변수는 두 가지 요인으로 구성되어 있으며, 각 요인의 발달을 개별적으로 조사했습니다.

  • 그 결과, '과학 문헌 작업의 즐거움'이 T1에서 T2로 넘어가면서 유의미하게 감소한 것으로 나타났습니다(ΔM = -0.17, p < .01). 변화 변수의 유의미한 분산(σ2 = 0.36, p < .01)은 학생들의 궤적에 차이가 있었음을 나타냅니다.
  • 두 번째 요인인 '경험적 데이터 작업의 즐거움'에서는 유의미한 변화가 관찰되지 않았습니다(ΔM = -0.05, p = .25). 유의미한 분산은 학생의 궤적에 개인 간 차이가 있음을 나타냅니다(σ2 = 0.15, p < .01).

As described above, this variable consisted of two distinct factors whose development was examined individually. The results suggest a significant decrease in ‘joy in working with scientific literature’ from T1 to T2 (ΔM = −0.17, p < .01). The significant variance of the change variable (σ2 = 0.36, p < .01) indicates that there were differences in students’ trajectories. No significant change was observed for the second factor, ‘joy in working with empirical data’ (ΔM = −0.05, p = .25). The significant variance indicates the presence of interindividual differences in students’ trajectories (σ2 = 0.15, p < .01).

불확실성 내성
Uncertainty tolerance

결과는 T1에서 T2로 유의미한 증가를 시사합니다(ΔM = 0.12, p < .01). 유의미한 분산(σ2 = 0.38, p < .01)은 학생의 궤적에 상당한 개인 간 차이가 있음을 나타냅니다.  
The results suggest a significant increase from T1 to T2 (ΔM = 0.12, p < .01). The significant variance (σ2 = 0.38, p < .01) indicates that there were substantial interindividual differences in students’ trajectories.

좌절감 내성
Frustration tolerance

결과에 따르면 좌절감 내성은 T1에서 T2로 크게 변하지 않았습니다(ΔM = 0.03, p = .24). 유의미한 차이는 개인 간 차이를 나타냅니다(σ2 = 0.12, p < .01). 
The results show that frustration tolerance did not change significantly from T1 to T2 (ΔM = 0.03, p = .24). The significant variance was indicative of interindividual differences (σ2 = 0.12, p < .01).

따라서 이 데이터는 불확실성 내성에 대해서만 가설 H1b를 지지합니다. 연구에 대한 가치 관련 흥미와 과학 문헌 작업에 대한 즐거움의 경우 유의미한 감소가 발견되었습니다. 
Therefore, the data supports hypothesis H1b only with respect to uncertainty tolerance. For value-related interest in research and joy in working with scientific literature, significant decreases were found.

시간 경과에 따른 다양한 연구 성향의 변화에 대한 다른 변수의 영향(가설 H2a, H2b 및 H2c)
Influence of other variables on changes in different research dispositions over time (hypotheses H2a, H2b and H2c)

다음으로, 단변량 LCM에서 개인 간 차이의 증거가 있는 연구 성향에 대해 변화 변수의 예측 변수를 분석했습니다. 연구에 대한 가치 관련 관심, 과학 문헌 작업에 대한 즐거움, 불확실성에 대한 내성이 그 예입니다.  
Next, predictors of the change variable were analysed for the research dispositions for which the univariate LCMs showed evidence of interindividual differences. This was the case for value-related interest for research, joy in working with scientific literature and uncertainty tolerance.

연구에 대한 가치 관련 관심
Value-related interest for research

다중 회귀 분석 결과 연구에 대한 가치 관련 관심의 잠재적 변화에 대한 두 가지 유의미하고 긍정적인 예측 변수가 밝혀졌는데, 바로 나중에 커리어에 대한 강의의 유용성과 학생의 작업에 대한 교수자의 관심도였습니다. 이 회귀 모델로 설명된 전체 분산은 10%였습니다(표 3 참조). 
The multiple regression revealed two significant and positive predictors of the latent change in value-related interest in research: the perceived usefulness of the course for one’s later career and the instructor’s perceived interest in the students’ work. The overall variance explained by this regression model was 10% (see Table 3).

과학 문헌 작업의 즐거움
Joy in working with scientific literature

과정의 유용성은 T1에서 T2로의 기쁨의 잠재적 변화에 대한 중요한 예측 변수로 작용했습니다. 이 과정이 나중에 커리어에 유용하다고 인식한 학생은 과학 문헌을 다루는 기쁨이 더 크게 증가했습니다. 전체 회귀 모델은 기쁨 변화의 분산 중 5%를 설명했습니다(표 3 참조). 
The perceived usefulness of the course served as a significant predictor of the latent change in joy from T1 to T2. Students who perceived the course as useful for their later career experienced greater increases in joy in working with scientific literature. The full regression model explained 5% of the variance in the change in joy (see Table 3).

불확실성 내성
Uncertainty tolerance

불확실성 내성은 T1에서 연구 자기효능감에 의해 유의미하게 예측되었습니다. 자기효능감은 음의 예측 변수로 작용했는데, 학생의 자기효능감이 높을수록 불확실성 내성이 더 많이 감소하거나 덜 증가했습니다. 이 회귀 모델로 설명된 전체 분산은 6%였습니다(표 3 참조). 
Uncertainty tolerance was significantly predicted by research self-efficacy at T1. Self-efficacy served as a negative predictor: the higher a student’s self-efficacy, the more uncertainty tolerance decreased or the less it increased. The overall variance explained by this regression model was 6% (see Table 3).

이러한 결과는 추가적인 동기 부여 요인의 영향을 조사한 가설 H2c와 일치합니다. 가설 H2a와 H2b는 지지되지 않았습니다. 
These findings are in line with hypothesis H2c, which examined the influence of additional motivating factors. Hypotheses H2a and H2b were not supported.

토론 및 시사점
Discussion and implications

본 연구에서는 사회과학 분야에서 RBL의 효과를 조사했습니다. 70개 코스에서 사전-사후 측정을 적용하여 RBL 참여를 통한 다양한 인지적 및 정의적-동기적 연구 성향의 변화를 조사했습니다. 연구 지식은 유의미하게 증가했지만, 추가 조사가 필요한 개인 간 차이는 관찰되지 않았습니다. 연구 관련 불확실성 내성은 증가한 반면, 연구 흥미와 과학 문헌 작업에 대한 즐거움은 RBL 참여 기간 동안 감소했습니다. 후속 회귀 분석 결과, 불확실성 내성의 변화는 연구 자기 효능감에 의해 유의미하게 예측되는 것으로 나타났습니다. 흥미와 즐거움의 변화는 향후 커리어에 대한 강좌의 유용성 지각에 의해 예측되었으며, 흥미의 변화는 강사가 학생의 과제에 대해 지각한 관심도에 의해 예측되기도 했습니다. 
Our study examined the effectiveness of RBL in the social sciences. By applying pre–post measurements in 70 courses, we examined changes in different cognitive and affective-motivational research dispositions through participation in RBL. Research knowledge increased significantly, but no interindividual differences were observed that could be further investigated. Research-related uncertainty tolerance increased, whereas research interest and joy in working with scientific literature decreased over the course of RBL participation. Subsequent regression analyses showed that the change in uncertainty tolerance was significantly predicted by research self-efficacy. The changes in interest and joy were predicted by the perceived usefulness of the course for one’s later career, while the change in interest was also predicted by the instructor’s perceived interest in the students’ work.

예상과는 달리, RBL을 경험하는 동안 수행한 연구 단계의 수와 학생들에게 주어진 자율성은 정서적-동기적 연구 성향의 변화에 영향을 미치지 않았습니다. 
Contrary to our expectations, the number of research steps performed and the autonomy students were given during the RBL experience did not have an effect on changes to any of the affective-motivational research dispositions.

연구 지식
Research knowledge

전반적으로 RBL에 참여하는 동안 연구 지식이 크게 증가했습니다(가설 1a 참조). 개별 사회과학 분야의 학생을 대상으로 한 이전 연구에서도 비슷한 결과가 보고된 바 있습니다(예: 타라반과 로그 2012). 우리는 연구 지식의 세 가지 하위 영역인 방법 지식, 방법론 지식, 사회과학 연구 과정 지식을 평가하는 객관적인 테스트 도구를 사용하여 이러한 결과를 확인할 수 있었습니다. 
Overall, research knowledge increased significantly over the course of RBL participation (see hypothesis 1a). Previous studies with students from individual social scientific disciplines have reported comparable results (e.g. Taraban and Logue 2012). We were able to confirm these findings using an objective test instrument assessing three sub-areas of research knowledge: knowledge of methods, knowledge of methodologies and research process knowledge in the social sciences.

그러나 표본에 포함된 학생들은 향상도에서 상당한 개인 간 차이를 보이지 않았으며, 다른 변수와 관련하여 관찰된 변화의 차이를 설명하기 위한 추가 분석을 수행할 수 없었습니다. 이러한 개인 간 차이가 나타나지 않은 것은 지식 항목의 답안 패턴이 비슷했기 때문일 수 있습니다. 저희는 9개 항목으로 구성된 짧은 버전의 긴 테스트를 사용했기 때문에 학생들 간의 실질적인 차이를 파악하기에 충분하지 않았을 수 있습니다. 향후 프로젝트에서는 27개 문항으로 구성된 테스트 양식이나 학생들의 답변에 더 많은 변수가 있는 다른 객관적인 측정을 사용할 것을 권장합니다.
However, the students in our sample did not exhibit substantial interindividual differences in their improvement and no further analyses could be conducted to explain differences in the observed change with reference to other variables. This lack of interindividual differences might have been due to similar answering patterns on the knowledge items. We used a 9-item short version of a longer test, which might not have been sufficient to identify substantial differences between students. In future projects, we would recommend using the 27-item test form or another objective measurement that yields more variance in students’ answers.

 

정서적 동기 부여 연구 성향
Affective-motivational research dispositions

조사된 네 가지 정서적-동기적 연구 성향 중 세 가지에서 첫 번째 측정 시점과 두 번째 측정 시점 사이에 유의미한 변화가 발견되었습니다. 
A significant change from the first to the second measurement point was found for three out of the four affective-motivational research dispositions examined.

우리의 예상(가설 1b 참조)에 따라 RBL에 참여하는 동안 불확실성 내성이 증가했습니다. 이러한 불확실성 내성의 변화는 연구 자기 효능감에 의해 유의미하게 예측되었습니다(가설 2c 참조). 그러나 자기효능감은 음의 예측 변수로 작용하여 학생의 자기효능감이 높을수록 불확실성 내성의 긍정적인 변화는 더 작았습니다. 연구 자기효능감이 낮은 학생은 연구 경험이 적기 때문에 불확실성 내성이 더 크게 증가할 수 있으며, 따라서 RBL에 참여함으로써 더 큰 혜택을 받을 수 있습니다. 높은 수준의 불확실성 내성은 연구 과정의 예측할 수 없는 특성에 대처하는 데 중요합니다. 불확실성 내성은 연구 수행뿐만 아니라 점점 더 복잡해지는 세상과 마주하는 데에도 필수적이라는 주장도 있습니다(Brew 2010). 이러한 의미에서 불확실성 내성은 학생들이 과학 경력을 쌓는 데 도움이 될 뿐만 아니라 다른 직업을 준비하는 데도 도움이 됩니다. 학생들의 불확실성 내성을 어떻게 변화시킬 수 있는지는 현재 여러 분야에서 논쟁의 대상이 되고 있습니다. 보건 과학 분야에서는 불확실성과 관련된 감정 과정을 모니터링하고 통제함으로써 의대생의 불확실성 내성을 향상시킬 수 있다는 제안이 있었습니다(Iannello 외. 2017). 이 권고를 사회과학 연구에 적용하면, 연구 과정에서 불확실성과 관련된 경험적 감정에 대한 안내를 통합하는 것이 좋습니다. 이를 위한 한 가지 방법은 반성적 학습 일기를 사용하는 것입니다(Nevalainen, Mantyranta, Pitkala 2010). 하지만 저희는 표본에서 불확실성과 관련된 반성적 과정을 테스트하지 않았습니다. 일부 강사가 연구와 관련된 불확실성에 대해 반성하고 논의했다고만 추정할 수 있습니다. 보다 포괄적인 결론을 도출하기 위해서는 RBL 과정에서의 불확실성 내성 발달에 대한 안내된 성찰 과정의 영향을 조사하는 추가 연구가 필요합니다.  
In line with our expectations (see hypothesis 1b), uncertainty tolerance increased over the course of RBL participation. This change in uncertainty tolerance was significantly predicted by research self-efficacy (see hypothesis 2c). However, self-efficacy served as a negative predictor: the higher a student’s self-efficacy, the smaller the positive change in uncertainty tolerance. Students with low levels of research self-efficacy might exhibit stronger increases in uncertainty tolerance because these students have less research experience and thus benefit more strongly from participation in RBL. A high level of uncertainty tolerance is important for coping with the unpredictable nature of the research process. Some claim that uncertainty tolerance is vital not only for conducting research but also for facing an increasingly complex world in general (Brew 2010). In this sense, uncertainty tolerance not only assists students in pursuing scientific careers but also prepares students for other professions. How students’ uncertainty tolerance can be changed is currently a subject of debate in several fields. In the health sciences, it has been suggested that medical students’ uncertainty tolerance can be enhanced by monitoring and controlling emotional processes related to uncertainty (Iannello et al. 2017). Translating this recommendation to research in the social sciences, we suggest integrating guided reflections on experienced emotions related to uncertainty in the research process. One way of doing so would be to use reflective learning diaries (Nevalainen, Mantyranta, and Pitkala 2010). However, we did not test for reflective processes related to uncertainty in our sample. We can only assume that some instructors reflected on and discussed research-related uncertainties. Further research investigating the influence of guided reflection processes on the development of uncertainty tolerance in RBL courses would be necessary to come to a more comprehensive conclusion.

연구에 대한 흥미와 즐거움은 사전 및 사후 테스트 모두에서 높은 평균값을 보였으며, 이는 참여 학생들이 일반적으로 연구 및 관련 활동을 매우 좋아한다는 것을 나타냅니다. 그러나 불확실성 내성과는 달리 흥미와 즐거움은 RBL에 참여하는 동안 감소했습니다(가설 1b 참조). 이에 대한 몇 가지 가능한 설명이 있습니다. 아마도 학생들은 과정을 진행하는 동안 연구가 무엇인지에 대해 보다 현실적인 아이디어를 얻었을 것입니다. 연구를 시작할 때 학생들의 연구 개념은 해당 사회의 지배적인 연구 관점의 영향을 받을 수 있습니다. 독일에서는 대중이 연구를 흥미롭고 신뢰할 수 있는 것으로 인식하고 있습니다(Wissenschaft im Dialog 2018). 따라서 단일 연구 프로젝트의 설명력이 얼마나 작은지 깨닫는 것은 좌절감이나 환멸을 줄 수 있습니다. 연구의 본질과 실제에 대한 보다 현실적인 이해는 연구에 대한 관심이나 기쁨을 감소시키는 동시에 다른 사람들이 '과학자가 되는 것'이라고 부르는 것의 지표가 될 수 있습니다(Hunter, Laursen, Seymour 2007).
Interest and joy in research exhibited high mean values during both the pre- and post-test, indicating that the participating students are generally very fond of research and related activities. However, unlike uncertainty tolerance, interest and joy decreased over the course of RBL participation (see hypothesis 1b). There are several possible explanations for this. Perhaps students gain a more realistic idea of what research is during the course. At the beginning of their studies, students’ conceptions of research might be influenced by the predominant view of research in their society: in Germany, the public perceives research as interesting and trustworthy (Wissenschaft im Dialog 2018). Thus, realising how small the explanatory power of a single research project is might be frustrating or disillusioning. Gaining a more realistic understanding of the nature and practice of research might lead to decreased interest or joy in research, while simultaneously serves as an indication of what others have termed ‘becoming a scientist’ (Hunter, Laursen, and Seymour 2007).

회귀 분석 결과 특정 코스 변수가 유의미한 예측 변수로 작용하는 것으로 나타났습니다(가설 2c 참조). 즉, 학생의 연구에 대한 관심의 변화는 교수자가 학생의 연구에 대해 가지는 관심도학생이 평가한 해당 코스의 향후 경력에 대한 유용성에 의해 유의미하게 예측되었습니다. 강사가 자신의 연구에 관심이 있다고 지각하는 것은 학생에게 동기를 부여하고 연구에 대한 관심을 높일 수 있습니다. 실용적인 의미로, 교수자가 학생의 작업에 관심이 있는 척해야 한다는 의미는 아닙니다. 교수자가 진정으로 관심 있는 주제(예: 자신의 연구 주제)를 RBL 코스의 주제로 선택하는 것만으로도 충분할 수 있습니다. 자신의 연구 주제를 강의실에 가져와서 교육과 연구를 결합하는 것은 종종 교수자에게 유용한 관행으로 권장되어 왔습니다(Vicens and Bourne 2009). 이에 대한 주요 주장 중 하나는 교육과 연구 모두에 관여하는 강사의 귀중한 시간을 절약할 수 있다는 것입니다. 또한 연구 결과에 따르면 교육과 연구를 병행하면 교수자의 주제에 대한 관심에 더 많은 동기를 부여받는 학생에게도 이점이 있는 것으로 나타났습니다. 
The regression analyses showed that certain course variables served as significant predictors (see hypothesis 2c): changes in students’ interest in research were significantly predicted by the instructor’s perceived interest in the students’ research and the perceived usefulness of the course for their later career (both rated by the students). Perceiving that the instructor is interested in their work might be motivating for students and increase their own interest in research. As a practical implication, this does not mean that instructors should pretend to be interested in students’ work. It could suffice for instructors to choose topics for RBL courses that are of genuine interest to them – for example, their own research topics. Bringing one’s own research topics into the classroom, thereby combining one’s teaching and research, has often been recommended as a useful practice for instructors (Vicens and Bourne 2009). One of the main arguments for this is that it saves valuable time for instructors involved in both teaching and research. Our results additionally suggest that combining teaching and research comes with benefits for students, who feel more motivated by their instructors’ interest in the topic.

즐거움의 변화는 학생들의 향후 커리어에 대한 강좌의 유용성에 따라 유의미하게 예측되었습니다. 강좌가 향후 커리어에 유용하다고 인식한 학생들은 연구에 더 많은 즐거움을 얻었습니다. 학문적 커리어를 목표로 하지 않는 학생의 경우, 비학문적 커리어에 관심이 있는 연구 주제를 선택하거나 서비스 학습을 적용하는 등 학계 밖에서의 유용성을 강조하거나 강화하는 것이 도움이 될 수 있습니다(Potter, Caffrey, Plante 2003). 이러한 방식으로 더 많은 학생들이 자신의 연구 프로젝트를 수행하는 것이 학계 밖의 경력에 유용하다고 인식하여 연구하는 데 더 큰 즐거움을 찾을 수 있습니다. 
Changes in joy were significantly predicted by the perceived usefulness of the course for students’ later careers: those students who perceived the course as useful for their future career gained more joy in research. For students who do not aspire to academic careers, it might be beneficial to emphasise or enhance the course’s usefulness for outside academia, e.g. by choosing research topics that are of interest in non-academic careers or applying service learning (Potter, Caffrey, and Plante 2003). In this way, more students might perceive conducting their own research projects as useful for careers outside academia and therefore find greater joy in doing research.

예상과는 달리, RBL을 경험하는 동안 수행한 연구 단계의 수와 학생들에게 주어진 자율성은 정서적-동기적 연구 성향의 변화에 영향을 미치지 않았습니다(가설 2a 및 2b 참조). 이는 미리 정의된 연구 문제를 해결하거나 제한된 양의 연구 단계만 완료해도 학생들에게 긍정적인 영향을 미친다는 것을 나타냅니다.
Contrary to our expectations, the number of research steps performed and the autonomy students were given during the RBL experience did not have an effect on changes to any of the affective-motivational research dispositions (see hypothesis 2a and 2b). This indicates that even working on pre-defined research problems or completing only a limited amount of research steps has a positive effect on students.

전반적으로 다양한 정서적 동기 변수의 변화를 예측하는 데 사용된 회귀 모델은 잠재적 변화 변수의 분산 중 5%(과학 문헌 작업의 즐거움), 6%(불확실성 허용), 10%(연구 흥미)를 차지했습니다. 이러한 효과 크기는 작은 것으로 분류될 수 있지만(Cohen 1988), 학생들이 예측 변수에 대한 설문지에 응답하는 데 1~2분밖에 걸리지 않았다는 점을 고려할 때 이러한 회귀 분석의 비용 대비 가치 비율은 매우 긍정적인 것으로 간주할 수 있습니다. 보다 근본적인 관점에서 볼 때, 정서적 동기 부여 성향은 현재의 기분이나 개인적인 삶의 사건과 같은 다양한 외부 변수의 영향을 받는 복잡하고 다차원적인 현상이라는 점에 유의해야 합니다. 이 연구에서 조사한 변수(예: 학생의 자율성, 교수자의 관심도)는 전체 코스에 걸쳐 다양한 정서적 동기 부여 연구 성향의 변화를 정확하게 예측하기에 충분하지 않습니다. 그러나 부분적으로 중요한 예측 변수로 작용하여 RBL 코스 설계에 실용적인 새로운 아이디어를 제공했습니다. 
Overall, the regression models used to predict changes in different affective-motivational variables accounted for 5% (joy in working with scientific literature), 6% (uncertainty tolerance) and 10% (research interest) of the latent change variable’s variance. While these effect sizes can be classified as small (Cohen 1988), it is important to put these values into perspective: given that answering the questionnaires on the predictor variables took students only 1–2 min, the cost-value ratio of these regression analyses can be considered very positive. From a more fundamental perspective, it must be noted that affective-motivational dispositions are complex, multidimensional phenomena that are influenced by a range of external variables, such as current mood or personal life events. The variables examined in this study (e.g. student autonomy, instructors’ interest) are not sufficient to accurately predict changes in different affective-motivational research dispositions over an entire course. However, they did partially serve as significant predictors and thus provide practical new ideas for designing RBL courses.

향후 연구를 위한 한계와 시사점
Limitations and implications for future research

본 연구와 이 분야의 다른 연구의 문제점은 대조군이 없다는 점입니다(Lopatto 2004 참조). 적절한 비교 그룹이 없으면 연구 경험 자체가 효과적인지 또는 RBL 코스에 참여하는 학생의 유형이 효과적인지 여부가 불분명합니다(Linn 외. 2015). 일부 저자들은 RBL 과정을 찾는 학생들이 애초에 다른 학생들보다 학업 능력이 더 높고 동기 부여가 더 강하다고 주장합니다(Carter 외. 2016). 우리 표본에서는 RBL 과정 참여가 학생들의 학습 프로그램에서 필수적인 부분인 경우가 많았기 때문에 표본에서 강한 자기 선택 편향이 있을 가능성을 배제할 수 없습니다. 그럼에도 불구하고 RBL의 효과에 대한 최종 결론을 도출하기 위해서는 의미 있고 일치하는 대조군이 필요합니다(예: RBL 과정 대기자 명단이 있는 학습 프로그램을 조사하는 등). 
A problem with our and other studies in the field is the lack of a control group (cf. Lopatto 2004). Without an adequate comparison group, it remains unclear whether the research experience itself is effective or whether it is the type of student who participates in RBL courses (Linn et al. 2015). Some authors claim that students who seek out RBL courses have higher academic abilities and are more motivated than other students in the first place (Carter et al. 2016). In our sample, participation in the RBL course was often a mandatory part of the students’ study programme; thus, a strong self-selection bias in our sample can be ruled out. Nevertheless, a meaningful, matched control group is still necessary to draw final conclusions on the effectiveness of RBL, e.g. by examining study programmes with a waiting list for RBL courses.

또 다른 한계는 테스트 시점과 관련이 있습니다. 사후 측정은 강의가 끝날 무렵 강의실에서 실시되었기 때문에 최종 논문 작성이나 연구 결과 발표의 효과를 반영하지 못했습니다. 그러나 자신의 연구에 대해 공개적으로 발표하는 것은 학생들에게 특히 동기를 부여하는 것으로 묘사되어 왔으며(Cuthbert, Arunachalam, Licina 2012), 따라서 RBL과 관련된 학습 결과에 영향을 미칠 수 있습니다. 향후 연구에서는 추후 또는 후속 측정을 통해 최종 과제의 효과를 통합해야 합니다. 
Another limitation concerns the testing time point. Since the post-measurement was conducted in the classroom towards the end of the course, our results do not reflect the effect of writing final papers or presenting research results. However, giving a public presentation on one’s research has been described as particularly motivating by students (Cuthbert, Arunachalam, and Licina 2012) and thus might influence the learning outcomes associated with RBL. Future research should incorporate the effects of final assignments by using later or follow-up measurements.

본 연구의 정량적 설정은 연구 프로젝트에 대한 학생들의 개인적인 관점, 연구 과정의 어려움에 대한 개별적인 반응, 교수자의 행동에 대한 추가적인 생각을 다룰 수 없음을 의미했습니다. 향후 프로젝트에서는 심층 인터뷰를 통해 학생들의 관점을 통합하여 본 연구의 예비 결과와 그에 따른 시사점을 추가로 탐색하고 검증할 수 있습니다. 
Our study’s quantitative set-up meant that the students’ personal perspectives on their research projects, individual reactions to challenges in the research process and additional thoughts on their instructors’ behaviour could not be addressed. A future project could further explore and validate the preliminary findings of this study and the resulting implications by incorporating students’ perspectives via in-depth interviews.

이 연구의 목적은 인지적 및 정서적 동기부여 연구 성향을 향상시키기 위한 사회과학 분야의 RBL 과정의 효과를 조사하는 것이었습니다. 연구 결과에 따르면 RBL은 연구 지식과 연구 관련 불확실성 내성을 향상시키는 데 효과적인 교육 형식이라는 결론을 내릴 수 있습니다. 특히 학생들이 RBL 경험이 향후 커리어에 도움이 될 것이라고 생각할 때 RBL 과정이 효과적이라는 것이 입증되었습니다. 
The aim of this study was to examine the effectiveness of RBL courses in the social sciences for enhancing cognitive and affective-motivational research dispositions. Based on the results, we can conclude that RBL is an effective instructional format for enhancing research knowledge and research-related uncertainty tolerance. RBL courses proved especially effective when students thought the RBL experience was useful for their later career.

RBL이 효과적인 교육 형식인지에 대한 질문은 지금까지 STEM 분야의 연구에서 주로 다루어져 왔으며, 사회과학 분야의 증거는 아직 부족합니다. 본 연구에서는 사전-사후 설계를 사용하여 다양한 사회과학 분야의 학생들을 대상으로 RBL의 효과에 대한 체계적인 설명을 제공함으로써 학문별 측정치를 향상시키고자 했습니다. 선택한 절차는 해당 분야의 기존 증거를 확장하는 데 적합했지만, 추가 연구 노력에서 해결해야 할 다양한 미해결 질문이 남아 있습니다.

The question of whether RBL is an effective instructional format has so far been dominated by studies from the field of STEM, while evidence from the social sciences remains scarce. Our study sought to provide a systematic account of the effectiveness of RBL among students from different social scientific disciplines for enhancing discipline-specific measures using a pre–post design. While the chosen procedure was suitable for extending existing evidence in the field, a range of open questions remain that should be addressed in further research endeavours.

 


ABSTRACT

Research-based learning (RBL) is regarded as a panacea when it comes to effective instructional formats in higher education settings. It is said to improve a wide set of research-related skills and is a recommended learning experience for students. However, whether RBL in the social sciences is indeed as effective as has been postulated for other disciplines has not yet been systematically examined. We thus administered a pre–post-test study to N = 952 students enrolled in 70 RBL courses at 10 German universities and examined potential changes in cognitive and affective-motivational research dispositions. Latent change score modelling indicated that students increased their cognitive research dispositions, whereas most affective-motivational research dispositions decreased. The instructors’ interest in the students’ work served as a significant predictor of changes in research interest and joy. Practical implications for designing RBL environments can be inferred from the results.

의학교육커리큘럼에서 인공지능의 필요성, 도전, 적용(JMIR Med Educ. 2022)
Needs, Challenges, and Applications of Artificial Intelligence in Medical Education Curriculum
Joel Grunhut1*, BA; Oge Marques2,3*, PhD; Adam T M Wyatt4*, PhD

 

소개
Introduction

인공지능(AI)과 그 응용 분야는 진단, 진단 촉진, 의사 결정, 빅데이터 분석, 관리 등 의료 분야의 많은 글로벌 문제를 해결할 수 있는 큰 가능성을 가지고 있습니다[1,2]. AI는 전 세계 의사 부족 문제를 해결하고 전 세계 오지에 의료 서비스를 제공할 수 있는 잠재력을 가지고 있습니다[2].  
Artificial intelligence (AI) and its applications hold great promise for solving many of health care’s global issues including making diagnoses, facilitating diagnostics, decision-making, big-data analytics, and administration [1,2]. AI has the potential to solve the global doctor shortage and bring access to health care to remote areas of the world [2].

이미 많은 의료 분야에서 AI의 실제 적용을 통해 혜택을 보고 있습니다. 예를 들어 심방세동, 간질 발작, 저혈당증을 감지하거나 조직 병리 검사 또는 의료 영상에 기반한 질병 진단 등이 있습니다[3]. AI의 사용은 영상의학이나 병리학 분야에 국한된 것이 아니라, 1차 진료부터 긴급한 중환자 결정에 이르기까지 다양한 분야를 아우르는 단일 데이터 형태인 이미지 인식에 대한 AI의 힘을 보여주는 지표입니다. 최근 데이터에 따르면 의학의 모든 전문 분야에서 의사를 보조하는 데 AI를 활용하는 방안을 모색하고 있습니다[4]. 딥러닝 알고리즘은 다양한 의료 분야에서 웨어러블, 스마트폰 및 기타 모바일 모니터링 센서를 통해 개인이 매일 사용하는 데이터의 양이 증가함에 따라 이를 기능적으로 이해할 수 있습니다[3]. AI는 대부분의 데이터 형태에 대해 분석을 수행하고 지능적인 실행 가능한 권장 사항을 제공하는 기능을 지속적으로 개선할 것입니다[5]. 향후 AI의 발전은 의료의 모든 측면에 스며들 것으로 예상됩니다[6]. 
Many fields of medicine have already seen benefit from the practical application of AI. Examples include the detection of atrial fibrillation, epilepsy seizures, and hypoglycemia, or the diagnosis of disease based on histopathological examination or medical imaging [3]. The use of AI is not limited to the fields of radiology or pathology; rather, those fields are indicators of the power of AI for image recognition, a singular form of data that transverses many fields spanning from primary care practice to urgent midsurgical decisions. Recent data show that every specialty in medicine is exploring the use of AI in assisting physicians [4]. Deep learning algorithms can make functional sense of increasing amounts of data used by individuals daily through wearables, smartphones, and other mobile monitoring sensors in different areas of medicine [3]. AI will continue to improve its capabilities to perform analysis and provide intelligent actionable recommendations on most forms of data [5]. It is expected that the future advancements in AI will permeate all aspects of medicine [6].

파괴적 혁신
Disruption

AI가 의료 분야에서 계속 발전하고 있지만 도전 과제가 없는 것은 아닙니다. AI는 이러한 임상 진료의 진화에 대비하지 못한 의사들의 저항에 직면해 있습니다[3]. 의사들은 AI의 발전으로 혜택을 받을 가능성이 높지만, 대체에 대한 두려움으로 인해 이러한 기회를 놓칠 수 있습니다. 또한 AI에 대한 지식이 부족하면 머신러닝 예측의 신뢰성에 대한 회의론이 생길 수 있습니다. 이러한 반발로 인해 다른 전문 분야에서는 AI 솔루션을 사용하여 산업을 발전시키는데 반해 의료 부문의 상당 부분이 AI에 적응하지 못하고 있을 수 있습니다[3].  
As AI continues to make advancements in health care, it is not without challenges. AI is met with resistance from physicians ill-equipped for such an evolution of clinical practice [3]. It is likely that physicians would benefit from the advancements of AI, but an understandable fear of replacement may prevent these opportunities. Furthermore, a lack of knowledge in AI can create skepticism in the trustworthiness of a machine learning prediction. This pushback may be preventing a large part of the health care sector from adapting to AI as other professional sectors continue to use AI solutions to advance their industries [3].

AI는 기존의 임상의사-환자 양자 구도를 훨씬 더 윤리적이고 감정적으로 복잡한 임상의사-AI-환자 삼자 구도로 변화시킬 것입니다. 이는 윤리적, 법적, 재정적 영향과 함께 신뢰와 책임 측면을 극적으로 변화시킬 것입니다[7]. 의사는 이러한 큰 변화에 대비해야 합니다[8]. 
AI will change the dynamics of the traditional clinician-patient dyad to a much more ethically and emotionally complex clinician-AI-patient triad. This will dramatically alter the trust and accountability aspects with ethical, legal, and financial implications [7]. Physicians must be prepared for this great change [8].

AI와 같은 신흥 기술은 전통적인 교육 프로그램을 통해 유지되는 노동 시장을 혼란에 빠뜨릴 잠재력을 가지고 있습니다. 이러한 시장 혼란에 탄력적으로 대응하기 위해서는 의사 교육 프로그램에 변화가 필요합니다[9]. 현재의 학부 의학교육(UME) 커리큘럼은 진화하는 기술의 새로운 요구사항에 점점 더 부합하지 못하고 있습니다. 대부분의 의과대학이 변화를 수용하고 의학 커리큘럼의 구성 요소를 정기적으로 업데이트하기 위해 노력하고 있지만, 대대적인 개편은 달성하기 어렵고 커리큘럼에서 AI를 구현하는 데 방해가 될 수 있습니다. 깊이 내재된 가치와 인증 과정 등 다양한 요인으로 인해 중요한 커리큘럼 개혁을 달성하기는 어렵습니다[10]. 
Emerging technologies such as AI have the potential to disrupt labor markets maintained through traditional education programs. In order to be resilient to these market disruptions, physician training programs will require change [9]. The current undergraduate medical education (UME) curriculum is increasingly out of sync with the new needs of an evolving technology. Although most medical schools embrace change and strive to regularly update the components of the medical curriculum, a major overhaul is difficult to achieve and may be a hindrance to the implementation of AI in the curriculum. The path to significant curricular reform is difficult because of a variety of factors, including deeply embedded values and the accreditation process [10].

UME는 미래를 맞이하고 학생들에게 AI를 통해 더 넓은 범위의 의료 서비스에 대한 접근성을 제공해야 합니다. [데이터 과학에 대한 지식, 알고리즘 품질 평가, 다양한 AI 제품 간 변별]은 의학교육의 필수 구성 요소이며, 교수진은 이를 통합하기 시작해야 합니다. 의과대학은 의사가 미래에 대체할 수 없는 역할을 확립하기 위해 컴퓨터보다 경쟁 우위를 점할 수 있는 고유한 인간 능력을 가르치고 육성하기 시작해야 합니다[9]. 
UME must begin to welcome the future and provide students access to a broader scope of health care through AI. Knowledge on data science, assessing algorithmic quality, and differentiating among different AI products are necessary components of medical education, which faculty must begin to incorporate. Medical schools must begin to teach and nurture unique human abilities that give physicians a competitive advantage over computers to establish an irreplaceable role in the future [9].

의사에게는 어떤 기술이 필요할까요?
What skills Do Physicians Need?

의료계는 임상 의사 결정을 개선하기 위한 데이터 사용이 증가하면서 숙련된 의사와 기계의 상호 작용이 필요한 AI 시대에 접어들고 있습니다[11]. 차세대 의사에게 올바른 기술과 AI에 대한 적응력을 교육하면 이 새로운 데이터 과학 혁명의 일원이 될 수 있습니다[8]. 현재 의사가 AI와 함께할 수 있는 접근 방식은 다양합니다. 데이터 과학 과정을 수강하는 의사, 펠로우십 기회를 얻는 의사, 의학교육 프로그램에 참여하는 데이터 과학자 등이 있습니다. 이들은 전체 의사 인구의 극히 일부에 불과하므로 UME에서 보다 통합적이고 전향적인 접근 방식이 필요합니다. 
The practice of medicine is entering the age of AI in which the use of data to improve clinical decision-making will grow, bringing forth the need for skillful medicine-machine interaction [11]. Educating the next generation of physicians with the right techniques and adaptations to AI will enable them to become part of this emerging data science revolution [8]. Currently, there are different approaches for physicians to become accompanied to AI. There are physicians taking courses in data science, fellowship opportunities, and data scientists entering medical education programs. These represent a small fraction of the total physician population, and therefore a more integrative and forward approach in UME is necessary.

의료 전문가들은 AI의 장점과 비용 절감, 품질 향상, 의료 서비스 접근성 확대 등의 잠재력에 대해 충분히 교육받아야 합니다. 마찬가지로 중요한 것은 의사가 투명성 및 책임과 같은 AI의 단점에 대해 잘 알고 있어야 한다는 것입니다. 이러한 목표를 달성하기 위해서는 커리큘럼의 여러 측면에 걸쳐 AI를 원활하게 통합해야 합니다[11].  
Medical professionals need to be sufficiently trained in AI, its advantages, and its potential to lower cost, improve quality, and expand access to health care. Of equal importance, physicians should be knowledgeable in its shortfalls such as transparency and liability. AI needs to be seamlessly integrated across the different aspects of the curriculum to achieve these goals [11].

AI 솔루션의 권장 사항을 환자의 치료 과정에 통합할 때 의사는 환자가 가질 수 있는 모든 우려에 답할 수 있어야 합니다. 더 중요한 것은 의사가 AI가 환자 치료에 도움이 되는 기술이 되고 해를 끼치는 기술이 되지 않도록 할 책임이 있다는 것입니다. 기술 혁명은 의료 분야에서 AI 기반 구현에 대한 윤리적 고려 사항과 관련하여 많은 과제를 제기합니다. 데이터베이스의 소수자 배제, 법적 보호 문제, 인본주의적 터치의 감소 등 여러 윤리적 문제들이 의료 분야에 AI를 적용하는 데 있어 우려를 불러일으킵니다. 이러한 이유로 인해 미래의 의사에게 매우 중요한 의무인 AI에 대한 충분한 지식과 경험 습득의 중요성이 부각되고 있습니다[12]. 
When incorporating recommendations from AI solutions to a patient’s course of treatment, physicians should be capable to answer any concerns that patients may have. Perhaps even more importantly, physicians are responsible for ensuring that AI becomes a technology beneficial for patient care and not possibly a cause of harm. The technological revolution raises many challenges with regards to ethical considerations of AI-based implementation in health care. Minority exclusions in databases, issues with legal protections, and a decrease in humanistic touch, among other ethical issues, raise concern for an adaptation of AI in health care. These reasons bring forth the importance of acquiring sufficient knowledge and experience about AI, an obligation of high importance for future physicians [12].

의과대학은 학생들에게 데이터 과학, 생물 통계학, AI의 생명윤리적 영향, 근거 기반 의학 등과 함께 기초 및 임상 의학에 대한 폭넓은 지식을 교육하는 데 필요한 조치를 취해야 합니다. 의대생 교육에는 [올바른 정보와 수사를 구별하는 능력][환자와 대중을 위해 철저하게 검증되고 신뢰할 수 있는 정보를 만들고 배포하는 방법을 이해하는 능력] 개발이 포함되어야 합니다[12].  
Medical schools should take necessary steps to educate students with widespread knowledge of basic and clinical medicines along with data science, biostatistics, bioethical implications of AI, and evidence-based medicine. Part of a medical student’s training should include developing the abilities to distinguish correct information from rhetoric and to understand how to create and disseminate thoroughly validated, trustworthy information for patients and the public [12].

제안 단계
Suggested Steps

현재 의학교육에서 인공지능은 초기 단계에 있으며 추측 단계에 머물러 있습니다[13-16]. 이전에 우리는 이 주제에 대해 발표된 대부분의 문헌이 학부 의학교육의 변화를 요구하고 있으며 커리큘럼 변화를 뒷받침하기 위한 연구가 필요하다는 것을 보여주었습니다[17]. 그럼에도 불구하고 이러한 변화를 만들기 위해 취해야 할 단계에 대해 고민한 사람은 거의 없습니다. 이는 주요 커리큘럼 개편을 실행하는 데 어려움이 있기 때문에 예상되는 일입니다. 여기에서는 인식되는 어려움에 대한 개요를 제공하고 이러한 문제를 해결하기 위한 해결책을 제시합니다(표 1).
Currently, the state of AI in medical education is in its infancy and speculative stages [13-16]. Previously, we have shown that the majority of published literature on the topic call for change in undergraduate medical education and that research is necessary to support curricular changes [17]. Even so, few have given thought to the steps that must be taken to create this change. This is expected because of the difficulty in implementing major curricular changes. Here, we provide an outline of the perceived difficulties and offer solutions to resolve these challenges (Table 1).

의과대학 커리큘럼 변경은 변화에 대한 저항으로 인해 실행하기 어렵습니다. 이러한 저항은 변화를 통합하는 방법에 대한 합의가 부족하고 이미 바쁜 커리큘럼으로 인해 정당화됩니다. 이러한 이유로 추가 교과목이나 업무량을 제안하면 의대생에게 최선의 이익이 되는 의학교육 교수진의 비판에 직면할 가능성이 높습니다. 국가 인프라 수준에서 이러한 문제는 의학교육 및 기관의 리더가 지원할 수 있습니다. 이러한 인식은 연례 미국 의과대학 졸업 설문조사에 1~3개의 질문을 추가하여 학생들의 관심도와 능력을 측정함으로써 쉽게 명확히 할 수 있습니다. 예를 들어, 설문지에는 UME 기간 동안 AI를 가르쳐야 하는지, 몇 학년도에 가르쳐야 하는지, 어떻게 통합해야 하는지에 대한 동의를 구할 수 있습니다. 이러한 의견은 인증 요건으로 전환되어 변화를 촉진할 수 있습니다. 
Medical school curricular changes are difficult to implement due to resistance to change. This resistance is justified through a lack of consensus on how to incorporate change and an already busy curriculum. For this reason, proposing additional courses or workload will likely be met with criticism from medical education faculty in the best interest of medical students. On a level of national infrastructure, these issues can be supported by leaders of medical education and organizations. These perceptions can be clarified easily through the addition of 1-3 questions on the annual Association of American Medical Colleges Graduation Questionnaire to gauge interest and ability over time from students. For example, the questionnaire can ask for agreement on whether AI should be taught during UME, what year of training it should be taught in, and how it should be incorporated. These can translate into accreditation requirements and drive change forward.

Table 1. Multitiered solutions to include AI in the medical education curriculum.
Levels and target areas of improvement Examples
National infrastructure  
  AAMCb Questionnaire, materials, and guidance
  LCMEc Minimal requirements and expert panels
  Multi-institutional research Longitudinal research on attitudes and quality improvements
Individual school  
  Faculty expansion Bioethics, bioinformatics, and medical AI experience
  Basic knowledge lessons Introductory courses, benefits and pitfalls of AI, and ethics of AI
  Case-based learning Multispecialty implications in previous cases and biostatistical implications
Student specific  
  Journal clubs or reading groups Specialty-specific journals, health care systems journals, and AI in health care journals
  Use of AI in clinical setting Tumor board, radiology rotation, and point of care ultrasound

aAI: artificial intelligence.

bAAMC: Association of American Medical Colleges.

cLCME: Liaison Committee on Medical Education.

더 중요한 질문은 학부 의학교육자들이 어떻게 연합하여 커리큘럼에 AI를 통합하는 것에 대한 수준 높은 연구를 수행할 수 있는가 하는 것입니다. 연구와 프로토콜의 기준이 서로 다른 개별 학교의 보고서가 모든 학부 의학교육에 필요한 변화를 정의할 수 있을까요? 여러 의과대학의 공동 및 연합 연구 노력은 이 문제에 대한 다각적이고 다양한 의견을 제공할 수 있으며, 이는 반드시 필요합니다. 
A more overarching question is how undergraduate medical educators can unite to perform high-quality research on the incorporation of AI in the curriculum. Would individual school reports with differing standards in research and protocol do justice to a necessary change across all undergraduate medical education? A joint and united research effort from multiple medical schools would provide a multifaceted and diverse input on the issue and is necessary.

개별 학교 차원에서는 커리큘럼을 개선하기 위한 자원 투자가 필요할 것입니다. 시간 및 내용 제약 문제를 해결하기 위해 UME 전반에 걸친 종단적 AI 스레드를 옹호해야 합니다. 근거 기반 의학을 가르치는 과정에는 AI의 입력을 평가하는 추가적인 관점을 통합해야 합니다. 의과대학 교수진은 근거 기반 의학에서 AI의 역할에 대한 질문에 답하거나 토론할 준비가 되어 있지 않을 수 있습니다. 따라서 의과대학 교수진에 다른 학교의 임상의학 데이터 과학자나 컴퓨터 과학 및 공학 교수진을 추가하는 것이 필수적입니다.  
On an individual school level, investments of resources will be necessary to create improvements in the curriculum. A longitudinal AI thread throughout the UME should be advocated to solve time and content constraint issues. Courses teaching evidence-based medicine should incorporate an additional perspective of evaluating the input of AI. Medical school faculty may not be equipped to answer questions or discuss the role of AI in evidence-based medicine. Therefore, it is imperative to add clinician data scientists or computer science and engineering faculty from other schools to medical school teaching faculty.

공중 보건 과학을 배우는 학생들은 AI가 미래의 연구와 진료에서 무엇을 할 수 있고 무엇을 할 수 없는지 알기 위해 AI에 대한 배경 지식을 습득해야 합니다. 의과대학 커리큘럼에서 AI의 전체 과정을 가르치는 것은 너무 어렵습니다. 의학에서 AI에 대한 입문 강의는 반드시 필요하고 옹호되어야 합니다. 대부분의 학교에서는 강사가 데이터 과학자일 가능성이 높지만, 강사가 강의 경험이 있고 의대생에게 친숙하며 의학에서 AI의 역할에 대해 잘 알고 있는 사람이어야 합니다. 강사는 이전에 컴퓨터 과학 과목에서 의학에서 AI의 역할에 대해 이미 가르친 적이 있는 것이 좋습니다. 가장 중요한 것은 강사가 AI가 의료 분야에 가져온 광범위한 윤리적 문제를 다룰 수 있는 수준의 생명윤리 역량을 갖추고 있어야 한다는 것입니다. 
Students learning public health sciences must be introduced to a background in AI in order to know what AI can and cannot do for their future research and practices. It is far too difficult to teach entire courses of AI in a medical school curriculum. An introductory lecture to AI in medicine is a necessity and should be advocated for. In most schools, the instructor will likely be a data scientist, but it is important that the instructor has teaching experience, is familiar with medical students, and is conversant with the role of AI in medicine. Preferably, the instructor will have already taught about the role of AI in medicine previously in a computer science course. Most importantly, instructors should have levels of competency in bioethics to address the expansive ethical issues AI has brought to health care.

사례 기반 학습과 시뮬레이션 학습은 임상 시나리오에 AI 기반 권장 사항을 통합할 수도 있습니다. 사례와 시뮬레이션에 AI를 통합함으로써 학생들은 AI 기반 솔루션을 접하고 친숙해질 수 있습니다. AI 애플리케이션을 협업하고 관리하려면 의대생이 확률적 추론에 대한 깊은 이해와 윤리적 고려가 필요합니다[10]. 이러한 수업은 AI 추천의 정확성과 해석에 대한 지식을 갖춘 교수진이 가르쳐야 합니다. 의과대학은 의학 콘텐츠에서 양질의 AI를 제공하기 위해 이 분야의 교수진을 추가로 채용해야 할 가능성이 높습니다. 
Case-based learning and simulation learning can also incorporate AI-based recommendations in clinical scenarios. By integrating AI into cases and simulations, students can have exposure and familiarity with AI-based solutions. Collaborating and managing AI applications will require a deep understanding of probabilistic reasoning and ethical consideration from medical students [10]. These lessons should be taught from faculty with knowledge about the accuracy and interpretations of AI recommendations. It is likely that medical schools will need to hire additional faculty in this field to ensure quality delivery of AI in medicine content.

또 다른 제안은 다른 기관에서 만든 웹 기반 의료 프로그램(예: 스탠포드 대학의 의료 분야의 인공 지능 전문가 프로그램)에서 AI에 대한 액세스를 제공하는 것입니다. 이러한 프로그램은 의료와 AI의 접점에서 세계적으로 유명한 전문가인 교수진이 가르치며, 의대생은 비용을 지불하고 프로그램을 이용할 수 있습니다. 프로그램에 대한 액세스를 제공함으로써 의과대학은 다른 방법으로는 제공할 수 없었던 새로운 지식을 커리큘럼에 주입할 수 있습니다.  
Another suggestion is for institutions to offer access to AI in web-based health care programs created at other institutions (eg, Stanford University’s Artificial Intelligence in Healthcare professional program). These programs are taught by faculty who are world-renowned experts at the interface of health care and AI, and the programs are available to medical students with a cost. Providing access to a program will enable medical schools to infuse new knowledge in a curriculum that could not be provided otherwise.

학생 개개인의 차원에서는 학생들이 AI에 능동적으로 참여함으로써 교육의 변화를 주도할 수 있습니다. 앞서 의대생이 AI 도구를 코딩하고 만드는 방법을 배울 필요는 없지만, AI의 작동 방식과 한계는 이해해야 한다는 데 대부분의 최신 문헌이 동의하고 있음을 살펴봤습니다[17]. 학생들은 의학 저널에서 의료 분야의 AI 발전에 대해 읽을 수 있습니다. 의료 AI를 주제로 한 저널을 포함하여 많은 주요 저널에서 AI 연구가 활발히 진행되고 있습니다. 의료 분야 AI의 최신 동향을 읽음으로써 학생들은 의료의 미래에 대한 정보를 얻고 준비할 수 있습니다. 의과대학에서 증거 기반 의학 학습과 결합하면 학생들은 AI 연구의 무결성을 평가할 수 있습니다. 
On an individual student level, students can help drive change in their education with a proactive engagement with AI. Previously, we have shown that most of the current literature agrees that medical students do not need to learn how to code and create AI tools, but they should understand how AI works and its limitations [17]. Students can read about AI advancements in health care in medical journals. AI research has a strong appearance in many leading journals, including medical AI-themed journals. Reading the current trends in AI in health care will inform and prepare students for the future of health care. When combined with evidence-based medicine learning at medical school, students will be able to assess the integrity of AI research.

학생들은 임상 환경에서도 AI를 접할 수 있습니다. 이미 AI 기반 소프트웨어가 탑재된 개별 휴대용 초음파를 통해 학생들이 교육에 도움을 받았다는 보고가 있습니다[18,19]. 학생들은 방사선과 로테이션에서 AI 애플리케이션을 보고 AI 애플리케이션의 영향을 받는 환자 치료에 관여하는 여러 전문 분야의 방사선과 전문의 및 임상의와 임상 의사 결정에서 AI의 역할에 대해 토론할 수 있습니다. AI 통합은 전문 분야에 따라 다르겠지만, 의료 서비스 전반에 걸쳐 AI가 도입될 가능성이 높습니다. 예를 들어 방사선과 전문의, 병리학자, 종양 전문의, 외과의로 구성된 종양 위원회는 AI 애플리케이션의 영향을 받습니다. 학생들은 관심 있는 분야에 대한 노출을 맞춤화할 수 있습니다. 위의 제안은 의학교육 전반에 적용되며 일반 의학교육의 중요성과 개선의 여지를 강조합니다. 전문 분야에 특화된 AI 주제는 UME에는 필요하지 않을 수 있지만 레지던트 과정과 그 이후에는 필요할 수 있습니다. 그럼에도 불구하고 의과대학은 AI에 대한 종단적 커리큘럼을 통해 학생들이 AI를 사용하여 다양한 전문 분야를 접할 수 있도록 할 수 있습니다.
Students can expose themselves to AI in the clinical setting as well. There are already reports of students receiving individual portable ultrasounds with AI-driven software to help advance their education [18,19]. Students can see AI applications in their radiology rotations and discuss its role in clinical decision-making with radiologists and clinicians across different specialties involved in patient care impacted by AI applications. AI integration will be specialty specific, but AI as a whole will likely be present across health care. For example, a tumor board, consisting of radiologists, pathologists, oncologists, and surgeons, is impacted by AI applications. Students can tailor their exposure toward fields of interests. The suggestions above apply to medical education as a whole and highlight the importance and room for improvement in general medical education. Specialty-specific AI topics would not be necessary for UME but perhaps in residency and beyond. Nevertheless, through a longitudinal curricular thread in AI, medical schools can expose their students to a wide variety of specialties using AI.

AI를 통한 의사 결정의 교훈은 도시와 농촌을 막론하고 의료 서비스의 전 영역에 걸쳐 개인에게 적용될 것입니다. AI는 의료 서비스에 대한 접근성을 확대할 수 있는 잠재력을 가지고 있기 때문에 다양한 의료 환경에 침투할 것으로 예상됩니다. 따라서 학생 개개인은 어떤 의료 분야를 선택하든 AI에 대해 학습하여 대비해야 합니다. 
Lessons in decision-making with AI will apply to individuals across the spectrum of health care, both in city and rural settings. It is expected that AI will permeate various health care settings because of its potential to expand access to health care. Therefore, individual students should be prepared by learning about AI no matter what area of medicine they choose.

방법론적 접근
A Methodological Approach

새로운 의학 커리큘럼의 변화는 의대생에게 긍정적이거나 부정적인 영향을 미칠 수 있습니다. 또한 완전히 새로운 주제를 도입하는 것과 같은 커리큘럼의 변화는 어려운 작업입니다. 따라서 여러 지역의 의학교육 전문가들이 함께 협력하여 시행된 변화를 만들고 평가하는 것이 중요합니다. 교육 연구는 다양한 커리큘럼 개혁의 효과를 평가하는 데 필수적입니다[20]. 이러한 성공을 달성하기 위한 한 가지 제안은 커리큘럼에서 다양한 AI 구현의 결과를 측정하기 위한 장기 연구를 시작하는 것입니다. 
New medical curricular changes can have tremendous positive and negative impacts on medical students. Additionally, a change in curriculum such as the introduction of an entire novel topic is a difficult task. Therefore, it is important that medical education specialists across different regions work in unison to create and assess the implemented changes. Educational research is vital to assessing the effectiveness of different curricular reforms [20]. One suggestion to achieving such success is to begin a long-term study to measure the outcomes of different implementations of AI in the curriculum.

학생과 교수진의 태도, 기술 수준, UME에서 AI에 대한 구체적인 요구 사항을 측정하는 연구는 현 시점에서 매우 중요하고 시급한 과제입니다. 이러한 제안을 통합하기 위한 추가 노력은 측정 가능하고 해석 가능한 데이터를 확보하여 UME에서 AI 구현을 발전시켜야 합니다. 이러한 목표를 달성하기 위해서는 여러 기관이 공동으로 연구하는 것이 논리적인 접근 방식입니다.
Research measuring student and faculty attitudes, skill level, and specific needs of AI in UME is crucial and urgent at this point in time. Further efforts to incorporate these suggestions should be measurable and have interpretable data to advance the implementation of AI in UME. A concerted multi-institutional study is a logical approach in order to achieve these goals.

의과대학 학장들이 모여 AI 커리큘럼 개혁을 논의하고 계획해야 합니다. 조직 차원에서 의학교육 관리 기관은 이러한 변화를 제정하고 촉진해야 합니다. 의학교육 연락 위원회는 특별 위원회를 통해 AI를 의학교육에 가장 잘 통합하는 방법에 대한 제안과 지침을 제공해야 합니다. 
Medical education deans need to gather to discuss and plan AI curricular reform. At the organizational level, medical education governing bodies must enact and promote these changes. The Liaison Committee on Medical Education should provide suggestions and guidelines of how to best incorporate AI to medical education through special committees.

2018년에 미국의학협회는 "의학교육에서 AI 교육이 학습 및 임상 결과에 미치는 효과에 관한 연구"를 촉구했습니다[21]. 3년이 지난 지금, 이용 가능한 문헌에 따르면 UME는 이 요청에 대해 느리게 대응하고 있습니다[17]. 따라서 이 원래의 요청을 실천으로 옮기기 위해 더 많은 노력을 기울여야 합니다. 
In 2018, the American Medical Association called for “Research regarding the effectiveness of AI instruction in medical education on learning and clinical outcomes” [21]. Three years later, the available literature suggests UME has been slow to address this call [17]. Thus, further efforts should be made to advance this original call into practice.

 

결론
Conclusion

현재와 미래의 의학 분야 AI의 발전으로 인해 학부 의학교육자들은 커리큘럼에 AI를 도입하고 구현해야 합니다. 이러한 커리큘럼 변화를 가장 효과적으로 달성하는 방법을 효과적으로 연구하기 위해서는 종단적 연구 계획이 필요합니다. 의학교육 관리 기관, 의학교육 학장, 의학교육 연구자들은 학부 의학교육 커리큘럼에 AI를 구현하기 시작해야 합니다. 이러한 기관의 집단적 합의를 통해 앞으로 나아간다면 미래의 의사인 재학생들이 적절한 AI 노출을 받을 수 있을 것입니다. 
The current and future advancements of AI in medicine oblige undergraduate medical educators to act and implement AI in the curriculum. Longitudinal research plans are necessary to effectively study how to best achieve these curricular changes. Medical education governing bodies, medical education deans, and medical education researchers should begin to implement AI in the undergraduate medical education curriculum. Moving forward with collective agreement from these entities will ensure current students—our future physicians—receive adequate AI exposure.

 


JMIR Med Educ. 2022 Jun 7;8(2):e35587. doi: 10.2196/35587.

Needs, Challenges, and Applications of Artificial Intelligence in Medical Education Curriculum

Affiliations collapse

1Schmidt College of Medicine, Florida Atlantic University, Boca Raton, FL, United States.

2Department of Electrical Engineering and Computer Science, College of Engineering and Computer Science, Florida Atlantic University, Boca Raton, FL, United States.

3Department of Biomedical Sciences, Schmidt College of Medicine, Florida Atlantic University, Boca Raton, FL, United States.

4Department of Population Health and Social Medicine, Schmidt College of Medicine, Florida Atlantic University, Boca Raton, FL, United States.

#Contributed equally.

PMID: 35671077

PMCID: PMC9214616

DOI: 10.2196/35587

Free PMC article

Abstract

Artificial intelligence (AI) is on course to become a mainstay in the patient's room, physician's office, and the surgical suite. Current advancements in health care technology might put future physicians in an insufficiently equipped position to deal with the advancements and challenges brought about by AI and machine learning solutions. Physicians will be tasked regularly with clinical decision-making with the assistance of AI-driven predictions. Present-day physicians are not trained to incorporate the suggestions of such predictions on a regular basis nor are they knowledgeable in an ethical approach to incorporating AI in their practice and evolving standards of care. Medical schools do not currently incorporate AI in their curriculum due to several factors, including the lack of faculty expertise, the lack of evidence to support the growing desire by students to learn about AI, or the lack of Liaison Committee on Medical Education's guidance on AI in medical education. Medical schools should incorporate AI in the curriculum as a longitudinal thread in current subjects. Current students should understand the breadth of AI tools, the framework of engineering and designing AI solutions to clinical issues, and the role of data in the development of AI innovations. Study cases in the curriculum should include an AI recommendation that may present critical decision-making challenges. Finally, the ethical implications of AI in medicine must be at the forefront of any comprehensive medical education.

Keywords: AI; artificial intelligence; medical education; medical student.

When I say ... 해석적 현상학 (Med Educ, 2018)
When I say . . . hermeneutic phenomenology
William Bynum1 & Lara Varpio2

 

헤르메스는 그리스 신들 사이와 인간 세계에 메시지를 전달하고, 그 메시지를 해석하여 그 근본적인 의미를 전달하는 일을 담당했습니다.1 해석학적 현상학은 어원을 공유하는 메신저 신과 마찬가지로, 현상을 설명하는 것을 넘어 일상 생활의 맥락에서 그 의미를 탐구하고 전달하는 질적 연구 방법론입니다.2 해석적 현상학이라고도 불리는 해석적 현상학은 현상에 대한 참여자의 생생한 경험의 의미와 중심 구조, 즉 본질, 그리고 현상을 형성하는 맥락적 힘을 밝혀내고자 합니다. 따라서 연구자들은 학습자 학대 및 소진부터 사무직 또는 전문가 간 팀에서의 학습자 경험에 이르기까지 복잡하고 환경의 영향을 받는 현상을 보다 완벽하게 이해하는 데 도움이 될 수 있습니다. 
Among his duties, Hermes was responsible for delivering messages among the Greek gods and to the mortal world, and for interpreting those messages and conveying their underlying meaning.1 Hermeneutic phenomenology, like the messenger god with whom it shares its lexical root, is a qualitative research methodology that goes beyond describing a phenomenon to exploring and conveying its meaning in the context of everyday life.2 Sometimes referred to as interpretive phenomenology, hermeneutic phenomenology seeks to uncover the meaning and central structures, or essences, of a participant's lived experience with a phenomenon and the contextual forces that shape it. As such, it can help researchers more fully understand complex, environmentally influenced phenomena, ranging from learner mistreatment and burnout to learners' experiences on a clerkship or interprofessional team.

이 글에서는 해석학적 현상학의 세 가지 특징에 초점을 맞춰 다른 질적 방법론과 차별화되는 해석학적 현상학의 특징에 대해 설명합니다.

  • (i) 해석적 성격과 생생한 경험에 대한 초점,
  • (ii) 데이터 수집 및 분석 과정에 연구자의 경험을 포함한다는 점,
  • (iii) 데이터 분석을 안내하는 역동적이고 사려 깊은 성찰과 글쓰기 과정에

이러한 특징들이 해석학적 현상학이라는 용어의 의미를 형성합니다.
In this article, we focus on three features of hermeneutic phenomenology that, when combined, distinguish it from other qualitative methodologies:

  • (i) its interpretive nature and focus on lived experience,
  • (ii) the inclusion of researcher experiences in the processes of data collection and analysis, and
  • (iii) the dynamic, thoughtful process of reflecting and writing that guides data analysis.

These features shape what we mean when we say: hermeneutic phenomenology.

설명적 현상학의 목적은 현상을 그것이 존재하는 맥락과 분리된 별개의 실체로 기술하는 것이지만, 해석적 현상학은 현상의 의미를 기술하고 현상을 형성하는 맥락적 힘을 이해하고자 합니다.1, 3

  • 반 마넨에 따르면 해석학적 현상학의 목표는 '인간 경험 전체'의 맥락에서 특정 인간 현상의 더 깊은 의미를 더 잘 이해하기 위해 다른 사람들의 경험과 성찰에 주목하는 것입니다.4
  • 해석학적 현상학을 통해 우리는
    • 표면적 인식 아래에 가려진 인간 경험의 더 깊은 층을 이해하고,
    • 개인의 생활 세계 또는 그 사람이 사전 성찰적으로 경험하는 세계가 이 경험에 어떻게 영향을 미치는지 이해할 수 있습니다.4
  • 따라서 해석학의 목적은 이론을 개발하는 것(예: 근거 이론)이 아니라 우리가 살고 배우는 '세계와 더 직접적으로 접촉할 수 있는 그럴듯한 통찰력'을 개발하는 것입니다.4

예를 들어, 우리는 현재 해석학적 현상학을 사용하여 매우 개인적이고 종종 암묵적이며 인식되지 않는 감정인 수치심에 대한 의료 학습자의 경험을 이해하는 연구를 수행하고 있습니다. 해석학적 현상학은 다음과 같은 개인의 수치심 경험과 관련된 연구 질문에 답할 수 있는 최적의 방법입니다:

  • 의료 학습자는 임상 학습 환경 내에서 수치심을 어떻게 경험하는가?
  • 학습 환경의 어떤 힘이 학습자가 수치심을 경험하는 방식에 영향을 미치는가?

Whereas the purpose of descriptive phenomenology is to describe a phenomenon as a distinct entity separate from the context in which it exists, hermeneutic phenomenology seeks to describe the meaning of a phenomenon and understand the contextual forces that shape it.1, 3 

  • The goal of hermeneutic phenomenology, according to Van Manen, is to attend to other people's experiences and reflections to better understand the deeper meaning of a specific human phenomenon within the context of ‘the whole of human experience’.4 
  • Hermeneutic phenomenology allows us to understand
    • the deeper layers of human experience that lay obscured beneath surface awareness and
    • how the individual's lifeworld, or the world as he or she pre-reflectively experiences it, influences this experience.4 
  • Thus, rather than developing theory (e.g., as in grounded theory), the purpose of hermeneutics is to develop ‘plausible insights that bring us in more direct contact with the world’ in which we live and learn.4 

For example, we are currently conducting a study using hermeneutic phenomenology to understand medical learners' experiences with shame, a highly personal and often implicit, unrecognised emotion. Hermeneutic phenomenology is an optimal method to answer research questions related to individuals' experience of shame, such as:

  • How do medical learners experience shame within the clinical learning environment?
  • What forces from the learning environment influence the way in which learners experience it?

해석학적 현상학은 연구자가 자신의 과거 경험과 기존 지식이 해석 과정에 내재되어 있고 필수적인 것으로 인정할 것을 요구합니다.1, 2, 5 일반적으로 설명적 현상학에서 요구되는 것처럼 연구자는 현상에 대한 개인적인 경험, 편견 및 전문 지식을 괄호로 묶는 대신, 데이터 수집 및 분석 중에 자신의 주관성을 공개적으로 반영, 공유 및 주의하면서 동시에 해석학적 전통을 고수하고 반성성을 달성해야 합니다.

  • 학습자 수치심에 대한 연구에서 학습자, 교사 또는 인간으로서 자신이 경험한 수치심을 무시하려는 시도는 무의미하며, 참여자의 수치심 경험을 해석하는 의식에서 그러한 형성적이거나 영향력이 있거나 고통스러운 경험을 확실하게 괄호로 묶을 수 없습니다.

Hermeneutic phenomenology requires that researchers acknowledge their own past experiences and existing knowledge as embedded in and essential to the interpretive process.1, 2, 5 Rather than bracketing off their personal experiences, biases and expertise regarding the phenomenon (as is generally required in descriptive phenomenology), researchers openly reflect on, share, and attend to their subjectivity during data collection and analysis, simultaneously adhering to the hermeneutic tradition and achieving reflexivity.

  • In our study on learner shame, attempts to ignore the shame that we experienced ourselves as learners, teachers or human beings are futile; we cannot reliably bracket off such formative, impactful or painful experiences from the consciousness through which we interpret the experience of shame in our participants.

데이터 수집과 분석에 개인적인 관점을 인식하고 통합하면 해석 과정에 추가적인 차원을 더할 수 있습니다. 또한 반 마넨은 해석학적 방법론의 핵심 요소 현상에 대한 직접적인 경험에서 비롯되는 개인적인 관심 주제에서 시작하는 것이라고 주장합니다.4

  • 실제로 의학 학습자가 수치심을 경험하는 방식을 이해하는 데 대한 우리의 관심은 수치심이라는 감정에 대한 우리 자신의 투쟁에서 비롯되었으며, 이제 우리 자신과 분리할 수 없는 부분이며 다른 사람들이 어떻게 그 감정을 경험하는지에 대해 이야기하고 이해하는 능력을 향상시켜주는 투쟁에서 비롯되었습니다.

Recognising and incorporating our personal perspectives into data collection and analysis contributes additional dimensions to the interpretive process. Furthermore, Van Manen asserts that a key element of hermeneutic methodology is to begin with a topic of personal interest, one that often arises from our direct experience with the phenomenon.4 

  • Indeed, our interest in understanding how medical learners experience shame arose from our own struggles with the emotion, struggles that are now an inseparable part of who we are and that enhance our ability to talk about and understand how others experience the emotion.

해석학적 현상학의 또 다른 특징은 엄격한 분석 기법을 고수하지 않고 연구자가 현상을 형성하는 현상학적 주제, 즉 '생생한 경험의 구조'를 제시하기 위해 '훈련된 사려 깊음'에 의존한다는 점입니다.4 반 마넨은 해석학적 분석이 '규칙에 얽매인 과정'은 아니지만 무작위적인 것도 아니라고 주장합니다.4

  • 해석학적 현상학은 우리의 관심을 생생한 경험으로 이끄는 흥미로운 현상을 식별하는 것으로 시작하는 여러 연구 활동 간의 역동적인 상호작용을 중심으로 전개됩니다.
  • 그런 다음 연구팀원들은 개념화된 경험이 아닌 실제 경험을 조사하고, 참여자의 현상 경험을 특징짓는 본질적인 주제에 대해 성찰하면서 동시에 자신의 경험에 대해 성찰합니다.
  • 연구자는 자신의 성찰을 글로 기록한 다음 다시 성찰하고 글을 쓰는 과정을 반복하여 점점 더 견고하고 미묘한 분석을 개발합니다.
  • 분석하는 동안 연구자는 연구 중인 현상에 대한 강한 방향성을 유지하고(즉, 산만함을 피하고) 부분과 전체 간의 상호 작용에 주의를 기울여야 합니다.
  • 해석학적 순환이라고도 하는 이 마지막 단계에서는 데이터(부분)가 현상(전체)에 대한 이해를 발전시키는 데 어떻게 기여하는지, 그리고 각 부분이 서로의 의미를 어떻게 향상시키는지를 의도적으로 고려하는 연습을 강조합니다.5 실제로 위의 활동은 간헐적으로 또는 동시에 수행될 수 있습니다.
  • 이 기본 분석 프레임워크의 구체적인 적용 사례는 이미 발표되어 있으며, 그 운용에 유용한 예시로 활용되고 있습니다.2, 4, 5 

Another distinguishing characteristic of hermeneutic phenomenology is that it does not adhere to a strict set of analytical techniques; rather, the researcher relies on ‘cultivated thoughtfulness’ to present phenomenological themes, or the ‘structures of lived experience’, that shape the phenomenon.4 Although Van Manen asserts that hermeneutic analysis is not a ‘rule-bound process’, it is also not random.4 

  • It revolves around a dynamic interplay among multiple research activities that starts with identifying an interesting phenomenon that directs our attention towards lived experience.
  • Members of the research team then investigate experience as it is lived, rather than as it is conceptualised, and reflect on the essential themes that characterise the participant's experience with the phenomenon, simultaneously reflecting on their own experiences.
  • Researchers capture their reflections in writing and then reflect and write again, creating continuous, iterative cycles to develop increasingly robust and nuanced analyses.
  • Throughout the analysis, researchers must maintain a strong orientation to the phenomenon under study (i.e., avoid distractions) and attend to the interactions between the parts and the whole.
  • This last step, also described as the hermeneutic circle, emphasises the practice of deliberately considering how the data (the parts) contribute to the evolving understanding of the phenomena (the whole) and how each enhances the meaning of the other.5 In practice, the above activities may be accomplished intermittently or simultaneously.
  • Specific applications of this basic analytical framework have been published and serve as useful examples for its operationalisation.245


해석학적 분석의 산물은 현상에 대한 풍부한 설명으로, 독자를 참여자의 삶의 세계와 더 깊이 연결하여 표면 아래에 남아있을 수 있는 경험의 핵심 요소를 조명합니다.4 학습자 수치심의 경우, 이러한 설명은 의료 학습 환경 내에서 수치심 경험의 존재와 의미에 주목하고 학습자와 교육자 모두의 정서적 회복력을 높일 수 있는 개입을 알려줄 수 있는 잠재력을 지니고 있습니다.
The product of a hermeneutic analysis is a rich description of a phenomenon that more deeply connects the reader to the participant's lifeworld, illuminating key elements of his or her experience that may otherwise remain beneath the surface.4 In the case of learner shame, such descriptions have the potential to draw attention to the presence and meaning of shame experiences within the medical learning environment and to inform interventions that will buoy emotional resilience in learners and educators alike.

헤르메스처럼, 의학 학습과 관련된 어려움을 단순히 설명하는 데 그치지 않고, 이러한 어려움을 경험하는 방식을 전달하고 이에 영향을 미치는 맥락적 힘을 파악하고자 하는 의학교육자가 점점 더 많아지고 있습니다. 다행히도 우울증, 번아웃, 수치심과 같은 복잡한 인간 경험의 깊은 층을 조명하기 위해 그리스 신이 될 필요는 없습니다. 해석학적 현상학을 갖춘 우리 인간도 오늘날의 의료 학습 환경에서 학습자가 된다는 것이 무엇을 의미하는지 해석하고 전 세계에 전달할 수 있습니다.
Like Hermes, an increasing number of medical educators seek to go beyond simply describing the challenges associated with learning medicine to conveying how they are experienced and identifying the contextual forces that influence them. Fortunately, one doesn't have to be a Greek god to illuminate the deep layers of complex human experiences such as depression, burnout and shame. Equipped with hermeneutic phenomenology, even we mere mortals can interpret and convey what it means to be a learner in today's medical learning environment to the rest of the world.


Med Educ. 2018 Mar;52(3):252-253. doi: 10.1111/medu.13414. Epub 2017 Sep 12.

When I say … hermeneutic phenomenology

Affiliations collapse

1Fort Belvoir, Virginia, USA.

2Bethesda, Maryland, USA.

PMID: 28895184

DOI: 10.1111/medu.13414

No abstract available

근거이론의 퀄리티를 추구하며 (QUALITATIVE RESEARCH IN PSYCHOLOGY, 2021)
The pursuit of quality in grounded theory
Kathy Charmaza and Robert Thornberg

 

 

소개
Introduction

미국의 사회학자 바니 글레이저와 안셀름 스트라우스(1967)의 '근거 이론의 발견': 질적 연구를 위한 전략'은 새로운 분석 방법을 제안했을 뿐만 아니라 질적 연구의 질을 지키는 데 앞장섰습니다. 근거 이론은 데이터 수집을 구체화하고 이를 분석하기 위한 명시적인 전략을 제공하는 체계적인 연구 수행 방법입니다. 이 방법의 명확한 목적은 연구 대상의 하나 이상의 핵심 관심사에 대한 추상적인 이해를 제공하는 이론을 구성하는 것입니다. 
American sociologists Barney Glaser and Anselm Strauss’s (1967) The Discovery of Grounded Theory: Strategies for Qualitative Research not only proposed a new method of analysis, but also led the charge of defending the quality of qualitative research. Grounded theory is a systematic method of conducting research that shapes collecting data and provides explicit strategies for analyzing them. The defining purpose of this method is to construct a theory that offers an abstract understanding of one or more core concerns in the studied world.

근거 이론 연구에서는 연구자의 분석 초점이 경험적 탐구가 시작되기 전에 결정되는 것이 아니라 연구 과정 중에 나타납니다. 점점 더 많은 근거 이론가들은 이 방법을 연구 과정 전반에 걸쳐 데이터에 대해 사고하고, 구성하고, 상호 작용하는 방식이라고 가정합니다(Morse 외, 곧 발표 예정). 이제 근거 이론을 사용한다는 것은 참가자의 삶에 대해 개방적으로 학습한다는 것 이상의 의미를 갖습니다. 또한 연구가 철저하고 체계적으로 수행된 과정을 보여줌으로써 연구자가 배운 것을 투명하게 공개하는 것을 의미합니다.
In grounded theory studies, the researcher’s analytic focus emerges during the research process, rather than being determined before empirical inquiry begins. Increasingly, grounded theorists assume that the method is a way of thinking about, constructing, and interacting with data throughout the research process (Morse et al., forthcoming). Using grounded theory now means more than openness to learning about the participants’ lives. It also means making what the researchers learn transparent by showing how the research has been conducted thoroughly and systematically.

근거 이론 방법은 연구자의 이론적 분석을 발전시키는 데 유용한 전략을 제공합니다. 이 방법은 연구자가 자신의 학문 분야와 더 큰 연구 문헌에서 새로운 개념을 생성하는 데 도움이 됩니다. 이러한 개념은 심리학을 비롯한 여러 분야의 전문 정책과 실무에 직접 적용될 수 있습니다.
The grounded theory method offers useful strategies to develop researchers’ theoretical analyses. This method helps them to generate new concepts in their discipline and the larger research literature. These concepts may have direct application for professional policies and practices in psychology and beyond.

먼저 이 방법의 논리를 간략하게 설명한 다음, 근거 이론의 발전의 역사적 맥락을 스케치해 보겠습니다. 근거 이론은 그 시작부터 현재까지 질적 연구의 질에 대한 질문을 다루어 왔습니다. Glaser와 Strauss(1967)는 질적 연구를 새로운 이론적 공헌과 연결시켰습니다. 논의 전반에 걸쳐, 우리는 근거 이론 연구에서 품질에 대한 우려가 연구 프로세스에 어떻게 퍼져 있는지 자세히 설명합니다. 또한 근거 이론가들의 품질에 대한 개념을 더 큰 문헌과 비교한 다음 개념의 발전과 이론적 프레임워크와의 관계를 자세히 설명합니다. 마지막으로 요점을 종합하고 구성주의 근거 이론 연구에서 품질을 수행하기 위한 체크리스트와 제안을 제공하는 것으로 마무리하지만, 대부분의 제안은 다른 버전의 근거 이론에도 적용될 수 있습니다.
We begin by briefly explaining the logic of the method and then sketch the historical context of the development of grounded theory. From its beginning to the present, grounded theory has addressed questions about quality in qualitative research. Glaser and Strauss (1967) tied quality to making new theoretical contributions. Throughout our discussion, we detail how concerns about quality pervade the research process in grounded theory studies. We also compare notions of quality among grounded theorists with the larger literature and then detail development of a concept and its relation to a theoretical framework. We end by synthesizing our key points and offering a checklist and suggestions for conducting quality in constructivist grounded theory research, although most of the suggestions are applicable to other versions of grounded theory as well.

근거 이론 연구의 품질에 대해 설명하기 전에, 많은 연구자, 그중에서도 심리학자들이 이론 구성 대신 또는 이론 구성과 함께 다양한 가치 있는 목적으로 이 방법을 사용한다는 점을 지적하고 싶습니다. 이러한 목적에는 다음 등이 있습니다.

  • 새로운 연구 영역 탐색(Bronk 2012),
  • 주요 과정 설명 및 이해(Qin and Lykes 2006),
  • 대중의 목소리를 거부당한 사람들의 상황 조명(Ayón 외. 2017; Gibson 2016; Scull, Mbonyingabo, Kotb 2016; Tuason 2013),
  • 정책 개발(Faija 외. 2017),
  • 전문적 실천에 대한 시사점(Song and de Jong 2013; Yakushko 2010) 

수많은 연구자들이 주제별 분석을 수행하기 위해 몇 가지 근거 이론 전략을 사용합니다(브라운과 클라크 2006 참조). 이 글에서는 다른 목적에도 부합하는지 여부와 관계없이 이론 구축을 목표로 하는 근거 이론 연구의 품질을 강조합니다. 
Before outlining quality in grounded theory research, we wish to point out that many researchers, psychologists among them, use this method for a variety of worthy purposes instead of or in conjunction with theory construction. Such purposes include

  • exploring a new area of study (Bronk 2012)
  • explicating and understanding a major process (Qin and Lykes 2006),
  • illuminating the situations of people denied a public voice (Ayón et al. 2017; Gibson 2016; Scull, Mbonyingabo, and Kotb 2016; Tuason 2013),
  • developing policy (Faija et al. 2017), and
  • implications for professional practice (Song and de Jong 2013; Yakushko 2010). 

Numerous researchers use several grounded theory strategies for conducting thematic analyses (cf. Braun and Clarke 2006). In this article, we emphasize quality in grounded theory studies that aim for theory construction, despite whether they also serve other goals.

근거 이론의 논리
The logic of grounded theory

글레이저와 스트라우스(1967)는 병원에서의 죽음과 임종에 대한 주목할 만한 질적 연구를 구성하는 데 사용한 방법을 설명함으로써 근거 이론을 발전시켰습니다(Glaser & Strauss, 1965, 1968). 이 방법론적 논문에서 그들은 동시 데이터 수집 및 분석이라는 혁신적이고 체계적인 전략을 도입했습니다. 이는 근거 이론의 특징이 되었으며 질적 조사 전반에 걸쳐 널리 채택되었습니다. 글레이저와 스트라우스는 데이터 수집과 분석의 반복적인 과정을 통해 연구자가 연구 분야에서 가장 중요한 문제에 순차적으로 집중할 수 있다고 주장했습니다. 데이터 수집과 분석을 동시에 수행하면 연구자는 데이터에 대한 개념을 개발하는 데 꾸준히 집중하고 초기 개념을 구체화하는 추가 데이터를 수집하는 데 도움이 됩니다. 글레이저와 스트라우스는 당시 민족지학 연구의 특징이었던 데이터 수집과 분석의 분리에 반대했습니다. 1960년대의 민족지학자들은 일반적으로 상당한 양의 데이터가 깊이와 풍부함이 부족하다는 사실을 발견했습니다. 그러나 이 반갑지 않은 발견을 했을 때는 이미 연구 현장을 떠난 후여서 돌아오지 못하는 경우가 많았습니다. 그러나 연구자들이 데이터를 수집할 때 체계적으로 질문하면 초기 아이디어가 후속 데이터 수집에 영향을 줄 수 있습니다. 
Glaser and Strauss (1967) developed grounded theory by explaining the methods they used to construct their remarkable qualitative studies of death and dying in hospitals (Glaser & Strauss, 1965, 1968). In this methodological treatise, they introduced the innovative and systematic strategy of simultaneous data collection and analysis. It became a hallmark of grounded theory and has become widely adopted throughout qualitative inquiry. Glaser and Strauss argued that by engaging in an iterative process of data collection and analysis, researchers would sequentially focus on the most significant issues in the field of study. Simultaneous data collection and analysis help researchers to steadily focus on developing concepts about the data and to gather further data that flesh out their nascent concepts. Glaser and Strauss opposed the separation of data gathering and analysis that characterized ethnographic research of their time. Ethnographers of the 1960s commonly discovered their considerable quantities of data lacked depth and richness. But by the time they made this unwelcome discovery, they had left the research site and often could not return. If, however, researchers systematically interrogate their data as they gather it, their early ideas can then inform subsequent data collection.

데이터 분석을 시작하기 위해 Glaser와 Strauss는 데이터를 비교하고 코딩할 것을 주장했습니다. 이들에게 초기 코딩이란 데이터의 스니펫에 레이블을 지정하여 데이터를 분리하는 동시에 데이터가 제시하는 의미와 조치에 주의를 기울이는 것을 의미했습니다. 연구자가 데이터를 새롭게 바라보고, 데이터의 조각을 비교하고, 분석적인 질문을 던질 수 있도록 하기 때문에 우리는 첫 번째 단계로 라인별 코딩을 권장합니다. 근거 이론 방법은 연구자가 데이터를 종합하는 데 도움이 될 뿐만 아니라, 무슨 일이 일어나고 있는지 설명하는 새로운 개념을 구성하여 설명을 넘어서는 데도 도움이 됩니다. 
To begin analyzing data, Glaser and Strauss advocated comparing and coding the data. For them, initial coding meant labeling snippets of data to take them apart while being attentive to the meanings and actions suggested by these data. We advocate line-by-line coding as a first step, because it forces the researcher to take a fresh look at the data, compare fragments of these data, and ask analytic questions about them. The grounded theory method not only helps researchers to synthesize data but, moreover, to move beyond description through constructing new concepts that explicate what is happening.

라인별 코딩은 근거 이론가가 연구 참여자의 경험과 관점을 이해하는 데 도움이 됩니다. 이러한 이해를 얻으면 연구자가 데이터에 적합하다고 믿었던 소중한 학문적 개념을 다시 생각하거나 포기할 수 있습니다

  • 예를 들어, 심리학자들은 회복탄력성에 관한 중요한 연구를 많이 수행해 왔습니다. 그러나 이 개념의 유용성은 지속적인 위기를 경험하는 절망적인 사람들의 입장에는 맞지 않을 수 있습니다. 카프리스키 세이데(Charmaz 2020, 166)는 콜레라가 유행하던 아이티의 상황을 직접 조사했습니다. 그녀는 노숙자, 극심한 빈곤, 굶주림, 고립, 절망, 죽음과 마주했습니다. 세이데는 '젊은 여성에게 회복탄력성이라는 단어는 patronizing하였고, 더 많은 아이티인들이 일상 생활에서 시험과 도전을 받아 '이성을 잃지 않는다'는 사실이 놀랍기 때문에 구조적 폭력을 정상화하는 것처럼 보였다'고 보고했습니다.

Line-by-line coding helps grounded theorists to understand their research participants’ experiences and perspectives. Gaining this understanding can lead to rethinking or relinquishing cherished disciplinary concepts that researchers might have believed would fit their data.

  • For example, psychologists have conducted many important studies about resilience. However, the usefulness of this concept may not fit the stance of desperate people who experience constant crises. Kapriskie Seide (in Charmaz 2020, 166) conducted firsthand research on the situation in Haiti during the cholera epidemic. She found herself face-to-face with homelessness, immense poverty, starvation, isolation, hopelessness, and death. Seide reported that ‘For a young woman, the word resilient was patronizing and seemed to normalize structural violence as it is surprising to some that more Haitians are not ‘losing their shit’ from being tested and challenged by their everyday lives’.

글레이저와 스트라우스(1965, 1968)의 연구는 여러 현장에서의 광범위한 현장 연구를 기반으로 했습니다. 오늘날 대부분의 근거 이론 연구는 인터뷰를 기반으로 합니다. 근거 이론가들은 초기 인터뷰의 코드에 대한 후속 연구를 통해 보다 핵심적인 질문을 개발하고 중요할 것이라고 예상하지 못했던 영역에 대해 질문합니다. 데이터와 분석 사이를 오가며 초기 아이디어의 타당성을 확인하고, 타당성이 있는 아이디어의 분석 수준을 높이며, 이를 더욱 완벽하게 뒷받침하는 데 도움이 됩니다. 근거 이론가들은 코딩을 하는 동안 코드와 코드에 대해 궁금한 점에 대해 메모를 작성합니다.
Glaser and Strauss’s (1965, 1968) studies were based on extensive field research in multiple sites. Today, most grounded theory studies are based on interviews. By following up on codes in the early interviews, the grounded theorists develop more pointed questions and ask about areas that they had not anticipated would be important. Tacking back and forth between data and analysis helps to check the pertinence of their nascent ideas, raise the analytic level of those that hold up, and support them more fully. While grounded theorists are coding, they write memos about their codes and the questions they have about them.

메모 작성코딩과 (잠정 분석을 포함한) 논문 초안 작성 사이의 중간 단계입니다. 초기 메모에는 근거 이론가의 코드, 분석 및 방법론적 질문, 데이터 조각 간의 비교에 대한 논의가 포함될 수 있습니다. 다른 메모는 근거 이론가들이 코드를 분해하기 때문에 더 분석적입니다.

  • 먼저 코드의 속성이나 특징에 따라 코드를 정의하는 것이 좋습니다. 이러한 속성은 코드를 구성하고 다른 코드와 차별화하는 요소입니다.
  • 명시되지 않은 가정을 찾아보고 자신과 연구 참여자의 가정을 검토하세요.
  • 코드가 어디로 연결되는지, 다른 코드와 어떻게 연결되는지 기록하세요.
  • 모든 코드가 동일한 것은 아닙니다. 어떤 코드는 구체적이고 설명적입니다. 다른 코드는 보다 분석적이고 광범위한 데이터를 설명합니다.
  • 연구를 진행하면서 메모는 더욱 명확해지고 분석적이 됩니다. 이런 식으로 연구에 퀄리티를 쌓아가는 것입니다.

Memo writing is the intermediate step between coding and writing the first draft of the paper, including the provisional analysis. Early memos may include discussions of grounded theorists’ codes, analytic and methodological questions as well as comparisons between fragments of data. Other memos are more analytic because grounded theorists take codes apart.

  • We suggest that you first define a code by its properties or characteristics. These properties are what constitute the code and differentiate it from other codes.
  • Look for unstated assumptions and examine your own as well as those of your research participants.
  • Record where the code takes you and how it is linked to other codes.
  • Not all codes are equal. Some codes are concrete and descriptive. Others are more analytic and account for a wider range of data.
  • As you proceed with your research, your memos become more definitive and analytic. In this way, you are building quality into your study.

얼마나 많은 줄 단위 코딩을 해야 할까요? 코드가 어떻게 합쳐지는지 확인하고 어떤 코드가 가장 중요한지 파악한 후에는 줄 단위 코딩을 중단할 수 있습니다. 가장 중요한 코드를 집중 코드로 정의하세요. 이러한 코드는 다른 코드보다 더 많은 데이터를 설명하고, 관련 코드를 하위에 포함하며, 작업의 분석 수준을 높입니다. 그런 다음 집중 코드를 사용하여 대량의 데이터 배치에서 어떻게 작동하는지 살펴보세요. 집중 코딩은 데이터에 대한 강력한 기반을 유지하면서 분석 프로세스를 신속하게 진행합니다. 집중 코드는 잠정적인 분석 범주를 생성하는 데 도움이 됩니다. 이 범주가 유효할까요? 이 범주가 데이터를 설명할 수 있을까요, 아니면 다른 문제가 있을까요?
How much line-by-line coding should you do? After seeing how your codes coalesce and identifying which are the most important, you can stop line-by-line coding. Define the most important codes as focused codes. These codes account for more data than other codes, subsume related codes, and raise the analytic level of your work. Then use the focused codes to examine how they work with large batches of data. Focused coding expedites the analytic process while retaining your strong foundation in the data. Focused codes help to generate tentative analytic categories, which you then pursue. Do these categories hold up? Can they account for these data, or is something else going on?

근거 이론은 집중 코딩과 같이 연구 프로세스에 품질에 기여하는 점검을 구축합니다. 동시에 집중 코딩을 사용하면 분석 속도를 높이고 후속 데이터 수집을 간소화하여 새로운 분석에서 질문에 답할 수 있는 타깃 데이터를 수집할 수 있습니다. 따라서 근거 이론은 연구자에게 더 적은 데이터로 더 많은 분석력을 제공합니다. 그럼에도 불구하고 이 점이 매우 작은 샘플을 사용하는 것을 변명할 수는 없습니다(참조, Thomson 2011). 
Grounded theory builds checks into the research process that contribute to its quality, such as engaging in focused coding. Simultaneously, using focused coding helps you to expedite your analysis and streamline your subsequent data collection to gather targeted data that answer questions in your emerging analysis. Hence, grounded theory gives the researcher more analytic power with fewer data. Nonetheless, this point does not excuse having very small samples (cf., Thomson 2011).

질적 연구를 통해 연구자는 데이터에서 명시적 및 암시적 프로세스를 식별할 수 있습니다. 근거 이론은 프로세스를 연구하는 유용한 방법을 제공합니다. 프로세스를 명시하기 위해 근거 이론가들은 행동과 의미를 연구하고 이들이 어떻게 연결되어 있는지 보여줍니다. 

  • 예를 들어, 심리학자 Qin과 Lykes(2006)는 의미와 행동의 융합에 대한 훌륭한 분석을 제공합니다. 이들은 미국에 있는 중국 여성 대학원생들의 상황을 연구하여 파편화된 자아를 재구성함으로써 자기 이해를 얻는 기본적인 심리적 과정을 발견했습니다. 이 학생들은 미국에 도착하기 전에 분열된 자아를 경험한 경우가 많았습니다. 중국에서는 성차별, 정치적 부패, 사회적 관계망에 대한 관리 능력 부족 등으로 인해 자기 이해가 파편화되었습니다. 고등 교육에 대한 학생들의 열망은 여성에 대한 문화적 규범과 모순되었습니다. 미국에서는 '차별, 무례, 외로움, 자기 의심'(192쪽)을 경험하면서 자아가 더욱 분열되었습니다. 그러나 많은 사람들이 자기 이해에 다문화적 통찰을 접목하면서 더 복잡한 자아를 갖게 되었습니다.

Qualitative research allows researchers to discern explicit and implicit processes in their data. Grounded theory offers a useful way of studying processes. To make processes explicit, grounded theorists study actions as well as meanings and show how they are connected.

  • For example, psychologists Qin and Lykes (2006) provide an excellent analysis of the convergence of meanings and actions. They studied the situations of Chinese women graduate students in the United States and discovered the basic psychological process of gaining self-understanding through reweaving a fragmented self. These students often experienced a fragmented self before their arrival in the US. In China, their self-understanding became fragmented due to gender discrimination, political corruption, and inability to manage the web of social relationships in which they were embedded. The students’ quest for higher education contradicted cultural norms for women. In the US their selves became further fragmented, as they experienced ‘discrimination, disrespect, loneliness, and self-doubt’ (p. 192). Yet many gained more complex selves as they rewove cross-cultural insights into their self-understandings.

연구 과정의 모든 단계에서 근거 이론가들은 데이터로 시작하여 범주 간의 비교로 끝나는 비교를 합니다.각주1 그 후, 그들은 최종 범주 또는 범주를 기존 문헌과 비교합니다. 근거 이론이 어떤 방향으로 나아갈지 미리 알 수 없기 때문에 연구를 완료할 때 문헌을 체계적으로 검색해야 합니다.
At every stage of the research process grounded theorists make comparisons beginning with data and ending with comparisons between their categories.Footnote1 Subsequently, they compare their final category or categories with the existing literature. Because they do not know in advance where grounded theory may take them, they need to do a systematic search of the literature as they complete their study.

글레이저와 스트라우스는 연구자의 개념 범주의 분석력을 높이는 반복적인 과정이 근거 이론에 많은 힘을 준다는 사실을 깨달았습니다. 그들은 새로운 데이터로 이러한 범주를 채우기 위해 새로운 유형의 샘플링인 '이론적 샘플링'을 제안했습니다. 이 유형의 샘플링에서 연구자는 범주를 설명할 수 있는 데이터를 찾습니다. 이 용어는 정량적 연구에서 대표 표본 추출로 오인되는 경우가 많기 때문에 혼동될 수 있습니다. 그러나 이론적 샘플링은 대표 샘플링과는 아무런 관련이 없습니다. 글레이저와 스트라우스는 새로운 개념 범주의 이론적 포화라고 부르는 것을 목표로 삼고 있습니다. 근거 이론가들은 이론적 샘플링을 하면서 더 많은 데이터를 찾지만 범주의 새로운 속성이나 특성을 발견하지 못할 때 이론적 포화 상태에 도달합니다. 이론적 샘플링이론적 포화는 반복적인 프로세스를 추구하고 구축된 범주를 데이터와 비교하여 철저하게 확인하는 데 달려 있습니다. 그러나 연구자가 각 참가자에게 동일한 질문만 던진다면 주제에 대해 비슷한 이야기를 이끌어낼 가능성이 높습니다. 이는 데이터 포화 상태이며, 상대적으로 적은 수의 인터뷰에서도 발생하지만 연구의 분석력에는 거의 기여하지 않습니다. 
Glaser and Strauss realized that the iterative process of increasing the analytic power of the researcher’s conceptual categories gave grounded theory much of its strength. They proposed a new type of sampling, ‘theoretical sampling’, to fill out these categories with new data. In this type of sampling, researchers look for data that will inform their categories. The term is confusing because it is often mistaken for representative population sampling in quantitative research. However, theoretical sampling has nothing to do with representative sampling. Glaser and Strauss are aiming for what they call theoretical saturation of the emerging conceptual categories. Grounded theorists achieve theoretical saturation, when they seek more data while theoretical sampling, but find no new properties or characteristics of their categories. Theoretical sampling and theoretical saturation depend upon pursuing the iterative process and thoroughly checking the constructed categories against data. If, however, researchers only ask the same questions of each participant, they are likely to elicit similar stories about the topic. That is data saturation, and it occurs with relatively few interviews but seldom contributes to the analytic power of the study.

이론적 샘플링과 이론적 포화는 연구자의 분석을 강화하고 명확한 주장을 할 수 있는 자료를 제공함으로써 연구의 품질에 기여합니다. 요컨대, 근거 이론가들은 상담 심리학자 Morrow(2005)와 Williams와 Morrow(2009)가 연구 실무에서 반드시 달성해야 한다고 주장한 연구의 'trustworthiness'을 구축하고 있습니다.
Theoretical sampling and theoretical saturation contribute to the quality of the study by strengthening researchers’ analysis and giving them material for making explicit claims about it. In short, grounded theorists are building the kind of ‘trustworthiness,’ of their research that counseling psychologists Morrow (2005) and Williams and Morrow (2009) rightly argue is imperative to achieve in research practice.

근거 이론 개발의 질에 대한 우려
Concerns about quality in the development of grounded theory

글레이저와 스트라우스(1967)가 최첨단 이론을 발표할 당시만 해도 그들은 사회학자들에게 많은 이야기를 하고 있었습니다. 그들은 자신들의 방법이 심리학, 간호학, 의학, 교육, 컴퓨터 과학, 도시 계획 등 여러 학문 분야와 전문 분야의 경계를 넘나들 것이라고는 꿈에도 생각하지 못했습니다. 사회학에서 질적 연구의 질에 대한 글레이저와 스트라우스의 옹호는 양적 사회학자에 대한 용감한 반박이었습니다. 1960년대에 이르러 질적 연구는 객관성, 타당성, 신뢰성, 재현성이 결여된 것으로 간주하는 미국의 양적 사회학자들의 공격을 받게 되었습니다(Bryant & Charmaz 2007; Charmaz, 1995, Charmaz 2006). 정량적 연구는 이미 체계적으로 체계화되어 있었고, 그 방법을 배울 수 있는 교과서도 점점 더 많이 보급되고 있었습니다. 반면, 질적 연구는 주로 구전으로 내려오는 멘토링 전통과 탐구 분야에 대한 몰입을 통해 배워왔습니다. 그 결과는 소규모의 설명적 연구였습니다. Glaser와 Strauss(1967)의 진술이 나오기 전까지는 고품질의 질적 이론 분석을 구성하는 방법에 대해 체계적으로 성문화된 글은 거의 없었으며, 그보다 훨씬 적은 양이었습니다. 
At the time of Glaser and Strauss’s (1967) cutting edge statement, they were very much speaking to sociologists. They never dreamt that their method would cross many disciplinary and professional borders such as in psychology, nursing, medicine, education, computer science, and urban planning. Glaser and Strauss’s defense of the quality of qualitative research in sociology stood as a valiant rebuttal to quantitative sociologists. By the 1960s, qualitative research had come under attack by US quantitative sociologists who viewed qualitative inquiry as lacking objectivity, validity, reliability, and replicability (Bryant & Charmaz 2007; Charmaz, 1995, Charmaz 2006). Quantitative research had already been systematically codified and textbooks were increasingly available for learning how to do it. In contrast, qualitative research had largely been taught through an oral tradition of mentoring and immersion in the field of inquiry. The results were small descriptive studies. Until Glaser and Strauss’s (1967) statement, little had been written, much less codified into a systematic statement, about how to construct a qualitative theoretical analysis of high quality.

질적 연구에 대한 양적 사회과학자들의 날카로운 비판에 대해 글레이저와 스트라우스는 양적 전통의 교리에 따라 질적 연구를 평가하는 일반적인 관행을 거부했습니다. 글레이저와 스트라우스는 질적 연구에 대한 양적 연구자들의 비판을 체계적이지 않고 편향적이며 직관적이라는 이유로 거부했습니다. 대신, 그들은 질적 연구는 지배적인 양적 전통에 의해 강요된 기준이 아니라 그 자체의 표준에 따라 평가되어야 한다고 주장했습니다. 
When answering quantitative social scientists’ sharp criticisms of its quality, Glaser and Strauss rejected the common practice of evaluating qualitative research according to the tenets of the quantitative tradition. Glaser and Strauss rejected quantitative researchers’ criticisms of qualitative inquiry as being unsystematic idiosyncratic, biased, and intuitive. Instead, they argued that qualitative research must be evaluated on its own canons, not on those imposed by the dominant quantitative tradition.

글레이저와 스트라우스는 연역적 정량적 연구는 연구자가 연구를 시작하기 전에 '올바른' 질문을 알고 있다고 가정한다고 주장했습니다. 이러한 질문은 일반적으로 경험적 세계와는 거리가 먼 사변적 이론에서 파생된 것이었습니다. 글레이저와 스트라우스는 다음과 같이 제안했습니다.

  • (1) 연구 질문은 경험적 상황을 연구하는 과정에서 생겨나야 하고, 
  • (2) 연역적 가설 테스트는 새로운 이론적 접근법 개발을 저해하며, 
  • (3) 따라서 연구 결과의 품질, 관련성 및 유용성을 떨어뜨린다고 

Glaser and Strauss avowed that deductive quantitative research assumed that researchers knew the ‘right’ questions to ask before beginning their studies. Such questions were typically derived from speculative theorizing far removed from the empirical world. Glaser and Strauss proposed that

  • (1) research questions had to arise from studying empirical situations,
  • (2) deductive hypothesis testing undermined developing new theoretical approaches, and
  • (3) thus, reduced the quality, relevance and usefulness of the research products.

요컨대, 글레이저와 스트라우스는 풍부한 직접 데이터를 활용한 귀납적 질적 연구가 이론 구축으로 이어질 수 있으며, 객관성, 타당성, 신뢰성, 재현성의 규범을 고수하는 것은 이론화를 저해할 수 있다고 선언했습니다. 따라서 연구를 수행하기 전에 연구와 이론적 문헌에 몰입하면 연구자가 흔들리고 결과적으로 연구에 대한 선입견을 갖게 된다고 주장했습니다. 글레이저와 스트라우스에게 이론화, 즉 수준 높은 연구를 위해서는 연구 대상 현상에 대한 직접적인 지식이 전제되어야 했습니다. 또한 직접 경험에 대한 연구는 엄격하게 수행될 수 있다고 주장했습니다.
In short, Glaser and Strauss declared that inductive qualitative research with rich first-hand data could lead to theory construction and that adhering to canons of objectivity, validity, reliability and replicability would inhibit theorizing. Hence, they argued that immersion in the research and theoretical literatures before conducting research would sway researchers and subsequently, preconceive their studies. For Glaser and Strauss, theorizing–and creating high quality research–needed to be predicated on direct knowledge of the studied phenomenon. Moreover, they contended that studies of direct experience could be conducted with rigor.

글레이저와 스트라우스의 입장을 맥락에 맞게 이해하려면 1960년대 미국 사회학과에서 어떤 일이 벌어지고 있었는지 자세히 알아두면 도움이 됩니다. 사회학과 인류학은 20세기에 접어들면서 학문이 시작될 때부터 질적 연구를 직접 수행해 온 오랜 역사를 가지고 있습니다. 그러나 1960년대에 이르러 양적 연구자들이 사회학의 주요 부서, 학술지, 연구 기관, 연구비 지원 기관을 장악하면서 질적 연구를 공격하고 소외시켰습니다. 그들은 소수의 재능 있는 스타만이 학계의 주목을 받을 만한 질적 연구를 수행할 수 있다고 믿었습니다. 글레이저와 스트라우스는 이러한 견해를 거부하고 질적 연구를 민주화했습니다. 그들은 근거 이론이 일반 연구자들에게 각자의 분야에서 견고한 이론을 구축할 수 있는 도구를 제공할 것이라고 약속했습니다. 
To place Glaser and Strauss’s position in context, it helps to know more about what was happening in US sociology departments of the 1960s. Sociology and anthropology have had long histories of first-hand qualitative research from the beginning of their disciplines at the turn of the 20th century. But by the 1960s, quantitative researchers had attacked and marginalized qualitative inquiry in sociology by gaining control over leading departments, journals, research institutes, and funding agencies. They believed only a few talented stars could produce qualitative studies worthy of academic attention. Glaser and Strauss rejected this view and democratized qualitative inquiry. They promised that grounded theory would give ordinary researchers the tools to construct solid theories in their respective areas.

글레이저와 스트라우스의 책(1967)은 여러 세대의 대학원생들에게 영감을 주었습니다. 이 책은 귀납적 질적 연구를 정당화했고 코딩과 메모 작성을 질적 탐구의 필수 전략으로 만들었습니다. 그러나 이론적 샘플링과 포화에 관심을 갖고 이론을 구성한 연구자는 거의 없었습니다. Strauss와 Corbin(1990, 1998)의 등장으로 연구자들에게 근거 이론을 수행하는 방법에 대한 지침을 제공한다고 주장하며 큰 인기를 끌었던 매뉴얼이 등장했습니다. 그러나 이들의 책은 Strauss(1959)의 초기 연구에서 보여준 개방적이고 유동적인 접근 방식과 뚜렷한 대조를 이루며 경직되고 규범적인 것으로 비춰졌습니다.각주2 Strauss와 Corbin의 매뉴얼은 Glaser(1978)의 정교한 방법론과도 차이가 있었으며, Glaser(1992)의 격렬한 반응과 유일한 '고전적' 근거 이론 방법을 가지고 있다고 공언한 것과도 차이가 있습니다. 
Glaser and Strauss’s (1967) book inspired generations of graduate students. The book legitimized inductive qualitative research and made coding and memo-writing integral strategies of qualitative inquiry. However, few researchers engaged in theoretical sampling and saturation and constructed theory. The appearance of Strauss and Corbin (1990, 1998) immensely popular manuals claimed to give researchers instructions about how to do grounded theory. However, their books came across as rigid and prescriptive in sharp contrast to the open-ended, fluid approach of Strauss’s (1959) earlier work, and evident in the Discovery book.Footnote2 Strauss and Corbin’s manuals also diverged from Glaser’s (1978) elaboration of the method, to Glaser’s (1992) furious response and avowals to have the only ‘classic’ grounded theory method.

아이러니하게도 초기의 근거 이론 연구자와 지지자들(예: Glaser 1978; Strauss와 Corbin 1990, 1998)은 이 방법을 데이터를 수집하고 분석하는 절차의 기계적인 적용으로 취급하는 경우가 많았습니다. 실증주의 인식론의 잔재는 글레이저와 스트라우스와 코빈의 텍스트에서도 분명하게 드러나는데, 그 이유는 아래와 같은 중립적인 관찰자를 전제로 하기 때문입니다. 

  • (1) 세심한 관찰을 통해 발견할 수 있는 외부 세계를 가정하고,
  • (2) 연구 과정으로부터 자신을 분리하고,
  • (3) 데이터에 대한 객관적인 시각을 형성하고,
  • (4) 연구 참여자와 연구 과정에 대한 그들의 대표성을 문제가 없는 것으로 간주한다. 

Perhaps ironically, early grounded theory researchers and proponents (e.g., Glaser 1978; Strauss and Corbin 1990, 1998) often treated the method as a mechanistic application of procedures to gather and analyze data. The residues of an epistemology of positivism are also evident in both Glaser’s and Strauss and Corbin’s texts because they presuppose neutral observers who

  • (1) assume an external world, which can be discovered by meticulous observation,
  • (2) separate themselves from the research process,
  • (3) form an objective view of the data, and
  • (4) treat their representation of research participants and the research process as unproblematic.

또한 글레이저는 소규모 표본을 옹호하고, 근거 이론을 모든 인식론(지식의 본질과 그에 대한 합리적 정당화에 대한 철학적 이론)과 함께 사용할 수 있다고 가정하며, 시간, 장소, 개인, 상황을 초월하는 검약한 이론적 일반화를 추구합니다. 그러나 인식론적 입장은 연구자가 데이터를 수집하는 방법과 이러한 데이터와 후속 분석에 대한 영향력을 인정할지 여부를 결정하기 때문에 중요합니다.
In addition, Glaser defends small samples, presumes that grounded theory can be used with any epistemology (a philosophical theory of the nature of knowledge and reasoned justifications for it) and pursues parsimonious theoretical generalizations that transcend time, place, individuals, and circumstances. Epistemological stances are, however, significant because they shape how researchers gather their data and whether they acknowledge their influence on these data and the subsequent analysis.

심리학자 헨우드와 피전(2003)은 17년 전에 근거 이론에 대해 오늘날에도 여전히 유효한 중요한 지적을 제기했습니다. 그들은 근거 이론을 하나의 단일 방법으로 보기보다는 질적 탐구에서 중요한 문제에 대해 토론할 수 있는 유용한 결절점으로 볼 수 있다고 주장했습니다. 근거 이론을 수행하는 방법을 설명하는 초기의 매뉴얼과 달리, Bryant(2017, 2019), Charmaz(2006, 2014), Corbin과 Strauss(2008, 2015), Thornberg와 Charmaz(2014)를 포함한 현대 버전의 방법론은 근거 이론에 유연하게 접근하고 보다 최근의 인식론을 채택하고 있습니다. 이러한 방법론자들은 다양한 현실을 인정하고, 다양한 관점을 추구하며, 연구 과정 전반에 걸쳐 비판적 분석에 참여하는 것을 지지합니다. 이 접근법은 아래와 같은 연구자에게 호소력을 발휘합니다.

  •  (1) 연구 과정 전반에 걸쳐 반성적으로 참여하고,
  • (2) 자신의 입장, 출발점, 연구 활동을 가능한 한 투명하게 하고자 하며,
  • (3) 연구에 참여하기 전에 해당 주제에 대한 이론적, 실체적 문헌을 읽되 이러한 문헌을 반드시 진실이나 최종 진술로 받아들이지 않고,
  • (4) 근거 이론을 포함한 모든 방법론적 접근은 인식론을 가정한다고 본다.

Psychologists Henwood and Pidgeon (2003) raised a crucial point 17 years ago about grounded theory that still holds today. They contended that rather than seeing grounded theory as a unitary method, we can view it as a useful nodal point around which we can debate significant issues in qualitative inquiry. Unlike earlier manuals describing how to do grounded theory, contemporary versions of the method including Bryant (2017, 2019), Charmaz (2006, 2014), Corbin and Strauss (2008, 2015), and Thornberg and Charmaz (2014) take a flexible approach to grounded theory and adopt more recent epistemologies. These methodologists subscribe to acknowledging multiple realities, seeking diverse perspectives, and engaging in critical analysis throughout the research process. This approach appeals to researchers who

  • (1) engage in reflexivity throughout the research process,
  • (2) aim to make their standpoints, starting points, and research actions as transparent as possible,
  • (3) read theoretical and substantive literatures on their topics before engaging in research, but do not necessarily take these literatures as true or final statements, and
  • (4) assume every methodological approach, including grounded theory, assumes an epistemology.

근거 이론에 대한 글레이저와 스트라우스의 주장은 1960년대에 혁명적이었습니다. 2007년에 케네스 게르겐(Kenneth Gergen)은 '사실에 대한 모든 지식은 경험에서 비롯되거나 그 검증을 위해 경험이 필요하다고 주장하는' 인식론적 접근 방식인 경험주의에 의존하기 때문에 Glaser와 Strauss(1967)의 근거 이론을 시대에 뒤떨어진 것passé 으로 일축했습니다(APA 심리학 사전). 게르겐은 모든 경험적 견해는 해석적이라고 지적했는데, 이는 21세기 대부분의 근거 이론가들이 공유하는 인식론적 관점입니다. 언어와 경험은 연구자가 세상을 보는 방식을 형성합니다. 이와는 대조적으로 Glaser(2013)는 여전히 데이터가 문제가 없다고 가정하고, 연구자가 이전의 개념, 관점 및 연구를 불러와 데이터를 분석할 때 선입견을 가져서는 안 된다고 주장합니다. 
Glaser and Strauss’s statement of grounded theory was revolutionary in the 1960s. By 2007, Kenneth Gergen (in Cisneros-Puebla 2007) dismissed Glaser and Strauss’s (1967) grounded theory as passé because of its reliance on empiricism, an epistemological approach ‘holding that all knowledge of matters of fact either arises from experience or requires experience for its validation’ (APA Dictionary of Psychology). Gergen pointed out that all empirical views are interpretive, an epistemological view most 21st century grounded theorists share. Language and experience shape how researchers see the world. In contrast, Glaser (2013) still assumes that data are unproblematic and insists researchers must not preconceive analyzing them by invoking earlier concepts, perspectives, and studies.

질적 연구와 심리학
Qualitative research and psychology

질적 연구의 품질에 대한 기준은 아직 명확하게 정립되지 않았습니다. 질적 연구에서 품질은 매우 중요하지만, 코빈의 말처럼 '질적 연구에 적합한 평가 기준이 무엇인지에 대한 합의가 거의 이루어지지 않고 있습니다'(코빈과 스트라우스 2015, 341). 이는 적어도 부분적으로는 다양한 존재론적, 인식론적 신념과 연구 이상에 뿌리를 둔 질적 연구 전통(예: 담화 분석, 민족지학, 현상학적 연구, 대화 분석)과 그 안의 다양성(예: 비판적 담화 분석, 해석적 현상학적 분석, 비판적 민족지학, 구성주의 근거 이론)으로 설명할 수 있습니다. 심리학자들은 이러한 다양한 질적 방법을 구독하고 그 발전에 기여해 왔습니다.  
Criteria about the quality in qualitative research remain unsettled. Although quality is crucial in qualitative research, there is, as Corbin states, ‘little consensus about what constitutes an appropriate set of evaluation criteria for qualitative research’ (Corbin and Strauss 2015, 341). This can, at least in part, be explained by the multiplicity of qualitative research traditions (e.g., discourse analysis, ethnography, phenomenological research, conversation analysis) and diversities within them (e.g., critical discourse analysis, interpretative phenomenological analysis, critical ethnography, constructivist grounded theory), rooted in various ontological and epistemological beliefs and research ideals. Psychologists have subscribed to this wide range of qualitative methods and contributed to their development.

질적 연구의 객관성, 타당성, 신뢰성 및 재현성에 대한 우려는 여전히 학문적 심리학에 만연해 있습니다. 최근의 한 예로, Anczyk 외(2019)는 질적 연구에서의 복제성을 주장합니다. Rubin, Bell, McCleland(2018)는 대학원 심리학 프로그램에 대한 혼합 방법 연구에서의 우려를 문서화했습니다. 이들은 오랫동안 심리학 분야에서 질적 연구에 대한 부정적인 시각이 존재해 왔다는 사실을 발견했습니다. 응답 프로그램 중 13%만이 질적 연구 과정을 요구한다고 보고했습니다. 1960년대 질적 연구에 대한 사회학적 비판을 반영하듯, 루빈 등의 응답자들은 "질적 연구는 '부정확하고', '주관적이며', '엄밀성이 결여된' 것으로 상상되거나 믿어졌다"(41페이지)고 말했습니다. 그러나 응답자들은 질적 연구가 '페미니즘, 커뮤니티 기반, 사회 정의 연구에 가장 적합한 방법'이라고 설명했습니다(43페이지). 이 점에 대해서는 비평가들이 옳습니다. 심리학자들은 이 분야에서 엄청난 공헌을 해왔으며, 이들 중 다수는 근거 이론을 사용합니다(예: Ayón 외. 2017; Faija 외. 2017; Gibson, 2016; Lee 2018; Scull, Mbonyingabo, Kotb 2016; Tsai, L. 2017; Tuason 2013 참조). 
Concerns about objectivity, validity, reliability and replicability in qualitative research still pervade academic psychology. In a recent example, Anczyk et al. (2019) plea for replication in qualitative research. Rubin, Bell, and McCleland (2018) document the above concerns in their mixed methods study of graduate psychology programs. They found negative judgments about qualitative inquiry that had long been evident in the discipline. They reported that only 13% of the responding programs required a course in qualitative research. Echoing sociological criticisms of qualitative studies in the 1960s, Rubin et al.’s respondents stated that “qualitative research was either imagined to be or believed to be ‘inaccurate,’ ‘subjective,’ and ‘lacking rigor’ (p. 41). However, the respondents described qualitative research as providing the ‘best methods for feminist, community-based, and social justice research’ (p. 43). The critics are correct on this point. Psychologists have made enormous contributions in these areas, and many of them use grounded theory (see, for example, Ayón et al. 2017; Faija et al. 2017; Gibson, 2016; Lee 2018; Scull, Mbonyingabo, and Kotb 2016; Tsai, L. 2017; Tuason 2013).

그러나 비평가들은 질적 연구를 수행하는 심리학자들의 기여에 대한 다른 중요한 고려 사항을 무시하는 것 같습니다.

  • 질적 심리학자들은 다양한 문제를 연구하며 의학 및 정신의학, 교육, 종교, 민족 및 젠더 연구, 비즈니스 등 다양한 프로그램에 소속되어 있습니다.
  • 질적 심리학자들의 위치와 다양한 출판 매체는 연구의 질과 기여의 범위를 가릴 수 있습니다(예: Bronk 2012; Mazzone 외. 2018; Tsai, Seballos-Llena, Castellano-Datta 2017; Wójcik 2018).
  • 또한 질적 심리학자들은 종종 다학제적 팀의 전문 분야에서 일하기도 합니다(예: Khankeh 외. 2015).각주3
  • 또한 심리학자가 심리학 프로그램에 고용되지는 않더라도 여러 분야의 전문 지식을 보유하는 것은 드문 일이 아닙니다.각주4 

Yet critics appear to ignore other important considerations about the contributions of psychologists who conduct qualitative research.

  • Qualitative psychologists study an amazing array of problems and are affiliated with a wide range of programs, including those in medicine and psychiatry, education, religion, ethnic and gender studies, and business, to name a few.
  • Their locations and diverse publication outlets may mask both the quality of their research and the scope of their contributions (e.g. Bronk 2012; Mazzone et al. 2018; Tsai, Seballos-Llena, and Castellano-Datta 2017; Wójcik 2018).
  • Also, qualitative psychologists often work in specialized areas on multidisciplinary teams (e.g. Khankeh et al. 2015).Footnote3 
  • Furthermore, it is not unusual for psychologists to hold multi-disciplinary expertise, although they may not be employed in psychology programs.Footnote4

1960년대와 마찬가지로 일반적으로 질적 연구도, 특히 근거 이론도 양적 연구에 기반한 질적 판단에 적합하지 않습니다. 우리는 가치 있는 주제, 풍부한 엄격성, 성실성, 신뢰성, 공명, 유의미한 기여, 윤리성, 의미 있는 일관성(837쪽)이라는 Tracy(2010)의 질적 연구의 '빅 텐트' 지표에 동의합니다. 그러나 연구 실무에서 이러한 용어가 의미하는 바는 연구자마다 다를 수 있습니다. 그럼에도 불구하고 근거 이론가들은 연구자들이 철저한 연구를 수행할 때 이러한 질적 지표를 충족할 수 있습니다. 점점 더 많은 연구자들이 질적 연구의 품질 기준으로 투명성과 반성성을 요구하고 있습니다(예: Treharne and Riggs 2014). 
As in the 1960s, neither qualitative research, in general, nor grounded theory, in particular, fit judgments of quality based on quantitative research. We agree with Tracy’s (2010) ‘big tent’ markers of quality in qualitative research: a worthy topic, rich rigor, sincerity, credibility, resonance, significant contribution, ethics, and meaningful coherence (p. 837). However, what these terms mean in research practice may differ among researchers. Nonetheless, grounded theorists can meet these markers of quality when researchers conduct thorough studies. Increasingly, researchers ask for transparency and reflexivity as criteria of quality in qualitative research (e.g. Treharne and Riggs 2014).

다양한 버전의 근거 이론의 품질 기준
Quality criteria in various versions of grounded theory

근거 이론은 그 고유한 특성으로 인해 품질을 평가하기 위한 자체 기준이 필요하지만(참조: Berthelsen, Grimshaw-Aagaard, Hansen 2018; Chiovitti와 Piran 2003; Elliott와 Lazenbatt 2005; Hutchison, Johnston, Breckon 2011), 근거 이론가는 인터뷰, 현장조사 등의 품질을 보장하기 위한 데이터 수집 방법 사용에 관한 보다 일반적인 지침에서 벗어날 수 없습니다. 특히 데이터와 근거에 중점을 둔다는 점에서 '쓰레기 투입, 쓰레기 배출'의 원칙은 근거 이론에 매우 유용하게 적용될 수 있습니다. 근거 이론의 품질을 평가하는 기준은 어떤 버전의 근거 이론이 문제가 되는지에 따라 달라질 수 있습니다. 가장 초창기이지만 덜 발전된 이론인 Glaser와 Strauss(1967)는 신뢰성적용 가능성에 중점을 두었습니다.

  • 이들은 신뢰성을 실제 현장을 면밀히 연구하고 분석하여 데이터에 대한 체계적인 지식을 습득한 연구자 자신의 지식에 대한 확신과 연결시켰습니다. 글레이저와 스트라우스는 신뢰성을 판단하는 몇 가지 기준을 제시했습니다.
    • (1) 독자가 현장에 있는 듯한 느낌을 받을 수 있도록 데이터에 대한 상세하고 생생한 설명,
    • (2) 연구자가 어떻게 결론에 도달했는지에 대한 독자의 평가(데이터는 무엇이며 어떻게 수집하고 분석했는가),
    • (3) 이론의 범위와 일반성을 높이고 새로운 이론을 다양한 상황에 맞게 수정하고 조정하기 위한 여러 비교 그룹.
  • 적용 가능성은 일반화 가능성과 연결될 수 있으며(참조, Larsson 2009), Glaser와 Strauss(1967)는 상호 관련된 네 가지 기준을 제안했습니다:
    • (1) 적합성: '이론은 그것이 적용될 실질적인 영역에 적합해야 한다'(238쪽)는 것으로, 이들은 이론이 연구 대상인 데이터에 적합해야 한다고 강조했습니다.
    • (2) 이해: 이론은 해당 실체적 영역에서 일하거나 생활하는 비연구자들도 이해할 수 있어야 합니다.
    • (3) 일반성: 이론은 적용 가능성을 높이기 위해 충분히 일반적이어야 합니다. '범주는 민감성을 잃을 정도로 추상적이어서는 안 되지만, ... 이론이 다조건적이고 끊임없이 변화하는 일상 상황에 대한 일반적인 지침이 될 수 있을 정도로 추상적이어야 합니다'(242페이지).
    • (4) 통제: 이론은 사용자가 사회적 현실을 이해하고 분석하는 데 도움을 주며, 상황에서 무슨 일이 일어나고 있는지, 어떻게 변화를 가져올 수 있는지에 대한 충분한 설명력을 포함해야 합니다.

Grounded theory needs its own set of criteria for evaluating quality due to its unique features (cf., Berthelsen, Grimshaw-Aagaard, and Hansen 2018; Chiovitti and Piran 2003; Elliott and Lazenbatt 2005; Hutchison, Johnston, and Breckon 2011), although grounded theorists cannot escape more general guidelines concerning their use of data gathering methods to ensure quality in doing interviews, fieldwork etc. The principle of ‘garbage in, garbage out’ is very much applicable to grounded theory, particularly considering its emphasis on data and groundedness. Criteria for evaluating quality in grounded theory can vary due to which version of grounded theory is of concern. In the original but less developed one, Glaser and Strauss (1967) focused on credibility and applicability.

  • They connected credibility to researchers’ confidence in their own knowledgeability based on carefully studying and analyzing the actual field, and gaining systematic knowledge of the data. Glaser and Strauss suggested a few criteria for judging credibility:
    • (1) a detailed and vivid description of data so the readers feel that they have been in the field as well, and literally can hear and see the participants;
    • (2) readers’ assessments of how the researchers came to their conclusions (what are the data and how have they been gathered and analyzed?); and
    • (3) multiple comparison groups to increase the scope and generality of the theory, and to correct and adjust the emerging theory to diverse conditions. 
  • Applicability, in turn, can be connected to generalizability (cf., Larsson 2009), and Glaser and Strauss (1967) proposed four interrelated criteria:
    • (1) Fitness: The ‘theory must fit the substantive area to which it will be applied’ (p. 238), and they emphasized that the theory needs to fit the data under study.
    • (2) Understanding: The theory should make sense and be understandable to non-researchers working or living in the substantive area.
    • (3) Generality: The theory needs to be sufficiently general to increase its applicability – ‘categories should not be so abstract as to lose their sensitizing aspect, but yet must be abstract enough to make … theory a general guide to multi-conditional, ever-changing daily situations’ (p. 242).
    • (4) Control: The theory should help the users to understand and analyze their social reality, to include enough explanatory power on what is going on in situations and how to bring about change in them.

근거이론을 더욱 발전시킨 Glaser(1978, 1998)는 품질을 판단하는 네 가지 기준을 제시했습니다:

  • (1) 실행가능성: 이론이 연구의 실질적인 영역에서 관련 행동을 설명하는 데 효과가 있는가?
  • (2) 관련성: 실제 분야의 사람들과 관련성이 있는가?
  • (3) 적합성: 이론이 실체적 영역에 적합한가? 이론과 그 범주가 데이터에 맞아야 합니다.
  • (4) 수정가능성: 새로운 데이터가 등장할 때 이론을 쉽게 수정할 수 있는가?

근거 이론을 개발할 때 Strauss와 Corbin(1990; Corbin과 Strauss 1990; Strauss와 Corbin 1998)은 네 가지 일반적인 기준을 강조했습니다:

  • (1) 데이터의 질, 즉 근거이론가는 데이터의 신뢰성과 신뢰성을 확보하기 위해 데이터 수집에 사용된 방법과 관련된 질적 기준을 신중하게 다루고 채택해야 하며,
  • (2) 이론 자체의 타당성과 가치,
  • (3) 연구 과정의 적절성(표본 추출 절차, 이론적 표본 추출, 코딩, 범주화, 가설 또는 범주 간 개념 관계 개발, 이론을 개발하는 핵심 범주 선정),
  • (4) 이론의 경험적 근거에 대한 문제 등이 있습니다.

이 두 가지 기준의 평가를 위한 체크리스트와 지침에 대한 포괄적인 설명은 Strauss와 Corbin(1990; Corbin과 Strauss 1990; Strauss와 Corbin 1998)에서 제공합니다.

In his further development of grounded Glaser (1978, 1998) suggested four criteria in judging quality:

  • (1) Workability: Does the theory work to explain relevant behavior in the substantive area of the study?
  • (2) Relevance: Does it have relevance to the people in the substantive field?
  • (3) Fit: Does the theory fit the substantive area? The theory and its categories must fit the data.
  • (4) Modifiability: Is the theory readily modifiable as new data emerge?

In their development of grounded theory, Strauss and Corbin (1990; Corbin and Strauss 1990; Strauss and Corbin 1998) emphasized four general criteria:

  • (1) quality of the data, in other words, grounded theorists need to carefully address and adopt quality criteria related to methods used for data gathering to secure credibility and trustworthiness of data;
  • (2) the plausibility and value of the theory itself;
  • (3) adequacy of the research process (sampling procedures, theoretical sampling, coding, categorization, development of hypotheses or conceptual relations between categories, and selection of core category through which the theory is developed); and
  • (4) the issue of the empirical grounding of the theory. A comprehensive description of checklists and guidelines for evaluation of the two later criteria is offered by Strauss and Corbin (1990; Corbin and Strauss 1990; Strauss and Corbin 1998).

스트라우스와 코빈에 따르면, 연구의 경험적 근거와 관련하여 질문해야 할 사항은 다음과 같습니다: 

  • (1) 개념이 생성되었는가?
  • (2) 개념이 체계적으로 관련되어 있는가?
  • (3) 개념적 연결이 많으며 범주가 잘 발달되어 있는가? 범주에 개념 밀도가 있는가?
  • (4) 이론에 변이가 내재되어 있는가? 개념이 광범위한 조건에서 검토되었으며 여러 차원을 제공하는가?
  • (5) 변이를 발견할 수 있는 조건이 연구에 내장되어 있고 설명되어 있는가?
  • (6) 프로세스를 고려하고 식별했는가?
  • (7) 이론적 발견이 중요해 보이는가, 그 정도는 어느 정도인가?
  • (8) 이론이 시간의 시험을 견뎌내고 관련 사회 및 전문가 그룹 간에 교환되는 토론과 아이디어의 일부가 되는가? (자세한 내용은 스트라우스와 코빈 1998, 270-272쪽 참조).

According to Strauss and Corbin, questions to ask regarding empirical grounding of the study are:

  • (1) Are concepts generated?
  • (2) Are the concepts systematically related?
  • (3) Are there many conceptual linkages, and are the categories well developed? Do categories have conceptual density?
  • (4) Is variation built into the theory? Have the concepts been examined under a broad range of conditions and do they offer several dimensions?
  • (5) Are the conditions under which variation can be found built into the study and explained?
  • (6) Has process been considered and identified?
  • (7) Do the theoretical findings seem significant, and to what extent?
  • (8) Does the theory stand the test of time and become part of the discussions and ideas exchanged among relevant social and professional groups? (For further reading, see Strauss and Corbin 1998, pp. 270–272.)

이후 판(Corbin과 Strauss 2008, 2015)에서 Corbin은 질적 연구의 질에 대한 보다 일반적인 기준을 추가하기도 했습니다.

  • 방법론적 일관성, 
  • 목적의 명확성, 
  • 자기 인식, 
  • 질적 연구 수행 방법에 대한 훈련, 
  • 참여자와 데이터에 대한 민감성, 
  • 열심히 일하려는 의지, 
  • 창의적 자아와 연결되는 능력, 
  • 방법론적 인식, 
  • 연구에 대한 강한 열망

In later editions (Corbin and Strauss 2008, 2015), Corbin also added more general criteria of quality in qualitative research:

  • methodological consistency,
  • clarity of the purpose,
  • self-awareness,
  • training in how to conduct qualitative research,
  • sensitivity to participants and data,
  • willingness to work hard,
  • ability to connect with the creative self,
  • methodological awareness, and
  • strong desire to do research.

원래의 근거 이론(Glaser와 스트라우스 1967), 글레이저 근거 이론(Glaser 1978, 1998), 스트라우시안 근거 이론(스트라우스와 코빈 1990, 1998)에서는 설명력(즉, 설명하고 예측하는 힘)이 구성된 이론의 중요한 품질 기준이라는 점에 유의하세요. 이러한 근거 이론의 접근 방식은 Charmaz(2006, 2014)가 말하는 이론의 실증주의적 정의(즉 원인을 찾고 설명력, 예측력, 일반성 및 보편성을 강조하는 것)을 공유합니다.
Note that in the original grounded theory (Glaser and Strauss 1967), Glaserian grounded theory (Glaser 1978, 1998) and Straussian grounded theory (Strauss and Corbin 1990, 1998), explanatory power (i.e., the power to explain and predict) is a significant quality criterion of the constructed theory. These approaches of grounded theory share what Charmaz (2006, 2014) terms as positivist definitions of theory: theories that seek causes, and stress explanation, prediction, generality, and universality.

근거 이론에 대한 구성주의적 관점에서 Charmaz(2006, 2014)는 이러한 이론 정의를 '해석을 강조하고 설명보다 추상적 이해를 더 우선시하는'(Charmaz 2014, 230) 이론의 해석적 정의와 대조합니다. 이러한 이론은 의미와 행위, 그리고 사람들이 그것을 구성하는 방식을 이해하는 것을 목표로 하며, '행위자의 주관성을 끌어들이고, 연구자의 주관성을 인정할 수 있다'(231쪽). 이들은 사회적, 역사적, 지역적, 상호 작용적 맥락에 위치situated합니다. 
From a constructivist view of grounded theory, Charmaz (2006, 2014) contrasts such definitions of theory with interpretive definitions of theory, in which theory ‘emphasizes interpretation and gives abstract understanding greater priority than explanation’ (Charmaz 2014, 230). Such theories aim to understand meanings and actions and how people construct them, and they ‘bring in the subjectivity of the actor and may recognize the subjectivity of the researcher’ (p. 231). They are situated in their social, historical, local, and interactional contexts.

따라서 [근거 이론의 서로 다른 버전] 간에 [서로 다른 인식론, 이상, 목표 등]이 [근거 이론의 품질을 평가하고 근거 이론의 품질 기준을 논의]할 때 고려되어야 합니다(글라제리안, 스트라우시안, 구성주의 근거 이론 접근법 간의 유사점과 차이점에 대한 개요는 Berthelsen, Grimshaw-Aagaard, Hansen 2018 참조); 인식론과 품질 기준 사이의 연관성에 대한 자세한 논의는 Healy 와 Perry 2000, Lincoln, Lynham, Guba 2018, Lützhöft, Nyce, Petersen 2010, Santiago-Deleofosse et al. 2015).
Thus, different epistemologies, ideals, aims etc. between different versions of grounded theory have to be considered when evaluating quality and discussing quality criteria for grounded theory (for overviews of similarities and differences between Glaserian, Straussian and constructivist grounded theory approaches, see Berthelsen, Grimshaw-Aagaard, and Hansen 2018; Thornberg 2017; for further discussions about the link between epistemology and quality criteria, see for example; Healy and Perry 2000; Lincoln, Lynham, and Guba 2018; Lützhöft, Nyce, and Petersen 2010; Santiago-Deleofosse et al. 2015).

구성주의적 근거 이론 내에서 Charmaz(2006, 2014)는 근거 이론 연구에 대한 네 가지 주요 기준, 즉 신뢰성, 독창성, 공명, 유용성을 제안합니다.

  • 신뢰성은 데이터에 대한 예리한 질문을 할 수 있는 충분한 관련 데이터를 확보하고, 연구 과정 전반에 걸쳐 체계적으로 비교하고, 철저한 분석을 개발하는 것에서 시작됩니다. 논란의 여지가 많은 주제 및/또는 분석일수록 연구자는 회의적인 청중을 설득하기 위해 더 많은 데이터가 필요합니다.

Within a constructivist grounded theory, Charmaz (2006, 2014) proposes four main criteria for grounded theory studies: credibility, originality, resonance, and usefulness. 

  • Credibility begins with having sufficient relevant data for asking incisive questions about the data, making systematic comparisons throughout the research process, and developing a thorough analysis. The more controversial the topic and/or analysis is, the more data the researcher needs to persuade skeptical audiences.

신뢰성에는 연구자의 견해와 행동도 포함됩니다. 구성주의적 근거 이론은 연구 과정 전반에 걸쳐 강력한 반성성을 요구합니다. 즉, 연구자는 당연하게 받아들여지는 가정을 설명해야 하며, 이를 위해서는 숨겨진 신념이 연구 과정에 어떻게 개입할 수 있는지에 대한 '방법론적 자의식'(Charmaz 2017)을 가져야 합니다. 브라질에서 현장 조사를 하던 중 엘리자베스 호지-프리먼(Elizabeth Hordge-Freeman)은 우연히 백인 가정에서 입양된 흑인 딸인 필하스 데 크리아시온의 곤경을 발견했습니다(Charmaz 2020, 168-169쪽). 호지-프리먼은 이렇게 썼습니다:
Credibility also involves the researcher’s views and actions. Constructivist grounded theory requires strong reflexivity throughout the research process. This means researchers must explicate their taken-for-granted assumptions, which requires gaining ‘methodological self-consciousness’ (Charmaz 2017) of how hidden beliefs can enter the research process. During her fieldwork in Brazil, Elizabeth Hordge-Freeman (in Charmaz 2020, pp. 168–169) accidentally discovered the plight of black adopted daughters, filhas de criação, in white families. Hordge-Freeman writes:

한 여성이 입양 가정에서 바닥에서 잠을 자고 있고 다른 여러 여성이 40년 넘게 입양 가정에서 무급으로 일하고 있다는 사실을 알게 되었을 때, 저는 이러한 불의에 대한 분노에 휩싸였습니다. 비판적 연구자로서 초기 충동은 이러한 '괴물 같은' 가족을 폭로하여 정의를 실현하고 싶다는 것이었지만, 데이터에 대한 해석을 면밀히 검토하고 지속적인 성찰을 강조하는 구성주의적 근거 이론의 감성은 아주 일찍부터 데이터를 더 미묘한 방식으로 분석하고 감정적 반응까지 조사하도록 저를 설득했습니다. 그렇게 하면서 저는 이 불의를 '바로잡고' 인터뷰 대상자들을 자유롭게 하려는 저의 탐구가 제가 백인 초국적 연구자들을 비판했던 구세주 콤플렉스와 매우 유사하게 들린다는 것을 깨달았습니다. 결국 저는 구성주의적 근거 이론을 사용하여 구조적, 정서적 제약이 신생아의 삶을 어떻게 형성하는지 더 잘 이해할 수 있는 데이터를 수집할 수 있도록 질문의 방향을 바꾸고, 인터뷰 대상자의 해석이 진지하게 받아들여질 수 있도록 반성적 태도를 사용하기로 결정했습니다. 
When I discovered that one woman was sleeping on the floor in their family’s home and several others had been working for no pay in adoptive families for over 40 years, I was overwhelmed with a sense of anger over this injustice. As a critical researcher, my initial impulse was a desire to mete out justice by exposing these ‘monstrous’ families; however, very early on the sensibilities of constructivist grounded theory with its emphasis on scrutinizing our interpretations of data and engaging in sustained reflexivity persuaded me to analyze the data in more nuanced ways and to even interrogate my affective responses. By doing so, I realized that my quest to ‘right’ this injustice and free the interviewees sounded eeringly similar to the savior complex for which I had critiqued white transnational researchers. Ultimately, using constructivist grounded theory, I re-directed my questions to be able to collect data that provided me a greater understanding of how structural and affective constraints shape
 filhas de criação lives and used reflexivity to ensure that my interviewees’ interpretations were taken seriously.

호지-프리먼의 진술은 구성주의 근거 이론에서 가장 옹호하는 강력한 반사성의 유형을 나타냅니다. 방법론적 자의식의 근간을 이루는 강한 반성성(Charmaz 2017)은 연구자의 방법론적 결정을 검토하는 것 이상의 의미를 갖습니다. 연구자가 누구인지 면밀히 검토하는 개방성을 의미합니다. 
Hordge-Freeman’s statement represents the type of strong reflexivity most advocated in constructivist grounded theory. The strong reflexivity undergirding methodological self-consciousness (Charmaz 2017) means more than examining the researcher's methodological decisions. It means openness to scrutinizing who the researcher is.

독창성다양한 형태로 나타날 수 있습니다. 

  • 새로운 통찰력 제공,
  • 인식된 문제에 대한 새로운 개념화,
  • 분석의 중요성 확립 등 

공명은 연구자가 연구 참여자의 경험을 대표할 뿐만 아니라, 다른 사람들에게도 통찰력을 제공하는 개념을 구성했음을 보여줍니다. 공감을 얻으려면 연구자는 데이터 수집 전략을 참가자의 경험을 조명하는 데 맞춰야 합니다.

  • 제니퍼 로이스(2010)는 홈스쿨링 엄마들에 대한 자신의 질문이 질이 아닌 시간의 양에 초점을 맞추고 있다는 사실을 깨닫고 새로운 관점에서 엄마들의 이야기를 듣고 질문을 수정함으로써 공감을 얻었습니다. 이후 '순서대로: 향수를 불러일으키고 후회를 예상하기'(434쪽)와 '음미하기: 현재에 머무르며 양질의 시간을 만들기'(437쪽)라는 코드를 통해 엄마들의 행동을 이해할 뿐만 아니라 시간적 감정의 개념을 구성할 수 있게 되었습니다. 그녀는 후회나 희망과 같은 현재의 특정 감정이 현재에서 과거 또는 미래로 시간대를 넘나들어야만 느낄 수 있다는 사실을 밝혀냈습니다. 로이즈는 사람들이 시간적 감정을 다루는 방식이 시간이 지남에 따라 자아의 상대적 연속성에 영향을 미친다는 이론을 세웁니다.

Originality can take varied forms such as

  • offering new insights,
  • providing a fresh conceptualization of a recognized problem, and
  • establishing the significance of the analysis. 

Resonance demonstrates that the researchers have constructed concepts that not only represent their research participants’ experience, but also provide insight to others. To gain resonance, researchers must fit their data-gathering strategies to illuminate their participants’ experience.

  • Once Jennifer Lois (2010) realized her questions of homeschooling mothers focused on quantity of time instead of quality, she gained resonance by hearing their stories from a new standpoint and revising her questions. Her subsequent codes: ‘Sequencing: eliciting nostalgia and anticipating regret,’ (p. 434) and ‘Savoring: staying present and creating quality time’ (p. 437) not only led her to understand these mothers’ actions but also to construct the concept of temporal emotions. She reveals how certain present feelings like regret or hope can only be felt by crossing timeframes from the present to the past or future. Lois theorizes that how people handle temporal emotions influences their relative continuity of self over time.

유용성은 아래와 같은 것 등입니다.

  • 연구 참여자의 일상 생활에 대한 이해를 명확히 하고,
  • 정책 및 실무 적용을 위한 기반을 형성하며,
  • 새로운 연구 라인을 만드는 데 기여하고,
  • 만연한 과정과 관행을 밝히는 데 기여하는 

그레고리 해들리(Gregory Hadley, Charmaz 2020, 168쪽)는 병원에서의 죽음과 임종에 대한 글레이저와 스트라우스의 분석의 유용성에 대해 설명합니다.

Usefulness includes

  • clarifying research participants’ understanding of their everyday lives,
  • forming a foundation for policy and practice applications,
  • contributing to creating new lines of research, as well as
  • revealing pervasive processes and practices.

Gregory Hadley (in Charmaz 2020, 168) describes the usefulness of Glaser and Strauss’s analysis of death and dying in hospitals.

예를 들어, 글레이저가 스트라우스와 함께 쓴 저서 "죽어감에 대한 인식"은 장인어른이 말기 암으로 투병 중이던 시기에 일본 병원에서 '무슨 일이 일어나고 있었는지'에 대한 많은 의미를 밝혀주었습니다. 이 근거 이론이 반세기 후 수천 마일 떨어진 문화권에서도 빛을 발할 수 있었다는 것은 글레이저와 스트라우스가 고전적 근거 이론을 사용한 천재성을 입증하는 증거입니다.
Glaser’s work with Strauss in his book, “An Awareness of Dying”, for example, unlocked much of the meaning of what was “going on” in a Japanese hospital during the time when my father-in-law was on the trajectory of terminal cancer. That this grounded theory could have salience a half century later in a culture thousands of miles away is a testament to the genius behind what Glaser and Strauss did using Classical Grounded Theory.

이 사례에서 글레이저와 스트라우스의 광범위한 연구는 그들이 어떻게 유용한 수준의 일반성을 달성했는지 보여줍니다. 구성주의적 근거 이론을 사용하여 스노우와 모스(2014)는 행동과 감정을 형성하는 조건을 포함하여 겉으로 보기에 자발적인 집단 행동이 발생하는 조건을 설명합니다. 이러한 조건에 대한 민감성은 사회 운동 주최자가 군중을 동원하는 데 도움이 될 수 있습니다. 
In this case, Glaser and Strauss’s extensive research shows how they achieved a useful level of generality. Using constructivist grounded theory, Snow and Moss (2014) delineate the conditions, including those shaping behavior and emotions, in which seemingly spontaneous collective action arises. Sensitivity to these conditions can assist social movement organizers in mobilizing crowds.

이중 희생: 근거 이론에 기반한 새로운 개념 개발의 사례
Double victimizing: an example of developing a new concept with grounded theory

구성주의적 근거 이론 연구인 Thornberg 외(2013)는 학교 괴롭힘의 피해자였던 개인이 괴롭힘 경험을 어떻게 인식하는지, 그리고 이러한 경험이 자신에게 어떤 영향을 미쳤는지 조사했습니다. 이 프로젝트는 스웨덴의 3개 중등학교와 2개 대학교에 재학 중인 학생들에게 523개의 개방형 설문지를 배포하는 것으로 시작되었습니다. 설문지에는 괴롭힘에 대한 과거 경험과 괴롭힘에 대한 인터뷰를 받을 의향이 있는지에 대해 질문했습니다. 511명의 응답자 중 168명의 학생이 과거에 괴롭힘을 당한 적이 있다고 답했으며 36명이 인터뷰에 응했습니다. 연구진은 1년 이상 괴롭힘을 당한 학생 21명을 대상으로 인터뷰를 진행했습니다. 모든 인터뷰를 진행한 할딘, 볼름스요, 피터슨은 질적 인터뷰에 대한 교육과 훈련을 받았습니다. 편안하고 사적이며 조용한 면담 환경 조성, 면담 대상자와의 친밀감 형성 및 강조, 관심 있는 학습자의 역할 수행, 적극적인 경청, 개방형 질문 사용 및 선행 질문 피하기, 프로빙, 비판적 접근법 채택 등 문헌에서 제시하는 질적 기준이 이들의 면담을 이끌었습니다(예: King & Horrocks, 2010; Kvale & Brinkmann, 2009; Seidman, 2006). 
In their constructivist grounded theory study, Thornberg et al. (2013) examined how individuals, who had been victims of school bullying, perceived their bullying experiences, and how these had affected them. The project began with distributing 523 open-ended questionnaires to students in three secondary schools and two universities in Sweden. The questionnaire asked about their past experiences with bullying and their willingness to be interviewed about it. Of 511 responses, 168 students reported having been bullied in the past and 36 volunteered to be interviewed. The researchers interviewed the 21 students who had been bullied for more than one year. Halldin, Bolmsjö and Petersson, who conducted all the interviews, were instructed and trained in qualitative interviewing. Quality criteria from the literature guided their interviewing, such as establishing a comfortable, private, and quiet interview setting building rapport and emphasizing with the interviewee; taking the role of an interested learner; active listening; using open-ended questions and avoiding leading questions; probing; and adopting a non-judgmental approach (e.g., King & Horrocks, 2010; Kvale & Brinkmann, 2009; Seidman, 2006).

구성주의 근거 이론(Charmaz 2014)에서 인터뷰는 현실을 반영하려는 노력이 아니라, 인터뷰 대상자의 경험과 관점에 대한 상호 탐색을 통해 발생하는 상호 작용으로 간주됩니다. 따라서 [인터뷰어의 접근 방식과 질문 방식, 인터뷰 대상자가 말하는 것을 경청하고 후속 조치를 취하는 것]은 데이터의 공동 구성과 품질에 매우 중요합니다. 질적 인터뷰 문헌에 기반한 이러한 접근 방식은 Thornberg 등(2013)이 생생하고 풍부하며 포괄적인 데이터를 수집하는 데 도움이 되었습니다. 이들은 근거 이론에 따라 데이터 수집과 분석(반복적 과정) 사이를 오갔습니다. 이 접근 방식에는 네 가지 장점이 있습니다.

  • (1) 피상적이고 무작위적인 방식으로 데이터를 수집하거나,
  • (2) 분석되지 않은 방대한 양의 데이터로 인해 압도감을 느끼거나,
  • (3) 오랜 기간 동안 집중하지 못하거나,
  • (4) 참가자의 견해나 주식 규율 범주를 무비판적으로 채택하는 것을 방지할 수 있었습니다. 

In constructivist grounded theory (Charmaz 2014), interviewing is not considered as efforts to mirror reality but as emergent interactions through a mutual exploration of the interviewee’s experiences and perspectives. Therefore, the interviewer’s approach and way of asking questions, listening and following up what the interviewee is telling are crucial in the co-construction and quality of data. Such an approach, based on the qualitative interview literature, helped Thornberg et al. (2013) to gather vivid, rich, and comprehensive data. In accordance with grounded theory, they moved back and forth between gathering and analyzing data (iterative process). This approach has four advantages. It prevented them from

  • (1) gathering data in a superficial and random way;
  • (2) feeling overwhelmed due to a huge amount of unanalyzed data;
  • (3) being unfocused for lengthy periods; and
  • (4) uncritically adopting the participants’ view or stock disciplinary categories.

Thornberg 등(2013)은 데이터와 데이터, 데이터와 코드, 코드와 코드를 비교하는 초기 코딩을 통해 데이터에 맞는 코드를 구성하고, 데이터에서 무슨 일이 일어나고 있다고 해석하는지에 대해 열린 자세를 유지하며 탐구하는 과정을 계속했습니다. 잠정적인 초기 코드는 서로, 그리고 데이터와 주의 깊게 비교하고 유사점과 차이점에 따라 더욱 정교하게 그룹화하여 더 적지만 더 집중적이고 포괄적인 코드로 이어졌습니다. 반복적인 과정과 코딩, 지속적인 비교를 통해 구축된 초점 코드는 데이터와 밀접하게 일치했습니다. 예를 들어, '자기 억제'라는 초점 코드는 '눈에 띄지 않으려고 노력함', '사회적 두려움으로 소극적이 됨', '자신을 낮춤', '사회적 투명성이 괴롭힘을 방지한다고 믿음', '자아의 사회적 존재감을 억제함', '침묵함'과 같은 초기 코드에 뿌리를 두고 있었습니다. 또 다른 초점 코드인 '자기 의심'은 표 1과 2에 표시된 것처럼 '불안해짐', '무가치함을 느끼기', '자신감 상실', '괴롭힘으로 인해 자신감이 떨어짐'과 같은 초기 코드에 뿌리를 두고 있습니다.

Thornberg et al. (2013) constructed codes that fit the data by engaging in initial coding, in which they compared data with data, data with codes, and codes with codes, and stayed close to and remained open to exploring what they interpreted was happening in the data. The provisional, initial codes were carefully compared with each other and with data, further elaborated and grouped together based on similarities and differences, leading to fewer but more focused and comprehensive codes. As a result of the iterative process, coding and constant comparison, their constructed focused codes fit tightly with their data. For example, the focused code ‘self-inhibiting’ had its roots in initial codes like ‘trying to not stand out’, ‘becoming passive out of social fear’, ‘keeping oneself down’, ‘believing social invisibility prevents bullying’, ‘inhibiting the social presence of self’, and ‘becoming silent’. Another focused code, ‘self-doubting’, had its roots in initial codes like ‘becoming insecure’, ‘feeling self-worthlessness’, ‘loss of self-confidence’, and ‘getting bad self-confidence from being bullied’, as indicated in Tables 1 and 2.

 

쏜버그와 동료들이 집중 코딩을 하는 동안 데이터 수집 및 분석에 대한 비교 접근법(2013)에는 이론적 샘플링이 반복적 프로세스의 중요한 부분으로 포함되었으며, 이는 이후 인터뷰를 안내하고 새로운 범주를 작성하는 데 도움이 되었습니다. Charmaz(2014)가 언급했듯이, 이들의 초점 코딩은 이후 분석을 위한 프레임의 기초를 제공했습니다. 그러나 이러한 초점 코드를 최종 프레임으로 사용하기보다는 Thornberg 등(2013)은 학교 괴롭힘의 피해자가 되고 그로부터 자신을 구출하는 과정에 대한 분석을 개발했습니다(Charmaz 2014, 141). 
Thornberg and colleagues’ comparative approach to data collection and analysis (2013) during their focused coding included theoretical sampling as a prominent part of the iterative process, which guided their later interviews and helped them to fill out emerging categories. As noted by Charmaz (2014), their focused codes provided the makings of a frame for the later analysis. ‘Rather than using these focused codes as the final frame, however, Thornberg et al. (2013) developed an analysis of processes involved in becoming a victim of school bullying and in extricating self from it’ (Charmaz 2014, 141).

집중 코딩, 이론적 코딩, 지속적인 비교, 메모 작성 및 이론적 샘플링의 근거 이론 방법을 통해 Thornberg 등(2013)은 '자기 억제', '자기 고립', '감정 끄기'와 같은 집중 코드를 통합하여 '자기 보호'라는 범주로 개발하여 이 범주를 구성하는 이전의 집중 코드를 다른 자기 보호 전략을 나타내는 하위 범주로 포함시켰습니다. 다른 초점 코드 그룹은 '어울리지 못한다는 느낌', '자책' 등 보다 포괄적인 다른 범주로 병합되었습니다. [풍부한 데이터의 공동 구성, 지속적인 비교, 집중 코딩, 이론적 코딩, 메모 작성 및 이론적 샘플링] 간의 상호 작용은 데이터에 고정된 일련의 개념적 범주를 개발하는 데 매우 중요했습니다.
Grounded theory methods of focused coding, theoretical coding, constant comparison, memo-writing and theoretical sampling guided Thornberg et al. (2013) to merge focused codes such as ‘self-inhibition’, ‘self-isolation’, and ‘turning off emotions’ into an even more comprehensive focused code developed into a category that they labeled ‘self-protecting’, in which the former focused codes that constituted this category were included as subcategories representing different self-protecting strategies. Other groups of focused codes were further merged into other more comprehensive categories such as ‘a sense of not fitting in’ and ‘self-blaming’. The interplay between co-constructing rich data, constant comparison, focused coding, theoretical coding, memo-writing and theoretical sampling was crucial in order to develop a set of conceptual categories anchored in the data.

이러한 반복적인 과정을 통해 Thornberg 등(2013)은 Glaser(1998)와 Corbin과 Strauss(2015)가 연구의 '핵심 개념'이라고 부르는 주요 범주, 즉 '이중 피해자화'를 구성할 수 있었습니다. 이 주요 범주는 외부적 피해자화(즉, 피해자를 향한 반복적인 유해 행위로 인해 또래 사이에서 피해자 역할을 확인하는 사회적 과정)와 내부적 피해자화(즉, 피해자가 자신을 보호하기 위한 전략을 개발하는 동시에 외부적 피해자화가 만들어낸 피해자 이미지를 통합하는 과정) 간의 상호 작용 및 순환 과정을 의미합니다. '이중 피해자화'는 핵심 개념(Corbin and Strauss 2015; Glaser 1998)과 마찬가지로 실제로 가장 중요하고 빈번한 코드였으며, 다른 많은 코드와 연관되어 있고 다른 범주보다 더 많은 데이터를 차지했습니다. 
This iterative process helped Thornberg et al. (2013) to construct a major category – what Glaser (1998) and Corbin and Strauss (2015) would refer to as the ‘core concept’ of the study – namely ‘double victimizing’. This major category refers to an interplay and cycling process between external victimizing (i.e., a social process of repeated harmful acts directed at the victims that confirmed their victim role among the peers) and internal victimizing (i.e., victims incorporated the victim-image produced by external victimizing at the same time as they tried to develop strategies in order to protect themselves). Like the term core concept (Corbin and Strauss 2015; Glaser 1998), ‘double victimizing’ was indeed the most significant and frequent code, and was related to as many other codes as possible and accounted for more data than other categories.

결국 다른 범주는 이중 피해의 일부이거나 다른 방식으로 이중 피해와 관련되어 있다는 이중 피해에 대한 근거 이론이 구축되었습니다. 예를 들어, 외적 피해자화는 다른 사람으로 분류되어 낙인찍히고 사회적으로 배제되는 사회적 과정으로 구성되는 반면, 내적 피해자화는 어울리지 못한다는 느낌, 타인 불신, 자기 보호, 자기 의심, 자책, 체념 등을 포함합니다. 초기 공격은 이중 피해자화보다 먼저 발생했으며, 이중 피해자화가 괴롭힘에서 벗어나면 괴롭힘의 후유증으로 내부 피해자화가 남는 것으로 나타났습니다. 본 연구에서는 이론적 완성도를 갖춘 근거 이론을 구축했다는 측면에서 이론적 포화 상태에 도달하기 위해 이론적 샘플링이 필요했습니다(Charmaz 2014; Glaser, 2001). 
A grounded theory of this double victimizing was finally constructed in which the other categories were parts of the double victimizing or in other ways related to it. For instance, whereas external victimizing consists of the social processes of stigmatizing by being labelled as different and social excluding, internal victimizing includes a sense of not fitting in, distrusting others, self-protecting, self-doubting, self-blaming, and resignation. Initial attacks antedated double victimizing, and when double victimizing ended in terms of bullying exit, after-effects of bullying included a lingering internal victimizing. In this study, theoretical sampling was necessary to reach theoretical saturation in terms of having constructed a grounded theory with theoretical completeness (Charmaz 2014; Glaser, 2001).

신중하게 수행된 인터뷰와 근거이론 방법의 체계적인 사용은 학교폭력 이중피해에 대한 최종 근거이론이 이론과 그 개념이 데이터와 명확하게 일치하고(Glaser 1998), 신뢰성(Charmaz 2014; Strauss and Corbin 1998)과 신뢰성을 입증함으로써 경험적 근거에 도달(Strauss and Corbin 1998)할 수 있게 했습니다. 또한 이론의 경험적 근거는 다음과 같이 이어졌습니다:

  • (a) 개발된 중간 범위 이론인 작업성(Glaser 1998): 괴롭힘 피해와 정신 건강 문제 사이의 연관성을 설명하는 데 기여하는 문헌(예, Klomek, Sourander, and Elonheimo 2015),
  • (b) 추상적 이해(Charmaz, 2017): 의미와 행동, 피해자가 이를 구성하는 방식에 대한 이해를 높이는 데 기여,
  • (c) 관련성(Glaser 1998)과 공명(Charmaz 2014): 연구 참여자와 다른 학교폭력 피해자가 이중 피해자화 근거 이론에 포함된 대부분의 또는 모든 과정을 인식할 수 있었기 때문에 

The carefully conducted interviews and the systematic use of grounded theory methods made sure that the final grounded theory of double victimizing in school bullying reached empirical grounding (Strauss and Corbin 1998) as the theory and its concepts clearly fitted with the data (Glaser 1998), and demonstrated credibility (Charmaz 2014; Strauss and Corbin 1998) and trustworthiness (Strauss and Corbin 1998). In addition, the empirical grounding of the theory led to:

  • (a) workability (Glaser 1998) as the developed middle-range theory contributes to explain the link between bullying victimization and mental health problems in the literature (e.g., Klomek, Sourander, and Elonheimo 2015) from the voice and perspectives of the participants;
  • (b) abstract understanding (Charmaz, 2017) as it contributes to increase our understanding of meanings and actions and how victims construct them; and
  • (c) relevance (Glaser 1998) and resonance (Charmaz 2014) as participants in the study and other victims of school bullying could recognize most or all processes included in the grounded theory of double victimizing.

개방적이고 탐구적인 접근 방식으로 인해 개발된 근거이론은 새로운 통찰력을 제공하고 피해자의 경험과 학교폭력 이후의 경로에 대한 새로운 개념화를 증명함으로써 문헌에 기여하는 독창성을 보여주었습니다(Charmaz 2014). 경험적 근거, 적합성, 신뢰성, 관련성, 실행 가능성, 공명도 등을 종합적으로 평가한 결과, Thornberg 등(2013)의 이중피해이론은 새로운 연구 계통 창출에 기여하고, 학교폭력 피해자 경험을 명확히 하며, 학교폭력이 끝난 후에도 내적 피해는 몇 년 동안 지속된다는 것을 밝혀내 학교폭력 예방에 시사하는 바가 있어 유용성이 인정되었다(Charmaz 2014). 지식과 앎에 대한 실용주의적 관점에 따라 구성주의적 근거 이론 접근법(Charmaz 2006, 2014; Thornberg 2012)의 근간이 되는 Thornberg 등(2013)의 이중 피해에 대한 근거 이론은 위치, 오류, 잠정적인 것으로 간주되며 따라서 수정가능성을 수용합니다(Glaser 1998). 새로운 데이터는 이론을 더욱 수정하고 정교화할 수 있습니다. 
Due to the open and exploratory approach, the developed grounded theory showed originality (Charmaz 2014) as it contributes to the literature by offering new insights and proving a fresh conceptualization of victims’ experiences and path through school bullying and beyond. As a result of empirical grounding, fit, credibility, relevance, workability and resonance, Thornberg et al. (2013) grounded theory of double victimizing also demonstrated usefulness (Charmaz 2014) as it contributes to creating new lines of research, clarifies bullying victim experiences, and reveals that an inner victimizing seems to continue several years after bullying has ended, which has anti-bullying implications. In accordance with the pragmatistic view of knowledge and knowing, underlying the constructivist grounded theory approach (Charmaz 2006, 2014; Thornberg 2012), Thornberg et al. (2013) grounded theory of double victimizing is considered to be situated, fallible and provisional, and therefore embraces modifiability (Glaser 1998). New data may revise and elaborate the theory further.

구성주의 근거 이론의 품질: 체크리스트 및 가이드라인
Quality in constructivist grounded theory: checklists and guidelines

마지막으로 구성주의 근거 이론의 대학원생과 초심자가 작업을 수행하는 동안 체크리스트로 사용할 수 있는 가이드라인을 제시합니다. 이 목록은 엄밀한 연구를 대신하는 것이 아니라 리소스로 활용하시기 바랍니다. Barbour(2001)가 지적했듯이, 체크리스트를 사용하면 방법에 대한 깊은 몰입을 피하는 방법론적 버팀목이 될 위험이 있습니다. 우리는 연구자가 자신의 방법과 데이터에 깊이 관여할 것을 강력히 지지합니다.
We conclude by offering guidelines that graduate and postgraduate students and beginners in constructivist grounded theory can use as a checklist while conducting their work. Use the list as a resource, not as a substitute for rigorous research. As Barbour (2001) observes, using checklists risks becoming a methodological crutch that avoids deep engagement with the method. We strongly advocate that researchers gain a deep engagement with their method and data.

다양한 버전의 근거 이론 간의 유사점과 차이점을 구분할 수 있지만, 일반적인 가이드라인을 제공합니다. 동시에, 사용하기로 선택한 특정 버전의 근거 이론의 방법론적 담론에서 강조하는 엄격성, 신뢰성 및 품질 문제에 대해 자세히 알아볼 것을 권장합니다. 따라서 이러한 사항을 일반적으로 질적 연구를 수행하거나 특히 근거 이론 연구를 구성할 때 고려할 수 있는 유연한 지침으로 삼으시기 바랍니다.
Although we can discern similarities and differences between various versions of grounded theory, we offer a general set of guidelines. At the same time, we recommend you learn more about issues of rigor, credibility and quality emphasized in the methodological discourse of the specific version of grounded theory that you choose to use. So just take these points as flexible guidelines to consider when conducting qualitative inquiry in general or constructing a grounded theory study in particular.

  1. 방법론적 자의식을 갖기 위해 노력하세요(Charmaz 2017)
    1. 특정 주제, 방법론 및 방법을 선택한 이유는 무엇이며, 이것이 연구자의 정체성, 연구 목표 및 질문과 어떻게 부합하는가? 
    2. 어떤 버전의 근거 이론을 채택했으며 그 이유는 무엇인가요? 
    3. 존재론적 및 인식론적 가정은 무엇이며, 이러한 가정이 연구 과정, 연구자의 위치, 연구 결과 및 전이 가능성을 포함한 품질 문제에 어떤 의미가 있나요?
  1. Strive to achieve methodological self-consciousness (Charmaz 2017).
    1. Why have you chosen the specific topic, methodology and methods, and how do these fit with who you are and your research objectives and questions?
    2. What version of grounded theory have you adopted and why?
    3. What are the ontological and epistemological assumptions, and what do these mean for the research process, researcher position, findings, and quality issues, including transferability?
  2. 내러티브 탐구, 담화 분석, 근거 이론 등 어떤 질적 탐구 유형을 채택하든 가능한 한 모든 것을 알아보세요. 가능하다면 접근 방식에 대해 잘 알고 있는 멘토와 함께 작업하세요.
    Learn everything you can about the type of qualitative inquiry you adopt, whether it’s narrative inquiry, discourse analysis, or a version of grounded theory. If possible, work with a mentor who is knowledgeable about your approach.
  3. 해당 분야의 기존 문헌에 대해 개방적이고 비판적이며 분석적인 관점을 취하세요. 글레이저주의 근거 이론과는 달리, 스트라우시안 및 구성주의 근거 이론에 부합하는 문헌을 검토하여 연구에 대한 방어 가능한 근거를 확립하고, 바퀴를 재발명하지 않으며, 이론적 민감성을 높이는 것이 좋습니다. 문헌을 진리가 아닌 잠정적이고 오류가 있을 수 있는 것으로 취급하세요(자세한 내용은 Thornberg 2012, Thornberg and Dunne 2019 참조).
    Take an open, non-committal, critical, analytic view of the existing literature in the field. In contrast to Glaserian grounded theory but in line with Straussian and constructivist grounded theory, we recommend that you review the literature to establish a defensible rationale for the study, to avoid re-inventing the wheel, and to increase theoretical sensitivity. Treat the literature as provisional and fallible, not as the Truth (for further reading, see Thornberg 2012; Thornberg and Dunne 2019).
  4. 풍부한 데이터를 수집하세요. 심리학자에게 풍부한 데이터란 일반적으로 특정 경험을 했거나 현재 경험하고 있는 사람들의 이야기를 학습하고 수집하는 것을 의미합니다. 풍부한 데이터는 경험적 세계에 대한 개방성과 나와는 다른 사람들의 경험을 이해하려는 의지가 있음을 의미합니다.
    Gather rich data. For psychologists, rich data usually means learning and collecting the stories of people who have had or are having a specific experience. Rich data means an openness to the empirical world and a willingness to try to understand the experiences of people who may be far different from you.
  5. 투명성을 유지하세요. 연구를 수행한 방법, 샘플을 확보한 방법, 참여자를 포함시킨 방법과 이유, 근거 있는 이론과 데이터 수집 방법을 사용한 방법을 설명하세요. 선택의 정당성을 포함하세요.
    Be transparent. Describe how you conducted your study, obtained your sample and state how and why you have included the participants, and how you have used grounded theory and data collection methods. Include justifications of your choices.
  6. 데이터와 개발 중인 분석 사이를 오가며 후속 데이터 수집에 집중하고 새로운 분석 범주를 채우세요.
    Go back and forth between data and your developing analysis to focus your subsequent data collection and to fill out your emerging analytic categories.
  7. 경험적 세계에 친숙해지고 이를 이해하기 위한 분석적 핸들을 만들기 위해 고군분투하는 동안 모호함을 용인하세요.
    Tolerate ambiguity while you struggle to gain intimate familiarity with the empirical world and to create an analytic handle to understand it.
  8. 진행하면서 새로운 분석을 개발하는 데 도움이 되는 데이터에 대해 점진적으로 집중적인 질문을 하세요.
    As you proceed, ask progressively focused questions about the data that help you develop your emerging analysis.
  9. 데이터와 데이터에 대한 아이디어를 가지고 놀아보세요. 데이터에 대한 가능한 모든 이론적 설명을 찾아서 확인합니다.
    Play with your data and your ideas about it. Look for all possible theoretical explanations of the data and check them.
  10. (1) 유용한 비교를 하고, (2) 강력한 분석 범주를 만들고, (3) 독자들에게 범주의 중요성을 설득할 수 있도록 충분한 데이터를 수집하세요.
    Collect sufficient data to (a) make useful comparisons, (b) create robust analytic categories, and (c) convince readers of the significance of your categories.
  11. 카테고리에 대해 질문하세요: 카테고리의 속성은 무엇인가? 어떤 방식으로 하위 카테고리를 포함하나요? 주요 카테고리는 어떻게 연결되어 있나요? 어떻게 이론적 진술을 하는가? 이 진술의 의미는 무엇인가요?
    Ask questions about your categories: What are their properties? In which ways do they subsume minor categories? How are your main categories connected? How do they make a theoretical statement? What is the significance of this statement?
  12. 코드, 범주 및 이론적 개요는 항상 잠정적인 것으로 취급하고 새로운 데이터와 추가 분석에 비추어 수정하거나 거부할 수 있도록 열어 두세요.
    Always treat your codes, categories and theoretical outlines as provisional and open for revision and even rejection in the light of new data and further analysis.
  13. 분석을 완료한 후에는 이전 검토에서 다루지 않은 사례 연구 및 관점을 포함할 수 있는 문헌의 관련 자료와 비교하세요. 이때 검토는 자신이 개발한 아이디어에 중점을 두어야 합니다. 이 검토를 통해 여러분의 분석이 해당 분야의 선도적인 아이디어와 어떻게 부합하는지, 확장되는지, 또는 어떻게 도전하는지 보여줄 수 있는 기회를 얻을 수 있습니다.After you have completed your analysis, compare it with relevant material from the literature, which may well include case studies and perspectives that you did not address during your earlier review. At this time, your review will be focused on the ideas that you have developed. This review gives you the opportunity to show how your analysis fits, extends, or challenges leading ideas in your field.

ABSTRACT

This article introduces grounded theory and places this method in its historical context when 1960s quantitative researchers wielded harsh criticisms of qualitative research. The originators of grounded theory, sociologists Glaser and Strauss, sought to defend the quality of qualitative research and argued that grounded theory increased its quality by providing a method of theory construction. Our major foci include: (1) introducing the logic of grounded theory, with emphasis on how researchers can use it to construct theory, (2) detailing criteria for quality in the major forms of grounded theory advocated by Glaser and Strauss and augmented by Glaser, Strauss and Corbin and refined by Corbin, and Charmaz and (3) providing an analysis of how constructivist grounded theorists Thornberg, Halldin, Bolmsjö and Petersson attended to the interviewing process, coding, and developing their theoretical concept of double victimizing. Students and researchers new to the method can use our concluding guidelines as a checklist to assess the quality of their constructivist grounded theory research.

인공지능을 활용하여 어떻게 피드백이 위임을 나타나는지 탐색하기 (Med Educ, 2022)
Exploring how feedback reflects entrustment decisions using artificial intelligence
Brian C. Gin1 | Olle ten Cate2,3 | Patricia S. O'Sullivan3,4 | Karen E. Hauer3 | Christy Boscardin3,5

 

 

1 소개
1 INTRODUCTION

임상 책임의 발전은 수련의가 의료 역량을 개발하는 데 매우 중요합니다. 이러한 발전은 위임이라는 과정을 통해 이루어지며, 임상 감독자는 수련자에게 환자 진료에 대한 책임감을 부여함으로써 수련의의 성장을 유도합니다.1, 2 이상적으로는 감독자가 수련의의 역량 수준에 맞는 적절한 수준의 독립성을 부여하는 위임 결정을 내리는 것이 좋습니다.3 그러나 교육자들이 위임의 틀을 적용함에 따라, 위임 기반 평가가 교육 목표 달성을 위한 수련의의 지침을 어떻게 제공하는지에 대한 증거는 아직 명확하지 않습니다.4-7 위임을 부여하는 임상에서 수퍼바이저의 피드백은 수련의에게 더 높은 위임을 달성하는 방법에 대한 지침을 제공하고, 이는 다시 수련의의 학습 요구를 파악할 수 있게 합니다. 수퍼바이저의 위임 결정과 수련의의 학습 요구 사이의 이러한 상호작용은 아직 경험적으로 입증되지 않았습니다. 특히, 다양한 수준의 위임이 연수생에게 제공되는 피드백의 성격 및 품질과 어떤 관련이 있는지는 불분명합니다. 위임을 부여하는 만남에서 생성된 내러티브 피드백을 조사하면 내러티브 주제와 위임 등급 간의 연관성을 발견할 수 있습니다. 이러한 연관성은 위임 결정이 감독자의 연수생 지도에 어떤 영향을 미치는지에 대한 통찰력을 제공하여 위임 기반 평가의 개발과 유용성을 더욱 지원할 수 있습니다. 
Progressions in clinical responsibility are crucial for trainees to develop medical competence. These progressions are mediated by a process called entrustment, through which clinical supervisors guide trainees' growth by granting them increasing responsibility for patient care.1, 2 Ideally, supervisors make entrustment decisions that grant a trainee an appropriate degree of independence to match their level of competence.3 Yet, as educators apply the framework of entrustment, evidence of how entrustment-based assessment provides trainees' guidance for achieving educational goals remains less clear.4-7 Supervisors' feedback from entrustment-granting clinical encounters may provide trainees with guidance on how to achieve higher entrustment, which may, in turn, capture trainees' learning needs. This interaction between supervisors' entrustment decisions and trainees' learning needs has yet to be demonstrated empirically. Particularly, it is unclear how different levels of entrustment may relate to the nature and quality of feedback provided to trainees. Examining narrative feedback generated from entrustment-granting encounters may reveal associations between narrative themes and entrustment ratings. These associations may provide insight into how making entrustment decisions affects supervisors' guidance of trainees, to further support the development and utility of entrustment-based assessments.

위임 결정은 몇 가지 주요 요인에 의해 영향을 받기 때문에 수련생이 다양한 수준의 위임을 달성할 수 있는 방법에 대한 지침도 이러한 요인에 의해 형성될 것이라고 추론할 수 있습니다.8-10 선행 연구에서는 수련생과의 피드백 상호 작용의 맥락에서가 아니라 위임에 대한 감독자의 사고 과정에 대한 해석을 조사하여 이러한 요인을 탐색했습니다.11-13 위임을 결정하는 요인에는 과제의 복잡성과제가 완료될 임상적 맥락이 포함됩니다. 대인관계 요인에는 다음이 포함됩니다.9, 14 

  • 과제에 대한 수련자의 신뢰성(역량 및 경험 포함),
  • 수퍼바이저의 신뢰 성향(위험 허용 및 지원 제공 능력 포함),
  • 수련자와 수퍼바이저의 관계(서로에 대한 상호 신뢰 포함)

Because entrustment decisions are influenced by several key factors, it could be inferred that guidance for how trainees can achieve different levels of entrustment would also be shaped by those factors.8-10 Prior research explored these factors by examining supervisors' interpretations of their own thought processes around entrustment but not in the context of feedback interactions with trainees.11-13 Entrustment-determining factors include the complexity of the task and the clinical context in which the task is to be completed. Interpersonal factors include

  • the trustworthiness of the trainee for the task (including competence and experience),
  • the supervisor's tendency to trust (including tolerance of risk and ability provide support) and
  • the relationship between the trainee and supervisor (including their mutual trust in each other).914 

이러한 요인은 주로 수퍼바이저의 이전 위임 결정에 대한 회상 또는 향후 만남에 대한 예측을 사용하여 식별되었습니다.15, 16 최근의 한 연구에서는 수퍼바이저가 위임 결정을 내린 직후(또는 '임시')15, 17에 인터뷰를 실시하여 잠재적인 회상 편향을 완화했지만,11 인터뷰 중 수퍼바이저의 자기보고가 연수생 이해관계자에 대한 책임을 반드시 반영하지 않을 수 있기 때문에 왜곡 가능성이 여전히 남아있을 수 있습니다. 대인관계 요인은 위임을 탐색하는 데 있어 감독자와 연수생 간의 의사소통의 중요성을 강조하며, 이는 Telio 등의 '교육 동맹' 연구에도 반영되어 있습니다.12, 13 피드백은 이러한 의사소통의 한 형태입니다. 피드백 상호작용은 수퍼바이저가 연수생의 신뢰도와 역량을 판단하는 방법뿐만 아니라 각 위임 등급에서 연수생의 교육적 요구를 해결하기 위해 이러한 판단을 해석하는 방법도 반영할 수 있습니다. 
These factors were largely identified using supervisors' recall of prior entrustment decisions or projections of how they would approach future encounters.15, 16 While a recent study mitigated potential recall bias, by performing interviews with supervisors shortly after in-the-moment (or ‘ad-hoc’)15, 17 entrustment decisions,11 a potential for distortion may still remain, because supervisor self-reports during interviews may not necessarily reflect their accountability to trainee stakeholders. The interpersonal factors highlight the importance of communication between supervisor and trainee in navigating entrustment, as is also reflected in Telio et al.'s work on the ‘educational alliance’.12, 13 Feedback represents one such form of communication. Feedback interactions may reflect not only how the supervisors judge trainees' trustworthiness and competence but also how they translate these judgements to address trainees' educational needs at each entrustment rating.

여러 연구에서 위임 평가가 피드백에 어떻게 반영될 수 있는지 조사했습니다. Dolan 등은 평가에 위임 언어를 포함하면 감독자가 더 낮은 점수를 선택하려는 의지가 증가하고 더 자세한 설명으로 이를 정당화할 수 있다는 사실을 발견했습니다.18 Dudek 등은 질적 연구에서 피드백의 위임 앵커피드백 품질 개선 간에 유사한 연관성을 발견했습니다.5 위임은 학습자의 과제별 및 일반적인 자질 모두에 영향을 받습니다.15 위임을 결정하는 일반적인 요인을 피드백에서 어떻게 도출할 수 있는지, 피드백 내용이 관련 위임 등급에 따라 어떻게 변하는지에 대해서는 알려진 바가 많지 않습니다. 이 흥미로운 질문에도 불구하고 내러티브 피드백 데이터를 질적으로 분석하여 학습자가 감독자 사이에서 자신의 과제 수행에 대한 신뢰를 높이는 데 필요한 요소를 이해하는 데 도움이 될 수 있는 요인을 추출하려면 많은 자원과 인적 노력이 필요할 것입니다.19 

Several studies have examined how entrustment can be captured in feedback. Dolan et al. found that including entrustment language in an assessment increased supervisors' willingness to choose lower scores and also to justify them with more written detail.18 Dudek et al. found a similar connection between entrustment anchors in feedback and improved feedback quality in a qualitative study.5 Entrustment is affected by both task-specific and general qualities of the learner.15 Not much is known about how general factors determining entrustment can be derived from feedback and how feedback content varies with associated entrustment ratings. Despite this intriguing question, it would require extensive resource and human effort to analyse narrative feedback data qualitatively to extract factors that might guide learners in understanding what it takes to enhance trust in their task execution among supervisors.19

이 연구에서는 임상실습 시기의 의대생과 임상 감독자가 함께 작성한 즉석 평가에 기록된 임시 위임 결정과 관련된 요인을 조사하고자 했습니다. 이 평가는 핵심 임상실습 기간 동안 위임을 부여하는 만남에서 생성된 피드백 내러티브의 대규모(약 3300건 관찰) 데이터 세트와 후향적 위임-감독(ES) 수준(학생이 임상 과제를 완료하는 데 필요한 감독 정도를 나타내는 수치 평가)을 생성했습니다. 설명 가능한 자연어 처리(NLP) 방법론을 개발 및 활용하여 이 내러티브를 통해 ES 수준을 예측하고, 그 예측에 사용된 주제에 대한 결과를 검토하여 감독된 임상 만남 및 관련 피드백 상호 작용 내에서 위임 요인이 어떻게 작동하는지에 대한 경험적 증거를 얻습니다. 특히 역량 기반 의학교육(CBME)을 시행하는 기관에서 유사한 데이터 세트를 생성하는 의료 커뮤니티의 다른 사람들이 위임을 탐색할 수 있도록 방법론을 자세히 설명합니다. 
In this study, we sought to investigate factors associated with ad hoc entrustment decisions as documented by in-the-moment assessments completed together by clerkship-year medical students and their clinical supervisors. Generated from entrustment-granting encounters during the core clerkships, this assessment yielded a large (~3300 observation) dataset of feedback narratives paired with retrospective entrustment-supervision (ES) levels—a numeric rating indicating how much supervision a student required to complete a clinic task. We develop and employ an explainable natural language processing (NLP) methodology to predict ES levels from this narrative and examine results for themes NLP used to make that prediction—yielding empirical evidence for how entrustment factors operate within supervised clinical encounters and their associated feedback interactions. We detail our methodologies so that others in the medical community, particularly in institutions implementing competency-based medical education (CBME), generating similar datasets can explore entrustment.

2 방법론
2 METHODS

NLP 접근 방식 개요
Overview of NLP approach

최근 인공지능(AI) 및 NLP의 발전은 대규모 내러티브 데이터 세트 분석의 한계를 극복하기 위해 적용되었습니다.20-24 NLP는 언어학, 의미론 및 AI의 한 분야로 기계 학습(ML) 알고리즘을 활용하여 언어의 의미 패턴을 인식하며 이러한 패턴은 단어, 구문, 문장, 문단 수준에서 인식할 수 있습니다.22 문장 및 단락 수준에서 NLP는 정성적 코딩에서 생성된 것과 유사한 주제를 인식하는 데 사용할 수 있으며, 기존의 정성적 분석으로는 접근하기 어려운 대규모 내러티브 데이터 세트에 적용할 수 있다는 추가적인 이점이 있습니다.25 
Recent developments in artificial intelligence (AI) and NLP have been applied to overcome limitations in analysing large narrative datasets.20-24 NLP is a branch of linguistics, semantics and AI that harnesses machine learning (ML) algorithms to recognise semantic patterns in language; these patterns can be recognised at the level of the word, syntax, sentence, paragraph and beyond.22 At the sentence and paragraph level, NLP can be used to recognise themes similar to those generated by qualitative coding—with the added advantage of application to large narrative datasets frequently inaccessible to traditional qualitative analysis.25

스탈 등은 NLP를 활용하여 다양한 위임 수준과 관련된 내러티브를 모델링했습니다.26 이들의 방법은 위임 수준별로 내러티브를 그룹화하고 각 수준에서 높은 빈도로 발견되는 키워드를 식별했습니다. 이러한 키워드는 다양한 수준의 위임과 관련된 기술에 대한 인사이트를 제공했지만 명확하게 정의할 수 있는 질적 주제나 요인을 나타내는 데는 부족했습니다. 최근 외틀레쉬(Ötleş) 등27은 NLP 알고리즘의 예측 능력을 입증하기 위해 사람이 품질을 코딩한 피드백 댓글의 하위 집합을 학습시킨 후 내러티브 피드백의 품질을 인식하도록 NLP 알고리즘을 훈련시켰습니다. 스탈 등은 더 발전된 NLP 기술을 사용하는 향후 연구에서는 위임과 관련된 주제를 자동으로 식별하고 이를 사용하여 내러티브 데이터에서 위임 수준을 예측할 수 있을 것으로 예상했습니다. 
Stahl et al. utilised NLP to model narratives associated with different entrustment levels.26 Their method grouped narratives by entrustment level and identified keywords found with high frequency at each level. These keywords gave insight into the skills relevant to different levels of entrustment but stopped short of representing clearly definable qualitative themes or factors. Demonstrating predictive capabilities of NLP algorithms, Ötleş et al.27 recently trained an NLP algorithm to recognise the quality of narrative feedback after training it on a subset of feedback comments coded by humans for their quality. Stahl et al. projected that future studies using more advanced NLP techniques would automatically be able to identify themes related to entrustment and use these to predict entrustment levels from narrative data.

내러티브 피드백을 통해 위임 등급을 예측하도록 NLP 알고리즘을 훈련시킬 수는 있지만, 알고리즘이 어떤 테마를 인식하여 예측을 했는지 이해할 수 없다면 이는 제한적으로 사용될 것입니다. 이러한 '설명 가능성'의 부족은 AI 애플리케이션에 대한 주요 비판 중 하나입니다. AI가 복잡한 작업에서 인간의 인지를 모방하는 데는 성공했지만, 그 작동 방식을 이해할 수 있는 간단한 방법이 없는 경우가 많기 때문입니다. 마찬가지로, 설명가능성의 부족은 피드백 품질에 대한 외틀쉬의 작업에도 영향을 미칩니다. NLP 알고리즘이 품질을 할당하기 위해 어떤 내러티브 특징을 인식했는지 불분명하기 때문입니다. AI 시스템이 패턴을 인식하고 의사 결정을 내리는 방식에 대한 인사이트를 얻는 것은 새롭게 떠오르는 설명 가능한 AI 분야의 주제입니다.28 NLP의 관점에서 설명 가능성을 향한 첫 번째 단계는 알고리즘이 텍스트를 기반으로 예측, 분류 또는 의사 결정을 내리기 위해 인식하는 의미론적 주제가 무엇인지 이해하는 것입니다. 
While NLP algorithms could be trained to predict entrustment ratings from narrative feedback, this would be of limited use if we could not understand what themes the algorithm recognised to make predictions. This lack of ‘explainability’ is one of the key criticisms of AI applications—although AI has succeeded in mimicking human cognition on complex tasks, there is often no straightforward way to understand how it works. Similarly, a lack of explainability affects Ötleş's work on feedback quality—it is unclear what narrative features their NLP algorithm recognised to assign quality. Gaining insight into how AI systems recognise patterns and make decisions is the subject of the emerging field of explainable AI.28 From the perspective of NLP, a first step towards explainability is understanding what semantic themes an algorithm recognises to make predictions, classifications or decisions based on text.

저희는 각 피드백 내러티브에 할당된 ES 수준과 짝을 이루는 데이터 세트를 사용했으며, 이는 의대생들이 직접 관찰한 임상 사례 중 빈도가 낮고 빈도가 높은 상황에서 생성되었습니다.29 먼저 각 피드백 내러티브에 ES 수준과 관련된 단어 또는 문구가 포함되어 있는지 여부를 조사했습니다. 이를 위해 (복잡한 인지를 가장 잘 모방할 수 있는 것으로 여겨지는 기계 언어 방법론인) 심층 신경망(DNN)을 사용했습니다. 지도* ML 접근 방식에서는, 감독자가 지정한 ES 수준이 '골드 스탠다드'(즉, 특정 내러티브와 관련된 실제 ES 수준)를 나타낸다고 가정하고, 피드백 내러티브로부터 ES 수준을 예측하도록 DNN을 훈련시켰습니다. DNN은 복잡한 작업을 수행할 수 있지만, 전통적으로 설명이 가장 어려운 AI 방법 중 하나로 여겨져 왔습니다.31, 32 우리는 훈련된 DNN을 심문interrogate하는 새로운 방법을 개발하여, DNN이 다양한 ES 레벨을 할당하도록 유도하는 특정 단어와 구문('특징features'이라고 함)을 식별함으로써 감독자의 ES 레벨 할당과 관련된 요소를 밝혀냄으로써 이 과제에 접근했습니다. 

We used a dataset of feedback narratives each paired with an assigned ES level, generated during low-stakes, high frequency directly observed clinical encounters of clerkship-year medical students.29 We first examined whether each feedback narrative contained words or phrases associated with its ES level. To do this, we employed a deep neural network (DNN)—a machine language methodology that has been viewed as the most capable of mimicking complex cognition. In a supervised* ML approach, we trained the DNN to predict ES levels from feedback narratives, assuming that the ES level assigned by the supervisors represented the ‘gold standard’ (i.e. the true ES level associated with any given narrative). While capable of complex tasks, DNNs have traditionally been seen as one of the least explainable AI methods.31, 32 We approached this challenge by developing a new method to interrogate trained DNNs, identifying specific words and phrases (termed ‘features’) that triggered the DNN's assignment of different ES levels, thus revealing the factors associated with supervisors' ES level assignment.

데이터, 참가자 및 환경
Data, participants and setting

데이터는 216명의 고유(비식별화된) 의대생에 대한 3328개의 개별 평가로 구성되었으며, 1455명의 고유(비식별화된) 임상 감독자(교수진 및 레지던트)가 관찰했습니다. 각 평가는 관찰된 단일 임상 상황에서 생성되었으며, 과제 유형, 개방형 프롬프트에 의해 생성된 피드백 서술, 과제에 대해 얼마나 많은 감독이 제공되었는지를 후향적으로 표시하기 위해 1에서 4까지의 ES 수준(수정된 O-SCORE 척도 기준)으로 구성되었습니다(상자 1).33 이러한 평가는 감독자와 의대생이 공동으로 작성하고 온라인 설문지에 감독자 또는 의대생이 입력했습니다(이 경우 학생에게 피드백을 요약하여 제출할 기회가 주어졌으며 감독자의 승인을 받아야 했습니다). 학생들은 일주일에 2번의 평가를 수집해야 했습니다(따라서 데이터는 연구 기간 동안 핵심 임상 실습을 순환한 모든 의대생을 대표합니다). 데이터는 2020년 1월부터 7월까지 미국의 4년제 학사 학위 취득 후 의과대학에서 수집되었으며, 하나의 주State에 여러 임상실습 사이트가 있습니다. 이 데이터 세트에 포함된 클리닉은 마취과, 가정의학과, 내과(3년차 클리닉 및 4년차 인턴십), 신경과, 산부인과, 소아과, 정신과 및 외과였습니다. 관찰된 임상 과제는 의사소통, 구두 발표, 병력, 신체 검사, 메모 작성 및 기타(분류되지 않음)의 6가지 유형으로 나뉘었습니다. 감독자와 학생은 무작위로 할당된 숫자 자리 표시자를 사용하여 비식별화되었습니다. 기관 심의 위원회는 연구 프로토콜을 승인했습니다(연구 ID 20-32 478). 
The data consisted of 3328 individual assessments of 216 unique (de-identified) medical students, observed by 1455 unique (de-identified) clinical supervisors (faculty and residents). Each assessment was generated from a single observed clinical encounter and consisted of type of task, a feedback narrative generated by an open-ended prompt and an assigned ES level (based on the Modified O-SCORE scale) ranging from 1 to 4 (Box 1) to indicate retrospectively how much supervision was provided for the task.33 These assessments were completed collaboratively by the supervisor and medical student and were entered into an online questionnaire by either the supervisor or medical student (in which case the student was given the opportunity to summarise and submit the feedback with supervisor approval). Students were required to collect 2 assessments per week (thus, the data represent all medical students who rotated through their core clinical clerkships during the study period). The data were collected from January to July 2020 at a 4-year post baccalaureate medical school in the United States with multiple sites in a single state. The clerkships included in this dataset were anesthesiology, family and community medicine, internal medicine (3rd-year clerkship and 4th-year acting internship), neurology, obstetrics/gynaecology, paediatrics, psychiatry and surgery. Clinical tasks observed were divided into six types: communication, oral presentation, history, physical exam, note taking and other (uncategorized). Supervisors and students were de-identified using randomly assigned numerical placeholders. Our Institutional Review Board approved the study protocol (study ID 20-32 478).

주제 정의-전문가 지원 축 코딩
Defining themes—Expert-assisted axial coding

DNN은 다른 정성적 분석과 마찬가지로 주제를 암시하는 features에 따라 내러티브 데이터를 클러스터링할 수 있지만, 콘텐츠 전문 지식을 통해 이러한 테마의 해석 가능성이 향상됩니다. DNN은 텍스트 데이터를 단어, 단어 패턴, 구문 등 특정 features에 의해 우선적으로 활성화되는 상호 연결된 인공 뉴런의 집합으로 모델링합니다. 따라서 우리는 내러티브 데이터 클러스터 내에서 DNN이 식별한 각 features이 무엇을 나타내는지에 대한 합의를 도출하고 의학 교육자에게 의미 있는 방식으로 각 특징을 정의하기 위해 인간 전문가 패널을 고용했습니다. 이 과정은 질적 분석의 축 코딩 및 주제 분석과 유사합니다.34 이 그룹은 제1저자(BG)와 보건 전문직 교육 위임에 초점을 맞춘 이전 연구 경험이 있는 세 명의 학자(OtC, PO'S 및 CB)로 구성되었습니다. 구성원들은 훈련된 DNN이 식별한 features(아래 설명 참조)을 기반으로 독립적으로 주제를 정의하고 각 주제에 대한 합의된 정의에 공동으로 도달했습니다. 
While DNNs can cluster narrative data by features suggestive of themes, as in other qualitative analysis, the interpretability of these themes is enhanced with content expertise. DNNs model textual data as a set of interconnected artificial neurons activated preferentially by specific features: words, patterns of words and phrases. As such, we employed a panel of human experts to reach consensus as to what each of the DNN's identified features represented within the cluster of narrative data and to define each in a way that is meaningful to medical educators. This process is similar to axial coding and thematic analysis in qualitative analysis.34 This group was composed of first author (BG) and three scholars with prior work focused on entrustment in health professions education (OtC, PO'S and CB). Members independently defined themes based on features identified by the trained DNN's (as described below) and collaboratively reached consensus definitions of each theme.

NLP 구현
NLP implementation

내러티브 데이터에서 ES 수준을 예측하기 위한 머신러닝 알고리즘은 텐서플로우 2.3에서 스택형 장단기 메모리(LSTM) 아키텍처30를 사용하는 DNN으로 구현되었습니다(기술적 세부 사항은 부록 S1 참조). LSTM은 언어의 단어 시퀀스와 계층 구조를 인식하는 능력으로 NLP 애플리케이션에서 사용되는 인공 뉴런의 일종입니다.36, 37 입력 텍스트를 인코딩하기 위해 GloVe 사전 학습된 단어 임베딩38을 사용한 다음 두 개의 양방향 LSTM 레이어4방향 다중 클래스 분류를 수행하는 최종 예측 레이어를 사용했습니다.

  • 원본 데이터 세트의 30%를 차지하는 무작위로 추출된 하위 집합에서 생성된 훈련 세트(각 평가에 대해 피드백 내러티브와 ES 수준을 모두 사용할 수 있는)를 사용하여 여러 번의 반복(또는 NLP 용어로 '에포크')으로 DNN을 훈련시켰습니다.
  • 그런 다음 원본 데이터 세트의 나머지 70%를 나타내는 검증 세트(알고리즘에 피드백 내러티브만 제공되고 할당된 ES 레벨은 보류됨)에 훈련된 DNN을 적용했습니다.

그런 다음 검증 세트에서 예측된 ES 레벨과 보류된 ES 레벨을 비교하여 수신자 운영 특성(ROC) 곡선을 만들고 곡선 아래 면적(AUC)을 계산하여 각 ES 레벨을 예측하는 DNN의 능력을 표시했습니다(AUC가 1이면 완벽한 예측 능력을, 0.5이면 그러한 능력이 없음을 나타냄). ES 수준과 내러티브 특징 간의 연관성을 기대할 수 없는(그리고 AUC가 0.5에 가까워야 하는) 무작위로 할당된 ES 수준의 피드백 내러티브를 사용하여 DNN을 훈련시킨 대조 실험에서 이러한 단계를 반복했습니다.  

Our ML algorithm for predicting ES levels from narrative data was implemented as a DNN employing a stacked long short-term memory (LSTM) architecture30 in TensorFlow35 2.3 (see Appendix S1 for technical details). LSTMs are a type of artificial neuron that have been used in NLP applications for their ability to recognise sequences of words and hierarchical structures in language.36, 37 We used the GloVe pretrained word embeddings38 to encode the input text, followed by two bidirectional LSTM layers, and a final prediction layer that performed 4-way multiclass classification. We trained the DNN in multiple iterations (or ‘epochs’ in NLP terminology) using a training set (where both the feedback narrative and ES level were available for each evaluation) created from a randomly drawn subset representing 30% of our original dataset. We then applied the trained DNN to a validation set (where only the feedback narrative was available to the algorithm, and the assigned ES levels were withheld), which represented the remaining 70% of the original dataset. We then compared the predicted ES levels from the validation set to the withheld ES levels, constructing receiver operating characteristic (ROC) curves and calculating the area under the curve (AUC) to indicate the DNN's ability to predict each ES level (an AUC of 1 represents perfect predictive ability; 0.5 represents no such ability). We repeated these steps in a control experiment in which the DNN had been trained using feedback narratives with randomly assigned ES levels, where no association between ES levels and narrative features should be expected (and the AUC should approach 0.5).

DNN의 예측 능력이 확립된 다음에는 어떤 features(예: 특정 단어 또는 단어 패턴)이 위임 수준과 관련이 있는 것으로 '학습'되는지 파악하는 것이 주요 목표였습니다. 이를 위해서는 훈련된 DNN의 중간 계층 내에 있는 인공 뉴런(상자 2 참조)을 조사해야 했습니다. 훈련 후 이러한 인공 뉴런은 특정 내러티브 features에 민감하게 반응합니다. 마지막 중간 레이어(부록 S1의 레이어 4)에서 훈련된 DNN을 잘라내어 이러한 features을 추출하여 개별 인공 뉴런의 출력(즉, 활성화)을 주어진 내러티브에 대한 반응으로 평가할 수 있도록 했습니다. 이러한 활성화를 다차원 벡터 공간으로 표현하고 주성분 분석(PCA)을 사용하여 차원을 줄였습니다.39 처음 세 개의 주성분은 데이터 세트의 분산 중 90% 이상을 설명했습니다(부록 S1의 그림 A2). 세 가지 주성분 각각과 가장 강한 상관관계가 있는 내러티브와 약한 상관관계가 있는 내러티브(즉, 가장 긍정적인 내적 곱과 가장 부정적인 내적 곱이 있는 내러티브)를 식별하여 총 6개의 내러티브 세트를 도출한 다음, 위에서 설명한 전문가 패널을 통해 코딩했습니다. 또한, 각 내러티브 세트에 단어가 각 주성분의 해당 인공 뉴런을 얼마나 강하게 활성화했는지를 반영하는 워드 클라우드로 각 내러티브 세트를 보강했습니다(부록 S2의 그림 B3). 이 절차는 부록 S2에서 더 자세히 설명합니다. 
With the predictive ability of our DNN established, we turned to the primary goal of the determining which features (i.e. specific words or patterns of words) it ‘learned’ as being related to entrustment levels. This required us to examine the artificial neurons (see Box 2) within the intermediate layers of the trained DNN. After training, these artificial neurons develop sensitivities to specific narrative features. We extracted these features by truncating our trained DNN after the last intermediate layer (Layer 4 in Appendix S1), so that the outputs (i.e. activations) of individual artificial neurons could be assessed in response to any given narrative. We represented these activations in a multidimensional vector space and used principal component analysis (PCA) to reduce its dimensionality.39 The first three principal components explained >90% of the variance in our dataset (Figure A2 of Appendix S1). We identified the narratives most strongly and weakly correlated with each of the three principal components (i.e. narratives that had the most positive and most negative inner products), yielding six total sets of narratives that we then coded via the expert panel described above. Additionally, we augmented each narrative set with a word cloud reflecting how strongly the words activated each principal component's corresponding artificial neurons (Figure B3 of Appendix S2). We describe this procedure in more detail in Appendix S2.

medu14696-sup-0001-supporting_information_proof-revision.docx
0.37MB

3 결과
3 RESULTS

평가 데이터 세트 특성
Assessment dataset characteristics

비식별처리된 평가 데이터의 출처는 표 1에 전문 분야 및 과제 유형과 함께 요약되어 있습니다. '기타' 범주로 표시된 대부분의 작업은 봉합, 정맥로 확보, 삽관 및 배액관 제거와 같은 절차적 술기였습니다. 전반적으로 높은 ES 레벨이 우세했으며, 가장 낮은 ES 레벨인 1을 받은 평가는 70개에 불과했습니다. 

The de-identified sources of assessment data are summarised in Table 1 with specialty and task type. Most tasks represented by the ‘other’ category were procedural skills such as suturing, i.v. placement, intubation and drain removal. We found a predominance of higher ES levels overall, and just 70 assessments received the lowest ES level of 1.

ES 수준과 관련된 주제 식별
Identification of themes related to ES levels

표 2는 알고리즘에 의해 식별된(그리고 전문가 패널에 의해 코딩된) 내러티브의 특징과 해당 특징을 구성하는 내러티브에 대한 관련 ES 수준을 보여줍니다. 표 2에 따르면 내러티브는 각각 고유한 특징과 연관된 네 가지 범주의 ES 수준에 따라 그룹화할 수 있습니다: 
Table 2 shows the narrative features identified by the algorithm (and coded by the expert panel) and the associated ES level for the narratives making up that feature. Table 2 reveals that narratives could be grouped according to four categories of ES levels, each associated with distinct features:

1. 가장 높은 ES 수준과 연관된 내러티브는 높은 위임 평가에 대한 정당성으로 교육생의 특정 행동과 특성을 언급하는 상세한 강화 피드백을 나타냅니다(평균 ES = 3.83 [SD 0.67]). 
1. Narratives associated with the highest ES levels represented
 detailed reinforcing feedback that cited specific trainee behaviours and characteristics as justification for the high entrustment ratings (average ES = 3.83 [SD 0.67]).

문서/SOAP 메모를 시작할 때 한 줄로 시작하는 탁월한 사용. 환자 우려 사항과 관련된 철저한 HPI. 노트에서 평가와 계획을 분리하고, 평가에서 관련 세부 사항에 초점을 맞춥니다. 
Outstanding use of a one-liner to start the documentation/SOAP note. Thorough HPI relevant to patient concerns. Separate assessment from plan in the note, and focus on pertinent details in the assessment …


2. 다음으로 높은 ES 수준과 관련된 서술은 세부적인 일반적 칭찬(3.40 [0.65])과 임상적 추론에 대한 상세한 건설적 피드백(3.32 [0.55])을 모두 나타냈습니다. 
2. Narratives associated with the next highest set of ES levels represented both low detail generic praise (3.40 [0.65]) and detailed constructive feedback on clinical reasoning (3.32 [0.55]).

병력을 작성하는 동안 이러한 증상에 대한 감별 진단을 염두에 두고 체계적으로 더 질문하고 싶은 핵심 증상 한두 가지를 생각해 보세요. 
During the history taking think about what your differential is and the one or two key symptoms you would like to ask more questions about in a systematic way, keeping in mind your differentials for these symptoms.
전반적으로 잘했습니다. 
Good job overall.

3. ES 수준이 낮을수록 디테일이 적은 강화 피드백(2.86 [0.63])과 수술 및 검사 기술에 대한 건설적인 피드백(2.85 [0.84])이 모두 낮게 나타났습니다. 
3. Narratives associated with lower ES levels represented both low detail reinforcing feedback (2.86 [0.63]) and constructive feedback on surgical and exam skills (2.85 [0.84]).

바늘을 피부와 수직으로 움직이고 피부 가장자리를 일직선으로 만들기 위해 얼마나 많이 물어야 하는지 생각해야 합니다. 
Make sure to drive the needle perpendicular to the skin and think about how much of bite you need to take to make the skin edge line up.
구두 발표가 우수합니다. 
Excellent oral presentation.

4. 가장 낮은 ES 수준과 관련된 서술은 향후 수행을 위한 구체적인 지침을 제공하는 모든 유형의 술기에 대한 상세하고 건설적인 피드백을 나타냈습니다(2.57 [0.61]). 
4. Narratives associated with the lowest ES levels represented detailed constructive feedback on all types of skills that provided specific instructions for future performance (2.57 [0.61]).

몇 가지 다른 팁 시간순으로 살펴보기: 증상이나 기타 데이터를 얻을 때마다 해당 증상이 나타난 시간대를 파악하세요. 지리적/직업적/관계 마커를 사용해 시간대를 구분하세요. 기분 에피소드나 입원의 경우, 주요 증상을 파악하고 싶을 때 ... 
A few other tips: Make sure you go chronologically: whenever you get symptoms or other data, ensure that you know the time frame in which they are present. Block out epochs of time with geographic/occupational/relationship markers. For mood episodes or hospitalizations, you want to get primary symptoms …
 

강화로 분류된 내러티브만 고려했을 때, 구체적인 강화 피드백일반적인 칭찬이나 비특이적 강화 피드백보다 평균 ES 수준이 더 높았으며, 각각 평균 3.83, 3.40, 2.86이었습니다(모든 쌍별 비교에서 p <0.001). 
Considering only narratives classified as reinforcing, specific reinforcing feedback had a higher average ES level than generic praise or nonspecific reinforcing feedback, with means 3.83, 3.40, and 2.86, respectively, (p < 0.001 for all pairwise comparisons).

이러한 결과는 알고리즘이 위임 수준과 관련된 다음과 같은 피드백의 특징을 인식하고 있음을 시사합니다. 

  • (i) 피드백의 세부 수준,
  • (ii) 피드백이 건설적인지 강화적인지 여부,
  • (iii) 피드백이 절차적 기술인지 인지적 기술인지 또는 과제를 반영하는지 여부와 같은 

These findings suggest that the algorithm recognised the following feedback features associated with levels of entrustment:

  • (i) the level of detail of the feedback,
  • (ii) whether the feedback was constructive versus reinforcing and
  • (iii) whether the feedback reflected procedural versus cognitive skills or tasks.

피드백 내러티브를 통한 ES 수준 예측
Prediction of ES levels from feedback narratives

감독된 NLP 알고리즘은 ES 레벨 2~4(높은 수준의 위임, 낮은 수준의 감독)에 대해 중간 정도의 변별력(AUC 0.6~0.7)을 보여주었습니다.40, 41 알고리즘은 이 ES 점수가 할당된 평가의 수가 적기 때문에 가장 낮은 ES 레벨 1(AUC 0.5)을 변별하지 못했습니다. 이러한 결과는 부록 S1의 그림 A1에 각 ES 레벨에 대한 ROC 곡선과 AUC를 보여줍니다. 오른쪽 삽입물은 알고리즘이 예상한 결과를 제공하는지 확인하기 위해 각 내러티브의 ES 수준을 무작위로 지정한 대조 실험(섹션 2 참조)의 결과를 보여줍니다(AUC 0.5는 무작위로 할당된 ES 수준으로 훈련했을 때 알고리즘이 내러티브를 변별할 수 없음을 나타냄). 
The supervised NLP algorithm demonstrated low-to-moderate discrimination ability (AUC 0.6–0.7) for ES Levels 2 through 4 (higher levels of entrustment, lower levels of supervision).40, 41 The algorithm was unable to discriminate the lowest ES level 1 (AUC 0.5) due to the small number (70) of evaluations assigned this ES score. These findings are depicted in Figure A1 of Appendix S1 showing the ROC curves and AUCs for each ES level. The right inset shows the results of the control experiment (see Section 2) where we randomised the ES level of each narrative to verify that the algorithm gave the expected result (an AUC of 0.5 indicating the algorithm's inability to discriminate narratives when trained with randomly assigned ES levels).

4 토론
4 DISCUSSION

우리는 NLP를 사용하여 위임 결정과 피드백이 교육생에게 특정 학습 목표를 달성하는 데 필요한 세부 정보를 제공할 수 있는 방식으로 상호 작용한다는 사실을 발견했습니다. 감독자들은 특정 목표 설정, 즉 높은 수준의 위임을 획득(또는 유지)하고 위임을 획득(또는 유지)하는 방법에 대한 자세한 지침을 제공하는 피드백 프로세스에서 무의식적으로 위임 프레임워크를 사용하는 것으로 보였습니다. 최근 사례 연구에서 슈퍼바이저가 서로 다른 역량 수준의 연수생에게 접근하는 일관성에 의문이 제기되었지만,4 NLP를 통해 더 큰 데이터 세트를 조사하여 ES 수준과 연수생 지도 사이의 두드러진 경향을 밝혀냈습니다. 즉, 위임 척도의 높은 끝과 낮은 끝 모두에서 지침의 세부 수준과 구체성이 증가한다는 점에서, 위임이 슈퍼바이저의 연수생 지도에 영향을 준다는 것을 알 수 있었습니다. 또한 내러티브 평가 데이터의 신뢰성이 이전에 입증된 점을 고려할 때 내러티브의 위임 등급을 예측하는 NLP 알고리즘의 능력은 예상치 못한 것이 아니었습니다.42 알고리즘에 대한 심층 분석을 통해 위임과 특별히 연관된 특징이 밝혀졌습니다. 이러한 특징들을 위임 모델(수련생, 수퍼바이저, 상황, 업무 및 관계) 내에서 구성하여 수퍼바이저가 위임 수준을 할당할 때 고려하는 요소를 제시했습니다.8, 43 한 가지 요소(관계)를 제외한 모든 요소가 데이터에 직접적으로 반영된 것으로 나타났습니다.  
We found by using NLP that entrustment decisions and feedback interacted in a way that could provide trainees with details necessary to achieve specific learning goals. Supervisors appeared to employ, perhaps subconsciously, the entrustment framework in the feedback processes guiding specific goal-setting—i.e. earning (or maintaining) a high level of entrustment—and providing detailed instruction on how to earn (or maintain) that entrustment. While a recent case study cast doubt on the consistency with which supervisors approach trainees at different competency levels,4 NLP allowed us to examine a larger dataset to reveal a prominent trend between ES levels and trainee guidance: the level of detail and specificity of instruction increased at both high and low ends of the entrustment scale, suggesting that entrustment does affect supervisors' guidance of trainees. Further, the ability of the NLP algorithm to predict entrustment ratings of narratives was not unexpected given the previously demonstrated reliability of narrative assessment data.42 Deeper analysis of the algorithm revealed the features specifically associated with entrustment. We framed these features within an entrustment model (trainee, supervisor, context, task and relationship) suggesting factors supervisors considered when assigning entrustment levels.8, 43 All but one factor (relationship) appeared to be directly reflected in our data.

연수생
Trainee

수퍼바이저의 성찰에서 도출된 수련의 요인의 개념화(신뢰성과 관련된 수련의 자질에 초점을 맞춘)와 비교했을 때,15 여기서 확인된 주제는 수련의가 임상 업무를 수행하는 방법의 실용성에 초점을 맞추는 경향이 있었습니다. 실제로 ES 수준이 가장 높거나 낮은 것과 관련된 내러티브는 과제를 어떻게 유능하게 수행했거나 수행했어야 하는지에 대한 구체적인 세부 사항에 집중하는 것으로 나타났습니다. 위임의 사용은 이러한 세부 사항을 불러일으키는 데 도움이 되었을 수 있습니다. 교육생에 대한 감독자의 긍정적인 감정(칭찬 및 강화 진술에 반영됨)은 유능한 교육생의 성과에 대한 구체적인 증거를 인용하는 것보다 덜 중요한 것으로 보였으며, [일반적인 칭찬]이나 [비특이적 강화 피드백]보다 [구체적인 성과에 대한 강화 피드백]이 평균 ES 수준이 더 높았습니다. 
Compared with conceptualizations of the trainee factor derived from supervisor reflections (that focused on trainee qualities associated with trustworthiness),15 the themes identified here tended to focus on the practicalities of how trainees perform clinical tasks. Indeed, the narratives associated with the highest and lowest ES levels appeared to centre on the specific details of how a task was, or should have been, performed competently. The use of entrustment may have helped to engender these details. Supervisors' positive sentiments about trainees (reflected by praise and reinforcing statements) appeared to be less important than their citing specific evidence of competent trainee performance—specific reinforcing feedback had a higher average ES level than generic praise or nonspecific reinforcing feedback.

감독자들이 과제별 증거에 집중하는 것은 효과적인 피드백은 학생의 특성보다는 학생의 성과와 관련되어야 한다는 Gibbs 등의 명제를 반영합니다.44 낮은 ES 수준을 할당할 때, 감독자들은 더 높은 수준의 위임을 받기 위해 연수생이 앞으로 수행해야 할 구체적인 단계를 상세하게 설명했습니다. 이 결과는 위임 척도 사용이 피드백에 미치는 영향에 대한 Dolan 등 및 Dudek 등의 연구와 건설적인 피드백은 구체적이고 미래의 방향을 포함해야 한다는 결론을 내린 여러 연구를 뒷받침합니다.45-48 또한, 본 연구 결과는 수퍼바이저가 수련생에게 제공하는 지도의 양이 위임 결정에 영향을 미치는 주요 요인이며, 지도의 필요성이 증가할수록 ES 수준이 낮아진다는 Robinson 등의 최근 질적 인터뷰 결과를 뒷받침합니다.11 따라서 낮은 ES 수준에 대한 본 연구 결과는 이러한 선행 연구의 맥락에서 예상되는 것이지만, 가장 높은 ES 수준에서도 서술의 세부 수준이 높아진 것은 다소 의외입니다. 이 결과는 감독자가 더 높은 수준의 위임을 선택한 이유와 이를 뒷받침할 수 있는 증거의 가용성과 관련이 있을 수 있습니다. 
Supervisors' focus on task-specific evidence mirrors Gibbs et al.'s proposition that effective feedback should relate to students' performance rather than their characteristics.44 When assigning low ES levels, supervisors detailed specific steps for trainees to perform in the future, to earn higher levels of entrustment. This finding corroborates the work of Dolan et al. and Dudek et al. on the effects of using an entrustment scale on feedback, as well as several studies concluding that constructive feedback should be specific and contain future direction.45-48 In addition, our results support Robinson et al.'s recent finding from qualitative interviews that the amount of guidance a supervisor provided to a trainee was the primary factor that influenced their entrustment decision, where an increasing need for guidance led to lower ES levels.11 While our results about low ES levels are thus expected in the context of these prior studies, it is somewhat surprising that the level of narrative detail was also increased at the highest ES levels. This finding may relate to how supervisors justified their choice of higher entrustment and the availability of evidence to support it.

감독자
Supervisor

피드백의 세부 수준에 대한 조사 결과는 수퍼바이저가 위임을 정당화할 때 공정성에 대한 고려를 반영할 수도 있습니다.

  • 세부 수준이 높을수록 피드백의 공정성에 대한 인식이 높아지는 것으로 생각되며,49 이는 또한 수퍼바이저가 ES 수준을 높고 낮게 지정할 때 더 구체적이고 세부적으로 지정하는 경향이 있는 이유를 설명할 수 있습니다.
  • 최고 또는 최저 ES 등급을 선택하는 데 대한 슈퍼바이저의 자신감 부족은 관찰 및 피드백 제공에 대한 슈퍼바이저의 참여가 적기 때문일 수 있습니다.50 또한, 중간 ES 등급에서 세부 사항이 부족하다는 것은 슈퍼바이저가 더 높거나 낮은 ES 등급을 명확하게 정당화할 증거가 부족하다는 것을 반영할 수 있습니다.
  • 피드백을 강화하는 '일반적인' 칭찬은 아직 더 높은 수준의 위임을 받을 자격이 없는 학생을 격려하려는 감독자의 시도로 볼 수 있습니다.51 

Our findings about the level of detail of feedback may also reflect supervisors' considerations of fairness in justifications of entrustment.

  • An increased level of detail is thought to support perceptions of fairness in feedback,49 which could also explain why supervisors tended to be more specific and detailed when assigning both higher and lower ES levels.
  • Lack of supervisor confidence to choose the highest or lowest ES levels may be a consequence of less supervisor participation in the exercise of observing and giving feedback.50 Furthermore, the lack of detail at the middle ES ratings may reflect supervisors' lack of evidence to clearly justify a higher or lower ES rating.
  • ‘Generic’ praise as reinforcing feedback could be seen as supervisors' attempts to encourage students who did not yet deserve higher levels of entrustment.51

맥락과 과제
Context and task

본 연구는 위임 결정에서 맥락과 과제 요인의 중요성을 강조하는 동시에 추가적인 질문을 제기합니다. 감독자들은 인지적 과제(환자 의사소통 및 임상적 추론 포함)에 비해 절차적 과제(수술 및 검사 기술 포함)에 대해 더 낮은 ES 수준을 부여하는 경향이 있었습니다. 이러한 과제 유형의 효과는 의과대학 초기에 절차적 기술을 쌓을 기회보다는 인지적 기술(환자 사례, 임상 추론, 기초 과학 등)을 쌓는 데 중점을 두는 것을 반영할 수 있습니다.52 또는 수행되는 전문 분야(예: 외과 대 내과), 학생과 레지던트 수련의에게 업무를 맡기는 임상 문화의 잠재적 차이 또는 편견을 반영할 수도 있습니다.53 마지막으로, 이 발견은 시술의 자율성에 대한 어포던스가 제한될 수 있고 환자 안전에 대한 우려가 높기 때문에, 임상실습 기간 동안 의대생이 인지적 과제에 비해 절차적 과제에 대해 지각(감독자 편견 또는 평가 척도에 대한 이해로 인해) 또는 실제 신뢰도에 내재된 차이를 추가로 반영할 수 있습니다.53 이러한 기여를 분석하려면 추가 연구가 필요하지만, 우리의 결과는 수련의 및 감독자의 고려 사항과는 별개로 과제 및 상황 요인의 영향에 대한 직접적인 증거를 제공한다는 것은 분명합니다. 
Our study highlights the importance of context and task factors in entrustment decisions while raising further questions. Supervisors tended to assign lower ES levels for procedural tasks (including surgical and exam skills) compared with cognitive tasks (including patient communication and clinical reasoning). This effect of task type may reflect the focus during the early years of medical school on cognitive skill-building (such as patient cases, clinical reasoning and basic sciences) rather than opportunities for building procedural skills.52 Alternatively, it may reflect context—the specialty in which it is performed (i.e. surgery versus medicine) and potential differences or biases in clinical cultures' tendencies to entrust student versus resident trainees.53 Finally, this finding may additionally reflect an inherent difference in perceived (due to supervisor bias or understanding of the rating scale) or actual trustworthiness of medical students for procedural tasks compared with cognitive ones during the clerkship years, because affordances for autonomy in procedures may be limited and concerns about patient safety are high.53 While further investigation is needed to parse these contributions, it is clear that our results provide direct evidence of the effects of task and context factors independent from trainee and supervisor considerations.

AI는 문헌에 보고되지 않은 인사이트를 제공했지만, 이는 의료 분야와 그 밖의 분야에서 최근의 ML 성과에 기반이 되는 DNN의 새로운 기능을 통해서만 가능했습니다.54, 55 동시에 이러한 복잡한 네트워크가 어떻게 '사고' 또는 '학습'하는지는 평가하기 어려웠으며, 이는 AI의 '블랙박스' 문제를 보여줍니다.24 연구자들은 설명 가능한 AI 기술을 사용하여 전자 의료 기록을 검토하고 재입원과 관련된 요인을 파악하고 방사선과에서 병리 분류에 중요한 이미지의 특징을 강조하는 데 사용했습니다.56-58 우리의 절차는 ES 수준에 연결된 특정 인공 뉴런을 활성화하는 단어와 문장을 식별하여 NLP에 유사한 설명 가능한 AI 전략을 도입합니다. NLP를 설명 가능하게 만들기 위한 노력이 계속되고 있지만,28,59,60 우리의 방법론은 이제 의학교육 연구자들이 그러한 인사이트에 접근할 수 있게 해줍니다. 이 방법론은 의학교육 연구자가 기존의 질적 방법으로는 평가하기 어려울 수 있는 엄청나게 큰 내러티브 데이터베이스에서 주제를 탐색할 수 있도록 AI 매개 지원을 제공함으로써 기존의 질적 및 혼합 방법 분석을 보강합니다(예: 리소스 제한으로 인해 선택적 샘플링이 필요하거나 코딩 일관성 제한으로 인해 전체 데이터 집합을 고려하지 못할 수 있음).25 질적 데이터를 정량적으로 평가하는 새로운 도구를 제공하여 질적 데이터와 범주형 또는 연속형 변수 간의 연관성을 조사하고 그러한 연관성에 기여하는 요소를 밝혀야 하는 시나리오에 적용할 수 있습니다. 예를 들어, 고품질 노트와 관련된 요인을 파악하고 이러한 요인을 자동화된 피드백의 기초로 사용하여 교육생에게 문서 품질에 대한 피드백을 제공하는 데 사용할 수 있습니다. 
While AI provided insights that have not been reported in the literature, this only happened through the emerging capabilities of the DNNs underlying recent ML achievements in healthcare and beyond.54, 55 At the same time, how these complex networks ‘think’ or ‘learn’ has been difficult to assess, illustrating AI's ‘black box’ issue.24 Researchers have used explainable AI techniques to review electronic health records and determine factors associated with readmission and in radiology for highlighting features of images important to pathology classification.56-58 Our procedure brings a similar explainable AI strategy to NLP by identifying words and sentences that activate specific artificial neurons tied to ES levels. While there are ongoing efforts to make NLP explainable,28, 59, 60 our methodology makes such insights accessible to medical education researchers now. Our methods augment traditional qualitative and mixed-methods analysis by giving medical education researchers AI-mediated assistance to explore themes in prohibitively large narrative databases that may be difficult to assess with traditional qualitative methods (i.e. resource limitations may lead to selective sampling, or coding consistency limitations may restrict consideration of the entire dataset).25 The methodology provides a new tool to assess qualitative data quantitatively, applying to scenarios in which associations between qualitative data and a categorical or continuous variable need to be examined and the factors contributing to such associations elucidated. For example, it could be used to provide trainees with feedback on the quality of their written documentation by both identifying factors associated with high-quality notes and using these factors as a basis for automated feedback.

이 연구에는 한계가 있습니다. 데이터 세트 수집 방식을 변경하면 위임(일반적인 피드백 대비)과 결과의 관련성을 개선할 수 있습니다. 첫째, 피드백 내러티브 프롬프트는 (감독자에게 할당된 ES 수준을 정당화하도록 요청하는 것과 달리) 비특이적이었습니다. 또 다른 한계는 후향적('얼마나 많은 슈퍼비전이 제공되었습니까?') ES 척도의 성격이었습니다.33 전향적 ES 척도('향후 사례에 대해 얼마나 많은 슈퍼비전이 권장됩니까?')였다면 내러티브와 할당된 척도 값 사이에 더 강력한 연결 고리를 제공했을 것입니다.61 실제로, 낮은 수준에서 중간 수준의 예측 능력(부록 S1의 그림 A1)은 알고리즘 자체의 약점이 아니라 데이터 수집 도구가 부과한 한계를 반영하는 것일 수 있습니다.42 의학 텍스트에 대해 사전 학습된 어휘집을 사용하는 것도 결과를 개선할 수 있지만, 최근 연구에 따르면 어휘집 선택이 분류에 큰 영향을 미치지 않을 수 있다고 합니다.62 위임 요인과 관련하여, 교수 수퍼바이저와 레지던트 수퍼바이저 간의 결과를 비교하여 수퍼바이저 요인의 명확성을 검토할 수도 있습니다.9 우리의 데이터는 관계 요인에 대한 유의미한 증거를 밝히지 못했으며, 이는 수퍼바이저와 수련의의 종적 짝을 중심으로 데이터 집합을 수집함으로써 잠재적으로 해결될 수 있을 것입니다. 이 연구의 또 다른 한계(결과의 일반화 가능성에 영향을 미침)로는 단일 기관에서 수집했다는 점, 주로 임상실습 연도에 초점을 맞췄다는 점, 상업적으로 훈련된 NLP 애플리케이션에 비해 훈련 데이터의 가용성이 제한적이라는 점을 들 수 있습니다. 
This study has limitations. The relevance of our results to entrustment (versus feedback in general) could be improved by making changes to how our dataset was collected. Firstly, the feedback narrative prompt was nonspecific, as opposed to asking supervisors to justify the ES levels assigned. Another limitation was the nature of the retrospective (i.e. ‘how much supervision was provided?’) ES scale.33 A prospective ES scale (‘how much supervision is recommended for future instances?’) might have provided a stronger link between the narratives and assigned scale values.61 Indeed, the low-to-moderate predictive abilities (Figure A1 of Appendix S1) likely do not reflect a weakness of the algorithm itself but rather a ceiling imposed by the data collection instrument.42 Using a lexicon pretrained on medical texts may also improve results, but a recent study suggests that lexicon choice may not significantly impact classification.62 With respect to entrustment factors, clarification of the supervisor factor could also be examined by comparing results between faculty supervisors and resident supervisors.9 Our data did not reveal significant evidence for the relationship factor, which may potentially be addressed by collecting a dataset focused on longitudinal pairings of supervisors and trainees. Additional limitations of this study (affecting generalizability of our results) include collection at a single institution, the focus primarily on the clerkship year and the limited availability of training data compared to commercially trained NLP applications.

5 결론
5 CONCLUSIONS

결론적으로, 위임 중심 피드백 상호작용은 학습자가 임상 과제를 수행할 수 있는 역량을 갖추도록 구체적인 단계를 안내할 수 있으며, 위임 척도의 양 극단에서 더 많은 세부 정보를 제공하고 있다. 본 연구 결과는 감독자의 관점에 기반하여 Hauer 등이 발전시킨 이전 모델을 확증하는 한편, 위임 기반 평가에서 이러한 요소가 교육생-감독자 피드백 상호작용 내에서 어떻게 작용하는지를 보여줍니다. 본질적으로 위임의 프레임워크에는 더 높은 수준의 위임을 받는다는 목표가 내재되어 있으며, 따라서 이 목표를 달성하는 데 필요한 역량을 중심으로 피드백 프로세스63가 이루어지는 것으로 보입니다. 우리의 혁신적인 ML 접근 방식은 기존에는 불투명한 NLP 알고리즘으로만 가능했던 복잡한 분류 작업에 대한 투명성을 확보하여 NLP에서 설명 가능한 AI를 향해 한 걸음 더 나아가고 있습니다. 이러한 기술을 더욱 발전시키면 형성 평가 데이터의 사용을 강화하여 학습자의 성과를 파악하고 향후 학습 및 환자 치료를 안내할 수 있습니다. 

In conclusion, entrustment-centred feedback interactions can drive concrete steps in guiding the learner towards achieving competence to perform clinical tasks, with increasing detail provided at both extremes of the entrustment scale. While our results corroborate prior models advanced by Hauer et al. and Holzhauzen et al. based on supervisor perspectives, our results reveal how these factors operate within trainee–supervisor feedback interactions within entrustment-based assessment. In essence, the framework of entrustment carries the built-in goal of earning higher levels of entrustment, thus appearing to centre feedback processes63 around the competencies needed to achieve this goal. Our innovative ML approach creates transparency around complex classification tasks traditionally afforded only by opaque NLP algorithms, taking a step towards explainable AI in NLP. Further developing these techniques can strengthen the use of formative assessment data to understand learner performance and guide their future learning and patient care.


 

 

Med Educ. 2022 Mar;56(3):303-311. doi: 10.1111/medu.14696. Epub 2021 Dec 1.

 

 

Exploring how feedback reflects entrustment decisions using artificial intelligence

Affiliations collapse

1Department of Pediatrics, University of California San Francisco, San Francisco, CA, USA.

2Utrecht Center for Research and Development of Health Professions Education, University Medical Center, Utrecht, The Netherlands.

3Department of Medicine, University of California San Francisco, San Francisco, CA, USA.

4Department of Surgery, University of California San Francisco, San Francisco, CA, USA.

5Department of Anesthesia, University of California San Francisco, San Francisco, CA, USA.

PMID: 34773415

DOI: 10.1111/medu.14696

Abstract

Context: Clinical supervisors make judgements about how much to trust learners with critical activities in patient care. Such decisions mediate trainees' opportunities for learning and competency development and thus are a critical component of education. As educators apply entrustment frameworks to assessment, it is important to determine how narrative feedback reflecting entrustment may also address learners' educational needs.

Methods: In this study, we used artificial intelligence (AI) and natural language processing (NLP) to identify characteristics of feedback tied to supervisors' entrustment decisions during direct observation encounters of clerkship medical students (3328 unique observations). Supervisors conducted observations of students and collaborated with them to complete an entrustment-based assessment in which they documented narrative feedback and assigned an entrustment rating. We trained a deep neural network (DNN) to predict entrustment levels from the narrative data and developed an explainable AI protocol to uncover the latent thematic features the DNN used to make its prediction.

Results: We found that entrustment levels were associated with level of detail (specific steps for performing clinical tasks), feedback type (constructive versus reinforcing) and task type (procedural versus cognitive). In justifying both high and low levels of entrustment, supervisors detailed concrete steps that trainees performed (or did not yet perform) competently.

Conclusions: Framing our results in the factors previously identified as influencing entrustment, we find a focus on performance details related to trainees' clinical competency as opposed to nonspecific feedback on trainee qualities. The entrustment framework reflected in feedback appeared to guide specific goal-setting, combined with details necessary to reach those goals. Our NLP methodology can also serve as a starting point for future work on entrustment and feedback as similar assessment datasets accumulate.

일반외과에서 NLP와 EPA에 대한 텍스트 피드백: 머신러닝 모델과 전공의 자율성(Am J Surg. 2021)
Natural language processing and entrustable professional activity text feedback in surgery: A machine learning model of resident autonomy 
Christopher C. Stahl a, Sarah A. Jung a, Alexandra A. Rosser a, Aaron S. Kraut b, Benjamin H. Schnapp b, Mary Westergaard b, Azita G. Hamedani b, Rebecca M. Minter a, Jacob A. Greenberg a, *

소개
Introduction

외과 교육은 현장과 환자의 요구를 충족하기 위해 끊임없이 진화하고 있습니다. 외과 졸업생이 수련을 마친 후 독립적으로 수술할 수 있는 능력에 대한 우려로 인해 외과에서 역량 기반 교육이 추진되고 있습니다.1 역량 기반 교육과 관련된 근본적인 과제 중 하나는 역량 측정입니다. 레지던트가 언제 독립적으로 안전하게 수술할 준비가 되었는지 어떻게 알 수 있을까요? 
Surgical education is constantly evolving to meet the needs of the field and its patients. There has been a push towards competency-based education in Surgery due to concerns about the ability of surgical graduates to operate independently upon completion of their training.
1 One of the fundamental challenges involved in competency-based education is the measurement of competency: how do we know when a resident is ready to safely practice independently?

위임 가능한 전문 활동(EPA)은 의학전문대학원 교육에서 위임 결정을 정의하고 표준화하는 데 도움을 주기 위해 개발된 새로운 역량 기반 평가 프레임워크입니다. EPA는 특정 전문과목에 종사하는 의사의 필수 활동을 나타냅니다. 현재 일반외과에 대해 5개의 EPA가 존재하며, 레지던트가 EPA 평가를 완료할 때마다 교수진이 미세평가를 완료합니다. 미세 평가는 숫자 점수('관찰만'에서 '다른 사람 감독'에 이르는 0~4점)와 전문 활동에 대한 피드백을 제공하는 자유 텍스트 의견 옵션으로 구성됩니다.2 각 EPA는 해당 '위임 로드맵'과 함께 게시되며, 각기 다른 0~4 위임 수준에 해당하는 레지던트가 보여준 행동에 대한 서술형 텍스트 설명이 포함되어 있습니다. 이러한 위임 로드맵은 내러티브 코멘트 내에서 특정 행동에 대한 점수 할당 및 토론을 안내하기 위한 것입니다.  
Entrustable Professional Activities (EPAs) are a novel competency-based assessment framework developed to help define and standardize entrustment decisions in graduate medical education. EPAs represent the essential activities of a practicing physician in a given specialty. Five EPAs currently exist for general surgery, and each time a resident completes an EPA evaluation, faculty complete a microassessment. The microassessment consists of a numeric score (0–4, ranging from “observation only” to “supervising others”) and an option for free text comments giving feedback on the professional activity.2 Each EPA is published with a corresponding ‘entrustment roadmap’, a narrative text description of the behaviors demonstrated by the resident that correspond to the different 0–4 entrustment levels. These entrustment roadmaps are meant to guide score assignment and discussion of specific behaviors within the narrative comments.

이러한 위임 로드맵은 ABS, APDS, RRC 및 RAS의 대표로 구성된 전문가 위원회에서 신중하게 작성되었습니다.2 그러나 당시에는 실제로 외과의사 교육자들이 각 EPA 위임 수준에 대해 대표적인 행동으로 간주하는 것이 무엇인지에 대한 데이터가 거의 없었습니다. 각 위임 수준과 관련된 실제 EPA 의견에 대한 심층 분석은 "현장에 있는" 외과 교수진이 레지던트 위임에 대해 중요하게 생각하는 것이 무엇인지에 대한 중요한 통찰력을 제공할 수 있습니다. 또한 이 데이터는 일상적인 관행을 더 잘 반영하기 위해 EPA 위임 로드맵을 반복적으로 수정하는 데 사용될 수 있습니다. 
These entrustment maps were carefully written by an expert committee with representation from the ABS, APDS, RRC, and RAS.2 However, at that time there was very little data on what surgeon educators out in practice considered representative behaviors for each EPA entrustment level. An in-depth analysis of real-world EPA comments associated with each given entrustment level can offer important insight into what “boots on the ground” surgical faculty consider important for resident entrustment. Additionally, this data could be used to iteratively revise the EPA entrustment roadmaps to better reflect daily practice.

이 연구는 자연어 처리(NLP)의 힘을 활용하여 이러한 분석을 수행합니다. 잠재 디리클레 할당(LDA) 주제 모델링을 사용하여 EPA 내러티브 피드백 내에서 잠재 주제를 식별했습니다. 이러한 코멘트 내에서 위임 가능한 전문 활동(EPA) 프레임워크에 정의된 다양한 위임 수준에 일관되게 매핑되는 주제를 식별하는 LDA 알고리즘의 능력을 평가했습니다. 그런 다음 식별된 주제를 검토하여 컴퓨터로 생성된 이러한 주제를 위임 수준에 매핑하는 것이 인간 평가자가 이해할 수 있는지 여부를 결정했습니다. 
This study harnesses the power of natural language processing (NLP) to perform such an analysis. Latent Dirichlet allocation (LDA) topic modeling was used to identify latent topics within EPA narrative feedback. We assessed the ability of the LDA algorithm to identify topics within these comments that consistently mapped to different entrustment levels as defined within the Entrustable Professional Activities (EPA) framework. We then reviewed the identified topics to determine if the mapping of these computer-generated topics to entrustment levels was comprehensible to human raters.

자료 및 방법
Material and methods

EPA 데이터
EPA data

우리 기관은 외과 교육에서 위임 가능한 전문 활동(EPA)에 대한 미국 외과학회(ABS)의 전국적 파일럿 시험에 참여하고 있습니다. 앞서 설명한 바와 같이, EPA 평가에 대한 우리의 실행 전략에는 레지던트와 교수진이 위임 점수("관찰만"에서 "다른 사람 감독"에 이르는 0~4점)와 레지던트의 성과에 대한 자유 텍스트 의견을 모두 포함하는 EPA 평가를 제출할 수 있는 휴대폰 애플리케이션이 포함됩니다.3 평가는 2018년 7월부터 2020년 1월까지 현재 시범 시험 중인 5개 일반외과 EPA(일반 외과 상담, 외상, 담낭 질환, 우하단부 통증, 사타구니 탈장)에 대해 수집했습니다. 레지던트에 대한 교수진의 평가만 분석에 포함되었습니다. 이 실행 전략의 독특한 특징은 외과 및 응급의학과 교수진이 레지던트에 대한 교수 평가를 수행하는 등 여러 부서의 협업을 통해 이루어졌다는 점입니다. 이 두 교수진 그룹이 수행한 평가는 모두 분석에 포함되었습니다. 
Our institution is participating in the national American Board of Surgery (ABS) pilot trial of Entrustable Professional Activities (EPAs) in surgical education. As previously described, our implementation strategy for EPA assessment involves a mobile phone application to which residents and faculty can submit EPA assessments containing both an entrustment score (0–4, ranging from “observation only” to “supervising others”) and free text comments on the resident’s performance.3 Assessments were collected for the five general surgery EPAs currently in the pilot trial (General Surgical Consultation, Trauma, Gallbladder Disease, Right Lower Quadrant Pain, Inguinal Hernia) from July 2018 to January 2020. Only faculty assessments of residents were included in the analysis. A unique feature of our implementation strategy is multi-departmental collaboration, with faculty evaluations of residents performed by both Surgery and Emergency Medicine faculty. Assessments performed by both of these faculty groups were included in the analysis.

토픽 모델링
Topic modeling

자연어 처리(NLP)는 자연어 데이터와 상호 작용하기 위해 컴퓨터를 활용하는 것을 포함합니다. 토픽 모델링은 텍스트 데이터의 말뭉치(본문) 내에 존재하는 토픽을 발견하기 위해 고안된 NLP의 하위 집합입니다. 좀 더 기술적인 수준에서는 텍스트에서 용어(단어) 발생 빈도에 대한 확률적 프레임워크를 제공하는 생성 통계 모델입니다.4 NLP 및 기계 학습 분야의 상당한 발전에도 불구하고, 대부분의 텍스트 컴퓨터 분석은 여전히 단어장 모델을 사용하여 데이터와 상호 작용하고 있다는 점에 유의하세요. 향후에는 컴퓨터가 '개념 가방' 또는 '서술 가방'과 같이 인간에게 더 친숙한 방식으로 텍스트와 상호 작용할 수 있게 되겠지만, 현재는 '단어 가방' 모델이 우세합니다.5 즉, 이러한 방법을 사용하여 생성된 주제는 주어진 주제에 속할 가능성(단어 분포)에 따라 정렬된 단어 목록이며 여전히 사람의 해석이 필요합니다.6 
Natural language processing (NLP) involves the utilization of computers to interact with natural language data. Topic modeling is a subset of NLP designed to uncover topics present within a corpus (body) of text data. On a more technical level, these are generative statistical models that provide a probabilistic framework for the frequency of term (word) occurrence in text.4 Of note, despite significant advances in the fields of NLP and machine learning, most computational analyses of text still interact with data using a bag-of-words model. Future developments may allow computers to interact with text in a more humanly familiar way, such as a ‘bag-of-concepts’ or ‘bag-of-narratives’, but currently bag-of-words models predominate.5 This means that the topics generated using these methods are lists of words ordered by likelihood of belonging to a given topic (a distribution over words) and still require human interpretation.6

잠재 디리클레 할당
Latent Dirichlet Allocation

잠재 디리클레 할당(LDA)은 토픽 모델링에 사용되는 일반적인 접근 방식입니다. LDA는 문서에 존재하는 단어를 토픽으로 할당하기 위해 디리클레 분포를 사용하여 텍스트 말뭉치에서 숨겨진(잠재) 토픽을 식별하는 데 사용되는 생성적, 확률적, 베이지안, 비지도 머신 러닝 알고리즘입니다.4,7 할당 과정을 간단히 살펴보면 다음과 같습니다.

  • 알고리즘은 데이터 코퍼스의 모든 단어를 k개의 토픽 중 하나에 무작위로 할당합니다(토픽 수[k]는 사용자가 미리 지정함).
  • 그런 다음 알고리즘은 단일 단어에 대한 토픽을 "버린"다음 다른 모든 단어의 분포를 기반으로 해당 단어가 할당될 가능성이 가장 높은 토픽을 다시 계산합니다.
  • 그런 다음 해당 단어를 가장 가능성이 높은 토픽에 다시 할당하고 말뭉치의 모든 단어를 다시 할당할 때까지 다음 단어에 대해 이 과정을 반복합니다.
  • 이 프로세스는 단어가 새로운 주제에 지속적으로 할당되는 것을 멈출 때까지(즉, 추정치가 안정 상태에 도달할 때까지) 수천 번 반복됩니다

Latent Dirichlet Allocation (LDA) is a common approach used for topic modeling. LDA is a generative, probabilistic, Bayesian, unsupervised machine learning algorithm used to identify hidden (latent) topics in text corpora using a Dirichlet distribution to allocate the words present in documents into topics.4,7 A simplified view of the allocation process is as follows:

  • the algorithm randomly assigns every word in the corpus of data to one of k topics (the number of topics [k] is pre-specified by the user).
  • The algorithm then “throws out” the topic for a single word and re-calculates the topic to which that word is most likely to be assigned based on the distribution of all other words.
  • It then reassigns that word to its most likely topic and repeats the process for the next word until it has reassigned all words in the corpus.
  • This process is repeated thousands of times, until the words stop consistently getting reassigned to new topics (i.e., the estimates have reached a steady state).

해석
Interpretation

LDA 프로세스가 완료되면 문서-토픽 확률(감마)단어-토픽 확률(베타)을 생성합니다.8

  • LDA는 각 문서를 토픽의 혼합으로 모델링하며, 각 문서-토픽 쌍에는 해당 토픽으로 구성된 문서의 비율을 나타내는 감마가 있습니다. 감마는 확률처럼 보고되며, 값이 1이면 해당 문서의 100%가 해당 토픽으로 구성되어 있음을 의미하고 0이면 0%를 나타냅니다.
  • 각 토픽은 단어의 분포로 구성되며, 각 단어에는 단어-토픽 확률(베타)이 있으며 베타가 높을수록 해당 단어가 해당 토픽에 포함될 가능성이 높습니다. 각 단어는 다양한 확률로 여러 토픽에 나타날 수 있습니다. LDA를 사용하여 식별된 토픽은 베타 값이 감소하는 순서대로 정렬된 단어 가방입니다.

이러한 용어에 대한 요약은 표 1에서 확인할 수 있습니다. 
After the LDA process is complete, it generates document-topic probabilities (gamma), and word-topic probabilities (beta).8 

  • LDA models each document as a mixture of topics—each document-topic pair has a gamma that represents proportion of the document made up of that topic. Gamma is reported like a probability, with a value of 1 meaning that 100% of that document is made up of the given topic, and a value of zero indicating 0%.
  • Each topic consists of a distribution of words—each word has a word-topic probability (beta), with a higher beta representing a higher likelihood of that word being present in the corresponding topic. Each word may appear in multiple topics, albeit with varying probability. The topics identified using LDA are bags-of-words ordered by decreasing beta values.

A summary of these terms can be found in Table 1.

분석
Analysis

LDA 분석을 위해 EPA 코멘트는 축약어와 특수 문자를 제거하여 정리한 다음 R의 tm 패키지를 사용하여 개별 단어로 토큰화했습니다.9 정지어("the", "and" 등과 같이 일반적으로 의미가 거의 없는 영어에서 일반적으로 사용되는 단어)는 세 글자 미만의 모든 단어와 함께 제거되었습니다. 중복된 단어는 제거되지 않았습니다. 위임 수준이 0인 평가는 빈도가 낮아 제거되었습니다(1015개 중 n = 8개). 토픽모델 패키지는 데이터의 EPA 위임 수준("1", "2", "3", "4")과 일치하도록 k 토픽을 4로 설정한 표준 변형 기대 최대화(VEM) 알고리즘을 사용하여 LDA 분석을 수행하는 데 사용되었습니다.4 문서별 토픽 분포에 대한 디리클레 선행의 매개변수인 알파는 토픽모델 패키지 기본값인 50/k에 따라 시작값이 할당되었습니다. 이 분석은 '유니그램'(단일 단어) 항목을 사용하여 수행되었습니다. '준비되지 않음' 또는 '유능하지 않음'과 같은 부정적 수식어의 영향을 포착하기 위해 유니그램 + 빅그램(두 단어 항목) 결합 분석을 사용하여 분석을 반복했습니다. 빅그램의 추가는 결과에 큰 영향을 미치지 않았으며 단순화를 위해 이 원고에서는 생략했습니다. 문서-토픽 확률(감마)을 사용하여 LDA에서 생성된 토픽과 EPA 위임 수준의 매핑을 분석했습니다. 이 분석은 각 개별 EPA(외상, 일반 외과 상담 등)에 대해 반복되었습니다. 
EPA comments were cleaned for LDA analysis by removing contractions and special characters and then tokenized into individual words using the tm package in R.9 Stop words (commonly used words in the English language that typically provide little meaning such as “the”, “and”, etc.) were removed, along with any words less than three letters long. Duplicate words were not removed. Assessments with an entrustment level of 0 were removed due to low frequency (n = 8 out of 1015). The topicmodels package was used to perform the LDA analysis using the standard variational expectation-maximization (VEM) algorithm with k topics set at 4 to match the number of EPA entrustment levels (“1”, “2”, “3”, “4”) in the data.4 Alpha, the parameter of the Dirichlet prior for the per-document topic distribution, was assigned a starting value per the topicmodels package default of 50/k. This analysis was performed using ‘unigram’ (single word) items. The analysis was repeated using a combined unigram + bigram (two word item) analysis to help capture the impact of negative modifiers such as ‘not ready’ or ‘not competent’. The addition of bigrams did not significantly impact the results and were omitted from this manuscript for simplicity. The mapping of LDA-generated topics to EPA entrustment levels was analyzed using document-topic probabilities (gammas). This analysis was repeated for each individual EPA (Trauma, General Surgical Consultation, etc.).

각 주제와 연관된 상위 10개 단어(단어-주제 확률[베타]를 사용하여 계산)를 수동으로 검토하여 주제가 위임 수준과 일관되게 일치하는지 확인했습니다. 한 명의 외과 레지던트가 위임 수준에 따라 다르며 자율성과 연관된 단어를 식별했습니다. 이러한 단어는 위임 수준에 따라 색상이 지정된 상자(낮음=빨간색, 중간=노란색, 높음=초록색)를 사용하여 수동으로 강조 표시한 다음 다른 저자 4명(외과의사 및 교육 과학자)이 이 과제를 검토했습니다. 이 수동 검토는 체계적이지 않고 비구조적이라는 점에 유의하는 것이 중요합니다. 토픽 모델링으로 생성된 토픽을 해석하는 한 가지 방법은 없으며, 토픽 모델링을 시도하는 모든 그룹은 특정 프로젝트의 요구 사항에 적합한 방법을 선택하는 것이 좋습니다. 이 수동 검토는 컴퓨터로 생성된 주제가 사람이 이해할 수 있는지 신속하게 확인하는 방법으로, EPA 평가 수준을 그룹으로 완벽하게 분류했지만 해석 가능한 패턴이나 내러티브를 제공하지 못하는 주제는 실제 유용성이 제한될 수 있습니다. 
The top ten words associated with each topic (calculated using word-topic probabilities [betas]) were manually reviewed to determine if the topics coherently corresponded to the entrustment levels. A single surgery resident identified words that differed between entrustment levels and were associated with autonomy. These words were manually highlighted using boxes colored according to the level of entrustment they appeared to represent (low = red, intermediate = yellow, high = green) and then these assignments were reviewed by 4 other authors (surgeons and education scientists). It is important to note that this manual review was unstructured, and not systematic. There is no one way to interpret the topics created by topic modeling, and we recommend that any group attempting to do so select a method well suited to the needs of their specific project. This manual review was a way to quickly check that the computer-generated topics were understandable by humans—topics that perfectly sorted EPA assessment levels into groups but failed to provide any interpretable pattern or narrative would have limited real-world utility.

이 프로젝트는 기관 보건 과학 IRB의 검토를 거쳐 공식적인 검토가 면제된 것으로 인증되었습니다. 사전 동의는 면제되었습니다. 모든 데이터 분석 및 시각화는 R 3.6.1(오스트리아 비엔나, 통계 컴퓨팅을 위한 R 재단)을 사용하여 수행되었습니다. 
This project was reviewed by the institutional Health Sciences IRB and certified as exempt from formal review. Informed consent was waived. All data analysis and visualizations were performed using R 3.6.1 (R Foundation for Statistical Computing, Vienna, Austria).

결과
Results

LDA-EPA 상관관계
LDA-EPA correlation

2018년 7월부터 2020년 1월까지 1015개의 교수진 EPA 평가가 수집되었으며, 이 중 97%는 자유 텍스트 코멘트와 연관되어 있었습니다. 이러한 코멘트는 32,215개의 단어로 구성되었습니다. 중지 단어, 길이가 3글자 미만인 단어, 레벨 0 평가를 제거한 후 13,364개의 단어가 남았습니다. 단어는 모든 EPA에 고르게 분포되어 있었으며, 각 EPA에는 최소 1831개의 단어가 포함되어 있었습니다. 
1015 faculty EPA assessments were collected between July 2018 and January 2020; 97% of these assessments were associated with free text comments. These comments consisted of 32,215 words. After removal of stop words, words less than three letters in length, and level 0 assessments, 13,364 words remained. Words were well distributed across all EPAs, with each EPA containing at least 1831 words.


5개의 EPA를 모두 단일 그룹으로 분석했을 때, LDA 알고리즘은 1:1로 매핑되는 토픽을 EPA 위임 수준 1-4에 식별할 수 있었습니다(모든 감마 >0.99)(그림 1). 안타깝게도 이러한 주제는 수준 간 위임의 차이보다는, 각 위임 수준에 일반적으로 할당되는 서로 다른 EPA를 정성적으로 반영했습니다. 따라서 더 의미 있는 토픽이 생성되는지 확인하기 위해 개별 EPA에 대해 개별적으로 LDA 분석을 반복했습니다. 그 결과, 위임 수준 간의 매우 효과적인 구분이 개별 EPA 수준에서 재현되었고(모든 감마 >0.99), 더 이해하기 쉬운 토픽이 생성되었습니다(그림 2, 그림 3, 그림 4, 그림 5, 그림 6). 

When all 5 EPAs were analyzed together as a single group, the LDA algorithm was able to identify topics that mapped 1:1 onto EPA entrustment levels 1–4 (all gammas >0.99) (Fig. 1). Unfortunately, these topics qualitatively reflected the different EPAs commonly assigned to each entrustment level, rather than differences in entrustment between levels. Therefore, the LDA analysis was repeated for each EPA individually to see if more meaningful topics would be generated. The highly effective discrimination between entrustment levels was replicated at the individual EPAs level (all gammas >0.99), and more comprehensible topics were generated (Fig. 2, Fig. 3, Fig. 4, Fig. 5, Fig. 6).

 

주제 해석
Topic interpretation

개별 EPA에 대해 발견된 주제는 해당 위임 수준 아래에 표시됩니다(그림 2, 그림 3, 그림 4, 그림 5, 그림 6). 예시 단어는 한 명의 검토자가 위임 수준에 따라 색상이 지정된 상자를 사용하여 수동으로 강조 표시했습니다(낮음 = 빨간색, 중간 = 노란색, 높음 = 녹색). 조사된 모든 개별 EPA에서 낮은 위임 단어에서 높은 위임 단어로 논리적인 추세가 있는 것으로 보입니다(그림 2, 그림 3, 그림 4, 그림 5, 그림 6). 예를 들어, RLQ 통증 EPA(그림 4)의 경우,

  • 위임 수준 1과 2는 충수절제술의 기술적 측면("기구", "손/손/취급", [따라] "지시")을 배우는 것을 설명하는 것으로 보이는 반면,
  • 위임 수준 3과 4는 독립적으로 사례를 완료하는 것, 종종 후배 전공의를 감독하면서("독립적으로", "완료", "감독", "취하다", "후배", "레지던트", "관리") 설명하는 것처럼 보였습니다.

흥미롭게도 레벨 3은 사례의 기술적 난이도("간단함")를 명확히 하는 것으로 보이며, 이는 레벨 3과 4 수행 간의 중요한 차이를 강조할 수 있습니다. 
The topics uncovered for individual EPAs are shown underneath the corresponding entrustment levels (Fig. 2, Fig. 3, Fig. 4, Fig. 5, Fig. 6). Illustrative words were manually highlighted by a single reviewer using boxes colored according to the level of entrustment they appeared to represent (low = red, intermediate = yellow, high = green). There appears to be a logical trend from low entrustment words to higher ones for all of the individual EPAs examined (Fig. 2, Fig. 3, Fig. 4, Fig. 5, Fig. 6). For example, for the RLQ Pain EPA (Fig. 4) entrustment levels 1 and 2 seem to describe learning technical aspects of an appendectomy (“instruments”, “hand/hands/handling”, [following] “directions”), while levels 3 and 4 seem to describe independently completing cases, often while supervising junior residents (“independently”, “complete”, “supervise”, “taking”, “junior”, “residents”, “management”). Interestingly, level 3 appears to clarify the technical difficulty of the case (“straightforward”), which may highlight a critical difference between level 3 and 4 performance.

마찬가지로, 외상 EPA 수행에 있어 위임의 경로는

  • 기본 평가("초기", "평가", "2차", "조사")를 학습하는 것부터
  • 효과적으로 의사소통하고 적절한 후속 연구를 지시하는 것("의사소통", "영상"),
  • 마지막으로 이전의 모든 기술을 효과적으로 수행하고 외상 베이를 관리하는 것("우수", "침착")으로 추적할 수 있습니다(그림 6).

평가된 나머지 세 개의 EPA에서도 유사한 일관된 경향을 발견할 수 있습니다(그림 2, 그림 3, 그림 5). 
Similarly, the path to entrustment in the performance of Trauma EPAs may be traced

  • from learning the fundamental evaluation (“initial”, “assessment”, “secondary”, survey”)
  • to communicating effectively and ordering appropriate follow up studies (“communication”, “imaging”),
  • to finally performing all of the previous skills effectively and managing the trauma bay (“excellent”, “calm”) (Fig. 6).

Similar coherent trends can be found in the remaining three EPAs evaluated (Fig. 2, Fig. 3, Fig. 5).

토론
Discussion

LDA는 다양한 EPA 위임 수준과 관련된 텍스트 피드백의 고유한 패턴을 식별할 수 있습니다. LDA를 사용하여 생성된 토픽은 EPA 위임 수준에 합리적으로 매핑됩니다. 이는 실제 적용 가능성도 있는 중요한 개념 증명입니다. 첫째, 수술 교육에 EPA를 구현하는 것은 진화하는 과정입니다. 각 위임 로드맵에 명시된 현재 행동은 외과 교육 전문가들이 전문가 의견을 바탕으로 작성하고 개선한 것입니다.2 전문가 의견은 항상 유용한 출발점이지만, 이 연구에서 확인된 EPA 위임 수준-LDA 주제 쌍은 구현된 EPA 시스템 내에서 일하는 광범위한 교육자 풀로부터 실제로 각 위임 수준을 차별화하는 요소에 대한 데이터를 제공합니다. 이는 교육생의 자율성/위임과 의미 있는 상관관계가 있는 행동에 대한 중요한 통찰력을 제공하며, 데이터에 기반하여 기존 위임 설명을 수정하고 정보에 기반한 향후 위임 로드맵을 작성할 수 있게 해줍니다. 
LDA is capable of identifying unique patterns of text feedback associated with different EPA entrustment levels. Topics generated using LDA map sensibly to EPA entrustment levels. This is an important proof-of-concept that also has practical applicability. First, the implementation of EPAs into surgical education is an evolving process. The current behaviors ascribed to each entrustment roadmap were created and refined by experts in surgical education based on their expert opinion.2 While expert opinion is always a useful starting point, the EPA entrustment level—LDA topic pairs identified in this study provide data from a broad pool of educators working within an implemented EPA system on what actually differentiates the distinct entrustment levels. This provides important insight into what behaviors meaningfully correlate with trainee autonomy/entrustment and will allow for a data-driven revision of the existing entrustment descriptions and informed creation of future entrustment roadmaps.

더 넓은 범위에서 이 원고는 외과 교육에서 NLP 전략의 잠재적 유용성을 보여줍니다. 놀랍지 않게도 외과 교육자들은 서로 다른 EPA 위임 수준에서 레지던트 성과에 대해 설명할 때 서로 다른 어휘와 구조를 사용합니다. 중요한 것은 LDA가 이러한 중요한 차이점을 포착하고 평가자가 해석할 수 있는 방식으로 위임 수준의 주요 차별화 측면을 강조할 수 있었다는 점입니다. 이는 자연어 처리 기술을 외과 교육에 광범위하게 통합하는 데 있어 유망한 첫 단계입니다. 레지던트 성과에 대한 대량의 텍스트 기반 데이터를 통합하는 평가 프레임워크가 개발됨에 따라 이러한 데이터를 대규모로 해석할 수 있는 전략이 필요합니다. NLP는 데이터를 통해 외과 교육을 확장하는 데 도움이 될 수 있습니다. 예를 들어, 추출 기반의 자동화된 문서 요약은 레지던트에게 제공되는 내러티브 피드백 코퍼스 내에서 가장 중요한 코멘트를 강조 표시할 수 있어 CCC 위원회를 통해 신속하게 검토할 수 있습니다.10,11 감독형 LDA(sLDA)와 같은 예측 모델링 기법은 평가를 그룹으로 분류하는 데 가장 능숙한 주제 대신 응답(점수)을 예측하는 잠재 주제를 식별하는 것을 목표로 관련 응답이 포함된 텍스트 평가 본문(예: 쌍을 이룬 위임 점수를 가진 EPA 평가)을 사용하여 학습할 수 있습니다. 그런 다음 레이블이 지정되지 않은 평가의 점수를 모델을 사용하여 추정할 수 있습니다. 이러한 시스템은 개별 레지던트에 대한 대량의 텍스트 데이터에 대한 요약적인 해석을 제공할 수 있어 잠재적으로 CCC의 의사 결정을 지원할 수 있습니다. 또는 교육자는 전공의에게 형성적인 무료 텍스트 피드백을 제공하는 데만 집중하고, 각 EPA 의견을 '점수'로 종합적으로 평가하는 작업은 컴퓨터에 맡기는 시스템을 상상해 볼 수 있습니다. 

On a broader scale, this manuscript demonstrates the potential utility of NLP strategies in surgical education. Not surprisingly, surgical educators use different vocabulary and structure in their comments on resident performance at different EPA entrustment levels. Critically, LDA was able to pick up on these important differences, and highlight key differentiating aspects of entrustment levels in ways that are interpretable to human raters. This is a promising first step in a broader integration of NLP into surgical education. As assessment frameworks that consolidate large volumes of text-based data on resident performance are developed, strategies to interpret this data at scale are needed. NLP can help surgical education scale with its data. For example, extraction-based automated document summarization can highlight the most important comments within a corpus of narrative feedback provided to a resident—allowing for rapid review via CCC committee.10,11 Predictive modeling techniques, such as supervised LDA (sLDA) can be trained using a body of text assessments with an associated response (e.g. EPA assessments with a paired entrustment score) with the goal of identifying latent topics predictive of the response (score) instead of the topics most adept at classifying the assessments into groups. Then an unlabeled assessment’s score can be estimated using the model. Such a system would be able to provide a summative interpretation of a large body of text data for any individual resident, potentially assisting CCC decision making. Or one could imagine a system in which educators can focus only on providing formative free text feedback to their residents, while the job of summatively assessing this each EPA comment for a ‘score’ could be left to the computer.

외과 교육에서 NLP의 잠재적 가능성에도 불구하고 이 연구에는 몇 가지 한계가 있습니다. 무엇보다도, 이 연구는 단일 센터에서 단일 EPA 평가를 시행한 연구이므로 일반화 가능성에 한계가 있습니다. 향후 무료 텍스트 데이터를 EPA 평가에 통합하는 다른 센터와 협력하여 위치 또는 구현 전략에 따라 피드백 패턴이 어떻게 달라질 수 있는지 살펴보고자 합니다. 이 연구는 또한 일반외과를 위해 만들어진 처음 5개의 EPA만 평가하는데, 이는 레지던트가 졸업할 때까지 축적해야 하는 전체 수술 지식의 일부만을 다루고 있습니다. NLP 기술은 낮은 품질의 텍스트 데이터를 보완할 수 없습니다. 평가자는 여전히 알고리즘이 분석할 수 있도록 레지던트에게 고품질 텍스트 피드백을 제공해야 합니다. 마지막으로, 현재의 토픽 모델링 기법은 여전히 '단어 가방' 모델에 국한되어 있어 결과 토픽에 대한 사람의 해석이 필요합니다. 이 원고의 다른 연구자나 독자는 우리의 해석에 동의하지 않을 수 있습니다. 저희의 데이터와 해석은 EPA의 위임과 자율성에 대한 논의를 시작하기 위한 것이지 최종적인 권위 있는 중재자 역할을 하는 것이 아닙니다. 궁극적으로 컴퓨터가 자연어 데이터에서 의미론(개념 가방) 또는 실용론(내러티브 가방)을 구분하여 더 유용한 정보를 제공할 수 있게 되겠지만, 그렇게 될 때까지 이러한 중요한 논의를 미룰 이유가 없다고 생각합니다. 
Despite the potential promise for NLP in surgical education, this study has several limitations. Foremost, this was a single center study with a single implementation of EPA assessments, limiting generalizability. We hope to collaborate with other centers that incorporate free text data into their EPA assessments in the future to see how patterns in feedback might vary based on location or implementation strategy. This study also only assesses the first 5 EPAs created for general surgery, which cover only a fraction of the total knowledge of surgery which residents must accumulate by graduation. NLP techniques cannot make up for low quality text data. Evaluators will still need to provide high-quality text feedback to residents for the algorithms to analyze. Finally, current topic modeling techniques are still limited to the ‘bag of words’ model, requiring human interpretation of resulting topics. Different researchers or readers of this manuscript may disagree with our interpretations. We encourage this—our data and interpretations are meant to start discussions about entrustment and autonomy in EPAs, not function as a final authoritative arbiter. Eventually, computers may be able to distinguish semantics (bag of concepts) or pragmatics (bag of narratives) from natural language data to provide more useful input, but we see no reason to delay these important discussions until that is possible.

결론
Conclusions

잠재 디리클레 할당을 사용한 토픽 모델링은 EPA 위임 수준을 구분할 수 있습니다. LDA로 생성된 주제는 위임 수준에 일관되게 매핑되어 외과의 교육자가 수련의의 자율성을 설명하고 위임을 부여하는 방식에 대한 통찰력을 제공합니다. 이 데이터는 향후 EPA 위임 로드맵을 작성하고 기존 로드맵을 데이터 기반으로 개정하는 데 사용할 수 있습니다. 외과 교육에서 NLP 방법론이 더욱 발전하면 외과의사 교육자는 대량의 텍스트 평가 데이터를 확장 가능한 방식으로 분석할 수 있습니다. 

Topic modeling using latent Dirichlet allocation is capable of discriminating between EPA entrustment levels. Topics generated by LDA map coherently to entrustment levels, providing insight on how surgeon educators describe trainee autonomy and grant entrustment. This data can be used to inform the creation of future EPA entrustment roadmaps, and data-driven revision of existing ones. Further development of NLP methodologies in surgical education may allow surgeon educators to analyze large amounts of text assessment data in a scalable fashion.

 


Am J Surg. 2021 Feb;221(2):369-375. doi: 10.1016/j.amjsurg.2020.11.044. Epub 2020 Nov 26.

Natural language processing and entrustable professional activity text feedback in surgery: A machine learning model of resident autonomy

Affiliations collapse

1Department of Surgery, University of Wisconsin School of Medicine and Public Health, Madison, WI, USA.

2Department of Emergency Medicine, University of Wisconsin School of Medicine and Public Health, Madison, WI, USA.

3Department of Surgery, University of Wisconsin School of Medicine and Public Health, Madison, WI, USA. Electronic address: greenbergj@surgery.wisc.edu.

PMID: 33256944

PMCID: PMC7969407

DOI: 10.1016/j.amjsurg.2020.11.044

Free PMC article

Background: Entrustable Professional Activities (EPAs) contain narrative 'entrustment roadmaps' designed to describe specific behaviors associated with different entrustment levels. However, these roadmaps were created using expert committee consensus, with little data available for guidance. Analysis of actual EPA assessment narrative comments using natural language processing may enhance our understanding of resident entrustment in actual practice.

Methods: All text comments associated with EPA microassessments at a single institution were combined. EPA-entrustment level pairs (e.g. Gallbladder Disease-Level 1) were identified as documents. Latent Dirichlet Allocation (LDA), a common machine learning algorithm, was used to identify latent topics in the documents associated with a single EPA. These topics were then reviewed for interpretability by human raters.

Results: Over 18 months, 1015 faculty EPA microassessments were collected from 64 faculty for 80 residents. LDA analysis identified topics that mapped 1:1 to EPA entrustment levels (Gammas >0.99). These LDA topics appeared to trend coherently with entrustment levels (words demonstrating high entrustment were consistently found in high entrustment topics, word demonstrating low entrustment were found in low entrustment topics).

Conclusions: LDA is capable of identifying topics relevant to progressive surgical entrustment and autonomy in EPA comments. These topics provide insight into key behaviors that drive different level of resident autonomy and may allow for data-driven revision of EPA entrustment maps.

Keywords: Assessment; Entrustable professional activities; Feedback; Natural language processing; Surgery education.

머신러닝을 활용하여 전공의 수행능력에 대한 주치의 피드백 평가하기 (Anesth Analg. 2021)
Using Machine Learning to Evaluate Attending Feedback on Resident Performance
Sara E. Neves, MD,* Michael J. Chen, BS,* Cindy M. Ku, MD,† Suzanne Karan, MD,‡ Amy N. DiLorenzo, PhD,§ Randall M. Schell, MD, MACM,§ Daniel E. Lee, MD, PhD,║ Carol Ann B. Diachun, MD, MSEd,¶ Stephanie B. Jones, MD,# and John D. Mitchell, MD* 

250

 

고품질의 활용도 높은 피드백을 제공하는 것은 교육생 개발에 필수적이며, 교육생들이 매우 원합니다.4-7 활용도 높은 피드백은 레지던트를 위한 개선 계획을 수립하는 데 도움이 됩니다. 반대로 부실한 피드백은 학습자가 좌절감을 느끼고 대응 방법을 불확실하게 만들어 해로운 영향을 미칠 수 있습니다.8 고품질 피드백은 상세하고 구체적이며 행동 중심적이고 실행 가능하며 개선 영역을 제공합니다.9 이러한 피드백은 피드백을 기존의 자기 평가와 조정하는 자기 성찰을 촉진하여 향후 실습에 피드백을 통합하는 데 도움을 줍니다.10 형성적 평가는 체크리스트를 통해 수집할 수 있지만, 연구 결과에 따르면 전문성 및 커뮤니케이션과 관련된 서술적 피드백은 학습자를 지도하는 데 특히 유용합니다.11 서술적 피드백을 검토하면 교수진에게 피드백을 제공하고 지속적으로 개선하는 방법을 가르치는 워크숍과 같은 프로그램을 개발할 수 있습니다. 
The delivery of high-quality and high-utility feedback is essential to the development of trainees, and is highly desired by them.4–7 High-utility feedback helps devise improvement plans for residents. Conversely, poor feedback can have deleterious effects by leaving learners frustrated and uncertain how to respond.8 High-quality feedback is detailed, specific, behavior-focused, actionable, and provides areas for improvement.9 Such feedback promotes self-reflection to reconcile feedback with existing self-assessments, helping incorporate feedback into future practice.10 While formative assessments can be collected via checklists, research demonstrates narrative feedback related to professionalism and communication is particularly valuable for guiding learners.11 Reviewing narrative feedback enables development of programs such as workshops to teach faculty how to provide feedback and continuously improve it.

이전에는 평가자가 온라인 양식을 통해 제공된 의견을 수동으로 검토하고 점수를 매겨야 하는 피드백 평가 시스템을 개발하여 시행했습니다.11 물류상의 문제로 인해 이 중요한 도구를 일관성 있게 적용하지 못했고, 레지던트에 대한 피드백의 품질과 유용성에 대해 직원에게 적시에 피드백을 제공하지 못했습니다. 수동 피드백 평가는 시간이 많이 걸립니다. 저희의 경험에 따르면, 먼저 평균 6시간의 평가자 교육과 보정이 필요합니다. 그런 다음 피드백을 수집하고, 비식별화하여 평가자가 점수를 매기고, 다시 제공자에게 매핑해야 합니다. 최근 한 저자(J.D.M.)의 채점 작업에는 총 15시간이 소요되었으며, 이는 베스 이스라엘 디코니스 메디컬 센터의 마취과 레지던트 프로그램에서 한 달 동안 받은 피드백에 해당하는 200개의 코멘트를 수집하고 채점하는 데 소요된 시간입니다. 
We previously developed and implemented a feedback rating system that required raters to manually review and score comments provided via online forms.11 Logistical challenges resulted in inconsistent application of this valuable tool and prevented us from providing timely feedback to staff on the quality and utility of their feedback to residents. Manual feedback rating is time-consuming. In our experience, it first entails an average of 6 hours of rater training and calibration. It then requires feedback be collected, deidentified, scored by raters, and mapped back to providers. A recent scoring effort by an author (J.D.M.) totaled 15 hours to collate and score 200 comments, representing a month of feedback from Beth Israel Deaconess Medical Center’s anesthesiology residency program.

머신러닝(ML)은 데이터를 분석하고 과거 정보를 바탕으로 자동으로 작업을 완료하는 방법을 학습하는 인공 지능 시스템 또는 컴퓨터 프로그램의 개발과 관련이 있습니다. ML은 진단12 및 방사선 영상 처리 등 의학 분야에서 광범위하게 응용되고 있습니다.13,14 ML은 의학교육에서도 많은 잠재적 응용 분야와 함께 큰 관심을 받고 있습니다.15 ML로 촉진된 사례 로깅과 분석을 함께 사용하면 레지던트 평가의 준수 및 적시성을 높이는 데 도움이 되었습니다.16 또한 수련 중 시험 점수를 사용하여 보드 시험에서 레지던트의 성과를 예측하는 데 적용되고 있습니다.17
Machine learning (ML) involves development of artificially intelligent systems or computer programs that analyze data and learn to complete tasks automatically based on historical information. It has found a wide range of applications in medicine, including diagnostics12 and radiology image processing.13,14 ML is also of significant interest in medical education, with many potential applications.15 Using ML-facilitated case logging coupled with analytics has helped increase compliance and timeliness of resident evaluations.16 It has also been applied to predict resident performance on Board examinations using in-training examination scores.17

ML 모델은 일단 개발되면 대량의 정보를 신속하고 자율적으로 처리할 수 있습니다. 우리는 레지던트에 대한 교수진의 서면 피드백을 평가하고 피드백을 신속하게 검토 및 평가할 수 있는 예측 모델을 만들고자 했습니다. 우리의 가설은 ML 모델을 개발하고 적용하여 활용도가 낮고 품질이 낮은 피드백을 독립적이고 효율적으로 식별할 수 있다는 것이었습니다. 
Once developed, ML models can process large volumes of information rapidly and autonomously. We sought to create predictive models to assess written faculty feedback to residents, to expedite the review and assessment of feedback. Our hypothesis was that we could develop and apply ML models to independently and efficiently identify low-utility and low-quality feedback.

방법
METHODS

피드백 수집 및 채점
Feedback Collection and Scoring

이전 연구에서,11 3명의 숙련된 교육자(J.D.M., S.B.J., C.M.K.)가 마취과 레지던트(대학원 2~4년차)의 성과에 관한 1925개의 피드백 코멘트를 blindly 평가했습니다. 이러한 의견은 4개 기관의 마취과 레지던트 프로그램에서 수집되었습니다: 베스 이스라엘 디코니스 메디컬 센터, 로체스터 대학교 메디컬 센터, 켄터키 대학교 의과대학, 캘리포니아 대학교 샌디에이고. 피드백 의견은 당일 또는 단기간 동안 레지던트와 함께 근무한 주치의가 전자 평가 시스템에 입력한 정성적인 자유 텍스트였습니다. 평가자는 피드백 특성의 존재를 확인하고 할당된 의견에 대한 유용성 점수를 제공했습니다. 146명의 주치의 평가자가 190명의 레지던트에 대해 의견을 제공했으며, 평가자당 의견의 중앙값은 5개, 한 명의 평가자가 제공한 의견은 최대 67개(데이터 세트의 3.48%)였습니다. 레지던트당 코멘트의 중앙값은 10건이었으며, 한 레지던트에 대한 코멘트은 최대 31건(데이터 세트의 1.61%)이었습니다. 의견은 2013년부터 2014년까지 약 8개월 동안 미국 내 4개의 레지던트 프로그램에서 수집되었습니다. 데이터 수집을 시작하기 전에 4개 기관 모두에서 사전 동의서 면제와 함께 기관생명윤리위원회(IRB)의 승인을 받았습니다. 
In a prior study,11 3 experienced educators (J.D.M., S.B.J., C.M.K.) blindly rated 1925 feedback comments regarding performance of anesthesiology residents (Postgraduate Years 2–4). These comments were collected from anesthesiology residency programs from 4 institutions: Beth Israel Deaconess Medical Center, University of Rochester Medical Center, University of Kentucky College of Medicine, and University of California San Diego. Feedback comments were qualitative free text entered into an electronic evaluation system by an attending physician who worked with a resident that day or over a short period of time. Raters identified the presence of feedback traits and provided utility scores for their assigned comments. Comments were provided by 146 different attending evaluators on 190 different residents, with a median of 5 comments per evaluator and maximum of 67 comments provided by a single evaluator (3.48% of the dataset). There was a median of 10 comments per resident, with a maximum of 31 comments concerning a single resident (1.61% of the dataset). Comments were collected from 4 residency programs in the United States from over a course of roughly 8 months between 2013 and 2014. Institutional review board (IRB) approval with a waiver of documentation of informed consent was obtained at all 4 institutions before the start of data collection.

 

예측 모델 개발
Predictive Model Development

ML 모델은 6가지 피드백 특성(실행 가능, 행동 중심, 상세, 부정적 피드백, 전문성/소통, 구체적)을 식별하도록 학습되었습니다(정의와 예시는 표 1에 나와 있습니다). 피드백 특성은 존재하거나 존재하지 않는 것으로 간주되었습니다. 개선의 여지가 있는 코멘트를 식별하기 위해 6가지 특성 중 4개 이상이 존재하는 것으로 확인된 항목은 고품질로 간주하고 3개 미만인 항목은 저품질로 간주했습니다. 원래 평가자들은 교육자가 레지던트를 위한 개선 계획을 수립하는 데 피드백이 얼마나 유용한지를 설명하는 피드백 코멘트의 유용성 점수를 1~5점으로 매겼으며(표 1), 3점은 평균적인 유용성을 가진 코멘트를 나타냅니다. 개선할 수 있는 의견을 식별하기 위해 활용도 점수가 4점과 5점인 경우 활용도가 높은 것으로 간주하고 1점, 2점, 3점인 경우 활용도가 낮은 것으로 간주했습니다.
ML models were trained to identify 6 feedback traits:

  • actionable,
  • behavior focused,
  • detailed,
  • negative feedback,
  • professionalism/communication, and
  • specific;

definitions and examples are displayed in Table 1. Feedback traits were considered to be either present or not present. To identify comments that had room for improvement, entries that had ≥4 of the 6 traits identified as present were considered high-quality while entries with ≤3 were considered low-quality. The original raters had assigned feedback comments utility scores from 1 to 5 describing how useful feedback would be in helping educators shape an improvement plan for the resident (Table 1), with scores of 3 representing comments of average utility. To identify comments that could improve, utility scores of 4 and 5 were considered high-utility while scores of 1, 2, and 3 were considered low-utility.

 

사용된 데이터 과학 플랫폼은 RapidMiner Studio, 버전 9.6(2020), 교육용 라이선스 에디션(RapidMiner, Inc, 보스턴, 매사추세츠)입니다.18 RapidMiner는 Java로 작성되었으며 데이터 준비, ML 및 예측 모델 배포에 사용됩니다. 그림 1은 프로젝트 및 ML 워크플로우를 보여주며, 주석이 달린 스크린샷 예시는 보충 디지털 콘텐츠 1, 그림, https://links.lww.com/AA/D228, 모델 개발을 위한 데이터 테이블을 생성하는 RapidMiner 워크플로우 프로세스의 주석이 달린 스크린샷과 보충 디지털 콘텐츠 2, 그림, https://links.lww.com/AA/D229, RapidMiner에서 수행되는 텍스트 처리 단계의 주석이 달린 스크린샷에서 확인할 수 있습니다. 일반적인 ML 용어에 대한 자세한 정의는 용어집을 참조하세요. 
The data science platform used was RapidMiner Studio, version 9.6 (2020), educational license edition (RapidMiner, Inc, Boston, MA).18 RapidMiner is written in Java and used for data preparation, ML, and deployment of predictive models. Figure 1 depicts our project and ML workflow; annotated screenshot examples of workflows in RapidMiner can be seen in Supplemental Digital Content 1, Figure, https://links.lww.com/AA/D228, an annotated screenshot of RapidMiner workflow process to create data table for model development; and Supplemental Digital Content 2, Figure, https://links.lww.com/AA/D229, an annotated screenshot of the text processing steps taken in RapidMiner. Please see the glossary for detailed definitions of common ML terms.

 

aa_2020_09_25_mitchell_aa-d-20-01380_sdc1.pdf
0.08MB
aa_2020_09_25_mitchell_aa-d-20-01380r2_sdc2.pdf
0.11MB


먼저 6가지 피드백 특성 각각에 대해 개별 예측 모델을 만들었습니다. 텍스트 처리 단계에서는 텍스트를 단어로 분리하고, 중요도가 낮은 단어를 제거하고(텍스트 처리 중에 제거되는 단어의 유형을 설명하는 보충 디지털 콘텐츠 3, 표, https://links.lww.com/AA/D230 참조), 스노우볼 알고리즘을 통해 어간이 같은 단어를 풀링하고1, 용어 빈도 역 문서 빈도(TF-IDF) 점수를 추출했습니다. TF-IDF는 단어와 문서의 관련성에 대한 가중치를 부여한 통계적 척도로, 문서 세트 전체에서 얼마나 자주 나타나는지에 따라 상쇄됩니다.2 TF-IDF 점수, 문자 길이, 코멘트의 의미 있는 단어 수는 피드백 특성을 감지하기 위한 예측 모델을 생성하기 위한 ML 알고리즘의 입력으로 사용되었습니다. 텍스트 처리로 생성된 테이블의 스크린샷 예시는 보충 디지털 콘텐츠 4, 그림, https://links.lww.com/AA/D231, 텍스트 처리로 생성된 단어 목록 테이블의 스크린샷과 보충 디지털 콘텐츠 5, 그림, https://links.lww.com/AA/D232, 텍스트 처리로 생성된 데이터 테이블의 스크린샷에서 확인할 수 있습니다. 
We first created individual predictive models for each of our 6 feedback traits. Text processing steps separated text into words, removed words with low significance (see Supplemental Digital Content 3, Table, https://links.lww.com/AA/D230, which describes types of words removed during text processing), pooled words with the same stem via Snowball algorithm,1 and extracted term frequency-inverse document frequency (TF-IDF) scores. TF-IDF is a weighted statistical measure of a word’s relevance to a document, offset by how frequently it appears across the set of documents.2 TF-IDF scores, character length, and number of meaningful words in comments were used as inputs for ML algorithms to create predictive models for detecting the presence of feedback traits. Screenshot examples of the tables generated from text processing can be seen in Supplemental Digital Content 4, Figure, https://links.lww.com/AA/D231, screenshot of a wordlist table generated from text processing; and Supplemental Digital Content 5, Figure, https://links.lww.com/AA/D232, screenshot of a data table generated from text processing.

aa_2020_09_25_mitchell_aa-d-20-01380r2_sdc3.docx
0.02MB

 

aa_2020_09_25_mitchell_aa-d-20-01380r2_sdc4.pdf
0.10MB
aa_2020_09_25_mitchell_aa-d-20-01380r2_sdc5.pdf
0.22MB

예측 모델을 생성하기 위해 RapidMiner의 자동 모델 확장 기능이 사용되었습니다. 자동 모델은 사용 가능한 데이터의 60%를 사용하여 모델을 학습시키고, 40%의 데이터는 7개의 분리된 하위 집합으로 분할하여 생성된 모델의 점수를 매기기 위해 예약합니다. 가장 크고 성능이 우수한 하위 집합은 제거되고 나머지 5개 하위 집합의 평균 성능 메트릭이 보고됩니다. 이 접근 방식은 모델 타당성 검사 품질과 런타임의 균형을 맞춥니다. 또한 자동 모델은 관련 없는 입력을 제외하여 기능 선택을 최적화하여 정확도와 단순성을 높인 모델을 생성할 수 있습니다. 모델 학습에 도움이 되지 않는 변수를 식별한 후, 각 특성에는 특징 선택을 수행하기 전에 고려해야 할 21~23개의 입력이 있었습니다. 특징 선택에 할당된 시간은 자동 모델 실행당 30분으로 임의로 제한했으며, 이 프로세스는 감독을 필요로 하지 않았습니다. 
RapidMiner’s Auto Model extension was used to create our predictive models. Auto Model uses 60% of available data to train models; 40% of data is split into 7 disjointed subsets and reserved for scoring generated models. The largest and highest performing subsets are removed, and average performance metrics on the remaining 5 subsets are reported. This approach balances model validation quality and runtimes. Furthermore, Auto Model can optimize feature selection by excluding irrelevant inputs to create models with greater accuracy and simplicity. After identifying variables unlikely to help train models, each trait had 21–23 inputs to consider before performing feature selection. We limited time allotted for feature selection to an arbitrary 30 minutes per Auto Model run; this process did not require supervision.

초기 모델링 시도에서는 관찰된 우세한 클래스의 예측에 크게 치우쳐 데이터 세트에 과도하게 적합한 모델이 생성되었습니다. 예를 들어, 평가자들은 원래 코멘트의 75.7%를 전문성이나 커뮤니케이션과 관련이 없는 것으로 평가했는데, 모델은 단순히 모든 코멘트가 전문성이나 커뮤니케이션과 관련이 없는 것으로 예측함으로써 이러한 정확도를 달성할 수 있었고, 일부 경우에는 정확히 그렇게 했습니다. 이는 정확한 예측으로 인한 이익과 잘못된 예측으로 인한 비용의 합계를 최대화하는 것을 목표로 하는 모델에서 비롯된 것입니다.
Initial modeling attempts resulted in models that overfit datasets by heavily favoring the prediction of the observed predominant class. For example, raters originally scored 75.7% of our comments as not pertaining to professionalism or communication; models could achieve this accuracy by simply predicting all comments to not pertain to professionalism or communication, and did exactly that in some cases. This stemmed from models aiming to maximize the sum value of gains from correct predictions versus costs from wrong predictions.

이러한 클래스 불균형 문제를 해결하기 위해 각 모델을 생성하는 동안 비용 행렬을 조정하여 모델이 비우세 클래스를 정확하게 추측하는 데 더 높은 가치를 부여하고, 예시를 우세 클래스로 잘못 예측하는 데 더 큰 불이익을 주도록 했습니다.3 특성의 경우, 평가자가 특성이 존재한다고 언급한 코멘트와 그렇지 않은 코멘트의 비율에 따라 비용 행렬을 수정했습니다. 유용성의 경우, 각 유용성 점수 값에 대해 원래 평가자가 주어진 값으로 점수를 매긴 코멘트 수와 우세한 유용성 점수에서 코멘트 수의 비율을 기준으로 비용 매트릭스를 수정했습니다. 각 모델의 비용 매트릭스에 대한 자세한 내용은 특성 모델 개발의 비용 매트릭스를 자세히 설명하는 보충 디지털 콘텐츠 6과 유용성 모델 개발의 비용 매트릭스를 자세히 설명하는 보충 디지털 콘텐츠 7에 나와 있습니다.
To address this issue of class imbalance, we adjusted the cost matrix during each model generation so that models would place higher value in correctly guessing nonpredominant classes and more heavily penalize incorrectly predicting examples as the predominant class.3 For traits, cost matrices were modified based on the ratio of comments where traits were noted to be present by raters versus comments that were not. For utility, the cost matrix was modified for each utility score value based on the ratio of the number of comments scored as a given value by the original raters versus the number of comments in the predominant utility score. Details on each model’s cost matrix are displayed in Supplemental Digital Content 6, Table, https://links.lww.com/AA/D233, which details cost matrices for trait model development; and Supplemental Digital Content 7, Table, https://links.lww.com/AA/D234, which details the cost matrix for utility model development.

aa_2020_09_25_mitchell_aa-d-20-01380r2_sdc6.docx
0.01MB
aa_2020_09_25_mitchell_aa-d-20-01380r2_sdc7.docx
0.01MB


유용성의 경우, 코멘트에 대한 텍스트 처리 워크플로우를 처음 시도했을 때 적합하지 않은 모델이 생성되었습니다. 따라서 6개의 피드백 특성 모델에서 생성된 신뢰도 점수 값을 사용하여 앙상블 모델을 생성하여 유용성 점수 예측을 생성했습니다.
For utility, initial attempts with our text processing workflow on comments generated ill-fitting models. We therefore created an ensemble model using confidence score values generated by the 6 feedback trait models to generate utility score predictions.

점수 모델
Scoring Models

모델을 생성한 후, 점수 데이터에서 가장 높은 순이익을 얻은 알고리즘을 선택했습니다. 유용성 범주와 품질 범주는 각각 유용성 점수와 특성 존재 여부에 대한 모델 예측에서 추정되었습니다. 6가지 피드백 특성, 유용성 범주 및 품질 범주 모두에 대해 원래 평가자와 모델 간의 평가자 간 일치도(정확도)를 계산했습니다. 유용성 점수의 경우, 평가자 간 일치도를 평가하고 앙상블 모델과 원래 평가자 간의 평균 절대 오차(MAE)와 평균 제곱 오차(RMSE)를 계산했습니다. 앙상블 모델이 코멘트 길이만을 기준으로 유용성 범주를 할당하지 않도록 하기 위해, 코멘트이 유용성이 높은 것으로 예측된 경우와 낮은 것으로 예측된 경우의 문자 수 사전 처리 통계를 비교했습니다. 
After generating models, we selected the algorithms with the highest net gains on the scoring data. Utility category and quality category were extrapolated from model predictions on utility score and trait presence respectively. Interrater agreement (accuracy) was calculated between the original raters and our models for all 6 feedback traits, utility category, and quality category. For utility score, we assessed the interrater agreement and calculated the mean absolute error (MAE), and root mean square error (RMSE) between our ensemble model and the original raters. To ensure the ensemble model was not assigning utility categories solely based on comment length, we compared statistics for character count pretext processing when comments were predicted as high- versus low-utility.

결과
RESULTS

피드백 특성 모델
Feedback Trait Models

 

최종 예측 모델의 구성과 해당 점수 하위 집합(n = 550)에 대한 성능에 관한 자세한 내용은 표 2에 설명되어 있습니다. 따옴표로 묶인 용어는 따옴표로 묶인 단어 어간의 TF-IDF 점수가 입력되었음을 나타냅니다. 민감도와 특이도의 경우, 양성 클래스는 특성 모델에 대해 "특성 존재"로 설정되었으며, 이러한 메트릭은 여러 클래스 값을 가진 유용성에는 적용되지 않았습니다. 6가지 피드백 특성의 존재 여부에 대한 평균 합산 일치도는 전체 데이터 세트(n = 1925)에서 4.6(표준 편차 1.3)이었으며 중앙값은 5였습니다. 피드백 특성 모델의 정확도는 74.4%에서 82.2%에 달했습니다. 
Details regarding the construction of our final predictive models and their performance on their scoring subsets (n = 550) are described in Table 2. Terms in quotes indicate the TF-IDF score of the quoted word stem was an input. For sensitivity and specificity, the positive class was set as “trait present” for the trait models; these metrics did not apply to utility with its multiple class values. Mean sum concordance on presence of the 6 feedback traits was 4.6 (standard deviation of 1.3) across the full dataset (n = 1925), with a median of 5. Feedback trait models had accuracies ranging from 74.4% to 82.2%.

유틸리티 점수 예측
Utility Score Predictions

채점 하위 집합에 대한 원래 평가자와 모델의 유용성 점수를 비교한 결과, 0.7 ± 0.9의 MAE와 1.2의 RMSE가 산출되었습니다. 유용성 예측은 채점 하위 집합에서 54.9%의 경우 원래 평가자의 정확한 점수와 일치했으며, 원래 평가자의 점수와 ±1점 이내로 일치한 예측의 수는 79.6%였습니다. 그림 2는 전체 데이터 세트(n = 1925)에서 예측된 유용성 점수의 분포를 원래 평가자와 비교한 것입니다. 원래 평가자의 유용성 점수는 평균 1.9점, 중앙값 1점(전체 코멘트의 50.6%가 원래 유용성 1점으로 평가됨), 표준편차 1.2점, 높은 양의 왜곡 값 1.10점, 첨도 0.1점이었습니다. 앙상블 모델의 예측된 유용성 점수는 평균 2.0, 중앙값 2, 표준편차 1.2, 중간 정도의 높은 양의 왜곡도 값 0.98, 첨도 -0.1이었습니다.
Comparing the original raters’ and our models’ utility scores on the scoring subset, we calculated an MAE of 0.7 ± 0.9 and RMSE of 1.2. Utility predictions matched the original raters’ exact scores 54.9% of the time on the scoring subset; the number of predictions that fell within ±1 point of the original rater’s score was 79.6%. Figure 2 compares the distribution of predicted utility scores to the original raters, on the full dataset (n = 1925). The original raters’ utility scores had a mean of 1.9, median of 1 (50.6% of all comments were originally rated as a 1 for utility), standard deviation of 1.2, high positive skewness value of 1.10, and kurtosis of 0.1. Our ensemble model’s predicted utility scores had a mean of 2.0, median of 2, standard deviation of 1.2, moderately high positive skewness value of 0.98, and kurtosis of −0.1.

표 3은 앙상블 모델의 유용성 예측에서 추정된 유용성 범주 지정을 전체 데이터 세트의 원래 평가자와 비교한 것입니다. 유용성 범주 예측에 대한 전반적인 정확도는 82.1%였으며, 의견 불일치는 주로 모델이 코멘트을 유용성이 높은 것으로 분류할 때 발생했습니다. 특성이 더 정확하게 예측된 코멘트의 경우 유용성 범주 예측 정확도가 향상되었습니다.

Table 3 compares utility category designations as extrapolated from the ensemble model’s utility predictions compared to the original raters on the full dataset. Overall accuracy on utility category predictions was 82.1%; disagreement primarily occurred when our model classified comments as high-utility. Accuracy on utility category predictions improved for comments with more correct trait predictions.

모델에서

  • 활용도가 높은 것으로 분류된 코멘트의 글자 수 중앙값은 499개, 사 분위수 범위는 389~693개, 총 범위는 119~1493개였으며, 
  • 활용도가 낮은 것으로 분류된 코멘트의 글자 수 중앙값은 159개, 사 분위수 범위는 60~220개, 총 범위는 4~736개였습니다. 

활용도가 높은 예측과 낮은 예측의 범위가 겹친다는 것은 모델이 코멘트 길이만을 기준으로 활용도 분류를 지정하지 않았음을 보여주지만, 중앙값이 해당 사분위수 범위 내에 속하지 않는 것을 관찰했습니다.

Comments our model classified as

  • high-utility had a median character count of 499, interquartile range of 389–693, and total range of 119–1493;
  • low-utility classifications had a median character count of 159, interquartile range of 60–220, and total range of 4–736.

Overlapping ranges between high- and low-utility predictions show the model did not assign utility category based solely on comment length, although we observed the medians did not fall within their counterpart’s interquartile ranges.

피드백 품질 비교
Feedback Quality Comparison

 

또한 코멘트 데이터에 모델을 적용하여 원래 평가자가 평가한 코멘트의 품질이 높거나 낮은 것으로 간주되는 코멘트을 예측 모델과 비교하여 피드백 품질을 평가했습니다. 표 4는 전체 데이터 세트에서 원래 평가자와 비교한 모델의 예측 결과를 보여줍니다. 피드백 품질 예측에 대한 전반적인 정확도는 78.5%였으며, 불일치는 주로 모델이 코멘트을 고품질로 분류할 때 발생했습니다.
Our models were also applied to the comment data to assess feedback quality by comparing comments considered to be high-/low-quality as scored by our original raters versus our predictive models. Table 4 displays the model’s predictions compared to the original raters on the full dataset. Overall accuracy on feedback quality predictions was 78.5%; disagreement primarily occurred when our model classified comments as high-quality.

모델 생성에 소요된 시간
Time Spent Creating Models

모든 모델은 ML에 대한 공식적인 배경 지식이 없는 연구 조교 한 명이 15~20시간에 걸쳐 만들었습니다. 여기에는 소프트웨어에 익숙해지고, 초기 프로토타입을 만들고, 문제를 해결하는 데 소요된 시간이 포함되었습니다. 시간의 상당 부분은 자동 모델에서 30분 기능 선택 설정으로 무감독 상태에서 모델을 생성하는 데 사용되었습니다. 이 프로그램은 데이터를 읽고, 모델을 적용하고, 몇 분 안에 예측을 생성했습니다.
All models were created in 15–20 hours by a single research assistant (M.J.C.), who did not have a formal background in ML. This included time spent becoming familiar with software, creating initial prototypes, and troubleshooting. A significant portion of time involved Auto Model generating models with our 30-minute feature selection setting while unsupervised. The program read data, applied models, and generated predictions within minutes.

토론
DISCUSSION

기존 피드백의 품질과 유용성을 평가하는 것은 향후 피드백을 개선하는 데 있어 매우 중요합니다. 일관되고 신속한 피드백 평가는 평가자 간 변동성을 줄이고 개입의 정량적 평가를 높여 교육 연구를 용이하게 합니다. ML을 사용하면 피드백 평가와 관련된 시간 문제를 해결할 수 있습니다. 예측 모델을 만들고, 이전에 채점된 코멘트를 분석하고, 모델의 성능을 분석하는 데 사용되는 이론과 소프트웨어에 익숙해지는 데는 초기 시간 투자가 필요합니다. 하지만 이러한 투자는 큰 결실을 맺을 수 있습니다. 숙련된 평가자가 200개의 코멘트을 신중하게 평가하는 데 2주 동안 누적 15시간이 걸렸습니다. 반면, 저희는 15~20시간 내에 수천 개의 코멘트을 단 몇 분 만에 평가할 수 있는 모든 예측 모델을 만들었습니다. 
Assessing quality and utility of existing feedback is pivotal in improving future feedback. Consistent, rapid assessment of feedback facilitates educational research by reducing interrater variability and increasing quantitative assessment of interventions. Using ML can address time issues associated with feedback assessment. There is an initial time investment required to become familiar with the theory and software used to create predictive models, analyze previously scored comments, and analyze performance of models. However, this investment may result in great dividends. It took our experienced rater a cumulative 15 hours during 2 weeks to carefully assess 200 comments. In contrast, within 15–20 hours, we created all our predictive models that can evaluate thousands of comments in minutes.

ML을 활용하려면 모델 생성 및 해석을 이해하는 데 상당한 수준의 기술 전문 지식이 필요하다는 우려가 있을 수 있지만, 저희의 경험은 그렇지 않았습니다.19,20 공개 온라인 리소스에서 필요한 지식과 기술을 쉽게 습득할 수 있었습니다.1-3,21,22 5시간의 자기 주도 학습만으로도 이러한 작업을 수행하는 데 필요한 기본 개념을 익힐 수 있습니다. 이전에 검토된 1925개의 기존 피드백 코멘트를 사용하여 모델을 훈련하고 점수를 매겼습니다. 그러나 이러한 노력을 반영하고자 하는 교육자는 자체 모델을 생성하는 데 많은 코멘트가 필요하지 않습니다. 150개의 코멘트로 훈련된 이전의 유틸리티 예측 모델에서도 유사한 유틸리티 카테고리 예측 성능을 보였습니다. 이번 연구는 ML이 서면 피드백과 같은 정성적 데이터를 객관적으로 평가하기 위한 교육 연구와 같이 이전에 잘 알려지지 않은 영역에 적용될 수 있음을 보여줍니다. 교육 및 디브리핑 세션의 주제별 분석과 같이 의학교육 연구의 다른 텍스트 기반 데이터에도 유사한 모델을 적용할 수 있습니다. 
While there may be concerns that utilizing ML requires significant levels of technical expertise to understand model creation and interpretation, this was not our experience.19,20 We were able to easily acquire requisite knowledge and skills from open online resources.1–3,21,22 Five hours of self-directed learning is sufficient to learn basic concepts needed to undertake these efforts. A preexisting bank of 1925 previously reviewed feedback comments was used to train and score models. However, educators wishing to mirror these efforts do not need as many comments to generate their own models; an earlier utility prediction model trained on just 150 comments resulted in similar utility category prediction performance. Our study illustrates that ML can be applied in previously underexplored areas, such as in education research to objectively assess qualitative data such as written feedback. Similar models could be applied to other text-based data in medical education research, such as thematic analyses of training and debriefing sessions.

ML을 사용하여 피드백 교육을 통해 혜택을 받을 수 있는 교수진을 식별하는 것이 목표이므로, 품질과 유용성이 낮은 피드백과 높은 피드백을 구분할 수 있는 임계값을 설정해야 합니다. 식별된 특성이 4개 이상인 경우 고품질, 점수가 4개 이상인 경우 높은 유용성에 대한 임계값을 결정한 것은 모든 평가자가 레지던트의 성장을 촉진하기 위해 탁월한 피드백을 남기기를 바라는 마음에서였습니다. 프로그램은 기관에 적합한 임계값과 생성된 예측의 용도를 고려해야 합니다. 
With our goal of using ML to identify faculty who could benefit from feedback training, we inevitably must set a threshold to differentiate lower quality and utility feedback from higher. Decisions of thresholds for high-quality at ≥4 traits identified and high-utility at scores ≥4 were based on desiring all our evaluators leave exceptional feedback to promote resident growth. Programs should consider thresholds appropriate for their institutions and intended applications of generated predictions.

코멘트이 길수록 활용도가 높은 것으로 분류될 가능성이 높았지만, 활용도가 [높은 것으로 예측된 코멘트]와 [낮은 것으로 예측된 코멘트]의 글자 수 사분위수 범위가 겹치는 것에서 알 수 있듯이 길이가 활용도 범주를 결정하는 유일한 요소는 아니었습니다. 활용도 예측은 특성 존재 예측의 신뢰도 점수에서 생성되었으며, 이러한 신뢰도 점수는 코멘트 길이와 관련 단어 어간의 TF-IDF 점수 모두에 의해 생성되었습니다. 따라서 관련 단어 어간의 TF-IDF 점수가 충분히 높으면 짧은 코멘트도 특성이 있는 것으로 분류될 수 있고 그 반대의 경우도 마찬가지입니다. 그러나 코멘트 길이가 6개 특성 모델 중 5개 모델에서 가장 가중치가 높은 입력이라는 점과 활용도가 낮은 예측과 높은 예측의 문자 수 중앙값이 해당 사분위수 범위 내에 속하지 않는다는 점에서 알 수 있듯이 코멘트 길이는 여전히 주요 요인으로 작용했습니다. 
While longer comments were more likely to be classified as high utility, length was not the sole deciding factor for utility category as evidenced by overlapping interquartile ranges of character count for comments predicted to be high and low utility. Utility predictions were generated from confidence scores of trait presence predictions, and those confidence scores were generated by both comment length and TF-IDF scores of relevant word stems. Therefore, if TF-IDF scores of relevant word stems were high enough, short comments could still be classified as having traits present and vice versa. However, comment length was still a major factor as evidenced by how it was the most heavily weighted input for 5 of 6 trait models, and how median character counts of low and high utility predictions did not fall within their counterparts’ interquartile ranges.

잠재적 응용 분야
Potential Applications

저희는 ML을 사용하여 피드백 배치를 주기적으로 검토하고 예측된 평가를 분석하여 교수진의 피드백을 개선하는 데 도움을 줄 수 있을 것으로 기대하고 있습니다.

  • 이 도구는 많은 데이터를 신속하고 표준화된 방식으로 평가할 수 있기 때문에 피드백의 질에 초점을 맞춰 개입을 평가하는 연구 프로젝트에 유용할 수 있습니다.
  • ML 피드백 평가의 더 즉각적인 활용은 양질의 피드백 제공에 대한 교수진 개발 및 교육을 지원하고 개입 대상을 식별하는 것입니다. 지속적으로 수준 이하의 피드백을 남기는 교수진은 자신의 피드백에 대한 보다 객관적인 검토를 받을 수 있으며, 이를 통해 피드백 기술을 개선하도록 유도할 수 있습니다.
  • 또 다른 응용 분야로는 교수진이 입력 시스템에 피드백을 제출한 직후 예측 모델이 해당 코멘트에 점수를 매기는 방식에 대한 피드백 제출 후 즉시 보고서를 제공하는 것입니다.
  • 마지막으로, 실시간 '피드백 지원' 도구를 전자 피드백 양식에 구현하여 교수진이 더 높은 활용도/높은 품질의 피드백을 작성할 수 있도록 지원할 수 있습니다. 이 프로젝트는 우리가 일반적으로 보아왔던 전통적인 수치 데이터 애플리케이션 외에도 텍스트 기반 및 주관적인 데이터 요소에도 ML을 적용할 수 있다는 희망적인 징후를 보여줍니다. 

We envision using ML to assist periodic reviews of feedback batches, and analyzing the predicted assessments to improve faculty feedback.

  • This tool can be helpful in research projects that focus assessing interventions on quality of feedback, as it allows rapid and standardized assessment of many pieces of data.
  • A perhaps more immediately gratifying use of ML feedback assessment would be to assist in faculty development and education on providing quality feedback and identify targets for intervention. Faculty who are consistently leaving subpar feedback could receive a more objective review of their feedback that may be received more openly that may prompt improvement in feedback techniques.
  • Another application could be providing faculty with an immediate postfeedback-submission report on how the predictive models would score the comment, immediately after submitting feedback in the entry system.
  • Finally, a real-time “feedback assist” tool could be implemented in electronic feedback forms to help faculty craft higher utility/higher quality feedback. Our project offers promising signs that ML can also be applied to more text-based and subjective data points, in addition to the more traditional numerical data applications we typically have seen.

제한 사항
Limitations

최적의 기능 집합을 찾기 위해 수천 개의 모델을 생성하는 자동 모델 생성 프로세스에 상당한 시간이 소요되었습니다. 각 모델 생성에 대한 기능 선택을 위해 자동 모델을 임의로 30분으로 제한했습니다. 자동 모델은 컴퓨터의 리소스를 많이 사용할 수 있으므로 시스템 또는 소프트웨어 오류를 방지하기 위해 실행 중에는 컴퓨터가 프로그램에만 전념하도록 하는 것이 좋습니다. 모델링과 텍스트 처리는 자동 모델 없이도 Python이나 R과 같은 무료 프로그래밍 언어를 사용하여 수행할 수 있습니다. 
Significant time was attributable to the Auto Model generation process, which created thousands of models to find optimal feature sets. We arbitrarily limited Auto Model to 30 additional minutes for feature selection for each model generation. Auto Model can be resource intensive on computers; we advise computers be solely dedicated to the program during runs to avoid systemic or software failure. Modeling and text processing can still be performed without Auto Model, and in free programming languages such as Python or R.

제한된 인구통계 정보만 수집했기 때문에 소수자나 취약 계층에 대한 모델의 의도치 않은 편향성을 평가할 수 없었습니다. 향후 피드백 분석 프로젝트에서는 모델 개발 과정에서 의도치 않게 발생할 수 있는 이러한 잠재적 편향성을 확인하기 위해 하위 그룹 분석을 모색할 계획입니다. 
As we only collected limited demographics information, we could not assess for inadvertent biases of models with respect to minorities or vulnerable populations. In future feedback analysis projects, we aim to explore subgroup analyses to check for such potential biases that may inadvertently be developed during model development.

평가자가 코멘트을 '인위적으로' 길게 늘리거나 유행어를 사용하여 예측 모델을 속이려고 시도할 가능성이 있습니다. 이러한 가능성은 ML의 일반적인 문제입니다.23,24 그러나 피드백 샘플을 주기적으로 수동으로 검토하면 모델이 코멘트을 적절하게 분류하고 있는지 확인하여 이러한 시도를 방지할 수 있습니다. 이상적인 미래 모델은 코멘트 길이 대신 특징 단어의 TF-IDF 점수에 더 많이 의존함으로써 잠재적인 조작에 대해 더욱 강력해질 것입니다.
There is a possibility that evaluators could try to fool the predictive models by “artificially” lengthening their comments and using buzzwords; such a possibility is a general problem for ML.23,24 However, periodic manual reviews of feedback samples can safeguard against those attempts by verifying whether models are appropriately classifying comments. Ideally, future models will be more robust against potential manipulations by relying more on TF-IDF scores of feature words instead of comment length.

표 3에서 볼 수 있듯이, 앙상블 모델의 정확도 손실은 대부분 활용도가 높은 코멘트에 대한 예측에서 비롯되었습니다. 이 모델은 합산 일치도가 높은 코멘트에 대해 정확도, 민감도, 특이도가 더 높았지만, 합산 일치도와 관계없이 활용도가 높은 코멘트을 예측할 때 클래스 정밀도는 떨어지는 경향이 있었습니다. 향후 모델에서는 이러한 측면을 개선하고자 합니다. 한 가지 접근 방식은 인간 평가자를 예측 모델로 완전히 대체하는 대신, 예측 모델을 사용하여 표준 방식으로 대량의 피드백을 선별한 다음, 인간 평가자가 수동으로 선택적으로 재평가할 수 있는 하이브리드 접근 방식으로 ML을 사용하는 것입니다. 

As seen in Table 3, most of the ensemble model’s loss in accuracy came from its predictions for high-utility comments. While this model had higher accuracy, sensitivity, and specificity for comments on which the sum concordance was higher, class precision when predicting comments to be high-utility tended to be poor regardless of sum concordance. We hope to improve on this aspect in future models. One approach is to use ML in a hybrid approach that uses our predictive models to screen large amounts of feedback in a standard way, which can then be selectively reassessed by human raters manually, rather than completely replace human raters with predictive models.

모델 성능을 개선할 수 있는 잠재적 방법
Potential Ways to Improve Model Performance

텍스트 처리 워크플로에서는 단어가 어떻게 사용되는지에 대한 문맥적 구분을 하지 않았습니다. 예를 들어, "계획을 직원에게 명확하게 전달했습니다"는 긍정적 피드백에서는 "전달하다"를 사용하는 반면, "계획을 직원에게 전달하는 것을 잊지 마세요"는 부정적 피드백에서 사용되는 단어를 나타냅니다. 또한 문법적 문맥을 구분하기 위해 품사별로 단어를 태그하지 않았습니다. 예를 들어 "환자를 주의 깊게 배치했습니다."와 "훌륭한 간호를 제공했습니다."에서 "간호"는 다르게 사용됩니다. 이로 인해 잘못된 예측이 발생할 수 있으며, 부정적인 피드백을 감지하는 것이 우려되는 영역입니다. 자연어 처리NLP 도구를 통합하면 단어가 어떻게 사용되는지 구별하는 데 도움이 되지만, 선택할 수 있는 특징feature의 수가 다양해지기 때문에 더 복잡한 모델을 생성해야 합니다. 특징 선택feature selection 은 모델 개발에 매우 중요하므로, 모델 성능을 향상시킬 수 있는 특징을 식별하는 동시에 모델 성능과 런타임을 악화시키는 관련 없는 특징을 제거할 수 있도록 텍스트 처리 접근 방식을 재평가해야 합니다. 또한 여러 센터에서 다양한 양식의 피드백을 통합하여 텍스트 셀에 긍정적인 피드백이나 부정적인 피드백을 기록하는 영역을 구분하지 않았습니다. 향후 피드백 검토에서는 '긍정적' 피드백과 '부정적' 피드백을 위한 별도의 텍스트 필드를 사용할 것입니다. 
Our text processing workflow did not make contextual distinctions on how words were used. For example, “You clearly communicated your plan with the staff” uses “communicate” in positive feedback, whereas “Remember to communicate your plan with the staff” indicates the word used in negative feedback. Also, we did not tag words by part of speech to differentiate grammatical contexts. For example, “care” is used differently in “You carefully positioned patients” versus “You provided excellent care.” This can result in false predictions—with an area of concern being detecting negative feedback. Incorporating natural language processing tools would help distinguish how words are being used, but would require more complex model generation as the number of features to select from become more diverse. As feature selection is crucial to model development, we would have to reevaluate our text processing approach to ensure we strike a balance between identifying features that can improve model performance while removing irrelevant features that would only worsen model performance and runtimes. Additionally, we combined feedback from different forms from multiple centers, so the text cells did not separate areas to note positive feedback or negative feedback. In future feedback review, we would use separate text fields for “positive” and “negative” feedback.

훈련 데이터세트에서 관찰된 클래스 비율에 따라 비용/이득 값을 조정하여 클래스 불균형을 설명하는 간단한 방법을 사용했습니다. 비용 행렬은 알고리즘이 이득을 위한 최적의 모델을 결정하는 방법을 결정하므로, 비용 행렬을 설정하는 데 다른, 잠재적으로 더 복잡한 접근 방식을 사용하면 모델 성능이 크게 달라질 수 있습니다. 예를 들어,

  • 유틸리티 비용 행렬을 조정하여 오분류에 대해 2점 이상 더 큰 불이익을 주면 잠재적으로 인간 평가자의 점수에 더 근접한 예측을 할 수 있습니다.
  • 또한 다수majority 클래스에서 예시를 제거하는 다운샘플링이나 소수minority 클래스에서 무작위로 예시를 복제하여 강화하는 업샘플링과 같이 클래스 불균형을 해결하기 위한 다른 기법도 존재합니다. 

We used a straightforward way of accounting for class imbalance by adjusting cost/gain values based on the class ratios observed in the training dataset. Cost matrices dictate how algorithms determine the optimal model for gains, so using a different, potentially more complex approach to setting the cost matrix could lead to vastly different model performance.

  • For example, the utility cost matrix could be adjusted to more heavily penalize misclassifications by ≥ 2 points, potentially making predictions closer to the human raters’ scores.
  • Additionally, other techniques to address class imbalance exist such as downsampling, which removes examples from majority classes, or upsampling, which duplicates random examples from the minority classes to reinforce them.

이러한 모델의 잠재적인 결함에도 불구하고 75% 이상의 코멘트이 6개 중 4개 이상의 특성에서 원래 평가자와 모델의 예측이 일치했습니다. 이러한 모델을 사용하여 피드백 품질을 예측한 결과, 품질이 낮은 피드백을 식별하는 민감도가 86.1%로 높았으며, 유용성 범주를 예측하는 앙상블 모델의 경우 유용성이 낮은 피드백을 식별하는 민감도가 89.2%로 높았습니다. ML에 대한 공식적인 배경 지식이 없음에도 불구하고 적은 시간을 투자하여 저품질/저유용성 피드백을 안정적으로 선별하는 모델을 생성할 수 있는 능력은 유사한 작업에 관심이 있는 다른 프로그램에도 영감을 줄 수 있을 것입니다. 고급 기술을 추가하면 성능이 향상될 수 있지만, 저희 모델은 이러한 기술을 추가하지 않고도 저품질(85.0%)/저유용성(89.8%) 코멘트을 예측하는 높은 수준의 정확도를 달성할 수 있었습니다. 따라서 특정 기간 동안 평가자가 모델에 의해 저품질/저유용성으로 표시된 코멘트의 비율이 높다면, 해당 평가자가 실제로 수준 이하의 피드백을 남기는 것은 아닌지 의심해 볼 수 있습니다.
In spite of the potential flaws in these models, more than 75% of comments had concordance on 4 or more traits out of 6 between the original raters’ and the models’ predictions. Using those models to predict feedback quality resulted in a high sensitivity for identifying low-quality feedback (86.1%), and the ensemble model for predicting utility category had high sensitivity for identifying low-utility feedback (89.2%). Our ability to generate models to reliably screen for low-quality/low-utility feedback with a modest time investment, despite not having formal backgrounds in ML, should encourage other programs interested in similar pursuits. While additional advanced techniques could improve performance, our models were still able to achieve a high class precision for predicting low-quality (85.0%)/low-utility (89.8%) comments without them. Therefore, if an evaluator has a high proportion of comments during a given span flagged as low-quality/low-utility by models, there would be reasonable concern about that evaluator truly leaving subpar feedback.

활용도가 높은 피드백을 분석하는 것은 레지던트 성과에 대한 개선 계획을 개발할 수 있는 중요한 가치가 있습니다. 활용도가 높은 피드백을 정확하게 식별하는 모델의 기능을 개선하는 것은 향후 연구해야 할 또 다른 영역입니다. 향후 모델의 반복 학습을 위해 활용도가 높은 피드백의 예를 더 많이 수집하면 성능이 향상될 수 있습니다. 
There is significant value in analyzing high-utility feedback, which can develop improvement plans for resident performance. Improving our model’s ability to correctly identify high-utility feedback is another area for future investigation. Collecting more examples of high-utility feedback to train future iterations of the model may improve performance.

결론
CONCLUSIONS

ML 예측 모델링 접근 방식은 높은 민감도로 활용도가 낮은 피드백을 빠르게 식별하고 허용 가능한 민감도로 품질이 낮은 피드백을 빠르게 식별할 수 있었습니다. 이러한 발전은 피드백을 더욱 신속하게 평가하고 피드백의 유용성과 품질을 개선하기 위한 노력에 도움이 될 것입니다. 저희는 시간이 지남에 따라 이 모델을 개선하여 전 세계적으로 그리고 개별 교수진별로 피드백 제공의 유용성과 품질을 선별하고 평가하는 데 사용하는 것을 목표로 하고 있습니다. 
A ML predictive modeling approach was able to rapidly identify low-utility feedback with high sensitivity and low-quality feedback with acceptable sensitivity. This advancement will allow for more rapid assessment of feedback and aid efforts to improve feedback utility and quality. We aim to enhance this model over time and use it to screen and assess the utility and quality of feedback provision, both globally and by individual faculty.

 


 

 

Anesth Analg. 2021 Feb 1;132(2):545-555. doi: 10.1213/ANE.0000000000005265.

 

 

Using Machine Learning to Evaluate Attending Feedback on Resident Performance

Affiliations collapse

1From the Department of Anesthesiology, Beth Israel Deaconess Medical Center, Boston, Massachusetts.

2Department of Anesthesiology, Queen's Medical Center, Honolulu, Hawaii.

3Department of Anesthesiology, University of Rochester Medical Center, Rochester, New York.

4Department of Anesthesiology, University of Kentucky College of Medicine, Lexington, Kentucky.

5Department of Anesthesiology and Pediatrics, University of California, San Diego, San Diego, California.

6Department of Anesthesiology, University of Florida-Jacksonville, Jacksonville, Florida.

7Department of Anesthesiology, Albany Medical College, Albany, New York.

PMID: 33323789

DOI: 10.1213/ANE.0000000000005265

Abstract

Background: High-quality and high-utility feedback allows for the development of improvement plans for trainees. The current manual assessment of the quality of this feedback is time consuming and subjective. We propose the use of machine learning to rapidly distinguish the quality of attending feedback on resident performance.

Methods: Using a preexisting databank of 1925 manually reviewed feedback comments from 4 anesthesiology residency programs, we trained machine learning models to predict whether comments contained 6 predefined feedback traits (actionable, behavior focused, detailed, negative feedback, professionalism/communication, and specific) and predict the utility score of the comment on a scale of 1-5. Comments with ≥4 feedback traits were classified as high-quality and comments with ≥4 utility scores were classified as high-utility; otherwise comments were considered low-quality or low-utility, respectively. We used RapidMiner Studio (RapidMiner, Inc, Boston, MA), a data science platform, to train, validate, and score performance of models.

Results: Models for predicting the presence of feedback traits had accuracies of 74.4%-82.2%. Predictions on utility category were 82.1% accurate, with 89.2% sensitivity, and 89.8% class precision for low-utility predictions. Predictions on quality category were 78.5% accurate, with 86.1% sensitivity, and 85.0% class precision for low-quality predictions. Fifteen to 20 hours were spent by a research assistant with no prior experience in machine learning to become familiar with software, create models, and review performance on predictions made. The program read data, applied models, and generated predictions within minutes. In contrast, a recent manual feedback scoring effort by an author took 15 hours to manually collate and score 200 comments during the course of 2 weeks.

Conclusions: Harnessing the potential of machine learning allows for rapid assessment of attending feedback on resident performance. Using predictive models to rapidly screen for low-quality and low-utility feedback can aid programs in improving feedback provision, both globally and by individual faculty.

인공지능 학술활동: 보건의료전문직 연구에서 LLM (Adv Health Sci Educ Theory Pract. 2023)
Artificial scholarship: LLMs in health professions education research
Rachel H. Ellaway1 · Martin Tolsgaard2

0

이 사설은 누가 썼나요? 저자로 우리 두 명이 이름을 올렸는데, 이 논문이 인공지능(AI)이 작성한 것이 아니라고 어떻게 확신할 수 있을까요? 아니면 AI가 공개되지 않은 제3의 저자였다면 어떻게 해야 할까요? 또는 이 논문이 작성된 시점부터 여러분 앞에 도착할 때까지 여러 AI에 의해 편집되었다면 어떻게 해야 할까요? 인간과 기계를 구분할 수 없거나 학술 논문이 인간과 AI가 생성한 자료의 혼합물인 경우 이 작업은 어떤 권한을 갖나요? 이러한 작업에 대한 책임은 누가 지나요? 학문에 어떤 영향을 미칠까요? 이것이 이 사설의 출발점입니다. 
Who wrote this editorial? There are two of us named as authors, but how can you tell that this paper wasn’t written by a some kind of artificial intelligence (AI)? Or perhaps an AI was an undisclosed third author, what then? Or what if this paper has been edited by multiple AIs between the time we wrote it and it arrived in front of you? What authority does this work have if you cannot tell humans from machines, or you cannot tell when an academic paper is a hybrid of human and AI generated material? Who is accountable for such work? What are the implications for scholarship? These are the starting points for this editorial.

우려 사항
Concerns

인공지능에 대한 실질적인 연구와 개발은 차치하고서라도, 인공지능은 오랫동안 문화적 밈이 되어 왔으며, 거의 항상 위협적인 존재로 묘사되어 왔습니다(예: HAL, 매트릭스, 다양한 터미네이터, 울트론 등). 인공지능을 실제로 만나기 시작한 지금, 인공지능이 유용한 기술인지 아니면 실존하는 위협인지에 대해 의견이 분분한 것은 당연한 일입니다. 그렇다면 '인공지능'이란 무엇을 의미할까요? 현재 대부분의 대화는 대규모 언어 모델(LLM)로 알려진 도구 제품군 중 가장 잘 알려진 ChatGPT를 언급하고 있으며, 다른 도구로는 Google Bard와 Microsoft Bing 등이 있습니다. 이러한 LLM은 복잡한 텍스트 입력을 처리하고 사람이 생성한 것과 구별하기 어려운 텍스트 응답을 제공할 수 있습니다. 이러한 새로운 LLM의 힘과 능력 때문에 Springer Nature(출판사)는 출판하는 논문에 LLM을 저자로 등재하는 것을 금지하고 있습니다: 
Setting aside the substantial research and development into AI, artificial intelligence has long been a cultural meme, almost always portrayed in terms of a threat (such as HAL, The Matrix, various Terminators, and Ultron, to name but a few). Not surprisingly then, now that we are beginning to encounter very real artificial intelligences, opinions are divided as to whether they are useful technologies or existential threats. But what do we mean by ‘AI’? Currently, much of the conversation refers to ChatGPT, which is currently the best known of a family of tools known as large language models (LLMs); others include Google Bard and Microsoft Bing. These LLMs can process complex textual inputs and provide textual responses that can be hard to distinguish from those generated by humans. Such is the power and capacity of these emerging LLMs that Springer Nature (our publisher) has banned LLMs from being listed as authors on articles it publishes:

"첫째, 어떤 LLM 도구도 연구 논문의 공저자로 인정되지 않습니다. 저자의 귀속에는 작업에 대한 책임이 수반되며, 기계로서의 AI는 그러한 책임을 가질 수 없기 때문입니다. 둘째, LLM 도구를 사용하는 연구자는 방법 또는 인정 섹션에 이러한 사용을 문서화해야 합니다." (Anon 2023)
“First, no LLM tool will be accepted as a credited author on a research paper. That is because any attribution of authorship carries with it the expectation of accountability for the work, and AIs as machines cannot have such responsibility. Second, researchers using LLM tools should document this use in the methods or acknowledgements sections.”
 (Anon 2023)

실제로 우리는 이미 학술 논문을 작성하기 위해 LLM을 사용하는 연구자들과 비인간 저자를 식별하고 잠재적으로 차단하기 위해 LLM 탐지 도구를 개발하는 출판사 간에 군비 경쟁을 벌이고 있는 것처럼 보입니다. AI를 활용하는 학자와 그렇지 않은 학자를 구분하는 것이 중요한 이유는 무엇일까요? 기존의 LLM이 진정으로 생성적이라고 가정한다면(물론 새로운 구성이긴 하지만 이미 쓰여진 것을 재현하는 경우가 많기 때문에 과장된 표현일 수 있습니다), 이러한 이유만으로 그들의 도움을 받아 생산된 과학이 반드시 열등한 것일까요? 이전 시대에도 비슷한 우려가 제기되었습니다(예: 라디오, 텔레비전 또는 인터넷을 도입할 때)(Rosen et al., 1987). 다시 말해, LLM이 사람보다 더 잘 쓰여지고, 편향성이 적고, 간결하고, 접근성이 높은 논문을 작성할 수 있다면 그 논문이 더 우수한 결과물이 아닐까요? 물론 이것은 글쓰기의 '방법'과 '내용'을 분리하는 것으로, LLM이 잘 쓰여진 논문을 작성할 수 있을지는 몰라도 무엇을 쓰고 있는지, 정보와 아이디어가 어디에서 나오는지에 대한 의문은 여전히 남아 있습니다. 이는 논문에 이름을 올린 모든 저자가 반드시 지켜야 할 학술적 저자에 대한 ICMJE의 권고 사항의 기본 원칙입니다: 
Indeed, we already seem to be in an arms race between those using LLMs to generate academic papers and publishers developing LLM detection tools to identify and presumably stop non-human authorship. Why is it important to distinguish between AI-augmented scholars and those who are not using AI? Assuming that the existing LLMs are truly generative (which admittedly may be a stretch since they often reproduce what has already been written, albeit in new configurations), is the science produced with their help necessarily inferior for this reason alone? Similar concerns were voiced in previous eras (for example, when introducing the radio, television, or the Internet (Rosen et al., 1987). Put another way, if an LLM can produce a paper that is better written, less biased, more concise, and more accessible than a human can then is that not a superior product? Of course, this separates the ‘how?’ of writing from the ‘what?’, an LLM might be able to produce a well-written paper but there is still the question as to what is being written about and where the information and ideas come from. It is a fundamental tenet of the ICMJE’s recommendations on academic authorship that all named authors on a paper have made:

"저작물의 개념 또는 설계, 또는 저작물을 위한 데이터의 수집, 분석 또는 해석에 대한 실질적인 기여, 저작물의 초안 작성 또는 중요한 지적 내용에 대한 비판적 수정, 출판될 버전의 최종 승인, 저작물의 정확성 또는 무결성과 관련된 문제가 적절히 조사되고 해결될 수 있도록 저작물의 모든 측면에 대해 책임을 지는 데 동의합니다." (ICMJE nd)
“Substantial contributions to the conception or design of the work; or the acquisition, analysis, or interpretation of data for the work; AND drafting the work or revising it critically for important intellectual content; AND final approval of the version to be published; AND agreement to be accountable for all aspects of the work in ensuring that questions related to the accuracy or integrity of any part of the work are appropriately investigated and resolved.”
 (ICMJE nd)



이를 위해서는 LLM이 연구를 공동 설계하고, 연구 실행에 밀접하게 참여했으며, 논문 작성에 밀접하게 관여하고, 논문을 승인하고, 저자가 될 자격을 갖추기 위해 책임을 져야 합니다. 저술에 기여하는 것만으로는 충분하지 않습니다. AHSE는 ICMJE의 권고사항을 전적으로 지지하며, 이러한 권고사항은 저자의 역량에 중점을 두고 있습니다. 이번 호의 '누가 이 논문의 저자가 되어야 하는가'에 대한 질문과 답변 기사도 참조하시기 바랍니다(Kuper 외. 이번 호).
This would require an LLM to have co-designed a study, been intimately part of its execution, been intimately involved in writing the paper, approved it, and stood accountable for it to be eligible to be an author. Contributing to the writing alone is not sufficient. AHSE fully supports the ICMJE recommendations and these firmly centre on the capabilities of human authors. Please also see this issue’s Questions and Queries article on ‘Who Should Be an Author on This Paper?’ (Kuper et al. THIS ISSUE).

스프링거 네이처에 게재된 논문을 포함하여 출판되고 있는 많은 입장 논문과 관점에서는 이러한 문제만이 제기되고 있는 것은 아닙니다. 예를 들어, Seghier 단일 언어(영어)와 문화(미국)가 지배하는 기술에 대한 형평성과 문화적 우려에 대해 언급했습니다:
These are not the only issues being raised in the many position papers and perspectives being published including those in our own Springer Nature imprint (see https://www.nature.com/search?q=chatgpt&order=relevance) For instance, Seghier noted equity and cultural concerns of a technology dominated by a single language (English) and culture (US):

"프랑스어와 아랍어는 세계에서 가장 일반적으로 사용되는 언어 중 하나이며 인터넷에서 널리 사용되고 있습니다. 하지만 ChatGPT에서 두 언어의 풍부한 응답과 글의 명료성은 영어에 비해 현저히 떨어졌습니다." (세기어 2023)
“French and Arabic are among the world’s most commonly spoken languages and they have a widespread presence on the Internet. However, the richness of ChatGPT’s response and the intelligibility of its writing in both languages were notably inferior to those in English.”
 (Seghier 2023)

잠재적 이점
Potential benefits

'기계의 부상'을 두려워하고 저항해야 할까요? 글쎄요, 반드시 그럴 필요는 없습니다. LLM이 유용한 역할을 할 수 있는 것은 분명합니다. 예를 들어, 의학 교육 문헌이 영어권 국가와 영어를 제2외국어로 구사하는 사람들의 기여에 의해 주도되고 있다는 점을 고려할 때, 언어가 이미 영어가 모국어가 아닌 사람들을 불리하게 만드는 장벽을 형성하고 있습니다. 이러한 맥락에서 언어 장벽을 줄일 수 있는 방식으로 원고를 번역하고 교정하는 데 LLM을 활용할 수 있으며, 이를 통해 영어가 모국어가 아닌 국가의 학술적 작업이 보다 동등한 입장에서 고려될 수 있습니다. 물론 영어를 모국어로 사용하는 사람 중에도 이러한 교정의 혜택을 받을 수 있는 사람이 많습니다. 실제로 제출하기 전에 이미 LLM을 통해 자신의 글을 교정하는 동료들이 있습니다. 이것이 적절하지 않다고 생각한다면 Grammarly나 맞춤법 검사기를 사용하는 것과 어떤 차이가 있는지 스스로에게 물어보세요. 이러한 종류의 질문에 대한 답은 LLM을 통해 얼마나 많이 변경되거나 '개선'되고 있는지에 달려 있습니다. 예를 들어, AI 커뮤니티에서 몇몇 유명 학회에서는 제출된 저작물을 생성하는 데 LLM을 사용하는 것을 금지하고 있지만, 사람이 생성한 콘텐츠를 다듬는 데는 허용하고 있습니다. (Vincent, 2023) 
Is this ‘rise of the machines’ to be feared and resisted? Well, not neccessarily, clearly LLMs can play useful roles. For instance, given that the medical education literature is dominated by contributions from English-speaking countries and those competent in English as a second language, language already creates a barrier that puts non-native English speakers at a disadvantage. In this context, LLMs could be used to translate and correct manuscripts in ways that could reduce language barriers, thereby allowing scholarly work from non-native English-speaking countries to be considered on a more equal footing. Of course, there are also many native English speakers whose writing could benefit from this kind of copy-editing. Indeed, we have colleagues who are already using LLMs to proof their written work prior to submission. If you think this is not appropriate, then ask yourself how different this is from using Grammarly or a spell checker. Answering these kinds of questions comes down to how much is being changed or ‘improved’ by the LLM. For example, in the AI community, several high-profile conferences have prohibited the use of LLMs in generating work submitted to them, but they allow its use in refining human-generated content. (Vincent, 2023)

작문 지원만이 보건 전문직 교육 연구에서 LLM의 유일한 잠재적 역할은 아닙니다. 예를 들어 문헌 검토를 위해 정보를 수집하거나 정보를 신속하게 종합하는 데 LLM을 활용할 수 있습니다. 체계적 문헌고찰을 지원하는 사서의 업무를 LLM에게 맡기는 것은 어떨까요? 이 작업은 사람을 고용하는 것보다 더 빠르고 저렴할 수 있지만, 연구 과정에서 점점 더 많은 사람을 배제할 경우 어떤 영향을 미칠지 예측하기 어려울 수 있습니다. 넘지 말아야 할 윤리적 선이 있지만, 그 선이 어디에 있는지, 상황에 따라 언제 어떻게 변하는지는 여전히 불분명합니다. 
Writing support is not the only potential role for LLMs in health professions education research. LLMs could be used to gather information, for instance for a literature review, or conduct a rapid synthesis of a body of information. What about getting LLMs to do the work of librarians in support of systematic reviews? This might be faster and cheaper than engaging humans to do this work but the impacts of removing more and more humans from research processes may be unpredictable at best. There are ethical lines that will need to be drawn (and not crossed), but quite where these lines are and how and when they shift according to context remains unclear.

학술 업무에서의 윤리와 진실성
Ethics and Integrity in Academic Work

학술적 글쓰기에 AI를 사용하는 것에 반대하는 사람들이 모든 기술적 지원을 피하려는 것이 아니라는 점에 유의하는 것이 중요합니다. 많은 학자들이 Grammarly와 같은 도구를 사용하여 글쓰기에 도움을 받을 뿐만 아니라 참조 관리자, 데이터베이스, 기타 다양한 웹 서비스 및 리소스를 사용하고 있습니다. 실제로 이 사설은 저자들의 노트북에서 Microsoft Word를 사용하여 작성되었고, 캘거리와 코펜하겐에서 이메일을 통해 초안을 교환했으며, 스프링거의 도구와 기술을 사용하여 이 원고를 제출하고 처리했습니다.

  • 이것이 허용되는 증강이라면 허용되는 AI 증강과 허용되지 않는 AI 증강 사이에 의미 있는 경계를 어떻게 그릴 수 있을까요?
  • 직업적 무결성과 책임감을 잃지 않으면서 기술 사용이나 의존을 어느 정도까지 허용할 수 있을까요(또는 허용할 수 있을까요)?

It is important to note that those opposing the use of AI in academic writing are not seeking to eschew all technological supports. Many scholars use tools such as Grammarly to help them in their writing, as well as using reference managers, databases, and a cornucopia of other Web services and resources. Indeed, this editorial was written on the authors’ laptops using Microsoft Word, we exchanged drafts between Calgary and Copenhagen via email, and we submitted and processed this manuscript using Springer’s tools and technologies.

  • If these are acceptable augmentations, then how do we draw a meaningful boundary between accepted and non-accepted AI-augmentation?
  • How much technology use or dependence can there be (or will we accept) without losing professional integrity and accountability?

결국, 이러한 기술이 오용될 수 있는 만큼 아이디어 생성, 텍스트 초안에 대한 피드백 받기, 언어 수정, 구조 제공, 반복적인 작업 완료 등 매우 유용할 수도 있습니다. 또한, 아직은 권장할 만한 수준은 아니지만, 궁극적으로는 AI를 사용하여 학술지에 제출된 논문을 선별하고, 인간 심사자를 확보할 수 없는 경우 심사자를 대신할 수도 있습니다. 심지어 언젠가는 일부 저널이 거의 전적으로 AI에 의해 운영될 수도 있습니다. 그렇게 되면 처리 시간이 대폭 단축되겠지만, 과연 얼마나 신뢰할 수 있고 공정할까요? 결국 크뤼겔 외(2023)는 LLM이 도덕성은 없지만 (아마도) 이러한 능력을 가진 인간에게 큰 영향을 미칠 수 있다는 도덕적 우려를 제기했습니다.
After all, as much as these technologies could be misused, they can also be very useful, for instance in generating ideas, getting feedback on drafts of text, revising language, providing structure, or completing repetitive tasks. Moreover, although not yet advisable, AI might eventually be used to screen articles submitted to journals such as ours and even to substitute for reviewers when human reviewers cannot be secured. It might even be the case that some journals might someday be run almost entirely by AIs. Processing times would be cut drastically if this were the case, but how reliable and fair would this be? After all, Krügel et al. (2023) raised moral concerns that LLMs have no morality and yet can be very influential of humans who do (presumably) have this capability.

또 다른 예로, 캘리포니아 버클리 대학교 컴퓨터 연구소의 연구원들은 ChatGPT 출시 직후 유능한 과학자를 식별하는 스크립트를 만들 때 AI 모델이 비남성 및 비백인 과학자에 대한 편견을 보였다는 사실을 입증했습니다(Alba, 2022). 이러한 모든 기술에는 제작자의 편견이 반영될 것이며, 잠재적으로 학습하는 자료에 이러한 편견이 반영되어 공정성이 구조적 편견에 의해 공허해질 수 있다는 것은 공리입니다. 또한 대부분의 LLM이 명시적 콘텐츠 알고리즘이 아닌 적응형 심층 강화 학습을 사용하기 때문에 제작자가 이를 완전히 이해하지 못한다는 점도 우려됩니다(명시적 콘텐츠 알고리듬은 ADRL과 경쟁하기에는 너무 번거롭고 성능이 부족한 것으로 입증됨).
As another example, researchers at the computer lab at Berkeley, University of California, demonstrated shortly after the release of ChatGPT that the AI model exhibited bias against non-male and non-white scientists when tasked with creating a script to identify competent scientists (Alba, 2022). It is axiomatic that all such technologies will reflect their creators’ biases and potentially that in the materials they train on such that their impartiality is hollowed out by structural bias. It is also concerning that most LLMs are not fully understood by their makers as they use adaptive deep reinforcement learning rather than explicit content algorithms (the latter having proved too onerous and underpowered to compete with ADRL).

이러한 문제에도 불구하고 이러한 새로운 기술을 도입하려는 움직임은 분명합니다. 이 사설을 준비하는 동안에도 학자들에게 글쓰기와 연구에 LLM을 사용하도록 가르치는 강좌 광고가 쏟아져 나왔습니다. 예를 들어, 스틸과 파리보르지의 온라인 강좌(2023년)는 학자들에게 문헌 검토(검색 수행, 논문의 관련성 및 품질 평가, 검색 결과 분석 및 종합)를 자동화하고, 논문 작성(문헌 종합, 논문 초안 작성, 제출 준비, 검토자 및 편집자에게 응답)의 일부가 되며, "복잡한 연구 목표를 잠재적인 국가 및 기타 자금 지원 기관을 위해 설득력 있고 소화 가능한 콘텐츠로 종합"하기 위해 LLM을 사용하여 보조금 작성법을 가르친다고 제안했습니다. 준비가 되었든 안 되었든, 지니는 이미 병에서 나왔습니다. 
These problems notwithstanding, the rush to employ these emerging technologies is clear. Even as we were preparing this editorial, we have been bombarded by advertisements for courses teaching scholars to use LLMs in writing and research. As an example, an online course from Steel and Fariborzi (2023) offered to teach scholars to use LLMs to automate literature reviews (conducting searches, assessing the relevance and quality of papers, and analyzing and synthesizing the results of searches), to be a part of authoring papers (by synthesizing the literature, drafting papers, preparing them for submission, and responding to reviewers and editors), and grant writing by using LLMs to “synthesize complex research goals into compelling and digestible content for potential national and other funding bodies”. Ready or not, the genie is out of the bottle.

LLM이 데이터를 수집 및 종합하고 연구 결과에 대한 논문을 작성하는 임무를 맡게 되면 어떻게 될까요? 인간 연구자나 저자가 할 수 있는 것보다 훨씬 더 빠른 속도로, 적어도 스타일적으로는 훨씬 더 높은 품질로 이 작업을 수행할 수 있다면 어떻게 될까요? 저널 측의 LLM이 이러한 LLM이 생산한 논문을 검토하고 수락 및 거부한다면 어떻게 될까요? LLM이 다른 LLM이 출판할 논문을 편집하고 수정하여 다른 LLM이 이를 소비하도록 한다면 어떻게 될까요? 학술 출판의 모든 작업이 사람의 손길 없이 이루어질 수 있다면 어떻게 될까요? 이는 다소 불가능해 보일 수 있지만 결코 불가능한 것은 아닙니다.
What happens if LLMs are tasked with gathering and synthesizing data and writing papers on their findings? What happens if they can do this at a much greater rate and, stylistically at least, of a much higher quality than human researchers or authors can manage? What happens if LLMs on the journals’ side are reviewing and accepting and rejecting these LLM-produced papers? What happens if LLMs are editing and revising papers, for other LLMs to publish, so that yet other LLMs consume them? If all of the tasks of academic publishing can be accomplished without human input, then what? While this may seem rather improbable, it is by no means impossible.

그러나 학문적 버전의 스카이넷에 대한 디스토피아적 불안감에 빠지기보다는, 기계가 모방할 수 없거나 모방하려고 해서는 안 되는 인간만이 할 수 있고 할 수 있는 일이 무엇인지 생각해 볼 필요가 있습니다. 예를 들어,

  • 인간의 지혜, 창의성, 판단력은 모방할simulated 수는 있지만 모방할emulated 수는 없으며,
  • [인간의 정서적 강점과 취약성]을 모두 갖춘 윤리적 사고가 우리가 하는 일에 필요하며,
  • 서로에 대한 책임감은 학문 활동에서 타협할 수 없는 부분이라고 제안할 수 있습니다.

인간과 AI는 서로 다른 영역에서 뛰어난 능력을 발휘하기 때문에 문제는 AI가 인간을 대체할 것인가가 아니라, AI와 어떻게 협력하여 AI나 인간 혼자서는 불가능했던 결과를 달성할 수 있는가일 수 있습니다.
However, rather than descending into dystopian anxiety over the academic version of Skynet, perhaps we should ask what it is humans can and do add that machines cannot or should not seek to emulate. We would suggest for instance

  • that human wisdom, creativity, and judgment might be simulated but not emulated,
  • that ethically minds that have both human emotional strengths and fragilities are required to do the work we do, and
  • that accountability to each other is a nonnegotiable part of academic activity.

Since humans and AI excel in different areas, the question may not be whether AI will replace us, but rather, how can we collaborate with AI to achieve results that were not possible for either AI or humans alone.

HPE 연구 및 출판에 대한 시사점
Implications for HPE research and publishing

LLM 및 기타 AI가 연구, 실용적, 윤리적, 도덕적으로 미치는 잠재적 영향은 매우 크며, 이로 인해 많은 학문적 프로세스와 표준에 대한 재평가가 이루어지고 있습니다. 예를 들어 Van Dis 등(2023)은 연구자와 출판인에게 어떤 연구 과제를 아웃소싱해야 하는지, 아웃소싱하지 말아야 하는지, AI 지원 연구 프로세스에서 사람의 검증이 필요한 단계는 무엇인지, 연구자의 교육 및 훈련에 LLM을 어떻게 통합해야 하는지 등 일련의 필수적인 질문을 던졌습니다.
The potential impact of LLMs and other AIs on research, practically, ethically, and morally is large, and this has created a reappraisal of much of academic processes and standards. For instance, Van Dis et al. (2023) asked a set of essential questions for researchers and publishers including: which research tasks should or should not be outsourced, what steps in an AI-assisted research process require human verification, and how should LLMs be incorporated into the education and training of researchers?

지금까지 학술지의 반응은 신중하고 비판적이었습니다. 예를 들어, 최근 Academic Medicine의 편집자들은(DeVilbiss & Roberts, 2023) 네 가지 원칙의 관점에서 입장을 표명했습니다. 

  • 저자가 자신의 연구에 대해 책임을 져야 한다는 점(LLM은 이 기준을 충족하지 못한다는 지적),
  • 저널에 제출된 논문을 개발하거나 작성할 때 LLM을 사용한 경우 이를 공개해야 한다는 점,
  • 연구 과정에서 LLM을 사용한 경우 해당 연구에 대한 논문에서 명확하게 기술해야 한다는 점,
  • 이러한 기술이 매우 빠르게 변화하고 있으므로 이러한 변화를 추적하기 위해 시간이 지남에 따라 정책이 적응해야 한다는 점

이는 다소 일반적인 문제이기는 하지만, 저희는 Advances에서 이를 지지합니다. 
So far, the response from journals has been cautious and critical. As an example, the editors of Academic Medicine recently (DeVilbiss & Roberts, 2023) stated their position in terms of four broad principles:

  • that authors must be accountable for their work (noting that LLMs do not meet this standard);
  • that any use of LLMs in developing or writing papers submitted to the journal must be disclosed;
  • that any use of LLMs in the research process must be clearly described in any paper reporting on that research; and,
  • as these technologies are changing so quickly, that policies will need to adapt over time to track these changes.

These are somewhat generic concerns, albeit ones that we support at Advances.

고려해야 할 더 큰 문제도 있습니다. 예를 들어, LLM은 이론 사용, 평가 관행의 개념화, 학습 및 성과 연구 등에 어떤 영향을 미칠까요? 주요 학술지에서 가장 많이 인용되고 다운로드되는 출판물의 대부분이 비경험적 연구, 논평, 편지, 반성적 글들로 구성된 분야(HPE를 한 분야로 가정)에서 LLM을 사용하면 출판되는 몇 안 되는 독창적인 연구 기여도가 더 낮아질까요? 누구나 몇 분 안에 LLM으로 작성된 리뷰를 작성할 수 있게 되면 우리 연구의 과학적 가치와 무결성이 떨어질까요?
There are bigger issues to consider. For instance, what implications do LLMs have for our use of theory, the conceptualization of assessment practices, learning and performance research etc.? In a field (assuming that HPE is a field) where many of the most cited and downloaded publications in the major journals consist of non-empirical work, commentaries, letters, and reflective pieces, will the use of LLMs further water down the few original research contributions that remain published? Will the scientific currency and integrity of our work be diminished if anyone can produce an LLM-generated review within minutes?

HPE 장학금과 HPE 간의 인터페이스뿐만 아니라 의료 전반과의 인터페이스도 고려해야 할 사항입니다. AI는 이미 의학(Li 외, 2019)과 의학교육(Tolsgaard 외, 2020; Katznelson & Gerke, 2021)에 도입되고 있습니다. 실제로 인공지능의 중요성, 기회, 위험 및 기타 결과에 대한 많은 추측성 의견들이 AHSE 및 기타 저널에 제출되고 있습니다. 저널로서 이것은 흥미로운 이슈이지만, 우리는 추측이 아닌 실질적인 이론적, 철학적 또는 경험적 연구를 찾습니다. 여러 면에서 코로나19 팬데믹 기간에 보았던 것과 유사한 이론적, 비실험적 연구의 새로운 물결이 일어날 것으로 예상하지만, 지금은 LLM과 AI 기술의 희망, 기대, 위험에 초점을 맞추고 있습니다.  
There are also the interfaces between HPE scholarship and HPE to be considered, as well as our interfaces with healthcare as a whole. AIs are already finding their way into medicine (Li et al., 2019) and into medical education (Tolsgaard et al., 2020; Katznelson & Gerke, 2021). Indeed, we are seeing a great many speculative opinion pieces being submitted to AHSE and other journals about the importance, opportunities, risks, and other consequences of AIs. As a journal this is an interesting issue, but we look for substantial theoretical and philosophical or empirical work, not speculation. In many ways, we predict a new wave of atheoretical and non-empirical work similar to that we saw during the COVID pandemic but now focused on the hopes, expectations, and dangers of LLMs and AI technology.

우리가 지적한 문제들은 사소한 것이 아니며, 실제로는 혁신적이고 파괴적인 것으로 판명될 수도 있습니다. 따라서 저희는 과학계가 LLM에 의해 개념, 이론, 관행이 어떻게 형성되고 있는지, 그리고 그 함의에 대해 깊이 생각해 볼 것을 권장합니다. 또한 Advances에 제출되는 모든 논문은 LLM 사용에 대한 새로운 공개 기준을 충족해야 하며, LLM 사용을 주제로 하는 모든 논문은 이론과 실제 모두에서 관련된 많은 문제와 보건 과학 교육 발전에 미치는 영향에 대해 사려 깊고 비판적으로 검토해 주시기 바랍니다. 
The problems we have noted are not trivial, indeed they may prove transformative and even disruptive. We encourage our scientific community therefore to think deeply about how concepts, theories, and practices are being shaped by LLMs and the implications thereof. We also ask that all work submitted to Advances meets the emerging disclosure standards for the use of LLMs, and that any work submitted that takes the use of LLMs as its subject is thoughtful and critical of the many issues involved and their implications for advances in health sciences education, both in theory and in practice.

 


Adv Health Sci Educ Theory Pract. 2023 Jun 19. doi: 10.1007/s10459-023-10257-4. Online ahead of print.

Artificial scholarship: LLMs in health professions education research

Affiliations collapse

1Department of Community Health Sciences and Office of Health and Medical Education Scholarship, Cumming School of Medicine, University of Calgary, Calgary, AB, Canada. rellaway@gmail.com.

2University of Copenhagen, Copenhagen Academy for Medical Education and Simulation (CAMES), Copenhagen University Hospital Rigshospitalet, Copenhagen, Denmark.

PMID: 37335338

DOI: 10.1007/s10459-023-10257-4

Abstract

This editorial examines the implications of artificial intelligence (AI), specifically large language models (LLMs) such as ChatGPT, on the authorship and authority of academic papers, and the potential ethical concerns and challenges in health professions education (HPE).

의학교육연구에서 인공지능의 기본: AMEE Guide No. 156 (Med Teach, 2023)
The fundamentals of Artificial Intelligence in medical education research: AMEE Guide No. 156
Martin G. Tolsgaarda,b , Martin V. Pusicc , Stefanie S. Sebok-Syerd , Brian Gine, Morten Bo Svendsena, Mark D. Syerf , Ryan Brydgesg , Monica M. Cuddyh and Christy K. Boscardini 

 

 

소개 및 목표
Introduction and aim

의학교육에서 AI를 사용하는 것은 종종 높은 희망과 비현실적인 기대를 동반합니다. 지난 10년 동안 의학 분야의 AI는 임상 적용 측면에서 기하급수적으로 성장해 왔으며, 이는 최근에서야 AI를 사용한 연구가 보고되기 시작한 의학교육과는 다른 양상입니다(Tolsgaard 외. 2020). 
The use of AI in medical education is often accompanied by high hopes and unrealistic expectations. Over the past decade, AI in medicine has grown exponentially in terms of its clinical applications; this differs from medical education where only recently studies started reporting using AI (Tolsgaard et al. 2020).

이 가이드에서는 AI 접근법을 사용한 의학교육 연구를 수행하고 해석할 때 고려해야 할 실질적인 사항을 설명합니다. 먼저 기본 용어를 소개하고 어떤 문제와 데이터가 다양한 AI 방법을 사용하기에 적합한지 파악하는 것으로 시작합니다. 또한 방법론적 엄격성을 평가하는 방법과 AI 중심 연구 프로젝트를 시작하는 데 필요한 전제 조건을 고려하는 방법도 다룹니다. 의학교육에서 AI 연구의 잠재력을 극대화하기 위한 모범 사례를 제공합니다. 부록 A에서는 이 가이드에서 사용된 용어에 대한 용어집을 제공합니다. 
In this guide, we describe the practical considerations involved in conducting and interpreting medical education studies using AI approaches. We start by introducing basic terminology and identifying which problems and data are well-suited for the use of different AI methods. We also address how to evaluate methodological rigor and consider prerequisites needed to initiate an AI-focused research project. We offer best practices to maximize the potential of AI research in medical education. Supplementary Appendix A provides a glossary of terms used in this guide.

imte_a_2180340_sm6522.docx
0.01MB

용어 및 기본 개념
Terminology and basic concepts

AI라는 용어는 '지능형 기계, 특히 지능형 컴퓨터 프로그램을 만드는 과학 및 공학'으로 정의한 존 매카시가 처음 사용했습니다. (McCarthy 외. 1956). 그 이후로 AI 분야는 통계적 방법과 계산 능력의 기술적 발전에 힘입어 큰 변화를 겪었으며, 대량의 데이터를 처리하여 명시적으로 프로그래밍하지 않고도 분류와 예측을 할 수 있게 되었습니다. 이 가이드에서는 AI를 보다 현대적인 정의에 초점을 맞추고 있습니다. 

  • '시각 인식, 음성 인식, 의사 결정 등
    일반적으로 인간의 지능을 필요로 하는 작업을 수행할 수 있는
    컴퓨터 시스템의 이론과 개발'
    (옥스퍼드 사전 2022)

The term AI was first coined by John McCarthy who defined it as ‘the science and engineering of making intelligent machines, especially intelligent computer programs.’ (McCarthy et al. 1956, https://jmc-stanford-edu.access.hanyang.ac.kr:8443/artificial-intelligence/what-is-ai/). Since then, the field of AI has gone through significant changes, largely driven by technical developments in statistical methods and computational power, enabling the processing of large amounts of data to make classifications and predictions without being explicitly programmed to do so. In this guide, we focus on a more contemporary definition of AI and view it as the

  • ‘theory and development of computer systems able to perform tasks normally requiring human intelligence, such as visual perception, speech recognition, [and] decision-making…’ (Oxford Dictionary 2022).

이 정의를 의학교육 분야에 적용하여, 우리는 AI를 컴퓨터 과학, 수학/통계학 및 도메인 전문 지식의 상호 연관성으로 개념화하여 의학교육자 및 학습자에게 관련성이 있고 상당한 인적 자원이 필요한 작업을 수행할 수 있도록 합니다(그림 1). 
By applying this definition to the field of medical education, we conceptualize AI as the interrelatedness of computer science, mathematics/statistics, and domain expertise that can enable the performance of tasks relevant for medical educators and learners and would otherwise require significant human resources (Figure 1).

 

분석 도구로서의 AI
AI as an analytic tool

AI는 하나의 방법이 아니며, 데이터 마이닝(데이터에서 패턴을 추출하고 발견하는 것) 및 분석에 대한 접근 방식으로서 대규모의 복잡한 데이터 세트에 대해 다양한 통계 기법을 사용합니다. 표 1에서 볼 수 있듯이, 주성분 분석(PCA) 및 다중 비교에 불이익을 주는 고급 방법을 사용하는 회귀 모델과 같이 AI와 관련된 일부 통계적 방법은 수십 년 동안 의학 교육에서 사용되어 왔습니다(Parsell and Bligh 1999; Reed et al. 2007). 데이터 마이닝이나 이미징 데이터 분석에 일반적으로 사용되는 심층 신경망(DNN)과 같이 기존 통계와 거의 유사하지 않은 다른 AI 방법도 있습니다. DNN은 컴퓨터 비전 발전의 기반이며 영상의학, 피부과, 병리학 분야에서 초인적인 진단 성능을 보여주는 놀라운 혁신의 원동력입니다(Topol 2019). 
AI is not one method but rather an approach to data mining (extracting and discovering patterns in data) and analysis using a wide range of statistical techniques on large and often complex data sets. As illustrated in Table 1, some statistical methods associated with AI have been used in medical education for decades – such as Principal Component Analysis (PCA) and regression models with advanced methods for penalizing multiple comparisons (Parsell and Bligh 1999; Reed et al. 2007). Other AI methods share little resemblance with traditional statistics, for example deep neural networks (DNNs), which are commonly used for data mining or analyzing imaging data. DNNs are the basis for advancements in computer vision and are responsible for remarkable breakthroughs demonstrating super-human diagnostic performance within radiology, dermatology, and pathology (Topol 2019).

생물학적 신경망에서 영감을 얻은 DNN은 여러 노드(또는 뉴런)로 구성된 일련의 숨겨진 레이어를 통해 연결된 데이터의 입력 레이어에 의존하여 출력 레이어의 결과에 도달할 수 있도록 상호 작용합니다(그림 2).

  • 연구에 따르면 피부과에 적용된 DNN은 악성 흑색종을 진단할 때 전문 피부과 의사만큼 정확했으며(Esteva 외. 2017), 병리학에 적용된 DNN은 병리 슬라이드에서 림프절의 미세 침범을 감지할 때 대부분의 병리학자보다 더 정확했습니다(Ehteshami Bejnordi 외. 2017; Golden 2017). 대장 내시경 검사 중 용종을 발견하거나 안과에서 당뇨병성 망막증을 발견할 때, 심장 영상에서 유사한 결과가 관찰되었습니다(Topol 2019). 

Inspired by biological neural networks, DNNs rely on an input layer of data, connected through a series of hidden layers that consist of multiple nodes (or neurons) which interact in a way that allows them to arrive at an outcome in the output layer (Figure 2).

  • Research shows that DNNs, applied in dermatology performed as well as expert dermatologists when diagnosing malignant melanoma (Esteva et al. 2017), and DNNs applied in pathology were more accurate than most pathologists in detecting microinvasion of lymph nodes in pathology slides (Ehteshami Bejnordi et al. 2017; Golden 2017). Similar results have been observed when detecting polyps during colonoscopies, when detecting diabetic retinopathy in ophthalmology, and in cardiac imaging (Topol 2019).
 

임상 연구에 적용된 이러한 AI 분석 기술은 음성, 텍스트, 이미지, 동영상 등 다양한 데이터 소스에서 일반적으로 사람이 수행하는 작업(예: 평가, 지시, 피드백, 선택)을 자동화하기 위해 의학교육 연구에도 활용될 수 있습니다.
These AI analytical techniques applied in clinical studies can also be utilized in medical education research to automate tasks usually performed by humans (e.g. assessment, instruction, feedback, selection) across a variety of data sources including voice, text, images, and videos.

의대 교육에서의 AI: 최신 연구 현황
AI in medical education: Current state-of-the-science

의학교육에서 AI를 활용한 독창적인 연구는 아직 부족하지만, AI 기술을 활용한 의학교육 연구가 증가하는 추세를 보이고 있습니다. 지금까지 많은 경험적 연구는 학습 지원을 위한 AI 사용(Chan and Zary 2019) 또는 임상 술기의 자동화된 평가에 초점을 맞추었지만, 이론이나 개념적 프레임워크의 사용은 제한적이었습니다(Tolsgaard 외. 2020). 최근 몇 년 동안 AI 입문서(Masters 2019), 인력에 미치는 영향에 대한 권장 사항(Reznick 외. 2020), 의료 커리큘럼에 AI 통합(Lee 외. 2021) 등 여러 가이드, 성명서 및 권고안이 발표되었습니다. 또한 AI의 잠재력과 가능성에 대한 논평과 사설도 다수 발표되었습니다. 자동화된 평가, 자연어 처리를 사용한 자동 채점, 의료 영상 피드백을 위한 딥 러닝의 활용에 대한 경험적 연구가 서서히 나타나고 있습니다(아래 예시 참조). 이는 AI의 기술적으로 복잡한 특성과 AI 연구에 대규모 팀, 대규모 자금, 데이터 및 시간이 필요한 경우가 많다는 사실을 반영하는 것일 수 있습니다. 이 가이드는 잠재적인 장벽을 완화하고 학자들이 의학교육에서 AI 연구에 참여할 수 있도록 돕기 위해 고안되었습니다. 
Despite the scarcity of original research using AI in medical education, we are starting to see an upward trend of studies in Medical Education using AI techniques. Until now many empirical studies have focused on the use of AI for learning support (Chan and Zary 2019) or automated assessments of clinical skills, however often with limited use of theory or conceptual frameworks (Tolsgaard et al. 2020). Several guides, statement papers, and recommendations have been published in recent years, including primers to AI (Masters 2019), recommendations for workforce implications (Reznick et al. 2020), and integration of AI in medical curricula (Lee et al. 2021). Additionally, a large number of commentaries and editorials have been published about the potential and promise of AI. Empirical studies are slowly emerging in the use of automated assessments, automated scoring using natural language processing, and deep learning for medical imaging feedback (see examples below). This may reflect the technically complex nature of AI and the fact that research in AI often requires larger teams, scales of funding, data and time. This guide is designed to help mitigate potential barriers and facilitate scholars ability to engage in AI research in medical education.

AI 연구, 특히 의학교육에서 어떤 종류의 데이터가 필요합니까?
What kind of data are needed for AI studies, specifically in medical education?

AI 연구에 사용되는 데이터 유형은 광범위할 수 있으며, 영상 데이터(예: 방사선 데이터), 수치 학습 과정 데이터(예: 작업장 기반 평가) 또는 텍스트 데이터(예: 내러티브 피드백 코멘트)가 포함될 수 있습니다. 필요한 데이터의 유형은 개발 또는 테스트 중인 AI 시스템의 목적과 용도에 따라 달라집니다. 데이터 분석을 위해 데이터를 준비해야 하는 경우가 많습니다. 데이터 준비에는 데이터 세트 큐레이팅, 여러 데이터 소스 구성 및 통합, 데이터 주석 달기 등이 포함될 수 있습니다. 데이터 주석은 AI가 알려진 결과를 가진 일부 데이터를 학습하여 결과를 예측하도록 '학습'하는 지도 학습(예: 이미지의 다양한 객체에 주석을 달거나 문장의 특정 단어를 분류하는 것)에 필요합니다. 목적에 따라 데이터 주석 달기에 사용할 수 있는 무료 소프트웨어 프로그램이 여러 가지 있습니다(예: 행동 관찰 연구용 대화형 소프트웨어 BORIS, boris.unito.it에서 제공). 
The types of data used in AI studies can be wide-ranging and may involve imaging data (e.g. radiology data), numerical learning process data (e.g. workplace-based assessments), or text data (e.g. narrative feedback comments). The type of data needed depends on the aim and purported use of the AI system that is being developed or tested. Often, data needs to be prepared for data analysis. The data preparation may involve curating data sets, organizing and integrating multiple data sources, as well as annotating data. Data annotation is needed for supervised learning, where an AI ‘learns’ to predict an outcome by training on some data with known outcomes (for example, annotating different objects in images or classifying particular words in a sentence). There are several free software programs available for data annotation depending on the purpose (for example, Behavioural Observation Research Interactive Software BORIS, available from boris.unito.it among other sources).

학습 분석에 다양한 데이터 소스와 형식을 통합하는 것은 의학교육에서 AI와 점점 더 관련성이 높아지는 사례가 되고 있습니다. '학업 진도를 평가하고, 미래의 성과를 예측하고, 잠재적인 문제를 발견하기 위해 학생이 생성하고 학생을 대신하여 수집한 광범위한 데이터의 해석'으로 정의되는 학습 분석은 학습자가 시간이 지남에 따라 어떻게 발전하는지 파악하는 데 점점 더 많이 사용되고 있으며, 교육 중 특정 이정표에 언제 얼마나 잘 도달하는지 모니터링하는 데도 사용될 수 있습니다(Johnson 외. 2011). 이러한 분석에는 종단 평가, 사무원 평가 점수, 시뮬레이터 점수, 필기 시험 점수 등 디지털화할 수 있는 모든 학습 과정 데이터가 포함될 수 있습니다(Holmboe 외. 2020). AI는 학습자의 기술 능력에 대한 AI 기반 자동 채점(Hung 외. 2018) 또는 크고 복잡한 데이터 세트를 사용한 팀 협업(Andersen 외. 2020) 등 학습 분석과 관련된 다양한 데이터 형식을 효율적으로 관리할 수 있는 접근 방식을 제공합니다. 
The integration of a variety of data sources and formats in learning analytics is becoming an increasingly relevant case for AI in medical education. Learning analytics - defined as ‘the interpretation of a wide range of data produced by and gathered on behalf of students to assess academic progress, predict future performance, and spot potential issues’ - are increasingly used to determine how learners develop over time and can also be used to monitor when and how well they reach certain milestones during their training (Johnson et al. 2011). These analytics may include longitudinal assessments, clerkship assessment scores, simulator scores, and written exam scores – any learning process data that can be digitized (Holmboe et al. 2020). AI affords an efficient approach to managing a variety of data formats that are often associated with learning analytics, including AI-based automated scoring of learners’ technical skills (Hung et al. 2018) or team collaboration (Andersen et al. 2020) using large and complex data sets.

AI로 어떤 종류의 작업을 해결할 수 있나요?
What kind of tasks can be solved using AI?

AI는 분석 도구와 접근 방식을 확장하는 데 도움을 주는 등 현재 연구 및 교육 팀에서 어려움을 겪고 있는 작업의 효율성을 높이는 데 도움이 될 수 있습니다.

  • 연구 설계 단계에서는 AI가 제공하는 데이터 소스의 유연성과 데이터 추출의 자동화를 통해 다른 질문, 방법, 접근 방식에 대한 가능성을 열어줄 수 있습니다.
  • 데이터 준비 단계에서 AI는 여러 소스에 걸친 데이터 집계, 빅 데이터의 저장 및 검색을 통해 효율성을 높이고 데이터 탐색을 지원할 수 있습니다.
  • 분석 단계에서 신경망은 일반적으로 많은 인력과 시간이 필요한 분석을 효율성과 정확성을 높여 신속하게 제공할 수 있습니다. 또한, 신경망은 기존 분석으로는 쉽게 확인할 수 없는 데이터 내부 및 데이터 전반의 복잡한 연관성을 포착하고 강조 표시할 수 있습니다.

AI can help increase efficiency around tasks that are currently challenging for research and education teams, including helping to expand analytical tools and approaches.

  • During the research design phase, flexibility of data sources and automaticity of data extraction afforded by AI may open-up possibilities for alternative questions, methods and approaches.
  • In the data preparation phase, AI can increase efficiency with data aggregation across multiple sources, storage and retrieval of big data, and assist in data exploration.
  • During the analysis phase, neural networks can provide expedited analytics that would typically require many hours of human resources and time with increased efficiency and accuracy. Additionally, neural networks can capture and highlight complex associations within and across data that may not be easily ascertained by traditional analysis.

아래에서는 의학교육과 관련된 두 가지 데이터 유형에 사용되는 데이터 분석 유형을 설명하기 위해 두 가지 예를 제공합니다.
Below, we provide two examples to illustrate the types of data analysis used with two different data types relevant to medical education.

예제
Examples

예시 1. 의학 교육에서 텍스트 분석을 위한 자연어 처리 및 심층 신경망 사용
Example 1. Using Natural language processing and deep neural Networks for text analysis in medical education

AI에 관한 한, 텍스트 분석텍스트 마이닝모두 대규모 텍스트 데이터 세트(예: 인터뷰 필사본)에서 패턴을 찾아 의미를 추출하기 때문에 동의어라고 할 수 있습니다. 텍스트 분석 접근 방식인 자연어 처리(NLP)는 인간의 언어 처리를 시뮬레이션하여 기계가 텍스트 데이터를 이해하고 분석하는 데 도움을 줍니다. 하지만 인간과 달리 NLP는 체계적이고 매우 효율적인 방식으로 무제한의 데이터를 분석할 수 있습니다. 의학 교육에서의 NLP 연구의 예로는

  • 필기 시험(예: 에세이) 채점,
  • 서술형 피드백에서 위탁 평가와 관련된 요인 파악(Stahl 외. 2021; Solano 외. 2021),
  • 서술형 피드백 품질 평가(Gin 외. 2021; Neves 외. 2021),
  • 교정이 필요한 학습자의 조기 식별(Tremblay 외. 2019),
  • 시험 항목의 자동화된 생성(Chary 외. 2019) 등을 들 수 있습니다.

As far as AI is concerned, text analysis and text mining are synonyms since they both look for patterns in large sets of text data (e.g. transcriptions of interviews) to extract meaning. Natural language processing (NLP), a text analysis approach, helps the machines understand and analyse textual data by simulating human language processing. However, unlike humans, NLP can analyse unlimited amounts of data in a systematic, highly efficient way. Examples of NLP studies in medical education include

  • scoring of written exams (e.g. essays; Zhang et al. 2012),
  • identification of factors tied to entrustment ratings in narrative feedback (Stahl et al. 2021; Solano et al. 2021),
  • assessment of narrative feedback quality (Gin et al. 2021; Neves et al. 2021),
  • early identification of learners in need of remediation (Tremblay et al. 2019), and
  • the automated generation of test item distractors (Chary et al. 2019).

방법
Methods

NLP에서 분류기는 텍스트의 의미적 의미를 인식하고 레이블을 지정할 수 있는 알고리즘입니다. NLP 분류기는 사람이 놓치기 쉬운 기능어(예: 그녀, 또는, of)는 물론 내용어(예: 환자, 가슴, 심장)와 구문(n-그램)을 빠르게 식별하여 보다 체계적으로 분류함으로써 인간 코더에 의한 기존 텍스트 분류보다 효율성을 제공합니다. 자동화된 에세이 채점이나 특정 루브릭 또는 등급과 관련된 서술형 의견의 검토에는 텍스트 분류 접근 방식을 사용하는 경우가 많습니다.
In NLP, a classifier is an algorithm that is capable of recognizing and labelling semantic meaning of text. NLP classifiers provide efficiency over traditional text classification by human coders by quickly identifying both function words (e.g. she, or, of), which we humans often miss, as well as content words (e.g. patient, chest, or heart) and phrases (n-grams) for classification more systematically. Automated essay scoring or examination of narrative comments associated with specific rubrics or ratings often use text classification approaches.

작업 예
Worked example

의학교육에서 NLP를 활용하는 가상의 예로, 수련의의 현재 병력(HPI)의 질에 대한 자동 채점을 생각해 보겠습니다. 임상의 교육자가 수작업으로 교육생의 HPI를 채점할 수도 있지만, 이 프로세스를 자동화하면 교육생이 노트를 작성할 때 실시간으로 형성적인 피드백을 제공하고, 정교화가 필요할 수 있는 부분(예: 환자 불만 사항, 타임라인 등)을 강조하는 데 도움이 될 수 있습니다. 전문가 평가자를 위한 채점 가이드가 개발되었는데, 이 예에서 예시적으로 사용한 것은 Lewin 등의 환자 프레젠테이션 평가(PPR, Lewin 등, 2013)입니다. 이 도구는 DNN을 사용하여 NLP 분류기로 자동화할 수 있습니다. 여기에서는 DNN을 사용하여 NLP 분류기를 구현하여 HPI를 채점하는 방법을 간략하게 설명합니다:
As a hypothetical example of NLP in medical education, consider the automated scoring of the quality of a trainee’s history of present illness (HPI). While a trainee’s HPI could be scored manually by clinician educators, automating the process could be helpful for giving real-time, formative feedback to trainees when writing notes, highlighting where elaboration (e.g. on patient complaints, timelines, etc.) may be necessary. Scoring guides for expert raters have been developed such as Lewin et al.’s Patient Presentation Rating (PPR, Lewin et al. 2013), which we use illustratively in this example. This tool could be automated as an NLP classifier using DNNs. Here, we outline how to implement an NLP classifier using a DNN to score HPIs:

  1. 선택한 평가 도구(이 경우 PPR)에서 평가한 다양한 품질을 나타내는 서술 형식(즉, 서면 또는 필사본)의 교육생 HPI 데이터베이스를 수집합니다. 
    Collect a database of trainee HPIs in narrative form (i.e. written or transcribed) that represent a range of quality as assessed by the rating instrument of choice (in this case the PPR).
  2. 인간 평가자가 PPR을 사용하여 HPI 서술의 하위 집합에 점수를 매깁니다(예: PPR의 두 번째 항목인 '입원 사유가 포함된 명확한 환자 소개'를 사용하여 1~5점 척도를 사용합니다). 이렇게 수동으로 분류(라벨링)된 하위 집합은 DNN을 훈련하고 검증하는 데 사용됩니다.
    Score a subset of HPI narratives by human raters using the PPR – for example, using the second item of the PPR: a clear patient introduction with reason for admission’ – using a scale of 1-5. This manually classified (labelled) subset will be used to train and validate the DNN.
  3. DNN을 설계합니다(그림 2 참조). NLP 분류의 경우, DNN의 입력 레이어는 일반적으로 텍스트를 숫자 표현으로 변환합니다. 중간 계층에는 특정 단어, 단어 패턴, 내러티브 테마 등 텍스트의 더 복잡한 '특징'을 점진적으로 인식하는(훈련을 통해) 스택형 인공 뉴런이 포함될 수 있습니다. 그런 다음 출력 레이어는 이러한 특징을 사용하여 원본 내러티브가 어느 범주에 속하는지(이 예에서는 1~5점 사이의 점수)를 예측합니다.
    Design the DNN (see Figure 2). For NLP classification, a DNN’s input layer typically converts text into numerical representations. The intermediate layers may involve stacked artificial neurons that progressively recognize (through training) more complicated ‘features’ of the text – specific words, patterns of words, and narrative themes. The output layer then uses these features to predict which category the original narrative belongs to – in this example a score between 1-5.
  4. 2단계에서 수동으로 레이블이 지정된 HPI 내러티브 하위 집합의 일부(즉, '훈련 세트')를 사용하여 DNN을 학습시킨 다음, 학습된 DNN을 사용하여 수동으로 레이블이 지정된 나머지 HPI 내러티브 하위 집합(즉, '검증 세트')의 점수를 예측합니다. 타당성 검사 세트만 사용하여 예측된 점수를 수동으로 라벨링된 점수와 비교하여 분류기의 성능을 결정합니다(아래 평가 기준 참조). 앞서 설명한 DNN을 구현하고 훈련할 수 있는 몇 가지 패키지가 있으며, 가장 일반적으로 사용되는 패키지는 오픈 소스 TensorFlow 플랫폼입니다.
    Train the DNN using a portion of the manually labelled subset of HPI narratives from Step 2 (i.e. the ‘training set’), then use the trained DNN to predict the scores of the remaining manually labelled subset of HPI narratives (i.e. the ‘validation set’). Using the validation set only, compare the predicted scores to the manually labelled scores to determine the performance of the classifier (see Evaluation Criteria below). There are several packages that could implement and train the DNN outlined; the most commonly used package is the open-source TensorFlow platform.
  5. 이제 NLP 분류기를 사용하여 수동으로 레이블이 지정되지 않은 내러티브의 점수를 예측할 수 있지만, 설명 가능한 AI를 사용하여 예측 점수의 기반이 되는 잠재적 구조/요소를 탐색하는 것이 통찰력이 될 수 있습니다. 이러한 방법은 현재 분류 범주와 관련된 핵심 단어와 구문을 강조하는 '히트맵' 접근법을 개발하고(Stahl 외. 2021; Pryzant 외. 2018, 2020; Danilevsky 외. 2020), NLP 분류기에 의해 식별된 잠재적 특징(즉, 분류의 기반이 되는 내러티브 주제)을 추론하기 위해 모색되고 있습니다. 최근 연구에서는 DNN 기반 NLP 분류기가 사전 분류된 피드백 내러티브에서 위탁 수준을 예측하기 위해 훈련하는 동안 '학습'한 잠재적 피드백 특성(절차적 대 인지적 기술, 건설적 대 강화적 등)을 확인했습니다(그림 3, Gin 외. 2021). 
    While the NLP classifier may now be used to predict the scores of narratives that have not been manually labelled, it may be insightful to explore the latent constructs/factors that underlie the predicted scores using explainable AI. Such methods are currently being explored to develop a ‘heatmap’ approach highlighting key words and phrases pertaining to the classification categories (Stahl et al. 2021; Pryzant et al. 2018, 2020; Danilevsky et al. 2020), and also to infer latent features (i.e. narrative themes underlying classification) identified by an NLP classifier. Recent work identified latent feedback characteristics (procedural vs cognitive skills, constructive vs reinforcing, etc) that a DNN-based NLP classifier ‘learned’ during training to predict entrustment levels from pre-classified feedback narratives (Figure 3, Gin et al. 2021).

 

요약하자면, 텍스트 분석은 DNN의 훌륭한 응용 분야로, 대규모 텍스트 코퍼스에서 주제를 효율적으로 드러낼 수 있는 방법을 보여줍니다. 교육생이 생성하거나 교육생을 대신하여 생성하는 방대한 양의 텍스트가 감독자의 검토 능력을 압도할 수 있다는 점을 고려할 때, 이 애플리케이션은 특히 HPE에서 장점이 있습니다.
In summary, text analysis is an excellent application of DNNs, showing how they can efficiently surface themes from a large corpus of text. Given that the voluminous texts generated by and on behalf of trainees can overwhelm the capacity of their supervisors to review them, this application has particular merit in HPE.

다음 예에서는 텍스트 분석에서 이미지 및 비디오 분석으로 넘어갑니다.
In the next example, we move from text analysis to analysing images and videos.

 

예제 2. 영상 피드백에 컨볼루션 신경망 사용
Example 2. Using convolutional neural Networks for imaging feedback

많은 전문 분야에서는 환자 진단 및 관리를 위해 의료 이미지에 의존합니다. 방사선과, 병리과, 피부과와 같은 전통적인 영상 전문 분야 외에도 여러 임상 전문 분야에서 의료 이미지가 현장 진료 검사의 일부로 점점 더 많이 사용되고 있습니다(Topol 2019). 예를 들어 산부인과 의사는 초음파로 태아를 스캔하여 태아의 건강 상태를 확인하거나 안과 의사는 안과 검사의 일상적인 부분으로 망막 초음파에 의존할 수 있습니다. 문제는 의료 영상에서 시각적 진단을 위한 학습 곡선이 길고 임상의가 필요한 빈도로 특정 진단을 접하지 못하기 때문에 전문가 수준의 성능에 도달하지 못할 수 있다는 것입니다(Tolsgaard 외. 2019). 의료 영상 분야에서 AI를 사용하면 임상 교육 및 평가에 잠재적으로 큰 영향을 미칠 수 있는 시각적 단서뿐만 아니라 진단 제안을 포함하여 의료 전문가에게 피드백 및 의사 결정 지원을 제공할 수 있습니다(Tschandl et al. 2020). 
Many specialties rely on medical images for patient diagnosis and management. Besides the traditional imaging specialties such as radiology, pathology, and dermatology, medical images are now increasingly used as part of point-of-care examinations in multiple clinical specialties (Topol 2019). For example, an obstetrician may scan the fetus using ultrasound to determine fetal well-being or an ophthalmologist may rely on retinal ultrasound as a routine part of an eye examination. The problem is that the learning curves for visual diagnosis in medical imaging are often long, and clinicians may never attain expert-level performance because they do not encounter specific diagnoses with the frequency needed (Tolsgaard et al. 2019). The use of AI in the field of medical images enables feedback and decision-support to the health care professional including diagnostic suggestions as well as visual cues which can potentially have significant impact on clinical instruction and assessment (Tschandl et al. 2020).

방법
Methods

의료 이미지 분석에 가장 자주 사용되는 AI 기술은 신경망(특히 합성곱 신경망)으로, 현재 컴퓨터 비전의 선도적인 기술입니다(Krohn 2019). 신경망 사용의 기본 아키텍처와 방법론은 위 섹션에서 설명했습니다. 의료 이미지의 분류 또는 분할을 위해 새로운 AI 모델을 훈련할 때 사전 훈련된 네트워크가 시작점으로 사용되는 경우가 많으며, 이는 공개적으로 사용 가능한 대규모 이미지 데이터베이스(예: Image-Net.org)에서 사전 훈련된 일반 모델 또는 관심 있는 이미징 절차에 대한 이전 출판물에서 제공된 특정 모델을 기반으로 할 수 있습니다. 아래의 작업 예는 산부인과 초음파 검사를 수행할 때 수련의를 지원하기 위한 AI 모델 개발을 목표로 하는 실제 연구 프로젝트에 대해 설명합니다.  
The AI technique most often used in the analysis of medical images is neural networks (specifically convolutional neural networks), which are now the leading technology in computer vision (Krohn 2019). The basic architecture and methodology behind the use of neural networks have been described in the sections above. Often, a pre-trained network is used as a starting ground when training a new AI model for classification or segmentation of medical images - this may be based on pretrained generic models from large publicly available image databases (e.g. Image-Net.org) or specific models that have been made available from previous publications on the imaging procedure of interest. The worked example below describes an actual research project that aims to develop AI models for supporting trainees when performing obstetric ultrasound examinations.

작업 예시
Worked example

임상의, 데이터 과학자 및 의학교육 과학자로 구성된 그룹(Tolsgaard 외. 2021)은 산부인과 초음파 검사 중 성능에 대한 자동화된 피드백을 제공하기 위해 이미지 품질에 대한 AI 기반 채점 시스템 개발에 착수했습니다. 이 초음파는 태아의 생체 인식 및 태아 기형의 존재 여부와 같은 결과를 보고합니다. 처음부터 끝까지 프로세스는 다음과 같습니다: 
To provide automated feedback on performance during screening obstetric ultrasound examinations, a group consisting of clinicians, data scientists and medical education scientists (Tolsgaard et al. 2021) set out to develop an AI-based scoring system for image quality. These ultrasounds report findings such as fetal biometries and the presence of any fetal malformations. The process from start to finish is described below:

  1. 먼저, 관련 국가 및 지역 보건 당국에 데이터 액세스와 관련된 규제 및 법적 권한을 확인했습니다. 
    First, regulatory and legal permissions regarding data access were verified with relevant national and regional health authorities.
  2. 임상 전문가가 일상적인 초음파 검사 데이터에 수동으로 주석을 달았습니다(이미지에 다양한 해부학적 구조를 나타내는 라벨을 붙임). 이를 통해 어떤 이미지의 품질이 높은지 낮은지를 판단했습니다. 이러한 작업에는 다양한 오픈 소스 주석 소프트웨어 솔루션을 사용할 수 있습니다. 평가자 간 신뢰도를 측정한 결과, 한 명의 평가자가 각 이미지에 계속 주석을 달 수 있을 만큼 충분히 높은 것으로 판정되었습니다. 
    Data from routine ultrasound examinations were manually annotated (labels provided onto images denoting different anatomical structures) by clinical experts to determine which images were of high versus low quality. A variety of open-source annotation software solutions are available for these tasks (https://github.com/taivop/awesome-data-annotation). Inter-rater reliability was determined and was deemed high enough for a single assessor to continue to annotate each image.
  3. 2,000개 이상의 이미지에 주석을 단 후, 신경망의 첫 번째 반복은 다른 장비로 다른 모집단으로 개발된 이전에 발표된 네트워크를 기반으로 훈련되었습니다. 그 결과 기존 연구와 비슷한 성능이 나타났습니다. 사전 훈련된 다양한 신경망을 자유롭게 사용할 수 있습니다. 
    After having annotated more than 2000 images, the first iteration of the neural network was trained based on a previously published network that was developed in a different population with different equipment. Similar performance was found as in the original study. A variety of pre-trained neural networks are freely available.
  4. 임상의에게 신경망이 특정 분류에 어떻게 도달했는지에 대한 시각적 피드백을 제공하기 위해 히트맵을 사용했습니다. 히트맵은 이미지 분류에서 AI가 특히 중요하게 생각한 픽셀을 강조 표시합니다(예는 그림 4 참조). 
    To provide visual feedback to the clinicians on how the neural network arrived at a certain classification, heatmaps were used. The heatmap highlights pixels that were particularly important for the AI in the classification of an image, see Figure 4 for an example.
  5. 이 신경망을 시뮬레이션 학습 환경에서 평가 목적으로 사용할 수 있는지 알아보기 위해 컴퓨터 애니메이션 그래픽이 포함된 가상현실 시뮬레이터에서 연습하는 대규모 훈련생 그룹의 퍼포먼스에 신경망을 적용했습니다. 안타깝게도 신경망은 이러한 성능을 완전히 분류할 수 없었고 시뮬레이션 환경의 데이터를 기반으로 완전히 새로운 모델을 학습시켜야 했습니다(모델 성능을 평가하는 방법의 예는 그림 5 참조). 신경망은 훈련 데이터와 유사한 데이터를 사용하여 좁은 문제를 해결하는 데 가장 효과적이며, 훈련과 전달 문제 간에 큰 차이가 있을 때 스킬을 평가하는 것과 같이 보다 광범위한 문제에는 적합하지 않습니다.  
    To explore whether this neural network could be used for assessment purposes in a simulation learning environment, the neural network was applied to performances from a large group of trainees practicing on virtual reality simulators with computer-animated graphics. Unfortunately, the neural network was completely unable to classify these performances and an entirely new model had to be trained based on data from the simulated setting (see Figure 5 for example of how to evaluate model performance). This is a frequent finding: neural networks work best to solve narrow problems using data that resembles the training data and are ill-equipped for more broad problems, such as evaluating a skill when there are large differences between training and transfer problem.

 

 

AI 결과물 이해 - 과제와 앞으로의 방법
Understanding AI outputs - challenges and ways forward

신경망에 의존하는 많은 AI 시스템에 내재된 한 가지 문제는 그 결정을 설명하기 어렵다는 것입니다. 신경망의 여러 계층에 있는 뉴런 간의 수많은 상호 작용을 데이터 과학자를 포함한 사람이 쉽게 해독할 수 없기 때문입니다. 기술적 관점에서 설명 가능성은 항상 쉬운 것은 아니지만, 여러 가지 유망한 접근 방식이 등장하기 시작했습니다(Linardatos 외. 2021). 예를 들어, 설명 가능한 AI(XAI)라는 개념은 지난 몇 년 동안 AI 커뮤니티 내에서 성장해 왔습니다. 
One problem inherent in many AI systems that rely on neural networks is that their decisions are difficult to explain. This is because the many interactions between neurons in the multiple layers of a neural network are not easily deciphered by humans (including data scientists). Explainability is not always easy from a technical point of view but different promising approaches are beginning to emerge (Linardatos et al. 2021). For instance, the concept of explainable AI (XAI) has grown within the AI community over the past few years.

설명 가능성에 대한 또 다른 접근 방식은, 새로운 AI 시스템을 학습하는 동안 특정 개념을 사용하여 교육적 관점에서 관련성이 있을 수 있는 선택된 기능 클래스를 기반으로 피드백을 제공하는 시각화를 사용하여 AI가 개념적 결과물을 제공하도록 강제하는 것입니다(Koh et al. 2020). 선택한 기술적 접근 방식에 관계없이, 설명 가능성은 기술적 복잡성이 추가됨에도 불구하고 의학교육 관점에서 AI 시스템의 유용성을 평가할 때 종종 바람직합니다. 
Another approach to explainability is forcing the AI to provide conceptual outputs by using visualizations, where certain concepts are used during the training of new AI systems to enable feedback based on selected classes of features that may be relevant from an educational perspective (Koh et al. 2020). Regardless of the technical approach selected, explainability is often desirable when evaluating the utility of AI systems from a medical education perspective despite its added technical complexity.

마지막으로, 그림 4와 같이 AI 분류 또는 회귀에 중요한 픽셀을 시각적으로 표현하는 히트 맵을 사용하는 간단한 접근 방식이 있습니다. 그러나 이러한 접근 방식은 초보 학습자가 특정 기능이 중요한지 아닌지를 식별하는 데 도움이 되는 개념적 인사이트를 제공하지 못할 수 있습니다. 
Finally, a simplistic approach is to use heat maps as shown in Figure 4, which provide visual representations of the pixels that are important for AI classification or regression. However, these approaches may still fail to provide conceptual insights that help novice learners to identify why certain features are or are not important.

AI 연구를 위한 평가 기준
Evaluation Criteria for AI studies

AI 연구에 대한 평가 기준은 일반적으로 모델 개발모델 검증이라는 두 가지 주요 범주로 나뉩니다. AI 연구와 가장 관련성이 높은 가이드라인은 EQUATOR(건강 연구의 품질 및 투명성 향상) 네트워크에서 제공하며, 이 네트워크는 특히 AI 연구를 위한 TRIPOD-ML(개인 예후 또는 진단을 위한 다변량 예측 모델의 투명한 보고) 표준을 개발했습니다(콜린스 외. 2015). 의학교육에서 AI 연구를 평가하는 데 사용할 수 있는 포괄적인 모델 설명에는 모델 개발 및 검증에 사용된 접근 방식에 대한 세부 정보가 포함됩니다. 
Evaluation criteria for AI studies is commonly broken down into two main categories: model development and model validation. The most relevant set of guidelines for AI studies comes from the EQUATOR (Enhancing Quality and Transparency of Health Research) Network, and they have developed the TRIPOD-ML (Transparent Reporting of a Multivariable Prediction Model for Individual Prognosis or Diagnosis) standards specifically for AI studies (Collins et al. 2015): https://www.equator-network.org/reporting-guidelines/tripod-statement/. A comprehensive model description that can be used to evaluate AI studies in Medical Education will include details about the approaches used in both developing and validating the model.

예를 들어, AI 연구에 대한 일반적인 접근 방식은 하나 이상의 소스에서 데이터를 수집하고, 모델링을 위해 데이터를 준비하고, 알고리즘을 개발하고, 모델을 훈련한 다음(예: 데이터의 70%로) 나머지 데이터(이 예에서는 30%)로 모델을 테스트하는 것입니다. 대부분의 경우 첫 번째 단계는 미세 조정된 초기 모델을 개발하는 것이며, 모델 구축 절차를 설명할 때 모델 사양 및 성능과 같은 개선 사항에 대한 감사를 포함하는 것이 좋은 보고 관행입니다. 
For example, a common approach for AI studies is to gather data from one or more sources, prepare the data for modelling, develop an algorithm and train a model (e.g. with 70% of the data), then test the model with the remaining data (i.e. 30% in this example). More than likely, the first step is to develop an initial model that is fine-tuned, and good reporting practice is to include an audit of the refinements made (e.g. model specification and performance) as the model building procedures are described.

모델 개발 기준
Model development Criteria

AI 모델을 개발할 때는 데이터 소스와 샘플링 방법(예: 평가 데이터, 오픈 소스 데이터)을 설명해야 합니다. 모든 사례 유형을 설명하면 데이터의 완전성과 대표성을 평가할 수 있을 뿐만 아니라 모델이 개발되고 학습된 특성과 조건을 이해할 수 있는 정보를 얻을 수 있습니다. 

  • 데이터 설명은 데이터가 모델 예측의 대상이 될 수 있는 더 많은 인구(예: 연령, 성별, 인종)를 대표한다는 증거를 제공해야 합니다
  • 다른 절차와 마찬가지로 샘플링은 모델 개발 및 선택에 큰 영향을 미칠 수 있으므로 데이터에 시스템적 편향이 존재하지 않도록 노력해야 합니다. 
  • 또한 데이터 설명에는 알고리즘 개발 시 편향성을 유발할 수 있는 누락된 데이터를 구체적으로 언급해야 합니다누락된 데이터를 대입하는 경우 대입imputation 방법을 설명해야 합니다.
  • 또한 예측자와 수행된 '피쳐 엔지니어링'(예: 예측자의 규모 조정, 표준화 또는 분류 또는 주성분 분석과 같은 접근 방식을 사용하여 새로운 예측자 생성)을 설명하는 것도 중요합니다.
  • 마지막으로, 결과 측정값을 명시하고 결과를 평가한 방법에 대한 세부 정보를 제공해야 합니다.

When developing an AI model, one must describe the data sources and how they were sampled (e.g. assessment data, open-source data). Describing all case types provides information to assess not only the completeness and representativeness of the data, but also an understanding of the characteristics and conditions under which the model was developed and trained.

  • The data description should provide evidence that the data are representative of the larger population who may be subject to the model predictions (e.g. age, gender and race). Similar to other procedures, sampling can greatly impact model development and selection, requiring efforts to ensure that systemic biases do not exist in the data.
  • Data descriptions should also specifically reference any missing data, which has the potential to contribute bias in the development of an algorithm. If missing data are imputed the imputation approach must be described.
  • It is also crucial to describe predictors and any ‘feature engineering’' that was performed (e.g. scaling, standardizing or categorizing the predictors or creating new predictors using approaches such as principal component analysis).
  • Finally, the outcome measure must be specified, with details about how the outcome was assessed.

모델 개발에 대해 보고할 때는 모델이 어떻게 개발되었는지, 어떤 예측 변수를 제외할지 또는 다른 예측 변수에 더 많은 가중치를 부여할지 등 어떤 결정을 내렸는지 설명해야 합니다.
When reporting on model development, one must describe how the model was developed and any decisions that were made, such as whether to exclude one predictor or to assign more weight to another predictor.

개발 중 모델 검증
Model validation during development

모델 개발에 대한 일반적인 접근 방식은 데이터를 학습, 테스트, 유효성 검사의 세 가지 데이터 세트로 분할하는 것입니다.

  • 첫 번째 데이터 세트인 학습 세트는 모델을 학습시키는 데 사용됩니다.
  • 두 번째 데이터 세트인 테스트 세트는 모델의 성능을 평가하여 반복적으로 테스트하는 데 사용됩니다. 모델의 성능이 좋지 않으면 다른 결정을 내리고, 모델을 다시 학습시키고(학습 데이터에서), 모델을 다시 테스트(테스트 데이터에서)함으로써 모델을 반복적으로 개선해야 할 수 있습니다.
  • 세 번째 세트는 모델을 검증할 준비가 될 때까지 따로 보관합니다. 모델이 '본 적이 없는' 데이터, 즉 학습이나 반복 테스트에 포함되지 않은 데이터에 대해 성능을 평가합니다. 이 세 번째 세트는 최종 평가 지표 세트를 보고하는 데 한 번만 사용되며, 특히 모델이 전반적으로 잘 작동하고 학습 및/또는 테스트 데이터에 과도하게 적합하지 않도록 알고리즘을 반복적으로 수정하는 데는 사용되지 않습니다.

A common approach to model development is to split the data into three different data sets: training, test and validation.

  • The first data set, the training set, is used to train the model.
  • The second set, the test set, is used to iteratively test the model by assessing its performance. If the model performs poorly then it may be necessary to iteratively improve the model by making different decisions, re-training the model (on the training data), and re-testing the model (on the test data).
  • The third set is set aside until the model is ready for validation. Where its performance is assessed on data that the model has never ‘seen’ meaning that it was not part of either the training or iterative testing. This third set is used only once for reporting a final set of evaluation metrics, and specifically NOT used to iteratively modify the algorithm ensuring that the model performs well overall and does not overfit on the training and/or test data.

단일 데이터 세트가 학습, 테스트 및 유효성 검사 데이터 세트로 분할되는 경우 이를 내부 타당성 검사라고 합니다. 그러나 아직 수집되지 않은 데이터(알고리즘을 일반화/적용하고자 하는 데이터)를 사용하여 외부 타당성 검사을 수행하는 것이 이상적입니다. 예를 들어, 2020년 대학 입학을 설명하는 데이터를 수집하고 이 데이터를 학습, 테스트 및 내부 검증 데이터 세트로 분할한 다음 2021년 대학 입학을 설명하는 데이터를 수집하여 외부 검증을 수행할 수 있습니다(Baron 외. 2020).
When a single set of data are split into training, testing and validation data sets we refer to the validation as an internal validation. However, ideally you would also perform an external validation using data that has not yet been collected (and to which you wish to generalize/apply your algorithm). For example, one might collect data describing university admissions in 2020 and split this data into training, testing and internal validation data sets and then collect data describing university admissions in 2021 for external validation (Baron et al. 2020).

모델 검증 보고 메트릭
Model validation Reporting metrics

최종 모델 검증 지표를 보고할 때는 모델의 성능을 평가하기 위해 어떤 측정값을 사용했는지 설명해야 합니다. AI 연구에 사용되는 일반적인 모델 적합도 지표는 다음과 같습니다:

  • R-제곱(R2), 평균 제곱 오차(MSE), 평균 제곱 오차(RMSE).

When reporting the final model validation metrics, one must describe what measures were used to assess the performance of the model. Common model fit metrics used in AI studies include:

  • R-Squared (R2), Mean Squared Error (MSE), and Root Mean Squared Error (RMSE).

혼동 행렬(모델 예측과 참조 표준(예: 정밀도, 리콜, 정확도 및 수신기 작동 특성 곡선 아래 면적)을 비교하는 행렬)에서 파생된 측정값도 범주형 결과 측정값의 예측을 평가하는 데 사용됩니다.
Measures derived from the confusion matrix – a matrix comparing model predictions with a reference standard (e.g. precision, recall, accuracy and area under the receiver operating characteristics curve) are also used to evaluate the predictions of categorical outcome measures.

최종 모델을 제시할 때 대부분의 보고서는 가능한 경우 모든 회귀 계수를 신뢰 구간과 함께 포함하지만, 복잡한 모델(특히 신경망)의 경우 불가능할 수 있습니다. 대부분의 모델 유형에 대해 허용되는 보고 규칙이 존재합니다. 의학 교육자는 도메인 전문가와의 협업을 통해 다른 사람들이 모델을 정확하게 평가할 수 있는 방식으로 모델에 대한 설득력 있는 논거를 개발하는 데 도움을 받을 수 있습니다. 
When presenting the final model, most reports include all regression coefficients with confidence intervals, if possible, although this may not be feasible for complex models (especially neural networks). Accepted reporting conventions exist for most model types. Collaborations with domain experts can help medical educators develop a compelling argument for their model in a way that allows others to accurately appraise it.

관심 있는 결과에 따라 응답을 구분하는 모델의 능력(변별력) 및 편향되지 않은 응답을 하는 모델의 능력(보정) 외에도, 교육 실무에서 제안된 모델의 사용법을 고려해야 합니다. 

  • 예를 들어, 모델이 실시간으로 의사 결정에 정보를 제공해야 하는 경우 모델의 응답 시간(즉, 모델이 예측을 내리는 데 필요한 시간)이 중요합니다.
  • 다른 예로는 모델 예측의 투명성 및 설명 가능성과 같이 모델이 학습자 또는 교육자에게 정보를 제공하는 방식이 있습니다.
  • 일반적으로 모델은 원래 설계된 목적 이외의 용도로 사용해서는 안 됩니다.

In addition to the model’s ability to separate out responses according to the outcome of interest (discrimination) and the model’s ability to make unbiased responses (calibration), the proposed uses of the model in educational practice must be taken into consideration.

  • For example, if the model is to inform decisions in real-time then the model’s response time (i.e. the time needed for the model to make a prediction) is important.
  • Other examples include how the models are supposed to inform learners or educators, such as transparency and explainability in the model predictions.
  • In general, models should not be used for purposes beyond those for which they were originally designed.

의학교육에서의 AI 연구에 대한 추가 평가 고려 사항
Additional evaluation considerations for AI studies in Medical Education

의학교육에서 AI를 사용할 때는 특별히 고려해야 할 사항이 있습니다. 학자들은 모델 자체를 평가하는 것 외에도 교육 연구자가 이론을 AI 알고리즘의 근거와 필요성에 어떻게 통합했는지 먼저 평가하여 연구 전체를 고려해야 합니다. AI가 사용되는 많은 경우(예: 임상 의학)에서 목표는 일반화 가능성입니다. 그러나 의학교육에서는 항상 그렇지는 않을 수 있습니다. 예를 들어, 특정 의과대학이나 레지던트 프로그램에 대한 지원자의 적합성 평가를 지원하기 위한 AI 알고리즘을 개발하는 것은 해당 기관이나 프로그램에는 유용할 수 있지만 다른 기관이나 프로그램에 반드시 일반화할 수는 없습니다(Baron 외. 2020).
There are particular considerations for AI in medical education. Beyond evaluating the model itself, scholars must also consider the study as a whole by first evaluating how the education researcher incorporated theory into the rationale and need for an AI algorithm. In many instances where AI is used (e.g. clinical medicine) the goal is generalizability. However, within medical education this may not always be the case. For example, developing an AI algorithm to support the assessment of the suitability of applicants to a particular medical school or residency program may prove useful for that institution or program, but may not necessarily generalize to other institutions or programs (Baron et al. 2020).

의학교육에 AI 기술을 사용할 때는 개인이 자신의 데이터가 어떻게 사용되는지 이해하는 정도(데이터 사용 및 개인정보 보호 기대치)도 고려해야 합니다. 임상 환경에서 진단과 적절한 치료 계획을 결정하기 위해 AI를 사용하는 경우, 의사는 환자에게 AI 모델의 목적과 의학적 결정에 AI가 어떤 정보를 제공했는지 설명할 수 있습니다. 연구 환경에서는 특히 기존 데이터 세트를 사용하고 소급하여 동의를 받을 수 없는 경우, 이러한 유형의 정보에 입각한 동의를 얻기가 더 어려울 수 있습니다.
When employing AI techniques in medical education, one must also consider the extent to which individuals understand how their data will be used (data usage and privacy expectations). In clinical settings, when AI is used to determine diagnoses and appropriate treatment plans, physicians can communicate to their patients the purpose of the AI models and how medical decisions were informed by them. In a research environment, it may be more difficult to obtain this type of informed consent, especially when pre-existing data sets are used and consent cannot be obtained retroactively.

토론
Discussion

이 가이드에서는 기본 정의부터 실제 사례, 평가 접근 방식에 이르기까지 의학교육 연구에서 AI를 개발하고 사용할 때 고려해야 할 실질적인 사항을 제공합니다. AI에 대한 관심이 높아지고 적용 범위가 확대되는 상황에서 이 가이드는 의료 전문직 교육 분야의 얼리어답터를 위한 실용적인 가이드 역할을 합니다. 제공된 예시에서 알 수 있듯이 의료 교육에서 AI는 에세이 채점이나 대규모 이미지 데이터에 기반한 피드백 제공과 같은 작업을 처리하는 데 이상적입니다. 또한 대부분의 AI는 데이터에 특화되어 있고 일반화가 잘 되지 않으며 광범위한 추가 통계 모델링이 필요한 경우가 많기 때문에 현재의 AI 모델에는 한계가 있음을 인정합니다.
In this guide, we provide practical considerations for the development and use of AI in medical education research, from basic definitions to worked examples to evaluation approaches. Given the growing interest and increased application of AI, this guide serves as an practical guide for early adopters in health professions education. As highlighted by the examples provided, AI in medical education is ideal for handling tasks such as essay scoring or providing feedback based on large-scale image data. We also acknowledge that current AI models are limited; most AI are data-specific, generalize poorly, and often require extensive additional statistical modelling.

AI는 임상의와 연구자로서 우리가 일하는 방식에 점점 더 많은 영향을 미치고 있으며, 유능한 임상의가 된다는 것의 의미에도 영향을 미치고 있습니다. 이에 따라 캐나다 왕립 의사 및 외과의사 대학은 최근 미래 의학 커리큘럼에 AI에 대한 지식을 구축하는 것이 중요하다고 강조했습니다(Royal College 2022). 의료 교육자, 학습자, 연구자가 AI 시스템의 강점, 특히 한계를 이해하려면 새로운 기술이 필요합니다. 예를 들어, 초보 학습자는 좋은 AI 피드백을 통해 가장 많은 것을 얻을 수 있지만(Tschandl 외. 2020), AI 시스템이 제공하는 잘못된 조언에 전문가보다 더 취약할 수 있습니다(Gaube 외. 2021). 
Since AI is increasingly affecting how we work as clinicians and researchers, it also affects what it means to be a competent clinician. Accordingly, the Royal College of Physicians and Surgeons of Canada recently stressed the importance of building knowledge about AI into future medical curricula (Royal College 2022). New skills are needed to understand the strengths - and in particular the limitations - of AI systems for medical educators, learners, and researchers. For example, while novice learners may gain the most from good AI feedback (Tschandl et al. 2020), they may be more susceptible than experts to incorrect advice provided by AI systems (Gaube et al. 2021).

학습 및 임상 수행을 지원하기 위한 AI 사용이 증가함에 따라 AI 모델 및 예측의 정확성과 신뢰성뿐만 아니라 한계를 이해하는 것이 중요해질 것입니다. 일부 AI 시스템은 매우 높은 통계적 정밀도를 보여줄 수 있지만 내장된 시스템적 편향으로 인해 여전히 부정확한 결과를 생성할 수 있습니다. 예를 들어, 많은 피부과 AI 지원 진단의 정확도는 연구 참여자의 피부색을 샘플링하는 것으로 제한되어 있어 더 다양한 환자 집단에 사용할 경우 잠재적으로 부정확하거나 편향된 결정을 내릴 수 있습니다(Ternov 외. 2022).
Understanding the limitations as well as the accuracy and reliability of AI models and predictions will be critical with the increased use of AI for supporting learning and clinical performances. Some AI systems may demonstrate extremely high statistical precision but still produce inaccurate results due to built-in systematic biases. For example, the accuracy of many dermatological AI-supported diagnoses is limited to sampling of the available skin colour of the study participants leading to potentially inaccurate or biased decisions when used on a more diverse patient population (Ternov et al. 2022).

의학 교육의 맥락에서, 학습 분석 및 AI에 대한 비평가들은 개인정보 보호 문제, 효율성에 대한 바람직하지 않은 초점을 포함하여 결과물의 의미 부족에 대해 경고했습니다(10 Cate 외. 2020). 이러한 우려 중 일부(예: 개인 정보 보호 및 자율성 문제)는 일반적인 지지를 얻고 있는 것으로 보이지만(쿨라세가람 2022), 빅데이터와 AI의 사용이 교육 환원주의로 이어질 것이라는 우려(반 데르 니트 및 블레이클리 2020)와 같은 다른 우려는 AI 기반 학습 분석에 빅데이터를 사용하는 것과 관련하여 의학교육 커뮤니티 내에서 더 깊은 공리학적 및 인식론적 균열을 나타낼 수 있습니다.
In the context of medical education, critics of learning analytics and AI have warned about privacy issues, lack of meaningfulness in outputs, including an undesirable focus on efficiency (ten Cate et al. 2020). While some of these concerns (for example, privacy and autonomy concerns) seem to gather general support (Kulasegaram 2022), other concerns such as the worry that the use of big data and AI will lead to educational reductionism (van der Niet and Bleakley 2020) may represent deeper axiological and epistemic clefts within the medical education community around the use of big data for AI-powered learning analytics.

AI 시스템에 대한 과도한 의존은 무인 자동차 산업의 오토파일럿 실패 사례에서 알 수 있듯이 잘못된 신뢰와 잠재적인 오류 증가로 이어질 수 있습니다(New York Times 2021). 실제로 의료 교육 맥락에서 상용화된 대부분의 임상 AI 시스템은 임상의의 학습을 개선하기 위한 것이 아니라 임상의의 성과를 지원하기 위해 개발되었습니다. 무인 자동차에 비유하자면, 의료 분야의 기존 AI 시스템은 운전 중 수행을 지원하는 것을 목표로 하지만 운전자의 기술을 향상시키지는 못합니다. 성과를 개선하는 개입이 학습에 부정적인 영향을 미칠 수 있고 그 반대의 경우도 마찬가지이기 때문에 학습과 성과는 종종 상충되는 경우가 많습니다(Schmidt 외. 1990). 지도guidance 가설에서 강조한 바와 같이, 수행 중에 임상의에게 동시에 피드백을 제공하는 기존의 상용 AI 시스템은 수행 후 요약된 피드백을 통해 학습을 지원하도록 설계된 시스템에 비해 학습에 부정적인 영향을 미칠 수 있습니다(Schmidt 외. 1989). 이러한 과제는 새로운 AI 시스템을 개발할 때 학습 과학을 임상 과학 및 데이터 과학과 통합하여 AI 시스템에 대한 과도한 의존학습자의 임상 기술에 대한 잠재적인 부정적인 영향을 방지하는 동시에 전문가 수준의 자동화된 지침 및 피드백에 대한 액세스의 이점을 누리는 것이 중요하다는 점을 강조합니다. 
Over-reliance on AI systems can lead to false confidence and potentially increased errors as demonstrated from the autopilot failures in the driverless car industry (New York Times 2021). Indeed, in medical education contexts, most commercially available clinical AI systems are developed to support clinicians’ performances and not to improve their learning. To use the driverless car analogy, existing AI systems in healthcare aim to support performances while driving, but fail to improve drivers’ skills. Learning and performance are often at odds (Schmidt et al. 1990) as interventions that improve performance can negatively affect learning and vice versa. As highlighted by the guidance hypothesis, existing commercially available AI systems that provide concurrent feedback to clinicians during performances may negatively influence learning as compared to systems that are designed to support learning - for example through summarized feedback that is provided post-performance (Schmidt et al. 1989). These challenges highlight the importance of integrating learning sciences with clinical science and data science when developing new AI systems to prevent an overreliance on AI systems and potential negative effects on learners’ clinical skills, while also reaping the benefits of access to expert-level automated guidance and feedback.

이를 위해서는 AI 시스템 기술 개발 초기에 교육 이론과 개념을 통합하는 데 더 중점을 두어야 합니다. 기존의 AI 연구는 현재 임상 저널에 기술된 응용 연구와 학회 회의록에 보고된 기술 보고서 사이에 양극화되어 있습니다(Topol 2019). 의학교육에서는 다양한 맥락에서 일반화하고자 하는 욕구 때문에 이러한 양극화가 문제가 될 수 있습니다(Tolsgaard). 이러한 의미에서 의학교육에서의 AI 연구는 10~20년 전 시뮬레이션 문헌에서 관찰된 것과 동일한 단점, 즉 AI가 언제, 왜, 누구에게 가치를 제공할 수 있는지, 위험과 과제를 탐구하려는 연구보다 'AI가 효과가 있다'는 정당화 연구가 과대 대표되는 것을 반복할 위험이 있습니다{Issenberg}.
The key to doing this may involve a greater focus on integrating educational theory and concepts earlier within the technical development of AI systems. Existing AI research is currently polarized between applied work described in clinical journals and technical reports reported in conference proceedings (Topol 2019). In medical education, this may constitute a problem because of the desire to generalize across different contexts (Tolsgaard). In this sense, AI research in medical education risks repeating some of the same shortcomings as observed in the simulation literature 10-20 years ago: the overrepresentation of justification studies demonstrating that ‘AI works’ over work that intends to explore when, why and for whom AI may provide value, risks and challenges.{Issenberg}


요약하자면, AI는 교육 제공과 교육 연구 모두에서 점점 더 많이 사용되고 있습니다. 학습 과학을 의료 분야의 AI 시스템 개발 및 사용에 통합하는 것은 앞으로 몇 년 동안 계속 도전 과제가 될 것입니다. AI는 의학교육 커뮤니티에 특별한 기회를 제공할 수 있지만, 의학교육자, 교육 연구자, 데이터 과학자, 임상의 간의 긴밀한 학제 간 협업을 필요로 합니다. 의학교육에서 AI에 신중하고 주의 깊게 접근하면 학습과 성과는 물론 설명 가능성과 투명성을 지원하는 AI 시스템을 개발할 수 있습니다.

To summarize, AI is increasingly being used in both the provision of education and in education research. Integrating learning sciences into the development and uses of AI systems in healthcare is likely going to continue to be a challenge in the years to come. While potentially offering unique opportunities for the medical education community, AI requires close interdisciplinary collaborations between medical educators, education researchers, data scientists, and clinicians. In approaching AI in medical education with caution and care, we can enable the development of AI systems that support learning and performance as well as explainability and transparency.


 

 

Med Teach. 2023 Jun;45(6):565-573. doi: 10.1080/0142159X.2023.2180340. Epub 2023 Mar 2.

 

 

The fundamentals of Artificial Intelligence in medical education research: AMEE Guide No. 156

Affiliations collapse

1Copenhagen Academy for Medical Education and Simulation (CAMES), Copenhagen, Denmark.

2Department of Obstetrics, Copenhagen University Hospital Rigshospitalet, Copenhagen, Denmark.

3Department of Pediatrics, Harvard University, Boston, MA, USA.

4Department of Emergency Medicine, Stanford University, Palo Alto, CA, USA.

5Department of Pediatrics, University of California San Francisco, San Francisco, USA.

6School of Computing, Queen's University, Kingston, Canada.

7Allan Waters Family Simulation Centre, St. Michael's Hospital, Unity Health Toronto & Department of Medicine, University of Toronto, Toronto, Canada.

8NBME, Philadelphia, PA, USA.

9Department of Medicine and Anesthesia, University of California San Francisco, San Francisco, CA, USA.

PMID: 36862064

DOI: 10.1080/0142159X.2023.2180340

Abstract

The use of Artificial Intelligence (AI) in medical education has the potential to facilitate complicated tasks and improve efficiency. For example, AI could help automate assessment of written responses, or provide feedback on medical image interpretations with excellent reliability. While applications of AI in learning, instruction, and assessment are growing, further exploration is still required. There exist few conceptual or methodological guides for medical educators wishing to evaluate or engage in AI research. In this guide, we aim to: 1) describe practical considerations involved in reading and conducting studies in medical education using AI, 2) define basic terminology and 3) identify which medical education problems and data are ideally-suited for using AI.

Keywords: Artificial Intelligence; assessment; big data; machine learning; medical education.

ChatGPT로 논문쓰기: 학술 저자를 위한 능력, 한계, 함의 (Perspect Med Educ. 2023)
Writing with ChatGPT: An Illustration of its Capacity, Limitations & Implications for Academic Writers
LORELEI LINGARD

 

ChatGPT와 기타 인공지능(AI) 도구가 학계 전반에 경종을 울리고 있습니다. 이러한 우려의 대부분은 ChatGPT가 교육에 어떤 영향을 미칠 것인가에 집중되어 있습니다. 학생의 학습에 어떤 영향을 미칠까요? 학생들의 부정행위가 만연할까요? 전통적인 지식 평가[1]의 종말을 의미할까요? 최근 이러한 우려는 우리의 학문적 사명에도 영향을 미쳤습니다. 새로운 기술 자원일까요, 아니면 과학적 무결성에 대한 위협일까요? 어떤 용도가 적절하며, 어떻게 인정해야 할까요? 
ChatGPT and other artificial intelligence (AI) tools are raising alarm bells across academia. Much of the alarm centers on how ChatGPT will affect the educational mission. How will it affect student learning? Will it lead to rampant student cheating? Will it mean the death of traditional knowledge assessments [1]? Recently, the alarm has reached our scholarly mission as well. Is it a new technological resource, or a threat to scientific integrity? What uses are appropriate, and how should they be acknowledged?

이는 추상적인 질문이 아닙니다. ChatGPT는 이미 2023년 1월부터 사전 인쇄물 및 동료 심사를 거친 출판 논문에서 저자로 인정받고 있습니다[2]. 신뢰할 수 없는 또는 부정 사용에 대한 우려가 제기되어 왔으며[3], 현재 주요 학술지들은 이 문제에 대한 입장을 밝히고 있습니다.

  • 예를 들어, 스프링거 네이처 저널은 연구에 대한 책임을 질 수 없기 때문에 ChatGPT는 공동 저자가 될 수 없다고 선언했으며, 연구자가 방법 또는 감사의 말 섹션에 ChatGPT를 사용한 사실을 문서화할 것을 요구하고 있습니다[4].
  • Academic Medicine에서는 저자가 학술 연구에서 AI 도구의 사용을 공개하고, 그 사용의 성격을 투명하게 설명하며, 정확성과 무결성에 영향을 미치는 제한 사항을 인식하도록 안내합니다[5].
  • 의료 교육, 연구 및 실무 분야의 최근 체계적 검토에서는 ChatGPT의 가능성을 인정하면서도 "윤리적, 저작권, 투명성 및 법적 문제, 편견의 위험, 표절, 독창성 부족, 환각의 위험이 있는 부정확한 콘텐츠, 제한된 지식, 잘못된 인용, 사이버 보안 문제, 인포데믹의 위험"을 고려하여 "극도로 신중하게" 도입해야 한다는 결론을 내렸습니다. [6]. 

These are not abstract questions. ChatGPT has already been credited with authorship in preprints and peer-reviewed published articles since January 2023 [2]. Concerns have been raised about its uncredited or fraudulent use [3], and major journals are now declaring their positions on the issue.

  • For instance, the Springer Nature journals have declared that ChatGPT cannot be a co-author because it cannot take responsibility for the work, and they require that researchers document any use of ChatGPT in their Methods or Acknowledgements sections [4].
  • Academic Medicine guides authors to disclose the use of AI tools in scholarship, describe transparently the nature of that use, and be aware of limitations that affect accuracy and integrity [5].
  • A recent systematic review in the domain of healthcare education, research and practice acknowledged ChatGPT’s promise but concluded that it should be embraced with “extreme caution” considering concerns with “ethical, copyright, transparency, and legal issues, the risk of bias, plagiarism, lack of originality, inaccurate content with risk of hallucination, limited knowledge, incorrect citations, cybersecurity issues, and risk of infodemics.” [6].

우리는 이미 연구와 글쓰기를 지원하기 위해 테크놀로지를 사용하고 있습니다. 데이터 분석을 관리하기 위한 SPSS나 NVivo, 인용을 정리하기 위한 Reference Manager, 철자와 문법을 교정하기 위한 Grammarly 편집 소프트웨어가 없다면 어떻게 될지 상상해 보십시오. 이 작가의 기술에서는 작가들이 ChatGPT에 익숙해져서 효과적이고 적절하게 사용할 수 있도록 하는 것을 목표로 합니다. 2023년 3월과 4월에 ChatGPT4와 나눈 채팅을 바탕으로 그 기능과 한계를 설명하고, 일련의 주의 사항과 인사이트를 추출하여 점진적 프롬프트를 사용하여 소프트웨어를 '훈련'하는 방법, 브레인스토밍과 개요 및 요약과 같은 콘텐츠 생성에 사용하는 방법, 편집자로 활용하는 방법을 안내해 드립니다. 
We already use technology to assist our research and writing. Imagine how you’d function without SPSS or NVivo to manage your data analysis, Reference Manager to organize your citations, or Grammarly editing software to correct your spelling and grammar. This Writer’s Craft aims to familiarize writers with ChatGPT so that they might use it effectively and appropriately. Drawing on chats I had with ChatGPT4 in March and April 2023 to illustrate its capacity and its limitations, I extract a series of Cautions and Insights and guide writers in how to use incremental prompting to ‘train’ the software, how to use it for brainstorming and generating content like outlines and summaries, and how to employ it as an editor.

ChatGPT란 정확히 무엇인가요?
What is ChatGPT, exactly?

ChatGPT는 AI 대규모 언어 모델입니다. 현재 버전(3.5 및 4.0)은 2021년 이전에 방대한 양의 데이터로 사전 학습되어 언어 패턴과 연관성을 학습하여 프롬프트가 표시될 때 사람과 유사한 대화 텍스트를 생성하는 데 사용할 수 있습니다. ChatGPT에 프롬프트를 입력하면 입력 내용을 분석하고 인터넷 사용 시 머신 러닝을 통해 얻은 정보를 바탕으로 신속하게 응답을 생성합니다. 이 기술은 사람과 유사한 텍스트로 정보를 처리하고 추출하여 구두로 표현하는 데 탁월하며[7], 특히 시간 제약과 기타 리소스 제한을 고려할 때[8] 글쓰기 노동의 일부를 아웃소싱할 수 있다면 학술 저술가에게 중요한 자산이 될 가능성이 있습니다. 
ChatGPT is an AI large language model. Current versions (3.5 and 4.0) have been pre-trained on massive amounts of data pre-2021, allowing it to learn language patterns and associations which it uses to generate human-like conversational text when prompted. When you input a prompt into ChatGPT, it analyzes the input and rapidly generates a response drawn from information acquired via machine learning in engagement with the internet. It excels at processing, distilling and presenting information verbally in human-like text [7]; it has the potential, therefore, to be an important asset for academic writers, particularly if we can outsource some of the labor of writing [8] given time constraints and other resource limitations.

ChatGPT는 문법적으로 정확하고 의미적으로 의미 있는 응답을 생성합니다. 하지만 항상 정확한 것은 아닙니다. AI 대규모 언어 모델에는 일반적인 의미의 '지식'이 없고, 데이터를 저장하거나 검색하지 않으며, 검색 엔진처럼 웹을 크롤링하여 정보를 찾지 않기 때문입니다. 그들은 학습한 내용을 바탕으로 "시퀀스에서 다음 단어를 예측하는 데 능숙할 뿐"[9]입니다. 따라서 ChatGPT는 "사실 정확도가 고르지 못하며"[10], 텍스트의 내용이 진실하고, 견고하며, 검증 가능하고, 유효하며, 일반화 가능한지 확인하려고 하지 않습니다. [11]. 머신 러닝 용어로 "환각"을 일으켜 실제가 아닌 것처럼 보이는 자료를 자신 있게 제시할 수 있습니다[12]. 
ChatGPT generates responses that are grammatically correct and semantically meaningful. They are not, however, always accurate. This is because AI large language models don’t have ‘knowledge’ in the usual sense of the word; they don’t store or retrieve data; they don’t crawl the web like a search engine for information. They are “just good at predicting the next word(s) in a sequence” [9] based on what they have learned. Thus, ChatGPT has “uneven factual accuracy” [10]; moreover, it does not try to ensure that the content of its text is true, robust, verifiably, valid, generalizable, etc. [11]. In machine learning terms, it can “hallucinate”, confidently presenting legitimate-sounding material that it is not real [12].

점진적 프롬프트를 통한 ChatGPT 훈련
Training ChatGPT through incremental prompting

ChatGPT의 기본값은 일반적이고 설명적인 응답을 제공하는 것입니다. 점진적 프롬프트는 점차적으로 주의를 집중시키고 사용자의 관심사와 이해 수준에 맞는 응답을 제공하도록 훈련시키는 프로세스입니다. 아래 질문과 같은 일반적인 프롬프트가 시작점으로 좋습니다: 
ChatGPT’s default is to offer generic and descriptive responses. Incremental prompting is the process by which you gradually focus its attention and train it to give you responses tailored to your interests and your level of understanding. General prompts are fine as a starting point, such as my question below:

 

능동태와 피동태에 대한 설명이 이어지지만, 제가 실제로 관심을 갖고 있는 부분은 아닙니다. 저는 좀 더 구체적인 답변을 얻고자 제 이야기를 해보려고 합니다.

lf:It goes on to explain active and passive voice, but that’s not really what I’m interested in. I try to get a more specific answer by telling it about myself:

 

스타일과 어조에 대해 이야기하고 대명사의 예가 더 구체적이라는 점에서 다소 나아졌습니다. 하지만 여전히 제가 원하는 것보다 더 일반적입니다. 제가 요청합니다:

That’s somewhat better: it’s talking about style and tone, and the example of pronouns is more specific. But it is still more generic than I would like. I ask it to:

 
 

이 답변은 학술적 글쓰기에서 목소리에 대해 이야기하기 위해 좀 더 형식적인 언어적 특징을 사용하며, 딕시스, 양식 및 일관성에 대한 예를 제시합니다. 그러나 학자들이 학술적 목소리에 대해 이야기할 때 이러한 특징이 주된 관심사는 아닙니다. 그래서 다음 질문은 학술적 목소리의 저명한 언어학자에 대해 묻고 있습니다:

This response employs more formal linguistic features to talk about voice in academic writing, and offers illustrations of deixis, modality, and coherence. However, these aren’t the primary features that scholars are concerned with when they talk about academic voice. So my next prompt asks about a prominent linguistic scholar of academic voice:

 

Hyland의 이론은 세 가지 주요 구성 요소로 이루어져 있으며, 그 중 하나만 명시적으로 응답("입장")에 표현되어 있습니다. 다음 점진적 프롬프트는 이를 더욱 집중적으로 다루려고 합니다:

This is accurate, but still generic and selective: Hyland’s theory has three main components, only one of which is explicitly represented in its response (“stance”). My next incremental prompt tries to focus it further:

 

이제 ChatGPT는 Hyland의 이론에 대한 360단어 설명과 함께 세 가지 구성 요소에 대한 유용한 예시를 몇 초 만에 제공할 수 있게 되었습니다. 하지만 이제 궁금한 점이 생겼습니다. 제가 프롬프트에서 Hyland에 집중하느라 음성 관련 다른 언어 이론에 대해 알려주지 않은 것은 무엇일까요? 그래서 묻습니다:

ChatGPT is now able, in a few seconds, to offer a 360-word description of Hyland’s theory with helpful, illustrative examples of its three components. But now, I wonder, what other linguistic theories of voice did it not tell me about, due to my focusing in on Hyland in my prompting? So I ask:

 

이제 ChatGPT는 음성에 대한 네 가지 중요한 이론을 설명하며, 점진적인 프롬프트를 통해 더 자세히 살펴볼 수 있습니다. 또한 이러한 이론을 비교하거나 이론 간의 긴장을 설명하거나 더 최근의 이론가들이 이러한 이론을 어떻게 구축했는지 제안하도록 요청할 수도 있습니다. 이 정도의 구체성에 도달하면 ChatGPT는 여러분이 직접 읽고 쓸 때 추구해야 할 아이디어 간의 연결점을 지적하는 데 매우 유용할 수 있습니다. 
Now ChatGPT describes four important theories of voice, which I could probe further with incremental prompting. I could also ask it to compare these theories, or to describe tensions among them, or to suggest how more recent theorists have built on them. Once you get to this level of specificity, ChatGPT can be very helpful in pointing out connections among ideas for you to pursue in your own reading and writing.

이 대화에서 알 수 있듯이 점진적 프롬프트는 ChatGPT의 응답 가치를 극대화하는 데 핵심적인 역할을 합니다. 그러나 효과적인 증분 프롬프트를 사용하려면 도메인에 대한 지식이 필요합니다. 도메인을 이미 잘 알고 있어야 ChatGPT의 응답이 얼마나 정확하고 선택적이거나 포괄적인지 판단하고 후속 프롬프트를 사용하여 응답을 개선할 수 있습니다. 잘 모르는 도메인에 대해 질문하면 ChatGPT가 어떤 정보를 선택했는지, 왜 어떤 것을 선택했는지, 왜 다른 것을 선택하지 않았는지 불분명합니다. 
As this conversation illustrates, incremental prompting is a key to maximizing the value of ChatGPT’s responses. But effective incremental prompting requires domain-specific knowledge: you need to know the domain quite well already, so that you can judge the extent to which ChatGPT’s response is accurate, selective or comprehensive, and use follow up prompts to improve it. If you ask it about domains you don’t know well, it will be unclear what information ChatGPT has selected from, and why it has selected some things and not others.

마지막으로 '학습' ChatGPT에 대해 한 가지 더 말씀드리자면, 학습한 내용이 현재 채팅을 넘어 일관되게 전달되지 않는 것 같습니다. 별도의 채팅을 열고 "켄 하일랜드의 학문적 음성 이론에 대해 무엇을 이해하나요?"라고 다시 질문했을 때, 첫 번째 응답은 이 모델의 세 가지 특징을 모두 설명하는 것으로 이전 채팅에서 학습한 내용이 전달되는 것처럼 보였습니다. 하지만 다음 섹션에서 설명하겠지만 항상 그런 것은 아닙니다.
One final point about ‘training’ ChatGPT: what it learns does not appear to consistently transfer beyond the current chat. When I opened a separate chat and asked again “What do you understand about Ken Hyland’s theory of academic voice in writing”, the first response included described all three features of this model: that seemed to represent learning transferred from the previous chat. But this is not always the case, as I will discuss in the next section.

주의: ChatGPT의 기본 응답은 일반적이면서도 (눈에 보이지 않게) 선택적인 응답을 제공합니다.
인사이트: 점진적 프롬프트는 구체성을 높이고, 선택을 안내하며, 제외 항목을 표시할 수 있습니다.

Caution:
 ChatGPT’s default responses are both generic and (invisibly) selective.

Insight: Incremental prompting can increase specificity, guide selections & reveal exclusions.

브레인스토밍을 위한 ChatGPT 사용
Using ChatGPT for brainstorming

ChatGPT는 다른 기능보다 몇 가지 기능이 더 뛰어납니다. 가장 큰 차이점은 콘텐츠 생성과 구조적 지원입니다. 콘텐츠 생성의 경우, 앞서 학술적 글쓰기 음성에 대한 대화에서 설명한 것처럼 ChatGPT가 제공하는 콘텐츠의 품질을 판단하려면 콘텐츠를 잘 알고 있어야 합니다. 소프트웨어가 잘하는 것으로 확인된 콘텐츠 생성의 한 가지 형태는 개요 생성입니다[13]. 저는 이 작가의 기술에 대한 개요를 제공하기를 원했기 때문에 작가의 기술 장르에 대해 무엇을 알고 있는지 물어보는 것부터 시작했습니다: 

ChatGPT is better at some things than others. The main distinction is between content generation and structural support. In terms of content generation, as the previous conversation about academic writing voice illustrated, you need to know the content well to judge the quality of what ChatGPT is giving you. One form of content generation that the software has been identified to be good at is the creation of outlines [13]. I wanted it to provide an outline for this Writer’s Craft for me, so I began by asking what it knew about the Writer’s Craft genre:

 

여기서 멈추세요. '작가의 기술'은 일련의 책이 아니며, 저는 이런 제목의 책을 쓴 적이 없습니다. 이 예에서 알 수 있듯이 점진적 프롬프트의 각 단계에서 잘못된 응답을 경계해야 합니다. ChatGPT는 두뇌가 아닌 텍스트 생성기입니다. 질문한 주제와 관련하여 함께 찾을 수 있는 단어를 조합하는 것입니다. 그렇다고 해서 이 단어들이 서로 '속한다'거나 '진실'이라는 의미는 아닙니다. 사실 ChatGPT는 헛소리를 만들어내는 것을 즐기는 것 같습니다. 이 서비스가 제공하는 참고 자료를 절대 신뢰할 수 없습니다. 2021년 이후의 자료에 접근할 수 없기 때문만이 아니라, 작가의 기술 시리즈는 2015년까지 거슬러 올라가는데, 이를 알지도 못하고 찾으려고 하지도 않는 것 같습니다. 대신 "환각"을 일으켜 책 시리즈를 구성합니다. 다행히도 "생성 중지" 버튼을 누르면 이 작업을 중단할 수 있습니다. 그런 다음 수정했습니다: 

Stop right there: the Writer’s Craft is not a series of books, and I have never written books with these titles. As this illustrates, at each stage of the incremental prompting, you should be alert for false responses. ChatGPT is a text generator, not a brain: it is putting together words that are likely to be found together around the topic you’ve asked about. That doesn’t mean these words ‘belong’ together or that they are ‘true’. In fact, ChatGPT seems to enjoy making sh*t up. You absolutely cannot trust the references it gives you. And not only because it doesn’t have access to material post-2021; the Writer’s Craft series extends back to 2015, but it doesn’t know them and apparently doesn’t try to find them. Instead, it “hallucinates”, making up a book series. Happily, you can stop it in its tracks when it does this, by hitting the “Stop Generating” button, which I did. Then I corrected it:

 

이 답변 역시 프롬프트에서 말씀드린 내용을 대부분 반복하는 것이기 때문에, 집중해서 작가의 기술 시리즈 제목을 물어봄으로써 구체적인 내용을 파악하려고 노력했습니다: 

This answer too, is mostly repetition of what I told it in the prompt, so I try to focus it down and get specifics by asking for the titles of the Writer’s Craft series:

 

문제는 이러한 제목이 실제 제목이 아니라 지어낸 제목이라는 것입니다. 특정 참고 문헌을 제공하라는 메시지가 표시되면 종종 이를 만들어내는 경우가 많다는 점이 ChatGPT의 주요 약점 중 하나입니다[14]. 이러한 발명품은 단어 연관성을 기반으로 하기 때문에 키워드와 공동 저자의 현실적인 조합을 갖게 됩니다. 하지만 가짜가 아닐 가능성도 그만큼 높습니다. 이 문제를 해결하기 위해 웹에 대한 ChatGPT의 액세스를 개선하거나 Google Scholar 참조로 제한하는 확장 프로그램과 같은 기술이 등장하고 있지만, 그 효과에 대한 보고는 다양합니다[15]. 
The problem is, these aren’t real titles: they’re made up. This is one of ChatGPT’s main weaknesses: when you prompt it to provide specific references, it often invents them [14]. Because these inventions are based on word associations, they will have realistic combinations of keywords and coauthors. But they are as likely as not to be bogus. Techniques for addressing this problem are emerging, such as extensions that improve ChatGPT’s access to the Web or restrict it to Google Scholar references; however, reports of their effectiveness vary [15].

주의: ChatGPT는 사용자에게 거짓말을 할 수 있으며, 이러한 현상은 AI 환각으로 알려져 있습니다.
인사이트: 생성하는 모든 콘텐츠, 특히 참고 문헌을 다시 한 번 확인하세요.
Caution:
 ChatGPT will lie to you, a phenomenon known as an AI hallucination.

Insight: Double check any content it generates, particularly references.

하지만 ChatGPT는 제목에 있어서는 다소 창의적이라고 말할 수 있습니다. 예를 들어, 저는 이 가짜 작가의 기술이라는 제목을 썼으면 좋았을 것 같습니다: "링가드 L. 나를 설득하라: 논증의 기술. 의학 교육에 대한 관점. 2013; 2(2): 75-78." 이는 소프트웨어를 효과적으로 사용하는 한 가지 방법이 제목 제안을 요청하는 것임을 시사합니다. 실험으로, 저는 최근 '독자를 위한 글쓰기'라는 제목을 붙인 '작가의 기술'의 도입 단락을 제공했습니다: 독자를 위한 글쓰기: 독자의 기대 원칙을 사용하여 명확성 극대화하기"라는 제목을 붙인 글의 도입부를 제공하고 가능한 제목을 물어보았습니다:

I will say, though, that ChatGPT is rather creative when it comes to titles. I wish, for instance, that I had written this fake Writer’s Craft: “Lingard L. Convince me: the art of argumentation. Perspectives on Medical Education. 2013; 2(2): 75–78.” This suggests that one way to use the software effectively would be to ask it for title suggestions. As an experiment, I give it the introductory paragraphs from a recent Writer’s Craft (that I had entitled “Writing for the Reader: Using Reader Expectation Principles to Maximize Clarity) and I ask it for possible titles:

 

저는 특히 1번과 6번을 좋아하는데, 만약 제가 새 제목을 쓴다면 이 중 몇 가지를 조합해서 쓸 것 같습니다. 
Some of these are pretty good: I especially like 1 and 6, and if I were going to write a new title it would likely combine pieces of these favorites.

ChatGPT에서 이 작가의 기술에 대한 개요를 작성하기 위해 ChatGPT를 사용했던 시도로 돌아가 보겠습니다. 
Back to my attempt to get ChatGPT to create an outline for this Writer’s Craft on ChatGPT.

실제 작가 크래프트 작품에 익숙해지도록 하려고 했지만 잘 안 되더군요. 
I tried to get it to familiarize itself with actual Writer’s Craft pieces, but it resisted.

 

처음에는 능력과 시간(!)이 있는 것은 분명한데 실제로 시리즈 전체를 읽는 것을 거부하는 것이 당황스러웠습니다. 아마도 모든 참조를 제공하면 더 잘 반응 할 것입니다. 하지만 여기서는 다시 일반론으로 돌아갑니다: "이 시리즈는 약 20개의 아티클로 구성되어 있으며, 각 아티클은 학술적 글쓰기의 다른 측면에 초점을 맞출 것입니다...", "이 시리즈는 연구자들이 학술적 글쓰기에 사용할 수 있는 실용적인 조언과 전략을 제공할 것입니다..." 등등. 지금까지는 ChatGPT가 실제로 제가 예시로 제공한 특정 글쓰기를 포함하여 작가의 기술 중 어느 것도 읽지 않았다는 확신을 가질 수 없었습니다. 하지만 ChatGPT는 읽거나 분석하는 것이 아니라 언어 패턴을 인식하는 것뿐이라는 것을 기억합니다. 그래서 다시 묻습니다: 

At first I’m puzzled that it resists actually reading the entire series, as it surely does have the ability and the time (!). Perhaps if I gave it all the references it would respond better. Here though, it reverts again to generalities: “The series consists of approximately 20 articles, each of which likely focuses on a different aspect of academic writing…”; The series likely provides practical advice and strategies for researchers to use in their academic writing…”, and so on. So far, I can’t have confidence that ChatGPT has actually read any of the Writer’s Crafts, even the specific one that I provided as an example. But then I remember that ChatGPT is neither reading nor analyzing – it’s just recognizing language patterns. Thus, I prompt again:

 

점점 가까워지고 있습니다. ChatGPT가 이 작가의 기술의 주요 구조를 파악했다는 것을 알 수 있을 정도로 충분한 디테일이 있습니다. 하지만 제 자신의 기존 지식이 얼마나 중요한지 주목하세요: 저는 이 기사를 잘 알고 있기 때문에(제가 작성했습니다!) ChatGPT가 일반적인 내용을 말하는 경우와 제가 지시한 기사에 대해 실제로 이야기하는 경우를 쉽게 구분할 수 있었습니다. 
That’s getting closer. There is sufficient detail that I can tell ChatGPT has picked up the main structure of this Writer’s Craft. Notice though, how important my own existing knowledge is: I know this article well (I wrote it!) and so I have been able to readily discern when ChatGPT is spouting generic stuff and when it is actually talking about the article(s) I’ve directed it to.

주의: ChatGPT에 의존해 기사를 읽지 마세요.
인사이트: 낯선 도메인보다는 익숙한 도메인과 관련하여 ChatGPT를 사용하세요.
Caution:
 Don’t rely on ChatGPT to read articles for you.

Insight: Use ChatGPT in relation to familiar domains rather than unfamiliar ones.

 

이제 (마침내) 특정 글쓰기 기술의 특징을 인식하도록 만들었으니 원래의 목표, 즉 이 글의 개요를 브레인스토밍하는 데 ChatGPT를 사용하도록 하는 것에 도달할 수 있게 되었습니다: 
Now that I’ve (finally) gotten it to recognize the features of a specific Writer’s Craft, I can get to my original aim: getting ChatGPT to brainstorm an outline for this paper:

 
 

이것은 유용합니다. 물론 제가 가르쳤던 '작가의 기술'의 형식과 정확히 일치하는 것은 아니며, 다소 일반적인 구조로 되돌아갔습니다. 그리고 제가 실제로 이 글을 어떻게 구성하기로 결정했는지는 (눈치 채셨을 것입니다) 아닙니다. 그러나 필요한 섹션 중 일부를 개념화하는 데 도움이됩니다. 그리고 초안 작성 과정에서 다시 돌아가서 제가 무엇을 강조하고 간과했는지 확인하는 데 유용했습니다. 
This is useful. Admittedly, it’s not precisely the format from the Writer’s Craft I trained it on: it has reverted to a somewhat more generic structure. And it is not (you will have noticed) how I actually decided to organize this piece. It does, however, help me conceptualize some of the necessary sections. And it was useful to return to during the drafting process, to see what I was emphasizing and overlooking.

점진적인 프롬프트를 통해 ChatGPT를 이 단계까지 끌어올리면 모든 종류의 브레인스토밍을 할 수 있는 정점에 도달한 것입니다. 각 섹션을 완성하는 데 도움이 되는 몇 가지 구체적인 정보가 필요하다고 가정해 봅시다:

Once you get ChatGPT to this point through incremental prompting, you’re on the cusp of all kinds of brainstorming bounty. Let’s say you want some specifics to help you flush out each section:

 
Insight: If you dread the blank page, a ChatGPT outline could jumpstart your drafting process.
Caution: Its ideas are generic; use them as a starting place, not a replacement for your own.

글의 깊이를 더하기 위해 몇 가지 추가 아이디어를 짜는 데 도움이 필요하다면 어떻게 해야 할까요? 가능한 한 구체적으로 말씀해 주세요: 

What if you wanted help weaving in some additional ideas, to deepen the piece of writing? Just ask, remembering to be as specific as you can be:

 

이것들은 모두 관련성이 있는 요점들이며, 각각에 대한 이해를 마무리하기 위해 Google Scholar에 입력할 수 있는 검색어를 제공합니다. 
These are all relevant points, and they provide me with search terms I could input into Google Scholar to round out my understanding of each.

위의 채팅에서 볼 수 있듯이 ChatGPT를 사용하여 견고한 윤곽을 만들 수 있습니다. 글을 쓸 장르에 대해 훈련하고 다룰 주제 영역에 대한 지식을 판단해야 하지만, 이러한 단계를 수행한 후에는 순서, 섹션, 강조점이 다른 일련의 개요를 빠르게 요청할 수 있습니다. 이렇게 하면 원고에 접근하는 다양한 방법을 상상해보고 가장 적합한 방법을 선택하여 초안을 작성하는 데 도움이 됩니다. 
As my chat above illustrates, ChatGPT can be used to create solid outlines. You need to train it on the genre you’re going to write in and you need to judge its knowledge about the subject areas you’ll cover, but once you’ve taken those steps you can quickly request a series of outlines with different orders, sections, emphases. This can help you imagine different ways of approaching the manuscript: choose the best one, and start drafting.

ChatGPT는 일단 올바른 방향으로 안내를 받으면 빠르게 진행되지만(전체 채팅은 10분도 채 걸리지 않았습니다), 이러한 훈련 노력이 새로운 채팅으로 이어지지는 않습니다. 시스템은 모든 채팅 로그를 저장합니다. 사이드바에서 채팅 로그를 보고 다시 돌아가서 액세스할 수 있지만, 이는 개별적인 개체입니다. "컨텍스트 메모리는 현재 대화에만 적용됩니다. ChatGPT의 상태 비저장 아키텍처는 대화를 독립적인 인스턴스로 취급하기 때문에 이전 대화의 정보를 참조할 수 없습니다. 새 채팅을 시작하면 항상 모델의 상태가 초기화됩니다."[16]. 이 사실을 모르고 며칠 후 새 채팅을 시작하고 "연구자들의 학술적 글쓰기 향상을 돕기 위해 로렐라이 링가드가 (주로) 쓴 '작가의 기술' 시리즈에 대해 아는 것을 말해 주세요"라고 다시 물었더니 제가 쓴 적도 없는 책 5권에 대해 또다시 대답을 들었습니다. 저장된 채팅 로그로 돌아가서 중단한 부분부터 다시 프롬프트를 받았을 때 결과는 더 나아졌지만 일관성이 없었는데, 이는 ChatGPT의 문맥 기억의 한계 때문이거나 "관련성이 없다고 판단되는 지시를 삭제하는"[16] 경향으로 인해 "문맥을 깨뜨리는" 경향 때문일 수 있습니다. 
ChatGPT is fast once you get it pointed in the right direction (this whole chat took less than 10 minutes), but that training effort doesn’t transfer to new chats. The system saves all your chatlogs: you can see them on the sidebar and go back and access them, but they are discrete entities. “Contextual memory only applies to your current conversation. ChatGPT’s stateless architecture treats conversations as independent instances; it can’t reference information from previous ones. Starting new chats always resets the model’s state” [16]. Not knowing this, a few days later I started a new chat and asked it again “Tell me what you know about the Writer’s Craft series written (predominantly) by Lorelei Lingard to help researchers improve their academic writing”, only to be told again about 5 books I had never written. When I went back into saved chat logs and picked up my prompting where I’d left off, the result was better but not consistently so, which may be due either to limits on ChatGPT’s contextual memory or to its tendency to “break character” due to “dropping instructions it deems irrelevant” [16].

주의: ChatGPT는 여러 채팅에서 수행한 훈련을 전송하지 않습니다.
인사이트: 저장된 채팅 로그로 돌아가서 이전 프롬프트를 통해 수행한 훈련을 바탕으로 학습할 수 있을 것입니다.
Caution:
 ChatGPT doesn’t transfer the training you’ve done across chats.

Insight: Try returning to saved chat logs; you may be able to build on the training you’ve done through previous prompting.

반론, 요약 및 요약 생성하기
Generating counterarguments, summaries, and abstracts

콘텐츠 생성에 ChatGPT를 사용하는 유용한 방법은 개요뿐이 아닙니다. 또한 주장의 한 부분을 검토하고 반론을 제안하도록 요청할 수도 있습니다. 사용하는 ChatGPT 버전이 중요하다는 점을 명심하세요. 무료 ChatGPT 3.5는 읽고 응답할 수 있는 단어가 약 500단어로 제한되어 있으므로 전체 결과 또는 토론 섹션을 입력하면 이 오류 메시지가 표시됩니다: 
Outlines are not the only useful way to use ChatGPT for content generation. You can also ask it to review a section of your argument and suggest counter arguments. Keep in mind that the version of ChatGPT you use matters. The free ChatGPT 3.5 has a limit of about 500 words on what it can read and respond to, so if you input your whole results or discussion section you’ll get this error message:

 

유료 버전인 ChatGPTPlus는 한 번에 최대 25,000단어까지 처리할 수 있지만, 읽고 응답할 수 있는 단락을 몇 개 이상 입력하려고 하면 여전히 오류 메시지가 표시됩니다. 따라서 초안을 작성하는 동안 섹션에 대한 대략적인 요약을 제공하고 반론을 요청하는 것이 더 낫다고 생각합니다. 이 프롬프트에서는 현재 작업 중인 논문 결과의 요점을 요약하고, 그 결과를 바탕으로 제가 주장하고자 하는 바를 ChatGPT에 말한 다음 반론을 제시해 달라고 요청합니다: 
ChatGPTPlus (the paid version) is supposed to handle up to 25,000 words at a time, but I still received the error message when I tried to input more than a few paragraphs for it to read and respond to. Therefore, I think it’s better to give it a rough summary of a section (say, while you’re still drafting it) and ask it for counterarguments. In this prompt I summarize the gist of the results of a paper I’m currently working on, tell ChatGPT what I want to argue based on those results, and ask it to suggest counterarguments:

 

약 3초 만에 (얼마나 빨리 작동하는지 아직도 숨이 멎을 정도입니다) ChatGPT는 이를 제공합니다:

In about 3 seconds (it still leaves me breathless how quickly it works), ChatGPT offers this:

 

이 정도면 충분했습니다: 토론의 '반론' 섹션을 쉽게 작성할 수 있습니다. 이러한 아이디어 중 일부를 완전히 이해하지 못했거나 더 구체적인 내용을 원할 경우, 추가 질문을 통해 답변에 집중할 수 있습니다. 
This is enough to get my wheels turning: I could readily start writing a ‘counterargument’ section of my discussion. If I don’t understand fully some of these ideas or I want more specificity, further prompting would focus these responses.

통찰력: ChatGPT는 좋은 브레인스토밍 리소스가 될 수 있습니다.
주의: 하지만 그 제안을 맹목적으로 받아들이지 마세요. 여러분은 인공지능보다 더 똑똑합니다(적어도 현재 형태에서는).
Insight:
 ChatGPT can be a good brainstorming resource.

Caution: But don’t accept its suggestions blindly. You are smarter than it is (at least in its current form).


ChatGPT와 같은 AI 도구는 더 많은 청중이 더 쉽게 접근하고 포용할 수 있는 글을 작성하는 데에도 도움이 될 수 있습니다. 예를 들어, 최근 지원금 신청서의 첫 문단을 주고 100단어로 된 일반인용 요약문을 작성해 달라고 요청했더니 응답이 왔습니다: 

AI tools like ChatGPT can also help you to make your writing more accessible and inclusive of a wider audience. For instance, I gave it the opening paragraphs of a recent grant application and asked it to generate a 100-word lay summary, to which it responded:

 

이는 여전히 다소 형식적인 표현으로, 처음 프롬프트에서 '평이한 요약'의 의미가 자명하지 않은 것 같아서 더 자세히 설명했습니다: 

This was still a bit formal, suggesting that the meaning of ‘lay summary’ was perhaps not self-evident in my initial prompt, so I prompted it further:

 

이제 수정할 수 있는 초안이 완성되었으니, 예를 들어 '과학적 무결성'과 같이 삭제된 키워드 몇 개를 다시 넣을 수 있을 것입니다. 하지만 실행 가능한 초안이 있었기 때문에 최소 30분의 작업 시간을 절약할 수 있었습니다. 
This is an acceptable first draft that I can now rework; for instance, I would probably reinstate a few of the keywords (like “scientific integrity”) that were removed. But having a workable draft to start from has probably saved me at least 30 minutes of work.


초록은 ChatGPT가 도움을 줄 수 있는 또 다른 글쓰기 노동입니다. 프롬프트에 입력할 수 있는 단어가 제한되어 있어 논문 전체를 읽을 수 없기 때문에 첫 번째 초록 초안을 작성하는 데는 도움이 되지 않습니다. 하지만 항상 너무 긴 초록의 첫 초안을 필요한 단어 수 제한으로 줄이는 데는 도움이 될 수 있습니다. 이는 대부분의 사람들이 기꺼이 아웃소싱할 수 있는 노동력입니다: 저는 아직 초록의 단어 수를 줄이는 작업(과 시간!)을 소중히 여기는 작가를 만나지 못했습니다. 하지만 인공지능에게 완벽하게 적합한 것처럼 보이는 이 작업도 전적으로 신뢰할 수는 없습니다. 
Abstracts are another piece of writing labor that ChatGPT can help with. It can’t help you with your first abstract draft, because it can’t read your entire paper due to limits on the words you can enter in a prompt. But it can help you take your abstract’s first draft, which is invariably too long, and reduce it to the required word limit. This is labor most of us would be happy to outsource: I have yet to meet a writer who cherishes the task (and time!) of whittling words from their abstract. But even with this task which seems perfectly suited to AI, you can’t entirely trust it.

예를 들어, 제가 제공한 구조화된 초록에서 27개의 단어를 제거해 달라고 요청하면서 내용 그대로를 최대한 적게 다시 작성해 달라고 덧붙였습니다. 그 결과 약 100단어 길이의 비정형 버전이 만들어졌습니다. 저는 응답했습니다: 

As illustration, I asked it to remove 27 words from a structured abstract which I provided, adding that I wanted it to rewrite as little as possible as I liked the content as it was. It produced an unstructured version about 100 words long. I responded:

 

이제 구조화된 초록이 반환되었지만 여전히 제가 요청한 것보다 훨씬 짧았습니다. 이번에는 단어 수를 빼는 수학적 작업을 요청하지 않고 응답에 대한 단어 수 제한(300개)을 설정하여 다시 요청했습니다(약간 짜증이 났음을 고백합니다): 
Now it returned a structured abstract, but still much shorter than I had requested. I prompted again (I confess, a bit irritated), this time not asking it to do the mathematical task of subtracting the number of words, but setting a word limit (300) for its response:

 
 


이해하는 것 같지만 다음 버전도 300 단어가 아니 었습니다 (예, 이때까지 단어 수를 확인하기 위해 모든 시도를 Word 문서에 복사하여 붙여 넣었습니다): 

It seems like it understands, but the next version wasn’t 300 words either (yes, by this time I was copying and pasting all the attempts into a Word document to check the word count):

 

마지막으로 성공: 최종 버전은 310단어였습니다(이 중 10개가 구조화된 제목이었으므로 ChatGPT에 점수를 주겠습니다).
Finally, success: the last version was 310 words (we’ll give ChatGPT the point, because 10 of those were the structured headings). 

인사이트: ChatGPT는 분명히 셀 수 없습니다.
주의: 구체적인 작업을 수행하더라도 실패에 주의해야 합니다.
Insight:
 ChatGPT apparently can’t count.

Caution: Even with concrete tasks, be alert for failure.

물론 수학 문제를 풀도록 요청하면 ChatGPT는 계산할 수 있습니다. 하지만 정확한 단어 개수를 세는 것은 분명 장점은 아닙니다. 그럼에도 불구하고 ChatGPT는 기존 초록을 새로운 목적에 맞게 재구성하는 데 여전히 유용합니다. 250단어로 구성된 구조화된 컨퍼런스 초록이 있는데, 100단어로 구성된 비정형 초록이 필요한 다른 컨퍼런스에 제출하고 싶다고 가정해 보겠습니다:
ChatGPT can count, of course: if you ask it to solve math problems, it can do so. But exact word counts clearly aren’t its forte. Nevertheless, ChatGPT is still useful for reformatting existing abstracts for new purposes. I have a structured conference abstract of 250 words, which I want to submit to another conference that requires unstructured, 100-word abstracts:

 

아직 정확하게 계산하지는 못했지만(108단어) 비정형 초록으로 형식을 바꾸고 핵심 아이디어는 유지했습니다. 이 버전을 다시 작업할 때 여분의 단어 8개를 다듬을 예정인데, 전체 서식을 직접 다시 지정하는 것보다 확실히 빠릅니다.
It still hasn’t counted accurately (this is 108 words), but it has reformatted to an unstructured abstract and retained the key ideas. I’ll trim the extra 8 words when I rework this version; that’s certainly faster than doing the whole reformat myself.

명확성과 일관성을 개선하기 위해 ChatGPT로 편집하기
Editing with ChatGPT to improve clarity and coherence

이 도구를 사용하는 또 다른 방법은 초안 섹션의 명확성과 일관성을 강화하는 것입니다. 특히 독자를 잃을 수 있다고 생각되는 밀집된 부분의 명확성과 일관성을 강화하는 것입니다. 내부 일관성을 강화하려면 한 단락을 입력하고 요점을 설명하기 위해 토큰 문장을 추가할 위치를 제안하는 등 아이디어가 더 설득력 있게 전개되도록 다시 작성해 달라고 요청할 수 있습니다. 저는 초안을 작성한 단락을 입력하고 세 가지 주제 문장을 제안해 달라고 요청했고, 이에 응답했습니다: 

Another way to use the tool is to strengthen the clarity and coherence of sections of your draft, particularly those dense spots where you think you might lose the reader. To strengthen internal coherence, you could input a single paragraph and ask it to rewrite so that the ideas develop more convincingly, including suggesting where you should add token sentences to illustrate your points. I inputted a paragraph I’d drafted and asked it for three possible topic sentences, to which it responded:

 

각 주제 문장에서 서로 다른 강조점을 확인함으로써 단락에서 관심을 끌기 위해 경쟁하는 문제를 파악하고 더 일관성 있게 만드는 데 도움이 되었습니다.
Seeing the different emphases in each topic sentence helped me to identify the issues that were vying for attention in the paragraph, and make it more coherent.

인사이트: ChatGPT에 주제 문장을 요청하면 단락의 일관성 문제를 파악하는 데 도움이 될 수 있습니다.
주의: 이러한 문장을 그대로 사용하지 마세요. 이는 해결책이 아니라 신호일 뿐입니다.
Insight:
 Asking ChatGPT for topic sentences can help reveal issues with paragraph coherence.

Caution: Don’t use those sentences verbatim. They are a signal, not a solution.


이론적으로는 일련의 단락을 입력하고 새로운 주제 및 전환 문장을 제안하도록 요청하여 ChatGPT로 외부 일관성을 강화할 수도 있습니다. 저는 이번 작가의 기술을 위해 초안을 작성했던 첫 문단에 대해 ChatGPT에 도움을 요청했습니다:

Theoretically, you can also strengthen external coherence with ChatGPT, by inputting a series of paragraphs and asking it to suggest new topic and transition sentences. I asked ChatGPT for help with the opening paragraphs I had drafted for this Writer’s Craft:

 

제안한 내용은 다음과 같습니다:

Here’s what it suggested:

 

첫째, ChatGPT는 요청에 따라 주제와 전환 문장뿐만 아니라 모든 문장을 변경했습니다. 예를 들어, 수동태 구조(예: "촉발되었다", "점화되었다", "인정되었다")를 많이 사용하고, 단순한 주제를 좀 더 정교한 구조로 변경했습니다(예: "ChatGPT"가 "학계 내 ChatGPT의 영향력 증가"로 변경됨). 이제, 제가 제 글에 대해 약간 귀중하게 여길 수 있다는 것을 인정하는 첫 번째 사람이 되겠지만, 이것이 제가 부탁한 것은 아닙니다. 따라서 분명히 밝힙니다: 

I noticed two things immediately: first, ChatGPT changed all the sentences, not only the topic and transition sentences as requested. And second, it also changed the writing style: for instance, it uses many passive voice constructions (e.g., “has sparked”, “has ignited”, “has been acknowledged”), and changed out my simple subjects for more elaborate constructions (e.g., my “ChatGPT” has been changed to “the rising influence of ChatGPT within academia”). Now, I will be the first to admit that I can be a bit precious about my writing, but this is not what I asked it to do. Thus, I clarify:

 

Ugh. 은유가 지나치게 섞여 있습니다! - 은유가 지나쳤습니다. 그리고 어조가 답답한 학자에서 발랄한 청소년으로 바뀌었습니다. 다음 프롬프트는 제 짜증을 드러냅니다:

Ugh. It has overdone – and mixed! – the metaphors. And the tone has swung from stuffy academic to effusive adolescent. My next prompt reveals my irritation:

 

이 글은 제 글쓰기 스타일에 더 가깝고, 주제와 전환 문장이 시작 논거를 연결하고 발전시키는 데 효과적입니다. 글의 내적 또는 외적 일관성을 유지하는 데 어려움을 겪고 있다면 이 자료가 도움이 될 수 있습니다. 그러나 일관성 문제로 어려움을 겪고 있지 않다면(이 글에서는 특별히 그렇지 않았습니다) 이 제안이 흥미롭지 않을 수 있으며, 일부 제안은 좌절감을 줄 수도 있습니다.
This is closer to my writing style, and the topic and transition sentences are effective at connecting and developing the opening argument. If you’re struggling with internal or external coherence in a piece of writing, this could be a helpful resource. But if you’re not struggling with coherence (as I wasn’t particularly in this piece), its suggestions are unlikely to excite you – and some of them may frustrate you.

주의: ChatGPT는 콘텐츠뿐만 아니라 글쓰기 스타일도 편집합니다.
인사이트: ChatGPT가 생성한 자료를 다시 작성할 때 스타일을 자신만의 것으로 만드세요.
Caution:
 ChatGPT will edit your writing style as well as your content.

Insight: As part of your rewrite of ChatGPT-generated material, make the style your own.

ChatGPT를 통해 글쓰기에서 어떤 부분을 개선하고 싶으시다면, 그 글의 특징 뒤에 있는 문법적/수사적/언어적 개념을 ChatGPT가 이해하고 있는지 확인해야 합니다. 무엇을 "알고 있는지" 물어보기 전까지는 알 수 없습니다. 저는 제 학생 중 한 명이 왼쪽 분기 문장(많은 세부 사항을 일찍 도입하고, 주요 아이디어를 나중으로 미루어 다른 모든 세부 사항을 정리하기 위해 주요 아이디어가 필요한 독자에게 혼란을 줄 수 있는 문장)을 작성하는 경향을 파악하고 개선하는 데 도움이 될 수 있는지 알아보고 싶었습니다. 저는 먼저 물어보았습니다: 

Whatever you want ChatGPT to help improve in your writing, you need to ensure that it understands the grammatical/rhetorical/linguistic concepts behind that feature of your writing. You don’t know what it “knows” until you ask it. I wanted to see if it could help one of my students identify and improve their tendency to write left-branching sentences (those that introduce a lot of detail early, leaving the main idea until late and thus potentially creating confusion for the reader who needs the main idea to organize all the other details). I started by asking it:

 

보시다시피, 거꾸로 되어 있었습니다. 제가 수정했습니다:
As you can see, it had them backwards. I corrected it:

 
 
 

생성된 모든 문장이 마음에 들지는 않지만 오른쪽으로 더 많이 분기됩니다. 작가의 습관을 파악하고 ChatGPT가 관심 있는 문법적 특징에 대한 정확한 지식을 갖추게 되면 유용한 코칭 리소스가 될 수 있습니다. 예를 들어, 많은 작가들이 강력한 동사의 레퍼토리를 확장하는 데 어려움을 겪고 있습니다. ChatGPT에 글의 몇 단락을 제공하고 더 강하고 역동적인 동사로 다시 작성하도록 요청할 수 있습니다. 몇 가지 다른 버전을 요청하면 갑자기 선택할 수있는 새로운 동사의 멋진 카탈로그가 생깁니다. 
I don’t like all of the sentences it has created, but they are more right-branching. This would be a useful coaching resource, once a writer’s habits are identified and we have ensured that ChatGPT has accurate knowledge of the grammatical features we’re interested in. For instance, many writers struggle to expand their repertoire of strong verbs. We could give ChatGPT a few paragraphs of their writing and ask it to rewrite with stronger, more dynamic verbs. Ask it for a few different versions and suddenly you have a nice catalogue of new verbs to choose from.

더 일반적으로 ChatGPT는 영어를 추가 언어(EAL)로 쓰는 학자들을 위한 무료 언어 편집기 역할도 할 수 있습니다. 현재 많은 EAL 작가들이 언어 편집에 드는 비용(시간/노력 및 재정적 비용 모두)을 부담하고 있는데, 특히 초안 작성 및 수정 단계에서 이러한 비용을 일부 경감하고 작가들이 아이디어에 집중하고 문법에 대해 덜 걱정할 수 있게 해줄 수 있습니다. 
More generally, ChatGPT could also serve as a free language editor for scholars writing in English as an additional language (EAL). Many EAL writers now incur the costs (both time/effort and financial) of language editing: it could alleviate some of those costs, particularly during the drafting and revision stages, and free writers to focus on the ideas and worry less about the grammar.

윤리에 대한 참고 사항
A note on ethics

ChatGPT에 대한 우려의 대부분은 사용의 윤리와 관련이 있습니다. 즉, 대신 글을 써주는 것이 '공정한가' 하는 것입니다. 이미 눈치채셨겠지만, 저는 이 도구가 여러분을 대신 작성하도록 하는 것을 권장하지 않습니다. 제 글의 대부분은 제가 직접 작성한 글을 ChatGPT에 입력한 후 제안을 요청하거나(여기 소개글이 있는데 좋은 제목을 제안해 주세요), 번거로운 작업을 하거나(여기 초록이 있는데 반으로 잘라 주세요), 문법적 변화를 설명하거나(여기 왼쪽 분기 문장 패턴이 있는데 오른쪽 분기 대안을 제안해 주세요) 하는 식으로 이루어집니다. 저는 이것이 윤리적이고 적절한 ChatGPT 사용이라고 주장하고 싶습니다. 저는 모든 지적이고 창의적인 작업을 ChatGPT에 요청하는 것이 아니라 일부 노동을 아웃소싱하는 것입니다[14]. 제가 ChatGPT에게 저를 위해 무언가(개요, 가능한 반론 목록, 더 강력한 주제와 전환 문장으로 개선된 구절 등)를 만들어 달라고 요청한 경우, 저는 이를 다음 수정 작업의 출발점으로 취급합니다. 물론 이것도 물론 중요하지만, ChatGPT의 글을 제 글인 것처럼 보이지 않기 위해서만이 아닙니다. 또한 (적어도 어떤 날은) 저에게 기쁨을 주는 글쓰기 기술을 아웃소싱하고 싶지 않기 때문이기도 합니다. 그리고 저는 확실히 ChatGPT처럼 '소리'를 내고 싶지 않고 제 글이 저처럼 들리기를 원합니다. 지금까지의 경험에 비추어 볼 때, ChatGPT가 저를 흉내 내도록 하는 것보다 제 목소리로 작업하는 것이 더 적은 시간이 걸리고 더 만족스러울 것입니다. 
Much of the alarm about ChatGPT has to do with the ethics of its use: is it ‘fair’ to have it write for you? As you will have noticed, I don’t advise having it write for you. Most of my examples involve putting my own writing into ChatGPT and asking it to make suggestions (here’s my introduction, please suggest some good titles), to do some tiresome labor (here’s my abstract, please cut it in half), to illustrate grammatical changes (here’s my left branching sentence pattern, please suggest right branching alternatives). I would argue that these are ethical and appropriate uses of ChatGPT. I’m not asking it to do all the intellectual, creative work, I’m outsourcing some of the labor [14]. Where I have asked ChatGPT to create something for me (an outline, a list of possible counterarguments, a passage improved with stronger topic and transition sentences), I treat it as a starting point for my next round of revisions. This isn’t only to avoid presenting ChatGPT’s writing as my own, although that’s of course important. It is also because I don’t want to outsource the writing craft, which (on some days, at least) gives me joy. And I certainly don’t want to ‘sound’ like ChatGPT – I want my writing to sound like me. Based on my experiences so far, it will take less time (and be more satisfying) to work on my voice than to work on getting ChatGPT to mimic me.

요약하자면
In Summary

작가들은 놀라거나 불안해하기보다는 ChatGPT의 장단점을 이해할 필요가 있습니다.

  • 내용보다는 구조에 더 강합니다. 좋은 브레인스토밍 도구(제목, 개요, 반론 등)이지만, 특히 자신의 전문 영역을 벗어나는 경우 모든 내용을 다시 한 번 확인해야 합니다.
  • 복잡한 아이디어를 요약하고 다른 아이디어와 연결할 수 있지만, 일반적인 기본값에서 벗어나 관심사에 집중하도록 훈련시키는 데 필요한 점진적인 프롬프트에 대해 많은 생각을 한 경우에만 가능합니다.
  • 정보에 대한 액세스 권한은 원래 훈련받은 정보로 제한되므로, 부족한 부분과 부정확한 부분을 파악하기 위해서는 사용자가 직접 훈련하는 단계가 필수적입니다.
  • 초록의 형식을 바꾸거나 섹션의 길이를 줄이는 등의 노동에는 사용할 수 있지만, 어떤 단락이나 아이디어에 더 많은 단어가 필요한지, 어떤 단락이나 아이디어는 줄여야 하는지를 결정하는 작가의 사고를 대체할 수는 없습니다.
  • 부정확할 수 있습니다. 사실, 고집스럽게도 부정확성을 지적받은 후에도 부정확성을 고집하면서 동시에 다음 시도를 수정된 것으로 제시합니다. 나는 그것이 지각이 없고 동기나 감정이 없다는 것을 알고 있지만, 일부 교환에서 그것이 음침하고 다루기 힘들고 심지어 고의적으로 성실하지 않다는 생각을 할 수밖에 없습니다. 

Rather than being alarmed or anxious, writers need to understand ChatGPT’s strengths and weaknesses.

  • It is better at structure than it is at content. It is a good brainstorming tool (think titles, outlines, counter-arguments), but you must double check everything it tells you, especially if you’re outside your domain of expertise.
  • It can provide summaries of complex ideas, and connect them with other ideas, but only if you have put a lot of thought into the incremental prompting needed to shift it from its generic default and train it to focus on what you care about.
  • Its access to information is limited to what it was originally trained on, therefore your own training phase is essential to identify gaps and inaccuracies.
  • It can be used for labor, such as reformatting abstracts or reducing the length of sections, but it can’t replace the thinking a writer does to determine why some paragraphs or ideas deserve more words and others can be cut back.
  • It can be inaccurate: in fact, rather stubbornly so, persisting with inaccuracies even after they are pointed out, while at the same time presenting its next attempt as corrected. I know it isn’t sentient and doesn’t have motivations or emotions, but I can’t help but think in some of our exchanges that it was being sullen, intractable, even deliberately insincere.

그럼에도 불구하고 작가들은 그 힘을 활용하여 프로세스를 더 효율적으로 만들고 제품을 더 견고하게 만들 수 있습니다. AI 도구를 사용한 글쓰기에 대한 정책이 계속 생겨나고 진화하고 있으므로 대상 저널을 확인하시기 바랍니다. 하지만 저널 매개변수 내에서 ChatGPT를 최대한 활용하세요. 글쓰기 과정에서 막히는 순간을 파악하세요. 개요를 생성하거나 스토리라인의 다음 요점을 브레인스토밍하는 등 ChatGPT가 도움이 될 수 있을까요?

  • 문법 문제를 해결하는 데 사용하거나(예: 기본적으로 수동태를 사용하는 경우, 문장을 능동태로 변경하여 비교하도록 요청),
  • 복잡한 논증 부분의 일관성을 강화하는 데 사용하거나,
  • 오른쪽 분기 문장을 왼쪽 분기 문장으로 변환하여 명확성을 높이는 데 사용할 수 있습니다.

힘든 작업과 창의적인 글쓰기를 구분하세요.

  • 전자는 ChatGPT를 사용하여 지원하고, 후자는 혼자서 하세요.
  • 그리고 항상 생성된 초안을 초안으로 보고 자신만의 특별한 강조점, 고유한 목소리와 스타일을 불어넣어 다듬고 재작업할 수 있습니다. 


Still, writers can harness its power to make our processes more efficient and our products more robust. Do check your target journal, as policies about writing with AI tools are emerging and evolving. Within journal parameters, however, leverage ChatGPT to your advantage. Identify the moments in your writing process where you get stuck: can ChatGPT help you there by generating an outline or brainstorming the next points in the storyline?

  • Use it to help address your grammar challenges (e.g., if you default to passive voice, ask it to change sentences to active so you can compare);
  • use it to strengthen coherence of a complex section of your argument;
  • get it to increase clarity by converting your right-branching sentences to left-branching.

Distinguish the laborious from the creative writing tasks:

  • use ChatGPT to support the former, and keep the latter for yourself.
  • And always view what it has generated as a first draft which you will refine and rework, infusing it with your own particular emphases, your unique voice and style.

Perspect Med Educ. 2023 Jun 29;12(1):261-270. doi: 10.5334/pme.1072. eCollection 2023.

Writing with ChatGPT: An Illustration of its Capacity, Limitations & Implications for Academic Writers

Affiliations collapse

1Western University, CA.

PMID: 37397181

PMCID: PMC10312253

DOI: 10.5334/pme.1072

Free PMC article

질적연구 실용 가이드: Part 6: 일차의료 연구에서 종단적 및 복잡한 건강 주제를 위한 종단적 질적 및 혼합방법 접근(Eur J Gen Pract.2022)
Series: Practical guidance to qualitative research. Part 6: Longitudinal qualitative and mixed-methods approaches for longitudinal and complex health themes in primary care research
Irene Korstjensa and Albine Moserb,c

 

소개
Introduction

수년에 걸쳐 저희는 질적 연구를 감독하면서 질적 연구가 많은 질문과 도전을 불러일으키는 경향이 있음을 발견했습니다. 질적 연구에 대한 실용적인 지침을 제공하기 위한 시리즈[1-5]의 여섯 번째 글인 이 글에서는 일차 진료 연구에서 종단적이고 복잡한 다면적인 건강 주제를 다루기 위한 두 가지 접근법을 소개합니다. 
Over the years, in our supervisory work, we have noticed that qualitative research tends to evoke many questions and challenges. This article, the sixth in a series aiming to provide practical guidance for qualitative research [1–5], introduces two approaches for addressing longitudinal and complex multifaceted health themes in primary care research.

일차 진료의 도전 과제
Challenges in primary care practice

일차 진료는 점점 더 고령화되고 복잡하며 다질환을 앓고 있는 인구에게 고품질의 접근 가능하고 저렴한 의료 서비스를 제공하는 데 어려움을 겪고 있으며, 환자와 일반의 간의 관계는 파트너십, 개인화된 의료 서비스, 자가 관리 지원으로 변화하고 있습니다[6]. 유럽은 세계에서 가장 고령 인구가 많은 국가 중 하나이며, 특히 남유럽의 인구 고령화가 가장 빠르게 진행되고 있어 기능 장애, 허약, 장기요양 의존으로 전환될 수 있는 고령자를 다루고 있습니다[7]. 이러한 환자들의 다양한 건강 문제와 복잡한 요구로 인해 다양한 임상 환경에서 여러 의료 전문가와 빈번한 상호작용을 하게 됩니다. 이러한 도전적인 발전은 일반의의 전문가 간 협업을 점점 더 많이 필요로 합니다[8]. 현재 일상적인 진료에서 발생하는 복잡한 건강 문제를 다루는 데 도움이 되는 적절한 연구 접근법이 필요합니다. 이 백서에서는 이러한 접근법 중 두 가지에 대해 논의합니다. 
Primary care encounters challenges in providing high quality, accessible and affordable care for an increasingly ageing, complex, and multi-morbid population, while the relationship between patients and general practitioners is transforming towards partnership, personalised healthcare and supported self-management [6]. Europe has some of the world’s oldest populations – with the most rapidly ageing populations in Southern Europe – and is dealing with elderly people who may experience transitions to functional disability, frailty, and dependence on long-term care [7]. The diverse health problems and complex needs of these patients lead to frequent interactions with multiple health care professionals in different clinical settings. These challenging developments require more and more interprofessional collaboration from general practitioners [8]. Appropriate research approaches are needed to support them in dealing with the complex health issues of current day-to-day practice. In this paper, we will discuss two of these approaches.

종단 및 혼합 방법 접근법
Longitudinal and mixed-methods approaches

종단적 질적 연구는 시간을 두고 사람들을 추적합니다. 따라서 사람들이 일차 진료 및 사회 서비스와 상호 작용하면서 어떻게 변화하는지, 어떻게 자신의 상태를 관리하는지에 대한 통찰력을 제공할 수 있습니다[9]. 종단적 질적 연구는 만성 질환 환자의 궤적[10], 전문 정신 건강 서비스와 일차 진료 사이를 이동하는 정신병 청년의 전환 또는 일반의가 진료에 건강 증진 신체 활동 처방을 도입하는 과정[11,12] 등에 대한 이해를 지원합니다. 
Longitudinal qualitative research follows people over time. Therefore, it can provide insights into how people move through their transitions as they interact with primary care and social services, and how they manage their conditions [9]. Longitudinal qualitative research supports understanding of, for example, trajectories of patients with chronic conditions [10], transitions of young people with psychosis moving between specialist mental health services and primary care or processes of general practitioners introducing health promoting physical activity prescriptions in their practice [11,12].

지난 15년 동안 일차 진료 및 가정의학 연구에서 혼합 방법 연구가 일반화되었습니다[13]. 이 접근 방식은 양적 데이터와 질적 데이터를 의도적으로 수집하고 각각의 강점을 결합하여 연구 질문에 답하는 것입니다[14]. 혼합 방법 연구는 예를 들어 유용성 및 타당성(예: 개념 증명 또는 파일럿 연구)을 다룸으로써 일차 진료에서 복잡한 개입의 개발 및 평가를 지원할 수 있습니다. 종단적 질적 연구는 혼합 방법 연구 프로젝트의 일부가 될 수 있습니다[15,16].
Over the last 15 years, mixed-methods research has become common in primary care and family medicine research [13]. This approach involves the intentional collection of both quantitative and qualitative data and combines the strengths of each to answer research questions [14]. Mixed-methods research can – by addressing, for example, usability and feasibility (e.g. proof-of-concept or pilot studies) – support developing and evaluating of complex interventions in primary care. Longitudinal qualitative research can be part of mixed-methods research projects [15,16].

이 기사의 대상 및 내용
Target audience and content of this article

이 글은 종단적 질적 연구 및 혼합 방법 연구에 대한 소개입니다. 이 글은 질적 연구 경험이 있는 연구자 중 이러한 방법에 관심이 있는 연구자와 이러한 방법론을 사용한 논문을 점점 더 많이 읽게 될 일반 실무자가 처음 접할 수 있도록 작성되었습니다. 이 책에서는 이러한 접근법의 맥락과 무엇을, 왜, 언제, 어떻게 접근해야 하는지, 그리고 주요 실무적, 방법론적 과제에 대한 가능한 질문을 다룹니다. 1차 진료 및 기타 의료 영역에서 발표된 경험적 연구의 예와 추가 자료로 활용할 수 있는 출처를 제공합니다.
We regard this article as an introduction to longitudinal qualitative and mixed-methods research. It is intended as a first acquaintance for researchers – with some experience in qualitative research – who are interested in these methods and general practitioners who will increasingly read articles using these methodologies. We address possible questions about the context and the what, why, when and how of these approaches and their main practical and methodological challenges. We provide examples of published empirical studies in primary care and other health care domains and sources for further reading.

생애 과정에서의 변화를 이해하기 위한 종단적 질적 연구
Longitudinal qualitative research to understand change during the life course

컨텍스트
Context

일반 진료는 생애 과정에서 환자와 가족을 돌보는 전통을 가지고 있습니다. 일반의는 만성 질환이나 다질환을 앓고 있는 환자가 노화 과정에서 겪는 변화를 이해해야 한다는 요구가 증가하고 있습니다. 종단적 질적 연구는 생애 과정의 연속성과 변화, 그리고 개인적, 건강 관련, 사회적, 환경적 요인이 이러한 과정을 어떻게 형성하는지에 대한 통찰력을 제공할 수 있습니다[17]. 이 접근법을 사용하여 발표된 경험적 연구에는 다음이 포함됩니다:
General practice has a tradition of caring for patients and families during their life course. General practitioners face increasing demands for understanding the changes patients with chronic illness or multimorbidity undergo during ageing. Longitudinal qualitative studies can provide insights into continuity and change during the life course and how individual, health-related, social and environmental factors shape these processes [17]. Published empirical studies using this approach include:

  • 다질환을 앓고 있는 고령자가 보고한 1차 진료에서의 환자 안전 위협: 종단적 질적 연구의 기초 연구 결과 및 개입에 대한 시사점 [9].
  • 신체 활동 처방을 진료에 통합하려는 시도에 대한 가정의의 경험을 설명하는 종단적 질적 연구: '습관을 바꾸는 것은 쉽지 않다'[12].
  • 종단적 질적 연구를 사용하여 추가 케어 주택을 탐색합니다[17].
  • 정신병에 대한 조기 개입 서비스에서 벗어나는 것에 대한 서비스 사용자의 견해: 일차 진료의 종단적 질적 연구 [11].
  • Threats to patient safety in primary care reported by older people with multimorbidity: baseline findings from a longitudinal qualitative study and implications for intervention [9].
  • Longitudinal qualitative study describing family physicians’ experiences with attempting to integrate physical activity prescriptions in their practice: ‘It’s not easy to change habits’ [12].
  • Using longitudinal qualitative research to explore extra care housing [17].
  • Service users' views of moving on from early intervention services for psychosis: a longitudinal qualitative study in primary care [11].

무엇?
What?

종단적 질적 연구는 시간이 지남에 따라 경험이 어떻게 그리고 왜 변화하는지를 연구하는 것을 목표로 합니다. 종단적 질적 연구는 사회과학에 뿌리를 두고 있으며, 밀레니엄 시대에 접어들면서 뚜렷한 방법론적 패러다임으로 등장했습니다[18]. 다른 질적 연구와 구별되는 점은 시간과 변화를 분석적 관심의 중심 초점으로 의도적으로 강조한다는 점입니다[15]. 종단적 질적 연구에는 발달 또는 인과 관계에 대한 종단적 연구 질문, 여러 데이터 수집 지점을 포함하는 표본, 시간 경과에 따른 변화를 명시적으로 다루는 분석이라는 세 가지 특징적인 요소가 있습니다. 질적 연구는 건강 문제를 경험하는 이유와 방법에 관한 것이며, 종단적 질적 연구는 이러한 경험이 시간이 지남에 따라 어떻게 그리고 왜 변화하는지에 초점을 맞춥니다[17]. 
Longitudinal qualitative research aims to study how and why experiences change over time. It is rooted in the social sciences and emerged as a distinct methodological paradigm around the turn of the millennium [18]. What distinguishes it from other qualitative research is the deliberate emphasis on time and change as the central focus of analytical attention [15]. Longitudinal qualitative research has three distinguishing elements: a longitudinal research question about developmental or causal relationships, a sample that includes multiple data collection points and an analysis that explicitly addresses change over time. Qualitative research is about why and how health issues are experienced, and longitudinal qualitative research focuses on how and why these experiences change over time [17].

왜 그리고 언제?
Why and when?

종단적 질적 연구는 개인과 환자 그룹의 생활 방식을 보다 복잡하고 현실적으로 이해할 수 있는 가능성을 제공합니다[18]. 이는 노화 및 생애 과정 문제, 장기 요양 및 복잡한 건강 개입의 과정 평가를 연구하는 데 도움이 되는 것으로 입증되었습니다[15,19]. 종단적 질적 연구의 장점은 시간과 맥락 간의 상호작용을 비선형적인 방식으로 평가할 수 있는 유연한 접근 방식에서 비롯됩니다[19]. 종단적 질적 연구를 통해 참가자는 과거와 현재의 사건을 반성적으로 바라보고 미래에 대한 열망을 변화시키면서 정서적 거리를 경험할 수 있습니다. 또한, 장기간에 걸쳐 진행되는 인터뷰는 참여자와 연구자 간의 친밀감, 신뢰, 대화를 촉진하고 연구자가 일회성 인터뷰보다 더 적절한 순간에 민감한 주제를 제기할 수 있게 해줍니다[20]. 
Longitudinal qualitative research offers the possibility of generating more complex and thus realistic understanding of how individuals and patient groups live [18]. It has proved helpful for studying ageing and life course issues, long-term care and process evaluation of complex health interventions [15,19]. Its advantages stem from its ability to take a flexible approach to evaluate interactions between time and context in a non-linear manner [19]. Longitudinal qualitative research can enable participants to experience emotional distance while reflexively viewing past and present events and changing their aspirations for the future. Furthermore, interviews carried out over time promote familiarity, trust and dialogue between participant and researcher and enable a researcher to raise sensitive topics at a more opportune moment than in a one-off interview [20].

어떻게?
How?

종단적 질적 연구를 수행하려면 연구자의 관계 인식과 참여자와 소통하고 관심을 기울이려는 의지가 필요합니다[21]. 또한 상당한 규모의 질적 데이터베이스를 수집, 관리 및 유지하고 반복적인 단면 또는 종단 분석을 수행하기 위한 지식과 기술이 필요합니다(표 1)[22].
Longitudinal qualitative research requires researchers’ relational awareness and willingness to connect with and care about participants [21]. Furthermore, it requires knowledge and skills to gather, manage and maintain a sizeable qualitative database and to conduct either recurrent cross-sectional or longitudinal analyses (Table 1) [22].

질적 연구자는 연구를 설계하기 위해 이론적 접근 방식과 연구 초점, 표본 및 분석을 고려해야 합니다[3,4]. 종단적 질적 연구에는 변화 또는 시간적 관점을 다루는 연구 질문과 두 개 이상의 시점을 체계적으로 비교하는 것이 필요합니다[19]. 또한 분석에는 코드, 영역, 인터뷰 질문, 분석 매트릭스 또는 사례, 반복적인 단면 또는 종단 분석 사용 등 비교 대상에 대한 투명성이 요구됩니다. 두 가지 유형의 분석이 모두 필요한 특정 연구 질문이 있을 수 있습니다. 
To design the study, qualitative researchers need to consider the theoretical approach and research focus, the sample and the analysis [3,4]. A longitudinal qualitative study requires a research question that addresses a change or time perspective and systematic comparisons of two or more time points [19]. Furthermore, the analysis requires transparency about what is compared, such as codes, domains, interview questions, analytical matrices or cases, and the use of either recurrent cross-sectional or longitudinal analysis. There may be some specific research questions requiring both types of analysis.

혼합 방법 연구
Mixed-methods research

컨텍스트
Context

혼합 방법 연구는 다양한 환경에서 다양한 의료 요구가 있는 환자를 다루는 일차 진료의 복잡성을 이해하는 데 도움이 됩니다[13]. 이 접근 방식은 질적 방법과 양적 방법을 통합하고 일차 진료의 복잡하고 다면적인 주제를 개선하고 해결하기 위한 새로운 통찰력을 제공합니다[13]. 혼합 방법을 사용하여 발표된 경험적 연구에는 다음이 포함됩니다:
Mixed-methods research supports understanding the complexity of primary care dealing with patients with diverse health care needs in various settings [13]. This approach integrates qualitative and quantitative methods and provides new insights to improve and address the complex and multifaceted themes of primary care [13]. Published empirical studies using mixed methods include:

  • 질병별 임상 경로 - 일차 진료에서 실현 가능한가? 혼합 방법 연구 [23].
  • 네덜란드 지역 사회 간호사와 일반의 간의 의사 소통에는 구조가 부족합니다: 탐색적 혼합 방법 연구 [24].
  • 일차 진료에서 완화 치료 요구에 대한 컴퓨터 스크리닝: 혼합 방법 연구 [25].
  • COVID-19 팬데믹 이후 영국 일차 진료에서 원격 컨설팅 구현: 혼합 방법 종단 연구 [16].
  • Disease-specific clinical pathways – are they feasible in primary care? A mixed-methods study [23].
  • Communication between Dutch community nurses and general practitioners lacks structure: an explorative mixed-methods study [24].
  • Computer screening for palliative care needs in primary care: a mixed-methods study [25].
  • Implementation of remote consulting in UK primary care following the COVID-19 pandemic: a mixed-methods longitudinal study [16].

무엇?
What?

혼합 방법 연구는 실제 상황에 대한 이해와 다차원적 관점을 요구하는 연구 질문에 중점을 둡니다. 이는 구성 요소의 규모와 빈도를 평가하는 엄격한 정량적 연구와 구성 요소의 의미와 이해를 탐구하는 엄격한 정성적 연구를 사용합니다. 여러 방법을 통합하고 여러 철학적, 이론적 입장 내에서 연구의 틀을 잡습니다[14].
Mixed-methods research focuses on research questions calling for real-life contextual understandings and multi-level perspectives. It employs rigorous quantitative research assessing magnitude and frequency of constructs and rigorous qualitative research exploring the meaning and understanding of constructs. It integrates multiple methods and frames the research within several philosophical and theoretical positions [14].

정성적 데이터와 정량적 데이터를 통합하는 것은 단순히 정량적 데이터나 정성적 데이터를 수집하고 분석하는 것 이상의 추가적인 통찰력을 제공하기 때문에 혼합 방법 연구의 핵심적인 특징입니다[26,27]. '통합'이란 혼합 방법 연구에서 데이터 수집-분석 또는 정성적-정량적 결과의 해석 과정에서 정량적 요소와 정성적 요소를 명시적으로 상호 연관시키는 것을 의미합니다[28]. 
Integrating qualitative and quantitative data is a central feature of mixed-methods research as it provides additional insight beyond what might be gained from simply collecting and analyzing quantitative data or qualitative data [26,27]. ‘Integrating’ means the explicit interrelating of the quantitative and qualitative components in a mixed-methods study, e.g. during the data collection-analysis or the interpretation of qualitative and quantitative results [28].

왜 그리고 언제?
Why and when?

혼합 방법 연구는 연구의 폭과 깊이를 최적화할 수 있으며 사회 문화적 맥락과 실제 환경을 고려하여 문제와 잠재적 해결책을 더 잘 이해하는 데 도움이 됩니다[28]. 예를 들어,

  • 양적 횡단면 연구와 질적 연구, 행정 데이터베이스를 결합하면 가족 간호에 사례 관리자를 도입하기 위한 모델이나 일차 의료 서비스 평가를 위한 지표를 개발하는 데 도움이 될 수 있습니다[28].
  • 질적 연구와 무작위 대조 시험을 결합하면 프로그램의 작동 방식과 이유를 더 잘 이해하는 데 도움이 될 수 있습니다[28].

Mixed-methods research can optimize the breadth and depth of a study and helps take into account the socio-cultural context and the real-world environment to better understand the problem and potential solutions [28].

  • For example, combining quantitative cross-sectional and qualitative studies and administrative databases might support developing a model for introducing case managers in family care or indicators for evaluation of primary health care [28].
  • Combining a qualitative study with a randomized controlled trial might support better understanding of how and why a program works or not [28].

혼합 방법 연구를 하는 이유는 다음과 같습니다[28,29]:

  • 정량적 결과를 통해 정성적 결과를 강화 또는 구축하거나 그 반대의 경우,
  • 현상에 대한 포괄적 이해 제공(예: 변수 및 관점),
  • 결과 삼각 측량,
  • 다양한 관점 결합,
  • 샘플링 촉진(예: 설문조사를 사용하여 인터뷰 참가자 선정),
  • 도구 개발 및 테스트(예: 포커스 그룹을 사용한 설문지 개발).  

Reasons for mixed-methods research include [28,29]:

  • enhance or build upon qualitative findings with quantitative results and vice versa,
  • provide a comprehensive understanding of a phenomenon (e.g. variables and viewpoints),
  • triangulate results,
  • combine diverse viewpoints,
  • facilitate sampling (e.g. using a survey to select interview participants), and
  • develop and test instruments (e.g. develop a questionnaire using focus groups).

어떻게?
How?

연구자는 처음부터 혼합 방법 설계를 계획하거나 프로젝트 진행 중에 '긴급' 설계를 사용할 수 있습니다[26]. Creswell과 Hirose는 5가지 프로젝트 단계를 설명했습니다[27].

  • 첫째, 혼합 방법 연구가 연구 질문에 답하는 데 가장 적합한 방법론인지 판단하고 그 근거를 제시합니다.
  • 둘째, 정량적 및 정성적 하위 질문과 필요한 데이터를 식별하고 각 데이터베이스에 대해 엄격한 데이터 수집 및 분석 절차를 사용합니다.
  • 셋째, 혼합 방법 설계를 결정하고 명확한 다이어그램을 그립니다.
  • 넷째, 이 시리즈의 이전 간행물[3,4]에서 설명한 대로 정량적 통계 및 질적 서술 결과를 별도의 제목으로 분석하여 보고합니다. 제목에는 설계의 단계와 정량적 구성 요소와 정성적 구성 요소 간의 명확한 연결 고리가 표시되어야 합니다(표 2).
  • 마지막으로, 본문에서 정량적 결과와 정성적 결과를 나란히 논의하거나 정량적 결과, 정성적 결과 및 통합의 영향을 보여주는 표를 사용합니다.

Researchers can plan a mixed-methods design from the start or use an ‘emergent’ design during a project [26]. Creswell and Hirose described five project steps [27].

  • First, determine if mixed-methods research is the best methodology for answering the research questions and provide a rationale.
  • Second, identify the quantitative and qualitative sub-questions and the data needed and use rigorous data collection and analysis procedures for each database.
  • Third, determine the mixed-methods design and draw a clear diagram.
  • Fourth, analyse and report under distinct headings the quantitative statistical and the qualitative narrative results as described in previous publications of this series [3,4]. The headings should show the steps in the design and a clear linkage between the quantitative and qualitative components (Table 2).
  • Last, discuss the quantitative and qualitative results side by side in the text or use a table showing the quantitative results, the qualitative findings and the impact of the integration.

표 2는 가장 일반적인 3가지 혼합 방법 설계를 제시하지만, 연구 질문에 따라 연구자는 주로 '양적 중심' 연구, 동등한 지위/'상호작용' 연구, 주로 '질적 중심' 연구에 이르기까지 다양한 설계 중에서 선택할 수 있습니다[26,30,31]. 표 3은 보고에 대한 권장 사항을 제시합니다[31].
Table 2 presents three most common mixed-methods designs but depending on the research questions, researchers can choose between various designs on a continuum from a predominantly ‘quantitatively driven’ study, via an equal-status/’interactive’ study to a predominantly ‘qualitatively driven’ study [26,30,31]. Table 3 presents recommendations for reporting [31].

종단적 질적 연구와 혼합 방법 연구의 도전과 전략
Challenges and strategies in longitudinal qualitative research and mixed-methods research

종단적 질적 연구와 혼합 방법 연구의 주요 실무적, 방법론적 과제를 언급하고 이러한 과제를 해결하기 위한 전략을 표 4에 제시합니다[14,15]. 이러한 연구 프로젝트의 기간은 다양하지만, 단기 계약 자금으로는 달성하기 어려운 지속적인 자금 지원이 필요할 수 있습니다[32]. 예를 들어, 한 장기 프로젝트는 핵심 기관 자금을 지원받고 기존 연구팀이 추가 프리랜서 작업으로 참여를 지원했습니다[32]. 이러한 프로젝트를 성공적으로 수행하기 위해서는 적절한 시간과 자원을 투자해야 합니다.

We mention the main practical and methodological challenges in longitudinal qualitative and mixed-methods research and provide strategies for addressing these challenges in Table 4 [14,15]. The duration of such research projects will vary but they may demand a continuity of funding, which is difficult to achieve within short term contract funding [32]. For example, a long-term project received core institutional funding and an existing team of researchers supported their involvement with additional freelance work [32]. Investing adequate time and resources is necessary for successfully conducting these projects.

 

Longitudinal qualitative research
  • Balmer D, Richards BF. Longitudinal qualitative research in medical education Perspect Med Educ. 2017;6:306–310.
  • Calman L, Brunton L, Molassiotis A. Developing longitudinal qualitative designs: lessons learned and recommendations for health services research. BMC Med Res Methodol. 2013;13:14.
  • Derrington M. Qualitative research methods: qualitative longitudinal methods. Thousand Oaks (CA): Sage; 2019.
  • Grossoehme D, Lipstein E. Analysing longitudinal qualitative data: the application of trajectory and recurrent cross-sectional approaches. BMC Res Notes. 2016;9(1):1–5.
  • Nevedal A, Ayalon L, Briller S. A qualitative evidence synthesis review of longitudinal qualitative research in gerontology. Gerontologist. 2019;59:e791–e801.
  • Thomson R, McLeod J. New frontiers in qualitative longitudinal research: an agenda for research. J Soc Res Methodol Int. 2015;18:243–250.

Mixed-methods research:
  • Creswell JW, Hirose M. Mixed methods and survey research in family medicine and community health. Fam Med Com Health. 2019;7:e000086. Doi:10.1136/fmch-2018-000086.
  • Creswell JW, Klassen AC, Plano Clark VL, Smith KC for the Office of Behavioural and Social Sciences Research. Best practices for mixed methods research in the health sciences. 2011. National Institutes of Health. https://obssr.od.nih.gov/sites/obssr/files/Best_Practices_for_Mixed_Methods_Research.pdf.
  • Creswell JW, Plano Clark VL. Designing and conducting mixed methods research. 3rd edn. Los Angeles (CA): Sage; 2018.
  • Kaur N, Vedel I, El Sherif R, et al. Practical mixed methods strategies used to integrate qualitative and quantitative methods in community-based primary health care research. Fam Pract. 2019;36:666-671. Doi:10.1093/fampra/cmz010.
  • Mixed Methods Program University of Michigan. http://www.mixedmethods.org..
  • Schoonenboom J, Johnson R. How to construct a mixed methods research design. Köln Z Soziol. 2017;69:107–131.
  • Vedel I, Kaur N, Hong QN, et al. Why and how to use mixed methods in primary health care research. Fam Pract. 2019;36:365–368. Doi:10.1093/fampra/cmy127.

 


 

Eur J Gen Pract. 2022 Dec;28(1):118-124. doi: 10.1080/13814788.2022.2053106.

Series: Practical guidance to qualitative research. Part 6: Longitudinal qualitative and mixed-methods approaches for longitudinal and complex health themes in primary care research

Affiliations collapse

1Faculty of Health Care, Research Centre for Midwifery Science, Zuyd University of Applied Sciences, Maastricht, The Netherlands.

2Faculty of Health Care, Research Centre Autonomy and Participation of Chronically Ill People, Zuyd University of Applied Sciences, Heerlen, The Netherlands.

3Department of Family Medicine, Faculty of Health, Medicine and Life Sciences, Maastricht University, Maastricht, The Netherlands.

PMID: 35593106

PMCID: PMC9132407

DOI: 10.1080/13814788.2022.2053106

Free PMC article

Abstract

This article, the sixth in a series aiming to provide practical guidance for qualitative research in primary care, introduces two approaches for addressing longitudinal and complex health themes in primary care research. The first approach - longitudinal qualitative research - supports the study of change during the life course. The second approach - mixed-methods research - integrates quantitative and qualitative research to gain new insights to address the complex and multifaceted themes in primary care.We discuss the context, what, why, when and how of these approaches and their main practical and methodological challenges. We provide examples of empirical studies using these approaches and sources for further reading.

Keywords: Primary care; longitudinal qualitative research; mixed-methods research.

도전적 시기의 적응적 리더십: 보건의료전문직 교육을 위한 효과적 전략: AMEE Guide No. 148 (Med Teach, 2022)
Adaptive leadership during challenging times: Effective strategies for health professions educators: AMEE Guide No. 148
Judy McKimma,b , Subha Ramanic,d,e , Kirsty Forrestf, Jo Bishopf, Ardi Findyartinig, Chloe Millsh , Mohammed Hassanieni,j, Abdulmonem Al-Hayanik, Paul Jonesl, Vishna Devi Nadarajahm and Greg Radun,o 

 

 

소개
Introduction

보건 전문직(HPE) 교육자는 여러 시스템과 조직에 걸쳐 다수의 학습자와 자격을 갖춘 직원에게 교육을 제공하기 때문에 보건 전문직 교육 리더십은 항상 어려운 과제입니다. 코로나19 팬데믹은 의료 및 보건 전문직 교육 분야의 리더들이 직면한 가장 어려운 상황 중 하나였습니다. 리더들은 '즉석에서' 결정을 내리고 새로운 도전에 적응하는 동시에 자신과 전문 직원, 학자, 학습자, 임상 교사의 안녕을 돌보고 프로그램과 조직의 안정성을 유지해야 했습니다(Nadarajah 외. 2020; Paixão 외. 2020). 팬데믹 기간 동안 리더십에 대해 배운 교훈은 앞으로도 새로운 도전이 계속 발생할 것이므로 의료 교육 리더의 유연성과 적응력이 필요하기 때문에 앞으로 나아가는 데 매우 적합합니다. 
Leadership in health professions education (HPE) is always challenging, as health professions (HP) educators work across multiple systems and organisations to provide training for large numbers of learners and qualified staff. The COVID-19 pandemic has been one of the most challenging situations that leaders in healthcare and health professions education have faced. Leaders have had to make decisions ‘on the fly’ and adapt to new challenges while also attending to the well-being of themselves, their professional staff, academics, learners, clinical teachers, as well as maintaining the stability of programmes and organisations (Nadarajah et al. 2020; Paixão et al. 2020). Lessons learned about leadership during the pandemic are highly relevant as we move forward because new challenges will continue to arise in the future, which will require flexibility and adaptability on the part of healthcare education leaders.

이 가이드에서는 몇 가지 현대적인 리더십 접근 방식과 리더가 이러한 접근 방식에 대한 기술을 개발하는 방법을 소개합니다. 가이드 전반에 걸쳐 전 세계의 실제 사례를 통해 불확실하고 어려운 시기의 리더십에 중점을 두고 다양한 맥락에서 리더십의 측면을 강조합니다.
In this guide, we introduce some contemporary leadership approaches and how a leader might develop skills in these approaches. Throughout the guide, real-life examples are drawn from around the world highlight aspects of leadership in various contexts, with a focus on leadership during uncertain and challenging times.

리더십이란 무엇인가요?
What is leadership?

리더십은 비전과 방향을 설정하고 전달하는 원동력, 에너지 또는 '힘'으로 설명되며, 사람들이 변화를 이루도록 영향력을 행사하고 동기를 부여하는 데 도움을 줍니다(Scouller 2011, Swanwick과 McKimm 2017). 효과적인 리더는 불확실하고 어려운 시기에 필수적인 긍정적인 문화와 분위기를 조성하기 때문에 리더십은 조직의 성공을 위한 핵심 요소입니다. 널리 퍼져 있는 리더십 신화 중 하나는 리더십은 조직 내 지위와 권력을 통해서만 발휘된다는 것입니다. 이는 사실이 아닙니다. 리더십은 프로젝트나 이니셔티브를 이끌거나, 회의에서 안건을 주도하거나, 학생들과의 교실 토론을 주도하는 등 다양한 수준에서 발생할 수 있으며, 실제로 다양한 HP 교육자가 매일 리더십을 발휘하고 있습니다. HP 교육자는 리더와 팔로워로서 개인 내, 대인 관계/팀, 조직 및 시스템 수준에서 어떻게 행동해야 하는지 알고 있어야 합니다.
Leadership is often described as the driving force, energy or ‘power’ that establishes and communicates vision and direction, helping to influence and motivate people towards making a change (Scouller 2011; Swanwick and McKimm 2017). It is a key factor for organisational success, as effective leaders promote a positive culture and climate—a necessity in uncertain and difficult times. One of the pervasive leadership myths is that leadership is solely vested in positional power in an organisation. This is untrue. Leadership can (and does) occur at many levels and is undertaken by a range of HP educators daily, e.g. leading a project or initiative, leading on an item at a meeting, or leading a classroom discussion with students. HP educators need to be aware of how they, as both leaders and followers, operate at the intrapersonal, interpersonal/team, organisational, and system levels.

'리더십 트라이어드'
The ‘leadership triad’

HPE에서는 팀, 서비스, 프로그램, 조직(또는 그 일부인 평가, 레지던트, 연차, 부서장, 연구 활동 등) 내에서 다양한 방식으로 리더십을 발휘할 수 있는 기회가 있습니다. HPE 리더십 활동은 대학이나 학교부터 병원 및 지역사회의 의료 서비스에 이르기까지 다양한 경계를 넘나듭니다. HPE의 '리더십'은 다른 조직 및 부문의 리더십과 많은 유사점을 가지고 있습니다. 리더십은 리더십, 관리, 팔로워십 활동의 역동적인 조합으로 구성되며, '리더십 트라이어드'(McKimm and O'Sullivan 2016)로 알려져 있으며, 학계와 의료 서비스 전반에 걸쳐 개인, 그룹, 조직 간에 그리고 조직 내에서 이루어집니다.
In HPE, people have opportunities to promote leadership in many ways, including within teams, services, programmes, and organisations (or parts of them, such as assessment, residency, year lead, head of the department, or research activities). HPE leadership activities span many boundaries, from universities or schools to health services in hospitals and communities. ‘Leadership’ in HPE has many similarities with leadership in other organisations and sectors. It comprises a dynamic combination of leadership, management, and followership activities, known as the ‘leadership triad’ (McKimm and O'Sullivan 2016), and takes place between and within individuals, groups, and organisations across academia and healthcare services.

전통적 문헌에 반영된 바와 같이 리더십은 조직 내에서 가장 중요한 일련의 활동을 포함하지만, 리더가 효과적이기 위해서는 관리와 팔로워십도 똑같이 중요하다는 점을 강조할 필요가 있습니다(Barrow 외. 2011). 

  • 리더십이 비전을 설정하는 반면, '관리'는 비전을 실천하는 데 도움이 되는 일련의 활동에 필요하며, 문제를 식별하고 해결책을 찾는 프로세스에 대한 관심을 포함합니다(McKimm and Jones 2018). 
  • 관리는 재정, 커리큘럼 또는 인력 등의 안정성을 제공하여 조직이나 프로그램을 불안정하게 만들지 않으면서도 변화가 이루어질 수 있도록 합니다. 
  • 리더를 지지하면서도 리더에게 도전할 수 있는 적극적이고 효과적인 팔로워는 예상되는 변화가 원활하게 이루어질 수 있도록 하는 데 필수적인 요소입니다. 

리더십은 전체 트라이어드 내에서 관계를 구축하고 유지하는 것과 매우 밀접한 관련이 있습니다. HPE 리더는 '리더십 트라이어드'의 세 가지 상호 연결된 위치에 대한 인식과 관련 기술을 결합하여 추종자들을 어려운 여정으로 이끌면서 특정 상황을 인식하는 동시에 강력하고 목적 지향적인 리더십을 제공할 수 있는 가장 좋은 위치에 있을 것입니다. 박스 1에서는 리더십 삼위일체를 실천에 옮긴 예를 제시합니다.
As echoed in the traditional literature, leadership involves the most important set of activities within an organisation; however, it needs to be emphasised that management and followership are equally important for leaders to be effective (Barrow et al. 2011).

  • While leadership sets the vision, ‘management’ is necessary for the set of activities that helps put the vision into practice, involving attention to processes that identify problems and help find solutions (McKimm and Jones 2018).
  • Management provides stability, for example financial, curricular or workforce, so that changes can be made without destabilising the organisation or programme.
  • Active and effective followers, those who support but also may challenge the leader, are an essential part of ensuring that envisaged change happens smoothly.

Leadership is very much about building and maintaining the relationships within the entire triad. An HPE leader will be best placed to provide strong and purposeful leadership if they combine an awareness of, and skills related to, the three interlinked positions in the ‘leadership triad’, taking their followers with them on what might be a difficult journey, while being aware of their specific context. In Box 1, we provide an example of putting the leadership triad into practice.

박스 1 사례 연구: '리더십 삼위일체'를 실천에 옮기다.
Box 1 Case study: Putting the ‘leadership triad’ into practice.


한 교육 리더는 멘토링에 대한 열정에 영감을 받아 7개국에서 온 같은 생각을 가진 멘토들로 구성된 커뮤니티 형성을 주도했습니다. 이 그룹은 스피드 멘토링 워크숍을 제공하고 2019년 유럽 의학교육협회(AMEE) 컨퍼런스에서 일대일 멘토링 이니셔티브에 참여했습니다(Ramani 외. 2021). 코로나19 팬데믹으로 인해 이 그룹은 특정 교육 주제 또는 문제에 초점을 맞춘 가상 멘토링 세션을 제공하여 글로벌 대화를 촉진하고 도전 과제와 성공 사례를 공유하는 것을 목표로 삼았습니다(McKimm 외. 2020; Thampy 외. 2020). 이후 이 그룹은 전 세계 더 많은 지역의 교육 리더를 포함하도록 확장되었으며, 현재 핵심 그룹은 11개국의 회원으로 구성되어 있습니다. 리더가 그룹 결성을 주도했지만, 적극적인 팔로워들은 리더에게 조언하고 브레인스토밍에 참여하며 그룹을 위한 실행 계획을 수립합니다.
An educational leader, inspired by a passion for mentoring, led the formation of a community comprising like-minded mentors from seven countries. The group offered a speed mentoring workshop and participated in a one-on-one mentoring initiative at the 2019 Association for Medical Education in Europe (AMEE) conference (Ramani et al. 2021). The COVID-19 pandemic spurred this group to offer virtual mentoring sessions, each focusing on a specific educational topic or problem, aiming to stimulate global conversations and share challenges and success stories (McKimm et al. 2020; Thampy et al. 2020). The group has since expanded to include educational leaders from more regions of the world; currently, the core group consists of members from 11 countries. Though a leader initiated the formation of the group, active followers advise the leader, participate in brainstorming, and formulate action plans for the group.


이 '국경을 초월한 멘토' 커뮤니티에서는 리더십, 관리, 팔로워십 역할이 프로젝트에 따라 순환되고, 자기 관리 및 관계 관리와 같은 감성 지능 역량이 그룹을 유지하는 데 중요하며, 긍정 심리학 원칙이 그룹이 작업을 계속하고 승리를 축하하도록 동기를 부여하고, 포용적이고 사람 중심의 리더십이 다양한 관점을 가져올 수 있는 여러 글로벌 지역의 회원을 확장하고 포용하도록 촉진하고, 가장 중요한 심리적 안전의 분위기가 회원들이 서로 멘토링하고 배우도록 장려하는 등 여러 가지 핵심 리더십 원칙을 채택하고 있습니다(Mannion et al. 2015; 맥킴과 매니언 2015; 아민 외. 2018; 맥킴 외. 2020). 마지막으로, 특정 이니셔티브의 리더는 구성원들이 관심사와 시간 제약에 따라 이니셔티브를 주도하거나 참여하거나 심지어 물러날 수 있도록 명시적인 메시지를 보냅니다.
Many key leadership principles have been adopted by this ‘mentors across borders’ community: leadership, management, and followership roles are rotated for different projects; emotional intelligence competencies such as self-management and relationship management are critical to maintaining the group; positive psychology principles motivate the group to stay on task and celebrate wins; inclusive and person-centred leadership has stimulated expansion and inclusion of members from different global regions who can bring in different perspectives; and, most importantly, a climate of psychological safety promotes members to mentor and learn from each other (Mannion et al. 2015; McKimm and Mannion 2015; Amin et al. 2018; McKimm et al. 2020). Finally, the leaders of a specific initiative send explicit messages allowing members to lead, participate in, or even step aside based on their interests and time constraints.

 

 

리더를 위한 도전 과제
Challenges for leaders

우리가 리더십을 개념화하는 방식은 주로 어떤 환경에서든 교육이 제공되는 방식에서 의미 있고 지속 가능한 변화와 개선을 촉진하고 가능하게 하는 것입니다(Buchanan 외. 2004). 이는 HPE 리더의 가장 중요한 임무 중 하나입니다. 이는 단순히 변화를 위한 변화를 의미하는 것이 아니라, 교육에 대한 사고의 광범위한 변화를 인식하고, 아이디어를 자신의 상황에 적용하는 데 있어 번역 또는 '센스 메이킹' 역할을 수행하며, 학습자와 교수진의 어려움과 과제를 적극적으로 파악하고 이에 대한 해결책을 찾는 것을 의미합니다. '평상시'에도 HPE 리더와 교육자는 정기적이고 일상적으로 다양한 문제를 처리해야 합니다(표 1 참조).

The way we conceptualise leadership is primarily about facilitating and enabling meaningful and sustainable change and improvement in the way education is provided in whatever setting (Buchanan et al. 2004). This is one of the most important tasks of the HPE leader. This does not mean making changes simply for the sake of it but is about being aware of the broader shifts in thinking about education, taking a translational or ‘sense-making’ role in bringing ideas to your own context, being proactive in identifying struggles and challenges for learners and faculty and finding solutions to these. Even in ‘normal’ times, HPE leaders and educators must deal with a range of issues on a regular and routine basis (see Table 1).

어려운 시기의 리더십 접근 방식
Leadership approaches in challenging times

코로나19 팬데믹 기간 동안 변화는 내부에서 촉진된 것이 아니라 외부에서 강요된 것이었습니다. 전 세계의 HPE 리더, 학습자, 직원은 이러한 변화의 동인을 통제할 수 없었으며 대신 전례 없는 도전, 큰 불확실성, 위기를 관리하는 방법을 적응하고 배워야 했습니다(Nadarajah 외. 2020). 이를 위해서는 다양한 리더십 접근 방식이 필요했습니다(Kotter 2007; Kanter 2020). 표 2에는 리더십이 작동하는 네 가지 수준, 어려운 시기에 도움이 되는 접근 방식, 그리고 이러한 접근 방식을 돕기 위해 리더가 개발할 수 있는 기술이 나열되어 있습니다. 
During the COVID-19 pandemic, change was not stimulated from within but instead imposed from outside. HPE leaders, learners, and staff around the world had no control over these change drivers but instead had to adapt and learn how to manage unprecedented challenges, great uncertainty, and crises (Nadarajah et al. 2020). This required different leadership approaches (Kotter 2007; Kanter 2020). Table 2 lists the four levels in which leadership operates, approaches that are helpful during challenging times, and the skills that leaders can develop to help with these approaches.

이제 각 수준에 따른 구체적인 리더십 접근 방식을 뒷받침하는 몇 가지 이론적 원칙에 대해 논의하겠습니다. 다음 섹션에서는 이러한 원칙을 실무에 적용하는 방법과 필요한 기술을 개발하는 방법에 대한 예를 다룹니다.
We will now discuss some theoretical principles underpinning specific leadership approaches under each of the levels we operate in. The following section addresses the application of these principles to practice with examples of how to build the skills required.

개인 내적 수준(자아): 정서적 및 사회적 지능 개발하기
The intrapersonal level (self): developing emotional and social intelligence

연구에 따르면 직업이나 위치에 관계없이 가장 성공적인 리더는 높은 수준의 감성 지능을 가지고 있는 것으로 나타났습니다(Boyatzis 2008). 성공적인 리더십의 지표로서 감성 지능(EI)은 1990년대에 다니엘 골먼에 의해 처음 논의되었습니다. 그는 인성, 비전, 결단력, 지능과 같은 기술만으로는 성공적인 리더가 될 수 없으며 자기 인식, 자기 조절, 동기 부여, 공감, 사회적 기술도 그에 못지않게 중요하다는 결론을 내렸습니다(Goleman 1998). 보야치스와 골먼은 함께 가장 성공적인 리더들의 핵심 속성을 분석하기 시작했습니다. 정서적 및 사회적 지능의 12가지 역량은 네 가지 영역으로 설명되었습니다(Boyatzis 2009). 네 가지 영역은 자기 인식, 자기 관리, 사회적 인식, 관계 관리입니다. 리더가 이끄는 사람들의 그룹을 관리하기 위해서는 네 가지 영역의 EI 역량이 모두 필수적입니다(상자 2 참조). 
Research indicates that the most successful leaders, regardless of profession or location, have a high degree of emotional intelligence (Boyatzis 2008). Emotional intelligence (EI) as a marker of successful leadership was first discussed by Daniel Goleman in the 1990s. He concluded that skills such as toughness, vision, determination, and intelligence were not enough to be a successful leader and that the skills of self-awareness, self-regulation, motivation, empathy, and social skills were equally, if not more, important (Goleman 1998). Together, Boyatzis and Goleman went on to analyse the core attributes among the most successful leaders. Twelve competencies of emotional and social intelligence were described under four domains (Boyatzis 2009). The four domains are: self-awareness, self-management, social awareness, and relationship management. All four domains of EI competencies are essential for leaders to manage the groups of people they lead (see Box 2).

박스 2 네 가지 EI 영역의 영향력.
Box 2 The impact of the four EI domains.

1. 자기 인식을 통해 리더는 자신의 가정과 편견, 그리고 이것이 세계관에 어떤 영향을 미치는지 인식할 수 있습니다.


2. 자기 관리 행동에 앞서 생각하고, (부정적인 감정을 다스리는 데 필수적인) 자신의 감정과 반응을 관리할 수 있는 능력을 촉진합니다.


3. 사회적 인식은 리더가 팀을 구성하는 개인을 이해하고 관점과 성격의 차이를 인식할 수 있게 해줍니다.


4. 관계 관리 다양한 관점을 수용하고 인재를 육성하며 개인, 팀, 조직의 잠재력과 생산성을 극대화하는 데 필수적입니다. 멘토링과 코칭 기술은 이 영역에 속합니다.


  1. Self-awareness allows leaders to recognise their assumptions and biases, and how these affect their worldview.
  2. Self-management promotes thought before action and the ability to manage own emotions and reactions, essential for reigning in negative emotion.
  3. Social awareness allows leaders to understand the individuals who make up their team and recognise differences in viewpoints and personalities.
  4. Relationship management is essential to welcome a variety of perspectives, nurture talent, and maximise the potential and productivity of individuals, teams, and the organisation. Mentoring and coaching skills fall under this domain

EI 역량은 리더가 변화를 주도하고 관리하는 데 유용한 가이드입니다. 그러나 리더가 속한 조직과 사회 문화에 따라 가장 효과적인 특정 행동은 달라질 수 있습니다. 리더, 직원, 학습자의 구성이 다양성을 특징으로 하는 교육기관은 팀원 개개인이 공통의 목표를 향해 일할 때에도 서로 다른 신체 언어와 감정적 반응을 보일 수 있다는 점을 인식해야 합니다.
EI competencies are a useful guide to leaders in leading and managing change. However, the specific behaviours that are most effective depending on the organisational and societal culture within which the leader is situated. Institutions that feature diversity in the composition of their leaders, staff, and learners should recognise that individuals on a team might have different body language and emotional reactions even when working towards a common goal.

대인관계 수준(다른 사람과 함께 일하기): 진정성 있고 포용적이며 원초적인 리더십
The interpersonal level (working with others): authentic, inclusive, and primal leadership

항상 그렇지만 특히 변화무쌍하고 불확실한 시기에는 사람들이 리더에게 원하는 것은 진정성 있는 목소리입니다. 팔로워들은 리더가 자신의 이야기를 경청하고, 자신의 우려를 진지하게 받아들이고 있으며, 변화를 주도하고 관리할 수 있는 전문성과 권한을 가지고 있다고 느끼기를 원합니다. 리더는 팔로워가 리더를 어떻게 보고, 관계를 맺고, 신뢰하는지에 따라 만들어지고 유지됩니다(Uhl-Bien 및 Carsten 2018). 팔로워는 리더가 자신을 안전하게 지켜줄 수 있고 함께 '그 안에' 있다고 느끼면 매우 위험한 상황(예: 전쟁)에도 리더를 따를 것입니다(Sinek 2014).
At all times, but especially in changing and uncertain times, what people want from their leaders is an authentic voice. Followers want to feel that their leaders are listening, taking their concerns seriously and that they have the expertise and authority to lead and manage change. Leaders are created and maintained by how their followers see, relate to, and trust them (Uhl-Bien and Carsten 2018). Followers will follow their leaders into highly unsafe situations (such as war) if they feel their leaders can keep them safe and that they are ‘in it’ together (Sinek 2014).

불확실한 시대에 필요한 리더십에 대한 적절한 접근법으로 원초적이고 진정성 있는 리더십이 주목받고 있습니다. '원초적 리더십'이라는 용어는 리더의 영향력(정서적 수준)과 그에 따른 행동이 조직 내 다른 모든 사람의 참여, 동기 부여 및 행동에 강력한 영향을 미친다는 것을 나타내기 위해 만들어졌습니다. '리더의 기분은 말 그대로 전염성이 있으며 비즈니스 전체에 빠르고 끝없이 퍼집니다'(Goleman 외. 2001, 44쪽). 
Primal and authentic leadership have come to the fore as relevant approaches to leadership required for uncertain times. The term ‘primal leadership’ was coined to indicate that the affect (emotional level) of a leader and resulting behaviours have a powerful effect on engagement, motivation, and behaviours of everyone else within their organisation: ‘the leader’s mood is literally contagious, spreading quickly and inexorably throughout the business; (Goleman et al. 2001, p. 44).

진정성 있는 리더십은 리더가 자신의 강점을 활용하고 자신의 약점과 편견을 인식하는 데 중점을 둡니다(Avolio and Gardner 2005, Sosik 외. 2009, Cardiff 외. 2018, Hollander 2012). 진정한 리더는 문제에 대한 다양한 관점을 적극적으로 모색하고 주변 사람들의 의견을 소중히 여기고 경청하는 모습을 보여줍니다. 또한 리더는 지적 겸손, 실수 인정, 비판과 다른 관점으로부터의 학습, 한계를 극복하기 위한 다른 사람의 기여를 인정하고 구하는 특성을 보여야 합니다. 이러한 리더십 스타일은 EI 역량과 밀접한 관련이 있지만, 리더의 관점이 팀원들의 기분, 행동, 업무 완수, 결과적으로 팀원들의 직업적 성취감과 웰빙에 어떤 영향을 미치는지에 초점을 맞추고 있습니다. 긍정적인 전망은 이 접근 방식의 핵심 요소이지만, 진정성 또한 필요합니다. 
Authentic leadership is very much focused on the leader drawing from their own strengths and being aware of their own weaknesses and biases (Avolio and Gardner 2005; Sosik et al. 2009; Cardiff et al. 2018; Hollander 2012). Authentic leaders proactively seek a range of perspectives on issues and demonstrate that they value and listen to those around them. Leaders also need to demonstrate traits of intellectual humility, admitting mistakes, learning from criticism and different points of view, and acknowledging and seeking contributions from others to overcome limitations. Though this leadership style is closely related to EI competencies, the focus is on how a leader’s outlook impacts their team members’ moods, behaviours, task completion, and consequently their sense of professional fulfilment and well-being. While a positive outlook is a key component of this approach, it is also necessary to be authentic.

복잡한 조직 또는 시스템 수준: 적응적 리더십
The complex organisational or system level: Adaptive leadership

복잡계 사고 접근법은 시스템 내 모든 주체들의 상호의존성과 상호관계를 명백히 인정하고, '단순한' 규칙이나 변화가 큰 효과를 가져올 수 있으며, 시스템의 한 부분의 변화가 시스템 전체에 예기치 않은 결과를 초래할 수 있다는 렌즈를 제공합니다(Till 외. 2016; Obolensky 2017).
A complex system thinking approach provides a lens that overtly acknowledges the interdependency and interrelationships of all agents within the system, that ‘simple’ rules or changes can lead to large effects, and that a change in one part of the system can have unanticipated consequences throughout the system (Till et al. 2016; Obolensky 2017).

우리는 VUCA(변동성, 불확실성, 복잡성, 모호성, Worley and Jules 2020) 및 RUPT(급변성, 불확실성, 역설성, 얽힘, Till et al. 2016)의 세계에 살고 있으므로 변화하고 복잡한 상황에 적응할 수 있을 만큼 유연하고 민첩한 리더십이 요구되는 것입니다. 적응적 리더십(Heifetz 외. 2009; Randall and Coakley 2007)은 특히 복잡한 시스템이나 상황에서의 리더십에 초점을 맞추며, 변화, 불확실성, 위기에 대응하는 방법을 생각할 때 유용합니다. 이 접근법은 복잡하고 급변하는 환경에 대한 적응의 중요성을 강조하고 합의된 목표를 달성할 수 있는 조직적 여건을 조성합니다(Hodges and Gill 2014). 적응적 문제는 일반적으로 모호하고 복잡하며 '사악한' 문제입니다. 적응적 리더십 접근법의 창시자인 Ronald Heifetz와 Marty Linsky는 효과적인 적응적 리더십의 네 가지 기본 원칙을 다음과 같이 정의했습니다: 
We live in a VUCA (Volatile, Uncertain, Complex, Ambiguous; Worley and Jules 2020) and RUPT (Rapid, Uncertain, Paradoxical, Tangled; Till et al. 2016) world; therefore, the HPE leadership needed is one that is flexible and agile enough to adapt to changing and complex circumstances. Adaptive leadership (Heifetz et al. 2009; Randall and Coakley 2007) is specifically focused on leadership in complex systems or situations and is helpful when thinking about how to respond to change, uncertainty, and crisis. This approach emphasises the importance of adaptation to a complex and rapidly changing environment and creates the organisational conditions to achieve agreed goals (Hodges and Gill 2014). Adaptive problems are usually vague, complex, and ‘wicked’. The creators of the adaptive leadership approach, Ronald Heifetz and Marty Linsky, defined four foundational principles of effective adaptive leadership, which are: 

  1. 조직의 정의: 적응형 리더는 조직의 모든 구성원의 의견을 들을 수 있는 환경을 조성합니다. 조직의 의견은 적응형 리더십에 필수적입니다.
    Organisational justice: Adaptive leaders create an environment in which every member of the organisation can be heard. Organisational input is integral to adaptive leadership.
  2. 감성 지능: 적응형 리더십은 관계를 중시합니다.
    Emotional intelligence: Adaptive leadership values relationships.
  3. 개발: 적응형 리더는 조직 변화의 과정을 통해 동료와 직원이 배우고 성장할 수 있도록 지원합니다.
    Development: Adaptive leaders empower their colleagues and employees to learn and grow through the process of organisational change
  4. 인성: 적응형 리더는 윤리적 책임감과 도덕성을 보여줍니다. 이들은 커뮤니케이션 스타일이 투명하며 팀원들에게 동일한 기준을 적용합니다.
    Character: Adaptive leaders demonstrate ethical responsibility and morality. They are transparent in their communication style and hold themselves to the same standards to which they hold their team.

진정한 리더십과 마찬가지로 이러한 차원은 EI 역량과 많은 유사점이 있습니다. 적응형 리더십에서 가장 유용한 개념 중 하나는 '소중한 것'과 '소모적인 것'을 구분하는 능력입니다(Heifetz 외. 2009). '소중한 것'은 조직에 매우 중요한 것으로, 교육에서는 학습자 자신, 교수진, 교육 제공의 질, 조직의 핵심 가치 등이 포함되며, 위기와 변화에 대응할 때 이들에 대한 초점을 잃지 않아야 합니다. 적응형 리더는 무엇이 소중한지 인식하고 이를 보호하고 육성할 수 있도록 합니다.
Like authentic leadership, these dimensions have many parallels with EI competencies. One of the most useful concepts in adaptive leadership is the ability to diagnose the ‘precious’ from the ‘expendable’ (Heifetz et al. 2009). The ‘precious’ is what is vitally important to the organisation; in education, this includes the learners themselves, the faculty, the quality of educational provision, and the core values of the organisation; you do not want to lose the focus on these as you respond to crisis and change. Adaptive leaders recognise what is precious and make sure that this is looked after and nurtured.

글로벌 생태계 수준: 메타, 에코, 재생 리더십
The global eco-system level: Meta, eco, and regenerative leadership

메타 리더십
Meta-leadership

메타 리더십은 뉴욕 9/11 테러와 뉴올리언스 허리케인 카트리나 대응과 같은 위기 상황에서 리더를 관찰하고 분석하여 최근의 가장 큰 도전 과제 중 일부에서 탄생했습니다. 최근의 팬데믹 역시 의료계와 의료 교육에 있어서는 위기 상황입니다. 메타 리더십은 변혁적 리더십, 공유 리더십, 팔로워십, 복합적 적응 리더십 등 다양한 리더십 이론을 활용하고 통합합니다(Marcus 외. 2015). 메타 리더십은 조직 내 및 조직 간 환경에서 [서로 다른 이해관계자 간의 연결성을 창출하는 경계를 아우르는 리더십]에 중점을 둡니다. 이러한 방식으로 이러한 '메타 리더'는 다른 사람에게 영향을 미치고 자신의 통제 범위를 넘어 변화를 활성화하는 데 관심을 갖습니다. Marcus 등(2008)은 메타리더가 자신에게 요구되는 것보다 더 넓은 목적에 의해 움직이며, 따라서 조직의 장벽을 '초월'할 수 있다고 설명합니다. 이들은 메타 리더십의 차원을 다음과 같이 설명합니다:
Born out of some of the biggest recent challenges, meta-leadership was described through observation and analysis of leaders in crisis circumstances such as the September 11 attacks in New York and the response to Hurricane Katrina in New Orleans. The recent pandemic is also such a crisis for healthcare and for healthcare education. Meta-leadership draws upon and integrates a wide range of leadership theories including transformational leadership, shared leadership, followership, and complex adaptive leadership (Marcus et al. 2015). Meta-leadership is focused on boundary-spanning leadership that generates connectivity among disparate stakeholders in both intra- and inter-organisational settings. In this way, these ‘meta-leaders’ are concerned with influencing others and activating change beyond the established lines of their own control. Marcus et al. (2008) describe that they are driven by a wider purpose than what has been asked of them and can thus ‘transcend’ organisational barriers. They describe the dimensions of meta-leadership as follows:

메타 리더십의 차원
The Dimensions of Meta-Leadership

  1. 사람(자기 지식, 인식, 규제): 메타리더는 높은 자기 인식, 자기 인식, 자기 규제를 발달시킵니다.
    The person (self-knowledge, awareness, and regulation): Meta-leaders develop high self-awareness, self-knowledge, and self-regulation.
  2. 상황(리더십의 맥락 파악): 메타리더는 종종 불완전한 정보를 가지고 상황을 매핑하여 무슨 일이 일어나고 있는지, 이해관계자는 누구인지, 다음에 일어날 가능성이 있는 일은 무엇인지, 중요한 선택 포인트와 행동 옵션은 무엇인지 파악합니다.
    The situation (discerning the context for leadership): With often incomplete information, the meta-leader maps the situation to determine what is happening, who are the stakeholders, what is likely to happen next, and what are the critical choice points and options for action.
  3. 연결(긍정적이고 생산적인 관계 육성): 메타 리더는 앞으로 나아갈 방향을 제시하고, 결정을 내리고, 그 결정을 실행하며, 폭넓은 참여와 지원을 이끌어내기 위해 효과적으로 소통합니다.
    The connection (fostering positive, productive relationships): The meta-leader charts a course forward, making decisions, operationalising those decisions, and communicating effectively to recruit wide engagement and support.

의료 및 교육 분야에서 우리의 행동과 행동을 이끄는 기본 가치는 타인(종종 취약한 사람들과 커뮤니티)의 개발과 보살핌에 대한 책임이 있기 때문에 기본이 됩니다. 환경윤리 및 재생 리더십 접근법은 리더가 이러한 핵심 가치를 파악하고 이를 실제로 구현하는 방법을 파악하는 데 도움이 됩니다.
In healthcare and education, the underpinning values that drive our behaviours and actions are fundamental as we are responsible for the development and care of other, often vulnerable people and communities. Eco-ethical and regenerative leadership approaches help leaders to identify these core values and how to implement them in practice.

환경 윤리적 리더십
Eco-ethical leadership

맥킴과 맥린(2020)은 지속 가능한 보건 전문직 교육과 관행의 필요성에 대한 리더의 생각을 집중시키는 '환경 윤리적' 리더십 접근법의 사례를 제시합니다. 환경윤리적 리더십은 지속 가능성, 가치, 협력, 정의, 옹호, 그리고 필요한 경우 행동주의를 중심으로 하는 통합적 접근 방식입니다. 상자 3에는 '환경 윤리적' 리더십의 주요 특징이 나와 있습니다.
McKimm and McLean (2020) make the case for an ‘eco-ethical’ leadership approach that focuses leaders’ minds on the need for sustainable health professions education and practices. Eco-ethical leadership is an integrated approach centred around sustainability, values, collaboration, justice, advocacy and, when required, activism. Box 3 lists key features of ‘eco-ethical’ leadership.

상자 3 보건 전문직 교육을 위한 '환경 윤리적' 리더십 접근법의 주요 특징.
Box 3 
Key features of an ‘eco-ethical’ leadership approach for health professions education.


환경 윤리적 리더
는 다음과 같은 가치와 신념을 보유하고, 일상적인 행동과 행동을 통해 보여주고, 표현합니다:

Eco-ethical leaders hold, display (through day-to-day behaviours and actions), and articulate the following values and beliefs:

  • 지구와 자원의 청지기적 책임에 대한 도덕적 의무를 가지고 행동합니다.
  • 자신의 행동에 책임을 지고, 옹호나 행동주의가 필요한 시기를 인식합니다.
  • 개인적으로나 업무적으로 환경적으로 지속 가능한 실천의 롤 모델링.
  • 환경, 조직, 지역사회의 지속 가능성 및 재생에 대한 헌신을 보여줍니다.
  • 인지적 복잡성을 연습하고 역동적인 시스템 관점에서 세상을 바라봅니다.
  • 경청, 신뢰, 네트워킹, 정보 및 권한 공유, 소통, 분야와 직종 간, 직종 내 협업을 통해 의미 있는 변화를 이끌어낼 수 있는 가장 강력한 방법은 집단 지성이라고 믿습니다.
  • 포용성과 사회 및 생태적 정의를 구현하는 사회 문화적, 생태적 가치를 보여줍니다.
  • 변화에 대한 진정성 있고, 사람 중심적이며, 공감하고, 자비로운 접근 방식을 취하고, 변화를 만드는 것은 어렵고, 사람들은 서로를 지지하고 작은 변화처럼 보일 수 있는 것을 축하해야 한다는 것을 인식합니다.
  • A moral duty to act in terms of taking responsibility for stewardship of the planet and its resources.
  • Being accountable for their actions, recognising when advocacy or activism is needed.
  • Role modelling environmentally sustainable practice, both personally and professionally.
  • Demonstrating commitment to environmental, organisational, and community sustainability and regeneration.
  • Practising cognitive complexity and seeing the world from a dynamic systems perspective.
  • Believing that collective intelligence is the most powerful way to engender meaningful change though listening, trust, networking, sharing information and power, communicating, and working collaboratively across and within disciplines and professions.
  • Demonstrating socio-cultural and ecological values that embody inclusivity and social and ecological justice.
  • Taking an authentic, person-centred, empathic, and compassionate approach to change, recognising that making changes is difficult, and that people need to support one another and celebrate what might seem to be small changes.

재생적 리더십
Regenerative leadership

팬데믹에 대한 HPE의 대응과 관련된 또 다른 접근 방식은 '재생적' 리더십입니다(Hutchins and Storm 2019). 재생적 리더십은 우리가 살고 있는 취약한 생태계에 대한 인간의 노력이 미치는 영향을 인정하고 줄이는 방식으로 조직과 조직 내 사람들을 육성하는 데 도움을 줄 의무를 리더에게 부여합니다. 지속 가능한 미래는 우리가 항상 해왔던 방식으로 일을 계속하는 것이 아니라 적극적으로 재생을 추구하는 것에 의존하는 미래로 상상됩니다. 이는 웰빙, 협업, 공동 창의성을 강조하고 모든 사람의 기여를 소중히 여김으로써 달성할 수 있습니다.
Another approach relevant to HPE and its response to the pandemic is that of ‘regenerative’ leadership (Hutchins and Storm 2019). Regenerative leadership places a duty on the leader to help nurture organisations and the people within them, in such a way that acknowledges and reduces the impact of human endeavour on the fragile eco-systems in which we live. A sustainable future is envisaged as one that relies on actively pursuing regeneration, rather than continuing to do things the way we always have. This is achieved through an emphasis on wellbeing, collaboration, co-creativity, and valuing everyone’s contribution.

리더십 실천을 개선하려면 어떻게 해야 하나요?
How can I improve my leadership practice?

이론적 접근법을 실제로 적용하기 위한 전략도 희망하는 리더가 탐구해야 합니다. 때때로 압도적으로 느껴질 수 있는 일련의 문제와 변화에 대처하기 위한 개인 전략을 개발하는 것은 모든 리더에게 필수적이며, 이러한 전략이 없으면 사기와 인내심이 떨어지고 심지어 스트레스와 탈진으로 이어질 수 있습니다. 이 섹션에서는 근성, 신뢰, 논리, 공감, 취약성, 편견에 대한 인식, 적응력 향상, 글로벌 사고 등 리더가 집중할 수 있는 영역에 대해 소개합니다. 모든 수준의 상호작용은 리더의 행동이나 대응 방식에 영향을 받기 때문에 이 섹션에서는 네 가지 수준(표 2)의 맥락에서 함께 고려합니다. 
Strategies for applying theoretical approaches in practice must also be explored by the hopeful leader. Developing personal strategies to deal with what can sometimes feel an overwhelming series of issues and changes is essential for any leader; without these, morale and patience can dip, even leading to stress and burnout. In this section, we present the following area's leaders can focus on: grit, trust, logic, empathy, vulnerability, awareness of bias, becoming more adaptive, and thinking globally. These are considered in the context of the four levels (Table 2) together in this section, as interactions at any level will be influenced by the way you behave or respond.

그릿
Grit

리더는 종종 자신의 능력을 벗어났다고 느낄 수 있지만, 회복탄력성과 '그릿'(Duckworth와 Duckworth 2016)을 바탕으로 한 걸음 더 나아가 자신이 책임지고 있는 사람들에게 효과적인 리더십을 제공해야 합니다. 그릿은 열정과 끈기라는 두 가지 핵심 자질의 조합으로 정의됩니다.

  • 열정개인이 목표의 우선순위를 정할 수 있게 해주고,
  • 끈기도전에 직면했을 때 끈질기게 목표를 추구하도록 촉진합니다(Duckworth 외. 2007; Duckworth와 Gross 2014).

어려운 상황과 좌절 속에서 그릿을 발휘하는 리더는 영감을 주는 롤모델이 되고, 팀원들에게 동기를 부여하며, 결과적으로 팀원들의 그릿을 더욱 향상시킵니다. 내부 동기를 부여하고 그릿을 향상시키기 위한 리더십 전략에는 암묵적인 역할 모델링, 성공 사례와 고난에 대한 명시적인 공유, 열정과 비전을 투명하게 전달하는 것 등이 포함됩니다(Ribeiro 외. 2020).
While leaders may often feel out of their depth, they must draw upon their resilience and ‘grit’ (Duckworth and Duckworth 2016), step up and provide effective leadership to the people they are responsible for. Grit is defined as the combination of two key qualities: passion and persistence.

  • Passion allows individuals to prioritise goals, and
  • persistence promotes the tenacious pursuit of goals in the face of challenges (Duckworth et al. 2007; Duckworth and Gross 2014).

Leaders who demonstrate grit during challenging circumstances and setbacks serve as inspiring role models, motivate their team members, and in turn enhance their grit even further. Leadership strategies to drive internal motivation and enhance grit can include implicit role modelling, explicit sharing of stories of successes and their struggles, and transparency in communicating their passion and vision (Ribeiro et al. 2020).

상자 4의 예는 리더십 신뢰도가 오랜 세월에 걸쳐 구축되는 경우가 많으며 그릿이 필요하다는 것을 보여줍니다. 리더의 비전에서 시작하여 비전을 실행하고(그 과정에서 조직의 정책과 절차를 탐색하는 방법을 배우며) 실무의 변화를 이끌어내는 단계로 나아갑니다.
The example in Box 4 illustrates how leadership credibility is often built over many years and requires grit. It starts with the leader’s vision, moves on to implementing the vision, (in the meantime, learning how to navigate organisational policies and procedures), and results in practice change.

박스 4 사례 연구: 비전에서 실천의 변화로.
Box 4 Case study: From vision to changing practice.



'평가가 학습을 이끈다'는 조지 밀러(George E. Miller)의 고전적인 명제는 많은 의과대학과 의학교육자들이 소속 기관의 평가 품질을 개선하도록 영감을 주었습니다(Wood 2009). 또한 이 사례 연구의 저자가 10년 이상 성공적인 평가 여정을 시작하도록 영감을 주었습니다. 그 여정은 2009년에 인도 루디아나에 있는 크리스천 의과대학의 지역 FAIMER 연구소에 커리큘럼 프로젝트를 제출하는 것으로 시작되었습니다(CMCL-FAIMER). 이 프로젝트는 사우디아라비아 킹 압둘아지즈 대학교(KAU) 의과대학의 학생 평가 프로세스를 표준화하고 품질을 개선하는 것을 목표로 했습니다. 프로젝트가 성공적으로 수행된 후, 그 성과를 문서화하여 널리 전파하여 혜택을 극대화하고 공유했습니다. 이러한 학술적 작업은 평가의 전체 과정을 문서화하기 위한 시험 워크시트 개발, KAU에서 평가에 관한 수십 개의 교육 과정 실시, 평가에 관한 교육용 YouTube 동영상 제작, 국내외 회의 및 컨퍼런스에서 프로젝트 발표, 학생 평가 표준화를 위한 6단계 발표 등 다양한 형태로 이루어졌습니다(Hassanien 및 Abou-Kamer 2018).
‘Assessment drives learning’, the classic statement of George E. Miller, has inspired many medical schools and medical educators to improve the quality of assessment at their institution (Wood 2009). It also inspired the writer of this case study to embark on a successful journey in assessment for more than ten years. The journey started in the year 2009 by submitting a curricular project to the regional FAIMER institute in Christian Medical College in Ludhiana in India (CMCL-FAIMER). The project aimed at standardising and improving the quality of the process of student assessment in the Faculty of Medicine at King Abdulaziz University (KAU), in Saudi Arabia. After successful implementation of the project, the achievement was written up and disseminated widely to maximize and share the benefits. These scholarly works took different forms which included: developing an exam worksheet to document the whole process of assessment, conducting tens of training courses on assessment in KAU, creating educational YouTube videos on assessment (Hassanien and Abou-Kamer 2018) presenting the project in national and international meetings and conferences, and publishing six steps for standardising student assessment (Hassanien 2018).


변화를 지속하기 위한 가장 중요한 단계는 KAU 시험 및 학생 평가 정책을 개발하고 학부에 평가 부서를 설립하여 프로세스를 제도화하는 것이었습니다. 2019년 약학부는 전체 평가 프로세스를 감독하고 학생 평가에 대한 대내외 검증을 보장하기 위해 평가 부서를 설립하는 데 앞장섰습니다. 변화와 개선은 결과를 얻기까지 수년이 걸릴 수 있지만, 비전을 전달하고 끈기를 가지고 가능한 모든 기회를 활용하면 지속 가능하고 효과적인 노력을 할 수 있습니다. 변화의 지속 가능성을 위한 가장 중요하고 중요한 단계는 변화가 단순히 한시적인 '프로젝트'가 아니라 교육기관의 문화에 내재화되어 업무 수행 방식이 되도록 하는 것입니다.
The most important step to sustain the change was done by institutionalising the process through developing the KAU examination and student assessment policy and establishing assessment units in faculties. In 2019, The Faculty of Pharmacy took the initiative to establish its assessment unit to oversee the entire assessment process and to ensure the internal and external verification of student assessment. Change and improvement may take years to give results, but communicating the vision, persistence, and utilising all possible opportunities will make efforts sustainable and effective. The most important and crucial step for change sustainability is to ensure it is embedded in the culture of the institution, so it becomes the accepted way of doing things and not merely a time-limited ‘project’.

 

신뢰
Trust

Frei와 Morriss(2020)는 신뢰에는 논리, 공감, 진정성이라는 세 가지 동인이 있으며, 이 세 가지가 함께 신뢰의 삼각형을 이룬다고 설명합니다. 모든 리더는 특히 위기 상황에서 흔들리는 동인(삼각형의 한 점)을 하나 이상 가지고 있으며, 이 중 하나가 너무 약하면 신뢰가 떨어집니다(그림 1).
Frei and Morriss (2020) describe trust as having three drivers: logic, empathy, and authenticity, which together make up a triangle of trust. All leaders will have at least one driver (one point of the triangle) they falter on, especially in a crisis, and when one of these is too weak, trust falls (Figure 1).

논리 Logic

리더는 자신의 전문성을 보여주되 이기적이지 않아야 하며, 해당 산업에 대해 잘 알아야 합니다. 이는 다른 팀원들에게 신뢰감을 주는 것이 핵심입니다. 좋은 질문을 던지고, 통찰력 있는 제안을 하고, 핵심 가치를 반영한 결정을 내리는 리더를 직장 내 예로 들 수 있습니다. 또한 커뮤니케이션에 대한 일관성과 명확성이 요구됩니다.
Leaders need to show their expertise, but not be egotistical, and know their industry. This is all about being credible to other members of the team. Workplace examples include leaders asking good questions, offering insightful suggestions and decisions reflecting their core values. Consistency and clarity around communication are also expected.

공감 Empathy

사람들은 배려하는 것으로 인식되고 연민과 연결을 보여주고 공유하는 리더를 신뢰하는 경향이 있습니다. 이는 다른 사람이 말할 때 휴대전화를 보지 않거나 회의에서 다른 사람의 말을 경청하는 것만큼이나 간단할 수 있습니다. '정서적 자본'이라는 개념은 부르디외의 사회적 실천 이론(부르디외 1986)에서 등장했습니다. 연구에 따르면 정서적 자본이 높은 기관의 업무 성과가 더 높은 것으로 나타났습니다. 이러한 자본은 거창한 감동적인 강연이 아니라 인정받기, 미소 짓기, 잡담 나누기, 감사하기 등 긍정적인 미시적 행동에 의해 구축됩니다. 연구에 따르면 정서적 자본을 구축하면 직장에서의 좌절로 인한 부정적인 영향을 완충할 수 있다고 합니다. Frei의 연구에 따르면 이 지점은 가장 큰 '흔들림'이 있는 지점, 즉 리더가 가장 많이 실수하는 지점이라고 설명합니다.
People tend to trust leaders who are perceived as caring and who show and share compassion and connection; this can be as simple as not looking at your phone or watching in meetings when others are speaking. The concept of ‘emotional capital’ emerged from Bourdieu’s theory of social practice (Bourdieu 1986). Studies have shown that institutions, where emotional capital is high, have an increase in work performance. This capital is not built on grandiose displays of inspiring talks but by positive micro-behaviors: being acknowledged, smiled at, engaging in small talk, or being thanked. Research shows that building emotional capital can also buffer the negative effects of setbacks at work. Frei’s work describes this point as the one with the biggest ‘wobbles’, i.e. the one that leaders get wrong the most.

진정성 Authenticity

사람들은 리더가 실제 나와 상호작용하고 있다고 믿을 때 리더를 신뢰하는 경향이 있습니다. 누군가가 진정성 있는 사람인지 아닌지는 직감으로 알 수 있는 경우가 많지만, 일관성, 자신의 가치관에 따라 행동, 책임감, 불필요한 동료의 압력에 굴복하지 않는 것과 같은 특징이 있습니다. 그러나 가장 강력한 특성은 자신의 지저분한 부분을 보여주는 것, 즉 취약성을 드러내고 포용하는 것입니다.
People tend to trust leaders when they believe they are interacting with the real you. Knowing whether someone is being authentic is often a gut feeling, but there are characteristics such as being consistent, acting according to one’s own values, taking responsibility, and not giving in to needless peer pressure. However, the most powerful characteristic is showing the messy parts of yourself, i.e. showing and embracing vulnerability.

취약성
Vulnerability

다니엘 코일은 성공적인 팀이나 조직이 강조해야 할 세 가지 기술, 즉 모두를 위한 안전한 환경, 취약성 공유, 공동의 목표 수립 요건을 설명합니다(Coyle 2018). 취약성의 기술, 즉 실패했을 때 다른 사람들과 공유하는 것, 즉 '학습의 첫 시도'는 시간이 지남에 따라 신뢰를 쌓을 수 있습니다. 이러한 개념은 용기 있는 대화와 취약성에 기대는 것을 강조하는 브레네 브라운의 리더십 연구와 밀접하게 일치하며, 이러한 취약성 공유는 리더로부터 시작되어야 합니다(Brown 2012). 취약성은 사람들이 심리적으로 안전하다고 느낄 때만 장려될 수 있으며(Edmondson 2018), 이는 모든 사람이 부정적인 결과나 당혹감에 대한 두려움 없이 아이디어, 질문, 우려 사항을 자유롭게 말하거나 실수를 인정할 수 있다고 믿는 환경을 조성하는 데 달려 있습니다. 이는 다양성과 포용성의 이점을 극대화할 수 있도록 팀이 다양할 때 점점 더 중요해지고 있습니다(Barrow 외. 2015).
Daniel Coyle describes three skills a successful team or organisation needs to emphasise: a safe environment for all, sharing vulnerability, and the requirement to establish common goals (Coyle 2018). The skill of vulnerability, i.e. to share with others when you FAIL, or your ‘First Attempt In Learning’, will build trust over time. These concepts align closely with Brené Brown’s research on leadership, where she highlights courageous conversations and leaning into vulnerability and that this sharing of vulnerability must start with the leader (Brown 2012). Vulnerability can only be encouraged when people feel psychologically safe (Edmondson 2018), which hinges on creating an environment where everyone believes they can freely speak up with ideas, questions, concerns, or acknowledge mistakes without fear of negative consequences or embarrassment. This is increasingly important when teams are diverse so that the benefits of diversity, as well as inclusivity, can be maximised (Barrow et al. 2015).

편견에 대한 인식
Awareness of biases

무의식적(암묵적) 편견은 모든 사람의 무의식 속에 존재하며 무의식적으로 의사 결정이나 판단에 영향을 미칩니다. 편견은 경험, 양육, 문화, 주변 환경 등 '삶'에 노출되는 동안 자연스럽게 형성되거나 발전합니다. 이러한 편견은 의도하지 않았고 반드시 나쁜 것은 아니지만 현대 사회에서 차별에 기여하는 경우에는 해결해야 합니다. 이러한 편견은 우리의 행동과 동료와의 상호 작용에 영향을 미칠 수 있습니다(Marcelin 외. 2019; Teal 외. 2012). 무의식적 편견을 해결하려면 편견을 인식하고 이해해야 합니다(Liao and Thomas 2020; Velarde 외. 2022). 암묵적 연상 테스트와 같이 도움이 될 수 있는 설문조사와 공인된 도구가 있습니다. 서로 다른 사회적 집단에 속한 사람들 사이에서 자신의 검사 결과에 대해 토론하는 것은 다른 관점을 공유할 수 있는 안전한 환경에서 특히 효과적입니다. 편견 리터러시를 증진하기 위해 촉진된 토론을 활용하면 직장에서의 편견을 최소화하는 데 효과적일 수 있습니다. 편견은 학습자뿐만 아니라 리더에게도 나타날 수 있으며, 그 예는 상자 5에 자세히 나와 있습니다.
Unconscious (implicit) biases are part of everyone's unconscious minds that unknowingly influence decisions or judgements. They are shaped or develop naturally during exposure to ‘life’: experiences, upbringing, culture, and surrounding environments. They are unintentional and not necessarily bad but need to be addressed when they contribute to discrimination in modern society. These biases can affect our behaviours and the interactions we have with colleagues (Marcelin et al. 2019; Teal et al. 2012). Addressing unconscious biases requires that one must recognise and understand them (Liao and Thomas 2020; Velarde et al. 2022). There are surveys and recognised instruments such as the Implicit Association Test that can be of help. Discussion of one’s test results amongst those in dissimilar social groups is particularly powerful in a safe environment that allows alternative viewpoints to be shared. Utilising facilitated discussions to promote bias literacy can be effective in minimising bias in the workplace. Biases are shown by learners as well as leaders, an example of which is detailed in Box 5.

상자 5 학습자 편견.
Box 5 Learner biases.


최근 발표된 논문(Khasan 외. 2020)에 따르면, 천연자원 생태학에 관한 학부 온라인 강좌의 136명의 학생은 성에 따라 남성 또는 여성 조교(TA)를 '배정'받았습니다. 그러나 여성 박사 과정 학생인 카잔은 실제로 모든 학생의 조교였습니다. 조교의 '성별'은 학생들에게 제공된 가짜 이름, 사진, 짧은 약력을 바탕으로 결정되었습니다. 과정을 마친 후 학생들은 조교가 여성이라고 생각했을 때와 남성이라고 생각했을 때를 비교했을 때 5배나 더 부정적인 평가를 내렸습니다. 하노버 리서치(2013)의 2013년 보고서에서는 교수진을 평가할 때 학생 편견 문제를 줄이고 잠재적으로 제거할 수 있는 기회를 설명합니다. 이 연구에서는 내면화된 편견이 5점 척도에서 여성 교수에게는 최대 0.4점, 흑인 교수에게는 최대 0.6점의 불이익을 주며, 평가도 학대나 괴롭힘으로 변질될 수 있다고 강조했습니다. 이 검토에서는 교수진이 구체적인 질문을 하고, 수업 중에 종이에 평가를 관리하며, 평가 양식에 암묵적 편견에 대한 정보를 포함할 것을 권장합니다(Finelter-Rosenbluh 2020).
In a recent publication (Khasan et al. 2020), 136 students in an undergraduate online course on natural resource ecology were ‘assigned’ either a male or female teaching assistant (TA), dependent on their surnames. However, a female Ph.D. student Khazan was really the TA for everyone. The TA’s ‘gender’ was based on fake names, photographs and a short biography made available to students. On completion of the course, students gave the TA five times as many negative evaluations when they believed that she was a woman compared to when they thought she was a man. A 2013 report by Hanover research (2013) outlines opportunities to reduce and potentially eliminate the problem of student bias when evaluating faculty. Their review highlighted that internalised bias penalise female faculty by up to 0.4 and Black faculty by up to 0.6 on a 5-point scale, with evaluations also becoming abusive and bullying. The review recommends that faculty ask concrete questions, administer evaluations on paper during class and include information about implicit bias within evaluations forms (Finelter-Rosenbluh 2020).

 

적응력 높이기
Becoming more adaptive

적응형 리더는 상황이나 조직의 외부 또는 그 이상의 관점을 취할 수 있는 사람입니다. 적응형 리더는 '댄스 플로어에서 내려 발코니로 나가는'(Heifetz와 Linsky 2002) 리더로, 사람과 시스템이 어떻게 작동하는지에 대한 이해를 통해 지속 가능한 변화를 촉진하고, 서로 상호작용하여 변화를 함께 만들어갈 수 있습니다(Obolensky 2017). 이러한 리더는 자신과 팀이 불확실성과 모호성을 가지고 일할 수 있는 안전한 공간을 조성하고, 새로운 변화를 창출하기 위해 '치열한 대화'를 할 수 있습니다. 상자 6에서는 코로나19 팬데믹 기간 동안 적응형 리더십이 어떻게 작동했는지를 보여주는 조직과 시스템 전반에 걸친 리더십의 사례를 간략히 소개합니다.
Adaptive leaders are those who can take a perspective from outside or above the situation or organization. Adaptive leaders ‘get off the dance floor and go to the balcony’ (Heifetz and Linsky 2002), can facilitate sustainable change through their understanding of how people and systems work, and interact with one another to co-create change (Obolensky 2017). Such leaders are able to create safe spaces for both themselves and their teams to work with uncertainty and ambiguity and have ‘fierce conversations’ in order to generate emergent change. In Box 6 we outline an example of leadership enacted across an organisation and system which highlights how adaptive leadership operated in action during the COVID-19 pandemic.

박스 6 위기 속 조직과 시스템의 도전: 행동하는 적응적 리더십
Box 6 Organisation and system challenge in crisis: Adaptive leadership in action.


HPE 리더는 고등 교육 및 의료 산업의 상호 의존성을 반영하는 환경에서 고도의 규제를 받고 공공 또는 민간 기관으로 운영되는 조직과 시스템에서 근무합니다. HPE 리더는 점점 더 많은 기업 책임을 지고 있으며, 대학에 대한 공적 자금 지원 감소로 인해 재정 및 자원 관리에 대한 통찰력을 갖춰야 합니다. 공공의 이익을 위해 봉사하는 조직의 리더로서 HPE 리더는 높은 사회적 지위를 가지고 있습니다. 또한 다양성, 포용성, 형평성을 증진하는 좋은 거버넌스, 책임성, 운영 시스템에 대한 집중적인 조사를 받고 있습니다(McKimm and McLean, 2020). HPE 리더가 근무하는 조직과 시스템은 매우 복잡한 환경입니다. 현재의 팬데믹 및 기타 위기로 인해 조직은 적응하고 필요한 조치를 취하여 기능을 유지하고 미래를 위한 새로운 규범을 설정해야 합니다(Ashokka 외. 2020).
HPE leaders work in organisations and systems that are highly regulated and operate as either public or private entities in settings that reflect the interdependence of both the higher education and healthcare industry. HPE leaders increasingly have corporate responsibilities and are expected to have financial and resource management acumen due to reduced public funding for universities. As leaders of organisations that serve public interests, HPE leaders have high social standing. They are also under intense scrutiny for good governance, accountability and operating systems that promote diversity, inclusivity, and equity (McKimm and McLean, 2020). The organisations and systems in which HPE leaders work is a highly complex environments. The current pandemic and other crises force the organisations to adapt and take necessary measures to keep functioning as well to set new norms for the future (Ashokka et al. 2020).


아시아에서는 코로나19 팬데믹 기간 동안 주요 중앙 결정을 내리기 위해 전담 대응팀이 구성되었습니다. 이 팀은 기술에 적응한 의학교육과 평가를 제공하는 데 있어 조율된 조치를 통합하는 동시에 임상 실습 학생, 레지던트, 모든 교직원을 위해 높은 안전 기준에 따라 가능한 한 임상 과제를 할당하려고 노력했습니다. 대응팀은 팬데믹 기간 동안 지역 정부의 전반적인 대응 시스템을 세심하게 활용했습니다. 이러한 적응적 접근 방식은 기관의 집단주의, 계층적 시스템의 적절한 사용, 혼란스러운 상황에서 불확실성을 줄이려는 시도를 반영하여 적시에 충분한 정보를 바탕으로 한 결정을 내릴 수 있게 했습니다(Ashokka 외. 2020; Lazarus 외. 2020). 일부 리소스 제한에도 불구하고 팬데믹 기간 동안 최전선에서 일하는 새로 졸업한 의사를 지원하기 위해 신속한 대응을 위한 대규모 온라인 공개 강좌를 개설하기 위해 적응적 접근 방식을 취하기도 했습니다(Findyartini 외. 2021).
In an Asian setting, a dedicated response team was set up to provide key central decisions during the COVID-19 pandemic. This team was able to consolidate coordinated actions in delivering technology-adapted medical education and assessment while still attempting to allocate clinical assignments where possible with high safety standards for students in clinical years, residents, and all staff members. The response team employed the overall response system during the pandemic from the local government meticulously. Such an adaptive approach allowed for timely and well-informed decisions which reflected institutional collectivism, the appropriate use of the hierarchical system and attempts to reduce the uncertainty during a chaotic situation (Ashokka et al. 2020; Lazarus et al. 2020). Despite some resource limitations, the adaptive approach was also taken to create a fast response Massive Open Online Course to support newly graduated medical doctors working at the frontlines during the pandemic (Findyartini et al. 2021).

박스 7에서는 조직과 시스템 전반에 걸쳐 시행된 리더십의 또 다른 사례를 소개합니다. 이 사례는 한 조직이 외부 변화와 변화하는 이해관계자의 요구에 대응하여 교육자를 위한 전문 표준 프레임워크를 도입하기 위한 비전을 개발하고 제정하는 과정을 설명합니다. 팬데믹 시기가 아닌 안정적인 시기였으며, 품질 개선이라는 접근 방식을 활용했습니다.
In Box 7 we lay out another example of leadership enacted across an organisation and system. This one describes the way in which an organisation developed and enacted a vision to introduce a professional standards framework for educators in response to external shifts and changing stakeholder demands. This was during a stable time, not during a pandemic, and draws on an approach of quality improvement.

박스 7 고등교육의 질 향상: 조직 및 시스템 변화.
Box 7 Improving the quality of higher education: Organisational and system change.


지난 10년 동안 학습, 교수 및 학생 경험의 질을 개선하려는 시장의 힘, 이해관계자의 요구 및 발전에 자극을 받아 주로 영국, 호주, 뉴질랜드, 아일랜드 등 서구를 중심으로 대학 교직원을 위한 여러 전문 표준 프레임워크가 시행되었습니다. 사우디아라비아의 킹 압둘아지즈 대학교(KAU)는 대학에서 일하는 교직원을 위한 전문 표준 프레임워크를 개발하면 대학 부문 전반에서 학습 및 교수의 질을 표준화하고 개선하는 데 도움이 될 것이라는 사실을 파악했습니다.
Over the last decade, stimulated by market forces, stakeholder demands and developments to improve the quality of learning, teaching and the student experience, several professional standards frameworks have been implemented for university staff, primarily in the West (e.g. the UK, Australia, New Zealand, and Ireland). In Saudi Arabia, King Abdulaziz University (KAU) identified that developing a professional standards framework for academics working in universities would help standardise and improve the quality of learning and teaching across the university sector.


KAU의 리더들은 지역 및 더 넓은 사우디 국가적 맥락에 적합한 전문 표준 프레임워크를 개발하는 데 앞장섰습니다. 이 프레임워크는 KAU 고유의 것이지만 모범 사례와 증거에 기반한 주요 국제적 모범 사례를 반영하고 있습니다(Al-Youbi 외. 2021). 프로젝트가 제기하는 기술적 과제를 해결하기 위한 일환으로, 일련의 정책과 절차는 리더와 교사가 채용, 교수진 개발 및 훈련, 평가 및 성과 평가, 승진에 전문 표준 프레임워크를 사용할 수 있도록 돕습니다.
Leaders at KAU took the initiative to develop a professional standard framework suitable for the local and the wider Saudi national context. This framework is unique to KAU yet reflects key international exemplars grounded in best practice and evidence (Al-Youbi et al. 2021). As part of addressing the technical challenges posed by the project, a set of policies and procedures help leaders and teachers to use the professional standard framework for recruitment, faculty development and training, appraisal and performance evaluation and promotion.

 

글로벌 사고
Thinking globally

글로벌 생태계 전반에서 리더십을 발휘하고자 할 때 개인이 혼자서 이를 시도하는 것은 불가능하기 때문에 협업과 글로벌 실천 커뮤니티 형성이 필수적입니다. 아래에 자세히 설명된 HPE의 프로그램 개발에서 포용적이고 글로벌한 리더십을 발휘한 사례는 협업이 실천 커뮤니티를 강화하고 확장하는 데 어떻게 도움이 되는지 잘 보여줍니다.
When trying to enact leadership across global ecosystems, it is impossible for individuals to attempt to do this on their own, therefore collaboration and forming global communities of practice are essential. An example of inclusive and global leadership in the development of a programme for HPEs, detailed below, highlights how collaboration helps strengthen and expand a community of practice.

환경윤리 및 재생 리더십에 필요한 많은 기술에는 책임감, 옹호, 행동주의에 대한 이해가 필요합니다. 모든 사람이 활동가가 되지는 않겠지만(혹은 되어야만 하는 것은 아닙니다), 때로는 복잡한 시스템에서 권력과 정치에 적극적으로 개입해야 할 때가 있습니다. 책임감, 옹호, 행동주의의 모든 기술에는 핵심 가치를 행동으로 옮기고 이를 일상적인 행동에 통합하는 것이 포함됩니다. 표 3은 핵심 가치와 이를 행동으로 보여주는 방법, 필요한 훈련 및 교육을 사례와 함께 보여줍니다.
For many of the skills required for eco-ethical and regenerative leadership, an understanding of accountability, advocacy, and activism is required. Not everyone will (or should?) become an activist, but when we feel very strongly, sometimes we must step up and work actively with power and politics in complex systems. All the skills of accountability, advocacy and activism involve putting core values into action and incorporating these into everyday behaviours. Table 3 shows the core values and how these might be displayed in action, the training and education required, with examples.

모든 수준의 리더가 자신의 가치를 리더십에 통합한 매우 시사적이고 시급한 사례로는 학생과 의사의 기후 변화 운동이 있습니다(상자 9). 현재의 기후 위기는 곧 건강 위기입니다. 예를 들어, 영국의 일반의협의회(2018)의 의사의 의무에 따르면 의사는 환자의 안전, 존엄성 또는 편안함이 침해될 수 있다고 생각되면 즉각적인 조치를 취해야 하므로, 많은 의사들이 개인적, 직업적 생태 발자국을 최소화하기 위해 노력하면서 '행동주의'에 의지하는 것은 놀라운 일이 아닙니다.
A highly topical and urgent example of how leaders (at all levels) have incorporated their values into leadership is that of student and doctor climate change activism (Box 9). The current climate crisis is a health crisis (https://www.who.int/news-room/photo-story/photo-story-detail/urgent-health-challenges-for-the-next-decade). Since, for example, the UK’s General Medical Council (2018) Duties of a Doctor requires that doctors take prompt action if they think that patient safety, dignity, or comfort may be compromised, it is not surprising that many doctors are resorting to ‘activism’ while also striving to minimising their personal and professional ecological footprints.

박스 8 의학교육의 AMEE 전문가 자격증.
Box 8 The AMEE Specialist Certificate in Medical Education.


수년 동안 AMEE는 연례 학술대회 기간 중 또는 그 이전에 열리는 교육 과정에 참여할 수 있는 기회를 제공해 왔습니다. 이를 통해 참가자들은 다양한 ESME 인증서 중 하나를 취득할 수 있으며, 이 중 다수는 학교 및 기관 수준에서 공신력 있는 성취 증명서로 인정받고 있습니다. 지난 몇 년 동안 전 세계 여러 국가에서 추가적인 온라인 및 주제별 과정이 제공되었습니다. 교수진이 학생 및/또는 수련의를 계속 가르칠 수 있도록 의학교육에 대한 기본 자격을 갖추어야 한다는 압력이 증가하고 있지만, 많은 교육자, 특히 추가 임상 및 학업 책임이 있는 교육자나 자원이 부족한 환경에 있는 교육자는 이러한 자격을 갖추지 못하고 있습니다.
For many years AMEE has provided opportunities to participate in courses held during or prior to the annual conference. These allow participants to obtain one of the various ESME Certificates, many of which are recognised at the school and institutional level as a credible certificates of achievement. Over the last few years, additional online and subject-specific courses have been delivered in various countries around the world. There is increasing pressure upon faculty to have a basic qualification in medical education, which allows them to continue teaching their students and/or trainees, however, these are not available for many educators, particularly those with additional clinical and academic responsibilities and those in low resource settings.


2018년, 전 세계 교육자들의 요구를 해결하고 이들이 글로벌 실무 커뮤니티로 진출할 수 있도록 돕기 위해 일부 ESME 과정을 AMEE 의학 교육 전문가 자격증으로 통합하는 방안이 제안되어 합의되었습니다. AMEE 전문가 인증서는 의학교육에 대한 시간, 자금 또는 학위 수여 프로그램을 이용할 수 없는 개인에게 상황과 경력 목표에 맞게 개별적으로 조정할 수 있는 유연한 프로그램을 제공함으로써 국제적으로 인정받는 의학교육 인증서를 취득할 수 있는 기회를 제공하는 것을 목표로 합니다. 이 인증서는 AMEE에서 인정하는 4개의 과정으로 구성되어 있으며, 이를 통해 개인이 지정된 학습 결과를 달성했음을 증명할 수 있습니다. 이러한 과정은 전 세계의 다양한 컨퍼런스(AMEE 연례 컨퍼런스 포함) 및 기타 장소에서 온라인으로 운영됩니다. 현재까지 수백 명의 교육자가 자격증을 취득했거나 취득을 위해 노력하고 있으며, 자격증이 자신감, 역량 및 경력에 긍정적인 영향을 미치고 있다고 보고하고 있습니다.
In 2018, it was proposed and agreed to combine some of the ESME courses into an AMEE Specialist Certificate in Medical Education aimed at addressing the needs of educators globally and helping them to move into the global community of practice. The AMEE Specialist Certificate aims to give individuals (who may not have the time, funding for or access to award bearing programmes in medical education) opportunities to gain an internationally recognised Certificate in Medical Education, through the provision of a flexible programme, which can be individually tailored to suit circumstances and career aspirations. The Certificate comprises four courses recognised by AMEE, which together demonstrate that an individual has achieved the specified learning outcomes. Such courses are run online, around the world at various conferences (including the AMEE annual conference) and in other locations. To date, hundreds of educators have obtained or are working towards their Certificate and reporting that this is having a positive impact on their confidence, competence, and careers.

 

박스 9 학생과 의사의 기후 변화 운동.
Box 9 Student and doctor climate change activism.



학교 학생, 보건 전공 학생 및 보건 전문가들이 '활동가'가 되어 정부에 긴급한 조치를 취하도록 로비를 벌이고 있습니다. 예를 들면 다음과 같습니다:
School students, health professional students and health professionals have become ‘activists’, lobbying governments to take urgent action. Examples include:

  • #미래를 위한 금요일: 2018년 8월, 15세 소녀 그레타 툰베리가 기후를 위한 학교 파업을 시작하면서 시작된 글로벌 기후 파업 운동입니다.
    #FridaysforFuture
    : A global climate strike movement that began in August 2018 when 15-year-old Greta Thunberg began a school strike for climate.
  • 국제 의과대학 학생회 연맹: 건강 문제에 관한 정책 문서를 발표하고 국가별 국제 회의에 참석하는 등 활발한 활동을 펼치고 있습니다. 최근 정책 문서로는 건강 형평성, 건강 비상사태(2020년 8월), 건강, 환경 및 기후 변화(2020년 3월)가 있습니다.
    The International Federation of Medical Students’ Association: Active in terms of publishing policy documents on health issues and attending national international meetings. Recent policy documents include Health Equity, Health Emergencies (Aug 2020) and Health, Environment and Climate Change (March 2020).
  • 멸종 반란을 위한 의사들: 웹사이트에는 다음과 같이 적혀 있습니다: ".... 기후 변화가 임박한 공중 보건 재앙임을 인식하고, 멸종 반란과 함께 시민 불복종에 착수하기로 결정했습니다."
    Doctors for Extinction Rebellion
    : On their website, they write the following: “…. Appreciating that Climate Change is an impending public health catastrophe, have decided to undertake Civil Disobedience with Extinction Rebellion

 

상자 10 캐나다의 수평적 및 수직적 리더십 개발.
Box 10 Horizontal and vertical leadership development in Canada.


"RCPSC와 캐나다 의과대학 학부협회(AFMC)는 리더십 교육을 UGME(MD 교육)와 PGME(레지던트 교육) 모두에서 중점적으로 고려할 것을 권장했습니다. "직업적 책임, 자기 인식, 피드백 제공 및 받기, 갈등 해결, 변화 관리, 리더, 조력자 또는 팀원으로서 팀의 일원으로 일하는 것"에 초점을 맞출 것을 권장했습니다.  대부분의 프로그램은 리더십 교육의 일부로 캐나다 의사협회(CMA)에서 제공하는 것과 같은 활동을 포함한 선택적 활동에 대한 접근을 용이하게 합니다:  레지던트와 의사를 위한 리더십 교육은 일반적으로 유료 과정(https://joulecma.ca/learn. . . )을 통해 제공됩니다.
“RCPSC and the Association of Faculties of Medicine of Canada (AFMC) have recommended that leadership training be considered a focus in both UGME (MD training) and PGME (residency training). The recommendation was to focus on “professional responsibilities, self-awareness, providing and receiving feedback, conflict resolution, change management, and working as part of a team as a leader, facilitator, or team member.  The majority of programs facilitate access to optional activities as part of their leadership offer which include activities such as these provided by the Canadian Medical Association (CMA):  https://www.cma.ca/physician-wellness-hub/resources/leadership-professional-development/leadership-development-courses-for-medical-students-and-residents. . . .  Training in leadership for residents and physicians is usually facilitated through fee-paying courses (https://joulecma.ca/learn. . . . ).


리더십 개발은 캐나다의 학부 의학교육(UGME)의 커리큘럼에도 포함되어 있습니다. 다음은 오타와 대학교의 예입니다:  
Leadership development is also included in the curricula in undergraduate medical education (UGME) in Canada. This is an example from the University of Ottawa:  https://med.uottawa.ca/undergraduate/education/social-accountability/associated-programs/leadership. . . .
박스 11 리더십에 대한 문화적 관점.
Box 11 Cultural perspectives on leadership.


리더십에 대한 동남아시아의 관점
South-East Asian perspectives on leadership


동남아시아 국가에서는 문화적 가치가 강력하게 자리 잡고 있으며 삶의 모든 측면에 영향을 미칩니다. 이 지역 국가들의 다양한 인종, 지리적 분포, 정부 정책, 교육 및 의료 시스템으로 인해 보건 전문직 교육에서 문화적 가치가 리더십에 미치는 영향을 논의하기 위해서는 포괄적인 이해와 역동적인 접근이 필요합니다. 호프스테드의 문화적 가치에 따르면 이 지역은 높은 권력 거리 또는 위계질서, 집단주의, 불확실성 회피, 장기적 지향, 남성성과 여성성의 균형이 특징이며, 이를 잘 인식하고 관리하는 리더가 있어야 필요한 변화가 일어날 수 있습니다.
Cultural values are strongly held and influence all aspects of life in South-East Asian countries. With diverse ethnicities, geographical distribution, governmental policies, education and healthcare systems in the countries within this region, discussing the impact of cultural values on leadership in health professions’ education requires comprehensive understanding and a dynamic approach. Based on Hofstede’s cultural values, this region is characterised by high power-distance or hierarchy; collectivism; uncertainty avoidance; long-term orientation, and a balance of masculinity and femininity, which are best aware and managed with by the adaptive leaders hence necessary changes can take place.


리더십에 대한 중동의 관점
Middle Eastern perspectives on leadership


중동 아랍 국가들은 신뢰에 뿌리를 둔 독특한 문화 유산을 가지고 있습니다. 개인은 일반적으로 꾸란의 원칙에 따라 자신의 유산을 소중히 여기고 종교적 신념과 중요한 관계를 보존합니다. 이러한 문화는 중동의 일반적인 리더십 스타일과 리더와 추종자 간의 관계를 규정하는 요소에 큰 영향을 미칩니다. 이러한 관점에서 볼 때 중동 리더십 스타일의 고유한 특징은 다음과 같습니다: 높은 권력-거리, 탁월함을 바탕으로 한 신뢰 구축, 모든 사람에게 사명과 역할이 있음, 개방적인 문화, 개별 의사 결정과 협의의 균형.
Middle Eastern Arab countries have a unique cultural heritage that is rooted in trust. Individuals are generally guided by the Quran's principles: they value their heritage and preserve their religious beliefs and relationships of importance. This culture has a profound effect on the common leadership styles in the Middle East and on the factors regulating the relationships between leaders and their followers. From this perspective, the following are unique characteristics for the middle eastern leadership style: high power-distance; trust is built based on excellence; every person has a mission and a role to play; an open-door culture, and balance consultation with individual decision-making.



리더의 존재와 리더 되기
Being and becoming a leader

방대한 양의 이론과 관리 모델, 그리고 끊임없이 변화하는 환경은 HPE 리더가 '리더가 되는 것'(Souba, 2011)과 '리더십 활동을 수행하는 것'을 매우 어렵게 만들 수 있습니다

  • 리더가 '되는 것'은 여기서 논의한 많은 리더십 접근법과 기법을 일상 업무에 통합하는 것을 포함하지만,
  • 리더가 '되어가는 것'은 리더로서의 정체성을 개발하는 과정(의식적, 무의식적)을 포함합니다(Maile 외. 2019).

The sheer volume of theories and management models, plus the constantly changing environment in which HPE leaders have to work can make ‘being and becoming a leader’ Souba, 2011) as well as ‘doing leadership activities’ very difficult.

  • ‘Being’ a leader involves incorporating many of the leadership approaches and techniques discussed here into everyday practice, whereas
  • ‘becoming’ a leader involves a process (conscious and unconscious) of developing an identity as a leader (Maile et al. 2019).

Petrie의 연구는 이를 맥락에 맞게 설명하는 데 도움이 됩니다. 그는 리더십 개발의 두 가지 유형, 즉 수평적 리더십과 수직적 리더십을 설명합니다(Petrie 2014). 
Petrie’s work helps put this into context. He describes two types of leadership development: horizontal and vertical (Petrie 2014). 

  • 수평적 리더십 개발은 개념, 모델 및 사용 가능한 도구를 포함하여 리더십 이론에 대한 지식을 늘리는 것입니다. 여기에는 점점 더 많은 수의 대학원 자격증이 포함됩니다. 리더가 경험을 쌓고 공식적인 학습을 시작하면 수직적 리더십 개발의 원칙을 활용하는 것을 목표로 삼아야 합니다. 여기에는 리더십의 맥락에서 자신과 자신이 직면한 도전에 대해 배우는 것이 포함됩니다.
    Horizontal leadership development is about increasing your knowledge of the theory of leadership including the concepts, models, and tools available. This includes postgraduate qualifications of which there are increasing numbers on offer. As leaders begin to gain experience and possibly undertake some formal learning, they should aim to utilise the principles of vertical leadership development. This involves learning about yourself in the context of leadership and the challenges you face.
  • 수직적 리더십에서 리더는 자신이 직면한 도전('뜨거운 경험')을 성찰과 대화를 통해 '감각화'하고, 현재 상황에 대해 '충돌하는 관점'에 개방적인 태도를 취함으로써 어떻게 개선하거나 다르게 행동할 수 있는지 분석합니다. 의도적인 성찰과 대화는 임포스터 감정을 완화하고, 리더십에 대한 자신감과 유능함을 키우며, '실용적인 지혜'를 개발하여 궁극적으로 우리의 가치를 실천할 수 있다고 느끼는 데 도움이 될 수 있습니다. 서로 다른 관점이 충돌하는 예는 아래 예시에서 볼 수 있듯이 세계 여러 지역에서 나타나는 다양한 리더십 가치와 스타일에서 잘 드러납니다.
    In vertical leadership, leaders use the challenges they meet (‘heat experiences’), to analyse how they might improve or do things differently through ‘sense-making’ of the experience (through reflection and conversation) and being open to ‘colliding perspectives’ about what is going on. Purposeful reflection and conversations can help us alleviate imposter feelings and become more confident and competent at leadership, developing our ‘practical wisdom’, and ultimately feeling able to live out our values. An example of colliding perspectives is highlighted by the different leadership values and styles displayed in different regions of the world, illustrated by the example below.

코칭과 멘토링을 찾는 것은 정확하고 정직한 자기 성찰을 촉진하고 성장 마인드를 개발할 수 있는 충돌하는 관점에 열려 있는 풍부한 예입니다(Dweck 2016). 이는 수직적 리더십 개발의 또 다른 예입니다. 멘토링 관계는 멘티와 멘토 모두에게 중요합니다. HPE 리더는 대부분 멘토의 역할을 맡지만, 리더십 개발에서는 기꺼이 멘티의 역할을 맡을 수 있어야 합니다. 궁극적으로 이러한 멘토링 이니셔티브는 조직에 도움이 됩니다. Burgess 외(2018)의 검토에 따르면 멘토링 관계의 모든 이해관계자가 얻을 수 있는 이점을 고려하고 아래 표 4에 요약했습니다.
Seeking coaching and mentoring are rich examples of being open to colliding perspectives that can facilitate accurate and honest self-reflection and develop a growth mindset (Dweck 2016). This is another example of vertical leadership development. Mentoring relationships are important for both mentee and mentor. HPE leaders mostly take on the role of a mentor, however, in leadership development, they need to be willing to take on a mentee role. Ultimately, these mentoring initiatives benefit the organisation. Based on the review by Burgess et al. (2018), the benefits for all stakeholders of mentoring relationships are considered and summarised in Table 4 below.

 
 

결론
Conclusion

이 가이드에서는 리더십의 여러 이론적 측면을 살펴보고 리더, 관리자, 팔로워가 문제와 도전에 어떻게 대처할 수 있는지에 대한 예를 제공했습니다. 리더십은 다양한 수준(개인 내, 대인관계/팀, 조직 및 시스템 수준)에서 발생하며, 리더는 이러한 수준에 익숙해지고 능숙하게 대처할 수 있어야 합니다. 리더십은 학부 단계부터 공식적으로 가르쳐야 하며, 교육자의 커리어를 통해 지속적으로 재교육하여 사람들이 리더십과 팔로워십 역할을 적절히 수행하고 여러 전문가로 구성된 팀에서 일할 수 있도록 준비시켜야 합니다. 모든 리더는 다른 사람들이 변화를 일으키도록 영향력을 발휘할 수 있도록 신뢰할 수 있어야 하므로, 교육자는 시간을 들여 자신이 근무하는 맥락을 이해하여 HPE를 구성하는 다양한 교육 및 의료 시스템 내에서 그리고 그 시스템 전반에서 일할 수 있어야 합니다.
In this guide, we have explored many theoretical aspects of leadership and provided examples of how leaders, managers and followers might address issues and challenges. Leadership takes place at various levels (the intrapersonal, interpersonal/team, organisational and system levels) and leaders need to become familiar with and adept at navigating these levels. Leadership needs to be formally taught right from the undergraduate stage and refreshed throughout an educator’s career so that people are equipped to take on leadership and followership roles appropriately and work in multi-professional teams. Any leader needs to be credible to influence others towards making change, therefore educators need to take time to understand the context in which they work so that they can work within and across the various education and healthcare systems that comprise HPE.

직장에서의 평생 학습은 지속적인 리더십 개발에서 가장 큰 부분을 차지하며, 이를 통해 다양한 리더십 활동과 상황에서 효과적으로 대처할 수 있는 경험과 실용적인 지혜를 얻을 수 있습니다. 리더십은 또한 매우 개인적인 것으로, 모든 사람이 다르므로 각자의 강점을 발휘해야 합니다. 자신과 자신의 가치관을 이해하는 것은 감성 지능, 근성, 진정성을 키우고 리더로서 어디에 관심을 집중할지 결정할 수 있도록 하는 데 필수적입니다. 여기에는 때때로 난간을 넘어서거나, 첫 번째 팔로워가 되거나, 옹호를 넘어 행동주의로 나아가는 것이 포함될 수 있습니다. 어떤 분야에서 어떤 리더십을 발휘하든, 이 가이드가 여러분의 발전을 위한 몇 가지 아이디어를 제공하고 보건 전문직 교육에서의 리더십에 대해 더 자세히 알아보는 데 도움이 되기를 바랍니다.
Lifelong learning in the workplace forms the greatest part by far of ongoing leadership development; this is where you gain the experience and the practical wisdom to be effective in a wider range of leadership activities and situations. Leadership is also very personal; everyone is different and should play to their strengths. Understanding yourself and your values is essential so that you can work on and nurture your emotional intelligence, grit and authenticity and decide where you want to focus your attention as a leader. This may involve stepping above the parapet sometimes, being the first follower, or moving beyond advocacy to activism. Wherever and whatever you decide to lead on, we hope this guide has provided some ideas for your development and inspired you to learn more about leadership in health professions education.


 

 

Med Teach. 2023 Feb;45(2):128-138. doi: 10.1080/0142159X.2022.2057288. Epub 2022 May 11.

 

 

Adaptive leadership during challenging times: Effective strategies for health professions educators: AMEE Guide No. 148

Affiliations collapse

1Swansea University Medical School, Wales, UK.

2Department of Internal Medicine, King Saud University, Riyadh, Saudi Arabia.

3Harvard Medical School, Boston, USA.

4Massachusetts General Hospital Institute for Health Professions Education, Boston, USE.

5Honorary Professor of Medical Education, University of Manchester, Manchester, UK.

6Faculty of Health Sciences and Medicine, Bond University, Gold Coast, Queensland, Australia.

7Head of Medical Education Unit and Head of Cluster, Centre for Medical Education, Indonesia Medical Education and Research Institute, Faculty of Medicine Universitas Indonesia, Jakarta, Indonesia.

8Department of Applied Linguistics, Swansea University, Swansea, UK.

9Department of Clinical Biochemistry & Medicasl Education, College of Pharmacy Practice, King Abdulaziz University, Jeddah, Saudi Arabia.

10College of Medicine, Tanta University, Tanta, Egypt.

11Anatomy, Department of Anatomy, Faculty of Medicine, King Abdulaziz University, Jeddah, Saudi Arabia.

12Faculty of Medicine & Health Sciences, Swansea University, Swansea, UK.

13Institutional Development at the International Medical University, Kuala Lumpur, Malaysia.

14Departement of Psychiatry, Memorial University, St. Clare's Hospital, St. John's, Canada.

15Department of Health and Community Services, Government of Newfoundland and Labrador, St John's, Canada.

PMID: 35543323

DOI: 10.1080/0142159X.2022.2057288

 

Abstract

Leadership and management are becoming increasingly recognised as vital for high-performing organisations and teams in health professions education. It is often difficult for those embarking on leadership activities (as well as more experienced leaders) to find their way through the volume of literature and generic information on the topic. This guide aims to provide a framework for developing educators' understanding of leadership, management, and followership in the context of health professions education. It explains many relevant approaches to leadership and suggests various strategies through which educators can develop their practice to become more effective.

Keywords: Health professions education; followership; leadership; management.

연구평가지표를 위한 라이덴 선언
LEIDEN MANIFESTO FOR RESEARCH METRICS

 

Use these ten principles to guide research evaluation, urge Diana Hicks, Paul Wouters and colleagues.

Credit: Illustration by David Parkins

 

연구활동을 지원하고 운영하는데 있어 실증적인 데이터 사용이 증가하고 있다. 과거에는 필요한 경우에만 동료에 의해서 연구평가가 수행되었지만 최근에는 일상적으로 이루어질 뿐만 아니라 계량적인 평가지표에 크게 의존하고 있다1. 이 때 연구평가가 데이터 기반으로 이루어지고 심사자의 판단이 부재하다는 점은 문제이다. 이러한 상황에서 연구성과 관련 계량적 평가지표들이 빠르게 확산되고 있다. 올바른 연구성과평가를 위한 목적으로 평가지표가 개발되고 있으나, 개발된 평가지표들이 충분히 이해되지 못하거나 때론 잘못 사용하기도 한다. 계량적 지표에 근거한 연구성과평가가 점점 더 확산되고 있지만, 많은 기관에서는 실제로 어떻게 수행하고 해석해야 하는지에 대한 충분한 지식이나 도움이 부재한 상황이다. 연구성과평가 체계를 향상시키기 위해 만든 도구인 평가지표로 인해 도리어 평가 체계 자체가 위협 받고 있다. 
Data are increasingly used to govern science. Research evaluations that were once bespoke and performed by peers are now routine and reliant on metrics1. The problem is that evaluation is now led by the data rather than by judgement. Metrics have proliferated: usually well intentioned, not always well informed, often ill applied. We risk damaging the system with the very tools designed to improve it, as evaluation is increasingly implemented by organizations without knowledge of, or advice on, good practice and interpretation.

2000년도 이전에는 Institute for Scientific Information (ISI)이 Science Citation Index를 CDROM 형태로 발간하였으며 전문가의 분석 업무에 사용되었다. 2002년에는 톰슨 로이터스가 통합 웹 플랫폼을 발족하여 Web of Science 데이터베이스의 광범위한 접근을 가능하게 하였다. 엘스비어의 Scopus(2004년 발표)와 Google Scholar(2004년 베타버전 발표)의 등장으로 인용색인 데이터베이스가 다양화되었다. Web of Science 기반의 InCites와 Scopus 기반의 SciVal 과 같이 기관 단위의 연구 생산성과 영향력을 쉽게 비교할 수 있는 웹 기반 도구들이 소개되고, Google Scholar를 활용하여 개인 저자 단위 인용 프로필을 분석하는 소프트웨어(Publish or Perish, 2007년 발표)도 등장하였다.
Before 2000, there was the Science Citation Index on CD-ROM from the Institute for Scientific Information (ISI), used by experts for specialist analyses. In 2002, Thomson Reuters launched an integrated web platform, making the Web of Science database widely accessible. Competing citation indices were created: Elsevier's Scopus (released in 2004) and Google Scholar (beta version released in 2004). Web-based tools to easily compare institutional research productivity and impact were introduced, such as InCites (using the Web of Science) and SciVal (using Scopus), as well as software to analyse individual citation profiles using Google Scholar (Publish or Perish, released in 2007).

2005년에는 미국 캘리포니아 주립대학교 샌디에고 캠퍼스에 재직중인 물리학자 Jorge Hirsch가 h-지수를 제안하여 개별 연구자의 인용 평가를 대중화했다. 1995년 이래로 저널영향력지수에 대한 관심은 꾸준히 증가하고 있다(‘저널영향력지수에 대한 집착(impact-factor obsession*)’ 참조). 
In 2005, Jorge Hirsch, a physicist at the University of California, San Diego, proposed the h-index, popularizing citation counting for individual researchers. Interest in the journal impact factor grew steadily after 1995 (see 'Impact-factor obsession').

최근 연구성과의 사회적인 이용과 온라인 상의 의견을 포괄하는 평가지표가 점차 중요해지고 있다. 그 예로 F1000Prime(2002년 설립), Mendeley(2008년 설립), Altmetric.com(Nature Publishing Group를 가지고 있는 Macmillan Science and Education의 후원 아래 2011년 설립) 을 들 수 있다. 
Lately, metrics related to social usage and online comment have gained momentum — F1000Prime was established in 2002, Mendeley in 2008, and Altmetric.com (supported by Macmillan Science and Education, which owns Nature Publishing Group) in 2011.

과학계량학자, 사회과학자, 연구관리자로서 우리는 만연해있는 평가지표의 오용 정도가 심각해지고 있음을 목도해왔다. 세계의 대학들이 국제 대학 순위(상하이 랭킹, Times Higher Education 리스트 등)에서의 순위에 집착하는 것은 평가지표 오용의 수많은 예 중 하나이다. 심지어 우리 관점에서 볼 때 이 순위들은 부정확한 데이터와 편협하고 비논리적인 지표에 기반한 것으로 보이지만 세계 대학들은 이에 집착하고 있다. 
As scientometricians, social scientists and research administrators, we have watched with increasing alarm the pervasive misapplication of indicators to the evaluation of scientific performance. The following are just a few of numerous examples. Across the world, universities have become obsessed with their position in global rankings (such as the Shanghai Ranking and Times Higher Education's list), even when such lists are based on what are, in our view, inaccurate data and arbitrary indicators.

일부 인사담당자는 임용지원자에게 h-지수를 요청하기도 한다. 몇몇 대학들은 일정 값 이상의 h-지수와 영향력지수가 높은 저널에 실린 논문의 수에 따라 승진을 결정한다. 연구자의 CV는 이러한 지표 값을 내세우는데 사용되어 왔으며 특히 의생물학 분야에서 이러한 경향이 두드러진다. 지도교수는 아직 준비가 채 되지 않은 박사과정 학생에게 영향력지수가 높은 저널에 논문을 게재하고 외부 연구비를 수주하도록 요구하는 일이 만연하고 있다.
Some recruiters request h-index values for candidates. Several universities base promotion decisions on threshold h-index values and on the number of articles in 'high-impact' journals. Researchers' CVs have become opportunities to boast about these scores, notably in biomedicine. Everywhere, supervisors ask PhD students to publish in high-impact journals and acquire external funding before they are ready.

스칸디나비아와 중국의 몇몇 대학들은 획일화된 지표 값에 따라 개별 연구자에게 연구비나 보너스를 지급한다. 예를 들어, 개별 연구자의 영향력 점수를 계산하여 연구비를 배정하거나 저널영향력지수 값이 15보다 높은 저널에 논문을 게재한 경우 연구자에게 보너스를 지급하는 식이다 2.
In Scandinavia and China, some universities allocate research funding or bonuses on the basis of a number: for example, by calculating individual impact scores to allocate 'performance resources' or by giving researchers a bonus for a publication in a journal with an impact factor higher than 15 (ref. 2).

대부분의 경우 연구자와 평가자는 여전히 균형 잡힌 연구성과평가를 위해 노력하고 있다. 그러나 연구성과 평가지표의 오용은 간과하기 어려울 정도로 광범위하게 이루어지고 있다. 
In many cases, researchers and evaluators still exert balanced judgement. Yet the abuse of research metrics has become too widespread to ignore.

이러한 상황 때문에 라이덴 선언(Leiden Manifesto)을 발표하게 되었다. 이 이름은 라이덴 선언이 구체화된 학회 개최지(http://sti2014.cwts.nl 참조)를 따랐다. 라이덴 선언의 열 가지 원칙은 과학계량학자에게는 새롭지 않지만 지금까지 성문화되지 않았기 때문에 명확하게 제시하기 어려웠다. ISI의 창립자인 Eugene Garfield와 같은 이 분야의 권위자들은 이 원칙들 중 몇 가지를 공식적으로 언급한 적이 있다3,4. 그러나 이러한 권위자들의 권고사항을 대학 행정담당자가 잘 인지하고 있어서 연구성과평가보고서를 살펴볼 때 고려할 것이라고 기대하기는 어렵다. 왜냐하면 이들은 성과평가 방법론의 전문가가 아니기 때문이다. 또한 평가 대상이 된 연구자가 평가에 대한 이의를 제기하고자 할 때 이러한 원칙들이 전문적인 저널에 흩어져 있어 접근이 어렵다.
We therefore present the Leiden Manifesto, named after the conference at which it crystallized (see http://sti2014.cwts.nl). Its ten principles are not news to scientometricians, although none of us would be able to recite them in their entirety because codification has been lacking until now. Luminaries in the field, such as Eugene Garfield (founder of the ISI), are on record stating some of these principles3,4. But they are not in the room when evaluators report back to university administrators who are not expert in the relevant methodology. Scientists searching for literature with which to contest an evaluation find the material scattered in what are, to them, obscure journals to which they lack access.

우리는 계량 지표 기반 연구성과평가에 벤치마킹이 될 만한 방법론으로서 열 가지 원칙을 제안한다. 이를 통해 연구자는 평가자를 이해할 수 있고 평가자는 계량적 평가지표를 이해할 수 있다.
We offer this distillation of best practice in metrics-based research assessment so that researchers can hold evaluators to account, and evaluators can hold their indicators to account.

Credit: Data Source: Thomson Reuters Web of Science; Analysis: D.H., L.W.

열 가지 원칙
Ten principles

1. 정량적 평가는 정성적 평가와 전문가 평가를 지원하는데 사용되어야 한다. 정량적 평가지표는 동료평가에서 발생할 수 있는 편향성에 대한 이의 제기와 검토를 용이하게 한다. 일련의 관련 정보 없이 동료에 대한 평가를 내리는 것은 어렵기 때문에 정량적 평가는 동료평가에서 활용되어야 한다. 하지만, 평가자는 연구성과에 대한 전반적 평가 관련 의사결정을 계량지표 값 자체로 대체해서는 안 된다. 평가지표가 평가자의 숙련된 판단을 대체할 수 없으며, 평가자는 평가지표에 자신의 평가에 대한 책임을 전가해서는 안 된다.

1) Quantitative evaluation should support qualitative, expert assessment. Quantitative metrics can challenge bias tendencies in peer review and facilitate deliberation. This should strengthen peer review, because making judgements about colleagues is difficult without a range of relevant information. However, assessors must not be tempted to cede decision-making to the numbers. Indicators must not substitute for informed judgement. Everyone retains responsibility for their assessments.

2. 기관, 연구 집단, 연구자의 목표에 따라 성과를 측정하라. 목표가 처음부터 명시되어야 하며, 성과평가에 사용되는 지표는 그 목표와 분명하게 연관되어야 한다. 평가지표의 선택과 적용방법은 사회/경제적, 문화적 맥락을 충분히 고려하여야 한다. 연구자의 목표는 다양하다. 선구적 학술 탐구 연구는 사회 문제 해결에 중점을 두는 연구와는 다르다. 그리고 리뷰는 학문적 아이디어의 우수성보다 정책, 산업, 공공의 요구에 기반을 둘 수 있다. 따라서 하나의 평가 모델이 모든 맥락에 동일하게 적용될 수 없다.
2) Measure performance against the research missions of the institution, group or researcher.
 Programme goals should be stated at the start, and the indicators used to evaluate performance should relate clearly to those goals. The choice of indicators, and the ways in which they are used, should take into account the wider socio-economic and cultural contexts. Scientists have diverse research missions. Research that advances the frontiers of academic knowledge differs from research that is focused on delivering solutions to societal problems. Review may be based on merits relevant to policy, industry or the public rather than on academic ideas of excellence. No single evaluation model applies to all contexts.

3. 지역적으로 가치 있는 연구의 우수성을 인정하라. 세계 도처에서 영어로 쓰여진 출판물이 곧 우수한 연구로 간주되고 있다. 예를 들어, 스페인 법은 스페인 연구자가 영향력이 높은 저널에 논문을 게재하는 것을 권고한다**. 저널영향력지수는 미국에서 출반된 영문저널 중 Web of Science에 색인된 저널들을 기반으로 산출된다. 이러한 편향은 지역적, 국가적인 요구에 기반한 연구가 주를 이루는 사회과학과 인문학에서 특히 문제가 된다. 또한 사하라사막 이남 아프리카의 HIV 전염병학처럼 인문사회학이 아닌 많은 다른 분야도 국가적, 지역적 가치를 지닌다.

연구의 다양성과 사회적 연관성은 저널영향력지수 값이 높은 영문 저널에 논문을 출판하려는 연구 경향에 의해 그 성장이 억제되고 있다. Web of Science에서 인용되는 스페인 사회학자들은 추상적 모델 연구나 미국의 데이터를 대상으로 연구한다. 지역 노동법, 노령자를 위한 가정의료, 이민노동자와 같은 지역 특수성을 반영한 연구를 하는 사회학자들의 이름은 Web of Science에 색인된 주요 스페인어 저널에서도 자취를 감추었다5. 수준 높은 비영어 학술문헌에 기반한 계량적 평가지표가 제공된다면 지역적으로 가치 있는 연구의 우수성을 규명하고 적절히 평가하는데 기여할 수 있을 것이다.

3) Protect excellence in locally relevant research. In many parts of the world, research excellence is equated with English-language publication. Spanish law, for example, states the desirability of Spanish scholars publishing in high-impact journals. The impact factor is calculated for journals indexed in the US-based and still mostly English-language Web of Science. These biases are particularly problematic in the social sciences and humanities, in which research is more regionally and nationally engaged. Many other fields have a national or regional dimension — for instance, HIV epidemiology in sub-Saharan Africa.

This pluralism and societal relevance tends to be suppressed to create papers of interest to the gatekeepers of high impact: English-language journals. The Spanish sociologists that are highly cited in the Web of Science have worked on abstract models or study US data. Lost is the specificity of sociologists in high-impact Spanish-language papers: topics such as local labour law, family health care for the elderly or immigrant employment5. Metrics built on high-quality non-English literature would serve to identify and reward excellence in locally relevant research.

4. 데이터 수집과 분석 기법은 공개되어야 하며 투명하고 단순해야 한다. 평가를 위한 데이터베이스 구축은 확실하게 명시된 규칙을 따라야 하며 그 규칙은 평가를 완료하기 전에 제시되어야 한다. 이 과정은 수 십 년 동안 계량서지학적 평가방법을 개발한 학계와 영리 단체가 따른 통상적 관례이다. 그리고 이 관례는 동료심사제를 거친 문헌에 게재된 프로토콜이다. 이러한 투명성은 엄정한 평가를 가능하게 했다. 예를 들어, 2010년 우리 그룹 중 하나인 네덜란드 라이덴 대학교 과학기술연구센터(the Centre for Science and Technology Studies at Leiden University in the Netherlands)에서 사용하는 주요 평가지표 계산 방법을 공개토론을 통해 수정하였다6. 이 분야에 새로이 진입하는 영리단체는 이러한 규정을 준수해야 한다. 불투명한 블랙박스 같은 연구성과평가 과정은 수용될 수 없다. 
4) Keep data collection and analytical processes open, transparent and simple.
 The construction of the databases required for evaluation should follow clearly stated rules, set before the research has been completed. This was common practice among the academic and commercial groups that built bibliometric evaluation methodology over several decades. Those groups referenced protocols published in the peer-reviewed literature. This transparency enabled scrutiny. For example, in 2010, public debate on the technical properties of an important indicator used by one of our groups (the Centre for Science and Technology Studies at Leiden University in the Netherlands) led to a revision in the calculation of this indicator6. Recent commercial entrants should be held to the same standards; no one should accept a black-box evaluation machine.

이해하기 쉬운 명확하고 간단한 연구성과평가지표는 평가의 투명성을 높여준다. 그러나 단순화된 평가지표가 연구활동 전반을 반영할 수 없으므로, 왜곡의 소지가 있다(원칙 7 참조). 따라서 평가자는 연구 과정의 복잡성과 평가지표의 단순성 간의 균형을 반드시 유지해야 한다.
Simplicity is a virtue in an indicator because it enhances transparency. But simplistic metrics can distort the record (see principle 7). Evaluators must strive for balance — simple indicators true to the complexity of the research process.

단순성은 투명성을 높여주기 때문에 지표의 미덕입니다.
Simplicity is a virtue in an indicator because it enhances transparency.

5. 평가 대상자가 평가 데이터와 분석과정을 확인할 수 있도록 하라. 연구성과 평가에 사용되는 데이터의 품질을 확실히 하기 위하여 평가에 관련된 모든 연구자는 연구성과가 정확하게 반영되었는지를 확인할 수 있어야 한다. 평가과정을 감독하고 관리하는 평가 담당자는 자체검증 또는 외부감사를 통하여 데이터의 정확성을 담보하여야 한다. 대학의 연구정보시스템(RIS)에는 데이터 검증 모듈이 포함되어야 하며, 이는 연구정보시스템 공급업체 선정의 기준이 되어야 한다. 정확한 고품질 데이터를 수집하고 처리하기 위해서는 시간과 재원이 필요하므로 이를 위한 예산 할당이 필요하다.
5) Allow those evaluated to verify data and analysis.
 To ensure data quality, all researchers included in bibliometric studies should be able to check that their outputs have been correctly identified. Everyone directing and managing evaluation processes should assure data accuracy, through self-verification or third-party audit. Universities could implement this in their research information systems and it should be a guiding principle in the selection of providers of these systems. Accurate, high-quality data take time and money to collate and process. Budget for it.

6. 학문 분야에 따른 출판과 인용관행의 다양성을 인정하라. 최선의 방법은 여러 개의 연구성과 평가지표 세트를 만든 후 학문 분야별로 적절한 평가지표를 선택하도록 하는 것이다. 몇 년 전, 유럽의 역사학자들이 국내 동료심사 평가에서 상대적으로 낮은 점수를 받았다. 이는 그들이 Web of Science에 색인된 저널에 논문을 게재하기 보다 단행본을 출판했기 때문이다. 이들은 운 나쁘게도 소속이 심리학과였다. 역사학자들과 사회과학자들은 단행본과 자국어로 쓴 문헌을 그들의 출판물 수에 포함시켜 줄 것을 요구하고, 컴퓨터 과학자들은 학술대회 논문을 출판물 수에 포함시켜 주길 요구한다.
6) Account for variation by field in publication and citation practices.
 Best practice is to select a suite of possible indicators and allow fields to choose among them. A few years ago, a European group of historians received a relatively low rating in a national peer-review assessment because they wrote books rather than articles in journals indexed by the Web of Science. The historians had the misfortune to be part of a psychology department. Historians and social scientists require books and national-language literature to be included in their publication counts; computer scientists require conference papers be counted.

인용률은 학문 분야에 따라 다르다. 수학 분야에서 상위저널의 영향력지수 값은 약 3정도이고, 세포 생물학 분야에서 상위저널의 영향력지수 값은 약 30 정도이다. 정규화된 평가지표가 필요하며, 가장 안정적인 정규화 방법은 백분위(percentile)이다. 이 때 개별 논문은 해당 분야의 인용 분포에 따른 백분위 중 어디에 해당하느냐에 기반하여 가중치를 받게 된다(예를 들어, 상위 1%, 10%, 20%). 인용 평균에 기반하게 되면 한 두 개의 출판물에 의해 특정 대학의 순위가 크게 변동될 수 있으나, 백분위에 기반하게 되면 한두 논문에 의한 큰 순위 변동이 발생하지 않는다7.
Citation rates vary by field: top-ranked journals in mathematics have impact factors of around 3; top-ranked journals in cell biology have impact factors of about 30. Normalized indicators are required, and the most robust normalization method is based on percentiles: each paper is weighted on the basis of the percentile to which it belongs in the citation distribution of its field (the top 1%, 10% or 20%, for example). A single highly cited publication slightly improves the position of a university in a ranking that is based on percentile indicators, but may propel the university from the middle to the top of a ranking built on citation averages7.

7. 개별 연구자 평가는 연구자의 전체 연구실적에 대한 정성적 판단에 기초하여야 한다. 새로운 논문을 발표하지 않더라도 연구자의 경력이 오래될수록 h-지수가 높다. 또한 h-지수는 학문 분야에 따라 그 값이 다르게 나타나는데, 탁월한 생명과학자의 h-지수는 200, 물리학자는 100, 사회과학자의 경우 20-30으로 나타난다(원문의 ref 8 참조). h-지수는 데이터베이스에 따라서도 다르게 나타나는데, 예를 들면 컴퓨터공학 연구자들의 h-지수가 Web of Science에서는 약 10 정도로 산출되지만 Google Scholar에서는 20-30 정도로 산출된다9. 따라서 연구자의 논문을 읽고 판단하는 것이 특정 계량지표 값 하나에 의존하는 것보다 훨씬 바람직하다. 여러 연구자를 비교할 때도 개인의 전문지식, 경험, 활동, 영향력에 관한 다양한 정보를 고려하는 것이 최선의 방법이다.
7) Base assessment of individual researchers on a qualitative judgement of their portfolio.
 The older you are, the higher your h-index, even in the absence of new papers. The h-index varies by field: life scientists top out at 200; physicists at 100 and social scientists at 20–30 (ref. 8). It is database dependent: there are researchers in computer science who have an h-index of around 10 in the Web of Science but of 20–30 in Google Scholar9. Reading and judging a researcher's work is much more appropriate than relying on one number. Even when comparing large numbers of researchers, an approach that considers more information about an individual's expertise, experience, activities and influence is best.

8. 구체성 오류(misplaced concreteness)와 정확성 과신(false precision)에 주의하라. 과학기술 지표는 개념적으로 모호하고 불분명한 경향이 있고 일반적이지 않은 엄격한 가설을 필요로 한다. 예를 들어 인용빈도가 가지는 의미는 오랫동안 논쟁의 대상이 되어 왔다. 그러므로 더욱 안정적이고 다원적인 평가를 위해서는 여러 개의 평가지표를 사용하는 것이 최선의 방법이다. 만약 오차 구간(error bar) 등을 사용하여 불확실성과 오류를 정량화 할 수 있다면, 이를 평가지표 값과 함께 제공해야 한다. 이것이 불가능하다면, 평가지표 제공자는 적어도 정확성을 과신하지 말아야 한다. 예를 들어, 저널영향력지수는 동점을 피하기 위해 소수점 이하 셋째 자리까지 공개된다. 그러나 인용빈도의 개념적 모호함과 임의적 변동성을 고려해볼 때, 매우 작은 영향력지수 값의 차이를 가지고 저널들을 구분하는 것은 의미가 없다. 정확성을 과신하지 마라. 소수점 첫째 자리까지가 적정하다.
8) Avoid misplaced concreteness and false precision.
 Science and technology indicators are prone to conceptual ambiguity and uncertainty and require strong assumptions that are not universally accepted. The meaning of citation counts, for example, has long been debated. Thus, best practice uses multiple indicators to provide a more robust and pluralistic picture. If uncertainty and error can be quantified, for instance using error bars, this information should accompany published indicator values. If this is not possible, indicator producers should at least avoid false precision. For example, the journal impact factor is published to three decimal places to avoid ties. However, given the conceptual ambiguity and random variability of citation counts, it makes no sense to distinguish between journals on the basis of very small impact factor differences. Avoid false precision: only one decimal is warranted.

9. 평가지표와 평가가 연구환경에 미칠 수 있는 영향을 염두에 두라. 평가지표는 보상체계를 통해 연구환경에 영향을 미칠 수 있으므로 예상 가능해야 한다. 따라서 어떤 경우라도 여러 개의 평가지표를 사용하는 것이 바람직하다. 단일 지표를 성과평가에 사용하게 되면 연구환경이 혼탁해지거나 평가지표 값을 높게 받는 것 자체가 연구의 목적이 되는 상황을 초래할 수 있다(즉, 평가지표 자체가 연구 목표가 되어 버리는 것이다). 한 예로 1990년대 호주 정부는 연구 기관에서 발표한 논문의 수에 크게 의존한 평가지표를 사용하여 대학의 연구비 지원을 결정하였다. 호주 대학들은 논문의 ‘가치’를 이 논문이 실린 학술지에 근거하여 연구비로 환산하여 계산할 수 있었다. 예를 들어, 2000년을 기준으로 한 논문의 연구비 가치가 호주달러로 800불(미국화폐로 약 480불)인 것으로 나타났다. 예상대로 호주 연구자가 발표한 논문의 수는 증가하였다. 하지만 그 논문들은 인용이 많이 되지 않는 저널에 실렸다. 즉, 논문의 수준은 하락하였다고 볼 수 있다10.
9) Recognize the systemic effects of assessment and indicators.
 Indicators change the system through the incentives they establish. These effects should be anticipated. This means that a suite of indicators is always preferable — a single one will invite gaming and goal displacement (in which the measurement becomes the goal). For example, in the 1990s, Australia funded university research using a formula based largely on the number of papers published by an institute. Universities could calculate the 'value' of a paper in a refereed journal; in 2000, it was Aus$800 (around US$480 in 2000) in research funding. Predictably, the number of papers published by Australian researchers went up, but they were in less-cited journals, suggesting that article quality fell10.

10. 정기적으로 평가지표를 철저히 검토하고 개정하라. 연구목표와 평가의 목적은 변화하고, 연구 시스템은 그와 함께 진화한다. 한때 유용했던 평가지표들이 부적절해질 수 있으며, 새로운 지표들도 등장한다. 연구성과 평가지표 시스템을 검토해야 하고 필요한 경우 개정해야 한다. 앞서 언급한 지나치게 단순화된 연구성과 평가 방식이 연구체계에 미친 영향을 알게 된 호주는 2010년에 연구 품질을 강조하는 다원화된 Excellence in Research for Australia 이니셔티브를 도입하였다.
10) Scrutinize indicators regularly and update them.
 Research missions and the goals of assessment shift and the research system itself co-evolves. Once-useful metrics become inadequate; new ones emerge. Indicator systems have to be reviewed and perhaps modified. Realizing the effects of its simplistic formula, Australia in 2010 introduced its more complex Excellence in Research for Australia initiative, which emphasizes quality.

향후 전망
Next steps

위의 열 가지 원칙 준수를 통해 연구성과평가는 과학의 발전과 과학과 사회간의 상호작용에 있어서 중요한 역할을 수행할 수 있을 것이다. 연구성과평가지표는 개인의 전문지식으로는 수집하거나 이해하기 어려운 중요한 정보를 제공할 수 있다. 그러나 평가지표가 제공하는 정량적 정보가 연구성과평가 도구에서 연구의 목적으로 바뀌어서는 안 된다.
Abiding by these ten principles, research evaluation can play an important part in the development of science and its interactions with society. Research metrics can provide crucial information that would be difficult to gather or understand by means of individual expertise. But this quantitative information must not be allowed to morph from an instrument into the goal.

견고한 통계 기법과 함께 평가 대상이 되는 연구의 목적과 본질을 신중하게 고려하였을 때 최선의 연구성과평가가 가능하다. 평가를 위해서는 정량적인 근거와 정성적인 근거 모두 필요하며, 이 둘은 각각의 방식으로 객관성을 지닌다. 학문에 관한 의사결정은 양질의 데이터를 바탕으로 한 양질의 평가 과정에 기초하여야 한다.
The best decisions are taken by combining robust statistics with sensitivity to the aim and nature of the research that is evaluated. Both quantitative and qualitative evidence are needed; each is objective in its own way. Decision-making about science must be based on high-quality processes that are informed by the highest quality data.

 

leidenmanifesto_kor.pdf
0.22MB

http://www.leidenmanifesto.org/

http://www.leidenmanifesto.org/translations.html

 


 

 

Nature. 2015 Apr 23;520(7548):429-31. doi: 10.1038/520429a.

 

 

Bibliometrics: The Leiden Manifesto for research metrics

Affiliations collapse

1Georgia Institute of Technology, Atlanta, Georgia, USA.

2Centre for Science and Technology Studies, Leiden University, the Netherlands.

3Spanish National Research Council and the Polytechnic University of Valencia, Spain.

PMID: 25903611

DOI: 10.1038/520429a

 

No abstract available

샌프란시스코 연구 평가 선언

San Francisco Declaration on Research Assessment

 
 

과학자의 연구 성과를 평가하는 방식이 개선되어야 한다는 요구가 날로 커지고 있다. 이를 논의 하기 위하여 2012년 12월 16일, 캘리포니아주 샌프란시스코에서 열린 미국세포생물학회(American Society for Cell Biology) 연례 회의에 몇몇 학술지 편집자들과 출판인들이 모였다. 이들이 만든 제안서를 ‘연구 평가에 관한 샌프란시스코 선언(San Francisco Declaration on Research Assessment)’이라 부른다. 영문 약어로 DORA인 이 선언을 우리는 ‘새로운 연구 평가 선언’이라 부르고자 한다. 우리는 모든 과학 분야의 이해관계자들이 이 선언에 그들의 이름을 올려 함께 지지해 주길 바란다.

과학 연구의 성과물은 매우 방대하고 다양하다. 이 성과는 새로운 내용 (지식, 데이터, 시료, 소프트웨어)을 담은 학술 논문, 지적 재산권, 그리고 고도로 숙련된 젊은 과학자들을 양성하는 것을 포함한다. 연구 성과의 질과 영향력은 연구비를 지원하는 기관들이나 과학자를 고용하는 연구소들, 그리고 과학자들 간에서도 끊임없이 평가된다. 따라서 이러한 평가 방법은 정확하면서도 현명하게 이루어 져야 한다.

연구 성과를 평가할 때 가장 많이 사용하는 주요 지표는 학술지 인용지수(Journal Impact Factor; JIF; 임팩트 팩터)다. 톰슨 로이터(Thomson Reuters) 사가 만든 이 지표는 본래 도서관 사서들이 도서관에 비치할 학술지를 구매하는데 참고하도록 만들어진 것으로, 어떤 연구 논문의 과학적 질을 평가하기 위한 것은 아니었다. 그러므로 연구 성과를 평가하는 도구로 현재 흔히 쓰이는 이 학술지 인용지수에는 몇 가지 결함이 있다는 점을 꼭 이해해야 한다. 그 한계는 다음과 같다.

  • A) 학술지 내의 개별 논문의 인용 분포가 극단적으로 왜곡되어 있다[1-3];
  • B) 학술지 인용지수의 특성이 각 분야마다 다르다. 게다가 인용지수는 학술논문과 종설논문 등 여러 종류의 글을 복합적으로 아우른 결과이다[1,4];
  • C) 학술지 인용지수는 편집 방침에 따라 조작될 수 있다[5];
  • D) 학술지 인용지수를 계산하는 데 사용되는 자료의 공개가 투명하지 않고, 대중이 쉽게 구할 수 없다[4,6,7].

따라서 연구 성과의 질을 평가하는 방식을 개선할 것을 다음과 같이 제안한다. 우리는 앞으로 연구 성과를 입증하는 데 연구 논문만이 아닌 다른 성과들의 비중 역시 커지길 바란다. 여전히 동료 평가(peer-reviewed)를 기반으로 하는 학술 논문은 연구 성과를 평가하는 핵심 요소가 될 것이다. 그러므로 우리의 제안은 동료 평가를 기반으로 한 학술 논문을 중심으로 하되, 논문만이 아니라 기초 데이터와 같은 결과물들도 중요한 연구 성과로 포함될 수 있도록 확대하자는 것이다. 이 제안은 연구비 지원 기관, 연구 기관, 학술지, 각종 학술 지표를 제공하는 단체, 그리고 개별 연구자 모두를 대상으로 한다. 

본 제안에는 다음과 같은 세부 주제가 있다.

  • 연구비 책정, 고용, 승진 등을 심사할 때 학술지 인용지수(IF)와 같이 학술지 지표 사용을 제한할 필요성
  • 연구 평가시 그 연구가 출간된 학술지가 아니라 그 자체의 가치로 평가할 필요성
  • 논문의 온라인 출간을 장려할 필요성 (논문의 글자 수, 그림 수, 참고문헌 수의 불필요한 제한이 사라지고, 연구의 영향력과 중요성을 판단할 새로운 지표를 확인할 기회 등)

우리는 여러 연구비 지원 기관, 연구 기관, 학술지 출판사, 그리고 연구자들이 이미 연구 평가시 개선안을 장려하고 있는 것을 알고 있다. 그런 노력들은 더 정교하고 의미 있는 연구 평가 방식을 위한 첫걸음이자 앞으로 주요 구성원들 모두가 함께 정립할 평가 방식의 기반이 될 것이다.

‘연구 평가에 관한 샌프란시스코 선언’의 서명인들은 연구 평가에서 다음의 지침을 행동으로 옮기는 것을 지지한다.

일반 제언

  1. 학술지 인용지수(JIF)와 같이 학술지 자체의 지표를 과학자 개인의 기여도나 임용, 승진, 연구비 수여 결정을 위해 연구 논문의 품질을 평가하는 대리 지표로 사용하지 않는다.

연구비 지원 기관들은

  1. 연구비를 신청하는 이들에게 과학적 생산성을 평가하는 기준을 명확하게 설명하고, 특히 경력이 짧은 연구자들에게는 학술 논문에 담긴 과학적 내용이 출판 지표나 그 논문이 발표된 학술지의 정체성보다 훨씬 중요하다는 것을 분명히 알린다.
  2. 연구 평가를 위해 학술 논문만이 아니라 기초데이터나 소프트웨어 등 모든 연구 결과물의 영향력과 가치를 고려한다. 나아가 정책 결정이나 실생활에 미치는 영향력처럼 연구 결과가 가져올 영향을 정성적으로 판단할 수 있는 지표들을 두루 고려한다.

연구 기관들은

  1. 경력이 짧은 초기 단계 연구자들에게 출판 지표나 논문이 발표된 학술지의 정체성보다 논문의 과학적 내용이 중요하다고 설명하고, 연구 기관 고용, 테뉴어 결정, 승진 결정 등의 기준을 명확히 밝힌다.
  2. 연구 평가 시 학술 논문만이 아니라 모든 연구 성과물 (데이터셋이나 소프트웨어 등)의 영향력과 가치를 고려한다. 나아가 정책 결정이나 실생활에 미치는 영향 등 연구의 파급력을 정성적으로 판단할 수 있는 지표들을 두루 고려한다.

출판사들은

  1. 학술지 인용지수를 홍보용으로 강조하는 것을 현저히 줄인다. 이상적으로는 인용지수 홍보를 멈추거나 학술지의 성과를 보다 풍부하게 제공할 수 있도록 인용지수를 다른 학술지 기반 지표(5년간 인용지수, Eigen지수, SCImago, h-index, 학술지의 편집 및 출간 기간 등)들과 함께 보여준다.
  2. 개별 논문의 성과를 보여주는 여러 지표들을 제공함으로써 논문이 발표된 학술지 출판 지표보다 개별 논문의 과학적 내용을 바탕으로 평가되도록 변화를 촉진한다.
  3. 책임감 있는 저자권 습관을 촉구하고 저자들의 구체적인 기여도 정보를 제공하게 한다.
  4. 개방형(open-access) 학술지와 구독형(subscription-based) 학술지 모두에 대하여 학술 논문 내 참고문헌 목록에 대한 재사용 제한을 모두 제거하고 이를 크리에이티브 커먼즈 퍼블릭 도메인 기증(Creative Commons Public Domain Dedication) 라이선스로 모두에게 공개한다.
  5. 학술 논문에 쓸 수 있는 참고문헌 개수 제한을 없애거나 줄이고, 가능하다면 해당 사실을 처음으로 보고한 사람들이 인정받을 수 있게 리뷰논문 대신 1차 저작물을 인용하게 한다.

지표를 제공하는 단체들은

  1. 지표를 계산하는 모든 방법과 사용한 자료들을 제공하여 투명성을 유지한다.
  2. 자료를 제공하되 제한 없이 재사용할 수 있게 하고, 가능하면 개인이 자료를 가지고 직접 계산을 할 수 있게 한다.
  3. 평가를 위해 학술지의 여러 지표를 부적절하게 조작하는 것은 절대 허용되지 않음을 명확히 한다. 부적절한 조작이 정확히 무엇인지, 그리고 이에 대응하기 위해 어떤 조치들을 취할 것인지 명백히 한다.
  4. 학술지 지표를 사용하고, 집계하고, 비교할 때에는 글의 종류가 다름을 염두에 두고(종설 논문과 학술논문), 학술 분야마다의 차이도 고려한다.

개별 연구자들은

  1. 연구비 수여, 고용, 테뉴어, 혹은 승진을 결정하는 위원회에 소속되어 있을 때에는 평가의 기준을 출판 지수가 아니라 과학적 내용으로 한다.
  2. 가능한 한 인정을 받아야 할 이가 인정받을 수 있도록, 리뷰보다는 관찰 결과가 처음으로 보고된 1차 저작물을 인용한다.
  3. 자기 소개서 등을 쓸 때는 출간된 논문의 영향력과 다른 연구 성과를 다양한 개별 논문 지수나 지표 등을 이용해 보여준다.
  4. 학술 인용지수에만 부적절하게 의존하는 연구 평가 방식에 이의를 제기하고, 특정 연구 성과의 가치와 영향력에 초점을 두는 최선의 방식을 가르치고 홍보한다.

 

There is a pressing need to improve the ways in which the output of scientific research is evaluated by funding agencies, academic institutions, and other parties.To address this issue, a group of editors and publishers of scholarly journals met during the Annual Meeting of The American Society for Cell Biology (ASCB) in San Francisco, CA, on December 16, 2012. The group developed a set of recommendations, referred to as the San Francisco Declaration on Research Assessment. We invite interested parties across all scientific disciplines to indicate their support by adding their names to this Declaration.

The outputs from scientific research are many and varied, including: research articles reporting new knowledge, data, reagents, and software; intellectual property; and highly trained young scientists. Funding agencies, institutions that employ scientists, and scientists themselves, all have a desire, and need, to assess the quality and impact of scientific outputs. It is thus imperative that scientific output is measured accurately and evaluated wisely.

The Journal Impact Factor is frequently used as the primary parameter with which to compare the scientific output of individuals and institutions. The Journal Impact Factor, as calculated by Thomson Reuters*, was originally created as a tool to help librarians identify journals to purchase, not as a measure of the scientific quality of research in an article. With that in mind, it is critical to understand that the Journal Impact Factor has a number of well-documented deficiencies as a tool for research assessment. These limitations include:

  • A) citation distributions within journals are highly skewed [1–3];
  • B) the properties of the Journal Impact Factor are field-specific: it is a composite of multiple, highly diverse article types, including primary research papers and reviews [1, 4];
  • C) Journal Impact Factors can be manipulated (or “gamed”) by editorial policy [5]; and
  • D) data used to calculate the Journal Impact Factors are neither transparent nor openly available to the public [4, 6, 7].

Below we make a number of recommendations for improving the way in which the quality of research output is evaluated. Outputs other than research articles will grow in importance in assessing research effectiveness in the future, but the peer-reviewed research paper will remain a central research output that informs research assessment. Our recommendations therefore focus primarily on practices relating to research articles published in peer-reviewed journals but can and should be extended by recognizing additional products, such as datasets, as important research outputs. These recommendations are aimed at funding agencies, academic institutions, journals, organizations that supply metrics, and individual researchers.

A number of themes run through these recommendations:

  • the need to eliminate the use of journal-based metrics, such as Journal Impact Factors, in funding, appointment, and promotion considerations;
  • the need to assess research on its own merits rather than on the basis of the journal in which the research is published; and
  • the need to capitalize on the opportunities provided by online publication (such as relaxing unnecessary limits on the number of words, figures, and references in articles, and exploring new indicators of significance and impact).

We recognize that many funding agencies, institutions, publishers, and researchers are already encouraging improved practices in research assessment. Such steps are beginning to increase the momentum toward more sophisticated and meaningful approaches to research evaluation that can now be built upon and adopted by all of the key constituencies involved.

The signatories of the San Francisco Declaration on Research Assessment support the adoption of the following practices in research assessment.

General Recommendation

1. Do not use journal-based metrics, such as Journal Impact Factors, as a surrogate measure of the quality of individual research articles, to assess an individual scientist’s contributions, or in hiring, promotion, or funding decisions.

For funding agencies

2. Be explicit about the criteria used in evaluating the scientific productivity of grant applicants and clearly highlight, especially for early-stage investigators, that the scientific content of a paper is much more important than publication metrics or the identity of the journal in which it was published.

3. For the purposes of research assessment, consider the value and impact of all research outputs (including datasets and software) in addition to research publications, and consider a broad range of impact measures including qualitative indicators of research impact, such as influence on policy and practice.

For institutions

4. Be explicit about the criteria used to reach hiring, tenure, and promotion decisions, clearly highlighting, especially for early-stage investigators, that the scientific content of a paper is much more important than publication metrics or the identity of the journal in which it was published.

5. For the purposes of research assessment, consider the value and impact of all
research outputs (including datasets and software) in addition to research publications, and consider a broad range of impact measures including qualitative indicators of research impact, such as influence on policy and practice.

For publishers

6. Greatly reduce emphasis on the journal impact factor as a promotional tool, ideally by ceasing to promote the impact factor or by presenting the metric in the context of a variety of journal-based metrics (e.g., 5-year impact factor, EigenFactor [8], SCImago [9], h-index, editorial and publication times, etc.) that provide a richer view of journal performance.

7. Make available a range of article-level metrics to encourage a shift toward assessment based on the scientific content of an article rather than publication metrics of the journal in which it was published.

8. Encourage responsible authorship practices and the provision of information about the specific contributions of each author.

9. Whether a journal is open-access or subscription-based, remove all reuse limitations on reference lists in research articles and make them available under the Creative Commons Public Domain Dedication [10].

10. Remove or reduce the constraints on the number of references in research articles, and, where appropriate, mandate the citation of primary literature in favor of reviews in order to give credit to the group(s) who first reported a finding.

For organizations that supply metrics

11. Be open and transparent by providing data and methods used to calculate all metrics.

12. Provide the data under a licence that allows unrestricted reuse, and provide computational access to data, where possible.

13. Be clear that inappropriate manipulation of metrics will not be tolerated; be explicit about what constitutes inappropriate manipulation and what measures will be taken to combat this.

14. Account for the variation in article types (e.g., reviews versus research articles), and in different subject areas when metrics are used, aggregated, or compared.

For researchers

15. When involved in committees making decisions about funding, hiring, tenure, or promotion, make assessments based on scientific content rather than publication metrics.

16. Wherever appropriate, cite primary literature in which observations are first reported rather than reviews in order to give credit where credit is due.

17. Use a range of article metrics and indicators on personal/supporting statements, as evidence of the impact of individual published articles and other research outputs [11].

18. Challenge research assessment practices that rely inappropriately on Journal Impact Factors and promote and teach best practice that focuses on the value and influence of specific research outputs.

 

 


출처: https://sfdora.org/read/read-the-declaration-korean/

출처: https://sfdora.org/read/

지나칠 정도로(Adv Health Sci Educ Theory Pract. 2023)
To a fault
Kevin W. Eva1

 

저는 조지 한천입니다. 지금까지 저를 어떻게 생각하시나요? 장인어른이 수없이 기뻐하시며 말씀하셨던 이 대사는 많은 사람이 첫인상에 대해 갖는 매력과 직관을 아름답게 요약합니다. 첫인상은 매우 강력하기 때문에 효과적인 네트워킹에 관한 모든 워크숍과 영업 입문 과정에서는 '첫인상을 남길 기회는 두 번 다시 없다'며 새로운 상호작용에 대한 접근 방식을 세심하게 만드는 것이 얼마나 중요한지 강조합니다. 기초적인 글쓰기 조언도 마찬가지로 '첫머리를 묻지 말라'는 격언처럼 관심을 빠르게 사로잡는 것이 얼마나 중요한지 강조합니다. 두 가지 권장 사항 모두 사람들이 바쁘고 주의력이 덧없다는 사실에 내재된 부인할 수 없는 위험을 올바르게 강조합니다(Eva, 2013). 
I’m George Agar. How do you like me so far? That line, said countless gleeful times by my father-in-law, beautifully sums up the fascination and intuitions many have with first impressions. They are considered so powerful that every workshop on effective networking and every introductory sales course stresses how important it is to finely craft one’s approach to a new interaction: You never get a second chance to make a first impression!’ Foundational writing advice similarly emphasizes how critical it is to capture interest quickly, for instance in the aphorism: Don’t bury the lede!’ Both recommendations rightly highlight the undeniable risk inherent in the facts that people are busy and attention is fleeting (Eva, 2013).

마찬가지로 부인할 수 없는 사실은 첫인상이 영향력을 발휘하기 위해 노력할 필요가 없다는 것입니다. 첫인상은 매우 빠르게 형성되기 때문에 첫인상을 막을 수 없다는 것입니다. 윌리스와 토도로프(2006)의 고전적인 연구에 따르면 얼굴은 일관된 생각으로 인상을 표현하는 것보다 더 빠른 밀리초 이내에 판단된다고 합니다. 의학계에서는 의사들이 새로운 환자를 접한 후 몇 초 안에 가능성을 언급하기 시작할 정도로 빠르게 진단을 내리는 것으로 오랫동안 알려져 왔습니다(Barrows et al., 1982). 
Equally undeniable is that we need not seek to use first impressions for them to be influential; they form so rapidly that early impressions cannot be prevented. Classic work by Willis & Todorov (2006) suggested that faces are judged within milliseconds, faster than one could express their impression with a coherent thought. In medicine, it has long been known that physicians formulate diagnoses so quickly they start naming possibilities within seconds of encountering a new patient (Barrows et al., 1982).

이러한 속도에 따른 편견과 오류의 위험 때문에 의료 전문가 교육에서 첫인상이 의사 결정에 어떤 영향을 미칠 수 있는지 이해하는 것이 필수적입니다. 이러한 이유로 이번 호에 게재된 첫인상과 면접 평가의 관계에 대한 Klusmann, Knorr, Hampe의 연구(2022)와 같은 연구는 환영할 만한 연구인 동시에 더욱 확대되어야 할 필요가 있습니다. 
The risks of bias and error that such speed creates make it essential that we in health professional education understand how first impressions can influence our decision-making. For that reason, work like Klusmann, Knorr and Hampe’s, (2022) exploration of the relationship between first impressions and interview ratings, published in this issue of Advances, is both welcome and in need of further expansion.

다행히도 우리는 더 많은 이해를 쌓을 수 있는 탄탄한 토대를 가지고 있습니다. 결국 개인의 첫인상은 심리학 및 경제학(Kahneman, 2011)과 의료 전문가 교육(Eva, 2005; Norman, 2005)에서 오랫동안 연구되어 온 빠르고 간결한 추론 과정의 한 형태에 불과합니다. 이러한 광범위한 문헌에서와 마찬가지로 첫인상과 관련된 증거는 첫인상이 필연적으로 판단에 해를 끼친다거나 휴리스틱 기반 추론이 오류의 주요 원인이라고 가정하는 데 주의해야 함을 시사합니다. 
Fortunately, we have a solid foundation on which to build greater understanding. First impressions of individuals, after all, are but one form of the fast and frugal reasoning processes that have been studied at length in psychology and economics (Kahneman, 2011) as well as health professional education (Eva, 2005; Norman, 2005). And, just as in those broader literatures, the evidence pertaining to first impressions suggests we must be careful about assuming they inevitably harm judgment or that heuristic-based reasoning is a dominant cause of error.

"얇은 조각"의 정보가 매우 정확한(효율적인 것은 말할 것도 없고) 의사 결정 수단을 제공할 수 있다는 Ambady와 Rosenthal(1992)의 연구 결과를 대중화시킨 것은 아마도 Gladwell의 Blink(2005)가 가장 큰 책임이 있을 것입니다. '블링크'는 아주 적은 정보로(즉, 눈 깜짝할 사이에) 형성된 인상이 신중한 분석에 기반한 의사 결정만큼, 또는 그보다 더 나은 의사 결정을 내릴 수 있음을 보여주는 다양한 연구를 한 단어로 요약한 것입니다. 그러나 비분석적 정신 과정의 힘을 강조하기 위해 책을 쓴 글래드웰조차도 첫인상에 의존할 수 있다는 점을 인정하는데, 특히 초기 반응을 지배하는 단서들이 오해의 소지가 있을 수 있기 때문입니다. 
Gladwell’s Blink (2005) is likely most responsible for popularizing Ambady and Rosenthal’s (1992) findings that “thin slices” of information can provide highly accurate (not to mention efficient) means of decision-making. “Blink” is a one-word summary of an array of research illustrating that impressions formed with very little information (i.e., in the blink of an eye) can be as good as, or better than, decisions based on careful analyses. In writing a book aimed at celebrating the power of non-analytic mental processes, however, even Gladwell admits that we can rely on first impressions to a fault, not least because the cues that dominate our initial reactions can be misleading.

제가 아는 한, '직관적 판단'(즉, 비분석적, 휴리스틱적, 인상에 기반한 판단)이 언제 우리를 잘못된 길로 이끌 가능성이 있는지에 대한 지침을 제공하는 가장 좋은 출처는 Kahneman & Klein(2009)입니다. 이 논문은 휴리스틱의 광범위한 사용이 전문가의 직관이라는 개념을 어떻게 약화시킬 수 있는지에 대한 카네만의 노벨상 수상 연구와 전문성의 놀라운 업적을 보여주는 클라인의 자연주의적 의사 결정에 대한 연구를 조화시키려는 저자들의 노력을 요약한 것입니다. 두 저자의 세계관에는 큰 차이가 있지만, 직관적 판단의 정확성을 높이려면 (1) 환경의 예측 가능성과 (2) 환경의 규칙성을 학습할 기회가 필요하다는 결론은 일치했습니다. 
To my knowledge, Kahneman & Klein (2009) remains the best source of guidance as to when “intuitive judgments” (i.e., those based on non-analytic, heuristic-based, impressions) are likely to lead us astray. That paper summarizes the authors’ effort to reconcile Kahneman’s Nobel winning research on how prevalent use of heuristics can undermine the notion of expert intuition with Klein’s research on naturalistic decision making that reveals astonishing feats of expertise. Despite the appearance of vast differences in their worldviews, the authors aligned in their conclusion that intuitive judgment accuracy requires (a) predictability in the environment and (b) opportunity to learn its regularities.

첫 번째 기준과 관련하여 클루스만, 크노르, 햄페가 연구를 수행한 맥락이 '예측 가능한' 것으로 간주될 수 있는지 여부를 판단하는 것은 첫인상보다 더 어렵습니다. 이들의 다중 미니 인터뷰(MMI)는 '사회적 역량'을 측정하기 위한 것으로, 미래 행동에 대한 완벽한 예측은 고사하고 이러한 자질의 전체 복잡성을 측정할 수 있는 도구는 없다고 확신할 수 있습니다. 사실 맥락은 매우 중요하기 때문에 특정 역량이 단순한 레이블이 암시하는 것처럼 고결한 것이라고 가정해서는 안 됩니다(Grant & Schwartz, 2011). 우리는 지원자가

  • 자신감이 있기를 바라지만, 자신감이 결점(자기애)이 될 수도 있고,
  • 회복탄력성이 있기를 바라지만, 회복탄력성이 결점(경직성)이 될 수도 있고,
  • 친절하기를 바라지만, 친절함이 결점(복종성)이 될 수도 있고,
  • 이타심을 원하지만, 이타심이 결점(자기 부정성)이 될 수도 있습니다. 

With respect to the first criterion, determining whether the context in which Klusmann, Knorr and Hampe did their work can be deemed ‘predictable’ is more difficult than first impressions might suggest. Their Multiple Mini Interview (MMI) was intended to measure “social competence” and we can be quite confident there is no tool that could ever measure the full complexity of such qualities let alone make perfect prediction about future behaviour. Context is so important, in fact, that we should not even assume any given competence to be as virtuous as a simple label might suggest (Grant & Schwartz, 2011).

  • We want candidates to be confident, but one can be confident to a fault (narcissism);
  • we want them to be resilient, but one can be resilient to a fault (rigid);
  • we want kindness, but one can be kind to a fault (obsequious); and,
  • we want altruism, but one can be altruistic to a fault (self-denying).

판단에 기반한 평가 상황에서는 기껏해야 특정 시점에 개인이 바람직한 수준의 미덕을 어느 정도 드러내는지에 대한 평가자의 관점을 측정할 수 있을 뿐입니다. 이러한 상황에서 '예측 가능성'이 유용하기 위해서는 미래에 일어날 모든 일을 예측할 수 있는 능력을 의미할 필요는 없으며, 예측 가능성은 보다 근본적으로 여러 상황 내에서 또는 여러 상황 간에 서로 다른 행동 간에 어떤 상관관계가 존재하는지 이해하는 것을 의미합니다. MMI 스테이션의 초반에 하는 행동(또는 표시)이 나중에 같은 스테이션에서 하는 행동을 의미 있게 예측할 수 있다면, 해당 스테이션에서의 성과는 첫인상으로부터 '예측 가능'하다고 간주해야 합니다. 마찬가지로, MMI 스테이션 모음에서 수집한 비교적 "얇은" 조각에서 나타난 행동이 다른 사람과 얼마나 쉽고 빠르게 친밀감과 신뢰를 쌓을 수 있는지와 관련이 있다면, 이러한 첫인상은 훈련이 완료된 후 바람직한 역량을 발휘할 가능성에 관한 귀중한 (불완전하더라도) 정보원이 될 수 있습니다(Eva 외., 2012).
At best, in any judgment-based assessment situation, we might ably measure raters’ perspectives on the extent to which an individual reveals a desirable level of demonstrable virtues at that given moment in time. To be useful, ‘predictability’ in such situations need not refer to the capacity to anticipate everything that will happen in the future; rather, predictability is more fundamentally about understanding where correlations exist between different behaviours within or across different situations. If what one does (or displays) early in an MMI station meaningfully anticipates what they do later in the same station, their performance in that station should be considered “predictable” from first impressions. Similarly, if the behaviours demonstrated in the still relatively “thin” slices gathered from a collection of MMI stations relate to how easily or quickly one can build rapport and trust with others, those first impressions may serve as a valuable (even if imperfect) source of information regarding the likelihood of exhibiting desirable competencies after training is completed (Eva et al., 2012).

환경 규칙에 대해 학습할 수 있는 역량은 어떨까요? 대부분의 경우 면접 상황에서 평가자는 관찰과 장기적인 결과 사이의 관계에 대한 피드백을 거의 또는 전혀 받지 못합니다. 안타깝게도 인터뷰 환경에서 시간을 들여 "두꺼운" 정보 조각을 만든다고 해서 이 문제가 해결되지는 않습니다. 면접 시간이 길어지면 만나는 지원자의 수가 줄어들어 규칙성에 대해 배울 수 있는 기회가 줄어들 뿐만 아니라, Ambady와 Rosenthal(1992)의 연구에서 입증된 것처럼 면접 시간이 길어지면 새로운 정보를 추가하기보다는 평가자의 자신감을 강화하는 데 더 많은 영향을 미칩니다. 물론 사람들이 첫인상을 조정할 수는 있지만, 주어진 상황에서의 성과는 초기부터 후기까지 충분히 일관된(즉, 예측 가능한) 경향이 있기 때문에 평가자의 조정 능력을 테스트하기 위한 연구에서는 첫인상을 강화하는 후기 순간의 어려움을 극복하기 위해 실험적으로 자극을 조작하는 경향이 있습니다(예: Wood et al., 2018; Eva & Cunnington, 2006).
What though of the capacity to learn about environmental regularities? In most circumstances, raters in interview contexts receive little to no feedback regarding the relationship between their observations and long-term outcomes. Unfortunately, taking the time to create “thicker” slices of information within interview settings will not address that issue. Not only do longer interviews reduce the number of applicants one encounters, thus reducing opportunity to learn about regularities, but as Ambady and Rosenthal’s (1992) work demonstrated, longer interviews do more to reinforce raters’ confidence than they do to add new information to the mix. It is possible, of course, for people to adjust their first impressions, but performance within a given situation tends to be consistent (i.e., predictable) enough from early to late stages that studies aimed at testing raters’ capacity to adjust tend to rely on experimentally manipulating stimuli to overcome the challenge of later moments reinforcing first impressions (e.g., Wood et al., 2018; Eva & Cunnington, 2006).

즉, 상황 간(서로 다른 인터뷰 포함) 성과는 일관성이나 예측 가능성이 거의 없는 경향이 있는데, 이러한 현상을 맥락 특이성이라고 합니다(Eva et al., 1998). 이러한 강력한 현상이 존재한다는 점을 고려할 때, 면접관에게 [관찰과 장기적인 성과 사이의 규칙성]에 대해 가르치려는 노력은 [개인에 대한 관찰 횟수가 적을수록 규칙성을 학습할 가능성이 낮기 때문에] 잘못된 것입니다. 클루스만, 크노르, 햄페는 결과의 가치를 할인할 때 이 점을 인식하고 두-스테이션 OSCE를 사용했습니다. 대신 MMI 프로세스는 한 평가자의 약점은 다른 평가자의 강점을 통해 보정될 수 있고, 그 반대의 경우도 마찬가지이기 때문에 진정한 '예측 가능한' 인상을 수집하기 위해서는 여러 개의 얇은 조각을 함께 겹쳐야 한다는 개념에 기반하고 있습니다. 이 개념은 다양한 방식으로 언급되지만, 질적 연구에서 삼각측량 논리의 핵심이며(Carter et al., 2014), 진단 오류에 대한 스위스 치즈 모델(Reason, 2000), 충분한 정보가 수집될 때까지 프로그램 평가에서 의사 결정을 보류하라는 조언(Schuwirth & van der Vleuten, 2012), 샘플링 전략을 활용하여 유용성을 높이는 기타 평가 방법론(Eva, 2018)의 핵심이기도 합니다. 
That said, performance between situations (including different interviews) tends not to be nearly as consistent or predictable, a phenomenon widely known as context specificity (Eva et al., 1998). Given the existence of that robust phenomenon, efforts to teach interviewers about regularities between their observations and longer-term performance would be misplaced because the fewer the observations one has made about an individual the less likely it is that regularities exist to be learned. Klusmann, Knorr and Hampe recognize this when they discount the value of their outcome – a two-station OSCE. MMI processes, instead, are built upon the notion that layering many thin slices together is necessary to gather truly ‘predictive’ impressions because weaknesses in one rater’s impressions can be corrected through strengths in the impressions of others (and vice versa). While spoken about in many different ways, this concept is the essence of triangulation logic in qualitative research (Carter et al., 2014), the Swiss cheese model of diagnostic error (Reason, 2000), the advice to withhold decision-making in programmatic assessment until sufficient information has been gathered (Schuwirth & van der Vleuten, 2012), and any other assessment methodology that draws upon sampling strategies to increase their utility (Eva, 2018).

요약하자면, 첫인상은 결함이 있을 수 있지만, 더 많은 상호작용을 통해 형성된 인상도 결함이 있을 수 있으며, 이는 우리가 첫인상을 보완하지 않는다면 주로 첫인상을 지나칠 정도로 신뢰한다는 것을 시사합니다. 그러나 가장 가치 있는 보완은 [첫인상을 무시하려는 노력]에서 오는 것이 아니라, 다양한 맥락에서 다양한 사람들이 형성한 많은 인상을 먼저 보려는 노력에서 오는 것일 수 있습니다(Eva, 2018). 결국 판단의 지혜는 판단의 근거가 되는 정보의 포괄성보다는 수집된 인상의 수, 독립성, 그리고 그 인상이 나온 사람들의 다양성에 따라 성장합니다(Surowiecki, 2004).

In sum, first impressions can be flawed, but so can impressions formed from more extended interactions, which suggests that we trust our early intuitions to a fault primarily when we fail to supplement them. The most valuable supplementation, however, may not come from effort to discount one’s first impression so much as it comes from effort to look across many impressions, first or otherwise, formed by a variety of people in a variety of contexts (Eva, 2018). Wisdom of judgment, after all, grows with the number of impressions collected, their independence, and the diversity of people from whom they came, rather than from the comprehensiveness of information on which judgments are based (Surowiecki, 2004).


 

 

Adv Health Sci Educ Theory Pract. 2023 May;28(2):537-540. doi: 10.1007/s10459-022-10181-z. Epub 2022 Nov 30.

 

 

To a fault

Affiliations collapse

1Centre for Health Education Scholarship, University of British Columbia, Vancouver, Canada. kevin.eva@ubc.ca.

PMID: 36449112

DOI: 10.1007/s10459-022-10181-z

Abstract

Are first impressions misleading? This commentary explores that question by drawing on the more general cognitive psychology literature aimed at understanding when, why, and how any non-analytic reasoning process can help or hurt decision-making.

보건전문직교육에서 '알아채기': 관심을 줄 시간? (Med Educ, 2022)
‘Noticing’ in health professions education: Time to pay attention?
Tim Clement | Joanne Bolton | Leonie Griffiths | Carolyn Cracknell | Elizabeth Molloy

 

 

모든 실천의 핵심은 눈에 띄는 것입니다.
At the heart of all practice lies noticing.

John Mason

1 소개
1 INTRODUCTION

"무엇을 알아차렸습니까?"라는 질문은 일반실무 임상교육자들이 직장에서 가르치는 동료의 비디오 발췌본을 시청한 후 던진 질문입니다.1 우리는 각 답변을 '알아차림'이라고 불렀는데, 이는 교사 교육 문헌에서 차용한 용어입니다2 그리고 다듬어지지 않은 '알아차림'은 그들의 답변을 총체적으로 지칭하기 위해 불렀습니다. 거의 같은 시기에 루니와 바우드3는 학생 간호사들이 시뮬레이션 활동의 특정 측면을 '주목'하도록 유도하는 방법을 설명하고 '주목의 교육학'을 개발하기 위한 근거를 설명했습니다. 
‘What did you notice?’, a question we asked of general practice clinical educators after they had watched video excerpts of their colleagues teaching in the workplace.1 We called each answer a ‘noticing’—a term that we had borrowed from the teacher education literature2—and the unpolished ‘noticings’ to refer to their answers in the aggregate. At about the same time Rooney and Boud3 described how student nurses were prompted to ‘notice’ particular aspects of a simulation activity and outlined a rationale for the development of a ‘pedagogy of noticing’.

그렇다면 '주목하다'는 것은 무엇을 의미할까요? 이 단계에서는 '인식하다'라는 사전적 정의로 충분합니다.4 우리는 보고, 듣고, 만지고, 맛보고, 냄새 맡는 등 외부 감각을 통해 사물을 인식하거나 생각과 감정 등 내부 감각을 통해 내면에서 일어나는 일을 인식하게 됩니다. 하지만 우리는 쏟아지는 감각 정보 중 일부만 인식할 수 있습니다. 우리가 효과적으로 기능하기 위해서는 '넘쳐나고 윙윙거리는 감각 데이터의 혼란'(5페이지)5을 걸러내야 합니다. 이러한 필터링은 '관련성 있는' 정보를 전면에 내세우고 '관련성 없는' 정보를 배경으로 밀어내어 우리가 알아차리는 것을 조절합니다.6 
But what does it mean ‘to notice’? At this stage, a dictionary definition—‘to become aware of’—will suffice.4 We become aware of things that we have seen, heard, touched, tasted or smelled (i.e. through our external senses) or become aware of what is happening within ourselves (i.e. through our internal senses), such as thoughts and feelings. Yet we only become aware of a proportion of the sensory information that we are bombarded with. We must filter the ‘blooming, buzzing confusion of sensory data’ (p. 5)5 in order to function effectively. This filtering regulates what we notice, foregrounding ‘relevant’ information and pushing ‘irrelevant’ information into the background.6

이 논문에서는 수학 및 과학 교육에서 '주목하기'가 어떻게 연구되고 적용되었는지 살펴보고, 보건 전문직 교육에서 이와 유사한 초점을 맞추는 것이 어떤 이점을 가져다줄 수 있는지에 대해 논의합니다. 우리는 보건 전문직(및 보건 전문가)의 학습자가 직업적 삶과 개인적 삶 모두에서 '사물'을 더 민감하게 알아차릴 수 있도록 '알아차리기'에 대해 가르칠 수 있는 사례를 제시합니다. 
In this paper, we examine how ‘noticing’ has been investigated and applied in mathematics and science education and deliberate on the benefits of a similar focus in health professions education. We make the case for teaching learners in the health professions (and health professionals) about noticing, so that they are more sensitised to notice ‘things’ in both their professional and personal lives.

보건 전문직 교육에서의 주목하기
Noticing in health professions education

교사 교육, 특히 수학 교육과 관련하여 '알아차리기'에 대한 상당한 문헌이 있지만 신경학,7 간호학,8 사회복지학9 및 대체의학에서 옹호되고 있음에도 불구하고 보건 전문직 교육에서는 이와 같은 관심을 얻지 못했습니다.10
Although there is a significant literature on ‘noticing’ in teacher education, particularly in relation to teaching mathematics, it has not garnered the same interest in health professions education despite advocacy in neurology,7 nursing,8 social work9 and alternative medicine.10

이러한 관심 부족의 한 가지 이유는 주목하는 것은 모든 사람이 일상생활을 하면서 하는 일이기 때문에,11 사람들이 거의 관심을 기울이지 않기 때문일 수 있습니다. 아인슈타인이 "물고기가 평생 헤엄치는 물에 대해 무엇을 알 수 있겠는가?"라고 말했듯이.12
두 번째 이유는 '관찰하다'와 같은 알아채기notice의 동의어가 임상 의사 결정, 임상 탐구, 임상 판단, 임상 관찰 및 임상 추론과 같이 잘 알려진 보건 전문직의 교육에 포함되어 있기 때문일 수 있습니다.13-15 '주목하기'에 새로운 것이 없으며 기존 교육과정에서 적절하게 다루고 있다는 인상을 줄 수 있습니다. 

One reason for this lack of interest could be that as noticing is something that everyone engages in as they go about their daily lives,11 they pay little attention to it. As Einstein noted, ‘What does a fish know about the water in which he swims all his life?’.12 
A second reason could be that synonyms for notice, such as ‘observe’, are embedded in the teaching of more well-known health professions' constructs, such as clinical decision-making, clinical inquiry, clinical judgement, clinical observation and clinical reasoning,13-15 giving the impression that there is nothing new about ‘noticing’ and that it is adequately addressed in extant curricula.

그러나 상반된 주장에 따르면 '알아차리기'에 대한 집중적인 관심이 시의적절할 수 있습니다. 예를 들어, Dossey10는 '눈치채지 못하는 것은 현대 문화에서 느슨한 바이러스'(225쪽)이며, 이는 의료 전문가들에게 사실이라면 환자에게 부정적인 결과를 초래할 것이라고 주장합니다.8 이와 관련하여 Gottlieb14은 '구조 실패'라는 문구는 의료 전문가가 환자의 상태를 악화시키는 '경고 신호'를 알아차리지 못한 결과를 설명하기 위해 의학 용어로 등장했다고 주장합니다. Dossey10는 젊은 의사들이 50년 전의 동시대 의사들보다 신체 검사에 대한 전문성이 떨어진다고 주장하며, Gottlieb14은 환자의 이야기를 듣는 것, 즉 환자가 말하는 것을 알아채는 것 역시 임상적 탐구 도구로서 비슷하게 쇠퇴했다고 말합니다. 이러한 단점에 대한 책임의 일부는 의료 전문가가 감각을 사용하여 알아차리는 것을 방해하는 기술과 임상 테스트에 의존하는 데 기인합니다.7 신경과학자인 수잔 그린필드는 디지털 기술의 사용 증가를 주의 집중 시간 단축, 대인 관계 공감 능력 저하, 의사소통 능력 악화와 연관시켰지만, 이러한 주장은 다른 의료 전문가들에 의해 반박되고 있습니다.16 
Yet competing claims suggest that a focused interest in ‘noticing’ might be timely. Dossey,10 for example, claims that ‘Not noticing is a virus that is loose in modern culture’ (p. 225), which, if true of the health professions, will have adverse outcomes for patients.8 Relatedly, Gottlieb14 argues that the phrase ‘failure to rescue’ appeared as a medical term to describe the consequences of health professionals failing to notice the ‘warning signs’ that lead to patients' conditions deteriorating. Dossey10 further claims that young doctors are less expert in performing physical examinations than their contemporaries of 50 years ago, and Gottlieb14 states that listening to patients' stories, that is, noticing what they say, has similarly declined as a clinical inquiry tool. Part of the blame for these shortcomings is attributed to the reliance on technology and clinical tests, which deters health professionals from using their senses to notice.7 The neuroscientist Susan Greenfield has linked the increased use of digital technologies to shorter attention spans, declining interpersonal empathy and worsening communication skills, although these claims have been disputed by other medical experts.16

정보 수집과 문제 해결을 위해 디지털 기술에 대한 의존도가 높아짐에 따라, 지난 10년 동안 특히 의료 분야에서 위임가능전문 활동의 확산을 통해 보건 전문직 학습자가 감독 없이 할 수 있는 일에 대한 관심이 높아졌습니다.17

  • 학습자가 감독 없이 의료행위를 맡겨서 수행에 대한 직접적인 관찰을 덜 받는다면, 학습자와 감독자 간에 실습에서 발견한 것에 대한 대화가 줄어들 수 있습니다.18
  • 이와 관련하여 연구자들은 자율성을 중시하는 의료 서비스 문화19 와 의료 서비스 제공자에게 효율성을 높여 서비스를 제공해야 한다는 압박(예: 교육 시간 단축 및 보건 전문직 교육 비용 절감 요구20)이 동시에 존재하는 곳에서는 '주목'에 대한 관찰 및 관찰 후 토론 기회가 드물다고 보고합니다.18, 21

코칭, 평가적 판단, 피드백, 반성적 실천 영역의 저자들은 학습자와 수퍼바이저가 '좋은 것'이 무엇이며 이 표준으로 나아가는 방법을 더 잘 이해하기 위한 방법으로 실천에 대한 '주목'을 공유하는 시간을 가질 것을 옹호합니다.22 크리스토스23 가 주장하듯이, 경험은 학습의 토대가 될 수 있지만, '경험을 지식으로 전환하기 위해 포착, 조사, 분석, 고려 및 부정해야 하기 때문에'(161쪽) 학습이 일어나는 것을 보장하지는 않습니다.
Along with this increased reliance on digital technologies to help collect information and solve problems, a focus on what learners in the health professions can do without supervision has received heightened attention over the last decade—particularly in medicine—through the spread of Entrustable Professional Activities.17 If learners receive less direct observation of performance, because they have been entrusted to practice unsupervised, then there may be fewer conversations between learners and supervisors about what they noticed in practice.18 Researchers relatedly report that in health service cultures that value autonomy,19 and where there are concurrent pressures on health providers to deliver services with increasing efficiency (e.g. calls for both shorter training time and reductions in the cost of health professions education20), that opportunities for observation and post-observation discussion of ‘noticings’ are scarce.18, 21 Authors in the domains of coaching, evaluative judgement, feedback and reflective practice advocate for learners and supervisors to have dedicated time to share their ‘noticings’ about practice as a way to better understand what ‘good’ looks like and how to migrate towards this standard.22 As Christos23 argues, experience may be the bedrock of learning, but it does not guarantee that learning will take place, as ‘experience has to be arrested, examined, analysed, considered and negated to shift it to knowledge’ (p. 161).

주목하기는 보건 전문직 교육에서 잠재적으로 유용한 구성요소라고 주장할 때, 우리는 그것이 완전히 새롭거나 이전의 아이디어와 무관하다고 주장하는 것이 아닙니다.5 보건 전문직은 항상 사물을 주목하도록 배워왔으며,2 '주목하기'가 관찰에서 비롯된다고 자명하게 자리매김한다면, 보건 전문직은 전통적으로 앞서 언급한 임상 능력의 전제조건으로 관찰 기술의 교육을 강조해왔습니다. 심리학 문헌에서 주목하기는 의식 이론과 기억 모델24에 등장하며, 바우드와 워커25는 직장에서 사람들이 어떻게 학습하는지에 대한 설명에 '주목하기'를 포함시켰습니다. 그러나 과거에는 개인적 탐구의 한 형태로서 주목하기의 발전보다는 주목해야 할 '사물'(예: 사물, 사건 및 세부 사항) 또는 학습해야 할 관련 지식에 중점을 두는 경향이 있었습니다. 
In making the case that noticing is a potentially useful construct in health professions education, we are not claiming it as entirely novel, nor unrelated to previous ideas.5 Health professionals have always been taught to notice things,2 and if we self-evidently position ‘noticing’ as arising from observation, then the health professions have traditionally emphasised the teaching of observational skills as a prerequisite for the aforementioned clinical abilities. Within the psychological literature, noticing appears in theories of consciousness and models of memory24; and Boud and Walker25 incorporated ‘noticing’ in their explication of how people learn in the workplace. However, past emphasis has tended to be on the ‘thing’ to be noticed (e.g. an object, incident and detail) or the related knowledge to be learned, rather than the development of noticing as a form of personal inquiry.

논문 개요
An outline of the paper

알아차림을 탐구하는 것이 왜 유용한지에 대한 사례를 제시한 후, 기초적인 '교사 알아차림' 문헌에서 논의를 계속하고 알아차림 어휘에 질서를 부여하여 알아차림, 감각화, 반응의 과정과 세 가지 유형의 알아차림을 구분합니다: 일반적, 전문적, 의도적(표 1). 다음으로, 보건 전문직 교육에서 학생들이 복잡한 상황을 특정한 방식으로 바라볼 수 있도록 지각의 틀을 개발하도록 사회화하는 방법을 간략하게 설명합니다. 우리는 이를 '보는 방식'전문적 주목하기라고 부르며 다른 개념과의 유사성에 주목합니다. 우리는 '교사 주목하기' 연구에서 이전 가능한 통찰력을 도출하는 것은 이질성 때문에 문제가 있다고 제안합니다. 우리는 보건 전문직 교육자가 학생들에게 특정한 것을 알아차리도록 가르치기 위해 사용하는 두 가지 광범위한 교수 전략, 즉 '지시적 알아차리기'와 '개방적 알아차리기'를 설명합니다. 우리는 의도적 주목하기의 핵심 과정인 표시하기, 기록하기, 감각화하기, 반응하기의 개요를 설명하고, 의도적 주목하기의 관행에 대해 배우는 것이 보건 전문직 학생들에게 도움이 될 것이며, 이는 학생들이 커리어 전반에 걸쳐 활용할 수 있을 것이라고 제안합니다. 현존하는 증거 기반이 없는 상황에서 의도적 주목하기의 실천을 가르치는 방법을 고려하고, 보건 전문직 학생을 대상으로 시범 운영 중인 모듈에 대해 설명하며, 보건 전문직이 얻을 수 있는 이점에 대해 추측해봅니다. 마지막으로, 보건 전문직 교육에 종사하는 동료들에게 이러한 아이디어의 유용성에 대해 함께 고민하고 토론해 보도록 초대합니다. 

Having made the case for why it might be useful to explore noticing, we continue our discussion in the foundational ‘teacher noticing’ literature and bring some order to the noticing lexicon, differentiating between the processes of noticing, sensemaking and responding and three types of noticing: Ordinary, Professional and Intentional (Table 1). Next, we outline how health professions education socialises students to develop perceptual frameworks so that they view complex situations in particular ways. We call this ‘way of seeingProfessional Noticing and note its similarity to other concepts. We suggest that drawing-out transferable insights from the ‘teacher noticing’ studies are problematic because of their heterogeneity. We describe two broad teaching strategies that health professions' educators employ to teach students to notice particular things: ‘directed’ and ‘open noticing’. We outline the core processes of Intentional Noticingmarking, recording, sensemaking and responding—and suggest that learning about the practices of Intentional Noticing would be of value to health professions students, which they will be able to draw on throughout their careers. In the absence of an extant evidence base, we consider how one might teach the practices of Intentional Noticing, describe a module we are piloting with health professions students and speculate about the benefits for the health professions. Finally, we invite our colleagues in health professions education to contemplate and debate the utility of these ideas.

2 주목하기의 핵심 개념과 과정
2 NOTICING—KEY CONCEPTS AND PROCESSES

'교사 주목하기' 연구는 교육 개혁의 맥락에서 시작되었으며, 이는 교사가 아동이 제기하는 아이디어에 집중하고 그에 따라 교육을 조정하는 특정 수학 교육 방식을 장려했습니다. 아동의 수학적 사고에 집중하는 것은 직관적인 연습이 아니며 교육 경험만으로는 성장할 수 없기 때문에 이러한 연구에서는 교사들이 아동의 수학적 사고에 주목하도록 유도함으로써 필요한 주목(및 감각화) 능력을 습득할 수 있는 전문성 개발 활동을 시도했습니다.2, 28
The ‘teacher noticing’ studies took off in the context of educational reform, which promoted a particular way of teaching mathematics, whereby teachers focus on ideas that children raise and subsequently adapt instruction. As focusing on children's mathematical thinking is not an intuitive practice, nor one that will grow from teaching experience alone, these studies trialled professional development activities to enable teachers to acquire the requisite noticing (and sensemaking) abilities by directing teachers to notice children's mathematical thinking.2, 28

예비 교사의 노티싱29 과 과학교육에서의 '교사 노티싱'27 에 대한 최근의 검토에 따르면, 이러한 초기 연구 이후 학계에서는 노티싱에 대한 일관되지 않은 개념화를 채택하고 서로 다른 이론적 관점으로 작업을 뒷받침해 왔으며, 이러한 과정은 어떤 용어든 주목을 받으면 가속화되는 프로세스이다. 표 2에는 '교사 노티싱' 연구에 사용된 주요 이론적 관점이 나와 있습니다.30
Recent reviews of prospective teachers' noticing29 and ‘teacher noticing’ in science education27 have underscored that, since these early studies, academics have employed inconsistent conceptualisations of noticing and underpinned their work with different theoretical perspectives: a process that accelerated once the term gained traction. Table 2 lists the main theoretical perspectives that have been employed in ‘teacher noticing’ studies.30

이러한 차이에도 불구하고, 수학자이자 수학교사 교육자인 존 메이슨26이 쓴 '주목하기의 훈련'31이라는 부제가 붙은 책과 수학 및 과학교육의 맥락에서 '주목하기 학습'2,32 및 전문적 주목하기28의 개념이 중요한 출판물 중 하나라는 데에는 동의하는 것 같습니다.
Despite these differences, there seems to be agreement that the book written by John Mason26 (a mathematician and educator of mathematics teachers31), subtitled ‘The discipline of noticing’, and the concepts of ‘Learning to Notice’2, 32 and Professional Noticing28—both in the context of mathematics and science education—are amongst the seminal publications.

그림 1은 '주목하기 문헌'을 특징짓는 '개념의 숲'에서 초기 클리어링을 시도한 것으로, 핵심 개념과 프로세스의 틀을 보여줍니다.
Figure 1 is our attempt to create an initial clearing in the ‘conceptual forest’ that characterises the ‘noticing literature’, which illustrates our framing of key concepts and processes.


앞서 언급했듯이 '주목하기'는 자연스러운 행위이며, 일상적인 용어로 '일상적 주목하기',28 '자연적 주목하기'11 및 '일반적 주목하기'라고 다양하게 불리는 사람들이 일상생활을 하면서 관찰하는 것을 말합니다.26 '일반적 주목하기'라는 용어를 사용하면 전문적인 전문성을 구성하는 '전문적 주목하기'와 구별할 수 있습니다.5 
As we mentioned earlier, ‘noticing’ is a natural act, and in day-to-day usage refers to the observations that people make as they go about their lives, variously referred to as ‘everyday noticing’,28 ‘natural noticing’11 and ‘ordinary noticing’.26 Using the term ‘ordinary noticing’ allows us to make a distinction from the ‘specialised’ or Professional Noticing that is a component of professional expertise.5

우리는 타이핑할 때 키가 딸깍거리는 소리나 환자의 바지 색깔과 같이 끊임없이 쏟아지는 감각 정보를 필터링해야 하기 때문에 어떤 요소에 주의를 집중하고 어떤 요소는 무시하며 어떤 요소는 완전히 놓치기도 합니다(즉, 우리가 알아차리는 것과 그렇지 않은 것이 존재합니다26). 이러한 정보를 필터링하는 방법은 개인의 가정, 교육, 과거 경험, 사건에 부여된 의미나 중요성 등 다양한 요소의 영향을 받습니다.14
As we have to filter the constant stream of sensory information, such as the click of the keys as we type, or the colour of a patient's trousers, we focus our attention on some elements, tune-out others and miss some completely (i.e. there are things that we notice and those that we do not26). How we filter this information is influenced by a range of factors, such as a person's assumptions, education, past experience and the meaning or significance attached to an event.14

사람들은 현상을 알아차려야만 현상을 이해할 수 있으며, 이를 통해 대응 여부와 방법을 결정할 수 있습니다.6 알아차림, 감각화, 대응의 과정은 종종 하나의 통합된 움직임으로 동시에 일어나는 것처럼 보이며,28 이러한 과정은 신속하고 상대적으로 무의식적인 전문성을 특징으로 하는 건전한 '순간적' 의사 결정을 뒷받침합니다.33 그러나 이러한 전문가 행동은 일반적으로 느리고 힘들게 시작하여 연습을 통해서만 흐름과 노력이 자연스럽게 이루어지게 됩니다. 신규 보건 전문직 학생의 눈치 채는 능력은, 특히 요구되는 업무가 까다롭거나 임상 배치 환경이 '잡음이 많은' 경우, 그들이 '하는' 일 중 자동화된 것이 거의 없기 때문에 더욱 저하됩니다.34
Only if people notice phenomena can they make sense of them; and in turn decide whether and how they are going to respond.6 The processes of noticing, sensemaking and responding often appear to happen simultaneously in a single, integrated move,28 and they underpin the sound ‘in-the-moment’ decision-making that characterises professional expertise, which is rapid and relatively unconscious.33 However, such expert behaviour typically starts off as slow and effortful, only becoming flowing and effortless through practice. New health professions students' ability to notice is particularly compromised when the tasks asked of them are demanding, or the clinical placement settings are ‘noisy’, because little of what they ‘do’ is automatic.34

이러한 알아차림, 감각화, 반응의 과정이 밀접하게 연결되어 있기 때문에 앞서 언급한 알아차림에 대한 다양한 개념화가 이루어졌습니다. 

  • 일부 저자는 주목하는 것을 사람들이 주의를 기울이는 것으로만 정의했습니다.35
  • 다른 저자는 주목하는 것을 특정 사건에 주의를 기울이고 이해하는 것으로 간주합니다.36
  • 또 다른 저자는 '감각 만들기'를 '해석'으로만 제한하거나, 대응 방법 또는 대응 행위를 포함하는 결정으로 확장하여 개념화하는 방식에 차이가 있습니다.5

As these processes of noticing, sensemaking and responding are closely linked, it has led to the aforementioned differing conceptualisations of noticing.

  • Some authors have defined noticing exclusively as that to which people attend to.35 
  • Others consider noticing to involve attending to particular events and making sense of them.36 
  • Further authors differ on how they conceptualise ‘sensemaking’, either limiting it to ‘interpretation’ or broadening it to include decisions about how to respond or the act of responding.5

이 백서에서는 주목하기, 감각 만들기, 반응하기를 어느 정도 분리하되, 주목하기에서 '가장 큰 비중'을 두는 것이 도움이 된다고 생각합니다. 그러나 그림 1에서 볼 수 있듯이 감각 형성은 보건 전문직 교육에서 중요한 수많은 인지 과정에 그림자를 드리웁니다. 보건 전문직 학생들을 교육하거나 보건 전문직의 실무를 조사할 때, 우리는 그들이 알아차린 것을 어떤 의미로 받아들이는지, 그리고 그러한 감각화가 알아차린 사건에 대응하는 데 어떻게 사용되는지에 관심이 있습니다.29 예를 들어, Sehlbach 등37 은 호흡기 질환 클리닉에서 같은 의사가 불안한 환자 한 명에게는 농담을 사용하여 안심시키고, 대인관계 단서가 다르게 인식되는 다른 환자에게는 유머를 사용하지 않는 방식으로 환자들과의 의사소통을 조정한 것을 보고합니다. 
For our purposes, we think that it is helpful to maintain some separation between noticing, sensemaking and responding, with noticing having the ‘lion's share’ of our attention in this paper. However, as Figure 1 shows, sensemaking casts its shadow over numerous cognitive processes that are important in health professions education. In educating health professions students for professional practice, or investigating health professionals' practice, we are self-evidently interested in what sense they make of what they notice, and how that sensemaking is used to respond to noticed events.29 For example, Sehlbach et al.37 report how the same doctor adjusted his communication with patients in a respiratory disease clinic, using a joke to reassure one anxious patient, but refraining from using humour with another when the interpersonal cues were perceived differently.

3 전문적 노티싱 및 관련 개념
3 PROFESSIONAL NOTICING AND RELATED CONCEPTS

보건 전문직 교육의 핵심은 학생들에게 특정한 것을 알아차리도록 가르치는 것이며, 시간이 지남에 따라 보건 전문직과 고유하게 관련된 방식으로 보고 행동하게 됩니다.27 학생들이 다양한 보건 전문직에 사회화되는 이 과정은 정보를 필터링하는 방법, 따라서 실무자로서 주의해야 할 사항과 정보에 입각한 선택을 하는 방법을 변화시킵니다. 예를 들어, 신생아를 돌볼 때 부모가 아닌 학생 간호사는 생후 2일 된 영아의 대변의 색깔, 농도, 냄새가 어떤지 알기 위해 감각을 다시 훈련해야 합니다.14
At its core, health professions education is concerned with teaching students to notice particular things, which over time results in a way of seeing and behaving that is uniquely relevant to a health profession.27 This process of socialising students to the different health professions changes how they filter information and therefore what they pay attention to as practitioners and how they make informed choices. For example, in caring for a newborn, unless they are already a parent, a student nurse needs to retrain her senses to know what the colour, consistency and odour of a 2-day old infant's faeces is like.14

이러한 시각 방식(전문적 주목)은 다른 학문적 개념과 유사합니다. 예를 들어 굿윈(Goodwin)38은 '전문적 시선'을, 로러(Lawlor)39는 '임상적 시선'이라는 개념을 사용하여 의료 전문가가 세상을 바라보는 특정한 입장을 나타냅니다. 고틀립14은 간호사의 전문적 시선을 설명할 때 이 두 가지를 결합하여 '간호사가 주의를 기울이기로 선택한 대상과 간호사의 에너지, 노력, 행동의 방향을 결정하는 것'(205쪽)이라고 설명합니다. '임상적 시선'은 모든 보건전문직과 짝을 이루어 해당 전문직의 구성원이 상황을 바라보는 특정한 방식을 나타낼 수 있습니다. 신경과 전문의인 리스는 '일을 뒤로하고' 런던 지하철에서 동료 여행객의 생리학을 바라보는 자신의 '신경학적 시선'이 어떻게 작용했는지에 대해 썼습니다.7
This way of seeing—Professional Noticing—is similar to other academic concepts. Goodwin,38 for example, refers to ‘professional vision’, while Lawlor39 uses the notion of ‘clinical gaze’ to signify a health professional's particular stance towards the world. Gottleib14 combines the two in describing nursing's professional gaze, which ‘determines what the nurse selects to attend to and where she then directs her energy, efforts, and actions’ (p. 205). ‘Clinical gaze’ can be paired with any health profession to signify the particular ways in which members of that profession view situations. Lees, a neurologist, writes of his difficulties in ‘leaving work behind’ and how his ‘neurological gaze’ was directed at the physiognomy of fellow travellers on the London Underground, the capital's train network.7

모든 감각으로 알아차리기
Noticing with all our senses

'보는 방식', '전문적 시선', '임상적 시선'이라는 용어는 시각적 이해 방식에 특권을 부여합니다.39 주의 깊게 관찰하는 '관찰'과 같은 용어도 마찬가지로 시각에 특권을 부여하는 경향이 있으며,14 의학 교육자들은 진단 전문성을 향상시키기 위해 '시각적 문해력', 즉 '이미지에서 의미를 찾는 능력'40 (991페이지)을 가르치는 데 많은 투자를 해왔습니다. 예를 들어, 리피 등은 1829년에 그려진 빌헬름 벤츠의 그림인 '슬개골 부위의 부종'을 임상 관찰 능력을 향상시키는 데 어떻게 사용할 수 있는지 설명합니다.41
The terms, ‘way of seeing’, ‘professional vision’ and ‘clinical gaze’, privilege visual modes of understanding.39 A term like ‘observation’—to watch carefully—similarly tends to privilege the visual,14 and medical educators have invested heavily in trying to teach ‘visual literacy’—‘the ability to find meaning in imagery’40 (p. 991)—in order to improve diagnostic expertise. Lippi et al., for example, describe how Wilhelm Bendz's 1829 painting, Svulst i Regio Patellaris (Swelling in the Region of the Patella), can be used to enhance clinical observation abilities.41

일부 의료 전문 분야(예: 방사선학, 병리학, 피부과42)는 시각적 단서에 크게 의존하지만, 시각적 이미지인 이 렌즈를 통해 알아차리는 것을 논의할 때 위험은 다른 네 가지 외부 감각을 사용한 알아차림의 중요성이 소외될 수 있다는 점입니다. 물론 경청은 환자와의 상호작용에서 중요한 능력이지만, 저활동성 장음과 같이 정상 및 비정상적으로 구현된 소리를 듣는 것까지 확장됩니다. 간호사는 환자의 피부를 만져보고 온도질감(예: 뜨겁고 촉촉함)을 느낄 수 있습니다. 환자의 입에서 암모니아 냄새가 나면 만성 신장 질환을 나타낼 수 있습니다. 미각은 당뇨병 진단에 사용되었는데, 17세기 영국의 한 의사는 '꿀이나 설탕이 스며든 것처럼 놀라울 정도로 달콤하다'고 묘사했습니다.43 
Although some health specialties rely heavily on visual cues (e.g. radiology, pathology and dermatology42), a danger in discussing noticing through this lens—another visual image—is that the importance of noticing using the other four external senses is marginalised. Listening is, of course, an important ability in interacting with patients but extends to listening to normal and abnormal embodied sounds, such as hypoactive bowel sounds. A nurse may touch a patient's skin and notice its temperature and texture (e.g. hot and moist). The smell of ammonia on a person's breath may indicate chronic kidney disease. Taste was used to diagnose diabetes, described by a 17th Century English doctor as ‘wonderfully sweet as if it were imbued with honey or sugar’.43

고틀립14은 이러한 외부 감각뿐만 아니라 우리 몸에 무슨 일이 일어나고 있는지, 특히 심장이 뛰고 불안한 느낌과 같은 생각과 감정을 알아차리는 내부 감각에도 주목해야 한다고 말합니다. 일반의의 일화 모음집에는 불안감, 즉 무언가 '옳지 않다'는 느낌을 보고하는 의사들의 사례가 담겨 있습니다. 올란스 등은 '내면의 목소리' 또는 '직감'에 귀를 기울이면 단순한 정보 수집과 연역적 추론으로는 놓칠 수 있는 건강하지 않은 환자(예: 어린이의 심각한 감염)를 식별하는 데 도움이 될 수 있다고 제안합니다.44 엡스타인 등은 의료 전문가가 환자와 상호작용할 때 자신의 (신체적) 감각, 이미지, 느낌, 생각을 확인하는 데 도움이 되는 니모닉 'SIFT'를 제시합니다.45 우리 안에서 일어나는 일에 주목함으로써 외부 세계에서 일어나는 일에 대해 더 잘 이해할 수 있습니다.
As well as these external senses, Gottlieb14 states that health professionals also need to notice internal senses; noticing what is happening to our body, especially noticing our thoughts and feelings (e.g. a racing heart and an uneasy feeling). An edited collection of anecdotes from General Practitioners contains examples of doctors reporting feelings of unease; that something ‘isn't quite right’. Orlans et al. suggest that listening to an ‘inner voice’ or ‘gut feeling’ may help to identify unwell patients (e.g. a serious infection in a child), which simple information gathering and deductive reasoning may miss.44 Epstein et al. offer the mnemonic ‘SIFT’ to help health professionals check their (bodily) Sensations, Images, Feelings and Thoughts when interacting with patients.45 By noticing what is taking place within ourselves, we may better understand what is happening in the external world. 

전문적 알아차리기-주의 사항
Professional Noticing—Caveats

전문적 알아채기에 대한 다양한 용어는 특정 전문직에 대한 이상화된 '존재 방식'을 나타내게 될 수 있으며, 이는 현재 이해되고 있는 '모범 사례'를 상정하여 같은 전문직 구성원 간의 차이를 약화시키고, 보건 전문직 간의 차이를 강조할 수 있습니다. 보건전문직 구성원에게 '고정된 본질'이 있다는 순진한 본질주의에 대한 비난을 피하기 위해, 우리는 특정 보건전문직이 되는 표준이나 보편적인 방법은 없다는 Lawlor39의 주장에 동의합니다. 간호사라고 해서 모두 같은 방식으로 세상을 보는 것은 아니며, 보건전문직 교육이 교육에 참여한 개인의 '존재 방식', 즉 바우드와 워커25가 '경험의 개인적 토대'라고 부르는 것 전체를 재구성하지는 않습니다. 이는 바람직하지도 않습니다. 실제로 우리는 같은 핵심 전문직 내에서도 파편화되어 있음을 인정해야 합니다. 예를 들어, 중환자실 간호사는 수술실의 수술 간호사와는 다른 것을 알아차리도록 훈련받습니다. 또한 서로 다른 의료 전문직 간의 차이점이 강조되는 것에 대응하기 위해서는 이들이 공통된 목표(예: 양질의 의료 서비스)를 공유할 가능성이 높다는 점을 인정해야 합니다.
The different terms for Professional Noticing can come to represent an idealised ‘way of being’ for a particular profession, which envisions ‘best practice’ as it is currently understood and attenuates any differences between members of the same profession and accentuates differences between health professions. In order to head off accusations of naïve essentialism, of suggesting that members of a health profession have a ‘fixed essence’, we agree with Lawlor39 that there is not a standard or universal way of being a particular health professional. Nurses do not all see the world in the same way and health professions education is not going to reshape the entirety of an individual's ‘way of being’ with which they entered their training; what Boud and Walker25 term the ‘personal foundation of experience’. Nor would this be desirable. Indeed, we should acknowledge the fragmentations within the same core profession. An intensive care nurse, for example, is trained to notice different things to a scrub nurse in an operating theatre. And, to counter the accentuation of differences between the different health professions, it should be acknowledged that they are also likely to share some common goals (e.g. quality care).

그러나 이러한 '결함'에도 불구하고 앞서 언급한 개념에는 유용성을 부여하는 '진실'의 핵심이 포함되어 있습니다. 서로 다른 의료 전문직의 구성원들은 서로 다른 지각 체계를 개발할 것이며, 이는 같은 상황에서도 서로 다른 것을 알아차릴 수 있음을 의미합니다. 전문직 간 협력적 진료를 개발하기 위한 이니셔티브는 이러한 다양한 관점의 힘을 활용하고자 합니다.46 
Yet despite these ‘flaws’, the aforementioned concepts contain a kernel of ‘truth’, which gives them utility. Members of the different health professions will develop different perceptual frameworks, which means that they may notice different things in the same situation. Initiatives to develop interprofessional collaborative practice look to harness the power of these diverse perspectives.46

4 전문적 알아차림 개발 - '교사 알아차림' 연구에서 도출한 교훈 도출의 어려움
4 DEVELOPING PROFESSIONAL NOTICING—DIFFICULTIES IN DRAWING LESSONS FROM THE ‘TEACHER NOTICING’ STUDIES

현재, 주로 다른 분야의 '응용 연구'에서 보건 전문직 교육에 대한 핵심적인 실용적 통찰력을 이끌어내는 것은 불가능한 일일 수 있습니다. 20년간의 '교사 눈치 채기' 연구는 앞서 언급한 바와 같이 눈치 채기가 개념화되는 방식이 서로 다른 이질성을 특징으로 합니다. 많은 교육적 개입과 마찬가지로, 노티싱이 연구된 다양한 방식과 개입이 보고된 일관되지 않은 방식 때문에 발표된 연구로부터 확고한 결론을 도출하는 것은 문제가 있습니다.47 이러한 이질성은 아래 등 다양한 요인이 있습니다.

  • 다양한 이론적 관점(예: 인지심리학적, 사회문화적),
  • 연구 대상(예: 예비교사 또는 현직 교사),
  • 개입의 '얼마나' 제공되었는지(예: 교사가 '주목하기' 활동에 소요한 시간, 한 리뷰에서 3시간에서 150시간까지 다양30),
  • 다양한 시간대(예. 예: '단발성' 학습 경험 또는 종단적 학습 경험),
  • 개입의 성격(예: 교사 자신의 수업 맥락 또는 모의 수업 상황의 인공물 사용),
  • 의도한 학습 결과의 차이(예: 주목할 만한 것에 주목하기 및/또는 주목한 것에 대한 추론),
  • 결과 측정 방법(예: 서면 또는 구두 응답) 

물론 '주목의 씨앗'은 생산적이었지만, 그 씨앗이 뿌려진 특정한 '연구 영토'가 다양한 결과물을 낳았고, 이는 '백 송이 꽃을 피우는 것'에 해당하는 연구였습니다. 
At present, highlighting key practical insights for health professions education from what is primarily ‘applied research’ from another field may be an impossible task. The two decades of ‘teacher noticing’ research are characterised by heterogeneity, such as the aforementioned differing ways that noticing has been conceptualised. Like many educational interventions, drawing firm conclusions from the published research is problematic, because of the diverse ways in which noticing has been researched and the inconsistent ways in which interventions have been reported.47 This heterogeneity is marked by

  • different theoretical perspectives (e.g. cognitive psychological and sociocultural),
  • whom has been studied (e.g. pre-service or in-service teachers),
  • ‘how much’ of the intervention has been delivered (e.g. the number of hours teachers spent on ‘noticing’ activities, ranging from three to 150 hours in one review30),
  • differing timespans (e.g. ‘one shot’ learning experiences or longitudinal ones),
  • the nature of the intervention (e.g. using artefacts from teachers own teaching context or simulated teaching situations),
  • differing intended learning outcomes (e.g. attending to what is noteworthy and/or reasoning about what has been noticed),
  • how outcomes are measured (e.g. written or verbal responses), and so on.

Certainly, the ‘noticing seed’ has been productive, but the particular ‘research terroir’ in which it has been sown has resulted in diverse products; a research equivalent of ‘letting a hundred flowers blossom’.

따라서 주목 능력을 개발하는 구체적인 학습 경험에 대해 알아내기 위해 해야 할 일이 있지만, 보건 전문직 교육은 수학 및 과학 교사의 전문성의 중요한 구성 요소로서 주목 능력을 받아들이고 전문성 개발 활동에 예비 및 현직 교사를 참여시키는 것이 주목 능력의 변화와 향상으로 이어진다는 점을 기반으로 구축할 수 있습니다.27, 29, 48, 49
So, although there is work to be done to learn about the specific learning experiences that develop noticing abilities, health professions education can build on the acceptance of noticing as a crucial component of mathematics and science teachers' expertise and that engaging pre-service and in-service teachers in professional development activities leads to changes and improvement in noticing abilities.27, 29, 48, 49

보건 전문직 교육에서의 '지시적' 및 '개방적' 노티싱
‘Directed’ and ‘open noticing’ in health professions education

앞서 언급한 바와 같이, 보건 전문직 교육의 대부분은 흑색종을 암시할 수 있는 피부 병변의 특징과 같은 특정 사항을 학생들이 알아차리도록 지도하는 것과 유사합니다.50 학생들에게 특정 사항을 알아차리도록 지도하는 것은 임상 실습, 섀도잉 및 시뮬레이션과 같은 활동 중에 교육자가 활용하는 '지시적 또는 집중적 주목'이라고 부르는 교수 전략의 한 예입니다.
As previously stated, much of health professions education is similarly concerned with directing students to notice particular things, such as the features of skin lesions that may be suggestive of a melanoma.50 Directing students to notice particular things is an example of a teaching strategy that we refer to as ‘directed or focused noticing’, which is utilised by educators during activities such as, clinical placements, shadowing and simulations.

또 다른 교수 전략은 '개방적 주목하기'로, 앞서 언급한 연구에서 임상 교육자가 일반 진료 동료가 강의하는 비디오 발췌본을 시청한 후 '무엇을 주목했습니까?"라는 질문을 받은 것처럼 학습자가 자신에게 눈에 띄는 '무엇'을 표현하도록 하는 것이 목표입니다.1 이 질문은 '무엇이든 상관없다'는 정신에서 묻는 것이 아니라 질문이 제기된 맥락에 따라 제한됩니다. 이 경우 참가자들은 전문성 개발의 일환으로 자신의 교육 관행에 대해 질문했습니다. 이 접근 방식의 두 가지 장점은 참가자들이 서로 다른 것을 알아차리고, 이를 통해 참가자들이 '소유'하는 풍부한 '의제'를 생성할 수 있다는 것입니다.
Another teaching strategy is ‘open noticing’, where the aim is to get learners to articulate ‘things’ that stand out for them, as in the aforementioned study where clinical educators watched video excerpts of their general practice colleagues teaching and were subsequently asked, ‘What did you notice?’.1 The question is not asked in the spirit of ‘anything goes’ but is bounded by the context in which the question was posed. In this instance, the participants were inquiring into their teaching practices as part of their professional development. Two advantages of this approach are that participants notice different things, which creates a rich ‘agenda’ that is ‘owned’ by the participants.

개인적 질문의 한 형태로서의 주목하기
Towards noticing as a form of personal inquiry

'지시적 주목'과 '개방적 주목'이라는 용어는 새로운 것을 설명하는 것이 아님이 분명합니다. 의학교육자들은 오랫동안 특정 기능에 학습자의 주의를 집중시키는 활동과 규정된 과제를 선택하고24 학생들이 살펴보기를 원하는 특징을 지적하거나, 지나치게 단순화할 위험이 있지만, 학습자 중심의 접근 방식을 사용하여 학생들이 학습 과정과 학습의 초점을 더 잘 제어할 수 있도록 했습니다(예: '무엇이 눈에 띄었나요?' 질문하기). 교수학습 전략을 선택하고 특정 내용을 가르치는 것은 모든 커리큘럼의 핵심 요소입니다.51 그러나 의학교육자들은 [의도한 성과]가 일반적으로 보건 전문직 학생들이 학습자로서 자신을 인식하게 하는 것과는 거의 관련이 없기 때문에, 특정 전략이나 절차를 사용하는 근거를 학생들과 공유하지 않으며, 학생들이 학습하는 방식과 관련된 병행 목표를 포함하지 않습니다. 최근에는 보건 전문가가 방대한 분야의 지식을 습득하고 실무에 필요한 핵심 기술을 배양하기를 기대하는 것 외에도 평가 판단력53 및 피드백 리터러시54와 같은 학습 성향을 졸업 성과로 개발하는 방향으로 전환되고 있습니다. 우리는 의료 전문가가 정규 교육 과정에서 마지막 유형의 주목하기인 의도적 주목하기를 통해 주목 능력을 개발하는 것이 이러한 졸업 성과에 더해져 의료 분야에서 경력을 쌓는 동안 유용하게 사용될 수 있을 것으로 추측합니다. 
The terms ‘directed noticing’ and ‘open noticing’ are self-evidently not describing something new. Medical educators have long selected activities and prescribed tasks that focused learners' attention on particular features24 and pointed out characteristics that they wanted students to look at, or—at the risk of over simplification—used a more learner-centred approach to give students greater control over the learning process and the focus of learning (e.g. by asking, ‘What stood out for you?’). Selecting teaching and learning strategies and ensuring that particular content is taught are core elements of any curriculum.51 However, medical educators do not typically share their rationale for using particular strategies or procedures with students, as the intended outcomes generally have little to do with making health professions students aware of themselves as learners, that is, include parallel objectives related to how students are learning. More recently, there has been a turn towards developing learning dispositions as graduate outcomes,52 such as evaluative judgement53 and feedback literacy,54 in addition to expecting health professionals to learn large bodies of disciplinary knowledge and cultivate key skills for practice. We surmise that developing health professionals' noticing abilities during their formal education, through the last of our types of noticing—Intentional Noticing—could be a valuable addition to these graduate outcomes, which will have utility for the duration of a career in health care.

5 의도적 노티싱
5 INTENTIONAL NOTICING

존 메이슨은 '노티싱의 아버지'로 불렸지만, 아마도르 외29 는 그들의 검토에서 그의 연구를 자신의 연구에 중심적으로 배치한 연구는 거의 없다고 지적했습니다. 우리는 메이슨의 '주목하기'에 대한 보다 광범위한 접근 방식26을 뒷받침하는 관행이 의도적 주목하기[일반적인 능력이자, 전문성 개발을 위한 가치 있는 접근 방식]으로 육성할 수 있는 수단을 제공한다고 주장합니다. 전문성 개발을 강조할 때, 우리는 보건의료 전문가가 공식 교육을 마친 후에도 이러한 관행이 유용할 것이며, 개인이 전 생애에 걸친 경험을 통해 학습하는 과정을 의미하는 '평생 학습'을 강화할 것이라고 제안합니다.55 따라서 의도적 주목하기의 기반이 되는 관행을 사용하여 자신의 '일상적 주목하기'와 보건의료 전문가로서 주목하게 된 것(즉, 전문적 주목하기의 습관) 모두를 개인적인 질문의 대상으로 만들 수 있습니다. 전자의 예로, 파트너와의 타협에 대해 분노를 느낄 수 있으며, 이러한 감정을 알아차리는 데 집중하고 관련 의사 결정에 대해 숙고하게 될 수 있습니다. 그림 2는 의도적 눈치채기의 주요 프로세스를 간략하게 설명하고 잠재적인 결과를 제시합니다.
Although John Mason has been referred to as ‘the father of noticing’, Amador et al.29 noted that few studies in their review positioned his work centrally to their own. It is our contention that the practices that underpin Mason's26 more expansive approach to ‘noticing’ provide a means to foster Intentional Noticing as a generic ability and a worthwhile approach to professional development. In emphasising professional development, we are suggesting that the practices will remain useful once health professionals have completed their formal education and augment ‘lifelong learning’, by which we mean the processes by which individuals learn from experiences across their lifespans.55 Thus, one can use the practices that underpin Intentional Noticing to make both one's ‘ordinary noticing’, and what one has come to notice as a health care professional (i.e. the habits of Professional Noticing), the subject of personal inquiry. As an example of the former, you may feel resentment about the compromises you are making with your partner, which could lead to focusing on noticing these feelings and subsequent deliberation of the related decision-making. Figure 2 outlines the key processes of Intentional Noticing and proposes potential outcomes.

앞서 언급했듯이, 우리는 경험의 대부분을 그냥 지나치기 때문에 더 발전시키기 위해 활용하지 않습니다.26 슈미트는 이것이 근본적으로 우리의 제한된 기억 시스템의 결과이며, 단기 기억으로 처리되지 않은 것은 영원히 손실되고, 단기 기억에 저장된 것도 손실되지 않으려면 장기 기억으로 부호화해야 한다고 말합니다.24 메이슨의 '표시'와 '기록' 관행을 통해 누군가의 말처럼 우리가 중요하다고 생각한 것을 나중에 추가 분석을 위해 접근할 수 있습니다
As we noted earlier, much of our experience passes us by and is therefore not drawn upon for further development.26 Schmidt states that this is fundamentally a consequence of our limited memory system, for anything that is not processed into short-term memory is forever lost, and once in short-term memory, it must be further encoded into long-term memory if it is also not to be lost.24 Mason's practices of ‘marking’ and ‘recording’ allow something that we noticed as significant, for example, something someone said, to be accessed later for further analysis.

'정신적 메모'를 하거나 동료에게 '어머, 그거 흥미로운 말이었어'라고 언급하는 것은 나중에 심의할 때 '데이터'로 활용할 수 있는 가능성을 높입니다.  따라서 댓글을 무심코 지나칠 때보다 더 큰 에너지를 필요로 하기 때문에 더 높은 수준의 주의가 요구됩니다. 사건을 재빨리 조사하지 않으면 발언의 세부 사항을 놓칠 수 있으므로, 메이슨26은 가능한 한 빨리 '짧지만 생생한' 기술 메모를 작성하여, 기록을 통해 사건을 재입력하고, 분석에 활용하며, 향후 행동에 어떤 결과가 초래될 수 있는지 생각할 수 있도록 해야 한다고 주장합니다. (메이슨은 이러한 즉각적인 기록을 기술적으로 유지함으로써 성급한 설명과 이론화를 피할 수 있다고 말합니다.) 사건을 분석하고 이해함으로써 향후 유사한 상황에서 대응할 수 있는 방법을 늘릴 수 있습니다. 단순히 과거를 돌아보며 '이렇게 할 수도 있었어'라고 말하는 것이 아니라, 미래를 내다보며 '다음에 이런 상황이 발생하면 이렇게 해야지'라고 말하거나, 여러 가지 가능한 행동 중에서 '(다음엔) 이렇게 하는 것'의 가능성을 최소한으로라도 떠오르게 하는 것이 중요합니다. 상자 1은 의도적 주목하기 단계의 실행 예시를 보여줍니다.
Making a ‘mental note’, or perhaps remarking to a colleague, ‘Gee, that was an interesting comment’, makes what was said more likely to be available as ‘data’ for subsequent deliberation. As such, it is a heightened form of noticing because it requires greater energy than if we gave the comment only casual attention. Unless we interrogate that incident quickly, we may lose the detail of what was said, and thus, Mason26 advocates making ‘a brief-but-vivid’ descriptive note as soon as possible, so that through the record, we can re-enter the incident, use it for analysis and think about what consequences there might be for our future behaviour. (In keeping these immediate records descriptive, Mason suggests that we can avoid premature explaining and theorising.) It is in analysing the incident, of making sense of it, that we increase the ways that we might respond in similar circumstances in the future. The point is not simply to look back and say ‘I could have done this’, but to look forward, to say, ‘Next time I notice this situation, I'm going to do this’, or minimally have the possibility of ‘doing this’ come to mind amongst a range of possible actions. Box 1 gives an example of the Intentional Noticing stages in action.


박스 1. '무엇을 알아차렸나요?': 실제 '의도적 노티싱'
Box 1. ‘What did you notice?’: ‘Intentional Noticing’ in practice

우리가 몇 번 언급했던 GP 임상 교육자 회의에서 참가자들은 참가자 중 한 명이 GP 수련생과의 상담에 대해 논의하는 비디오 녹화를 보고 있었는데, 그 수련생은 12살 아들과 단둘이 이야기할 수 있도록 어머니에게 상담실에서 나가달라고 요청했습니다. 그는 연수생에게 '어떻게 그렇게 했나요? 무슨 말을 했나요? 어떤 언어를 사용했나요?'라고 물었습니다. 특히 마지막 문장인 "어떤 언어를 사용했나요?"라는 문장은 다른 참가자 중 한 명이 '주목하기'로 선택되었습니다. 그는 이 문구에 '표시'를 하면서 자신에게 익숙하지 않고 유용하다고 생각되는 '잘 표현된 질문'이라며 그룹과 토론할 수 있도록 제안했습니다. 
In a meeting of the GP clinical educators that we have referred to a couple of times, the participants were watching a video-recording of one of the participants discussing a consultation with a GP-trainee, where the trainee had asked a mother to leave the consulting room so that she could talk with her 12-year-old son alone. He asks the trainee, ‘How did you do that? What did you say? What language did you use?’ This utterance, particularly the last sentence, ‘What language did you use?’, was picked-up as a ‘noticing’, by one of the other participants. In ‘marking’ the phrase, he offered it up for discussion with the group as a ‘well-phrased question’ that was unfamiliar to him and he thought useful.

참가자들은 4분 분량의 동영상 발췌본을 받았기 때문에 개별 구성원에게 두드러진 '주목할 만한 점'을 기록할 수 있는 특권을 가졌습니다. 이 발언, 즉 감각 만들기에 대해 논의할 때 그룹은 질문 문구가 연수생의 정확한 말을 이끌어내는 데 도움이 되었고, 다른 문구의 질문으로는 얻을 수 없었을 수도 있는 그녀의 연습에 대한 진솔한 설명을 이끌어냈다고 생각했습니다. 회의 말미에 참가자들에게 앞으로의 강의에 어떤 '배움'을 접목할 것인지, 즉 새로운 미래의 응답을 말하도록 요청했을 때, 이 발언을 눈여겨본 참가자는 질문이 연수생의 정확한 언어를 이끌어낸 방식에 주목하며, '다음번에는 연수생에게 상호작용에서 어떤 언어를 사용했는지 꼭 물어보고 더 잘 이해하도록 해야겠다'는 말을 덧붙였습니다. 

The participants were privileged in this setting, in that they had been given a transcript of the 4-minute video excerpt, so they had a record of any ‘noticings’ that were salient for the individual members. In discussing this utterance—the sensemaking—the group thought the phrasing of the question was instrumental in eliciting the trainee's exact words, and in doing so had drawn out an authentic account of her practice, which might not have been achieved by a differently phrased question. At the end of the meeting, where the participants were asked to state what ‘learnings’ they were going to incorporate into their future teaching—a new future response—the participant who had noticed the utterance flagged the way in which the trainee's precise language had been elicited by the question and added, ‘Next time, I think I'll definitely ask my trainees what language did they use in the interaction to get a better understanding’.


 

'마킹'이 보건 전문가에게 중요한 관행인 이유 중 하나는 그들이 '하는 일'의 대부분이 역동적인 의료 환경에서 이루어지며, 이는 '교사의 주목'에 대한 연구의 초점이었던 지각적으로 '시끄러운' 교실 환경과 유사하기 때문입니다.27 '사건'을 당시 눈에 띄는 것으로 표시하고 이후 기록하지 않으면 손실될 가능성이 높습니다. 또한 보건 전문가는 다르게 행동할 수 있는 가능성을 갖기 위해 스스로 알아차릴 수 있는 '순간적' 상황을 인식하는 능력이 필요한데, 이를 '맥락에서 알아차림'3 또는 '실천에서 알아차림'이라고 표현합니다.34 다른 의도적 알아차림 단계와 마찬가지로 이 능력은 유능한 보건 전문가의 업무를 특징짓는 자동 처리에 약간의 혼란이 필요하므로 신중한 접근 방식이 필요합니다.24 
One reason that ‘marking’ is an important practice for health professionals is that much of what they ‘do’ takes place in dynamic health care environments, which parallel the perceptually ‘noisy’ classroom environments that were the focus of the research into ‘teacher noticing’.27 Unless ‘incidents’ are marked as salient at the time, and subsequently recorded, they are likely to be lost. Health professionals also need the ability to recognise the ‘in-the-moment’ situations that they have primed themselves to notice in order to have the possibility of acting differently, expressed as the ability to ‘notice in context’3 or ‘notice in practice’.34 Like the other Intentional Noticing stages, this ability requires deliberate approaches to practice as it requires some disruption of the automatic processing that characterises the work of competent health professionals.24

6 의도적 주목하기 실습을 가르치기 위한 가능성
6 POSSIBILITIES FOR TEACHING THE PRACTICES OF INTENTIONAL NOTICING

그렇다면 의도적 주목하기의 실천을 어떻게 발전시켜 보건전문직 학생들이 자신의 전문적, 개인적 실천을 탐구하는 '마음의 습관'이 될 수 있도록 할 수 있을까요? 이 질문에 답하는 것은 우리가 그러한 성향을 개발하는 데 좋은 사례를 만들었다고 생각하는 경우에만 필요하다는 점에 유의하십시오. 안타깝게도 의도적 주목의 실천을 가르치는 것은 보건 전문직 교육에서 새로운 시도이며, 수학 및 과학 맥락에서 발견한 결과를 옮길 때 약간의 주의가 필요하기 때문에 즉각적이고 직접적으로 관련된 연구 증거가 존재하지 않습니다. 새로운 아이디어의 효과 여부를 입증하는 데 필요한 증거가 혁신에 비해 뒤처지는 경우가 많습니다. 
So how might we develop the practices of Intentional Noticing so that they become a disposition for health professions students, that is, a ‘habit of mind’ to inquire into one's own professional and personal practices? We note that answering this question is only necessary if you think that we have made a good case for developing such a disposition. Unfortunately, because teaching the practices of Intentional Noticing is novel in health professions education, and some caution is required in transferring the findings from the mathematics and science contexts, there is not an immediate, directly related body of research evidence on which to draw. As is the case, the evidence that one requires to show whether a novel idea is effective (or not) lags behind the innovation.

이 백서의 개념적 작업은 보건 전문직 교육에서 의도적 주목의 실천을 발전시킬 수 있는 교육 형태를 식별하기 위한 전제 조건으로 간주합니다.51 이 개념적 작업은 3개 보건 전문직 학생들과 함께 시범 운영 중인 새로운 모듈을 뒷받침하며, 이 모듈은 학생들이 협력적 실무에 필요한 학문적 지식과 기술, 의도적 주목의 실천을 모두 주목할 수 있는 능력을 개발하도록 설계되었습니다(박스 2).
We see the conceptual work in this paper as a prerequisite for identifying the forms of instruction that might develop the practices of Intentional Noticing in health professions education.51 This conceptual work underpins a new module that we are piloting with students from three health professions, which has been designed to develop students' abilities to notice both the disciplinary knowledge and skills required for collaborative practice, and the practices of Intentional Noticing (Box 2).


상자 2. 성향으로서의 의도적 주목하기: 파일럿 모듈
Box 2. Engendering Intentional Noticing as a disposition: A pilot module

'협업 실습을 위한 노티싱'은 학생들이 협업 실습(주제)에 대해 배우는 파일럿 모듈로, 의도적 노티싱을 병행하여 개발할 수 있는 수단을 제공합니다(또한 주제이기도 합니다). 이 온라인 대화형 모듈은 학습자에게 세 가지 형태의 노티싱을 소개한 다음, 전문가 간 팀 기반 상호작용을 녹화한 동영상을 시청하면서 의도적 노티싱에 참여하도록 요청합니다. 교육 개발자는 학습자가 입력한 반응(또는 '표시')에 대한 답을 제공하지 않았는데, 이는 학습자가 자신의 '노티싱'을 교정할 수 있는 '정답'을 제공하지 않겠다는 약속에 따른 것입니다. 오히려 임상의, 교육자 및 연구자(모듈 개발 팀의 일부)가 비디오 '데이터'에서 이러한 인상을 형성하는 데 있어, 자신이 누구이며 어디에서 왔는지에 대한 설명과 함께 자기자신의 '노티킹'을 예시로 제공했습니다. 이러한 방식으로 의도적 주목하기의 취지에 맞게 학습자가 [주변의 단서를 해석하는 다양한 방법]이 있다는 것을 이해할 수 있기를 바랐습니다. 후속 활동에서 학습자는 실제 의료 현장 환경(임상 배치의 일부)에서 전문가 간 협업 실습을 관찰하고, 관찰한 팀원 중 학생과 다른 전문 분야 출신인 팀원과 함께 자신의 '주목'에 대해 토론합니다. 학생은 이 디브리핑 대화에서 나온 '표시'를 사용하여 관찰 과정과 이를 통해 알게 된 내용에 대한 비판적 설명을 작성합니다.  
‘Noticing for collaborative practice’ is a pilot module where students learn about collaborative practice (the subject), which provides the vehicle for developing Intentional Noticing in parallel (also the subject). The online, interactive module inducts the learner to the three forms of noticing and then asks them to engage in Intentional Noticing through watching a video-recording of an interprofessional team-based interaction. The educational developers have not provided answers in response to learners' entered reactions (or ‘markings’), as the commitment was to not provide the ‘right’ answer by which learners could calibrate their own ‘noticings’. Rather clinicians, educators and researchers (part of the module development team) provided their own ‘noticings’ as examples, with a statement about who they are and where they were coming from in forming these impressions from the video ‘data’. In this way, true to Intentional Noticing, we hoped that learners might come to an understanding that there are multiple ways of interpreting cues around them. In a subsequent activity, learners observe an interprofessional collaborative practice encounter in an authentic health workplace setting (part of their clinical placement) and discuss their ‘noticings’ with a member of the observed team, but who is from a different professional discipline to that of the student. The student uses the ‘markings’ from this debriefing conversation and writes a critical account of the noticing process and what it revealed for them.


탄탄한 증거 기반이 없다면, 논문의 아이디어와 모듈의 개발 및 평가는 해머슬리의56 '헌신적인 실용 연구'라는 개념과 연결될 수 있는데, 여기서 초기 개념 작업은 '주목하기'를 조작화하고 모듈을 개발하는 즉각적인 실용 문제에 직면한 교육자에게 필요했습니다. 이 단계에서 세 가지 유형의 '주목하기'를 구분하는 것은 실용적인 가치를 가졌습니다. 교육적 휴리스틱으로서, 이 정의를 통해 우리는 보건 전문직 학생 및 학생들의 학습 개선에 이해관계가 있는 다른 동료들과 함께 '주목하기'의 유형에 대해 논의하고 조사를 시작할 수 있었습니다.
Without a solid evidence base, the ideas in the paper and the development and evaluation of the module can be linked to Hammersley's56 notion of ‘dedicated practical research’, where the initial conceptual work was needed by the educators who were faced with the immediate practical problem of operationalising ‘noticing’ and developing the module. At this stage' distinguishing between the three types of ‘noticing’ has had practical value. As educational heuristics, the definitions have allowed us to discuss and begin investigating the types of ‘noticing’ with health professions students and other colleagues with a stake in improving students' learning.

현재 우리의 생각은 의도적 주목하기의 실천을 독립된 모듈로 가르칠 것이 아니라 나선형 커리큘럼처럼 교육 프로그램에 통합하여57 전체 프로그램에 걸쳐 성향 형성이 이루어지도록 해야 한다는 것입니다. 파일럿 모듈의 평가는 콘텐츠의 매력, 교수학습 활동, 의도적 고지의 관련성에 대한 인식에 대한 몇 가지 유용한 정보를 제공할 것입니다. 이는 의도적 알림의 유용성에 대한 증거를 제공하기 위한 첫 번째 작은 단계입니다.
Our current thinking is that the practices of Intentional Noticing should not be taught in a stand-alone module but should be woven into an educational programme, as in a spiral curriculum,57 so that building the disposition happens over the entire programme. The evaluation of our pilot module will provide some useful information about the appeal of the content, the teaching and learning activities, as well as the perceived relevance of Intentional Noticing. This is our first small step on the road to providing evidence for the utility of Intentional Noticing.

앞서 임상 배치 환경이 새로운 보건 전문직 학생들에게 '시끄러운' 환경이라는 점을 언급한 점을 고려할 때, 보건 전문직 학생들에게 작업장 밖에서 의도적 노티싱에 대해 가르치는 동시에 이 콘텐츠가 실습 환경에서 일어나는 일과 통합되도록 하는 것이 초기에는 몇 가지 이점이 있다고 생각합니다. 노티싱에 대해 인용된 연구와 노티싱에 대한 교육은 대부분 '실무 환경'의 요구와 무관하게 이루어졌습니다. [임상 실무로부터 도출할 수 있는 능력]은 보건학 전공 학생과 실무 보건 전문가 모두에게 의도적 노티싱의 실천을 발전시키는 데 중요한 활동이 될 것입니다. [실제 결과를 초래하는 행동을 취하지 않고, 좀 더 여유로운 환경에서 알아차린 것을 논의할 수 있는 것]은 실습 환경과 비교하면 인위적인 상황이지만, 무엇을 알아차리고 무엇을 놓쳤는지 탐색하고, 결정적으로 '순간에 알아차리기'를 훈련하기 위해서는 반성할 시간을 갖는 것이 필수적입니다.26 예를 들어, 시뮬레이션 중 학생이 주도적으로 잠시 멈춰서('타임아웃') 시뮬레이션 후 디브리핑에만 의존하지 않고 중요하다고 생각하는 '주목'을 고려하도록 하는 것은 유용한 활동이 될 수 있습니다.58
Given our earlier remarks about clinical placement settings being ‘noisy’ environments for new health professions students, we think that there are some initial advantages in teaching health professions students about Intentional Noticing away from the workplace, while at the same time making sure that the content is integrated with what happens in practice settings. Much of the cited research about noticing, and education about noticing, similarly took place away from the demands of the ‘practice setting’. Being able to draw back from clinical practice is likely to be an important activity for developing the practices of Intentional Noticing for both health professions students and practising health professionals. Although being able to discuss what you noticed in a more leisurely environment and without having to take actions that have real consequences is an artificial situation in comparison with the practice environment, having time to reflect is essential in order to explore what was noticed, what was missed and crucially to train oneself to ‘notice in-the moment’.26 For example, allowing student-initiated pauses during simulations (‘time-outs’) to consider the ‘noticings’ that they consider important, rather than relying solely on post-simulation debriefing, may be a useful activity.58

'오래된 와인' 그 이상: 연구 및 실습 확장
More than ‘old wine’: Extending research and practice

앞서 언급했듯이 이러한 교수 학습 활동은 앞서 언급한 '새 술은 새 부대에 담는다'는 암묵적인 책임과 함께 반성-내면화 및 행동화와 같은 다른 교육 개념을 떠올리게 할 수 있습니다. 메이슨26은 '성찰'이 경험을 통한 학습을 전면에 내세우는 여러 모델에 등장하는 용어일 뿐만 아니라, 잘 수행되는 것보다 더 많이 회자되는 용어라고 주장합니다. 의도적으로 주목하기 위해서는 각 단계마다 추가적인 에너지가 필요하며, 이는 일부 사람들에게 장벽으로 여겨질 수 있습니다. 새로운 교육 및 학습 접근 방식과 함께 언어의 변화는 다른 사람들에게서 육성하기 어려웠던 '성찰적 실천가'의 관행을 발전시키는 데 도움이 될 수 있습니다. 우리의 경험에 따르면 '알아차리기' 어휘는 일상 언어에 쉽게 녹아들고 직관적인 매력을 지니고 있는 것 같습니다
As before, these teaching and learning activities may evoke other educational concepts, such as reflection-in and on-action, with the aforementioned implicit charge of ‘old wine in new bottles’. Mason26 observes that ‘reflection’ is a term that not only appears in a number of models that foreground learning from experience but also claims that it is more talked about than done well. It should be apparent that Intentional Noticing requires resolve, with each stage requiring additional levels of energy, which some people may see as a barrier. A change of language, with new teaching and learning approaches, may help to develop the envisioned practices of the ‘reflective practitioner’, which have been hard to foster in other people. Our experience is that the ‘noticing’ lexicon has slipped easily into our everyday language and seems to have an intuitive appeal.

의도적 주목하기는 의료 전문가가 공식적인 교육을 마친 후 자신의 전문적 관행을 발전시키거나 활성화하는 데 사용할 수 있습니다. 이미 확립된 습관 중 일부는 행동이 일반적인 표준에서 벗어났거나 표준 자체가 변경되어 더 이상 모범 사례에 부합하지 않기 때문에 면밀히 조사하는 것이 도움이 될 수 있습니다. 예를 들어, 보건 전문직 학생들은 환자의 존엄성 침해와 같은 의료 전문가의 비전문적 행동을 목격했다고 보고하는데,59 가해자는 이에 대해 다시 민감하게 반응해야 합니다. 개인적인 질문의 한 형태인 '의도적 주목하기'는 '사회 정의' 문제에 대한 현대의 초점이 강조하고자 하는 일부 의료 관행을 뒷받침하는 해로운 가정에 대한 의문을 제기하는 것으로 이어질 수 있습니다. 예를 들어, 노티싱을 개념화하는 방법의 연장선상에서 루이는 수학 교사의 노티싱을 분석할 때 '공평한 노티싱'이라는 개념을 사용하여 문화와 이데올로기를 전면에 내세웁니다.60 
Intentional Noticing can be used by health professionals to develop or reinvigorate their professional practice once their formal training has been completed. Some of their established habits may benefit from being scrutinised, perhaps because they are no longer align with best practice, either because their behaviours have drifted away from accepted standards or the standards themselves have changed. For example, health professions students report witnessing unprofessional behaviours from health professionals, such as breaches of patient dignity,59 which the perpetrators should be resensitised to notice. As a form of personal enquiry, ‘Intentional Noticing’ may lead to the questioning of the harmful assumptions that underpin some health care practices, which the contemporary focus on issues of ‘social justice’ have sought to highlight. For example, in a further extension of how noticing is conceptualised, Louie uses the concept of ‘equitable noticing’ to foreground culture and ideology in her analysis of mathematics teachers' noticing.60

7 결론
7 CONCLUDING COMMENTS

이 논문의 서문에서 밝히고 있듯이, 의료 전문가가 주목하는 것은 자명하게도 중요하며, 주목은 모든 진료의 핵심입니다. 수학과 과학교육 문헌의 연구에 자극을 받아, 우리는 보건 전문직 교육에서 유용하다고 생각되는 '알아차리기'의 유형을 구분했습니다. '유형학'을 설명함으로써 우리는 전문적 주목의도적 주목이 어떻게 가르치거나 장려될 수 있는지에 대한 예를 제공하고, 후자의 관행을 명시적으로 가르치는 것에 대한 사례를 만들었습니다. 생각을 공유할 때, 결과적으로 더 중요한 목표는 우리 생각의 주제를 동료들로부터 비평받는 것입니다. 유용성이 있나요? 단순히 다른 사람들이 제시하는 접근 방식에 대한 참신한 '테이크'일 뿐인가요? 우리는 이러한 아이디어가 '다리가 있다'고 생각하며, 서비스 제공 압력, 디지털 혁신, 독립성에 대한 관심이 높아지면서 주목받는 것이 변화하고 우리의 '주목'을 되돌아보고 토론할 시간이 부족한 이 시점에 보건 전문직 교육 커뮤니티 내에서 더 많은 관심을 불러일으키기를 바랍니다. 아마도 '교사의 주목하기'의 경우처럼, 이 아이디어는 보건 전문직 교육자와 연구자들이 자신의 업무를 재구상하는 데 도움이 될 수 있으며,5 보건 전문가들이 주목하는 능력을 연마하여 주변에서 일어나는 일을 더 잘 인식하고 자신의 내부에서 일어나는 일에 더 잘 적응할 수 있도록 도울 수 있을 것입니다. 

What health professionals notice is self-evidently important and as the paper's epigraph declares; noticing lies at the heart of all practice. Galvanised by research from the mathematics and science education literature, we have differentiated between types of ‘noticing’ that we think have utility in health professions education. Through explicating a ‘typology’, we have provided examples of how Professional Noticing and Intentional Noticing might be taught or encouraged and made the case for explicitly teaching the practices of the latter. In sharing our thinking, the resultant, and more important aim, is to have the subject of our ideas critiqued by our peers. Do they have utility? Are they simply a novel ‘take’ on approaches put forward by others that do the job just as well? We think that the ideas ‘have legs’ and we hope that they will spark wider interest within the health professions education community at a time when service delivery pressures, digital innovation and a heightened focus on independence have combined in such a way that what is noticed has changed, and time to reflect on and discuss our ‘noticings’ is at a premium. Perhaps, as was the case for ‘teacher noticing’, the ideas may help health professions educators and researchers reimagine their own work,5 as well as help health professionals sharpen their noticing abilities, so that they can become more aware of what is happening around them and more attuned to what is going on within them.


Med Educ. 2023 Apr;57(4):305-314. doi: 10.1111/medu.14978. Epub 2022 Nov 29.

'Noticing' in health professions education: Time to pay attention?

Affiliations collapse

1Faculty of Medicine, Dentistry and Health Sciences, University of Melbourne, Melbourne, Victoria, Australia.

PMID: 36404285

DOI: 10.1111/medu.14978

Abstract

Background: Health professions education teaches students to notice particular things, but has given little attention to teaching 'noticing' as a form of personal inquiry. The former is self-evidently important, as it develops a way of seeing and behaving that is uniquely relevant to each health profession. Despite this emphasis, health professionals may fail to notice 'warning signs' in patients, be unaware of their own biases or develop unrecognised habits that have moved away from accepted standards. It has been suggested that such 'not noticing' is currently endemic.

Approach: We situate our exploration of noticing in the mathematics and science education literature and John Mason's treatise on 'The discipline of noticing', differentiating between the observations that people make as they go about their lives ('ordinary' noticing), the specialised noticing that underpins professional expertise (Professional Noticing) and practices that can enhance the capacity to notice and to learn from experience (Intentional Noticing). We make the case for teaching health professions students about these conceptualisations of noticing, being able to notice with all our senses, and learning about the practices of Intentional Noticing in particular, which we suggest will have utility across health professional careers and personal lives.

Implications: We acknowledge the difficulties in transferring heterogenous finding from one field to another but suggest that there are gains to be made in applying these noticing concepts to health professions education. We tentatively propose some strategies and activities for developing Professional Noticing and the practices of Intentional Noticing and link them to a new module that we are piloting with health professions students. As well as aiding health professionals sharpen their noticing abilities, reinvigorate their practice and interrogate assumptions that underpin health care, we suggest that ideas about 'noticing' may also help educators and researchers in the health professions reimagine their work.

시스템 문제로서 UME-GME 이행: 근본 원인 분석(Acad Med, 2023)
The Undergraduate to Graduate Medical Education Transition as a Systems Problem: A Root Cause Analysis
Jennifer L. Swails, MD, Steven Angus, MD, Michael A. Barone, MD, MPH, Jessica Bienstock, MD, MPH, Jesse Burk-Rafel, MD, Michelle A. Roett, MD, MPH, and Karen E. Hauer, MD, PhD

 

 

환자와 의료 시스템의 요구를 충족시킬 유능한 의사를 양성하려면 의예과부터 임상 실습에 이르는 효과적인 의학교육 연속체가 필요합니다. 그러나 이 연속체는 의예과, 의과대학(학부 의학교육[UME]), 레지던트 및 펠로우십(대학원 의학교육[GME]), 무감독 임상 실습이라는 개별 단계로 구성되어 있으며, 각 단계마다 고유한 관습과 절차가 있기 때문에 수련의는 각 전환 시 학습 상황, 환경, 책임, 감독에서 갑작스러운 전환을 경험하게 됩니다. 
Training competent physicians who will meet the needs of patients and our health care system depends on an effective medical education continuum, from premedical school to clinical practice. However, this continuum is organized into discrete phases—premedical school, medical school (undergraduate medical education [UME]), residency and fellowship (graduate medical education [GME]), and unsupervised clinical practice—with trainees experiencing abrupt transitions in learning context, environment, responsibilities, and supervision at each transition, as each phase has unique customs and procedures.

학생이 환자 치료에 영향을 미치는 결정을 내릴 수 있는 의사가 되는 핵심 이정표인 UME-GME 전환은 학습자의 발전과 환자 안전에 중요한 영향을 미치는 복잡한 시스템으로 구성되며 교육 연속체 내에서 갑작스러운 변화를 나타냅니다. 현재 이러한 전환은 형평성, 비용, 복지와 관련된 역기능으로 가득 차 있으며, 학생과 레지던트 프로그램은 이 과정에 상당한 시간, 비용, 에너지를 소비해야 합니다. 레지던트 지원과 면접은 안정적인 매칭률에도 불구하고 계속해서 증가하고 있으며, 레지던트 프로그램 지원자를 선발할 때, 미션에 부합하는 총체적인 검토를 사용하기보다는, 시험 점수와 성적에 의존하고 있습니다. 4 총체적 검토는 지원자의 경험, 특성, 역량 및 지표를 균형 있게 고려하여 지원자가 기관의 미션에 어떻게 기여할 수 있는지 판단함으로써 형평성을 증진합니다. 5,6 재정적 지출7과 불안, 우울증, 소진 등 웰빙과 관련된 인적 요인으로 측정되는 비용도 동시에 증가했습니다. 8 의료계의 많은 사람들이 UME-GME 전환의 문제점을 인정하고 학습자들이 이러한 우려를 해결하기 위한 신속한 조치를 촉구하고 있지만,9 근본적인 원인은 복잡하고 쉽게 해결되지 않고 있습니다.
The UME-GME transition, a key milestone in which students become physicians able to make decisions that impact patient care, constitutes a complex system with important implications for learner progression and patient safety and represents an abrupt shift within the educational continuum. Currently, this transition is fraught with dysfunction related to equity, cost, and well-being, requiring students and residency programs to spend significant time, money, and energy on the process. Residency applications and interviews continue to rise despite stable match rates, 1–3 along with a reliance on exam scores and grades to select candidates for residency programs, rather than the use of mission-aligned holistic review. 4 Holistic review promotes equity by balancing the consideration of an applicant’s experiences, attributes, competencies, and metrics to determine how they could contribute to the mission of an institution. 5,6 Costs have increased in parallel, measured by both financial expenditures 7 and human factors related to well-being, such as anxiety, depression, and burnout. 8 Although many in the medical community acknowledge the problems with the UME-GME transition and learners have called for prompt action to address these concerns, 9 the underlying causes are complex and have defied easy fixes.

이 글에서 의사의 책임성을 위한 연합(CoPA)의 학부 의학교육-의학전문대학원 교육 검토 위원회(UGRC) 위원들은 질 개선 접근법10,11과 시스템 사고를 적용하여 UME-GME 전환의 역기능에 대한 근본적인 원인을 탐구합니다. 시스템 사고

  • "시스템을 식별 및 이해하고, 행동을 예측하고, 원하는 효과를 내기 위해 시스템을 수정하는 능력을 향상시키는 데 사용되는 일련의 시너지 분석 기술"입니다. 12

시스템적 사고를 정의하는 세 가지 측면이 있습니다(표 1). 13

  • 첫째, 시스템 사고는 시스템의 구성 요소와 특성(이하 구성 요소)에 대한 인식이 필요합니다.
  • 둘째, 시스템 사고는 시스템 부분 간의 연결과 상호의존성(이하 연결)을 이해하는 데 기반합니다.
  • 셋째, 시스템은 공유되고 명확하며 가치 있는 시스템의 목적 또는 목표(이하 목적)가 있을 때 최적으로 작동합니다.
  • 목적은 식별하고 설명하기 가장 어려운 측면이지만 시스템의 작동 방식을 이해하는 데 가장 중요한 요소입니다.

In this article, members of the Coalition for Physician Accountability’s (CoPA’s) Undergraduate Medical Education to Graduate Medical Education Review Committee (UGRC) apply a quality improvement approach 10,11 and systems thinking to explore the underlying causes of dysfunction in the UME-GME transition. Systems thinking is

  • “a set of synergistic analytic skills used to improve the capability of identifying and understanding systems, predicting their behaviors, and devising modifications to them to produce desired effects.” 12 

Three aspects define systems thinking (Table 1). 13 

  • First, systems thinking requires an appreciation of the components and characteristics of the system (hereafter components).
  • Second, systems thinking is based on understanding the connections and interdependencies among the parts of the system (hereafter connections).
  • Third, systems function optimally with a shared, clear, and valued purpose or goal of the system (hereafter purpose).
  • The purpose, despite being the most difficult aspect to discern and describe, is the most important for understanding how a system functions.

UME-GME 전환과 같은 복잡한 적응 시스템에서는 환경 내에서 기능하는 자율적 개체가 예상치 못한 영향을 미칠 수 있습니다. 14 시스템적 사고의 렌즈를 통해 이러한 전환에 대한 현재 문제의 근본 원인을 파악하고 학습자, 의과대학, 레지던트 프로그램, 그리고 가장 중요한 환자에게 더 나은 서비스를 제공할 수 있는 근본 원인을 목표로 하는 개입을 만들 수 있습니다. 예를 들어, 문헌에 대한 범위 검토를 통해 지원 상한선, 선호도 신호 또는 새로운 UME 평가 절차와 같이 레지던트 지원 절차를 다루는 개입을 통해 UME-GME 전환을 개선하기 위한 시스템 수준의 제안을 분류했습니다. 15 그러나 전체 UME-GME 전환을 해결하기 위한 광범위한 시스템적 사고 접근 방식은 설명되지 않았습니다. 
In a complex adaptive system, such as the UME-GME transition, autonomous entities functioning within the environment can have unexpected effects. 14 Through a systems thinking lens, it is possible to identify root causes of the current challenges to this transition and craft interventions to target root causes that better serve learners, medical schools, residency programs and, most importantly, patients. For example, a scoping review of the literature cataloged systems-level proposals to improve the UME-GME transition through interventions addressing the residency application process, such as application caps, preference signaling, or new UME assessment procedures. 15 However, a broader systems thinking approach to address the entire UME-GME transition has not been described.

UME-GME 전환에 있어 개혁의 필요성을 인식한 CoPA를 구성하는 조직들은 이러한 지속적인 문제에 대한 해결책을 제안하기 위해 UGRC를 소집했습니다. 16 UGRC는 학생, 레지던트, 프로그램 디렉터, UME 리더, GME 리더, 일반인 대표, CoPA 대부분의 회원 기관의 조직 구성원을 포함하여 UME-GME 전환 전반에 걸친 이해관계자들로 구성되었습니다. 17 이 그룹은 레지던트 준비성 보장, 지원 절차의 메커니즘 해결, 경기 후 GME로의 전환 최적화 등 UME에서 GME로의 전환을 개선하기 위한 권고안을 마련하는 임무를 CoPA로부터 부여받았습니다. 심의에서는 다음의 세 가지 교차 주제를 강조했습니다.

  • (1) 다양성, 형평성, 포용성, 공정성,
  • (2) 복지,
  • (3) 공익을 위한 봉사

Recognizing the need for reforms in the UME-GME transition, the organizations which comprise the CoPA convened the UGRC to propose solutions to these persistent problems. 16 The UGRC was composed of stakeholders from across the spectrum of the UME-GME transition, including students, residents, program directors, UME leaders, GME leaders, representatives from the public, and organizational members of most of the member institutions of CoPA. 17 The group was charged by CoPA with making recommendations to improve the transition from UME to GME, including ensuring residency readiness, addressing mechanics of the application process, and optimizing the post-Match transition into GME. The deliberations emphasized 3 cross-cutting themes:

  • (1) diversity, equity, inclusion, and fairness;
  • (2) well-being; and
  • (3) serving the public good.

구성 요소, 연결, 목적이라는 시스템 사고의 원칙은 UME-GME 전환에 품질 개선 접근법을 적용하기 위한 프레임워크를 제공했습니다(표 1). 
The principles of systems thinking—components, connections, and purpose—provided a framework for applying a quality improvement approach to the UME-GME transition (Table 1).

구성 요소: 비효율적인 UME-GME 전환의 근본 원인들
Components: Root Causes of the Ineffective UME-GME Transition

프로세스
Process

UGRC는 이상적인 상태와 현재 시스템(또는 실제 상태) 사이의 격차를 드러내기 위해 UME-GME 전환의 이상적인 상태를 정의했습니다. 18 UGRC는 환자안전19 및 의학교육20,21 분야에서 잘 확립되어 있고 관찰된 문제의 근본적인 구조를 밝히는 프로세스인 근본 원인 분석(RCA)을 수행하여 각 작업 그룹으로 나누어 UME-GME 전환의 일부에 대한 문제 진술을 확인했습니다. 문제 진술은 인과관계에 의문을 제기하여 문제의 근본 원인을 심층적으로 탐구하는 반복적인 프로세스인 5가지 이유를 사용하여 조사되었습니다. 그런 다음 작업 그룹은 이시카와(또는 피쉬본) 다이어그램을 사용하여 문제의 구조를 만들고 문제의 모든 기여 요인을 시각화하여 탐색했습니다. 22,23 각 그룹은 이시카와 다이어그램을 발표하여 전체 위원회에 피드백을 제공했습니다. 24 그런 다음 UGRC는 그룹 간의 공통점을 강조하는 복합 다이어그램을 만들었습니다(그림 1). 
The UGRC defined the ideal state of the UME-GME transition to reveal gaps between the ideal and current system (or actual state). 18 The UGRC undertook root cause analysis (RCA)—a process that is well established in both patient safety 19 and medical education 20,21 and that reveals the structures underlying observed problems—by dividing into workgroups, each of which identified a problem statement for a portion of the UME-GME transition. The problem statements were investigated using the 5 whys, an iterative process of questioning causality to deeply explore the root contributors to a problem. The workgroups then used Ishikawa (or fishbone) diagrams to create structure for and to visualize and explore all contributors to the problem. 22,23 Each group presented their Ishikawa diagram for feedback to the entire committee. 24 The UGRC then created a composite diagram highlighting the commonalities across groups (Figure 1).

복합 피쉬본 다이어그램의 문제 진술은 다음과 같습니다: "현재의 UME-GME 전환은 비효율적이다." 이를 통해 문제를 광범위하게 탐색할 수 있었습니다. 모든 작업 그룹은 피쉬본 다이어그램의 도메인(즉, 큰 뼈대)을 수정하여 UME-GME 전환과 관련된 단편화된 시스템을 기반으로 근본 원인 구성 요소를 보다 논리적이고 구체적으로 그룹화할 수 있도록 했습니다. 따라서 표준화되어 있는 도메인(예: 장비, 인력)을 조정하여 UME-GME 전환 프로세스를 보다 정확하게 포괄하고 설명할 수 있도록 했습니다. 근본 원인 구성 요소는 아래 논의에서 도메인별로 그룹화되어 있습니다.
The problem statement for the composite fishbone diagram was: “The current UME-GME transition is ineffective,” which allowed a broad exploration of the problems. All workgroups modified the domains (i.e., the large bones) of the fishbone diagram to facilitate more logical and specific grouping of root cause components based on the fragmented system involved in the UME-GME transition. Therefore, the domains, which are sometimes standardized (e.g., equipment, personnel), were adjusted to encompass and describe the UME-GME transition process more precisely. The root cause components are grouped by domain in the discussion below.

비효율적인 UME-GME 전환에 대한 피쉬본 분석
Fishbone analysis of the ineffective UME-GME transition

문화.
Culture.

UME-GME 전환은 지원자, 의과대학, 레지던트 프로그램 간에 경쟁적인 분위기를 조성할 수 있으며, 이로 인해 참가자들이 전체적인 이익 대신 개별적인 결과를 우선시하게 될 수 있습니다. 지원자와 레지던트 프로그램은 특정 프로그램(학생별) 또는 지원자(프로그램별)의 선택이 레지던트 기간 동안 평가되는 미래의 성과를 예측한다는 약하고 상충되는 증거에도 불구하고,8 가능한 "최상의" 개별 결과를 정의하고 추구하기 위해 상당한 자원을 기꺼이 희생할 수 있습니다. 26,27 또한, 교수진과 학생은 이 과정에서 고정형 사고방식으로 인해 학습자의 좌절을 성장 또는 회복탄력성의 증거를 찾는 대신 숨겨야 할 실패로 간주하여 보건 전문직 교육에서 성장 마인드가 성공에 도움이 된다는 증거가 있음에도 불구하고 어려움을 겪을 수 있습니다. 28,29 이러한 요인으로 인해 학생들은 학습과 성장보다 성과에 중점을 두는 채점 시스템의 경험을 바탕으로 팀과 환자에게 기여할 수 있는 방법 대신 개인의 성과에 집중하게 될 수 있습니다. 30 지원, 원정(방문) 로테이션, 표준화된 시험 준비에 할애하는 시간을 극대화하기 위해 환자 치료를 포기할 수도 있습니다. 31 학생과 의과대학은 특정 학습 요구를 지원할 수 있는 프로그램을 찾는 대신 과거의 어려움을 숨길 수 있습니다. 프로그램은 성장 마인드, 32 다양성, 형평성, 프로그램의 사명과 학습자의 목표(예: 의사-과학자, 보건 정책 리더, 농촌 진료 제공자 되기) 간의 연계성을 우선시하는 대신 지원자 사이에서 인식되는 명성의 지표를 강조할 수 있습니다. 
The UME-GME transition may create a competitive atmosphere among applicants, medical schools, and residency programs, which can push participants to prioritize individual outcomes instead of the overall good. Applicants and residency programs may be willing to sacrifice significant resources to define (via ranking 25) and pursue the “best” possible individual outcome, 8 despite weak and conflicting evidence that the selection of particular programs (by students) or applicants (by programs) predicts future performance as assessed during residency. 26,27 Furthermore, faculty and students may suffer from a fixed mindset in this process, viewing learner setbacks as failures to be hidden instead of seeking evidence of growth or resilience, despite evidence of the benefits of a growth mindset to success in health professions education. 28,29 These factors could cause students to focus on their individual performance instead of the ways that they can contribute to teams and patients, building on the experience of grading systems that promote performance over learning and growth. 30 They may choose to forgo patient care to maximize time for applications, away (visiting) rotations, and standardized test preparation. 31 Instead of searching for programs that can support any specific learning needs, students and medical schools may hide previous struggles. Programs may emphasize markers of perceived prestige among applicants instead of prioritizing a growth mindset, 32 diversity, equity, or alignment between the program’s mission and the learners’ goals (e.g., becoming a physician-scientist, health policy leader, or rural practice provider).

비용 및 제한된 리소스.
Costs and limited resources.

UME-GME 전환의 모든 단계에서 비용이 가용 리소스를 능가합니다. 예를 들어, 신청 과정에서 신청자가 부담하는 과도한 비용은 UGRC 논의 전반에 걸쳐 변화의 주요 동인 중 하나였습니다. 지원자들은 의대 커리큘럼에서 벗어나 돈, 33 정서적 에너지, 시간 등의 형태로 자원을 소비합니다. 31 일반적으로 높은 비용은 시스템 내에서 행동을 감소시키지만, 레지던트 지원 과정의 높은 위험성으로 인해 지출이 증가함에 따라 학생들은 종종 더 많은 투자를 합니다. 9,33 많은 학생들이 레지던트 자리를 확보하지 못하면 상환이 더욱 어려워지는 상당한 학자금 대출 부채를 떠안고 있습니다. 34,35 이러한 잘못된 피드백 루프는 시스템 기능 장애의 원인이 됩니다. 어려움을 겪고 있는 레지던트를 지원하기 위한 높은 교육 자원 비용36은 레지던트 프로그램이 의과대학에서 추가 지원이 필요했던 지원자를 고려하는 것을 꺼리게 하는 원인이 될 수 있습니다. 레지던트 프로그램은 대량의 지원자를 모집하는 데 상당한 시간과 재정적 자원을 투입하는데, 37-39 이는 잠재적으로 현재 레지던트에 대한 총체적인 검토나 지원을 희생할 수 있습니다. 기능적인 시스템은 낭비(과도한 지원에 소요되는 지원자 비용 등)를 줄이고 필요한 자원(레지던트 프로그램이 총체적인 검토를 수행하기 위한 인력, 교육, 기술 등)을 강화함으로써 시스템의 효율성과 효과성을 모두 증진할 수 있습니다. 40 
Costs outpace available resources at every level of the UME-GME transition. For example, the excess cost to applicants during the application process was one of the main drivers for change throughout UGRC discussions. Applicants expend resources in the form of money, 33 emotional energy, and time away from their medical school curriculum. 31 Even though high costs typically reduce behavior within a system, students often invest more as expenditures rise due to the perceived high-stakes nature of the residency application process. 9,33 Many students shoulder significant student loan debts that will be even more difficult to repay if they do not secure a residency position. 34,35 This misaligned feedback loop contributes to system dysfunction. The high cost of educational resources to assist struggling residents 36 may contribute to reluctance by residency programs to consider applicants who have required extra assistance in medical school. Residency programs dedicate significant time and financial resources to recruiting large volumes of applicants, 37–39 potentially at the expense of holistic review or support for current residents. A functional system would promote both efficiency and efficacy of the system through reducing waste (such as applicant money spent on excessive applications) and enhancing needed resources (such as personnel, training, and technology for residency programs to conduct holistic review). 40

편견.
Bias.

불평등이 UME-GME 전환에 스며들어 있습니다. 레지던트 선발에서 중요한 지표가 되는 사무직 성적,41 아너 소사이어티 회원,42 및 표준화된 면허 시험 점수,43에는 인종 및 민족적 격차가 존재합니다. 이러한 그룹 간 차이는 실제 학습자의 능력과는 무관한 구조적 차이일 수 있으므로 구조적 편견을 나타낼 수 있습니다. 지원서 검토 과정에서도 암묵적 편견이 발생할 수 있습니다. 44 지원서 양이 증가함에 따라 미션 기반의 총체적 검토는 감소할 수 있습니다. 45 이러한 상황에서 레지던트 프로그램은 면허 시험 점수, 4개 지역 또는 의과대학을 기준으로 지원서를 검토 대상으로 선정할 수 있습니다. 46 이러한 유형의 기준에 우선순위를 두면 인종, 민족, 성별, 학위(MD 대 DO) 또는 출신 의과대학(미국 의대 졸업생 대 해외 의대 졸업생)에 따라 특정 그룹에 불균형하게 영향을 미칠 수 있습니다.
Inequity permeates the UME-GME transition. Racial and ethnic disparities exist in clerkship grading, 41 honor society membership, 42 and standardized licensing examination scores, 43 which are often valued metrics in resident selection. These group differences may be construct-irrelevant (not related to actual learner ability) and therefore represent structural bias. Implicit bias may also occur in the application review process. 44 Mission-based holistic review may decrease as the volume of applications increases. 45 In these situations, residency programs may select applications for review based on licensing examination scores, 4 geography, or medical school. 46 Prioritizing these types of criteria may disproportionately affect specific groups based on race, 47 ethnicity, gender, degree (MD vs DO), or medical school of origin (U.S. vs international medical graduate).

시스템.
Systems.

지원자가 전문 분야를 선택하고, 면접 일정을 잡고, 좁은 기간 내에 레지던트 자리를 확보해야 하는 시간적 압박을 포함하여 UME-GME 전환에 내재된 여러 제약 조건은 의학교육 커뮤니티에서 잠재적으로 수정할 수 있습니다. 프로그램과 지원자에 대한 정보를 배포하는 데 사용되는 테크놀로지 시스템은 접근, 이해, 신뢰가 어려울 수 있습니다. 48,49 이러한 제한으로 인해 학습자와 프로그램 모두 동료의 추천에 따라 과도하게 지원하거나(이러한 행동이 결과를 개선하지 못한다는 데이터에도 불구하고), 프로그램에서 세부적으로 검토할 지원자 수를 줄이는 등 편법을 택할 수 있습니다. 45 레지던트 직책에 대한 자금 지원, 전문의 보상, 병원 인력 요구, 일반 수련의 면허에 대한 법적 장벽 등 UME-GME 전환에 중대한 영향을 미치는 추가적인 시스템 문제는 UGRC의 책임 범위 밖에 있었습니다. 
Multiple constraints built into the UME-GME transition, including time pressures for applicants to select a specialty, schedule interviews, and secure a residency position within a narrow window of opportunity, are potentially modifiable by the medical education community. The technological systems used to disseminate information about both programs and applicants can be difficult to access, understand, and trust. 48,49 These limitations can cause both learners and programs to take shortcuts, such as applicants overapplying based on peer recommendations despite data that this behavior will not improve their outcomes 8 or a program decreasing the number of applications that will be reviewed in detail. 45 Additional system issues that significantly affect the UME-GME transition, such as funding for residency positions, specialty compensation, hospital staffing needs, and legal barriers to universal trainee licensure, were outside the scope of the charge to the UGRC.

표준 부족.
Lack of standards.

효과적이고 의미 있는 UME-GME 전환 시스템을 구현하기 위한 전제 조건으로 공유된 정신 모델이 절실히 필요합니다. 40 성공적인 매칭, 학습자의 레지던트 준비도, 역량 및 전문성과 같은 중요한 개념을 구성하는 요소에 대한 공유된 실행 가능한 정의가 부족하여 전환에 어려움을 겪고 있습니다. 의과대학에서 다양한 학생 평가 방법과 성과 보고 관행을 사용하는 것은 레지던트 프로그램에서 지원자를 비교하는 것을 복잡하게 만듭니다. 지원자 또는 프로그램에 대한 성공적인 매칭에 대한 정량화 가능한 정의가 없기 때문에 통합된 비전을 개발하고 UME-GME 전환 과정을 최적화하기가 어렵습니다. 13 시스템은 스펙트럼 전반에 걸쳐 다양하고 중요한 목표를 적절히 달성하는 데 어려움을 겪고 있으며, 이러한 상황은 참여자들이 서로 다른 가정하에 기능할 때 UME 및 GME 이해관계자 간의 신뢰 부족을 유발합니다. 공유된 정신 모델은 참여자들이 시스템의 목표와 프로세스에서 자신의 역할에 대한 합의를 도출하는 데 도움이 될 수 있습니다. 51 
There is an urgent need for shared mental models as prerequisites to effective and meaningful implementation of a functional UME-GME transition system. 40 The transition suffers from a lack of shared actionable definitions of important concepts, such as what constitutes a successful match, learner readiness for residency, competence, and professionalism. The use of variable student assessment methods and performance reporting practices across medical schools 50 complicates residency programs’ comparisons of applicants. The absence of a quantifiable definition of a successful match for either applicants or programs makes it difficult to develop a unified vision and optimize the UME-GME transition process. 13 The system struggles to adequately meet varied and important goals across the spectrum, a situation that prompts lack of trust among UME and GME stakeholders when participants are functioning under different presumptions. Shared mental models could help participants develop consensus on the goals of the system and on their role in the process. 51

일관성 부족.
Lack of alignment.

불연속성은 UME-GME 전환의 역기능의 핵심 원인입니다. 이 시스템은 여러 개의 독립적인 프로세스로 구성되어 있으며, 각 프로세스는 별도의 리더십, 목표, 책임 및 재무 구조를 가진 별개 조직에서 관리합니다. 따라서 전체 시스템의 최선의 이익이 관련된 개별 조직의 재정적 이익을 증진하지 못할 수도 있습니다.

  • 또한, 모든 미국 졸업생을 매칭하려는 동기를 가진 UME 커뮤니티와 사용 가능한 지표를 사용하여 '최고의' 지원자를 받아들이고 레지던트 기간 동안 어려움을 겪을 수 있는 지원자를 피하려는 동기를 가진 GME 교육자 사이에는 내재적인 갈등이 존재합니다.
  • 마찬가지로, 지원 절차는 지원자의 선호도를 우선시합니다. 이러한 목표는 장점이 있지만 시스템 관점에서 볼 때 이러한 설계는 자원이 부족한 전문과목 및 지리적 위치의 의사에 대한 대중의 요구에 불이익을 줄 수 있습니다. 52
  • 마지막으로, 학생들이 "완벽한 지원서"를 작성하고 성장이 필요한 부분을 숨기는 연습은 의사들 사이에서 자기 주도적 학습을 촉진하는 습관과 행동을 육성하기 위해 UME와 GME 모두에서 권장하는 성장 마인드에 반하는 것입니다. 53 

Discontinuity is a core contributor to the dysfunction in the UME-GME transition. The system is organized into multiple independent processes, each managed by a different organization with separate leadership, goals, accountabilities, and financial structures. Hence, the best interest of the whole system may not promote the financial interests of the individual organizations involved.

  • Additionally, there is inherent conflict between the UME community, which is motivated to match all U.S. graduates, and GME educators, who are motivated to accept the “best” applicants using the available metrics and avoid applicants who may struggle during residency.
  • Similarly, the application process prioritizes applicant preferences; though this aim has merit, from a systems perspective, this design may disadvantage the public’s need for physicians in underresourced specialties and geographic locations. 52 
  • Finally, the exercise for students of creating a “perfect application” and hiding areas in need of growth is antithetical to the growth mindset that is encouraged in both UME and GME to foster habits and behaviors that facilitate self-directed learning among physicians. 53

연결: 시스템 사고를 통한 결과 예측
Connections: Predicting Outcomes Through Systems Thinking

UGRC가 RCA 프로세스를 사용하여 역기능적인 UME-GME 전환의 구성 요소를 식별한 후, 구성원들은 각 요소 간의 연결을 고려했습니다. 복합 피쉬본 다이어그램의 각 뼈대는 작업 그룹 내에서 5가지 이유 운동의 결과를 나타냅니다(그림 1). 상호 작용을 주의 깊게 조사한 결과 시스템의 여러 측면이 피드백 루프와 원형archetypes으로 작동한다는 사실이 밝혀졌습니다. 시스템 사고에서 원형은 "서로 다른 환경에서 반복적으로 발생하는 공통 패턴"입니다. 54 시스템 사고는 교육자가 이러한 원형을 식별하고 분석하여 행동을 예측하고 해결책을 제안하도록 안내합니다(표 1).
After the UGRC used the RCA process to identify component parts of the dysfunctional UME-GME transition, members considered connections among the parts. Each bone of the composite fishbone diagram represents the outcomes of the 5 whys exercise within workgroups (Figure 1). Carefully investigating the interactions revealed that several aspects of the system function in feedback loops and archetypes. In systems thinking, archetypes are “common patterns … that occur repeatedly in different settings.” 54 Systems thinking guides educators to identify and analyze these archetypes to predict behavior and propose solutions (Table 1).

개념 증명: 복잡한 결과를 설명하는 아키타입
Proof of concept: Archetypes explain complex outcomes

시스템 사고의 원형은 UME-GME 전환의 문제를 직접 분석하는 데 도움이 될 수 있습니다. 예를 들어, 하나의 원형인 [실패한 수정]은 시스템 내의 증상적인 문제를 빠르게 완화하지만 근본적인 문제를 해결하지 못하여 전체적으로 문제를 악화시키는 솔루션을 설명합니다. 54 이 원형은 지원자 스트레스, 과잉 지원, 고난도 지표의 상호 작용을 설명하는 데 도움이 될 수 있습니다. 이는 합격/불합격 채점 및 점수 보고에 대한 움직임이 왜 많은 사람들이 책임을 져야 하는 다른 시스템 변화가 없는 상황에서 문제를 완화하기는커녕 악화시킬 가능성이 있는지를 명확히 해줍니다. 그림 2는 UME-GME 전환의 5가지 이유에 대한 선형 인과관계 다이어그램의 지나치게 단순화된 예를 보여줍니다.
Systems thinking archetypes can help direct analysis of problems in the UME-GME transition. For example, one archetype, fixes that fail, describes solutions that quickly alleviate symptomatic problems within the system but that do not address underlying issues, and therefore lead to worsening problems overall. 54 This archetype can help explain the interaction of applicant stress, overapplication, and high-stakes metrics. It clarifies why the movement toward pass/fail grading and score reporting has the potential to exacerbate, rather than alleviate, problems absent other systems changes for which many bear responsibility. Figure 2 demonstrates an oversimplified example of a linear cause-and-effect diagram of the 5 whys for the UME-GME transition.

 

그림 3A는 애플리케이션 수가 증가하는 양적 피드백 루프에 의해 구동되는 시스템을 괴롭힌 증폭 캐스케이드를 보다 명확하게 보여주는 강화 루프를 보여줍니다. 이 루프에 따르면 지원자가 시간, 비용, 정서적 에너지를 과도하게 소비하는 근본 원인 중 하나는 요약 평가에 중점을 두는 것입니다.

Figure 3A demonstrates a reinforcing loop, which more clearly demonstrates the amplification cascade that has plagued the system, driven by a positive feedback loop of increasing numbers of applications. Based on this loop, 1 root cause for the excessive expenditure of time, money, and emotional energy by applicants is the emphasis on summative evaluations.

그림 3B는 합격/불합격 채점으로 전환하여 이 루프를 해결하려는 시도가 학습 및 교육 문화 개선에 대한 채점 체계의 잠재적 이점에도 불구하고 지원자 지출을 증가시킬 수 있는 방법을 보여줍니다. 이는 강화 루프의 일부 구성 요소에 대한 해결책이 개별적으로 구현될 때 역설적으로 전체 시스템을 악화시키는 전형적인 fix that fails 원형에 해당합니다. 54 이 지나치게 단순화된 예에서, 애플리케이션에서 잠재적으로 문제가 될 수 있는 지표(불공평성, 정확성 또는 신뢰성 부족으로 인한 문제)가 사라지면 프로그램 책임자의 명확성이 떨어지고, 이로 인해 애플리케이션에 남아 있는 정량적 데이터에 대한 의존도가 높아져 업무가 더욱 과중해질 수 있습니다. 프로그램 디렉터들은 미국 의사 면허 시험 1단계가 합격/불합격 점수 보고로 전환되면서 이러한 우려를 표명했습니다. 55 이 사례는 UME-GME 전환을 위해 총점 보고가 필요하다는 것을 시사하는 것이 아니라 시스템 사고 도구가 복잡한 상호작용과 시스템 개선을 위한 개입의 성공 가능성을 예측하고 설명하는 데 도움이 될 수 있다는 것을 보여주기 위한 것입니다. 이는 원하는 변화를 달성하기 위해서는, 전체 시스템을 위해 작동하는 조정된 솔루션 세트가 필요하다는 것을 보여줍니다

Figure 3B illustrates how trying to address this loop by moving to pass/fail grading could increase applicant expenditures, despite the potential benefits of this grading scheme for learning and improving the educational culture. It constitutes a classic fix that fails archetype, in which a solution to some components of a reinforcing loop paradoxically worsens the overall system, when implemented in isolation. 54 In this oversimplified example, loss of potentially problematic metrics (problematic due to inequity and lack of accuracy or reliability) in the applications leads to less clarity for program directors, which could make them more overwhelmed and increase their reliance on whatever quantitative data remain in the application. Program directors have expressed this concern with the transition of the United States Medical Licensing Examination Step 1 to pass/fail score reporting. 55 To be clear, this example is not meant to suggest that summative grade reporting is necessary for the UME-GME transition, but rather that systems thinking tools can help predict and explain complex interactions and the likelihood of success of interventions to improve the system. It illustrates that a coordinated set of solutions that work for the entire system is needed to achieve desired changes.

 

 

앞으로의 전망: 균형 잡힌 프로세스로 시스템 안정화 가능
Looking forward: Balancing processes can stabilize the system

애플리케이션 인플레이션 프로세스와 같이 강화 루프 내에서 기하급수적인 성장을 안정화하기 위한 구체적인 개입을 제안하는 시스템 접근 방식은 그림 3C에 나와 있습니다. 밸런싱 프로세스는 시스템 내에서 피드백을 생성하여 이상적인 상태로 되돌아가도록 유도합니다. 이러한 바람직한 상태, 즉 균형 잡힌 시스템으로 작동하려면 목표에 대한 명확한 이해와 함께 시스템 내에서 실제 성능과 예상 성능 간의 격차를 모니터링하는 메커니즘이 필요합니다. 실제 기능과 이상적인 기능의 차이는 프로세스 내 이해관계자, 공식 위원회 또는 둘 다에 의해 투명하게 모니터링될 수 있습니다. 그림 3C는 UME-GME 전환을 최적화하기 위해 작동할 수 있는 균형 조정 프로세스의 간단한 예를 보여줍니다. 즉, 프로그램 디렉터가 지표 사용이 프로그램 다양성과 같은 공유되고 가치 있는 이상에 어떤 영향을 미치는지에 대한 피드백을 받으면 이 정보를 바탕으로 전체론적 검토를 강화하고 모든 지원자에 대한 검토 프로세스를 개선할 수 있습니다. 궁극적으로 다양성 데이터가 공개되면 모든 참가자의 초점이 프로그램 순위와 경쟁 문화에 기여하는 다른 요소 대신 형평성과 다양성이라는 공동의 목표로 옮겨갈 수 있습니다. 
A systems approach that suggests specific interventions to stabilize the exponential growth within reinforcing loops, such as the application inflation process, is shown in Figure 3C. A balancing process creates feedback within the system to steer it back toward its ideal state. This desired state, a balanced system that operates in equilibrium, requires a clear understanding of the goal, as well as a mechanism to monitor the gap between actual and expected performance within the system. The difference between actual and ideal function can be monitored transparently for stakeholders within the process, a formal committee, or both. Figure 3C illustrates a simple example of a balancing process that could work to optimize the UME-GME transition. That is, if program directors receive feedback on how the use of metrics is influencing a shared and valued ideal, for example, program diversity, this information may influence them to increase holistic review and improve the review process for all applicants. Eventually, if diversity data become publicly available, the focus of all participants may shift toward the mutual goals of equity and diversity instead of program rankings and other contributors to the culture of competition.

목적: 다양한 유형의 목표를 향한 구성 요소 및 연결 적용
Purpose: Applying Components and Connections Toward Different Types of Objectives

공유되고 명확하며 가치 있는 목표
Shared, clear, and valued goals

UGRC는 원형과 시스템 사고의 원칙을 적용하여 UME-GME 전환을 개선하기 위한 권장 사항을 개발했습니다. 위에서 설명한 균형 조정 과정과 같이 이상적인 상태가 이미 명확하게 정의되어 있고 이해관계자 그룹이 그 중요성에 동의한 경우도 있습니다. 이러한 경우, 현재 상태에 대한 투명성과 변화를 촉진하기 위한 자원이 결합되면 시스템 변화를 유도하기에 충분할 수 있습니다. 
The UGRC applied the principles of archetypes and systems thinking to develop recommendations to improve the UME-GME transition. In some cases, such as the balancing process described above, the ideal state had already been clearly defined and stakeholder groups have agreed on its importance. In these cases, transparency about the current state combined with resources to facilitate change may be sufficient to induce the system to change.

예를 들어, 다양성, 형평성, 포용성의 경우 UGRC는 교육 결과에 대한 투명성 및 모니터링 강화를 권고했습니다. 다음 권장 사항은 형평성 결과에 대한 데이터 수집 및 측정을 가능하게 하며, 이를 통해 교육 기관 내에서, 그리고 잠재적으로 이해관계자 그룹 사이에서 가시화될 수 있는 변화를 유도할 수 있습니다:
For example, in the case of diversity, equity, and inclusion, the UGRC recommended increased transparency and monitoring of educational outcomes. The following recommendations would allow data collection and measurement of equity outcomes, which can then drive change as they become visible within institutions and, potentially, among stakeholder groups:

  • 검증 가능한 GME 프로그램/트랙 정보가 포함된 대화형 데이터베이스를 생성하여 모든 지원자, 의과대학, 레지던트 프로그램에 무료로 제공합니다. 여기에는 이전에 각 GME 프로그램/트랙에 지원하고, 면접을 보고, 순위를 매기고, 매칭된 개인의 종합적인 특성이 포함됩니다. (권장 사항 6)
    Create an interactive database with verifiable GME program/track information and make it available to all applicants, medical schools, and residency programs and at no cost to the applicants. This will include aggregate characteristics of individuals who previously applied to, interviewed at, were ranked by, and matched for each GME program/track. (Recommendation 6)
  • 의과대학은 채점의 시스템적 편견을 없애기 위해 인종, 민족, 성 정체성/표현, 성적 정체성/성향, 종교, 비자 상태, 능력, 위치(예: 위성 또는 임상 현장 위치)에 따른 성적 분포 패턴을 포함하여 임상 사무직 채점에 대한 초기 및 연간 탐색적 검토를 수행해야 하며, 편견을 완화하기 위해 정기적으로 교수 개발을 수행해야 합니다. UME-GME 연속체 전반의 프로그램은 편견이 학생 및 레지던트 평가, 경기 결과, 소모, 명예 학회 선발에 미치는 영향을 조사해야 합니다. (권장 사항 10)
    To eliminate systemic biases in grading, medical schools must perform initial and annual exploratory reviews of clinical clerkship grading, including patterns of grade distribution based on race, ethnicity, gender identity/expression, sexual identity/orientation, religion, visa status, ability, and location (e.g., satellite or clinical site location), and perform regular faculty development to mitigate bias. Programs across the UME-GME continuum should explore the impact of bias on student and resident evaluations, match results, attrition, and selection to honor societies. (Recommendation 10)
  • 인식을 높이고 형평성과 책임성을 촉진하는 조정을 용이하게 하기 위해 지원자의 자체 보고 인구통계학적 정보(예: 인종, 민족, 성 정체성/표현, 성적 정체성/지향, 종교, 비자 상태 또는 능력)를 측정하고 UME-GME 전환 과정에서 실시간으로 프로그램 및 의과대학을 포함한 주요 이해관계자들과 공유해야 합니다. (권고안 16) 24
    To raise awareness and facilitate adjustments that will promote equity and accountability, self-reported demographic information of applicants (e.g., race, ethnicity, gender identity/expression, sexual identity/orientation, religion, visa status, or ability) should be measured and shared with key stakeholders, including programs and medical schools, in real time throughout the UME-GME transition. (Recommendation 16) 24

이러한 개입은 형평성 목표와 실제 결과 사이의 격차를 조명함으로써 UME-GME 전환을 안정화할 수 있습니다. 격차가 벌어질수록 형평성 증진을 위한 노력이 증가하여 격차가 줄어들고 시스템이 이상적인 상태에 가까워져야 합니다.
These interventions could stabilize the UME-GME transition by shining light on the gap between equity goals and actual outcomes. As the gap widens, efforts to promote equity should increase, thereby shrinking the gap and bringing the system closer to the ideal state.

이상적인 상태에 대한 의견 불일치 영역
Areas of disagreement about the ideal state

시스템 사고아키타입실제 상태와 이상적인 상태 사이의 격차를 명확히 하고, 목표를 설정하기 어려울 때도 유용합니다.

  • 공유지의 비극과 같이 일부 원형은 지속적인 평가와 감독이 필요합니다. 56 이 원형에서는 "시스템 내의 각 사람이 개인의 이익을 위해 점점 더 많은 자원을 사용함에 따라 공유 자원에 과도한 부담이 가해집니다. 결국 자원이 줄어들거나 소멸되어 관련된 모든 사람의 이익이 감소하게 됩니다." 56
  • 이 원형은 지원 인플레이션 문제에도 분명히 적용 가능합니다. 학생들은 개별적으로 더 많은 지원서를 제출하고 더 많은 면접 기회를 확보함으로써 이익을 얻을 수 있지만, 검토를 위한 프로그램 리소스는 무한하지 않습니다. 많은 조직이 관여하고 매년 지원자에게 높은 수준의 피드백을 제공하는 프로세스의 특성 때문에 실시간 피드백이 내재된 개입을 설계하는 것은 어려운 일입니다.

Systems thinking and archetypes are also helpful when the gap between the actual and ideal state is not easy to clarify and target.

  • Some archetypes require ongoing evaluation and even oversight, such as the tragedy of the commons56 In this archetype, “a shared resource becomes over-burdened as each person in the system uses more and more of the resource for individual gain. Eventually, the resource dwindles or is wiped out, resulting in lower gains for everyone involved.” 56 
  • This archetype is clearly applicable to the problem of application inflation. Students may individually benefit from sending more applications and securing more interviews, but program resources for review are not infinite. Designing an intervention with inherent, real-time feedback is challenging because of the many organizations involved and the high-stakes nature of the process for the applicants each year.

UGRC는 개선된 커리어 조언과 신뢰할 수 있는 레지던트 정보 데이터베이스의 형태로 상당한 리소스를 제공할 것을 권장했지만,24 이러한 리소스만으로는 충분하지 않을 수 있습니다. UGRC는 또한 문제 해결을 위해 파일럿 개입을 권장했지만,24 파일럿에 대한 평가는 지원자를 레지던트 포지션에 배치하는 것이 어떻게 [개인의 선호도]와 [공익] 모두를 충족시킬 수 있는지라는 핵심적인 긴장의 핵심에 놓이게 될 것입니다. 이상적인 프로세스는 가능한 한 많은 지원자를 선호하는 프로그램에 매칭하는 동시에 모든 전문 분야와 지역에 의사를 고르게 배치하는 균형을 맞추는 것입니다. 이 이상적인 프로세스에서 시스템은 임상 또는 교육 기업에서 불필요하게 자원을 전용하지 않고 지원자와 의료 시스템에 적합한 비용으로 이러한 작업을 수행합니다. 18 

The UGRC recommended significant resources in the form of improved career advising and a reliable database of residency information, 24 but resources alone are unlikely to be sufficient. The UGRC also recommended pilot interventions to solve the problem, 24 but the evaluation of the pilots will sit at the crux of a key tension: how the placement of applicants into residency positions can serve both the preferences of individuals and the public good. The ideal process will balance matching as many applicants as possible into their preferred programs, while also distributing physicians across all specialties and geographic regions. In this ideal process, the system will perform these tasks at a cost that is appropriate for applicants and the health care system, without unnecessarily diverting resources from the clinical or educational enterprise. 18 

이해관계자마다 이러한 긴장의 각 측면을 다르게 평가할 것입니다. 예를 들어, 임상 리더십은 환자 치료에 미치는 영향을 줄이는 데 가장 관심이 있는 반면, 지원자와 프로그램 디렉터는 매칭률을 최적화하는 데 가장 관심이 있을 수 있습니다. 따라서 형평성, 복지, 공익에 중점을 두고 전반적인 시스템을 모니터링할 그룹을 임명하는 것이 중요합니다. 이해관계자의 요구를 신중하게 균형 있게 고려하고 시스템 내의 역동적인 변화에 적절히 유연하게 대응할 수 있는 국가 차원의 지속적인 품질 개선 위원회가 UGRC에서 UME-GME 전환의 변화를 시작하는 데 가장 중요한 촉진자로 선정한 이유도 바로 이 때문입니다:

Different stakeholders will valuate each aspect of this tension differently. For example, clinical leadership may be most concerned with reducing impact on patient care, while applicants and program directors may be most interested in optimizing match rates. Therefore, it is important to appoint a group to monitor the overall system, with an emphasis on equity, well-being, and the public good. These are the reasons that a national continuous quality improvement committee that would thoughtfully balance stakeholder needs and respond with appropriate flexibility to dynamic changes within the system was identified by the UGRC as the most important facilitator to initiating change in the UME-GME transition:

  • 이행된 권고안의 의도된 영향과 의도하지 않은 영향에 대한 평가를 포함하여 UME-GME 전환의 전체 프로세스에 대한 지속적인 품질 개선을 관리하기 위해 국가 차원의 지속적인 위원회를 소집합니다. (권고안 1) 24
    Convene a national ongoing committee to manage continuous quality improvement of the entire process of the UME-GME transition, including an evaluation of the intended and unintended impact of implemented recommendations. (Recommendation 1) 24

결론
Conclusions

요약하면, UME에서 GME로의 전환은 현재 기능 장애가 악화되고 있는 더 큰 의료 시스템 내의 생태계로 구성되어 있으며 사려 깊고 조율된 시스템 차원의 개입이 필요합니다. UGRC는 시스템 사고 프레임워크를 사용하여 UME-GME 전환의 구성 요소, 연결성, 목적을 조사했습니다. RCA는 문화, 비용 및 제한된 리소스, 편견, 시스템, 표준 부족 및 조정 부족과 관련된 영역을 확인했습니다. 이러한 결과와 밝혀진 구성 요소 간의 연관성을 바탕으로 UGRC는 실제 상태와 이상적인 상태 사이의 격차를 줄이기 위해 리소스를 제공하고 균형을 맞추기 위한 초기 권장 사항을 만들었습니다. 지원자, 프로그램 및 공익에 더 나은 서비스를 제공하기 위해 개입이 프로세스를 발전시킬 수 있도록 지속적인 모니터링이 필요합니다. 이러한 모니터링을 제공하기 위한 그룹을 구성하려면 CoPA의 회원 조직 간의 지속적인 협력이 필요합니다. 
In summary, the transition from UME to GME comprises an ecosystem within the larger health care system that currently suffers worsening dysfunction and requires thoughtful, coordinated, system-level intervention. The UGRC used a systems thinking framework to investigate the components, connections, and purpose of the UME-GME transition. An RCA identified domains related to culture, costs and limited resources, bias, systems, lack of standards, and lack of alignment. Based on these findings and the connections among the revealed components, the UGRC made initial recommendations to provide resources and implement balancing forces to narrow the gap between the actual and ideal state. Sustained monitoring will be necessary to ensure interventions move the process forward to better serve applicants, programs, and the public good. Creating a group to provide this monitoring will require continued collaboration among the member organizations of the CoPA.

 


Acad Med. 2023 Feb 1;98(2):180-187. doi: 10.1097/ACM.0000000000005065. Epub 2023 Jan 20.

The Undergraduate to Graduate Medical Education Transition as a Systems Problem: A Root Cause Analysis

Affiliations collapse

Affiliations

1J.L. Swails is residency program director, codirector of interprofessional education, and associate professor, Department of Medicine, McGovern Medical School, University of Texas Health Science Center, Houston, Texas; ORCID: http://orcid.org/0000-0002-6102-831X .

2S. Angus is designated institutional official, vice-chair for education, and professor, Department of Medicine, University of Connecticut School of Medicine, Farmington, Connecticut.

3M.A. Barone is vice president of competency-based assessment, NBME, Philadelphia, Pennsylvania, and adjunct associate professor of pediatrics, Johns Hopkins University School of Medicine, Baltimore, Maryland.

4J. Bienstock is professor of gynecology and obstetrics, associate dean for graduate medical education, and designated institutional official, Johns Hopkins University School of Medicine, Baltimore, Maryland.

5J. Burk-Rafel is assistant professor of medicine and assistant director of UME-GME innovation, Institute for Innovations in Medical Education, NYU Grossman School of Medicine, New York, New York.

6M.A. Roett is professor and chair, Department of Family Medicine, Georgetown University Medicine Center, and clinical chief of family medicine, MedStar Georgetown University Hospital, Washington, DC.

7K.E. Hauer is associate dean for competency assessment and professional standards and professor, Department of Medicine, University of California, San Francisco School of Medicine, San Francisco, California.

PMID: 36538695

DOI: 10.1097/ACM.0000000000005065

Abstract

The transition from undergraduate medical education (UME) to graduate medical education (GME) constitutes a complex system with important implications for learner progression and patient safety. The transition is currently dysfunctional, requiring students and residency programs to spend significant time, money, and energy on the process. Applications and interviews continue to increase despite stable match rates. Although many in the medical community acknowledge the problems with the UME-GME transition and learners have called for prompt action to address these concerns, the underlying causes are complex and have defied easy fixes. This article describes the work of the Coalition for Physician Accountability's Undergraduate Medical Education to Graduate Medical Education Review Committee (UGRC) to apply a quality improvement approach and systems thinking to explore the underlying causes of dysfunction in the UME-GME transition. The UGRC performed a root cause analysis using the 5 whys and an Ishikawa (or fishbone) diagram to deeply explore problems in the UME-GME transition. The root causes of problems identified include culture, costs and limited resources, bias, systems, lack of standards, and lack of alignment. Using the principles of systems thinking (components, connections, and purpose), the UGRC considered interactions among the root causes and developed recommendations to improve the UME-GME transition. Several of the UGRC's recommendations stemming from this work are explained. Sustained monitoring will be necessary to ensure interventions move the process forward to better serve applicants, programs, and the public good.

구름낀 푸른하늘: 의대생-전공의 이행에서의 지속적 긴장을 식별하고 미래의 이상적 상태 그리기(Acad Med, 2023)
Blue Skies With Clouds: Envisioning the Future Ideal State and Identifying Ongoing Tensions in the UME–GME Transition
Karen E. Hauer, MD, PhD, Pamela M. Williams, MD, Julie S. Byerley, MD, MPH,
Jennifer L. Swails, MD, and Michael A. Barone, MD, MPH

 

 

의학교육의 목적은 환자의 요구를 충족하고 점점 더 다양해지는 인구를 돌볼 수 있는 지식, 기술, 태도(역량)를 갖춘 의사를 양성하는 동시에 공익을 위해 봉사하는 의료계의 의무를 이행하는 것입니다. 1 의학교육은 또한 COVID-19 팬데믹과 조직적 인종차별을 포함하여 건강과 웰빙에 대한 현재의 도전에 맞설 준비가 된 강력한 인력을 확보하고 지원하기 위해 수련생과 의사의 웰빙에도 관심을 기울여야 합니다. 2,3 이러한 널리 지지되는 목표에도 불구하고 현재의 단계적 의사 수련 과정은 어려움을 겪고 있습니다. 4,5

  • 교육 연속체 전반에 걸쳐 조정이 제대로 이루어지지 않고,
  • 수련의 진도를 의료 요구에 맞추지 못하며,
  • 여러 이해관계자에게 스트레스를 유발하고,
  • 수련의와 교육자의 시간, 에너지, 자원을 과도하게 소비하는 

The purpose of medical education is to prepare physicians with the knowledge, skills, and attitudes (competencies) to meet patient needs and care for an increasingly diverse population while fulfilling the medical profession’s obligation to serve the public good. 1 Medical education also needs to attend to trainee and physician well-being to ensure and support a robust workforce prepared to confront current challenges to health and wellness, including the COVID-19 pandemic and systemic racism. 2,3 Despite these widely endorsed aims, the current stepwise process of physician training

  • suffers from poor coordination across the educational continuum;
  • fails to align trainee progression with health care needs;
  • creates stress for multiple stakeholders; and
  • consumes excessive trainee and educator time, energy, and resources. 4,5

이러한 단점을 보여주는 특별한 문제점은 의과 대학에서 레지던트로 전환하는 과정입니다

  • [학생]들은 의과대학 4학년이 되면 교육적, 개인적 가치를 인식하지만,6 이 시기에는 주로 지원 절차에 집중합니다. 자기소개서와 2차 지원서 작성, 방문 로테이션 완료, 인터뷰 예약, 프로그램 방문을 위한 여행 등이 포함된 이 과정은 많은 재정적, 시간적 비용이 발생하며 재정적 여유가 있는 학생에게 유리합니다. 7-9 이 과정은 또한 전환에 관련된 다른 사람들에게도 부담을 줍니다. 
  • [의과대학 교육자]들은 재학생 및 예비 학생, 동료, 인증기관 사이에서 학교에 대한 우호적인 인식을 조성하기 위한 지속적인 노력의 일환으로 학생들이 원하는 레지던트 자리를 확보할 수 있도록 경쟁합니다. 
  • 한편 [레지던트 프로그램 디렉터, 직원 및 교수진]은 학생들이 많은 수의 지원서를 제출하도록 장려하는 시스템의 맥락에서 지원자에 대한 비슷한 수준의 정보가 포함된 수백 개의 지원서를 접수하고 처리합니다. 10 
  • 이러한 과중한 업무량을 관리하기 위해 교육계 리더들은 자기소개서 타겟팅, 추천서 구조화, 면접 제한 등 다양한 솔루션을 제안했습니다. 11-14 이러한 솔루션은 미국 의대 및 정골과 학생, 교육자, 레지던트 프로그램 디렉터 및 직원뿐만 아니라 미국 레지던트 자리를 확보하는 데 더 큰 장애물을 경험하는 국제 의대 학생 및 교육자에게도 지원 절차를 완화할 수 있는 잠재력을 가지고 있습니다. 14,15 

그러나 의과대학에서 레지던트로의 전환을 개선하기 위한 공식적이고 대규모적인 노력은 없었습니다.

A particular pain point demonstrating these shortcomings is the transition from medical school to residency.

  • While students recognize educational and personal value to the fourth year of medical school, 6 they largely focus this time on the application process. The process, which involves writing personal statements and secondary applications, completing visiting rotations, securing interviews, and traveling to visit programs, incurs high financial and time costs and advantages students with more financial resources. 7–9 The process also strains others involved in the transition.
  • Medical school educators vie to ensure their students secure desired residency positions as part of their ongoing efforts to foster favorable perceptions of their school among current and prospective students, peers, and accreditors.
  • Meanwhile, residency program directors, staff, and faculty receive and process hundreds of applications containing similarly glowing information about candidates, in the context of a system that incentivizes students to submit high numbers of applications. 10 
  • To manage this overwhelming workload, education leaders have proposed various solutions, including targeting personal statements, structuring letters of recommendation, and limiting interviews. 11–14 These solutions hold potential to ease the application process not only for U.S. medical and osteopathic students, educators, and residency program directors and staff but also for students and educators from international medical schools, who experience even greater hurdles to securing U.S. residency positions. 14,15 

But there has been no formal, large-scale effort to improve the transition from medical school to residency.

학부 의학교육에서 대학원 의학교육 검토 위원회(UGRC)
Undergraduate Medical Education to Graduate Medical Education Review Committee (UGRC)

2020년에 발표된 USMLE 1단계 점수 보고가 합격/불합격 결과만으로 변경되면서 학부 의학교육(UME)에서 의학전문대학원(GME)으로의 전환을 학습자, 프로그램, 잠재적으로 의료계에 도움이 되는 방식으로 완화하고 개선하는 논의가 촉발되었습니다. 16,17 [교육 연속성을 개선하기 위해 노력하는 이해관계자들이 모여 수련의와 의사에 대한 감독, 교육, 평가에 중점을 두는 단체]의사 책임성 연합(CoPA)은 학부 의학교육-의학전문대학원 교육 검토위원회에 전환을 개선하기 위한 권고안을 작성하도록 의뢰했습니다. UGRC는 학습과 건강을 최적화하고 수련의가 공익을 위해 봉사할 수 있는 역량을 갖추도록 교육 연속성을 추구하는 데 이해관계자를 통합하는 것을 목표로, 비효율성과 이해관계자 간 이해관계가 상충하는 현재의 프로세스를 혁신하기 위해 대규모 변화 관리를 수반했습니다. 변화 관리에는 필요한 변화의 목적과 범위를 이해하여 다양한 이해관계자를 원하는 상태로 안내하는 강력한 비전을 만들어야 합니다. 18,19 
The change in USMLE Step 1 score reporting to a pass/fail outcome only, announced in 2020, catalyzed discussions about easing and improving the transition from undergraduate medical education (UME) to graduate medical education (GME) in ways that would benefit learners, programs, and potentially health care. 16,17 The Coalition for Physician Accountability (CoPA), an organization that convenes stakeholders committed to improving the educational continuum and focuses on oversight, education, and assessment of trainees and physicians, charged the Undergraduate Medical Education to Graduate Medical Education Review Committee with crafting recommendations to improve the transition. The charge to the UGRC entailed large-scale change management to transform the current process, which is characterized by recalcitrant inefficiencies and competing stakeholder interests, with the goal to unify stakeholders in pursuing an educational continuum that optimizes learning and wellness and equips trainees to serve the public good. Change management requires understanding the purpose and scope of needed change to create a powerful vision that guides diverse stakeholders toward a desired state. 18,19

[공유된 비전]을 달성하려면 쉬운 해결책이 없는 UME-GME 전환의 현재 긴장을 인정해야 합니다. 상호 연결된 모든 우려 사항을 충분히 해결하지 못한 채 해결책에 조기에 집중하는 것을 피하기 위해 UGRC는 긴장을 해결하기보다는 인정하는 접근 방식인 양극성 사고를 채택했습니다. 20 양극성 사고는 의학 교육에서 학습자 평가의 긴장을 고려하는 데 유용한 프레임을 제공합니다. 21 양극성 또는 긴장은 서로 다른 장단점을 가진 스펙트럼의 두 극을 나타냅니다. 이해관계자의 서로 다른 가치관은 서로 다른 극의 상대적 장점에 대한 견해를 형성합니다. 조직이 수용의 태도와 긴장을 관리하려는 목표를 가지고 시스템 설계에 접근하면 복잡한 문제를 성공적으로 해결할 수 있습니다. 따라서 이 글의 목적은

  • (1) UGRC가 구상하는 이상적인 상태를 제시하고
  • (2) 양극성 사고를 사용하여 관리가 필요한 이상적인 시스템의 긴장을 이해하는 것입니다.

Achieving a shared vision requires acknowledging current tensions in the UME–GME transition that defy easy solutions. To avoid a premature focus on solutions that insufficiently address all interconnected concerns, the UGRC employed polarity thinking, an approach that acknowledges rather than solves tensions. 20 Polarity thinking provides a useful frame to consider tensions in learner assessment in medical education. 21 Polarities, or tensions, represent 2 poles of a spectrum with different advantages and disadvantages. Stakeholders’ different values shape their views of relative merits of different poles. When organizations approach systems design with an attitude of acceptance and a goal of managing tensions, they are positioned to succeed in tackling complex problems. Thus, the purpose of this article is to

  • (1) present the ideal state envisioned by the UGRC and
  • (2) use polarity thinking to understand tensions in the ideal system that will require management.

UGRC 방법
UGRC Methods

[학부 및 대학원 의학교육자, 국내 및 국제 의학교육 기관 회원, 일반인 회원, 학생, 레지던트, 의학박사 학위 수여 학교 및 정골의학 학교 대표 등 30명]으로 구성된 UGRC 위원들은 이상적인 상태의 전환을 위해 노력했습니다. 이상적인 상태를 구상하기 위해 UGRC는 문헌, 데이터 및 이해관계자 경험을 검토하여 UME-GME 전환의 문제점을 특성화했습니다. 결과 기반 교육의 원칙을 준수하면서22 UGRC는 현재의 우려 사항과 원하는 결과 사이의 격차를 해소하는 비전을 명확히 하기 위해 백워드 디자인 프로세스에 참여했습니다. 23
The 30 members of the UGRC included undergraduate and graduate medical educators, national and international medical education organizational members, public members, students, and residents, with representatives of MD-granting and osteopathic schools. To envision the ideal state, the UGRC reviewed literature, data, and stakeholder experience to characterize problems in the UME–GME transition. Adhering to tenets of outcomes-based education, 22 the UGRC engaged in a backward design process to articulate a vision that addresses the gap between current concerns and desired outcomes. 23

UGRC는 UME-GME 전환이 학습자, 교육자, 대중 등 모든 이해관계자에게 최적의 결과를 가져다주는 이상적인 상태를 성과로 정의했습니다. 24 이 "푸른 하늘" 접근 방식은 혁신을 불러일으키고 복잡한 문제를 해결하는 데 적합합니다. 25 회원들이 현상 유지에서 벗어나 대담하게 생각할 수 있는 충분한 시간을 갖도록 하기 위해 UGRC는 2개월 동안 UME-GME 전환을 위한 이상적인 상태를 개념화하는 데 전념했습니다. UGRC는 레지던트 지원 단계에 맞춰 4개의 작업 그룹을 구성하여 매치의 거래적 측면이 아닌 이상적인 전환 시스템을 구상했으며, 전환의 다음과 같은 측면을 포함했습니다:

  • (1) 레지던트 준비도(예: 학생 진로 상담, 역량 평가), 
  • (2) UME 관점에서의 지원 및 선발 과정의 메커니즘(예: 학생과 학교의 지원 및 선발 경험)  
  • (3) GME 관점에서의 지원서 선발 과정의 메커니즘(예: 지원서 검토, 면접, 후보자 순위), 
  • (4) 매칭 후 최적화(예: 학습자의 의과대학에서 레지던트로의 전환 지원). 

The UGRC defined outcomes as an ideal state in which the UME–GME transition produces optimal results for all stakeholders: learners, educators, and the public. 24 This “blue-skies” approach invites innovation and is well suited to addressing complex problems. 25 To ensure that members had adequate time to think boldly outside the status quo, the UGRC devoted 2 months to conceptualizing an ideal state for the UME–GME transition. The UGRC charged 4 work groups aligned with residency application stages to envision an ideal transition system, rather than just the transactional aspects of the Match, including the following aspects of the transition:

  • (1) residency readiness (e.g., student career advising, assessing competence);
  • (2) the mechanics of the application and selection process from the UME perspective (e.g., student and school experience with applications, interviews);
  • (3) the mechanics of the application selection process from the GME perspective (e.g., application review, interviewing, candidate ranking); and
  • (4) post-Match optimization (e.g., supporting learner transition from medical school to residency).

4개의 작업 그룹은 각각 7~8명으로 구성되었으며, 학생 및 레지던트 교육자, 기관 대표, 학습자, 일반인이 각 작업 그룹에 고루 분포되어 있습니다. 모든 작업 그룹에서 이상적인 상태를 위한 통일된 동인은 웰빙, 공익, 다양성, 형평성, 포용성에 대한 약속이었습니다.
Each of the 4 work groups included 7 to 8 members with student and resident educators, organizational representatives, learners, and members of the public distributed throughout the work groups. Unifying drivers for the ideal state across work groups were commitments to well-being; public good; and diversity, equity, and inclusion.

먼저, 각 작업 그룹은 전환의 각 부분에 대한 이상적인 상태를 개념화했습니다. 전체 UGRC는 각 이상적인 상태를 검토하고 구체화하여 그룹 간의 차이를 분석했습니다. 그런 다음 작업 그룹 리더는 복합적인 이상적인 상태를 생성했습니다. 복합 이상 상태의 타당성을 구축하고 시스템 설계를 성공적으로 안내하고 원하는 결과를 달성할 가능성을 높이기 위해 UGRC는 2020년 12월에 이 작업에 관심이 있는 103개 조직을 대상으로 설문조사를 통해 관련 이해관계자의 의견을 구했습니다. 주로 의대생(n = 10), 레지던트/펠로우(n = 1), 레지던트 프로그램 디렉터(n = 15), 사무직 디렉터(n = 8), 의료 협회(n = 11), 주 의사회(n = 53), CoPA 회원 단체(n = 5) 등이 참여했습니다. 32개의 응답을 받아 주제별로 정리했으며, 확인된 주제는 추가 구성 요소를 호출하지 않고 복합적인 이상적 상태 내용을 강화했습니다. 이상적인 상태 특성화는 이후 현재 상태와 이상적인 상태 사이의 격차를 탐색하고 이상적인 상태 구성 요소에 매핑된 권장 사항을 생성하는 UGRC 작업을 안내했습니다. 
First, each work group conceptualized an ideal state for their portion of the transition. The entire UGRC vetted and refined each ideal state and analyzed discrepancies across groups. Work group leaders then generated a composite ideal state. To build validity of the composite ideal state and increase the likelihood that it will successfully guide system design and achieve desired outcomes, the UGRC sought relevant stakeholder input via a survey in December 2020 of 103 organizations interested in this work. These primarily represented medical students (n = 10), residents/fellows (n = 1), residency program directors (n = 15), clerkship directors (n = 8), medical associations (n = 11), state medical societies (n = 53), and CoPA member organizations (n = 5). We received 32 responses, which we organized thematically; the identified themes reinforced composite ideal state content without invoking additional components. The ideal state characterization subsequently guided UGRC work exploring gaps between current and ideal states and generating recommendations mapped to ideal state components.

이상적 상태의 특성
Characterization of the Ideal State

UGRC는 다음과 같은 핵심 가치에 중점을 둔 시스템으로 이상적인 상태를 구상했습니다(그림 1).

  • 학습의 연속성을 촉진하고,
  • 관련된 사람들의 복지를 지원하고,
  • 다양성을 증진하고,
  • 편견을 최소화하고,
  • 공익에 기여하고,
  • 신뢰할 수 있는 정보와 결과를 제공

The UGRC envisioned a blue-skies ideal state as a system centered upon core values that

  • facilitate the continuum of learning,
  • support the well-being of those involved,
  • promote diversity,
  • minimize bias,
  • serve the public good, and
  • yield trustworthy information and results (Figure 1).

이상적인 UME-GME 전환은 공평하고 효율적이며 투명합니다. 24 표 1은 이상적인 전환이 학습자의 성장, 근거에 기반한 전문과목 선택, 역량 달성 및 개인 건강을 어떻게 지원하는지에 대한 개요를 제공합니다.

  • 학습자는 개인의 강점과 학습 요구를 인식하고 직업적 정체성 형성을 최적화하는 방식으로 의과대학에서 적합한 레지던트 프로그램으로 진급합니다.
  • 이 시스템은 학습자, 교육자 및 적절한 경우 규제기관을 위해 의미 있는 정보를 생성하는 도구를 사용하여 신뢰할 수 있는 역량 문서를 제공합니다.
  • 이 시스템은 프로그램 디렉터와 후원 기관에 지속 가능한 학습자 중심 경험을 제공합니다.
  • 이상적인 시스템은 의학교육 및 의료 시스템의 변화에 유연하게 적응할 수 있으며 지속적으로 개선됩니다.
  • 재정, 교육, 환자 치료, 복지 등의 비용은 가치를 극대화하고 이해 상충을 인식하며 공익을 지원할 수 있는 적절한 규모로 책정되어야 합니다.
  • 학습자는 다양한 환자 집단에 서비스를 제공하고, 격차를 최소화하며, 형평성을 높여 의료의 사회적 사명과 공적 계약을 이행할 준비가 되어 있습니다.
  • 의학교육 및 의료 시스템이 인종차별과 유해한 편견의 영향을 최소화하기 위해 노력함에 따라, 다양성은 모든 전문 분야, 프로그램 및 지리적 영역에 걸쳐 존재하고 중요시됩니다.
  • 교수진, 학습자 및 시스템 구조는 성장 마인드를 키우는 포용적인 학습 환경을 조성합니다.
  • 의대생은 신뢰할 수 있고 수준 높은 조언을 통해 궁극적으로 자신의 커리어를 책임질 수 있는 역량을 갖추게 됩니다.

The ideal UME–GME transition is equitable, efficient, and transparent. 24Table 1 provides an overview of how the ideal transition supports learner growth, evidence-informed specialty selection, achievement of competence, and personal wellness.

  • Learners progress from medical school to well-suited residency programs in a manner that recognizes their individual strengths and learning needs and optimizes professional identity formation.
  • The system provides trustworthy documentation of competence using tools that generate meaningful information for learners, educators, and where appropriate, regulators.
  • The system provides a learner-centered experience sustainable for program directors and sponsoring institutions.
  • The ideal system is flexibly adaptable to changes in medical education and health care systems; it is continuously improved.
  • Costs—financial, educational, patient care, well-being—are right-sized to maximize value, recognize conflicts of interest, and support the public good.
  • Learners are prepared to serve diverse patient populations, minimize disparities, and elevate equity to fulfill medicine’s social mission and public contract.
  • Diversity is present and valued throughout all specialties, programs, and geographic areas as medical education and health care systems act to minimize effects of racism and harmful bias.
  • Faculty, learners, and system structure cultivate inclusive learning environments that foster a growth mindset.
  • Medical students, supported by reliable and high-quality advising, are ultimately empowered to take responsibility for their career progression.

 

이 푸른 하늘의 비전은 매칭 전, 매칭 중, 매칭 후의 UME-GME 전환에 관한 것입니다. 위원회는 다음의 것들이 이상적인 상태에서 어떻게 나타날지 상상했습니다(표 1).

  • 웰니스,
  • 전공 선택,
  • 학습자 선발,
  • 역량,
  • 연속성 및 핸드오프,
  • 테크놀로지,
  • 라이선스 및 자격 인증,
  • 생애 전환,
  • 레지던트 시작 및 레지던트 환경

이러한 열망적인 사고는 UGRC 회원들로 하여금 학습자(미국 의대 및 정골 의학 졸업생, 미국 시민권자 국제 의학 졸업생[IMG], 미국 외 IMG), UME 및 GME 교육자, 대중에게 혜택을 주기 위해 현재 생태계의 개선과 변화를 구상하게 만들었습니다. 
This blue-skies vision attends to the UME–GME transition before, during, and after the Match. The committee envisioned how wellness, specialty selection, learner selection, competence, continuum and handoff, technology, licensing and credentialing, life transition, residency launch, and residency environment would manifest in an ideal state (Table 1). This aspirational thinking propelled UGRC members to envision enhancements and changes to the current ecosystem to benefit learners (medical and osteopathic U.S medical graduates, U.S. citizen international medical graduates [IMGs], and non-U.S. IMGs), UME and GME educators, and the public.

현재 상태의 긴장
Tensions in the Current State

UME-GME 전환의 [이상적인 상태에 대한 비전][실제 현재 상태] 사이에는 격차가 존재합니다. 이러한 격차는 학습자, 교육자, 레지던트 프로그램 및 대중의 가치관이 서로 관련되어 있지만 다양한 목표를 가지고 있기 때문에 존재하며, 이러한 목표의 차이로 인해 현재 UME-GME 전환에서 잘못된 조정과 실패를 초래합니다. 이러한 불일치와 실패는 사려 깊은 관심과 행동, 옹호로 관리하고 해결하지 않는 한 당분간 지속될 근본적인 긴장에 기반을 두고 있으며, 쉽게 해결되지 않을 것입니다.
Gaps exist between the vision for an ideal state and the actual current state of the UME–GME transition. These gaps exist because learners, educators, residency programs, and the public value related yet varied goals, and the differences in these goals result in misalignment and failings in the current UME–GME transition. These misalignments and failings are grounded in underlying tensions that will persist for the foreseeable future and defy easy solutions unless they are managed and addressed with thoughtful attention, action, and advocacy.

고베어츠와 동료들은 양극성 사고 모델을 설명하면서 긴장을 관리하기 위한 세 가지 단계, 즉 보기, 매핑, 탭핑/활용을 명확하게 설명합니다. 21 

  • 보기는 긴장의 존재를 인식하고 인정하는 것과 같습니다. 20,21 
  • 매핑은 긴장의 반대 극에 있는 긍정적인 측면과 부정적인 측면을 식별하는 것을 의미합니다. 
  • 태핑/활용에는 각 극의 장점을 극대화하고 단점을 최소화하기 위한 프로세스와 행동을 식별하는 것이 포함됩니다. 

In describing the Polarity Thinking model, Govaerts and colleagues articulate 3 steps for managing tensions: seeing, mapping, and tapping/leveraging. 21 

  • Seeing equates to recognizing and acknowledging the existence of the tension. 20,21 
  • Mapping entails identifying positive and negative aspects of opposite poles of the tension.
  • Tapping/leveraging involves identifying processes and actions to optimize upsides and minimize downsides of each pole.

아래에서는 문헌 검토와 UGRC 논의 참여를 바탕으로 파악한 UME-GME 전환의 3가지 핵심 긴장에 대해 설명합니다("보기"). 부록 디지털 부록 1은 각 긴장에 대한 극성 지도("매핑")를 보여줍니다. 표 2는 '양립' 관점("활용/활용")을 통해 긴장과 이를 관리할 수 있는 기회를 설명합니다. 우리는 교육 시스템과 전반적인 의료 시스템의 복잡한 상호 작용으로 인한 긴장을 포함하여 다른 긴장이 존재한다는 것을 인정합니다.
Below, we describe 3 central tensions in the UME–GME transition that we identified based on our review of the literature and participation in UGRC discussions (“seeing”). Supplemental Digital Appendix 1 at https://links-lww-com-ssl.access.hanyang.ac.kr:8443/ACADMED/B324 shows the polarity map for each tension (“mapping”). Table 2 describes tensions and opportunities to manage them through a “both-and” lens (“tapping/leveraging”). We acknowledge that other tensions exist, including some driven by complex interactions of the educational system and overall health care system.

acadmed_2023_01_03_hauer_acadmed-d-21-02933_sdc1.pdf
1.11MB

학습과 성장을 위한 평가의 목적과 순위 및 서열화를 위한 평가의 목적 비교
The purpose of assessment for learning and growth versus ranking and sorting

의학교육자들은 자신의 지속적인 성장과 개선에 전념하는 의사를 대중에게 제공하고자 합니다. 의학 발전의 속도와 대부분의 의사가 정규 교육 이후에 경력을 쌓는 현실을 고려할 때, 평생 학습과 성장 마인드를 촉진하는 기술과 행동은 필수적입니다. 26-28 그러나 레지던트 선발 과정에서는 학생과 학교가 최고 성과자를 구별할 방법을 모색함에 따라 [성장 관련 행동]보다 [성과 관련 행동]이 더 강조되고 있습니다. 마찬가지로, 레지던트 지원서를 많이 받는 프로그램 디렉터들은 지원자의 학업 기록을 구별하고 신속하게 순위를 매기고 분류할 수 있는 의미 있는 평가 데이터를 찾고 있습니다.
Medical educators aspire to provide the public with physicians dedicated to their own continuous growth and improvement. Given the speed of medical advances and reality that the majority of physicians’ careers occur after formal education, skills and behaviors that promote lifelong learning and growth mindset are essential. 26–28 However, the residency selection process emphasizes performance-related behaviors more than growth-related behaviors as students and schools seek ways to distinguish top performers. Similarly, program directors receiving high numbers of residency applications seek meaningful assessment data to distinguish among the academic records of candidates and enable quick ranking and sorting.

이러한 현상은 학습자들 사이에 고정된 사고방식을 조장하고 평가 데이터에서 잠재적으로 잘못된 추론(예: 높은 시험 점수가 양질의 환자 치료를 예측한다는 것)을 가능하게 합니다. 사고의 리더와 교육 학자들은 평가가 성장을 위한 도구로 사용되기보다는 무기화되고 있다고 경고해 왔습니다. 29 UME-GME 전환 과정에서 관리되지 않은 이러한 긴장은 의과대학 전체에서 평가가 사용되고 평가되는 방식을 형성했습니다.

  • 레지던트 지원 시 신뢰도가 높은 총괄적 표준 객관식 시험에 초점을 맞추다 보니 순위 매기기와 분류에는 덜 유용하지만 학습이나 환자 진료에는 더 가치 있는 평가(예: 실무 기반 평가)의 개발과 채택이 부족해졌습니다. 30
  • 수치 점수의 작은 차이는 오차 범위 내에 있는 것으로 공개적으로 보고됨에도 불구하고 과도하게 해석됩니다. 31
  • 또한, 점수가 의도하지 않은 목적으로 사용될 경우, 시험 성과에 대한 잘못된 능력주의가 발생하여 성장 지향성을 소멸시키고 의학의 다양성과 포용성을 제한할 수 있습니다. 32,33

This current state manifests in the promotion of a fixed mindset among learners and enables potentially incorrect inferences from assessment data (e.g., that high exam scores predict quality patient care). Thought leaders and education scholars have warned that assessments are being weaponized rather than used as a tool for growth. 29 This unmanaged tension across the UME–GME transition has shaped how assessments are used and valued throughout medical school.

  • The focus on high-reliability summative, standardized, multiple-choice question exams as key currency in residency applications shortchanges the development and adoption of assessments that are less useful for ranking and sorting but more valuable for learning or patient care (e.g., workplace-based assessments). 30 
  • Small differences in numeric score performance are overinterpreted despite these being publicly reported as within margins of error. 31 
  • Furthermore, when scores are used for purposes for which they were not designed, a false meritocracy develops around examination performance that can extinguish growth-orientation and limit diversity and inclusion in medicine. 32,33

의학교육자는 평가 목적을 중심으로 두 극의 장점을 모두 발전시킬 수 있도록 평가 목표를 재구성해야 합니다. 신뢰도와 정밀도가 높은 평가 형식을 "목적에 맞는" 방식으로 사용하여 중요한 전환점에서 중요한 판단을 내릴 수 있습니다. 레지던트 프로그램 지도부가 인정하지 않는 국제학교 출신 지원자 등 GME 지원자에 대한 자세한 정보나 맥락이 부족한 경우, 면허 시험 점수는 의학 지식에 대한 최소한의 역량을 보장합니다. 임상의가 진단 테스트 데이터를 사용하여 해석하고 의사 결정을 내리는 것처럼 교육자는 현재 평가 형식의 강점과 한계(즉, 응시자에 대해 무엇을 나타낼 수 있고 무엇을 나타낼 수 없는지)를 이해하고 준수하기 위해 노력해야 합니다. 총체적인holistic 검토를 수행할 때 "목적에 맞는" 평가 데이터를 활용하면 지원자를 학습 및 경력 목표에 적합한 GME 프로그램에 매칭한다는 명시된 목표에 더 가까워질 수 있습니다. 그렇게 하지 않으면 레지던트 선발의 행정 업무량을 관리하기 위해 평가 데이터를 부적절하게 사용하는 일이 지속되고, 지원자 수를 줄이고 총체적holistic 검토를 수행하기 위한 프로그램 리소스를 강화할 필요성을 피할 수 없게 됩니다.
Medical educators must reframe goals for assessment to advance the upsides of both poles around assessment purpose. Assessment formats with high reliability and precision can be used in a “fit-for-purpose” manner to inform high-stakes judgments at significant transition points. When more detailed information or context about a GME applicant is less available (e.g., for an applicant from an international school unrecognized by residency program leadership), licensing examination scores ensure minimum competence in medical knowledge. Educators should commit to understanding and adhering to strengths and limitations of current assessments formats (i.e., what they can and cannot represent about candidates), just as clinicians interpret and make decisions using diagnostic test data. Leveraging assessment data as “fit-for-purpose” when conducting holistic review will get us closer to our stated goal that candidates match into GME programs well suited to their learning and career goals. Not doing so perpetuates the inappropriate use of assessment data to manage the administrative workload of residency selection and avoids the need to reduce application numbers and enhance resources for programs to conduct holistic review.

학습자 대 근로자로서의 레지던트의 기능
The function of residents as learners versus workers

GME 프로그램의 교육 목표와 현대 의료 시스템에서 레지던트의 기대치 사이의 단절은 '학습자'와 '근로자'를 겉보기에는 반대되는 극에 놓이게 합니다. 근무 시간 제한에도 불구하고 많은 임상 학습 환경은 여전히 번아웃을 유발하고34 체계적인 학습과 성찰을 위한 시간을 제한적으로만 허용합니다. 의료 시스템의 대규모 임상 운영을 유지하기 위해 GME 선발이 지속적인 학습을 희생하면서까지 즉각적인 인력 준비에 지나치게 집중되고 있습니다. 취업 준비성에 대한 이러한 강조로 인해 의과대학은 교육에 중요한 다른 역량을 가르치거나 평가 또는 보고하거나 절차적 기술이나 더 복잡한 임상 과제와 같이 졸업생이 아직 학습 중인 영역에 대해 보고하는 데 인센티브를 받지 못하고 있습니다. 35-37 UME 교육자들은 학생들이 완전한 역량을 갖추지 못한 것으로 비춰질 수 있는 정보를 보고하는 것을 두려워합니다. 부록 디지털 부록 2에는 이러한 긴장에 대한 극성 지도가 나와 있습니다. 
Disconnect between the educational goals of GME programs and the expectations of residents in modern health care systems places “learners” and “workers” on seemingly opposite poles. Despite work-hour restrictions, many clinical learning environments still contribute to burnout 34 and afford only limited time for structured learning and reflection. To maintain high-volume clinical operations of health systems, GME selection has become overly focused on immediate workforce readiness at the expense of ongoing learning. Because of this emphasis on work-readiness, medical schools are disincentivized to teach, assess or report on other competencies that are also critical to training, or report on areas where graduates are still learning, such as procedural skills or more complex clinical tasks. 35–37 UME educators fear reporting information that may portray students as less than fully competent and jeopardize their match. Supplemental Digital Appendix 2 at https://links-lww-com-ssl.access.hanyang.ac.kr:8443/ACADMED/B324 shows the polarity map for this tension.

교육자는 양쪽 극의 장점을 모두 인식하여 이러한 긴장을 관리해야 합니다. UME와 GME는 UME-GME 전환 과정에서 학습자에게 적용되는 공통 프레임워크와 공통 역량 세트를 함께 정의하고 구현해야 합니다. 신규 레지던트는 첫날부터 업무에 기여할 수 있어야 하며, 점진적으로 독립적인 역할을 수행할 수 있도록 충분한 감독과 학습 기회를 제공하는 환경도 제공되어야 합니다. 레지던트 시작을 위한 현실적인 역량에 대해 UME와 GME를 더 잘 연계하고, 전환 전반에 걸쳐 개별화된 학습과 지원을 제공하는 학습자 인수인계를 통해 지속적인 학습자 개발을 가능하게 할 것입니다. 38 효과적인 시스템은 성과에 대한 반성, 경험을 통한 학습 및 개선에 대한 시연을 포함하여 양질의 임상 성과 및 환자 치료 결과와 관련된 모든 역량 영역에서 연속성을 따라 교육 성과를 식별하고 평가해야 합니다. 39 서비스와 교육에 대한 "양립적" 관점을 강조하면 성장 지향성을 촉진하고 학습자 사이에서 잠재적으로 파괴적인 성과 사고방식과 완벽주의를 제한할 수 있습니다. 이러한 교육 과정은 지속적인 회복탄력성과 교육에 대한 공동체 의식을 촉진합니다. 40 보건 시스템 전체는 교육 시스템이 주민들이 학습하고 개인 지식의 격차를 메울 수 있는 시간을 제공하는 데 필요한 재정 및 기타 자원을 제공해야 할 책임이 있습니다. 41
Educators must manage this tension by recognizing the upsides of both poles. UME and GME must together define and implement a common framework and a common set of competencies that apply to learners across the UME–GME transition. New residents should be expected to contribute to the workforce on day 1, and in turn, they should also be afforded an environment with ample supervision and learning opportunities to scaffold their progressively independent roles. Better alignment of UME and GME on realistic competencies for starting residency, along with learner handovers that inform individualized learning and support across the transition, will enable continued learner development. 38 An effective system should identify and value educational outcomes along the continuum in all competency domains related to high-quality clinical performance and patient care outcomes, including demonstration of reflection upon performance, learning through experience, and improvement. 39 Emphasizing the “both/and” view of service and education will promote growth orientation and limit potentially destructive performance mindsets and perfectionism among learners. Such a training path promotes enduring resilience and a sense of community around education. 40 The health system as a whole is responsible for providing the financial and other resources needed for the educational system to afford time for residents to learn and fill the gaps in their individual knowledge. 41

개인의 선호도와 직업 및 대중의 필요성 비교
Individual preferences versus needs of the profession and public

UME-GME 전환 과정에서 누구의 요구가 우선인지에 대한 긴장은 지속될 것입니다.

  • 한 쪽 극에는 통제에 대한 개인적 선호, 뛰어난 학벌, 미래 교육 기회, 교육 부채 상환 능력, 생활 방식에 대한 우려로 인한 개인의 요구가 있습니다.
  • 다른 극에는 전체 의학교육 시스템이 책임을 져야 하는 대중을 포함한 더 광범위한 시스템의 요구가 있습니다.

Within the UME–GME transition, the tension of whose needs are primary will persist.

  • On one pole are the needs of the individual, driven by personal preferences for control, distinguished academic pedigree, opportunities for future training, ability to repay educational debt, and lifestyle concerns.
  • On the other pole are the needs of the broader system, including the public to whom the whole medical education system is accountable.

이러한 상황은 선호하는 프로그램에서 선호하는 전공분야에 대한 수련을 계속하고 일치하지 않는 우려되는 결과를 피할 수 있는 [개인들의 자격entitlement]으로 나타날 수 있습니다.

  • 광범위한 의료 수요보다 의대생의 개인적 선호를 우선시하는 시스템은 환자에게 불이익을 줍니다.
  • 또한 경쟁과 계층 구조는 의료계의 핵심 가치는 아니지만,42,43 UME-GME 전환의 많은 측면에서는 경쟁적 우위를 중요시합니다. 44
  • 경쟁은 능력과 잠재력이 아니라 레지던트 또는 의사 성과와 관련이 의심스러운 특성에 근거하여 지원자 간의 계급class 차이를 유발합니다(예: 정골 의학 학교 또는 국제 의과 대학 출신 학생은 매치에서 절대적으로 불리함).
  • 이러한 계급 차이로 인해 지속되는 고정관념은 정골 의대 또는 국제 의대 출신 학생들이 경쟁이 치열한 전문과목이나 프로그램에 매칭될 가능성이 낮기 때문에 의료 수요에 비해 의사의 지리적 및 전문과목 불균형을 조장합니다. 45 부록 디지털 부록 3은 이러한 긴장에 대한 양극성 지도를 보여줍니다.

These circumstances may manifest as individual entitlement to continue one’s training in a preferred specialty at a preferred program and avoid the feared outcome of not matching.

  • A system that prioritizes the personal preferences of medical students over broader health care needs disadvantages patients.
  • Furthermore, although competitiveness and hierarchy are not core values of the profession, 42,43 many aspects of the UME–GME transition value competitive advantage. 44 
  • Competition prompts class differences among applicants, based not on ability and potential but rather on characteristics that are doubtfully related to residency or physician performance (e.g., students from osteopathic schools or international medical schools are categorically disadvantaged in the Match).
  • Stereotypes perpetuated from these class differences promote geographic and specialty maldistribution of physicians compared with health needs, as students from osteopathic or international medical schools are less likely to match into competitive specialties or programs. 45 Supplemental Digital Appendix 3 at https://links-lww-com-ssl.access.hanyang.ac.kr:8443/ACADMED/B324 shows the polarity map for this tension.

개인과 집단의 목표가 공존하는 보건의료 분야와 마찬가지로, 지원자의 개인적 선호와 집단적 요구 사이의 긴장은 UME-GME 전환에서도 지속될 것이므로 관리가 필요합니다. 이러한 긴장의 장점은 적절하게 조정된 인센티브와 공존할 수 있습니다. 개인이 특정 센터와 프로그램에 재능을 집중하기보다는 기술과 재능을 분산하도록 장려하고 인센티브를 제공해야 합니다. 사회적 불의에 맞서 싸우고자 하는 강한 동기를 가진 레지던트 지원자는 자원이 풍부한 학술 보건 센터 대신 작은 도시의 프로그램에 적합할 수 있습니다. 재정적 인센티브와 부채 탕감 프로그램을 만들어 지원자가 원하는 경력을 쌓을 권리를 침해하지 않으면서도 인력 부족 지역에서 수련과 실습을 선택하도록 장려할 수 있습니다. 46
Just as in health care, where individual and population goals coexist, tension between applicants’ personal preferences and collective needs will persist in the UME–GME transition and therefore must be managed. The upsides of this tension can coexist with properly aligned incentives. Individuals should be encouraged and incentivized to distribute skills and talent rather than to concentrate talents in select centers and programs. A residency applicant with strong motivation to combat social injustices may find an appropriate fit in a small urban program instead of a well-resourced academic health center. Financial incentives and debt relief programs can be created that encourage applicants to choose to train and practice in shortage areas without compromising their right to try for a desired career path. 46

토론
Discussion

이 원고는 권고 보고서에 요약된 UGRC의 푸른 하늘 비전을 통해 설명된 이상적인 UME-GME 전환을 개괄적으로 설명합니다. 24 이상적으로 이러한 전환은 학습자, 교육자 및 대중의 교육 및 복지 요구를 충족하는 조율되고 효율적인 시스템 내에서 이루어져야 합니다. 또한, 모든 학습자가 다양한 환자와 인구의 의료 요구를 충족할 수 있는 의사가 될 수 있는 기회를 가질 수 있도록 전환 과정 전반에 걸쳐 형평성을 증진해야 합니다. 또한 UGRC는 의과대학 및 레지던트 커리큘럼이 핵심 교육 콘텐츠로서 성장 마인드와 직업적 정체성 형성에 중점을 두어 의사가 UME-GME 전환과 실무에 적응하고 자신의 지식과 기술을 발전시킬 수 있도록 준비시킬 것을 명시적으로 권고합니다.
This manuscript outlines an ideal UME–GME transition articulated through the UGRC blue-skies visioning that is outlined in its recommendations report. 24 Ideally, this transition should occur within a coordinated, efficient system that meets the educational and wellness needs of learners, educators, and the public. Furthermore, equity should be promoted throughout the transition to ensure that all learners have opportunities to become physicians equipped to meet the health care needs of diverse patients and populations. The UGRC also explicitly recommends that medical school and residency curricula should focus on growth mindset and professional identity formation as core educational content to prepare physicians to adapt and advance their knowledge and skills through the UME–GME transition and into practice.

전환 시스템에서 혁신적인 변화가 일어나기 위해서는 내재된 긴장을 정의하고 관리하는 것이 매우 중요합니다. 지속적이고 새로운 과제를 해결하려면 역동적인 시스템 내에서 견제와 균형을 통해 세심한 모니터링, 관리, 협력이 필요합니다. 현재 목적과 재정적 인센티브가 서로 다른 개인, 프로그램, 조직의 이해관계가 더 잘 조율되면 일방적인 옹호보다는 이러한 긴장에 대한 균형 잡힌 시각이 촉진될 것입니다. 이러한 재조정을 촉진하기 위해 UGRC는 UME-GME 전환 시스템의 지속적인 품질 개선을 관리하기 위한 감독 위원회를 구성할 것을 권고했습니다.
For transformative change to occur in the transition system, it is critically important to define and manage its inherent tensions. Ongoing and emerging challenges require careful monitoring, management, and collaboration with checks and balances within a dynamic system. Greater alignment of individual, program, and organizational interests—all of which are currently misaligned in purpose and financial incentives—will promote balanced views of these tensions rather than one-sided advocacy. To promote this needed realignment, the UGRC has recommended that an oversight committee be created to manage continuous quality improvement of the UME–GME transition system.

평가의 목적(학습 대 순위 및 분류)과 레지던트의 역할(학습자 대 근로자)을 둘러싼 긴장은 교육 연속체 전반에 걸친 공통 역량 프레임워크, 역량과 연계된 평가, 구조화된 학습자 인계인수에 대한 주요 UGRC 권장 사항을 통해 해결됩니다. 이러한 공통 결과 프레임워크를 정의하기 위해서는 UME 및 GME 교육자 그룹이 협력하여 공통의 "목적에 맞는" 평가 도구 및 전략의 선택과 추가 개발을 가이드하는 데 사용해야 합니다. 필수 술기를 수행하는 학습자를 직접 관찰하는 것을 강조하는 평가는 현재 사용 가능한 점수 및 성적보다 피드백을 향상시키고 레지던트 성과를 예측하는 데 더 나은 정보를 생성할 수 있습니다. 44,47 학생이 멘토와 함께 작성한 후 새로운 레지던트 프로그램 디렉터와 함께 다시 방문하는 [매칭 후 개별화된 학습 계획]은 UGRC 권장사항에 언급된 대로 레지던트로의 전환을 보다 효과적으로 안내하는 데 사용될 수 있습니다. 
Tensions around the purpose of assessment—for learning versus for ranking and sorting—and around the role of residents—as learners versus workers—are addressed through key UGRC recommendations for a common competency framework across the educational continuum, assessments aligned with competencies, and structured learner handovers. A collaborative UME and GME educator group is needed to define this common outcomes framework, which should then be used to guide the selection and further development of common “fit for purpose” assessment tools and strategies. Assessments that emphasize direct observation of learners conducting essential skills can enhance feedback and generate better information to predict residency performance than currently available scores and grades. 44,47 A post-Match individualized learning plan that a student creates with a mentor and then revisits with their new residency program director can be used to more effectively guide the transition to residency, as noted in the UGRC recommendations.

개인적 이익과 집단적 이익 사이의 긴장을 해소하기 위해 UGRC는 전문과목에서 인력 및 다양성 평가를 실시하여 어떤 유형의 수련의와 의사가 어디에 필요한지 결정하고 공평한 채용 관행을 위한 교육에 참여할 것을 권장합니다. 필요한 변화를 유도하기 위해 교육자들은 사회 정의, 건강 및 재정적 목표에 봉사하는 자체 인력을 강화하기 위한 일부 경쟁력 있는 전문과목 및 프로그램의 노력을 바탕으로 성공적인 채용에 대한 관점을 확장할 수 있습니다. 48,49 

To address the tension around individual versus collective good, the UGRC recommends that specialties conduct workforce and diversity evaluations to determine which types of trainees and physicians are needed and where and engage in training for equitable recruitment practices. To prompt needed change, educators can expand their view of a successful recruitment by building on efforts of some competitive specialties and programs to strengthen their own workforce in service to social justice, health, and financial aims. 48,49 

투명성과 형평성을 증진하기 위해 UGRC는 학생과 지도교수가 레지던트 프로그램 지원자의 특성, 초대, 인터뷰 및 결과에 대한 검색 가능한 데이터베이스에 액세스할 수 있어야 한다고 권장합니다. 또한 UGRC는 단순히 선택적 개선 사항으로 제공되는 것이 아니라 모든 프로그램에서 UME 및 GME 학습자에게 웰니스 지원을 의무화할 것을 권장합니다. 이러한 지원에는 UME 프로그램에서 GME 프로그램으로 전환하는 데 필요한 시간과 리소스, 간소화된 초기 라이선스 절차가 포함되어야 합니다.

To promote transparency and equity, the UGRC recommends that students and advisors should have access to a searchable database about residency program applicant characteristics, invitations, interviews, and outcomes. The UGRC also recommends that wellness supports be required for UME and GME learners across programs, not simply offered as optional enhancements. These supports should include time and resources for moving from a UME to GME program and streamlined initial licensing procedures.

이상적인 상태는 단기간에 또는 타협 없이 달성할 수 없습니다. 이러한 장밋빛 비전은 비현실적이거나 비현실적인 것으로 간주되는 콘텐츠에 대한 질문을 불러일으킬 것입니다. 모두를 위한 복지를 최적화하고 모든 지원자가 전공의 수련을 위한 충분한 준비와 신뢰를 갖출 수 있을까요? 환자 안전에 있어 무사고라는 이상적인 개념과 마찬가지로, 열망하는 이상적인 상태를 설명하는 것은 교육적 변화를 주도합니다. 이러한 장밋빛 비전을 달성하기 위해서는 작은 변화와 조기 승리가 중요하며, 지속적인 유연성과 적응도 필요합니다.
An ideal state cannot be achieved quickly or without compromise. This blue-skies vision will prompt questions about content deemed impractical or unrealistic. Can we optimize well-being for all and ensure every applicant is fully prepared and trustworthy for residency? Like the ideal concept of zero harm in patient safety, 50 describing the aspirational ideal state drives educational change. To achieve this blue-skies vision, small changes and early wins will be critical, as will ongoing flexibility and adaptation.

이 원고는 UME-GME 전환의 주요 긴장을 탐구하지만, 저자들은 다른 긴장도 존재한다는 것을 인식하고 있습니다. 예를 들어, UGRC는 의사 지불 및 급여 문제를 그룹의 책임 범위를 벗어난 것으로 파악했습니다. 이상적인 상태를 상상하는 것은 당연히 아직 존재하지 않는 시스템을 상상하는 것을 수반하며, 따라서 현재 증거 기반에는 이러한 이상을 달성하는 데 필요한 단계를 뒷받침할 증거가 부족합니다. 이상적인 상태로 나아가기 위해서는 결과를 입증하고 증거 기반을 구축하기 위한 점진적인 연구가 필요합니다. UGRC는 UME-GME 전환 전반에 걸쳐 형평성을 우선시하지만, 블루 스카이 시스템조차도 모든 참여자에게 공평한 결과를 보장하지 못할 수 있음을 인식하고 있습니다. 
While this manuscript explores major tensions in the UME–GME transition, authors recognize that other tensions exist as well. For example, the UGRC identified challenges in physician payment and salary as beyond the scope of the group’s charge. Envisioning the ideal state naturally entails imagining a system that does not yet exist, and as such, the evidence base currently lacks evidence to support the steps needed to achieve this ideal. To move toward the ideal state, incremental research is needed to demonstrate outcomes and build the evidence base. Despite prioritizing equity throughout the UME–GME transition, the UGRC recognizes that even a blue-skies system may not ensure equitable outcomes for all participants.

결론적으로, UGRC는 학습 및 건강 목표를 달성하는 데 필요한 시스템 설계를 안내하는 이상적인 상태를 구상했습니다. UGRC 회원들은 지속되는 주요 긴장을 인식했습니다.

  • 평가의 목적: 순위 및 분류 지원 대 학습 지원
  • 교육생의 역할: 학습자 대 근로자
  • 개인의 필요와 희망 대 공동의 이익

학습자와 교육자는 이러한 긴장을 제거하거나 해결할 수는 없지만, 이를 인식하고 여러 이해관계자의 관점에 대한 협력과 개방성을 통해 이를 관리하는 데 다시 집중해야 합니다. 학습자와 프로그램 간의 적합성을 최적화하는 조율되고 효율적인 UME-GME 전환이라는 더 큰 비전에 대한 공동의 약속은 이를 달성하기 위해 필요할 수 있는 희생과 타협을 정당화합니다. 웰빙, 다양성, 형평성, 포용성, 공익에 대한 의료계의 약속에 초점을 맞추는 것은 시스템을 보다 이상적인 상태로 이끄는 데 매우 중요합니다.
In conclusion, the UGRC has envisioned an ideal state to guide system design needed to achieve learning and health goals. UGRC members recognized key tensions that persist around

  • the purposes of assessment to support ranking and sorting versus learning,
  • the roles of trainees as both learners and workers, and
  • the needs and wishes of the individual versus the collective good.

While learners and educators cannot eliminate or solve these tensions, they must recognize them and refocus on managing them through collaboration and openness to multiple stakeholder perspectives. A shared commitment to the larger vision of a coordinated and efficient UME–GME transition that optimizes fit between learners and programs justifies the sacrifices and compromises that may be required to achieve it. Maintaining focus on medicine’s commitments to wellness, diversity, equity, inclusion, and the public good will be critical to guide the system toward a more ideal state.

 


Acad Med. 2023 Feb 1;98(2):162-170. doi: 10.1097/ACM.0000000000004920. Epub 2022 Aug 9.

Blue Skies With Clouds: Envisioning the Future Ideal State and Identifying Ongoing Tensions in the UME-GME Transition

Affiliations collapse

Affiliations

1K.E. Hauer is associate dean for competency assessment and professional standards and professor, Department of Medicine, University of California, San Francisco School of Medicine, San Francisco, California; ORCID: http://orcid.org/0000-0002-8812-4045 .

2P.M. Williams is associate dean for student affairs and professor, Department of Family Medicine, Uniformed Services University of the Health Sciences, F. Edward Hébert School of Medicine, Bethesda, Maryland.

3J.S. Byerley was interim dean, University of North Carolina Adams School of Dentistry, and professor of pediatrics, University of North Carolina School of Medicine, Chapel Hill, North Carolina, at the time of writing and is now president and dean, Geisinger Commonwealth School of Medicine, Scranton, Pennsylvania.

4J.L. Swails is residency program director, codirector of interprofessional education, and associate professor, Department of Medicine, McGovern Medical School, University of Texas Health Science Center, Houston, Texas; ORCID: http://orcid.org/0000-0002-6102-831X .

5M.A. Barone is vice president, competency-based assessment, NBME, Philadelphia, Pennsylvania, and adjunct associate professor of pediatrics, Johns Hopkins University School of Medicine, Baltimore, Maryland; ORCID: http://orcid.org/0000-0002-4724-784X .

PMID: 35947473

DOI: 10.1097/ACM.0000000000004920

Abstract

The transition from medical school to residency in the United States consumes large amounts of time for students and educators in undergraduate and graduate medical education (UME, GME), and it is costly for both students and institutions. Attempts to improve the residency application and Match processes have been insufficient to counteract the very large number of applications to programs. To address these challenges, the Coalition for Physician Accountability charged the Undergraduate Medical Education to Graduate Medical Education Review Committee (UGRC) with crafting recommendations to improve the system for the UME-GME transition. To guide this work, the UGRC defined and sought stakeholder input on a "blue-skies" ideal state of this transition. The ideal state views the transition as a system to support a continuum of professional development and learning, thus serving learners, educators, and the public, and engendering trust among them. It also supports the well-being of learners and educators, promotes diversity, and minimizes bias. This manuscript uses polarity thinking to analyze 3 persistent key tensions in the system that require ongoing management. First, the formative purpose of assessment for learning and growth is at odds with the use of assessment data for ranking and sorting candidates. Second, the function of residents as learners can conflict with their role as workers contributing service to health care systems. Third, the current residency Match process can position the desire for individual choice-among students and their programs-against the workforce needs of the profession and the public. This Scholarly Perspective presents strategies to balance the upsides and downsides inherent to these tensions. By articulating the ideal state of the UME-GME transition and anticipating tensions, educators and educational organizations can be better positioned to implement UGRC recommendations to improve the transition system.

필요하지만 충분하지 않고, 어쩌면 반생산적인 것: 강의평가의 복잡한 문제(Acad Med, 2023)
Necessary but Insufficient and Possibly Counterproductive: The Complex Problem of Teaching Evaluations
Shiphra Ginsburg, MD, MEd, PhD, and Lynfa Stroud, MD, MEd

 

 

임상 교사의 성과 평가는 수십 년 동안 연구와 논쟁의 대상이 되어 왔습니다. 문헌에는 학생의 교사 평가에 대한 증거를 검토하거나 더 나은 평가 도구를 만들려는 논문이 넘쳐납니다. 1-3 이러한 방대한 문헌에도 불구하고 교수 평가(TE)는 여전히 문제가 되고 있습니다. 예를 들어, 학생의 평가가 학습과 관련이 있다는 증거는 거의 없지만, 우리는 이러한 평가를 거의 전적으로 교사에 대한 평가 및 피드백으로만 활용하고 있습니다. 특정 환경에서는 타당성이 있다는 증거가 있지만,4,5 TE는 다양한 형태의 편견에 노출될 수 있으며 교사의 신체적 매력이나 성격과 같이 구성과 무관한 요인에 의해 혼동될 수 있는 것으로 알려져 있습니다. 6 또한 이러한 도구의 형성적(즉, 교사의 향상을 돕기 위한) 목적과 요약적(예: 승진을 위한) 목적의 구분이 모호해졌습니다. 
The evaluation of clinical teachers’ performance has been a subject of research and debate for decades. The literature is rife with papers that either review the evidence for students’ evaluations of teachers or attempt to create better rating instruments. 1–3 Despite this extensive literature, teaching evaluations (TEs) remain problematic. For example, there is little evidence that students’ evaluations are associated with learning, yet we rely on these evaluations almost exclusively as assessments of and feedback to teachers. While there is some evidence of validity in certain settings, 4,5 TEs are subject to many forms of bias and are known to be confounded by construct-irrelevant factors, such as the teacher’s physical attractiveness or personality. 6 We have also blurred the distinction between formative (i.e., to help teachers improve) and summative (e.g., for promotion) purposes of these tools.

이러한 한계에도 불구하고 TE는 교사를 승진시키고, 종신 재직 기간을 부여하고, 상을 수여하는 데 사용되어 왔으며, 이는 모두 우수한 가르침의 가치를 강조하는 데 도움이 될 수 있습니다. 그러나 TE는 승진을 거부하고 교원의 진급을 막는 데에도 사용되었습니다. 일부 교육기관에서는 학습자의 교수 점수가 임상 교사의 재정적 보상에 영향을 미치기도 합니다. 따라서 동일한 도구가 보상 또는 징벌 목적으로 사용될 수 있습니다. 교수진에게 TE가 차지하는 비중이 매우 크다는 점을 고려할 때 교수진이 이러한 도구가 구현되는 방식에 만족하지 못하는 것은 당연한 일일까요? 7,8 이 해설에서는 TE의 목적, 실제 업무, 전반적인 영향에 대한 문헌을 간략하게 검토합니다. 그런 다음 앞으로의 생산적인 방법을 고려합니다.  
Regardless of these limitations, TEs have been used to promote teachers, award tenure, and bestow awards, all of which may serve to emphasize the value of excellent teaching. But TEs have also been used to deny promotion and to hold faculty back from advancement. In some institutions, teaching scores from learners affect clinical teachers’ financial compensation. The same tools can therefore be used for rewarding or punitive purposes. Given that TEs carry so much weight for faculty, is it any wonder that faculty are not satisfied with how these tools are implemented? 7,8 In this commentary, we briefly review the literature on what TEs are meant to do, what they actually do in the real world, and their overall impact. We then consider productive ways forward.

열망과 의도된 목표: TE의 목적은 무엇인가요?
Aspirations and Intended Goals: What Are TEs Meant to Do?

표면적으로 학습자에게 교사에 대한 의견을 묻는 것은 당연한 일입니다. TE를 수집함으로써 학습자는 누가 자신을 가르치고 어떻게 가르치고 있는지에 대해 목소리를 낼 수 있습니다. 학습자는 교사를 평가함으로써 최고의 교사를 선발하여 보상하고 코칭이 필요하거나 심지어 해임해야 할 교사를 식별하는 데 도움을 줄 수 있습니다. 학습자는 이러한 관점에서 의견을 제시할 수 있는 유일한 집단일 수 있으므로 적대적인 학습 환경을 조성하는 교사에게 특히 중요합니다. 또한 교사가 학습자 중심의 접근 방식, 즉 학습자에게 반응하고, 학습자에게 필요한 것을 가르치고, 적절한 피드백을 제공하고, 학습자의 학습과 성장을 돕는 방식을 유지하도록 하는 데 도움이 됩니다. 
On the surface, asking learners for their opinions about their teachers makes sense. By collecting TEs, we ensure that learners have a voice in who is teaching them and how they are being taught. By evaluating teachers, students can help select for and reward the best individuals and identify those who may require coaching or even removal. This is especially important for teachers who create hostile learning environments, as learners may be the only group that can comment from this perspective. It also helps ensure that teachers maintain a learner-focused approach; that is, that they respond to their learners, teach them what they need, give appropriate feedback, and help learners learn and grow.

임상 교사에게 TE는 무엇이 중요한지 알려 줍니다. 평가 양식에 명시된 내용은 다양한 이해관계자(예: 교육생, 임상 교사, 병원 및 학계 지도자)에게 중요하다고 여겨지는 사항이며 성과에 대한 기대치를 설정합니다. 또한 TE를 통해 교사(특히 교육 트랙에 있는 교사)는 자신의 효과와 우수성에 대한 증거를 축적하여 승진 및 임기, 수상, 심지어 금전적 이득을 위해 자신이 잘 가르치고 있음을(충분히 가르치고 있음을) 보여줄 수 있습니다. 좋은 TE 도구는 성찰과 개선을 위한 코칭을 포함하는 교수 개발 시스템에 포함되는 것이 이상적입니다. 9 
For clinical teachers, TEs signal what is important. What is delineated on the evaluation form is what is seen to matter to various stakeholders (e.g., trainees, clinical teachers, hospital and academic leadership) and sets expectations for performance. TEs also allow teachers (especially those on education tracks) to accrue evidence of their effectiveness and even excellence to show they are teaching well (and enough) for purposes of promotion and tenure, for awards, and even for financial gain. Ideally, good TE tools should be embedded in faculty development systems that include reflection and coaching for improvement. 9

실제 성과: TE는 실제로 어떤 일을 하나요?
Real-World Performance: What Do TEs Actually Do?

증거에 따르면 TE가 실제로 교육을 잘 포착하지 못할 수도 있습니다. 놀랍게도 높은 평가를 받은 교사가 학생의 학습을 더 많이 또는 더 잘한다는 증거는 많지 않습니다. 고등 교육 교실 환경에서는 TE와 교실 학습 사이에 미미한 연관성만 있다는 연구 결과가 있습니다. 10 임상 환경에서는 교사가 학생의 진로 선택에 영향을 미칠 수 있지만, 이전 연구에 따르면 교사의 질과 학생의 성과 간에는 매우 미미한 영향이 있는 것으로 나타났습니다. 11 또 다른 연구에서는 성과가 낮은 교사에 대한 피드백이 오히려 교사의 성과를 악화시킨 것으로 나타났습니다. 12 어떤 면에서는 학생들이 일반적으로 자신이 가르치는 콘텐츠 영역이나 모범 교육 사례에 대한 전문 지식이 없다는 점을 고려할 때, 학습과 TE 간의 이러한 상관관계 부족은 놀라운 일이 아닐 수 있습니다. 
Evidence suggests that TEs may not actually capture teaching very well. Surprisingly, there isn’t much evidence that higher-rated teachers are associated with more or better learning in their students. In the higher education classroom setting, research has found that there are only tenuous links between TEs and classroom learning. 10 In the clinical setting, an older study showed quite minimal effects between teaching quality and students’ performance during clerkship, although teachers may have an effect on students’ career choice. 11 In another study, feedback to lower performing teachers actually made them worse. 12 In some ways, this lack of correlation between learning and TEs may not be surprising, given that students usually do not have expertise in either the content domain in which they are being taught or in best pedagogical practices.

학습이 아니라면 TE는 실제로 무엇을 측정할까요? TE를 대상으로 한 일부 연구에서 교사 평가는 카리스마, 성격, 상황의 영향을 받아 후광 효과가 크게 작용하는 것으로 나타났습니다. 6,13,14 교실이나 병동 로테이션에서 즐거움과 심리적 안정감이 중요하지 않다는 말은 아닙니다. 하지만 이러한 요소를 "가르치는 것"과 동일시하지 않도록 주의해야 합니다. 실제로 학습자에게 임상 교사를 평가하도록 요청할 때 대부분의 평가 척도에는 학습자를 존중하는 태도, 효과적인 피드백 제공, 가용성 등 가르침이나 교육과는 별개로 훨씬 더 광범위한 구성 요소가 포함되어 있습니다. 그러나 TE와 학습 간의 연관성을 살펴보는 연구는 표준화되고 수행하기 쉬운 학생의 지식 테스트에 주로 국한되어 있습니다. 분명한 것은 지식은 좋은 의사가 되기 위한 한 가지 측면일 뿐입니다. 한 흥미로운 연구에 따르면 레지던트들의 임상의사 평가는 환자들의 평가와 반비례하는 것으로 나타났는데, 이는 레지던트 평가가 좋은 의사가 되기 위한 중요한 요소를 놓치고 있을 수 있음을 시사합니다. 15 따라서 이러한 평가에는 위에서 설명한 구조와 무관한 요소도 포함되어 있으므로 전공의는 좋은 의사가 되기 위한 중요한 측면을 놓치고 있을 수 있습니다. 나프툴린과 동료들은 1973년에 발표한 논문에서 "학습에 대한 학생의 만족도는 학습했다는 착각에 불과할 수 있다"고 썼습니다. 16 
If not learning, what do TEs actually measure? In some studies of TEs, teacher ratings were subject to significant halo effects, being influenced by charisma, personality, and context. 6,13,14 This is not to say that enjoyment and psychological safety in a classroom or on a ward rotation are not important. But we should be careful not to equate these factors with “teaching.” Indeed, when we ask learners to evaluate their clinical teachers, most rating scales include much broader constructs apart from teaching or instruction, such as, among other things, treating learners with respect, providing effective feedback, and being available. Yet research looking at associations between TEs and learning are largely limited to tests of students’ knowledge, as they are standardized and easy to conduct. Clearly, knowledge is only one aspect of being a good physician. In one interesting study, ratings of clinicians by residents were inversely correlated with ratings by patients, suggesting that resident ratings may be missing important elements of what it means to be a good doctor. 15 Thus, TEs may be missing important aspects of being a good physician, as these evaluations also include the construct-irrelevant factors we described above. As Naftulin and colleagues wrote in a seminal article in 1973, “Student satisfaction with learning may represent little more than the illusion of having learned.” 16

또한, 모든 연구에서 효과가 나타나는 것은 아니며 모두 같은 방향으로 나타나는 것은 아니지만, TE는 종종 여성과 눈에 보이는 소수 집단에 대한 편견을 보이는 것으로 보고되었습니다. 최소한 학생들은 성별에 따라 교수진을 묘사할 때 다른 언어를 사용할 수 있습니다. 17,18 이것이 모든 전문 분야에서 여성의 TE 평가에 부정적인 영향을 미치지는 않지만,19,20 경우에 따라 성별 편견으로 인해 남성과 여성 간의 TE에 상당한 차이가 발생할 수 있습니다. 이는 특히 외과와 같이 교수진에서 여성의 비율이 낮은 전문과목에서 문제가 됩니다. 19-21 또한 성별과 인종/민족이 긍정적이든 부정적이든 교차 효과가 있을 수 있습니다. 22 
In addition, TEs have often been reported to show biases against women and individuals from visible minority groups, although effects are not seen in all studies and are not all in the same direction. At a minimum, students may use different language to describe faculty by gender. 17,18 While this may not negatively impact TE ratings of women in all specialties, 19,20 in some instances, gender bias may lead to significant differences in TEs between men and women. This is particularly problematic in specialties with a lower representation of women at the faculty level, such as in surgery. 19–21 There may also be intersectionality effects with gender and race/ethnicity, both positively and negatively. 22

또한 평가를 완료한 사람의 성별에 따라 교육 점수 및 의견에 차이가 있음을 확인했습니다. 18,20 따라서 학생과 교사 사이의 개별적인 역학 관계가 중요할 수 있지만, 이에 대한 조사는 거의 이루어지지 않고 있습니다. 인구통계학적 편견 외에도, 구조와 무관한 추가 항목이 의학에서 TE에게 긍정적인 영향을 미치는 것으로 나타났는데, 이러한 항목에는 교수진이 수련의에게 관여하는 정도,23 카리스마 및 신체적 매력,16,24 외향성,25 쿠키 제공 등이 있습니다. 6 TE가 편견에 취약한 정도를 고려할 때, 일부 교육기관에서는 승진 및 임기 결정을 위한 학생의 교육 평가를 허용하지 않는 경우도 있습니다. 26 
Additionally, we identified differences in teaching scores and comments based on the gender of the person completing the evaluation. 18,20 Individual dyadic relationships between student and teacher may therefore be important, yet they are rarely explored. Beyond demographic biases, additional construct-irrelevant items have been shown to positively influence TEs in medicine; these items include the perceived degree of faculty members’ involvement with trainees, 23 charisma and physical attractiveness, 16,24 extraversion, 25 and provision of cookies. 6 Given the extent to which TEs are vulnerable to bias, some institutions have gone so far as to disallow students’ evaluations of teaching for promotion and tenure decisions. 26

TE의 전반적인 영향은 무엇인가요?
What Is The Overall Impact of TEs?

위의 내용을 고려할 때 TE의 순 효과는 무엇일까요? TE의 신뢰성과 타당성에 대한 증거는 분명히 존재하지만, 특히 결과적 타당성에 대한 연구는 부족합니다. 5 하지만 위에서 언급한 바와 같이 단점도 있습니다. 즉, 관련 결과를 포함하는 직장 내 연구가 매우 제한적이기 때문에 TE의 이점과 잠재적 해로움의 순 효과를 판단하기는 어렵습니다. 교사는 좋은 교사가 되고 싶고 좋은 평가를 받기를 원하고 필요로 합니다. 이는 자신의 효과를 입증하고 개선에 도움이 되는 평가를 받는다는 것을 의미합니다. 그러나 임상 교사들은 외부뿐만 아니라 내부적으로도 이러한 평가가 갖는 힘과 무게에 대해 경계하고 있습니다. 부정적인 TE를 받아본 사람이라면 누구나 그것이 자존감, 자기 효능감, 직업적 정체성에 얼마나 위협적인지 느낄 수 있습니다. 7,27 이러한 감정은 TE의 익명성으로 인해 더욱 커질 수 있으며, 제공된 피드백을 개선에 활용하는 것도 어렵게 만듭니다. 문제가 발생한 지 [몇 달 후에 받은 익명 피드백]은 일반적으로 교사가 무엇이 잘못되었는지, 누구의 관점에서, 앞으로 어떻게 하면 더 잘할 수 있는지 이해할 수 있는 충분한 맥락이 부족합니다. 
Given the above, what is the net effect of TEs? There is clearly some evidence of the reliability and validity of TEs, although notably research on consequential validity is lacking. 5 Yet there are also drawbacks, as we noted above. So, the net effect of the benefits and potential harms of TEs is hard to determine, as research in the workplace that includes relevant outcomes is very limited. Teachers want and need to be good teachers and to get good evaluations. This means getting evaluations that demonstrate their effectiveness and help them improve. Yet clinical teachers are wary of the power and weight these evaluations hold, not just externally but also internally. Anyone who has ever received negative TEs can attest to how threatening it can feel to one’s self-esteem, self-efficacy, and professional identity. 7,27 These feelings may be heightened by the anonymity of TEs, which also makes it challenging to use the provided feedback to improve. Anonymous feedback received months after an encounter usually lacks sufficient context for the teacher to understand what went wrong, from whose perspective, and how they might do better in the future.

당연히 교사는 기존의 틀을 깨거나 새로운 교수법을 시도하거나 학습자가 너무 힘들어하거나 불편함을 느낄 수 있는 일을 하는 것을 꺼릴 수 있습니다. 고등 교육 환경에서는 더 쉬운 수업과 더 관대한 교사가 더 높은 평가를 받습니다. 28 실제로 우리는 이것이 오늘날 의학교육에서 가장 골치 아픈 문제라고 생각합니다. 경력 발전을 위해 학습자의 눈치를 보는 임상 교사는 필요할 때 학습자에게 정직하고 비판적인 피드백과 평가를 제공하지 못합니다. 29,30 이는 의미 있는 작업장 기반 평가 시스템을 만드는 데 있어 잠재적으로 치명적인 결함입니다. 수년 전 토론토 대학교의 한 연구에 따르면 교수진이 직장에서 학습자에게 부여하는 점수와 교사로서 받는 점수 간에 통계적으로 유의미한 관계가 있는 것으로 나타났습니다. 31 즉, 교수자가 부여하는 점수가 때때로 교수자가 받는 점수와 일치한다는 것입니다. "학생의 교수 평가는 부실한 교수를 조장하고 성적 인플레이션에 기여합니다."라는 제목의 기사에서 확인할 수 있습니다: 이론적 및 실증적 분석"이라는 제목의 글에서 스트로베는 다음과 같이 말합니다:
Understandably, teachers may be reluctant to rock the boat, to try new teaching methods or to do anything that may risk their learners feeling too challenged or even uncomfortable. In higher education settings, classes that are easier, and teachers who are more lenient, are rated more highly. 28 Indeed, we see this as the most vexing problem in medical education today. Clinical teachers who are beholden to their learners for career advancement are inhibited from giving honest, critical feedback and assessments to learners when required. 29,30 This is a potentially fatal flaw in creating a meaningful workplace-based assessment system. A study at the University of Toronto a number of years ago found a statistically significant relationship between the scores faculty assign to learners in the workplace and the scores they receive as teachers. 31 That is, the score you give is sometimes the score you get. In an article entitled, “Student Evaluations of Teaching Encourages Poor Teaching and Contributes to Grade Inflation: A Theoretical and Empirical Analysis,” Stroebe writes:

학생과 교수진은 암묵적인 협상 상황에 처해 있으며, 양측 모두 상대방에게 가치 있는 '좋은 것'을 가지고 있습니다. 교수진은 좋은 성적과 쉬운 강의를 제공할 수 있고, 학생은 긍정적인 [교수 평가]를 제공할 수 있습니다. 28 
Students and faculty are in an implicit negotiation situation, where each side has a “good” that is valuable to the other side. Faculty can provide good grades and easy courses, and students can provide positive [teaching evaluations]. 28

이 연구는 의료 환경에서 수행되지는 않았지만, 우리는 이러한 시나리오가 의학교육의 현상유지 수단으로 작용하는 것을 보았습니다. 우리는 자신을 위험에 빠뜨리지 않기 위해 모든 학습자에게 평가에서 4점과 5점을 주도록 후배 교수진에게 지시하는 선임 교수진을 알고 있습니다. 이 문제는 학습자가 우수한 임상의가 되기 위해 필요한 건설적이고 올바른 피드백을 박탈하고, 역설적으로 점수를 부풀리고 의미 있는 피드백을 제공하는 데 노력을 덜 기울이는 교수진에게 보상을 제공함으로써 시스템을 왜곡하는 매우 중요한 문제입니다.
While this study was not conducted in a health care setting, we have seen this scenario play out as a quid pro quo in medical education. We are aware of senior faculty who instruct junior faculty to give all learners 4s and 5s on their evaluations so as not to put themselves at risk. This issue is critical—it warps the system by depriving learners of the constructive and corrective feedback they need to become excellent clinicians and paradoxically rewards faculty who may inflate scores and put less effort into providing meaningful feedback.

이제 어디로 가야 할까요?
Where Do We Go From Here?

이 논평에서 저희는 TE 사용에 대한 수많은 위협에 대해 설명했습니다. 하지만 이 중요한 데이터 소스를 없애야 한다는 주장은 단 한순간도 하지 않을 것입니다. TE는 교사의 성장을 위한 중요한 피드백을 제공하며, 무엇보다도 교사가 설정한 학습 환경에 대한 정보, 즉 다른 방법으로는 얻을 수 없는 정보를 제공합니다. 문제는 교사의 교수 능력을 판단하는 유일한 기준으로 TE에 지나치게 의존하는 경우가 많다는 것입니다. 우리는 의학교육이 학습자에 대한 프로그램적 평가로 전환한 것처럼, 교수진의 교육 효과에 대한 프로그램적 평가로 전환할 때가 왔다고 제안합니다. 
In this commentary, we have outlined numerous threats to the use of TEs. However, we would not for a minute advocate that we should do away with this critical source of data. TEs provide important feedback for faculty growth and, vitally, they provide information about the learning environment a teacher establishes, information that may not be available otherwise. The problem is the overreliance on TEs as often the sole arbitrator by which a faculty member’s teaching skills are judged. We propose that, just as medical education has moved toward programmatic assessment of learners, the time has come to move toward programmatic evaluation of faculty teaching effectiveness.

이러한 프로그램 내에서 TE는 학생의 목소리를 제공하게 되는데, 이는 필수적이지만 그것만으로는 교육에 대한 불충분한 척도가 될 수 있습니다. 또한 TE를 구현하는 방법도 신중하게 고려해야 합니다.

  • 첫째, 측정 대상이 명확해야 합니다. 임상 환경의 많은 TE는 교육과 슈퍼비전 및 코칭과 같은 다른 기술을 혼동합니다. TE의 항목을 교사에게 평가하고자 하는 항목과 일치시키고 이를 교사와 학생 모두에게 명확하게 설명한다면 이는 그 자체로 문제가 되지 않습니다.
  • 둘째, TE에 사용되는 평가 척도는 주관적이고 잘 정의되지 않은 앵커가 아닌 특정 행동이나 기술에 초점을 맞추는 것이 이상적입니다.
  • 셋째, 학습자에게 익명으로 TE를 완료하는 것은 특권이며, 건설적이고 전문적이어야 할 책임이 수반되는 특권이라는 점을 인식시켜야 합니다.

Within such a program, TEs would provide the student voice, which is essential—but alone is an insufficient measure of teaching. We also need to be thoughtful about how TEs are implemented.

  • First, what is being measured must be explicit. Many TEs in the clinical setting conflate teaching with other skills, such as supervision and coaching. This is not in itself a problem as long as we align the items on TEs with what it is we wish to evaluate in teachers and make this explicit to both teachers and students.
  • Second, the rating scales used on TEs should ideally be focused on specific behaviors or skills, rather than on subjective, poorly defined anchors.
  • Third, there needs to be recognition that, for learners, completing TEs anonymously is a privilege, one that comes with a responsibility to be constructive and professional.

학습자와 교사 사이에 내재된 힘의 역학 관계를 고려할 때, 우리는 TE의 익명화를 반드시 옹호하지는 않지만, 이는 연구된 흥미로운 전망입니다. 32 드물기는 하지만 노골적으로 성차별적이거나 인종차별적이거나 인격을 비하하는 댓글은 비전문적이고 완전히 부적절합니다. 학교는 이러한 언어를 사용하는 학습자를 식별할 수 있는 투명한 메커니즘을 마련해야 하며, 이러한 행동을 전문성 문제로 간주하여 후속 조치를 취해야 합니다. 또한 학교는 TE로부터 이러한 댓글을 삭제하는 절차를 수립해야 합니다. 이상적으로는 학습자가 건설적이고 영감을 주는 내러티브 피드백을 제공하는 방법에 대한 교육과 훈련을 받아야 합니다. 
Recognizing the inherent power dynamic between learners and teachers, we would not necessarily advocate for de-anonymizing TEs, although this is an interesting prospect that has been studied. 32 While rare, comments that are overtly sexist, racist, or otherwise personally demeaning are unprofessional and totally inappropriate. Schools should have transparent, arms-length mechanisms for identifying learners who use such language and should follow up on these behaviors as a professionalism issue. Schools should also establish processes to remove such comments from TEs. Ideally, learners should receive education and training on how to provide constructive and inspirational narrative feedback.

그런 다음 TE 데이터의 사용 방법을 규정하는 강력하고 투명한 시스템을 마련해야 합니다. 예를 들어, 많은 학교에서는 표준 참조 범위를 사용하여 TE를 보고하고 상위 백분위수에 속하는 교직원을 기준으로 수상 대상자를 선정하는 경우가 많습니다. 그러나 이러한 관행은 두 가지 측면에서 문제가 있습니다. 

  • 첫째, 대다수의 교원이 매우 우수하거나 우수한 교원이기 때문에 상당한 천장 효과가 발생하고 상위 몇 백분위 수에 속하는 교원은 다른 백분위 수에 속하는 교원과 차이가 매우 큽니다.
  • 둘째, 이러한 극히 좁은 차이는 위에 나열된 수많은 편견의 영향을 받을 수 있습니다. 학습자의 경우와 마찬가지로, 허용 가능한 수준의 성과에 미치지 못하는 교사를 식별하는 데는 기준 참조 기준이 더 적합하지만, 뛰어난 교사를 식별하는 데는 다른 지표가 더 적합할 수 있습니다.

There must then be a robust, transparent system in place that dictates how TE data are used. For example, many schools use a norm-referenced range to report their TEs and often select faculty for awards based on those in the very top percentiles. However, this practice is problematic in 2 ways.

  • First, the vast majority of faculty are very good or excellent teachers, so there is a significant ceiling effect and those in the top few percentiles are a razor’s edge apart from those in the other percentiles.
  • Second, these extremely narrow margins may be influenced by the numerous biases listed above. Just as we do for learners, a criterion-referenced standard is more appropriate to identify those falling below an acceptable level of performance, but other metrics may be more appropriate to identify outstanding teachers.

그렇다면 프로그래밍 방식의 TE에 기여할 수 있는 다른 지표에는 어떤 것이 있을까요?

  • 우선, 레지던트를 위한 역량 기반 의학교육을 향한 움직임과 마찬가지로, TE에 포함된 서술적 의견에 더 중점을 두어야 하지만, 의견에도 한계가 없는 것은 아닙니다. 33 천장 효과를 고려할 때 이 점수는 분명히 교정이 필요한 저성과자를 식별하는 데만 도움이 된다고 주장할 수도 있습니다.
  • 그 대신, 교수진이 내년에 어떤 작업을 할 계획인지에 대한 의견과 반성을 시간이 지남에 따라 포트폴리오로 정리하는 것이 더 의미 있는 과정일 수 있습니다.
  • 일부 관할 지역에서는 교사에게만 공유되는 형성형 TE로 전환하는 방안이 고려되고 있습니다. 28 교사에게 제공되는 데이터의 종류와 관계없이 TE는 효과적인 교수자 개발 전략을 포함하는 시스템의 일부로 수집 및 사용되어야 합니다. 2
  • 단순히 학습자 피드백을 교사에게 전달하는 것만으로는 성장을 촉진하는 효과적인 방법이 아닙니다. 9

So, what might these other metrics be that could contribute to programmatic TEs?

  • To start, just as with the move toward competency-based medical education for residents, there should be a greater focus on the narrative comments included on TEs, although comments are not without their own limitations. 33 One might argue that the scores, given the ceiling effect, are only helpful in identifying low-performing outliers who clearly need remediation.
  • Instead, a deeper dive into the comments and reflection by faculty on what they plan to work on over the next year collated into a portfolio over time may be a more meaningful process.
  • Moving toward formative TEs that are shared only with the teacher is being considered in some jurisdictions. 28 Regardless of what data are provided to teachers, TEs should be collected and used as part of a system that includes effective faculty development strategies. 2 
  • Merely handing learner feedback to teachers is not an effective way to foster growth. 9

실제 TE 외에도 교수 효과에 대한 보다 완전하고 정보에 입각한 그림을 개발하기 위해 수집할 수 있는 추가 데이터 소스가 있습니다

  • 예를 들어, 교육 세션에 대한 동료 평가(예: 교육 라운드에 참석한 동료), 정기적인 공식 외부 TE학습 결과(측정하기 가장 어렵고 교육 효과의 성배), 포트폴리오, 다른 사람의 360도 평가 등이 모두 교육 효과에 대한 다각적이고 완전한 그림을 그리는 데 기여할 수 있습니다. 34 
  • 그러나 새로운 방법이나 프로세스가 단순히 추가 업무가 아니라 실제로 교수진에게 의미 있고 도움이 되는지 확인해야 합니다.

Beyond the actual TEs, there are additional sources of data that could be collected to develop a more fulsome and informed picture of teaching effectiveness.

  • For example, near-peer assessments of teaching sessions (such as from colleagues attending teaching rounds), periodic formal external TEs, learning outcomes (the most challenging to measure and holy grail of teaching impact), portfolios, and 360-degree evaluations from others may all contribute to a multi-pixelated, complete picture of teaching effectiveness. 34
  • However, we must ensure that any new methods or processes are actually meaningful and helpful for faculty and not just extra work.

마지막으로, 다소 도발적인 제안이지만, 학습자를 'fail to fail'하지 않는 교수진에게 더 큰 인정(어쩌면 상까지)을 제공할 것을 제안합니다. 상당한 시간과 에너지를 들여 어려움에 처한 학습자를 찾아내고, 그 학습자가 더 나은 의사가 될 수 있도록 지원하고, 가르치고, 코치하는 교수진은 우리 모두가 지향해야 할 교육자상입니다. 학습자가 성공하기 위해서는 이러한 지원이 필요하며, 환자를 보호해야 하는 우리의 의무도 이러한 지원을 요구합니다. 
Lastly, and somewhat provocatively, we propose greater recognition (perhaps even an award) for faculty who do not “fail to fail” learners. Those faculty who take the significant time and energy to identify a learner in difficulty and who then support, teach, and coach that individual to become a better doctor are the educators we should all aspire to be. Our learners need this support to succeed, and our obligation to protect our patients demands it.

 


Acad Med. 2023 Mar 1;98(3):300-303. doi: 10.1097/ACM.0000000000005006. Epub 2022 Oct 4.

Necessary but Insufficient and Possibly Counterproductive: The Complex Problem of Teaching Evaluations

Affiliations collapse

Affiliations

1S. Ginsburg is professor of medicine, Department of Medicine, Sinai Health System and Faculty of Medicine, University of Toronto, and scientist, Wilson Centre for Research in Education, University of Toronto, Toronto, Ontario, Canada, and Canada Research Chair in Health Professions Education; ORCID: http://orcid.org/0000-0002-4595-6650 .

2L. Stroud is associate professor, Department of Medicine and Sunnybrook Health Sciences Centre, and education researcher, Wilson Centre for Research in Education, University of Toronto, Toronto, Ontario, Canada.

PMID: 36538693

DOI: 10.1097/ACM.0000000000005006

Abstract

The evaluation of clinical teachers' performance has long been a subject of research and debate, yet teaching evaluations (TEs) by students remain problematic. Despite their intuitive appeal, there is little evidence that TEs are associated with students' learning in the classroom or clinical setting. TEs are also subject to many forms of bias and are confounded by construct-irrelevant factors, such as the teacher's physical attractiveness or personality. Yet they are used almost exclusively as evaluations of and feedback to teachers. In this commentary, the authors review the literature on what TEs are meant to do, what they actually do in the real world, and their overall impact. The authors also consider productive ways forward. While TEs are certainly necessary to provide the crucial student voice, they are insufficient as the sole way to assess teachers. Further, they are often counterproductive. TEs carry so much weight for faculty that they can act as a disincentive for teachers to challenge learners and provide them with the critical feedback they often need, lest students give them poor ratings. To address these challenges, changes are needed, including embedding TEs in a programmatic assessment framework. For example, TEs might be used for formative feedback only, while other sources of data, such as peer assessments, learning outcomes, 360-degree feedback, and teacher reflections, could be collated into a portfolio to provide a more meaningful evaluation for teachers. Robust, transparent systems should be in place that dictate how TE data are used and to ensure they are not misused. Clinical teachers who do not "fail to fail" learners but instead take the time and effort to identify and support learners in difficulty should be recognized and rewarded. Learners need this support to succeed and the obligation to protect patients demands it.

임상추론 교육을 위한 세 가지 지식-지향 교수전략: 자기설명, 개념매핑연습, 의도적 성찰: AMEE Guide No. 150 (Med Teach, 2022)
Implementation of three knowledge-oriented instructional strategies to teach clinical reasoning: Self-explanation, a concept mapping exercise, and deliberate reflection: AMEE Guide No. 150
Dario Torrea , Martine Chamberlandb and Silvia Mamedec

 

소개
Introduction

임상 추론은 의사의 성과와 결과적으로 환자 치료의 질에 중대한 영향을 미칩니다(Eva 2005; Norman 2005). 이러한 중요성에도 불구하고 최근까지 학부 및 대학원 프로그램에는 임상 추론을 가르치기 위한 구체적인 활동이 포함되어 있지 않았습니다. 전통적으로 학생과 수련의는 주로 견습과 경험을 통해 임상 추론을 배워야 했습니다(Graber 외. 2005). 최근 이러한 전통에 의문이 제기되고 있습니다. 의학교육 전반에 걸쳐 임상적 추론이 명시적이고 포괄적으로 다루어져야 한다는 공감대가 확산되고 있습니다(Kononowicz 외. 2020; Cooper 외. 2021). 그러나 이 목표를 향한 진전은 더딘 것 같습니다. 임상 추론은 학부 커리큘럼에 체계적으로 통합되어 있지 않은 경우가 많습니다(Trowbridge 외. 2015). 실제로 최근 설문조사에 참여한 대부분의 미국 의과대학에서는 임상 추론에 대한 구체적인 교육 세션이 부족한 것으로 나타났습니다. 결과적으로, 임상실습 책임자들은 학생들이 임상실습에 들어갈 준비가 충분히 되어 있지 않다고 생각했습니다(Rencic 외. 2017). 종단적 임상 추론 커리큘럼에서 무엇을, 언제, 어떤 교육 전략으로 가르쳐야 하는지에 대한 명확한 지침은 없습니다(Cooper 외. 2021). 
Clinical reasoning critically influences physicians’ performance and, consequently, the quality of patient care (Eva 2005; Norman 2005). Despite its importance, until recently, undergraduate and postgraduate programs did not include specific activities for teaching clinical reasoning. Traditionally, students and trainees were expected to learn clinical reasoning largely through apprenticeship and experience (Graber et al. 2005). This tradition has recently been questioned. There is growing consensus that clinical reasoning should be addressed explicitly and comprehensively throughout medical education (Kononowicz et al. 2020; Cooper et al. 2021). However, progress towards this goal seems slow. Clinical reasoning is often not systematically integrated in the undergraduate curriculum (Trowbridge et al. 2015). Indeed, in the majority of US medical schools recently surveyed, specific teaching sessions dedicated to clinical reasoning are lacking. Consequently, clerkships directors considered students not being adequately prepared to enter the clinical clerkships (Rencic et al. 2017). There is no clear guidance on what to teach, when and with which instructional strategies in a longitudinal clinical reasoning curriculum (Cooper et al. 2021).

이러한 커리큘럼에 대한 최근 지침은 학습 과학의 증거로 뒷받침되는 교육 전략을 선택하여 과학적 접근 방식을 채택할 필요성을 강조하고 있습니다(Cooper 외. 2021). 또한 슈미트와 마메데(2015)는 내러티브 리뷰에서 전문성 개발의 여러 단계에서 임상 추론을 가르치기 위해 서로 다른 교육 전략이 필요할 수 있다고 주장합니다. 최근의 리뷰에서는 교육 활동의 목적이 콘텐츠 지식 개발인 지식 중심 접근법의 가치를 보여주었습니다(Schmidt and Mamede 2015; Prakash 외. 2019; Cooper 외. 2021). 이러한 리뷰에서는 이해를 구축하고, 지식 조직을 촉진하며, 성찰을 촉진하는 전략이 의대생의 임상 추론을 개선하는 데 효과적이라는 것을 보여주었습니다. 자기 설명(SE)의도적 성찰(DR)은 이러한 효과적인 지식 중심 교육 전략의 두 가지 예입니다(Schmidt and Mamede 2015; Prakash et al. 2019). 이 두 가지 전략은 임상 문제를 해결하기 위한 지식의 검색, (재)구성 및 적용을 촉진하며 임상 추론을 가르칠 때 함께 구현할 수 있는 상호 보완적인 학습 연습이 될 수 있습니다(Chamberland 외. 2020). 그러나 언어화와 반성이 임상 추론을 학습하는 데 중요한 과제인 경우, 지식을 시각적으로 표현하는 것이 복잡한 문제를 이해하는 데 특히 도움이 될 수 있습니다. 예를 들어, 개념 매핑으로 묘사된 지식의 그래픽 표현은 복잡한 사고를 가시화하여 임상 추론을 향상시키는 동시에 지식 조직과 의미 있는 학습을 촉진할 수 있습니다(Acton 외. 1994; Delany와 Golding 2014; Wu 외. 2016). 임상 추론 매핑 연습(CReSME)은 임상 추론 교육에 사용되는 개념 매핑 기법의 예시적인 예입니다(Torre 외. 2019). 

Recent guidelines for such a curriculum have stressed the need to adopt a scientific approach by opting for instructional strategies supported by evidence from the learning sciences (Cooper et al. 2021). Moreover, Schmidt and Mamede (2015), in a narrative review, posit that different instructional strategies may be needed to teach clinical reasoning at different stages of expertise development. Recent reviews have shown the value of a knowledge-oriented approach in which the purpose of teaching activities is content knowledge development (Schmidt and Mamede 2015; Prakash et al. 2019; Cooper et al. 2021). These reviews have shown strategies that build understanding, foster knowledge organization, and promote reflection to be effective in improving medical students’ clinical reasoning. Self-explanation (SE) and deliberate reflection (DR) are two examples of these effective knowledge-oriented instructional strategies (Schmidt and Mamede 2015; Prakash et al. 2019). They both foster retrieval, (re-)construction, and application of knowledge to solve clinical problems and might be complementary learning exercises that could be implemented together in teaching clinical reasoning (Chamberland et al. 2020). Yet, if verbalization and reflection are critical tasks for learning clinical reasoning, a visual representation of knowledge may be particularly helpful in the understanding of complex problems. A graphic representation of knowledge depicted, for example, by concept mapping, may enhance clinical reasoning by making complex thinking visible, while fostering knowledge organization and meaningful learning (Acton et al. 1994; Delany and Golding 2014; Wu et al. 2016). The Clinical Reasoning Mapping Exercise (CReSME) is an illustrative example of a concept mapping technique used for the teaching of clinical reasoning (Torre et al. 2019).

이론과 경험적 데이터로 뒷받침되는 이 세 가지 교육 전략은 의대생에게 유용한 도구가 될 수 있습니다. 그러나 이러한 전략의 효과에 대해 보고된 여러 연구는 전략에 대한 일반적인 설명만 제공합니다. 이러한 전략을 활용하고자 하는 교사는 연구 논문에서 제공하는 개요와 전략을 실행하는 데 필요한 구체적인 단계 및 운영 측면 사이를 탐색해야 합니다. 따라서 이 가이드의 목적은 교육자에게 임상 추론을 가르치기 위해 이러한 전략을 사용하는 활동을 설계하고 학부 커리큘럼에 통합하는 데 대한 실질적인 조언을 제공하는 것입니다. 또한 전략을 적용하려는 현지 상황에 맞게 조정하는 데 도움이 될 수 있습니다. 조정은 종종 필요하지만 전략이 잘 작동하기 위한 필수 조건에 영향을 미쳐서는 안 됩니다(Mamede and Schmidt 2014; Chamberland 외. 2020). 실행에 대한 구체적인 지침은 교육자가 이러한 위험을 피하는 데 도움이 될 수 있습니다. 
These three instructional strategies, supported by theory and empirical data, can be helpful tools for medical teachers. However, the several published studies reporting on their effectiveness provide only a general description of the strategies. Teachers interested in employing them would need to navigate between the overview provided by research papers and the concrete steps and operational aspects required for putting the strategies into practice. Therefore, the purpose of this guide is to provide educators with practical advice on the design of activities using these strategies for the teaching of clinical reasoning and their integration into the undergraduate curriculum. It may also help adapt the strategies to the local context where they are to be applied. Adjustments are often necessary but should not affect essential conditions for the strategies to work well (Mamede and Schmidt 2014; Chamberland et al. 2020). Specific instructions on the implementation may help educators avoid this risk.

임상 추론 교육에 대한 관심이 증가함에 따라 많은 교육 전략이 제안되었지만, 그 효과에 대한 조사가 수반되는 경우는 많지 않습니다(Schmidt and Mamede 2015; Lambe 외. 2016; Prakash 외. 2019). 우리는 많은 전략이 존재한다는 것을 알고 있으며 SE, CReSME 및 DR이 가장 효과적인 전략이거나 채택해야 할 유일한 전략이라고 주장하지 않습니다. 그럼에도 불구하고 이러한 전략을 선택한 이유는 중요한 이론적 원칙, 해당 전략의 사용을 뒷받침하는 경험적 증거, 우리 자신의 경험(Lambe 외. 2016; Prakash 외. 2019; Cooper 외. 2021), 그리고 학부 수준에서 임상 추론을 가르치는 종단적 및 발달적 접근 방식에 결합하여 적용할 수 있는 잠재력을 고려했기 때문입니다. 
As interest in the teaching of clinical reasoning increases, many teaching strategies have been proposed though not so often accompanied by investigation of their effectiveness (Schmidt and Mamede 2015; Lambe et al. 2016; Prakash et al. 2019). We are aware that many strategies exist and are not arguing that SE, CReSME, and DR are the most effective ones or the only ones to be adopted. Nevertheless, we selected these strategies because of overarching theoretical principles, empirical evidence supporting their use, and our own experience with them (Lambe et al. 2016; Prakash et al. 2019; Cooper et al. 2021) and the potential for a combined application in a longitudinal and developmental approach to teaching clinical reasoning at the undergraduate level.

이 가이드에서는 먼저 이러한 전략의 사용을 뒷받침하는 이론적 배경을 정리한 다음 각 전략에 대한 설명과 실제 적용을 살펴보고 마지막으로 이러한 전략을 통합하는 방법에 대한 제안을 제공합니다.
In this guide, we will first synthesize the theoretical background that supports the use of these strategies, then move to the description and practical application of each one, and finally provide suggestions on how to integrate them.

이론적 프레임워크
Theoretical framework

임상적 추론은 여러 이론적 프레임워크에 기반을 두고 있습니다(Schmidt 외. 1990; Charlin 외. 2000; Croskerry 2009; Durning 외. 2013). 이 백서의 목적상, 우리는 지식 조직, 스키마의 초기 형성, 질병 스크립트의 후속 개발 및 개선이라는 형태의 정보 처리 이론의 교리에 초점을 맞추고 있습니다(Schmidt 외. 1990). 영향력 있는 의학 전문성 발달 이론에 따르면 지식 개발과 조직화는 네 가지 발달 단계를 거쳐 진행된다고 주장합니다(Schmidt and Rikers 2007). 

  • 인과 네트워크 형성,
  • 지식 캡슐화,
  • 질병 스크립트 개발,
  • 환자 사례를 통한 질병 스크립트 인스턴스화

Clinical reasoning is grounded in a number of theoretical frameworks (Schmidt et al. 1990; Charlin et al. 2000; Croskerry 2009; Durning et al. 2013). For the purpose of this paper, we focus on tenets of information processing theory in the form of knowledge organization, early formation of schemas and subsequent development and refinement of illness scripts (Schmidt et al. 1990). An influential theory of development of expertise in medicine argues that knowledge development and organization progress through four developmental stages:

  • formation of causal networks;
  • knowledge encapsulation;
  • development of illness scripts; and
  • instantiation of illness scripts by patient examples (Schmidt and Rikers 2007).

교육 첫 단계에서 의대생은 생의학 및 임상 과학을 연결하는 인과적 네트워크로 구성된 지식을 습득합니다. 질병은 병리 생리학적 메커니즘으로 설명되는 경향이 있으며, 학생들은 질병의 징후 및 증상과 그 인과 메커니즘 사이의 관계를 개발하려고 시도합니다. 이 단계에서 학생들은 관계의 의미를 설정하는 단어로 연결된 일련의 개념으로 구성된 명제적 네트워크 구조를 형성합니다.
In the first stage of their training, medical students acquire knowledge that is organized into causal networks linking biomedical and clinical sciences. Diseases tend to be explained by pathophysiological mechanisms, and students attempt to develop relationships between signs and symptoms of a disease and their causal mechanisms. At this stage, students form propositional network structures which comprise a series of concepts linked by a word that sets the meaning of their relationship.

학생들은 이 지식을 임상 문제 해결에 적용하면서 흔히 '캡슐화'라고 하는 단순화된 인과 모델을 개발하는 두 번째 단계로 이동합니다. 학생들은 병태생리학적 설명으로 연결된 개념을 캡슐화하는 보다 정교하고 고차원적인 지식 구조를 더 적게 만들기 시작합니다. 이렇게 캡슐화된 개념라벨이 붙고 질병 또는 증후군으로 분류되며, 더 많은 양의 임상 지식을 포괄하고 더 쉽게 검색하고 사용할 수 있습니다.
As students apply this knowledge to solve clinical problems, they move to a second stage which entails development of simplified causal models often referred to as ‘encapsulation’. Students begin to create a lower number of more refined, higher order knowledge structures that encapsulate concepts linked by pathophysiological explanations. These encapsulated concepts are labeled, and categorized into a disease or syndrome; they subsume a greater amount of clinical knowledge and can more easily retrieved and used.

임상 문제에 대한 경험이 증가함에 따라 학생들은 세 번째 단계로 진입합니다. 캡슐화된 개념은 더욱 재구성되고 궁극적으로 질병 스크립트로 재구성됩니다. 질병 스크립트는 프로토타입이거나 이전에 진료한 환자를 기반으로 한 임상 관련 정보의 풍부한 스키마입니다. 이러한 스크립트는 의사가 일련의 임상 징후 또는 증상이 있는 환자를 진료할 때 언제든지 활성화하고 검색할 수 있습니다(Schmidt & Boshuizen, 1993).

As experience with clinical problems increase, students enter a third stage. Encapsulated concepts are further restructured and ultimately reorganized into illness scripts. Illness scripts are rich schema of clinically relevant information, either prototypical or based on a patient previously seen. These scripts can be activated and searched at any time by the physician in response to a patient presentation with a set of clinical signs or symptoms (Schmidt & Boshuizen, 1993).

우리는 SE, CReSME 및 DR이 지식 구조 및 조직 개발 단계에 발판을 제공하고 실습을 최적화할 수 있는 교육 전략이라고 주장합니다. 올바르게 구현되면 학부 수준의 학생들 사이에서 임상적 추론의 발달을 촉진할 수 있습니다.
We argue that SE, CReSME, and DR are instructional strategies that can provide scaffold and optimize practice for the stages of development of knowledge structures and organization. If correctly implemented, they may promote the development of clinical reasoning among students at undergraduate level.

자기 설명
Self-explanation

SE란 무엇인가요?
What is it?

자기 설명은 학습 자료에 대한 이해를 심화시키고 자신의 지식을 모니터링할 목적으로 각 학생이 학습 자료를 사용하는 동안 스스로 설명을 제공하도록 요구하는 교육 기법입니다(Chi 외. 1994; Chi 2000). '

  • '자기'라는 용어는 중요하며 SE의 두 가지 중요한 특징을 나타냅니다. 첫째, 설명은 학생에 의해 생성되고 둘째, 이러한 설명은 이 학생을 위해 제공됩니다. 이는 다른 사람을 가르치기 위해 설명을 제공하는 것과는 상당히 다릅니다(Renkl 및 Eitel 2019). 따라서 SE는 선험적으로 개별 학습 활동입니다. 
  • 설명이라는 용어를 명확히 하는 것도 중요합니다. 설명의 개념은 다양한 의미를 가질 수 있지만, SE 문헌에서는 일반적으로 학생이 기본 원리(원리 기반 SE)를 참조하여 문제의 요소를 설명하는 진술을 의미합니다(Renkl and Eitel 2019; Chi 2000).  

SE is an instructional technique that requires each student to provide explanations for him/herself while engaging with a learning material in the purpose of deepening his/her understanding and monitoring his/her knowledge (Chi et al. 1994; Chi 2000).

  • The term Self is important and refers to two critical features of SE. Firstly, the explanations are generated by the student and, secondly, these explanations are provided for this student. It is quite different from giving explanations to teach others (Renkl and Eitel 2019). SE is then, a priori, an individual learning activity.
  • The term explanation is also important to clarify. Although the concept of explanation can have a variety of meanings, in the SE literature, it usually refers to statements expressed by the student that explains an element of the problem in reference to an underlying principle (principle-based SE) (Renkl and Eitel 2019; Chi 2000). 

따라서 자기 설명은 단순히 thinking aloud 또는 텍스트의 일부를 반복하거나 의역하는 것이 아닙니다. SE가 학습에 미치는 이점은 학생들이 더 많은 SE를 생성할 때 증가하지만, 더 중요한 것은 문제의 요소와 기본 원리 또는 메커니즘을 연결하는 데 참여할 때 더욱 커집니다(Renkl 및 Eitel 2019).
So self-explaining is not simply thinking aloud, repeating or paraphrasing a segment of the text. The benefits of SE on learning are increased when students produce more SE but more importantly, when they engage in making links between the elements of the problem and underlying principles or mechanisms (Renkl and Eitel 2019).

SE는 학생의 지식이 여전히 심화 및 수정이 필요한 복잡한 문제나 덜 익숙한 문제에 유용한 것으로 보입니다(Chi 외. 1994; Wong 외. 2002; Chamberland 외. 2013). 학생이 문제를 완벽하게 이해하고 더 이상 학습할 여지가 없는 경우, 자기 설명에 참여해도 아무런 이점이 없습니다. SE는 지식을 구축하는 데 도움이 되며 지식을 자동화하지는 않습니다. 학생이 상호 연결되고 일관된 심층 지식을 개발할 수 있도록 지원하는 등 SE가 학습에 미치는 이점은 여러 영역에서 입증되었습니다(Chi 2000; Richey와 Nokes-Malach 2015). SE는 컴퓨터 기반 교육과 텍스트, 도표, 연습 문제, 풀어야 할 문제 등 다양한 학습 자료와 함께 사용되어 왔습니다. 
SE appears to be useful for complex problems or less familiar, when the student’s knowledge still needs deepening and revision (Chi et al. 1994; Wong et al. 2002; Chamberland et al. 2013). If the student understands perfectly the problem and there is no room for more learning, there is no benefit of engaging in self-explaining. SE helps build knowledge and does not automatize it. The benefits of SE on learning such as supporting student’s development of deep interconnected and coherent knowledge, has been shown in several domains (Chi 2000; Richey and Nokes-Malach 2015). SE has been used in computer-based instruction and with different learning materials such as text, diagrams, worked-examples, and problems to solve.

의학에서 SE는 진단적 추론을 기르기 위한 교육 기법으로 학부생을 대상으로 실험적으로 연구되었습니다. 익숙하지 않은 사례를 풀면서 SE를 사용한 학생들은 추가 지시 없이 조용히 사례를 풀었던 학생들에 비해 더 나은 진단 성과를 보였습니다(Chamberland 외. 2011). 학생들이 생성한 SE의 내용 분석에 따르면 익숙한 사례에 비해 덜 익숙한 사례를 접할 때 더 많은 생의학 지식 또는 기본 메커니즘(원리 기반 SE)을 재활성화하여 질병 스크립트의 일관성을 높여 더 나은 진단을 내리는 데 도움이 될 수 있는 것으로 나타났습니다(Chamberland 외. 2013). 이는 진단 추론을 향상시키기 위해 학습하는 동안 생물 의학 지식을 임상 지식과 제공/연결하는 것이 중요하다는 이전 연구와 일치합니다(Wood et al. 2007). 
In medicine, SE has been studied experimentally in undergraduate students as an instructional technique to foster diagnostic reasoning. Students who used SE while solving lesser familiar cases showed better diagnostic performance when compared to students who had solved cases in silence without further instructions (Chamberland et al. 2011). Content analysis of SE generated by students indicated that when facing lesser familiar cases in comparison with familiar cases, they reactivated more biomedical knowledge or underlying mechanisms (principle-based SE), which could help them increase coherence of their illness scripts thus leading to better diagnosis (Chamberland et al. 2013). This is in line with previous studies showing the importance of providing/linking biomedical knowledge with clinical knowledge while learning to increase diagnostic reasoning (Wood et al. 2007).

진단적 추론을 키우기 위해 SE를 잘 설계한 활동은 학생들이 학습 자료를 사용하는 동안 다음을 요구할 것입니다.

  • 사전 지식을 재활성화하고,
  • 현재 지식을 정교화하고 설명을 제공하며,
  • 문제의 임상 요소와 관련 기본 메커니즘 또는 원리를 연결하도록 

결과적으로 학생은 질병에 대한 자신의 표현을 수정할 수 있을 뿐만 아니라 후속 학습을 안내하기 위해 지식의 모호성과 격차를 인식할 수 있습니다(Chamberland 외. 2015, 2020; 예시는 부록 1 참조). 
A well-designed activity using SE to foster diagnostic reasoning will require students, while working with the learning material, to reactivate prior knowledge, to elaborate on current knowledge and provide explanations, making links between the clinical elements of the problem and relevant underlying mechanisms or principles. Consequently, it will allow the student to revise his/her representation of diseases as well as to recognize ambiguities and gaps in knowledge to guide subsequent learning (Chamberland et al. 2015, 2020; see Appendix 1 for an example).

SE를 준비하고 도입하는 방법은?
How to prepare and introduce SE?

SE는 독립적인 기법이 아니라 학습을 지원하기 위해 다양한 방식으로 통합될 수 있는 일반적인 지식 구축 전략입니다. 지금까지 학생들의 임상 추론 발달을 촉진하기 위한 SE 연구는 주로 학생들이 해결해야 하는 임상 사례를 학습 자료로 사용했습니다.
SE is not a stand-alone technique but rather a general knowledge building strategy that could probably be incorporated in many ways to support learning. So far, studies on SE to promote development of clinical reasoning among students have mainly used clinical cases that students were required to solve as learning materials.

학습 자료
Learning material

임상 사례
Clinical cases

  • 학부생의 경우, 모든 임상 정보(전체 증례)를 제공하는 임상 증례를 통해 인지 부하를 관리하면서 SE에 참여할 수 있습니다.
  • 자료를 설계할 때 학습자의 수준과 주어진 임상 문제에 대한 사전 지식을 고려합니다. 학생들은 문제와 관련된 질병에 대한 충분한 사전 지식이 있어야 하며, 일관된 질병 스크립트를 작성하고 이러한 질병에 대한 생의학 지식을 통합하는 초기 단계에 있을 것으로 예상됩니다.
  • 임상 사례는 학생에게 적절한 수준의 난이도를 가져야 하며, 이를 통해 학생의 이해를 심화시키고 지식을 구축/수정할 수 있는 충분한 여지가 있어야 합니다(Chamberland 외. 2011, 2013).
  • 케이스를 준비하려면 현재 활동을 담당하는 교사와 커리큘럼의 이전 관련 섹션을 담당하는 교사 간의 협력이 필요하며, 가능하면 비슷한 수준의 교육을 받은 학생을 대상으로 난이도를 테스트하거나 처음 사용한 후 체계적으로 모니터링하여 난이도를 검증할 수 있습니다.
  • 사례는 종이 기반 형식 또는 전자 플랫폼에서 사용할 수 있습니다.
  • For undergraduate students, clinical cases providing all the clinical information (whole case) allow them to engage in SE while managing cognitive load.
  • Consider the level of the learners and their prior knowledge for a given clinical problem in designing the material: students should have sufficient prior knowledge on diseases relevant to the problem and expected to be at the early stage of building coherent illness scripts and integrating biomedical knowledge for these diseases.
  • Clinical cases should be of appropriate level of difficulty for students so that there is enough room for deepening their understanding and build/revise their knowledge (Chamberland et al. 2011, 2013).
  • Cases preparation then requires collaboration between teachers responsible of the current activity and of previous relevant sections of the curriculum; validation of the level of difficulty might be tested with students of similar level of training if possible or systematically monitored once first used.
  • Cases can be used with a paper-based format or on an electronic platform.

SE에 대한 일반적 연구와 다른 영역의 연구를 고려할 때, 실습 사례(Dyer 외. 2015), 개념도, 컴퓨터 멀티미디어(텍스트 및 도표) 임상 사례, 라이브 또는 녹화된 강의 섹션 등 다양한 자료와 함께 SE를 사용하면 학생들에게 도움이 될 것으로 기대할 수 있습니다. 
Considering the research on SE in general and in other domains, we could expect that students would benefit from using SE with a variety of materials such as worked examples (Dyer et al. 2015), concept maps, computer multi-media (texts and diagrams) serial-cues clinical cases, and sections of a live or recorded lecture.

학생에게 SE 소개하기
Introducing SE to students

SE는 학생들에게 어려운 과제이며 자발적으로 사용하지 않습니다. 학생들에게 SE에 대해 교육하는 것은 유익한 것으로 보입니다. 교육은 짧을 수 있지만 다음 등을 제공해야 합니다.

  • SE의 정의와 사용 근거(학생들이 임상 추론과 관련된 지식을 쌓고 심화시키는 데 어떻게 도움이 되는지),
  • 제안된 학습 자료로 학생이 직접 설명하는 예시, 학생들이 연습할 수 있는 기회 

경험상 SE가 학습에 미치는 이점을 최적화하려면 학생은 SE가 평가 도구가 아닌 학습 전략이라는 점을 이해해야 합니다. SE는 정답을 제공하는 것이 아니며 구두 시험도 아닙니다. 학생은 '안전한 공간'에서 자신의 지식의 한계를 탐구하고 부족한 부분을 파악할 수 있도록 스스로 설명하면서 '학습하는 자세'를 취해야 합니다. 교사는 학생들의 참여를 극대화하기 위해 요구 사항을 명확히 해야 합니다. 선택 사항이 아닌 필수 사항으로 지정하고, 자기 설명에 소요할 최소한의 시간을 요구해야 합니다. 
SE is a challenging task for students, and they do not use it spontaneously. Training students on SE appears beneficial. Training may be short but should provide:

  • a definition of SE and rationale for using it (how it helps students build and deepen knowledge relevant to clinical reasoning);
  • an example of a student self-explaining with the proposed learning material and opportunity for students to practice.

In our experience, in order to optimize the benefit of SE on learning, students must understand that SE is a learning strategy and not an assessment tool. SE is not about providing the right answer, nor it is an oral examination. Students must adopt a ‘learning position’ while self-explaining allowing them to explore the limits of their own knowledge and identify gaps in a ‘safe space’. Teachers should make the requirements clear to maximize students’ engagement: do not make it optional but mandatory and ask for a minimum time spent self-explaining.

과제를 어떻게 수행하나요?
How to perform the task?

SE는 선험적으로 개별 학습 활동입니다. 모든 학생이 새로운 학습 자료를 접할 때 자연스럽게 SE를 하는 것은 아닙니다. 활동 중에 프롬프트를 통합하면 더 많은 SE, 특히 원리 기반 SE를 생성하도록 장려할 수 있습니다. 예를 들어,

  • 선택한 학습 자료가 해결해야 할 임상 사례인 경우, 학생에게 먼저 조용히 사례를 읽도록 하여 적절한 사전 지식을 다시 활성화할 수 있도록 도울 수 있습니다.
  • 그런 다음 자료에 포함된 프롬프트에 따라 사례를 다시 살펴보면서 사례에 제시된 임상 결과를 체계적으로 스스로 설명하도록 초대합니다.

SE is a priori an individual learning activity. All students do not naturally self-explain when engaging with new learning materials. Incorporating prompts during the activity encourage them to generate more SE and in particular principle-based SE. For instance,

  • if the learning material chosen is a to-be-solved clinical case, the student may be first invited to read the case in silence to help him begin reactivating appropriate prior knowledge.
  • Then, going again through the case, guided by prompts included in the material, he is invited to self-explain systematically the clinical findings presented in the case.

다양한 유형의 프롬프트는 구조 또는 지시성의 정도가 다릅니다(Wylie and Chi 2014; Renkl and Eitel 2019): 개방형 프롬프트는 학생이 생성된 SE의 유형을 제한하지 않고 사전 지식과 새로 제시된 정보를 연결하도록 장려합니다. 임상 사례에 사용할 수 있는 개방형 프롬프트의 예는 표 1에 나와 있습니다. 활동 중 또는 활동 후에 학생에게 다른 학생의 SE 사례 또는 문제 해결 방법과 같은 추가 리소스가 제공되는 경우, 학생이 이 새로운 정보에 참여하도록 유도하는 프롬프트가 도움이 될 수 있습니다(Nokes 외. 2011). 이러한 프롬프트의 예는 표 1에 나와 있습니다.
Different types of prompts provide different degrees of structure or directedness (Wylie and Chi 2014; Renkl and Eitel 2019): open-ended prompts encourage students to make connections between prior knowledge and the new presented information without constraining the type of SE generated. Examples of open-ended prompts that could be used with clinical cases are provided in Table 1. If the student is provided with additional resource during or after the activity, such as an example of SE from another student or solution of the problem, prompts that invite students to engage with this new information may be helpful (Nokes et al. 2011). Examples of such prompts are provided in Table 1.


학생들은 SE를 어떻게 표현할까요?

  • 임상 추론에 대한 SE는 학생들이 자신의 설명을 말로 표현하는 방식으로 가장 많이 연구되었습니다. 이는 구현에 추가적인 어려움이 될 수 있지만, 언어화는 학생에게 자연스러운 것으로 인식되며(Chebbihi 외., 2019), 학생의 추가적인 인지적 참여를 요구함으로써 침묵 속에서 스스로 설명하는 것과 비교할 때 학습을 향상시키는 것으로 보입니다(De Bruin 외., 2007).
  • 또는 학생에게 SE를 작성하도록 요청할 수도 있습니다. SE 및 임상 추론에 대한 많은 연구에서 SE 과정에 대한 피드백이 제공되지 않았습니다. 이 문제는 실질적인 도전이 될 수 있습니다. 2년에 걸쳐 종단적 활동으로 SE를 구현한 경험에서 학생들은 SE 활동을 반복함으로써 SE를 연습하고 이 전략에 익숙해질 수 있었다고 보고했습니다.
  • (교수자는) 학생들이 SE한 콘텐츠 지식에 대한 피드백을 제공할 수 있습니다. 연습 후 정확한 진단만 제공한 연구에서는 매우 유사한 후속 사례를 해결하는 데는 유용했지만 다른 사례에는 유용하지 않았습니다(Chamberland 외. 2019). SE에서 피드백의 역할에 대한 이 문제는 추가 연구가 필요합니다.

How will students express their SE?

  • SE for clinical reasoning has been most studied with students verbalizing their explanations. Even though this might represent an additional challenge for implementation, verbalization is perceived as natural for students ( Chebbihi et al., 2019) and appears to improve learning when compared to self-explaining in silence (De Bruin et al. 2007) by requiring further cognitive engagement from the student.
  • Alternatively, students may be asked to write their SE. No feedback on the process of SE has been provided in many studies on SE and clinical reasoning. This issue would represent a practical challenge. In our experience implementing SE with a longitudinal activity over 2 years, students reported that the recurrence of the SE activity allowed them to practice SE and get familiar with this strategy.
  • Feedback on the content knowledge on which students self-explain may be provided. A study providing only the correct diagnosis after the exercise was useful to solve subsequent very similar cases but not for different cases (Chamberland et al. 2019). This issue of the role of feedback in SE needs further research.

SE를 커리큘럼에 통합하는 방법은 무엇인가요?
How to integrate SE into the curriculum?

SE와 임상 추론에 대한 연구는 주로 4년제 커리큘럼을 갖춘 의과대학에서 이루어졌으며, 3학년 의대생이 개별적으로 종이 증례 책자를 가지고 실습을 하는 방식으로 진행되었습니다. 그러나 학습자의 수준에 맞게 학습 자료가 조정된다면 현지 커리큘럼 설계에 따라 SE를 더 일찍 도입할 수도 있습니다. 5년 또는 6년 커리큘럼의 학교에서는 이미 강의 수업을 통해 질병에 대한 지식을 접했지만 임상 경험이 많지 않은 학생들을 참여시키는 것이 적절할 것입니다. 실제로 학부 수준에서 임상 추론을 가르치는 것에 대한 서술적 검토를 마무리하는 슈미트와 마메데의 제안은 SE가 초보 학생들에게 적합할 수 있다고 제안했습니다(슈미트 및 마메데 2015). 지금까지 실제 교육 상황에서 SE를 구현한 데이터는 아직 제한적입니다(Chamberland 외. 2020; Kelekar와 Afonso 2020). 
Research on SE and clinical reasoning have mainly occurred in medical schools with a 4-year curriculum and involved third-year medical students in clerkship working individually with booklets of paper cases. However, SE may be introduced earlier depending on the local curriculum design as long as the learning material is adapted to the level of the learners. In schools with 5-or 6-year curricula, it would be appropriate to engage students who have already been exposed to knowledge of diseases through didactic activities but do not have much clinical experience with them. Indeed, Schmidt and Mamede’s proposal concluding their narrative review on teaching clinical reasoning at undergraduate level, suggested that SE could suit well novice students (Schmidt and Mamede 2015). So far, data on implementation of SE in authentical educational context are still limited (Chamberland et al. 2020; Kelekar and Afonso 2020).

SE는 선험적으로 개인의 건설적인 학습 활동이지만, 학생이 먼저 자신의 사전 지식을 가지고 작업하고 스스로 설명을 생성 할 수있는 충분한 공간이 제공된다면 다른 사람 (예 : 가까운 동료)과의 상호 작용을 추가하는 것이 유익 할 수 있습니다 (Chamberland et al. 2015, 2020). 실험 조건에서 동일한 사례에 대해 또래에 가까운 SE의 설명을 들었을 때 학생들의 진단 성능이 더욱 향상되었습니다(Chamberland 외. 2015). 후속 질적 연구에서 3학년 학생들은 후배 레지던트의 SE를 추가적인 외부 자원으로 사용했다고 보고했습니다. 짝지은 상호작용도 학습에 도움이 될 수 있습니다(Rotgans and Cleland 2021). 
While SE is a priori an individual constructive learning activity, the addition of interactions with others (e.g. near-peers) (Chamberland et al. 2015, 2020) might be beneficial (Chi 2018) if the student is provided with enough space to work first with his/her own prior knowledge and generate for himself explanations. Under experimental conditions, diagnostic performance of students was further increased by listening to a near-peer SE on the same case (Chamberland et al. 2015). In a subsequent qualitative study, third-year students reported that they used the junior resident’s SE as an additional external resource. Interactions in dyads could also be beneficial for learning (Rotgans and Cleland 2021).

임상 추론 매핑 연습
Clinical reasoning mapping exercise

개념 지도란 무엇인가요?
What is it?

[개념 지도]의미를 만드는 단어 또는 명제로 연결된 상호 연관된 개념 집합을 그래픽으로 표현한 것으로, 개념 집합의 의미에 대한 학습자의 이해를 나타냅니다(Novak and Cañas 2006). 개념 맵을 사용한 연습은 지식 조직화와 비판적 사고를 촉진합니다(West 외. 2000; Torre 외. 2007; Daley와 Torre 2010). 교수자가 제공하는 지시성의 정도에 따라 두 가지 주요 매핑 전략이 개념 맵을 사용한 교수 및 학습에 사용될 수 있습니다(Ruiz-Primo 및 Shavelson 1996). 개념 지도의 지시성지도를 구성하기 위해 학습자에게 제공되는 정보의 양을 의미합니다.

  • 저-지시성 맵(학습자 주도형)은 개념, 연결어, 맵의 구조가 학습자에 의해 구성되는 학습자에 의해 전적으로 생성되는 개념 맵이 특징입니다(Novak and Gowin 1984).
  • 고-지시성 맵(교사 주도형)은 교사가 지도의 구성 요소(노드 또는 링크)를 개발한 다음 학생에게 노드의 내용을 채우고, 노드를 연결 단어로 연결하거나 두 가지를 조합하는 과제를 제공하는 기법입니다. (Schau와 Mattern 1997).

A concept map is a graphic representation of a set of interrelated concepts linked by meaning-making words or propositions that depicts the learner’s understanding of the meaning of a set of concepts (Novak and Cañas 2006). Exercises with concept maps foster knowledge organization and critical thinking (West et al. 2000; Torre et al. 2007; Daley and Torre 2010). Two main different mapping strategies, based on the degree of directedness provided by the instructor, can be used in teaching and learning with concepts maps (Ruiz‐Primo and Shavelson 1996). Directedness of a concept map refers to the amount of information that is provided to the learners for the construction of the map.

  • A low degree of directedness (learner driven) map is characterized by a concept map that is entirely created by the learner in which concepts, linking words and structure of the map are constructed by the learner (Novak and Gowin 1984).
  • A high degree of directedness map (teacher driven) is a technique in which components of the map (either nodes or links) are developed by the teacher and then provided to the student who has the task of filling in content of the nodes, connecting the nodes with linking words or a combination of both. (Schau and Mattern 1997).

CReSME는 높은 수준의 지시성을 가진 개념 지도입니다(Torre et al., 2019). CResME는 임상 및/또는 기초 과학 정보를 포함하는 노드를 사용하므로 학습자는 이러한 정보 노드를 정확하고 의미 있는 방식으로 연결하여 여러 영역에서 동일한 증상으로 나타나는 여러 질병의 주요 특징(예는 부록 2 참조)을 비교 및 대조할 수 있습니다. 
The CReSME is a concept map with high degree of directedness (Torre et al., 2019). The CResME uses nodes that contain clinical and/or basic sciences information, requiring learners to connect these nodes of information in an accurate and meaningful way, allowing to compare and contrast, across multiple domains, key features of different diseases (see Appendix 2 for an example) presenting with the same complaint.

CReSME를 준비하고 도입하는 방법은 무엇인가요?
How to prepare and introduce the CReSME?

그 근거는 학생들에게 유사한 증상을 보이는 여러 질병의 전형적인 임상 특징을 비교하고 대조할 수 있도록 미리 구성된 스캐폴딩 구조를 제공하여 궁극적으로 동일한 증상을 보이는 질병에 대한 질병 스크립트 개발을 촉진하기 위한 것입니다.
The rationale is to provide students with a pre-constructed scaffolding structure to facilitate the comparing and contrasting of typical clinical features of different disease with a similar presentation, to ultimately foster the development of illness scripts for disease entities presenting with the same complaint.

학습 자료
Learning materials

  • 사례 발표는 의도적으로 환자의 주요 불만 사항만 포함합니다. 예를 들어 55세 남성 환자가 급성 흉통을 호소한다고 가정해 보겠습니다.
  • 맵 콘텐츠는 동일한 주호소(급성 흉통)를 가진 질병에 대한 주요 정보가 포함된 미리 구성된 노드 집합으로 시각적으로 표시됩니다.
  • 학습자는 연습의 맨 아래에 있는 빈 노드를 완성하여, 스크립트의 일부를 포함하는 노드 간의 일련의 정확한 연결과 일치하는 진단을 제공해야 합니다.
  • 해결해야 할 완전한 임상 사례는 존재하지 않으므로, 환자의 주요 증상에 대한 감별 진단을 구성할 수 있는 3~5개의 질병 실체의 원형 구성 요소를 정확하게 식별하고 연결하는 것 외에는 하나의 정답이 존재하지 않습니다. 강사 CREsME 기법 설계의 단계는 표 2에 나와 있습니다. 
  • The case presentation purposefully entails only the chief complaint of a patient. For example, a 55-year-old male patient presenting with acute chest pain.
  • The map content is displayed visually as a preconstructed set of nodes with key information about the diseases that all present with the same chief complaint (acute chest pain).
  • The learner needs to provide a diagnosis consistent with a series of accurate connections among the nodes containing parts of the script, by completing the empty nodes at the bottom of the exercise.
  • Since there is no complete clinical case-to-be-solved, there is not a single best answer but the accurate identification and connections of prototypical components of three to five disease entities that may constitute a differential diagnosis for the patient’s chief complaint. Instructor Steps in the design of the CREsME technique are provided in Table 2.


CReSME와 같이 지시성이 높은 개념 지도교사의 세심한 준비가 필요합니다.

  • 실제로 개발하는 데 몇 시간이 걸릴 수 있으며, 콘텐츠의 정확성과 관련성 및 노드 간의 연결성을 보장하기 위해 교수진 그룹이 검토해야 합니다.
  • 교수진은 가능한 모든 연결 고리를 파악하고, 적절한 난이도를 측정하고, 토론을 통해 합의에 도달해야 합니다.
  • CReSME 기법을 학생들에게 소개해야 하며, 강사는 연습을 개발하거나 완료하는 목적, 코스 또는 학습할 자료에 어떻게 부합하는지 설명하고 화이트보드 또는 컴퓨터 매핑 시스템을 사용하여 해결하는 방법을 시연해야 합니다.
  • 이전에 개발한 CReSME의 예시를 학생들에게 제시하여 학생들이 검토하고 질문하며 과제를 완료하는 방법을 이해할 수 있도록 하는 것이 도움이 됩니다. 그런 다음 학생에게 종이 또는 전자 방식으로 샘플 연습을 할 수 있는 기회를 제공해야 합니다. 이러한 입문 세션은 1~2시간 정도 소요될 수 있으며 필요한 경우 반복할 수 있습니다.

A high directedness concept map like the CReSME requires careful preparation by the teacher.

  • Indeed, it may take a few hours to develop and should be reviewed by a group of faculty to ensure accuracy and relevance of the content and the connections among nodes.
  • The faculty should identify all possible connections, gage the appropriate level of difficulty, and come to a consensus through discussion.
  • the CReSME technique needs to be introduced to students and the instructor should explain the purpose of developing or completing the exercise, how it fits into the course or material to be learned, and demonstrate how to solve it on a whiteboard or using a computer mapping system (http://cmap.ihmc.us/).
  • It is helpful to present the students with an example of a CReSME previously developed, so that they can review, ask questions, and understand how to complete the task. Subsequently, students should be given the opportunity to practice on a sample exercise, on paper or electronically. Such an introductory session may last 1–2 h and can be repeated if needed.

CReSME는 어떻게 수행하나요?
How to perform a CReSME?

학생들은 다양한 콘텐츠에 대한 CReSME를 이수하도록 배정될 수 있습니다. 콘텐츠는 기초 과학에서 임상 과학에 이르기까지 다양합니다. 대부분의 경우 기초 과학과 임상 과학 콘텐츠가 동일한 연습에 통합되어 있습니다(예: 미생물학, 약리학, 병태생리학, 임상적 특징 및 발열을 보이는 질병 개체의 진단 워크업을 통합한 연습). 경험상 20~30분은 학생이 하나의 CReSME를 완료하는 데 적당한 시간입니다. 그러나 이는 복잡성 수준, 연결해야 하는 노드 및 연결의 수, 학생이 비교하고 검토해야 하는 질병 엔티티의 수에 따라 달라질 수 있습니다. CReSME를 완성하는 것은 개별적으로 또는 소규모 학습자 그룹(그룹당 5~6명의 학생)이 공동으로 작업하여 수행할 수 있습니다. 마찬가지로, 그룹 개념 매핑(Torre 외. 2017; Peñuela-Epalza 및 De la Hoz 2019)과 마찬가지로, 각 그룹은 연습을 완료하고 다른 그룹과 그 근거를 공유할 수 있습니다. 그룹 환경에서 학생들은 서로 질문하고, 구체적이거나 더 어려운 연결고리에 대한 설명을 제공하고, 의미와 상호 이해를 공동으로 구성하는 과정에 참여할 수 있습니다. 
The students can be assigned to complete a CReSME on a variety of contents Content may range from basic sciences to clinical sciences. Most often, basic and clinical sciences content are integrated within the same exercise (e.g. an exercise integrating microbiology, pharmacology, pathophysiology, clinical features, and diagnostic workup of disease entities presenting with fever). In our experience, 20–30 min is a reasonable amount of time for a student to complete one CReSME. But this will depend on its level of complexity, the number of nodes and connections that need to be made and the number of disease entities that will have to be compared and reviewed by students. The completion of a CReSME may be accomplished individually or by a small group of learners working collaboratively (five to six students per group). Similarly, to group concept mapping (Torre et al. 2017; Peñuela-Epalza and De la Hoz 2019), each group can complete the exercise and share their rationale with other groups. In a group setting, the students can ask questions to each other, provide explanations for specific or more challenging links and engage in a process of co-construction of meaning and mutual understanding.

이 교육 기법은 피드백의 기회를 제공합니다. 다음은 몇 가지 제안 사항입니다:
This instructional technique offers opportunities for feedback. Here are some suggestions:

  1. 교사는 학생들이 CReSME 결과를 공유하고 비교할 수 있는 세션을 계획하고, 제안된 근거와 정당성의 차이에 대해 토론하고 반성하며, 교사가 큰 소리로 생각하고 자신의 사고 과정을 모델링하여 정보 노드 간의 각 연결 집합에 대한 근거와 정당성을 설명할 수 있습니다. 이 과정을 녹화한 다음 학습자와 전자적으로 공유하면 학습자는 자신의 속도와 시간에 맞춰 액세스하여 들을 수 있습니다.
    The teacher may plan a session where students can share and compare their CReSME results; discuss and reflect on differences in rationale and justifications proposed; the teacher can think aloud and model his or her thinking process, explaining the rationale and the justification for each set of connections among nodes of information. This process can be recorded and then shared electronically with the learners who can access it and listen to it at their own pace and time.
  2. 교사는 학습자의 연습 문제를 검토한 후 일반적인 오해나 지식 격차를 파악하고 전체 학급을 대상으로 한 후속 교육 세션에서 해당 개념을 명확히 설명할 수 있습니다.
    The teacher, after reviewing exercises from learners, may identify common misconceptions or knowledge gaps and clarify those concepts in a subsequent teaching session for the whole class.
  3. 교사는 어려움을 겪고 있는 학생을 개별적으로 만나 특정 연결 또는 잘못된 링크의 근거에 대해 문의하고 구체적인 피드백을 제공할 수 있습니다.
    The teachers can meet individually with struggling students, inquire about the rationale for specific connections or invalid links and provide specific feedback.
  4. 교사는 '참조' CReSME를 개발하여 학생들과 공유하고 동기식 또는 비동기식 방식으로 완료한 연습과 비교하여 검토하도록 권장할 수 있습니다.
    The teacher can develop and share with students a ‘reference’ CReSME and encourage them to review and compare it with their completed exercise in a synchronous or asynchronous manner.

커리큘럼에 CReSME를 통합하는 방법은 무엇인가요?
How to integrate the CReSME into the curriculum?

CReSME는 코스, 모듈 및 임상 실습 로테이션 전반에 걸쳐 기초 및 임상 과학을 통합하는 데 사용할 수 있습니다. 콘텐츠를 통합할 뿐만 아니라 시간이 지남에 따라 학생의 지식 구조 발달을 모니터링하는 데에도 종단적으로 사용할 수 있습니다. 다양한 콘텐츠로 임상 추론 매핑 연습을 구성하고 난이도를 높이면 시간이 지남에 따라 학습자의 성장과 궤적을 추적할 수 있습니다. 
The CReSME could be used to integrate basic and clinical sciences, across courses, modules and clerkship rotations. It can be used longitudinally not only to integrate content but also to monitor the student development of knowledge structures over time. The construction of clinical reasoning mapping exercises with different content, and increasing level of difficulty may allow to follow the growth and trajectory of the learner over time.

의도적인 성찰
Deliberate reflection

DR이란 무엇인가요?
What is it?

원래 의사의 진단 능력을 향상시키기 위한 도구로 개발 및 테스트된 DR은 임상 추론을 가르치기 위한 교육적 접근 방식으로도 활용되고 있습니다. 이 접근 방식은 임상 사례를 진단하는 동안 반성을 장려하고 안내하며, 학생들이 사례에 대한 대체 진단을 체계적으로 비교하고 대조하도록 요구합니다. DR의 목적은 임상 사례에 제시된(또는 관련된) 질병에 대한 정신적 표현의 발달을 촉진하여 향후 새로운 사례에서 질병을 접할 때 이를 더 쉽게 인식할 수 있도록 하는 것입니다. 
DR, originally developed and tested as a tool to improve physicians’ diagnostic performance, has also been employed as an instructional approach for the teaching of clinical reasoning. The approach encourages and guides reflection during the diagnosis of clinical cases, requiring students to compare and contrast alternative diagnoses for the case in a systematic way. The purpose of DR is to foster the development of the mental representations of the diseases presented in (or related to) the clinical cases, making it easier to recognize them when they are encountered in new cases in the future.

DR을 교육 기법으로 사용할 경우, DR은 학생들에게 임상 사례를 하나씩 제시하고 표 3에 설명된 일련의 단계에 따라 사례를 진단하도록 요구합니다. 일반적으로 학생들은 단계를 제시하는 표를 작성하여 사례를 되돌아봅니다. 이는 고려 중인 각 진단에 대한 찬성과 반대의 전체 증거를 동시에 시각화하는 데 중요한 역할을 합니다(예는 부록 3 참조). 
When employed as instructional technique, DR presents students with clinical cases, one by one, and requires them to diagnose the case by following the series of steps outlined in Table 3. Usually, students reflect upon the case by filling in a table which presents the steps. This seems important to help visualize the whole evidence in favor and against each diagnosis under consideration simultaneously (see Appendix 3 for an example).

DR은 다음을 포함하는 의학에서의 5차원 반성적 진료 모델을 기반으로 합니다(Mamede and Schmidt 2004).

  • (i) 의도적 귀납,
  • (ii) 의도적 연역,
  • (iii) 테스트 및 종합,
  • (iv) 성찰을 위한 개방성,
  • (v) 메타추론(메타추론)

DR 절차는 임상의가 사례에 대해 고려한 초기 진단의 근거를 비판적으로 조사하고, 가능한 대안을 검토하도록 안내함으로써 이러한 차원을 진단 프로세스에 '적용'합니다. 의사를 대상으로 한 연구에서 DR은 진단 오류를 줄이고, 추론의 편견에 대응하며, 성과를 개선하는 것으로 반복적으로 나타났습니다(Mamede 외. 2008, 2010). 여러 연구에서도 임상 추론 교육에 DR을 사용하는 것을 뒷받침하는 증거를 제시했습니다(Mamede 외. 2012, 2019, 2020; Myung 외. 2013; Ibiapina 외. 2014) 이러한 실험 연구에서 임상 사례로 실습하는 동안 DR을 사용한 학생들은 향후 진단 과제에서 감별 진단을 내리는 등 보다 전통적인 접근 방식을 사용하여 실습한 학생들보다 더 나은 성과를 냈습니다. DR의 이러한 긍정적인 효과는 질병 스크립트 개발에서 임상 문제에 대한 노출이 핵심적인 역할을 한다는 의료 전문성의 단계 이론(Schmidt 외. 1990)과 스키마 구성에 있어 사례 비교 및 대조가 이점을 제공한다는 심리학 연구(Gentner 외. 2009)와도 일치합니다. 그러나 기존의 거의 모든 경험적 증거는 실험실 조건에서 수행된 연구에서 나온 것이며, 실제 커리큘럼에서의 구현과 관련하여 검토해야 할 사항이 많이 남아 있습니다. 
DR is based on a five-dimension model of reflective practice in medicine that involves:

  • (i) deliberate induction,
  • (ii) deliberate deduction,
  • (iii) testing and synthesizing,
  • (iv) openness for reflection, and
  • (v) meta-reasoning (Mamede and Schmidt 2004).

The DR procedure ‘applies’ these dimensions to the diagnostic process by guiding clinicians through critical scrutiny of the grounds of the initial diagnosis considered for a case and the examination of possible alternatives. In studies with physicians, DR has repeatedly shown to reduce diagnostic errors, counteract bias in reasoning and improve performance (Mamede et al. 2008, 2010). Several studies have also provided evidence supporting the use of DR for the teaching of clinical reasoning (Mamede et al. 2012, 2019, 2020; Myung et al. 2013; Ibiapina et al. 2014) In these experimental studies, students who employed DR while practicing with clinical cases outperformed, in future diagnostic tasks, students who practiced by using more conventional approaches such as producing a differential diagnosis. This positive effect of DR is consistent with the stage theory of medical expertise (Schmidt et al. 1990), which attributes a key role to exposure to clinical problems in the development of illness scripts, and with psychological research showing the benefits of comparing and contrasting examples for the construction of schemas (Gentner et al. 2009). However, almost all existing empirical evidence comes from research conducted under laboratory conditions, and much remains to be examined regarding implementation in actual curricula.

DR을 준비하고 도입하는 방법은?
How to prepare and introduce DR?

DR은 학생들에게 다양한 임상 문제를 접하고 이러한 문제에 대한 대체 진단을 체계적으로 비교하고 대조할 수 있는 기회를 제공하기 위한 실습에 사용해야 합니다.
DR is to be used in exercises aimed at offering students the opportunity to encounter a variety of clinical problems and to systematically compare and contrast alternative diagnoses for these problems.

학습 자료
Learning materials

  • 임상 양상은 비슷하지만 진단명이 다른 질병을 나타내는 3~5개의 임상 사례 세트(예: 흉통을 주요 증상으로 하는 서로 다른 질병). 유사한 질병을 나란히 배치하여 학생들이 유사점과 차이점을 식별하고 대체 진단을 구별하는 데 도움이 되는 소견에 대한 지식을 습득할 수 있습니다.
    Sets of three to five clinical cases presenting diseases with similar clinical presentation but different diagnoses (e.g. different diseases with chest pain as chief complaint). Juxtaposing lookalike diseases allows students to identify similarities and differences between them and acquire knowledge of findings that help distinguish between alternative diagnoses.
  • 학생들은 이미 교육 활동을 통해 사례에 제시된 질병에 대한 지식에 노출되었지만 임상 경험이 많지 않아야 합니다. DR은 학생들이 이미 기억에 저장해 둔 지식을 동원하고 재구성하도록 촉진하는 방식으로 작동하기 때문입니다. 학생들이 반성 과제에 가져올 사전 지식이 충분하지 않으면 이 과제의 이점을 얻지 못합니다(Mamede et al). 반면에 학습자에게 사례가 너무 쉽거나 임상에서 이미 유사한 임상 증상을 보이는 환자를 많이 접한 경우, 질병 스크립트를 다듬을 여지가 없어 과제가 그다지 도전적이고 동기 부여가 되지 않을 수 있습니다. 
    Students should already have been exposed to knowledge of the diseases presented in the cases through didactic activities but do not have much clinical experience with them. This is so because DR works by mobilizing and fostering reorganization of knowledge that students already have stored in memory. When students do not have sufficient prior knowledge to bring to the reflection task, they do not benefit from it (Mamede et al). On the other hand, if cases are too easy for the learners and/or they have already encountered many patients with similar clinical presentation in clinical years, there is possibly no room for refining their illness scripts, and the task may be not so challenging and motivating.
  • DR에 대한 기존 연구는 학생들에게 진단에 도달하는 데 필요한 모든 정보를 제공하는 임상 사례를 사용했습니다. DR에는 상당한 정신적 노력이 필요하므로(Ibiapina 2014; Mamede 외. 2020), 합리적인 수준으로 유지되어야 합니다. DR 연습의 목표는 실제 사례의 복잡성을 재현하는 것이 아니라, 학생이 학습해야 하는 핵심 정보에 집중하는 것임을 명심하는 것이 중요합니다. 학생들이 커리큘럼을 진행함에 따라 사례 형식의 복잡성은 점차 증가할 수 있습니다. 그러나 예를 들어 학생이 진단에 도달하기 위해 필요한 정보를 독립적으로 수집해야 하는 사례에서 DR이 어떻게 작동할지는 아직 결정되지 않았습니다. 
    Existing research with DR has used clinical cases that provide students with all the information required to reach a diagnosis. DR involves considerable mental effort (Ibiapina 2014; Mamede et al. 2020), which should be kept at reasonable level. It is important to keep in mind that the goal of the DR exercise is not to replicate the complexity of real cases but rather focus on key information that the student is expected to learn. As students progress through the curriculum, complexity of the cases’ format may gradually increase. However, how DR would work, for example, with cases that require the student to independently gather the necessary information to reach the diagnosis, is still to be determined.
  • DR의 형식(아래 참조)에 따라 임상 사례는 반성 시 고려해야 할 대체 진단에 대한 단서와 함께 제시되어야 합니다.
    Depending on the format of DR (see below), the clinical cases should be presented together with cues on the alternative diagnoses to be considered during reflection or not.

종이 기반 또는 가상 임상 사례의 사용 가능성, 임상 사례 준비 과정 및 교사의 역할과 관련하여 SE에 적용되는 사항은 DR 학습 자료에도 적합합니다. 
What applies to SE regarding the possibility to use paper-based or virtual clinical cases, the process for the preparation of the clinical cases and the role of the teacher, is also pertinent for the learning materials for DR.

학생들에게 DR 소개
Introducing DR to students

DR은 많은 노력이 필요하며(Ibiapina 외. 2014; Mamede 외. 2019), 학생들이 과제에 완전히 참여할 수 있는 기회를 극대화하려면 DR이 임상 추론에 미치는 잠재적 이점에 대해 알려주고 DR 테이블을 완성한 예를 보여줘야 합니다.
DR is effortful (Ibiapina et al. 2014; Mamede et al. 2019) and to maximize the chance that students engage fully in the task, they should be informed about the potential benefits from DR to clinical reasoning and shown examples of the completion of DR tables.

DR은 어떻게 수행하나요?
How to perform DR?

DR은 지금까지 학생들이 개별적으로 절차를 사용하여 연구해 왔지만 그룹으로 진행하지 못할 이유가 없으며 공동 학습의 이점도 얻을 수 있습니다. 
DR has so far been studied with students using the procedure individually but there is no reason why it should not work in groups and even gain from the benefits of collaborate learning.

학생에게 제공되는 지침의 양이 다른 세 가지 형식의 DR 절차가 테스트되었습니다.

  • 자유 성찰에서는 학생이 사례에 대해 고려해야 할 대체 진단을 스스로 생성해야 합니다(Mamede 외. 2012).
  • 단서 성찰에서는 성찰 표에 그럴듯한 대안 진단이 제공되며, 학생은 그 결과를 기입하고 가장 가능성이 높은 진단을 최종 결정해야 합니다(Ibiapina 2014; Mamede 외. 2019, 2020).
  • 마지막으로, 모델 성찰에서는 교사가 모든 요소를 채운 전체 반성표를 제시하고 학생이 이를 학습해야 합니다(Ibiapina 외. 2014; Mamede 외. 2019).

Three different formats of the DR procedure which vary in the amount of guidance provided to students have been tested.

  • In free-reflection, students are required to generate by themselves the alternative diagnoses to be considered for the case (Mamede et al. 2012).
  • In cued-reflection, the reflection table provides the plausible alternative diagnoses and the students are required to fill in the findings and make the final decision on the most likely diagnosis (Ibiapina 2014; Mamede et al. 20192020).
  • Finally, in modeled-reflection, the whole reflection table is presented, with all its elements filled in by teachers, and students are required to study it (Ibiapina et al. 2014; Mamede et al. 2019).

모델 반사에 필요한 정신적 노력은 단서 반사에 비해 낮지만, 전자는 교사의 준비 작업이 훨씬 덜 필요한 후자보다 학습에 더 유리하지 않습니다. 그러나 단서 반사가 자유 반사보다 더 유리한 것으로 보이지만, 이러한 연구에서 관찰 된 이점은 이전에 연구 된 질병 만 테스트에 포함되었다는 사실에서 비롯된 것일 수 있습니다. 아직 조사해야 할 부분이 많이 남아 있습니다. 
Although the mental effort required by modelled-reflection is lower than that of cued-reflection, the former is not more advantageous for learning than the latter, which requires much less preparatory work from teachers. Cued-reflection seems, however, to be more beneficious than free-reflection, but the advantage observed in these studies may derive from the fact that only previous studied diseases were included in the tests. There is much to be investigated here yet.

DR에 대한 많은 연구에서 학생들에게 피드백이 제공되지 않았으며, 이는 새로운 지식이 제공되지 않더라도 지식 재구성을 통해 작용할 수 있음을 시사합니다. 그러나 레지던트들이 자신의 반성표와 전문가가 작성한 반성표를 비교하도록 한 최근 연구에서는 추론의 편향을 유도하는 것으로 알려진 조건에서 수행 능력을 향상시키는 절차를 보여주었습니다(Mamede 외. 2020). 이는 피드백을 통합하고 피드백에 대한 적극적인 반영을 통해 DR의 효과를 높일 수 있는 잠재력을 보여주는 신호일 수 있습니다. 다시 말하지만, 조사의 여지는 열려 있습니다. 
No feedback has been provided to students in many studies on DR, suggesting that it may act through knowledge restructuring, even when new knowledge is not made available. However, a recent study in which residents were required to compare their own reflection tables with those filled in by experts showed the procedure to improve performance under conditions that are known to induce bias in reasoning (Mamede et al. 2020). This may be a sign of a potential to enhance the effect of DR by incorporating feedback and active reflection on the feedback. Again, open avenue for investigation.

DR을 커리큘럼에 통합하는 방법은 무엇인가요?
How to integrate DR into the curriculum?

원래의 형식에서 DR은 다른 활동과 독립적으로 수행되는 연습에 사용되었습니다. 그러나 임상 사례 실습을 기반으로 한 다른 교육적 접근 방식과 결합하여 지식 재구성 및 질병 스크립트 개선을 촉진할 수도 있습니다.

  • 예를 들어, 셔브룩 대학교의 경험에서 SE와 DR이 함께 사용되었습니다.
  • 또한 DR 연습에서 진단된 임상 문제와 관련된 지식 습득에 초점을 맞춘 학습 과제(예: 개인 또는 자율 학습, 소그룹 학습, 강의)와 함께 DR을 사용할 수 있습니다(예: 흉통의 감별 진단에 대한 강의를 시작할 때 흉통과 관련된 질환 사례 1~2개를 진단하는 데 DR을 활용).
  • 최근 연구에 따르면 다른 학습 활동과 함께 DR을 사용하는 것을 지지하며, 문제의 감별 진단에 관한 텍스트를 학습하기 전에 임상 문제를 진단하기 위해 DR에 참여하는 것이 학습 참여를 촉진하고 학습 결과를 개선하는 것으로 나타났습니다(Ribeiro 외. 2019, 2021).

In its original format, DR has been used in exercises performed independently of other activities. However, it can also be combined with other instructional approaches based on practice with clinical cases to fostering knowledge restructuring and refinement of illness scripts.

  • For example, SE and DR have been used in combination in the experience of the Sherbrooke University.
  • Additionally, DR can be used in combination with a learning task (e.g. individual or self-study, small-group learning, lectures) focused on acquisition of knowledge relevant to the clinical problems diagnosed in the DR exercise (e.g. employing DR to diagnose one to two cases of diseases associated with chest pain in the beginning of a lecture on the differential diagnosis of chest pain).
  • Recent research has supported the use of DR in combination with other learning activities, showing that engaging in DR to diagnose a clinical problem before studying a text on the differential diagnosis of the problem fosters engagement in learning and improves learning outcomes (Ribeiro et al. 20192021).

 

세 가지 전략을 결합하고 순서를 정할 수 있는 기회 탐색하기
Exploring opportunities of combining and sequencing the three strategies

SE, CReSME, DR은 모두 의학의 전문성 습득 이론과 일치하므로(Schmidt 외. 1990), 학부 커리큘럼에서 이들의 조합 또는 시퀀싱을 통해 잠재적인 이점을 기대할 수 있습니다. 유사한 이론적 신념에 기반을 두고 지식 구축을 지향하지만 각 전략의 초점은 다르게 보일 수 있습니다.

  • SE는 생물 의학 지식과 임상 지식 간의 연결을 촉진하고, 지식 캡슐화를 촉진하여, 질병 스크립트의 일관성을 향상시킬 수 있을 것으로 예상됩니다.
  • CReSME새로운 질병 스크립트의 시각적 표현/비계를 제공하여 지식 캡슐화를 지원할 수 있으며, 학생들이 주어진 주요 불만 사항과 관련된 스크립트를 직접 작업할 수 있도록 조직화할 수 있습니다.
  • DR여러 스크립트의 주요 특징을 비교하고 대조하는 절차를 활용하여 문제 해결에 적용하면서 질병 스크립트를 더욱 개발, 개선 및 강화할 수 있는 기회를 제공합니다.

Since SE, CReSME, and DR all aligned with the theory of expertise acquisition in medicine (Schmidt et al. 1990), we may expect potential benefits of their combination or sequencing in an undergraduate curriculum. It might be realized that although grounded in similar theoretical tenets and oriented toward knowledge building, the focus of each strategy appears different.

  • SE fosters links between biomedical knowledge and clinical knowledge, presumably facilitates knowledge encapsulation and thus enhances coherence of illness scripts.
  • The CReSME provides visual representation/scaffolding of emerging illness scripts, which might support knowledge encapsulation and organization allows students to work directly on their scripts relevant to a given chief complaint.
  • DR provides opportunities to further develop, refine, and enrich illness scripts while applying them to solve problems by utilizing a procedure for comparing and contrasting key features of different scripts.

이러한 다양한 초점을 고려하여 SE, CReSME 및 DR은 커리큘럼에 따라 여러 가지 방식으로 결합되거나 순서대로 사용될 수 있습니다. 적절한 실행을 위해서는 현지 커리큘럼 설계를 고려하여 학생들이 이러한 전략을 활용할 수 있을 만큼 충분한 사전 지식을 갖추게 되는 시기를 파악해야 합니다.

  • 예를 들어, 커리큘럼이 초기에 생물의학을 배우고 임상 과학을 배운 다음 임상 로테이션을 하는 전통적인 접근 방식을 채택하는 경우, 이러한 교육 전략은 시간이 지남에 따라 순차적으로 적용될 수 있습니다.
    • 초기 학습자에게는 SE를 사용한 일련의 연습을,
    • 중급 학습자에게는 CReSME를,
    • 고급 학습자에게는 DR을 사용한 연습을 제공할 수 있습니다(Schmidt and Mamede 2015).
  • 또는 학생들이 모든 유형의 지식과 기술(예: 생물 의학, 임상, 임상 기술, 치료법)을 통합적으로 습득해야 하는 문제 또는 임상 상황을 중심으로 구성된 커리큘럼에서는 세 가지 전략이 모두 조기에 구현될 수 있습니다.
    • 예를 들어, 통합 커리큘럼을 채택하고 있는 셔브룩 대학교에서는 이미 1학기부터 SE와 DR을 결합한 활동을 시행하고 있습니다. 이 웹 기반 개별 활동은 프로그램의 첫 2년 동안 반복됩니다. 학생들은 세 가지 임상 사례를 해결하면서 다음 단계를 수행해야 합니다:
      • 사례 읽기, 각 임상 소견에 대한 자기 설명 생성,
      • 고의적 성찰 연습 완료,
      • 교사가 작성한 DR 검토. (Chamberland 외. 2020, 2021).

Taking these different foci into consideration, SE, CReSME, and DR could be combined or sequenced in several ways along the curriculum. Proper implementation requires considering the local curriculum design to identify when students will have sufficient prior knowledge to be able to work with these strategies.

  • For instance, if the curriculum adopts a more traditional approach, with early years of biomedical sciences followed by clinical sciences and then clinical rotations, these instructional strategies might be potentially sequenced overtime.
    • A series of exercises with SE could be used with early learners,
    • CReSME could be offered for intermediate learners,
    • and more advanced learners would engage in exercises with DR (Schmidt and Mamede 2015).
  • Otherwise, in a curriculum organized around problems or clinical situations in which students are expected to acquire all types of knowledge and skills (e.g. biomedical, clinical, clinical skills, therapeutics) in an integrated way, all the three strategies might be implemented early.
    • For example, Sherbrooke University, with its integrated curriculum, has implemented an activity combining SE and DR as early as in the first semester. This web-based individual activity is recurrent over the first 2 years of the program. It requires students to work through the following steps while solving three clinical cases:
      • read the case, generate self-explanations for each clinical finding;
      • complete a deliberate-reflection exercise; and
      • review the DR completed by the teacher. (Chamberland et al. 20202021).

교사가 염두에 두고 있는 목표에 따라 두 가지 전략의 다른 조합을 만들 수도 있습니다. 그러나 SE, CReSME 및 DR은 학생에게 많은 노력이 필요하므로 동일한 연습에서 세 가지 전략을 모두 결합하는 것은 너무 어렵고 학습을 방해할 수 있는 수준으로 인지 부하를 가져올 수 있습니다. 종단적이고 반복적인 활동을 보장하면 학생들이 전략에 익숙해지고, 그 가치를 인식하고, 학습 잠재력을 최대한 활용하는 데 도움이 될 수 있습니다. 이러한 맥락에서 교사는 학습 자료(사례)를 커리큘럼에 따라 바람직한 난이도로 조정해야 함은 말할 필요도 없습니다. 

Other combinations of two of the strategies may be made, depending on the goals that the teacher has in mind. However, since SE, CReSME, and DR are effortful for students, combining all three strategies within the same exercise might be too challenging and bring cognitive load to a level that could hinder learning. Ensuring longitudinal and recurrent activities might help students get familiar with the strategies, perceive their value and harness their full potential for learning. Perhaps needless to say, in this context, teachers must adapt the learning material (cases) to the desirable level of difficulty along the curriculum.

이러한 교육 전략을 다양한 방식으로 결합하여 구현하려면 커리큘럼에서 사용 가능한 시간, 학생 수, 교수진 리소스와 같은 상황적 제약도 고려해야 합니다. 이러한 요인으로 인해 활동의 구체적인 설계에 조정이 필요할 수 있습니다. 그러나 그렇게 하면서도 설계 과정 전반에 걸쳐 SE, CReSME, DR의 기본 철학과 핵심 원칙을 유지하는 것이 중요합니다(Cianciolo and Regehr 2019; Chamberland 외. 2020). 현지 상황에 맞게 조정하는 것은 항상 필요하지만, 기본 원칙에서 벗어나면 전략의 잠재적 이점을 손상시킬 수 있습니다.
The implementation of these instructional strategies, combined in different ways, will also need to consider contextual constraints, such as available time in the curriculum, number of students, faculty resources. These factors may require adaptations in the specific design of the activities. However, while doing that, it is crucial to uphold the underlying philosophy and core principles of SE, CReSME, and DR throughout the design process (Cianciolo and Regehr 2019; Chamberland et al. 2020). While adjusting to local circumstances is always necessary, deviating from the underlying principles compromises the potential benefits of the strategies.

이러한 전략의 사용과 실행에는 고려해야 할 몇 가지 문제가 있습니다. 

  • 첫째, 이러한 전략은 임상적 추론의 한 차원, 즉 지식에 초점을 맞춥니다. 그러나 임상적 추론은 다차원적인 구조이며 맥락적 요인에 의해 크게 영향을 받기도 합니다(Durning 외. 2012). 말할 필요도 없이, 지식 자체가 성공적인 임상 추론의 중요한 결정 요인이기는 하지만(Norman 외. 2017), 교사가 관심을 가져야 하는 유일한 차원은 아닙니다.
  • 둘째, 난이도가 점점 높아지는 여러 임상 비네팅과 여러 임상 추론 매핑 연습을 개발하는 데는 시간이 많이 소요될 수 있으며 어느 정도의 교수자 개발이 필요할 수 있습니다. 그럼에도 불구하고 이러한 노력은 임상 추론 교육에서 점점 더 중요하게 인식되고 있는 시뮬레이션 사례 실습을 기반으로 한 학습 활동을 설정하는 것보다 더 까다롭지는 않을 것입니다(Schmidt and Mamede 2015). 또한, 여러 연습 문제를 생성한 후에는 학습자 및 커리큘럼 요구 사항을 충족하도록 쉽게 수정할 수 있습니다.
  • 셋째, 이러한 전략을 사용하여 학습 효과를 극대화하려면 학생이 이러한 전략이 평가 도구가 아닌 학습 전략이라는 점을 이해하는 것이 중요합니다. 학생들은 이러한 전략을 사용하여 자신의 지식의 한계를 탐구하고, 사고 과정을 촉진하고, 의미 있는 학습을 구성하고, '안전한 공간'에서 격차를 식별해야 합니다.

The use and implementation of these strategies is bounded by several issues that deserve consideration.

  • First, these strategies focus on one dimension of clinical reasoning, that is knowledge. However, clinical reasoning is a multidimensional construct and is also heavily affected by contextual factors (Durning et al. 2012). Perhaps needless to say, knowledge per se, though a critical determinant of successful clinical reasoning (Norman et al. 2017), is not the only dimension teachers should be concerned with.
  • Second, the development of several clinical vignettes and multiple clinical reasoning mapping exercises with increasing levels of difficulty may be time intensive, and will likely require some degree of faculty development. Nevertheless, these efforts would not be more demanding than those involved in setting any learning activities based on practice with simulated cases, which has been more and more recognized as critical in the teaching of clinical reasoning (Schmidt and Mamede 2015). Furthermore, once a number of exercises have been created, they can be easily modified to meet learners’ and curricular needs.
  • Third, to optimize the benefit on learning using these strategies, it is crucial that students understand that these are learning strategies and not assessment tools. Students should use these strategies to explore the limits of their own knowledge, promote their thinking processes, construct meaningful learning and identify gaps in a ‘safe space’.

결론
Conclusion

이 세 가지 임상 추론 교육 전략은 인과 관계 네트워크, 지식 조직화, 캡슐화 및 질병 스크립트 형성을 지원함으로써 공통된 이론적 원칙을 공유하므로 의료 전문성 개발의 여러 단계에서 임상 추론을 가르치는 데 효과적으로 사용될 수 있습니다. 임상 추론 학습 활동으로 이 방법만이 유일한 것은 아닙니다. 그러나 올바르게 구현한다면 임상 교사가 학습자의 임상 추론 발달을 촉진하는 데 중요한 도구가 될 수 있습니다.

These three clinical reasoning instructional strategies share common theoretical tenets by supporting development of causal networks, knowledge organization, encapsulation, and formation of illness scripts and therefore could be effectively used to teach clinical reasoning at different stages of medical expertise development. They are not the only clinical reasoning learning activities available. Yet, if correctly implemented, they can be a critical tool in the hands of clinical teachers to promote learners’ development of clinical reasoning.

 


Med Teach. 2022 Aug 7;1-9. doi: 10.1080/0142159X.2022.2105200. Online ahead of print.

Implementation of three knowledge-oriented instructional strategies to teach clinical reasoning: Self-explanation, a concept mapping exercise, and deliberate reflection: AMEE Guide No. 150

Affiliations collapse

1Department of Medical Education, University of Central Florida College of Medicine, Orlando, FL, USA.

2Department of Medicine, Faculty of Medicine and Health Sciences, University of Sherbrooke, Quebec, Canada.

3Institute of Medical Education Research Rotterdam, Erasmus Medical Center, Erasmus University Rotterdam, Rotterdam, The Netherlands.

PMID: 35938204

DOI: 10.1080/0142159X.2022.2105200

Abstract

The teaching of clinical reasoning is essential in medical education. This guide has been written to provide educators with practical advice on the design, development, and implementation of three knowledge-oriented instructional strategies for the teaching of clinical reasoning to medical students: Self-explanation (SE), a Clinical Reasoning Mapping Exercise (CREsME), and Deliberate Reflection (DR). We first synthesize the theoretical tenets that support the use of these strategies, including knowledge organization, and development of illness scripts. We then provide a detailed description of the key components of each strategy, emphasizing the practical applications of each one by sharing specific examples. We also explore the potential for a combined application of these strategies in a longitudinal and developmental approach to teaching clinical reasoning at the undergraduate level. Finally, we discuss enablers and barriers in the implementation and integration of these teaching strategies while taking into consideration curricular needs, context, and resources. We are aware that many strategies exist and are not arguing that SE, CReSME, and DR are the most effective ones or the only ones to be adopted. Nevertheless, we selected these strategies because of overarching theoretical principles, empirical evidence supporting their use, and our own experience with them. We are hoping to provide practical advice on the implementation of these strategies to practicing educators who aim at developing an integrated approach to the teaching of clinical reasoning to medical students at different stages of their development.

Keywords: clinical reasoning; reflective learning; teaching methods.

  • 보건 전문가를 위한 교육학으로서의 변혁적 학습: 스코핑 리뷰(Med Educ, 2019)
    Transformative learning as pedagogy for the health professions: a scoping review
    Susan C Van Schalkwyk,1 Janet Hafler,2 Timothy F Brewer,3 Moira A Maley,4 Carmi Margolis,5 Lakshini McNamee,1 Ilse Meyer,1 Michael J Peluso,6 Ana MS Schmutz,1 Judy M Spak7 & David Davies8 On behalf of the Bellagio Global Health Education Initiative 

 

소개
Introduction

변혁적 학습(TL)은 의료 및 보건 전문직을 포함한 고등 교육의 여러 분야에서 확립된 이론으로 자리 잡았습니다.1 Taylor1는 그의 비판적 리뷰에서 TL에서 성찰의 역할을 강조하고 보건 전문직 교육(HPE)에서 이를 촉진할 수 있는 방법을 설명했습니다. 21세기를 위한 보건 전문직 교육에 관한 중요한 란셋 위원회 논문2이 발표되면서 TL은 보건 전문직 교육을 위한 중요한 교육적 구성 요소로 더욱 확고히 자리 잡았습니다. 프랭크 외2는 TL이 '깨달은 변화 에이전트를 배출하는' 리더십 속성의 개발에 초점을 맞춘다고 설명했습니다. 이들은 세 가지 근본적인 변화를 강조하면서 정의를 구체화했습니다.

  • '사실 암기에서 의사 결정을 위한 정보 검색, 분석 및 종합으로,
  • 전문 자격증 취득에서 보건 시스템에서 효과적인 팀워크를 위한 핵심 역량 달성으로,
  • 교육 모델의 무비판적 채택에서 지역 우선순위를 해결하기 위한 글로벌 자원의 창의적 적용으로'

이러한 이해는 TL이 HPE에게 바람직한 결과라는 점을 분명히 합니다. 

Transformative learning (TL) has become an established theory across numerous disciplines in higher education, including the medical and health professions.1 In his critical review, Taylor1 highlighted the role of reflection in TL and described ways in which it might be fostered in health professions education (HPE). The publication of the seminal Lancet Commission article on HPE for the 21st century2 further entrenched TL as an important pedagogical construct for HPE. Frenk et al.2 described TL as focusing on the development of leadership attributes that ‘produce enlightened change agents’. They further qualified their definition, highlighting

  • ‘three fundamental shifts:
    • from fact memorisation to searching, analysis, and synthesis of information for decision making;
    • from seeking professional credentials to achieving core competencies for effective teamwork in health systems; and
    • from non-critical adoption of educational models to creative adaptation of global resources to address local priorities’.

This understanding clearly positions TL as a desirable outcome for HPE.

이론적 구성체로서의 변혁적 학습은 1991년 메지로우의 형성적 연구를 통해 소개되었습니다.3 기존 교육 이론가들(쿤의 패러다임 개념, 프레이리의 의식화 연구, 하버마스의 학습 영역)의 영향을 받은 메지로우의 초기 입장은 

  • '학습이란 미래의 행동을 안내하기 위해 경험의 의미에 대한 새로운 또는 수정된 해석을 구성하기 위해 이전 해석을 사용하는 과정으로 이해된다'

...는 것이었습니다. 5 이러한 이해는

  • TL을 '고정된 가정과 기대(마음의 습관, 의미, 관점, 사고방식)로 이루어진 문제적 기준틀을 보다 포용적이고, 분별력있고, 개방적이고, 성찰적이며, 정서적으로 변화할 수 있도록 변화시키는 학습'

...이라고 설명하는 것으로 발전했습니다.6 다른 사람들은

  • TL을 '우리가 세상에 존재하는 방식을 극적이고 영구적으로 변화시키는 깊은 구조적 변화'를 수반한다고 설명했습니다.7

Transformative learning as a theoretical construct was introduced through the formative work of Mezirow in 1991.3 Influenced by established educational theorists (Kuhn's conception of paradigms, Freire's work around conscientisation, and Habermas's domains of learning)4 Mezirow's early position on TL was

  • ‘learning [that] is understood as the process of using a prior interpretation to construe a new or revised interpretation of the meaning of one's experience in order to guide future action’.5 

This understanding evolved to describing

  • TL as ‘learning that transforms problematic frames of reference—sets of fixed assumptions and expectations (habits of mind, meaning, perspectives, mindsets)—to make them more inclusive, discriminating, open, reflective, and emotionally able to change’.6 

Others have described

  • TL as involving a ‘deep structural shift … that dramatically and permanently alters our ways of being in the world’.7

TL을 가능하게 할 수 있는 기회를 창출하려면 의도적인 커리큘럼 변화가 필요합니다. 우리는 벨라지오 글로벌 보건 교육 이니셔티브(BGHEI) 내 커리큘럼 개발 작업의 일환으로 이러한 기회를 창출하는 것을 목표로 했습니다. 그러나 논의 과정에서 바로 드러난 것은 구조에 대한 이해가 서로 다르고 이론적으로 명확한 근거가 부족하다는 것이었습니다. 따라서 다음과 같은 연구 질문에 대한 범위 검토에 착수했습니다: HPE 문헌에서 TL은 어떻게 이해되고 있는가? 현재의 경험적 연구는 TL을 어떻게 설명하는가? 검토 팀에는 BGHEI 회원 외에도 HPE 배경 지식을 갖춘 연구원 3명과 사서 1명이 추가되었습니다. 우리의 의도는 커리큘럼 활동에서 TL이 어떻게 활용되는지를 포함하여 TL에 대한 포괄적인 종합 정보를 HPE 커뮤니티에 제공하여 향후 현장에서의 적용에 대한 정보를 제공하고자 하는 것이었습니다. 
Creating opportunities that might enable TL requires intentional curriculum change. As part of our curriculum development work within the Bellagio Global Health Education Initiative (BGHEI), we aimed to create such opportunities. Immediately evident from our deliberations, however, was the extent to which our understanding of the construct differed amongst us and lacked a clear theoretically grounded comprehension. We therefore embarked on a scoping review of the following research questions: How is TL understood in the HPE literature? How does current empirical work describe TL? Apart from the BGHEI members, our review team was augmented by the inclusion of three researchers with an HPE background and a librarian. Our intention was to provide the HPE community with a comprehensive synthesis of TL, including how it is taken up in curricular activities, with a view to informing its future application in the field.

방법
Methods

이 범위 검토는 '연구 영역에 포함된 핵심 개념을 매핑하여 ... 현재 문헌의 범위에 대한 신속하고 서술적이며 설명적인 설명을 생성하는 것'을 목표로 합니다.8 Arksey와 O'Malley의9 6단계 프레임워크를 사용했습니다. 연구 질문은 모든 그룹 구성원을 포함한 협의 과정을 통해 개발되었으며(1단계), 그 후 일련의 포함 및 제외 기준에 따라 광범위한 문헌 검색을 수행하여 잠재적으로 관련성이 있는 연구를 식별했습니다(2단계). 먼저, 알려진 주요 논문을 사용하여 Yale MeSH 분석기10를 사용하여 관련 통제 어휘(MeSH [의학 주제 제목] 용어, 엠트리 및 기타)와 사용할 키워드 용어를 식별했습니다. 그런 다음 각 개념은 데이터베이스에서 사용할 수 있도록 번역되었습니다. 검색된 주요 개념에는 학부 의학교육, 간호 교육, 보건 전문직 교육, 학습 및 변형(변형, 변형 등 포함; 부록 1)과 같은 변형이 있는 통제 어휘와 키워드의 조합이 포함되었습니다. 학부 의학교육은 면허 취득 전 단계의 프로그램으로 정의되었고, 대학원은 대학원 의학교육을 포함한 면허 취득 후 프로그램을 의미했습니다. 
This scoping review aims ‘to map the key concepts contained in a research domain … to produce a quick, narrative, descriptive account of the scope of current literature’.8 We used Arksey and O'Malley's9 six-step framework. The research question was developed through a consultative process including all group members (Step 1), after which potentially relevant studies were identified by conducting an extensive search of the literature based on a set of inclusion and exclusion criteria (Step 2). We began with the Yale MeSH Analyzer10 using key known articles to identify relevant controlled vocabulary (MeSH [Medical Subject Headings] terms, Emtree and others) and keyword terms to be used. Each concept was then translated for use in databases. Major concepts searched included a combination of controlled vocabulary and keywords with variations such as undergraduate medical education, nursing education, health profession education, learning and transformative (including transforming, transform, etc.; Appendix 1). Undergraduate medical education was defined as programmes at the pre-licencing level, whereas postgraduate referred to post-licencing programmes, including graduate medical education.

2017년 2월 27일과 2018년 5월 31일에 숙련된 의학 사서가 다음을 포함한 10개의 서지 데이터베이스를 검색했습니다: Ovid MEDLINE, Ovid Embase, Ovid PsycINFO, Scopus 및 교육자원정보센터(ERIC)(부록 2). 검색 결과는 EndNote X7(클래리베이트 애널리틱스, 미국 펜실베이니아주 필라델피아)에 다운로드하고 중복을 제거했습니다. 검색된 1080개의 초록은 코비던스(코크란 기술 플랫폼)를 사용하여 두 명의 팀원(CM, LM, TB, MP, MM, SvS, DD, JH)이 독립적으로 검토했으며, 충돌이 있는 경우 세 번째 팀원(DD, JH, SvS)이 해결했습니다. 초록은 해당 범위에 속하지 않는 경우, 특히 TL 및 학부 HPE에 관한 것이 아니거나 학회 초록, 편집자에게 보내는 편지 또는 논문 초록인 경우 제외되었습니다. 이 시점에서 검토 대상 기간은 2006년 1월부터 2018년 5월까지로 제한하여 266개의 전체 텍스트를 검토했습니다(3단계, 그림 1). 
On 27 February 2017 and 31 May 2018, an experienced medical librarian searched 10 bibliographic databases, including: Ovid MEDLINE, Ovid Embase, Ovid PsycINFO, Scopus and Education Resources Information Center (ERIC) (Appendix 2). Search results were downloaded to EndNote X7 (Clarivate Analytics, Philadelphia, PA, USA) and duplicates removed. The 1080 retrieved abstracts were independently reviewed by two team members (CM, LM, TB, MP, MM, SvS, DD, JH) using Covidence (a Cochrane technology platform); conflicts were resolved by a third team member (DD, JH, SvS). Abstracts were excluded if they were not within the scope, specifically if they were not about TL and undergraduate HPE, or if they were conference abstracts, letters to the editor or abstracts from dissertations. At this point, the period under review was limited to January 2006 to May 2018, resulting in 266 full texts being considered (Step 3; Fig. 1).

연구 질문에 따라 협의하여 데이터 추출 시트를 개발했습니다(4단계). 각 연구는 다시 두 명의 검토자가 독립적으로 검토하고 세 번째 검토자(SvS)가 갈등을 해결했습니다. 논문에 대한 설명적 데이터 외에도 TL이 어떻게 정의되었는지, 어떤 이론가가 등장했는지, 연구에서 TL이 어떻게 적용되었는지, 학습 개입이 설명되었는지, TL이 평가되었는지 여부 및 방법과 관련된 데이터도 수집되었습니다. 이러한 데이터는 '구조화' 접근법을 분석 프레임으로 사용하여 데이터 전반에서 패턴, 유사성 및 모순을 찾아내는 내용 분석11을 거쳤습니다.12 구조화 이론은 모든 맥락에 존재하는 구조적 차원행위자적 차원을 인정합니다. 이러한 차원은 TL이 구조화되는 방식과 경험되는 방식을 이해하고자 할 때 데이터의 범주화에 영향을 미쳤습니다. 이 분석 결과는 아래 섹션에 제시되어 있습니다(5단계). 
A data extraction sheet was developed consultatively, guided by the research question (Step 4). Each study was again reviewed independently by two reviewers and conflicts resolved by a third (SvS). Apart from descriptive data about the articles, data relating to

  • how TL was defined,
  • which theorists were featured,
  • how TL was applied in the study,
  • whether a learning intervention was described, and
  • whether and how TL was assessed, were also captured.

These data were subjected to content analysis11 using a ‘structuration’ approach as an analytical frame, as we searched for patterns, similarities and contradictions across the data.12 Structuration theory acknowledges the structural and agentic dimensions present in all contexts. These dimensions informed the categorisation of our data as we sought to understand the way in which TL is structured as well as how it is experienced. The results of this analysis are presented in the section below (Step 5).

결과
Results

포함된 연구에 대한 설명
Description of the included studies

99개의 연구 중 총 42개(42%)는 개념적 연구였으며, 57개(58%)의 논문은 경험적 연구를 참조했습니다. 총 50개의 연구가 질적 방법론을 사용했으며, 혼합 방법 접근법을 사용한 연구가 균형을 이루었습니다. 순수하게 정량적 접근법을 사용한 연구는 한 편에 불과했습니다. 
A total of 42 (42%) of the 99 studies were conceptual in nature, whereas 57 (58%) papers referred to empirical work. A total of 50 studies used qualitative methodologies with the balance using a mixed methods approach. Only one study used a purely quantitative approach.

데이터 수집 방법은 심층적이고 반구조화된 포커스 그룹 및 개별 인터뷰(18%), 반성 에세이(9%), 저널 및 내러티브(6%), 설문조사 및 설문지(5%) 등 다양했습니다. 데이터를 생성하는 다른 접근 방식으로는 오디오 일기, 참가자 관찰, 중요 사건 보고서 및 디브리핑 세션 등이 있었습니다. 정량적 연구에는 성찰 설문지의 수정된 버전이 사용되었습니다.13 
The data collection methods varied between in-depth, semi-structured focus groups and individual interviews (18%), written reflection essays (9%), journals and narratives (6%), and surveys and questionnaires (5%). Other approaches to generate data included audio-diaries, participant observations, critical incidence reports and debrief sessions. A modified version of the Reflection Questionnaire was used in the quantitative study.13

포함된 연구에서 가장 많이 등장한 보건 전문직은 간호(52%)였으며, 의학교육 프로그램은 24개(24%) 논문에서 설명되었습니다. 4개의 논문에서는 여러 보건 전문직이 단일 연구에 포함되었습니다. 다른 보건 전문직으로는 치과, 약학, 사회학, 작업 치료 및 물리 치료가 포함되었습니다. 한 논문의 경우 직업이 확인되지 않았습니다. 총 68건(67%)의 논문에서 학부 프로그램을 언급했으며, 31건(31%)의 논문에서는 학부 및 대학원 수련생을 모두 포함했습니다. 실증 연구 중(37%) 참여자의 연령대는 학부 1학년에서 4학년까지 다양했습니다. 한 논문에는 대학원생도 포함되었습니다. 17편(17%)의 논문에서는 참가자의 연구 연도가 확인되지 않았습니다. 개입은 호주(n = 19), 캐나다(n = 8), 에콰도르(n = 2), 가나(n = 1), 일본(n = 1), 멕시코(n = 2), 남아프리카공화국(n = 6), 스웨덴(n = 4), 대만(n = 1), 영국(n = 12), 미국(n = 31), 잠비아(n = 1) 등 다양한 국가에서 농촌 및 도시 환경 모두에서 진행되었습니다. 약 44%의 논문이 글로벌 보건 맥락에서 적용된 것으로 확인되었습니다. 
Nursing was the health profession that featured most in the included studies (52%), whereas programmes in medical education were described in 24 (24%) articles. In four articles, multiple health professions were included in a single study. Other health professions included dentistry, pharmacy, sociology, occupational therapy and physical therapy. In the case of one article, the profession was not identified. A total of 68 (67%) articles referenced undergraduate programmes; 31 (31%) articles included both undergraduate and postgraduate trainees. Amongst the empirical studies (37%) participants ranged from first-year to final-year undergraduate students. One article also included postgraduate students. In 17 (17%) of the articles, the study year of participants was not identified. The interventions took place in various countries, including Australia (n = 19), Canada (n = 8), Ecuador (n = 2), Ghana (n = 1), Japan (n = 1), Mexico (n = 2), South Africa (n = 6), Sweden (n = 4), Taiwan (n = 1), UK (n = 12), USA (n = 31) and Zambia (n = 1), and in both rural and urban settings. Around 44% of articles were identified as having been applied in a global health context.

리뷰에서 확인된 변혁적 학습
Transformative learning in review

이 섹션에서는 TL 이론의 원칙이 포함된 연구에서 개념적으로나 실제적으로 어떻게 나타나는지 종합적으로 설명합니다. 총 69개 연구(70%)가 메지로우의 연구를 참조했으며, 많은 경우 브룩필드, 보이드, 크랜튼, 마이어와 랜드, 프레이레와 같은 다른 이론가들과 함께 인용했습니다. 검토한 HPE 문헌에서 TL을 정의하는 다양한 방식을 분석한 결과, 구성 요소는

  • '입력' 영역(또는 TL을 촉진하는 조건), 학습 과정 자체에 대한 설명,
  • '출력' 영역(또는 TL의 바람직한, 관찰되거나 이론화된 결과)을 중심으로 정리되었습니다.

In this section, we offer a synthesis of how the tenets of TL theory manifest in the included studies, both conceptually and practically. A total of 69 studies (70%) referenced the work of Mezirow, in many instances in tandem with other theorists such as Brookfield, Boyd, Cranton, Meyer and Land, and Freire. Based upon our analysis of the various ways in which TL is defined in the HPE literature reviewed, constituent elements were organised around

  • ‘input’ spaces (or the conditions that foster TL), descriptions of the learning process itself, and
  • ‘output’ spaces, or the desired, observed or theorised outcomes of TL.

변혁적 학습이 일어나는 방식
How transformative learning occurs

학습 이론으로서 TL은 자신에 대한 신념,14 타인에 대한 신념, 실천 등에 대한 신념의 변화 등 변화를 특징으로 합니다. 학습은 자신이 경험한 것에 비추어 자신이 믿고 알고 있는 것에 비판적으로 관여함으로써 발생하며,15,16 이전 학습을 넘어서고 이를 기반으로 한다는 점에서 구성주의 원칙을 기반으로 합니다.17-19 또한 실수로부터 배우는 것을 의미할 수도 있습니다.20 포함 된 많은 연구에서 지배적 인 주제는 TL이 발생하려면 기존의 참조 프레임에 의문을 제기하고 이러한 신념과 편견의 기반이되는 지식과 가치에 의문을 제기 할 수있는 덜 알려진 환경에 들어가기 전에 자신의 신념, 마음의 습관 및 편견을 재평가 할 수있는 기회가 있어야한다는 점을 강조했습니다 .16, 18, 21-37 따라서 TL을 가능하게 하는 것은 자신의 기존 가정을 인식하고 자신의 세계관에 도전을 받는 것입니다.38-53 또한 '자유로운 학습 환경' 또는 '자율적 사고와 자기 권한 개발에 도움이 되는 환경'54, 55은 경험을 재해석하는 데 필요한 것으로 설명되었습니다. TL은 인지 영역17, 27, 40, 56 및 정서 영역23, 27, 54, 57 모두에서 의도적이고 의식적인 행위가 필요하며, 비판적 사고를 수반합니다.17, 31, 58
As a theory of learning, TL is characterised by change: change in one's beliefs about oneself,14 about others, about practices, etc. Conceptualisations draw on constructivist principles in that learning occurs through critically engaging with what one believes and knows in light of what one experiences,15, 16 going beyond and building on prior learning.17-19 It may also mean learning from one's mistakes.20 A dominant theme across a large number of the included studies emphasised that for TL to occur there has to be an opportunity for questioning existing frames of reference, and for reassessing one's beliefs, habits of mind and prejudices before entering a less-known environment where the knowledge and values upon which these beliefs and prejudices are founded might be questioned.16, 18, 21-37 Enablers for TL are therefore becoming aware of one's prior assumptions and having one's world view challenged.38-53 In addition, ‘liberating learning environments’ or ‘those conducive to developing autonomous thinking and self-empowerment’54, 55 were described as necessary for reinterpreting experiences. TL requires an intentional, conscious act that occurs within both the cognitive17, 27, 40, 56 and affective domains,23, 27, 54, 57 and involves critical thinking.17, 31, 58

많은 연구에 따르면 TL은 다른 맥락, 특히 교실 밖에서 몰입을 통해 가장 잘 촉진된다고 합니다.59 이는 학습에서 장소와 맥락의 역할을 인정하는 '장소의 교육학'을 말합니다.29, 60 교수 학습에 대한 일반적인 교육학 및 접근 방식은 학생들이 알고 있는 것과 다른 커뮤니티에 적극적으로 참여해야 하는 것이었습니다.61, 62 덜 친숙한 지역사회에서의 이러한 참여에는

  • 농촌 또는 소외된 지역사회에서 일하기,53, 59-61, 63-68
  • 해외 여행,36, 69
  • 정신건강 기관에서의 봉사 학습,45, 70
  • 소외되고 불우한 사람들을 위한 가정 방문,52, 71, 72 또는
  • 임종 환자 돌보기가 포함되었습니다.73

Many of the studies suggested that TL is often best facilitated through immersion in a different context, specifically outside of the classroom.59 It speaks to a ‘pedagogy of place’ that acknowledges the role of locale and context in learning.29, 60 Common pedagogies and approaches to teaching and learning were those that required active engagement with communities that appeared to be different to what the students knew.61, 62 These engagements in less familiar communities included

  • working in rural or underserved communities,5359-6163-68 
  • travelling abroad,3669 
  • service learning at mental health institutions,4570 
  • visiting homes for marginalised and otherwise disadvantaged persons,527172 or
  • caring for patients at the end of their lives.73

임상 활동(29%)과 워크숍을 통한 대화형 교육(13%)에 중점을 두는 것으로 나타났습니다. 온라인 과정30, 74-76 디지털 스토리텔링21, 77 및 영화78, 시뮬레이션20, 25, 32, 48, 50, 51이 사용되었습니다. 중재에는 협력 또는 동료 주도 학습, 그룹 또는 팀워크37, 57, 79-81, 멘토링82, 대화 기회 및 내러티브 사용 등이 포함되었습니다.17, 39, 62 마찬가지로 '체험적' 학습25, 57, 68 및 자연 환경에서의 진정한 경험을 제공하는 학습19, 33, 41, 59, 83은 자원 또는 사회 경제적 관점에서 종종 도전적인 것으로 보였습니다.35, 52
There was a clear focus on clinical activities (29%) and interactive teaching through workshops (13%). Online courses,30, 74-76 digital storytelling21, 77 and film,78 as well as simulation,20, 25, 32, 48, 50, 51 were used. Interventions included collaborative or peer-led learning, group or teamwork37, 57, 79-81 and mentorship,82 with opportunities for dialogue and the use of narrative.17, 39, 62 Similarly, what was described as ‘experiential’ learning25, 57, 68 and learning that provided for authentic experiences19, 33, 41, 59, 83 in natural settings were seen to be challenging often from a resource or socio-economic perspective.35, 52

99개 논문 중 총 64개 논문에서 TL을 촉진하고 평가하는 과정으로서 성찰을 언급했으며, 한 논문에서는 '총체적 성찰 모델'을 제시했습니다.84 성찰을 장려하는 구체적인 방법으로는 인터뷰69, 83 및 디브리핑,32, 85 토론,41, 86 핵심 가치에 집중,29 및 저널 사용을 포함한 성찰적 글쓰기 등이 있습니다.13, 27, 30, 45, 52, 87 성찰은 '개방형',40 '자기 성찰'28 및 '비판적',38, 55, 63, 88-90으로 묘사되었으며, 한 연구에서는 이러한 '비판적 성찰'이 이론과 실무 사이의 간극을 최소화할 수 있다고 제안했습니다.90
A total of 64 of the 99 articles made reference to reflection as a process to both facilitate and assess TL, with one article offering a ‘Model of Holistic Reflection’.84 Specific ways in which reflection was encouraged included interviewing69, 83 and debriefing,32, 85 discussions,41, 86 focusing on core values,29 and reflective writing, including using journals.13, 27, 30, 45, 52, 87 Reflection was described as ‘open-ended’,40 ‘self-reflection’28 and ‘critical’,38, 55, 63, 88-90 with one study suggesting that such ‘critical reflection’ could minimise the gap between theory and practice.90

TL에는 강력한 사회적 의무도 있습니다. 이는 학생과 다른 사고방식과 행동방식을 가진 커뮤니티를 포함한 다른 사람들과의 참여를 전제로 합니다.23, 36, 42, 88, 91 여러 저자가 TL의 사회적 차원을 언급하고 있습니다. 변혁적 학습은 비판적 성찰을 통한 성찰의 과정으로 새로운 사고방식 또는 조명으로 이어질 뿐만 아니라,86 '공감적 경청'37 합리적 담화,30 반성적 담화26 및 타인의 가정에 대한 인식 등 높은 수준의 의사소통 기술을 강조합니다.92
There is also a strong social imperative for TL. It presupposes engagement with others, including communities, who may well have different ways of thinking and doing to those of the student.23, 36, 42, 88, 91 Several authors refer to the social dimensions of TL. Transformative learning is not just the process of introspection through critical reflection that leads to new ways of thinking, or illumination,86 but it also emphasises high-level communication skills, including ‘empathic listening’,37 rational discourse,30 reflective discourse26 and an awareness of the assumptions of others.92

여러 연구41에서는 TL의 '트리거' 역할을 하는 특정 사건이나 조건을 설명했습니다. 메지로우의 변형적 학습의 10단계 중 첫 번째 단계인 '방향성 상실 딜레마'에 대한 개념이 강하게 등장했습니다.23, 36, 40, 51, 93 종종 이것은 특정 사건이나 경험, 일반적으로 위에서 언급한 '진정한' 경험과 연결되며 죄책감 및 두려움과 연관될 수 있습니다.40, 59 어떤 경우에는 TL이 마이어와 랜드의 '역치 개념':41, 43, 47, 77, 94 '어떤 것을 이해하거나 해석하거나 보는 변화된 방식'과 직접적으로 연결되기도 했습니다.95
Several studies41 described specific events or conditions that acted as ‘triggers’ for TL. Mezirow's notion of a ‘disorienting dilemma’, the first of his 10 phases of transformative learning, featured strongly.23, 36, 40, 51, 93 Often this was linked to a particular event or experience, typically the ‘authentic’ experiences mentioned above, and could be associated with feelings of guilt and fear.40, 59 In some instances, TL was directly linked to Meyer and Land's idea of ‘threshold concepts’:41, 43, 47, 77, 94 ‘a transformed way of understanding, or interpreting, or viewing something’.95

변혁적 학습의 결과
Outcomes of transformative learning

연구에 기술된 바와 같이, 변혁적 학습은 학생들의 직업적 정체성 형성에 영향을 미치는 것으로 나타났습니다.45, 47, 62 학생들이 더 차별적인 관점을 개발함에 따라 그들의 세계관이 변화했습니다.47, 53, 58, 66, 96-98 따라서 TL은 가치, 태도 및 행동에 영향을 미쳤으며,30, 37, 57, 61, 72, 99 그리고 자신을 보고 이해하는 방식에 영향을 미쳤습니다.14, 33, 69, 80 학생들은 의료 영역 내의 조건을 포함하여 사물에 대한 새로운 해석을 개발했습니다.22, 93 문화와 사회경제적 지위에 관계없이 타인에 대한 인식이 높아졌고,17, 28, 64 다양한 관점을 고려하는 '다양성'으로 나아감에 따라 서로 다른 의견과 관점23 에 대한 인식이 높아졌습니다.17 연구들은 이러한 인식이 겸손과 성실성,24, 55, 57 및 공감과 배려를 특징으로 하는 환자 중심주의와 같은 인문학적 가치를 어떻게 향상시키는지에 대해 이야기했습니다.17, 22, 45 학생들은 또한 사회적, 전문적, 치료적, 호혜적인 관계를 구축하고 협상할 진정한 기회를 가진 것으로 묘사되었습니다.24, 33, 64, 78, 93, 100, 101.
Transformative learning, as described in the studies, was seen to influence the formation of students’ professional identity.45, 47, 62 As they developed more discriminating perspectives, their worldviews shifted.47, 53, 58, 66, 96-98 Accordingly, TL influenced their values, attitudes and behaviours,30, 37, 57, 61, 72, 99 and how they saw and understood themselves.14, 33, 69, 80 Students developed new interpretations of how things were, including conditions within the realm of health care.22, 93 There was a heightened awareness of others,17, 28, 64 regardless of culture and socio-economic standing,69 and of differing opinions and perspectives23 as they progressed towards ‘multiplicity’ considering multiple viewpoints.17 Studies spoke of how this awareness enhanced humanistic values, such as humility and integrity,24, 55, 57 and patient-centredness, characterised by empathy and caring.17, 22, 45 Students were also described as having authentic opportunities to build and negotiate social, professional, therapeutic and reciprocal relationships.24, 33, 64, 78, 93, 100, 101

TL은 인지적 차원이 강한 것이 특징이지만, 그 영향은 행동 변화로 나타나야 합니다. 학생들은 변화의 주체가 되는 것으로 묘사되었는데,44, 64, 67 이는 사회적 책임과 사회 정의의 문제를 모두 다루는 변화를 주장한 메지로우 이론의 중요한 특징입니다. 변화된 세계관은 개인이 사회적 불공정,58, 74, 102 보건 맥락에서 건강 불평등으로 이어지는 사회적 불공정을 살펴볼 수 있게 해줍니다.31 
Although TL is characterised as having a strong cognitive dimension, its impact should manifest in behavioural change. Students were described as becoming agents for change,44, 64, 67 an important feature of Mezirow's theory, which argued for change that spoke to issues of both social accountability and social justice. The transformed view of the world allows individuals to examine social injustice,58, 74, 102 which in a health context leads to health inequalities.31

학생들의 성찰력 향상자아실현 과정을 촉진하여 자신감과 그에 따른 역량70 및 권한 부여를 구축하는 것으로 보입니다.54, 85 학생들은 문화적 역량감의 결과로 다른 문화권의 환자를 돌보는 데 더 자신감이 있다고 주장했습니다66, 85, 93 일부 연구에서는 위에서 언급한 몰입의 결과로 학생들이 환자, 다른 의료 전문가 및 지역사회 구성원과의 소속감 또는 유대감을 발전시켰다고 제안했습니다.19, 83 
Students’ increased reflectiveness encourages a process of self-actualisation, which is seen to build self-confidence and the resulting competence70 and empowerment.54, 85 Students claimed to be more confident in caring for patients from different cultures66, 85, 93 as a result of a sense of cultural competency.87 Some studies suggested that as a result of the immersion that was mentioned above, students developed a sense of belonging or connectedness with patients, other health care professionals and members of the community.19, 83

학생, 그리고 궁극적으로 환자 치료, 의료 서비스 제공, 심지어 사회에 대한 TL의 가치에 대해 포함된 연구들 전반에 걸쳐 많은 일관성이 있었지만, 논의가 필요한 몇 가지 덜 일반적인 지표도 있었습니다. 예를 들어, 개인적 및 사회적 차원이 설명된 결과에서 강하게 나타났지만, 한 연구에서는 학생들이 여전히 '학문적 지식'을 습득했지만 이전에 경험했던 것과는 '다른 방식'으로 습득했다고 제안했습니다.68 
Although there was much coherence across the included studies as to the value of TL for students, and indeed ultimately for patient care, health care delivery and even society, there were also some less-common indicators that warrant discussion. For example, although personal and social dimensions featured strongly in the described outcomes, one study suggested that students still acquired ‘academic knowledge’ but did so ‘in a different way’ from what they felt they had experienced previously.68

변혁적 학습 경험
Experience of transformative learning

대부분의 연구에서 TL이 개인의 커리어에 상당한 긍정적인 영향을 미칠 수 있는 것으로 나타났지만, 학생들이 불안한 경험을 할 수도 있음도 분명했습니다. 위에서 언급한 죄책감과 두려움 외에도 연구들은 학생들이 학습 경험을 '변혁적', '격렬함',72 '불편함'93, '불확실성'을 특징으로 하는 것으로 묘사했습니다.47 경험은 또한 '지적'71, '감정적'63, 71, 101뿐만 아니라 '다름'34, 60 또는 '여정'으로 묘사되기도 했습니다.63
Although most studies framed TL as potentially having a significant positive effect on an individual's career, it was evident that students could also have some unsettling experiences. Apart from the guilt and fear mentioned above, studies also described how students experienced learning events as being ‘transformative’, ‘intense’,72 ‘uncomfortable’93 and characterised by ‘uncertainty’.47 Experiences also were described as ‘intellectual’71 and ‘emotional’,63, 71, 101 but also ‘different’34, 60 or as a ‘journey’.63

학생들은 자신의 입장과 기준이 도전받을 때 다양한 관점을 고려할 수 있는 수용성과 역량49 을 갖추어야 합니다. 그들은 어느 정도의 취약성을 경험하는 데 개방적이어야 하며, 환자나 상황으로부터 거리를 두기보다는 '방향 감각을 잃는 딜레마'를 받아들여야 합니다.94 TL 이론에 내포된 사회적 선으로 이어질 수 있는 이해의 공통 기반37을 모색하려는 의도가 있어야 합니다. 필연적으로, 너무 자기중심적이거나 정서적으로 단절되어 혜택을 받지 못하는 학생들이 있을 수 있습니다.63 휴가 마인드는 '해외 유학' 연구에서 인정된 위험입니다.63 마지막으로, 포함된 연구 중 단 한 건만이 수행된 연구가 TL의 증거를 제공하지 않았으며 특히 윤리적 문제와 관련하여 학생들이 직면하는 불확실성과 도전에 어려움을 겪는 경험을 기술했다는 점에 유의해야 합니다.103 이 저자들과 다른 사람들104 은 학생들이 그러한 학습 계획에 미리 준비할 수 있도록 커리큘럼을 갱신할 것을 촉구합니다. 
Students need to be receptive and have the capacity49 to consider multiple viewpoints when their own positions and frames of reference are being challenged. They need to be open to experiencing a level of vulnerability and take the ‘disorienting dilemmas’ on board rather than opting to distance themselves from either the patients or the context.94 There needs to be an intent to seek common ground for understanding37 that will lead to the social good that is implicit in TL theory. Inevitably, there are students who may be too egocentric and/or emotionally disconnected to benefit.63 A vacation mindset was an acknowledged danger in ‘study abroad’ studies.63 Finally, it should be noted that only one included study indicated that the work conducted had provided no evidence of TL and described the experience of students struggling with the uncertainty and challenges that they are presented with, specifically with regards to ethical issues.103 These authors and others104 call for curriculum renewal to prepare students in advance for such learning initiatives.

토론
Discussion

저희가 아는 한, 이 리뷰는 HPE 문헌에서 최초로 작성된 것입니다. 이 검토를 통해 HPE에서 TL이 무엇으로 인식되는지, TL이 어떻게 육성되는지, 학생들이 어떻게 경험하는지에 대해 광범위한 합의가 이루어지고 있음을 알 수 있었습니다. [변혁적 학습]성찰을 장려하는 경험이나 사건을 통해 세상을 보는 방식을 변화시키는 학습으로, 일반적으로 선입견에 도전하여 미래의 긍정적인 행동과 의미 있는 관계를 가능하게 합니다.1 기존 교실 밖에서 학습이 이루어지고 학생들이 덜 익숙한 상황에 노출되며 공식 강의 이외의 전달 및 참여 방식이 채택될 때 더 일반적인 것으로 나타났습니다. TL이 이루어지려면 학생들이 이러한 낯선 상황에 대응하고 참여할 수 있는 역량이 있어야 합니다. 이러한 역량이 부족하면 TL이 이루어지지 않을 수 있습니다. 
To the best of our knowledge, this review represents the first of its kind in HPE literature. The review showed that there is broad consensus as to what TL in HPE is perceived to be, how TL is fostered, and how students experience it. Transformative learning is described as learning that changes the way we see the world through an experience or event that encourages reflection, typically challenging preconceived understandings, which enables positive future action and meaningful relationships.1 It appears to be more common when learning takes place outside of the conventional classroom, when students are exposed to less familiar contexts, and when modes of delivery and engagement other than formal lectures are adopted. For TL to occur, students must have the capacity to respond to and engage in these unfamiliar contexts. A lack of such capacity can preclude TL.

TL 이론이 학습 이론 담론에 동화되는 방식에 대한 비판이 제기되었습니다.105, 106 예를 들어, 뉴먼은 변화가 TL의 핵심이라고 주장하며 모든 학습이 어떤 식으로든 변화에 관한 것이 아닌지, 그리고 TL을 뚜렷한 현상으로 식별할 수 있는지 의문을 제기합니다.106 아마도 TL 이론은 본질적으로 특정 목적을 위한 학습이지만, 우리가 학습을 더 잘 이해할 수 있는 틀을 제공하는 것일 수 있습니다. 따라서 우리는 TL이 실제로 식별 가능하고 뚜렷한 현상이라고 주장할 수 있습니다. 최근의 한 리뷰에서는 이러한 뚜렷한 특징을 강조하면서 '세계관', 우리가 경험을 이해하는 방식에 영향을 미치는 가정, 신념, 태도 및 보다 복잡한 관점의 발달로 구성된 TL 결과의 유형학을 설명하며 다섯 가지 측면으로 구성된다고 설명합니다:

  • (i) '자아', 책임감, 타인과의 관계에서 자신을 아는 것, 자신의 정체성,
  • (ii) '인식론', 지식이 무엇인지에 대한 변별력을 키우고 다양한 앎의 방식을 인정하는 것,
  • (iii) '존재론', 세상에 존재하는 방식,
  • (iv) '행동', 변화된 관점과 새로운 기술 및 스킬의 영향을 받는 행동,
  • (v) '역량', 인지적 및 정서적 능력으로 구성됩니다. 107

Criticism has been lodged against the way in which TL theory has been assimilated into learning theory discourse.105, 106 For example, Newman argues that change appears to be key to TL and questions whether all learning is not about change in some way and whether it is even possible to identify TL as a distinct phenomenon.106 Perhaps it is that TL theory essentially provides a frame within which we are better able to understand learning, although in this instance it is learning to a particular end. We would therefore argue that TL is indeed identifiable and distinct. A recent review emphasises these distinct features, describing a typology of TL outcomes comprising ‘worldview’, the assumptions, beliefs, attitudes that influence how we make sense of an experience and the development of a more complex perspective, consisting of five aspects:

  • (i) ‘self’, taking responsibility, knowing oneself, also in relation to others, and one's identity;
  • (ii) ‘epistemology’, becoming more discriminating about what knowledge is and acknowledging multiple ways of knowing;
  • (iii) ‘ontology’, ways of being in the world;
  • (iv) ‘behaviour’, action influenced by changed perspectives and even new skills; skills, and
  • (v) ‘capacity’, cognitive and affective ability.107 

이러한 각 영역은 각 연구에 모두 포함되지는 않았지만, 본 검토에서 어느 정도는 존재합니다. 그렇다면 학습 경험은 언제 변혁적이라고 할 수 있을까요? 일반적으로 개입을 설명하는 포함된 연구들은 모두 정보제공적형성적 접근 방식을 넘어서는 학습 유형에 대해 이야기하지만, 이러한 유형론을 포함 기준으로 적용하면 이러한 출판물 중 상당수가 제외될 수 있습니다. 따라서 TL을 촉진하는 측면에서 이러한 출판물의 입지는 비판받을 수 있습니다.
Each of these domains is present in our review to a greater or lesser extent, although they are not all present in each of the studies. This prompts the question: when does a learning experience qualify as transformative? Although in general the included studies that describe an intervention all speak to a type of learning that goes beyond informative and formative approaches, the application of such a typology as inclusion criteria would have resulted in excluding many of these publications. Their standing in terms of facilitating TL could therefore be critiqued.

호건은 [깊이 있고 폭넓은 경험과 변화가 일시적이지 않다는 증거]가 TL의 중요한 기준이라고 주장합니다.107 이러한 기준은 메지로의 10단계 TL과도 공감을 불러일으킵니다.

  • 방향을 잃은 딜레마에 직면하는 것에서부터
  • 자신과 자신의 가정에 대한 비판적 성찰,
  • 새로운 역할다른 행동 방침에 대한 고려,
  • 이러한 새로운 역할의 채택,
  • 마지막으로 새로운 존재 방식을 기반으로 한 삶에 재통합

메지로우의 연구는 포함된 연구에서 지배적이었으며, 특히 경험적 연구를 설명하는 연구들에서 이러한 단계가 많이 등장합니다. 
Hoggan argues that depth and breadth of experience and evidence that change is not temporary are important criteria for TL.107 These criteria also resonate with Mezirow's 10 phases of TL, which move

  • from being confronted with a disorienting dilemma,
  • to critical reflection of self and of one's assumptions,
  • to consideration of new roles and a different course of action,
  • to the adoption of these new roles, and
  • finally, reintegration into one's life based on one's new way of being.

Mezirow's work was dominant in the included studies, and many of these phases are featured, particularly in those studies that describe empirical work.

그러나 일반적으로 표현의 빈도는 단계가 올라갈수록 감소하며, 대부분의 연구에서 학생들이 자신의 가정을 반성하도록 도전을 받고, 이를 통해 새로운 관점을 갖게 된다는 점을 인정하지만, 변화된 행동을 강조하는 경우는 적었습니다. 이는 언제 TL을 주장할 수 있는지, 그리고 모든 단계를 거쳐야 하는지에 대한 의문을 다시 제기합니다. TL 이론은 새로운 존재 방식이 통합적이고 되돌릴 수 없다고 주장하지만, 변화가 지속되는 정도에 대한 관점을 제공할 수 있는 종단 연구는 부족하며, 한 가지 예외로 Greenhill 등의 연구(108)가 있습니다. 또한 지속적인 변화를 특정 사건에 기인하는 것은 불가능하다고 주장할 수도 있습니다.
Generally, however, the frequency of representation diminishes the further one moves through the phases, with most studies acknowledging students being challenged to reflect on their assumptions, and suggesting that this leads to new perspectives, but with fewer emphasising changed action. This again raises the question about when a claim for TL can be made, and whether movement through all phases is required. Although TL theory claims that the new ways of being are both integrated and irreversible, there is a dearth of longitudinal studies, one exception being a study by Greenhill et al.,108 that could offer perspectives on the extent to which change is sustained. In addition, one might argue that it is not possible to attribute sustained change to a particular event.

이 연구가 HPE에 주는 시사점은 무엇일까요?

  • 첫째, 맥락이 중요합니다. 의료 전문가 교육이 진료에 적극적으로 참여하는 환경으로 계속 이동함에 따라,109 종종 낯선 환경(병원에서 처음 배우거나 외국에서의 선택 과목 등)에서 잠재적으로 변화를 일으킬 수 있는 학습 경험에 노출될 기회가 늘어날 것입니다. 기존의 교실에서 벗어나면 학생과 교육자 모두 사회 정의와 같이 해당 분야의 원조 이론가들의 연구에 내포된 공식 커리큘럼을 넘어서는 문제를 자유롭게 탐구할 수 있습니다.
  • 둘째, 맥락의 영향에도 불구하고 TL은 개인, 즉 개인의 여정에 관한 것입니다. 이 여정은 인지적 차원과 정서적 차원, 인식론적 입장과 존재론적 입장이 모두 특징이며, 이러한 입장은 서로 얽혀 있어 위에서 언급한 학습의 깊이와 폭을 잠재적으로 제공합니다.
  • 셋째, HPE의 맥락에서 사회적, 관계적, 정서적 구성 요소는 돌봄 직업의 전문가가 되는 것과 특별한 관련성이 있습니다. 앞서 언급했듯이 메지로우는 TL이 궁극적으로 사회 변화를 이끌고 사회 정의를 증진할 수 있다고 생각했습니다. 현재 전 세계 보건 불평등의 맥락에서 볼 때, 미래의 의료 전문가들이 어떤 학습에 노출되기를 바라는지를 고려할 때 이러한 의무는 다른 어떤 것보다도 강력하게 다가옵니다.

What are the implications of this study for HPE?

  • First, context is critical. As the training of health professionals continues to move towards settings where they are active participants in care,109 often in unfamiliar surroundings (whether learning for the first time in a hospital or on an elective in a foreign country), increased opportunities for exposure to learning experiences that are potentially transformative will become available. Moving outside of the conventional classroom offers both students and educators the freedom to explore issues beyond the formal curriculum, such as social justice, that are implicit in the work of the original theorists in the field.
  • Second, despite the influence of context, TL is about the individual – his or her journey. This journey is characterised by both a cognitive and an affective dimension, an epistemological and ontological position, and these are intertwined, potentially providing for the depth and breadth of learning alluded to above.
  • Third, in the context of HPE, the social, relational and emotional components have specific relevance to becoming a professional in any of the caring professions. As mentioned earlier, Mezirow's sense was that TL would ultimately lead to social change and promote social justice. In the context of current global health inequity this imperative strikes a chord more strongly than any other when considering the learning that we would wish future health professionals to be exposed to.

마지막으로, 이 연구 결과는 임상 교육자를 포함한 교사, 커리큘럼 개발자, 위에서 설명한 것과 같이 학습 기회를 창출하고 학습 환경을 조성하는 프로그램 관리자에게도 시사점을 줍니다. 이러한 과제를 수행하려면 교육자 스스로가 자신의 신념과 이것이 자신의 실무에 어떤 의미를 가질 수 있는지에 대해 비판적으로 참여할 준비가 되어 있어야 합니다. 커리큘럼 리뉴얼 활동에는 학생들이 비판적 자기 성찰에 참여할 수 있는 교수 전략이 포함되도록 설계할 수 있습니다. 그러나 그에 못지않게 중요한 것은 보건 전문직에 종사하는 교육자가 인지적, 정서적으로 긍정적이든 부정적이든 학생들의 잠재적 반응에 민감하게 반응하는 것입니다. 보건 전문직 교육자에게 TL을 촉진하기 위한 세부적이고 실용적인 지침을 제공하는 것이 이 검토에서 나온 중요한 다음 단계가 될 것입니다. 
Finally, the findings of this study also carry implications for teachers, including clinical educators, for curriculum developers and for programme administrators responsible for creating learning opportunities and establishing enabling learning environments, such as those described above. To fulfil these tasks would require a preparedness on the part of these educators to themselves critically engage with what they believe and what this might mean for their own practice. Curriculum renewal activities can be designed to include teaching strategies that engage students in critical self-reflection. Equally important, however, is for educators in the health professions to be sensitive to students’ potential responses, whether positive or negative, both cognitively and emotionally. Providing detailed and practical guidelines for educators in the health professions about facilitating TL would be an important next step to emerge from this review.

이 검토는 TL에 대한 현재 이해와 기존 HPE 문헌에 표현된 방식 사이의 간극을 해결하고자 했지만, 이 작업에는 한계가 있습니다. 문헌의 범위를 정할 때 깊이보다는 폭을 넓히는 접근 방식을 채택했습니다. 종합 과정에서 고유한 세부 정보가 누락되었을 수 있습니다. 범위 검토의 관례에 따라 포함된 연구의 근거의 질을 공식적으로 검토하지 않았습니다.9 체계적 문헌고찰을 통해 이러한 격차를 해결할 수 있습니다. 또한, 간호 전문직이 포함된 연구에서 가장 많이 대표되는 프로그램이었기 때문에 모든 보건 전문직 학부 프로그램에 대한 이 검토의 관련성에 의문이 제기될 수 있습니다. 그럼에도 불구하고 이 연구는 TL을 육성하고 평가하려는 향후 연구에 정보를 제공할 수 있는 통찰력을 제공한다고 믿습니다. 더 주목해야 할 또 다른 측면은 TL을 촉진하고 평가하는 데 있어 자기 성찰의 역할입니다. 마지막으로, 검토팀은 임상의, 관리자, 교육자 등 다양한 전문가 그룹으로 구성되었으며, 이들은 각기 다른 관점에서 검토 및 분석 과정에 접근했습니다. 합의에 도달하기 위해서는 격렬한 토론이 필요했지만, 그 덕분에 최종 결과물이 향상되었다고 생각합니다.
Although this review has sought to address a gap in our current understanding of TL and how it is represented in the existing HPE literature, there are limitations to this work. In seeking to scope the literature we adopted an approach that pushed for breadth rather than depth. In the process of synthesis, unique details may have been lost. Following the conventions of scoping reviews, we did not formally review the quality of the evidence in the included studies.9 A systematic review might address this gap. Furthermore, because the nursing profession was the most represented programme in the included studies, the relevance of this review for all health professions’ undergraduate programmes may be questioned. Nevertheless, we believe that the work provides insights that can inform future studies that seek to foster and assess TL. Another aspect that warrants further attention is the role of self-reflection in facilitating and assessing TL. Finally, the review team comprised a diverse group of professionals that includes clinicians, administrators and educationalists, who approached the process of review and analysis from quite different perspectives. Reaching consensus required vigorous debate, but we believe this enhanced the final product.

결론
Conclusions

변혁적 학습 이론은 '가장 진보된 종류의 인간 학습으로 인식될 수 있는 것을 이해하는 데 국제적으로 잘 알려져 있고 인정받는 공헌'이 되었습니다.110 '복잡하고 다면적인',4 '고등교육의 상징적인 교육 철학'1, '분석적 메타이론'107 으로 교육자들에게 학생들의 학습을 바라볼 수 있는 이론적 렌즈를 제공하는 것으로 묘사되어 왔습니다. TL에 대한 비판에도 불구하고 우리가 주목할 가치가 있다는 것은 의심할 여지가 없으며, 이 검토에서 제기된 문제를 탐구하는 추가 작업이 필요합니다. 
Transformative learning theory has become ‘an internationally well known and recognised contribution to the understanding of what may be perceived as the most advanced kind of human learning’.110 It has been described as ‘complex and multifaceted’,4 ‘the iconic education philosophy’1 in higher education, and an ‘analytic metatheory’107 providing educators with a theoretical lens through which to view students’ learning. Notwithstanding critiques levelled at TL, there can be no doubt that it warrants our attention and further work that will explore the issues raised in this review is required.

BGHEI의 주요 목표 중 하나는 글로벌 보건 교육을 위한 커리큘럼 권고안을 제공하는 것과 관련이 있습니다.111 특히 학생들을 준비시키고, 비판적 성찰과 담론을 위한 시간과 공간을 확보하고불편함을 허용하고 '안전한' 공간에서 벗어날 수 있도록 학습 이벤트 또는 경험을 구성하는 측면에서 글로벌 보건 교육 개입에 관여하거나 착수하려는 사람들이 이 검토에서 많은 것을 배울 수 있습니다. 그러나 우리는 이 검토가 더 넓은 관점을 제공하며 21세기 보건 전문직 교육이 직면한 과제를 해결하려면 우리가 살고 있는 세계의 복잡성을 인정하고 우리가 알고 있다고 믿는 것에 의문을 제기하는 '인간 번영'을 가능하게 하는 불확실성의 교육학이 필요하다고 주장합니다.112 변혁적 학습 이론은 그러한 교육학을 제공합니다.
One of the main goals of the BGHEI relates to offering curriculum recommendations for global health education.111 Much can be learned from this review by those who are involved in, or intend to embark on, a global health educational intervention, particularly in terms of preparing students, ensuring time and space for critical reflection and discourse, structuring learning events or experiences to allow for discomfort and a move away from ‘safe’ spaces. However, we would argue that the review offers a broader perspective and that addressing the challenges facing health professions education in the 21st century requires a pedagogy of uncertainty that allows for ‘human flourishing’, acknowledging the complexity of the world we live in and questioning what we believe we know about it.112 Transformative learning theory offers such a pedagogy.

 


Med Educ. 2019 Jun;53(6):547-558. doi: 10.1111/medu.13804. Epub 2019 Feb 14.

Transformative learning as pedagogy for the health professions: a scoping review

Affiliations collapse
 
1Centre for Health Professions Education, Faculty of Medicine and Health Sciences, Stellenbosch University, Cape Town, South Africa.

2Yale School of Medicine, Yale University, New Haven, Connecticut, USA.

3Departments of Medicine and Epidemiology, David Geffen School of Medicine and Fielding School of Public Health, University of California, Los Angeles, California, USA.

4Faculty of Health and Medical Sciences, The University of Western Australia, Crawley, Western Australia, Australia.

5Faculty of Health Sciences, Ben Gurion University, Beer Sheva, Israel.

6Division of Infectious Diseases, University of California-San Francisco Medical Center, San Francisco, California, USA.

7Cushing/Whitney Medical Library, Yale School of Medicine, New Haven, Connecticut, USA.

8Warwick Medical School, University of Warwick, Coventry, UK.

PMID: 30761602

DOI: 10.1111/medu.13804

Abstract

Context: Transformative learning (TL) has been described as learning that challenges established perspectives, leading to new ways of being in the world. As a learning theory it has resonated with educators globally, including those in the health professions. Described as a complex metatheory, TL has evolved over time, eliciting divergent interpretations of the construct. This scoping review provides a comprehensive synthesis of how TL is currently represented in the health professions education literature, including how it influences curricular activities, to inform its future application in the field.

Methods: Arksey and O'Malley's six-step framework was adopted to review the period from 2006 to May 2018. A total of 10 bibliographic databases were searched, generating 1532 potential studies. After several rounds of review, first of abstracts and then of full texts, 99 studies were mapped by two independent reviewers onto the internally developed data extraction sheet. Descriptive information about included studies was aggregated. Discursive data were subjected to content analysis.

Results: A mix of conceptual and empirical research papers, which used a range of qualitative methodologies, were included. Studies from the USA, the UK and Australia were most prevalent. Insights relating to how opportunities for TL were created, how it manifests and influences behaviour, as well as how it is experienced, demonstrated much congruency. Conceptions of TL were seen to be clustered around the work of key theorists.

Conclusions: The training of health professionals often takes place in unfamiliar settings where students are encouraged to be active participants in providing care. This increases the opportunity for exposure to learning experiences that are potentially transformative, allowing for a pedagogy of uncertainty that acknowledges the complexity of the world we live in and questions what we believe we know about it. TL provides educators in the health professions with a theoretical lens through which they can view such student learning.

의학교육의 문턱개념: 스코핑 리뷰(Med Educ, 2022)
Threshold concepts in medical education: A scoping review
Helen Jones | Lucy Hammond

 

 

1 배경
1 BACKGROUND

문턱 개념(TC)은 20031년에 처음 설명되었으며, '이전에는 접근할 수 없었던 새로운 사고 방식을 열어주는 포털과 비슷하다'고 묘사됩니다.1(p1) 따라서 TC를 파악하면 학습자의 주제 또는 학문에 대한 이해와 인식이 변화하여 학습이 진전될 수 있습니다.1 마이어와 랜드(2003)는 열전달을 예로 들었는데, 온도 구배에 따라 무언가가 식는 속도가 결정된다는 것을 이해하면 요리에 대해 생각하는 방식이 달라지고 그 과정을 가장 잘 돕기 위해 사용하는 냄비가 달라질 수 있습니다.1 임계치 개념 프레임워크(TCF)가 발전하면서 학생들이 다양한 정도로 경험할 수 있는 몇 가지 가능한 특징이 제안되었습니다. 이러한 특성은 표 1에 설명되어 있습니다.  
Threshold concepts (TCs) were first described in 20031 and are depicted as ‘akin to a portal opening up a new and previously inaccessible way of thinking about something’.1(p1) Grasping a TC therefore enables transformation of the learner's understanding and perception of a subject or discipline which allows them to progress.1 Meyer and Land (2003) used heat transfer as an example: understanding that the temperature gradient determines the rate at which something cools, which transforms how someone thinks about cooking and may change what pots they use to best aid the process.1 As the threshold concept framework (TCF) has developed, several possible characteristics have been proposed, which students may experience to varying degrees. These are described in Table 1.

따라서 TC는 지식의 기본 구성 요소 그 이상을 나타냅니다. 여기에는 학습자가 새로운 이해와 씨름하는 동안 한계 공간을 점유하는 숙달을 향한 여정이 포함됩니다.2, 3, 5 이러한 투쟁은 모방으로 나타날 수 있으며, 학습자는 이 공간을 성공적으로 탐색하기 위해 지원이 필요할 수 있습니다.2, 5 문턱을 넘으면 '앎, 수행, 존재, 미래 학습 가능성'에 변화가 생깁니다.6(263쪽) 이는 인식론적 또는 존재론적 전환을 의미하며,7 학생들이 학문의 특정 방식으로 사고할 수 있게 하고, 학문의 일부가 될 때 학습자의 정체성1-4 의 변화와 관련이 있습니다.6 
TCs, therefore, represent more than basic building blocks of knowledge. They involve a journey towards mastery in which the learner occupies a liminal space while they grapple with new understandings.2, 3, 5 This struggle can present as mimicry and the learner may need support to successfully navigate this space.2, 5 Crossing a threshold subsequently leads to a change in ‘knowing, doing, being, and future learning possibilities’.6(p263) This represents a transformative epistemological or ontological shift,7 enabling students to think in a discipline specific way, and is associated with a transfiguration of the learner's identity1-4 as they become part of the discipline.6

따라서 TC는 보건 전문직 교육에서 사고와 실천 방식을 탐구하는 데 활용되어 왔습니다.6, 8 이러한 맥락에서 TCF는 커리큘럼이 학생들이 실제 실무에 가장 잘 대비할 수 있게 하고, 전문직 정체성 형성을 방해하는 문제를 해결할 수 있는 방법을 탐색하는 렌즈를 제공합니다.8, 9 또한 학생들이 단절된 학습 경험을 통합하는 데 도움이 되고9 교육자가 주제 영역5, 9에 대한 이해를 높이는 중요한 개념에 집중할 수 있어 내용이 많은 의료 교과 과정에서 유용한 도구로 활용될 수 있습니다. 그러나 브라운 등은 TCF가 하나의 지식 체계를 암시하고 정체성에 대한 인지적 개념에 초점을 맞춘다는 점에서 [구성주의 패러다임과 상충]되는 것처럼 보이기 때문에, 보건 전문직 커리큘럼에서 TCF의 적합성에 이의를 제기했습니다.10 그들은 TC를 커리큘럼을 구성하는 데 사용해서는 안 되며 학생과 교육자 간의 토론을 돕기 위한 성찰적 자극으로 사용해야 한다고 주장합니다.10
TCs have therefore been utilised in health professions education to explore ways of thinking and practising.6, 8 In this context, the TCF provides a lens for exploring how curricula can best prepare students for real-world practice and address issues which hinder professional identity formation.8, 9 In addition, it could aid students in integrating disjointed learning experiences9 and help educators focus on crucial concepts that open up greater understanding of the subject area5, 9—a useful tool in content-heavy medical curricula. However, Brown et al. have challenged the suitability of the TCF in health professions curricula as it appears at odds with a constructivist paradigm by implying one body of knowledge and focusing on cognitive conceptions of identity.10 They argue TCs should not be used to structure curricular and instead as a reflective prompt to aid discussions between students and educators.10

지난 10년 동안 의학교육에서 TC에 대한 관심이 증가하고 있습니다. 2017년에 보건 과학 TC 문헌에 대한 질적 종합이 수행되었지만,8 우리가 아는 한 의학교육에서 TC만을 주제로 한 체계적 또는 포괄적 검토는 수행되지 않았습니다. 서로 상충되는 관점을 고려할 때, 문헌을 탐색하는 것은 현재 논의의 본질을 확립하는 데 필수적입니다. 또한 증거 기반 교육 실습 및 커리큘럼 설계를 안내하는 중요한 통찰력을 제공할 수 있습니다. 따라서 이 연구의 목적은 의학교육 연속체(학부, 대학원 및 평생 의학교육) 전반에 걸쳐 TC에 관한 현재 연구를 탐색하고 설명하며, 의학교육의 실무에 정보를 제공하기 위해 TC가 어떻게 사용되고 있는지 고려하고, 연구 격차를 식별하는 것입니다. 근거의 새롭고 이질적인 특성을 감안하여 현재 문헌의 범위를 매핑하기 위해 범위 검토를 선택했습니다.11 
There has been a growing interest in TCs in medical education in the last decade. While a qualitative synthesis of the health sciences TC literature was conducted in 2017,8 to the best of our knowledge, no systematic or scoping reviews have been conducted on the topic of TCs in medical education exclusively. Given the competing viewpoints, exploration of the literature is essential to establish the nature of the current discussion. It could also provide important insights to guide evidence-based teaching practice and curriculum design. Therefore, the aim of this study is to explore and describe the current research regarding TCs across the medical education continuum (undergraduate, postgraduate and continuing medical education), consider how TCs are being used to inform practice in medical education, and to identify research gaps. Given the emerging and heterogeneous nature of the evidence, a scoping review was selected to map the extent of the current literature.11

2 방법
2 METHODS

본 문헌고찰은 근거 종합을 위한 JBI 매뉴얼12 에 제시된 프레임워크를 따랐으며, 체계적 문헌고찰 및 범위선정 문헌고찰을 위한 메타분석 확장(PRISMA-ScR)에 대한 우선 보고 항목을 준수했습니다.13 PRISMA-ScR 체크리스트는 부록 S1 에서 확인할 수 있습니다. 연구 질문, 연구 선정 기준 및 방법은 프로토콜에 게시되었습니다.14 
The review followed the framework presented in the JBI Manual for Evidence Synthesis12 and adhered to Preferred Reporting Items for Systematic reviews and Meta-Analyses extension for Scoping Reviews (PRISMA-ScR).13 The PRISMA-ScR checklist can be found in Appendix S1. The research questions, study selection criteria and methods were published in a protocol.14

검색 전략
Search strategy

2021년 7월 29일에 Medline(Ovid), Embase(Ovid), Scopus(Elsevier), Education Research Complete(EBSCO)를 검색했습니다. 프로토콜에 제시된 검색 전략에 약간의 변경이 있었습니다: 원래 전략의 8번째 줄은 너무 광범위하여 삭제되었고, '제한적'과 '변형적'은 용어의 반복을 포착하기 위해 잘라냈습니다. 검색은 TCF가 처음 설명된 2003년 이후 발표된 논문1과 영어로 된 논문으로 제한되었습니다. Medline 검색 전략은 표 S1에 나와 있습니다. 
Medline (Ovid), Embase (Ovid), Scopus (Elsevier) and Education Research Complete (EBSCO) were searched on 29 July 2021. Minor changes were made to the search strategy presented in the protocol: Line 8 of the of the original strategy was removed as it was too broad, and ‘liminal’ and ‘transformative’ were truncated to capture iterations of the terms. The search was limited to papers published since 2003, when the TCF was first described,1 and to papers in the English language. The Medline search strategy is shown in Table S1.

2003년부터 2018년까지의 다양한 출판물이 수록된 온라인 Threshold Concepts Bibliography에서 추가 논문을 확인했습니다.15 출판 후 동료 검토 프로세스를 갖춘 오픈 액세스 플랫폼인 MedEdPublish를 수작업으로 검색하여16 회색 문헌을 식별했습니다. 전체 텍스트 검토를 위해 포함된 논문의 참조 목록도 수작업으로 검색했습니다. 
Additional papers were identified from the online Threshold Concepts Bibliography which lists a range of publications from 2003 to 2018.15 Hand-searching of MedEdPublish, an open access platform with a post-publication peer review process,16 was undertaken to identify grey literature. The reference lists of the articles included for full text review were also hand-searched.

논문 선별
Screening articles

식별된 논문의 참고문헌은 Covidence에 업로드되었습니다.17 중복 제거 후, 저자 HJ와 LH는 연구 선택 기준에 따라 제목과 초록을 독립적으로 선별했습니다. 포괄적인 접근 방식을 취했으며, 전문에서 관련 데이터를 추출할 수 있는지 확인하기 위해 의료 전문가를 언급하는 초록을 포함했습니다. 그런 다음 선정된 논문의 전문을 포함 및 제외 기준에 따라 독립적으로 검토하여 최종적으로 논문을 선정했습니다. 심사 과정의 시작, 중간, 마지막에 회의를 열어 연구 포함 여부에 대한 이견이 있을 경우 토론을 통해 해결했습니다.  
The references for the identified papers were uploaded to Covidence.17 Following de-duplication, authors HJ and LH independently screened the title and abstracts against the study selection criteria. An inclusive approach was taken, and abstracts that referenced health professions were included to establish whether relevant data could be extracted from the full text. Full texts of the selected articles were then reviewed against the inclusion and exclusion criteria independently, to obtain a final selection of papers. We met at the beginning, midpoint and end of the screening process and resolved any disagreements about study inclusion via discussion.

연구 선정 기준
Study selection criteria

포함 및 제외 기준은 인구, 개념, 맥락(PCC) 형식12을 사용하여 개발되었습니다(표 2). 현재 사고에 대한 전체적인 그림을 얻기 위해 모든 유형의 출판물을 포함했습니다. 논문이 첨부되지 않은 초록은 제외되었습니다. 차트 작성과 분석을 돕기 위해 보건 전문직 교육 맥락에서 Barradell과 Peseta가 개발한 분류법8을 포함 기준에 통합했습니다.
The inclusion and exclusion criteria were developed using the population, concept, context (PCC) format12 (Table 2). To ensure that a thorough picture of current thinking was obtained, all types of publications were included. Abstracts without an accompanying paper were excluded. A taxonomy developed by Barradell and Peseta in the context of health professions education8 was incorporated into the inclusion criteria to aid charting and analysis.

데이터 차트 작성
Data charting

프로토콜을 발표하기 전에 데이터 차트 양식을 개발하여 시범적으로 사용했습니다.14 이 양식은 분류체계 및 연구 결과와의 관계를 포함하여 검토 질문과 관련된 주요 세부 사항을 캡처하는 것을 목표로 했습니다.8 HJ가 포함된 연구에 대한 데이터를 차트로 작성하고 LH가 그 정확성을 검증했습니다. 이견이 있는 부분은 토론을 통해 해결했습니다. 일부 저자가 임계 기술 및 직업 임계값과 같은 다른 용어를 사용한다는 것이 분명해졌고, 데이터 손실을 방지하기 위해 이러한 논문에도 비슷한 방식으로 분류법을 적용하기로 결정했습니다. 
A data charting form was developed and piloted prior to publication of the protocol.14 The form aimed to capture key details relevant to the review questions,12 including the relationship to the taxonomy and our findings.8 HJ charted the data for the included studies, and LH verified it for accuracy. Any disagreements were resolved by discussion. It became apparent that some authors used different terminology, such as threshold skills and vocational thresholds, and the decision was made to apply the taxonomy to these papers in a comparable way to ensure no data loss.

분석
Analysis

설명적 정량 분석을 사용하여 논문의 맥락과 접근 방식에 대한 주요 세부 사항을 조사하고, 문헌의 범위를 수치로 표현하고, 질적 종합을 위한 맥락을 제공했습니다. 
We used a descriptive quantitative analysis to examine key details about the context and approach of the papers, to present a numerical representation of the extent of the literature and to provide context for the qualitative synthesis.

질적 분석은 귀납적 접근 방식을 따랐으며 추출된 데이터에서 코드를 개발했습니다. 코딩은 반복적인 과정이었으며 새로운 발견이 나오면 논문을 다시 분석하는 과정을 거쳤습니다. 이후 데이비스와 망간이 경제학 연구에서 개발한 개념 변화 프레임워크 내에서 주제를 식별하기 위해 유사한 코드를 그룹화했습니다.18 바라델과 페세타는 이 프레임워크가 물리치료 교육에서 전문적인 사고 및 실무 개발과 관련된 TC에 적용 가능하다고 설명했습니다6: 
Qualitative analysis followed an inductive approach and codes were developed from the extracted data. The coding was an iterative process and involved reanalysing the papers as new findings emerged. We subsequently grouped similar codes to identify themes within a framework of conceptual change, developed by Davies and Mangan in their work in economics.18 Barradell and Peseta described the applicability of this framework to TCs associated with the development of professional thinking and practice in physiotherapy education6:

  • 기본 개념 변화는 해당 분야 내에서 지식의 의미와 언어와 관련하여 지식을 개혁하는 것을 포함합니다.18 의학교육에서는 기본 과학 및 의학 지식이 여기에 포함됩니다.
  • 학문 분야 개념 변화는 학습자가 습득한 지식을 사용하고 개념 간의 관계를 이해하는 것을 포함합니다.18 이는 의학 분야의 사고 방식에 비유할 수 있습니다.6
  • 모델링 개념 변화는 해당 분야에 뿌리를 둔 추론과 논증 구성을 포함합니다.18 이는 의사로서의 진료 방식과 유사합니다.6
  • Basic conceptual change involves reforming knowledge in relation to its meaning and language within the discipline.18 In medical education, this includes basic scientific and medical knowledge.
  • Discipline conceptual change involves learners using the knowledge they have acquired and understanding the relationships between concepts.18 This is likened to ways of thinking within the medical discipline.6
  • Modelling conceptual change encompasses reasoning and the construction of arguments that are rooted in the discipline.18 This is akin to ways of practicing as a physician.6

질적 분석은 주관적 인식론에 뿌리를 두고 있으며 저자의 해석에 기반한 증거의 종합을 나타냅니다.19 범위 검토 접근법에 따라 포함된 논문의 질 또는 편향 위험에 대한 공식적인 검토는 수행되지 않았습니다.20 그러나 데이터 차트 작성 시 비판적 렌즈를 적용하고 포함된 연구의 실험적 엄격성을 고려했습니다. 이는 부록 S2의 '우리의 연구 결과'에 통합되어 있으며, 논의의 초점과 후속 권고에 영향을 미쳤습니다. 
The qualitative analysis was rooted in subjective epistemology and represents a synthesis of the evidence based on author interpretation.19 Consistent with a scoping review approach, a formal review of the quality or risk of bias of the included papers was not undertaken.20 However, a critical lens was applied during data charting, and we considered the experimental rigour of the included studies. This is incorporated under ‘Our findings’ in Appendix S2 and informed the focus of discussion and subsequent recommendations.

3 결과
3 RESULTS

포함된 연구 요약
Summary of included studies

2012년부터 2021년 사이에 발표된 36편의 논문이 최종 분석에 포함되었습니다(그림 1은 PRISMA 흐름도 참조). 대부분의 논문은 영국(n = 15 21-35), 북미(n = 11 36-46) 및 오세아니아(n = 7 47-53)에서 작성되었습니다. 일부 논문은 외과(n = 521, 23, 47, 41, 54), 의학 생리학 및 의생명과학(n = 451, 55, 42, 43), 노인의학 및 치매 치료(n = 326, 27, 29) 등 특정 의료 전문 분야 및 주제에 초점을 맞췄습니다, 정신과(n = 224, 35), 일반 진료(n = 250, 34), 군의학(n = 236, 37), 마취과,46 내과,39 신경과,40 소아과,38 완화 치료,48 인구 보건,28 류마티스학52 및 이식 과학. 30 다양한 유형의 논문이 확인되었으며(표 3), 그 중 대부분은 질적 연구였습니다. 논문에 대한 자세한 요약은 부록 S2에 포함되어 있습니다. 
Thirty-six papers published between 2012 and 2021 were included in the final analysis (see Figure 1 for PRISMA flow diagram). Most papers originated in the United Kingdom (n = 1521-35), North America (n = 1136-46) and Australasia (n = 747-53). Some papers focused on particular medical specialities and subject areas, including surgery (n = 521, 23, 47, 41, 54), medical physiology and biomedical science (n = 451, 55, 42, 43), geriatric medicine and dementia care (n = 326, 27, 29), psychiatry (n = 224, 35), general practice (n = 250, 34), military medicine (n = 236, 37), anaesthetics,46 internal medicine,39 neurology,40 paediatrics,38 palliative care,48 population health,28 rheumatology52 and transplant science.30 A wide range of article types were identified (Table 3), the majority of which were qualitative research studies. A detailed summary of the papers is included in the Appendix S2.

 

확인된 TC
TCs identified

의학교육에서 TCF를 가장 빈번하게 적용한 분야는 TC를 식별하는 것이었습니다. 10편의 논문은 학부 의학교육에서 TC를 식별하는 데 중점을 두었습니다.22, 24, 25, 36-38, 49, 28, 42, 53 주니어 대학원 의학교육(인턴, 전공의 또는 핵심 수련의의 다양한 의료 시스템에서의 역할 포함) 또는 시니어 대학원 의학교육(시니어 레지던트, 전문의 수련의, 레지던트 또는 펠로우)에서 TC를 조사한 논문이 4편, 21, 23, 26, 48 학부 및 주니어 대학원 의학교육을 모두 조사한 논문 1편,39 선임 임상의가 참여하는 계속 의학 교육에 중점을 둔 논문 1편이 있었습니다.47 
The most frequent application of the TCF in medical education was in the identification of TCs. Ten papers focused on identifying TCs in undergraduate medical education.22, 24, 25, 36-38, 49, 28, 42, 53 Four papers examined TCs in junior postgraduate medical education (encompassing the roles in different health care systems of interns, foundation year doctors or core trainees) or senior postgraduate medical education (senior residents, specialist trainees, registrars or fellows).21, 23, 26, 48 One paper looked at both undergraduate and junior postgraduate medical education,39 and one paper focused on continuing medical education involving senior clinicians.47

일차 연구자들은 인터뷰,21, 23, 24, 26, 39, 40, 47, 49 포커스 그룹 및 토론,25, 48, 28, 42 서면 반성문,36-38 오디오 일기 녹음22, 25 및 설문지를 포함한 다양한 데이터 수집 방법을 사용하여 잠재적 TC를 식별했습니다.26, 28 관심 집단,21, 22, 36-38, 47-49, 42 교육자 또는 전문가40, 28 또는 학습자와 트레이너 모두로부터 데이터를 수집하여 가능한 TC를 중심으로 삼각 측량을했습니다.23-26, 39 
A variety of data collection methods were used by the primary researchers to identify potential TCs including interviews,21, 23, 24, 26, 39, 40, 47, 49 focus groups and discussion,25, 48, 28, 42 written reflections,36-38 audio-diary recordings22, 25 and questionnaires.26, 28 Data were gathered from the population of interest,21, 22, 36-38, 47-49, 42 educators or experts40, 28 or from both learners and trainers to triangulate the data around possible TCs.23-26, 39

기본 개념 변화
Basic conceptual change

이 분야의 TC를 조사하기 위해 경험적 방법을 사용한 논문은 2편에 불과합니다.40, 42 2차 전달자 시스템, 압력 구배, 예압 및 후압, 세포막 전위 및 극성 등 생리학 및 생의학 과학과 관련하여 잠재적 TC가 확인되었습니다.40, 42 환기-관류(V/Q) 불일치46 및 3D 구조의 2D 표현인 X-선32 은 전문적인 경험을 바탕으로 TC로 제안되었습니다. 이러한 유형의 TC에 대한 평가는 다른 어려운 개념의 후속 숙달과 술기 개발에 도움이 될 수 있기 때문에 근본적으로 중요합니다.40 
Only two papers used empirical methods to examine TCs in this area.40, 42 Potential TCs were identified in relation to physiology and biomedical science, including secondary messenger systems, pressure gradients, preload and afterload, cell membrane potential and polarity.40, 42 Ventilation-perfusion (V/Q) mismatch46 and an X-ray being a 2D representation of a 3D structure32 were proposed as TCs based on professional experience. Evaluation of this type of TC is of fundamental importance because grasping them may help in the subsequent mastery of other difficult concepts and development of skills.40

사고 방식(훈련 개념 변화)
Ways of thinking (discipline conceptual change)

불확실성, 환자 치료, 의사의 역할 및 전문가 정체성 개발이라는 세 가지 주제가 학문 내 사고 방식과 관련하여 나타났습니다. 
Three themes emerged relating to ways of thinking within a discipline:

  • uncertainty,
  • care of patients and
  • the doctor's role and development of professional identity.

불확실성이 의학의 본질적인 부분이라는 인식이 여러 논문에서 나타났습니다.22, 25, 38, 39, 28 의학은 흑백이 아니라는 인식과 밀접한 관련이 있습니다.22, 38 이러한 문턱을 넘으면서 환자 진단과 관리에 '단 하나의 해결책'25(p100)이 없다는 것을 이해하게 되었습니다. 그러나 처음에는 모호함으로 어려움을 겪던 학생들은 '여러 가지 가능성을 동시에 머릿속에 담아두는 것에 익숙해졌습니다'37(p7) 의료 현장의 현실은 교과서 그림보다 더 복잡하고 배움은 평생 지속되며 모든 것을 다 알 필요는 없다는 것을 인식하게 되었습니다.25, 38 
Recognising that uncertainty is an inherent part of medicine emerged in several papers.22, 25, 38, 39, 28 Closely related was the realisation that medicine is not black and white.22, 38 Crossing these thresholds led to an understanding that there was ‘no single solution’25(p100) in the diagnosis and management of patients. After initially struggling with ambiguity, however, ‘students became comfortable with holding multiple possibilities simultaneously in their heads’.37(p7) They recognised that the reality of medical practice is more complex than the textbook picture and that learning is lifelong and it is not necessary to know everything.25, 38

TC로서의 사람 중심 진료는 환자를 전체적으로 보는 맥락에서26, 39 설명되었으며, '의술에는 생의학 과학의 임상적 적용보다 더 많은 것이 있다'고 했습니다.25(p98) 이는 학생들이 건강을 보는 방식에 변화를 가져왔습니다.25 환자의 관점과 목표를 탐구하는 것의 중요성을 인식하는 것 또한 환자 중심주의의 필수적인 특징으로 지적되었습니다.39 또한 다학제 팀에서 의사의 역할26 과 다른 의료 전문가와의 협력의 중요성39 은 효과적인 치료를 제공하는 데 핵심적인 것으로 여겨졌으며 수련의들이 팀에서 다른 사람들의 역할을 바라보는 방식을 변화시켰습니다.
Person-centred care as a TC was described in context of seeing the patient as a whole26, 39 and that there was ‘more to the practice of medicine than just the clinical application of biomedical science’.25(p98) This led to a transformation in how students saw health.25 Recognising the importance of exploring patients' perspectives and goals was also noted to be an essential feature of patient-centredness.39 In addition, the doctor's role in the multidisciplinary team26 and the importance of collaboration with other health professionals39 was seen as key in providing effective care and transformed how trainees viewed the role of others in the team.

전문직 정체성의 발달은 검토에 참여한 여러 TC의 공통된 특징이었습니다.25, 36-39, 47, 28 '나는 치료자다'37(p16) 라는 깨달음과 수련생들이 진입하고 있는 직업 문화에 대한 인식이 있었습니다.25 이러한 변화는 다른 사람의 건강에 대한 책임을 인식하면서 학생들의 개인 정체성25 에 불편함과 도전이 되었습니다.37 군의학의 맥락에서 독특한 전문직 정체성이 형성되었습니다.36, 37 그러나 의사가 수행하는 더 넓은 역할25, 39 과 그들의 책임은 개별 환자를 넘어 확장된다는 인식도 있었습니다.28
The development of professional identity was common feature of several TCs in the review.25, 36-39, 47, 28 There was a realisation that ‘I am a healer’37(p16) and an awareness of the professional culture students were entering into.25 This transformation was uncomfortable and challenged students' personal identity25 as they recognised their responsibility for others' health.37 The formation of a unique professional identity was noted in the context of military medicine.36, 37 However, there was also a recognition of the multiple wider roles that doctors play25, 39 and that their responsibility extends beyond the individual patient.28

진료 방식(개념 변화 모델링)
Ways of practising (modelling conceptual change)

실무 기술 개발, 임상적 판단 및 의사 결정, 불확실성 용인, 환자 중심주의 확립, 전인적 치료 제공 등 네 가지 주제가 진료 방식과 관련하여 등장했습니다.
Four themes emerged relating to ways of practising:

  • development of practical skills,
  • clinical judgement and decision making,
  • tolerance of uncertainty and
  • enactment of patient-centredness and the provision of holistic care.

임상의로서 실습하려면 고유한 실무 기술을 개발해야 합니다. 자격을 갖춘 외과의사들 사이에서 기술적 복잡성과 수술 속도가 TC로 확인되었습니다.47 그러나 팀 역학 등 비기술적 요인이 절차적 복잡성에 영향을 미칠 수 있으며,47 다른 TC가 수술 관리의 근간이 될 수 있음을 시사합니다. 마찬가지로 외과 수련의들이 수술이 어렵다고 느끼는 주요 요인은 연습 기회 부족이었습니다.21, 23, 41 따라서 일부 술기는 충분한 시간과 연습을 통해 습득할 수 있으므로 TC를 대표하지 않는다는 주장도 있습니다.23, 45 
Practising as a clinician involves the development of unique practical skills. Technical complexity and speed of operating were identified as TCs amongst qualified surgeons.47 However, non-technical factors such as team dynamics can influence procedural complexity,47 suggesting other TCs may underlie surgical management. Similarly, a key factor in why surgical trainees found procedures troublesome was lack of opportunities to practice.21, 23, 41 It has therefore been argued that some skills can be learnt with sufficient time and practice and so do not represent TCs.23, 45

이와 대조적으로 에브게니우 등은 환자 치료의 수술 전, 수술 중, 수술 후 단계에서 의사 결정과 관련된 잠재적 TC를 확인했습니다.23 임상 추론은 의대생들에게도 임계 기술로 인식되어 정보 수집 및 분석 방식에 변화를 가져왔습니다.49 불확실성을 견디고 적절하게 대응하는 능력은 임상적 판단과 의사 결정 기술을 개발하는 데 있어 근본적인 특징이자 가능한 TC입니다21,47 그리고 학생들이 진단에 접근하는 방식을 변화시켰습니다.24 마찬가지로, 질병 경과와 기대 수명에 대한 불확실성은 수련의들이 환자와 소통하는 새로운 방법을 개발하는 데 영향을 미쳤습니다.48
In contrast, Evgeniou et al. identified potential TCs related to decision making during the pre-operative, intra-operative and post-operative stages of a patient's treatment.23 Clinical reasoning was also recognised as a threshold skill in medical students, transforming how they gathered and analysed information.49 The ability to tolerate and respond appropriately to uncertainty is an underlying feature, and a possible TC, in the development of clinical judgement and decision-making skills21, 47 and changed how students approached diagnoses.24 Similarly, uncertainty about illness trajectory and life expectancy shaped trainees' development of new ways of communicating with patients.48

마지막으로, 여러 논문에서 환자 중심주의 및 전인적 치료와 관련된 TC를 확인했는데,24, 26, 37, 48 이는 '립 서비스'48(p425)가 전문 실무에서 이러한 원칙의 구체화로 전환되면서 학문 개념 변화와는 달랐습니다. 환자의 평가와 치료에서 심리사회적 측면을 고려하는 것은 이 주제의 핵심적인 측면이었습니다.24, 26 또한 공감 능력과 감정 관리 능력의 발달은 수련의가 환자와 상호작용하는 방식을 변화시켰습니다.25, 26, 48 노인의학에서 진료 제공은 적극적이고 실습적인 과정으로 간주되었으며, 수련의가 노인의사가 되면서 양육하는 실무자의 개념을 구체화했습니다.26 
Finally, several papers identified TCs related to patient-centredness and holistic care,24, 26, 37, 48 which differed from discipline conceptual change, as ‘lip-service’48(p425) was transformed to the embodiment of these principles in professional practice. Considering psychosocial aspects in the assessment and treatment of patients was a key aspect of this theme.24, 26 In addition, the development of empathy and the ability to manage emotions changed how trainees interacted with patients.25, 26, 48 In geriatrics, providing care was seen as an active, hands-on process, and as trainees become geriatricians, they embody the concepts of a nurturing practitioner.26

확인된 TC와 수련 단계 간의 관계
Relationship between TCs identified and stage of training

학습자가 경험하는 개념 변화의 유형은 그림 2에서 보는 바와 같이 의료 수련의 단계와 관련이 있는 것으로 나타났습니다. 과학적 지식과 관련된 TC는 의대생에게서 확인된 반면, 진료 방식과 관련된 TC는 의학교육의 연속체에 걸쳐 있었습니다. 불확실성 및 환자 관리와 같은 일부 TC는 모든 수련 단계에 걸쳐 나타났지만, 전문적 책임과 관련하여 발전했습니다. 의학이 발전함에 따라 TC도 발전한다는 인식도 있었습니다.54 
The types of conceptual changes learners encounter appeared to relate to the stage of medical training, as shown in Figure 2. TCs related to scientific knowledge were identified in medical students, whereas TCs related ways of practising spanned the medical education continuum. Some TCs, such as uncertainty and patient care, featured at all stages of training, but developed in relation to professional responsibilities. There was also a recognition that as medicine advances TCs also evolve.54

교육에서 TC 프레임워크 사용
Use of the TCs framework in teaching

여러 논문에서 TCF41, 51, 54, 55, 43의 맥락에서 교육 개입을 평가했으며, 한 논문에서는 TCF를 새로운 과정의 커리큘럼 설계에 통합했습니다.30 다른 저자는 다른 접근 방식을 취하여 문턱을 넘는 것과 관련된 학습 경험을 조사했습니다.27, 50 학생들은 치매 치료에 대한 시뮬레이션 세션 후 언어, 지식 및 행동의 변화를 보였지만, 학생들이 넘었을 수 있는 TC는 논의되지 않았습니다.27 본은 GP 개발 중 강력한 학습 경험에 대한 서면 설명을 검토하여 수련의의 성향 태도를 변화시키는 데 환자 및 동료와의 상호작용이 중요함을 확인했습니다.50 
Several papers evaluated teaching interventions in the context of the TCF41, 51, 54, 55, 43 and one paper incorporated the TCF into curriculum design of a new course.30 Other authors took a different approach and examined learning experiences associated with threshold crossing.27, 50 Students demonstrated a change in language, knowledge and behaviour following a simulation session about dementia care, although the TCs students may have crossed were not discussed.27 By examining written accounts of powerful learning experiences during GPs' development, Vaughan identified the importance of interactions with patients and colleagues in transforming trainees' dispositional attitudes.50

다른 많은 논문에서도 TC를 가르치는 방법을 제안했습니다. 예를 들어, 시뮬레이션은 학습자가 불확실성을 관리하는 데 도움을 줌으로써 임상 실습과 직접적으로 관련된 방식으로 변화를 도울 수 있다고 제안되었습니다.46 또는 소규모 성찰 그룹과 발린트 그룹은 학생들이 직업적 정체성 형성과 관련된 문제를 탐색하는 데 도움을 줄 수 있습니다.22, 24, 25 강사가 개별 학습자를 지원하기 위해 사용할 수 있는 전략에는 사례 및 도전적인 상황에 대한 토론,23, 39, 45 명시적 진단 추론,24, 49 및 공식 멘토링 프로그램이 포함되었습니다.21, 47 저자들은 또한 학생을 TCF에 적극적으로 참여시키고,22, 38, 28, 33 학생들이 자신의 TC를 식별할 수 있도록 하고,42, 32 반복적이고 비선형적이며 잠재적으로 문제가 될 수 있는 학습 과정을 인식할 것을 주장했습니다.40, 45 코스 수준에서 여러 저자들은 TC를 교육과정 설계에 통합할 것을 주장했습니다.23, 25, 47, 48, 28 
Many other papers suggested methods to teach the TCs they had identified. It was proposed that simulation could aid transformation in ways that are directly related to clinical practice,46 for example, by helping learners manage uncertainty.47 Alternatively, small reflective groups and Balint groups could help students navigate the challenges associated with professional identity formation.22, 24, 25 Strategies that trainers could use to support individual learners included discussion of cases and challenging situations,23, 39, 45 explicit diagnostic reasoning,24, 49 and formal mentoring programmes.21, 47 Authors also advocated for actively engaging students with the TCF,22, 38, 28, 33 enabling them to identifying their own TCs,42, 32 and recognise the repetitive, non-linear and potentially troublesome learning process.40, 45 At a course level, several authors argued for the incorporation of TCs into curriculum design.23, 25, 47, 48, 28

4 토론
4 DISCUSSION

이 리뷰는 의학교육에서 현재 TC 문헌을 체계적으로 검토한 최초의 리뷰입니다. 포함된 논문의 3분의 2 이상이 2018년 이후에 발표된 것으로, 최근 몇 년간 관심이 크게 증가했음을 보여줍니다. 따라서 이 리뷰는 현재 교육 환경에서 매우 적절하며 다양한 증거 기반을 통합합니다.
This is the first review to take a systematic approach in examining the current TCF literature in medical education. Over two thirds of the papers included were published from 2018 onwards, demonstrating a significant growth in interest in recent years. This review is therefore highly pertinent in the current educational landscape and brings together a diverse evidence base.

재귀적 TC와 커리큘럼 설계에 대한 시사점
Recursive TCs and implications for curriculum design

이러한 종합을 통해 의학교육 연속체 전반에 걸쳐 TC의 재귀적 특성에 대한 독특한 관점이 드러났습니다. 재귀는 Land 등(2005)에 의해 학생들이 '개념적 자료에 대해 다른 "테이크"를 시도하는' 한계 공간을 여행하면서 학습을 재방문하는 것으로 설명되었습니다.3(p59) 의학교육 연속체도 마찬가지로 학습자가 새로운 상황에 직면했을 때 학습을 재방문하고 적응 또는 발전시키는 지속적인 학습 여정입니다.48

  • 예를 들어 불확실성은 수련 및 전문성 개발의 모든 단계에서 나타나는 개념으로, 학문적 개념 변화22, 25, 38, 39, 28 및 모델링 개념 변화21, 24, 47, 48, 34 와 연결되며 새로운 역할 및 책임과 함께 다시 등장합니다.
  • 의대생과 주니어 대학원 수련의는 의학의 복잡하고 모호한 특성을 먼저 인식했습니다.25, 38 그런 다음 이를 의사 결정에 반영하기 시작했고24, 34 불확실성에도 불구하고 환자 치료에 대한 책임을 졌습니다.25, 38
  • 그러나 시니어 임상의도 독립 전문 진료로 전환한 후 의사 결정, 임상 판단 및 부작용 관리와 관련하여 불확실성을 경험했습니다.47

This synthesis has revealed a unique perspective on the recursive nature of TCs across the medical education continuum. Recursion was described by Land et al. (2005) as a revisiting of learning as students journey through the liminal space ‘attempting different “takes” on the conceptual material’.3(p59) The medical education continuum is likewise an ongoing learning journey, in which learners revisit learning and adapt or advance it when faced with new situations.48 

  • Uncertainty, for example, was a concept that featured at all stages of training and professional development, linked to both discipline conceptual change2225383928 and modelling conceptual change,2124474834 and re-emerged with new roles and responsibilities.
  • Medical students and junior postgraduate trainees first recognised the complex and ambiguous nature of medicine.2538 They then began to incorporate this into their decision making2434 and take responsibility for patients' care despite uncertainty.2538 
  • However, senior clinicians also experienced uncertainty following their transition to independent specialty practice, related to decision-making, clinical judgement and managing adverse events.47

따라서 TC 자체는 전문가 경력의 다양한 시점에서 반복될 수 있으며, 보다 정교한 이해 또는 구체화가 필요합니다. 이는 [문턱을 넘는 것]이 학습 여정의 종착점이 아니며, Liminality란 전문가가 지속적으로 점유하는 상태이면서, 새로운 상황에 노출되면 덜 편안해지는 상태로 생각하는 것이 더 낫다는 개념을 뒷받침합니다.4, 47 이는 그림 3에서 확인할 수 있습니다. 이러한 방식으로 TC를 바라보는 것은 커리큘럼 설계에 도움이 될 수 있는 귀중한 통찰력입니다. 여러 교육 단계 간의 통합을 강화하면 학습의 연속성을 개선하고 수련의가 어려운 전환기를 헤쳐나가는 데 도움이 된다는 주장이 제기되어 왔기 때문에 의료 교육 연속체를 아우르는 총체적인 접근 방식을 지원합니다.58
TCs themselves may therefore recur at various points in a professional's career, requiring a more sophisticated understanding or embodiment. This supports the notion that crossing a threshold is not the endpoint of the learning journey and that liminality may be better thought of as a state continually occupied by professionals, but which becomes less comfortable with exposure to new situations.4, 47 This is demonstrated in Figure 3. Viewing TCs in this way is a valuable insight which could help guide curricula design. It supports a holistic approach that spans the medical education continuum, as it has been argued that better integration between different stages of training would improve continuity in learning and help trainees navigate challenging transitions.58

TC의 재귀적 특성은 또한 많은 의과대학에서 사용하는 나선형 커리큘럼 접근법을 뒷받침하는 것처럼 보일 수 있습니다.59 이 접근법에서는 복잡성이 증가하고 고급 적용이 요구되는 주제가 코스 전반에 걸쳐 재검토됩니다.60 그러나 이 접근법은 새로운 학습이 이전 학습을 기반으로 하는 선형적이고 점진적인 과정을 제안합니다.59, 60

  • 반면에 TC 습득은 예측 가능한 간격으로 진행되는 과정을 따르지 않습니다: 이해와 결과의 편차와 수정이 있는 지저분하고 앞뒤를 오가는 여정입니다.3, 5
  • 또한 TC와 관련된 학습 경험은 개인에게 고유하며 학습자마다 훈련의 서로 다른 지점에서 이를 통과할 수 있습니다.26, 39, 50

결과적으로 나선형 교육과정은 학습자의 학습 요구와 일치하지 않을 수 있으며 특정 문턱을 넘지 않고 훈련을 진행할 수 있습니다.25, 39 
The recursive nature of TCs would also, on face value, seem to support the spiral curriculum approach employed by many medical schools,59 in which topics are revisited throughout the course with increasing complexity and requiring more advanced application.60 However, this approach suggests a linear and progressive process, in which new learning builds on previous learning.59, 60 

  • TC acquisition, in contrast, does not follow a predictably spaced process: It is a messy and back-and-forth journey, with deviations and revisions of understanding and outcomes.35 
  • Furthermore, the learning experience associated with TCs is unique to individuals and learners may pass through them at different points in their training.263950 

As a result, the spiral curriculum may not align with their learning needs, and they may progress in training without having crossed certain thresholds.25, 39

대조적으로, 본 검토에서 TCF의 개념화는 대학원 의학교육에서 점점 더 많이 적용되고 있는 역량 기반 의학교육(CBME)과 더 밀접하게 일치합니다.61 CBME에서는 학습자의 진전이 수련 시간 대신 의료 실무와 관련된 역량을 달성하는 것으로 결정되며,61 종종 수련생이 감독 없이 수행할 수 있는 업무 또는 책임인 위탁 전문 활동(EPA)으로 실질적으로 측정됩니다.62 이 검토에서 확인된 많은 TC는 임상 경험에 기반한 학습으로 존재론적 변화와 전문적 실천의 발전을 나타냅니다. 따라서 TCF는 이러한 핵심 역량 또는 EPA39 를 식별하는 렌즈로 사용될 수 있으며, 모방과 숙달을 구분하는 데 도움이 됩니다.46 TC의 재귀적 특성은 또한 의학교육 연속체 전반에 걸쳐 일관성을 보장하는 것을 목표로 하는 CBME의 수직적 통합을 지원합니다.61 TCF와 CBME를 연계하면 단일 지식 체계의 촉진과 교육에서 전통적인 권력 불균형의 영속화와 관련하여 브라운 등이 제기한 몇 가지 우려를 해결할 수 있습니다.10 CBME의 핵심 구성 요소는 학습자 중심 접근법61 으로, 이는 TC의 경험에 대한 개별적 차이를 설명할 수 있습니다. 실제로 브라운 등은 교육과정 설계에서 EPA가 TC보다 더 바람직한 구성 요소라고 주장하지만,10 우리는 이 두 가지를 반드시 배타적으로 볼 필요는 없다고 주장합니다.
In contrast, the conceptualisation of the TCF in this review aligns more closely with competency-based medical education (CBME), which is increasingly being applied in postgraduate medical education.61 In CBME, progression of the learner is determined by achieving competencies related to practicing medicine instead of time in training,61 often measured practically as Entrustable Professional Activities (EPAs) which are tasks or responsibilities trainees can undertake without supervision.62 Many of the TCs identified in this review represent ontological transformations and the development of professional practice, with learning rooted in clinical experience. The TCF could therefore be used as a lens for identifying these critical competencies or EPAs39 and help differentiate between mimicry and mastery.46 The recursive nature of TCs also supports the vertical integration of CBME which aims to ensure coherence across the medical education continuum.61 Aligning the TCF with CBME addresses some of the concerns raised by Brown et al. with regard to the promotion of a single body of knowledge and perpetuation of traditional power imbalances in education.10 A key component of CBME is a learner-centred approach61 which can account for the individual variation in the experience of TCs. Indeed, Brown et al. argue that EPAs are a preferable component of curriculum design to TCs,10 but we contend that the two do not necessarily need to be viewed exclusively.

의학교육에서 임계 '개념'의 의미
The meaning of threshold ‘concepts’ in medical education

이 검토는 의학교육에서 문턱 개념이라는 용어의 사용에 대한 일부 비판을 해결하는 데도 도움이 됩니다. 많은 저자들이 지적했듯이, 개념이라는 용어는 실용적 차원이 아닌 이론적 차원6,10 의 의미를 가지며, 따라서 종종 '지식에 대한 내용 중심적 관점'과 연관됩니다.4(p235) 이러한 맥락에서 브라운 등은 인지적 변화(지식의 변화가 정체성의 변화로 이어지는)에 초점을 맞추고 기초 과학 지식과 관련된 일부 TC와 전문가 정체성 사이의 단절로 인해 TCF가 전문가 정체성 발달에 적용하기 어렵다고 주장해왔습니다.10 그러나 이 리뷰는 TC을 [개념 변화의 단계]라는 맥락에서 바라봄으로써, [한계를 넘는 것]이 의학 분야 내에서 어떻게 [사고와 실천 방식의 변화]로 이어지고, 이는 본질적으로 학습자의 [정체성 재형성]과 연결되는지를 명확히 합니다.18
This review also helps to address some of the criticisms around the use of the term threshold concept in medical education. As many authors have noted, the term concept has connotations of a theoretical, rather than practical, dimension6, 10 and so is often associated with ‘a content-focused view of knowledge’.4(p235) In this vein, Brown et al. have argued that the TCF is not applicable to professional identity development due to the focus on cognitive transformation—a change in knowledge leading to change in identity—and the disconnection between some TCs, such as those related to basic scientific knowledge, and professional identity.10 However, by viewing TCs in the context of stages of conceptual change, this review clarifies how crossing thresholds leads to changes in ways of thinking and practising within the discipline of medicine, and this is intrinsically linked to reshaping of a learner's identity.18

TC에 대한 이러한 지식 중심의 해석은 대체 용어의 등장으로 이어지기도 했습니다. 이 검토에서 확인된 두 연구에서는 각각 임계 기술49 및 직업 임계치50라는 용어를 사용했습니다. 이러한 개념은 지식의 습득 및 활용 방법을 나타내며49 의사가 되는 것과 관련된 변화를 나타낸다는 것이 그 근거였습니다.50, 63 그러나 원래 TC에 대한 설명은 가치, 태도, 기술, 사고 및 존재 방식을 포괄하는 광범위한 개념이었습니다.1, 2, 4 이 설명은 역치 기술과 직업 역치를 포괄합니다. 따라서 의학교육자 및 연구자는 의학교육의 맥락에서 TCF와 관련된 해석 및 용어의 새로운 변화를 인지하여 예를 들어 문헌 검색 전략에 이러한 용어를 포함할 수 있어야 합니다.
This knowledge-focused interpretation of the TCF has also led to the emergence of alternative terminology. Two studies identified in this review used the terms threshold skills49 and vocational thresholds,50 respectively. The justification was that these ideas represent how knowledge is acquired and utilised49 and represent transformations related to being a practitioner.50, 63 However, the original description of TCs was broad and inclusive of values, attitudes, skills and ways of thinking and being.1, 2, 4 This explanation encompasses threshold skills and vocational thresholds. Therefore, medical educators and researchers should be cognisant of the emergent variations in interpretation and terminology associated with the TCF in the context of medical education so they can, for example, include these terms in literature search strategies.

방법론적 고려 사항
Methodological considerations

이 범위 검토를 통해 의학교육에서 TC을 탐구하는 현재 연구의 방대한 범위를 확인할 수 있었습니다. 그러나 문헌의 이질성으로 인해 종합하는 데 어려움이 있었으며 대략적인 결론만 도출할 수 있었습니다. 가능한 TC를 식별하는 데 사용된 특성에는 상당한 차이가 있었으며, 이는 더 광범위한 문헌의 결과와 일치하며,8, 64 TCF에 대한 비판 중 하나입니다.10 논의 주제를 뒷받침하기 위해 TCF를 사용했지만 포함을 정당화할 증거가 없는 논문도 여러 편 있었습니다.29, 52, 31 이 범위 검토의 일환으로 공식적인 품질 평가는 수행되지 않았지만 여러 논문, 특히 교육에서 TCF 사용에 중점을 둔 논문에서 실험적 엄격성이 부족하다는 점이 지적되었습니다. 광범위한 문헌과 일관되게,64 개념 선택을 정당화하거나 개입 후 임계값을 넘었음을 입증하는 증거가 부족한 경우가 많았습니다.41, 51, 54, 55, 30, 43 따라서 이러한 논문의 결과는 신중하게 해석해야 합니다.  
This scoping review has demonstrated the vast extent of the current work exploring the TCF in medical education. However, the heterogeneity of the literature presented challenges for synthesis and only broad conclusions can be drawn. There was significant variation in characteristics used to identify possible TCs, which is consistent with findings in the wider literature,8, 64 and is one of the criticisms of the TCF.10 There were also several papers in which the TCF was used to support the topic of discussion but with no evidence to justify its inclusion.29, 52, 31 Although no formal assessment of quality was carried out as part of this scoping review, a lack of experimental rigour was noted in several papers, particularly those focused on the use of the TCF in teaching. Consistent with the wider literature,64 there was frequently a lack of evidence to justify the selection of concepts or demonstrate threshold crossing post-intervention.41, 51, 54, 55, 30, 43 Therefore, the results of these papers should be interpreted with caution.

TC에 대한 지속적인 연구가 의학교육에 의미 있는 영향을 미치려면 연구자는 프레임워크의 적용과 연구 설계에 높은 수준의 엄격함과 투명성을 적용해야 합니다. 여기에는 TC 프레임워크 적용에 대한 명확한 정당성, 특정 TC의 식별 또는 활용에 대한 근거 기반 접근법, 복제 가능한 방법론이 포함되어야 합니다. 
It is imperative that if ongoing research into TCs is to have a meaningful impact in medical education, researchers must apply high degrees of rigour and transparency in the application of the framework and the design of their studies. This needs to involve clear justification for applying the TCF, an evidence-based approach to identification or utilisation of specific TCs and replicable methodology.

이 검토의 또 다른 한계는 일반적으로 의료 전문가에 초점을 맞춘 논문이 제외되었고, 예를 들어 전문가 간 업무와 관련된 의학교육에 적용 가능한 일부 연구 결과가 누락되었을 수 있다는 점입니다. 또한 이번 검토는 의료 실무와 관련된 교육에 중점을 두었기 때문에 교수진 개발과 같은 다른 논문은 제외되었습니다. 그러나 의사의 역할은 환자 치료를 제공하는 것 이상의 의미를 가지며, 이러한 다른 전문적 의무는 포함되지 않았습니다. 
Further limitations to this review are that papers focusing on health care professionals in general were excluded and some findings applicable to medical education, for example, related to interprofessional working, could have been missed. Additionally, the review focused on education around practicing medicine, and other papers, such as those addressing faculty development, were excluded. However, the role of the doctor goes beyond delivering patient care, and these other professional duties were not captured.

의학교육 및 연구에 대한 시사점
Implications for medical education and research

이 검토는 의과대학과 임상 실습 과정에서 학습자가 겪는 중요한 변화를 검토하는 데 TCF가 어떤 렌즈를 제공할 수 있는지 보여줍니다. 검토 결과를 바탕으로 의학교육자를 위한 몇 가지 광범위한 권장사항이 확인되었으며 표 4에 요약되어 있습니다. 그러나 의대생과 의사의 발달 과정에서 발생하는 광범위한 학습에 대해 TCF를 설명하고 적용하기 위한 일관된 접근법을 개발하기 위해서는 추가 연구가 필요합니다. 이는 근거 기반의 진화하는 특성과 의학의 발전과 함께 새로운 TC가 계속 등장할 것이라는 사실을 고려할 때 특히 적절합니다.54 또한 TCF를 교육에 사용할 수 있는 방법과 역치 통과를 측정할 수 있는 방법은 현재 근거에 상당한 격차가 있으므로 추가 연구가 필요합니다. 
This review demonstrates how the TCF can provide a lens for examining important transformations learners undergo in their developmental journey at medical school and during clinical practice. Several broad recommendations for medical educators have been identified based on the review findings and are summarised in Table 4. However, further research is needed to develop a consistent approach for describing and applying the TCF to the broad range of learning that occurs during the developmental journey of medical students and doctors. This is especially pertinent given the evolving nature of the evidence base and the fact that new TCs will continue to emerge with advancing medicine.54 In addition, how the TCF can be used in teaching and how threshold crossing can be measured are significant gaps in the current evidence and require further research.

5 결론
5 CONCLUSION

최근 몇 년 동안 의학교육계에서 TCF에 대한 관심이 높아지고 있습니다. 많은 초점이 수련의 다양한 지점에서 학문적 사고방식과 실습의 기초가 되는 TC를 식별하는 데 맞춰져 있습니다. 의학교육의 연속체 전반에 걸쳐 불확실성, 환자 치료, 임상적 추론 및 전문적 정체성 TC에 대한 이해와 구현이 점점 더 복잡해졌으며, 이는 지식, 사고 및 실천의 개념적 변화를 나타냅니다. TC는 임상 환경과 책임의 변화와 함께 반복되어 평생 학습 커리큘럼에 대한 총체적인 접근 방식을 지지했습니다. 
The TCF has garnered increasing attention in the medical education community in recent years. Much of the focus has been on identifying TCs which underlie the development of disciplinary ways of thinking and practising at various points in training. There was an increasing complexity to the understanding and embodiment of uncertainty, patient care, clinical reasoning and professional identity TCs across the medical education continuum, representing the conceptual changes of knowing, thinking and practising. TCs recurred with changes in clinical environment and responsibilities, endorsing a holistic approach to the curriculum of lifelong learning.

의대생과 의사의 발달 학습 여정, 특히 의학이 발전함에 따라 새로운 TC가 등장하는 상황에서 TCF를 설명하고 적용하기 위한 일관된 접근법을 개발하기 위해서는 더 많은 연구가 필요합니다. 또한 TCF를 교육에 활용하는 방법과 역치 통과를 측정하는 방법은 현재 증거에 상당한 공백이 있어 추가 연구가 필요합니다.
Further research is needed to develop a consistent approach for describing and applying the TCF to the developmental learning journey of medical students and doctors, particularly where new TCs emerge as medicine advances. In addition, how the TCF can be used in teaching and how threshold crossing can be measured are significant gaps in the current evidence and require further research.

 


 

Med Educ. 2022 Oct;56(10):983-993. doi: 10.1111/medu.14864. Epub 2022 Jul 24.

 

Threshold concepts in medical education: A scoping review

Affiliations collapse

Affiliation

1Warwick Medical School, University of Warwick, Coventry, UK.

PMID: 35775904

PMCID: PMC9543879

DOI: 10.1111/medu.14864

Free PMC article

 

Abstract

Introduction: The threshold concept framework (TCF) was first described nearly 20 years ago, but its application in the field of medical education has recently seen a significant growth of interest with a diverse range of literature published on the subject. The transformative nature of threshold concepts (TCs) offers potential for the design of learning experiences and curricula across the medical education continuum. A scoping review was conducted to map the extent of the current literature regarding TCs in medical education-to describe the types of available evidence and its focus-and identify research gaps.

Methods: The review followed the JBI Manual for Evidence Synthesis approach for scoping reviews. Four databases and two additional websites were searched for articles exploring TCs in medical education. Data were analysed using quantitative and qualitative thematic approaches. A framework of conceptual change was used to synthesise the TCs identified.

Results: Thirty-six papers, spanning undergraduate, postgraduate and continuing medical education, were included in the final analysis. The most frequent application of the TCF was in the identification of TCs, which related to basic scientific knowledge, ways of thinking and ways of practising in medicine. Uncertainty, patient care, clinical reasoning and professional identify formation were themes that emerged at multiple stages of training. Several papers evaluated the use of the TCF in teaching.

Conclusion: The understanding and embodiment of TCs increases in complexity across the medical education continuum, with TCs recurring with changes in clinical environment and responsibilities. This lends support to a holistic approach to curriculum design spanning all stages of training. Further research is needed to develop a consistent approach for describing and applying the TCF in medical education and to address how the TCF can be used in teaching and how threshold crossing can be measured.

상아탑 대 실천-지향 연구의 미신: 의학교육 무작위 연구의 체계적 문헌고찰(Med Educ, 2020)
The myth of ivory tower versus practice-oriented research: A systematic review of randomised studies in medical education 
Martin G. Tolsgaard1,2 | Kulamakan Mahan Kulasegaram3,4 | Nicole N. Woods3,4 | Ryan Brydges3,5,6 | Charlotte Ringsted7 | Liv Dyre1,2 

1 서론
1 INTRODUCTION

의학교육 연구의 질과 관련하여 반복되는 주제는 실용적 목적이 결여된 이론적 연구1와 이론적 기반이 결여된 응용 연구 사이의 긴장에서 비롯됩니다.2-4 이 주제에 대한 영향력 있는 논문에서 Albert 등4,5 은 의학교육 분야에서 사용자를 위한 생산생산자를 위한 생산이라는 두 가지 유형의 연구에 대한 개념적 모델을 제안했습니다.

  • 사용자를 위한 생산은, 임상의와 교육자가 구체적인 문제를 해결하고 대학과 임상 부서에 서비스를 제공하는 것을 목표로 합니다. 이러한 유형의 연구에는 이론적 프레임워크가 부족한 경우가 많으며5 주로 임상의가 임상 저널에 발표하는 것으로 알려져 있습니다.6 임상의와 교육자가 연구에 이론을 포함하지 않는 이유에 대해서는 몇 가지 제안된 이유가 있습니다. Albert 등은 의학교육 분야에서 영향력 있는 인사들을 인터뷰했는데, 그 중 한 명은 '의사들은 당신의 이론을 듣는 데 관심이 없다 [...] 그들이 알고 싶은 것은 어떻게 하면 더 효과적이고 비용이 적게 드는 것을 만들 수 있는가'라고 말했습니다.5
  • 사용자를 위한 생산자는 자신의 연구를 이론적 틀 안에 위치시키는 데 실패할 수 있지만5,6 프로그램 평가에 엄격한 실험 방법론을 적용함으로써(예: 무작위 설계에서 강력한 실험 통제 사용) 보완합니다.3 그러나 이론적 틀이 없으면 이론적 문제를 발전시키는 것은 물론 실제 문제를 해결하는 데도 실패할 수 있습니다.7 

A recurring theme related to medical education research quality results from the proposed tension between theoretical work lacking a practical purpose1 and applied research lacking a theoretical foundation.2-4 In an influential paper on the topic, Albert et al4, 5 proposed a conceptual model for two types of research within the field of medical education—Production for Users and Production for Producers.

  • At one pole, Production for Users, clinicians and educators aim to solve concrete problems and provide service to universities and clinical departments. This type of research often lacks theoretical frameworks5 and is thought to be published mostly by clinicians in clinical journals.6 There are several proposed reasons for why clinicians and educators may fail to include theory in their research. Albert et al interviewed a number of influential figures in medical education, one of which stated that ‘doctors are not interested in listening to your theory[…] What they want to know is how they can make something more effective and cost less’.5 
  • Although Producers for Users may fail to situate their research within a theoretical framework,56 they (supposedly) compensate by applying strict experimental methodologies to programme evaluations—for example, by using strong experimental controls in a randomised design.3 However, without theoretical frameworks they may fail in solving practical problems as well as in advancing theoretical issues.7

 

  • 다른 극인 생산자를 위한 생산에서 알버트 등은 지식 구축과 이론 개발을 통해 과학적 정당성을 획득하는 학문적 연구자들을 설명합니다.4 이러한 연구자들은 이론을 학습의 일반적인 현상을 이해하는 렌즈로 사용하고,8 국지적 관찰을 기존 지식 기반에 맥락화하는 방법으로 사용합니다.9 적어도 20년 동안 교육 과학자들은 의학교육 연구에서 이론을 더 많이 사용할 것을 요구해 왔습니다.5, 10-14 의학교육 연구에서 이론의 부족은 의학교육 저널에 제출된 논문이 거부되는 주요 원인으로 남아 있습니다.7, 15-17 반면에 고도로 이론적인 연구에 대한 비판자들은 그것이 교육 실무 및 정책 개발에 실질적인 영향을 미치는지 의문을 제기합니다.6, 7, 18 

At the other pole, Production for Producers, Albert et al describe disciplinary researchers, who acquire their scientific legitimacy through knowledge building and theory development.4 These researchers use theory as the lens through which they understand the general phenomena of learning,8 and as a way to contextualise local observations into an existing knowledge base.9 For at least two decades, education scientists have called for an increased use of theory in medical education research.5, 10-14 The lack of theory in medical education research remains a major cause of rejection of papers submitted to medical education journals.7, 15-17 On the other hand, critics of highly theoretical research question whether it has any real impact on educational practice and policy development.6, 7, 18

이러한 사고방식에 따르면, 일반적으로 받아들여지는 통념은 의학교육 연구가 교육자와 임상의에게 도움을 주는 것을 목표로 하는 실용 지향적 연구와 이론을 발전시키는 데 중점을 두지 않고 실제 적용에 중점을 두지 않는 이론 발전 연구라는 두 가지 극으로 나뉜다는 것을 암시한다고 볼 수 있습니다. 이 신화에서 발생하는 잠재적 문제는 각 극의 연구가 목표, 이론 또는 의제를 공유하지 않아 분야 전체를 발전시키지 못하는 사일로 효과입니다.6, 7 
Following this line of thinking, we suggest that a commonly accepted myth implies that medical education research is perennially divided between two singular poles: practically oriented research aiming to serve educators and clinicians with little focus on advancing theory and research aiming to advance theory with little focus on practical applications. A potential problem arising from this myth is silo effects, where research at each pole does not share goals, theories or agendas; thereby failing to advance the field as a whole.6, 7

파스퇴르의 사분면
Pasteur's quadrant

알버트 등의 분석 이후 15년 이상이 지났습니다. 그 사이 이 분야는 전 세계적으로는 물론 학문적으로도 성숙하고 다양해졌습니다. '상아탑' 이론가와 '현장' 실무자 사이의 격차는 여전히 의학교육 연구의 정당성에 관한 논쟁의 대상이지만,1,7 연구자들이 실용적인 문제 해결지식 발전이라는 목표가 상호 배타적이기보다는 상호 보완적일 수 있다는 것을 깨닫게 되면서 그 격차는 좁혀지고 있습니다.7, 19 스토크스는 '[이론적] 이해의 지평을 넓히려는 동시에 활용을 위한 고려에 영감을 받는' '활용 영감 기초 연구'(파스퇴르의 4분면)의 잠재력을 강조하는 연구 분류의 틀을 제시합니다. 나머지 사분면에는 실용적 응용에 대한 고려 없이 오로지 지식의 발전을 추구하는 이론 지향적 기초 연구(보어의 사분면), 이론의 발전에는 관심이 없고 실용적인 문제 해결만을 목적으로 하는 순수 응용 연구(에디슨의 사분면), 비이론적, 비실용적 연구를 대표하는 희귀 연구로 추정되는 무사용, 무이론 사분면이 포함됩니다(그림 1). 따라서 스토크스의 프레임워크는 과학적 사일로의 형성, 과학적 전통이 연구 목표, 과학적 엄격성 및 보고 표준에 미치는 영향 등 의학교육의 연구와 그 과제를 이해하는 데 보다 미묘한 관점을 제공할 수 있습니다. 
Over 15 years have passed since Albert et al’s analysis. The field has matured and has diversified globally as well as disciplinarily. Although the gap between ‘ivory tower’ theorists and ‘in-the-trenches’ practitioners is still a subject of debate regarding the legitimacy of medical education research,1, 7 the gap may be closing as researchers realise that the goals of solving practical problems and advancing knowledge may be complementary rather than mutually exclusive.7, 19 Stokes provides a framework for classifying research emphasising the potential of ‘use-inspired basic research’ (Pasteur's quadrant) that ‘seeks to extend the frontiers of [theoretical] understanding but is also inspired by considerations for use’. The remaining quadrants include theory-oriented basic research that is guided exclusively by its quest for advancing knowledge with no thought for practical application (Bohr's quadrant), pure applied research (Edison's quadrant) that is driven only with the purpose of solving practical problems with no interest for the development of theory, and a no-use, no-theory quadrant for presumably rare research representing non-theoretical and non-practical studies (Figure 1). As such, Stokes’ framework may offer a more nuanced perspective for understanding research in medical education and its challenges, including the formation of scientific silos and the impact of scientific traditions on research goals, scientific rigour and reporting standards.

이 리뷰에서는 의학교육 연구가 사용자 대 생산자라는 두 극으로 나뉘어져 있다는 통념에 대해 살펴보기로 했습니다. 의학교육에는 다양한 연구 접근법이 있습니다. 가용성 측면에서 우리는 임상 학술지뿐만 아니라 교육 학술지에서도 무작위 배정 연구를 찾을 수 있을 것으로 예상했고, 이를 통해 서로 다른 과학적 전통을 가진 영역에서 비교를 할 수 있을 것으로 기대했습니다. 무작위 배정 연구는 임상 연구자뿐만 아니라 분야별 과학자 모두에게 널리 사용되고 이해되는 접근 방식이라는 점을 고려하여 무작위 배정 연구에 초점을 맞추기로 결정했습니다. 예를 들어, 무작위 연구는 의학 및 심리학 연구 모두에서 이론 구축뿐만 아니라 효능 연구 및 실제 임상시험에도 사용됩니다.20 특히 의학교육에서는 이론 구축에 기여하는 무작위 연구의 여러 예가 있지만,21-24 비이론적 연구에 대한 우려도 제기되고 있습니다.3, 5, 25, 26 이러한 이유로 우리는 이론과 실제 적용에 따라 의학교육에 연구 사일로가 존재하는지에 대한 이해를 높이기 위한 출발점으로 무작위 디자인을 사용한 특정 연구 선택에 검토의 초점을 맞췄습니다. 
In this review, we set out to examine the myth that medical education research remains divided between the two poles of production for users vs producers. There are a lot of different research approaches in medical education. In terms of availability, we expected to find randomised studies in both clinical journals as well as in education journals, which would allow us to make comparisons across domains with different scientific traditions. We chose to focus on randomised studies, given the approach is popular and understood on both sides of the aisle—by clinician researchers as well as by disciplinary scientists. For example, randomised studies are used in both medical and psychological research for theory building but also for efficacy studies and practical trials.20 In medical education specifically, there are several examples of randomised studies contributing to theory building,21-24 though there are also concerns raised about non-theoretical research.3, 5, 25, 26 For these reasons, we focused our review on a specific selection of studies using a randomised design as a starting point for building a better understanding of whether research silos exist in medical education according to the use of theory and applications for practice.

우리는 다음과 같은 가설을 세웠습니다:

  • (a) 의학교육 연구는 두 개의 극으로 나뉘기보다는 보어의 사분면에서 파스퇴르의 사분면을 거쳐 에디슨의 사분면에 걸쳐 있다.
  • (b) 의학교육 저널에 발표된 연구는 주로 보어의 사분면에 속하는 반면, 임상 저널에 발표된 연구는 주로 에디슨의 사분면에 속한다,
  • (c) 파스퇴르의 사분면에 속하는 연구는 다른 세 사분면에 비해 인용률이 높고,
  • (d) 무사용, 무이론 사분면은 소수의 저품질 연구로 구성되며,
  • (e) 이 사분면은 다양한 연구 품질 지표와 관련이 있습니다.

We hypothesised that:

  • (a) rather than being divided between two different poles, medical education research spans from Bohr's quadrant across Pasteur's quadrant and to Edison's quadrant,
  • (b) research published in medical education journals predominantly falls into Bohr's quadrant, whereas research published in clinical journals predominately falls into Edison's quadrant,
  • (c) research that falls into Pasteur's quadrant achieves higher rates of citation compared with the other three quadrants,
  • (d) that the no-use, no-theory quadrant would comprise a small number of low-quality studies and
  • (e) that quadrant would be related to various indicators of research quality.

2 방법
2 METHODS

우리는 2018년에 발표된 무작위 의학교육 연구를 체계적으로 검토하여 Stokes의 프레임워크에 따라 분류하고 방법론적 엄격성, 보고 기준 및 저널 특성을 조사하여 신화적 분열을 조사했습니다. 
We conducted a systematic review of randomised medical education studies published in 2018 to classify them according to Stokes’ framework and explore their methodological rigour, reporting standards and journal characteristics in order to examine the mythic divide.

이 검토는 의학교육에서 검토를 수행하기 위한 권고사항27 에 따라 설계되었으며 PRISMA 가이드라인에 따라 보고되었습니다.28 우리는 다음과 같은 검토 질문에 답하는 것을 목표로 했습니다: 2018년에 발표된 무작위 의학교육 연구 표본에서, 연구는 스토크스 4분면에 어떻게 분포되어 있으며 방법론적 엄격성, 보고 기준 및 저널 특성은 어떻게 비교되는가?
The review was designed according to the recommendations for conducting reviews in medical education27 and reported according to the PRISMA guideline.28 We aimed to answer the following review question: In a sample of randomised medical education studies published in 2018, how are studies distributed across Stokes’ quadrants and how do their methodological rigour, reporting standards and journal characteristics compare?

연구 참여 자격
Eligibility

광범위한 의학교육 무작위 연구의 완전성을 보장하기 위해 광범위한 포함 기준을 사용했습니다. 2018년 1월 1일부터 2018년 12월 31일 사이에 출판된 연구를 포함시켰으며, 이를 통해 분석 전에 출판된 논문의 인용이 축적될 수 있는 기간을 조사했습니다. 의학교육과 관련된 모든 무작위 배정 연구를 포함했습니다. 의학교육 연구는 '의대생, 레지던트, 펠로우, 교수진 개발 또는 의사를 위한 평생 의학 교육과 관련된 모든 독창적인 연구'로 정의했습니다.29 이 정의에 따라 수의학, 간호학, 약학 및 치의학 교육 연구는 제외했습니다. 우월성 설계, 비열등성/동등성 설계, 평행군 연구, 교차 및 요인 설계 연구를 포함한 모든 유형의 설계를 포함했습니다. 의사 무작위 배정 연구는 제외되었지만 단순, 블록, 클러스터 무작위 배정 연구와 같은 모든 유형의 진정한 무작위 배정 연구는 포함되었습니다.  
We used broad inclusion criteria to ensure completeness of a wide range of randomised studies in medical education. We included studies published between 1 January 2018 and 31 December 2018, thereby examining a window within which citations of published papers would have had time to accumulate prior to our analysis. We included all randomised studies involving medical education. Medical education research was defined as ‘any original research study pertaining to medical students, residents, fellows, faculty development or continuing medical education for physicians’.29 Using this definition, veterinary, nursing, pharmacist and dental education studies were excluded. We included all types of designs, including superiority designs, non-inferiority/equivalence designs, parallel-group studies, cross-over and factorial design studies. Pseudo-randomised studies were excluded, whereas all types of true randomisation such as simple, block and cluster randomised studies were included.

검색 전략
Search strategy

검색 전략은 전문 사서의 도움을 받아 MEDLINE, Embase, CINAHL, PsychINFO, ERIC, Web of Science 및 Scopus에서 주요 용어를 검색하기 위해 개발되었습니다. 이러한 용어에는 의학교육과 관련된 무작위* 및 MeSH 용어(예: 교육, 전문가)에 대한 절단 검색이 포함되었습니다. 의학교육으로 분류되지 않은 연구(예: 보건 전문직 교육, 시뮬레이션, 학부 의학교육, 기술 강화 교육, 임상 추론, 기술 평가, 교육 전문가, 학생 보건 직업, 인턴십 및 레지던트, 교육과정 계획, 교육 방법, 자기 주도적 학습 등)도 검색에 포함되었습니다. 시뮬레이션 기반 의학 교육에 대한 최근 리뷰와 관심 기간에 발표된 연구의 저자 기록에 대한 참조 목록을 검색에 추가했습니다. 저자의 기록과 의학교육 연구를 자주 게재하는 학술지(Acad Med, Med Educ, AHSE, Med Teach, JAMA, Ann Surg, JGIM)를 직접 검색하여 온라인 검색에 가능한 한 많은 관련 무작위 연구를 포함시키기 위해 반복적인 방식으로 검색 전략을 구체화했습니다. 각 카테고리에 해당하는 연구 목록은 요청 시 제공됩니다. 
The search strategy was developed with the help of expert librarians to search MEDLINE, Embase, CINAHL, PsychINFO, ERIC, Web of Science and Scopus for key terms. These terms included truncated search on random* and MeSH terms relating to medical education (eg Education, Professional). Related domains were also included in the search to account for research not categorised under medical education (eg health profession education, simulation, undergraduate medical education, technology-enhanced education, clinical reasoning, skills assessment, education professional, student health occupation, internship and residency, curriculum planning, instructional method, self-directed learning, etc). We added reference lists of recent reviews in simulation-based medical education and authors’ records of studies published in the period of interest to the search. The authors’ own records and a hand-search through journals that often publish medical education research (Acad Med, Med Educ, AHSE, Med Teach, JAMA, Ann Surg, JGIM) were used to refine the search strategy in an iterative way to include as many relevant randomised studies as possible in the online search. A list of the studies falling into each category is available on request.

선정
Selection

확인된 모든 연구는 제목과 초록을 기준으로 저자 MGT와 LD가 개별적으로 심사하고, 점수를 쌍으로 비교하여 적격성을 결정했습니다. 제목이나 초록만으로는 적격성을 판단하기에 불충분한 경우 전문을 검토했습니다. 이견이 있는 경우 합의에 도달할 때까지 토론을 통해 해결했습니다. 
All identified studies were screened individually by the authors MGT and LD based on titles and abstracts and scores were compared in pairs to determine eligibility. The full text was reviewed when the title or abstract was insufficient for determining eligibility. Disagreement was solved by discussion until consensus was reached.

주요 개념의 운영 및 데이터 추출
Operationalisation of key concepts and data extraction

저자 MGT와 LD는 사전 정의된 코드북에 따라 포함된 모든 연구를 독립적으로 그리고 중복해서 검토했습니다. 
Authors MGT and LD worked independently and in duplicate to review all included studies based on a predefined codebook.

(가) 이론 (나) 교육 개념 및 (다) 교육 도구의 사용을 코딩했습니다.

  • 이론은 '세상을 이해하는 데 도움이 되는 개념 간의 관계에 대한 추상적인 설명'30으로 정의했습니다(예: 인지 부하 이론 또는 자기조절 학습 이론).
  • 교육 개념이론에서 파생된 아이디어 또는 원리(예: 숙달 학습 또는 분산 연습)로 정의했습니다.
  • 마지막으로 교육 도구는 특정 과제에 사용되는 도구 또는 장치(예: 시뮬레이션 또는 e-러닝)로 정의했습니다.

We coded the use of (a) theory (b) educational concepts and (c) educational instruments.

  • We defined theory as ‘an abstract description of the relationship between concepts that help us to understand the world’ 30; for example cognitive load theory or self-regulated learning theory.
  • Educational concepts were defined as ideas or principles derived from theory; for example mastery learning or distributed practice.
  • Finally, educational instruments were defined as tools or devices used for a particular task; for example simulation or e-learning.

포함된 연구를 수행하기 위한 실질적인 교육적 및 임상적 근거를 조사했습니다. 

  • 교육적 근거는 저자가 연구에서 특정 교육적 개입을 사용한 이유를 정당화할 수 있는 경우 존재하는 것으로 점수가 매겨졌습니다. 
  • 임상적 근거의 존재는 저자가 연구가 필요한 이유를 설명하는 데 도움이 되는 임상적 배경 섹션을 포함하면 있는 것으로 점수가 매겨졌습니다. 

이러한 조작을 사용하여 Stokes의 프레임워크에서 두 가지 축(임상 및 교육적 활용에 대한 고려 사항 대 지식의 발전)을 따라 연구를 코딩했습니다. 

  • 임상적 또는 교육적 근거가 포함된 연구는 오른쪽에 있는 두 사분면(에디슨 사분면 또는 파스퇴르 사분면) 중 하나로 분류되었습니다.
  • 교육적 개념이나 이론을 사용한 연구는 두 개의 위쪽 사분면(보어 사분면 또는 파스퇴르 사분면)으로 분류되었습니다.

We examined the practical educational and clinical rationale for conducting the included studies. The educational rationale was scored as present if authors justified why they used the specific educational intervention(s) in their study. The presence of a clinical rationale was scored as present if the authors included a clinical background section to help explain why the study was needed. Using these operationalisations, we coded studies along two axes (considerations for clinical and educational use vs advancement of knowledge) in Stokes’ framework.

  • Studies that included a clinical or educational rationale were classified in one of the two right-sided quadrants (Edison's or Pasteur's Quadrants).
  • Studies that used educational concepts or theory were classified in the two upper quadrants (Bohr's or Pasteur's Quadrants).

보고의 질과 방법론적 엄격성은 타당성 근거가 확립된 세 가지 도구를 사용하여 평가되었습니다: 임상시험 보고 통합 표준(CONSORT) 성명서,31 Jadad 척도,32 의학교육 연구 품질 도구(MERSQI) 척도.29 이 중 두 가지 도구는 무작위 임상시험을 위해 설계되었으며 생의학 연구 영역에서 유래한 반면(CONSORT 성명서 및 Jadad 척도), MERSQI는 의학교육 연구 방법을 평가하기 위해 설계되었습니다. 
Reporting quality and methodological rigour was assessed using three instruments with established validity evidence: The Consolidated Standards of Reporting Trials (CONSORT) statement,31 the Jadad scale,32 and the Medical Education Research Study Quality Instrument (MERSQI) scale.29 Two of these instruments were designed for randomised clinical trials and originated from within the biomedical research domain (CONSORT statement and the Jadad scale), whereas MERSQI was designed for evaluating medical education research methods.

  • CONSORT 성명서는 무작위 대조 연구의 불완전한 보고 문제를 완화하기 위해 1996년에 고안되어 2010년에 개정된 보고 지침입니다. 현재 대부분의 임상 저널에서 CONSORT 성명서를 지지하고 있으며, 제출된 모든 무작위 배정 연구에 대해 CONSORT 준수를 요구하고 있습니다. CONSORT 항목은 있음(점수 = 1점) 또는 없음(점수 = 0점)으로 채점되었습니다. 

The CONSORT statement is a reporting guideline designed in 1996 and revised in 2010 aimed at alleviating problems with incomplete reporting of randomised controlled studies. The CONSORT statement is now supported by the majority of clinical journals, in which adherence to CONSORT is a requirement for all submitted randomised studies. The CONSORT items were scored as present (score = 1) or absent (score = 0).

  • Jadad 척도는 무작위배정의 적절성, 맹검의 효과성, 연구 참여자 감소에 중점을 두고 임상시험의 방법론적 품질을 평가하기 위해 고안되었습니다. Jadad 척도의 최대 점수는 5점입니다.

The Jadad scale is designed for the assessment of methodological quality of clinical trials focusing on adequacy of randomisation, effectiveness of blinding and attrition of study participants. The maximum score on the Jadad scale is five.

  • MERSQI 척도의학교육 연구의 방법론적 강점을 평가하기 위해 특별히 개발되었습니다. 여기에는 사용된 평가 도구의 타당성 증거, 연구 유형, 응답률, 통계 분석의 적절성 및 사용된 결과의 분류와 관련된 항목이 포함됩니다.

The MERSQI scale is developed specifically for evaluating methodological strength of medical education research. It includes items relating to validity evidence of assessment instruments used as well as type of study, response rate, adequacy of statistical analyses and classification of outcomes used.

마지막으로 학술지 유형에 따라 학술지 특성을 코딩했습니다. 의학교육 연구만을 전문으로 하는 저널은 의학교육 저널로, 의학교육이 아닌 주제를 주로 다루는 저널은 임상 저널로 코딩했습니다. 예를 들어, 외과 교육 저널은 의학교육 저널로 코딩되었고 일반 내과학 저널은 임상 저널로 코딩되었습니다. 인용은 포함된 연구에 대해 기록되었으며 2020년 8월 5일에 업데이트되었습니다. 
Finally, journal characteristics were coded in terms of journal type. Journals specifically dedicated to medical education research were coded as such, whereas journals primarily focused on non-medical education topics were coded as a clinical journal. For example, the Journal of Surgical Education was coded as a medical education journal whereas Journal of General Internal Medicine was coded as a clinical journal. Citations were recorded for included studies and updated 5 August 2020.

저자 그룹은 5개의 무작위 의학교육 연구를 시범적으로 검토하고 코드북의 각 주요 용어와 도구를 사용하는 방법에 대한 합의에 도달할 때까지 평가에 대해 논의했습니다. 저자는 각 적격 연구에 독립적으로 점수를 매겼으며 점수를 쌍으로 비교했습니다. 의견 불일치는 토론을 통해 해결했습니다. 
The author group piloted five randomised medical education studies and discussed their ratings until reaching consensus on how to use each of the key terms and instruments in the codebook. Authors scored each eligible study independently and scores were compared in pairs. Disagreement was resolved by discussion.

데이터 분석
Data analyses

연구는 지식의 발전과 실제 사용에 따라 스톡스의 사분면으로 플롯되었습니다.
Studies were plotted into Stokes’ quadrants based on advancement of knowledge and practical use.

CONSORT 문항, 자다드 척도, MERSQI에 대한 합산 점수를 계산했습니다. (a) 저널 유형(임상/의학교육 저널), (b) 개념 또는 이론 포함 여부(예/아니오), (c) 임상/교육적 근거 사용 여부(예/아니오)의 주효과와 상호작용 효과를 세 가지 도구 각각에 대한 점수와 비교하기 위해 2x2x2 ANOVA를 실시했습니다.
Sum scores were calculated for the CONSORT statement, the Jadad Scale and the MERSQI. A 2x2x2 ANOVA was conducted to compare the main effects and interaction effects of (a) journal type (clinical/medical education journal), (b) inclusion of concepts or theory (yes/no) and (c) the use of a clinical/educational rationale (yes/no) on scores for each of the three instruments.

대조군 사용은 (a) 무중재 대조군 (b) A + B 대 A(무언가 + 무언가 대 무언가), (c) 활성 비교군 사용으로 분류했습니다.17 이 분류는 기존 중재에 '무언가'를 추가하는 변형을 포함한 무중재 대조군이 학습자의 학습 방법에 대한 일반적인 이해를 증진시키는 데 거의 도움이 되지 않는다는 기존 문헌의 합의에 근거했습니다.17 (a) 저널 유형(임상/의학교육 저널), (b) 개념 또는 이론 포함 여부(예/아니오), (c) 인용 횟수에 대한 임상/교육적 근거 사용 여부(예/아니오)의 주 효과와 상호작용 효과를 비교하기 위해 2 × 2 × 2 ANOVA를 실시했습니다.
The use of control groups was categorised into (a) no-intervention control group (b) A + B vs A (something + something vs something) and (c) use of active comparison groups.17 This categorisation was based on existing agreements in the literature that no-intervention control groups, including the variant of adding ‘something’ to existing interventions, often do little to advance our general understanding of how learners learn.17 A 2 × 2 × 2 ANOVA was conducted to compare the main effects and interaction effects of (a) journal type (clinical/medical education journal), (b) inclusion of concepts or theory (yes/no) and (c) the use of a clinical/educational rationale (yes/no) on number of citations.

평가자 간 일치도는 카파 통계를 사용하여 결정했습니다.
Inter-rater agreement was determined using kappa statistics.

3 결과
3 RESULTS

연구 흐름 및 기준 데이터
Study flow and baseline data

초기 검색에서 총 3224개의 잠재적 연구가 확인되었습니다. 중복을 제거한 후 2672개의 연구가 선별되었고, 이 중 150개의 연구가 포함 기준을 충족하여 분석되었습니다. 연구 선별 및 선정의 흐름도는 그림 2에 나와 있습니다.
A total of 3224 potential studies were identified from the initial search. After removing duplicates, 2672 studies were screened and of these, 150 met the inclusion criteria and were analysed. Flowchart of study screening and selection is shown in Figure 2.

주요 결과
Main findings

  • 가장 많은 수의 연구인 70건/150건(46.7%)이 실용적 기초 연구(파스퇴르 사분면)로 분류되었고,
  • 순수 응용 연구가 61건/150건(40.7%)으로 그 뒤를 이었습니다(에디슨 사분면).
  • 실제 교육이나 임상 적용을 염두에 두지 않고 지식을 발전시키는 것을 목표로 한 연구는 3건(150건/150(2.0%), 보어의 사분면)에 불과했습니다.
  • 나머지 16/150(10.7%)의 연구는 사용 없음, 이론 없음 사분면으로 분류되었습니다(표 1).

개념 및 이론 사용에 대한 카파값은 상당히 높았고(각각 κ = 0.71 및 0.69), 교육 및 임상적 근거에 대한 카파값은 보통이었습니다(각각 κ = 0.63 및 0.52). 
The highest number of studies, 70/150 (46.7%), were categorised as use-inspired basic research (Pasteur's Quadrant), closely followed by pure applied research, 61/150 (40.7%), Edison's Quadrant). Only three studies aimed to advance knowledge with no thought for practical educational or clinical application 3/150 (2.0%), Bohr's Quadrant). The remaining studies, 16/150 (10.7%), were categorised into the no-use, no-theory quadrant (Table 1). Kappa values for the use of concepts and theory were substantial (κ = 0.71 and 0.69, respectively) and moderate for educational and clinical rationale (κ = 0.63 and 0.52, respectively).

활성 대조군active control groups의 사용은 사분면에 따라 차이가 있었는데, 보어 사분면 3/3(100%), 파스퇴르 사분면 49/70(70%)으로 분류된 연구에서 가장 높은 비율을 보였고, 무사용, 무이론 사분면 10/16(63%), 에디슨 사분면 30/61(49%)로 가장 낮은 비율을 보였습니다(χ2(3) = 8.93, P = .03). 개념과 이론을 사용한 연구는 개념과 이론을 사용하지 않은 연구에 비해 활성 비교군을 사용할 가능성이 더 높았습니다(49/73(67.1%) 대 39/77(50.6%); χ2(1) = 8.46, P = .04, OR 2.0 (95% CI 1.0-3.9).
The use of active control groups differed across the quadrants with the highest proportion in studies categorised in Bohr's, 3/3 (100%) and Pasteur's quadrants, 49/70 (70%) and lowest in the no-use, no-theory quadrant, 10/16 (63%) and Edison's quadrant, 30/61 (49%); χ2(3) = 8.93, P = .03. Studies that used concepts and theory were more likely to use active comparison groups compared with those that did not use concepts and theory, 49/73 (67.1%) vs 39/77 (50.6%); χ2(1) = 8.46, P = .04, OR 2.0 (95% CI 1.0-3.9).

사분면에 걸친 연구 분포는 의학교육 저널임상 저널 간에 각각 유의미한 차이가 있었습니다(χ2(3) = 12.89, P = .005, 표 1). 교육 개념과 이론을 포함하는 연구의 비율은 임상 학술지와 의학교육 학술지 간에 차이가 있었습니다: 각각 45/111(40.5%) vs 28/39(71.8%); χ2(1) = 9.79, P < .001, OR = 3.92 (95% CI 1.61-9.52). 실제 교육적 또는 임상적 근거를 포함하는 연구의 비율은 임상 학술지 97/111(87.4%) 대 의학교육 학술지 34/39(87.2%); χ2(2) = 0.002, P = .99로 학술지 간 차이가 없었으며, χ2(2) = 0.002, P = .99로 나타났습니다. 
The distribution of studies across the quadrants was significantly different between medical education journals and clinical journals, respectively; χ2(3) = 12.89, P = .005, Table 1. The proportion of studies that included educational concepts and theory differed between clinical journals compared with medical education journals: 45/111 (40.5%) vs 28/39 (71.8%) respectively; χ2(1) = 9.79, P < .001, OR = 3.92 (95% CI 1.61-9.52). There were no differences between journals with regard to the proportion of studies that included a practical educational or clinical rationale; clinical journals 97/111 (87.4%) vs medical education journals 34/39 (87.2%); χ2(2) = 0.002, P = .99.

인용 횟수에 대한 저널 유형(F(1,142) = 0.03, P = .86), 이론(F(1,142) = 0.08, P = .78) 또는 실제 사용(F(1,142) = 0.09, P = .78)에 대한 유의미한 주 효과는 없었습니다(표 2). 이러한 변수 간의 상호작용도 통계적으로 유의미하지 않았습니다. 
There were no significant main effects for journal type (F(1,142) = 0.03, P = .86), theory (F(1,142) = 0.08, P = .78) or practical uses (F(1,142) = 0.09, P = .78) on number of citations (Table 2). Nor were any interactions between these variables statistically significant.

이론을 포함할 경우 CONSORT 점수가 약간 높았지만 유의미하게 높았습니다. 그러나 그 외에는 저널 유형, 이론 및 실제 사용 여부가 CONSORT, Jadad 및 MERSQI 점수에 미치는 유의미한 주효과나 상호작용은 없었습니다(표 3). 세 평가 도구의 개별 항목에 대한 카파값은 매우 다양했습니다: CONSORT κ 범위 0.12~1.00, Jadad κ 범위 0.61~0.73, MERSQI κ 범위 0.28~0.79.

  • 성과가 단순한 항목은 카파 값이 높았습니다(예: '제목에서 무작위 임상시험으로 식별' κ = 0.92).
  • 해석의 여지가 있는 항목의 경우 낮은 카파 값이 일반적이었습니다(예: '각 그룹의 중재에 대한 설명이 복제할 수 있을 만큼 충분히 상세함', κ = 0.12).

The inclusion of theory was associated with slightly but significantly higher CONSORT scores. Otherwise, however, there were no significant main effects or interactions for journal type, theory and practical uses on CONSORT, Jadad and MERSQI scores (Table 3). Kappa values from the individual items on the three assessment instruments varied widely: CONSORT κ range 0.12-1.00; Jadad κ range 0.61-0.73; MERSQI κ range 0.28-0.79.

  • Items with simple outcomes had high kappa values (eg ‘identification as randomised trial in title’ κ = 0.92).
  • Low kappa values were common for items that were open for interpretation (eg ‘description of interventions in each group with sufficient detail to allow replication’, κ = 0.12).

4 토론
4 DISCUSSION

무작위 연구 표본을 검토한 결과, 의학교육 연구의 두 가지 주요 극으로 나뉜다는 신화를 뒷받침할 만한 증거를 찾지 못했습니다. 초기 가설과는 달리, 표본으로 추출한 무작위 연구의 대부분은 파스퇴르와 에디슨의 사분면에 속했습니다. 따라서 의학교육 연구가 '상아탑 이론가'와 '현장 실무자'로 대표되는 상반된 두 극으로 구성되어 있다는 견해는 의학교육 실험 연구에 대해서는 더 이상 유지될 수 없습니다. 오히려 [이론과 교육 개념의 사용]과 관련하여 임상 학술지와 의학교육 학술지에 게재된 연구 사이에 틈새가 존재하는 것으로 보입니다. 
In reviewing a sample of randomised studies, we found no evidence to support the myth of a divide between two main poles of medical education research. Contrary to our initial hypothesis, the majority of sampled randomised studies fell into Pasteur's and Edison's Quadrants. Thus, the view that medical education research consists of two opposing poles represented by ‘ivory tower theorists’ and ‘in-the-trenches practitioners’ cannot be upheld for experimental research in medical education. Rather, it seems that if any cleft exists, it is between studies published in clinical journals and medical education journals with respect to their use of theory and educational concepts.

[임상 학술지는 대부분 비이론적 연구를 발표한다]는 가정은 의학교육 분야에서 오랫동안 널리 받아들여져 온 생각입니다.4-6, 9, 18, 33 우리의 데이터에 따르면 이 개념에 어느 정도 진실이 있는 것 같습니다. 이는 공식적인 의학교육 교육을 받지 않은 임상의 독자, 연구자 및 편집자에게 교육 이론은 접근하기 어려운 것으로 간주될 수 있다는 점을 반영할 수 있습니다.5 
The assumption that clinical journals publish largely non-theoretical research is a long-standing and widely held idea in medical education.4-6, 9, 18, 33 Based on our data, it seems that there is some truth to this notion. This may reflect that educational theory may be considered inaccessible to clinician readers, researchers and editors who have not received any formal medical education training.5

의학교육 연구가 '열악한 관계the poor relation'라는 주장은 임상 저널에서 여러 번 반복되어 왔습니다.29, 34 종종 임상 영역 내에서 개발된 보고 지침 및 방법에 대한 낮은 준수가 연구 품질이 좋지 않다는 증거로 사용되었습니다.34 본 표본의 CONSORT 성명서 준수는 의학교육 영역 내35 및 외부의 이전 보고서와 유사했습니다.36 확실히 개선의 여지가 있지만, 의학교육의 실험 연구가 임상 영역 내 연구보다 특별히 나쁘다는 징후는 보이지 않습니다. 임상과 의학교육 학술지 간에 CONSORT, Jadad 또는 MERSQI 점수에 차이가 없다는 것은 방법론 및 보고 품질이 특정 학문의 전통에 의해 독점되지 않는다는 것을 시사합니다. 오히려 이론을 포함한 연구는 활성 대조군을 사용할 가능성이 더 높았으며, 이론을 포함하지 않은 연구보다 CONSORT 점수가 약간 더 높았습니다. 따라서 이론의 포함 여부가 실험적 의학 교육 연구의 질을 나타내는 지표가 될 수 있다는 경험적 증거가 있습니다. 
The claim that medical education research is ‘the poor relation’ has been echoed in clinical journals a number of times.29, 34 Often, the low adherence to reporting guidelines and methods developed within the clinical domain has been used as evidence of poor research quality.34 Adherence to the CONSORT statement in our sample was similar to previous reports within35 and outside the domain of medical education.36 Although there is certainly room for improvement, there are no indications that experimental research in medical education is particularly worse than its counterparts within the clinical domain. Finding no differences in CONSORT, Jadad or MERSQI scores between clinical and medical education journals suggests that methodological and reporting quality is not monopolised by any specific disciplinary tradition. If anything, studies including theory were more likely to use active control groups and they received slightly higher CONSORT scores than studies failing to include theory. As such, there is some empirical evidence that the inclusion of theory may be an indicator of quality in experimental medical education research.

표본에 포함된 연구를 이론, 실습 또는 두 가지 모두의 발전을 목표로 하는지 여부에 따라 Stokes의 4사분면에 따라 분류했을 때,19 전체 연구의 약 11%가 [비-활용, 비-이론 사분면]에 속하는 것으로 나타났습니다. 이 사분면은 품질이 낮은 연구 표본을 대표할 것으로 예상했지만 평균 인용 횟수는 다른 세 사분면의 연구와 다르지 않았습니다(표 2). 스토크스는 이 사분면의 존재를 예측하면서 이 사분면이 '일반적인 설명 목적이나 응용 용도를 고려하지 않고 특정 현상을 체계적으로 탐구하는 연구'를 대표할 것이라고 추측했습니다. 스톡스에 따르면, 무사용, 무이론 사분면의 연구는 보어와 에디슨의 사분면 연구의 중요한 선구자가 될 수 있다고 합니다
When classifying the studies in our sample according to Stokes’ four quadrants in terms of whether they aim to advance theory, practice, or both,19 we found that about 11% of all studies fell into the no-use, no-theory quadrant. We expected this quadrant to represent a sample of low-quality studies but found an average citation count that was no different from studies in the other three quadrants (Table 2). Stokes predicted the existence of this quadrant and speculated that it would represent research that systematically ‘explores particular phenomena without having in view general explanatory objectives or any applied use’. According to Stokes, studies in the no-use, no-theory quadrant could be important precursors for research in Bohr's and Edison's quadrants.

이렇게 제안된 지식과 아이디어의 확산은 [탐구하는 근본 현상을 설명하는 데 도움이 되는 이론의 필요성을 강조하는 고품질 연구를 수행하는 방법]이라는 기존의 견해와 다릅니다.10, 35 그러나 지식과 아이디어가 학문적 사일로 안에 숨어 있지 않다는 증거가 늘어나고 있으며37, 아이디어의 확산이 미리 정의된 도그마를 따라야 한다고 믿을 이유가 거의 없습니다. 연구의 가치는 [실용적이냐 이론적이냐의 구별]에 있지 않을 수 있으며,19 양극단을 만들고 신화를 강화하려는 이러한 시도는 의학교육의 연구 질에 대한 논의에 역효과를 가져오는 경향이 있기 때문입니다.9 오히려 우리는 연구가 얼마나 새로운 아이디어와 지식을 분야 전체에 잘 전달하는지 고려해야 합니다.7 예를 들어 최근 데이터 과학의 발전이 제공하는 미래의 무사용, 무이론 4분면 연구는 명확한 이론적 틀이나 실용적 근거가 부족하더라도 의학교육 연구 분야에 유용한 통찰을 제공할 수 있습니다.38 

This proposed spread of knowledge and ideas differs from existing views on how to conduct high-quality research, which emphasise the need for theory to help explain the underlying phenomena being explored.10, 35 However, there is growing evidence that knowledge and ideas do not stay hidden inside disciplinary silos37 and there is little reason to believe that spread of ideas need to follow predefined dogmas. The value of research may not lie in the distinction of whether or not it has a practical or a theoretical scope,19 as such attempts to create poles and reinforce myths tend to be counter-productive to the conversation on research quality in medical education.9 Rather, we may need to consider how well studies bring forward new ideas and knowledge to the field as a whole.7 For example, future no-use, no-theory quadrant research provided by recent advances in data science may offer valuable insights to the field of medical education research despite lacking explicit theoretical frameworks or practical rationales.38

이 검토에는 몇 가지 한계가 있음을 인정합니다. 첫째, 표본은 무작위 연구로 제한되었는데, 이는 발표된 의학교육 연구의 일부에 불과하며 '상아탑'에 속한다고 비난받을 가능성이 가장 높은 연구 유형을 반영하지 못할 수 있습니다. 이 리뷰에서는 실험적 의학교육 연구의 관점에서 이론과 실제적 근거의 사용을 검토했으며, 연구 결과가 의학교육 연구의 다양한 스펙트럼을 모두 반영하지 못한다는 점을 충분히 인정합니다. 무작위 배정 연구에 초점을 맞춘 이유는 이러한 연구가 생산자를 위한 생산(Production for Producers) 극과 사용자를 위한 생산(Production for Users) 극의 연구 사이의 긴장을 대표할 가능성이 높기 때문에 의학교육의 연구 품질에 대한 기존의 통념을 면밀히 조사할 수 있기 때문이었습니다. 모든 유형의 연구 방법을 검토에 포함하지는 않았지만, 이는 더 연구할 가치가 있는 경험적 문제입니다. 
We acknowledge some limitations to this review. First, the sample was limited to randomised studies, which only represent a small corner of published medical education research and may not reflect the types of research that are most likely to be accused of belong in the ‘ivory tower’. In this review, we examined the use of theory and practical rationale from the perspective of experimental medical education research, fully acknowledging that our findings do not apply the diverse spectrum of medical education research. The rationale for focusing on randomised studies was that these studies were likely to represent tensions between research at the Production for Producers pole as well as the Production for Users pole and thereby allow us to scrutinise existing myths on research quality in medical education. Although we did not include all types of research methods in our review, this is an empirical issue that is worth studying further.

둘째, 학술지를 의학교육과 임상 학술지로 구분했는데, 이는 일부 의학교육 학술지는 다른 학술지(예: Advances in Health Sciences Education)보다 임상 적용에 더 중점을 두는 반면, 임상 학술지는 의학교육 논문을 많이 게재하는 학술지(예: Journal of General Internal Medicine)부터 그렇지 않은 전문 학술지까지 다양하기 때문에, 단순화했다고 볼 수 있습니다. 또한 인용 횟수를 저널 지표로 사용했는데, 이는 여러 가지 이유로 비판을 받을 수 있으며, 가장 중요한 것은 서로 다른 학문 분야 간에 쉽게 비교할 수 없다는 점입니다.39, 40 그럼에도 불구하고 인용 횟수는 여전히 출판사와 저자 모두에게 관심의 대상이며, 이러한 이유로 그 한계를 고려할 때 여전히 고려할 만한 가치가 있습니다. 
Second, we divided journals into medical education and clinical journals, which is a simplification as some medical education journals are clearly more focused on clinical applications (eg Journal of Surgical Education) than others (eg Advances in Health Sciences Education) whereas clinical journals may range from those publishing large number of medical education papers (eg Journal of General Internal Medicine) to specialty journals that do not. Moreover, we used citations as journal metrics, which may be criticised for a number of reasons, most importantly for not being easily comparable between different academic areas of research.39, 40 Nonetheless, citations are still a matter of interest for both publishers and authors and for these reasons they remain relevant to consider given their limitations.

마지막으로, 이 검토에 사용된 보고 및 품질 체크리스트의 일부 항목에서 평가자 간 신뢰도가 낮았습니다. 가장 낮은 카파 점수를 받은 항목은 해석의 여지가 가장 많은 항목이었으며, 이는 최근의 유사한 검토 결과와 일치합니다.35 
Finally, the inter-rater reliability was low for some items in the reporting and quality checklists used in this review. The items that received the lowest kappa scores were the ones that were most open to interpretation, which is consistent with recent similar reviews.35

5 결론
5 CONCLUSION

무작위 설계를 사용한 대규모 연구 표본에서 '상아탑 연구'와 '현장 실무'로 대표되는 의학교육 연구의 양 극단에 대한 신화를 뒷받침할 증거를 찾지 못했습니다. 임상 학술지에 실린 무작위 연구 중 이론이나 교육 개념을 사용한 연구는 절반도 되지 않아 임상 학술지의 비이론적 의학교육 연구에 관한 일반적인 가정을 확인했습니다. 잘 응용된 의학교육 연구와 이론적 의학교육 연구가 서로에게 얼마나 많은 정보를 제공하는지, 그리고 의학교육 연구를 게재하는 학술지 간의 사일로 효과를 피하는 방법을 명확히 하기 위한 노력이 필요합니다. 
We found no evidence to support the myth of a divide in medical education research between two poles represented by ‘ivory tower research’ and ‘in-the-trenches practice’ in a large sample of studies using randomised designs. We did confirm prevailing assumptions regarding non-theoretical medical education research in clinical journals as less than half of the randomised studies in these journals made any use of theory or educational concepts. Efforts are needed to clarify how well-applied and theoretical medical education research inform each other and how to avoid silo effects between scientific journals publishing medical education research.

 


Med Educ. 2021 Mar;55(3):328-335. doi: 10.1111/medu.14373. Epub 2020 Oct 19.

The myth of ivory tower versus practice-oriented research: A systematic review of randomised studies in medical education

Affiliations collapse

Affiliations

1Department of Obstetrics, Juliane Marie Centre, Copenhagen University Hospital Rigshospitalet, Copenhagen, Denmark.

2Copenhagen Academy for Medical Education and Simulation (CAMES), Rigshospitalet, Copenhagen, Denmark.

3The Wilson Centre, University Health Network, Toronto, ON, Canada.

4Department of Family & Community Medicine, University of Toronto, Toronto, ON, Canada.

5Allan Waters Family Simulation Centre, St. Michael's Hospital, Unity Health Toronto, Toronto, ON, Canada.

6Department of Medicine, University of Toronto, Toronto, ON, Canada.

7Centre for Health Science Education, Faculty of Health, Aarhus University, Aarhus C, Denmark.

PMID: 32935373

DOI: 10.1111/medu.14373

Abstract

Context: A long-standing myth in medical education research is a divide between two different poles: research aiming to advance theory with little focus on practical applications ('ivory tower' research) and practically oriented research aiming to serve educators and decision-makers with little focus on advancing theory ('in-the-trenches' practice). We explored this myth in a sample of randomised medical education studies using Stokes' four-quadrant framework for the classification of research perspective.

Methods: We searched MEDLINE, Embase, CINAHL, PsychINFO, ERIC, Web of Science and Scopus for studies in medical education using a randomised design that were published between 1 January 2018 and 31 December 2018. We used Stokes' four-quadrant framework to categorise the studies according to their use of theory, concepts and their justification for practical use. We compared medical education research published in medical education journals and clinical journals.

Results: A total of 150 randomised studies were included in the analysis. The largest segment of studies (46.7%) was categorised as use-inspired basic research (Pasteur's Quadrant), closely followed by pure applied research (40.7%, Edison's Quadrant). Only a few studies were categorised as aiming to advance knowledge with no thought for practical educational application (2.0%, Bohr's Quadrant). The proportion of studies that included educational concepts and theory differed according to publication in clinical journals or medical education journals: 40.5% vs 71.8%, respectively, P < .001. There were no differences between journals with regard to the proportion of studies that included a practical educational or clinical rationale (P = .99).

Conclusion: In a large sample of studies using randomised designs, we found no evidence to support the myth that medical education research divides between two singular poles represented by 'ivory tower research' and 'in-the-trenches practice'. We did confirm prevailing assumptions regarding an emphasis on non-theoretical medical education research in clinical journals.

+ Recent posts