테크니컬 어려움: 테크놀로지에 대한 비판적 철학적 지향 가르치기(Teach Learn Med, 2023)
Technical Difficulties: Teaching Critical Philosophical Orientations toward Technology (Teach Learn Med, 2023)
Benjamin Chin-Yeea , Laura Nimmonb and Mario Veenc

 

소개
Introduction

우리는 흔히 테크놀로지가라고 하면 '최첨단' 혁신과 '최첨단' 기계를 떠올립니다. 하지만 오늘날 우리의 일상 환경을 구성하는 대부분의 사물과 관행이 인류 역사상 한때는 혁신적인 테크놀로지가었다는 사실을 깨닫게 되면 냉정해집니다. 예를 들어 손씻기는 한때 글로벌 의료 분야에서 괄목할 만한 테크놀로지 혁신이었습니다. 지금 전 세계적인 팬데믹 상황에서 비누, 디스펜서, 흐르는 물, '손 위생'과 관련된 테크놀로지 및 습관을 포함하는 이 테크놀로지를 사용할 수 없거나 사용할 수 없다고 상상해 보세요. 1840년대 유럽 전역에서 "교수, 조교, 학생들은 종종 시체 해부부터 첫 진료소의 환자 진찰까지 직접 수행했습니다."1(164쪽) 미국에서도 1980년대에 이르러서야 최초의 국가적 손씻기 지침이 등장했습니다.  
When we think of technology, we often think of ‘cutting-edge’ innovations and ‘state-of-the-art’ machines. However, it is sobering to realize that, today, most of the objects and practices that make up our day-to-day environment were at one point in human history innovative technologies. For example handwashing was at one time a remarkable technological innovation in global healthcare. Imagine if now, in the context of a global pandemic, this technology—which includes soap, a dispenser, running water, and the associated skills and habits of ‘hand hygiene’—were not available or acceptable to us. Across Europe in the 1840s, “professors, assistants and students often went directly from dissecting corpses to examining patients in the first clinic.”1(p164) Even in the United States, it was not until the 1980s for the first national handwashing guidelines to emerge.

1970년대와 1980년대에 개발되어 현재 선진국에서 보편화된 전자 건강 기록(EHR)은 오늘날 당연하게 여겨지는 혁신적인 의료 테크놀로지의 보다 현대적인 예입니다. EHR은 의료진에게 환자에 대한 외부 메모리를 제공하여 환자를 만나기 전에 의료 및 사회 이력부터 임상 및 실험실 데이터에 이르기까지 풍부한 정보에 액세스할 수 있도록 합니다. EHR이 많은 국가에서 임상 진료 환경을 재편한 것처럼, 코로나19 팬데믹으로 인한 eHealth 및 원격 의료의 급속한 확장은 저자들이 위치한 캐나다와 네덜란드에서 환자-의사 관계의 본질을 재정의하고 있습니다.2 
The development of the Electronic Health Record (EHR) in the 1970s and 1980s that is now ubiquitous in developed countries is a more modern example of a transformative healthcare technology that is often taken for granted. The EHR provides practitioners with external memory about the patient, enabling access to a wealth of information from medical and social history to clinical and laboratory data, before encountering the patient. Just as the EHR reshaped the clinical encounter in many countries, the rapid expansion of eHealth and telemedicine engendered by the COVID-19 pandemic are redefining the nature of the patient-physician relationship in Canada and the Netherlands where the authors are situated.2

한 가지 문제는 무엇이 '좋은' 테크놀로지로 간주되는지가 특정 지역의 접근성, 리소스 및 인프라와 같은 문제에 따라 달라진다는 것입니다. 캐나다와 네덜란드의 저자로서 우리는 우리 자신의 위치와 글로벌 북부의 연구자 및 임상의로서의 관점이 이러한 특정 맥락에서 많은 국가에 존재하는 의료 테크놀로지에 초점을 맞추게 만들 수 있음을 인정합니다. 우리는 이러한 제한된 관점이 세계 다른 곳에서 직면한 독특한 테크놀로지적 과제를 다루지 못한다는 것을 잘 알고 있습니다. 
One challenge is that what counts as ‘good’ technology depends on issues such as accessibility, resources and infrastructure of a particular location. As authors from Canada and The Netherlands we acknowledge our own positionality, and how our perspectives as researchers and clinicians from the Global North may cause us to focus on healthcare technology as it exists in many countries in this particular context. We are aware that this limited perspective does not address distinctive technological challenges faced elsewhere in the world.

현대에는 테크놀로지를 기계와 연관 짓는 경향이 있지만, 인간은 불 피우기, 부싯돌 도구, 동굴 예술이 발명된 이래로 테크놀로지적 존재였습니다.3 약초를 으깨는 초보적인 절구, 부러진 뼈를 고치는 점토 깁스, 선사 시대부터 내려오는 침술의 증거 등 의학(인간을 지원하고 치유하는 예술)은 항상 테크놀로지적 환경 속에 존재해왔고 진화하는 테크놀로지를 통해 가능했습니다. 약물(페니실린에서 mRNA 백신까지), 의료 도구(외과 의사의 메스에서 로봇 보조 수술까지), 진단 도구(반사 망치에서 자기 공명 영상까지), 통신 도구(회전 전화기에서 화상 회의까지)는 현대 의학을 발전시키기 위해 진화한 테크놀로지의 예입니다.
In our modern age, we tend to associate technology with machines; however, human beings have been technical beings since the invention of fire-making, flint tools, and cave art.3 With rudimentary mortars for smashing medicinal herbs, clay casts for mending broken bones, and evidence for trephination dating back to prehistoric times, the practice of medicine (the art of supporting and healing human beings) has always existed within and been enabled by an evolving technical environment. Medication (from penicillin to mRNA vaccines), medical tools (from the surgeon’s scalpel to robot-assisted surgery), diagnostic instruments (from the reflex hammer to magnetic resonance imaging) and communication tools (from the rotary phone to videoconferencing) are examples of technologies that have evolved to improve modern medicine.

테크놀로지와 파마콘의 철학
Philosophy of technology and the pharmakon

의학교육의 철학에 관한 이 시리즈에서는 테크놀로지가 단순히 공학과 윤리의 문제가 아니라 철학적 이슈를 구성하는 방식이 불분명하게 보일 수 있습니다. 그러나 테크놀로지는 플라톤과 아리스토텔레스 이래로 논쟁의 대상이 되어 왔으며, 플라톤은 (당시 현대의) 글쓰기 테크놀로지를 '파르마콘'이라고 비난했습니다.4 [연설문을 작성하는 것]이 거의 완벽한 실행을 유도하는 동시에 잠재된 기억 능력을 약화시키는 방법을 생각해 보십시오. 파마콘의 철학적 개념은 테크놀로지가 약과 같이 약이 되기도 하고 독이 되기도 한다는 것을 나타냅니다.4,5 테크놀로지는 치료 잠재력을 가질 수 있지만 (외과의의 메스처럼) 해를 끼치지 않도록 주의해야 합니다. 이후 몇몇 철학자들은 이러한 테크놀로지의 특성을 확장하여 기억력이나 수작업 테크놀로지와 같은 인간의 능력을 외부화했습니다.3,6 
In this series on philosophy in medical education, it may seem unclear how technology constitutes a philosophical issue rather than just matter for engineering and ethics. However, technology has been a contested issue since Plato and Aristotle, with Plato lambasting the (then modern) technology of writing as a “pharmakon”.4 Consider how while writing a speech guides its near perfect execution, it also erodes the latent ability to remember. The philosophical concept of the pharmakon denotes how technology, like a medicine, can be both a potion and poison.4,5 It can have curative potential but (like the surgeon’s scalpel) requires care to avoid causing harm. Several philosophers have since expanded on this nature of technology to exteriorize human abilities such as memory and manual skills.3,6

화상 회의는 최근 파마콘의 한 예입니다. 팬데믹 기간 동안, 특히 자원이 풍부한 국가에서 화상 회의는 의료 서비스 제공자가 시각적 진단을 사용할 수 있게 해주었습니다. 이러한 상황에서 팬데믹이 10년 전에 발생했다면 의사는 환자의 목소리에서 나오는 데이터와 단서에만 의존해야 했을 것입니다. 현대 테크놀로지는 이전에는 불가능했을 환자 치료의 가능성을 제공했습니다. 원격 상담의 효율성을 고려할 때 현재 많은 초기 상담이 영상으로 이루어지고 있습니다.2 언젠가는 이러한 상담이 자동화되거나 인공지능(AI)에 아웃소싱될 수도 있습니다.7 그러나 이로 인해 대면 의사와 환자 간의 관계에 예상치 못한 부작용이 발생할 수 있다는 의문이 제기되고 있습니다. 많은 연구에서 의사 소통,8 공감,9 연결, 직관10,11이 진단 및 환자 순응도에 긍정적인 영향을 미친다는 사실이 입증되었습니다.12 
Videoconferencing is a recent example of a pharmakon. During the pandemic, particularly in resource-rich countries, videoconferencing has enabled healthcare providers to use visual diagnosis. Whereas, in these contexts, if the pandemic had happened a decade earlier, physicians would have had to rely on just the data and cues from the patient’s voice. Modern technology provided a possibility for patient care that would not otherwise have existed. Given the efficiency of remote consultations many initial consultations are now video-mediated.2 Perhaps one day these consultations will be automated or outsourced to artificial intelligence (AI).7 However, this raises questions about what unforeseen side-effects this would this have on those qualities that we associate with the face-to-face doctor-patient relationship. Many studies have demonstrated that communication,8 empathy,9 connection, and intuition10,11 have a positive impact on diagnosis and patient adherence.12

테크놀로지의 응용 철학
Applied philosophy of technology

20세기에 테크놀로지철학은 테크놀로지 평가, 과학테크놀로지 연구, 사회물질성과 같은 이론적 지향에 적용되었습니다.13 이러한 지향은 예를 들어, 신흥 (의료) 테크놀로지의 사회적 이익과 단점을 평가하는 방법에 관한 문제와 관련이 있습니다.14 지난 수십 년 동안 테크놀로지 혁신의 가속화와 테크놀로지가 우리 삶에 미치는 영향에 힘입어 테크놀로지철학은 한 분야로 확장되었습니다. 
In the twentieth century, philosophy of technology has been applied in Technology Assessment, Science and Technology Studies, and theoretical orientations such as sociomateriality.13 These orientations concern themselves with, for instance, the question of how to assess the societal benefits and drawbacks of emergent (medical) technologies.14 In the past few decades, philosophy of technology has expanded as a field by virtue of the acceleration of technological innovation and how technology is impacting our lives.

혁신은 시대를 막론하고 존재하지만, 오늘날 의료 분야는 테크놀로지 혁신의 가속화로 전례 없는 도전에 직면해 있습니다. 히포크라테스 시대에는 매 세기마다, 알렉산더 플레밍 시대에는 10년마다 획기적인 혁신이 있었을 것입니다. 디지털 테크놀로지가 부상한 이후에는 혁신이 매일 배가되는 것처럼 보입니다. 예를 들어 1980년대에는 개인용 컴퓨터가 도입된 후 많은 의사들의 진료실에 등장하기까지 많은 시간이 걸렸습니다. 그리고 이러한 가속화로 인해 테크놀로지 사용에 익숙해지고 테크놀로지와 의료의 '인간적 측면'의 관계를 포함하여 환자 치료에 미치는 영향을 비판적으로 평가할 시간도 부족해졌습니다. 
Innovation is of all ages, but today health care faces unprecedented challenges with accelerating technological innovation. In the time of Hippocrates, there might have been a groundbreaking innovation every century and in the time of Alexander Fleming, every decade. Since the rise of digital technologies it seems that innovations multiply on a daily basis. For example, in the 1980s, there was plenty of time between the introduction of the Personal Computer and its appearance in many doctors’ consultation rooms. And with this acceleration, there is also insufficient time to become literate in using a technology and to critically evaluate its impact on patient care, including the relationship between technology and the ‘human side’ of medicine.

혁신의 가속화와 새로운 테크놀로지를 숙달하고 숙고하는 시간 단축은 테크놀로지가 환자와 의사의 관계에 개입하는 정도에 따라 더욱 절실해집니다. 이러한 가속화 속도는 줄어들지 않고 있으며, 이는 어떤 테크놀로지가 미래에 의학에 큰 영향을 미칠지 예측하는 것이 거의 불가능하다는 것을 의미합니다. 가상 진료 플랫폼부터 빅 데이터와 AI에 이르기까지 현재 우리가 보고 예측하는 테크놀로지에 대해서는 수련의들에게 교육할 수 있습니다. 하지만 매년 줄어들고 있는 우리의 예측 지평을 넘어서는 미래 테크놀로지에 대해서는 교육할 수 없습니다. 
The acceleration of innovation and the reduction of time to master and reflect on emerging technologies is made even more urgent by the degree to which technology intervenes in patient-physician relationships. This acceleration isn’t slowing down, which means that it is almost impossible to predict which technologies will have a major impact on medicine in the future. We can educate trainees on the technologies that we see and foresee today, from virtual care platforms to Big Data and AI. However, we cannot educate them on future technologies beyond our horizon of anticipation which is shrinking every year.

현재 대부분의 의료 교육 연구는 교육과 진료에 구현된 기존 테크놀로지에 초점을 맞추는 경향이 있습니다.15-17 그러나 이미 널리 퍼져 있고 미래에 기반한 테크놀로지의 영향을 평가하는 데에는 내재적인 어려움이 있습니다. 여기서 우리는 응용 테크놀로지 철학, 특히 테크놀로지 평가와 사회물질성에서 얻은 통찰력이 특히 유용할 수 있다고 믿습니다. 
At present time, most medical education research tends to focus on existing technologies implemented in education and practice.15–17 There are, however, inherent challenges assessing the impact of something that is both pervasive and future-based. Here we believe that insights from applied philosophy of technology, specifically from Technology Assessment and sociomateriality, can be especially valuable.

테크놀로지 인공물, 테크놀로지 및 테크놀로지
Technical artifacts, techniques, and technics

이러한 방향성이 기여할 수 있는 첫 번째 영역은 테크놀로지를 둘러싼 언어를 명확히 하는 것입니다. 교육학에서 '학습'과 마찬가지로,18 '테크놀로지'이라는 단어는 부정확합니다. 우리는 이미 이 단어를 기계, 글쓰기, 역사 공부와 같은 테크놀로지를 지칭하는 데 사용했습니다. 이 논문에서는 테크놀로지를 세 가지 '수준'으로 구분합니다. 
The first area in which these orientations can contribute is in clarifying the language surrounding technology. Like ‘learning’ in educational science,18 the word ‘technology’ is imprecise. We have already used it to refer to machines, to writing, and to skills such as history-taking. In this paper, we distinguish between three ‘levels’ of technology.

첫 번째는 연필, 스마트폰, 의자 등 테크놀로지적 인공물의 수준입니다. 테크놀로지 아티팩트는 항상 집합체입니다: 'EHR'은 소프트웨어 코드, 컴퓨터 칩, 화면의 집합체입니다. EHR이 다양한 테크놀로지로 구성되어 있는 것처럼 다른 테크놀로지의 전체 네트워크에 내장되어야만 작동할 수 있습니다(19세기 병원이나 심지어 정전이 빈번하거나 예측할 수 없는 21세기 병원에서 EHR이 얼마나 쓸모없을지 상상해 보세요). 
The first is the level of technical artifacts: pencils, smartphones, chairs, and so on. Technical artifacts are always assemblages: ‘the EHR’ is an assemblage of software code, computer chips, screens. Just as the EHR consists of many different technologies, so it can only function if embedded in a whole network of other technologies (just imagine how useless an EHR would be in an 19th century hospital, or even a 21st century hospital in a location with frequent or unpredictable power outages).

두 번째 수준의 테크놀로지는 테크닉technique이라고 부르는 것이 더 적절할 수 있습니다. 테크니컬 아티팩트는 테크놀로지의 표현입니다. 예를 들어 인공 지능은 소프트웨어 프로그래밍 및 전기 공학과 마찬가지로 테크놀로지입니다. 그러나 테크닉에는 인간의 스킬도 포함됩니다. EHR은 임상 진료의 맥락에서 작동하기 위해 디지털 테크닉뿐만 아니라 장치를 읽고, 추론하고, 수동으로 조작하는 능력에도 의존합니다.
The second level of technology might be better termed technique. Technical artifacts are manifestations of techniques. For instance, Artificial Intelligence is a technique, as are software programming and electrical engineering. However, technique also includes human skills. The EHR not only relies on digital techniques to function in the context of clinical practice, but also on abilities to read, reason, and manually operate the device.

철학자들은 테크니컬 장치와 테크놀로지가 '인간적인 것'과 '테크놀로지적인 것' 사이의 전통적인 구분을 어떻게 모호하게 만드는지 관찰하면서 우리가 테크닉technics이라고 부르는 세 번째 수준의 테크놀로지에 대해 탐구해 왔습니다.3 테크닉technics은 애초에 테크놀로지가 존재할 수 있게 하는 것입니다. 지구권 및 생물권과 관련하여 '테크노스피어' 또는 테크놀로지, 문화, 사회가 얽혀 있는 '테크니컬 조건'이라고도 불립니다.19 테크놀로지는 단순히 우리 환경의 대상이 아니라, 글쓰기의 테크놀로지부터 테크니컬 합리성(입력은 최소화하고 출력은 최대화하는 것을 목표로 하는 세계와의 관계 방식)에 이르기까지 세상에 존재하는 근본적인 방식과 관련되어 있습니다. 심지어 어떤 이들은 인간 존재의 근원적인 테크놀로지성technicity 이 있다고 주장하기도 합니다.3,6
In observing how technical devices and techniques blur the traditional distinction between ‘the human’ and ‘the technological’, philosophers have enquired into the third level of technology, which we call technics.3 Technics is what allows there to be technology in the first place. It has been called the technosphere (in relation to the geosphere and the biosphere) or “the technical condition”, the entanglement of technology, culture and society.19 Technology is not just an object in our environment, but it has to do with fundamental ways of being in the world:20 from the technology of writing to technical rationality – a way of relating to the world that aims to minimize input and maximize output. Some even going so far as to assert that there is an originating technicity to being human.3,6

이 논문에서는 응용 테크놀로지 철학을 바탕으로 의학교육을 위한 테크놀로지의 개념을 확장하고 비판적 테크놀로지 의식이 의학 커리큘럼에 통합될 수 있는 영역을 제안합니다. 테크놀로지에 대한 이러한 관점은 미래의 의사에게 반드시 필요하다고 생각합니다. 우리가 수련의들에게 근거의 현재 상태를 가르치는 것뿐만 아니라 비판적 사고자가 되어 단순한 '근거 사용자'가 아닌 '근거 기반 실무자'로 활동할 준비가 되어 있도록 노력하는 것처럼,21 수련의들은 단순한 테크놀로지 사용자가 아니라 테크놀로지를 비판적으로 평가할 수 있어야 합니다. 이를 위해서는 테크놀로지 교육뿐만 아니라 철학적 지향도 필요하다고 주장합니다.
In this paper, we draw on applied philosophy of technology to both broaden the concept of technology for medical education and suggest areas where a critical technical consciousness might be integrated into medical curricula. This perspective on technology, we believe, is indispensable for physicians of the future. Just as we strive to not only teach trainees the current state of evidence but also to be critical thinkers, ready to act as “evidence-based practitioners” not simply “evidence users”,21 they should be able to critically assess technology rather than just be technology users. This, we contend, requires not only technical training but also a philosophical orientation.

 

테크놀로지에 대한 실증주의적 및 철학적 오리엔테이션
Positivist and philosophical orientations to technology

테크놀로지의 문제는 이 시리즈의 이전 편에서 논의한 치료의 문제와 밀접한 관련이 있습니다.22,23 다른 편에서 Fawns와 Schaepkens는 테크놀로지가 신뢰와 같은 의료 교육의 기본 가치를 어떻게 침해할 수 있는지 논의했습니다.24 이 글에서는 테크놀로지가 기계와 그 도구적 사용뿐만 아니라 더 근본적으로 우리가 인간으로서 서로 관계를 맺는 방식을 어떻게 포괄하는지를 강조함으로써 이 시리즈의 도발적인 대화를 정교화했습니다. 예를 들어, 의학에서 터치는 진단 도구로서 테크놀로지적일 뿐만 아니라 공감을 촉진하고 관계를 형성할 수 있다는 점에서 관계적입니다.25 이러한 다양한 용도를 강조하기 위해 테크놀로지에 대한 비판적 관점과 현대 의학 교육에서 두드러지는 테크놀로지에 대한 암묵적으로 실증주의적인 관점을 대조해 보았습니다.
The question of technology is intimately related to the question of care that was discussed in an earlier installment in this series.22,23 In another installment, Fawns and Schaepkens discuss how technology can infringe on basic values in medical education such as trust.24 In this article, we elaborate the provocative conversations in this series by highlighting how technology concerns not only machines and their instrumental uses, but more fundamentally encompasses how we relate to each other as humans. For example, in medicine touch is not only technical as a diagnostic tool, but also relational in that it can foster empathy and form connection.25 To emphasize this multiplicity of uses, we contrast a critical view of technology to an implicitly positivist view of technology that is prominent in modern medical education.

실증주의적 관점에 따르면 테크놀로지는 단순히 과학의 연장선상에 있으며, 인간이 환경을 효과적으로 통제하고 조작할 수 있도록 과학적 지식을 합리적으로 적용하는 것입니다. 이러한 관점에서 볼 때 테크니컬 인공물은 단지 도구, 즉 목적을 위한 수단에 불과합니다. 윤리적 우려는 인정할 수 있지만, 테크놀로지 혁신은 과학적 진보를 반영한다는 암묵적 가정이 깔려 있습니다.19,26 예를 들어 의학교육에서 병상 초음파는 "학생들의 해부학에 대한 이해를 향상시키는 것으로 입증되지 않았다."27(p366) 실증주의적 관점은 테크놀로지가 사회의 사회적, 문화적 측면과 얽혀 있음을 인정하지 않으므로 테크놀로지 해결책주의에 빠질 수 있습니다. 그러나 의학교육에서 가르치는 데 있어 가장 중요한 것은 실증주의자는 테크놀로지를 인간 존재의 근본적인 구성 요소의 가속화가 아니라, 의학의 핵심적인 인간적 측면과 무관한 불가피한 꾸준한 진화로 간주합니다.26 우리는 테크놀로지가 발전함에 따라 환자와의 관계, 전문직 지식의 본질, 건강하거나 아프다는 것이 무엇을 의미하는지를 요약하는 대안적 프레임을 제안합니다. 이것이 바로 테크놀로지 철학에 대한 기본적인 이해가 의학 커리큘럼에 통합되어야 하는 이유입니다. 
According to a positivist view, technology is simply an extension of science: it is rational application of scientific knowledge that allows humans to effectively control and manipulate their environment. From this perspective, technical artifacts are merely tools: a means to an end. While ethical concerns may be acknowledged, the implicit assumption is that technological innovation mirrors scientific progress.19,26 In medical education, for instance, bedside ultrasound has been promoted despite findings that this technology “was not demonstrated to improve students’ understanding of anatomy.”27(p366) A positivist view does not recognize the entanglement of technology with social and cultural aspects of society and thus can succumb to technological solutionism. But most importantly for teaching in medical education, the positivist sees technology as a steady evolution that is inevitable and extraneous to the core human aspects of medicine, rather than an acceleration of a fundamental component of being human.26 We suggest an alternative framing that encapsulates how as technology evolves, so does our relationship to patients, the nature of knowledge in the profession, and what it means to be healthy or sick. This is why a basic understanding of philosophy of technology needs to be integrated in medical curricula.

우리는 비판적 테크니컬 의식을 함양하기 위한 개념적 토대가 되는 의료 커리큘럼에서 테크놀로지 교육을 안내하는 세 가지 중심 아이디어를 제안합니다: 자비롭고 공평한 치료를 제공하는 의료 전문가가 된다는 것이 무엇인지 보다 총체적으로 이해하기 위해 ...

  • 사용(테크니컬 스킬) 문제를 테크놀로지 리터러시로 확장하는 방법,
  • 새로운 테크놀로지의 사회적 영향을 고려하는 방법,
  • 직업의 관계적(예: 관계를 형성하는 테크놀로지로서의 터치) 측면과 테크닉적(진단 데이터를 수집하는 테크놀로지로서의 터치) 측면의 복잡한 얽힘을 인정하는 방법.

테크놀로지에 대한 이러한 중요한 철학적 지향은 규범적이거나 지시적인 것이 아니라 의료 커리큘럼에서 테크놀로지를 가르치기 위한 개념적 지침으로 작용합니다. 따라서 우리는 의식을 고취할 수 있는 광범위한 개념적 아이디어를 제공하고 지역적 맥락과 시간에 민감한 방식으로 교육 이니셔티브에 창의적으로 통합할 수 있는 잠재력을 가지고 있습니다.
We propose three central ideas to guide teaching on technology in medical curricula that serve as conceptual foundations for fostering critical technical consciousness:

  • how to expand the question of use (technical skill) to technical literacy;
  • how to take into account social impact of emerging technologies; and
  • how to recognize the complex entanglement of the relational (e.g. touch as a technique to form a relationship) and technical (e.g. touch as a technique to gather diagnostic data) aspects of the profession

...in order to more holistically understand what it is to be a medical expert who provides compassionate and equitable care.

This critical philosophical orientation toward technology is not meant to be prescriptive or directive, but rather act as conceptual guide for teaching technology in medical curricula. Thus we will offer broad conceptual ideas that can raise consciousness and have the potential to be integrated creatively into educational initiatives in ways that are sensitive to local context and time.

비판적 테크놀로지 의식 함양
Fostering critical technical consciousness

테크놀로지 리터러시
Technical literacy

의학교육에서 테크놀로지와 건강한 관계를 증진하는 가장 확실한 첫 번째 방법은 공평한 환자 치료를 위해 테크놀로지를 효과적으로 사용하는 방법을 이해할 수 있도록 하는 것입니다. 의학 커리큘럼에는 빅 데이터 및 AI와 같은 신테크놀로지와 의료 분야에서 다양하게 활용되는 테크놀로지에 대한 소개가 포함될 수 있습니다. 그러나 의료 전문가 학습자에게 필요한 것은 환자 치료의 맥락에서 이러한 테크놀로지를 가장 잘 적용하는 방법에 대한 교육입니다. 이를 위해 확장된 개념의 테크니컬 리터러시를 제안합니다. 
The first and most obvious way to promote a healthy relationship with technology in medical education is to be able to understand how to effectively use technology in service of equitable patient care. Medical curricula might incorporate introductions to emerging technologies, such as Big Data and AI and their various uses in healthcare. However, what health professional learners require is training on how to best apply these technologies in the context of patient care. To this end, we propose an expanded concept of technical literacy.

테크놀로지에 대한 실증주의적 관점은 테크놀로지를 유능하게 사용하는 방법에만 초점을 맞추는 반면, 리터러시에는 테크놀로지 사용에 적합한 맥락을 인식하는 것이 수반됩니다. 이는 또한 특정 테크놀로지를 사용할 수 없거나 사용해서는 안 되는 경우를 인식하는 것을 의미합니다. 문제는 단순히 의사에게 어떤 테크놀로지가 필요한지가 아니라 수련생이 테크놀로지를 유연하게 적용하고 현지 상황에 적응하는 데 필요한 지식, 테크놀로지 및 태도가 무엇인지입니다. 또한 의학교육에서는 각 테크놀로지와 관련하여 어떤 특정 역량이 필요한지 평가해야 합니다(예: AI 알고리즘 사용 시 편견의 위험에 대한 지식과 비판적 사고).28-30
While a positivist view of technology only focuses on how to use a technology competently, literacy is accompanied by recognizing the appropriate context for its use. This also means recognizing when a particular technology cannot or should not be used. The question is not simply what technical skills are required of physicians but rather what knowledge, skills, and attitudes are needed for trainees to flexibly apply technology and adapt to local circumstances. Moreover, medical education requires assessing what specific competencies are required in relation to each technology, for instance, knowledge and critical thinking about the risk of bias in use of AI algorithms.28–30

테크니컬 리터러시에는 [특정 테크놀로지]가 [다른 테크놀로지의 집합assemblage]에서 어떻게 작동하는지 파악하여 주어진 진료 환경에서 해당 테크놀로지의 사용을 탐색하는 것이 포함됩니다.

  • 예를 들어, 이미지 기반 AI 알고리즘이 진단 정확도를 입증했을 수 있습니다. 그러나 대상 의료 환경 내에 이미지 획득에 적합한 방법과 조명, 이미지 업로드 및 저장에 필요한 인프라 등 추가적인 테크놀로지적 조건이 갖춰져 있지 않다면 해당 상황에서 사용하기에 가장 적합한 테크놀로지가 아닐 수 있습니다.

Technical literacy includes knowing how a specific technology functions in the assemblage of other technologies to navigate its use in a given practice environment.

  • For instance, an image-based AI algorithm may have demonstrated diagnostic accuracy. However, if additional technical conditions are not present within the target healthcare setting—such as appropriate methods and lighting for image acquisition or the necessary infrastructure to upload and store images—then it may not be the best technology for use in that context.

[상황에 맞는 유연성과 적응]은 테크놀로지적 실패에 대처할 때 특히 중요합니다. 우리 모두는 테크놀로지가 제대로 작동하지 않는 사례를 가지고 있습니다. 이는 의료 환경에서도 흔히 발생하는 일입니다. 일부 병원에서는 "코드 그레이"라는 용어를 사용하여 EHR 중단과 같은 중요한 인프라 장애로 인해 진료가 어려워지는 새로운 형태의 의료 응급 상황을 지정합니다. 테크니컬 리터러시는 이러한 혼란에 직면하여 환자 치료를 제공하기 위해 특정 테크놀로지 사용에 과도하게 의존하는 것을 방지하는 견고함을 포함해야 합니다. 특정 테크놀로지에 대한 심도 있는 지식보다 위기 상황에서 즉흥적으로 대처하고 실수를 바로잡을 수 있는 능력이 더 가치 있는 역량이라는 것은 틀림없습니다.31
Flexibility and adaptation to context is especially important in dealing with technical failures. We all have examples of technology not working as it should. This is also a common occurrence in healthcare settings. Some hospitals use the term “Code Grey” to designate a new form of medical emergency where critical infrastructure failure, such as disruptions to the EHR, makes it difficult to practice. Technical literacy should involve robustness in the face of such perturbations, guarding against overreliance on use of a particular technology to provide patient care. Arguably, being able to improvise and correct mistakes under pressure is a more valuable competency than in-depth knowledge of a specific technology.31

오늘날에는 테커니컬 리터러시는 숨겨진 비용에 대한 지식도 포함됩니다. 최근 200개 이상의 보건 저널이 정부에 기후 변화에 대한 긴급 조치를 취할 것을 촉구했습니다.32 약학에서 수술에 이르기까지 의료 테크놀로지는 전 세계 탄소 발자국에서 큰 비중을 차지하지만 생산자가 광고하지 않는 경우가 많습니다.33,34 산업 혁명 이후 테크놀로지의 생태학적 영향은 이제 "세계 공중 보건에 가장 큰 위협"으로 간주됩니다.35(p2) 이는 우리가 사회 문화적 맥락에서 우리의 복지에 미치는 영향을 고려하지 않고 테크놀로지를 생산하고 사용하는 방법에만 집중하고 당장의 이익에만 집중할 때 거시 수준에서 어떤 일이 발생하는지 보여줍니다. 이러한 예는 근시안적인 미시적 수준을 넘어 테크놀로지의 더 넓은 맥락과 결과를 인식하는 보다 포괄적인 테크니컬 리터러시를 지원하기 위해 의학 교육에 사용될 수 있습니다.
In our times, technical literacy also includes knowledge of the hidden costs. Recently, over 200 health journals called on governments to take emergency action on climate change.32 Medical technology – from pharmacology to surgery– has a large share in the global carbon footprint, often not advertised by producers.33,34 Since the industrial revolution, the ecological impact of technology, is now seen as the “greatest threat to global public health.”35(p2) This shows what happens on a macro-level when we only concentrate on how to produce and use technology, focusing only on the immediate benefits, without considering its implications for our well-being in sociocultural context. Such an example could be used in medical education to support a more encompassing technical literacy that moves beyond the myopic micro-level to recognize the broader context and consequences of technology.

또한 수련생들은 아직은 그 지평을 넘어선 테크놀로지이지만 실무에 투입될 때쯤에는 '최첨단'이 될 가능성이 높은 테크놀로지에 대한 이해력을 갖출 수 있는 역량이 필요합니다. 이러한 과제를 해결하는 한 가지 방법은 현재 사용 가능한 기존 테크놀로지에만 초점을 맞추는 것이 아니라, 테크놀로지 개발의 광범위한 동향과 이러한 테크놀로지가 치료 전문직의 사회적 역할 및 윤리적 약속과 어떻게 상호 작용하는지를 강조하는 커리큘럼을 개발하는 것입니다. 테크놀로지 혁신이 가속화됨에 따라 뒤늦게 따라잡기보다는 의료 분야에서 테크놀로지가 인간과 사회에 미칠 영향을 미리 예측하는 것이 더 낫습니다.
Trainees also require competency to become literate in technologies that are still beyond that horizon, yet likely to become the ‘cutting-edge’ by the time they enter practice. One way to help meet this challenge is to develop curricula not solely focused on the existing technologies that are ready for use, but that also highlight broader trends in technological development and how they interact with the social role and ethical commitments of the healing professions. With the acceleration of technological innovation, it is better to have a head-start in anticipating the human and social impacts of technology in healthcare rather than playing catch-up.

테크놀로지의 사회적 구성
The social construction of technology

인위적인 기후 변화는 파마콘으로서의 테크놀로지의 극단적인 예로, 인류 건강에 지금까지 상상할 수 없었던 가능성을 창출했지만 동시에 가장 큰 위협이 될 수도 있습니다.5 테크놀로지의 이러한 양면성은 물질적일 뿐만 아니라 사회적이기도 합니다. 이러한 사회적 결과는 때때로 명백하지만 종종 미묘할 수 있습니다. 테크놀로지 평가와 테크놀로지 철학은 테크놀로지가 단순한 도구가 아니라 인간 활동 및 인간 관계의 구조와 밀접하게 연결되어 있다는 점을 인식하는 데 도움이 됩니다.
Anthropogenic climate change is an extreme example of technology as a pharmakon: it has created hitherto unimaginable possibilities for human health but at the same time may also pose its greatest threat.5 This double-edged nature of technology is not only material but also social. Sometimes these social consequences are obvious but often they can be subtle. Technology Assessment and philosophy of technology helps us to appreciate these subtleties, allowing us to see how technologies are not mere instruments, but rather intimately connected to human activities and the fabric of human relationships.

테크놀로지 해결책주의는 테크놀로지가 인류 역사상 수많은 문제를 성공적으로 해결해왔기 때문에 어떤 문제든 (순전히) 테크놀로지적으로 해결할 수 있다는 실증주의적 사고입니다.36 테크놀로지 해결책주의에 대한 경향은 코로나19 이전부터 있었지만 팬데믹으로 인해 더욱 증폭되었습니다.37 위에서 언급했듯이 팬데믹 기간 동안 가상 진료의 혁신이 의료 서비스 제공에 필수적이었지만, 새로운 테크놀로지의 채택이 항상 사회적, 정치적, 윤리적 부작용을 고려하여 이루어지는 것은 아닙니다.2,38 종종 이러한 부작용은 테크놀로지가 이미 전문적인 규범과 관행에 내재화되어 변화나 저항을 어렵게 만드는 시점에서 돌이켜봐야만 인식되는 경우가 많습니다. 테크놀로지 평가학에서는 이를 '콜링라이드 딜레마'라고 합니다.40 이는 신테크놀로지의 사회적 영향이 이미 자리를 잡아 조정의 여지가 거의 없을 때 비로소 명확해진다는 사실을 말합니다.
Technological solutionism is the positivist idea that, since technology has successfully addressed so many problems in human history, any problem has a (purely) technological fix.36 The trend toward technological solutionism predates COVID-19 but has only been amplified by the pandemic.37 As mentioned above, although innovations in virtual care have been essential for healthcare delivery during the pandemic, adoption of new technologies is not always done with consideration of the social, political, and ethical side effects.2,38 Often these side effects are only recognized in retrospect, at a point when technologies have already become embedded within professional norms and practices, making change or resistance difficult. In Technology Assessment,39 this is referred to as the Collingride Dilemma.40 This refers to the fact that the social impact of new technologies often only becomes clear when they are already entrenched, leaving little room for adjustment.

의학교육에서 우리는 특정 의료 테크놀로지에 대한 증거를 엄격하게 평가할 수 있는 전문가를 양성하기 위해 노력합니다.41 이러한 평가는 주로 진단 테스트, 약물 또는 시술의 형태로 이루어집니다. 실제로 이러한 개입에 대한 비판적 평가의 필요성은 처음에 의학교육의 이니셔티브로 고안된 근거 기반 의학(EBM) 운동의 주요 동기였습니다.41 의학교육에서 EBM의 장점과 함정에 대한 논쟁이 계속되면서,42 이러한 논의는 의료 교육과정에서 의료 인식론에 대한 보다 근본적인 성찰을 요구하게 되었습니다.21 또한 이러한 배경에는 교육생에게 인식론뿐만 아니라 테크놀로지의 사회적, 윤리적 차원을 비판적으로 성찰하도록 교육하는 방법에 대한 집단적 맹점이 여전히 존재합니다. 특히 테크놀로지 평가와 테크놀로지 철학13,26,39,43의 세 가지 인사이트는 의료 테크놀로지의 사회적 영향에 대한 비판적 성찰을 지원하는 데 도움이 될 수 있습니다. 여기에는 인간과 테크놀로지가 어떻게 함께 구성되는지, 사회적 가치가 어떻게 테크놀로지를 형성하는지, 이러한 요소가 형평성 문제와 어떻게 교차하는지에 대한 이해가 포함됩니다. 
In medical education, we strive to train professionals to rigorously appraise evidence for certain medical technologies.41 This appraisal is largely in the form of diagnostic tests, medications, or procedures. Indeed, the need for critical appraisal of such interventions was the major motivation behind the Evidence-Based Medicine (EBM) movement, which was initially conceived as an initiative in medical education.41 As debates over merits and pitfalls of EBM continue in medical education,42 these conversations have inspired calls for more fundamental reflection on medical epistemology in healthcare curricula.21 Moreover, within this backdrop there remains a collective blind spot in how to teach trainees to critically reflect not only on the epistemic but also the social and ethical dimensions of technology. Three insights in particular from Technology Assessment and Philosophy of Technology13,26,39,43 can help support critical reflection on the social impact of medical technologies. These include appreciating how the human and the technological are co-constructed, how societal values shape technology, and how these factors intersect with issues of equity.

첫 번째이자 가장 기본적인 인사이트는 인간과 테크놀로지의 공동 구성을 인식하는 것입니다. 테크놀로지는 인간의 창조물이지만 우리의 인지, 상호 작용, 심지어 인간이 된다는 것이 무엇을 의미하는지에 대한 우리의 이해에도 영향을 미칩니다. 일부 철학자들은 스마트폰과 디지털 어포던스가 '확장된 자아'의 역할을 하기 훨씬 이전부터 이것이 인간 조건의 기본적 특징이라고 지적해 왔습니다3.

  • 테크놀로지는 외과의사의 칼이 손의 연장선상에 있거나 EHR이 기억의 연장선상에 있는 것처럼 외부 기관으로 볼 수 있습니다.

The first and most basic insight is recognizing the co-construction of the human and the technical: technologies are human creations but also shape our cognition, our interactions, and even our understanding of what it means to be human. Some philosophers have pointed out how this is a basic feature of the human condition,3 long before smartphones and their digital affordances served as “extended selves”.

  • Technology can be seen as an external organ, like the surgeon’s knife as an extension of their hand or like the EHR as the extension of their memory.

따라서 테크놀로지는 인간 고유의 목표를 합리적이고 효율적으로 달성하기 위해 설계된 단순한 외적 도구나 인공물로 이해될 수 없습니다. 오히려 테크놀로지는 인간으로서 우리가 누구이며 무엇인지를 형성합니다
Technology, therefore, cannot be understood as mere extrinsic instruments or artifacts, engineered to rationally and efficiently accomplish distinctively human goals. Rather, technology shapes who and what we are as humans.

수련생은 이러한 공동 구성에 대해 인식하여 현대 의료에서 이를 이해할 수 있습니다. 위에서 설명한 바와 같이 오늘날 의사가 되려면 직업의 가장 기본적인 '인간적' 측면을 수행하기 위해서도 복잡한 테크놀로지 조합을 활용해야 하는 경우가 점점 더 많아지고 있습니다. 위에서 설명한 EHR의 예를 생각해 보세요. 많은 환경에서 EHR은 모든 의료 기록에 대한 포털 역할을 할 뿐만 아니라 모든 조사에 액세스하는 방식이자 검사를 주문하고 치료법을 처방하는 수단으로도 사용됩니다.

  • EHR이 진료 규범을 어떻게 형성해 왔는지, 그리고 이 테크놀로지에 대한 우리의 의존도가 점점 더 커지고 있는지는 '코드 그레이' 시나리오에서와 같이 이 테크놀로지가 실패했을 때 특히 분명해집니다.
  • 급성 방향 감각 상실("환자를 평가하기 전에 환자의 전체 혈구 수를 모른다는 건가요?")의 단계를 거친 후, 의사는 이전 진료 기록을 뒤적이는 대신 환자와 대화하면서 병력을 파악하는 방법을 다시 한 번 배웁니다.
  • 간호 기록에서 활력 징후를 추출하는 대신 활력 징후를 측정하고, 미리 정의된 주문 세트에 체크하는 대신 일반적으로 주문한 약의 용량을 기억하는 것이 실제로 가능하다는 것을 깨닫게 됩니다.
  • 물론 효율성, 정확성, 안전성에 있어 어려움과 잠재적인 단점이 없는 것은 아닙니다.

Trainees can be made aware of this co-construction to appreciate it in contemporary healthcare. As discussed above, being a physician today increasingly requires leveraging a complex assemblage of technologies, even to perform the most basic “human” aspects of our profession. Consider the example of the EHR, discussed above. In many settings the EHR not only serves as a portal to all medical records, but also as the mode of access to all investigations as well as the means of ordering tests and prescribing therapies.

  • How the EHR has shaped norms of practice, and our growing reliance on this technology, becomes especially apparent when it fails, as in the “Code Grey” scenario.
  • Following a phase of acute disorientation (“You mean I don’t know this patient’s complete blood count before assessing them?”), the physician, once again, learns to take a history by talking to the patient, rather than sifting through notes from previous encounters.
  • They realize it is in fact possible to measure the vital signs, rather than extracting them from the nursing record and to recall the dose of a commonly ordered drug, rather than ticking off a pre-defined order set.
  • Of course, this is not without its challenges and potential drawbacks in efficiency, accuracy, and safety.

이러한 모든 요소가 EHR을 강력한 테크놀로지로 만드는 요소이며, EHR이 우리 직업의 '핵심'으로 성공적으로 자리 잡은 이유를 설명합니다. "인간 대 기계"로 대립하는 경향이 있지만,44 고대로부터 EHR 시대에 이르기까지 반복되는 비유이지만,45 수련의들은 임상에서 테크놀로지의 사회적 이점과 단점을 더 잘 이해하기 위해 인간과 테크놀로지의 공동 구성을 인식하도록 교육받아야 합니다. 
All of these factors are what make the EHR a powerful technology, and explain why it has successfully embedded itself into the “core” of our profession. While there is a tendency to pit “human versus machine”,44 a recurrent trope from antiquity to the age of the EHR,45 trainees must be taught to recognize the co-construction of the human and the technological to better understand the social benefits and drawbacks of technology in clinical practice.


이러한 공동 구성에 대한 인식은 테크놀로지가 인간 활동을 형성하는 방식뿐만 아니라 사회적 가치가 테크놀로지를 형성하는 방식도 이해하는 출발점이 됩니다. 여기서 핵심 개념은 테크놀로지적 과소결정이라는 개념으로, 테크놀로지는 기능과 효율성에 대한 고려만으로 결정되는 것이 아니라 추가적인 [사회적 선택]에 의해서도 결정된다는 개념이다46 이러한 사회적 선택은 "테크니컬 코드"로서 테크놀로지에 미묘하게 통합되며, 이는 근본적인 사회적 편견이나 합리적이고 잘 작동하는 시스템을 만드는 것의 개념으로부터 편향을 불러일으킵니다.46,47

  • EHR의 예로 돌아가서, 환자 안전과 같은 위에서 언급한 고려 사항이 설계에 영향을 미칠 수 있지만 청구의 효율성이나 관리 데이터 수집과 같은 추가 고려 사항도 '테크니컬 코드'를 형성하여 다른 사용자보다 특정 사용자의 이익에 부합할 수 있으며, 이는 환자의 이익과 상반될 수 있습니다.2
  • 의료 테크놀로지의 편견과 차별에 대한 우려는 오래 전부터 있어 왔지만,48 의료 분야에서 기계 학습과 인공지능이 부상하면서 그 매력과 힘이 "테크놀로지적 중립의 베니어" 뒤에 숨은 사회적 편견을 가리는 역할을 할 수 있다는 점에서 더욱 증폭되었습니다.49(422페이지)

Appreciating this co-construction serves as an entry point into understanding not only how technology shapes human activities, but also how societal values shape technology. A key concept here is the idea of technological underdetermination: technology is not determined solely by considerations of function and efficiency, but also additional social choices.46 These social choices become subtly incorporated into technologies as “technical code”, which introduce biases either from underlying societal prejudices or from the very notion of what makes a rational, well-functioning system.46,47 

  • Returning to the example of the EHR, while abovementioned considerations such as patient safety may factor into their design, additional considerations such as efficiency in billing or collection of administrative data may also shape their “technical code”, serving the interests of certain users over others, which may in turn diverge from the interests of patients.2 
  • Concerns over bias and discrimination in medical technologies are longstanding,48 but have been amplified by the rise of machine learning and AI in healthcare, whose allure and power can serve to obscure societal prejudices behind a “veneer of technical neutrality.”49(p422) 

수련의들은 테크놀로지 설계와 적용에 들어가는 사회적 선택을 면밀히 조사하는 법을 배워야 하며, 이러한 선택을 면밀히 조사할 때 다음과 같은 질문을 던지는 법을 배워야 합니다: 누가 포함되었는가? 누가 배제되었는가? 의도하지 않은 결과는 무엇인가? 누구의 이익에 부합하는가? 이러한 질문은 건강 형평성에 미치는 영향에 특별히 초점을 맞춰 신테크놀로지를 평가해야 할 필요성을 강조합니다. 테크놀로지 형평성에 대한 논의는 종종 접근성의 문제로 구성되며, 실제로 의료 테크놀로지에 대한 접근성은 전 세계적으로 주요 과제이자 세계 보건의 장벽으로 남아 있습니다.50
Trainees must be taught to scrutinize the social choices that go into technological design and application, and in scrutinizing these choices should learn to ask: Who was included? Who was excluded? What are the unintended consequences? Whose interests do they serve? These questions highlight the need to appraise new technologies with a specific focus on their impact on health equity. Discussion of technological equity is often framed as a problem of access, and indeed access to medical technologies remains a major challenge around the world and barrier to global health.50

우리는 테크놀로지 역량에 대한 논의와 제공된 사례가 접근성 문제가 덜 일반적이지만 여전히 존재하는 고자원 환경에서 진료하는 교육자 및 임상의로서 우리 자신의 특권을 반영한다는 점을 인정합니다. 그럼에도 불구하고 테크놀로지적 형평성에 대한 분석은 접근성 문제에서 멈춰서는 안 됩니다. 오히려 테크놀로지 설계 및 혁신의 특권적 위치를 규정하는 권력 계층 구조에서 시작하여 테크놀로지의 사회적 기원의 전체 궤적을 가로지르며,51 "표준 사용자"와 "적절한" 사용 맥락에 대한 배타적 정의를 낳을 수 있습니다.52 예를 들어, 스마트워치와 같은 원격 모니터링 기기는 소외된 지역사회의 의료 서비스 접근성을 개선할 수 있지만, 현재의 형태는 이미 특권을 누리고 있는 사람들에게 혜택을 주고 잠재적으로 건강 격차를 심화시킬 가능성이 더 높습니다.53 이러한 유형의 평가는 의료 전문가 교육의 범위를 벗어난 것으로 간주하여 의사보다는 사회학자의 영역이라고 무시하는 사람도 있습니다. 그러나 일상적인 진료에서 마주치는 테크놀로지와 건강 형평성 사이의 가시적인 연관성을 고려할 때 의사는 실제로 사회학자로부터 배울 수 있습니다.
We acknowledge that our discussion of technical competencies and the examples provided reflect our  own privilege as educators and clinicians practicing in high resource settings where problems of access are less common (but certainly still present). Despite this, analysis of technological equity should not stop at issues of access. Rather it should cut across the entire trajectory of technology’s social genesis, starting from the power hierarchies that delineate privileged sites of technological design and innovation,51 which in turn can engender exclusionary definitions of “standard users” and “appropriate” contexts for use.52 For example, while remote monitoring devices, such as smartwatches, may promise to improve access to healthcare in underserved communities, their current forms are more likely to benefit the already privileged and potentially deepen health disparities.53 Some might consider this type of appraisal to be beyond the scope of healthcare professions education, dismissed as being more the within purview of the sociologist than the doctor. However, the latter can indeed learn from the former given the tangible links between technology and health equity encountered in day-to-day practice.

 

"인간"과 "테크놀로지"의 관계
The relationship between the “human” and the “technical”

실증주의적 관점에서는 인간과 테크놀로지를 이분법적으로 대립되는 것으로 제시합니다. 그러나 테크놀로지 지향의 철학을 통해 우리는 이 둘이 사실 동전의 양면이라는 것을 알고 있습니다.3 우리는 테크놀로지와 너무 깊이 얽혀 있어서 "우리 자신, 우리 문화, 우리 사회를 테크놀로지와 별개로 생각하는 것은 거의 의미가 없습니다."19(p7)

  • 예를 들어 외과의의 메스가 작동하려면 다양한 스킬, 전문성, 수련의와 감독자 간의 관계와 같은 대인 관계가 필요합니다.54 이 예에서 수술 테크놀로지를 중심으로 한 이러한 조합은 인간에게 새로운 가능성의 지평, 즉 지금까지 치료할 수 없었던 질병을 앓고 있는 환자의 기대 수명을 연장하고 건강과 관련된 삶의 질을 개선할 수 있는 가능성을 만들어냅니다.

이 글에서는 지금까지 중요한 테크놀로지 리터러시에 대해 논의했습니다. 다음 글에서는 이러한 논의를 확장하여 의료 전문성을 테크놀로지적 능력관계적 능력의 섬세한 균형으로 구성할 수 있는 방법에 대해 논의합니다. 
The positivist view presents human and the technical as binary oppositions. But from philosophy of technology orientation we know that they are in fact two sides of the same coin.3 We are so deeply entangled with technology that it “makes little sense to think of ourselves, our culture, our society as distinctly separate from technology.”19(p7) 

  • A surgeon’s scalpel, for instance, requires a whole range of skills, expertise, and interpersonal relationships, such as the relationship between a trainee and supervisor, to function.54 This assemblage centered around a surgical technology, in this example, creates a new horizon of possibility for human beings, in this case, a longer life-expectancy and better health-related quality of life for patients with hitherto untreatable ailments.

So far in this article we have been discussing a critical technological literacy. In the following, we broaden this conversation to discuss the ways medical expertise might be framed as a delicate balance of both technical and relational skills.

니몬은 의학 교육에서 테크놀로지화technification 를 다음과 같이 구분합니다: 

  • "환자에 대한 데이터를 수집하고 환자의 어떤 측면에 치료가 필요한지 결정하기 위해 고안된 절차적 또는 진단적 스킬을 기능하도록 인간의 사회적 활동의 용도를 변경하는 것"25(380쪽) 

이 개념은 의료 전문 지식의 테크놀로지화가 때때로 의사의 휴머니즘 함양을 희생시킨다는 점에서 비판적입니다. 테크놀로지화와 휴머니즘은 우리 사회에서 의료의 성공에 동등하게 책임이 있습니다. 이상적으로는 이 두 가지가 서로를 지원하고 상황에 따라 적절히 활용될 수 있어야 합니다.55 그러나 데이터 수집, 진단, 효율성이라는 명목으로 의료의 모든 것을 테크놀로지화할 수 있다고 가정하는 것은 근시안적인 생각이며, 관계적 비용이 발생합니다. 테크놀로지는 기계나 진단 도구뿐만 아니라 언어(예: 터치 또는 비언어적 커뮤니케이션)도 인간 관계를 형성하거나 약화시킬 수 있는 테크놀로지입니다. 이는 신경과 전문의가 의대생들을 위한 교육 도구로 사용하기 위해 장애가 있는 아들과의 상호작용에 대한 테크놀로지 데이터를 수집하고 우선순위를 정하는 방법을 보여주는 드 라 크로이(de la Croix56)의 논문에서 잘 드러납니다. 드 라 크로아는 신경과 의사가 아들과의 관계를 형성하고 유대감을 형성하기 위해 노력하지 않는 것에 대해 비인간적인 느낌과 슬픔을 느낀다고 말합니다.
In medical education, Nimmon distinguishes technification as:

  • “the repurposing of a human social activity to function as a procedural or diagnostic skill designed to gather data about the patient and determine what aspect of the patient requires curing.”25(p380) 

This notion critiques the technification of medical expertise, as it is sometimes at the expense of cultivating humanism in practitioners. Technification and humanism are equally responsible for the success of healthcare in our society. Ideally, they can mutually support each other and be employed responsively to context.55 However, it is myopic to adopt an assumption that everything in healthcare can be technified in the name of data gathering, diagnosis, and efficiency – there is a relational cost. Technology is not just about machines or diagnostic tools, but also language (e.g. touch or non-verbal communication) are a technology that can form or erode human connection. This is exemplified in a paper by de la Croix56 who reveals how a neurologist gathers and prioritizes technical data about an interaction she has with her disabled son to use as a teaching tool for medical students. De la Croix describes feeling dehumanized and sad about the lack of effort the neurologist makes to build rapport and connection with her.

개인의 존재는 관계 속에서 엮여 있으며 이러한 상호의존성은 인간이 되기 위한 필수 조건입니다.57 코로나19 팬데믹은 의료계의 어떤 측면이 테크놀로지로 매개되거나 대체될 수 있고 또 대체되어야 하는지에 대한 질문을 새롭게 조명했습니다. 지난 2년 동안 전 세계와 사회적인 차원에서 인간관계가 갑자기 단절되었습니다. 멜버른 왕립 병원의 응급실 의사는 2020년 8월에 뉴욕 타임즈에 보낸 편지에서 인간다움의 의미의 침식과 씨름하는 집단적 모습을 포착했습니다.58 그는 죽어가는 환자와 사랑하는 사람을 연결하는 데 화상 채팅이 얼마나 유용했는지 설명하지만, 그 경험이 얼마나 끔찍하고 영혼이 없는지를 설명하며 편지를 마무리했습니다: 
Individual existence is interwoven in relationships and this interdependence is a necessary condition of being human.57 The COVID-19 pandemic has shed new light on questions about what aspects of the medical profession can and ought to be mediated or replaced by technology. In the past two years, human connection was suddenly severed at a global and societal level. A collective grappling with the erosion of what it means to be human was captured by an emergency room physician at the Royal Melbourne Hospital in a letter to the New York Times in August 2020.58 He describes how useful a video chat was to connect a dying patient to loved ones, but underscores his letter by describing how harrowing and soulless the experience is:

화상 채팅이 우리에게 영혼이 없다면, 화상 링크를 통해 작별 인사를 하는 것은 어떤 느낌일까요? 한 젊은 의사는 iPad를 들고 아프거나 죽어가는 환자의 병실을 오가며 환자와 집에 있는 친척을 디지털로 연결하고, 슬픔에 잠긴 가족들을 수없이 목격하면서 하루를 설명하던 중 목소리가 무너져 내렸습니다. 
If video chats are soulless to us, how must it feel to say goodbye via video link? A young doctor’s voice broke as she described her day to me, going from one sick or dying patient’s room to another with her iPad, digitally connecting the patients to their relatives at home and witnessing over and over the families fall apart with grief.

우리는 삶과 죽음의 순간처럼 가장 실존적으로 내밀한 순간에 의료 서비스에서 인간적 연결이 얼마나 중요한지 목격할 수 있는 기회를 가졌습니다. 작가 세르지오 델 몰리노 세르지오의 글은 이러한 정서를 완벽하게 요약합니다:

  • "인간은 만지고 만져주어야 하며, 만져주지 않으면 어떻게 사랑해야 하는지 모릅니다. 거리는 우리를 차갑게 만들고 서로에 대한 관심을 떨어뜨립니다."59

코로나19의 첫 번째 물결로 사회가 봉쇄되고 사람들이 사회적 거리두기의 영향을 경험하던 네덜란드에서는 "후드홍거"라는 용어가 유행했습니다.60 말 그대로 "피부에 대한 굶주림"과 "피부의 굶주림"을 모두 의미하는 이 용어는 신체 접촉에 대한 강렬한 욕구와 지속적인 접촉 결핍 후 다른 피부를 만지고 싶어하는 피부의 욕구를 포착합니다. 
We had a chance to witness the critical need of human connection in healthcare as it played out in the most existentially intimate moments, as in times of death and dying. Writer Sergio Del Molino Sergio encapsulates this sentiment perfectly:

  • “We humans need to touch and be touched; we don’t know how to love without it. Distance makes us cold; it makes us care less about one another.”59 

In the Netherlands during the first wave of COVID-19 when society was locked down and people were experiencing the effects of social distancing, the term “huidhonger” was popularized,60 which literally translates as both “hunger for skin” and “hunger of the skin” to capture the intense desire for physical contact and the skin’s desire to touch other skin after a sustained period of touch deprivation.

가상 진료의 맥락에서 테크놀로지 및 인문학적 전문 지식과 진료 역량 사이의 이러한 긴장에 대해 더 자세히 살펴볼 수 있습니다. 많은 환자와 의료진이 비용을 절감하고 시간을 절약하며 이동의 번거로움을 피할 수 있는 가상 진료에 대한 선호도가 높다고 보고합니다. 그러나 가상 진료는 디지털 리터러시, 언어 장벽, 광대역 액세스가 제한된 사람들에게도 도전 과제를 제시합니다. 원격 의료는 의사에게 필수적인 도구를 제공하지만 의사와 환자 관계에서 놓칠 수 있는 인간적인 측면도 고려해야 합니다. 가상 진료 테크놀로지가 대면 진료의 풍요로움을 완전히 대체할 수 없다는 사실을 인식하는 연구가 늘어나고 있습니다. Kelly와 동료들은 의료 서비스 제공자가 공감을 표현하고 인간애를 보여주기 위해 터치를 사용하는 방법을 강조했습니다.12,61-63 저자들은 신체 검사에서 의사가 자신의 신체를 사용하여 비언어적 의사소통을 표현하고 환자의 질병에 대한 이야기를 경험한다는 사실을 발견했습니다. 촉각의 중요성을 강조하는 이 논문에서는 대면 신체 검진이 어떻게 가정의이자 치료사로서의 전문적 정체성을 형성하고 친밀감, 연속성, 신뢰를 증진하는지 설명합니다.12,61,62  
A deeper probing into this tension between technical and humanist expertise and capacity to care can be observed in the context of virtual care. Many patients and practitioners report a strong preference for virtual care (which reduces cost, saves time, and avoids nuisance of travel). However, virtual care also presents challenges for those with limited digital literacy, language barriers, broadband access. Although telehealth provides an essential tool for physicians we must consider the humanistic aspects that may be lost in the doctor-patient relationship. A growing body of work is recognizing that the technology of virtual care can never fully replace the richness of face-to-face encounters. Kelly and colleagues have emphasized how touch is used by healthcare providers to show empathy and demonstrate a shared humanity.12,61–63 The authors have discovered that in the physical examination physicians use their own bodies to express non-verbal communication and experience the story of patients’ illnesses. Underscoring the importance of touch, this body of work describes how in-person physical exams wove a sense of professional identity as a family physician and healer; promoting rapport, continuity, and trust.12,61,62

우리는 고립이 건강과 웰빙에 영향을 미치는 전염병이 되어가는 자동화된 탈개인화 사회의 시대에 테크놀로지와 공존하고 있습니다.64,65 분리된 자동화된 방식으로 진단하고 예후를 예측하는 것이 아니라 관계를 형성하고 환자에게 직관적으로 대응할 수 있는 의사가 된다는 것은 무엇을 의미할까요? 이러한 상호작용이 테크놀로지에 의해 매개될 때에도 환자와 민감하게 상호작용하는 것은 어떤 모습일까요? 의료 전문가가 진단, 예후 예측, 처방 등 기계적으로 상호 작용할 때 치유 관계에 무의식적인 간섭이 있을 수 있으며, 이는 감정적으로 가려지고 테크놀로지 뒤에 숨겨져 있습니다. 우리는 예후가 단순히 기계적 위험 예측을 넘어 과거, 현재, 미래 사이의 내러티브 연속성을 만드는 데 도움이 되는 인문학적 기능을 수행하도록 해야 합니다.66 "진보", "효율성", "테크놀로지 혁신"이라는 문화적 하이프hype 속에서 인간 관계의 치료적 힘에 대한 이해를 심화할 수 있는 철학적 토론에 참여하기에 지금이 더할 나위 없이 좋은 시기입니다. 
We co-exist with technology in an era of an automated depersonalized society where isolation is a growing epidemic that impacts health and wellbeing.64,65 What does it mean to be a physician who forms connection and can respond intuitively to patients, not just diagnose and estimate prognosis in a detached automated way? What does it look like to interact sensitively with patients even when this interaction is mediated by technology? There may be an unconscious interference with the healing relationship when healthcare professionals interact mechanically: diagnosing, estimating prognosis, prescribing – emotionally veiled and hidden behind technology. We need to ensure prognosis is more than simply mechanical risk prediction but also serves its humanistic function in helping create narrative continuity between past, present, and future.66 We are at no better time to engage in philosophical discussion that can deepen our understanding of the therapeutic power of human connection and how this can be sustained in the cultural hype of “progress,” “efficiency,” and “technological innovation.”

토론: 어려운 테크놀로지
Discussion: Difficult technicalities

기후 위기, 코로나19 팬데믹, 의료 분야의 테크놀로지화 증가로 인해 의료 분야에서 테크놀로지의 역할과 의료 전문직의 인간적 측면과 테크놀로지적 측면 간의 관계에 대해 속도를 늦추고 성찰할 필요성이 절실히 요구되고 있습니다. 교육에서 이러한 성찰을 자극하는 한 가지 방법은 학생들에게 의자에서 연필, 책에 이르기까지 모든 테크놀로지가 인류 역사의 한 시점에 '최첨단'이었던 반면, 지금 우리가 가까운 미래에 새로운 것이라고 생각하는 모든 테크놀로지는 오래 전에 테크놀로지적 광택을 잃은 오래된 장비처럼 평범해 보일 수 있음을 깨닫도록 하는 것입니다. 
With the climate crisis, the COVID-19 pandemic, and the increasing technification of the healthcare, there is an urgent need to slow down and reflect on the role of technology in healthcare and the relationship between human and technical aspects of the health professions. One way to stimulate this reflection in education is to ask students to look around and realize how every technology – from chairs to pencils to books – were at one point in human history “cutting edge” while every technology that we now consider new will in the near future seem just as mundane as those old pieces of equipment that have long since lost their technological luster.

의료 전문직은 신구 테크놀로지를 바탕으로 존재하며, 테크놀로지 혁신은 건강과 관련된 삶의 질을 높여 인간의 수명을 지속적으로 연장할 것으로 기대됩니다. 그러나 테크놀로지는 돌봄care을 필요로 하는 파마콘입니다.5 스티글러의 연구를 바탕으로 다른 학자들은 현대 테크놀로지, 특히 디지털 테크놀로지의 가속화된 진화를 타인을 돌보고 공감하는 능력의 고갈과 연결지었습니다.65 따라서 의학교육은 수련생이 환자를 돌볼 수 있도록 준비시킬 뿐만 아니라, 이러한 돌봄을 제공할 수 있는 테크놀로지적 환경을 숙달하도록 준비시켜야 합니다. 다른 어떤 분야보다도 의학교육에서 가장 중심이 되어야 하는 것은 바로 배려와 인간애입니다. 더 나은 건강을 위한 전례 없는 가능성을 온전히 수용하기 위해서는 테크놀로지 그 자체에 대한 사려 깊은 주의가 필요합니다. 이것은 치유가 이루어지는 심리적, 사회적, 생태적 맥락에 미칠 수 있는 잠재적인 해로운 영향을 억제하고 대응하기 위한 '독성학'이 될 수 있다.
The health care professions exist by virtue of old and new technology and it is expected that technological innovation will continue to expand human lifespan with higher health-related quality of life. But technology is a pharmakon that requires care.5 Building on Stiegler’s work, others have linked the accelerated evolution of modern technology, especially digital technologies, to a depletion of our capacity to care for and empathize with others.65 Medical education should therefore not only prepare trainees to take care of patients, but also to master the technical environment that enables them to provide this care. In medical education, perhaps more than in any other field, it is precisely care and humanity that should be at the center. In order to fully embrace the unprecedented possibilities for better health, technology itself needs thoughtful care—a “toxicology” to curb and counter its potential harmful effects on the psychological, social, and ecological context in which healing takes place.

우리는 의학 커리큘럼에 비판적 테크키널 의식을 향한 보다 근본적인 변화를 통합해야 한다고 주장해 왔습니다. 이러한 변화는 우리 자신의 가치와 태도에서 시작됩니다. 철학자들은 테크놀로지 시대에 우리가 사고하고 다른 인간과 관계를 맺는 방식이 효율성을 중심으로 인간을 포함한 모든 것을 계산 가능한 수단으로 취급하는 테크놀로지적 또는 도구적 합리성의 형태를 취할 수 있다고 오랫동안 지적해 왔습니다.3,20,67 우리가 실제 도구를 사용하지 않더라도 이러한 도구적 태도 다른 사람을 단순한 도구로 취급하여 계산의 숫자로, 그들의 몸을 단순한 메커니즘으로 취급하게 합니다. 칼라니티는 자서전 『숨이 공기가 될 때』에서 "그 순간부터 나는 모든 서류 작업을 환자로 대하지 않고 그 반대가 아닌 환자로 대하기로 결심했다."68(p77)라고 쓰면서 의료 수련 중 발생한 사건 이후 이러한 도구적 합리성의 태도에서 벗어나기 위한 의식적인 노력을 자세히 설명합니다.

  • 블라인드 타이핑의 기술을 숙달한 임상의가 환자와의 눈 맞춤을 더 잘 유지할 수 있는 것처럼, 화상 회의 사용에 능숙한 의사는 더 의미 있는 가상 만남을 가질 수 있지만, 결정적으로 그러한 만남이 적절하지 않은 경우와 대면 평가가 필요한 경우를 인식할 수도 있습니다.

오늘날 의료 교육은 테크놀로지가 환자 치료의 인간적 상호 작용을 점점 더 많이 통합하고 있음을 인식해야 합니다. 수련의가 테크놀로지 시대의 진료 현실에 대비하는 동시에 ,포괄적인 테크니컬 합리성에 대한 해독제를 갖출 수 있도록 하는 것이 중요합니다. 
We have argued for integrating a more fundamental shift toward a critical technical consciousness in medical curricula. This shift starts with our own values and attitude. Philosophers have long pointed out that in our technological age, our way of thinking and relating to other human beings can take the form of technical or instrumental rationality, which treats everything (including human beings) as a calculable means to an end, with a focus on efficiency.3,20,67 Although we may not be using actual tools this instrumental attitude leads us to relate to others as mere tools, treating them as numbers in a calculation, their bodies as mere mechanism. In his autobiography When Breath Becomes Air, Kalanithi details his conscious effort to shift away from this attitude of instrumental rationality after an incident during his medical training, when he writes “From that point on, I resolved to treat all my paperwork as patients, and not vice versa.”68(p77) By proposing a broader conception of technological literacy, we envision a place for technology to support human relationships at the core of the healing professions, which guards against a detached, technical rationality.

  • Just as the clinician who masters the art of blind typing can better maintain eye-contact with the patient, the physician adept in use of videoconferencing can have more meaningful virtual encounters, but, crucially, can also recognize when such encounters are not appropriate and when in-person assessment is required.

Medical education today must recognize that technology increasingly intercalates the human interactions of patient care. It is critical to prepare trainees for the realities of practice in a technological age, while equipping them with antidotes against an encompassing technical rationality.


우리는 교육의 출발점이 될 수 있는 세 가지 원칙을 개략적으로 설명했지만, 각 기관의 상황에 따라 이를 교육에 적용하는 방식은 달라질 수 있습니다. 이 원칙은 현재 및 미래 테크놀로지에 대한 테크놀로지적 이해력을 맥락에 맞게 촉진하여 교육생이 환자 치료의 사회적, 심리적, 건강 관련 측면에 대한 신테크놀로지의 영향을 평가할 수 있도록 하고, 테크놀로지화가 의료 서비스에서 인간의 활동으로 확장될 수 있다는 인식을 갖도록 합니다. 교육할 때는 이 글에서 EHR을 예로 들었듯이 구체적인 이머징 테크놀로지를 가지고 테크놀로지와 관련된 세 가지 아이디어를 살펴볼 수 있습니다. 
We have outlined three principles that could serve as the starting point of teaching, though the way they are translated into educational practice will depend on the context of each institution. These are promoting technical literacy of current and future technology in context, enabling trainees to assess the impact of emergent technology on the social, psychological, and health-related aspects of patient care, and the awareness that technification can extend to human activities in health care. In teaching, one could take a concrete emergent technology and work through the three ideas related to technology, as we have done in this article with the EHR.

우리는 미래의 의사들이 테크놀로지 혁신을 비판적이고 유능하게 다룰 수 있도록 의료 커리큘럼에서 구현할 수 있는 것이 무엇인지에 초점을 맞추었습니다. 또한 기후 변화와 건강 격차 확대와 같은 더 광범위한 문제를 해결하기 위한 조치와 함께 의학 전반의 테크놀로지 관련 방식에 대한 보다 체계적인 변화가 필요하다는 데 동의합니다. 우리의 희망은 비판적 테크놀로지 의식을 갖춘 의료 전문가들이 이러한 대화의 장에서 보다 능숙하고 목소리를 내는 파트너가 되어 의료와 사회 전반의 미래를 위해 인간과 테크놀로지 간의 보다 건강한 관계를 만들고 지원하는 데 도움을 주는 것입니다. 
We have focused on what could be implemented in medical curricula to equip future physicians to critically and competently work with technological innovation. We concur that the problems we have discussed also demand more systemic changes in how medicine as a whole relates to technology, situated alongside actions directed at broader issues such as climate change and widening health disparities. Our hope is that health professionals equipped with a critical technical consciousness will be more adept and vocal partners in this larger dialogue, helping to create and support a healthier relationship between the human and the technical for the future of medicine and society at large.

 


 

 

Teach Learn Med. 2023 Apr-May;35(2):240-249. doi: 10.1080/10401334.2022.2130334. Epub 2022 Oct 26.

 

 

Technical Difficulties: Teaching Critical Philosophical Orientations toward Technology

Affiliations

1Schulich School of Medicine and Rotman Institute of Philosophy, Western University, London, Ontario, Canada.

2Centre for Health Education Scholarship Faculty of Medicine, University of British Columbia, Vancouver, British Columbia, Canada.

3Department of General Practice, Erasmus University Medical Center, Rotterdam, The Netherlands.

PMID: 36286229

DOI: 10.1080/10401334.2022.2130334

Abstract

Issue: Technological innovation is accelerating, creating less time to reflect on the impact new technologies will have on the medical profession. Modern technologies are becoming increasingly embedded in routine medical practice with far-reaching impacts on the patient-physician relationship and the very essence of the health professions. These impacts are often difficult to predict and can create unintended consequences for medical education. This article is driven by a main question: How do we prepare trainees to critically assess technologies that we cannot foresee and effectively use technology to support equitable and compassionate care? Evidence: We translate insights from the philosophy of technology into a proposal for integrating critical technical consciousness in medical curricula. We identify three areas required to develop critical consciousness with regard to emerging technologies. The first area is technical literacy, which involves not just knowing how to use technology, but also understanding its limitations and appropriate contexts for use. The second area is the ability to assess the social impact of technology. This practice requires understanding that while technification creates new possibilities it can also have adverse, unintended consequences. The third area is critical reflection on the relationship between 'the human' and 'the technical' as it relates to the values of the medical profession and professional identity formation. Human and technology are two sides of the same coin; therefore, thinking critically about technology also forces us to think about what we consider 'the human side of medicine'. Implications: Critical technical consciousness can be fostered through an educational program underpinned by the recognition that, although technological innovation can create new possibilities for healing, technology is never neutral. Rather, it is imperative to emphasize that technology is interwoven with the social fabric that is essential to healing. Like medication, technology can be both potion and poison.

Keywords: Philosophy; medical innovation; technology.

 

갭에 마음쓰기: 성찰의 여러 이점에 관한 철학적 분석(Teach Learn Med, 2023)
Mind The Gap: A Philosophical Analysis of Reflection’s Many Benefits
Sven Peter Charlotte Schaepkensa and Thijs Lijsterb

 

 

소개
Introduction

의료 행위와 의학교육에서 성찰에 대한 기대는 매우 높으며, 성찰은 다양한 목적을 달성하기 위한 수단으로 주장됩니다. 성찰은 소진을 줄이고,1,2 공감 능력을 높이며,2 스트레스를 줄이고,3 전문성을 개발하며,4 임상 기술을 개선하고,5-7 의사가 이론에서 실무로 전환하는 데 도움을 주고,8-11 그 외에도 많은 이점이 있습니다. 여러 연구자들이 성찰의 이점에 관한 경험적 증거에 대해 다소 유보적인 입장을 보이기는 하지만,12-15 성찰은 잠재력이 있는 것으로 보입니다. 따라서 일부 연구자들은 예를 들어 성찰의 목적을 세 가지 영역으로 분류하여 성찰의 확산된 목적에 질서를 만들려고 시도하는 반면,13 다른 연구자들은 "성찰이 모든 상처를 치유하는 일반적인 연고가 되었다"16(p263) 또는 단순히 목적을 위한 수단으로 환원적으로 활용되고 있다고 주장합니다.17 우리는 의학교육과 의사를 위한 성찰의 가치를 거부하지는 않지만, 왜 성찰이 그토록 다양한 혜택을 가져올 수 있으며 이것이 의학교육 실무에서 성찰의 지위에 대해 무엇을 의미하는지를 묻고 있습니다. 
Expectations of reflection run high in medical practice and medical education; it is claimed as a means to many ends. Reflection can reduce burnout,1,2 increase empathy,2 decrease stress,3 develop professionalism,4 refine clinical skills,5–7 help practitioners transition from theory to practice,8–11 and many more. Albeit various researchers show some reserve about the empirical evidence concerning the benefits of reflection,12–15 reflection seemingly blossoms with potential. Consequently, some researchers attempt to create order in reflection’s proliferated ends, for instance by categorizing reflection’s purposes in three domains,13 while others argue that “reflection has become a generic salve to heal all wounds,”16(p263) or has become reductively utilized as purely a means to an end.17 While we do not reject the value of reflection for medical education and practitioners, we ask why reflection can (potentially) yield so many different benefits, and what that implies for the status of reflection in medical education practice.

우리는 교사와 수련의가 성찰 활동에 많은 시간과 많은 교육 자원을 할애하기 때문에 성찰이 많은 (잠재적) 혜택과 어떻게 관련되어 있는지 비판적으로 분석하는 것이 중요하다고 주장합니다. 의학 커리큘럼에는 성찰을 반영하고, 가르치고, 평가하는 다양한 방법이 있습니다. 성찰 활동은 포트폴리오 작성, 에세이, 저널, 멘토 프로그램, 교육 프로그램, 소그룹에서 동료들과 임상 경험에 대해 토론하는 것 등을 포함합니다.14 성찰 활동은 특정 이점을 가져온다는 전제하에 정당성을 얻습니다.  
We argue that it is important to critically analyze how reflection relates to its many (potential) benefits because teachers and trainees dedicate much time and many educational resources to reflective activities. In medical curricula, there is a wide variety of ways to reflect, teach, and assess reflection. Reflective activities span written portfolios, essays, journals, mentor programs, training programs, or discussing clinical experience with peers in small groups.14 Reflective activities receive justification based on the premise that they yield certain benefits.

우리의 분석은 개념 성찰에 대한 철학적 조사로 구성될 것입니다. 특히 철학자들이 성찰을 이론과 실천 사이의 간극, 개인적 감각과 공동체적 감각 사이의 간극과 어떻게 연결시켰는지에 대한 철학적 전통의 논의에 초점을 맞출 것입니다. 그런 다음 철학적 고찰을 성찰에 관한 최신 연구와 연관시켜 연구자들이 성찰의 이점을 정확히 파악하기 위해 성찰을 개념적으로 어떻게 사용했는지 알아볼 것입니다. 마지막으로, 분석 결과에 비추어 의료 행위와 교육에서 성찰을 위한 세 가지 구체적인 권장 사항을 공식화할 것입니다. 
Our analysis will consist of a philosophical investigation of the concept reflection. We will focus on debates from the philosophical tradition, specifically how philosophers connected reflection to the gap between theory and practice, and the gap between an individual sense and communal sense. We will then relate our philosophical considerations to the current research on reflection to determine how researchers conceptually used reflection to pinpoint its benefits. Finally, in the light of our analysis we will formulate three concrete recommendations for reflection in medical practice and education.

성찰 연구에 대한 철학적 접근 방식
A philosophical approach to research on reflection

이 글에서 우리는 성찰에 대한 철학적, 개념적 분석을 수행했습니다.18-20 우리는 성찰을 둘러싼 이론적 전제에 의문을 제기하고 이 교육적 실천과 그 (잠재적) 이점에 영향을 미치는 배경 전제와 가치를 추적했습니다.21,22 우리는 대륙 철학 전통, 특히 임마누엘 칸트, 마틴 하이데거, 한나 아렌트, 자크 데리다의 작업에서 철학적 고려를 이끌어냈습니다. 이러한 철학자들은 인간 지식의 한계를 매핑하고 아포리아, 즉 '틈'이 인간의 경험과 성찰에 얼마나 중요한 역할을 하는지에 대해 비판적으로 생각하기 때문에 우리가 주목했습니다. 이들에게 아포리아는 해결해야 할 문제가 아니라 인식이 필요한 한계로 이해되어야 합니다. 따라서 우리는 성찰과 주장된 혜택과의 관계를 이해하는 데 도움이 되는 격차의 관점에서 분석을 시작했습니다.  
For this article, we conducted a philosophical, conceptual analysis of reflection.18–20 We questioned the theoretical presuppositions surrounding reflection, and traced background premises and values that affect this educational practice and its (potential) benefits.21,22 We drew our philosophical considerations from the continental philosophical tradition, particularly the work of Immanuel Kant, Martin Heidegger, Hannah Arendt and Jacques Derrida. We turned to these philosophers because they map the limits of human knowledge, and critically think about aporias, or how “gaps” play a vital role in human experience and reflection. For them, these aporias should not be understood as problems that are to be solved, but rather as limits that require awareness. Therefore, we started our analysis from the perspective of the gaps to help us understand reflection and its relation to the alleged benefits.

분석은 두 단계로 구성되었습니다. 첫째, 성찰에 관한 주요 철학적 논쟁, 특히 이론과 실천 사이의 간극, 개인적 의미와 공동체적 의미 사이의 간극에 초점을 맞췄습니다. 둘째, 우리는 철학적 고찰을 성찰에 관한 최신 연구와 연관시키고, 연구자들이 성찰을 개념적으로 어떻게 사용했는지 면밀히 조사하여 그 이점을 정확히 찾아냈습니다. 따라서 2000년대 이후부터 2021년까지 의학교육 또는 의료 실무에서 성찰에 관한 연구에 대한 문헌 검토를 통해 인사이트를 도출했습니다. 
Our analysis consisted of two phases. First, we focused on key philosophical debates on reflection, particularly the gap between theory and practice, and the gap between the individual and communal sense. Second, we related our philosophical considerations to current research on reflection, and scrutinized how researchers conceptually used reflection to pinpoint the benefits. Therefore, we drew insights from literature reviews about research on reflection in medical education or medical practice since the 2000s until 2021.

1단계: 성찰에 대한 철학적 논쟁
Phase one: philosophical debates on reflection

이론과 실천의 간극
The theory–practice gap

철학의 전통에서 철학자들은 성찰지식 습득 또는 맹목적인 규칙과 계산을 따르는 것과 자주 대조했습니다. 고대 그리스인들은 이미 진정한 지혜에는 단순한 '책 속의' 지식 이상의 것이 필요하다는 것을 인식하고 있었습니다. 예를 들어 아리스토텔레스는 성찰(숙고라고도 번역됨)을 습득한 지식과 전문적 경험 또는 이론과 실천을 연결하는 능력이라고 설명했습니다.23 성찰은 최고의 지적 덕목이자 의학, 정치, 법률, 군사 전략과 같은 분야에서 전문직업성의 절대적 필수 요소로 간주한 "실천적 합리성"("프 로네시스")의 핵심이었습니다. 
In the tradition of philosophy, philosophers regularly contrasted reflection with knowledge acquisition, or blindly following rules and calculation. The ancient Greeks already acknowledged that true wisdom required something more than mere “bookish” knowledge. Aristotle, for instance, described reflection (sometimes also translated as deliberation) as the ability to connect acquired knowledge with professional experience, or theory with practice.23 It was the key to “practical rationality” (“phronèsis”), which he considered as the highest intellectual virtue, and as an absolute necessity of professionalism in fields such as medicine, politics, law, and military strategy.

이론과 실천(또는 지식과 경험)이 연결될 수 있다는 사실은 그 사이에는 반드시 간극이 존재한다는 것을 의미하기도 합니다. 바로 이 간극이 지속적인 철학적 문제로 제기되어 왔으며, 성찰을 통해 잠재적인 해결책이 형성되었습니다. 이 문제를 이해하기 위해 여러 면에서 현대 철학의 아버지로 여겨지는 칸트를 참고할 수 있습니다. 칸트 역시 이론과 실천 사이에 괴리가 존재한다는 사실을 인정했습니다. 특정 전문 분야(그는 법과 의학을 예로 들었습니다)에서는 모든 규칙과 개념을 알고 있지만 실제로는 이를 제대로 적용하지 못할 수 있습니다. 그는 이를 "어리석음"이라고 적절하게 표현합니다.24
The fact that theory can be connected with practice (or knowledge with experience) also implies that there must be a gap between them to begin with. It is precisely this gap that has posed a continuous philosophical problem, to which reflection formed a potential solution. To get a sense of that problem, we can refer to Kant, who in many ways is considered the father of modern philosophy. Kant, too, acknowledged that there exists a gap between theory and practice. One may, within a particular professional field (he mentions law and medicine as examples), know all the rules and concepts, but may still be unable to properly apply them in practice. He aptly calls this “stupidity.”24

주어진 상황에서 규칙이나 개념을 적절히 적용하는 능력을 칸트는 판단력이라고 부르지만, 이 판단력에는 문제가 있습니다. 판단력이 일련의 규칙을 실제로 적용하는 것을 의미한다면, 첫 번째 규칙을 어떻게 적용해야 하는지를 결정하기 위해 항상 두 번째 규칙이 필요합니다. 그러나 두 번째 규칙을 적용하려면 세 번째 규칙을 적용하는 방법을 결정하는 등 여러 가지 규칙이 필요합니다. 이런 식으로 규칙을 적용하기 위해 규칙을 공식화하는 무한 퇴행에 빠지게 되고, 이론과 실제 사이의 간극을 메울 수 없게 됩니다. 이 점을 설명하기 위해 체스에 대한 칸트 해설가 헨리 앨리슨의 설명을 생각해 보겠습니다.25,26 체스를 두려면 체스의 규칙을 공식적으로 배우는 것이 필요하지만, 좋은 수를 두려면 주어진 구체적인 상황에 대한 복잡한 해석이 필요합니다. 주어진 상황에는 항상 예외와 대안이 있기 때문에 더 많은 규칙을 고안한다고 해서 상황이 해결될 수 없습니다. "특정 상황에 필요한 것이 무엇인지 스스로 결정해야 할 필요성에서 벗어날 수 없다."25(206쪽) 따라서 칸트는 판단의 규칙을 공식화하거나 가르치거나 배우는 것은 원칙적으로 불가능해야 한다고 주장합니다. 그는 『순수이성비판』에서 판단력은 "전혀 가르칠 수 없고 오직 연습할 수 있는 특별한 재능"이라고 결론지었습니다.27(p(A133/B72)14) 
The ability to properly apply a rule or concept in a given situation is what Kant calls the power of judgment, but with this power of judgment comes a problem. If judgment means applying a set of rules to practice, a second set of rules will always be necessary to determine how the first set of rules should be applied. However, that second set of rules would require a third set of rules to determine how they should be applied, and so forth. In this way, we end up in an infinite regression of formulating rules for applying rules, and we would never bridge the gap from theory to practice. To illustrate this point, consider Kant commentator Henry Allison’s explanation of playing chess.25,26 Formally learning the rules of chess is necessary to play, but making a good move requires complex interpretations of the given, concrete situation. The situation cannot be remedied with devising more rules, since there are always exceptions and alternatives in any given situation. One is not relieved of the necessity “of determining for oneself what the particular situation requires.”25(p206) Therefore, Kant argues that it must be in principle impossible to formulate, teach, or learn the rules for judgment. In Critique of Pure Reason, he concludes that judgment is “a particular talent that cannot be taught at all but can only be practiced.”27(p(A133/B72)14)

가르칠 수 없는 판단력은 매우 불만족스러워 보였고, 칸트도 마찬가지였기 때문에 그의 후기 저작인 『판단력 비판』에서 이 문제를 다시 다루었습니다. 칸트는 판단력이 단순히 일련의 규칙을 실천에 적용하는 능력으로만 구성될 수 없다고 주장합니다(이는 '결정적 판단력'이라고 부르며 제한적 이해라고 본다). 앨리슨은 다음과 같이 말합니다: "결정의 관점에서만 판단을 설명하는 것은 본질적으로 불완전하며, 칸트가 '반성'이라고 부르는 활동을 보완해야 합니다."27(18쪽) 규칙을 적용하는 능력 외에도, 판단력은 규칙과 개념을 습득, 확장, 발전시키는 능력으로 구성되며, 사람들은 실제 경험에 기초하여 그리고 그 경험과의 대화를 통해 규칙과 개념을 성찰합니다. 그는 이를 "성찰적" 판단이라고 부릅니다. 
Judgment that cannot be taught seems quite unsatisfactory, and so it was too for Kant, which is why he returned to this problem in his later work Critique of Judgment. Judgment, he argues, cannot merely consist in the ability to apply a set of rules to practice (a limited understanding which he now calls “determinative judgment”). As Allison writes: “an account of judgment solely in terms of determination is inherently incomplete, requiring as its complement the activity that Kant terms ‘reflection’.”27(p18) Besides the ability to apply rules, judgment also consists of the ability to acquire, expand, and develop rules and concepts; people reflect on them on the basis of, and in dialogue with, practical experience. This he calls “reflective” judgment.

칸트는 반성적 판단이 무엇을 하는지를 다음과 같이 설명합니다:

  • "반성(또는 고찰)한다는 것은 주어진 제시를 다른 제시 또는 자신의 인지력[그 자체]과 비교하고, 이[비교]가 가능하게 하는 개념과 관련하여 비교하는 것이다."28(p400,FI,211)

즉, 반성적 판단은 당면한 문제를 '지배'하고 추상적으로 분류하고 결정하는 것(결정적 판단)이 아니라 자신의 (개념적) 사고를 다루고 있는 대상이나 상황과 '조화'시키는 것을 포함합니다. 칸트에 따르면, 반성적 판단은 우리가 사용하는 개념과 그것을 적용하는 규칙이 세계와 근본적으로 관련되어 있다고 가정하기 때문에 경험의 조건 자체를 형성합니다. 
What reflective judgment does is described by Kant in the following way:

  • “To reflect (or consider) is to hold given presentations up to, and compare them with, either other presentations or one’s cognitive power [itself], in reference to a concept that this [comparison] makes possible.”28(p400,FI,211) 

In other words, reflective judgment involves not so much a “ruling over” the matters at hand, categorizing and determining them in abstract fashion (which would be determinative judgment), but rather “harmonizing” one’s (conceptual) thought with the object or situation one is dealing with. Reflective judgment, according to Kant, thus forms the very condition of one’s experience, since it assumes that the concepts one uses and the rules with which one applies them are principally related to the world.

개인적 감각과 공동체적 감각 사이의 간극
The gap between an individual and communal sense

2.1절에서 칸트에게 성찰은 이론과 실천의 간극을 메우는 일이며, 이것이 바로 경험의 조건이라고 설명했습니다. 이 섹션에서는 칸트가 성찰에서 중요한 역할을 하는 또 다른 본질적인 간극을 확인했으며, 그것은 개인적 감각공동체적 감각 사이에 존재한다는 것을 보여줍니다. 아렌트는 칸트의 사고 개념("반성적 판단")을 그의 전임자들과 구분 짓는 가장 중요한 측면은 그것의 실천적 성격뿐만 아니라 사회적 성격이라고 주장했습니다. 칸트에게 반성적 판단은 자신의 이성을 공적으로 사용하는 것이며, 따라서 자신의 고려 사항을 다른 사람들과 협상하는 것으로 구성됩니다: 
In Section 2.1, we explained that reflection for Kant involves bridging the theory–practice gap, and that it is the very condition of experience. In this section, we show that Kant identified another quintessential gap that plays a role in reflection, and it resides between one’s individual sense and a communal sense. Arendt argued that the most important aspect that sets Kant’s notion of thinking (as “reflective judgment”) apart from his predecessors’ is not only the practical, but also the social nature of it. Reflective judgment, for Kant, consists in the public use of one’s reason, and hence the negotiation of one’s considerations with others:

[칸트는 '자유롭고 공개적인 시험'이 없이는 어떤 사고도, 어떤 의견 형성도 불가능하다고 믿었습니다. 이성은 '스스로를 고립시키기 위해 만들어진 것이 아니라 다른 사람들과 공동체 속으로 들어가기 위해' 만들어졌다. 29(p40)
[Kant] believes that the very faculty of thinking depends on its public use; without ‘the test of free and open examination,’ no thinking and no opinion formation are possible. Reason is not made ‘to isolate itself but to get into community with others’. 29(p40)

성찰의 공공성 타인의 배려나 인정을 필요로 하지 않는 단순한 계산이나 규칙 추종과는 분명하게 구별된다. 칸트는 이러한 판단의 공적 성격을 미적 판단, 즉 특정 대상의 아름다움에 관한 진술로 설명합니다. 칸트는 미적 판단은 공유된 감각, 즉 센수스 코뮤니스라고 부르는 것에 근거한다고 주장합니다. 아름다움에 대한 판단은 단순히 주관적인 느낌이 아니라 개인이 상상하는 감각을 모두가 공유하는 것으로 간주합니다. 예를 들어, 내가 아름다운 꽃을 보거나 모차르트 소나타의 소리를 듣는다면 다른 사람들도 내 감각을 공유할 것이라고 기대할 수밖에 없는데, 이는 내 감각과 다른 사람의 감각을 구별할 수 있는 특별한 요소가 없기 때문입니다. 그러나 내 판단을 다른 사람의 판단과 비교한다고 해서 내 취향을 다수의 취향에 맞추는 것은 아닙니다. 다만 나의 아름다움에 대한 감각은 나만의 감각일 수 없으며, 일반적으로 공유되는 아름다움에 대한 감각에 기반해야 한다는 것을 전제할 뿐입니다.
The public nature of reflection is clearly distinguished from mere calculation or rule following, for which one would not need the considerations or recognition of others. Kant illustrates this public nature of judgment by means of
 esthetic judgments, i.e. statements concerning the beauty of certain objects. One’s esthetic judgments, Kant argues, are based on what he calls a sensus communis, a shared sense. One considers judgments of beauty not as merely subjective feeling, but rather as a sensation that individuals imagine is shared by all. For example, if I enjoy the sight of a beautiful flower or the sound of a Mozart sonata, I cannot help but expect that others will share my feeling, precisely because there is nothing in particular about me that would distinguish my sensation from that of others. Comparing my judgment with those of others, however, does not mean that I adjust my taste to that of the majority. I only presume that my sensation of beauty cannot merely be my own; it must be based on some generally shared sense of beauty.

아렌트에 따르면 미적 판단의 본질에 대해 칸트가 말한 것은 일반적인 판단에도 해당됩니다. 타인의 관점을 고려하는 것은 사고를 구성하는 근본적인 부분이며 심지어 우리를 인간으로 만드는 요소이기도 합니다. 그것은 세상을 경험하는 방식과 공동체를 연결합니다. 다시 한 번 말씀드리지만, 모든 사람이 제 판단에 실제로 동의할 것이라고 주장하는 것은 아닙니다. 오히려 저는 성찰을 통해 제 판단을 가상의 커뮤니티와 연관시킵니다: 
What Kant says about the nature of esthetic judgment is true for judgments in general, according to Arendt. That one takes the perspective of others into account is a fundamental part of what constitutes thought and even what makes us human. It connects the way one experiences the world with a community. Again, this does not mean that I claim that everyone will actually agree with my judgments. Rather, in reflection I relate my judgments to a hypothetical community:

우리는 우리의 판단을 (실제가 아니라) 다른 사람들의 가능한 판단과 비교하고, [따라서] 우리 자신의 판단에 붙을 수 있는 한계를 추상화함으로써 다른 모든 사람의 입장에 서게 됩니다. 28(p.160)
We compare our judgments not so much with actual as rather with the merely possible judgments of others, and [thus] put ourselves in the position of everyone else, merely by abstracting from the limitations that [may] happen to attach to our own judging. 28(p.160)

다른 모든 사람의 입장에 서는 것은 상상력의 힘에 달려 있지만, 그렇다고 해서 공동체가 완전히 허구라는 의미는 아닙니다. "상상의 힘에 의해 다른 사람들이 존재하게 되고, 따라서 잠재적으로 공공의 공간, 사방에 열려 있는 공간에서 움직이게 됩니다."29(43쪽)
To place oneself in the position of everyone else depends on the power of imagination, but that does not mean that the community is entirely fictitious. “By the force of imagination it makes the others present and thus moves in a space that is potentially public, open to all sides.”
29(p43)

격차 해소와 성찰의 광기
Bridging gaps and the madness of reflection

앞선 섹션에서 우리는 성찰이 인간 경험에서 중요한 역할을 하는 두 가지 전형적인 격차, 즉 이론과 실천의 격차, 개인적 감각과 공동체적 감각 사이의 격차와 관련되어 있음을 살펴보았습니다. 이를 통해 실무자가 이러한 격차를 어떻게 해소할 수 있는지에 대한 분석이 이루어지며, 성찰을 가르치고 배울 수 있는지 여부와 방법이 시급한 질문이 됩니다. 
We saw in the previous sections that reflection concerns two quintessential gaps that play a role in human experience: the theory–practice gap, and the gap between the individual and communal sense. This brings the analysis to the point how practitioners can bridge these gaps, and the pressing question becomes whether and how reflection can be taught and learned.

다시 한 번 칸트의 성찰에 대한 철학적 분석, 특히 성찰이 근본적으로 체계화에 저항하는 두 가지 방식으로 돌아가 보겠습니다. 첫째, 앞서 살펴본 바와 같이 칸트는 이론과 실천을 연결하는 궁극적인 규칙은 무한한 퇴행으로 이어질 수 있기 때문에 공식화할 수 없다고 주장했습니다. 간단히 요약하자면, 체스의 규칙을 형식적으로 배우는 것과 당면한 복잡한 상황을 해석하여 좋은 수를 두는 것에는 반성적 판단이 필요한 차이가 있습니다. 따라서 칸트는 레시피처럼 규칙을 공식적으로 배우는 것이 아니라 예시를 통해 성찰을 훈련할 것을 제안했습니다.26 성찰은 일반적인 규칙을 특수한 상황과 대화하는 독특한 재능으로 가르칠 수 없고, 오로지 연습할 수 있을 뿐이다. 이러한 관점에서 볼 때 성찰은 근본적으로 체계화에 저항합니다. 
We return once more to Kant’s philosophical analysis of reflection, specifically to two ways reflection fundamentally resists systematization. First, as we have seen, Kant argued that the ultimate rule to connect theory with practice cannot be formulated because that would lead to an infinite regression. To recapitulate briefly, there is a difference between formally learning the rules of chess, and making a good move by interpreting the complex situation at hand, which requires reflective judgment. Therefore, Kant suggested to train reflection with examples, not by formally learning rules like a recipe.26 Reflection cannot be taught but only practiced as that peculiar talent that brings general rules into dialogue with particular circumstances. From this perspective, reflection fundamentally resists systematization.

체계화에 대한 두 번째 유형의 저항은 개인적 성찰과 공동체적 성찰 사이의 간극에 관한 것입니다. 1.2절에서 설명했듯이, 개인은 자신의 개인적인 판단을 (상상된) 공동체의 판단과 연관시킵니다. 그러나 이 공동체는 완전히 안정된 것이 아니라 우발적인 것이며, 공동체를 구성하는 개인들 역시 변화할 수 있습니다. 따라서 커뮤니티는 시간의 흐름과 커뮤니티의 고유한 구성에 따라 변화합니다. 성찰의 경우, 공동체의 상대적 불안정성으로 인해 누구도 언제 어디서나 모든 사람을 위한 성찰의 결과를 명확하게 공식화할 수 없습니다. 
The second type of resistance to systematization concerns the gap between the individual and communal sense of reflection. As we explained in Section 1.2, individuals relate their personal judgments to those of the (imagined) community. However, this community is not fully stable but contingent; moreover, the individuals who constitute the community are also viable to change. Thus, the community alters with the passing of time and unique constitution of the community. In the case of reflection, the community’s relative instability prevents anyone from definitively formulating what the outcome of reflection should be for everyone, at all times, and everywhere.

칸트 이후 철학에서는 [체계화에 대한 저항]이 많은 논쟁을 불러일으켰습니다. 어떤 경우에는 반성이 계산적 합리성으로 이해되는 과학과 직접적으로 대립하기도 했습니다. 철학자 하이데거는 "과학은 사유하지 않는다."30(p8)고 도발적으로 말했는데, 이는 과학을 부정하려는 의도가 아니라 (철학적) 성찰이 명백한 전제에 기초하여 논리적으로 추론하는 미리 정해진 방법론에 따라 진행되지 않는다는 점을 강조하기 위한 것이었습니다. 하이데거에 따르면 사상가는 훨씬 더 불확실한 영역으로 들어갑니다: "여기에는 다리가 없고 도약만 있다." 그리고 그것은 우리를 반대편으로 데려갈 뿐만 아니라 완전히 다른 곳으로 데려간다.30(p8) 
After Kant, the resistance to systematization has been much debated in philosophy. In some cases, reflection has even been pitted directly against science, understood as calculative rationality. The philosopher Heidegger provocatively stated that “science does not think,”30(p8) which was certainly not meant to disqualify science, but rather to emphasize that (philosophical) reflection does not proceed according to a predetermined methodology, logically inferring on the basis of evident premises. The thinker, according to Heidegger, enters a much more uncertain field: “There is no bridge here – only the leap,” and that takes us not only to the other side, but to a totally different place.30(p8)

과학에 대한 하이데거의 비판은 과장된 것이며, 과학자들이 철학자만큼이나 불확실한 지형을 정기적으로 밟고 있다는 사실을 무시하고 있다. 그럼에도 불구하고 하이데거의 지적은 의료 분야의 성찰에 대한 분석과 관련이 있습니다. 어떻게 진행해야 하는지 미리 안다면 "생각할 필요가 없다"는 것입니다. 다시 말해, 반성(또는 사고)과 계산 또는 규칙 준수 사이에는 근본적인 차이가 있습니다. 따라서 성찰은 정확한 공식화에 저항하며, 심지어 성찰이 획일적인 학습 결과로 해석될 때 성찰이 위태로워진다고 말할 수 있습니다. 성찰이 맹목적으로 올바른 상자에 체크하는 문제가 된다면, 그러한 과정은 진정한 성찰을 대체할 위험이 있으며, 그로 인해 전문적인 태도도 대체될 수 있습니다. 
Heidegger’s criticism of science is exaggerated, and ignores the fact that scientists regularly tread terrain as uncertain as that of the philosopher. Still, Heidegger’s point is relevant for our analysis of reflection in the medical field: if one would know beforehand how to proceed, one would not have to “think.” There is, in other words, a fundamental difference between reflecting (or thinking) and calculating or rule following. One could therefore say that reflection resists precise formalization, and that reflection even becomes jeopardized when it is translated into uniform learning-outcomes. If reflection becomes a matter of blindly checking the right boxes, such a process risks replacing actual reflection, and with that the professional attitude.

성찰을 포괄하는 전문적 태도를 고려하기 위해 철학자 데리다가 법의 실천은 결코 단순한 법의 적용이 아니라고 주장한 점을 고려해야 합니다. 따라서 그는 법과 정의를 구분합니다. 정의가 실현되기 위해서는 항상 법이 적용 가능한지 여부를 결정해야 합니다. 즉, 법과 당면한 사건에 대한 해석을 모두 포함하는 전문적인 성찰의 과정이 필요합니다. 그렇지 않고 정의가 단순히 규칙이나 프로토콜을 따르는 것으로 구성된다면, 이는 완전히 계산 가능한 프로세스가 될 것이고 우리는 이 프로세스를 컴퓨터에 쉽게 아웃소싱할 수 있을 것입니다. 엄밀한 의미에서 결정이나 판단의 순간은 전혀 존재하지 않을 것입니다. 이는 의료 전문가에게 [흥미로운 역설]을 초래합니다. 모든 결정에는 그 결정이 옳은지, 정당한지 불확실한 '결정 불가능성'의 순간이 반드시 수반됩니다.31 데리다가 쇠렌 키에르케고르의 말을 인용한 것처럼 "결정의 순간은 광기다."32(65쪽) 과장된 것처럼 보일 수 있지만 키에르케고르는 성찰을 규칙 준수나 특정 지식으로 환원할 수 없음을 정확히 강조하고 있습니다
To consider a professional attitude that encompasses reflection, we take into consideration how the philosopher Derrida argues that the practice of law is never a mere application of the law. He therefore makes the distinction between law and justice. For justice to occur, one must always decide whether the law is, in this case, applicable. In other words, a process of professional reflection is needed, which involves the interpretation both of the law and of the case at hand. Were that not so, and justice would consist in the mere following of a rule or protocol, it would be a fully calculable process and we could easily outsource it to a computer. There would, in the strict sense, be no moment of decision or judgment at all. This leads to an interesting paradox for medical professionals. Each decision involves a necessary moment of “undecidability,” that is an uncertainty whether the decision is right, or just.31 “The instant of decision is madness,” as Derrida quotes from Søren Kierkegaard.32(p65) This might seem exaggerated, but Kierkegaard precisely emphasizes the impossibility of reducing reflection to rule-following or certain knowledge.

사례에 적용된 철학적 분석
The philosophical analysis applied to examples

이 단계에서는 성찰과 두 가지 간극에 대한 철학적 분석이 의료 행위와 의학교육의 두 가지 구체적인 사례와 어떻게 관련될 수 있는지 설명하는 것이 도움이 될 것입니다. 
At this stage, it is helpful to illustrate how our philosophical analysis of reflection and the two gaps could relate to two concrete examples from medical practice and medical education.

첫 번째 사례는 유능하고 전문적인 마취과 의사가 삽관 및 인공호흡이 불가능하다는 사실을 인지하지 못해 환자 일레인 브로마일리가 비극적으로 사망한 2008년의 사례입니다.33 "[그들은] 다른 전략으로 변경해야 할 때 삽관 및 인공호흡 시도를 계속했습니다."34(61페이지) 에비 피오라투와 동료들은 이를 고정 오류 또는 "과거 경험에 대한, 현재 상황을 해치는, 도움이 되지 않는 의존"으로 평가했습니다.34(61페이지) 그들은 이러한 오류를 방지할 쉬운 수정 방법이 없다고 주장합니다. 일반적으로 루틴을 개발하고, 프로토콜을 따르고, 체크리스트를 사용하는 것이 중요합니다.7,35 그러나 브로마일리의 사례는 고착화가 "(...) 경험 법칙의 자연스러운 부산물"이라는 것을 보여주었습니다.34(p62)  
Our first example comes from 2008, when patient Elaine Bromiley tragically died after competent and expert anesthetists failed to recognize that they could not intubate and ventilate.33 “[They] persevered with attempts to intubate and ventilate when they should have changed to another strategy.”34(p61) Evie Fioratou and colleagues assessed this as a fixation error, or an “unhelpful reliance on past experience to the detriment of the current situation.”34(p61) They argued that there is no easy fix to prevent this error. Generally, developing routine, following protocols and using checklists are important.7,35 However, Bromiley’s case also showed how fixation is a “natural by-product of (…) rules of thumb.”34(p62)

브로마일리의 사례는 이론과 실천의 간극을 메우는 칸트의 문제를 잘 보여줍니다. 칸트처럼 의료 종사자와 연구 전문가들은 반성적 판단을 통해 특정 상황에서 규칙과 기준을 어떻게 적용해야 하는지를 정확히 파악합니다. 전문가들에 따르면 여기에는 불확실성을 받아들이고 의도적으로 대안을 모색하는 훈련,36 "멈추고 생각하기"(및 사례에 비추어 체크리스트 검토7), 잠재적 고착에 대한 인식을 높이기 위해 일상적인 사례와 일상적이지 않은 사례에 대한 노출 등이 포함됩니다.34,36 그러나 궁극적으로 이론과 실무 사이의 격차는 남아 있으며 실무자는 이를 뛰어넘는 방법을 배워야 합니다. 
Bromiley’s case illustrates Kant’s problem of bridging the theory–practice gap. Just like Kant, medical practitioners and research experts turn to reflective judgment to pinpoint how practitioners must come to grips with applying rules and standards in particular situations. According to experts this encompasses, for instance, training to accept uncertainty and deliberately seeking out alternatives,36 embedding moments to “stop and think” (and review checklists in light of the case7), and exposing practitioners to routine and non-routine cases to increase their awareness about potential fixations.34,36 Ultimately, however, the gap between theory and practice will remain, and practitioners must learn to deal with jumping over it.

일레인 브로마일리의 사례는 개인적 감각과 공동체적 감각 사이의 간극을 메우는 것의 가치를 잘 보여줍니다.37 마취과 의사와는 달리 주치의 간호사는 문제를 인식했지만 마취과 의사에게 이를 전달하지 못했고 "임상의의 정신 모델을 무시하고 바꾸지 못했습니다."35(p116) 따라서 사회적 차원을 이해하고 팀원으로부터 피드백을 받는 것이 좋습니다.36,38,39 이는 시술의 올바른 적용에 대한 실무자 개인의 감각(그리고 확신)을 점검해 줍니다.
Elaine Bromiley’s case also illustrates the value of bridging the gap between an individual and communal sense.37 Contrary to the anesthetists, the attending nurses did recognize the problem, but were unable to communicate that to the anesthetists, and failed to “override and change the clinicians’ mental model.”35(p116) Understanding the social dimension and allowing feedback from team members is therefore advized.36,38,39 It checks practitioners’ individual sense (and certainty) about their correct application of procedures.

두 번째 사례는 네덜란드 GP 전문 교육에서 매주 실시하는 그룹 성찰 세션에 대한 연구에서 나온 것입니다.40,41 마리오 빈과 앤 드 라 크로아는 참가자들이 어떻게 경험을 "공유"하고 "성찰"하게 만드는지 연구했습니다. 한 사례로, 일로네는 자신의 상사가 "전화를 받을 때 자신의 이름을 부르는 방식이 화가 났다."40(329쪽) 그런 다음 일로네는 동료들에게 물었습니다: "당신들도 그렇게 세세하게 관찰하는지 궁금합니다. (...) 이런 부분인가요, 아니면 제 GP 트레이너가 갑자기 아주 세세한 부분까지 집중하는 건가요?"40(328쪽) 이후 이 경험에 대한 토론이 이어졌고, (느슨하게) 관련된 주제를 탐색하고 조언을 제공했습니다. 
Our second example comes from a study on weekly group reflection sessions in the Dutch GP specialty training.40,41 Mario Veen and Anne de la Croix studied how participants themselves make experiences “shared” and “reflectable.” One case involves registrar Ilone, who told the group how her supervisor criticized “the way she says her name when she answers the phone, which upset her.”40(p329) Then, Ilone asked her peers: “I wondered if with you they also observe in such detail? (…) Is this part of it or is it something that my GP trainer suddenly focusses on, very fussy details.”40(p328) What ensued was a discussion of this experience, which involved exploring (loosely) related themes and giving advice.

브로마일리의 사례와 마찬가지로 일론의 사례도 성찰과 두 가지 간극을 모두 보여줍니다. 그러나 브로마일리의 사례와 비교하면 두 가지 간극이 다르게 드러납니다. 첫째, GP 등록의사는 수퍼바이징을 받는 동안 어떤 일반적인 원칙(이론)이 역할을 하는지 (회고적으로) 탐색하고, 둘째, 이러한 원칙이 일로네의 경험(실천)과 어떻게 관련되는지 살펴봅니다. 이 사례에는 수퍼바이저가 어떻게 수퍼바이징을 해야 하는지, 세부 사항에 대한 주의와 소란스러움 사이의 균형, 피드백 제공, 메타 커뮤니케이션, 레지스트라로서의 경계 설정 등이 포함되었습니다.40 또한 일로네는 동료들에게 수퍼바이징 경험에 대해 질문했습니다. 이는 공유된 의미 만들기의 한 형태이며,42 레지스트라들은 감독을 받는다는 개인적, 공동체적 의미를 (재)구성했습니다.  
Like Bromiley’s example, Ilone’s example also illustrates reflection and both gaps. Compared to the Bromiley example, however, the two gaps materialize differently.

  • First, GP registrars explore (retrospectively) what general principles (theory) play a role while being supervised, and
  • second, how those relate to Ilone’s experience (practice).

The case involved how supervisors should supervise; balancing attention to detail with fussing over details; providing feedback; meta-communication and setting boundaries as a registrar.40 Moreover, Ilone asked peers about their experiences with supervision. This is a form of shared meaning making,42 and the registrars (re)constructed their individual and communal sense of being supervised.

요약하자면, 이 두 가지 사례를 통해 성찰을 이론과 실제, 그리고 특정 상황에서 개인적 의미와 공동체적 의미 사이의 간극을 넘나드는 인간의 기본적 역량으로 이해한다면 성찰이 실무자에게 가치를 창출하는 유연성을 보여줄 수 있음을 알 수 있습니다. 임상적 추론에 사용되는 성찰은 전문성 개발을 위해 매주 (회고적) 그룹 성찰 세션을 하는 것과는 다릅니다. 성찰의 위치는 우리가 비판적으로 주목할 가치가 있지만, 각 사례는 단순한 계산이나 다른 사람의 의견이 필요 없는 맹목적인 규칙 적용을 초월합니다. 모든 것이 명확하고 확실할 때는 결정이나 판단을 내릴 필요가 없으며, 컴퓨터가 작업을 실행할 수 있습니다. 실천은 크고 작은 불확실성의 순간으로 가득 차 있습니다. 불확실성은 (규칙, 절차, 모델, 이론에 담긴) 일반적인 원칙이 고유한 현실에 잘 맞지 않을 때 실무자가 광기에 직면할 때 발생합니다. 
In sum, with these two examples we illustrate reflection’s flexibility to yield value for practitioners, if one understands it as a fundamental human capacity to cross the gaps between theory and practice, and the individual and communal sense in a particular situation. Reflection used for clinical reasoning is different from doing weekly (retrospective) group reflection sessions for the sake of professional development. The situatedness of reflection deserves our critical attention; however, each case transcends mere calculation and blind application of rules that would not require input from others. No decisions or judgments need to be made when everything is clear and certain; then, a computer could execute the tasks. Practice is riddled with minor or major moments of uncertainty. Uncertainty occurs when practitioners face the madness when general principles (captured in rules, procedures, models, theory) do not neatly fit the unique reality.

2단계: 철학적 고려사항이 성찰 연구와 어떻게 관련되는지 살펴보기
Phase two: how the philosophical considerations relate to research on reflection

2단계에서는 철학적 고려 사항을 성찰의 (잠재적) 이점을 논의한 연구와 연관시켰습니다. 2000년대 이후 성찰에 관한 연구에 대한 문헌 검토에서 다양한 이점을 나열한 것을 발견했습니다. 한편, 많은 리뷰에서 통일된 이론적 이해의 부족과 경험적 증거의 부족을 지적하기도 했습니다.12-15 우리는 이 보고서에서 이론적 합의나 경험적 증거를 평가하지는 않았지만, 철학적 고려를 통해 성찰의 개념적 사용과 이를 통해 연구자들이 다양한 이점을 정확히 찾아낼 수 있는 방법을 면밀히 조사했습니다. 
In phase two, we related our philosophical considerations to research that discussed reflection’s (potential) benefits. We found that literature reviews about research on reflection since the 2000s listed a wide range of benefits. Meanwhile, many reviews also admonished the lack of a unified theoretical understanding and the paucity of empirical evidence.12–15 We did not assess theoretical consensus nor empirical evidence in these reports, but used our philosophical considerations to scrutinize the conceptual use of reflection and how that allows researchers to pinpoint various benefits.

성찰에 관한 연구의 이론과 실제의 격차
The theory–practice gap in research on reflection

문헌 검토를 통해 다음과 같은 개념적 성향을 확인할 수 있었습니다. 연구 분야에서는 이론과 실천의 간극을 메우기 위한 근본적인 방법으로 성찰을 수용했습니다. 그러나 이는 인간 경험의 조건이며, 이 분야는 결국 어디에나 있고 다양하게 적용할 수 있는 성찰의 이점을 열거하는 것으로 마무리된다. 이 전략은 실무자가 매일, 다양한 상황에서, 다양한 이유로 이론과 실무의 간극을 넘어야 한다는 점을 염두에 두었을 때 특히 두드러졌습니다. 
In the literature reviews, we saw the following conceptual inclination occur. The research field embraced reflection as a fundamental way to bridge the theory–practice gap. This is, however, the very condition for human experience, and the field ended up listing benefits of reflection that are ubiquitous and multi-applicable. This strategy became especially salient when one kept in mind that practitioners must cross the theory–practice gap on a daily basis, on many different occasions, and for many different reasons.

문헌 검토에서는 "성찰은 이론과 실천 사이의 간극을 좁혀 궁극적으로 실천을 향상시키는 데 도움이 된다."고 말한다10(p495) 또한, 검토에서는 이론과 실천 사이의 전환을 설명하기 위해 다양한 표현을 사용했습니다. 예를 들어, 성찰은 실무자가 실무와 이론의 경험을 연관시키거나,8 이론과 실무를 연결하거나 통합하거나,43,44 모호성을 처리하거나,45 맥락화를 통해,13 이론이 실무에 어떻게 내재되어 있는지를 드러내는 데 도움이 되었습니다.9 또한 리뷰에서는 성찰이 이론-실무 간 간극을 건너는 데 도움이 되는 특정 영역(예: 임상 추론)을 구분했습니다.46 후자의 영역 내에는 다양한 개념이 존재하여 성찰의 유익한 효과에 차이가 있음을 주목해야 합니다.7
The literature reviews reported that “reflection helps narrow the gap between theory and practice, ultimately enhancing practice.”10(p495) Additionally, reviews also used different wordings to describe the transition between theory and practice. For instance, reflection helped practitioners relate experiences from practice to theory,8 linked or integrated theory with practice,43,44 handled ambiguity,45 through contextualization,13 or exposed how theory is embedded in practice.9 Reviews also demarcated specific domains wherein reflection helped traverse the theory–practice gap, for instance, clinical reasoning.46 Take note that within the latter domain different conceptions of reflection exist, which led to variation in its beneficial effects.7

이론과 실제의 격차에 초점을 맞춘 리뷰어들은 성찰이 다양한 변화를 일으켰다고 보고했습니다. 예를 들어, 성찰은 행동과 지식을 변화시켰습니다.46,47 또 다른 리뷰에서는 성찰을 권한 부여와 연결하여 다음과 같은 다양한 변화를 암시했습니다. 
The focus on the theory–practice gap led reviewers to report that reflection instigated a variety of changes. For example, reflection transformed behavior and adapted knowledge.46,47 Another review linked reflection to empowerment and implied various transformations, like more consistently

연구 증거를 실무에 활용하고, 
시간을 들여 이론과 실무를 연결하고, 
임상 상황과 실무에 대해 비판적으로 평가하고, 질문하고, 대화하고, 문제를 해결하고, 
실천와 사고에 변화를 일으키고, 
실천에서 자신의 행동이 갖는 의미에 대해 토론하고,
이전에 가지고 있던 가치, 신념, 가정에 도전하기 위해 위험을 감수하고,
새로운 학습과 사전 지식을 통합하는 것 등입니다. 44(p643)

using research evidence in practice;
taking time to link theory with practice;
critically evaluating, questioning, dialoguing about, and problem solving clinical situations and practices;
enacting changes in their practice and thinking;
debating implications of their actions in practice;
taking risks to challenge previously held values, beliefs, and assumptions; and
integrating new learning with prior knowledge. 44(p643)

이 인용문은 개념적 성향을 명확하게 보여줍니다. 현대 연구는 성찰을 근본적인 문제를 해결하기 위한 중심 수단으로 제시했는데, 칸트적 용어로 말하자면 이론과 실천의 간극을 메우는 것입니다. 그 결과, 연구자들은 성찰이 다양하지만 근본적인(행동, 인지, 정체성) 변화에 도움이 되는 원동력이 되어 다양한 상황에서 많은 (잠재적인) 이점을 가져다준다는 사실을 발견했습니다.
This quote illustrates the conceptual inclination clearly: contemporary research posited reflection as a central means to address a fundamental problem, which in Kantian terms is bridging the theory–practice gap. Consequently, researchers found how reflection became a beneficial driver for many different but fundamental (behavioral, cognitive, identity) changes that help cross that divide, resulting in many (potential) benefits in a wide range of situations.

성찰에 관한 연구에서 개인적 의미와 공동체적 의미 사이의 간극
The gap between the individual and communal sense in research on reflection

문헌 검토를 통해 개인적 의미와 공동체적 의미의 영역에서 다음과 같은 개념적 성향을 발견할 수 있었습니다. 문헌 검토에서는 성찰의 이점을 자기 인식과 연결하여, 성찰을 통해 자각할 수 있는 것들이 다양하며, 이를 통해 자신과 공동체에 다양한 유익한 효과를 가져올 수 있다고 보았다. 이러한 전략은 전문성 개발 또는 성장에 대한 언급과 함께 자주 등장했습니다. 
In the literature reviews, we encountered the following conceptual inclination that occurred within the domain of the individual and communal sense. Literature reviews connected the benefits of reflection to self-awareness, which led to a wide array of things one can become self-aware of, with diverse beneficial effects for oneself and the community. This strategy co-occurred often with references to professional development or growth.

리뷰에서는 일반적으로 성찰이 자신에 대해 더 많이 알게 됨으로써 전문직업적 발달에 영향을 미쳤다고 보고했습니다.48 전반적으로, "확립된 성찰 모델은 경험을 검토하여 미래의 실무에 정보를 제공하는 새로운 이해를 생성하기 때문에 시간이 지남에 따라 개인적 성장이 일어난다고 제안합니다."49(p437) 특히, 성찰은 개인의 신념을 파악하고,13,49-53 자신의 직업적 강점과 약점에 대한 통찰력을 얻고,3,6 개인적인 편견,4,5,54 및 태도를 인식하며,5,52 스트레스와 불안을 줄이고,3,6 소진을 예방합니다.1,2 예를 들어, 성찰 글쓰기 연습을 통해 실무자에게 나타나는 다른 유익한 효과로는 다음과 같은 것이 있습니다:
The reviews generally reported that reflection impacted professional development,48 by learning more about oneself.6 Overall, “established models of reflection propose that personal growth occurs over time, as experiences are examined to produce new understanding that informs future practice.”49(p437) In particular, reflection helped identify personal beliefs,13,49–53 gain insight into one’s professional strengths and weaknesses,3,6 recognize personal bias,4,5,54 and attitudes,5,52 decrease stress and anxiety,3,6 and prevent burnout.1,2 Other beneficial effects for practitioners, by doing for instance reflective writing exercises, include:

업무에 대한 태도 개선, 
업무 잠재력의 개발 경로, 
내성적 지식의 향상, 
표현 능력의 풍부함, 
환자 및 동료와의 대인 관계 개선, 
비판적이고 성찰적인 사고의 사용 개발 등이 있습니다. 6(p8)

an ameliorated attitude towards work;
a development path for [their] job potential;
an enhancement of their introspective knowledge;
an enrichment of their expressive capability;
an improvement of their interpersonal relationships with patients and colleagues
and [it] develop[s] their use of critical and reflective thinking. 6(p8)

문헌 검토에서는 성찰이 개인 의료진에게 주는 이점뿐만 아니라 커뮤니티에 주는 이점도 나열했습니다. 성찰은 "공동체 의식을 촉진하는 신뢰의 분위기를 조성"9(1642페이지)하거나, 진료 커뮤니티를 구축하고 전문가 간 관계를 개선하는 데 도움을 주었습니다.55,56 성찰은 "다른 관점, 의료 문화, 다양성의 중요성"을 이해하는 데 도움이 되었습니다.49(432페이지) ) 환자는 더 이상 단순한 치료의 대상이 아니며,2,49,52 의료진은 환자에게 공감하고 "환자를 돌보는 이유의 중요성"을 이해했습니다.4(p10) 성찰은 이타심을 불러일으켰고,57 의료진이 "지배적 담론과 억압적 권력 및 사회 구조에 도전"하는 데도 도움이 되었습니다.55(p221)
Literature reviews not only listed benefits of reflection for the individual practitioner, but also benefits for the community. It “generate[d] a climate of trust which promoted a sense of community,”
9(p1642) or supported building a community of practice and better interprofessional relations.55,56 Reflection helped practitioners understand “other perspectives, medical culture, and the importance of diversity.”49(p.432) Patients were no longer mere objects of care but practitioners also empathized with them,2,49,52 and understood “the importance of why they were caring for patients.”4(p10) Reflection kindled altruism,57 while it also helped practitioners “challenge dominant discourses and oppressive power and social structures.”55(p221)

다양한 개인적 및 공동체적 혜택의 근간이 되는 개념적 성향은 자기 인식을 중심으로 전개됩니다. "자기 인식은 어떤 상황에서는 환경 조작이 필요하고, 다른 상황에서는 지식 개선이 필요하다는 인식으로 이어질 수 있습니다."46(p387) 또는 일부 연구자들은 다음과 같이 결론지었습니다: "'높은 수준의' 논문은 (...) 자기 인식과 성찰에 대한 참여가 증가하고 (...) 지속적인 전문성 개발을 확인합니다."53(p312) 연구자들이 자기 인식을 촉발하는 성찰로 눈을 돌렸을 때, 성찰은 많은 이점을 제공하는 핵심 요소로 자리 잡았습니다.
The conceptual inclination that underlies the various individual and communal benefits pivots around self-awareness. “Self-awareness may lead to [the] perception that environmental manipulation is needed in one situation and knowledge improvement in another.”46(p387) Or as some researchers concluded: “‘Higher quality’ papers identify (…) increased self-awareness and engagement in reflection (…) and continuous professional development.”53(p312) When researchers turned to reflection that instigates self-awareness, it became a linchpin for many benefits.

당면한 문제는 개인이 자신의 판단을 다른 사람의 판단과 비교하거나 개인의 감각을 공동체의 감각과 대면하는 것입니다. 사실상 개인은 특정 주제에 대한 자신의 입장을 인식할 수 있습니다. 그 결과, 문헌 검토에서는 자신의 가치관, 편견, 의사소통 등에 이르기까지 (자기)자각할 수 있는 다양한 것들이 나열되었습니다. 자각할 수 있는 것의 목록은 무궁무진해 보입니다. 
The issue at hand is that individuals compare their own judgments with those of others, or confronting their individual sense with the communal one. In effect, they (could) gain awareness of their own position on any given subject. As a result, the literature reviews listed a wide variety of things that one could become (self-)aware of, ranging from one’s values, biases, to communication and so forth. The list of things that one could become self-aware of seems potentially endless.

토론
Discussion

이 분석을 통해 우리는 두 가지 격차가 성찰의 이점에 어떤 역할을 하는지, 왜 성찰의 이점이 많은지, 그리고 이것이 의학교육에 시사하는 바가 무엇인지 보여주고자 합니다. 첫째, 성찰은 실무자가 이론과 실무의 간극을 좁히는 데 도움이 됩니다. 둘째, 성찰은 실무자가 개인적 감각과 공동체적 감각 사이의 간극을 좁히는 데 도움이 됩니다. 그러나 이러한 간극을 건너는 것은 인간 이해에 매우 근본적인 것이기 때문에 성찰은 광범위한 상황에서 많은 특정 혜택을 위해 무분별하게 의존하는 보편적이고 일반적인 것이 될 위험이 있습니다. 성찰은 거의 만병통치약처럼 작동하기 시작합니다.16 성찰이 체계화에 저항한다는 점을 고려할 때, 이러한 격차를 해소하기 위한 성찰의 이점을 정확하게 정의할 수 있는 목록은 잠재적으로 무한합니다. 따라서 우리는 성찰의 잠재적으로 무궁무진한 구체적인 이점을 추구하고 경험적으로 검증하는 데 있어 자제를 권고합니다.18 
With our analysis, we aim to show how two gaps play a role in the benefits of reflection, why there might be so many benefits to reflection, and what that implies for medical education. First, reflection helps practitioners cross the theory–practice gap. Second, reflection helps practitioners cross the gap between the individual and communal sense. Yet, crossing these gaps is so fundamental for human understanding that reflection runs the danger of becoming ubiquitous and generic, indiscriminately relied on for many specific benefits in a wide range of situations. Reflection almost starts behaving like a panacea.16 In our view, the list to precisely define reflection’s benefits for crossing these gaps is potentially endless, also when one takes into consideration that reflection resists systematization. Thus, we advise restraint in pursuing and empirically validating potentially endless specific benefits of reflection.18

스텔라 응과 동료들이 주장했듯이, 성찰의 모든 이점을 정확히 찾아내려는 추구는 성찰을 공리주의적 목적을 위한 수단으로 환원적으로 이해하는 데 크게 작용합니다.12,14 실무자들은 "성찰이 '효과가 있다'는 것을 '증명'하기 어렵기 때문에 결국 [성찰이] 목표에 미치지 못한다고 인식할 수 있습니다."17(p468) 우리는 결정할 수 없는 순간, 심지어 광기의 순간은 의학 교육에서 감당하기 어렵다는 것을 제안합니다. 그것을 받아들일 수 없는 사람들은 그 공백을 메우려고 노력합니다. 이러한 비판적 관찰은 여전히 우리가 "간극을 메우기를 거부할 때" 어떻게 성찰을 실천할 수 있는지에 대한 의문을 남깁니다. 다음 섹션에서는 의학교육과 의료 실무에서 성찰을 위한 세 가지 구체적인 권장 사항을 제시합니다. 
As Stella Ng and colleagues argued, the pursuit to pinpoint all benefits of reflection plays heavily into a reductive understanding of reflection as a means to utilitarian ends.12,14 Practitioners “may eventually perceive [reflection] as falling short of its goals because it is difficult to ‘prove’ reflection ‘works’.”17(p468) We suggest that the moment of undecidability, or even madness, is difficult to swallow in medical education. Those who cannot accept it, attempt to fill the gaps. These critical observations still leave us with the question how reflection can be practiced if we refuse to “fill the gaps.” In the next section, we provide three concrete recommendations for reflection in medical education and medical practice.

세 가지 권장 사항
Three recommendations

철학 전통에서 성찰에 대한 개념 분석과 이것이 성찰에 대한 현대 연구와 어떻게 관련되는지에 근거하여, 우리는 성찰은 상황에 맞게 사용되어야 한다고 생각합니다.18 우리는 성찰에 "만능"은 없다는 것을 지지합니다.58 그럼에도 불구하고 성찰에 비판적으로 접근하지 않을 수 없으며, 철학적 고려를 통해 의학교육에 바람직한 몇 가지 권고안을 도출했습니다.
Based on our conceptual analysis of reflection in the tradition of philosophy, and how these relate to contemporary research on reflection, we think that reflection occurs in its situated use.18 We support that there is no “one-size-fits-all” to reflection.58 Nonetheless, this does not relieve us from critically approaching reflection, and our philosophical considerations led us to certain preferred recommendations for medical education.

첫째, 우리는 고독한 성찰 활동보다 공동의 성찰 활동을 우선시할 것을 권장하며, 이를 통해 현장의 사례가 번성하고 생생하게 살아날 수 있습니다. 성찰 에세이, 과제물 또는 포트폴리오 형태의 서면 성찰도 장점이 있다는 것을 부정하지는 않습니다. 예를 들어, 성찰을 훈련하거나 "자신의 의식적인 마음에서 두 번째 의견을 얻을 수 있습니다."36(550쪽) 그럼에도 불구하고, 우리의 철학적 고려에 따르면, 우리는 실무자가 이론과 실천의 격차와 씨름할 때 개인의 감각과 대조되는 공동체의 감각을 적극적이고 즉각적으로 표현하는 성찰 활동을 더 선호합니다. 이러한 교류는 실무자가 고독한 성찰 활동을 통해 개인적 감각에 '고착'59되는 것을 방지합니다. 그룹 성찰 활동은 구체적인 사례를 바탕으로 의료계의 공동체적 감각을 교정할 수 있는 보다 상호작용적인 수단을 제공합니다.42,60 실제로 네덜란드 GP 전문 수련의 경험 교환(EoE) 라운드와 같은 (성찰적) 토론 그룹을 긍정적인 예로 들 수 있습니다.40-42 일주일에 한 번, 두 명의 교사가 감독하는 소그룹의 GP 레지스트라가 모여 열린 대화 환경에서 임상 경험에 대해 토론합니다. 그룹 토론은 구체적인 경험에 대해 개인과 공동체적 의미(다른 개인으로 대표되는) 사이의 다양한 관점을 즉각적으로 교환하도록 유도합니다.40-42 이러한 공유된 의미 만들기는 "전문가 정체성 형성을 촉진합니다."42(876페이지).  
First, we recommend giving precedence to communal reflective activities over solitary ones, wherein situated examples can flourish and come to life. We do not deny that written reflections in the form of reflective essays, written assignments, or portfolios have some merit. For instance, they could train introspection, or “getting a second opinion from your own conscious mind.”36(p550) Nonetheless, based on our philosophical considerations, we prefer reflective activities that include active and immediate representation of the communal sense that contrasts with one’s individual sense when practitioners wrestle with the theory–practice gap. Such exchanges curb practitioners from being “stuck”59 in their individual sense through solitary reflective activities. Group reflection activities provide more interactive means for calibrating the communal sense of the medical profession based on concrete examples.42,60 Practically, we take (reflective) discussion groups as a positive example, for instance the Exchange of Experience (EoE) rounds in the Dutch GP specialty training.40–42 Once a week, a small group of GP registrars under supervision of two teachers come together to discuss their clinical experiences in an open, dialogic environment. Group discussions entice immediate exchanges of diverse perspectives between the individual and communal sense (as represented by other individuals) about concrete experiences.40–42 Such shared meaning making “promotes the formation of professional identities.”42(p876)

둘째, 자신의 직업적 정체성을 위해 성찰을 사용할 때, 우리는 성찰을 위한 공식적인 지침과 모델을 실무자가 어떻게 성찰해야 하는지를 지시하는 규범적 모델이 아니라 성찰을 위한 영감의 원천으로 사용할 것을 권장합니다.18,61 우리는 성찰은 체계화에 저항하며, 형식적으로 규칙을 배우는 것은 성찰과는 다른 것이라는 칸트의 주장에 근거합니다.26,62 따라서 칸트에게 성찰은 실천과 (상황에 맞는) 사례에 직면함으로써 훈련되는 것입니다. 구체적으로 앞서 언급한 네덜란드의 EoE 토론 그룹을 다시 한 번 사례로 들어보겠습니다. EoE에서는 경험이 중심이 됩니다. 등록의사는 안전한 환경에서 토론하는 동안 판단력을 키울 수 있도록 상황에 맞는 사례에 대한 이야기를 들려줍니다.60 이러한 토론은 지시되지 않고 "구조화된 자발성"으로 이루어집니다.40,42 토론은 지저분해지지만,40 등록의사는 경험을 자유롭게 토론할 수 있는 (안내된) 자유가 전문성 개발에 도움이 된다는 것을 알게 됩니다.42 
Second, when it comes to using reflection for one’s professional identity, we recommend using formal guidelines and models for reflection as sources of inspiration to reflect, and not as normative models that dictate how practitioners should reflect.18,61 We ground our recommendation in the Kantian argument that reflection resists systematization and that formally learning rules is something other than reflection.26,62 Thus, for Kant, reflection is trained by practice and by being confronted with (situated) examples. Concretely, we take the aforementioned Dutch EoE discussion groups as a case in point once more. In EoE, the experiences take center stage. Registrars tell stories about situated examples that allow them to sharpen their judgments during discussions in a safe environment.60 These discussions are not dictated, but take shape as “structured spontaneity.”40,42 The discussions become messy,40 but registrars find that having (guided) freedom to discuss experiences is valuable for professional development.42

셋째, 성찰에 대한 공식적인 지침을 영감으로 삼는다면 성찰에 대한 평가도 재고해야 합니다.63 성찰에 대한 평가는 종종 특정 규칙을 준수하는지 확인하는 것으로 귀결되는데, 성찰에 대한 명확한 평가 지침이 자의성과 편견의 문제에 대응하려는 의도는 이해하지만, 그러한 평가는 규칙을 올바르게 따르고 평가를 통과하려는 행동을 선동합니다.62,64 반대로 칸트적 의미에서 성찰은 규칙 준수 이상의 의미를 가지므로 성찰이 충분히 이루어졌는지 평가하려면 반드시 "광기의 순간(이론-실천 격차를 뛰어넘는)"을 포함하게 될 것입니다. 가이드라인은 그 간극을 메울 수 없으므로 신중하게 사용해야 합니다. 또한, 도약은 혼자 하는 것이 아니기 때문에 동료 전문가들의 공동 감각과 자신의 감각을 비교해야 합니다. 요컨대, 이론과 실제의 간극과 개인과 공동체의 감각의 간극은 평가자에게도 여전히 존재하며, 특히 성찰에 있어서는 더욱 그렇습니다. 
Third, when we take formal guidelines for reflection as inspiration, then we also must reconsider assessing reflection.63 Assessment of reflection often comes down to checking if certain rules are followed, and although we understand that clear assessment guidelines for reflection intend to counter problems of arbitrariness and bias, such assessment instigates behavior to correctly follow the recipe and pass the assessment.62,64 Conversely, reflection in the Kantian sense moves beyond following rules, so assessing whether or not reflection sufficiently took place will necessarily involve moments of “madness” (leaping over the theory–practice gap). Guidelines cannot fill the gap and should be used with caution. Moreover, one is not alone in leaping, and therefore must check one’s individual sense against the communal sense of fellow professionals. In sum, the theory–practice gap and the individual–communal sense gap remain in place for assessors too, particularly when it comes to reflection.

결론
Conclusion

성찰의 이점은 (잠재적으로) 풍부합니다. 성찰에 관한 연구에 대한 문헌 검토는 이러한 이점을 나열하고 검증하려고 시도하지만, 우리는 성찰이 왜 그렇게 많은 이점을 가질 수 있는지 철학적으로 분석했습니다. 철학적 전통을 바탕으로 우리는 성찰의 본질적인 역할을 하는 두 가지 간극이 존재한다고 주장했습니다. 한편으로는 실무자가 메우는 이론과 실천의 간극이 있고, 다른 한편으로는 실무자가 특정 상황에서 자신의 직업에 대한 공동체적 감각과 반대되는 개인적 감각을 메우는 것입니다. 
The benefits of reflection are (potentially) abundant. While literature reviews about research on reflection attempt to list and validate these benefits, we philosophically analyzed why reflection can have so many benefits. Based on the philosophical tradition, we argued that there are two gaps that play an inherent role in reflection. On the one hand, there is the theory–practice gap that practitioners bridge; on the other hand, practitioners bridge an individual sense opposed to a communal sense of their profession in particular situations.

칸트, 아렌트, 하이데거, 데리다와 같은 철학자들은 성찰이 이러한 간극을 좁히는 데 도움이 될 수 있으며, 이를 실천할 수 있음을 보여줍니다. 그러나 그들은 또한 성찰이 그 자체로 체계화에 저항한다고 경고합니다. 이러한 양쪽의 간극을 메울 수 있는 최종적인 열쇠를 형성하는 명확한 규칙이나 프로토콜은 존재하지 않습니다. 그러면 성찰은 단지 개별적이고 학습 가능한 기술이나 특정 목적을 위한 경험적으로 검증된 수단에 그치게 됩니다. 따라서 성찰을 학습 가능한 규칙으로 포착할 수 없다면, 성찰을 평가하는 데 유보적인 태도를 보여야 합니다. 한 쪽에서 다른 쪽으로 점프하는 것만 남아 있습니다. 실무자는 특히 전문가 커뮤니티에 속해 서로의 경험을 교환하면서 "간극을 염두에 두고" 점프를 연습할 수 있습니다. 
Philosophers like Kant, Arendt, Heidegger, and Derrida show that reflection can help cross these gaps, which one can practice. However, they also warn us that reflection, by its very condition, resists systematization. There is no definitive set of rules or protocols that form the final keystone to bridge both sides of these divides. Then, reflection also ceases to be merely an individual, learnable skill or an empirically validated means to some particular end. Consequently, if reflection cannot be caught in learnable rules, one should show reserve about assessing it. There only remains the jump from one side to the other. Practitioners can practice jumping, particularly when they are within a community of professionals and exchange their experience while they “mind the gap.”


Teach Learn Med. 2023 Jun-Jul;35(3):368-377. doi: 10.1080/10401334.2022.2142794. Epub 2022 Dec 8.

Mind The Gap: A Philosophical Analysis of Reflection's Many Benefits

Affiliations

1Department of General Practice, Erasmus University Medical Center, Rotterdam, The Netherlands.

2Faculty of Arts, University of Groningen, Groningen, The Netherlands.

PMID: 36475951

DOI: 10.1080/10401334.2022.2142794

Abstract

Issue: Expectations of reflection run high in medical practice and medical education; it is claimed as a means to many ends. In this article, the authors do not reject the value of reflection for medical education and medical practitioners, but they still ask why reflection can (potentially) yield so many different benefits, and what that implies for the status of reflection in medical education practice. Evidence: Based on a conceptual analysis of debates about reflection in the philosophical tradition, the authors argue that there are two quintessential gaps that play a role in the proliferation of (potential) benefits. First, reflection deals with bridging the gap between theory and practice; second, it deals with bridging the gap between the individual sense and communal sense. These gaps prevent the systematization of reflection, and they are fundamental to human thinking and experience in any situated environment, which led contemporary research on reflection to list a wide variety of benefits. Implications: The authors argue that if reflection resists systematization, it cannot be learned by following rules or protocols, but only practiced. Then, reflection should no longer be taught and researched as an individual skill one learns, nor as a means to some particular, beneficial end. Rather, one should practice reflection, and experience what it means to be part of a community wherein professionals jump the theory-practice gap constantly in a myriad of situations. Based on their analysis, the authors provide three concrete recommendations for reflection in medical education. First, to give precedence to reflective activities that encompass both gaps wherein situated examples can flourish; second, to use reflective guidelines as sources of inspiration; third, to show reserve about assessing reflection.

Keywords: Benefits; Communal Sense; Philosophical Analysis; Reflection; Theory Practice Gap.

 

반대편-질환에-존재함: 의학교육과 임상진료의 현상학적 존재론(Teach Learn Med, 2023)
Being-Opposite-Illness: Phenomenological Ontology in Medical Education and Clinical Practice
John Humm

소개
Introduction

질병은 환자에게만 일어나는 일입니다. 이것은 의대생으로서 일찍부터 배우는 중요한 교훈입니다.
Illness is something that happens only to patients. This is an important lesson you learn early on as a medical student.

헨리 마쉬1(p215)
Henry Marsh1(p215)

해를 끼치지 마라
Do No Harm

현상학은 의학에 유용한 도구입니다. 질병에 대한 생생한 경험에 대한 서술적이고 상세한 설명은 정량적인 과학적 탐구만으로는 놓칠 수 있는 특징을 밝혀냅니다.2 현상학은 인간 존재론의 근본적인 측면을 밝혀낼 수 있습니다.3 이 작업에서 '존재론'과 '존재론적'은 하이데거의 존재에 대한 연구를 의미합니다.4 우리의 존재론 또는 존재 방식의 다른 측면이나 변화는 우리가 세계를 경험하는 방식을 변화시킵니다. 이러한 개념을 처음 접하는 독자들을 위해 간단한 예를 들자면, 드 보부아르의 여성됨 연구는 여성으로서의 경험에 대한 현상학적 고찰을 기반으로 합니다.5 드 보부아르는 자신과 다른 여성들의 일상적 경험에 대한 고찰을 통해 "여성으로 태어나는 것이 아니라 오히려 여성이 되는" 존재론적 변화로서 여성이 되는 것을 제시합니다.5(295쪽) 이 연구는 이러한 접근법을 의과대학생들의 경험에 적용하고 있습니다. 의대생으로서 환자와 상호작용하는 경험과 이것이 시간이 지남에 따라 어떻게 변화했는지에 대한 현상학적 설명을 제공하는 것이 저의 의도입니다. 이를 통해 의사의 존재론에 대한 논의를 시작하고자 합니다.  
Phenomenology is a useful tool for medicine. Descriptive, detailed accounts of lived experiences of illness bring to light features that can be missed by quantitative scientific inquiry alone.2 Phenomenology can reveal underlying aspects of human ontology.3 Ontology’ and ‘ontological’ in this work refer to Heidegger’s study of being developed.4 Different aspects of, or changes to, our ontology, or way-of-being, change the way we experience the world. To use a simplified example for readers new to these concepts: de Beauvoir’s study of being female is based on a phenomenological examination of her experience of being a woman.5 De Beauvoir presents becoming a woman as an ontological transformation over time, “one is not born, but rather becomes, a woman,” in part through her examination of her and other women’s everyday experiences.5(p295) This work applies this approach to the experience of medical students. My intention is to provide a phenomenological description of my experience as a medical student interacting with patients, and how this has changed over time. By doing so, I intend to open a discussion on the ontology of the doctor.

질병은 근본적으로 세상을 경험하는 방식에 영향을 미칩니다.2 하이데거의 용어를 빌리자면, 질병은 환자의 세계 내 존재에 영향을 미칩니다. 저는 질병을 목격하고 치료하는 것 또한 존재론적 영향을 미칠 수 있다고 제안합니다.4 저는 이것이 의사에게 독특한 존재 방식을 초래한다고 주장하며, 이를 위해 질병-반대편의-존재라는 용어를 사용합니다. 간단히 말해, 질병-반대편의-존재환자를 객관화함으로써 발생하는 존재론적 결과를 말하는데, 이는 질병을 보는 것에 대한 신체적 반응을 줄이기 위해 필요한 것으로 보입니다. 
Illness fundamentally affects one’s way of experiencing the world.2 To use Heidegger’s term: it affects a patient’s being-in-the-world. I suggest witnessing and treating illness can also have ontological effects.4 I argue this results in a unique way of being for the doctor, for which I use the term being-opposite-illness. In brief, being-opposite-illness refers to the ontological result of objectifying patients, which appears to be required to reduce one’s bodily response to seeing illness.

현상학은 의학교육에도 유용한 도구로 활용되고 있습니다.6,7 특히, 현상학은 일상적인 경험을 주의 깊게 살펴봄으로써 겉으로 보기에 별것 아닌 사건이 그 경험의 근본 구조를 어떻게 숨길 수 있는지를 보여줍니다. 이러한 영향력을 인정하고 그에 따라 행동하면 의학교육자가 교육 실습에 대한 새로운 접근 방식을 만들어내는 데 도움이 될 수 있습니다. 또한 이 작품은 철학을 배우고 읽으면서 의대생인 제가 환자를 보는 방식이 어떻게 바뀌었는지 보여줍니다. 
Phenomenology has also been shown to be a useful tool for Medical Education.6,7 Specifically, phenomenology’s careful examination of everyday experiences demonstrates how seemingly unremarkable occurrences can hide underlying structures of those experiences. Acknowledging and acting on these influences can help medical educators produce renewed approaches to educational practice. Furthermore, this work shows how learning and reading philosophy changed the way I, a medical student, see patients.

이 작업은 세 부분으로 나뉩니다.

  • 첫 번째 섹션에서는 철학적 방법으로서의 현상학을 소개하고 신체에 대한 생물 의학적 관점과 현상학적 관점의 차이점을 강조합니다.
  • 섹션 2에서는 현상학적 설명의 층위를 구축하기 위한 세 가지 유형의 경험, 즉 타자와의 기본적인 만남(우리가 다른 사람과 상호작용하는 방식), 질병과의 만남(우리가 아프거나 다친 사람을 경험하는 방식), 임상적 만남(의사가 환자와 상호작용하는 방식)에 대해 설명합니다. 임상적 만남과 일반인이 질병을 접하는 방법의 핵심적인 차이점은 질병을 대면하는 것입니다.
  • 섹션 3에서는 두 의사의 1인칭 이야기를 살펴봅니다: 헨리 마쉬1와 폴 칼라니티입니다.8 이 두 의사의 이야기는 '반대되는 질병'과 그것이 의사와 의사-환자 관계에 미치는 영향에 대한 강력한 예시를 제시합니다.

This work is split into three sections.

  • In section one, I introduce phenomenology as a philosophical method and stress the differences between biomedical and phenomenological views of the body.
  • In section two, I describe three types of experience to build up layers of phenomenological description: the basic encounter with the Other (how we interact with any other person), the encounter with illness (how we experience someone who is ill or injured), and the clinical encounter (how doctors interact with patients). Being-opposite-illness is a key difference between the clinical encounter and how the public may encounter illness.
  • In section three, I explore first-person accounts from two doctors: Henry Marsh1 and Paul Kalanithi.8 I suggest both accounts provide powerful illustrations of being-opposite-illness and its effect on doctors and the doctor-patient relationship.

용어를 정의하고 설명의 한계를 설정하기 위해.

  • '타자'는 우리가 만나는 또 다른 사람입니다.9
  • '의사'는 서양의 현대 전통 의료에서 훈련된 임상의를 의미합니다.
  • '환자'는 질병을 가진 개인을 의미합니다.
    • 질병disease은 "신체의 생리적 기능 장애"를 의미합니다.2(p1) 이 '병리학적 해부학'은 의학적 시선의 초점입니다.10(p152)
    • 대신, 질환illness은 "심각하고 만성적이며 삶을 변화시키는 불건강"이라는 주관적인 삶의 경험을 의미합니다.2(p2) 우리는 이것이 환자와 의사가 질병과 상호작용하는 방식 사이에 중요한 구분임을 알게 될 것입니다.
  • 임상적 만남이란 의사와 환자 간의 대면 만남을 의미합니다. 여기에는 상담과 신체 검사는 물론 수술과 같이 의사가 직접 대면하여 수행하는 치료가 포함됩니다.
  • 또한 일반 대중이 질병과 만나는 과정도 탐구합니다. 여기서 '일반인'이란 의학적 교육을 받지 않은 일반인을 의미합니다.

마지막으로, 이 연구는 저나 특정 의사에 대한 단일 임상 사례와 그 존재론적 영향에 대한 조사가 아닙니다. 그보다는 임상적 경험, 의사, 환자에 대한 일반화를 시도하여 필수적인 특징을 파악하고 마지막 섹션에서 텍스트 분석을 통해 이를 뒷받침합니다. 
To define the terms and set out the limits of my description.

  • The ‘Other’ is another person which we encounter.9 
  • ‘Doctor’ refers to the trained clinician of western contemporary conventional healthcare.
  • ‘Patient’ refers to an individual with illness.
    • Disease refers to “physiological dysfunction of the body.”2(p1) This ‘pathological anatomy’ is the focus of the medical gaze.10(p152) 
    • Instead, illness denotes the subjective lived experience of “serious, chronic, and life-changing ill health.”2(p2) We will see this be an important separation between the way patients and doctors interact with illness.
  • By clinical encounter, I refer to the face-to-face meeting between doctor and patient. This includes the consultation and physical examination, as well as treatments conducted by doctors face-to-face, such as surgery.
  • I also explore the general public’s encounter with illness. By ‘public’ I refer to non-medically trained members of the general population.

Lastly, this is not an examination of a single clinical encounter and its ontological effects upon me or a specific doctor. Rather, I attempt generalization of the clinical encounter, doctor, and patient to identify essential features and support this with textual analysis in the final section.

다른 일인칭 현상학과 마찬가지로, 제 경험은 백인, 유능한 신체, 시스젠더 남성으로서의 제 구체화embodiment에 의해 결정됩니다. 이러한 범주에 속하지 않는 사람들의 생생한 경험은 저와 다를 것입니다. 따라서 여기서 제가 설명하는 것은 단지 출발점에 불과합니다. 또한, 저의 현상학적 분석은 학부 시절 의과대학을 다니며 겪은 생생한 경험에 뿌리를 두고 있으며, 그 경험으로부터 확장됩니다. 의학교육은 국제적, 기관적, 개인적 수준에서 매우 다양합니다. 따라서 저는 현대 서양의 생물 의학에서 훈련받은 모든 사람들에게 공통적인 의학교육과 임상 실습의 측면을 끌어내려고 노력했습니다. 
As with any first-person phenomenology, my experience is dictated by my embodiment as a white, able-bodied, cis-gender male. The lived experience of those who do not identify with these categories will be different from my own. Thus, my description here intends to be only a starting point. Furthermore, my phenomenological analysis is rooted in, and spreads outwards from, my lived experience through medical school as an undergraduate. Medical education varies significantly at the international, institutional, and individual levels. Hence, I have attempted to draw on aspects of medical education and clinical practice common to all those who have trained in modern Western biomedicine.

섹션 1: 배경
Section 1: background

데카르트, 생물의학, 객관화
Descartes, biomedicine, and objectification

데카르트가 신체를 확장된 존재로 규정한 것은 의학에 대한 서양의 과학적 접근 방식이 발전하는 데 매우 중요한 역할을 했습니다. 데카르트는 영혼은 신체가 아닌 비물질적인 정신에 붙어 있다고 주장하여 신체를 비종교적인 대상으로 만들었습니다. 이를 통해 이전에는 금지되었던 시체 해부를 통해 신체를 과학적으로 연구할 수 있게 되었습니다.11 푸코10는 해부학의 발달에 따른 의료 행위의 변화를 이야기합니다. 그는 '병리학적 해부학'에 대한 과학적 연구가 질병에 대한 새로운 이해를 가능하게 했고, 이는 환자 개개인의 추상화를 촉진했다고 주장한다.10(152쪽) 해부를 통해 처음으로 "서구인은 자신의 눈에 자신을 과학의 대상으로 구성할 수 있었다."10(243쪽) 따라서 푸코의 대상화하는 의료 시선의 발전은 데카르트적 존재론에 의존했다. 
Descartes’ designation of the body as res extensa was vital for the development of the western scientific approach to medicine. Descartes argued the soul was attached to the immaterial mind, not the body, making the body a non-religious object. This allowed the body to be studied by science through the dissection of cadavers, which was previously prohibited.11 Foucault10 recounts the resulting changes in medical practice following the development of dissection. He argues the scientific study of ‘pathological anatomy’ enabled a new understanding of disease which encouraged abstraction of the individual patient.10(p152) Through dissection, for the first time, “western man could constitute himself in his own eyes as an object of science.”10(p243) Therefore, the development of Foucault’s objectifying medical gaze depended on cartesian ontology.

현대의 생물심리사회적 임상 실습은 동일한 존재론적 가정을 유지하며 신체-객체에 초점을 맞추고 있습니다.11,12 따라서 객관화는 2.3절에서 살펴본 임상적 만남의 필수적인 부분이 됩니다. 다른 철학 작품들에서도 임상 검사가 객관화되는 촉감, 시선, 청진을 가지고 있음을 보여주었습니다.10,13-15 또한 푸코10 는 병력기록의 언어가 증상(환자의 생생한 경험)에서 벗어나 신체-객체의 기저질병의 식별자로 이동하면서, 주로 개별 주체로서의 환자를 건너뛰는 변화를 언급하고 있습니다. 
Modern biopsychosocial clinical practice keeps the same ontological assumptions and focuses on the body-object.11,12 Thus, objectification becomes an essential part of the clinical encounter explored in Sec. 2.3. Other works of philosophy have shown the clinical examination to have an objectifying touch, gaze, and auscultation.10,13–15 Furthermore, Foucault10 recounts changes in the language of the history-taking: moving away from symptoms (lived patient experiences) and toward identifiers of underlying disease of the body-object, largely bypassing the patient as an individual subject.

신체와 질병의 현상학
Phenomenology of the body and illness

현상학은 우리에게 나타나는 대로 경험을 주의 깊게 연구하는 학문입니다. 이러한 강조점은 데카르트와 비교하여 신체에 대한 태도를 상당히 다르게 만듭니다.2,16 우리가 일상에서 사물 또는 현상과 상호 작용하는 방식을 신중하게 고려할 때, 우리의 마음과 신체는 분리할 수 없습니다. 그것들은 내가 나라고 이해하는 하나의 존재의 일부입니다. 매일 나에게 있는 그대로의 내 몸, 즉 살아있는 몸은 우리가 세상을 경험할 수 있게 해줍니다. 나는 내 몸을 마치 사물처럼 만지고 경험할 수 있지만, 내가 먼저 체화되어 있기 때문에 만질 수 있습니다.16,17 
Phenomenology is the careful study of experience as it appears to us. This emphasis results in significantly different attitudes to the body compared to Descartes.2,16 When we carefully consider how we interact with objects, or phenomena, in the everyday, our mind and body are inseparable. They are part of one being which I understand to be myself. My body as it is for me each day, or the lived body, enables our experience of the world. I can touch and experience my own body as if it were an object, but I can only touch because I am first embodied.16,17

하이데거4는 현상학을 사용하여 인간 존재를 가능하게 하는 근본적인 구조 또는 '존재'의 방식을 탐구합니다. 그는 독일어로 완전히 통일된 존재 방식을 설명하기 위해 긴 신조어를 만들어 냈습니다. 이 단어들은 원래의 의미를 유지하기 위해 영어로 번역할 때 하이픈으로 연결됩니다. 세계-안-존재는 인간이 세계 자체와 분리될 수 없으며, 우리가 항상 세계 안에서 이미 자신을 발견하는 방식을 설명합니다. 이것은 존재의 본질적이고 피할 수 없는 부분입니다.4 하이데거의 연구를 바탕으로 사르트르9는 일상적인 세계 경험에서 침묵-속-지나쳐버리는 신체에 대해 설명합니다.

  • 내 몸은 내 관심의 초점이 되는 경우는 거의 없으며, 그 대신에 내가 하고 있는 일을 완수할 수 있게 해주는 배경이 됩니다.
  • 이와는 대조적으로, 질병에 걸리면 우리의 프로젝트는 중단되고 몸은 더 이상 침묵 속에서 지나치지 않고 세계 안에서 하나의 대상으로서 자신을 드러내고 우리의 주의를 끌게 됩니다.2,18,19 질병은 또한 우리가 세계와 상호 작용하는 방식에 영향을 미치므로 세계-속-존재에 영향을 미칩니다.2,18

다음 섹션에서는 타자에서 질병을 목격하는 것을 제안하며, 몸은 질병에서와 마찬가지로 더 희미하고 미묘하지만 대상으로서 자신을 다시 드러냅니다.
Heidegger4 uses phenomenology to examine the underlying structures or ways of ‘being’ which make human existence possible. In German, he forms long new words intended to describe complete unified ways of being. These are hyphenated when translated to English to maintain this original meaning. Being-in-the-world describes human inseparability from the world itself and how we always already find ourselves within the world. This is an essential, unavoidable part of being.4 Building on the work of Heidegger, Sartre9 describes the body as normally passed-by-in-silence in my everyday experience in the world.

  • My body is rarely the focus of my attention, instead, in the background, it enables me to complete whatever task I happen to be doing.
  • In contrast, in illness, our projects are interrupted, and the body is no longer passed-by-in-silence, it reveals itself as an object within the world and draws our attention.2,18,19 Illness also affects how we interact with the world and thus effects our being-in-the-world.2,18 

In the next section, I suggest witnessing illness in the Other, the body again reveals itself as an object, as it does in illness, however more faintly and subtly.

툼스18는 임상 현장에서 의사와 환자가 질병을 대하는 서로 다른 방식에 대해 관찰합니다. 툼스에게 있어 의사는 질환의 특정 측면에 집중하고, 이를 질병 진단으로 '주제화'합니다. 우리가 어떤 경험을 어떻게 주제화하는지는 궁극적으로 우리의 전기적 상황에 의해 좌우되는 마음의 습관에 달려 있습니다.18 따라서 의사가 질병신체-대상에 집중하는 방식은 의사-존재, 즉 의학교육에 따라 달라지며 그 결과입니다. 결정적으로, 투움스는 의사의 구체화된 경험에 대한 자세한 설명을 제공하지 않습니다. 따라서 저는 의사의 구체화가 임상적 만남 자체에 영향을 미치고, 임상적 만남이 의사의 구체화에 영향을 미친다는 것을 보여드리려고 합니다.
Toombs18 makes observations about the different ways doctors and patients attend to illness within the clinical encounter. For Toombs, doctors focus upon certain aspects of illness and ‘thematise’ it into a diagnosis of disease. How we thematise any experience is ultimately dependent upon habits of mind, which are dictated by our biographical situation.18 Therefore, the way in which doctors focus on disease and the body-object is dependent on, and results from, their being-a-doctor, and thus their medical education. Crucially, Toombs does not provide a detailed description of the embodied experience of the doctor. Therefore, I attempt to show the embodiment of the doctor influences the clinical encounter itself, and the clinical encounter influences the doctor’s embodiment.

섹션 2: 임상적 만남
Section 2: the clinical encounter

기본적인 만남
The basic encounter

다른 사람에 대한 나의 경험은 사물에 대한 나의 경험과 다릅니다. 나는 체화된 의식으로서 타자의 행동을 통해 다른 개인(또는 타자)이 나처럼 자신의 목표와 프로젝트를 향해 나아가는 것을 봅니다.17 역동적이고 복잡하며 체화된 행동에서 타자를 나와 같은 존재로 봄으로써 나는 나 자신이 그들과 같은 존재임을 깨닫습니다. 타자의 생동감 있는 행동을 통해 나는 타자가 다른 어떤 대상처럼 행동하지 않으며, 나 역시 마찬가지라는 것을 알게 됩니다. 분명히 말하지만, 이것은 우리 자신의 행동과 타자의 행동을 신중하게 고려한 후 내리는 지적인 판단이 아니라, 우리가 타자를 경험하는 기본적인 방식입니다.16
My experience of another person is different to my experience of objects. Through their behavior, as embodied consciousnesses, I see other individuals (or the Other) orientate themselves toward their goals and projects as I would.17 By seeing the Other as being like me in their dynamic, complex, embodied behavior, I realize myself as being like them. Through their animated behavior, I see the Other does not behave like any other object, and neither do I. To be clear, this is not an intellectual judgment we make after carefully considering our own behavior and the behavior of the Other, rather it is the basic way in which we experience the Other.16

[저는 타자의 질병에 대한 우리의 반응]이 타자와 유사한 구체화에 달려 있다고 제안합니다. 나와 테이블과의 만남은 타자와의 만남과 동일하지 않습니다. 따라서 테이블 다리가 부러지는 것에 대한 나의 경험과 반응은 누군가의 다리가 부러지는 것을 보는 것과는 근본적으로 다릅니다. 타자의 질병, 고통, 경험에 대한 나의 즉각적인 반응은 그들과 유사한 나의 구체화에 뿌리를 두고 있습니다.
I suggest, our response to the illness of the other depends on this similar embodiment to the Other. My encounter with the table is not the same as my encounter with the Other. Therefore, my experience and reaction to breaking a table leg are fundamentally different to seeing someone break their leg. My immediate reaction to the Others illness, pain, and experience is rooted in my similar embodiment to them.

질환과의 만남
The encounter with illness

병에 걸린 사람은 저마다 독특한 경험을 하게 됩니다. 병에 걸리기까지의 개인의 경험, 현재 상황, 특정 병리에 따라 각 질병의 사례는 독특합니다. 그러나 철학자들은 이러한 경험의 근본적인 특징이 모두에게 공통적이라고 제안합니다.2,18 이 섹션에서는 아프거나 아프게 된 타자를 만나는 경험에서 유사한 근본적인 구조를 탐구하는 것을 목표로 합니다. 
Each individual who becomes ill will have a unique experience. A person’s experience up to the point of becoming ill, their current situation and the specific pathology make each instance of illness unique. However, philosophers suggest there are underlying features of this experience that are common to all.2,18 This section aims to explore the similar underlying structures in the experience of encountering the Other who is, or becomes, ill.

노인이 길에 쓰러지는 것을 보면 지나가던 사람들은 움찔하고 몸을 움츠리게 됩니다. 누군가 다치는 것을 보면 마치 자신의 몸을 보호하듯 팔을 가슴으로 가져갑니다. 아이가 이빨을 부러뜨리는 것을 보면 내 이빨에 불편한 감각이 느껴집니다. 정형외과 의사가 환자에게 부상이 어떻게 발생했는지 설명하는 동안 저는 대퇴골이 부러진 엑스레이를 보며 다리를 잡습니다. 의과대학에 입학하기 전, 열일곱 살 때 처음 수술을 본 저는 메스꺼움에 압도되어 집중할 수 없었고 기절했습니다. 쓰러진 사람이든 인공호흡기를 달고 있는 사람이든 병에 걸린 사람을 보면 즉각적인 무의식적 신체 반응이 일어납니다. 이러한 반응은 나에게도 같은 질병이 발생할 수 있다는 의식적인 고려를 통해 일어나는 것이 아닙니다. 오히려 내가 무슨 일이 일어났는지 의식적으로 고려하기 전에 신체가 먼저 반응합니다. 이전 연구에서도 생체역학 시뮬레이션을 통해 학생들에게 이러한 정서적 반응이 존재함을 보여주고 그 교육적 중요성을 강조했습니다.20 묄러와 동료들은 학습자가 "자신의 신체와 관련된 [부상의] 시각적 표현을 맥락화하는 것이 교육적 가치가 있다고 결론지었습니다."20(p144). 
In seeing the old man fall on the street, passersby will wince and recoil. In seeing someone injure themselves, our arms are brought to our chests as if protecting our own bodies. I see a child knock their teeth out and there is an uncomfortable sensation within my own teeth. I grasp my leg looking at an x-ray of a broken femur as the Orthopedic surgeon explains how the injury occurred to the patient. Before medical school the first time I saw surgery, aged seventeen, I was overwhelmed with nausea, unable to concentrate, and fainted. There is an immediate unconscious, bodily response to seeing someone with an illness, whether this is someone falling or someone on a ventilator. This response does not occur through conscious consideration of how the same illness could occur to me. Rather, the body reacts before I have a chance to consciously consider what has occurred. Previous research has also shown the presence of and stressed the educational importance of this emotional response in students through biomechanics simulation.20 Möller and their colleagues concluded there is educational value for learners to “contextualize the visual representations [of injury] relative to one’s own body.”20(p144)

스타인의 공감 현상학은 최근 인지 과학계에서 주목을 받고 있으며 이러한 신체적 반응에 대한 설명을 제공합니다. 스타인은 공감의 기본 유형을 "다른 생명체의 경험을 느끼는 것"이라고 설명합니다.21(p746) 스타인은 다른 사람의 경험에 대한 신체적 반응이 공감의 한 유형이라고 제안합니다. 아프거나 다친 다른 사람을 볼 때 우리가 경험하는 신체적 반응이 바로 이러한 유형이라고 제안합니다. 이것은 우리에게도 같은 일이 일어날 수 있다고 상상하기 전에 일어나는 것이지, 우리가 상상해서 일어나는 것이 아닙니다. 사전 반사적 반응입니다. 타자의 질병에 대한 이러한 신체적 반응을 통해 우리의 관심의 초점은 질병 자체에서와 마찬가지로 아픈 사람에게서 우리 자신의 몸으로 바뀔 수 있습니다. 예를 들어, 저는 속이 메스꺼워 기절하지 않으려고 노력하면서 환자의 수술에 집중하는 것이 (당연히) 어렵다는 것을 알았습니다. 
Stein’s phenomenology of empathy has received recent attention in the cognitive sciences and provides an explanation for this bodily response. Stein describes a basic type of empathy as “felt experiences of other living bodies.”21(p746) Stein suggests bodily responses to the experiences of another is a type of empathy. I suggest, when we see another person who is ill, or who injures themselves, it is this type of bodily response we experience. This occurs before we might imagine the same happening to us, not because we do. It is pre-reflective. Through this bodily response to illness in the Other, the focus of our attention may turn away from the person who is ill and onto our own bodies, as it does in illness itself. For instance, I found it (unsurprisingly) difficult to concentrate on the patient’s surgical procedure while trying not to faint from the nausea in my stomach.

중요한 것은 스타인의 공감이 의사가 환자의 경험에 공감할 수 있는 다른 유형의 상상적 공감도 배제하지 않는다는 점입니다.21 따라서 환자의 신체적 대상에 대한 신체적 반응이 없더라도 의사와 환자 사이에는 다른 형태의 공감이 가능하다는 것입니다. 나는 직접 만난 적이 없고 전쟁을 느끼는 난민과 같이 공통된 경험을 거의 공유하지 않는 사람들과도 공감할 수 있습니다. 나는 그들의 경험을 의식적으로 상상하고 머릿속에서 재생함으로써 이를 달성할 수 있습니다. 스타인의 공감 현상학은 이러한 형태의 공감을 배제하는 것이 아니라, 신체적 반응을 통해 우리가 어떻게 전-의식적으로 공감할 수 있는지에 대한 설명을 제공합니다. 
Importantly, Stein’s empathy does not exclude other types of imaginative empathy, through which doctors may also relate to patient experiences.21 Therefore, even in the absence of bodily reactions to the body-object of the patient, other forms of empathy are possible between doctor and patient. I can empathize with people whom I have never met face to face and share little common experience, such as refugees feeling war. I may achieve this by consciously imagining their experiences and replaying them in my head. Stein’s phenomenology of empathy does not exclude this form of empathizing but rather provides an explanation for how we can empathize pre-consciously through a bodily reaction

자너는 『자아의 맥락』에서 신체-대상이 우리 자신이 아플 때만 자신을 드러낸다고 가정하는 것은 "완전한 순진함"이며, 대신 "건강한 신체에는 희미하게나마 존재한다."19(56쪽) 아이가 이빨이 빠지는 것을 볼 때, 우리는 자신의 이빨도 마찬가지로 빠질 수 있는 대상으로 인식하게 된다고 말한다. 반면에 평소에는 내 치아와 그 취약성을 인식하지 못합니다. 질병을 목격함으로써 신체는 더 이상 무심코 지나치지 않고, 내 몸이라는 대상을 세상 속에서 연약하고 취약한 존재로 인식하는 것으로 잠시나마 대체됩니다.
Zaner in The Context of Self states “it would be an utter naivety” to assume the body-object only announces itself in times of our own illness, instead it is “present, however faintly, in the healthy body.”19(p56) I suggest when we see the child knock their teeth out, we become aware of our own teeth as objects that could similarly be knocked out. Whereas, normally I am unaware of my teeth and their apparent fragility. Through seeing illness, the body is no longer passed-by-in-silence and is replaced, perhaps only briefly, by an awareness of my body-object as a fragile, vulnerable thing within the world.

또 다른 예로, 어머니가 채소를 썰다가 칼에 베는 모습을 보면 움찔하고 배가 뒤집어집니다. 심지어 무의식적으로 제 손가락을 잡을 수도 있습니다. 제가 어머니로부터 칼질을 이어받으면 어머니가 칼질하는 모습을 보지 않았을 때보다 더 조심스럽게 칼질을 합니다. 신체 반응을 통해 나는 손가락이 세상 안에서 연약한 물체라는 것을 인식하게 되었습니다. 자너는 타인의 질병을 마주하는 독특하고 불편한 본질을 암시합니다: 
Another example: if I see my mother cut herself while chopping the vegetables, I wince, and my stomach turns. I may even unconsciously grab my own finger. When I take over the cutting from her, I cut with more care than I would have if I had not seen her cut herself. Through my bodily reaction, I have become aware of my fingers as fragile objects within the world. Zaner alludes to the unique, uncomfortable nature of encountering illness in another:

실제로, [질병]이 그토록 특이한 극적인 힘, 즉 '정상인'이 병든 사람이나 불구자를 만났을 때 발생하는 침묵, 불안, 경외감을 주는 것은 바로 질병과 장애가 우리의 고유한 인간성에서 우리에게 직접적으로 영향을 준다는 점입니다.19(159쪽)
Indeed, what gives [illness] such peculiarly dramatic force—the hush, anxiety and awe engendered when the “normal” person encounters the ailing or the maimed—is precisely that illness and impairment affect us directly in what seems our unique humanity.19(p159)

[타자 안에 있는 우리 자신에 대한 인식과 우리 몸에 대한 인식]은 질병과의 만남에 그 심각성과 낯섦을 부여합니다. 질병과 정면으로 마주했을 때, 몸은 더 이상 침묵 속에서 지나치지 않습니다. 저는 자신의 몸에 대한 이러한 인식이 의료 행위와 교육에 도전을 준다고 주장합니다. 누군가 자신의 몸을 베는 것을 보고도 움찔한다면 어떻게 메스로 똑바로 베는 법을 배울 수 있을까요? 스물다섯 살의 제가 어떻게 기절하지 않고 수술을 보조할 수 있을까요? 의사에게는 어느 정도의 냉철한 객관적 사고가 필요하며, 의사들은 질병을 보는 것에 대한 신체적 반응이 줄어든 것으로 보입니다. 의학교육의 결과, 이름도 없고, 주소도 없고, 가르침도 없는 존재론적 변화가 이미 내 안에 일어난 것 같습니다. 이 변화의 결과는 정반대의 질병입니다. 이 점을 염두에 두고 이제 임상적 만남 자체에 대해 이야기해 보겠습니다. 
Our recognition of ourselves in the Other and our awareness of our own body gives the encounter with illness its salience and strangeness. When confronted with illness face-to-face, the body is no longer passed-by-in-silence. I argue, this awareness made of one’s own body presents a challenge to medical practice and education. If we flinch when we see someone cut themselves, how can we learn to cut straight with a scalpel? How am I now able to assist in surgery, aged twenty-five, and not faint? A certain level of detached objective thinking appears to be required from doctors, and doctors appear to have a reduced bodily response to seeing illness. As a result of medical education, an unnamed, unaddressed, and untaught ontological transformation appears to have already occurred within me. The result of this transformation is being-opposite-illness. With this in mind, we now come to the clinical encounter itself.

임상적 만남
The clinical encounter

일반인과 달리 의사는 의학교육을 통해 해부학, 병리학, 치료 옵션에 대한 광범위한 지식을 보유하고 있습니다. 툼스가 논의했듯이, 의학교육을 통해 질병을 질병으로 주제화하는 것이 가능해지며, 이는 환자를 진단하는 데 사용됩니다.18 의대생은 객관적이고 의학적인 시선으로 보는 법을 배웁니다.10 의사의 존재, 그들의 교육, 목표, 전문성이 임상적 만남을 일반 대중의 질병과의 만남과 구분 짓는 요소입니다. 다음으로 사르트르의 '시선' 현상학에 주목하여 환자의 대상화와 의사의 질병에 대한 신체적 반응의 감소를 연결해 보겠습니다.9(276-326쪽) 나는 대상화하는 자로서의 의사와 대상화되는 형태로서 환자들이 질병-반대편의-존재 존재론적 대립의 축을 형성한다고 제안합니다. 
Unlike the public, through medical education, doctors possess extensive knowledge on anatomy and pathology and treatment options. As Toombs discussed, through medical education, the thematization of illness into disease becomes possible and is used to diagnose patients.18 Medical students learn to look with an objectifying, medical gaze.10 It is the presence of the doctor, their education, goals, and expertise which distinguishes the clinical encounter from the general public’s encounter with illness. Next, I will focus on Sartre’s phenomenology of ‘the look’ to link patient objectification to the doctor’s reduced bodily response to illness.9(p276–326) I suggest the doctor as the objectifier and the patient as objectified forms the ontological axis of opposition for being-opposite-illness.

사르트르9는 열쇠구멍을 들여다보면서 사물로서의 자신의 몸을 인식하게 되었다는 이야기를 들려줍니다. 이전에는 문 너머에서 일어나는 일에 집중했다면, 누군가 오는 소리가 들리자 자신의 몸과 그 모습이 상대방에게 어떻게 보이는지 인식하게 됩니다. 타자의 시선이 불러일으키는 수치심을 통해 사르트르는 자신의 몸을 세상의 사물로 인식하게 됩니다. 수치심에 대한 사르트르의 설명은 신체-대상이 대상화되는 임상적 만남에서 환자가 느끼는 수치심에 대한 설명과 직접적으로 유사합니다.9,22
Sartre9 provides an account of becoming aware of his body-as-object while looking through the keyhole. While previously he was focused on what was occurring on the other side of the door, when he hears someone coming, he becomes aware of his own body and how it appears to them. Through the shame brought about by the look of the Other, Sartre becomes aware of his body as an object in the world. Sartre’s account of shame parallels directly with accounts of shame felt by patients within the clinical encounter, where one is objectified as their body-object is focused upon.9,22

우리가 타자를 대상으로 구성할 때 이러한 두려움에서 벗어나 "[자신을] 회복"할 수 있습니다. 열쇠구멍을 들여다보던 중 고개를 돌려 우리를 바라보는 타자라고 생각했던 것이 나무 그림자라는 것을 깨닫는다면, 우리는 더 이상 우리를 바라보지 않는다는 것을 깨닫고 몸은 다시 침묵 속으로 사라집니다."9(p313) 
One can escape this fear and “recover [oneself]” if we constitute the Other as an object. While looking through the keyhole, if we turn and realize what we thought was the Other looking at us is instead, say, the shadow of a tree, we realize we are no longer looked at and the body fades back into silence, since one cannot be an “object for an object.”9(p313)

대중질병을 마주할 때, 자신의 몸을 병을 가진 타자와 유사하게 형상화함으로써 자신의 몸을 세상에서 취약한 대상으로 인식하게 된다. 의사에 의한 환자 대상화는 환자를 하나의 객체로 구성한다. 의사는 대상화될 수 없기 때문에 의사는 주체로서의 존재를 유지하고, 신체적 반응을 제한하며, 따라서 의사의 초점은 자신을 넘어 환자에게로 향하게 됩니다. 질환-반대편에-존재함은 구체적으로 이러한 존재론적 극성을 의미합니다. 의사가 자신을 주체로 유지하면서 자신의 목표에 집중하고, 환자의 신체는 침묵 속에 지나가는 동안 환자는 객체로 축소됩니다. 임상에서 환자는 자신의 몸으로만 간주되는 경향이 있는 반면, 의사의 몸은 잊혀집니다. 
For the public’s encounter with illness, one recognizes their body as a vulnerable object in the world, through their similar embodiment to the Other-with-illness. Patient objectification by the doctor constitutes the patient as an object. Since the doctor cannot be objectified by an object, this maintains the doctor’s being-as-subject, limits their bodily response, and thus their focus remains beyond themselves and toward the patient. Being-opposite-illness specifically refers to this ontological polarity. The patient is reduced to an object as the doctor maintains themselves as a subject, tending to their goals, with their body passed-by-in-silence. In the clinical encounter, the patient tends to be considered as only their body, whereas the doctor’s body is forgotten.

극단적인 예를 들자면, 해부학 수업을 통해 환자의 다리를 테이블 다리와 다를 바 없는 것으로 경험할 수 있다면 대퇴골 고정을 위한 수술실에서 느끼는 메스꺼움이 현저히 줄어들 것입니다. 수술이 학문적 장인 정신의 절차에 지나지 않는다고 생각할 수 있었습니다. 또한 칼라니티는 해부 시 얼굴을 가리는 것을 고려합니다. 이는 환자를 객관화시키고 수술에 대한 신체적 반응을 제한합니다.8
To use a prior example, in the extreme, if anatomy class allows me to experience a patient’s leg as no different from a table leg, my nausea in the operating theater for a femur fixation would be significantly reduced. I could see the operation as nothing more than a procedure of academic craftsmanship. Furthermore, Kalanithi considers covering faces during dissection. This is objectifying for the patient and limits his bodily response to the procedure.8

전신 마취 상태에서 무의식 상태로 수술을 받는 환자는 클리닉에서 진찰을 받는 환자보다 더 객관화될 수밖에 없습니다. 그러나 저는 환자의 다리를 해부학적 모델과 다를 바 없는 완전한 객관화는 불가능하다고 주장합니다. 죽음에 이르러서도 시체에 대한 우리의 반응은 다른 물체와 동일하지 않습니다.4 의과대학에서 신체에 대해 배우면서 환자와 시체에 대한 신체적 반응은 감소합니다. 그러나 의사가 완전한 객관화가 불가능하다는 것을 보여주는 환자의 경험에 완전히 영향을 받지 않을 수는 없습니다. 이는 소진과 대리 외상이라는 잘 알려진 현상에서 잘 드러납니다.23,24 사실 의사가 객관화를 통해 거리를 두는 것은 환자에게 영향을 받을 수 있기 때문에 필요한 것일 수 있습니다. 제 경험에 따르면 수술 중에도 신체적 대상인 환자는 인간성을 유지하며 완전히 물건으로 환원되지 않습니다. 그럼에도 불구하고 객관화는 윤리적 우려와 논쟁을 불러일으킵니다. 환자와 시체는 테이블과 같은 물건이 아니며, 결코 그렇게 취급해서는 안 됩니다. 
The patient undergoing surgery, inert under general anesthesia, is no doubt objectified more than the patient examined in the clinic. However, I maintain that complete objectification—constituting the patient’s leg as no different from the anatomical model—is not possible. Even in death, our reaction to a cadaver is not the same as another object.4 As one learns about the body at medical school, one’s bodily response to patients and cadavers does reduce. However, doctors cannot remain completely unaffected by the experiences of patients showing complete objectification is not possible. This is shown in the well-documented phenomena of burnout and vicarious traumatization.23,24 In fact, doctors distancing themselves through objectification may only be necessary because they can be affected by their patients. In my experience, even in surgery, the patient as body-object maintains their humanity and are not reduced entirely to an object. Despite this, objectification raises ethical concerns and debates. Patients and cadavers are not objects like a table, and should never be treated as such.

의사가 환자를 객관화하는 데 어려움을 겪을 수 있는 마지막 예를 살펴보겠습니다. 일반의협의회 지침에 따르면 의사는 자기 가족 이외의 일반의에게 등록해야 합니다.25 부분적으로는 의사가 가족을 객관화하기 어렵기 때문에 객관적으로 정확하게 치료하는 것이 어렵다고 생각합니다. 외과의사가 자신의 가족을 수술해야 한다면 집중하기 어려울 것이라고 상상해 보십시오. 객관화가 부족하면 의사는 객관적으로 생각하지 못하고 질병에 대해 더 감정적이고 신체적으로 반응하게 됩니다. 우리는 가까운 사람을 주체로서 모든 것을 알고 있기 때문에 대상화하기 어렵습니다. 우리는 그들이 좋아하는 것, 싫어하는 것, 희망, 꿈을 알고 있습니다. 제가 주장했듯이 객관화가 부족하면 신체를 침묵-속에-지나가는-것으로 유지할 수 없습니다. 따라서 의사는 눈앞의 환자를 객관화하고 신체 반응을 제한 할 수있을 때 더 분리 된 방식으로 생각할 수 있으며, 이는 가족에게는 더 어렵습니다.
Let us explore a final example where the doctor may struggle to objectify the patient. General Medical Council guidance states doctors should be registered to a General Practitioner outside their family.25 I suggest, in part, it is difficult for doctors to treat their family objectively precisely because it is difficult to objectify them. One imagines if a surgeon was to operate on a member of their family, they would struggle to focus. The lack of objectification stops the doctor from thinking objectively and results in a more emotional, bodily response to illness. It is difficult to constitute a person close to us as an object because we are aware of everything they are as a subject. We are aware of their likes, dislikes, hopes, and dreams. As I have argued, a lack of objectification results in an inability to maintain the body passed-by-in-silence. Thus, doctors are more able to think in a detached manner when they can objectify the patient in front of them and limit their bodily response, and this is harder to do with a family member.

이 섹션에서 저는 타자의 질병을 볼 때 우리의 유사한 구현이 '신체적 취약성'의 경험, 즉 [우리 몸이 세계 내에서 취약한 대상으로 인식되는 불편한 경험]을 제시한다는 것을 보여 주려고 시도했습니다. 저는 환자를 대상화함으로써 임상에서 의사의 신체적 취약성을 감소시키는 것을 설명합니다. 이는 의사의 신체를 침묵-속에서-지나가는-존재로 유지하고 환자의 신체에 집중하도록 유도합니다. 이러한 변화는 의학교육을 통해 이루어지며, 이를 통해 학생들은 객관화된 의학적 시선으로 바라보고 질병을 질병으로 주제화할 수 있게 됩니다. 따라서 의학교육은 질병에 대한 학생의 반응이 대중과 일치하는 것에서 의사의 존재-대립-질병으로 바뀌는 존재론적 변화로 간주할 수 있습니다. 의학교육의 결과인 질병-반대편에-존재함의사의 고유한 존재론으로, 환자를 대상화하는 데 뿌리를 둔 질병에 대한 신체적 반응이 감소하는 것으로 입증됩니다. 
In this section, I have attempted to show when seeing illness in the Other, our similar embodiment presents the experience of ‘bodily fragility’: an uncomfortable experience through which our body is realized as a vulnerable object within the world. I account for the reduction of bodily fragility in doctors within the clinical encounter through patient objectification. This maintains their body as passed-by-in-silence and directs their focus toward the body of the patient. This transformation occurs through medical education, as this enables students to look with an objectifying medical gaze and thematise illness into disease. Thus, medical education can be considered an ontological transformation, where a student’s response to illness changes from one aligned with the publics to the doctor’s in being-opposite-illness. Being-opposite-illness, as a result of medical education, is the unique ontology of the doctor, demonstrated by the diminished bodily response to seeing illness, rooted in objectification of the patient.

 

섹션 3: 질병-반대편의-존재
Section 3: being-opposite-illness

이 섹션에서는 폴 칼라니티8와 헨리 마쉬의 유명한 일인칭 서술 두 편을 살펴봅니다.1 저는 이들의 분석을 통해 환자의 신체를 대상화하고 이것이 환자의 존재 방식에 어떤 영향을 미치는지에 초점을 맞추고자 합니다. 또한, 저자들이 직접 병에 걸렸을 때 병에 걸린다는 사실이 삶의 경험에 미치는 영향도 살펴볼 수 있습니다. 이 섹션에서는 이러한 유형의 문헌에 대한 포괄적인 검토를 제공하려는 의도는 없습니다. 대신 텍스트 분석에 중점을 두어 위에 제시된 주장에 대한 예시를 제공하고자 합니다. 
This section will look at two popular first-person accounts from Paul Kalanithi8 and Henry Marsh.1 My analysis focuses on their objectification of patients’ bodies, and how this impacts their way of being. Furthermore, the impact of being-opposite-illness upon lived experience can be seen when the authors fall ill themselves. This section does not intend to provide a comprehensive review of this type of literature. Instead, I focus on textual analysis to provide illustrations of the arguments put forward above.

칼라니티의 '숨결이 바람 될 때'8는 저자가 암과 싸워온 과정을 가슴 아프게 솔직하게 묘사한 책입니다. 의과대학 시절, 칼라니티는 "죽은 자를 객관화하여 말 그대로 장기, 조직, 신경, 근육으로 환원"하는 법을 배우는 것에 대해 이야기합니다.8(p49) 그러나 의대생이 된 첫날, 칼라니티에게 "시체의 인간성을 부정할 수는 없다."8(p49) 칼라니티가 시체를 점점 더 객관화하면서 그의 경험은 "혐오감, 상쾌감, 메스꺼움"이라는 신체적 느낌이 지배하는 것에서 단순히 "학문적 연습"의 경험으로 바뀌게 됩니다. "8(44쪽) 칼라니티는 시체를 '가짜'로 '가장'하고 얼굴을 가리는 것이 "일을 더 쉽게 해준다."8(45쪽) 여기서 우리는 해부학을 배워야 하고 신체 반응의 산만함으로 인해 제약을 받는 의대생에게 '질환-반대편에-존재함'이 미치는 영향과 유용성을 모두 볼 수 있습니다. 시체와 상호작용하는 것의 중요성과 특이성은 최근의 연구에서 탐구되었으며 칼라니티의 경험을 반영하고 있습니다.3 
Kalanithi’s8 When Breath Becomes Air is a heart-breaking candid account of the author’s fight with cancer. During medical school, Kalanithi discusses learning to “objectify the dead, literally reducing them to organs, tissues, nerves and muscles.”8(p49) However, for Kalanithi, on a medical student’s first day, “you simply [cannot] deny the humanity of the corpse.”8(p49) As Kalanithi increasingly objectifies the cadavers, his experience changes from one dominated by bodily feelings of “revulsion, exhilaration, [and] nausea” to an experience of merely “academic exercise.”8(p44) Kalanithi adds “pretending” cadavers are “fake” and covering their faces “makes work easier.”8(p45) Here we see both the impact and usefulness of being-opposite-illness to the medical student who needs to learn the anatomy and is limited by the distraction of bodily reactions. The salience and peculiarity of interacting with cadavers has been explored in more recent research and echoes Kalanithi’s experiences.3

칼라니티8는 외과의사로서의 경력에 대한 객관화를 계속하고 있습니다. 그는 환자가 아니라 "거대 동맥류, 뇌내 동맥 우회술, 동정맥 기형"과 같은 "케이스"를 가지고 수술실에 있다고 묘사합니다.8(p10-11) 저자와 가까운 사람에게 질병과 죽음이 닥쳤을 때 비로소 그는 [환자로부터의 분리]와 (자신을 이반 일리치의 의사와 비교하면서) ["다양한 진단"으로 "깔끔하게 포장하는" 방법]을 깨닫게 됩니다.8 (p85),26 나는 저자가 친구에 대한 친숙함과 그로 인한 객관화 불능이 그녀를 수술한다는 생각에 대한 불편한 신체적 반응을 불러 일으킨다고 제안합니다.
Kalanithi8 continues his objectification into his career as a surgeon. He describes being in theater, not with patients but, with “cases” such as “giant aneurysms, intracerebral arterial bypasses, arteriovenous malformations.”8(p10–11) It is only when illness, and death, strikes someone close to the author, he realizes his detachment from patients and how he “neatly packages” them into “various diagnoses,” comparing himself to Ivan Ilych’s doctor.8(p85),26 I suggest, the author’s familiarity with his friend and resulting inability to objectify them, drives the uncomfortable bodily reaction he has to the thought of conducting surgery on her.

환자를 대상화한 것이 칼라니티가 병에 걸렸을 때 어떤 영향을 끼쳤는지 알 수 있습니다. 그의 표현을 빌리자면, 그는 "의사에서 환자로, 행위자에서 피행위자로, 주체에서 직접적인 대상으로" 변모하고 그 영향은 그에게 미친다.8(180쪽) 마쉬의 서문을 인용하며 칼라니티는 자신의 병을 마치 환자에게 일어나는 일처럼 묘사하기로 한다: 
We can see the impact of his objectification of patients on Kalanithi’s embodiment when he becomes ill. In his own words, he transforms “from doctor to patient, from actor to acted upon, from subject to direct object” and its effect on him.8(p180) Echoing the epigraph quote from Marsh, Kalanithi chooses to describe his illness as if it were happening to a patient:

설명할 수 없는 체중 감소와 새로 시작된 허리 통증이 있는 35세의 환자에게 정답은 (C) 암입니다.8(p5)
thirty-five-year-old with unexplained weight loss and new-onset back pain—the obvious answer would be (C) Cancer.8(p5)

칼라니티는 자신의 질병으로부터 자신을 추상화하기로 결정합니다. 그는 자신의 질환을 가상의 환자의 질병으로 주제화합니다. 이를 통해 칼라니티는 매우 쉽게 진단을 내릴 수 있지만 자신의 병을 받아들이는 데 어려움을 겪습니다. 나중에 칼라니티는 신체를 대상으로 진단하는 것이 쉬워졌음에도 불구하고 자신이 암에 걸렸는지 의심하게 됩니다:
Kalanithi chooses to abstract himself from his own illness. He thematises his illness into the disease of an imaginary patient. Through this, Kalanithi can very easily provide a diagnosis but struggles to come to terms with the illness being his own. Later, Kalanithi doubts whether he has cancer, despite his ease when diagnosing the body-as-object:

(허리 통증의 해부학, 생리학, 환자들이 다양한 종류의 통증을 설명할 때 사용하는 여러 단어 등) 허리 통증에 대해 많이 알고 있었지만 어떤 느낌인지 몰랐다. 어쩌면 그게 전부였을지도 모른다.8(p12)
I knew a lot about back pain—its anatomy, its physiology, the different words patients used to describe different kinds of pain—but I didn’t know what it felt like. Maybe that’s all this was.8(p12)

이 구절들을 보면 칼라니티가 자신의 질환을 질병으로 주제화함으로써 자신의 병을 다루기가 더 쉬워졌다는 것을 알 수 있습니다. 칼라니티에게 질병은 대상화된 몸에서 일어나는 사건이며, 따라서 대개 침묵 속에서 무심코 지나치기 때문에 자신의 것이 아니다. 칼라니티는 질병을 데카르트적 신체-객체에서 발생하는 것으로 쉽게 이해하지만, 살아있는 현상학적 신체는 이해하지 못합니다.
It is clear from these passages Kalanithi finds it easier to deal with his illness by thematising it into disease. For Kalanithi, disease is an event in the objectified body and thus not his own as it is usually passed-by-in-silence and unfelt. Kalanithi readily understands illness as it occurs to the cartesian body-object, but not the lived phenomenological body.

수련을 중단한 후 칼라니티는 급격한 신체적 쇠퇴를 경험하고, 일주일 전만 해도 "거의 36시간"에 가까운 수술 시간을 보냈었는지 놀라움을 금치 못합니다. 칼라니티는 "병자를 돌봐야 할 의무가 [자신을] 밀어붙이지 않으면 [자신은] 무능한 사람이 되고 말았다."8(125쪽) 수술실에서는 Being-opposite-illness가 되면서, 칼라니티의 몸은 환자들의 몸에만 집중하며 passed-by-in-silence가 되었다. 임상에서 물러난 후 칼라니티의 몸은 음소거가 해제되었고, 그는 자신의 증상을 훨씬 더 잘 인식하게 되었습니다.
After ceasing to practice, Kalanithi describes a fast-physical decline and is stunned how he spent “nearly thirty-six hours” operating less than week before. Kalanithi concludes “without [the] duty to care for the ill pushing [him] forward, [he] became an invalid.”8(p125) Being-opposite-illness in the operating theater, Kalanithi’s body remained passed-by-in-silence by focusing on that of the patients. Once removed from clinical practice, Kalanithi’s body becomes unmuted, he becomes far more aware of his symptoms.

칼라니티의 종양 전문의인 에밀리는 그를 또 다른 의사로서 존중하며, 두 명의 임상의가 세 번째 환자에 대해 결정하듯이 종종 그의 치료에 대한 결정을 함께 내립니다.7 그러나 에밀리는 칼라니티에게 자신의 책임을 내려놓고 "의사가 되게 해달라"며 칼라니티에게 "그냥 환자가 되라"고 함의합니다.8(p182) 그러나 "통제권을 내려놓는다는 생각은 칼라니티가 "불가능"하다고 여깁니다. 대신, 칼라니티는 "의사-자신은 환자-자신에 대해 [여전히] 책임이 있다."8(p183) 이 구절은 의료 직업이 개인의 존재론에 미치는 강력한 영향력을 강조합니다. 칼라니티에게 의사 자아의 영향력은 수술실을 넘어 병에 걸린 후에도 지속됩니다. 이는 병에 걸린다는 것이 직업적 페르소나로서 켜고 끌 수 있는 것이 아니라는 것을 보여줍니다. 
Kalanithi’s oncologist, Emily, respects him as another doctor and they often make decisions about his care together, as two clinicians would about a third patient.7 However, Emily suggests he could abdicate his responsibility and allow her to “just be the doctor” implying Kalanithi just be a patient.8(p182) However, the thought of “abdicating control” is one Kalanithi finds “impossible.” Instead, Kalanithi’s “doctor-self [remained] responsible for [his] patient-self.”8(p183) This passage highlights the powerful influence the medical profession has on an individual’s ontology. For Kalanithi, the influence of his doctor-self extends far beyond the operating room and persists once he becomes ill. This shows being-opposite-illness is not something which is switched on and off as a professional persona.

의대, 수술, 질병에 대한 마쉬의1 경험은 모두 칼라니티와 저의 경험과 유사합니다. 서문에서 Marsh1(p.xi)는 다음과 같이 조언합니다: "눈에 보이는 것을 객관적으로 바라보되, 그 과정에서 인간성을 잃지 않는 법을 배워야 합니다." 마쉬는 처음부터 의사에게 요구되는 냉철함과 타인의 고통에 대한 감정적 반응이 균형을 이루어야 한다는 점에 초점을 맞춥니다. 
Marsh’s1 experiences of medical school, surgery, and illness all bear similarities to Kalanithi’s and mine. From the preface, Marsh1(p.xi) instructs: “You must learn to be objective about what you see, and yet not lose your humanity in the process.” From the outset, Marsh focuses on the detachment required from doctors, which must be balanced with the emotional response to the suffering of others.

이 책의 뒷부분에 저의 조사를 촉발시킨 대목이 있습니다. Marsh1(p215)는 의대생들이 "자기 보존"의 문제로 요구되는 "필요한 분리"에 대해 배우면서 소위 "의대생 증후군"인 건강염려증이 거의 지속되지 않는다고 지적합니다. 마쉬는 의과대학이 자신의 신체와의 관계를 어떻게 변화시키는지에 주목합니다. 이러한 관계의 변화를 통해 학생들은 "질병은 환자에게만 일어나는 일이라는 것을 배웁니다. 그것은 의과대학에서 일찍부터 배우는 것입니다."1(p215) 그러므로 질병-반대편의-존재는 환자 대상화를 통해 자신의 몸으로부터 존재론적 분리를 가능하게 합니다.
Later in the book lies the line which sparked my investigation. Marsh1(p215) notes the so-called hypochondria of “medical student syndrome” rarely persists as medical students learn about the “necessary detachment” required as a matter of “self-preservation.” Marsh draws attention to how medical school changes one’s relationship with their body. Through this changed relationship, students learn “illness is something that only happens to patients. That is something you learn early on a medical school.”1(p215) Being-opposite-illness, then, allows an ontological separation from one’s own body through patient objectification.

마시1(p216)는 의사들이 "단순한 환자"가 되는 것을 피하기 위해 "초기 증상을 무시"하고 "자신의 질병을 진단하는 데 느리게" 행동한다고 지적합니다. 이 모든 것은 Marsh가 스스로에게서 발견한 행동이며 칼라니티의 기록에서도 찾아볼 수 있습니다. Marsh는 다리가 부러진 후 석고를 갈기 위해 기다리는 동안 동료 컨설턴트와의 짧고 놀라운 만남에 대해 설명합니다. 
Marsh1(p216) remarks that doctors often “dismiss their initial symptoms” and are “slow to diagnose their own illnesses” all to escape becoming a “mere patient.” All of which are behaviors Marsh finds in himself and are found in Kalanithi’s account. Marsh describes breaking his leg and while waiting for his plaster to be changed, he describes a brief, remarkable encounter with a fellow consultant.

그는 내 다리가 부러지는 것을 허용함으로써 내가 단순한 환자가 된 저속한 방식에 불만을 품은 듯 매우 원초적인 목소리로 '오, 이런'이라고 말했습니다.1(229쪽) 
‘Oh dear’, he said in a very prim voice, as though he disapproved of the vulgar way in which, by allowing my leg to be broken, I had become a mere patient.1(p229)


허용이라는 단어 선택은 의사로서 마쉬가 다리를 부러뜨리는 것이 자신의 통제 범위 안에 있다는 태도를 유추하게 한다. 물론 마쉬가 그랬던 것처럼 계단에서 넘어지는 것은 누구에게나 일어날 수 있는 터무니없는 일이다. 의사의 뼈는 환자의 뼈와 다르지 않습니다. passed-by-in-silence in being-opposite-illness로 유지하는 것은 의사에게 병이 발생하지 않았다는 잘못된 태도를 조장합니다. 
The word choice of allowing infers an attitude that, as a doctor, Marsh breaking his leg was within his control. Of course, this is absurd, falling down the stairs, as Marsh did, could happen to anyone. A doctor’s bones are no different to that of a patient. The bodies maintenance as passed-by-in-silence in being-opposite-illness promotes a false attitude of illness not occurring to doctors.

마쉬와 칼라니티의 설명은 의사의 독특한 존재론과 의학교육 전반에 걸쳐 변화하는 모습을 보여줍니다. 환자 대상화는 의사의 존재론을 변화시키고, 의사를 자신의 몸으로부터 멀어지게 합니다. 그 결과 의사가 질병과 직접 대면하는 신체적 반응이 부족해집니다. 그러나 타자를 대상화함으로써 자신의 몸으로부터 초점을 돌릴 수 있다.9 이런 식으로 몸을 침묵 속에 묻어두면 질병은 "환자에게만 일어나는 일"이 된다."1(215쪽) 환자의 질병-존재함의사의 질환-반대편에-존재함 사이에는 존재론적 분리가 존재한다. 환자가 대상화되면서 의사의 시선은 단지 [바라보는 방식]이 아니라 [존재의 방식]이 된다. 의사는 바라보지만 바라봐지지 않는 존재가 된다. 대상화하는 시선은 의사와 환자 사이의 유사한 구체화를 부정합니다. 존재-대립-질병은 의사와 환자 사이의 이러한 존재론적 극성을 나타냅니다. 
Marsh and Kalanithi’s accounts demonstrate a unique ontology of the doctor and the transformation undergone throughout medical education. Patient objectification changes a doctor’s ontology, distancing them from their own body. I suggest, this results in the lack of the doctor’s bodily reaction being face-to-face with illness. However, by objectifying the Other I can direct my focus away from my own body.9 By muting the body in this way, keeping it passed-by-in-silence, illness becomes “something that happens only to patients.”1(p215) There is an ontological separation between the patient’s being-ill and the doctor’s being-opposite-illness. As the patient is objectified, the medical gaze is not only a way of looking but becomes a way of being: the doctor looks without being looked at. The objectifying gaze denies the similar embodiment between doctor and patient. Being-opposite-illness denotes this ontological polarity between doctor and patient.

 

한계와 결론
Limitations and conclusions

메를로-퐁티, 하이데거, 사르트르가 모두 백인, 시스젠더, 유능한 남성의 경험만을 설명했다는 비판을 받을 수 있다는 것을 알고 있습니다.2,5,27,28 이것은 중요한 비판이며, 앞으로의 연구가 제 연구에 추가하고 수정할 수 있기를 바랍니다. 저는 모든 의사에게 공통된 의사 경험의 측면에 집중하여 제 경험에 적용될 수 있는 특징을 파악하려고 노력했습니다. 이 조사는 의대생 시절뿐만 아니라 일반인으로서 환자가 되어 다른 사람의 질병을 본 경험을 바탕으로 작성되었습니다. 이 글을 쓰는 시점에서 저는 의사로서 첫 직업을 시작한 지 몇 달이 지났고, 의대 재학 기간 동안 환자의 객관화를 이해하기에 충분한 경험을 쌓았다고 생각합니다. 또한 이 글은 서양의 전통적인 현대 의학만을 다루고 있으며, 대면 임상 경험만을 설명하려고 시도했습니다. 간호사나 다른 의료 전문가에게는 적용될 수도 있고 적용되지 않을 수도 있습니다. 마지막으로, 이 설명의 한계는 정신과 임상 사례에 국한되어 있다는 점입니다. 정신과 질환의 양상과 정신과 질환에 대한 현재의 학문적 이해로 인해, 저는 제 설명을 정신과 임상 사례까지 확장하지 않았으며 정신과 임상 사례는 그 자체로 완전한 현상학적 분석이 필요하다고 생각합니다. 
I am aware that I may be criticized as Merleau-Ponty, Heidegger, and Sartre all have been for providing accounts explaining only the experiences of white, cis-gendered, able-bodied, males.2,5,27,28 This is an important critique and I hope further works can add to and correct mine. I have tried to focus on aspects of doctor’s experiences common to all to identify features that apply beyond my own experiences. This investigation is built on my experiences of being a patient and seeing illness in other people both as an untrained member of the public as well as during my time as a medical student. At the time of writing, I am months from starting my first job as a doctor and I believe my years at medical school have given me enough experience to understand patient objectification. Additionally, this account concerns only western conventional contemporary medicine and attempts to describe only the face-to-face clinical encounter. It may or may not apply to nurses or other healthcare professionals. Finally, a limitation of this account is the psychiatric clinical encounter. Due to how psychiatric illness presents and the current academic understanding of psychiatric disease, I do not extend my account to the psychiatric clinical encounter and maintain the psychiatric clinical encounter warrants its own complete phenomenological analysis.


여기서 의사의 존재론에 영향을 미칠 수 있다고 생각하여 제외시킨 다른 현상들에는 의사와 환자에 대한 사회의 시각도 포함된다. 드 보부아르5 가 제안하고 영28 이 이를 바탕으로 구축한 것처럼, 사회가 개인을 바라보는 방식은 개인이 세상에 존재하는 방식에 영향을 미친다. 둘째, 나는 임상적 만남의 시간적 요소를 탐구하지 않았다. 병동 회진이나 진료실에서 환자들은 연속적으로 마주칩니다. 따라서 의사는 다음 환자에게 집중하기 위해 각 환자로부터 자신을 분리할 수 있습니다. 
Further phenomena that I have excluded here I believe may affect the ontology of the doctor includes society’s view of doctor and patient. As de Beauvoir5 suggests and Young28 builds upon, the way a society views an individual affects their being-in-the-world. Secondly, I have not explored the temporal element of the clinical encounter. On the ward round and in clinic, patients are encountered in series. Therefore, it may be that doctors detach themselves from each patient to focus on the next.

결론적으로, 이 분석은 의사들의 구체화된 삶의 경험을 설명함으로써 의사들의 경험을 탐구하는 새로운 방법을 제시하고자 합니다. 이러한 설명은 의대생 시절의 경험과 저의 의료 인문학과의 접목을 인정하지 않고서는 불가능했을 것입니다. 앞서 주장했듯이, 이 연구는 의대생에게 철학을 가르치는 것의 가치를 보여줍니다.7 임상적 만남을 체화된 두 개인 간의 만남으로 논의하는 것은 의사-환자 관계와 임상 술기 교육에 대한 새로운 접근을 촉진할 수 있습니다. 특히 의대생의 존재론적 전환을 설명함으로써 말입니다. 저는 의학교육자로서 공감과 연민과 같은 현상을 새롭게 바라보고, 이것이 어떻게 발달하지만 또한 어떻게 상실되는지 탐구할 수 있기를 바랍니다. 또한, 향후 연구에서는 의대생의 존재론적 전환이 의료 윤리에 미치는 영향을 살펴보고, 질병에 대한 신체적 반응을 윤리적 요구로서 선을 행하는 것으로 탐구할 수도 있습니다. 요약하자면, 저는 의과대학과 임상 실습을 통해 존재론적 전환을 겪는다는 것을 보여드리려고 노력했습니다. 이는 궁극적으로 의사의 독특한 존재 방식, 즉 '질병-반대편의-존재'로 귀결됩니다. 
In conclusion, this analysis attempts to present a new way of exploring the experiences of doctors by accounting for their embodied lived experience. This account would not be possible without acknowledging the medical student experience and my medical humanities intercalation. As argued previously, this work illustrates the value of teaching philosophy to medical students.7 The discussion of the clinical encounter as being between two embodied individuals may promote renewed approaches to the doctor-patient relationship and clinical skills education. Specifically, by accounting for the ontological transition of medical students. I hope as medical educators we can take a fresh look at phenomena like empathy and compassion, exploring how these are developed but also lost. Furthermore, future work may look at the impact of the ontological transition of medical students on medical ethics, perhaps exploring the bodily response to illness as an ethical demand to do good. In sum, I have attempted to show that one undergoes an ontological transformation at medical school and through clinical practice. This ultimately results in a unique way of being for doctors: being-opposite-illness.

 


 

 

Teach Learn Med. 2023 Jan-Mar;35(1):108-116. doi: 10.1080/10401334.2022.2108814. Epub 2022 Aug 18.

 

Being-Opposite-Illness: Phenomenological Ontology in Medical Education and Clinical Practice

Affiliations collapse

1Hull-York Medical School, University of York, York, UK.

PMID: 35979806

DOI: 10.1080/10401334.2022.2108814

Abstract

Issue: Phenomenology has proven to be a very useful tool for medicine. Descriptive, first-person accounts of patient experiences can reveal new and unique insights. These insights can inform renewed approaches to medical education and practice. However, comparatively little research has been done on the other side of the clinical encounter. This leaves the lived experiences of doctors diagnosing and treating illness unaddressed and the ontological transformation of medical students through medical education unexplored. Evidence: This paper provides a phenomenological description of the clinical encounter and ontological transformation of the medical student into the doctor. I argue doctors have a unique ontology, rooted in the objectification of the patient, for which I use the term being-opposite-illness This is achieved, through phenomenological examination of my experiences as a medical student and through descriptions of three distinct types of face-to-face encounters: the basic encounter with the Other, the encounter with illness, and the clinical encounter, which I argue are all metaphysically distinct. Finally, textual analysis of popular first-person accounts from two doctors, Henry Marsh and Paul Kalanithi, provide an illustration of being-opposite-illness in clinical practice and how this ontological transformation occurs through medical education. Implications: Together, the phenomenology of the clinical encounter and textual analysis of Marsh and Kalanithi reveal clinical practice and medical education be an ontological transformative process. This paper attempts a new understanding of this experience of doctors by accounting for their unique ontology. In sum, I suggest being-opposite-illness can represent a new lens for analyzing the experience of doctors. Through this, I hope to promote new medical education and practice approaches.

Keywords: Phenomenology; medical education; medical humanities; student perspective.

 

우리는 돌보기에: 의학교육의 정신에 대한 철학적 탐구(Teach Learn Med, 2022)
Because We Care: A Philosophical Investigation into the Spirit of Medical Education
Camillo Cocciaa and Mario Veenb

 

 

소개
Introduction

의료 교육에 대한 우리의 일상적인 경험에서 돌봄은 끊임없이 등장하는 주제입니다. 수련생은 환자를 돌봐야 하는 의료 시스템 내에서 교육을 받습니다. 이 교육에 등록하려면 유능한 의료 전문가가 되고자 하는 충분한 동기, 즉 수년간의 헌신적인 교육에 임할 수 있는 충분한 동기가 있어야 합니다. 교육자, 학생, 의료 전문가 커뮤니티로서 우리의 직업 생활에서 '돌봄'의 많은 사례를 통해 우리는 '돌봄'의 의미를 정확히 알고 있다고 믿을 수 있습니다. 그러나 우리와 가장 가까이 있고 우리 주변에 있는 것이 가장 정의하기 어려운 경우가 많습니다. 이 백서에서는 돌봄의 구체적인 사례를 넘어 철학적 질문을 던져보려고 합니다: 케어란 무엇인가?  
In our daily experiences with health care education, care is a theme that arises constantly. Trainees are educated within a health care system where they are supposed to care about and for their patients. To enroll in this education, we demand that they are sufficiently motivated to, that is, care about becoming competent health care professionals, to put in years of dedicated training. The many instances of ‘care’ in our professional lives as a community of educators, students, and health care professionals may lead us to believe we know exactly what ‘care’ means. But that which is closest to us and all around us is often most difficult to define. In this paper, we will try to go beyond particular instances of care to ask a philosophical question: What is care?

'건강'의 개념은 의학에서 널리 논의되고 있습니다. 건강이란 무엇이고 질병이란 무엇일까요? 예를 들어, WHO의 건강 정의는 다음과 같습니다: "건강이란 단순히 질병이나 허약함이 없는 상태가 아니라 신체적, 정신적, 사회적으로 완전히 안녕한 상태입니다."1 이 정의는 지속적인 논쟁의 대상이 되고 있으며, 많은 의학 커리큘럼에서 이를 의료 교육의 일부로 포함하고 있습니다. 이러한 교육은 수련생이 건강과 웰빙의 정의, 질병과 질병을 구분하는 것의 의미, 건강과 건강하지 않은 상태의 경계선, 어떤 경우에 증거로 간주되는 것, 불확실성에 대처하는 방법 등을 검토하는 프로그램의 형태로 이루어집니다.2-4 
The concept of ‘health’ is widely discussed in medicine. What is health and what is illness? For instance, the WHO’s definition of health states: “Health is a state of complete physical, mental and social well-being and not merely the absence of disease or infirmity.”1 This definition is subject to ongoing debate and many medical curricula include it as part of medical training. These take the form of programs where trainees examine definitions of health and wellness, and what it means to make distinctions between disease and illness, where one should draw the line between being healthy and unhealthy, what counts as evidence in which case, how to deal with uncertainty.2–4

돌봄care과 관련해서는 이와 유사한 논쟁이 부족합니다. 상세한 조사의 필요성은 분명하지만,5 돌봄이 무엇인지에 대한 언급은 거의 없습니다. 문헌은 연민, 환자 중심 치료, 돌봄 관계, 전문성, 타인을 배려하는 방법과 같은 특정 주제에 초점을 맞춰 연민이 윤리적 행동과 어떤 관련이 있는지 탐구하는 경향이 있습니다.6-9 이러한 주제는 탐구하고 조사해야 할 중요한 주제이지만, 이러한 접근 방식은 치료의 기본 원칙이 이미 이해되었으며 적절한 적용만 필요하다는 것을 전제로 합니다. 그러나 우리는 모든 사람이 돌봄에 대해 '일상적으로' 이해하고 있으며, 이는 너무 당연해서 명시적으로 설명할 필요가 없을 수도 있다는 데 동의하지만, 돌봄에 대한 이러한 암묵적 이해를 명시적으로 설명할 필요가 있다고 주장합니다. 임마누엘 칸트 철학의 핵심 통찰은 우리가 실천을 경험하고 성찰하는 개념은 종종 경험과 성찰의 대상이 아니라는 것입니다.10 이러한 개념은 우리의 실천을 형성하지만 그 자체로는 일반적으로 조사 대상이 아닙니다.  
A similar debate is lacking when it comes to care. While the need for detailed investigation is articulated,5 there is little addressing what care is. The literature tends to focus on particular themes like compassion, patient-centred care, caring relationships, professionalism and how to show due consideration to others to explore how compassion relates to ethical behavior.6–9 While these are crucial themes to explore and investigate, these approaches presuppose that the underlying principle of care is already understood, and only needs proper application. But while we agree that everyone has an ‘everyday’ understanding of care, which may seem so obvious that it does not warrant making explicit, we argue it is necessary to make this tacit understanding of care explicit. A central insight from Immanuel Kant’s philosophy is that the concepts through which we experience and reflect on our practices are often not objects of experience and reflection.10 These are concepts that shape our practices but are themselves not usually subject to investigation.

우리는 돌봄을 보건의료 교육의 정신으로 가장 잘 볼 수 있다고 주장합니다. 보건의료 교육을 케이크에 비유한다면, 돌봄은 케이크의 재료 중 하나가 아니라 베이킹 과정을 안내하는 화학 법칙과 같습니다. 이 법칙은 그 안에서 일어나는 모든 일에 스며들어 있으며, 주변적인 것이 아니라 본질적인 개념이므로 근본적인 개념입니다. 이처럼 서로 다른 정당한 의미를 하나로 묶는 것이 무엇인지에 대한 질문은 이론적인 질문이 아니라 존재론적인 철학적 질문입니다. 우리 모두는 돌봄에 대한 사전 성찰적이고 구체화된 이해를 가지고 있기 때문에 돌봄은 우리가 '배우고' 나서 '적용'해야 하는 것이 아닙니다. 그러나 돌봄이 무엇을 의미하는지 진정으로 이해하려면 이러한 사전 성찰적 이해를 명시적으로 만들어야 하는데, 이것이 바로 현상학의 과제입니다.11
We argue that care can best be seen as the spirit of health care education. If health care education is a cake, care is not just one of its ingredients, but the laws of chemistry that guide the baking process. It permeates everything else that happens there; it is essential rather than peripheral, and therefore a fundamental concept. The question of what unites these different and legitimate meanings is not a theoretical question, but an ontological philosophical question. Since we all have a pre-reflective, embodied understanding of care, care is not something we have to ‘learn’ and then ‘apply’. But to authentically understand what care means we have to make this pre-reflective understanding explicit, which is the task of phenomenology.11

우리가 근본적인 개념에 대한 주인의식을 갖지 않으면 정치적, 경제적 이해관계나 문화적 신념과 습관에 따라 달라질 수 있습니다. 이 논문에서 우리는 돌봄을 유연하고 변화에 개방적인 이동하는 개념으로 취급합니다.12,13 분명히 말하지만, 우리의 의도는 돌봄을 최종적으로 정의하는 것이 아니라 성찰의 대상이 되어야 하는 것으로서 돌봄에 주목하는 것입니다. 이를 위해서는 돌봄과 같은 기본 개념을 충분히 다루기 위해 다양한 철학적 탐구 방법을 이해하는 새로운 방식을 개발해야 합니다. 
If we do not take ownership of our fundamental concepts, they can be subject to political and economic interests, or whatever our cultural beliefs and habits happen to be. In this paper we treat care as a traveling concept that is flexible and open to change.12,13 To be clear, our intention is not to define care finally, but rather to draw attention to care as something that should be subject to reflection. In order to do this, we need to also develop new modes of understanding a variety of philosophical avenues of inquiry in order to fully address foundational concepts like care.

20세기 주요 철학 저작 중 하나로 널리 알려진 존재와 시간14은 현상학과 실존주의 발전의 중심이 되었습니다. 이 작품은 존재, 특히 인간에 대한 질문에 초점을 맞추고 있습니다. 1927년에 출판된 이 저작은 저자가 파시스트 독일에서 개인적, 정치적 선택에 문제가 있었다는 점을 인정해야 하지만,15 하이데거가 돌봄이 인간 존재의 존재론적 구조라고 결론을 내린다는 점에서 더 깊이 탐구할 가치가 있는 작품이라고 할 수 있습니다. 다음에서는 보건의료 교육 현실에서 발생하는 돌봄의 의미를 하이데거의 돌봄 개념의 관점에서 살펴봄으로써 어떻게 더 깊은 성찰의 지평을 열 수 있는지 살펴보고자 합니다. 
Widely recognized as one of the major philosophical works of the 20th century, Being and Time14 was central to the development of phenomenology and existentialism. The work focuses on the question of being, particularly of human being. Though it was published in 1927 and we need to acknowledge its author’s later problematic personal and political choices in fascist Germany,15 the work warrants further exploration if only because Heidegger concludes that care is the ontological structure of human existence. In the following, we will explore how the meaning of care as it occurs in the reality of health care education can be opened up for deeper reflection by examining it from the perspective of Heidegger’s concept of care.

하이데거의 존재론적 방법14을 활용하여 돌봄일상적인 사용과 더 깊은 의미를 연결해 보겠습니다. 하이데거의 철학은 영향력이 크지만 어렵기로 악명이 높습니다. 여기서는 단 하나의 '하이데거적' 개념, 즉 온틱과 존재론의 차이로만 한정하여 설명하겠습니다. '온틱'(문자 그대로: 존재)은 구체적이고 사실적인 존재를 가리키는 반면, '존재론'(문자 그대로: 존재에 대한 연구)은 다른 존재와의 관계에 주의를 기울여 그 존재를 연구하는 것을 말합니다. 예를 들어, 존재론적으로 나는 방에 혼자 있을 수 있지만, 존재론적으로 나는 본질적으로 사회적 존재입니다. 이 구체적이고 특정한 존재로서 나는 혼자이거나 다른 사람들과 함께 있을 수 있으며, 나 자신을 더 사교적인 사람 또는 더 내성적인 사람으로 묘사할 수 있습니다. 그러나 존재론적으로 다른 사람과 함께 있다는 것은 우리가 인생에서 무엇을 하든 항상 우리 존재의 핵심입니다. 예를 들어, 다른 사람과 어울리는 것을 피하는 것은 다른 사람과 관계를 맺지만 부정적인 방식으로 관계를 맺는 것입니다. 나는 온틱적으로 홀로 남아 있지만, 존재론적으로는 여전히 다른 사람들과 관계를 맺고 있습니다. 하이데거는 『존재와 시간』에서 존재의 방식을 탐구한다는 의미에서 존재론을 수행하면 존재론적으로 더 의식적이고 자유로운 관계를 맺을 수 있음을 보여주었습니다. 따라서 존재론적 돌봄과 관련하여 보건의료 교육에서의 다락방 돌봄을 분석하는 것은 무엇을 해야 하는지, 어떤 유형의 돌봄이 가장 좋은지 알려주는 것이 아니라 개념을 더 깊이 성찰하고 탐구할 수 있도록 열어주는 것입니다. 
We will draw on Heidegger’s ontological method14 to relate the everyday use of care to its deeper meaning. Heidegger’s philosophy, while highly influential, is notoriously difficult. We will limit ourselves to only one ‘Heideggerian’ notion: the difference between the ontic and the ontological. ‘Ontic’ (literally: being) refers to concrete, factual existence, while ‘ontological’ (literally: study of being) refers to the being of that being with due attention to its relations to other beings. For instance, ontically I may be alone in a room, while ontologically I am an inherently social being. As this concrete, particular being I may be either alone or with others, and might describe myself as having a more social or more introverted person. But ontologically, being-with-others is always at the heart of our being, no matter what else we do in life. For instance, avoiding the company of others is relating to others but in a negative way. While I remain ontically alone, I am still relating to others ontologically. In Being and Time,14 Heidegger showed that doing ontology, in the sense of examining ways of being, can yield a more conscious and free relationship to beings ontically. Thus our analysis of ontic care in health care education in relation to ontological care will not tell us what to do, or which type of care is best, but rather open up the concept to a deeper reflection and exploration.

철학적 측면에서 우리는 돌봄의 온틱적 의미를 존재론적 의미와 연관시키려고 시도할 것입니다. 먼저, 보건의료 교육에서 돌봄이 이미 사용되고 있는 방식에서 돌봄이 갖는 의미를 살펴볼 것입니다. 이 분석에서 서로 다른 의미 사이의 충돌이 나타나며, 이를 실제 사례를 통해 설명합니다. 그런 다음 케어에 대한 하이데거의 실존 분석적 관점을 살펴보고 이것이 오늘날 보건 교육에서 '케어'가 어떻게 사용되고 있는지에 대해 어떻게 조명할 수 있는지 살펴볼 것입니다. 마지막으로, 돌봄의 관점에서 보건의료 교육을 살펴보면 의사가 되는 것이 기계적이고 공식적인 과정이 아니라 몰입적이고 성찰적인 과정이라는 것을 알 수 있습니다.
In philosophical terms, we will attempt to relate the ontic meaning of care with its ontological meaning. First, we will examine the meaning that care already has in the way that it is being used in health care education. From this analysis emerge some clashes between its different meanings, which we illustrate with a working example. Then, we will investigate Heidegger’s perspective of existential analytic on Care and ask how it can shed light on how ‘care’ is used in health care education today. Finally, we will attempt to show that an examination of health care education in terms of care reveals that becoming a doctor is not a mechanical, formulaic process but rather an immersive and reflective one.

돌봄의 일상적 의미
The everyday meaning of care

일상에서의 돌봄
Care in everyday life

일상에서 '보살핌'이라는 단어는 아이를 돌보는 어머니의 모습이나 아플 때 사랑하는 사람의 보살핌을 받았던 기억을 떠올리게 합니다. 광고에서 보살핌의 표현으로 부드러움과 친밀감이 흔히 등장합니다. 이는 종종 우리에게 중요한 무언가를 표현하는 것으로, "Because we Care"라는 캐치프레이즈에 불을 붙입니다. 더 크게 보면, 우리는 위험으로부터 보호한다는 의미에서 덜 친밀하고 더 단호한 버전의 보살핌을 발견할 수 있습니다. 우리는 보살핌을 옹호라고 생각할 수 있습니다. 목소리를 낼 수 없는 사람들은 목소리를 낼 수 있는 사람들에 의해 지지되고 대변될 수 있습니다. 그러나 이 의미는 또한 중요함을 나타내기도 합니다. 즉, 관심 있는 것을 방어, 보호 또는 옹호하는 것입니다.16 보다 중립적인 의미에서 돌봄은 개인적 또는 기관적 수준(보육, 재정적 돌봄, 재향군인 돌봄, 법적 돌봄) 또는 (국가 간) 수준에서 필요한 모든 것을 제공하는 것을 의미하기도 하는데, 의료가 대표적인 예입니다. 
In everyday life, the word ‘care’ conjures up images of a mother nursing a child, or memories of ourselves being nurtured by our loved ones when we are sick. Tenderness and intimacy are commonplace in advertising as representations of care. These are often representations of something important to us, igniting the catchphrase: “Because we Care”. On a larger scale, we find a less intimate and more assertive version of care, in the sense of protection against harm. We may view care as advocacy: those who are unable to have a voice may be supported and spoken for by those who can. But this meaning also indicates importance: one defends, protects or advocates for that which one cares about.16 In a more neutral sense, care is also used to imply the provision of whatever is necessary on a personal or institutional level (daycare, financial care, veteran care, legal care), or even on an (inter)national level, of which health care is a prime example.

의료 교육에서의 케어
Care in health care education

의료 교육에서는 일상적인 돌봄의 의미에 대한 다양한 변형을 발견할 수 있습니다. 이는 의료 교육 자체가 의지와 능력을 갖춘 예비 의사를 유능한 의료 전문가로 양성하는 교육을 제공하는 '돌봄 시스템'의 일부이기 때문에 당연한 결과입니다. 의료 전문가는 환자에게 의료 자금을 분배하기 위해 시스템에 요청해야 하는 시스템 내에서 일합니다. 이 시스템 내에서 사람들은 히포크라테스 선서의 의미에 따라 건강을 돌보는 방법에 대한 집단적 지식과 이러한 지식을 실제로 적용할 수 있는 기술을 접할 수 있습니다: "나는 나의 능력과 판단에 따라 환자의 이익을 위해 고려하는 치료법을 따르고 해롭고 장난스러운 것은 무엇이든 삼가겠다."17는 히포크라테스 선서의 의미입니다. 
In health care education we can find variations on everyday meanings of care. This is logical as health care education is itself part of a ‘care system’ that concerns itself with providing training that forms willing and able prospective physicians into competent medical professionals. Health care professionals work within a system that requires them to ask a system to distribute medical funding toward their patients. Within this system, people have access to a collective body of knowledge about how to care for health, and the skills to apply this knowledge in practice, in the sense of the Hippocratic Oath: “I will follow that system of regimen which, according to my ability and judgment, I consider for the benefit of my patients, and abstain from whatever is deleterious and mischievous.”17

보호로서의 보살핌은 여러 가지 실제적인 방식으로 나타납니다. 과잉진료를 하는 의사로부터 환자를 보호하는 안전장치와 윤리적 경계, 의사가 익숙하지 않은 상황에 대처할 때 보다 안전한 방법을 안내하는 제도적 프로토콜을 생각해 볼 수 있습니다. 이를 치료하는 의사에게 중요한 것은 환자의 안녕이라는 관점에서 보면 돌봄라고 생각할 수 있습니다. 의사는 환자의 안녕을 염려하기 때문에 환자가 해를 입지 않도록 보호하고(우선 의학적 또는 윤리적 실수로 인해 자신이 입을 수 있는 해로부터), 환자를 간호하여 병을 완화하는 데 필요한 의학적 치료를 제공합니다. 같은 방식으로 교육 전문가가 유능한 전문가가 되기 위해 필요한 것을 제공하는 시스템을 구축하여 의료 수련생을 돌봐야 하는 보건의료 교육의 구조에 대해 생각해 볼 수 있습니다.
Care as protection has a multitude of practical ways of showing itself. We may think of safety mechanisms and ethical boundaries which protect patients from overzealous doctors, and of institutional protocols that guide doctors toward safer methods when they deal with situations with which they are unfamiliar. We can imagine this as care in the way that what matters to the treating physician is the well-being of their patient. As they care about their patient’s well-being, they protect them against harm (firstly against the harm they themselves could do by making a medical or ethical mistake), and nurse them, that is, give them the medical attention they need to alleviate what ails them. In the same way, we can think about the structure of health care education, where educational professionals are expected to care for and about medical trainees by setting up a system that provides them with what they need to become competent professionals.

의료 교육에서 돌봄을 다루는 다른 방법도 있습니다. 첫 번째는 '환자 중심 진료'라는 개념으로 표현됩니다. 진료의 중심을 어디에 둘 것인지에 대한 대안이 없다면 왜 이 개념이 존재할까요? 환자 중심 진료라는 개념이 존재한다는 것은 환자의 건강 요구와 희망이 의료 서비스를 주도한다는 것이 당연한 것이 아니라는 것을 의미합니다. 치료와 관련하여 환자 중심주의를 의제화함으로써 치료라는 단어는 무엇이 중요한지를 가리키는 것으로 나타납니다. 의료기관은 이를 모토로 삼아 의료기관이 중요하게 생각하는 것이 무엇인지 나타낼 수 있습니다. 이런 의미에서 돌봄은 약속이기도 합니다. 누군가 또는 무언가에 관심을 갖는다는 것은 그들의 필요를 채워주겠다는 약속입니다.
There are other ways in which care is addressed in health care education. The first is expressed by the concept of ‘patient-centred care’. Why would this concept exist if there were no alternatives for what to center care around? The fact that the concept of patient-centred care exists implies that it is not a given that the patient’s health needs and wishes drive health care. By agendizing patient-centeredness in relation to care, the word care emerges as pointing to what is important. Institutions can have this in their mottos to indicate that it is what they care about. In this sense, care is also a commitment: if one cares about someone or something, this is a promise that one will take care of their needs.

돌봄은 보건 교육에서의 성찰을 논의할 때도 다뤄집니다. 성찰은 보호와 밀접한 관련이 있는 개념으로, 성찰적 실무자는 미래의 행동에 정보를 제공하기 위해 현재 자신의 과거 경험과 실수를 검토하는 평생 학습자입니다.18
Care is also addressed in discussing reflection in health care education. It is a concept that is closely related to protection: reflective practitioners are lifelong learners who examine their past experiences and mistakes in the present in order to inform their actions in the future.18

중요성으로서의 돌봄친밀성으로서의 돌봄과 밀접한 관련이 있습니다: 사랑하는 사람의 건강 상태에 대한 소식을 기다리는 가족들로 가득 찬 병원 대기실을 상상할 수 있습니다. 환자의 설명을 듣거나 나쁜 소식을 전할 때, 또는 환자 및 그 가족과의 기타 상호작용을 할 때 의사는 단순히 의학 지식을 병든 신체에 적용하는 것이 아니라, 환자를 한 인간으로서 배려해야 한다고 배워왔습니다. 이는 의료 교육 문헌에서 공감 또는 연민과 같은 제목으로 논의되며 전문직업성이라는 개념도 포함되어 있습니다. 이러한 의미에서 돌봄은 종종 감정 또는 태도로 설명되며,6 개별 교육생 내에서 인지 과정으로 개념화됩니다. 수련의가 모든 환자에게 친밀한 방식으로 배려할 것을 합리적으로 기대할 수 있는지, 아니면 상대방이 어떤 사람인지 상상하기 어려울 정도로 자신과 다른 사람에게 배려할 것을 기대하는 것은 너무 피곤하고 어쩌면 불가능한 일인지에 대한 논의가 있습니다. 위에서 설명한 기술적이고 경험적으로 검증 가능한 돌봄의 사용 외에도 친밀성으로서의 돌봄이 예를 들어 응급 치료 프로토콜이나 교육 프로그램의 품질 및 효과와 같은 유형의 측정 대상이 될 수 있는지에 대한 논쟁도 있습니다.19-21 예를 들어, 교육생들은 진정으로 공감을 경험하지 못했을 때 "유감입니다"라고 말해야 할 때 부조화를 느낀다고 보고합니다.22
The meaning of care as importance is closely related to care as intimacy: we can imagine waiting rooms of hospitals with families waiting for news on loved ones’ medical conditions. In listening to a patient presentation, or delivering bad news, or in any other interaction with patients and their families, doctors have been taught not to just apply their medical knowledge to diseased bodies, but to care about the patient as a human being. This is discussed in health care education literature under headings such as empathy or compassion, and the concept of professionalism is also included. Care, in this sense, is often described as an emotion or an attitude,6 and conceptualized as a cognitive process within individual trainees. There are discussions about whether we can reasonably expect trainees to care about every patient an intimate way, or if it is too exhausting and perhaps even impossible to expect that they would care about people who are different from them in some respect to the point where it is difficult for them to imagine what something is like for the other person. There are also debates on whether, in addition to the technical and empirically verifiable use of care outlined above, care as intimacy can be subjected to the same types of measurement as the quality and effectiveness of, for instance, emergency care protocols or educational programs.19–21 For instance, trainees report a feeling of dissonance when they are expected to say “I’m sorry to hear that” when they do not authentically experience empathy.22

다른 사람과의 공감 외에도 감정과 중요성(사람에게 중요한 것)으로서의 돌봄도 동기부여라는 제목의 연구에서 연관되어 있습니다. 동기 부여에 관한 연구에서는 의대생의 동기 부여 여부를 나타내는 요인을 조사하고23 내재적 동기와 외재적 동기를 구분합니다.24 목표는 예를 들어 수련의가 건강 프로토콜을 공부하거나 유능한 사람이 되기 위해 필요한 다른 일을 하는 데 필요한 것이 무엇인지 구분하는 것입니다. 교육생이 이미 충분히 돌봄의 능력을 갖고 있는가, 아니면 시험과 평가를 연계하는 등을 통해 돌봄의 능력을 갖추도록 만들어야 하는가? 성찰과 공감과 관련하여 시험examination의 문화는 성찰20 및 공감21의 문화와 충돌할 수 있으며, 이는 돌봄의 두 가지 의미, 즉 기대로서의 돌봄감정으로서의 돌봄 사이의 충돌로 다시 표현할 수 있다고 합니다. 공감과 성찰과 같은 현상에 대한 심리측정 평가에 반대하는 사람들은 평가가 그와 관련된 행동의 성과를 이끌어내지만, 성과를 요구하는 것은 돌봄을 가치 있게 만드는 진정성 있고 감정적인 경험을 방해한다고 주장합니다. 지지자들은 이러한 역량을 더 이상 평가하지 않는다면 교육생이 해당 역량을 배울 만큼 관심을 갖지 않을 수 있다고 반박합니다.
In addition to empathy with other people, care as emotion and importance (what matters to a person) are also linked in studies under the header of motivation. Studies about motivation examine what factors indicate whether a medical student is motivated,23 and distinguish between intrinsic and external motivation.24 The goal is to distinguish what is required for a trainee to, for instance, study health protocols or do other things that are necessary to become competent. Do they already care about this enough, or should they be made to care, for instance, by coupling tests to assessment? In relation to reflection and empathy it has been said that the culture of examination may clash with the culture of reflection20 and empathy21, which can be rephrased as a clash between two meanings of care: care as anticipation versus care as emotion. Opponents of psychometric assessment of phenomena like empathy and reflection argue that assessment brings out performances of behavior that is associated with them, but demanding performance interferes with the authentic and emotional experience of caring that makes it valuable. Proponents counter that if we would no longer assess these competencies, trainees might not care enough to learn them.

이러한 의미에서 돌봄의 시간적 측면, 즉 기대로서의 돌봄뿐만 아니라 과거와 현재에 대한 인식도 드러납니다. 병원 대기실에 있는 가족들은 어떤 소식을 듣게 될지 기대에 부풀어 걱정하고 있습니다. 성찰적인 실무자는 미래의 상황에서 배우기 위해 현재 자신의 과거 행동을 분석합니다. 커뮤니케이션에서 공감은 내가 이런 말을 하면 상대방이 어떻게 느낄지, 또는 환자에 대한 의학적으로 관련 있는 정보를 제공하는 반응을 이끌어내기 위해 어떤 말을 해야 할지 예상하는 것과 관련이 있습니다. 그러나 환자가 이전 상담에서 공유한 개인 정보를 기억하는 것도 배려의 표시가 될 수 있습니다. 
In these meanings, the temporal aspect of care becomes visible: care as anticipation, but also of awareness of the past and present. The family members in the hospital waiting room are worried in anticipation of what news they might receive. Reflective practitioners analyze their past actions in the present, in order to learn from it in future situations. Empathy in communication has a lot to do with anticipating what another person might feel if one were to say this, or what one should say in order to elicit this response that would provide one with medically relevant information about a patient. But it can also be a sign of care if one remembers the personal details that a patient shared in a previous consultation.

실제에서의 돌봄
Caring in practice

지금까지 의료 교육에서 '돌봄'이라는 단어와 관련된 다양한 의미와 몇 가지 공통된 특성이 서로 다른 돌봄의 방식을 어떻게 묶는지에 대해 살펴보았습니다. 이러한 광범위한 분석의 위험은 단어가 모든 것을 의미할 수 있는 컨테이너 개념이 되어 개념적 힘을 잃는다는 것입니다. 이것은 우리 모두가 어떤 개념에 대해 정확히 같은 것을 의미해야 한다는 것이 아니라 "의미적으로 동의하지 않을 수 있는" 충분한 상호주관성이 있다는 것을 의미합니다.12(13쪽) 개념은 서로 다른 의미가 충돌하는 것으로 보이는 구체적인 상황에서 더욱 명확하게 구분될 수 있습니다. 이제 실제 사례를 살펴보고 이 사례가 돌봄의 일상적 의미에 비추어 어떻게 보이는지 살펴보겠습니다. 
So far we have focused on the plurality of meanings associated with the word ‘care’ in health care education, and how a few common qualities bind different modes of caring. The risk with such a broad analysis is that the word becomes a container concept that can be taken to mean anything and thereby loses its conceptual power. This does not mean that we should all mean exactly the same thing by a concept, but that there is enough intersubjectivity to “meaningfully disagree”.12(p. 13) Concepts can become more clearly distinguished in a concrete situation in which its different meanings can be seen to clash. We will now look at a practical example and examine how this example looks in the light of the everyday meaning of care.

내과 레지던트 후배가 응급실의 의뢰로 근무 시간 외 환자를 진료했다고 가정해 보겠습니다. 입원 후 레지던트는 입원 전 일상적인 조사로 혈액 검사가 필요하다는 사실을 알게 됩니다. 레지던트는 환자와 상담한 결과 채혈을 여러 번 시도했고 환자의 팔에 멍이 들어 있어 환자가 불안하고 불편해하는 것을 발견했습니다. 아침 병동 회진에서 어텐딩은 혈액 검사 결과를 요청하고 레지던트는 당연히 당황하게 됩니다. 이때 주치의는 혈액 검사 결과 없이는 어떤 결정도 내릴 수 없다는 사실에 짜증이 납니다. 또한 전공의가 혈액 검사에 전혀 신경을 쓰지 않는 것처럼 보일 수도 있습니다. 
Imagine a junior resident in internal medicine has seen a patient after-hours as a referral from the ER. Upon admission, the resident notices a blood test is required as a routine investigation prior to admission. Upon consulting with the patient, the resident notices that multiple attempts had been made to draw blood and that the patient’s arms were bruised, making the patient restless and uncomfortable. On the morning ward round the attending requests the blood results and, naturally, the resident is at a loss. The attending at this point is annoyed that no decision can be made without the results of a blood test. It also may seem to the attending that the resident did not care to do the blood tests at all.

이 예에서는 여러 가지 요소가 작용하고 있습니다. 동정심을 느끼는 사람에게 해를 끼치고 싶지 않다는 친밀한 의미의 돌봄이 환자의 안녕을 보호하는 것과 상충될 수 있습니다. 여기에는 기대감도 작용합니다. 레지던트는 실제로 채혈을 시도하지는 않지만, 환자에게 이 질문을 던지는 것만으로도 불쾌한 환경을 조성하거나 환자의 신뢰를 훼손할 수 있다고 걱정합니다.
There are a multitude of elements at work in this example. Care in the intimate sense of not wanting to do harm to someone that one feels compassion for may be conflicted with the safeguarding of the patient’s well-being. Anticipation is also at work here. The resident does not actually attempt to draw blood but worries that even confronting the patient with the question may bring about an unpleasant environment or that she somehow would undermine their trust.

역설적이게도 주치의에게는 부주의하다고 인식되는 것에서도 배려가 드러납니다. 우리는 레지던트가 환자의 안녕을 걱정하는 마음프로토콜을 따르지 않는 레지던트에 대한 주치의의 시각을 이해할 수 있습니다. 레지던트가 아침 회진에서 내려야 할 결정을 위해 일상적인 혈액 검사의 중요성을 인식하지 못했고 의사 결정이 지연되면 환자의 건강에 영향을 미칠 수 있다는 사실에 짜증이 날 수도 있습니다. 그러나 다른 관점에서 보면 레지던트는 환자를 돌보았습니다. 레지던트는 환자가 사소한 시술로 인해 속상해하고 신체적 고통을 경험할 수 있다는 점을 고려했습니다. 레지던트가 절차적 요구보다 이러한 우려를 우선시한 것은 배려의 한 방법으로 볼 수 있습니다. 
Paradoxically, care shows itself even in what is perceived by the attending as carelessness. We can understand the residents’ care about the patient’s well-being, as well as the attending’s view of the resident not following protocols. They might be annoyed that the resident did not see the importance of the routine blood tests for the decision that was to be made on the morning round and that a delay in decision-making may affect the health of the patient. From another perspective, however, we see that the resident did care. The resident cared that the patient may feel upset and experience physical pain for what the resident sees as a minor procedure. It might be seen as a way of caring that the resident prioritized these concerns over procedural demands.

레지던트의 결정과 어텐딩의 상황 평가에는 아직 환자 치료를 완전히 맡겨지지 않은 수련의로서의 역할, 환자를 치료하는 의료 전문가로서의 역할, 프로토콜을 따라야 하는 병원 직원으로서의 역할 등 세 가지 돌봄의 대상이 경쟁적으로 실현되기 위해 경쟁하고 있습니다.

  • 환자 중심 치료의 관점에서 레지던트는 환자를 충분히 돌보는 것으로 간주될 수 있습니다.
  • 직원의 관점에서 보면 레지던트의 행동은 병원에서 모든 직원이 따라야 하는 진료 구조와 충돌합니다.
  • 수련의의 관점에서 주치의는 레지던트가 배워야 할 것을 배우지 못한 것으로 간주할 수 있습니다. 

Three objects of care are competing for realization within the resident’s decision as well as the attending’s assessment of the situation: the role of the resident as a trainee who is assessed and not yet entrusted fully with patient care, as a health care professional who treats patients, and as an employee of the hospital who is expected to follow protocols.

  • From the perspective of patient-centered care, the resident may be seen as fully caring.
  • From the perspective of an employee, her actions conflict with the care structure that all employees are supposed to follow in the hospital.
  • From the perspective of being a trainee, the attending may see the resident as failing at having learned something that they are supposed to learn.

레지던트가 무언가를 돌보지 않는다는 예를 상상할 수 없을 정도로 돌봄은 매우 근본적인 것입니다. 그것이 후배 의사의 경력이든, 병원의 프로토콜이든, 재정적 이익이든, 도덕적 무결성이든, 그 어떤 것이든 돌봄이 존재합니다. 부주의한 상황에서도 돌봄은 항상 작용하기 때문에 문제는 '보살핌이 있느냐'가 아니라 '이 특정 사례에서 보살핌이 어떤 형태를 취했느냐'입니다. 의료 교육과 돌봄의 근본적인 관계 때문에 우리는 돌봄이 단순히 실용적, 교육적, 심리적 문제가 아니라 심오한 철학적 문제라고 주장합니다. 
Care is so fundamental that it is impossible to imagine the example without the resident caring about something. Whether that something is the junior doctor’s career, the hospital’s protocols, financial benefits or moral integrity, care is present. Since even in encounters with carelessness, care is always at work, the question is not do they care?’, but ‘what form has care taken in this particular case?’ The fundamental relationship of care to health care education is why we argue that care is not just a practical, educational or psychological matter, but a deeply philosophical one.

돌봄과 철학적 만남
Philosophical encounters with care

하이데거는 『존재와 시간』에서 현대 사회에서 지식이 폭발적으로 증가하던 20세기 초를 배경으로 글을 씁니다. 이 시기에 하이데거는 철학이 존재한다는 것이 무엇을 의미하는가라는 가장 근본적인 질문으로 돌아가야 한다고 주장합니다. 이전의 철학자들과는 달리 그는 인간을 고립된 실체로 접근하는 것이 아니라 일상 생활에 완전히 몰입하여 모든 혼란, 양면성, 기쁨, 어려움을 겪는 존재로 접근합니다. 이러한 환경에서 사람은 "내가 여기서 무엇을 하고 있는가?"라고 질문할 수 있습니다. 하이데거의 대답은 돌봄입니다. 하이데거는 돌봄을 태도나 기술이 아니라 질문에 대한 응답으로 봅니다: "존재한다는 것은 무엇을 의미하는가?" 
In Being and Time,14 Heidegger writes from the beginning of the 20th Century during an explosion of knowledge in the modern world. During this time, Heidegger asks philosophy to return to the most fundamental question: what does it mean to be? In contrast to earlier philosophers, he does not approach human beings as isolated entities, but as beings that are completely immersed in daily life with all its befuddlements, ambivalence, joys, and difficulties. In this setting a person may ask, “what am I doing here?” Heidegger’s response is care. Heidegger does not see care as an attitude or technique but as a response to the question: “What does it mean to be?

존재와 시간의 관점에서 보면 우리의 모든 일상 활동은 돌봄을 중심으로 구조화되어 있습니다. 이러한 맥락에서 건강은 인간이 관심을 갖는 돌봄의 대상 중 하나일 뿐이며, 우리는 건강 자체를 위해서가 아니라 기분이 좋고, 가족과 함께 시간을 보내고, 오래 살고, 일하고, 지붕을 덮을 수 있기를 원하기 때문에 건강을 돌봅니다. 건강하면 일, 가족, 장수와 같은 다른 문제에 관심을 기울일 수 있습니다. 하이데거에게 건강 관리는 죽음을 연기하는 것입니다. 우리가 필멸자이기 때문에 치료가 존재하는 것입니다. 달리 말하면, 의료 교육에서 이 세 가지 용어 중 가장 근본적인 것은 돌봄입니다. 병원이 존재하는 이유도, 예시에서 레지던트가 자신의 명백한 실패에 죄책감과 체념을 느끼는 것도 모두 그 근원에 돌봄이 있음을 나타냅니다. 
From the perspective of Being and Time, all our daily activities are structured around care. In this context, health is only one of the objects of care that human beings are concerned with: we care for our health not for its own sake, but because we want to feel well, to spend time with our family, to live a long life, to be able to work and put a roof over our heads, and so on. Being healthy allows us to direct our attention to other matters such as work, family, or living a long life. For Heidegger, health care is about postponing death. It is precisely because we are mortal that care exists. Put differently, in health care education, the most fundamental of these three terms is care. Both the reason that hospitals exist and that the resident in our example feels guilt and resignation at her apparent failure indicate care at their origin.

간단한 예시를 통해 이러한 욕구가 항상 일치하는 근본적인 방향이 있음을 알 수 있습니다. 하이데거는 이를 시간의 구조와 동일시합니다. 현재에 무언가가 필요한 이유는 현재 상황에서 발생하는 미래를 상상하기 때문일 수 있습니다. 하이데거는 시간과 얽혀 있는 세 가지 요소, 즉 과거 현재 미래, 이미 있음, 함께 있음, 아직 없음이라는 개념을 통해 돌봄에 대한 자신의 생각을 소개합니다. 
We can see in simple examples there is always an underlying direction to which these needs align. Heidegger identifies this with the structure of time. One might need something now in the present, but it is only because we imagine a future arising from the current state of affairs. Heidegger introduces his idea of care with three elements that are intertwined with time: past present and future, which he calls already-there, being-with and not-yet.

이미 있음: "우리는 이 집에 태어났습니다. 이 세상 속으로 우리는 던져진다" - 1967년 문
Already-there: “into this house we’re born. Into this world we’re thrown” – the doors 1967

하이데거는 우리가 우리보다 훨씬 이전에 존재했던 세계에 도착한다는 사실을 주로 인정합니다. 레지던트는 의료 수련을 시작하기 전부터 이미 존재했던 병원에 있습니다. 수많은 시스템과 장비가 레지던트들이 임무를 수행하는 데 도움을 줍니다. 일상적인 혈액 샘플 채취라는 단순한 행위조차도 글로벌 제조 공급망, 재고 주문 및 관리, 임상 기술 교육 등의 조율된 구조에 따라 달라집니다. 의료 수련 과정에서 레지던트는 이미 의료가 존재하고 있기 때문에 이미 구축된 세계에 '던져진' 것입니다. 
Heidegger primarily acknowledges the fact that we arrive in a world which has been in existence long before us. The resident is in a hospital that was already there before they started medical training. A multitude of systems and equipment serve to assist them in doing their duty. Even the simple act of taking a routine blood sample is contingent on a coordinated structure of global manufacturing supply chains, stock ordering, and management, training in clinical skills etc. In medical training, the resident is ‘thrown’ into a world that was already there and has been constructed because care is already present.

존재-함께: "인간의 환경은 동료 인간이다." - 줄스 델더
Being-with: “the environment of the human being is fellow human being.” – Jules Deelder

레지던트는 주로 겁에 질리고, 취약하고, 압도당할 수 있는 사람으로서 환자를 만납니다. 레지던트의 관심은 환자를 병원에 오게 한 실질적인 이유(이미 병원에 온 이유와 앞으로 달성해야 할 목표 모두)에서 벗어나 현재의 다른 무언가에 쏠리게 됩니다. 이 순간 환자는 더 이상 단순한 조사 대상이 아니라 레지던트에게 원활한 의사소통과 개방성을 요구하고 한 인간으로서 인정받아야 하는 존재가 됩니다. 이러한 호감은 관계 형성의 시작이며, 레지던트의 모든 태도나 분위기에 영향을 미칩니다. 예를 들어, 환자가 레지던트의 인간성에 호소하는 경우, 레지던트는 자신이 원하는 절차를 따르지 못하고 부서나 상사의 절차에 얽매여 있는 것에 짜증을 낼 수 있습니다. 
Our resident encounters the patient primarily as someone who is scared, vulnerable, and perhaps overwhelmed. Their attention is drawn away from the practical reason that brought them to hospital (both in the sense of a reason for the visit that was already there and the future goal that needs to be accomplished) and instead to something else in the present. At this moment, the patient is no longer simply an object for investigation but a human being whose presence demands good communication, openness, and for the resident to acknowledge them as a person. This appeal is the beginning of forming a relationship which colors the resident’s attitude or mood toward everything else. For instance, in light of the patient’s appeal to her humanity, the resident may be annoyed that they cannot follow the procedure they need to but are bound to the processes of her department or supervisor.

레지던트의 상황은 단순히 객관적으로 존재하는 것들(환자, 주사기, 레지던트가 있는 방)의 집합이 아닙니다. 레지던트가 특정한 방식으로 함께 있는 요소들의 집합입니다. 이 예에서 레지던트와 상황의 관계는 두 개의 경쟁적인 치료 대상의 갈등에 대한 반응으로서 좌절감입니다. 좌절감을 주는 것은 개별적인 요소가 따로 있는 것이 아닙니다. 사랑에 빠지거나 지루한 사람이 사랑이나 지루함의 관점에서 모든 것을 경험하는 것처럼, 모든 것은 좌절의 관점에서 발생합니다.
The resident’s situation is not a collection of things that are merely objectively present (the patient, the syringe, the room they are in). It is a constellation of elements that the resident is with in a particular way. In our example, the resident’s relationship with the situation is frustration as a response to the conflict of two competing objects of care. It is not any distinct individual element that is frustrating. Everything occurs in the light of being frustrated, just as a person who is in love or bored experiences everything in the light of being in love or of boredom.

아직은 아니죠: "미래는 일어나기 훨씬 전에 우리 안에서 스스로 변화하기 위해 우리에게 들어온다." 릴케, 젊은 시인에게 보내는 편지, 10번 편지
Not-yet: “the future enters us, to change itself in us, long before it happens.” Rilke, letters to a young poet, letter 10

하이데거에게 돌봄의 마지막 차원은 가장 중요한 차원입니다. 이 세 가지가 모두 하나의 통일체이지만, 이것이 바로 돌봄에 의미와 방향을 부여하는 것입니다. 레지던트가 애초에 그곳에 앉아 이미 존재하는 구조 안에서 환자와 함께 있는 이유는 의사가 되고자 하는 의학적 수련을 받고 있기 때문입니다. 이 예에서 주치의는 환자의 안전을 위해 일상적인 혈액 검사가 중요하다고 지적할 수 있지만, 가장 중요한 것은 레지던트가 이 검사가 자신의 전문적 성장을 위해 왜 중요한지 이해하는 것입니다. 
The final dimension of care is the most important for Heidegger. Even though all three are one unity, this is the one that gives care its meaning and direction. The reason the resident is sitting there in the first place, being with a patient within a structure that was already there, is that they are in medical training: they want to become a physician. In our example, the attending may point out that this routine blood sample is important to do for patient safety but most importantly it is crucial that the resident understands why the test is important for her own professional growth.

이 예에서 우리는 이러한 예상 가능한 측면이 작동하는 것을 볼 수 있습니다. 환자는 위험 가능성으로부터 보호되어야 하며, 레지던트는 자신의 성장과 학습을 보여주기 위해 이러한 일상적인 검사의 중요성을 배워야 합니다. 갈등은 레지던트가 불필요한 검사로 인해 환자에게 상처를 입힐까 봐 걱정하고 두려워할 때 발생합니다. 이 갈등은 실제 사건이 아니라 가능한 사건 사이에서 발생하지만 상황을 결정적으로 형성합니다. 
In this example, we see these anticipatory facets at work. The patient must be protected from the possibility of harm and the resident must learn the importance of these routine tests for them to show her growth and learning. The conflict arises when the resident is concerned and scared of hurting the patient for what may possibly be an unnecessary test. This conflict is between possible events, not actual events, and yet they decisively shape the situation.

하이데거에게는 이것이 문제의 핵심입니다. 의료 실습생은 아직 의사가 아니지만 의사가 되기 위한 과정에 있습니다. 따라서 의료 수련생은 자신에게 중요한 것이 무엇인지, 그리고 미래에 자신이 어떻게 될 것인지에 대해 성찰해야 합니다. 이 사례의 레지던트는 환자가 겪게 될 고통에 대해 걱정하면서도 주치의가 자신을 어떻게 생각할지, 그리고 이것이 자신의 평가에 미칠 영향에 대해 걱정하는 양면성을 지니고 있습니다. 이러한 돌봄 대상의 갈등 속에서 레지던트는 어려운 선택에 직면하게 됩니다. 사실 이러한 갈등은 의사가 환자에게 하는 다양한 약속의 핵심을 관통합니다. 이러한 갈등은 진료의 대상이 실제로 무엇이며 어떻게 기능하는지 면밀히 검토할 필요성을 제기합니다. 여기서 우리는 수련의가 임상적 또는 윤리적 의사 결정에서 이러한 어려움을 헤쳐 나갈 때 중요한 고려 사항을 파악하고 이해하도록 돕는 것이 교육의 근본적인 초점이라는 사실을 발견합니다.
For Heidegger, this is the crux of the matter. The medical trainee is not yet a doctor but is in the process of becoming one. This asks a medical trainee to reflect on what is significant to them and how they see themselves being in the future. The resident in this example is ambivalent: she cares about the suffering her patient will experience but also cares what her attending will think of her and the effect this may have on her assessment. In this conflict of objects of care it is obvious that the resident is confronted by a difficult choice. In fact, this conflict cuts to the very core of the different commitments a doctor makes to their patients. It brings into view the need to closely examine what these objects of care really are and how they function. This is where we discover that a fundamental focus of education is helping trainees identify and comprehend the important considerations when navigating these difficulties in clinical or ethical decision-making.

철학은 이러한 복잡한 갈등을 헤쳐나가는 데 어떻게 도움이 될 수 있을까요? 존재와 시간에서의 돌봄은 다음과 같이 설명할 수 있습니다. 다른 사람, 사물, 장비와 함께하는 우리의 태도를 형성하고 현재 순간을 비추는 종말을 예상하는 것입니다. 이는 교육 프로그램의 효과를 극대화하기 위해 활용하는 기술적 모델이 아니라 의료 교육의 인간적 요소에 초점을 맞추는 데 도움이 될 수 있는 성찰적 패러다임입니다.
How can philosophy help us navigate these complicated conflicts? Care in Being and Time can be described as follows: anticipating an end that shapes our attitude to being with others, things, and equipment, that illuminate our current moment. This is not a technical model that we utilize for maximizing effectiveness of our teaching programmes but a reflective paradigm that can help us bring the human elements of health care education into full focus.

시사점: 의료 교육에서의 돌봄
Implications: Care in medical education

보건의료 교육에서의 돌봄에 대한 철학적 분석에서 우리는 『존재와 시간』에 나타난 돌봄의 개념이 보건의료 교육의 정신으로서 돌봄에 대한 깊은 성찰을 어떻게 열어줄 수 있는지 탐구하려고 시도했습니다. 우리는 이를 탐구하기 위해 '철학자 하이데거'나 다른 철학적 관점의 비교를 출발점으로 삼기보다는 하나의 철학 작품에서 하나의 개념으로 의식적으로 제한했습니다. 
In our philosophical analysis of care in health care education, we have attempted to explore how the concept of Care as it appears in Being and Time can open up a deep reflection on care as the spirit of health care education. We have consciously limited ourselves to one concept in one philosophical work to explore this, rather than, taking ‘the philosopher Heidegger’ or a comparison of different philosophical perspectives as a starting point.

더 많은 탐구를 위해 존재와 시간 외에도 돌봄에 대한 다른 해석을 살펴볼 수 있습니다. 하이데거는 이 작업 이후 자신의 철학을 더욱 발전시켰는데, 예를 들어 의료 전문가를 대상으로 한 일련의 강연인 졸리콘 세미나25가 있습니다. 그러나 하이데거의 실존 분석을 비판적으로 구축한 다른 철학자들이 있는데, 이들은 의료 교육에서 소홀히 다루어지는 치료 방식을 지적하는 데 사용할 수 있습니다. 레비나스는 삶의 윤리적 만남에서 연민으로 행동하는 타자를 강조합니다.26 하이데거와 니체를 자신의 두 가지 주요 영향으로 꼽은 푸코는 '존재론적으로' 돌봄은 결코 중립적이지 않으며 권력/지식 관계의 네트워크에서 발생한다는 것을 보여주었습니다.27 드 보부아르의 연구에 이어,28 보건의료 교육의 성차별적 과거는 일부에게 특권을 부여하는 돌봄의 방식을 강조한 것으로 볼 수 있습니다. 돌봄은 여성의 의무로 여겨졌고, 간호 업무는 돌보는 일로 여겨졌지만, (아마도 남성인) 의사의 의무는 질병에 대한 냉철하고 과학적인 이해로 여겨졌습니다. 우리는 이 두 가지 모두 돌봄의 방식이므로 역할이나 성별에 관계없이 모든 의료 전문가에게 기대해야 한다고 주장합니다. 마지막으로, 스티글러는 기술도 치료의 한 방식이라는 사실을 지적합니다. 
For further avenues of exploration, we could look at other interpretations of care beyond Being and Time. Heidegger himself further developed his philosophy after this work; for instance, the Zollikon Seminars25 is a series of lectures he gave for medical professionals. But there are other philosophers who critically built on Heidegger’s existential analytic who could be used to point us to neglected modes of care in health care education. Levinas places emphasis on the Other in acting compassionately in the ethical encounters of life.26 Foucault, who named Heidegger and Nietzsche as his two major influences, showed that ‘ontically’, care is never neutral but it happens in a network of power/knowledge relations.27 Following De Beauvoir’s work,28 health care education’s sexist past could be seen as highlighting a mode of care that privileges some over others. While caring was seen as the duty of a woman, the work of nursing was seen to be the work of caring, the duty of the (presumably male) doctor was seen as a cold detached and scientific understanding of disease. We argue that both of these are modes of care and thus should be expected of all health care professionals, regardless of role or gender. Finally, Stiegler points us to the fact that technology is also a mode of care, but that its double-sided nature can also threaten care.29,30

우리는 존재와 시간의 경계 안에 머물기로 한 우리의 선택을 되돌아봅니다. 이 논문이 게재되는 시리즈의 목적은 철학이 의료 교육에 어떻게 도움이 될 수 있는지 탐구하는 것입니다. 이전 연재에서는 한 철학자31 또는 전체 철학적 전통11 또는 철학적 분야4의 연구가 어떻게 한 문제를 전체적으로 해명할 수 있는지 살펴보았습니다. 
We reflect on our choice to stay within the boundaries of Being and Time. The purpose of the series in which this paper appears is to explore how philosophy can be helpful for health care education. Previous installments have explored how the work of a philosopher31 or even an entire philosophical tradition11 or philosophical field4 can elucidate an issue as a whole.

윤리로써의 돌봄을 살펴보면 의료 교육 문헌에 이미 존재한다는 것을 알 수 있습니다. 현재 의료 교육 모델에서는 해부학, 생리학, 약리학 임상 기술을 합쳐서 의사가 되고, 이를 배려하는 방식으로 적용하는 방법을 아는 의사가 되는 것을 목표로 삼고 있습니다. 그러나 우리가 공감을 가르치려고 노력하는 동안 의대생들은 교육을 통해 공감 능력이 떨어지고 있습니다.32 그러나 존재론적으로 돌봄이 어디에나 존재한다면, 질문은 "왜 학생들은 덜 돌보는가?"에서 "왜 학생들은 한 가지 돌봄 방식을 다른 방식보다 우선시하도록 가르치는가?"로 바뀝니다.  
If we examine care as an ethic, we find it already present in health care education literature. The models of health care education currently view making a medical student by adding together anatomy, physiology, pharmacology clinical skills and ensure that the doctor knows how to apply these in a caring manner. However, while we are trying to teach empathy, medical students are becoming less empathetic through their education.32 But if, ontologically, care is ubiquitous, the question changes from “why do students care less?” to “why are students taught to privilege one mode of care over others?”

존재론적 수준에서 돌봄을 이해하는 것의 실질적인 가치는 성찰적 학습을 통해 드러납니다. 성찰은 쉽지 않은 주제이지만,33 성찰의 목표는 학습을 확장하고 업무 환경을 더 잘 이해하는 것입니다. 물론 우리는 의대생이 환자의 의학적 상태, 환자의 전반적인 신체 건강, 환자를 현재 상태에 이르게 한 인과적 요인의 성격 등 물질적 상황에 대해 성찰하기를 바랍니다. 하지만 이 과정에서 "이 진단이 나에게 무엇을 의미하는가?"와 같은 질문을 불러일으킬 수 있는 표정이나 날카로운 침묵에도 주목해야 합니다. 
The practical value of understanding care on an ontological level emerges through reflective learning. While reflection is a slippery subject,33 the goal of reflection is to expand learning and to better understand a work environment. Of course, we want medical students to reflect on the material circumstances of the patients’ medical condition, their general physical health, and the nature of the causal agents that brought the patient to where they are today. But in doing this they must also notice the facial expression or the pointed silence which can invite questions like “what does this diagnosis mean for me?”

하이데거는 우리의 존재에 대해 어려운 질문을 던지는 것을 방해하는 것이 일상 생활의 현실이기 때문에 이것을 철학적 탐구의 영역으로 끌어들입니다. 그러나 하이데거는 이러한 현실적인 방해가 항상 더 깊은 사고의 구조를 향하고 있다는 사실에도 주목합니다. 예를 들어, 저는 체크리스트의 일부로 정맥주사를 놓을 수도 있지만, 환자의 첫 번째 화학요법에서도 역할을 하고 있습니다. 치료 기반 분석의 목표는 이러한 일상적인 기술 프로세스의 근본적인 시간적 구조를 밝혀내는 것입니다. 이러한 기본 구조는 반드시 인과관계가 있는 것은 아니지만, 의료 전문가라는 존재의 근간이 되는 약속입니다. 만약 우리가 진료의 표면적인 현상만을 계속 살펴본다면, 우리는 의료전문직업인이 주어진 상황에서 올바르게 행동했는지 또는 잘못 행동했는지 여부만 판단할 수 있을 것입니다. 하지만 이러한 진료의 겉으로 드러나는 현상 너머를 들여다보면 그 근본적인 구조가 철학적 탐구를 위해 완전히 열려 있다는 것을 알 수 있습니다. 
Heidegger draws this into the domain of philosophical enquiry as it is the practicalities of everyday life that prevent us asking difficult questions about our existence. However, Heidegger also notices that these practical distractions are always directed at some deeper structure of care. For instance, I might well be putting up an IV line as part of my checklist, but I am also playing a role in a patient’s first dose of chemotherapy. The aim of a care-based analytic is to be able to bring to light the underlying temporal structure of these everyday technical processes. These underlying structures are not necessarily causal agents but are rather the commitments that underlie the being of a Health Care Professional. If we were to continue to look at the ontic manifestations of care, we might only be able to judge whether a HCP acted correctly or incorrectly in a given situation. But if can look beyond these manifestations of care we see that the underlying structure is completely open for philosophical investigation.

우리의 주장은 성찰하는 의료진은 이 두 가지를 모두 수행해야 한다는 것입니다. 그들은 조사가 적절한지 또는 병리 또는 치료 양식을 더 잘 이해하기 위해 더 많은 주의를 기울여야 하는지에 대해 잠시 멈추고 성찰할 수 있어야 합니다. 그러나 이러한 기술적 프로세스가 궁극적으로 의사가 되기 위한 다양한 약속을 어떻게 지향하는지 조사할 수 있어야 합니다. 우리는 의료 교육에서 철학의 역할이 어떤 행동을 취해야 하는지, 취하지 말아야 하는지에 대한 범주적 판단을 가르치는 것이 아니라 올바른 질문을 할 수 있도록 돕는 것이라고 주장합니다. 궁극적으로 이것이 의료 교육에 대한 도전입니다. 우리는 교육과 가르침의 기술적 과정을 넘어 다음과 같은 질문을 할 수 있을까요? 의사가 된다는 것은 무엇을 의미할까요? 
Our claim is that a reflective practitioner ought to do both. They should be able to pause and reflect on whether an investigation is appropriate or whether some more attention should be paid to better understanding pathology or treatment modalities. However, they should also be able to investigate how these technical processes are ultimately aimed at the various commitments that constitute being a doctor. We argue that this is the place of philosophy in health care education, not to teach categorical determinations of what action should or should not be taken, but rather to help us to ask the right questions. Ultimately this is the challenge to health care education. Are we able to look past the technical processes of education and teaching and start asking: What does it mean to be a doctor?


Teach Learn Med. 2022 Jun-Jul;34(3):341-349. doi: 10.1080/10401334.2022.2056744. Epub 2022 Apr 25.

Because We Care: A Philosophical Investigation into the Spirit of Medical Education

Affiliations collapse

1Department of Medicine, University of Cape Town, Cape Town, South Africa.

2Department of General Practice, Erasmus Medical Center, Rotterdam, The Netherlands.

PMID: 35469534

DOI: 10.1080/10401334.2022.2056744

Abstract

Although in health care education we encounter the word care at every turn, the concept is hardly ever defined or subjected to scrutiny. Care is a foundational concept of health care education, and if we do not take control of our basic concepts, their meaning can be subject to other influences. We take a philosophical approach to care and ask what care is, to connect different conceptions of care in health care education to their common root. We do this by first examining how the concept is used in health care education, how it features in Martin Heidegger's Being and Time, and finally, how these philosophical implications may be applied to medical education.

The use of care in medical education suggests that it is foundational to understanding health care education. However, presently the concept is ambiguous and risks being a 'container concept' that becomes meaningless because it is used generally. In publications that feature the concept, it is usually in service of another aspect that is under investigation, and not care itself. For instance, publications on teaching patient-centred care focus on the meaning of 'patient-centeredness' rather than care. In 'health care', there are debates about what 'health' means, but not care. The concept is also used in different and sometimes contradictory meanings: care as the organizational structure of health care that safeguards (health care system), care as empathy or careful attention of medical trainees for patients (caring about one's patients, treating them carefully), and, finally, care as motivation and focus toward a goal (caring about graduating, making a contribution). We turn to the philosophy of Heidegger to integrate these different appearances of care into a unified structure. Heidegger's Being and Time describes care as the basic ontological structure of human existence. This turns out to be a structure of time: in the familiar structure of past present and future. Anticipating a future end, which determines our attitude toward the people, objects, and physical structures we are with now, and in the light of which we orient ourselves to what is already there.

By describing the ontological (foundational) structure of care, we argue that care is the spirit of health care education. This unifying structure can be used to integrate phenomena that are recognized as important in health care education but are usually seen as separate. We use an example to illustrate how empathy, health protocols, and educational goals can be connected in one situation. Just as health provides a framework for patient management, care can provide this framework for education. This fundamental concept of care can be used in practice for reflection on anticipated ends in situations in which different modes of care seemingly conflict. Beyond our focus on care, we also illustrate how one can take an important concept in health care education and use philosophy to root it in a foundational understanding of that concept.

Keywords: Philosophy; care; empathy.

임상 카데바의 라이프사이클: 실천-기반 민족지학(Teach Learn Med, 2022)
The Lifecycle of a Clinical Cadaver: A Practice-Based Ethnography
Anna MacLeoda , Victoria Luonga , Paula Camerona , George Kovacsb, Molly Fredeena, Lucy Patrickb, Olga Kitsc and Jonathan Tummonsd

 

 

소개
Introduction

최근 학자들은 의학교육 탐구에서 보다 명확한 철학적 전환을 요구하며 우리 커뮤니티가 과학 철학을 접하고 "아무도 찾지 못한 문제"를 탐구하도록 장려하고 있습니다.1,2 존재를 다루는 철학의 한 분야인 존재론에 대한 질문은 의학교육 영역에서 중요한 고려 사항으로 제기되었습니다.3 우리는 의학교육에서 가장 복잡한 실습 중 하나인 카데바 기반 시뮬레이션(CBS)을 경험적 및 철학적으로 탐구함으로써 이 요청에 응답했습니다. 이 논문에서는 사람들이 시체를 대면할 때마다 몰입하는 매혹적인 철학적 움직임에 대해 새롭게 조명합니다. 
Scholars have recently called for a more explicit philosophical turn in medical education inquiry, encouraging our community to engage with philosophies of science, and to explore “problems no one looked for.”1,2 Questions of ontology, the branch of philosophy that deals with being, have been raised as important considerations in the realm of medical education.3 We responded to this call by both empirically and philosophically exploring one of the most complex practices of medical education: cadaver-based simulation (CBS). In this paper, we shed new light on the fascinating philosophical moves in which people engage each time they find themselves face to face with a cadaver.

시체는 전통적으로 해부학 교육 영역에서 많은 의학교육 프로그램에서 중요한 요소입니다.4,5 의학교육에서 전통적인 시체에 관한 문헌은 해부학 교육에 대한 효과뿐만 아니라,6 시체 사용과 관련된 윤리적7,8 및 전문적9-11 복잡성을 탐구해 왔습니다. 많은 사람들이 논란의 여지가 있는 시체 해부의 역사를 되돌아보면서 한때 "도덕적이지 않고 거의 합법적이지 않은 활동"11(p3)에서 최고 수준의 존중을 요구하는 활동으로 진화했으며, 이는 현재 시체 기반 교육에 관한 윤리 지침 및 법적 규정에 반영되어 있습니다.12 또한 최근의 저자들은 안구 자극부터 불안, 놀라움, 열정에 이르기까지 의료 실습생이 시체 해부와 관련하여 보이는 다양한 신체적, 정신적, 정서적 반응을 탐구했습니다.7,13-17 일반적으로 이러한 연구는 다른 해부학 교육 방법에 비해 시체 기반 학습의 우수성을 입증하고 있으며,6 시체가 학생의 공감과 휴머니스틱 케어에 미칠 수 있는 긍정적인 영향을 입증하고 있습니다.18,19 
Cadavers are an important element in many medical education programs, traditionally in the realm of anatomy education.4,5 The literature on traditional cadavers in medical education has explored not only their effectiveness for teaching anatomy,6 but also some of the ethical7,8 and professional9–11 complexities associated with their use. Many have reflected on the controversial history of cadaveric dissection, which has evolved from a once “dubiously moral and barely legal activity” 11(p3) to one demanding the highest standards for respect, which are reflected in current ethical guidelines and legal regulations around cadaver-based education.12 As well, recent authors have explored the various physical and psycho-emotional reactions medical trainees have in relation to cadaveric dissection—ranging from ocular irritation, to anxiety, surprise, and enthusiasm.7,13–17 Generally speaking, these studies attest to the superiority of cadaver-based learning compared to other methods of anatomy education,6 as well as the positive impacts cadavers may have on student empathy and humanstic care.18,19

그러나 맥도날드20와 할람21과 같은 일부 학자들은 시체의 역동적이고 전개되는 특성에 주목하기 위해 인류학 및 민족지학적 접근 방식을 취했습니다. 맥도날드는 학생들이 시체를 어떻게 "습득"하는지를 보여줍니다. "끊임없이 활동하는 미세 관절 과정"에서 학생들은 시간이 지남에 따라 다양한 방식으로 보고, 냄새 맡고, 다루고, 듣는 법을 배웁니다.20(129쪽) 예를 들어, 저자는 학생들이 매뉴얼에 설명된 도표를 눈앞의 시체와 일치시키는 방법을 점차적으로 배우는 과정을 설명하는데, 맥도날드는 이를 "특정한 눈을 획득...보는 법을 배우는 것"으로 묘사하고 있습니다. 또한 할람21은 사후 시신 해부를 "관계적 과정"21(p100)으로 간주하며, 시신은 항상 시신의 조달, 사용 및 추모와 관련된 사회적, 물질적 요소와 관련하여 이해됩니다. 이러한 방식으로 "사후 시신은 인격체로서, 해부학적 지식의 생성 및 전달을 위한 자료로서, 의학 발전을 위한 선물로서 가치가 있다"21(p99). 
Some scholars, however, such as McDonald20 and Hallam,21 have taken an anthropological and ethnographic approach to attend to the dynamic and unfolding character of cadavers. McDonald demonstrates how cadavers are “acquired” by students; in an “ever-active process of micro articulation,” students learn to see, smell, handle, and hear in various ways over time.20(p129) For example, the author explains how students gradually learn to match diagrams illustrated in their manuals to the cadavers before them: a process McDonald describes as “acquir[ing] particular eyes…learn[ing] to see.” Moreover, Hallam21 considers the dissection of a body after death a “relational process”21(p100) whereby the cadaver is always understood in relation to the social and material elements involved in their procurement, use, and memorialization. In this manner, “bodies after death are valued as persons, as materials for the generation and communication of anatomical knowledge, and as gifts for the advancement of medical science”21(p99)

최근에는 보존 기술의 발전으로 특히 술기 교육 및 시뮬레이션 영역에서 시체가 새롭게 활용되고 있습니다.22-27 다른 형태의 시뮬레이션과 마찬가지로 CBS는 학습자가 실제와 같은 맥락에서 술기를 연습하고 지식을 적용한다는 아이디어에 기반합니다. 실제 인체보다 인체의 복잡성, 가변성, 특수성을 더 충실하게 재현할 수 있는 마네킹은 없기 때문에 CBS는 특히 고숙련, 저빈도 술기 연습을 위한 유망한 교육 접근법으로 부상하고 있습니다.22-27 이러한 보존 기술은 아직 비교적 새롭기 때문에 임상 사체의 사용을 구체적으로 검토한 연구는 부족합니다. CBS에 관한 기존 문헌은 몇 가지 주목할 만한 예외를 제외하고는 주로 학습에 대한 유효성과 효과를 측정하는 데 중점을 두었습니다.22-28. 예를 들어, 더글러스 존스(Douglas-Jones)29 의 민족지학적 설명은 대만의 추기경 침묵 멘토 프로그램인 메디컬 시뮬레이션 센터에서 사람들이 기증자의 신원을 인정하기 위해 사진을 배치하고 기증자의 삶에 대한 이야기를 들려줌으로써 기증의 문화적 특수성을 자세히 설명합니다. 
More recently, advancements in preservation techniques have led to new uses for cadavers, specifically in the realm of procedural skills teaching and simulation.22–27 CBS, like any form of simulation, is based on the idea that learners practice skills and apply knowledge in lifelike contexts. Arguably, no manikin can offer more fidelity in reproducing the complexity, variability, and particularity of the human body than an actual human body; thus, CBS is emerging as a promising approach for teaching, particularly for practicing high-skill, low frequency procedures.22–27 Because these preservation techniques are still relatively new, there is a paucity of research examining the use of clinical cadavers specifically. The limited existing literature on CBS has largely focused on measuring its validity and effectiveness for learning,22–28 with a few notable exceptions. Douglas-Jones’29 ethnographic account, for example, details the cultural specificities of donation in the Taiwanese Tzu Chi Buddhist Silent Mentor program Medical Simulation Center, where people make a deliberate effort to acknowledge the identity of the donor, by positioning photographs and telling stories about the donor’s life.

이러한 시체의 윤리적, 전문적 복잡성은 기존 시체와 크게 다를 수 있습니다. 예를 들어, 전통적인 시신과 비교했을 때 CBS를 위해 준비된 시신은 시각적으로나 촉각적으로 더 생생합니다.

  • 딱딱하게 고정된(전통적인) 시신은 포름알데히드라는 화학 물질을 사용하여 방부 처리하는데, 이는 시신 조직의 분해를 지연시킬 뿐만 아니라 시신을 뻣뻣하고 유연하지 않게 만들기도 합니다. 이러한 시신은 신체 조직의 복잡한 형태와 위치를 유지하지만 살아있는 시신과 잘 닮지 않습니다.30
  • 반면, 최근에 Thiel,31과 대만,29,32 볼티모어, 핼리팩스의 과학자들이 개발한 소프트 보존(CBS) 시신은 마취된 환자의 모습과 느낌을 그대로 유지합니다. 코백과 동료들은 임상 시체라고 부르는 이러한 실물보다 더 실물 같은 시체를 사용하여27 높은 수준의 충실도로 시술을 연습할 수 있습니다.34 

Arguably, the ethical and professional complexities of these cadavers could differ significantly from those of traditional cadavers. For example, compared to traditional cadavers, bodies prepared for CBS are undeniably more lifelike—both visually and tactilely. 

  • Hard-fixed (traditional) cadavers are embalmed using the chemical formaldehyde, which delays the decomposition of the body’s tissues, but also renders them stiff and unpliable. These cadavers maintain the intricate form and location of bodily tissues but poorly resemble living bodies.30 
  • In contrast, soft-preserved (CBS) cadavers, such as those more recently developed by Thiel,31 as well as scientists in Taiwan,29,32 Baltimore, and Halifax,27,33 maintain the look and feel of anesthetized patients. Medical learners across the continuum can use these more lifelike cadavers, termed clinical cadavers by Kovacs and colleagues,27 to practice procedures with high degrees of fidelity.34

맥도날드나 할람과 같은 학자들은 시체 해부의 인류학적 및 관계적 차원에 대한 풍부한 통찰력을 제공했으며, '해부' 과정에서 시체가 갖는 다양한 가치와 역할을 암시했습니다.20,21 그러나 이 분야의 학자들은 아직 CBS에 실제와 같은 시체를 사용하는 것과 관련된 근본적인 철학적 및 존재론적 문제를 충분히 검토하지 못했습니다. 또한 일부는 수술 술기 교육을 용이하게 하기 위해 다르게 보존된 시체를 사용하는 프로그램의 문화적 뉘앙스를 설명했지만,29,32 이러한 논문은 아직 CBS에 관련된 사람들이 행정에서 교육에 이르기까지 당면한 다양한 작업을 수행하기 위해 참여해야 하는 개념적 작업에 대해서는 다루지 않았습니다. 이러한 격차를 해소하기 위해 우리는 들뢰즈와 과타리의 창조로서의 존재론 개념을 활용하여 의학교육자들이 시체를 이해하면서 어떻게 진화하는 개념들을 개발하는지를 분석했습니다.35 저자들은 고전적인 저작인 "철학이란 무엇인가?"에서 우리가 세상을 이해하려고 할 때 관여하는 세 가지 주요 행위를 과학, 예술, 철학으로 구분했습니다. 우리는 의학교육자들이 오랫동안 CBS의 과학과 예술을 접해 왔지만, 이 작업의 철학적 측면, 특히 존재론에 대한 질문에는 아직 주의를 기울이지 않았다고 주장합니다. 
Scholars such as McDonald and Hallam have given us rich insights into some of the anthropological and relational dimensions of cadaveric dissection, hinting at the multiple values and roles that bodies take on during the process of “anatomisation.”20,21 However, scholars in the field have not yet fulsomely examined the underlying philosophical and ontological questions associated with using lifelike cadavers to engage in CBS. And, while some have described the cultural nuances of programs using cadavers that are differently preserved in order to facilitate surgical skills teaching,29,32 these pieces have not yet addressed the conceptual work in which people involved with CBS must engage to accomplish the variety of tasks at hand—ranging from administrative to educational. In an effort to address this gap, we worked with Deleuze and Guattari’s notion of ontology as creation to analyze how medical educators develop an evolving suite of concepts to make sense of cadavers as they go about their work.35 In their classic work What is Philosophy?,35 the authors distinguished three primary acts in which we engage as we try to make sense of the world: science, art, and philosophy. We argue that medical educators have long engaged with the science and art of CBS; however, we have not yet carefully attuned to the philosophical aspects of this work, and in particular to questions of ontology.

2년에 걸친 실무 기반 36 민족지학적 CBS 연구를 통해 우리는 시체가 존재론적으로 복잡하며 끊임없이 개념이 재창조되는 과정에 있다는 것을 알게 되었습니다. 여기에서는 교육용 시신의 6단계 생애주기를 설명하면서 CBS를 통한 교육 및 학습 작업을 용이하게 하기 위해 각 단계에서 발생해야 하는 존재론적 전환을 설명합니다. 이 백서는 실제와 같은 시체를 다루는 작업의 더 깊고 철학적인 복잡성을 조사하여 현재의 이해를 확장합니다.
Through a two-year practice-based
36 ethnographic study of CBS, we learned that cadavers are ontologically complex, and in a process of constant conceptual re-creation. We describe herein a six-step lifecycle of an educational cadaver, delineating the ontological transitions that must occur at each stage to facilitate the work of teaching and learning through CBS. This paper expands our current understanding, probing the deeper, philosophical complexities of working with lifelike cadavers.

방법
Method

이론적 틀
Theoretical frame

본 연구는 실천 이론에 이론적 틀을 두고 있습니다.36 실천 이론은 사회 세계를 "숙련된 인간의 몸과 마음, 사물과 텍스트에 새겨지고 한 수행의 결과가 다른 수행의 자원이 되는 방식으로 함께 매듭지어져 내구성이 있는 방대한 수행의 배열 또는 집합체"로 보는 관점을 제시한다고 할 수 있습니다.37(p20) 실천은 물질적으로 매개되고 사회적이고 관계적인 것과 얽혀 있습니다.36 이 접근법은 사람들이 직장과 기타 일상 환경에서 참여하는 일상 활동의 네트워크를 이해하는 데 중점을 둡니다.37,38
Our study is theoretically framed in Practice Theory.36 Practice theory can be said to present a view of the social world as

  • “a vast array or assemblage of performances made durable by being
    inscribed in skilled human bodies and minds, objects and texts and
    knotted together in such a way
    that the results of one performance become the resource for another.”37(p20) 

Practices are materially mediated and entangled with the social and relational.36 This approach focuses on understanding the networks of everyday activities in which groups of people engage in their workplaces and other everyday settings.37,38

우리는 시체 업무와 관련된 여러 인간 및 비인간 행위자를 고려하면서 사람(예: 시체 보관소 직원, 관리자, 교사, 학습자)과 사물(도구, 공간, 법률 및 교육 문서)은 물론 한계 공간에 존재하며 어떻게 보면 인간인 동시에 비인간인 시체 자체에 주목했습니다.39 우리는 CBS의 복잡성을 충분히 이해하고 설명하기 위해 일상적이고 당연하게 여겨지는 요소를 세밀하게 연구하는 데 관심이 있었기 때문에 실무 기반 접근법을 선택했습니다. 사체는 인간과 비인간 배열의 일부이며 이러한 네트워크와 관행에서 관련 행위자입니다. "... 사물이 승인, 허용, 여유, 장려, 허용, 제안, 영향, 차단, 가능, 금지 등을 할 수 있기 때문이다."40(p72) 카데바 작업의 관행에 집중함으로써 우리는 이러한 전문적인 환경에서 수행되는 일상적인 활동의 복잡성을 명확하게 표현하고 더 잘 이해할 수 있었습니다.
We considered multiple human and non-human actors associated with cadaver work, taking care to note both people (e.g., cadaver staff, administrators, teachers, learners) and things (tools, spaces, legal and educational documents), as well as the cadaver itself, which exists in a liminal space, and is somehow both human, and non-human.39 We selected a practice-based approach because we were interested in studying, in fine detail, the everyday, taken for granted elements of CBS in order to fulsomely understand and describe its complexities. Cadavers are part of the human and non-human arrangement and are relevant actors in these networks and practices as “… things might authorize, allow, afford, encourage, permit, suggest, influence, block, render possible, forbid, and so on.”40(p72) Focusing on the practices of cadaver work allowed us to articulate, and better understand, the complexities of day-to-day activities performed in these professional settings.

분석과 해석과 관련하여 우리는 '시체'의 개념이 어떻게 진화하는지 이해하기 위해 들뢰즈와 과타리의 '되기'와 '차이'에 대한 아이디어를 활용했습니다. 들뢰즈와 과타리는 차등적 존재론자고 불리며, 이는 개념이 항상 차이에 기초하여 구성된다는 가정 하에 작업한다는 의미입니다(우리는 사물을 아닌 것으로 식별합니다). 따라서 이러한 관점을 존재론의 문제에 접목하려면 새로운 사고 방식이나 이해 방식을 제시하기 위해 존재에 대한 전통적인 관념을 해체하려는 고의적인 노력이 필요합니다.
With respect to analysis and interpretation, we drew on Deleuze and Guattari’s ideas about becoming and difference to understand how the concept of “cadaver” evolves. Deleuze and Guattari have been referred to as differential ontologists, meaning that they worked with the assumption that concepts are always constituted on the basis of difference (we identify things by what they are not). Folding this perspective into questions of ontology, then, requires a deliberate effort to unravel traditional ideas about being in order to offer new ways of thinking or understanding.

들뢰즈와 과타리는 철학의 목적이 세계가 실제로 어떤 것인지 '발견'하는 것이라고 믿지 않았습니다. 그들에게 이것은 불가능한 목표였습니다. 대신 그들은 철학을 개념의 창조와 동일시했습니다철학은 우리가 세상의 무한한 복잡성을 이해하는 데 도움이 되는 틀을 만드는 것입니다. 우리가 일상에서 하는 모든 행위에는 새로운 개념에 영감을 줄 수 있는 잠재력이 있습니다. 따라서 존재는 발견이 아닌 창조의 과정으로 개념화됩니다. 이는 발견해야 할 하나의 이야기나 통일된 진실이 없다는 것을 의미합니다. 오히려 세상을 구성하는 개념을 창조하는 것은 우리의 몫입니다.
Deleuze and Guattari did not believe that the purpose of philosophy was to “discover” what the world is really like. To them, this was an impossible goal. Instead, they equated philosophy to the creation of concepts: philosophy is about creating frameworks that help us make sense of the infinite complexity of the world. Each act in which we engage in our everyday life has the potential to inspire new concepts. Being, then, is conceptualized as a process of creation rather than discovery. This means that there is no one story, or unified truth to be discovered. Rather, it is up to us to create the concepts that structure the world.

우리의 사례와 관련하여, 우리는 인체 기증과 시체 기반 시뮬레이션의 심오한 복잡성을 더 잘 이해하는 데 도움이 되는 일련의 개념을 제시하는 데 관심이 있습니다. 이러한 들뢰즈의 아이디어를 우리의 실무 기반 접근 방식과 연결하면 인체 기증과 시체 기반 시뮬레이션이라는 일상적인 활동이 실제로는 '되기'의 행위로 간주될 수 있음을 알 수 있습니다. 이러한 관점에서 시신은 고정된 정체성이 없으며, 우리가 시신과 상호작용하거나 시신에 무언가를 할 때마다 끊임없이 다른 존재가 됩니다
Specific to our case, we are interested in putting forth a series of concepts that help us better understand the profound complexity of the practices of human body donation and cadaver-based simulation. Linking these Deluezian ideas to our practice-based approach, we see that the everyday activities of human body donation and cadaver-based simulation can, in fact, be taken as acts of becoming. From this perspective, a cadaver has no fixed identity; it is constantly becoming something different each time we interact with, or do things to, it.

설정
Setting

우리는 Dalhousie 임상 시체 프로그램(CCP)에 대한 실무 기반 민족지학적 조사를 실시했습니다. Dalhousie CCP는 레지던트와 의사가 통제된 환경에서 고도로 전문화되고 종종 생명을 구하는 시술 기술을 연습할 수 있도록 새로 사망한 부드러운 보존 상태의 임상 시체를 제공합니다. Dalhousie CCP는 매년 약 150구의 시신을 수락하는 Dalhousie University 인체 기증 프로그램(HBD)에서 시신을 확보합니다. 두 프로그램이 원활하게 운영될 수 있도록 CCP와 HBD의 관리자와 직원이 함께 협력하고 있습니다. 
We conducted a practice-based ethnographic investigation of the Dalhousie Clinical Cadaver Program (CCP). The Dalhousie CCP provides newly deceased, soft-preserved, clinical cadavers that allow residents and physicians to practice highly specialized, often life-saving, procedural skills within a controlled setting. The Dalhousie CCP obtains their bodies from the Dalhousie University Human Body Donation Program (HBD), which accepts approximately 150 bodies per year. Administrators and staff from the CCP and HBD work in concert to ensure that both programs operate smoothly.

방법론
Methodology

민족지학적 몰입은 실천에 기반한 이론적 접근 방식과 일치하여 연구자가 일상적인 활동을 관찰하고 문서화할 수 있습니다. 따라서 우리는 의학 교육에서 시체 작업의 일상적인 관행을 자세히 이해하기 위해 다양한 데이터 수집 전략을 사용했습니다. 니콜리니의 실천 이론 접근법에 따라 카데바 작업의 특정 측면을 '확대'한 다음, 의학교육에서 카데바 작업과 시뮬레이션에 대한 보다 광범위한 사회적 대화에서 이러한 관행을 찾기 위해 '축소'했습니다.38 이를 위해 2년 동안(2018/19-2019/20) 여러 출처에서 데이터를 반복적으로 수집하고 분석했습니다.
Ethnographic immersion is consistent with a practice-based theoretical approach, allowing researchers to observe and document everyday activity. We therefore used a range of data collection strategies in order to develop a detailed understanding of everyday practices of cadaver work in medical education. In accordance with Nicolini’s approach to practice theory, we “zoomed in” on specific facets of cadaver work, and then “zoomed out” to locate these practices in broader societal conversations about cadaver work and simulation in medical education, more broadly.38 In order to do this, we iteratively collected and analyzed data from multiple sources over a two-year period (2018/19–2019/20).

팀 구성 및 반사성
Team composition and reflexivity

우리는 교육 민족지학(AM, PC, OK, VL, JT), 실무 이론(AM, PC, OK, VL, JT), 임상의학(GK, VL, LP), CBS(GK, LP) 등 의학 및 의학교육의 다양한 측면에 전문성을 가진 연구자들로 구성된 팀입니다. 우리는 다양한 전문 분야를 한데 모아 절차적 술기 학습과 임상 시체를 이용한 시뮬레이션에 대한 새로운 질문을 던졌습니다.  
We are a team of researchers with expertise in various facets of medicine and medical education including educational ethnography (AM, PC, OK, VL, JT), practice theory (AM, PC, OK, VL, JT), clinical medicine (GK, VL, LP), and CBS (GK, LP). We brought our various areas of expertise together to ask new questions about procedural skills learning and simulation with clinical cadavers.

이 과정에서 임상 시체 프로그램 의료 책임자(GK)와 CBS를 경험한 학습자(LP)의 CBS 프로그램에 대한 내부 지식을 바탕으로 질문을 진행했습니다. 이 팀원들은 인터뷰할 주요 인물과 관찰해야 할 중요한 교육적 노력을 파악하는 데 도움을 주었습니다. 또한 CBS 직원들과의 연결을 용이하게 하여 운송부터 교육에 이르기까지 시체 작업이 이루어지는 공간에 접근할 수 있도록 도와주었습니다.  
Throughout the process, we relied on insider knowledge of the CBS program from the Medical Director of the Clinical Cadaver Program (GK) and a learner experienced with CBS (LP) to guide our inquiry. These team members helped us identify key people to interview, as well as important educational endeavors to observe. They also facilitated connections with the workers of CBS, so that we might gain access to spaces in which cadaver work—everything from transportation to education—was taking place.

반성적인 대화와 연구 과정 및 전략의 개선은 우리 작업의 정기적인 부분이었습니다. 다시 말해, 우리의 프로세스는 선형적이지 않았고, 즉흥적인 대화에 반사성이 내재되어 있었습니다. 이는 작업의 초점이 시신에 맞춰져 있고, 시신과 마주치면 당황스럽고 불안할 수 있다는 사실을 고려할 때 특히 중요했습니다.16,20,41 우리는 정기적으로 분석 대화를 나누며 데이터에 대해 토론하고 반영했습니다. 이러한 대화는 데이터에 대한 공동 분석을 발전시키는 데 도움이 되었지만, 동시에 반성하는 연습이기도 했습니다. 우리 팀에게 중요한 훈련 중 하나는 개인으로서 교육 목적으로 시신 기증을 고려할 수 있는지 생각해보는 것이었습니다. 우리는 최근에 관찰한 시나리오나 최근에 인터뷰한 사람에 따라 이 질문에 대한 답이 달라진다는 사실을 발견했습니다.  
Reflexive conversations and refinement of our research processes and strategies were a regular part of our work. In other words, our process was not linear, and reflexivity was built into our emergent conversations. This was particularly important given the focus of the work, and the fact that encountering cadavers can be upsetting and unsettling.16,20,41 We held regular analytical conversations to discuss and reflect upon our data. While these conversations served to advance our collaborative analysis of the data, they were also an exercise in reflexivity. One important exercise for our team was to reflect upon whether we, as individuals, would consider donating our bodies for educational purposes. We found that, depending on which scenario we had recently observed, or which person we had recently interviewed, the answer to that question changed.

데이터 수집
Data collection

민족지학적 몰입
Ethnographic immersion

아래에서는 공식적, 비공식적으로 CBS 관련 활동을 관찰한 시간을 보고하지만, 우리의 작업은 근본적으로 민족지학적 연구입니다. 즉, 저희는 CBS와 HBD의 공간과 사람들과 '어울리며' 상당한 시간을 보냈습니다. 우리는 배경 자료를 읽고 영안실, 시뮬레이션실, 시체 준비 및 교육 공간을 방문했습니다. 우리는 HBD 및 CBS 관계자들과 함께 앉아 프로젝트에 대해 논의하고, 시간을 내어 질문에 답하고, 자신을 개방함으로써 신뢰를 쌓고 관계를 구축하기 위해 열심히 노력했습니다. 이를 통해 현장에서 질문하고 시간을 보내며 편안하고 친숙해질 수 있는 기회를 얻을 수 있었습니다. 
While we report below on the hours we spent formally and informally observing CBS related activities, our work is fundamentally ethnographic. This meant that we spent a significant amount of time “hanging around” the spaces and people of CBS and HBD. We read background materials and visited morgues, simulation suites, and cadaver preparation and teaching spaces. We worked hard to build trust and establish relationships with the people involved with HBD and CBS by sitting down to discuss our project with them, making time to answer their questions, and making ourselves available. This, in turn, provided us an opportunity to ask questions and spend time in the field in order to become comfortable and familiar with it.

구체적으로, 우리가 방문한 곳은 캐나다 핼리팩스에 있는 Dalhousie University의 CBS 공간과 장소였습니다. 대서양 연안에 위치한 달하우지 의과대학은 해양 의과대학으로 알려져 있으며, 캐나다 3개 주의 지역사회에 서비스를 제공하고 있습니다: 노바스코샤, 뉴브런즈윅, 프린스 에드워드 아일랜드입니다. Dalhousie 의과대학은 핼리팩스 준비27로 알려진 Thiel 시체 준비 기법의 개선과 이러한 임상 시체를 활용한 지속적인 전문성 개발 기회로 국제적으로 인정받고 있습니다. 
Specifically, our field was the spaces and places of CBS at Dalhousie University in Halifax, Canada. Situated on the Atlantic Coast, Dalhousie Medical School is known as the Medical School of the Maritimes, and serves the communities of three Canadian Provinces: Nova Scotia, New Brunswick, and Prince Edward Island. Dalhousie Medical School is internationally recognized for our refinement of the Thiel Cadaver preparation technique, known as the Halifax Preparation27 and our continuing professional development opportunities that make use of these clinical cadavers.

이 기관에서 수년간 의료 교육 분야에서 일해 왔음에도 불구하고 임상의가 아닌 팀원들에게는 이러한 공간 중 많은 부분이 처음이었습니다. 특히 CBS의 업무 대부분은 일화적으로 들어본 적은 있지만 직접 걸어볼 기회는 없었던 일련의 터널로 연결된 지하 공간에서 이루어집니다. 따라서 우리의 민족지학적 작업은 익숙한 장소에서 숨겨진 공간을 발견하는 낯선 과정이었으며, 우리는 비공식적인 대화에서 이를 "지하세계"라고 불렀습니다. 
Despite years of working in medical education at this institution, many of these spaces were new to the non-clinician team members. Notably, much of the work of CBS takes place in underground spaces, connected by a series of tunnels that we had heard mentioned anecdotally, but had never had the opportunity to walk through. Thus, our ethnographic work was a strange process of discovering hidden spaces in familiar places, which we referred to in our informal conversations as “the underworld.”

이와는 대조적으로 기증자를 모집하고 기록을 관리하며 교육 목적으로 임상 시체를 준비하는 HBD의 업무는 오피스 타워의 가장 높은 층에서 이루어집니다. 이 공간에는 작은 사무실과 시체 준비 공간, 교육 실습실이 있습니다. 이 공간은 밝고 깨끗하며 위생적입니다. 세탁기와 톱 및 기타 도구가 있다는 것 외에는 이곳에서 시신 준비가 어떻게 이루어지는지에 대한 단서는 거의 없었습니다. 
In contrast, the work of HBD, where donors are recruited, records are managed, and clinical cadavers are prepared for educational purposes, takes place on the highest floors of an office tower. The space includes small offices, as well as cadaver preparation spaces and teaching labs. Here, the space is bright, pristine, and hygienic. There were few clues about the cadaver preparation that happens here, except for the presence of washing machines and saws and other types of tools.

일부 팀원들은 지속적인 전문성 개발 과정에 참여하는 학습자 집단에 합류하여 CBS의 활동에 어느 정도 참여할 수 있었습니다. 단순히 그림자처럼 따라 하는 것이 아니라 강의에 참여했고, CBS의 자료를 보고 냄새 맡고 만질 수 있었기 때문에 참여 자체가 감각적인 경험이었습니다.
Some team members were able to participate, to some degree, in the activities of CBS, by joining a cohort of learners participating in a continuing professional development course. Rather than simply shadowing, we were engaged in the lectures, and even our participation was a sensory experience, as we were able see, smell, and touch the materials of CBS.

관찰
Observations

우리 연구팀은 4회의 지속적인 전문성 개발 기도 관리 과정(관찰 40시간 × 관찰자 2~3명/회 = 90시간), 4회의 응급 레지던트 교육 세션(8시간 × 관찰자 1~2명/회 = 10시간), 1회 안치식 및 기증자를 기리는 추모식(5시간 × 관찰자 2명 = 10시간) 등 총 110시간의 공식 관찰을 통해 교육용 카데바 사용의 다양한 측면을 공식적으로 관찰했습니다. 관찰할 교육 활동과 기타 중요한 행사/장소는 전문 팀원과의 협의와 후속 인터뷰 중 참가자들의 조언을 바탕으로 선정했습니다. 현장 노트는 관찰 가이드(부록 A)에 따라 공간, 행위자, 활동, 사물, 행위, 이벤트, 시간, 목표와 관련된 메모와 성찰을 기록했습니다.42 또한 다감각적 참여에 참여하여38 CBS와 관련된 소리, 냄새, 감정을 문서화했습니다.
Our research team formally observed various facets of educational cadaver use including four continuing professional development airway management courses (40 hours of observations × 2–3 observers/session = 90 hours), four emergency resident teaching sessions (8 hours × 1–2 observers/session = 10 hours), as well as one interment and two memorial services honoring donors (5 hours × 2 observers = 10 hours) for a total of 110 hours of formal observation. We identified educational activities and other significant events/locations to observe based on consultation with expert team members, and on advice that emerged from participants during subsequent interviews. Field notes were guided by an observation guide (Appendix A), these recorded notes and reflections surrounding spaces, actors, activities, objects, acts, events, times, and goals.42 We also engaged in multisensory participation,38 documenting the sounds, smells, and emotions involved in CBS.

또한 구조화되지 않은 관찰도 완료했습니다. 이러한 관찰 세션은 반응성 효과를 줄이기 위해 생체 내에서가 아니라 후향적으로 문서화한 다음43 연구팀 간에 논의했습니다. 이를 통해 프로그램에 대한 전반적인 지식과 사체 프로그램의 범위를 파악할 수 있었습니다. 여기에는 HBD 본사(0.5시간 × 연구원 2명 = 1시간), 대학 영안실(2시간 × 연구원 3명 = 6시간), 시체 준비 공간(2시간 × 연구원 3명 = 6시간), 다양한 병원 기반 시뮬레이션 공간(3시간 × 연구원 2명 = 6시간), 지역 해부학 박물관(2시간 × 연구원 4명 = 8시간) 방문이 포함되었습니다. 이렇게 해서 총 27시간의 비정형 관찰이 이루어졌습니다. 
We also completed unstructured observations. These were observational sessions which were documented retrospectively rather than in vivo to reduce reactivity effects43 and then discussed amongst the research team. They informed our overall knowledge of the program and the scope of the cadaver program. This included visits to the HBD main office (0.5 hours × 2 researchers = 1 hour), the university morgue (2 hours × 3 researchers = 6 hours), the cadaver preparation space (2 hours × 3 researchers = 6 hours), various hospital-based simulation spaces (3 hours × 2 researchers = 6 hours), and the local anatomy museum (2 hours × 4 researchers = 8 hours). This led to a total of 27 hours of unstructured observations.

총 137시간의 공식적인 관찰 데이터를 수집했습니다. 
In total, we gathered 137 hours of formal observational data.

인터뷰
Interviews

관찰과 함께 학습자(지속적인 전문성 개발 학습자 n = 5명, 응급의학과 레지던트 n = 4명), 임상 교사(n = 4명), 과거 기증자의 가족(n = 5명)을 대상으로 24회의 반구조화 인터뷰를 실시했습니다. 또한 인체 기증 직원(n = 6)에는 CCP 프로그램의 행정(예: 기증자 연락, 기록 보관), 법률(예: 시신 수락 및 관리), 기술(예: 시신 준비) 업무에 관여하는 사람들이 포함되었습니다. 저희는 전문가 팀원들의 자문을 바탕으로 인터뷰 대상자를 선정했습니다. 의도적으로 24명을 모집하여 초대를 수락한 모든 사람을 인터뷰했습니다. 인터뷰 가이드는 대화 형식으로 각 참가자의 역할에 맞게 제작되었으며(예시는 부록 B 참조), 연구팀의 여러 구성원이 함께 개발했습니다. 우리는 진화하는 주제에 따라 지속적으로 가이드를 수정했습니다. 
Alongside observations, we conducted 24 semi-structured interviews with learners (continuing professional development learners n = 5 & emergency medicine residents n = 4), clinical teachers (n = 4), as well as family members of past donors (n = 5). As well, human body donation staff (n = 6) included those involved in the administrative (e.g., contacting donors, record keeping), legal (e.g., accepting and managing bodies), and technical (e.g., preparing cadavers) tasks of the CCP program. We identified individuals to interview based on consultation with expert team members. We purposively recruited 24 people and interviewed all who accepted the invitation. Our interview guides were conversational in nature and were tailored to each participant’s role (see Appendix B for an example); they were developed by multiple members of the research team. We continuously revised the guides according to evolving themes.

문서 분석
Document analysis

인체 기증 프로그램 및 시신 기반 교육과 관련된 문서도 검토했습니다[n = 22]. 여기에는 시신 기증 및 매장 과정과 관련된 법률 행위 및 보고서, 인체 기증 프로그램 관련 문서, 커리큘럼 자료 및 광고와 같은 교육 자료, 언론 보도 등이 포함되었습니다. 이전에 개발한 문서 검토 양식을 개선하여 이 부분의 분석을 구성했습니다(부록 C).44 
Documents related to the Human Body Donation program and cadaver-based education were also reviewed [n = 22]. This included legal acts and reports related to the process of body donation and burial; documents related to the human body donation program; educational material such as curriculum materials and advertisements; and media coverage. We refined our previously developed document review form to structure this piece of the analysis (Appendix C).44

데이터 분석
Data analysis

저희의 분석은 민족지학적 데이터 분석에 대한 울콧의45 3단계 접근 방식기술, 분석, 해석과 일치했습니다. 이 접근 방식은 다음의 조합을 사용합니다. 

  • 순수한 기술(데이터에 근접),
  • 체계적 분석(핵심 요소와 관계 파악),
  • 해석(데이터 너머로 확장하여 무슨 일이 일어나고 있는지 이해)

울콧은 정성적 데이터를 변환하는 세 가지 방법을 구분하지만, 이 세 가지 방법은 서로 겹치면서 동시에 발생한다는 점을 강조합니다. 따라서 우리는 시신의 개념이 생애주기에 걸쳐 어떻게 변화했는지, 그리고 그 진행과 전환에 기여한 행위자와 자료에 주목하면서 반복적인 분석 접근 방식을 따랐습니다. 
Our analysis aligned with Wolcott’s45 three-step approach to the analysis of ethnographic data: description, analysis, and interpretation. This approach uses a combination of

  • pure description (staying close to the data),
  • systematic analysis (identifying key factors and relationships), and
  • interpretation (extending beyond the data, making sense of what is happening).

Although Wolcott distinguishes three ways to transform qualitative data, he emphasizes that they overlap and occur simultaneously. Accordingly, we followed an iterative approach to analysis, attuning to how the concept of the cadaver changed across the lifecycle, as well as the actors and materials contributing to its progression and transitions.

설명 단계에서는 출처별(문서, 관찰, 인터뷰), 유형별(응급 레지던트 또는 지속적인 전문성 개발 과정 참가자 관찰, 학생, 교사, 직원 또는 기증자/기증자 가족 인터뷰) 등 각 데이터 세트를 개별적으로 검토한 다음 이러한 통찰력을 더 넓은 전체의 일부로 재검토하는 작업이 포함되었습니다. 세 명의 연구원(MF, PC, VL)이 안전한 데이터 관리 및 공유를 지원하는 질적 데이터 분석 소프트웨어(ATLAS.ti)를 사용하여 각 데이터 소스를 독립적으로 검토하고 코딩했습니다.
Broadly speaking, the descriptive phase involved reviewing each data set separately, including by source (document, observation, interview) and by type (observation of emergency residents or continuing professional development course participants; interview with student, teacher, staff, or donor/donor’s family), and then reconsidering these insights as part of a broader whole. Three researchers (MF, PC, VL) independently reviewed and coded each data source using qualitative data analysis software (ATLAS.ti) which also assisted with secure data management and sharing.

분석 단계에서는 현장 조사, 인터뷰, 문서 검토를 통해 얻은 아이디어를 적극적으로 번역하고 그룹별로 토론하여 서면으로 표현했습니다. 패턴, 일관성, 불일치를 찾으면서 참가자들이 임상 시체의 모호성을 관리하면서 철학적 작업에 참여하는 방식에 흥미를 갖게 되었습니다. 특히, 기증자/시신/시체가 어떻게 사용되느냐에 따라 시신을 생각하는 방식이 크게 달라진다는 점에 주목했습니다. 이 시점에서 우리는 '라이프사이클'이라고 부르기 시작한 6단계를 식별하고, 특히 다양한 언어 패턴과 작업에 맞게 조정하여 존재론적 전환을 식별할 수 있었습니다. 
At the analytic phase, ideas borne from our field work, interviews, and document review were actively translated, discussed as a group, and represented in written form. As we searched for patterns, consistencies, and inconsistencies, we became intrigued by the way in which participants were engaging in philosophical work as they managed the ambiguity of clinical cadavers. In particular, we noted that the ways in which donors/bodies/cadavers were conceived evolved significantly, depending on how they were being used. At this point, we identified the six stages of what we began to refer to as a “lifecycle,” and specifically attuned to different language patterns and tasks which in turn allowed us to identify ontological transitions.

해석 작업에 참여하면서 우리는 개념적 전환이 시체가 생애주기를 어떻게 통과할 수 있게 했는지에 초점을 맞춰 들뢰즈적 관점에서 실무에서 얻은 통찰력을 고려했습니다. 이 해석 작업에는 시체가 어떻게 끊임없이 변화하는 상태에 있는지 탐구하고, 각 단계에서 참가자들이 다양한 유형의 작업에 참여하면서 눈앞의 시체를 이해하기 위해 어떻게 적극적으로 새로운 개념을 만들어냈는지 묘사하는 것이 포함되었습니다. 
As we then engaged in interpretive work, we considered our practice-generated insights from a Deleuzian perspective, focusing on how the conceptual shifts allowed the cadaver to move through the lifecycle. This interpretive work involved exploring how the cadaver was in a constant state of becoming, and delineating how, at each stage, participants actively created new concepts to make sense of the body in front of them, as they engaged in various types of work.

윤리적 고려 사항
Ethical considerations

노바스코샤 보건연구윤리위원회는 이 연구를 승인했습니다(REB 파일 번호: 1023958). 인체 기증자의 기밀을 유지하기 위해 관찰 내용을 식별할 수 있는 사진, 비디오 또는 오디오 녹음을 하지 않았습니다. 
The Nova Scotia Health Research Ethics Board approved this study (REB FILE#: 1023958). No identifying photographs, videos, or audio-recordings of observations were taken in order to preserve the confidentiality of human donors.

결과
Results

인체 기증(HBD)과 CBS를 통해 사망한 사람은 자신의 신체가 살아있는 환자를 위해 "대신" 살아 있는 "사후의 삶"에 참여했습니다. 여기에서는 기증자 등록부터 최종 안치까지 이 주기와 각 단계의 관련 존재론적 전환에 대해 설명합니다(표 1). 우리가 설명하는 요소는 우리가 연구한 HBD 프로그램에 한정된 것이지만, 이러한 전환 자체는 다른 상황에도 적용될 수 있다고 생각합니다. 
Through Human Body Donation (HBD) and CBS, a deceased person participated in a “life after death” where their body “stood in” for a living patient. We describe herein this cycle, from donor enrollment to eventual interment, and the associated ontological transitions at each stage (Table 1). While the elements we describe are specific to the HBD program we studied, we believe the transitions, themselves, are transferable to other contexts.

온톨로지는 "존재"에 대한 질문, 즉 "무엇이 있는가"에 초점을 맞춥니다. 교육용 시신과 관련해서는 존재론적 질문이 중요했습니다: 이것은 사람인가? 이것은 교육용 도구인가? 무엇이 사람을 사람답게 만드는가? 우리는 기증자의 시신이 HBD 프로그램을 통해 진행됨에 따라 연구 참여자들이 시신을 개념화하는 방식이 크게 바뀌는 것을 발견했으며, 이러한 개념 변화를 존재론적 전환이라고 부릅니다. 이러한 전환은 참가자들이 언어를 사용하는 방식에서도 분명하게 나타났습니다. 예를 들어 직원, 교사, 학습자, 연구자 모두 시신을 사람, '사람이 아닌 것', 환자, 표본, 이 사람/저 사람, 신체, 그/그녀, 교육 도구 등으로 혼용하여 불렀습니다. 이러한 변화하는 온톨로지는 참가자들이 시신을 다루는 방식에서도 분명하게 드러났습니다. 때때로 참가자들은 살아있는 생명체에게는 하지 않는 방식으로 몸을 연습하기도 하고, 무생물에게는 절대 보여주지 않을 것 같은 부드러움과 존중으로 몸을 대하기도 했습니다. 이러한 방식으로 참가자들은 시체를 완전한 사람이 아닌 사물 이상의 존재로 생각했습니다. 
Ontology focuses on questions of “being”—in other words, “what is.” With respect to educational cadavers, the ontological questions were significant: Is this a person? Is this an educational tool? What makes something human? We noted that as a donor’s body progressed through the HBD program, the ways in which study participants conceptualized the body changed significantly, and we refer to these changing concepts as ontological transitions. These transitions were apparent in the way participants used language. For example, staff, teachers, learners, and researchers alike interchangeably referred to the cadaver as a person, a “not-a-person”, a patient, a specimen, this/that “guy”, a body, a him/her, and an educational tool. These shifting ontologies were also apparent in the way participants handled the bodies. At times, they practiced on the body in ways that they would not on a living being; at others, they treated the body with a tenderness and respect that they likely would never show an inanimate object. In this manner, participants conceived of cadavers as not fully people, but also as much more than things.

시신과 관련하여 관찰한 존재론적 복잡성에는 사람, 인체, 시신, 교육 도구 사이의 불확실하고 변화하는 경계가 포함되었습니다. 시체를 이해하는 방식은 공간과 시간에 따라 지속적으로 변화했으며, 때로는 예측 가능하지만 때로는 예측할 수 없는 방식으로 변동하고 진화했습니다. 다음 섹션에서는 전문적인 관행을 통한 이러한 철학적 작업이 기증자, 시신, 시신, 교육용 시신, 교사, 사랑하는 사람/유산의 '생애주기'를 따라 시신을 어떻게 이끌어 가는지 설명합니다.
The ontological complexity we observed in relation to the cadaver involved uncertain and shifting boundaries between person, human body, cadaver, and educational tool. How the cadaver was understood changed continuously over space and time, fluctuating and evolving in sometimes predictable, but sometimes, unpredictable ways. The following sections illustrate how this philosophical work brought about through professional practices drives the cadaver along its “lifecycle” from person to donor, body, cadaver, educational cadaver, teacher, and loved one/legacy.

우리가 설명하는 단계는 "깔끔한" 단계가 아니며 개별적인 단계도 아니라는 점을 분명히 말씀드리고 싶습니다. 가독성을 높이고 존재론적 전환을 명확히 하기 위해 단순화했지만, 실제로 이러한 단계는 명확하게 정의되어 있지도 않고 정적인 것도 아닙니다. 사람/시체/시신은 끊임없이 변화하는 상태이며, 다양한 단계에 대한 설명은 특정 시점의 CBS 및 HBD와 관련된 관행에 초점을 맞추기 위해 확대한 시점을 나타내는 '스냅샷'일 뿐이라는 것이 저희의 관점입니다. 
We want to state clearly that the stages we describe are not “neat,” nor are they discrete. We have simplified, in order to increase readability and clarify the ontological transitions, but in reality, these stages are not clearly defined nor are they static. Our perspective is that people/bodies/cadavers are in a perpetual state of becoming, and our description of the various stages are only “snapshots” representing points in time, when we zoomed in to focus on the practices associated with CBS and HBD at a given moment.

저희는 의도적으로 사망 시점부터 유산에 이르기까지 시신의 생애주기를 따라가려고 한 것이 아닙니다. 사실 이 작업을 시작할 당시에는 공동 기술, 분석 및 해석을 통해 개발하게 될 라이프사이클에 대한 개념이 없었습니다. 대신 우리는 민족지학적 몰입을 통해 CBS와 HBD의 프로세스와 활동에 대해 배웠습니다. 즉, HBD 및 CBS의 사람들과 함께하고 관계를 구축함으로써 우리는 공식적으로 관찰할 사건/시나리오를 식별하고 결정할 수 있었습니다. 
We did not set out to deliberately follow a cadaver from point of death to legacy, through the lifecycle we described. In fact, when we began this work, we had no concept of the lifecycle which we would eventually develop through collaborative description, analysis, and interpretation. Instead, we learned about the processes and activities of CBS and HBD through ethnographic immersion. In other words, by being present and building relationships with the people of HBD and CBS, we were able to identify and decide upon events/scenarios to formally observe.

사람에서 기증자로
Person to donor

한 사람이 기증자가 된 것은 공동의 의사 결정, 관료적 업무, 윤리적 문제에 대한 신중한 고려의 (때로는 긴) 과정을 거친 후입니다. 저희가 인터뷰한 기증자 가족에 따르면, 대부분의 사람들이 이타적인 이유로 기증자가 되기를 희망했습니다. 많은 사람들이 잘 알려지지 않은 질병으로 고통받고 있었기 때문에, '과학에 기여하고 싶다', 즉 미래 세대가 질병에 대한 더 많은 이해를 통해 혜택을 받을 수 있도록 돕고 싶다는 소망이 대화에 스며들었습니다. 기증자와 가족들의 이러한 바람은 HBD 프로그램의 일부 종사자들에게 긴장감을 주기도 했습니다. HBD 직원들은 참가자들이 종종 자신의 기부가 표적이 될 것이라는 생각을 가지고 있다고 지적했습니다. 한 사람은 다음과 같이 말했습니다.  
A person became a donor after a (sometimes long) process of shared decision-making, bureaucratic work, and careful consideration of ethical concerns. According to the family members we interviewed, most people wished to become donors for altruistic reasons. As many suffered from illnesses that were poorly understood, an overarching wish to contribute “to science”—as in, to help future generations benefit from a greater understanding of their illness— permeated our conversations. This wish of donors and family members, we observed, presented a tension for some workers in the HBD program. HBD workers noted that participants often have the idea that their donation will be targeted. One person noted

'남편이 파킨슨병으로 돌아가셨기 때문에 파킨슨병 연구에 도움이 될 수 있는 일이라면 무엇이든 하고 싶어요. 저는 [우리 프로그램이] 매우 정직하다고 생각합니다. 시신 기증자와 가족들에게 시신은 연구용으로 사용하는 것이 아니라 교육용으로 사용한다고 말합니다. [대부분의 기증자들은 '아, 그것도 괜찮아요'라고 말합니다. 하지만 저는 항상 약간의 단절이 있는 것이 걱정됩니다. (HBD 직원) 
‘You know, my husband died of Parkinson’s disease, so whatever I can do to help Parkinson’s research.’ I think [our program] is very honest. We [tell donors and families that we] don’t really use the bodies for that, we use them for teaching. [Most donors say] ‘oh, well, you know, that’s fine too.’ But, I always worry that there’s a little disconnect. (HBD Staff)

다른 기부자들은 의대생들이 "책으로는 배울 수 없는" "실전 학습"을 할 수 있도록 돕고 싶다고 분명히 밝히거나, 한 기부자의 말처럼 "누군가의 학업을 발전시킬 수 있다면 좋은 생각이라고 생각했다"고 말했습니다. 대개 이 프로그램에 대해 알고 있는 가족이나 친구를 통해 이 프로그램에 대해 알게 된 기부자 또는 그 가족은 프로그램에 연락하여 동의서를 제출하는 서류 작업을 시작했습니다.
Others clearly articulated that they wanted to help medical students gain “hands-on learning” that they simply “can’t learn in a book” or, as one donor noted, “we just thought it was a good idea if we could further somebody’s studies.” After finding out about the program (usually through family or friends who knew about the program), these individuals or their loved ones reached out to the program and initiated the paperwork involved in providing consent.

이 첫 접촉 이후, HBD 직원은 기부가 이루어지기 위해 몇 가지 작업을 수행해야 했습니다. 이 작업의 대부분은 프로그램 자료(예: 웹사이트, 정보 팜플렛, 동의서) 개발과 기록 보관 등 문서 제작과 관련된 것이었습니다. 우리의 현장 기록46은 개인에서 기증자로의 전환과 관련된 행정 업무의 진화하는 특성을 문서화하는 데 핵심적인 관행을 형성했습니다. 민족지학적 몰입은 1900년대 초로 거슬러 올라가는 원본 장부를 검토할 수 있는 기회를 제공했으며, 이 장부에는 기부자의 이름이 자필로 기재되어 있습니다. 잠재적 기부자에게 정보를 제공하기 위해 고안된 문서에는 "차분하다"고 표현할 수 있는 신중하게 선택된 언어가 사용되었습니다. 프로그램 문서를 분석한 결과, "기부 프로그램은 쉽게 접근할 수 있고, 정중하며, 부드러우면서도 규정이 엄격하다는 것을 알 수 있었습니다. 사용된 언어는 존중과 지속적인 추모(예: "지속적인 유산")를 의미합니다." 
After this initial contact, HBD staff needed to accomplish several tasks in order for donation to occur. Much of this work was bound up in the production of texts: developing program materials (e.g., website, information pamphlets, consent forms) and recording-keeping. Our field noting46 formed a key practice in documenting the evolving nature of administrative work associated with the transition from person to donor. Our ethnographic immersion provided the opportunity for us to review original ledgers, dating back to the early 1900s, listing the names of donors in handwriting. The documents designed to provide information for potential donors used carefully chosen language, that we described as “calm.” Through our analysis of program documents, we noted that “the donation program is easily accessible, respectful, gentle, but firm on its regulations. The language used implies respect and ongoing remembrance (i.e. “lasting legacy”).”

비공식적으로 직원들은 기증자 및 그 가족들과 신뢰 관계를 형성하고, 기증에 대한 기대치를 관리하며, 시신이 존중받을 것이라는 확신을 주어야 했습니다. 
More informally, staff also needed to create trusting relationships with donors and their families, manage expectations around donation, and give them the confidence that the body would be treated with respect.

또한 직원들은 사전 동의와 같은 시신 기증과 관련된 윤리적 문제와도 씨름해야 했습니다. 무엇보다도 HBD 프로그램은 사전 동의를 "모든 일의 주춧돌"이라고 생각했습니다. 하지만 기증자가 사망하기 30년 전에 동의하고 그 이후로 프로그램에 연락하지 않았다면 어떻게 해야 할까요? 가족이 반대했다면 어떻게 해야 할까요? 이러한 질문은 프로그램에서 심각하게 고려한 질문입니다: 
Further, staff grappled with the ethical challenges associated with body donation, such as informed consent. Chiefly, the HBD program considered informed consent “the pillar stone of everything [they] ever do”. But what if the donor consented 30 years prior to their death and had not contacted the program since? What if the family was opposed? These are questions the program took seriously:

아버지, 어머니, 형제 또는 자매가 여기 있을지도 모른다는 사실에 겁에 질린 누군가를 그런 상황에 처하게 하고 싶지 않으니까요. 가족에게 이런 말을 하기는 어렵고 저도 절대 하지 않겠지만, 결국에는 죽은 사람은 알 수 없기 때문에 그 사람이 그 사실을 알 수 있는지 여부에 영향을 미쳐야 한다고 생각해요. (시신 직원) 
Because you don’t want to put someone in that situation where they’re just horrified by the fact that, you know, their father, mother, brother or sister or whatever would be here. And I think…that that should play a part in whether or not the person…because at the end of the day—it’s hard to say this to a family and I never would—but at the end of the day, the person who’s dead is not going to know. (Cadaver staff)

따라서 기증자 본인과 가족, HBD 프로그램 직원을 포함한 여러 사람이 중요한 결정을 내리고, 행정 업무와 기록 보관에 참여하고, 구체적인 조치를 취하고, 불가피한 협상에 참여한 후에야 한 사람이 기증자가 될 수 있습니다
A person thus became a donor only after multiple people—including the donors themselves, their families, and staff from the HBD program—made important decisions, engaged in administrative work and record keeping, took concrete actions, and engaged in inevitable negotiations.

시신 기증자
Donor to body

죽음은 기증자에서 시신으로 전환되는 가장 확실한 신호입니다. 한 학습자가 설명한 것처럼, 살아 숨 쉬는 사람(누군가)과 생명이 없는 시신(무언가)의 차이는 명확하게 느껴졌습니다: 
Death is the most obvious marker of the transition from donor to body. As one learner illustrated, the difference between a living, breathing person (a somebody) and a still, lifeless body (a something) felt unambiguous:

이불 속에서 얕은 숨을 쉬며 잠들어 있는 89세 노인과 문밖에서 바라보고 있는 사람 사이에는 큰 차이가 있습니다. 하지만 그분들이 살아있다는 것을 알 수 있는 무언가가 있습니다. 그리고 그들이 죽으면 사라져 버리죠. 그게 뭔지 모르겠어요. 하지만 시체는 그냥 가구가 되죠. 침대, 의자, TV, 그리고 죽은 사람이 있는 것과 같죠. 침대, TV, 의자가 있고 거기서 자고 있는 사람이 있는 것과는 많이 다르죠. (응급 의학 학습자) 
There’s a huge difference between the 89-year-old who’s under the covers asleep, breathing shallowly, and you’re just looking in from the door. But there’s something there that you just know they’re alive. And when they die, it’s gone. And I don’t know what it is. But bodies just become furniture. You know, it’s like there’s a bed, a chair, a TV, and a dead person. Which is much different than there’s a bed, a TV, a chair, and there’s somebody sleeping in there. (Emergency Medicine Learner)

동시에 기증자가 시신이 된 정확한 순간은 기증자가 사망한 순간이 아니었습니다. 오히려 주변 사람들이 기증자의 죽음을 알게 되는 순간이었습니다. 시신의 맥박, 동공 및 촉각 반응, 자발 호흡 등 생명 징후를 검사하고 사망을 선언하고 사망 진단서에 서명함으로써 사망을 '공식화'하는 것은 담당 의사의 재량에 달려 있었습니다. 
At the same time, the exact moment that the donor became a body was arguably not the moment the donor died. Rather, it was the moment those around them become aware of their death. This moment was up to the discretion of the doctor in charge who made the death “official” by examining the body for signs of life (e.g., pulse, pupil and tactile response, spontaneous respiration), declaring death, and signing a death certificate.

사망 선언을 통해 일련의 일상적인 이벤트가 동원되어 결국 임상 시체가 만들어졌습니다. '사망 시'에 어떤 일이 일어나는지 설명하기 위해 설계된 프로그램 문서를 분석한 결과, 기증자에서 시신으로 개념이 바뀌는 것을 확인할 수 있었습니다. 이러한 자료는 사망이 발생한 장소에 따라 어떻게 진행해야 하는지에 대한 지침을 포함하여 물류에 중점을 두었습니다. 이 문서에는 시신의 프로그램 수용 여부를 최종적으로 결정하는 '해부 검사관'의 역할에 대한 언급도 처음 포함되었습니다. 
The declaration of death mobilized a routine set of events that eventually led to the creation of a clinical cadaver. Through our analysis of programmatic documentation designed to delineate what happens “at the time of death”, we saw the conceptual shift beginning from a donor to a body. These materials focused on logistics, including instructions on how to proceed, depending on where the death occurred. These documents also included the first mention of the role of the “Inspector of Anatomy,” who ultimately determined whether a body would be accepted into the program.

기증자가 병원에서 사망하면 간호 직원은 시신에서 심장 및 산소 모니터, 삽관 튜브, 중심정맥관, 정맥주사, 바디 테이프 및 기타 모든 의료 장비를 제거하는 작업을 수행했습니다. 또한 피부에서 혈액과 기타 물질을 닦아내고 담요를 교체하고 눈을 감겼습니다. 이러한 활동은 기증자가 병원 밖에서 사망했을 때 특히 중요했습니다. 이러한 경우 시신을 청소한다는 것은 죽음에 대한 공포를 완화하는 것을 의미하는데, 대부분의 경우 새로 죽은 시신의 모습은 정말 불안할 수 있기 때문입니다: 
When a donor died in-hospital, nursing staff attended to removing heart and oxygen monitors, intubation tubes, central lines, IVs, body tape, and all other medical equipment from the body. They wiped blood and other substances from the skin, replaced blankets, and closed the eyes. These activities were especially important when a donor died outside of the hospital. In these cases, cleaning the body meant attenuating the horror of death because, in many cases, the appearance of newly dead bodies could be truly unsettling:

처음 가서 시체를 수습할 때요. 입이 열려 있고, 때로는 눈이 열려 있고, 입에서 토사물이 나올 수도 있고... 그냥 깨끗하지 않은 상태의 시신을 보게 될 겁니다. 그리고 궤양이 생기기도 하고... 토사물에 질식하기도 하고... (시체 직원)
The first time you go and pick up a dead body. Their mouths’ open, sometimes their eyes are open, there could be purge coming out of their mouth…you’ll get people in a state where they’re just, they’re not clean. And you’re going to get some ulcers…if they soil themselves…they choke on their vomit… (Cadaver staff)

이러한 활동의 목적은 시신을 외부 세계에 '보기 좋게' 보이게 하여 가족들이 시신을 인식하고 반응하는 방식을 바꾸고, 시신을 보려는 사람들의 충격을 완화하는 데 있습니다. 
The purpose of these activities was to make the body look “presentable” to the outside world, transforming the way the family will perceive and react to the body, and serving to soften the blow for those who wish to view it.

시신에서 시신으로
Body to cadaver

의료진과 HBD 직원이 시신에서 질병(예: 산소 모니터, 삽관 튜브)과 사망(예: 혈액, 체액 분비물)의 가장 명백한 징후를 제거한 후 시신body은 시신cadaver이 될 준비가 되었습니다. HBD 직원들의 일련의 전문적이고 관료적인 활동은 이러한 전환을 완료하는 데 도움이 되었습니다. 
After healthcare workers and HBD staff removed the most obvious signs of illness (e.g., oxygen monitors and intubation tubes) and death (e.g., blood, bodily secretions) from the body, it was ready to become a cadaver. A series of specialized, bureaucratic activities from the part of HBD staff served to complete this transition.

기증자가 사망한 장소와 관계없이 의료진은 사망 진단서를 받자마자 해부 검사관(IoA)에게 연락하여 알렸습니다. 보건부 장관이 임명하는 해부조사관은 HBD 프로그램에 대한 첫 번째 연락 창구였습니다. 이 담당자는 시신을 프로그램에 수용할지 여부(즉, 시신으로 인정할지 여부)를 결정하기 위해 치료를 담당한 의료진, 가족, HBD 직원과 소통합니다. 특히, IoA는 시신에 특정 금기 사항(예: 전염병 위험, 이전 부검, 병적 비만, 주요 절단)이 없는지 확인하고 기증자 가족에게 연락하여 지속적인 동의 여부를 확인합니다. 의심스러운 사망 상황에서는 검시관도 관여했을 수 있으며, 부검이 필요한 경우 시신은 프로그램에서 제외되었습니다. 대학 영안실은 특정 수의 시신만 보관할 수 있고, HBD 프로그램은 특정 목적에 따라 특정 유형의 시신을 수시로 필요로 했기 때문에 임상 시신 담당 직원은 시신이 현재 요구 사항을 얼마나 잘 충족하는지 평가하는 데 IoA를 지원했습니다. 
Regardless of where the donor died, healthcare workers would contact and inform the Inspector of Anatomy (IoA) as soon as they received the death certificate. Appointed by the Minister of Health, the IoA was the first point of contact to the HBD program. This individual would communicate with medical personnel in charge of their care, the family, and HBD staff in order to decide whether or not the body should be accepted into the program (i.e., to become a cadaver). Specifically, the IoA verified that the body lacked specific contraindications (e.g., risk of infectious disease, previous autopsy, morbid obesity, major amputations) and contacted the donor’s family to ensure their ongoing consent. In circumstances of suspicious death, the medical examiner may have also been involved; need for an autopsy excluded the body from the program. Because the university morgue was only able to hold a certain number of cadavers and the HBD program required certain types of bodies for specific purposes at any given time, clinical cadaver staff aided the IoA in assessing how well the body met their current needs.

이 단계에 참여한 HBD 직원들은 프로그램의 요구와 고통에 처한 가족의 요구 사이의 균형을 맞추는 데 주력했습니다. 한 참가자는 시신을 프로그램에 받아들이는 데 관련된 관료적 업무를 관리하는 데 어려움을 겪었다고 설명했습니다. 
HBD workers involved at this stage were engaged in balancing the needs of the program with the needs of a family in distress. One participant described the challenges of managing the bureaucratic work involved in accepting a body into the program.

사망 진단서 없이는 행동할 수 없습니다. ... 집에서 누군가 사망하면 전화를 받습니다... 시신을 기증하고 싶다고 하는데... 사망 진단서가 없으면 아무것도 할 수 없습니다. 따라서 시신은 사망 장소에 머물거나 가족이 비용을 부담해야하며, 수락 여부에 대한 결정이 내려질 때까지 저온 보관소가있는 장례식장으로 가져 가야합니다. (HBD 직원) 
I can’t act without a death certificate. … So, if someone dies at home, I get a call… The person wishes to donate their body …but without a death certificate, I can’t do anything. And so, the body has to either stay at the place of death or at the family’s expense, needs to be taken to a funeral home which has cold storage until a decision can be made about acceptance. (HBD Staff)


프로그램에 접수된 시신은 병원이나 지역 공공 영안실에 임시로 보관되는 경우가 많았습니다. 공간이 확보되면 HBD 프로그램은 운송 직원을 고용하여 시신을 대학 영안실로 가져왔습니다. 보관 공간의 중요성은 프로그램 전반에 걸쳐 중요한 고려 사항이었으며, 시신을 관리해야 할 대상으로 인식하는 데 중요한 역할을 했습니다. HBD 참가자들은 기증자를 위한 '공간'이 필요하며, 공간의 물리적 용량 내에서 작업해야 한다고 자주 설명했습니다. 몰입과 관찰을 통해 시설의 물리적 현실과 관련 보관에 대해 참가자들이 설명한 어려움은 분명해졌습니다. 한 연구자는 다음과 같이 언급했습니다: 
Once accepted by the program, the cadaver was often temporarily stored in the hospital or local public morgue. When space became available, the HBD program hired transportation staff to bring the cadavers to the university morgue. The importance of storage space was a key consideration throughout and pointed to a conception of the body as a thing to be managed. Participants from the HBD frequently described having “room” for a donor, and a need to operate within the physical capacity of the space. Through immersion and observation, the physical realities of the facilities, and related storage, challenges participants described were made plain. One researcher noted:

[뇌가 가득 담긴 양동이와 시신으로 가득 찬 냉장고가 선반에 쌓여 있었습니다. 화장터로 가는 복도에는 관 모양의 골판지 상자가 줄지어 있었습니다. 그리고 그 한가운데에는 지게차가 있었습니다. (현장 노트) 
[there were] buckets full of brains and a fridge full of bodies—stacked up on shelves. The hallways were lined with coffin-shaped cardboard boxes on their way to the crematorium. And in the middle of it all, there was a forklift. (Fieldnote)

이러한 물리적, 물류적 보관 문제에도 불구하고 각 장소에서는 시신 처리에 신중을 기했습니다. 대학 영안실의 일반적인 파란색 또는 흰색 비닐 봉투 대신 부드러운 자수가 놓인 천으로 된 봉투에 시신을 옮겼습니다. HBD 프로그램과는 별개로 진행되었지만, 운송 직원들은 시신을 픽업하고 내려놓기 위해 정장 차림으로 한 번도 빠짐없이 도착했습니다. 
Despite these physical and logistical storage challenges, in each of these locations, handling of the cadavers was taken seriously. Rather than the typical blue or white plastic bags of the university morgue, cadavers were transferred at this moment to bags of soft embroidered fabric. Despite being independent from the HBD program, transportation staff never failed to arrive fully dressed in formal suits to pick up and drop off the bodies.

 

시신에서 교육용 시신으로
Cadaver to educational cadaver

시신이 대학 시체 안치소에 도착하면 HBD 직원들은 시신을 교육용으로 준비하기 시작했습니다. 이들은 분비물을 제거하고 체액이 계속 고여 있는 목과 위를 석션하고 대변이 더 이상 배출되지 않도록 청소했습니다. 때로는 기관과 식도 등 신체의 특정 부위를 잘라 체액이 더 이상 축적되는 것을 막기도 했습니다. 그런 다음 시신을 방부 처리하고 냉동 보관했습니다. 가능한 한 익명을 보장하기 위해 머리를 밀었고, 이후 각 시신을 식별하기 위해 발가락에 장부에 있는 번호에 해당하는 태그를 붙였습니다. 각 CBS 세션 전에 스태프들은 시신을 얼리지 않고 깨끗이 씻고 석션한 다음 눈은 수술용 모자로, 나머지 신체 부위는 파란색 수술용 천으로 덮었습니다. 한 연구원이 지적했듯이 눈과 머리 윗부분을 덮는 것이 특히 중요했습니다:  
Once cadavers arrived at the university morgue, HBD staff began preparing them for their educational purposes. These individuals further cleaned the body of its secretions, suctioning the throat and stomach which had continued to build up fluids, and cleaned any further release of feces. They sometimes cut certain parts of the body, such as the trachea and esophagus, to halt further build-up of fluids. They then embalmed and froze the bodies. To make them as anonymous as possible, they shaved their heads; to identify each body thereafter, they attached tags to their toes with a number corresponding to one in a ledger book. Before each CBS session, staff unfroze these bodies, freshly cleaned and suctioned them, then covered their eyes with surgical caps and the rest of their bodies in blue surgical drapes. The covering of eyes and the top of the head were particularly significant, as one researcher noted:

하지만 한 번은 시체의 얼굴 덮개가 벗겨져 은빛 눈동자, 아가페 입, 두개골을 가로지르는 넓은 상처가 거칠게 꿰매진 것을 볼 수 있었습니다. 이런 디테일은 저를 괴롭혔습니다. 그렇지 않으면 수면 중인 환자와 시체 사이의 차이를 최소화하기 위해 전략적으로 덮는 것이 트릭을 수행하는 것 같았습니다. (현장 노트)
Once, though, a cadaver’s face covering slipped, and I could see blank silver eyes, mouth agape and a broad gash roughly stitched across its skull. These details [bothered me]. Otherwise, strategic covering seemed to do the trick to minimize the difference between a sleeping patient and cadaver. (Fieldnote)

교육용 시신을 준비하기 위해 HBD 직원이 사용한 위에서 설명한 절차는 전통적인 방부 처리사나 장례 전문가가 장례식을 위해 시신을 준비할 때 사용하는 절차와는 크게 달랐습니다. 예를 들어, 장례식을 위해 준비된 시신은 순전히 미적인 목적으로 세척하고 옷을 입히며, 이 경우 기관과 식도를 절단하거나 폐를 보기 위해 가슴을 열 이유가 없습니다. 따라서 시신 준비에 관여하지 않은 방부처리사나 장의사는 이러한 행위를 시신 훼손으로 간주하는 경우가 많았습니다: 
The procedures described above, which HBD staff used to prepare an educational cadaver, differed markedly from those traditional embalmers and funeral professionals use to prepare bodies for a funeral service. For instance, bodies prepared for a funeral service are cleaned and dressed for purely esthetic purposes; there is no reason, in these cases, to sever the trachea and esophagus or cut open the chest to help visualize the lungs. Consequently, embalmers and funeral directors who were not involved in cadaver preparation often saw these acts as mutilation:

장례식장에서는 장례식장 방부사가 준수해야 하는 기준이 정해져 있습니다. 반면에 아주 사소한 일탈도 하지 말아야 할 일을 하는 것으로 간주됩니다. (HBD 직원) 
In a funeral home, I mean everything is, there’s a set kind of standard that funeral embalmers should adhere to. Whereas even the smallest diversion [is considered] doing something that you shouldn’t. (HBD staff)

참가자들은 시신을 사용하여 의미 있는 교육적 경험을 제공한다는 목표를 향해 일하고 있다는 점을 염두에 두고 작업에 집중함으로써 이러한 복잡성을 헤쳐 나간다고 설명했습니다. 
Participants described navigating this complexity by focusing on the work and keeping in mind that they were working toward a goal: using the cadaver to generate a meaningful educational experience.

작업에 집중할 수 있을수록 더 좋은 결과를 얻을 수 있습니다. ... 제가 제 일을 제대로 잘하면 [학습자에게] 도움이 될 것입니다. ... 여기서도 동일한 자부심과 동일한 관심을 가지고 학생들을 위한 교재를 제작합니다. (HBD 직원)
I find that the more I can concentrate on the task [the better]. … If I do my job properly well that’s going to help [learners]. … Here again the same pride and the same attention is to create those teaching materials for the students. (HBD staff)

따라서 시신 담당 직원들의 전문적인 (때로는 논란의 여지가 있는) 작업은 전통적인 장례 관행에서 벗어나 시신을 시신과는 다른, 즉 임상 도구로 탈바꿈시키는 과정이었습니다.
Hence, the specialized—and sometimes controversial—work of cadaver staff deviated from traditional funeral practices and transformed the cadaver into something different from a dead body: it was in the process of becoming a clinical tool.

교육용 카데바에서 교사로
Educational cadaver to teacher

시뮬레이션 실습실에서 전담 직원은 촉촉하고 노랗게 얼룩진 흰색 시트와 깨끗한 파란색 커튼으로 겹겹이 덮인 금속 테이블 위에 시체를 놓았습니다. 짧은 세션 동안에는 시신을 시신 가방에 넣어 지퍼를 다시 닫아 냉장고에 보관하기도 했습니다. 그들은 수술 도구, 기계, 스크린을 사이드 테이블과 이동식 카트 위에 조심스럽게 배치했습니다. 
In the simulation lab, dedicated staff placed cadavers on metal tables, covered in layers of moist, yellow-stained white sheets and clean, blue drapes. For short sessions, they often kept the cadavers in their body bags, ready to be zipped back up and returned to their refrigerators. They carefully arranged surgical instruments, machines, and screens throughout the room on side tables and mobile carts.

시뮬레이션 세션이 시작되자 노란색 가운과 파란색 장갑을 착용한 교사와 학습자들이 시신을 둘러싸고 있었습니다. 최적의 학습 환경을 제공하기 위해 교사, 학습자, 시체 보관소 직원들이 분주하게 움직였습니다. 한 연구자는 공간의 분주함을 다음과 같이 설명했습니다, 
When the simulation sessions began, teachers and learners, dressed in yellow gowns and blue gloves, encircled the cadavers. The room would be busy as teachers, learners, and cadaver staff worked to provide an optimal learning environment. One researcher described the busyness of the space, noting,

사람들이 서로 다른 도구나 공간으로 이동하기 위해 서로를 피해야 하는 모습은 마치 콘서트장의 관중을 헤쳐나가는 것 같았고, 서로 부딪히지 않으려고 애쓰는 모습이 떠올랐습니다. (현장 노트)
The way people have to duck around each other to get to different tools or spaces makes me think of navigating a concert crowd – lots of shuffling and trying not to bump anything. (Fieldnote)

여기저기서 흡입하는 소리와 흥분된 목소리가 들려왔고, 방부액과 체액 분비물이 섞인 다양한 냄새가 방 안 구석구석에 스며들었습니다. 가만히 들여다보면 아이러니가 무르익어 있었습니다. 시신의 눈을 가리는 수술용 보닛은 종종 알록달록한 행복한 얼굴이나 곰 인형으로 장식되어 있었습니다. 한 번은 심지 3개짜리 양초가 배경에서 천천히 타오르면서 방에 "설탕을 넣은 스니커 낙서" 냄새가 났던 적도 있습니다. 
The sounds of suctioning and excited voices arose from huddles, and various smells—mostly embalming fluid mixed with bodily secretions—infiltrated all corners of the room. When one attended to it, irony was ripe in this environment. The surgical bonnets that covered the eyes of the cadavers were often decorated with colorful happy faces or teddy bears. On one occasion, a 3-wick candle burned slowly in the background, making the room smell of “sugared snicker doodle.”

이러한 공간에서 시체는 이야기하고, 기대고, 만지고, 찌르고, 자르는 대상이 되었습니다. 시신은 온전하게 보존되어 있었지만 학습자가 살펴보고 조작할 수 있는 분리된 부위(무릎, 턱, 가슴 창)의 집합으로 개념화되었습니다. 학습자들은 시체 주위에 모여들면서 각 학습자가 당분간 작업할 신체 부위를 '소유'하고, 작업이 끝나면 다른 학습자가 그 자리를 차지하도록 했습니다. 교사가 다양한 기술을 시연할 수 있었기 때문에 교육 도구로서 시체의 어포던스는 분명했습니다: 
In these spaces, cadavers became things that were talked about, leaned on, touched, prodded, and cut. While the cadavers remained fully intact, they were conceptualized as a collection of isolated parts (a knee, a jaw, a chest window) that learners examined and manipulated. As they crowded around the body, each learner “claimed” a body part to work on for the time being, letting another learner take their place when they were finished. The affordances of the cadaver as an educational tool were clear, as teachers were able to demonstrate different techniques:

첫 번째 그룹을 관찰하기 위해 멈춰선 교사는 기도 시술에서 흔히 사용하는 '스니핑' 자세에 대한 대안적인 머리 자세를 설명하고 있었습니다. 그는 참가자들에게 바에서 테이블로 걸어갈 때 맥주 윗부분을 홀짝이는 자세인 '홀짝이기' 자세를 시도해 보라고 권유했습니다. 이 설명에 주위에 모인 참가자들은 잔잔한 웃음을 터뜨렸습니다. (현장 노트) 
The first group I stopped to observe: the teacher was describing an alternative head position to the “sniffing” position often advocated for in airway procedures. He encouraged participants to try the “sipping” position: how you might sip the top of a beer as you walk from the bar to your table. This description was met with gentle laughter in the cluster of participants gathered around him. (Fieldnote)

시체 위와 다리 사이에 장비가 쌓이기 시작했습니다. 많은 교사와 학습자에게 이 순간 시체는 임상 도구였습니다:
Equipment would begin piling up on the cadaver and between its legs. For many teachers and learners, the cadaver was, at this moment, a clinical tool:

시체가 그곳에 있을 때 저에게는 그저... 교육 도구일 뿐입니다. 무례하다는 뜻이 아닙니다. 제 말은 그것들이 거기에 있지만, 저는 그것들을 예전과 같은 것으로 생각하지 않는다는 것입니다. (교사) 
To me when they’re there, they’re just a…teaching tool. And I don’t mean that in a disrespectful way. I mean they’re there, I just don’t think of them as what they were. (Teacher)
제 생각에는 인지적으로 우리는 이 사람이 사람이었다는 사실을 정말 분리해서 생각하는 것 같아요. 우리는 그들을 존중하지만 또한... 우리가 [시신 준비 실험실]에있을 때 우리 중 많은 사람들이이 사람이 살아 있었을 때 어떤 사람이었을지 생각하지 않는 것 같아요. 그것은 우리 모두가 가지고 있는 일종의 인지적 분리라고 생각합니다. (학습자) 
I think part of it is like the, cognitively, we really separate the fact that… We really keep the fact that this was a person kind of separate. We treat them with respect, but we also… I don’t think when we’re in [the body preparation lab], I don’t think very many of us are thinking like about who this person might have been when they were alive or something. I think that that’s just sort of a cognitive separation thing that we all have. (Learner)

교사와 학습자 모두 세션이 진행되는 동안 눈과 몸에서 흘러내린 보닛과 커튼을 계속 교체했습니다. 시신을 덮어두는 것은 환자의 존엄성을 지키기 위한 목적도 있지만, 시신을 사람으로 보지 않는 '분리감'을 강화하는 역할도 했습니다:
Both teachers and learners continuously replaced bonnets and drapes that slipped off the eyes and body during the course of the session. While keeping the body covered primarily aimed to preserve the patient’s dignity, it also served to reinforce a “detachment” from viewing the cadaver as a person:

우리는 시신을 최대한 가린 상태로 유지하려고 노력합니다... 시간이 지남에 따라 학생들은 시신의 손이나 발을 노출하면 보는 것이 부담스러워진다는 것을 알고 있다고 설명하는 것을 보았습니다. 그리고 시체를 교육 자료로 사용하는 데 있어 학생들이 편안함을 느끼는 부분 중 하나는 이것이 사람이었다는 사실에 대해 조금은 거부감을 느낄 수 있다는 것입니다. 조금만 분리할 수 있다면 침습적인 시술을 반복해서 하는 것이 조금 더 쉬워질 수 있습니다. (교사) 
We try to keep the cadaver as covered up as possible…I’ve seen over time, students describe like you know they get bothered by seeing—if you expose a cadaver’s hands or feet. And I think…part of their comfort level in working with a cadaver as a teaching resource is that they may disconnect a little bit from saying this was a person. Where it’s a little easier to do some invasive procedures over and over again if you can disconnect a little bit from that. (Teacher)

시체 실습에서 학습자의 불편함을 줄이는 중요한 작업을 수행했음에도 불구하고 교사와 선임 학습자는 시체가 (전) 사람이라는 생각을 강화하고 학습자에게 시체를 존중하는 태도로 대할 것을 상기시켰습니다:
Despite accomplishing the important work of reducing learners’ discomfort in the cadaver lab, teachers and senior learners also reinforced the idea that the cadaver was a (former) person, and reminded learners to treat the body with respect:

우리는 학생들에게 시체가 사람이라는 사실을 상기시키는 데 큰 중점을 둡니다. 그들은 환자입니다. 우리는 모두 다른 연설을 합니다. 저는 기본적으로 시신을 환자와 가족들이 들을 수 있는 사람처럼 대하는 것을 기본 원칙으로 삼고 있습니다. 그리고 다른 환자처럼 대하세요. (교사) 
We make a big point…to remind students that they are people. They are patients. We all have different speeches. Mine is basically about, you know, you treat the cadaver as if it’s a patient who can hear you and their family members can hear you. And treat them as if they’re any other patient. (Teacher)
저는 여전히 최소한의 손상을 입히는 데 집중하고 있습니다... 실제 환자에게도 하지 않을 일을 하고 싶지 않아요. (시니어 학습자) 
I’m still focusing on causing minimal damage…I wouldn’t want to do something that I wouldn’t do in real life with a real patient. (Senior learner)

몇몇 학습자는 시체 교사를 복제할 수 없는 자원으로, 심지어 생명의 은인이나 영웅으로 개념화했습니다. 한 참가자는 이렇게 말했습니다: 
Several learners conceptualized the cadaver teacher as an irreplicable resource, and even a lifesaver, or hero. One participant noted:

가장 큰 차이점은 [CBS]에서 하는 것과 외상실에서 하는 것은 사실상 같은 일이기 때문에 차이가 거의 없다고 생각합니다... 말 그대로 일주일 후에 삽관하는 다음 환자는 이완, 해부학적인 측면에서 매우 유사했습니다... 선생님은 그냥 거기에 계셨던 것입니다. (학습자) 
I think that the biggest difference is going from what you’re doing in [CBS] to the trauma room is so small because it’s effectively the same thing … literally the next patient I was intubating like a week later was very similar in terms of their relaxation, the anatomy… you were just there. (Learner)

사랑하는 사람에 대한 스승이자 유산
Teacher to loved one and legacy

시신이 교육 도구로서의 역할을 마친 후, HBD 프로그램은 가족에게 연락하여 시신을 돌려주거나 화장 또는 대학 전용 묘지에 안장할 준비를 했습니다. 기증자의 가족은 매년 봄에 열리는 안장식 및 추모식에 초대되었습니다. 
Once the cadaver completed its intended role as an educational tool, the HBD program contacted the family and made arrangements to either return the body to them or to prepare it for cremation and/or burial in the university’s dedicated cemetery. Family members of the donors were invited to an annual interment and memorial service in the Spring.

안장식은 공동묘지에서 진행되었습니다. 기증자의 유골이나 유골함은 천막 아래에 놓여 있었고 그 위에 기증자의 이름이 적힌 명판이 놓여 있었습니다. 참석자들은 그 옆에 꽃과 기념품을 놓았습니다. 파이퍼가 연주하고, 성직자들이 연설하고, 비둘기가 날아갔으며, HBD 프로그램 대표가 150여 명의 기부자 이름을 큰 소리로 읽었습니다. 이 행사는 공동체적이면서도 매우 개인적인 행사였습니다. 
The interment ceremony happened at a cemetery. The ashes or urns of the donors were set out under a tent with plaques placed on top indicating their names. Attendees placed flowers and keepsakes beside them. A piper played, members of the clergy spoke, doves were released, and a representative from the HBD program read the names of more than 150 donors out loud. The event was both communal and deeply personal.

추모식은 웅장한 가톨릭 교회에서 열렸습니다. HBD 직원, 교수진, 학생들은 모두 정장 차림으로 장례식장을 가득 메운 기부자 가족들과 함께했습니다. 학생들은 물망초 씨앗을 깔끔하게 꽂은 안내 책자를 나눠주며 기부에 동참했습니다. 성직자, HBD 프로그램 회원, 교사, 학습자 등 다양한 사람들이 연설했습니다. 그들은 감사, 슬픔, 관대함, 인간관계에 대해 이야기했습니다: 
The memorial service happened in a grand Catholic church. HBD staff, faculty, and students—all formally dressed in funeral wear—joined the families of donors as they filled into the pews. Students contributed by handing out information booklets with forget-me-not seeds tucked neatly inside them. A number of people spoke: clergy, members of the HBD program, teachers, and learners. They spoke of gratitude, grief, generosity, and human connection:

다양한 의료 직종에 종사하는 많은 학습자가 강단에 올라 이 프로그램을 통해 어떤 혜택을 받았는지 이야기했습니다. 대부분 교과서적인 내용입니다. 충분히 사려 깊고 친절하지만 여러분이 기대할 수 있는 그런 내용입니다. 하지만 가장 아름답고 의미 있는 연설을 하는 사람이 한 명 있습니다. 그 연설이 감동적이었던 이유는 그가 인간으로서 우리를 연결하는 요소에 초점을 맞추었기 때문이라고 생각해요. 그는 우리가 누군가를 알 수 있는 모든 방법, 학습자가 함께 일하는 (전?) 사람들을 친밀하게 알게 되는 방법에 대해 이야기했습니다. 그리고 이것이 어떻게 그가 남겨진 사람들과 공유하는 유대감인지에 대해 이야기했습니다. 교육, 슬픔, 희망을 연결하는 방법, 즉 예상했던 것을 미묘하게 재조정하는 것이죠. 완벽했습니다. (현장 노트) 
A number of learners from the various health professions come to the lectern to speak about how they’ve benefited from the program. For the most part, they’re pretty textbook remarks. Thoughtful and kind enough, but the kind of thing you’d expect. But there’s one guy who gives the most beautiful, meaningful speech. And, I’ve thought about this—I think the thing that made it so poignant was the fact that he focused on what connects us as humans. He talked about all the ways we can know someone, how learners come to intimately know the (former?) people they work on. How this is a bond that he shares with the people who were left behind. It’s a subtle reorientation of the expected—a way to connect education, grief, and hopefulness. It was perfect. (Fieldnote)

따라서 안장식과 추모식은 고인에 대한 감사와 추모에 전념했습니다. 이렇게 교구로서의 시신은 배경으로 사라졌습니다. 그 대신 시신을 기증한 관대한 '영웅'을 추모하고 참석자들은 다음 현장 노트에서 볼 수 있듯이 그들이 제공한 모든 것에 대해 감사를 표했습니다: 
The interment and memorial service was thus dedicated to thanking and commemorating the dead. In this manner, the cadaver-as-teaching-tool faded to the background. In its place, all celebrated the memory of the generous “hero” who donated their body and attendees appreciated them for all that they have offered, as illustrated in the following field note:

연사 중 한 명이 부모님을 축하하기 위해 이 자리에 모인 모든 사람을 먼저 기립시키고, 그 다음에는 형제자매를 축하하는 사람, 사랑하는 사람, 사랑하는 사람의 기증으로 혜택을 받은 모든 사람이 기립하도록 요청하는 특별한 순간이 있었는데, 연사가 "이것이 바로 영향력이고, 이것이 바로 사랑이며, 이것이 우리가 여기 있는 이유"라고 말하며 마지막에 모든 사람이 기립한 모습은 정말 놀라웠습니다. 고인의 시신뿐만 아니라 고인이 나눈 사랑과 고인이 감동한 삶이 무대 위의 디스플레이로는 결코 담아낼 수 없는 거대하고 강력한 에너지와 결합되어 있다는 사실이 갑자기 이해가 되었습니다. 
There is an exceptional moment when one of the speakers asks first everyone who is here to celebrate their parent to stand, then those celebrating their sibling, then their loved one, then anyone who’s benefitted from the loved ones’ donation—everyone at the end of it was standing and the speaker said “this is the impact, this is the love, this is why we are here” and it was stunning. All of a sudden, the relatively small candle memorial makes sense—it’s not just about the person’s body but about the love they shared and the lives they’ve touched, all combined a massive and powerful energy that could never be captured by a display on a stage.

토론
Discussion

시체 작업의 복잡성의 핵심은 존재론적 모호함, 즉 시체를 사람 또는 사물, 인간 또는 인간이 아닌 것, 교사 또는 도구로 규정할 수 없다는 것입니다. 이러한 구분은 시체를 산 자와 구별할 수 없게 만드는 새로운 보존 기술의 발달로 인해 더욱 모호해지고 있습니다. 우리가 설명하는 수명 주기의 일부 단계가 반드시 임상 시신에만 적용되는 것은 아니라는 점을 잘 알고 있습니다. 물론 기존의 고정된 시신은 다양한 맥락에서 다르게 사용됨에 따라 변형됩니다. 그러나 우리는 시체가 딱딱하고 회색일 때, 즉 인간성을 간과하기 쉬울 때 철학적 작업이 덜 어려울 수 있다고 믿습니다. 임상 사체의 존재론적 충실성은 생애주기의 각 단계에서 특정 관행에 영감을 주며, 우리는 사람들이 말하고 행동하는 방식을 주목하고 분류하는 과정에서 이를 확인했습니다. 이러한 말과 행동36은 임상 시체의 모호하지만 부인할 수 없는 인간성의 산물입니다. 
Central to the complexity of cadaver work is what we refer to as its ontological ambiguity: the inability to qualify the cadaver as either a person or a thing; human or not human; or as a teacher or a tool. This distinction is becoming ever more ambiguous with the development of novel preservation techniques that render cadavers less and less distinguishable from the living. We recognize that some of the stages of the lifecycle we describe are not necessarily unique to clinical cadavers. Certainly, a traditional hard-fixed cadaver is transformed as it is used differently, in different contexts. We believe, however, that the philosophical work may be less troubling when the cadaver is rigid and gray—its humanity is perhaps easier to overlook. The ontological fidelity of clinical cadavers inspires specific practices at each stage of the lifecycle, which we identified in noting, and classifying, the ways in which people speak and act. These sayings and doings36 are a product of the nebulous, but undeniable, humanness of clinical cadavers.

CBS는 시체 해부에는 예술과 과학이 모두 존재한다는 것을 관찰했습니다.

  • 예술적 측면에서는 시체를 준비하고 전시하는 방식이 예술적이었으며, 작업자들은 실제 임상 사례에 가까운 상호작용을 장려하는 실제와 같은 표본을 제시하는 데 자부심을 가지고 있었습니다.
  • 과학과 관련해서는 보존 기술의 혁신, 정교한 기술, 도구 및 장치 테스트에 주목했습니다.

하지만 카데바 기반 시뮬레이션의 철학은 좀 더 모호했습니다. 하지만 철학적 작업이 사실 CBS의 근간을 이루고 있다는 사실을 알게 되었습니다. 
We observed that there is both an art, and a science, to CBS.

  • With respect to art, the ways in which cadavers are prepared and presented was artful, with workers taking pride in presenting lifelike specimens that encouraged an interaction closer to a real clinical encounter.
  • With respect to science, we noted the innovations in preservation techniques, the refined skill, the testing of tools and devices.

The philosophy of cadaver-based simulation, however, was more nebulous to identify. Yet, once we attuned to it, it became clear that philosophical work was, in fact, foundational to CBS.

들뢰즈적 관점에서 보면 CBS에 종사하는 사람들은 철학을 하고 있는 셈입니다.47 여기에는 사체가 생애주기를 거치면서 존재론적 모호성을 관리하는 개념적, 정서적, 윤리적, 기술적 작업이 포함되며 전문적인 관행에 의해 능동적으로 형성됩니다. 해부학적 대상으로서의 교육용 시체를 제작하고 재제작하는 것은 중요한 고려 사항이며20, 시체 기반 교육학의 관계적/사회적 요소21는 교육용 시체 작업의 복잡성에 대한 이해를 넓혀주었지만, 시체의 생애주기에 걸친 철학적 전환에 조율하는 것은 미묘한 요소를 추가합니다. 

  • 당사자에서 기증자로의 전환을 통해 참가자들은 사후에 시신이 어떻게 사용될지 계획하고 조직할 수 있었습니다. 
  • 사망 시 발생하는 기증자에서 시신으로의 존재론적 전환은 미래의 생명을 구하기 위한 시신 기반 교육의 실제 실습을 위한 프로세스를 시작할 수 있게 했습니다. 
  • 시신에서 시체로 전환된다는 것은 참가자들이 특정 상황에서 특정 시신으로 무엇을 할 것인지에 대한 결정을 내릴 수 있다는 것을 의미했습니다. 
  • 시신에서 교육용 시신으로 전환하면서 참가자들은 '더 큰 선', 즉 자신의 치료가 필요할 미래의 상상 속 환자에 초점을 맞추면서 시신을 비인격화할 수 있었습니다. 
  • 교육용 시신에서 교사로 전환한 참가자들은 시신에 직접 손을 대고 임상 술기와 절차를 연습할 수 있었습니다. 
  • 마지막으로, 교사에서 유산으로의 전환을 통해 참가자들은 자신이 참여하는 복잡한 작업에 대해 성찰하고, 기증자를 기리는 공간을 제공하며, 시신을 기증한 사람들의 인격을 기억하는 생애주기의 시작점으로 돌아갈 수 있었습니다.

From a Deleuzian perspective, then, people engaged in CBS are doing philosophy.47 This involves the conceptual, emotional, ethical, and technical work of managing ontological ambiguities as the cadaver passes through the lifecycle and is actively shaped by professional practices. While the making and remaking of teaching cadavers as anatomical objects is an important consideration20 and the relational/social elements of cadaver-based pedagogy21 have broadened our understanding of the complexity of educational cadaver work, attuning to the philosophical transitions across the lifecycle of a cadaver adds a nuanced element to the conversation.

  • The transition from person to donor allowed participants to plan and organize for how a body will be used after death.
  • The ontological transition from donor to body that occurred at death allowed the process to be set in motion for the actual hands-on work of cadaver-based education, which is intended to save future lives.
  • The transition from body to cadaver meant that participants were able to make decisions about what to do with a particular body, in a particular set of circumstances.
  • The transition from cadaver to educational cadaver allowed participants to depersonalize the cadaver as they focused on “the greater good”: future, imagined patients who will need their care.
  • The transition from educational cadaver to teacher allowed participants to do things to the cadaver, practicing clinical skills and procedures.
  • Finally, the transition from teacher to legacy allowed participants to reflect on the complex work in which they engage, providing space to honor donors, and returning us to the start of the lifecycle where we remember the personhood of those who gave the gift of their body.

이러한 존재론적 전환에 대한 철학적 작업은 라이프사이클의 각 단계에서 수행해야 하는 작업의 기초가 됩니다. 예를 들어, 우리가 신체를 사람으로 생각하기를 멈추지 않는다면, 해부학적 구조를 관찰하기 위해 신체를 절단하는 것은 상상하기 어렵습니다. 우리는 이 철학적 작업이 사실 "사전 경험적"이라고 믿습니다."35 이는 우리가 시체 기반 교육의 예술이나 과학에 참여하기 전에 먼저 들뢰즈와 과타리가 "개념을 형성, 발명, 조작하는 것"으로 정의한 철학에 참여해야 한다는 것을 의미합니다. 35(p2) 참가자들이 눈앞의 신체를 이해하기 위해 만들어낸 개념은 CBS의 전문적 관행과 분리할 수 없습니다. 
This philosophical work of ontological transitions is foundational to the tasks that must occur at each stage of the lifecycle. It is difficult to imagine, for example, cutting into a body to observe its anatomical structures had we never stopped thinking about that body as a person. We believe this philosophical work is, in fact, “pre-empirical.”35 This means that before we can engage in the art or science of cadaver-based education, we must first engage in philosophy, which Deleuze and Guattari defined as “forming, inventing, and fabricating concepts.” 35(p2) The concepts which participants created in order to make sense of the body before them are inseparable from the professional practices of CBS.

온톨로지 충실도
Ontological fidelity

CBS에 관한 문헌은 주로 시뮬레이터의 효과성 문제에 초점을 맞추고 있습니다. 22,27,34 특히, 현실을 재현하는 사실감의 정도 또는 정확성으로 정의되는 높은 충실도 때문에 의학교육자들에게 CBS는 매력적입니다.48 의학교육자들은 일반적으로 두 가지 유형의 충실도를 인식합니다.49

  • 물리적(즉, 시뮬레이터의 모양과 느낌의 유사성)
  • 기능적(즉, 시뮬레이터가 조작 또는 개입에 반응하는 방식의 유사성)

그러나 CBS에 대한 우리의 연구는 물리적 및 기능적 충실도보다 더 많은 것이 있음을 시사합니다. 특히, 저희는 세 번째 관련 충실도 유형인 존재론적 충실도가 있다고 주장합니다.
The literature on CBS has primarily been focused on issues of simulator effectiveness. 22,27,34 In particular, CBS is appealing to medical educators because of its high fidelity, defined as the degree of realism, or exactness with which it reproduces reality.48 Medical educators generally recognize two types of fidelity:

  • physical (i.e., similarity in the look and feel of the simulator) and
  • functional (i.e., similarity in how the simulator responds to manipulation or intervention).49 

Our study of CBS suggests, however, that there is more to fidelity than physical and functional. Specifically, we argue that there is a third relevant type of fidelity: ontological fidelity.

존재론적 충실도가 중요하다는 것은 부인할 수 없는 사실입니다. 기존의 딱딱하게 고정된 시신과 달리 임상 시신에는 마네킹 시뮬레이터 및 실제 신체와 구별되는 본질적인 고유성이 있습니다. 카데바는 사람이므로 부드러움과 존중을 가지고 다뤄야 합니다. 그러나 카데바는 살아있는 사람이 아니므로 교육용 도구처럼 자르고, 찌르고, 조작할 수 있습니다. 시체에는 냄새, 촉감, 이야기가 있습니다. 교육생이 CBS에 접근하는 진지함은 다른 어떤 학습 활동과도 비교할 수 없습니다. 따라서 우리의 연구는 시체가 무엇인지에 대한 질문이 CBS 실습에 중요하며 대체할 수 없는 고유한 실습이라는 것을 보여주었습니다. 아무리 기술적으로 진보된 고충실도 마네킹이라도 '인간됨'을 속일 수는 없기 때문에 실제 인체를 대체할 수는 없을 것입니다. 
It is undeniable that ontological fidelity matters. In contrast to traditional, hard-fixed cadavers, there is something inherently unique to the clinical cadaver that makes it distinct from both the manikin simulator and the living body. The cadaver is human, and therefore needs to be treated with tenderness and respect. The cadaver is not, however, a living person, and therefore can be cut, prodded, and manipulated like an educational tool. The cadaver has a smell, a feel, and a story. The seriousness with which trainees approach CBS is incomparable to any other learning activity. Our study thus demonstrated that the question of being—what a cadaver ismatters to the practice of CBS, and makes it a unique and irreplaceable practice. Arguably, the most technologically advanced, high-fidelity manikin will never replace a real human body, because you simply cannot fake “human.”

우리는 존재론적 충실도가 들뢰즈와 과타리의 세 가지 사고 방식(예술, 과학, 철학)과 관련하여 빠진 조각일 수 있다고 생각합니다.35 예술이 개념의 감각적, 지각적 측면을 표현하고 과학이 그 기능을 설명하고 조작할 수 있게 해 준다면 철학은 새로운 개념을 묘사하고 창조할 수 있게 해 줍니다. 충실도를 물리적, 기능적, 존재론적 개념으로 개념화하면 CBS를 예술적, 과학적, 철학적으로 표현하는 데 도움이 될 수 있습니다.
We believe ontological fidelity may be the missing piece related to Deleuze and Guattari’s three modes of thought (art, science, and philosophy).35 If art allows us to represent the sensory and perceptual aspects of a concept; science allows us to explain and manipulate its functions; then philosophy allows us to delineate and create new concepts. Conceptualizing fidelity as physical, functional, and ontological can help us represent CBS artistically, scientifically, and philosophically.

시체의 존재론적 충실도 개념은 결과적인 개념입니다. 더글러스-존스가 설명한 "침묵의 멘토"와 함께 작업할 때의 감정적 요소와 함께,29 이는 대면 시체 작업을 없애는 것에 반대하는 중요한 논거를 제공합니다. 현대에는 시체가 더 이상 필요하지 않다는 주장도 있습니다. 특히 코로나19 팬데믹 기간 동안 해부학 학습을 위한 가상 기술의 괄목할 만한 발전으로 값비싸고 자원 집약적인 임상 시체 프로그램이 필요하지 않게 되었습니다.50 그러나 우리의 연구에 따르면 화면을 통해 전달하기 훨씬 더 어려운 시체의 인간성 수준이 중요하다는 것을 알 수 있습니다.39 
The concept of ontological fidelity of cadavers is a consequential one. Along with the emotional elements of working with “silent mentors” as described by Douglas-Jones,29 it provides an important argument against eliminating in-person cadaver work. There has been some argument that cadavers are no longer necessary in the modern era. Particularly during the COVID-19 pandemic, there have been notable advancements in virtual technologies for anatomy learning that could eliminate the need for expensive and resource-intensive clinical cadaver programs.50 However, our research suggests that the level of humanness of the cadaver—something much more difficult to convey through a screen—matters.39

올레자즈41 는 해부 실습실을 도덕적 실험실, 윤리 교육을 실제로 이해할 수 있는 공간, 해부에 사용되는 인체의 모호함에 대처하는 방법을 기증자로부터 배울 수 있는 공간으로 묘사하고 있습니다. 마찬가지로 CBS와 관련된 교육 공간은 도덕적 교육 역할을 합니다. 이 독특한 환경에서 의학교육의 연속선상에 있는 학습자들은 눈앞에 놓인 시체의 물질적 형태와 씨름하며 새로운 개념을 만들어내고, 이를 통해 수행해야 하는 과제를 용이하게 수행할 수 있습니다. 절차적 술기를 가르칠 수 있는 마네킹이나 기타 시뮬레이터 형태의 다른 교육 도구도 분명 존재하지만, 시체의 존재론적 충실도와 그 사용과 관련된 철학적 작업은 대체할 수 없다고 생각합니다. 
Olejaz41 describes the dissection lab as a moral laboratory, a space in which we may come to understand ethics training in practice, as well as a space where students are given a chance by donors to learn how to deal with the ambiguity of human bodies that are used for dissection. Similarly, the teaching spaces associated with CBS serve as a moral pedagogy. It is in this unique environment that learners across the continuum of medical education grapple with the material form of the cadaver in front of them, creating new concepts to facilitate the tasks that must be accomplished. While there are certainly other educational tools available in the form of manikins or other such simulators which enable the teaching of procedural skills, we believe that the ontological fidelity of cadavers, and the philosophical work associated with its use, are irreplicable.

실제 인체와 함께 작업하는 것은 다른 유형의 시뮬레이터로 작업하는 것과는 본질적으로 다르며, 시뮬레이션을 통해 배울 수 있는 것과 그렇지 않은 것, 또는 배울 수 있는 것에 영향을 미치는 방식이 다릅니다.
Working with a real human body is inherently different from working with any other type of simulator in ways that influence what is, is not, or can be learned from simulation.

한계점
Limitations

일반적인 민족지학적 전통에 따라, 우리의 실습 기반 연구는 한 기관에 대해서만 심층적인 설명을 제공합니다. 특히 임상 시신의 준비는 제한된 수의 기관에서만 고유하게 이루어집니다. 이 연구에서 얻은 통찰력이 인체 기증 및 기타 유형의 시신 기반 교육과 관련된 다른 상황에도 적용될 수 있다고 생각하지만, 우리 연구의 이전 가능성을 보장할 수는 없습니다. 
In typical ethnographic tradition, our practice-based study provides an in-depth description of only one institution. The preparation of clinical cadavers, in particular, is unique to a limited number of institutions. While we believe the insights garnered herein translate to other contexts engaging in both human body donation and other types of cadaver-based education, we cannot guarantee the transferability of our work.

우리는 철학적 원리가 중요한 교육 개념을 재고하는 데 어떻게 도움이 될 수 있는지 보여주기 위해 들뢰즈와 과타리의 『철학이란 무엇인가』를 참고했습니다. 그러나 여기서 소개하는 내용은 단순화되고 집중적이며 교훈을 주기 위한 것입니다. 각자의 맥락에서 철학적 작업에 참여하고자 하는 동기를 가진 독자는 예술, 과학 및 철학에 대한 들뢰즈와 과타리의 관점의 미묘한 차이를 이해하기 위해 원본 기고문35을 읽어 보시기를 권장합니다. 
We drew on Deleuze and Guattari’s What is Philosophy in order to demonstrate how philosophical principles can help us to reconsider important educational concepts. However, what we present here is simplified, focused, and intended to be instructive. We encourage readers who are motivated to engage in philosophical work in their own contexts to read the original contribution,35 in order to understand the subtleties of Deleuze and Guattari’s perspectives on art, science, and philosophy.

결론
Conclusion

카데바 기반 시뮬레이션은 카데바 기반 의학 교육의 오랜 역사 속에서 유망하고 흥미로운 혁신입니다. 교육용 카데바는 그 자체로 삶과 죽음 사이의 공간에 존재하며, 눈에 보이는 것과 보이지 않는 곳에서 전문가 간 팀이 수행하는 실습으로 인해 '되기'의 사이클에 있습니다. 시체의 '인간성'은 시체를 분류하기 어려운 자료로 만듭니다. 그러나 이러한 모호성은 절차적 기술 학습뿐만 아니라 참가자들이 시체에 대해 말하는 방식과 시체에 대해 한 일 또는 하지 않은 일에서 분명하게 드러나는 의식적, 무의식적 성찰을 불러일으키는 강력한 교육 도구이기도 합니다. 따라서 CBS는 삶과 죽음의 이분법, 그리고 교육적 타당성을 확립하는 데 필요한 관행에 대한 고정 관념을 불안정하게 만듭니다. 우리는 CBS와 관련하여 "실재하는 것은 되는 것이 통과하는 고정된 조건이 아니라 되는 것, 그 자체, 되는 블록"이라는 들뢰즈와 과타리의 관점을 지지합니다. 35(p238)
Cadaver-based simulation is a promising, and fascinating innovation within the long history of cadaver-based medical education. The educational cadaver, itself, exists in a space between life and death, and is in a cycle of “becoming” because of the practices performed by an interprofessional team both visible and behind the scenes. The “humanness” of the cadaver makes it a difficult material to categorize. However, this ambiguity also makes a powerful educational tool, inspiring not only procedural skills learning, but also conscious and unconscious reflection, made evident in the ways in which participants spoke about cadavers, and in the things they did, or did not do, to them. CBS, then, unsettles fixed ideas about the life/death binary, and about the practices required to establish educational relevance. We support Deleuze and Guattari’s perspective that, when it comes to CBS, “what is real is the becoming, itself, the block of becoming, not the supposedly fixed terms through which that which becomes passes.” 35(p238)

교사, 학습자, 시체 보관소 직원들은 시체의 존재론적 가단성을 관리하면서 철학을 적극적으로 수행하고 있습니다. 우리는 이러한 사전 경험적 철학적 작업이 사실 CBS를 움직이는 원동력이라고 믿습니다. 이러한 존재론적 전환을 개념적으로 관리하고 실질적으로 실행하지 않으면 CBS의 작업은 불가능할 것입니다. 이 논문이 교육 수명 주기 전반에 걸쳐 시신을 관리할 때 참여자들이 불러일으키는 철학적 전략을 반영함으로써 의학교육에서 시신 작업의 복잡한 세계를 새롭게 조명할 수 있기를 바랍니다.
Teachers, learners, and cadaver staff are actively doing philosophy as they manage the ontological malleability of cadavers. We believe this pre-empirical philosophical work is, in fact, the motor that drives CBS. Without conceptually managing and materially enacting these ontological transitions, the work of CBS would not be possible. We hope that in reflecting on the philosophical strategies invoked by our participants as they manage the cadaver across its educational lifecycle, this paper sheds new light on the complex world of cadaver work in medical education.


 

 

Teach Learn Med. 2022 Oct-Dec;34(5):556-572. doi: 10.1080/10401334.2022.2092111. Epub 2022 Jun 30.

 

 

The Lifecycle of a Clinical Cadaver: A Practice-Based Ethnography

Affiliations collapse

Affiliations

1Department of Continuing Professional Development and Medical Education, Dalhousie University, Halifax, Nova Scotia, Canada.

2Department of Emergency Medicine, Dalhousie University, Halifax, Nova Scotia, Canada.

3Research Methods Unit, Nova Scotia Health, Halifax, Nova Scotia, Canada.

4School of Education, Durham University, Durham, UK.

PMID: 35770381

DOI: 10.1080/10401334.2022.2092111

 

Abstract

PhenomenonCadavers have long played an important and complex role in medical education. While research on cadaver-based simulation has largely focused on exploring student attitudes and reactions or measuring improvements in procedural performance, the ethical, philosophical, and experiential aspects of teaching and learning with cadavers are rarely discussed. In this paper, we shed new light on the fascinating philosophical moves in which people engage each and every time they find themselves face to face with a cadaver. ApproachOver a two-year period (2018/19-2019/20), we applied ethnographic methods (137 hours of observation, 24 interviews, and the analysis of 22 documents) to shadow the educational cadaver through the practical stages involved in cadaver-based simulation: 1. cadaver preparation, 2. cadaver-based skill practice with physicians and residents, and 3. interment and memorial services. We used Deleuze and Guattari's concepts of becoming and acts of creation to trace the ontological "lifecycle" of an educational cadaver as embedded within everyday work practices. FindingsWe delineated six sub-phases of the lifecycle, through which the cadaver transformed ontologically from person to donor, body, cadaver, educational cadaver, teacher, and loved one/legacy. These shifts involved a network of bureaucratic, technical, educational, and humanistic practices that shaped the way the cadaver was perceived and acted upon at different moments in the lifecycle. By highlighting, at each phase, 1) the ontological transitions of the cadaver, itself, and 2) the practices, events, settings, and people involved in each of these transitions, we explored questions of "being" as it related to the ontological ambiguity of the cadaver: its conceptualization as both person and tool, simultaneously representing life and death. InsightsEngaging deeply with the philosophical questions of cadaver-based simulation (CBS) helped us conceptualize the lifecycle as a series of meaningful and purposeful acts of becoming. Following the cadaver from program entry to interment allowed us to contemplate how its ontological ambiguity shapes every aspect of cadaver-based simulation. We found that in discussions of fidelity in medical simulation, beyond both the physical and functional, it is possible to conceive of a third type: ontological. The humanness of the cadaver makes CBS a unique, irreplaceable, and inherently philosophical, practice.

Keywords: Cadaver-based simulation; human body donation; medical education; ontological fidelity; philosophy of science.

보건전문직교육에서 현상학적 연구: 양쪽 끝에서 터널 만들기(Teach Learn Med, 2022)
Phenomenological Research in Health Professions Education: Tunneling from Both Ends
Chris B. T. Rietmeijera and Mario Veenb

 

소개
Introduction

다음은 CBTR(크리스)과 MV(마리오)의 이메일 대화 내용입니다. 이 대화는 비엔나에서 열린 2019 유럽 의학교육협회 컨퍼런스에서 시작되었으며, 그 이후로 계속되고 있습니다. 그 목적은 두 가지 관점을 보건 전문직 교육(HPE) 연구의 현상학이라는 공통 기반에 연결하는 것이었습니다. 우리는 현상학적 관점에서 의미 있는 연구를 수행하는 데 관심이 있을 뿐만 아니라 교육 연구자들이 현재 이용할 수 있는 '지침'에 대한 불만도 공유하고 있습니다. Chris는 일반의(GP)이자 GP 수련 프로그램 디렉터로, 수퍼바이저가 GP 수련생을 직접 관찰하는 박사 연구를 진행하고 있습니다. 마리오는 의학적 배경이 없는 학제 간 철학자이자 교육 연구자입니다. 양쪽 끝에서 터널링을 통해 공통의 지점에서 만나려는 시도를 경험했습니다. 이 과정에서 마리오는 직접 관찰 상황에서 환자의 경험에 대한 Chris의 연구 프로젝트에 참여하여 우리가 논의하던 현상학적 원칙을 구체화하는 데 도움을 주었습니다. 현상학적 접근 방식에 충실하게 우리의 대화는 여전히 계속되고 있습니다. 이 논문에서는 현재의 이해를 제시합니다. 이 글은 부분적으로 대화 형식으로 작성되었지만, 우리는 모든 섹션의 후속 초안과 최종 논문을 함께 논의하고 작성했습니다. 
What follows is the substrate of an e-mail dialogue between CBTR (Chris) and MV (Mario). We started this dialogue at the 2019 Association for Medical Education in Europe conference in Vienna, and it has been ongoing since then. The purpose was to connect our two perspectives to a common ground: phenomenology in health professions education (HPE) research. We share an interest in conducting meaningful research from a phenomenological perspective, as well as a frustration with the current “pointers” that are available for educational researchers. Chris is a general practitioner (GP) and GP training program director, who is conducting PhD research on direct observation of GP trainees by their supervisors. Mario is an interdisciplinary philosopher and educational researcher, with no medical background. Tunneling from both ends is how we experienced this attempt to meet on common ground. During this process Mario joined Chris’s research project on patients’ experiences in direct observation situations, which helped us concretize the phenomenological principles we were discussing. True to the phenomenological approach, our dialogue is still continuing. In this paper, we present our current understanding. While this text is – partly – written as a dialogue, we discussed and wrote subsequent drafts of all sections and the final paper together.

크리스 소개
Introduction Chris

몇 년 전, 제 박사 지도교수가 환자 인터뷰 연구에 현상학적 접근법을 제안했습니다.1 우리는 일반 수련에서 직접 관찰(DO)에 대한 레지던트와 수퍼바이저의 관점에 대한 구성주의적 근거이론 포커스 그룹 연구를 두 차례 마쳤습니다.2,3 지도교수는 우리가 DO 상황에 대한 환자들의 경험에 관심이 있으므로 현상학적 접근법이 적절할 것 같다고 주장했습니다. 저는 혼란스러워서 레지던트와 수퍼바이저의 경험을 연구할 때 사용했던 구성주의적 근거 이론 접근법과 어떤 차이가 있는지 물어보았습니다. 이미 현상학적 접근법이 아니었나요? 
A few years ago, my PhD supervisor suggested a phenomenological approach for a patient interview study.1 We had finished two constructivist grounded theory focus group studies on the residents’ and the supervisors’ perspectives on direct observation (DO) in general practice training.2,3 My supervisor argued that since we were interested in the patients’ experiences with DO situations, a phenomenological approach seemed appropriate. This confused me and I asked him what the difference would be from the constructivist grounded theory approach we had used to study the experiences of residents and supervisors. Was that not already phenomenological?

이것이 제 연구에서 현상학의 가치를 이해하고 현상학적 접근이 지금까지 해왔던 것과 어떻게 다른지 배우기 위한 탐구의 시작이었습니다. 저는 HPE 안팎에서 현상학에 관한 문헌을 검색하기 시작했습니다. HPE 문헌에서 저는 여러 현상학 학파에 대한 개요를 발견했습니다.4-6 이 문헌에서는 후설의 설명적 또는 초월적 현상학과 하이데거의 해석적 또는 해석학적 현상학 간의 차이점을 설명하는 경우가 많았습니다. 현상학에 대한 설명과 "괄호치기", "현상학적 환원", "사전 반성적 경험"과 같은 트레이드마크 용어를 제공합니다. 안타깝게도 저는 이러한 설명이 복잡하고 때때로 모순된다는 것을 알았습니다. 제 프로젝트에 대한 구체적인 지침을 제공하지 못했습니다. 
This was the beginning of my quest to understand the value of phenomenology for my research, and to learn how a phenomenological approach differs from what I had been doing so far. I embarked on a search of the literature on phenomenology in and outside HPE. In HPE literature, I found overviews of distinct phenomenological schools.4–6 This literature often explains the differences between Husserl’s Descriptive or Transcendental phenomenology and Heidegger’s Interpretive or Hermeneutic phenomenology. It provides descriptions of phenomenology and trademark terms such as “bracketing,” “phenomenological reduction,” and “pre-reflective experience.” Unfortunately, I found these descriptions complex and at times contradictory. They did not provide concrete guidance for my project.

그래서 저는 현대 현상학자들의 저작을 읽기로 결심했습니다.7,8 이를 통해 현상학적 원리를 이해하는 데 도움이 되었지만 혼란이 가중되기도 했습니다. 이 분야의 노련한 과학자들 사이에서 많은 의견 차이를 접했습니다: 반 마넨은 스미스의 해석적 현상학적 분석을 공격합니다.9 자하비는 반 마넨이 "상당히 잘못 이해하고 있다"고 비난합니다.10 분명히 현상학자들 스스로도 현상학이 무엇인지에 대해 동의하지 않는 것 같습니다. 게다가 인터뷰 연구와 같은 연구에서 현상학을 적용하는 방법에 대한 실용적인 지침을 거의 찾을 수 없었습니다. 실제로 이 문헌을 통해 현상학의 핵심 요소 중 하나는 연구 방법은 말할 것도 없고 정해진 규칙이 없다는 점을 분명히 알 수 있었습니다. 
I therefore decided to read works by some contemporary phenomenologists.7,8 This helped me start to grasp some phenomenological principles, but also added to my confusion. I encountered many disagreements among seasoned scientists in this field: Van Manen attacks Smith’s Interpretive Phenomenological Analysis.9 Zahavi accuses van Manen of “getting it quite wrong.”10 Apparently, phenomenologists themselves disagree on what phenomenology is. Moreover, I hardly found any practical guidelines on how to apply phenomenology in research, such as in the context of an interview study. Indeed, this literature made clear to me that one of the core elements of phenomenology is the absence of fixed rules, let alone a research method.

세 번째 전략으로 현상학적 접근법을 주장하는 HPE 영역의 연구 논문 사례를 연구했습니다. Ajjawi와 Higgs11는 물리 치료사가 임상적 추론을 학습하는 방법과 이에 대해 소통하는 방법에 대한 연구를 수행했습니다. 바이넘과 동료들은 레지던트들의 수치심 경험을 조사했습니다.12 맥라클란과 동료들은 의대생 교육에 대한 환자들의 경험을 연구했습니다.13 더 많은 사례가 있습니다.14,15 이 인터뷰 연구의 저자들은 현상학적 방법을 자세히 설명하고 있으며, 데이터에 대한 몰입과 철저한 반성을 통해 세심한 분석의 증거를 보았습니다. 안타깝게도 많은 논문의 질적 수준에는 깊은 인상을 받았지만, 제가 보기에는 다른 질적 탐구 방법의 결과와 상당히 유사해 보였습니다. 현상학적 입장과 방법에 대한 설명이 다소 혼란스러웠고, 현상학적 연구와 '비현상학적' 인터뷰 연구를 구별할 수 있는 어떤 종류의 '현상학적 마법' 또는 적어도 실행 가능한 요소를 발견할 수 없었습니다. 
As a third strategy, I studied examples of research papers in the HPE domain that claim a phenomenological approach. Ajjawi and Higgs11 conducted research on how physical therapists learn clinical reasoning and how to communicate about this. Bynum and colleagues investigated shame experiences of residents.12 McLachlan and colleagues studied patients’ experiences of medical student teaching encounters.13 There are more examples.14,15 The authors of these interview studies describe their phenomenological methods in detail, and I saw evidence of meticulous analyses through immersion in data and thorough reflexivity. Alas, although I was impressed by the quality of many of these papers, to me, the type of results they provided seemed quite similar to the results of other qualitative inquiry methods. I found descriptions of the phenomenological stance and methods somewhat confusing, and was unable to discern any kind of “phenomenological magic,” or at least a workable ingredient that would distinguish phenomenological from “non-phenomenological” interview studies.

저는 HPE 문헌에서 현상학은 종종 사람들이 어떤 현상에 대해 갖는 주관적인 경험을 조사하는 것과 동의어로 제시된다는 결론을 내렸습니다. 하지만 구성주의적 근거 이론과 같은 다른 유형의 질적 연구에서도 이를 조사할 수 있습니다. 후설 이후 120년이 지난 지금, 모든 질적 연구자들이 현상학에서 얻은 통찰을 통합하여 이 용어가 불필요해진 것이 아닌가 하는 생각이 들었습니다. 
I concluded that, in HPE literature, phenomenology is often presented as synonymous with investigating subjective experiences that people have with some phenomenon. But other types of qualitative research, such as constructivist grounded theory, can also investigate this. The thought occurred to me that perhaps, 120 years after Husserl, all qualitative researchers have integrated insights from phenomenology so that the term has become superfluous.

그래서 저는 이 세 가지 검색을 통해 매혹, 압도, 빈손, 짜증이라는 세 가지 감정을 발견했습니다. 그 자체로 유망한 세계인 현상학에 매료되고 압도되었지만 외부인에게는 이해할 수 없었습니다. 대부분의 철학자가 평생 동안 임상적 추론을 마스터하지 못하는 것과 마찬가지로, 저는 GP로서 평생 동안 고전적 현상학을 깊이 있게 이해하지 못할 것이라는 사실을 이쯤 되면 분명히 알 수 있었습니다. 명확한 실용적인 연구 방법론을 찾지 못해 공허함을 느꼈고, 제가 볼 수 있는 한 다른 질적 접근 방식과 근본적으로 다른 결과를 제공하지 않는 연구 논문에서 현상학에 대한 혼란스러운 설명에 약간 짜증이 났었습니다. 
So, here I found myself after these three searches, fascinated, overwhelmed, empty handed, and annoyed. Fascinated and overwhelmed by phenomenology as a promising world in itself, but incomprehensible to outsiders. It was clear to me by now that in my lifetime, as a GP, I was never going to really understand classical phenomenology in depth, in the same way that most philosophers, in their lifetime, are never going to master clinical reasoning. I felt empty handed because I had not found a clear practical research methodology, and a bit annoyed with confusing descriptions of phenomenology in research papers that, as far as I could see, did not deliver results that fundamentally differed from some other qualitative approaches.

그럼에도 불구하고 저는 현상학에 흥미를 느꼈고, 사람들이 어떤 현상에 노출되었을 때 기본적으로 경험하는 것을 밝혀낼 수 있다는 점에서 그 가능성을 보았습니다. 그래서 포기하지 않고 현상학적 접근법이 구성주의적 근거 이론과 같은 다른 질적 접근법과 어떻게 다른지, 그리고 그것을 이해하기 쉬운 언어와 방법으로 어떻게 포착할 수 있는지 알아보고자 결심하게 되었습니다. 이 과정에서 비엔나에서 열린 AMEE 컨퍼런스에서 마리오 선생님을 만났습니다. 철학자로서 저의 혼란을 이해해주셔서 안심이 되었습니다. 또한 단기적으로는 불편했지만, 당신 스스로도 HPE 연구에 현상학을 적용하는 데 어려움을 겪고 있었으며 간단한 해답이 없었다는 사실에 위안을 받았습니다. 그때부터 우리는 광범위한 편지 교환을 통해 이 터널링 프로젝트를 시작했습니다. 
Nevertheless, phenomenology intrigued me and I saw beauty in its promise to reveal what people basically experience when exposed to a phenomenon. So, instead of throwing in the towel, I became determined to find out how a phenomenological approach differs from other qualitative approaches, such as constructivist grounded theory, and how that can be captured in understandable language and methods. Somewhere in this process I met you, Mario, at the AMEE conference in Vienna. It was a relief that you, as a philosopher, understood my confusion. It was also a consolation, though inconvenient for the short term, that you yourself were struggling with the application of phenomenology in HPE research; you had no brief answers. That is when we started this tunneling project through an extensive exchange of letters.

마리오 소개
Introduction Mario

현상학에 대한 질문으로 저에게 다가오셨을 때, 관련성이 있는 질문이라는 것은 알지만 쉽게 대답할 수 없다는 점에서 당혹스러웠습니다. 저는 인문학 전공자이고 약 10년 전에 의학교육 분야에서 일하기 시작했습니다. 이는 흥미로운 경험이자 문화적 충격이었습니다. 인문학에서 익숙했던 연구 접근 방식이 의학교육 연구에서는 '현상학'이라고 불린다는 것을 알게 되었습니다. 종종 이것은 "경험적" 연구와 대조되었습니다. 그런데 놀랍게도 현상학은 경험적 연구를 수행하기 위한 '방법'으로 제시된다는 사실도 알게 되었습니다. 
When you approached me with questions about phenomenology, this was confronting in the sense that I recognized your questions as relevant but could not answer them easily. My background is in the Humanities and I started working in medical education about ten years ago. This was an interesting experience and culture shock. I found out that the approach to research I was used to in the Humanities was referred to as “phenomenology” in medical education research. Often, this was contrasted with “empirical” research. But, to my confusion, I also found out that phenomenology was presented as a “method” for conducting empirical research.

인문학에서 누군가 현상학에 대해 주장할 때 가장 먼저 하는 질문은 "누구의 현상학인가?"입니다. 현상학은 서로 다른 사상가들이 현상학이 무엇이며 어떻게 실천할 것인가에 대해 서로 다른 반응을 보이는 지적 전통으로 볼 수 있습니다. 후설은 일반적으로 철학적 현상학의 창시자로 여겨집니다. 그러나 그는 칸트나 헤겔과 같은 초기 사상가들도 이 용어를 사용했습니다. 그의 제자 하이데거 역시 후설에 응답했지만, 후설이 현상학에 대해 가졌던 몇 가지 근본적인 가정을 비판하기도 했습니다. 현상학의 역사적 전통에서 각 사상가는 전임자의 개념을 발전시키기도 하고 다른 사상가를 비판하기도 합니다. 예를 들어 버틀러16는 젠더 연구와 문화 이론에 큰 영향을 미친 드 보부아르의 젠더 개념17을 발전시켰습니다. 이 모든 사상가들의 공통점은 무엇을 현상학으로 보는지, 또는 누구의 현상학을 사용하는지 먼저 정의한다는 점입니다.
In the Humanities, when someone makes a claim about phenomenology, the first question is “whose phenomenology?” Phenomenology can be seen as an intellectual tradition in which different thinkers respond to each other and differ with regard to what phenomenology is and how to put it into practice. Husserl is generally seen as the founder of philosophical phenomenology. But he responded to earlier thinkers such as Kant and Hegel, who also used the term. His student, Heidegger, in turn responded to Husserl, but also criticized some fundamental assumptions that Husserl had made about phenomenology. In the historical tradition of phenomenology, each thinker both develops notions of their predecessor and criticizes others. For instance, Butler16 develops de Beauvoir’s notion of gender17 in a way that was hugely influential in gender studies and cultural theory. All of these thinkers have in common that they first define either what they see as phenomenology, or whose phenomenology they are using, rather than treating it as an out-of-the-box method.

여러분이 저에게 질문을 던졌을 때 저는 여러분이 말했듯이 쉬운 대답을 할 수 없었습니다. 이것은 철학과 의학교육 연구에서 계속되는 투쟁입니다. 하지만 현상학은 일상적인 현상을 연구하는 과학으로서 경험, 의미, 의도 등 우리에게 친숙한 단어를 기술적으로 사용한다는 점에서 또 다른 도전에 직면해 있습니다. 일상 언어와 HPE 연구에서 우리는 종종 "경험"과 같은 단어를 마치 그 의미를 정확히 알고 있는 것처럼 사용합니다. 현상학에서는 이에 대해 의문을 제기합니다(경험이란 무엇인가?). HPE 연구는 실무 지향적이기 때문에 이러한 각 용어에 대해 자세히 설명할 여력이 없습니다. 
When you approached me with questions, I had, as you say, no easy answers. This is an ongoing struggle with philosophy and medical education research. But phenomenology faces an additional challenge; as a science of studying everyday phenomena, it uses words that are familiar to us in a technical way for instance: experience, meaning, and intention. In our everyday language and HPE research, we often use words such as “experience” as if we know exactly what they mean. Phenomenology calls these into question (what is experience?). Since HPE research is practically oriented, we simply do not have the bandwidth to elaborate on each of these terms in depth.

그럼에도 불구하고 현상학에 대한 기술적 정의부터 시작하겠지만, 이 정의가 실제로 무엇을 의미하는지는 연구를 진행하면서 명확해져야 할 것입니다. 현상학을 한다는 것은 의식에서 발생하는 것(현상)을 설명하는 것을 의미합니다. 현상학은 현상을 근본적인 객관적 또는 주관적 실재의 표현으로만 취급하는 것이 아니라, 그 자체로 설명할 가치가 있는 대상으로 취급합니다. [그러한 실재가 존재하는지, 그리고 우리가 그러한 실재에 도달할 수 있는지]는 현상학이 답을 구하기보다는 "괄호"(제쳐두는) 질문으로, 현상학은 [현상이 언제 어떻게 우리에게 일어나는지 정확히 기술하고 현상에서 반복되는 패턴이나 구조를 찾는 데] 집중하기 위해 이 질문에 답하지 않습니다. 이러한 구조를 현상의 본질18이라고 부를 수 있는지, 아니면 우리가 세상에 존재하는 우연적인 현상19이라고 부를 수 있는지는 현상학자들이 논쟁하는 근본적인 질문 중 하나입니다.
Let us start with a technical definition of phenomenology nonetheless, although what this definition means in practice will have to become clear as we go along. Doing phenomenology means describing that which arises in consciousness (phenomena). Phenomenology treats phenomena as objects worthy of description in their own right, rather than only as manifestations of an underlying objective or subjective reality. Whether there is such a reality and whether we can ever get to it, is a question that phenomenology “brackets” (sets aside) rather than trying to answer it, in order to focus on describing phenomena exactly how and when they occur to us, and looking for recurrent patterns or structures in their occurrence. Whether these structures can be called essences18 of phenomena or are contingent manifestations of our being-in-the-world19 is one of those fundamental questions phenomenologists debate.

말씀하신 문제에 대해 제 의견을 말씀드리자면, 현상학이 HPE 연구에 도움이 되는 것은 사실이지만, 현상학은 바로 적용할 수 있는 '방법'이나 '방법론'이 아닙니다. 현상학은 연구자의 특정 태도를 요구하는 연구 접근 방식입니다. 이러한 태도는 연구 질문, 데이터 수집, 세분화된 분석, 결과 보고 방식, 연구자로서의 자신의 입장에 대한 성찰 등 연구의 모든 단계에 스며들어 있습니다. 이러한 태도가 없으면 철학적 접근 방식으로서 현상학에 부합하지 않는 방식으로 현상학으로 분류되는 방법을 사용할 수 있지만, 이는 좋은 연구가 아니라는 의미가 아니라, 현상학이 아니라는 의미일 뿐입니다. 반대로 현상학으로 분류되지 않는 방법을 현상학적인 방식으로 사용할 수도 있습니다. 이러한 복잡성에 더해, 연구의 한 측면(예: 현상학적 인터뷰20)에만 현상학적 접근 방식을 취할 수 있고 다른 측면에는 적용하지 않을 수도 있습니다.
Here is my version of the problem that you stated: while we both see benefits of phenomenology in HPE research, phenomenology is not an out-of-the-box “method” or even “methodology” that we can simply apply. It is an approach to research that requires a certain attitude of the researcher. This attitude permeates all levels of the research: research question, data collection, fine-grained analysis, how you report your results, and reflexivity on your own position as a researcher. Without this attitude, one can use methods that are labeled as phenomenological in a way that is inconsistent with phenomenology as a philosophical approach – which does not mean it is not good research; it is just not phenomenology. And conversely, one can use methods that are not labeled as phenomenology in a phenomenological way. Adding to this complexity, one can take a phenomenological approach to only one aspect of the research – e.g. phenomenological interviewing20 – but not to others.

서로 다른 현상학적 접근법 간의 논쟁에 휘말리지 않기 위해 HPE 연구와 직접적으로 관련된 현상학의 몇 가지 기본 사항을 이해하는 것으로 한정하겠습니다. 
To avoid getting bogged down in a debate between different phenomenological approaches, let us confine ourselves to understanding some basics of phenomenology that are directly relevant to HPE research.

현상학이란 무엇인가요?
What is phenomenology?

제가 현상학을 어떻게 보는지 전문 용어를 최소화하여 공유하겠습니다. 현상학은 우리가 편향되거나 편향되지 않은 지식을 가질 수 있는 객관적 실체로서 세계를 조사하는 연구 접근 방식과는 근본적으로 다른 출발점을 가지고 있습니다. 현상학의 주요 특징은 인간에게 일어나는 세계에 초점을 맞추고, 세계가 일어나는 방식과 무관하게 세계를 객관적으로 '있는 그대로' 설명하는 것은 불가능하다고 주장한다는 점입니다. 
Let me share - with a minimum of jargon - how I see phenomenology. Phenomenology has a radically different starting point from approaches to research that investigate the world as an objective reality that we can have biased or unbiased knowledge of. Its key feature is that it focuses on the world as it occurs to human beings, and asserts that it is impossible to describe the world as it objectively “is” independent of how it occurs.

현상학은 우리가 마주하는 현상을 분석하는 학문입니다. 세상이 일상 생활에서 우리 인간에게 나타나는 방식이 그 출발점입니다. 현상은 사물부터 상황, 생각이나 경험에 이르기까지 우리가 하루를 보내면서 인식하게 되는 모든 것이 될 수 있습니다.

  • 현상은 스스로 드러나는 것, 또는 일어나는 것을 의미합니다.
  • 따라서 현상은 우리에게 나타나는 대로 우리에게 나타나는 것을 연구하는 것을 의미합니다.19

이러한 방식으로 현상학은 일상생활을 출발점으로 삼지 않는 과학 및 연구 접근법, 일상생활을 그 자체로 보지 않고 미리 설정된 분석적 틀 안에서 조사하는 접근법과 대조됩니다. 
Phenomenology is the analysis of phenomena as we encounter them. The way the world presents itself to us human beings in ordinary life is its starting point. A phenomenon can be anything from a thing to a situation to a thought or experience that we become aware of as we go about our day. 

  • Phenomenon means that which shows itself, or that which occurs.
  • Phenomenology therefore means to study that which shows itself to us as it shows itself to us.19 

In this way, phenomenology is contrasted with approaches to science and research that do not take everyday life as a starting point, and with those that examine everyday life occurrences not on their own terms, but within preset analytical frameworks.

예를 들어, 잠에서 깨어나 그날 밤 꾼 꿈을 기억한다고 생각해 보세요. 꿈은 현상입니다. 아마도 꿈에서 당신은 하늘을 날고 있었을 것입니다. 그 꿈에 대해 생각하고 분석하면서 생각을 적고 기분이 어땠는지, 반복되는 꿈인지, 그 꿈이 자신에게 어떤 의미가 있는지 살펴볼 수 있습니다. 매일 아침 꿈을 적고, 비교하고, 패턴을 찾고, 일기를 쓰는 등 하루 중 꿈의 특정 요소와 겹치는 다른 사건이 있는지 살펴봄으로써 꿈에 대한 현상학적 분석을 수행할 수도 있습니다. 이 현상학적 분석에서는 꿈이 진짜인지 아닌지, 예측 가치가 있는지 없는지, 꿈의 원인이 무엇인지에 대해서는 관심을 두지 않는다는 점에 유의하세요. 여러분은 단순히 자신에게 일어나는 일을 설명하는 것을 목표로 하고 있습니다. 
As an example, think of waking up and remembering a dream you had that night. The dream is the phenomenon. Perhaps, in the dream, you were flying. You could think about the dream and analyze it, writing your thoughts down and examining how it makes you feel, whether this is a recurring dream and if the dream means anything to you. You could even perform a phenomenological analysis of your dreams by writing them down each morning, comparing them, looking for patterns, and examining (e.g. by keeping a diary) whether there are other events in your day that seem to co-occur with certain elements in dreams. Notice that in this phenomenological analysis, you have not concerned yourself with whether dreams are real or not, whether they have predictive value, or what causes them. You are simply aiming to describe what occurs to you.

예를 들어 꿈을 낮 동안의 미완성 된인지 활동의 처리로 보는 등 꿈에 대한 신경학적 또는 심리적 이론을 살펴보기 시작하는 순간 우리는 현상학을 벗어난 것이다. 그렇다고 현상학에서 신경학적 또는 다른 설명의 가능성을 부정하는 것은 아니며, 현상이 의미 있는 사건으로 우리에게 어떻게 나타나는지에 집중하지 않기 위해 이 옵션을 일시 중단한 것입니다. 현상학에서 설명이나 이론을 중단하는 것을 '괄호 치기'라고 하는데, 우리는 현상(이 경우 꿈)이 '진짜'인지 또는 무엇이 '원인'인지에 대해서는 관심을 두지 않습니다. 대신 '사물 자체'를 설명하는 데 집중합니다.18(168쪽) 해석적 틀을 통해 현상을 분석하기 전에 현상이 어떻게 발생하는지를 포착하는 것이 현상학의 핵심이자 주요 과제입니다. 이는 '가공된' 세계가 아니라 세계가 우리에게 제시하는 날것 그대로의 방식, 즉 반성 이전의 인식을 포착하는 것이 이상적입니다. 우리(특히 연구자)는 분석적 프레임워크 내에서 현상을 분류하여 즉각적으로 분석하는 데 익숙하기 때문에 이는 매우 어려운 일입니다.  
The moment we start to look at neurological or psychological theories about dreams, for instance by seeing dreams as the processing of unfinished cognitive activities during the day, we have left phenomenology. This does not mean that, in phenomenology, we deny the possibility of neurological or other explanations; we simply suspend this option in order not to be distracted from how the phenomenon shows itself to us as a meaningful event. This suspending of explanations or theory in phenomenology is called “bracketing”: we are not concerned with whether the phenomenon – in this case the dream – is “real” or with what “caused” it. Instead, we remain focused on describing the “things themselves”.18(p168) This is both the core and the major challenge of phenomenology, to capture how a phenomenon occurs before we analyze it through interpretive frameworks. This is the ideal of capturing pre-reflective awareness: the raw way in which the world presents itself to us, rather than a “processed” version of it. This is so challenging because we (especially researchers) are used to instantly analyzing phenomena by categorizing them within analytical frameworks.

현상학의 몇 가지 기본 원칙
Some basic principles of phenomenology

현상에 대한 즉각적인 접근
Immediate access to phenomena

이 예를 염두에 두고 현상학은 우리가 즉각적으로 접근할 수 있는 것에 관심을 갖는다고 현상학에 대한 기본적인 설명을 할 수 있습니다. 꿈을 꾸는 사람만이 꿈에 직접 접근할 수 있습니다. 다른 사람들(연구자 포함)은 꿈꾼 사람이 보고하는 것을 통해서만 꿈에 접근할 수 있습니다.

  • 비현상학적 접근법은 일반적으로 우리가 즉각적으로 접근할 수 있는 것을 넘어 심리학이나 신경학과 같이 미리 정의된 이론적 입장에서 현상을 분석하려고 시도합니다.
  • 비현상학적 접근의 또 다른 예인 현실주의적 평가"인과적 규칙성을 발생시키는 근본적이고 생성적인 메커니즘"을 파악하려고 시도합니다.21(p1)

현상학은 이러한 종류의 메커니즘이 존재하는지, 또는 무엇으로 구성되어 있는지에 대해 어떠한 주장도 하지 않으며, 단지 우리가 단순히 우리에게 일어나는 것을 관찰할 때 즉시 이용할 수 없다는 것만 주장합니다. 이러한 현상학의 원리를 환자가 직접 관찰(DO) 상황을 경험하는 방식에 대한 인터뷰 연구에 적용하여,1 우리의 목표는 일상 생활 맥락에서 참가자가 현상에 즉각적으로 접근하는 방식을 연구하여 DO 상황과 환자 간의 관계에서 반복되는 패턴을 찾는 것이었습니다. 
With this example in mind, we come to a basic description of phenomenology as being concerned with that to which we have immediate access. Only the dreamer has direct access to the dream. Others (including researchers) only have access to the dream through what dreamers report.

  • Non-phenomenological approaches usually attempt to go beyond that which we have immediate access to, and instead analyze phenomena from a pre-defined theoretical position, such as psychology or neurology.
  • Realist evaluation, as another example of a non-phenomenological approach, attempts to identify “underlying, generative mechanisms that give rise to causal regularities”.21(p1) 

Phenomenology does not make any claim about whether these kinds of mechanisms exist or what they consist of, but only that they are not immediately available when we simply observe what occurs to us. Applying this principle of phenomenology to our interview study on how patients experience direct observation (DO) situations,1 our goal was to study participants’ immediate access to the phenomenon in an everyday life context, looking for recurring patterns in the relationship between the DO situation and the patient.

그러나 HPE 연구 실무에서 문제는 참가자가 직접 접근할 수 있는 것뿐만 아니라, 연구자로서 어떤 데이터와 방법을 통해 상황에 접근할 수 있는지에 대한 것입니다. 이 질문에 대한 명확한 답은 없습니다. 우리의 DO 연구는 연구자가 참여자가 되어 자신의 경험을 기술하고 성찰하는 자기인류학 방법을 사용하여 수행될 수 있었습니다. 또는 실제 DO 상황을 녹화하고 비디오 녹화를 분석하는 방법을 사용할 수도 있습니다. 이 경우 언어적 상호작용뿐만 아니라 시선 접촉, 누가 어디에 앉는지 등 DO 중에 보이는 것과 들리는 것을 즉각적으로 파악할 수 있었을 것입니다. 그래서 저희는 참가자와의 인터뷰를 진행하기로 결정했습니다. 그러나 어떤 데이터 수집 방법을 채택하든, 처음부터 해석, 기억 또는 기타 분류의 필터를 거치지 않고 현상 또는 현상의 일부가 그 자체로 드러날 수 있도록 하는 데 초점을 맞춰야 합니다.  
However, in the practice of HPE research, the question is not just what the participants have direct access to, but through which data and methods we as researchers can gain access to the situation. There is no obvious answer to that question. Our DO study could have been done using methods of autoethnography, in which the researcher is the participant and describes and reflects on their own experience. Or alternatively, through recording actual DO situations and analyzing the video recordings. In that case, we would have had immediate access to what is visible and audible during DO: what happens in terms of verbal interaction, but also in terms of eye contact, who sits where, etc. We opted for conducting interviews with participants. But whatever data collection method one adopts, it should be focused on the phenomenon, or part of the phenomenon, being able to show itself on its own terms, rather than through a filter of interpretation, memory, or any other categorization we impose on it from the start.

경험적 연구에서 '사전 성찰'은 이상적이지만, 저희는 참가자가 그 DO 상황에 처했을 때의 '날것' 경험을 최대한 포착하려고 노력했습니다. DO 상황이 발생한 직후에 인터뷰를 진행했기 때문에 참가자들이 그 경험을 '생생하게' 느끼고 반성할 시간이 많지 않았습니다. 인터뷰에서는 특정 현상과 관련하여 참가자에게 인식된 장벽과 조력자에 대해 명시적으로 묻는 인터뷰 연구에서와 같이 DO에 대한 의견이나 이에 대한 참가자의 해석에 초점을 맞추기보다는 경험의 '방법'에 초점을 맞춰 참가자를 부드럽게 안내했습니다. 정교한 질문을 통해 해석의 틀을 제시하는 대신 고개를 끄덕이거나 문장의 마지막 단어를 반복하는 등 비지시적인 프롬프트를 통해 참가자를 자극했습니다. 
Although in the practice of empirical research “pre-reflective” is an idealization, we tried as much as possible to capture the “raw” experience of what it was like for the participant to have been part of that DO situation. We performed the interviews immediately after the DO situation, so that the experience was still “fresh” and the participants did not have much time to reflect on it. In the interviews, we gently steered participants to the “how” of the experience, rather than focusing on their opinions about DO or their own interpretations of it – as might be done in an interview study that explicitly asks participants about perceived barriers and enablers with regard to a certain phenomenon. Instead of introducing interpretive frameworks through elaborate questions, we stimulated participants with non-directive prompts, like nodding and repeating the last words of a sentence.

의미와 자연스러운 태도를 괄호로 묶기
Meaningfulness and bracketing the natural attitude

두 번째 기본 원칙으로, 현상학에서는 의미를 현상의 필수적인 부분으로 간주하며, '객관적인' 연구 대상을 갖기 위해 제거해야 하는 것이 아니라고 생각합니다. 현상은 누군가에게 발생하며 무언가를 가리킵니다. 예를 들어, 누군가에 의한, 그리고 무언가에 대한 지식이 아닌 '지식'이란 존재하지 않습니다. HPE 연구에서 다루는 연구 대상은 거의 항상 의미가 있습니다. 예를 들어 의학과는 달리 우리는 화학적 과정이 아니라 인간의 과정을 연구합니다. 우리는 대상과 대상 간의 관계를 연구합니다. 이번 연구 프로젝트에서는 환자가 주체가 되어 환자가 처한 DO 상황과의 관계를 연구했습니다. 현상학에서는 주체와 객체, 그리고 이들 간의 관계를 현상의 본질적인 부분으로 간주하며, 이 관계 없이는 현상을 이해할 수 없습니다. 이러한 관계는 당연한 것으로 받아들이는 것이 아니라 현상학적 탐구의 일부입니다.
As a second basic principle, phenomenology considers meaning to be an integral part of phenomena and not something that we have to do away with in order to have an “objective” research object. Phenomena occur to someone and point to something. For instance, there is no such thing as “knowledge” that is not knowledge by someone and about something. The research objects that HPE research concerns itself with are almost always meaningful. Unlike medical science, for instance, we do not study chemical processes but human processes. We study relationships between objects and subjects. In our research project, the patient was the subject and we studied their relationship to the DO situation that they were in. Phenomenology treats subjects, objects, and the relationships between them as essential parts of phenomena without which we cannot understand them. These relationships are part of a phenomenological investigation instead of taking them for granted.

후설은 관계를 당연시하는 것을 자연적 태도, 즉 객관적 실재의 존재나 그 실재와의 관계에 대해 의문을 제기하지 않는 일상적 삶의 태도라고 불렀습니다.22 이는 또한 우리 외부에 우리가 속하지 않고도 조사할 수 있는 경험적 실재가 있다는 관점에서 연구를 수행하는 비현상학적 HPE 연구에서 우리가 취하는 태도입니다. 자연적 태도의 관점에서 보면 레지던트는 환자와 상담을 하고 슈퍼바이저는 관찰을 위해 '그냥 거기'에 있는 것입니다. 물론 이것이 이상적이라는 것은 알고 있지만, 수퍼바이저가 이 역할에 충실하고 '벽에 붙은 파리'가 될수록 관찰이 더 성공적으로 이루어질 수 있습니다.2 예를 들어 자연적 태도에서는 참여자와 인터뷰를 하고 코딩할 수 있습니다.
Husserl called this taking for granted of relationships the natural attitude: the attitude of everyday life in which we do not question the existence of an objective reality or our relationship to it.22 It is also the attitude we have in non-phenomenological HPE research, in which we conduct research from the perspective that there is an empirical reality outside of us that we can investigate without being part of it. From the perspective of the natural attitude, the resident has a consultation with a patient, and the supervisor is “just there” to observe. Of course we know this is an ideal, but the more the supervisor can conform to this role and be a “fly on the wall,” the more successful the observation will be.2 From the natural attitude, we could, for instance, hold interviews with the participants and code them.

그러나 현상학적 태도(자연적 태도에 괄호를 치는)에서 우리는 "직접 관찰"이라는 아이디어에 의문을 제기했습니다. 우리는 슈퍼바이저와 참석자 간의 관계가 어떤지 미리 알고 있다고 가정하지 않았습니다. 사실, 이것이 바로 우리가 조사하고자 했던 것이었습니다. 이 조사의 일환으로 저희는 환자들이 그 상황을 어떻게 경험했는지에 대해 인터뷰하고 싶었습니다. 그런 다음 이러한 인터뷰를 분석하면서 환자가 상황 전체에 대한 관계와 함께 동석한 다른 두 사람과의 관계를 어떻게 구성했는지에 초점을 맞추었습니다.
But from a phenomenological attitude (bracketing the natural attitude), we called the idea of “direct observation” into question. We did not assume that we knew beforehand what the relationship was between the supervisor and the other people present. In fact, this was precisely what we wanted to investigate. As part of this investigation, we wanted to interview patients about how they experienced the situation. In the analysis of these interviews, we then focused on how patients constructed their relationship to the situation as a whole and their relationship to the two other people that were present.

중요한 것은 자신이 알고 있는 것만 괄호로 묶을 수 있다는 것입니다. 현상에 대해 우리가 이미 가지고 있는 성향을 인식하는 것은 그것들을 한쪽에 배치하는 것만큼이나 중요합니다. 현상학에서 우리는 우리가 인식하는 대상에 우리의 관점, 판단, 가치관이 스며들어 있음을 인식합니다.3 우리가 보는 모든 것은 이미 세상에 대한 우리의 근본적인 태도에 의해 채색되어 있습니다. 그러나 자신의 근본적인 가정을 인식하는 것은 가장 어려운 철학적 관행 중 하나입니다.23 이는 연구 전후에 한 번만 성찰하는 것이 아니라 현상학적 연구 전반에 걸쳐 지속적으로 수행되는 관행입니다. 본 연구에서는 인터뷰를 진행하기 전에 두 명의 주요 연구자가 각각 DO 상황에서 환자가 되는 것에 대한 자신의 가정에 대한 에세이를 썼습니다. 그런 다음 이 에세이에 대해 서로 인터뷰했습니다. 이 세션은 녹음, 필사 및 분석되었으며, 이 과정은 두 연구자가 연구 기간 내내 작성한 반성적 일기의 시작이 되었습니다.
Importantly, one can only bracket what one is aware of. Becoming aware of the dispositions we already have toward the phenomenon is just as important as placing them to one side. In phenomenology, we recognize that the objects we are aware of are imbued with our perspective, our judgements, and our values.3 Anything we see is already colored by our fundamental attitude to the world. However, becoming aware of one’s own fundamental assumptions is one of the most challenging philosophical practices.23 It is an ongoing practice throughout phenomenological research, rather than a one-time reflection before or after the research. In our study, prior to conducting interviews the two main researchers each wrote an essay on their own assumptions about being the patient in a DO situation. They then interviewed each other about these essays. This session was recorded, transcribed, and analyzed, and this process served as the start of a reflexive diary that both researchers kept throughout the study.

연구자의 반성적 성찰은 모든 질적 접근 방법의 일부이지만, 일반적으로 연구자로서의 자신의 배경이 관점을 편향되게 만들었을 수 있는 방법을 찾기 위해 자신의 입장을 성찰하는 것으로 귀결됩니다. 그러나 괄호는 연구자가 가질 수 있는 의견(또는 기타 "편견")이 아니라 관계에 대한 가정(예: 이 경우 DO 상황에서 환자와 레지던트 및 감독자 간의 관계)과 DO에서 작동한다고 가정하는 기본 메커니즘에 대한 가정에 관한 것입니다. 
While researcher reflexivity is a part of all qualitative approaches, it usually comes down to reflecting on one’s own positionality to look for ways in which one’s own background as a researcher might have biased their perspective. However, bracketing is not so much about the opinions (or other “biases”) one might have, but on assumptions about the relationships, such as, in this case, for example, the relationship between the patient and the resident and supervisor in the DO situation, and about what underlying mechanisms one assumes are at work in DO.

현상을 그 자체로 설명하기
Describing phenomena on their own terms

세 번째 원칙으로, 현상학은 대부분의 연구 접근 방식에서 익숙한 방식, 즉 현상을 '파일화할 수 있는' 연구 대상으로 환원하고 주관적 경험의 고유성에서 추상화하는 것을 지양합니다이론은 '제3의 관점', 즉 내 것도 네 것도 아닌 일종의 비인격적 입장에서 세상을 설명합니다. 현상학에서 현상은 일차적인 것이며, 의학교육 연구에서 체계적으로 또는 일상에서 '비공식적으로' 사물을 분석하는 방식으로 현상을 이론화하고 분석하는 것은 이 일차적인 경험에 뿌리를 두고 있습니다. 현상학은 3인칭의 '외부' 관점에서 공식화된 범주가 아닌, 현상 자체의 관점에서 현상을 이해하는 것을 목표로 합니다.
As a third principle, phenomenology refrains from doing something that we are so used to in most approaches to research: reducing phenomena to research objects that become “fileable” entities and abstracting them from the uniqueness of subjective experience. Theory describes the world from a “third perspective,” a kind of impersonal position that is neither yours nor mine. In phenomenology, the phenomenon is primary, and theorizing and analyzing phenomena – whether systematically in medical education research, or in the way that we analyze things “informally” throughout our day – is rooted in this primary experience. Phenomenology aims to understand phenomena on their own terms rather than in terms of categories that have been formulated from a third-person, “outside” perspective.

환자 연구에서 우리는 구성주의적 근거 이론의 목표가 될 수 있는 심리적 또는 사회학적 과정에 대한 이론을 구축하는 측면에서 말한 내용을 이해하려고 노력하지 않았습니다. 대신, 우리는 사람들의 성찰 전 경험 사이의 공통점을 설명하고자 했습니다. 예를 들어, 일부 환자들은 레지던트와 수퍼바이저 간의 명확한 역할 분담이 수련 중에 위반되어서는 안 되는 중요성에 대해 보고했습니다. 그러나 역할 위반이 때때로 DO와 일치하는 것으로 취급된다는 징후도 발견했습니다. 또한 많은 환자들이 레지던트와 슈퍼바이저가 서로 조화를 이루는 것 같아서 즐거운 경험이었다고 강조했습니다. 
In our patient study, we were not striving for an understanding of what was said in terms of building theory on psychological or sociological processes as could, for instance, be the aim of constructivist grounded theory. Instead, we wanted to describe commonalities between people’s pre-reflective experiences. As an example, some patients reported on the importance of a clear role division between resident and supervisor that should not be breached during DO. But we also found indications that role breaching was sometimes treated as consistent with DO. Moreover, many patients emphasized that the experience had been pleasant because the resident and supervisor seemed in harmony with each other.

비현상학적 접근법이었다면, 우리는 이러한 결과를 통해 DO 상황에서의 역할 분담과 조화에 대한 이론을 유도했을 것입니다. 대신 우리는 이러한 환자들의 생각을 반복되는 경험의 사전 반성적 구조로 거슬러 올라갔습니다. 즉, 진료 상황에서 환자가 된다는 것은 두 명의 의사와 한 공간에 있는 것을 의미하며, 그들이 서로 어떻게 상호작용할지, 그리고 자신과 어떻게 상호작용할지 모른다는 것을 의미했습니다. 이는 차분하고 친근한 상호 작용에 대한 환자의 요구와 이를 보장하기 위한 환자의 수동적인 역할에 공감을 불러일으켰습니다. 
In a non-phenomenological approach, we might have induced from these findings a theory on role division and harmony in DO situations. Instead we traced these patients’ ideas back to a recurring pre-reflective structure of the experience: being the patient in a DO situation meant being in a room with two doctors, not knowing how they will interact with each other and with oneself. This resonated with patients’ needs for calm and friendly interactions, and their passive role in securing these.

경험에서 반복되는 패턴을 파악하기 위해 우리는 이 요소(상상적 변형)가 없어도 그 현상을 여전히 그 현상이라고 할 수 있는지에 대한 질문에 따라 안내를 받았습니다.7 예를 들어, 환자와 슈퍼바이저 사이의 눈맞춤에 대한 많은 코드가 있었기 때문에 경험의 필수 요소로 보였습니다. 그러나 우리는 이러한 아이컨택이 없어도 DO 상황에서 환자가 되는 것은 여전히 같은 현상이 될 것이라고 생각했습니다. 아이컨택은 DO에 필수적이지 않은 것 같았습니다. 환자가 공감하고 안심할 수 있는 두 번째, 더 선배 의사의 존재가 필수적인 것으로 보였고, 이 때 아이컨택이 중요한 역할을 하는 경우가 많았습니다.
To identify recurring patterns in the experience, we were guided by the question of whether the phenomenon would still be the phenomenon without this element (imaginative variation).7 We had, for example, many codes about eye contact between the patient and the supervisor, which therefore seemed an essential element of the experience. However, we reasoned that without this eye contact, being the patient in a DO situation would still be the same phenomenon. Eye contact did not seem essential for DO. What seemed essential was the presence of a second, more senior doctor that the patient could relate to and be reassured by, in which eye contact often played a role.

HPE 연구의 현상학적 관행
Phenomenological practices in HPE research

질적 연구에 대한 배경 지식이 있는 독자는 위에서 설명한 많은 원칙의 측면을 자신의 연구 방법에서 인식하고 현상학과 (다른 형태의) 질적 연구의 차이점이 무엇인지 궁금해할 수 있습니다. 실제로 현상학이 일반적으로 질적 연구와 즉시 구별되지 않는 경우가 많기 때문에 현상학이 무엇인지 파악하는 데 있어 HPE 연구자들이 겪는 어려움 중 하나가 바로 이것입니다. 
Readers with a background in qualitative research might recognize aspects of many of the principles discussed above in their own methods, and wonder what constitutes the difference between phenomenology and (other forms of) qualitative research. Indeed, this is one of the challenges for HPE researchers in grasping what phenomenology is: it is often not immediately distinguishable from qualitative research in general.

여기에는 역사적, 철학적 이유가 있습니다. 예를 들어, 사회 구성주의는 후설, 하이데거, 메를로퐁티와 같은 현상학자들을 배경으로 그리고 그들과의 대화를 통해 발전해 왔기 때문에 [현상학]을 [사회 구성주의적 접근 방식]과 대조하는 것은 오해의 소지가 있습니다. HPE 연구에 영향을 미친 사상가 중 한 명인 푸코(이 시리즈의 이전 연재 주제25)는 흔히 포스트 구조주의자로 분류되며 구성주의 및 구성주의와 관련이 있습니다. 그러나 푸코는 하이데거를 자신의 사고에 가장 중요한 영향을 준 사람 중 한 명으로 꼽았습니다.26 역사적 관점에서 보면 현대의 민족지학, 구성주의, 담론 분석 등은 모두 현상학이라는 역사적, 철학적 운동의 존재에 어느 정도 의존하고 있습니다. 따라서 현상학을 공부하면 종종 현상학과 대조되지만 실제로는 현상학에 의존하는 접근법을 더 잘 이해할 수 있습니다. 
There are historical and philosophical reasons for this. For instance, it is misleading to contrast phenomenology with social constructivist approaches, since social constructivism has been developed against the background of and in dialogue with phenomenologists like Husserl, Heidegger, and Merleau-Ponty. Foucault, one of the thinkers who has been influential in HPE research24 (and the subject of a previous installment in this series25), is often categorized as a post-structuralist and associated with constructivism and constructionism. However, Foucault listed Heidegger as one of the most important influences on his thinking.26 In historical terms, our modern versions of ethnography, constructivism, discourse analysis, and so on, are all to some extent dependent on the existence of the historical and philosophical movement of phenomenology. Studying phenomenology will therefore also lead to a better understanding of approaches that are often contrasted with it, but that actually depend on it.

[철학적 사유]란 [연구 수행에 대한 광범위한 접근 방식]과 [구체적인 연구 방법] 간의 관계에 관한 것입니다. 우리가 설명한 방식으로 자연스러운 태도를 괄호로 묶지 않고도, 자신의 해석적 틀의 관점이 아닌 자신의 용어로 문화 현상을 설명하기 위해 열린 자세로 민족지학에 현상학적 접근법을 취할 수 있는 것처럼, 비현상학적 방식으로 해석적 현상학적 분석(IPA)27을 적용할 수 있습니다. 현상학은 [과학에 대한 접근 방식]이지 [특정 과학적 방법]이 아닙니다. 현상학은 해답을 제공할 뿐만 아니라 구체적인 연구 수행과 관련된 특정 질문을 하도록 자극합니다. 
The philosophical reason concerns the relationship between broad approaches to conducting research and concrete research methods. Without bracketing the natural attitude in the way we have described, one can apply Interpretive Phenomenological Analysis (IPA)27 in a non-phenomenological way, just as one can take a phenomenological approach to ethnography with a deep commitment to being open to describe cultural phenomena on their own terms rather than from the perspective of one’s own interpretive frameworks. Phenomenology is an approach to science, and not a particular scientific method. Not only does it provide answers, it also stimulates asking certain questions related to the concrete practice of doing research.

모든 연구자, 특히 현상학적 관점에서 연구를 수행하고자 하는 연구자가 스스로에게 던져볼 수 있는 네 가지 질문이 있습니다:
There are four questions we suggest all researchers, but especially those committed to conducting research from a phenomenological perspective, could ask themselves:

  1. 내가 연구하고자 하는 현상에 대해 어떤 즉각적인 접근이 가능한가, 그리고 다양한 데이터 수집 방법이 접근에 어떤 영향을 미치는가? 예를 들어, 인터뷰를 통해 그 사람이 그 상황에 처했을 때 어땠는지 보다 직접적으로 접근할 수 있지만, 과거의 상황이기 때문에 항상 어느 정도 해석과 반영이 필요합니다. 상황의 비디오 녹화를 통해 각 참가자의 말과 행동 측면에서 상황이 어떤지 즉각적으로 알 수 있지만, 그들이 생각하거나 느끼는 것, 또는 의도가 무엇인지에 대해서는 알 수 없습니다.
    What immediate access do I have to the phenomenon I want to study, and what implications do different data collection methods have for access? For instance, through interviews I have a more direct access to what it was like for that person to be in that situation, but because the situation is in the past, there is always some extent of interpretation and reflection. Through video recordings of the situation I do have immediate access to what the situation is like in terms of what each participant says and does, but I do not have access to what they think or feel, or what their intentions are.
  2. 내 데이터를 통해 즉각적으로 접근할 수 있는 것이 무엇인지에 대한 질문과 관련하여, 연구에서 현상에 대해 알고 주장할 수 있는 것의 한계는 어디까지일까요? 연구를 수행한다는 것은 우리가 무엇을 연구하고 있는지, 우리가 연구하는 대상과 어떤 관계가 있는지, 그리고 그것에 대해 어떤 종류의 진술을 할 수 있는지 또는 할 수 없는지에 대해 정확하게 파악하는 것을 의미합니다. 예를 들어, '감정'이 아닌 '감정에 대해 인터뷰하는 사람들의 오디오 녹음'과 같은 데이터가 무엇인지, 그리고 이 연구 데이터를 통해 무엇을 말할 수 있는지 명확히 해야 합니다. 인터뷰 녹음에서는 '생각'을 관찰하는 것이 아니라 설명, 상호작용 등과 같은 사회적 행동을 관찰합니다. 따라서 우리는 "환자가 생각한다"라고 말하지 않고 "참가자가 그렇게 보고한다..."라고 말합니다. 
    Related to the question of what my data gives me immediate access to, what are the limits to what I can know and assert about the phenomenon in my research? To conduct research means to be precise about what we are studying, what our relation is to that which we are studying, and what kind of statements we can or cannot make about it. We have to be clear what our data is (for instance, “audio recordings of people being interviewed about emotions,” instead of “emotions”) and what this research data allows us to say. In recordings of interviews, we do not observe “thoughts,” but social actions such as descriptions, interactions, and so on. So, we do not say “patients think”, but "participants report that…".
  3. 내가 조사하는 상황에 대한 나의 자연적 태도는 무엇이며, 그 현상이 저절로 나에게 나타나기 위해서는 무엇이 필요할까요? 일반적인 연구(따라서 현상학적 연구 포함)와 관련된 성찰과는 달리, 이러한 유형의 성찰은 나의 문화적 배경과 가정이 (객관적인) 현상에 대한 나의 인식을 어떻게 편향시키는지에 관한 것이 아니라, 나와 인터뷰 대상자와의 관계 또는 인터뷰 대상자와 그들이 말하는 DO 상황의 관계와 같은 관계에 관한 가정에 관한 성찰입니다. "편향"이라는 용어는 주관적인 연구자가 관점을 가지고 있는 상황이 존재한다고 말하는 자연스러운 (객관주의적) 태도를 말합니다. 즉, 주관성은 가능한 한 비활성화해야 하는 필터로 간주됩니다. 그러나 현상학에서 주관성은 나쁜 것이거나 현상에 덧붙여진 것이 아니라 오히려 현상의 필수적인 부분이며 현상을 이해하기 위한 필수 요건입니다. 예를 들어, 담화 심리학28에서는 상황의 기록에서 눈에 보이고 들리는 것만 기술하도록 제한하고, 참여자가 수행해야 하는 제도적 역할이나 남성인지 여성인지와 같은 상호작용 외적인 범주에 대해서는 언급하지 않습니다. 물론 참여자 스스로가 이러한 범주를 관찰 가능하게 만들어 상호작용과 현상의 일부로 삼지 않는 한 말이죠.
    What is my natural attitude toward the situation I examine and what would it take for the phenomenon to show itself to me on its own terms? In contrast to reflexivity as it pertains to research in general (thus, including phenomenological research), this type of reflection is less about how my cultural background and assumptions would bias my perception of the (otherwise objective) phenomenon, but rather about assumptions regarding relationships, such as my relationship to the interviewee, or the relationship of the interviewee to the DO situation they are speaking about. The term “bias” refers to the natural (objectivist) attitude that says that there is a state of affairs out there that a subjective researcher has a perspective on. In other words, subjectivity is seen as a filter that we should disable as much as possible. Within phenomenology, however, subjectivity is not something bad or added on to phenomena, but rather it is an integral part of phenomena and a requirement to understand them. In Discursive Psychology,28 for instance, we confine ourselves to only describing what is visible and audible in the recordings of the situation, and refrain from referring to interaction-external categories such as the institutional role that a participant is expected to fulfill or whether they are male or female – unless, of course, the participants themselves observably make these categories part of the interaction and therefore of the phenomenon.
  4. 내 연구 장치가 내가 조사하는 현상에 어떤 영향을 미치나요? 이 질문에서 알 수 있듯이 연구 장치, 즉 내가 일하는 대학의 전체 구성, 라이브 인터뷰든 Zoom을 통한 인터뷰든, 인터뷰 코딩 방식, 논문 작성 방식은 현상에 대한 외부의 관점이 아니라 현상의 일부로 간주됩니다.29 연구도 다른 관행과 마찬가지로 관행입니다. 연구를 수행하는 사람들과 그들이 처한 상황에 따라 달라집니다. 이는 연구 장치를 중립적인 것으로 취급할 수 없음을 의미합니다. 여기에는 연구자의 업무 환경부터 방법론적 선택, 인터뷰 중 던지는 질문까지 모든 것이 포함됩니다. 연구자는 연구 외부에 있는 것이 아니라 연구에 '체화embodied'되어 있는, 즉 연구의 필수적인 부분입니다. 우리는 모든 연구 프로젝트에서 어떤 식으로든 이러한 인사이트를 정의롭게 구현해야 합니다. 이에 대한 한 가지 실질적인 의미는 데이터에서 분석이 "이루어졌다"는 인상이나 주제가 "나타났다"는 인상을 주지 않도록 능동태로 작성하는 것입니다.
    How does my research apparatus factor into the phenomenon I am investigating? As this question suggests, the research apparatus – the whole constellation of the university I work in, whether I interview live or via Zoom, the way I code the interviews, the way I write up the paper – is considered part of the phenomenon rather than an outside perspective on it.29 Research is a practice like other practices. It is contingent on the people who conduct it and the circumstances in which they conduct it. This means that we can never treat the research apparatus as neutral. It includes everything from one’s work environment to methodological choices and questions asked during an interview. The researcher is not outside the research, but is “embodied,” i.e., an integral part of it. We have to do justice to this insight in some way in every research project. One practical implication of this is to write in the active voice, so as not to give the impression that an analysis “was made” and themes “have emerged” from the data.

터널 끝의 마법
Magic at the end of the tunnel

지난 2년 동안 이 터널을 파면서 크리스인 제가 배운 것은 무엇일까요? 무엇보다도 현상학은 방법이 아니라 과학에 대한 접근 방식이라는 점입니다. 그리고 그것은 자연스러운 태도를 중단하고 근본적으로 다른 방식으로 바라볼 것을 요구합니다. 
What have I, Chris, learned while digging this tunnel over the last two years? First and foremost, that phenomenology is not a method but an approach to science. And that it calls for a radically different way of looking, suspending the natural attitude.

둘째, 실용적인 연구자로서 저는 이제 현상학적 인터뷰 연구에서 어떤 종류의 결과를 찾고 있는지, 그리고 이것이 인터뷰 데이터를 사용하는 다른 접근 방식의 결과와 어떻게 다른지 알게 되었습니다. 우리는 사람들의 [생각, 감정, 의견 그 자체]에 관심이 있는 것이 아니라 이러한 생각, 감정, 의견의 근간이 되는 반복적인 경험 구조에 관심이 있다는 것을요. 제가 보기에 현상학적 마술은 데이터의 소위 "이데아적 환원"8,30에 있으며, 데이터를 이러한 반복적인 경험 구조에 대해 드러내는 것으로 되돌려 놓는 데 있습니다. 제가 생각하는 마법은 수많은 설명을 현상의 의미 있는 소수의 특성으로 구조화하는 결과의 단순성에 있습니다. 이렇게 관리 가능한 수의 특성을 고려하면 지속적인 문제를 해결하는 데 도움이 될 수 있다는 실용적인 관련성이 있습니다. 
Second, as a practical researcher, I now know what kind of results I am looking for in a phenomenological interview study, and how these differ from results of other approaches that make use of interview data: we are not interested in people’s thoughts, feelings, or opinions per se, but rather in the recurring structures of experience that underlie these ideas, opinions, and feelings. To me, that is the phenomenological magic: it is in the so-called “eidetic reduction8,30 of data, in bringing the data back to what it reveals about these recurring structures of experience. The magic, to me, is in the simplicity of its results that structure numerous accounts into a small number of meaningful characteristics of the phenomenon. The practical relevance of this is that taking this manageable number of characteristics into account may help resolve persistent problems.

이를 설명하기 위해 마지막으로 한 가지 예를 들자면, 일반과 레지던트 시절의 진료 상황에 대한 환자들의 경험을 조사한 결과, 환자들은 후배와 선배라는 두 명의 의사가 있는 상황을 경험했습니다. 이 단순하고 반복적인 구조는 선배에 대한 환자의 모든 종류의 생각과 행동에 영향을 미쳤습니다.1 예를 들어, 환자들은 종종 치료 계획에 대한 선배의 승인 표시를 찾았습니다. 이 연구 결과를 통해 우리는 수퍼바이저가 DO를 진행하는 동안 수퍼바이저가 관찰하고자 하는 상황을 완전히 바꾸어 버리는 즉흥적인 접근 방식의 적절성에 의문을 갖게 되었습니다. 자명하지만 종종 간과되는 이 발견은 이러한 상황에서 우리가 가장 잘 행동할 수 있는 방법과 학습 및 평가 목적에 가장 잘 사용하는 방법에 영향을 미칠 수 있습니다. 
To give one last example to illustrate this, in our investigation of patients’ experiences with DO situations in general practice residency, patients experienced the presence of two doctors, a junior and a senior. This simple, recurring structure was responsible for all kinds of thoughts and behaviors of patients toward the senior.1 For instance, patients often looked for signs of approval from the senior of the treatment plan. This finding made us question the appropriateness of a fly-on-the-wall approach by supervisors during DO; supervisors, by being there, completely change the situation that they intend to observe. This self-evident but often overlooked finding may have consequences for how we can best behave in these situations and how best to use them for purposes of learning and assessment.

결론
Conclusion

현상학적 관점에서 HPE 연구를 수행하는 것은 복잡하지만 가치 있는 일입니다. 그 복잡성은 기술적 고려 사항 때문이 아니라 많은 연구자, 특히 의과학 배경을 가진 연구자에게 익숙한 것과는 다른 기본 태도를 습득해야 하기 때문입니다. 이를 위해 HPE 연구원들은 일상적인 연구 관행을 뒷받침하는 몇 가지 철학적 "편견"31에 대해 한 발 물러서서 숙고하는 노력을 기울여야 합니다. 현상학이 취하는 근본적으로 다른 접근 방식에 대한 기본적인 개념이 없다면, 현상학적 '방법'은 이름만 현상학적인 것일 수 있습니다. 
Conducting HPE research from a phenomenological perspective is complex but valuable. Its complexity is not due to technical considerations, but to acquiring a basic attitude that is different from what many researchers, especially those with a medical science background, are used to. To achieve this, HPE researchers must make the effort to step back and contemplate some of the philosophical “biases”31 that underpin our daily research practice. Without some basic idea of the fundamentally different approach that phenomenology takes, phenomenological “methods” may be phenomenological in name only.

현상학은 HPE에서 주제를 조사하기 위한 논리적 출발점입니다. 현상학은 연구를 시작하기 전부터 현상을 어느 정도 파악하고 있느냐에 따라 연구가 제한됩니다. 의학교육의 대부분의 연구는 연구 대상을 정의하는 것에서 시작됩니다. 이는 종종 연구 대상에 대한 정의를 제공하는 것으로 이루어집니다. 예를 들어, "성찰은 메타인지적 과정으로...". 현상학의 관점에서 볼 때, 이것은 연구 대상을 해당 현상에 대한 가정을 전제로 하는 특정 해석 프레임워크로 미리 축소하는 환원주의입니다. 해석적 틀에 맞지 않는 것은 전혀 고려되지 않거나 연구와 무관한 것으로 무시됩니다. 현상학자들은 연구의 목표가 현상을 이해하는 것이라면, 현상이 무엇인지 이미 알고 있다고 주장하지 말고 현상 그 자체로 드러나도록 내버려 두어 현상이 무엇인지 이해하려는 노력부터 시작해야 한다고 반박합니다. 현상학자는 해석의 틀을 괄호로 묶고 현상에 대해 "초보자의 마음"32을 가정합니다. 현상학적 분석 과정에서 성찰과 같은 현상은 성찰이 특정 결과로 이어져야 하는 인지적 렌즈, 감정의 렌즈, 교육적 렌즈 등을 통해 더 깊이 이해할 수 있다는 것이 분명해질 수 있습니다. 연구 대상을 그 자체로 이해하려는 초기 시도는 환자 중심성, 학생 중심성, 맥락 민감성을 추구하는 HPE 연구의 야망과 밀접하게 맞닿아 있습니다. HPE 연구에서 우리는 우리의 맥락이 아닌 그들의 맥락에서 현상을 이해하고자 합니다. 

Phenomenology is a logical start for investigating topics in HPE. Research is limited in advance by the degree to which it has apprehended the phenomenon even before the research starts. Most research in medical education starts with delineating the research object. Often, this is done by providing a definition of the research object. For instance, “reflection is a metacognitive process that…”. From the perspective of phenomenology, this is reductionism: reducing the research object in advance to a specific interpretive framework that makes assumptions about the phenomenon in question. Anything that does not fit the interpretive framework is not seen at all or is dismissed as irrelevant to the research. Phenomenologists counter that, if the goal of our research is to understand a phenomenon, then we should start with trying to understand what the phenomenon is by letting it show itself on its own terms, instead of claiming to already know what it is. A phenomenologist brackets interpretive frameworks and assumes a “beginner’s mind”32 to the phenomenon. In the course of the phenomenological analysis it may become clear that a phenomenon like reflection can be further understood through the lens of cognition, the lens of emotion, the educational lens in which reflection should lead to a specific result, and so on. The initial attempt to understand a research object on its own terms fits closely with the ambition of HPE research to do justice to patient-centeredness, student-centeredness, and context sensitivity. In HPE research, we want to understand phenomena in their context, not ours.

 


 

 

Teach Learn Med. 2022 Jan-Mar;34(1):113-121. doi: 10.1080/10401334.2021.1971989. Epub 2021 Sep 29.

 

 

Phenomenological Research in Health Professions Education: Tunneling from Both Ends

Affiliations collapse

Affiliations

1Department of General Practice/Family Medicine, Amsterdam University Medical Centers, Amsterdam, The Netherlands.

2Department of General Practice, Erasmus Medical Center, Rotterdam, The Netherlands.

PMID: 34586929

DOI: 10.1080/10401334.2021.1971989

Abstract

Issue: The term "phenomenology" is increasingly being used in Health Professions Education research. Phenomenology refers to a philosophical tradition or discipline. For researchers in Health Professions Education without a philosophical or humanities background, there are two practical problems. The first is that it is not always clear how studies that call themselves "phenomenological" are distinct from studies that use other methods; phenomenology as a label seems to be used for any study that is interested in the experiences of participants. The second problem is that a more in-depth study of phenomenology in the literature yields either abstract definitions such as "examining the underlying structures of consciousness," or contrasting translations of phenomenology to concrete research tools. What would phenomenology in medical education research look like that is both true to its philosophical roots and yields research findings that contribute to the quality of medical education? Evidence: Two medical education researchers, one with a medical background and the other with a philosophy background, engaged in a dialogue with the purpose of formulating an approach for phenomenology in medical education research. The first departed from the practical demands of his research project in which phenomenology was suggested as a methodology, but guidance was lacking. The other departed from the philosophical tradition of phenomenology with the purpose of exploring how phenomenological insights can be valuable for medical education research. The paper presents these journeys and the results of this dialogue where they formulate starting points for an approach to conducting HPE research that has scientific phenomenological integrity and yields practical results. Implications: Phenomenology has been one of the defining developments in philosophy and the humanities in the 20th century. A basic grasp of its insights is useful for medical education researchers since any research today takes place in the light of these insights. Within medical education, there are certain types of phenomena, research questions, and research goals that call for an explicitly phenomenological approach. Rather than prescribing specific methods or methodologies, phenomenology offers signposts for how to think about the relationship between our research object, methods, and data, and our own role as researchers. We suggest that researchers in HPE, when reporting a phenomenological study, instead of claiming to have followed a certain phenomenological method, explain how their research question, methods, and results fit the purposes and standards of phenomenology. We illustrate this with an example of how to use phenomenology in an interview study.

Keywords: Phenomenology; interview study; philosophy of science; qualitative research.

 

흑색, 백색, 그리고 회식: 의학교육과 의료인문학에 관한 학생의 관점(Teach Learn Med, 2022)
Black, White and Gray: Student Perspectives on Medical Humanities and Medical Education
Madeleine Noelle Oldinga , Freya Rhodesb , John Hummc , Phoebe Rossd and Catherine McGarrye

 

 

소개
Introduction

의학을 전적으로 과학적, 생의학적 관점에서 바라보는 것은 가능하고 충분히 쉬운 일입니다. 환자가 일련의 증상을 호소합니다. 의사는 병력을 청취하고 진찰을 통해 징후를 이끌어냅니다. 조사가 이어질 수 있으며 진단이 내려집니다. 근본적인 병리에 대한 과학적 이해를 바탕으로 한 관리 계획이 환자에게 처방됩니다. 뉘앙스, 인간성, 더 넓은 요소를 고려하지 않고 이런 식으로 표현하면 의학은 흑백논리로 치부되기 쉽습니다. 그러나 환자나 임상의의 경험 모두 흑백으로만 존재하는 것은 아닙니다. 임상에서 마주칠 때마다 인간의 회색 영역이 전면에 드러나며 환자와 의사 사이의 복잡한 관계를 형성합니다. 증상, 징후, 조사 및 관리는 정의되지 않은 회색 영역에 가려져 있습니다.  
It is possible, and easy enough, to view medicine entirely from a scientific, biomedical perspective. A patient presents with a series of symptoms. The doctor takes a history and elicits signs on examination. Investigations may follow; a diagnosis is made. A management plan, based on a scientific understanding of the underlying pathology, is prescribed to the patient. When phrased like this with no nuance, no humanity, and no wider factors considered, medicine is easily framed as a black and white exercise. However, neither the patient’s nor clinician’s experience exist in black and white. In each clinical encounter, the gray areas of humanity are brought to the forefront and shape the complex relationships between patient and doctor. Symptoms, signs, investigations, and management are shrouded in undefined areas of gray.

의학교육에서 인문학에 대한 관심이 높아지면서 학생들은 이러한 회색 영역을 탐구하는 동시에 핵심 커리큘럼 외의 지식을 넓히고 심화할 수 있는 기회를 갖게 되었습니다. 하지만 정확히 어떻게 회색 영역을 탐구할 수 있을까요? 어떻게 하면 학생들에게 의학 인문학(MH)을 가장 잘 가르칠 수 있을까요? 
An increasing focus on humanities within medical education has generated opportunities for students to delve into these gray areas; simultaneously broadening and deepening their knowledge outside of the core curriculum. But how exactly does one delve into the gray? How can we best teach medical humanities (MH) to students?

미래의 임상의뿐만 아니라 지금까지 전통적인 생물의학 모델에서 인구통계학적 특성과 질병 경험에 대해 소홀히 다루어졌던 환자들을 위한 MH 교육의 가치는 잘 알려져 있습니다.1-3 아르노 쿠마가이는 MH가 학생들에게 어떻게 도움이 되는지 설명합니다:

  • 의학에서 유지되는 가정과 태도를 해체하고,
  • 우리의 경험을 성찰하도록 장려하고,
  • 다양한 렌즈를 통해 의료에 대한 관점을 넓히고 분석을 유도하고,
  • 우리의 경험을 표현하고 이해할 수 있는 출구를 제공하고,
  • 임상에서 공감대를 이끌어냅니다.2

쿠마가이는 예술과 인문학이 "인식이 아닌 시각이라는 기관을 통해 사물에 대한 지식으로 우리를 이끈다"고 주장합니다.3(p6) 본질적으로, 우리는 진실이라고 여겨지는 아이디어에 의문을 제기함으로써 우리에게 제시된 정보에 더 깊이 관여하고, 따라서 더 나은 이해를 얻게 됩니다. 
The value of MH teaching - not only for future clinicians, but also for patients whose demographics and disease experience have so far been neglected by traditional biomedical models - is well documented.1–3 Arno Kumagai describes how MH assist students in:

  • dismantling assumptions and attitudes upheld in medicine;
  • encouraging reflection on our experiences;
  • broadening perspectives and prompting analysis of medical care through different lenses;
  • providing outlets for expressing and understanding our experiences; and
  • driving empathy in clinical encounters.2 

Kumagai argues that the arts and humanities “lead us to a knowledge of a thing through the organ of sight instead of through recognition”:3(p6) in essence, through questioning ideas that are held to be true, we engage more deeply with the information presented to us and as such better our understanding.

이러한 입증된 가치에도 불구하고 MH를 가르치는 최적의 접근 방식은 명확하지 않습니다. 이 글에서는 MH 교육의 가치를 최적화하는 최선의 방법을 설명하기 위해 의과대학 커리큘럼에 MH를 통합하는 방법에 대해 논의합니다. 미국 의과대학협회(AAMC)의 2020년 보고서 '의학교육에서 예술과 인문학의 근본적인 역할'에 제시된 아이디어를 바탕으로 의대생의 관점에서 MH에 대한 태도와 교육자와 학습자 모두의 객관적이고 실증주의적인 사고에서 벗어나기를 꺼리는 태도가 미치는 영향을 살펴봅니다.4  
Despite their demonstrable value, the optimal approach to teaching MH is less clear cut. In order to elucidate how best to optimize the value of MH teaching, this piece discusses its integration in medical school curricula. Building upon ideas put forth in the Association of American Medical Colleges’ (AAMC) 2020 report The Fundamental Role of the Arts and Humanities in Medical Education, we explore attitudes toward MH from a medical student perspective and the impact of a reluctance to step away from objective, positivist thinking amongst educators and learners alike.4

AAMC는 의학교육에서 MH를 "예술과 인문학에서 파생되어 의대생, 수련의, 개업의의 교육과 학습에 통합된 콘텐츠 또는 교육학"으로 실무 정의를 제안합니다.4(4페이지) 중요한 것은, 강의계획서가 이미 "꽉 찼다"는 믿음과 사용 가능한 공간이나 자금이 없다는 점 등 MH를 교과과정에 통합하는 데 있어 몇 가지 장벽에 대해 AAMC가 논의하고 있다는 점입니다. 따라서 MH가 커리큘럼에 포함되는 경우, 교과 과정의 기초에 포함되기보다는 관심 있는 사람들을 위해 추가되는 경우가 많습니다. 
The AAMC proposes a working definition of MH in medical education as “content or pedagogy derived from arts and humanities and integrated into the teaching and learning of medical students, trainees, and practicing physicians.”4(p.4) Importantly, the AAMC discusses some of the barriers to integrating MH into curricula, including the belief that the syllabus is already “full” and there is no room nor funding available. As such, where MH are included in the curricula, they are often added on for those who are interested, rather than built into the foundations of the course.

이러한 현상은 앨런 블리클리와 로버트 마샬의 '약한 포용'이라는 개념을 잘 보여줍니다.5(129쪽).
This phenomenon demonstrates Alan Bleakley and Robert Marshall’s concept of “weak inclusion:”5(p.129)

"커리큘럼에 의료 인문학이 포함되는 약한 버전은 보통 과학에 대한 보상으로 광고되는 선택 과목인 볼트온으로 나타납니다. 그러나 강한 버전은 과학을 보완하는 핵심적이고 통합적인 커리큘럼 구성 요소로서 보다 미묘한 교육 문화를 창출합니다."5(129쪽)
“The weak version of inclusion of the medical humanities in the curriculum appears as optional study, a bolt on, usually advertised as a compensation for science. The strong version, however, involves a core, integrated curriculum component as a complement to science, creating a more nuanced educational culture”.5(p129)

"약한 포용"5(p129)은 영국의 각 의과대학에서 경험한 MH에 대한 많은 접근 방식을 포괄합니다. 그러나 우리가 MH에서 선택 과목인 학사 학위6를 이수하면서 받은 교육은 강력한 포용이 가능하고 바람직하다는 것을 보여주었습니다. 커리큘럼에 MH를 "강력한 포용"하는 것은 이러한 개입에 대한 학제 간 접근 방식을 개발하여 의학과 MH를 별개의 실체로 보지 않고 인간 문제를 이해하기 위한 공생적 접근 방식으로 보는 것을 지지합니다.
“Weak inclusion”5(p129) encompasses many of the approaches to MH we have experienced at our respective medical schools in the UK. However, the teaching we have received through undertaking an optional year of study - a so-called intercalated Bachelors degree6 - in MH, has shown that strong inclusion is both possible and desirable. “Strong inclusion” of MH in curricula advocates for the development of an interdisciplinary approach to these interventions whereby medicine and MH are not seen as distinct entities but rather symbiotic approaches to understanding human problems.

지금까지 이러한 논의에서 학생의 관점은 상대적으로 부재했습니다. 학생들이 MH 문헌에 기여한 사례는 많지만 교육 접근법에 대한 학생의 관점을 명시적으로 인정하는 것은 현재 부족합니다.7,8 우리는 학생의 관점을 보여줌으로써 통합의 장벽을 더 탐구할 수 있다고 믿습니다. 최근 MH에서 통합 이학사(통합 학사 또는 iBSc)를 이수한 현재 의대생으로서 우리가 제시하는 증거는 대부분 일화적인 것입니다. 개인적 경험을 의학교육 방법론에 도입하는 것은 최근 몇 년 동안 특히 의학 교육 영역에서 주목받고 있는 비교적 새로운 접근 방식입니다.9 
Thus far, the student perspective has remained relatively absent in this discussion. There are numerous examples of students contributing to MH literature but explicit acknowledgement of student perspectives on teaching approaches is currently lacking.7,8 We believe that the barriers to integration can be explored further by showcasing the student perspective. As current medical students who have recently completed intercalated Bachelors of Science (intercalated BSc or iBSc) in MH, the evidence we present is largely anecdotal. Imbuing personal experience into the methodologies of medical education is a relatively new approach that has gained traction in recent years, most particularly within the realms of MH.9

의학 및 의학교육의 회색 영역에 대한 성찰을 정리하기 위해 MH의 특정 영역과 관련된 다섯 가지 주제를 분리했습니다. 여기에는 역사, 내러티브 의학, 인류학, 철학 및 윤리가 포함됩니다. 또한 영국과 그 밖의 지역에서 MH 교육을 맥락에 맞게 전달하기 위한 다양한 실제적 고려사항에 대해서도 언급합니다. 이러한 성찰을 통해 학습 경험에 대한 비판적 토론의 출발점을 제공하여 의학교육에서 MH 교육의 시너지를 개선하는 것을 목표로 합니다. 
To organize our reflections of the gray areas of medicine and medical education, we have isolated five themes relating to specific domains of MH. These include history, narrative medicine, anthropology, and philosophy and ethics. We also comment on a variety of practical considerations to contextualize the delivery of MH teaching in the UK and beyond. Through these reflections, we provide a starting point for a critical discussion of learning experience, aiming to improve the synergy of MH teaching in medical education.

의대생의 관점
The medical student perspective

의학교육은 졸업으로 끝나지 않습니다. 의대생은 의사로서의 지속적인 학습을 준비하기 위해 의과대학에서의 경험을 비판하고, 도전하고, 변화를 옹호할 수 있도록 지원과 권한을 부여받아야 합니다. 
Medical education does not end at graduation. Students should be supported and empowered to critique, challenge, and advocate for changes in their experience at medical school in preparation for continued learning as a doctor.

이 시리즈의 이전 편에서 Gert Biesta와 Marije Van Braak10은 의학교육의 과정에만 초점을 맞추는 것이 아니라 의학교육의 목적에 대한 참여도를 높여야 한다고 강조했습니다. 이 글에서는 의학교육의 중요한 목표로 사회화(전문가 집단의 일원이 되는 것)와 주체화(사려 깊고 독립적이며 책임감 있는 전문가가 되는 것)에 대해 논의합니다. 우리는 의학교육을 둘러싼 담론에 MH와 학생의 관점을 포함시킴으로써 이러한 목적을 더 잘 달성할 수 있다고 믿습니다.
In an earlier installment in this series, Gert Biesta and Marije Van Braak10 highlight the need for increased engagement in the purposes of medical education, as opposed to just focusing on the processes. In this piece, they discuss socialization (becoming a member of the professional group) and subjectification (becoming a thoughtful, independent, responsible professional) as important goals of medical education. We believe that we can better achieve these purposes by including MH and the student perspective in the discourse surrounding medical education.

의대생의 관점을 학술 연구에 활용하면 현재 학습자들 사이에서 MH 교육에 대한 태도를 더 잘 탐구할 수 있습니다. 현재 커리큘럼에 대한 학생의 관점은 교육자에게 세부적이고 미묘한 학습 포인트를 제공하며, 종종 미래 학생을 위해 현재 학생의 실제적인 실제 솔루션과 함께 제공됩니다. 의료 윤리 교육 및 평가의 단점을 논의한 Liu와 동료들11의 최근 논문이 이러한 훌륭한 예입니다. 의료 시스템과 과학교육에 관한 또 다른 최근 논문은 학생들의 설문 응답을 분석하고 학생들의 관점을 직접 조사하지 않은 연구팀에 의해 수행되었습니다.12 이 두 논문을 차례로 읽어보면 의학 교육 연구에서 학생 관점의 힘과 정확성이 얼마나 큰지 충분히 알 수 있습니다. 물론 의대생으로 구성된 설문지나 포커스 그룹을 사용한 후 학자들이 해석하는 교육 연구도 장점이 없는 것은 아니며, 문제의 논문은 우리가 동의하지 않는 몇 가지 중요한 결론을 내리고 있습니다. 그러나 데이터 수집, 방법론 및 용어에 의해 그 결론이 무겁게 느껴질 수 있습니다. 반면, 학생 관점의 연구 논문은 더 성찰적이고 비판적일 수 있으며, 현재 학생들에게 공감을 불러일으키고 잠재적으로 교육 접근 방식에 더 나은 방향의 변화를 가져올 수 있습니다. 
Using the medical student perspective in academic research, we can better explore attitudes toward MH teaching amongst current learners. Student perspectives on current curricula provide detailed, nuanced learning points for educators and are often accompanied by practical real-world solutions from current students, for future students. A recent, excellent example of such a paper comes from Liu and colleagues11 discussing shortcomings in medical ethics teaching and assessment. Another recent paper looking at health systems and scientific education was conducted more traditionally by a team of researchers who analyzed student questionnaire responses and did not probe student perspectives directly.12 Reading these two papers one after another, the power and precision of the student perspective for medical educational research becomes abundantly clear. Educational research using questionnaires or focus groups made up of medical students and then interpreted by academics is, of course, not without merit and the paper in question makes several important conclusions with which we do not disagree. However, in our reading, it becomes weighed down by data collection, methodology, and terminology. Whereas student perspective research papers can be more reflective and critical, resonating with current students and potentially resulting in better, more directed, changes in educational approaches.

MH 학습에 대한 학생들의 태도를 이해하는 것은 MH 교육의 함정을 인식하는 데 매우 중요합니다.

  • 의대생들 사이에서는 MH가 팀워크, 리더십, 문제 해결과 같은 공감 능력과 소프트 스킬을 끌어내기 위한 '체크 박스 연습'이라는 인식이 존재합니다. 이는 MH의 통합을 가로막는 중요한 장벽으로 이전에 인식된 바 있습니다.2
  • 헌터 버든과 팀 어셔우드는 학생들이 반성적 능력을 발휘하는 대신 원하는 결과를 예상하고 시스템13(408쪽)을 게임화할 수 있는 전문성 교육에 대한 유사한 태도에 대해 언급합니다. 우리는 이러한 현상이 교육자가 불필요하게 MH를 강요하고 있다고 느끼는 학생을 직접 경험한 바 있습니다.
  • 학생들은 그 과정에 참여하기 전에 직접 혜택을 확인하지 않는 한 의과 대학에서 시키는(prescribe) 활동에 참여하는 것을 거부합니다. 종종 학생들이 시험에 출제 가능한 콘텐츠라고 알고 있는 것과 그 콘텐츠에 참여하려는 동기가 있는지 여부 사이에는 상관관계가 있습니다.

물론 MH 교육자는 해당 과목을 홍보할 것이며, 이미 해당 과목을 가르치기로 선택함으로써 어느 정도의 열정을 보여주었습니다. 반면에 학생은 MH를 홍보하는 데 기득권이 없기 때문에 학습 경험에 대한 긍정적인 관점이 동료들에게 더 진정성 있게 받아들여집니다. 따라서 학생들은 MH 참여를 장려하는 데 중추적인 역할을 할 수 있으며, MH 교육의 이점을 전달함으로써 동시대 사람들이 더 쉽게 참여할 수 있도록 합니다. 또한 학생의 관점에서 학습하면 교사-학생 관계의 위계를 넘어 지식의 종적 흐름을 허용하는 피어티칭의 기회가 열립니다. 
Understanding student attitudes toward learning MH is crucial in recognizing the pitfalls of MH teaching.

  • Amongst medical students, there exists a rhetoric that MH are “tick box exercises” that function purely to coax out empathy and soft skills, such as teamwork, leadership, and problem solving. This has been recognized previously as a significant barrier to integration of MH.2 
  • Hunter Birden and Tim Usherwood comment on similar attitudes toward professionalism teaching whereby students are able to anticipate the desired outcomes and game the system13(p408) as opposed to exercising reflective abilities. We have seen this played out in our own experiences, where reluctant students feel MH are being unnecessarily forced onto them by educators.
  • Students resist participating in activities prescribed by the medical school unless they directly ascertain the benefit before engaging in the process. Often, there is a correlation drawn between what students know is examinable content and whether they are motivated to engage with it.

Of course, MH educators will promote their subject; they have already demonstrated a degree of passion by choosing to teach it. Students, by contrast, have no such vested interest in promoting MH and therefore positive perspectives on the learning experience are more authentically received by peers. As such, students can play a pivotal role in encouraging MH engagement; by communicating the benefits of MH teaching, their contemporaries are more amenable to participating themselves. Furthermore, learning from student perspectives opens opportunities for peer teaching that allows a longitudinal flow of knowledge beyond a perceived hierarchy of teacher-student relationships.

의학교육에서 가치 있는 모든 것이 정규 커리큘럼을 통해 가르치는 것은 아닙니다. 의대생은 의식적이든 무의식적이든 환자 및 다른 의료 전문가와의 임상 경험을 통해 배웁니다. 의학교육 및 MH와 관련하여 학생들이 자신의 경험을 자율적으로 탐구하고 성찰할 수 있는 비공식적인 공간을 조성하는 것이 중요합니다. 소위 숨겨진 커리큘럼을 고려하면 의학교육에 대한 보다 균형 잡힌 연구가 가능합니다.45 본질적으로 숨겨진 커리큘럼 내 학습은 학생 경험에 중심을 두므로 이러한 관점을 탐구하는 것은 이해를 위한 입구를 제공합니다. MH는 모든 학생이 실수나 잘못에 대한 두려움 없이 편안하게 현장과 더 넓은 토론에 기여할 수 있도록 커리큘럼 내에서 접근성이 뛰어나고 보편화되어야 합니다. 소수의 선택된 학생이 아닌 모든 의대생에게 MH 기회를 제공함으로써 향후 진료에 미칠 영향의 범위를 넓히고 있습니다.
Not everything of value in medical education is taught through the formal curriculum. Consciously and subconsciously, medical students learn from clinical experiences with patients and other healthcare professionals. With regards to medical education and MH, it is important to create an informal space in which students can autonomously explore and reflect on their experiences. A consideration of this so-called hidden curriculum allows for more well-rounded research in medical education.45 In essence, learning within the hidden curriculum is centered in student experience and, as such, exploring these perspectives offers an inlet for understanding. MH must be both accessible and ubiquitous within curricula such that all students are comfortable contributing to the field and the wider discussions it opens up, without fear of making mistakes or getting things wrong. In providing MH opportunities to all medical students, as opposed to the self-selecting few, we broaden the scope for their impact on future practice.

영국에서의 인터칼레이팅
Intercalating in the UK

AAMC 보고서는 미국 의과대학 모델 내에서 MH의 이점을 포괄적으로 설명하지만, 이는 영국 시스템과는 구조가 크게 다릅니다. 영국에서는 학생들이 5년의 학부 의학 학위 과정을 중단하고 의학 관련 주제를 추가로 1년 동안 공부하는 인터칼리테이션을 수행할 수 있는 기회가 있습니다. 이러한 과정은 학생의 모교에서 수강할 필요가 없으며, 인터칼리케이터를 위해 특별히 제작되거나 의학 이외의 학부생 코호트에 참여할 수 있습니다. 인터칼리지 과정은 다양한 과목으로 제공되며, 저희의 경험에 따르면 해부학, 신경과학, 여성 건강 등이 인기 있는 선택 과목입니다. 인터칼리제이션은 학문적 성취도가 높은 학생들만 선택한다는 오해와 '전통적인' 과학 기반 과목을 선호하는 성향이 맞물려, 대학별 웹사이트를 제외하고는 잘 문서화되어 있지 않지만 MH 인터칼리제이션 과목에 대한 선호도가 여전히 상대적으로 낮습니다. 예를 들어 유니버시티 칼리지 런던의 2020/2021학년도 입학생 중 MH 인터칼로테이션(의학 인류학 또는 과학 및 의학의 역사와 철학)을 수강한 학생은 9명에 불과한 반면, 심혈관 과학, 신경과학, 소아 및 아동 건강은 각각 37명, 34명, 24명에 달했습니다.14 
The AAMC report comprehensively outlines the benefits of MH within the American medical school model, however this differs greatly in structure to the UK system. In the UK, there is an opportunity to undertake an intercalation: students interrupt their five-year undergraduate medical degree to spend an extra year studying a topic related to medicine. These courses need not be taken at a student’s home university and are either crafted specifically for intercalators or allow students to join a cohort of undergraduates from beyond medicine. Intercalated courses are offered in a range of subjects and, from our own experience, popular choices include anatomy, neuroscience, and women’s health. A prevailing misconception that intercalation is reserved for the most academically minded students, combined with the propensity toward electing “traditional” science-based courses mean that the uptake for MH intercalated courses is still relatively low, although this is not well documented aside from university-specific websites. For example, in the 2020/2021 uptake at University College London, just nine internal students undertook an MH intercalation (in either Medical Anthropology or History and Philosophy of Science & Medicine) compared with 37, 34, and 24 students for Cardiovascular Science, Neuroscience, and Pediatrics and Child Health respectively.14

인터칼리케이터는 학사, 석사, 의학석사, 의학박사 등의 형태로 추가 학위 자격을 취득합니다. 이러한 형식의 인터칼리데이션은 영국 의과대학에만 있지만 아일랜드, 호주, 뉴질랜드, 서인도제도, 홍콩, 남아프리카공화국, 캐나다에서도 유사한 프로그램이 운영되고 있습니다.15 학생과 학교 모두에서 고르지 않은 수용에도 불구하고 MH의 인터칼리데이션 과정은 확실히 인기가 높아지고 있습니다. 소수의 소수에서 시작하여 국제적인 관심이 높아지기 시작했고 영국과 미국의 의과대학에서 인문학 기반 과정의 채택이 증가하고 있습니다.4 
Intercalators gain an extra degree qualification in the form of a BSc, MSc, MRes, BMedSci, etc. Intercalation in this format is unique to UK medical schools but similar programmes are run in Ireland, Australia, New Zealand, the West Indies, Hong Kong, South Africa, and Canada.15 Despite the patchy uptake from students and schools alike, MH’s intercalated courses have certainly become more popular. Developing from a tiny minority, we have seen an international interest beginning to rise and an increase in uptake of humanities-based courses in medical schools in the UK and the US.4

대부분의 인터칼리네이팅 학생들이 학사 학위 과정을 소중히 여기고 핵심 의학 커리큘럼의 범위를 넘어서는 기술을 개발한다는 우리의 경험은 문헌을 통해 확인되었습니다.16 학생들은 이를 사고, 글쓰기, 의사소통 방식을 발전시킬 수 있는 기회이자 학제 간 팀 내에서 일하고 연구에 기여하며 미래 진로 옵션을 극대화할 수 있는 기회로 여깁니다. 인터칼리데이션 동기에 관한 많은 문헌은 향후 고용 가능성 측면에서 이점을 강조하고 있으며, 비판적 평가, 통계 분석 및 심층 연구와 같은 이전 가능한 기술은 학사 학위를 선택하는 학생들이 많이 찾고 있습니다.17 MH 측면에서 인터칼리데이션 학위는 일회성 과제나 워크샵보다 더 강력한 포용성 버전임에 틀림없습니다. 이 글의 회색 영역 섹션에서는 MH 인터칼리데이션의 경험에서 얼마나 강력한 포용성을 달성했는지에 대한 성찰을 살펴봅니다. 
Our experience that the majority of intercalating students come to value their BSc year and develop skills beyond the scope of the core medical curriculum is confirmed by the literature.16 Students see this as an opportunity to develop how they think, write, and communicate as well as a chance to work within interdisciplinary teams, contribute to research, and maximize their future career options. A great deal of the literature on motivations to intercalate highlight the benefits in terms of future employability; the transferable skills of critical appraisal, statistical analysis, and in-depth research are highly sought after in students choosing a BSc.17 In terms of MH, an intercalated degree is arguably a stronger version of inclusion than a one-off assignment or workshop. Reflections on how strong inclusion has been achieved in our experiences of MH intercalation are explored in the Gray Areas section of this piece.

그러나 우리는 MH에 대한 관심으로 모인 자발적으로 선택된 학생 그룹을 대표합니다. 이는 더 강력한 형태의 포용성으로서 인터칼리데이션의 함정 중 하나를 강조합니다. 인터칼리데이션은 자발적이기 때문에 좋은 의사가 되기 위한 측면으로서 MH에 대한 사전 관심이나 신념이 있는 사람들만 모이게 됩니다. 또한, 1년 과정임에도 불구하고 인터칼리데이션은 광범위한 의학 커리큘럼과의 관계 측면에서 여전히 압축적이고 산발적으로 이루어지고 있습니다. 1년이라는 단기간의 MH 참여는 의대생들이 인문학 참여를 통해 축적된 폭넓은 기술을 집중적이지만 간헐적인 학습으로 줄일 수 있다고 믿게 함으로써 의학교육의 목표 지향적이고 객관적인 성공 척도를 영속화시키는 경향이 있습니다. 하지만 이는 사실이 아닙니다. 역사, 예술, 인류학 등 인문학에 포함된 다른 학문 분야를 하룻밤에 공부하거나 강의를 몇 번 듣는다고 해서 능숙해질 수 있는 것은 아닙니다. 마찬가지로, 많은 학생들이 의학 학위를 취득한 지 2~3년이 지나서 편입하기 때문에 과정 초반에는 [임상의학은, MH가 이해하고자 하는 회색 영역이 없는, 순수 과학에서 파생되었다는 개념]에서 벗어나는 학습un-learning이 필요합니다.18 
However, we represent a self-selected group of students, brought together by our interest in MH. This highlights one of the pitfalls of intercalation as a stronger form of inclusion: it is voluntary and, as such, attracts only those with prior interest or belief in MH as a facet of becoming a good doctor. Furthermore, despite being a year-long course, intercalation is still condensed and sporadic in terms of its relation to the broader medical curriculum. An isolated one-year engagement with MH has the propensity to perpetuate the goal-oriented, objective success measures of medical education as it facilitates medical students’ belief that the breadth of skills amassed through engagement in the humanities can be reduced down to focused but intermittent study. This is demonstrably untrue: one does not become proficient in history, art, anthropology, or any of the other academic fields encompassed by studying humanities overnight, or over a series of lectures. Similarly, as many students intercalate having undergone two or three years of their medical degree, much of the early part of the course requires an un-learning of the notion that clinical medicine is derived from pure science, devoid of the gray areas MH seeks to understand.18

단 하루, 또는 일 년 동안 MH에 참여했다고 해서 학생이 전문가가 되는 것은 결코 아닙니다. 기대치를 관리하기 위해서는 MH와 전통적인 의학교육 분야(해부학 또는 생리학 등)를 비교하여 발전된 비교가 필요합니다. 신경과학을 학사 과정으로 1년 동안 공부한다고 해서 신경과학을 완전히 포괄적으로 이해할 수 있을 것이라고 기대할 수는 없습니다. 이러한 기대치를 인문학 과정에 적용하는 것은 임상 의학에 비해 최종 목표가 덜 명확하기 때문에 의학교육자 사이에서만 인정됩니다. 학생으로서 우리는 이 목표를 구체화하기 위해 노력할 수 있습니다. 
An isolated day, or even year, of engagement with MH by no means makes a student an expert. A developed comparison between MH and the more traditional areas of medical education (such as anatomy or physiology) is required in order to manage expectations. One would not expect to gain a wholly comprehensive understanding of neuroscience from one year studying the subject as a BSc – application of this expectation to humanities courses is only accepted among medical educators because the end goal is less well-defined compared with clinical medicine. As students, we can work toward refining this goal.

회색 영역
Gray areas

이 섹션에서는 MH 내에서 다섯 가지 영역에 걸쳐 우리의 성찰을 정리합니다. 이러한 영역의 교육이 어떻게 흑백 생물의학 모델을 넘어서는 탐구를 가능하게 했는지, 그리고 MH의 강한 포함 여부에 따라 학습 성과가 제공되었는지 여부에 중점을 둡니다. 
In this section, we organize our reflections across five domains from within the MH. We focus on how teaching in these areas has allowed for exploration beyond the black and white biomedical model and whether or not learning outcomes were provided by strong or weak inclusion of MH.

역사
History

전 세계적으로 '문제 기반 학습'에 대한 관심이 높아지면서 많은 의학 교육이 사례 연구를 중심으로 이루어지고 있습니다.19 학생들이 역사적 사건에 대한 맥락적 비판을 중심으로 현대 진료에 대한 접근 방식을 구축하도록 장려하는 것은 이러한 학습 방법을 반영합니다. 오늘날의 의과대학은 수 세기 동안 사용되어 온 교육 전략을 채택하고 있습니다. 그러나 이러한 전략의 사회학적 영향은 의학교육 내에서 거의 탐구되지 않았습니다. 푸코의 『클리닉의 탄생』은 여러 시대에 걸쳐 널리 퍼진 교수 전략의 한 예인 해부가 의학적 시선의 발달을 통해 어떻게 의학의 실천을 근본적으로 변화시켰는지 설명합니다.20 의학적 시선은 환자의 대상화를 이해하는 데 폭넓은 렌즈를 제시합니다. 
A great deal of medical education is centered around case studies, illustrated by the global rise in interest of “problem-based-learning”.19 Encouraging students to build their approach to modern practice around contextual criticism of historical events mirrors this method of learning. Today’s medical schools employ teaching strategies that have been around for centuries. However, the sociological impact of these strategies is rarely explored within medical education. Foucault’s The Birth of the Clinic delineates how dissection, one example of a teaching strategy that has prevailed through the ages, fundamentally changed the practice of medicine through its development of the medical gaze.20 The medical gaze presents a broad lens for understanding the objectification of patients.

좀 더 구체적으로 의대생이라면 누구나 익숙한 청진기를 예로 들 수 있습니다. 청진기는 이전에는 들을 수 없었던 신체 과정을 의사에게 들려주었고, 이를 통해 의사는 환자 자신보다 환자의 상태에 대해 더 많이 알게 되었습니다. 서서히 이러한 '징후'가 환자의 증상보다 우선하기 시작했습니다.21

  • 의대생 시절, 선배들이 심잡음이나 숨소리가 들리는 환자를 진찰하고 흉부를 듣고 돌아와 결과를 보고하라는 지시를 받으면 환자의 개인적인 이야기보다 환자의 내적 청진음이 우선했던 기억이 납니다.
  • 마찬가지로 학생과 의사 모두 방사선 사진, 심전도, 혈액 검사 결과 등을 제공받으면서도 환자의 신체를 본 적도 없이 해석해야 하는 경우가 많습니다.

해부학, 청진기 및 기타 역사적 발전 이후 의학이 어떻게 변화해 왔는지 이해하면 현대 의학의 윤리와 편견에 민감하게 반응할 수 있습니다.
More specifically we can consider an item all medical students are familiar with, the stethoscope. The stethoscope made previously inaccessible bodily processes audible to the doctor, through which the doctor came to know more about the patient’s condition than themselves. Slowly, these ‘signs’ began to take precedence over the patient’s symptoms.21 

  • As medical students, we can recall being sent by our seniors to examine a patient with an interesting heart murmur or breath sounds, listening to the chest and returning to report our findings: the patients’ internal intonations taking precedence over their personal story.
  • Not dissimilarly, students and doctors alike are often presented with radiographic images, ECGs, or blood results to interpret without ever having seen the patient from whose body they were derived.

We have found that understanding how medicine has changed since the advent of dissection, the stethoscope, and other historical developments installs a sensitivity to the ethics and biases of modern practice.

역사에서 배우는 것은 윤리적 실천, 어떻게 행동해야 하는지, 그리고 더 중요한 것은 임상 환경과 연구 내에서 어떻게 행동하지 말아야 하는지에 대한 더 큰 성찰과 인식을 가능하게 합니다. 이것이 바로 의학교육에서 역사를 약하게 포함시키는 것과 강하게 포함시키는 것 사이의 차이점입니다. 우리의 경험에 비추어 볼 때, 약한 포함은 전임자들의 "성공과 업적"에 초점을 맞추고 "과거의 실수, 누락, 실패"를 놓치는 경향이 있습니다.22(629쪽) 과거에 대한 과도한 미화는 의학이라는 제도와 실천이 결코 잘못한 것이 없고 오직 좋은 일만 하는 것으로 그려지게 합니다. 역사에 대한 균형 잡힌 교육은 이것이 의대생에게 제시하기에 잘못된 생각이며 잠재적으로 위험한 생각이라는 것을 보여줍니다. 의학의 성공과 실패를 모두 이해하는 것은 의학의 역사에 필수적입니다.  
Learning from history allows a greater reflection and awareness of ethical practice, how to act and – perhaps more importantly – how not to act in clinical settings and within research. This is a point of deviation between weak and strong inclusion of history within medical education. In our experiences, weak inclusion tends to be hagiographic focusing on “successes and achievements” of our predecessors, while missing out “follies, omissions, and failures of the past”.22(p.629) The over-glorification of the past paints medicine as an institution and practice never in the wrong, only doing good. Well-rounded teaching in history shows this to be a false and potentially dangerous idea to present to medical students. Understanding both its successes and failures is essential to the history of medicine.

터스키기 매독 연구는 의학 연구에서 윤리와 균형의 중요성을 보여주는 가슴 아픈 사례입니다.23 이러한 가치가 어디에서 비롯되었는지 이해하지 못하면 향후 연구에서 그 기념비적인 중요성을 인식하기 어렵습니다. 터스키기 연구에서는 매독의 자연사를 연구하기 위해 매독에 감염된 흑인 남성 참가자를 40년 동안 관찰했습니다. 이 기간 동안 매독 치료제가 개발되었지만, 참가자들의 상태를 연구할 수 있을 만큼의 치료제가 제공되지 않았기 때문에 불필요한 사망자가 상당수 발생했습니다(이 연구에 대한 자세한 내용은 '터스키기 타임라인'23 참조). 이 재판 이후 여러 연구에서 아프리카계 미국인과 의료기관 및 연구 간의 치료 관계에 가시적이고 지속적인 영향이 있음을 밝혀냈습니다.24,25

  • 역사학자 수잔 리버비의 연구에 따르면 이러한 불신의 원인은 터스키기 재판보다 훨씬 더 거슬러 올라갑니다.26
    • 노예 소유주가 의학 실험을 위해 노예를 훔치는 '나이트 라이더'에 대한 공포를 심어준 증거
    • 19세기 후반 의과대학에 해부를 위해 흑인의 시신을 판매하는 도굴꾼에 대한 증거가 남아 있습니다.

The Tuskegee syphilis study is a poignant example of the importance of ethics and equipoise in medical research.23 Without an understanding of where these values come from, it becomes difficult to appreciate their monumental importance in future research. In the Tuskegee study, black male participants who had contracted syphilis were observed over a 40-year period to study the natural history of the disease. Over this time, treatment for syphilis became available but was not given to the participants such that their condition could be researched: this led to a significant number of unnecessary deaths (for more information on this study, see ‘The Tuskegee Timeline’23). Since this trial, a number of studies have revealed a tangible, lasting impact in the therapeutic relationship between African Americans and medical institutions and research.24,25 

  • Work from historian Susan Reverby suggests that the reasons for this distrust goes back much further than the trial in Tuskegee.26 
    • There is evidence of slaveholders instilling fears of ‘night riders’ who would steal slaves for medical experimentation and,
    • later in the 19th century grave robbers selling black bodies to medical schools for dissection. 

터스키기 연구는 오늘날 우리가 보는 불신감을 더했을지 모르지만, 이는 수 세기 동안 의료계가 흑인들에게 가한 고통과 아픔을 기반으로 합니다. 인종 간 구조적 불평등이 지속되면서 코로나19 팬데믹 기간 동안 끔찍한 결과와 백신 접종률의 현저한 편차가 나타난 현 상황에서 인종화된 의학의 역사에 대한 이해는 그 어느 때보다 절실합니다.27,28 
The Tuskegee study may have added to the sense of mistrust that we see today, but this is built on centuries of pain and suffering inflicted on black individuals at the hands of the medical community. For us, in the contemporary context, where enduring structural inequalities between ethnic groups have manifested in dire outcomes and significant variation in vaccination uptake throughout the Covid-19 pandemic, an understanding of the racialised history of medicine is ever more pressing.27,28

의료 분야의 역사적 사건을 되돌아보고 접근하는 방식은 의료의 공공성을 위해 중요합니다. 2019년 뉴욕 센트럴파크의 시위대는 흑인 여성 노예를 동의나 진통제 없이 실험한 산부인과 의사 J 매리언 심스 박사의 동상 철거를 요구했습니다. 이러한 잔인한 권력 조작은 결국 여러 가지 선구적인 부인과 수술 기법과 오늘날에도 여전히 사용되고 있는 시조인 심스 검경의 개발로 이어졌습니다.29 우리의 경험에 비추어 볼 때 역사적 맥락을 커리큘럼에 통합하는 것은 서양 의료 행위의 기원에 대해 알고, 그 역사의 함의에 민감하며, 따라서 의료계에 여전히 존재하는 불의에 대해 발언할 수 있는 도구를 가진 의료 전문가를 양성하는 데 필수적입니다. 
The manner in which we look back on and approach historic events in the field is important for the public face of medicine. In 2019, protesters in Central Park, New York demanded the removal of a statue depicting Dr J Marion Simms, a gynecologist who experimented on black female slaves without their consent or analgesia. This brutal manipulation of power eventually culminated in the development of a number of pioneering gynaecological surgical techniques and the eponymous Sims speculum, an instrument still in use today.29 In our experience integration of historical context into curricula is vital to produce healthcare professionals informed about the origins of Western healthcare practice, sensitive to the implications of that history, and therefore have the tools to speak out against the injustices that still exist within medicine.

이전 글에서 자린 자이디 등은 의학 및 의학교육 내에서 '정상화'라는 개념을 고찰했습니다.30 이는 이 섹션에서 논의한 사례와 연결되는데, 사회적으로 구성된 관념이 무엇이 정상인지, 그리고 이와 함께 무엇이 비정상인지에 대한 관념을 어떻게 가져오는지 알 수 있기 때문입니다. 이러한 사례에서 우리는 백인의 관점과 경험이 지배적이고 따라서 정상화되어 흑인의 관점이 비정상적이거나 타자화된 관점이 된다는 것을 알 수 있습니다. 
In an earlier installment, Zareen Zaidi et al. consider the idea of ‘normalization’ within medicine and medical education.30 This links to the examples discussed in this section as we can see how socially constructed ideas bring about an idea of what is normal, and alongside this, what is abnormal. We can see from these examples that the white perspective and experience is dominant and therefore normalized, resulting in the black perspective becoming the abnormal or othered perspective.

의학의 역사에 대한 자세한 지식은 커리큘럼에 MH를 더 많이 포함시킴으로써 육성될 수 있으며, 현재 의학 교육과 의료에 만연한 과거에 대한 현재주의적, 역사주의적 관점에 대한 비판적 시각을 훈련할 수 있습니다.31
A detailed knowledge of the history of medicine, as would be fostered through a stronger inclusion of MH in curricula, trains a critical lens on damaging presentist and hagiographic views of our past, which remain rife through current medical education and healthcare.31

문학
Literature

과학과 달리 인문학은 양적 데이터보다 질적 데이터를 활용합니다. 문학적 증거를 조사하고 분석하면 과학적 방법으로는 놓칠 수 있는 회색 영역에 대한 미묘한 평가를 할 수 있습니다. 그렇다고 인문학에 고유한 방법이나 연구 분야가 없는 것은 아니며, 구체적인 증거가 없는 결론도 아닙니다. 의학교육에서 이러한 방법론은 가치 있는 학문적 연구를 제공할 뿐만 아니라 흑백 과학적 이분법을 넘어 의학을 이해하는 프레임워크를 제공합니다. 
In contrast to the sciences, the humanities utilize qualitative data over quantitative. The investigation and analysis of written, literary evidence allows for nuanced evaluation of gray areas, otherwise missed by scientific methods. That is not to say that MH are without distinct methods or fields of study, nor are its conclusions without concrete evidence. For medical education, these methodologies not only provide valuable academic research; they also provide frameworks for understanding medicine beyond black and white scientific binaries.

우리의 경험에 따르면, 교육자가 MH 방법론을 처음부터 신중하게 가르치는 데 시간을 투자하면 학생들은 환자 경험뿐만 아니라 우리 자신의 경험과 의학의 더 넓은 구조적 문제를 이해하는 데 필요한 어휘를 갖추게 됩니다. 예를 들어, 연구자의 반성성에 기반한 연구 방법론인 자동 민족지학은 의대생들이 일반적으로 사용되는 단순한 반성 연습을 넘어 "자아와 문화 사이의 상호관계"를 연구하고 질문할 수 있게 합니다.32(975쪽) 임상 커뮤니케이션을 개선하기 위한 언어 연구의 중요성은 John Skelton의 논문 '언어, 철학, 의학교육'에서 심도 있게 논의됩니다. 이 글에서 그는 모든 환자 시나리오에서 효과적인 단 하나의 의사소통 방법은 존재하지 않으며, 따라서 다양한 언어학적 접근법 중에서 선택할 수 있는 인식과 지식만이 이러한 시나리오에서 성공으로 이어질 수 있다고 주장합니다.33  
In our experience, educators spending time to teach MH methodologies carefully and from the ground up equips students with the vocabulary for understanding not only patient experiences, but our own experiences and wider structural problems with medicine. For example, auto-ethnography, a research methodology based on the reflexivity of the researcher, allows medical students to study and question “the interrelationships between self and culture”, moving beyond commonly used simple reflective exercises.32(p 975) The importance of studying language in order to improve clinical communication is discussed in depth by John Skelton in his paper, ‘Language, Philosophy, and Medical Education.’ In this piece, he argues that there does not exist one singular method of communication which is effective in all patient scenarios, and it is, therefore, only the awareness and knowledge to select from a range of linguist approaches that can lead to success in these scenarios.33

질적 증거의 출처 중 하나는 환자 내러티브입니다. 이러한 이야기를 충분히 고려하면 환자 경험에 대한 보다 풍부한 총체적 이해를 얻을 수 있습니다. 톨스토이의 <이반 일리치의 죽음>이나 마르가 에드슨의 <위트>와 같은 문학적 사례를 연구하는 것은 의대생에게 환자 내러티브를 분석하고 맥락화하는 다양한 도구를 개발할 수 있는 기회를 제공합니다.34,35 사례 기록과 요약은 학생들이 환자 경험의 복잡성을 1분 정도의 짧은 요약으로 압축할 수 있도록 돕습니다. 우리의 경험에 따르면, 이는 환자에 대해 특정한 방식으로 말하고 생각하는 결과를 낳고 질병이 사람의 삶에 영향을 미칠 수 있는 다양한 방식에 대한 총체적인 인식을 소홀히 할 수 있는 기회를 제공합니다.

  • 예를 들어, 의대생이 만성 통증이 아닌 반려견을 산책시키지 못하는 것이 환자의 상태에 가장 큰 영향을 미친다고 보고하면 선배 동료로부터 환멸을 느낄 수 있습니다. 이는 시간이 지남에 따라 임상 행동에 상당한 변화를 일으킵니다. 학생들은 환자를 전인격적으로 대하고자 했던 초기의 열정을 잊고, 대신 의사를 관찰하면서 임상 징후와 증상이 더 중요하다는 것을 배우게 됩니다.

저희의 경험에 따르면, 선배 의사에게 환자를 소개할 때 환자의 삶과 사회적 요인에 대한 정보를 제시하면 '하지만 실제로 환자의 문제가 무엇인지 알아냈나요?"라는 질문을 자주 받습니다. 이러한 상호작용은 임상 의학에서 환자의 이야기가 중요하지 않다는 생각을 강화합니다. 
One such source for qualitative evidence is patient narratives. When considered fully, these stories allow for a richer holistic understanding of the patient experience. Studying literary examples such as Tolstoy’s The Death of Ivan Illych and Wit by Margaet Edson offers medical students an opportunity to develop a diverse set of tools for analyzing and contextualizing patient narratives.34,35 Case histories and summaries encourage students to condense the complexities of patient experience into a short, often one-minute, summary. In our experience, this results in a specific way of talking and thinking about patients and introduces the opportunity to neglect a holistic appreciation of the many ways in which illness can affect a person’s life.

  • For example, as a medical student reporting the most damaging impact of a patient’s condition as the inability to walk their dog, rather than their chronic pain, could result in a disillusioned response from senior colleagues. This causes significant changes in clinical behavior over time. Students become conditioned to forget their initial enthusiasm for approaching patients as whole people and instead learn, through observing doctors, that clinical signs and symptoms are more important.

In our own experience, leading with information about the patient’s life and social factors when presenting a patient to a senior doctor is often met with ‘but did you find out what is actually wrong with them?’. These interactions reinforce the idea that patient stories are unimportant in clinical medicine.

리타 샤론은 내러티브 이해가 의료 전문가에게 핵심 기술이라고 주장합니다.36 의대생은 "내러티브 역량"36(p1897)을 개발하고 "이야기를 흡수하고 해석하고 반응하는 법"을 배워야 합니다.36(p1897) 내러티브는 "인간 지식의 상호주관적 영역"36(p1898)에 속하므로 두 가지 주체가 필요합니다: "이야기하는 사람과 듣는 사람, 작가와 독자",36(p1898) 학생과 교사, 의사와 환자. 따라서 내러티브 이해는 임상 커뮤니케이션의 풍요로움을 가져옵니다. 이와 대조적으로 "논리 과학적 지식"에 대한 '객관적' 관찰자는 분리되어 있습니다.36(p1898) 이러한 방식으로 내러티브 의학은 의사와 환자의 경험을 모두 고려하고 "공감, 성찰, 전문성 및 신뢰성"을 중심으로 구축된 의료 행위를 촉진합니다.36(p1897).
Rita Charon argues that narrative understanding is a key skill for healthcare professionals.36 Medical students should develop “narrative competency”36(p1897) and learn to “absorb, interpret and respond to stories”.36(p1897) Narrative belongs to the “intersubjective domains of human knowledge”36(p1898) and thus require two subjects: “a teller and a listener, a writer and a reader”,36(p1898) student and teacher, doctor and patient. Hence narrative understanding leads to an enrichment of clinical communication. In contrast is the detached, ‘objective’ observer of “logico scientific knowledge”.36(p1898) In this way, narrative medicine brings both the experiences of doctor and patient into view, and promotes a medical practice built around “empathy, reflection, professionalism and trustworthiness”.36(p1897)

철학과 윤리
Philosophy and ethics

의학교육에서 철학의 가치새로운 이해의 각도를 제공하는 데 있습니다.37

  • 기존의 가정을 검토하여
  • "아무도 찾지 못한 문제"37(p343)에 대한 해답을 제시하며,
  • 의학을 수행하는 새롭고 더 나은 방법을 깨우치는 것이다.

같은 맥락에서 의학이란 무엇인가와 같은 존재론적 질문을 다루는 것은 의학이 어떠해야 하는지에 대한 통찰과 지침을 제공하여 결과적으로 의학 교육을 형성하는데 활용될 수 있습니다.
For us, the value of philosophy to medical education lies in the provision of new angles of understanding;

  • examining existing assumptions,
  • leading to answers for “problems no one looked for”37(p343) and
  • enlightening us to new, better ways to do medicine.37 

In the same vein, addressing ontological questions, such as what medicine is, can provide insight and guidance to what medicine ought to be and consequently be used to shape medical education.

현상학은 임상 배치에 지대한 영향을 미친 철학적 방법론입니다. 가장 최근에는 하비 카렐이 『질병의 현상학』(2016)에서 심층적으로 탐구했는데, 현상학은 개인과 관련된 경험을 주의 깊게 살피는 데 초점을 맞춘다는 점에서 다른 인문학 방법론과 함께 사용할 수 있습니다.38 이를 통해 현상학은 우선 생물학적 질병에 초점을 맞춘 생물 의학과는 구별되는 생생한 경험으로서 질병을 탐구합니다. 의학교육에서 현상학은 개별 환자에게 질병, 의료 및 의학이 의미하는 바에 대한 새로운 관점을 제공하며, 필연적으로 다원적 접근을 장려합니다. 우리는 이를 생물학적 경로가 명확하게 이해되지 않은 질병을 앓고 있는 환자에 대한 경험에 적용할 수 있습니다. 여기에는 정신과 질환과 섬유근육통과 같은 "의학적으로 설명할 수 없는" 증후군이 포함됩니다. 현상학은 생물학적 현상에 앞서 환자의 선험적 경험에 중점을 두어 이러한 환자의 질병 경험에 타당성을 더하고 의료 전문가가 이러한 경험을 이해하는 데 도움을 줍니다. 또한, 질병보다 질병에 대한 생물 의학의 인식적 편견을 생생한 경험으로 이해하면 이러한 환자 그룹이 현대 의료 서비스에서 소외되고 종종 진단을 받는 데 어려움을 겪는 이유를 설명할 수 있습니다. 현상학적 접근 방식에 대해서는 Veen과 Rietmeijer(2021)에서 자세히 논의합니다.40 
Phenomenology is a philosophical methodology that has had a profound effect on our clinical placements. Most recently and thoroughly explored by Havi Carel in Phenomenology of Illness (2016); phenomenology can be used in tandem with other humanities methodologies in its focus on the careful examination of experience as it pertains to the individual.38 Through so doing, phenomenology explores illness as firstly a lived experience, that is distinct biomedicine focus on biological disease. For medical education, phenomenology provides a new perspective onto what illness, healthcare, and medicine mean for individual patients and necessarily promotes a pluralistic approach. We can apply this to our experience to patients with illness that lacks a clearly understood biological pathway. These include psychiatric illnesses and “medically-unexplained” syndromes like fibromyalgia. Phenomenology’s emphasis on patients’ lived-experience a priori to the biological phenomena adds validity to the illness experience of these patients and it aids understanding of these experiences for the healthcare professional. Furthermore, understanding the epistemic bias of biomedicine toward disease over illness as a lived-experience can explain why these groups of patients can be side-lined in modern healthcare and often struggle to receive a diagnosis. The phenomenological approach is discussed in more depth in Veen and Rietmeijer (2021).40

의학 커리큘럼의 변화에 관한 논문에서 순딥 미쉬라(Sundeep Mishra)는 의대생들이 외부 환경, 즉 의학의 세계 바깥에 있는 환경에 대한 오리엔테이션을 유지하고, "현실에 기반을 두는 것"이 중요하다고 설명합니다.41(187쪽) 철학과 윤리는 [가정으로 받아들여지고 사실로 받아들여지는 개념]에 의문을 제기함으로써 의학의 관점을 유지하도록 대화를 촉진합니다. MH를 공부하는 학생으로서 우리는 질병이 무엇을 의미하는지, 의학의 목적(통증 감소, 생명 연장, 질병 치료 등)이 무엇인지 탐구했습니다. - 그리고 이러한 목적을 달성하기 위한 합리적인 수단이 무엇인지 탐구했습니다. 정답에 도달하지 못하더라도 어려운 논쟁의 회색 지대를 탐색하고, 다른 사람의 관점을 이해하고, 임상 진료에 대한 자신의 성찰을 심화시키는 데서 가치를 발견했습니다. 
In her paper on changing the medical curriculum, Sundeep Mishra explains that it is important to maintain medical students’ orientation with the external environment, that is the one outside the world of medicine, as well as keeping us “grounded to reality”.41(p187) Philosophy and ethics facilitate the conversations that keep medicine in perspective by questioning concepts that are otherwise taken as assumptions and accepted to be true. As students studying MH, we have explored what is meant by disease, what the purpose of medicine is - reducing pain, prolonging life, curing disease, etc. - and what the reasonable means to achieving these ends are. Even if we never arrive at a definitive answer, we have found value in navigating the grays of difficult arguments, understanding the perspectives of others, and deepening our own reflections on clinical practice.

이러한 큰 질문들을 던지는 것은 의학이 "현실에 기반을 두는 것"(41(187쪽))과 반대되는 것처럼 보일 수 있지만, 이러한 접근 방식은 사회를 바라볼 수 있는 넓은 시야를 제공하고 의학적 결정의 더 큰 의미를 평가할 수 있게 해줍니다. 의학은 경제, 정치, 문화, 미디어, 여론의 영향을 받으며, 결과적으로 이러한 사회 각 분야에 영향을 미칩니다. 하지만 의대생으로서 우리는 공부를 계속할수록 외부 세계와 점점 더 멀어질 수 있습니다. 다른 학생들과는 다른 요구 사항, 다른 학기, 더 많은 공부 기간, 심지어 의대생 전용 동아리 및 학회까지 있기 때문에 외부 환경에 대한 방향을 잊어버릴 위험이 있는 것은 당연합니다. 의대생들이 MH에 참여하여 공감하고 폭넓은 사고를 가진 미래의 임상의사 그룹을 만들어 의학에 대한 이러한 이해를 사회와 뗄 수 없는 관계로 인식하고 전파할 수 있도록 하는 것이 중요합니다. 
Asking some of these big questions may seem like the opposite of keeping medicine “grounded to reality”; 41(p.187) however, this approach provides a wide-angle lens with which to view society and allows us to assess the bigger implications of medical decisions. Medicine is affected by economics, politics, culture, media, and public opinion and in turn it has effects on these sects of society. Yet, as medical students, we can become more and more detached from the outside world as we continue our studies. With different demands than other students, different term times, more years of study, even clubs and societies exclusively for medical students, it is no wonder we risk forgetting to orientate ourselves in the external environment. It is important that we engage medical students with MH to create a group of empathetic and broad-minded future clinicians so that they might engage and propagate this understanding of medicine as inextricably grounded in society.

외과의사 헨리 마쉬와 폴 칼라니티의 최근 인기 회고록인 Do No Harm(2014)42과 숨결이 바람 될 때(2016)43는 각각 푸코가 설명한 환자 대상화의 도전, 가능한 이점, 효과에 대한 강력한 통찰력을 제공합니다.20,44 우리의 경험과 공명하는 마쉬와 칼라니티의 작업에서 우리는 환자가 [질병을 가지고 있는 대상]으로 전락하여 외과의사가 자신의 업무를 분리하고 수행할 수 있게 하는 것을 볼 수 있습니다. 그러나 이는 환자를 온전한 개인으로 보지 않기 때문에 공감을 희생하는 것일 수 있습니다. 
Two recent popular memoirs from surgeons Henry Marsh and Paul Kalannithi in Do No Harm (2014)42 and When Breath Becomes Air (2016)43 respectively offer a powerful insight into the challenges, possible benefits, and effect of patient objectification described by Foucault.20,44 Resonating with our experiences, in both Marsh’s and Kalanithi’s work, we see patients reduced to objects-containing-disease which enable the surgeons to disconnect and carry out their work. However, this is arguably at the expense of empathy as patients are viewed as less than whole individuals.

데이비드 로스먼의 '병상의 낯선 사람들'은 20세기 후반 의료 의사 결정의 역사와 그에 따른 생명윤리의 부상을 자세히 설명합니다.45 그는 의학이 어떻게 변화하고 세상 및 환자와 단절되었는지를 전문적으로 그려내고 있습니다. 의료계가 더 많은 지식과 테크닉을 추구하면서 의학은 더욱 과학적이고 전문화되었으며 덜 개인적이 되었습니다. 로스만의 연구는 임상 의학 외부, 즉 병상 밖의 요인이 의학적 의사 결정과 환자-의사 관계에 어떤 영향을 미칠 수 있는지를 보여주는 신랄한 사례입니다.45 의대생인 우리에게는 원리와 법칙을 암기하는 것보다 의료 윤리의 역사를 이해하는 것이 [좋은 의료 행위, 즉 윤리적이라고 간주되는 것이 항상 역사 속에 있으며, 어느 정도는 역사적 시대에 의해 결정된다]는 것을 보여줍니다. 특히 로스만은 MH가 현대 생물의학 모델과 전문화가 열어준 의사와 환자 사이의 간극을 좁힐 수 있을 것이라고 제안하기도 합니다.45 
David Rothman’s Strangers at the Bedside details the history of medical decision making, and the subsequent rise of bioethics, in the second half of the 20th century.45 He expertly draws out how medicine has changed and become disconnected from the world and its patients. Through the medical profession’s quest for ever more knowledge and techniques it became more scientific, more specialized and less personal. Rothman’s work is a poignant example of how factors outside of clinical medicine, that is to say beyond the bedside, can influence medical decision making and the patient-doctor relationship.45 For us as medical students, understanding the history of medical ethics, rather than rote learning the principles and laws, shows what is considered to be good, or ethical, medical practice is always situated in history and, to a certain extent, dictated by the historical period. Notably, Rothman goes so far as to suggest that MH may be able to close the gap between doctor and patient that modern biomedical models and specialization opened up.45

의학의 측면, 특히 윤리를 가르치고 배울 때 우리는 숨겨진 커리큘럼의 역할과 중요성을 고려해야 합니다. 교육자와 학생은 숨겨진 커리큘럼 내에서 학습할 때의 장점과 단점을 모두 알고 있어야 잠재적인 이점을 극대화할 수 있습니다.46 MH 교육은 이러한 단점을 일부 완화하는 것으로 밝혀졌습니다. 잭 쿨한과 피터 윌리엄스는 윤리 및 MH 교육을 통해 학생들이 숨겨진 커리큘럼의 부정적인 결과로부터 어떻게 면역47(598쪽)이 되는지 탐구합니다. 우리는 이 논문의 연구 결과를 통해 MH를 통해 길러지는 성찰, 비판, 공감의 기술을 통해 학생들이 자신의 배치 경험을 선별하여 본받고 싶은 것과 피하고 싶은 것을 가려낼 수 있다는 것을 알 수 있습니다.48 또한, 성찰은 MH, 특히 예술을 통해 "낯설게 만들기" 과정을 통해 활성화되고 촉진됩니다.3 여기에는 새로운 표현과 결과적으로 우리의 "정상적이고" 자동적인 일상 행동에 대한 새로운 관점이 수반됩니다. 예를 들어, 숙련된 외과의사에게 수술 과정을 예술 작품, 영화, 내러티브로 제시함으로써 수술 과정을 낯설게 만들 수 있습니다. 이를 통해 이전에 검토하지 않았던 편견과 아이디어를 분석하고 반영하여 임상 치료에 대한 새로운 인사이트와 접근 방식을 이끌어낼 수 있습니다.  
When teaching and learning aspects of medicine, perhaps especially ethics, we must consider the role and importance of the hidden curriculum. Educators and students must be aware of both the advantages and disadvantages of learning within the hidden curriculum such that its potential benefits are maximized.46 MH teaching has been found to mitigate some of these disadvantages. Jack Coulehan and Peter Williams explore how students are immunised47(p.598) from the negative consequences of the hidden curriculum through teaching on ethics and MH. We can confirm the findings of this paper and know the skills of reflection, critique, and empathy that are cultivated through MH allow students to sift through their experiences on placement, picking out the things they wish to emulate, and others that they hope to avoid.48 Furthermore, reflections are enabled and promoted by MH, especially the arts by the process of “making strange”.3 This involves a novel presentation and consequentially new perspectives on our “normal”, automatic, everyday behavior. For example, one can make the process of surgery strange to an experienced surgeon by presenting aspects in artwork, film, and narratives. This forces analysis and reflection upon previously unexamined biases and ideas, leading to new insights and approaches to clinical care.

인류학
Anthropology

가장 사회적인 과학이자 가장 과학적인 인문학으로 평가받는 인류학은 내용, 맥락, 개발 역량 모두에서 전통적인 학문 분야를 넘나듭니다. 인류학자들이 주로 연구하는 민족지학적 데이터는 특정 문화 현상에 대한 인간의 경험을 분석하는 범위에서 의학 연구의 원리와 많은 부분을 공유합니다. 궁극적으로 의학은 서비스 직업입니다. 임상의사로서 우리의 업무는 인간 상태의 뉘앙스와 변화에 지울 수 없는 영향을 받습니다. 의학에 대해 생각할 수 있는 인류학적 프레임워크는 미래의 의사들이 서양 생물의학의 기원과 의미를 이해할 수 있도록 도와줍니다. 생물 의학의 경직된 도식과는 달리, 생물 의학이 질병과 불건강을 치료하는 유일한 실행 가능한 방법은 아닙니다. 궁극적으로 생물의학의 헤게모니를 옹호하게 될 학생들에게는 생물의학의 기원에 대해 비판적으로 사고하고 대안적 치료법의 가능성에 대해 열린 자세를 갖는 것이 중요합니다. 
Posited as both the most social of the sciences and the most scientific of the humanities, anthropology traverses traditional academic disciplines in both content, context, and the competencies it develops. Ethnographic data, the mainstay of research for anthropologists, shares a lot of the principles of medical research in its scope for teasing apart the human experiences of particular cultural phenomena. Ultimately, medicine is a service profession. As clinicians, our work is indelibly influenced by the nuance and variation in the human condition. An anthropological framework with which to think on medicine allows future doctors to understand the origins and implications of western biomedicine. Much unlike the rigid schema of biomedicine would have us believe, it is not the only viable method of treating disease and ill-health. For students who, ultimately, will go on to uphold the hegemony of biomedicine, it is crucial to think critically of its origins and to be open to the possibilities of alternative healing practices.

의대생과 의료 종사자 모두에게 인류학을 공부하면 의학이 문화에 어떻게 영향을 받는지, 문화가 의학에 어떻게 영향을 받는지를 더 잘 이해할 수 있는 방법론에 대한 통찰력을 얻을 수 있습니다. 의과대학에서는 유행처럼 번지고 있지만 아직은 모호한 주제인 '문화적 역량'을 교육함으로써 이러한 상호 작용을 해결하려고 시도하는데, 이는 학생들이 건강에 영향을 미치는 사회적 결정 요인에 관계없이 환자를 공평하게 치료할 수 있도록 문화에 대한 충분한 지식을 갖추도록 하기 위한 것입니다. MH 교육이 종종 다른 분야의 기술을 채택하여 생물학에 초점을 맞춘 교육 모델에 부적절하게 중첩하는 방식과 마찬가지로, [문화적 역량 교육]은 문화가 소화되고 그에 따라 행동할 수 있는 정적인 현상이라고 무심코 가정합니다. 아서 클라인먼이 『진료실의 인류학』에서 주장했듯이, 이는 분명 사실이 아닙니다.49
For medical students and healthcare workers alike, studying anthropology offers an insight into methodologies for better understanding how medicine is contingent on culture, and culture is contingent on medicine. Medical schools attempt to address this interplay through teaching “cultural competence”, a fashionable yet nebulous subject that seeks to equip students with enough knowledge about culture in order to treat patients equitably regardless of the social determinants of health they are impacted by. Much like the manner in which MH education often involves the adoption of techniques from different fields and ill-fittingly superimposes them onto a biologically focused model of teaching, cultural competence teaching inadvertently assumes that culture is a static phenomenon that can be digested and acted upon accordingly. Clearly, as Arthur Kleinman argues in Anthropology in the Clinic, this is not the case.49

우리의 경험에 따르면 문화적 역량에 대한 워크숍과 교육은 환자의 보호 특성을 강조하려고 노력하지만, 이러한 특성이 적절한 치료를 받지 못하게 하는 구조를 해체하는 데는 거의 도움이 되지 않습니다.

  • 예를 들어, 트랜스젠더 남성 환자가 시스젠더 여성과 동일한 피임 요건을 가질 수 있다는 점을 고려하는 것은 중요하지만, 이것이 환자에게 어떤 불쾌한 경험이 될 수 있는지 고려하고 의료 시스템이 이러한 피해를 완화할 수 있는 해결책을 고안하는 것이 훨씬 더 중요합니다.
  • 경험상 트랜스젠더 커뮤니티의 일원이거나 그 지지자인 학생은 트랜스젠더의 임상적 영향에 대해 시간을 내어 학습할 가능성이 더 높습니다. 커리큘럼에 트랜스젠더 건강에 대한 교육이 없는 경우, 이러한 학생들은 시험에서 더 좋은 성적을 거둡니다.

저희는 트랜스젠더 환자의 피임과 같이 소외된 집단이 직면하는 의료 서비스 장벽에 대해 더 많이 가르칠 것을 강력히 지지합니다. 그러나 학생들에게 임상 지침을 가르치는 것에서 더 나아가 의료 서비스의 구조적, 정치적 장벽에 대한 인류학적 이해를 추가해야 합니다. 이를 통해 이러한 주제에 신랄함과 중요성을 더할 수 있다고 생각합니다. 이를 통해 학생들이 이 자료에 더 잘 참여하고 소외된 집단을 더 잘 옹호할 수 있다는 것을 알게 되었습니다.
Workshops and teaching in cultural competence, in our experience, seek to highlight patients’ protected characteristics yet do little to dismantle the structures through which these characteristics prevent access to appropriate care.

  • For example, it is important to consider that the transgender male patient may have the same contraceptive requirements as a cisgender female: it is even more important to consider how this may be a dysphoric experience for our patient and devise solutions through which our healthcare systems can mitigate this harm.
  • In our experiences, students who are members of, or allies for, the transgender community are more likely to take the time to learn about the clinical impact of being transgender. In the absence of teaching on transgender health in the curriculum, these students perform better in exams.

We strongly advocate for more teaching on the barriers to healthcare that marginalized groups face, such as contraception for transgender patients. However, going beyond and teaching students the clinical guidelines and adding anthropological understandings of the structural and political barriers to healthcare. We believe this adds poignancy and an importance to these topics. On reflection, we find this results in better student engagement with this material and better student advocacy for marginalized groups.

인류학, 더 일반적으로 MH를 공부하는 것은 환자와 임상의가 직면한 사회적, 문화적 압력에 대해 생각할 수 있는 방법론을 제공합니다. 인류학은 전통적인 임상 능력의 경계를 넘어 공감, 이해, 휴머니즘을 개발할 수 있다는 점에서 임상에서 중요한 역할을 합니다. 
What studying anthropology, and MH more generally, provides is a methodology through which to think on the social and cultural pressures faced by patients and clinicians alike. Anthropology has a critical role in the clinic, in its capacity to develop empathy, understanding, and humanism beyond the boundaries of traditional clinical competence.

실용적인 고려 사항
Practical considerations

MH를 강력하게 포함하는 것의 가치는 전체론적 접근법을 개념화하고 촉진하려는 교육에서 잘 드러납니다. 그러나 MH를 통합하는 데에는 상당한 장벽이 있으며, 여기서 논의할 것입니다. 
The value of a strong inclusion of MH is well demonstrated by teaching that seeks to conceptualize and promote holistic approaches. However, there are significant barriers to integration of MH which we will discuss here.

다루어야 할 콘텐츠가 방대할 뿐만 아니라 재정적 압박으로 인해 학생들은 중요한 결과물(예: 임상 중심의 이력서 작성)에 우선순위를 두게 됩니다. 인터칼리제이션으로 인해 1년의 학습 기간이 추가된다는 점을 고려할 때, 특히 다양한 참여 배경을 가진 학생의 경우 새로운 과목을 탐구하는 '가치'를 고려할 때 재정 계획은 확실히 중요합니다. 인터칼리제이션의 경제적 제약은 MH 참여에 영향을 미칩니다. MH에 참여한 학생들의 취업 가능성에 대한 오해를 해소하는 것은 매우 중요하며, 이를 통해 MH에 돈을 투자할 능력이 있고 투자하고 싶어하는 학생들이 연구 및 임상 역량 측면에서 가치를 얻고 있다는 것을 알 수 있도록 해야 합니다. 
As well as the sheer breadth of content to cover, financial pressures encourage students to prioritize what they perceive to be important outcomes (for example, building a clinically-focused resume). Given that intercalation adds an additional year of study, financial planning is certainly important when considering the “worth” of exploring a new subject, particularly for students from widening participation backgrounds. The economic constraints of intercalation, by extension, impact engagement in MH. Addressing misapprehensions about the employability of students that have intercalated in MH is vital, such that students, who are capable of and want to invest their money in intercalation, know they are getting value in terms of research and clinical competency.

또 다른 영역은 평가 문제입니다. 영국 의대생들은 유연성과 창의성을 장려하는 평가보다는 정답과 오답으로 점수가 크게 줄어드는 객관식 단답형 시험을 반복적으로 치르게 됩니다. 또한 인문학과 예술의 이론적 프레임워크는 평가 자체에 대한 비판과 통찰력을 제공하여 의학교육을 개선할 수 있습니다.50 
Another such area is the matter of assessment. Rather than assessments which encourage flexibility and creativity, UK medical students are repeatedly presented with multiple-choice, single-best-answer examinations in which marks are broadly reduced to correct vs. incorrect. Furthermore, theoretical frameworks from humanities and the arts can provide critiques and insights into assessment itself for medical education to improve itself.50

MH는 의과대학에서 전통적으로 학생들을 평가하는 틀에 맞추기가 더 어렵습니다. 서면 과제는 교육자가 학생의 학위 인증을 결정하는 데 유용하지만, 학생들은 종종 이러한 과제를 다음 단계로 넘어가기 위해 특정 기술에 대한 숙련도를 입증해야 하는 '틱 박스 연습' 의학교육의 연장선으로 해석합니다. 학생들은 이득이 불분명하거나 평가가 중요하지 않은 경우 과제에 진정으로 참여하기보다는 기대하는 바를 수행하게 됩니다.51 이러한 교육 모델은 잠재적인 학생들의 관심을 끌지 못하는 경우가 많으며, MH 교육이 현재 의과대학의 미리 정해진 방법론과 행정 구조에 어떻게 끼워맞추는지를 다시 한 번 보여줍니다. MH 교육에 참여하고 새로운 영역이나 사고 패턴을 통합하기 위해 동료들과 대화를 나누는 것은 우리의 경험을 통해 똑같이 가시적인 학습 성과를 제공하는 것으로 나타났습니다.
MH are more difficult to mold to a proforma through which medical schools traditionally mark their students. Written work is useful to educators in determining the accreditation of a student’s degree, yet students often interpret these tasks as an extension of “tick-box exercise” medical education, whereby one must demonstrate proficiency in a particular skill in order to move onto the next phase. Students will perform what is expected of them, rather than truly engaging with the task, if the benefit is unclear or assessment unimportant.51 This teaching model often fails to captivate potential students and, once again, demonstrates how MH teaching is often shoehorned into the predetermined methodologies and administrative structures of current medical schools. Engaging with MH teaching, and the conversations one has with peers in order to consolidate new areas or patterns of thought have been shown, through our experience, to offer equally tangible learning outcomes.

영국의 한 의과대학에서는 2학년 학생 전체를 대상으로 가쓰시카 호쿠사이의 목판화 '가나가와 앞바다의 큰 파도'(1829~1833년경)를 해석하는 소그룹 교육을 하루 동안 진행했습니다. 이 워크숍은 이틀에 걸쳐 전체 수강생이 교육을 받을 수 있도록 진행되었습니다. 둘째 날에는 워크숍 참석률이 저조했는데, 등록이나 공식적인 평가가 없다는 동료들의 이야기를 듣고 많은 사람들이 시간을 투자할 가치가 없다고 판단했습니다. 하루 동안 진행되는 워크숍이라는 특별한 접근 방식은 가치를 즉시 확인할 수 없는 사람들의 관심을 끌기에는 부족합니다. MH가 커리큘럼의 기초에 내장되지 않고 그 위에 추가되는 방식이라면, 학생들은 성적에 영향을 주지 않는다면 기꺼이 참여를 포기할 수 있습니다. 
At one UK medical school, all second year students were offered a day dedicated to small group teaching around interpreting Katsushika Hokusai’s woodblock print The Great Wave off Kanagawa (circa 1829 − 1833). These workshops were spread over two days for the entire cohort of students to receive teaching. On the second day, workshop attendance was low; having heard from peers that there was no register or formal assessment, many decided it was not worth their time. This particular approach - a day long workshop - falls short of captivating the interests of those who cannot immediately see the value. When MH is added on top of, rather than built into the foundations to the curriculum, students are able, and willing, to disengage provided it does not affect their grade.

참여를 장려하기 위해서는 공식 평가가 핵심 커리큘럼과 분리되지 않고 의학의 회색 영역을 포용해야 한다고 생각합니다. 따라서 우리는 MH 교육의 가치를 정량화하려는 충동을 피하고 그 인식론적 기원을 수용해야 합니다. 교육자는 자신이 탐구하는 학문 분야에서 초기 단계에 있는 기법을 채택함으로써 학생들을 과정에 더 잘 참여시킬 수 있으며, 학문적 인문학의 전략을 완전히 통합함으로써 학생들에게 보다 진정성 있는 경험을 제공할 수 있습니다. 또한, 강력한 포용성을 통해 이러한 기법을 채택하는 것은 학생과 교육기관에 MH의 재정적 가치를 가장 잘 보여줄 수 있습니다. 
In our opinion, to encourage engagement, formal assessment must embrace the gray areas of medicine without separation from the core curriculum. As such, we must avoid the urge to quantify the value of MH teaching and embrace its epistemological origins. Educators might better engage students with the process by adopting techniques nascent to the academic field they are exploring; in fully integrating the strategies of academic humanities, students are offered a more authentic experience. Furthermore, adopting these techniques through strong inclusion best demonstrates the financial worth of MH to students and institutions.

추가 작업
Further work

물론 우리가 다루지 않은 고려 사항도 있습니다. 예를 들어, 학습 공간에서 다른 의대생들과 함께 하는 것이 더 나은가, 아니면 학생들이 의학과가 아닌 다른 과목에 참여할 때 더 효과적으로 학습할 수 있는가? 상대적으로 좁은 범위의 경험을 증거로 제시할 때, 그 한계를 인식하는 것이 중요합니다. 우리 각자는 영국 대학에서 공부하기 때문에 MH가 커리큘럼에 어떻게 약하게 또는 강하게 통합되어 있는지에 대한 전 세계 학생의 관점을 설명할 수 없습니다. 이 주제에 대한 추가 고찰, 특히 학생의 목소리가 반영된 연구 결과가 필요합니다. 학생은 연구 참여자로서뿐만 아니라 연구자이자 저자로서도 매우 중요하다고 믿기 때문에 학생의 관점은 의학교육의 문제를 고려하는 데 새로운 시각을 제공합니다. 이는 인종차별, 성소수자, 기후 변화, 기술 및 혁신과 같이 세대 간 격차가 존재하는 문제에서 매우 중요합니다. 
There are of course considerations we have not covered; for example, is it better to join other medical students in a learning space, or do students learn more effectively when they join courses outside of the medical department? In positing our own relatively narrow range of experiences as evidence, it is important to recognize their limitations. Each of us studies at UK universities and as such cannot account for a global student perspective on how MH are weakly or strongly integrated in curricula: we invite further reflections on this topic, particularly from those which incorporate the student voice. The student perspective provides a novel lens for considering issues in medical education as we believe students are invaluable, not just as research participants but as researchers and authors themselves. This is significantly important in issues where we see a generation gap such as racism, LGBTQ+, climate change, and technology and innovation.

마찬가지로, 저희는 커리큘럼에서 MH의 가치를 성찰하고 옹호해 온 소수의 사람들을 대표하기 때문에 그 장점에 편향된 입장을 취하고 있습니다. MH에 대해 좋지 않은 경험이 있거나 우리가 말한 것에 반론을 제기하는 사람, 특히 포용성이 약하거나 강한 것을 목격한 사람, 우리가 논의한 학문 분야에 대해 더 많은 성찰이 있는 사람, 우리가 놓친 연구 영역에 있는 사람들도 의견을 제출해 주시기 바랍니다. MH를 커리큘럼에 가장 잘 통합하고 의학의 회색 영역을 이해하기 시작하려면 균형 잡힌 토론을 발전시켜야 합니다.
Similarly, as we represent a self-selected few who have reflected on and advocated for the value of MH in our curricula, our position is biased toward its benefits. Those who have poor experiences with MH or aspersions that present a counter-argument to what we have said; those who have witnessed particularly weak or strong inclusion, those with further reflections on the academic fields we have discussed, and those within realms of study we have missed are, too, invited to submit their observations. In order to best interweave MH into curricula and begin to make sense of the gray areas of medicine we must cultivate a well-rounded debate.

결론
Conclusion

이 글에서는 학생의 관점에서 의학 및 의학교육에서 MH의 일부 영역과 그 가치에 대해 간략하게 살펴보았습니다. MH의 인터칼레이팅을 경험한 저희는 의학의 모든 측면을 새롭게 바라볼 수 있는 미묘한 시각을 갖게 되었습니다. 
In this piece we have provided a broad overview of just some of the domains of MH and their value in medicine and medical education from the student perspective. As former intercalators in MH, our introduction to learning from within these disciplines has given us a renewed and nuanced way of viewing every aspect of medicine.

우리는 MH를 위한 더 강력한 포용 방법으로서 인터칼레이션의 강점과 단점에 대해 논의했습니다. 이 논의가 통합을 위한 최선의 단일 방법을 정의하는 것을 목표로 하는 것은 아니지만, MH를 더 나은 병상bedside 매너를 불러일으킬 수 있는 선택적 추가 사항 이상으로 간주해야 한다는 점을 보여주었습니다. 오히려 회색의 존재는 글로벌 MH 교육을 요구합니다. 
We have discussed the strengths and shortcomings of intercalation as a stronger method of inclusion for MH. While our discussion does not aim to define a single best method for integration, we have demonstrated how MH ought to be viewed as far more than optional extras which may invoke a better bedside manner. Rather, the existence of the gray demands global MH education.

아무리 인문학에 회의적인 의학교육자라 할지라도 의학이 사회, 사람, 문제와 분리된 객관적이고 흑백적인 사실의 진공 속에 존재한다고 선의로 주장할 수는 없습니다. MH는 이러한 회색 영역을 살펴볼 수 있는 기회와 이를 주의 깊게 연구할 수 있는 틀을 제공합니다. 의학은 그 안에 있는 사람들에 의해, 특히 단점을 분석할 수 있는 도구가 주어질 때 더 나은 방향으로 변화할 수 있습니다. 학생의 관점을 활용하면 MH에서 무엇이 잘 작동하는지뿐만 아니라, 왜 잘 작동하는지, 앞으로 교육을 어떻게 발전시킬 수 있는지에 대해 더 깊이 있게 살펴볼 수 있습니다. 학생들은 교육적 토론에 의미 있는 기여를 하는 새로운 통찰력을 제공하여 궁극적으로 의학교육과 실습을 형성하는 데 도움을 줍니다. 끊임없이 변화하는 교육 기관에서 그 핵심에 있는 학생들보다 미래를 더 잘 상상할 수 있는 사람이 있을까요? 
Even the most hardened humanities-sceptic medical educators cannot argue in good faith that medicine exists in a vacuum of objective, black and white, facts, separated from the grays of society, its people and their problems. For us, MH provide an opportunity to look at these gray areas, and a framework for studying them carefully. Medicine can be changed for the better by the people within it, especially when they are given the tools to analyze its shortcomings. Utilizing the student perspective allows a deeper dive not just into what works well in MH, but why it works well and how we might develop education moving forwards. Students offer novel insights which contribute meaningfully to pedagogical discussions that ultimately help to shape medical education and practice. For an institution so consistently in flux, who better to envisage its future than the students at its core?


Teach Learn Med. 2022 Apr-May;34(2):223-233. doi: 10.1080/10401334.2021.1982717. Epub 2021 Nov 9.

Black, White and Gray: Student Perspectives on Medical Humanities and Medical Education

Affiliations

1Faculty of Life Sciences and Medicine, King's College London, London, England.

2Academic Unit of Medical Education, University of Sheffield, Sheffield, England.

3Hull York Medical School, University of York, York, England.

4Brighton & Sussex Medical School, University of Sussex, Brighton, England.

5Edinburgh Medical School, University of Edinburgh, Edinburgh, Scotland.

PMID: 34749550

DOI: 10.1080/10401334.2021.1982717

Abstract

Issue: In recent years, the value and relevance of humanities-based teaching in medical education have become more widely acknowledged. In many medical schools this has prompted additions to curricula that allow students to explore the gray-as opposed to the black and white-areas of medicine through arts, humanities, and social sciences. As curricula have expanded and diversified in this way, both medical educators and students have begun to ask: what is the best way to teach medical humanities?

Evidence: In this article, five current medical students reflect on their experiences of medical humanities teaching through intercalated BSc programmes in the UK. What follows is a broad exploration of how the incorporation of medical humanities into students' time at university can improve clinical practice where the more rigid, objective-driven, model of medicine falls short.

Implications: This article reinforces the merit of moving beyond a purely biomedical model of medical education. Using the student voice as a vector for critique and discussion, we provide a starting point for uncovering the path toward true integration of humanities-style teaching into medical school curricula.

Keywords: Medical humanities; medical education; student perspectives.

신뢰의 문제: 의학교육에서 온라인감독 시험과 평가에 테크놀로지 통합하기(Teach Learn Med. 2022)
A Matter of Trust: Online Proctored Exams and the Integration of Technologies of Assessment in Medical Education
Tim Fawnsa and Sven Schaepkensb

 

소개: 평가의 테크놀로지
Introduction: the technology of assessment

테크놀로지는 의학 및 의학교육에 널리 퍼져 있습니다. 호흡 모니터, 휴대폰, 디지털 환자 기록, 소셜 미디어, 디지털 교육 플랫폼은 모두 지식, 실무, 관계를 변화시켰습니다.1-4 테크놀로지는 방사선과 약학과 같은 전문직의 역할과 전문성을 재편했습니다.5 많은 장점과 함께 위험도 존재합니다. 테크놀로지는 우리가 일하고 학습하는 방식뿐만 아니라 우리의 광범위한 도덕적 관계, 신념, 규범 및 가치관에도 영향을 미칩니다.6,7 교육자들은 새로운 테크놀로지를 협상할 때 테크놀로지적 문제뿐만 아니라 매우 복잡하고 도덕적이며 교육적인 문제에 직면하게 됩니다.5 그럼에도 불구하고 테크놀로지를 사용하는 사람들이 테크놀로지를 검토하지 않거나,8 우리의 이해가 개인의 상호작용, 경험, 학습, 결과에 대한 질문으로 제한되는 경우가 많습니다.9  
Technology is pervasive in medicine and medical education. Respiratory monitors, mobile phones, digital patient records, social media, and digital education platforms have all changed knowledge, practice, and relationships.1–4 Technologies have reshaped professional roles and specialisms such as radiology and pharmacy.5 Alongside the many benefits, there are also risks. Technology changes more than how we work and learn; it also influences our wider moral relations, beliefs, norms and values.6,7 As educators negotiate new technologies, they are confronted not only with technical challenges but also highly-complex, moral, and pedagogical ones.5 Despite this, technology often goes unexamined by those who use it,8 or our understanding is limited to questions about individual interactions, experiences, learning, and outcomes.9

평가 문화는 또한 정체성, 사회적 관계, 직업에서 인정하는 정당한 지식과 행동을 형성합니다.10-13 평가 관행과 문화는 시간이 지남에 따라 루브릭, 점수표, 가상 학습 환경, 표절 감지 소프트웨어와 같은 테크놀로지에 의해 형성되었습니다.14 평가에서 테크놀로지의 미래 방향에 대해 추측하는 Hodges15는 감시와 자동화된 판단을 통해 고부담 시험에서 수행성이 강화될 것을 경고합니다. 지금까지 평가 테크놀로지(및 보다 일반적인 평가)13에 대한 연구는 형평성, 윤리 또는 가치의 문제보다는 중립적이고 객관적인 도구를 중심으로 개별 결과에 초점을 맞춰 왔습니다.16 
Cultures of assessment also shape identities, social relations, and the legitimate knowledge and behavior recognized by a profession.10–13 Assessment practice and culture have, in turn, been shaped over time by technologies such as rubrics, mark sheets, virtual learning environments, and plagiarism detection software.14 Hodges,15 speculating on future directions of technology in assessment, warns of an intensification of performativity in high stakes examinations through surveillance and automated judgements. Thus far, research on assessment technologies (and assessment more generally)13 has focused on individual outcomes, framed around neutral and objective tools, rather than issues of equity, ethics, or values.16

조사할 가치가 있는 테크놀로지 중 하나는 시험장 외부에 감독관이 있는 시험 환경을 조성하는 서비스인 온라인 감독입니다.17 이러한 서비스는 코로나19 팬데믹 이전에도 존재했지만, 기관들이 안전한 평가의 연속성을 추구하면서 2020년에 그 사용이 크게 증가했습니다.18 오프라인 시험장은 여전히 시험장이 지향하는 표준을 대표하지만, 온라인 감독관은 "시험을 전혀 치를 수 없는 상황"에 대한 대안으로 자리 잡았습니다.18(p8) 다양한 서비스에서19 정기적인 소프트웨어 업데이트와 데이터 기반 접근 방식의 조합은 혁신의 느낌을 주며18,20 이는 효율성과 함께 평가에서 테크놀로지 채택의 핵심 요소입니다.21 그러나 감독관은 학습자 프라이버시와 관련된 새로운 위험을 초래하고,18 불신을 조장하며,22 비백인과 장애인을 차별하고 데이터를 오용한다는 비판을 받습니다. 
One technology worth investigating is online proctoring—a service that creates invigilated examination conditions outside of the exam hall.17 Such services existed before the Covid-19 pandemic, but their use increased significantly in 2020 as institutions sought continuity of secure assessment.18 While exam halls still represent the standard to which it aspires, online proctoring has been positioned as an alternative to “not being able to run exams at all”.18(p8) Across a variety of services,19 a combination of regular software updates and data-driven approaches produces a sense of innovation18,20 which, along with efficiency, is a key factor in technology adoption in assessment.21 However, proctoring has been criticized as introducing new risks around learner privacy, foregrounding distrust,18 discriminating against nonwhite and disabled people, and misusing data.22

온라인 감독에 대한 연구는 이제 막 등장하고 있습니다. 이 분야에 대한 리뷰는 종종 언론 자료에 의존하며,18,23,24 비판적 접근 방식을 채택한 연구는 거의 없습니다. 코글린 등24 은 교육기관에 대한 불신 증가와 감시 및 통제의 가속화에 대한 우려를 제기합니다. 리와 팡기25는 푸코의 '규율적 정부성'26을 한국 대학의 온라인 감독에 적용합니다. 이들은 감시가 사고와 행동의 가능성을 제약하고 학생들을 경쟁의 장에서의 상대로 위치시킨다고 제안합니다. 호주의 셀윈 등은 인터뷰, 문서, 미디어를 분석하여 대학, 감독업체, 학생 간의 관계를 비판적으로 검토합니다.18 이들은 감시와 함께 "상업적 공급자에게 통제권을 넘기는 것"과 교사가 교육적 가치를 유지하기 위해 테크놀로지를 전복해야 할 필요성에 대해 의문을 제기합니다. 
Research on online proctoring is just emerging. Reviews of the field often rely on journalistic sources,18,23,24 and few studies have adopted critical approaches. Coghlin et al.24 raise concerns about increasing distrust toward institutions and an acceleration of surveillance and control. Lee and Fanguy25 apply Foucault’s “disciplinary governmentality”26 to online proctoring at a South Korean university. They propose that surveillance constrains possibilities for thinking and behavior, and positions students as opponents in an atmosphere of competition. In Australia, Selwyn et al. analyze interviews, documents, and media to critically examine relations between universities, proctoring companies, and students.18 Alongside surveillance, they question “the surrender of control to commercial providers”, and the need for teachers to subvert the technology to maintain their educational values.

의학 교육에서 온라인 프록팅은 아직 비판적인 연구의 대상이 되지 않았습니다. 의학이 청렴하고 전문성을 갖춘 의료인을 양성하는 것을 강조하는 것을 고려할 때, 이것은 걱정스러운 일입니다. 프록팅의 테크놀로지화된 과정은 결과가 공정하고 객관적이라는 것을 의과 대학, 고용주 및 대중을 안심시킬 수 있습니다. 그러나 "모든 형태의 시험은 감시"이며, 신뢰, 전문직업성 및 지식에 대한 규범적 개념이 이미 의료 교육의 전통적인 평가 관행에 포함되어 있지만, 단순히 "시험을 온라인으로 옮기는 것" 이상의 일이 진행되고 있는지 여부를 고려하는 것이 중요합니다. 
In medical education, online proctoring has not yet been subject to critical research. This is worrying, given medicine’s emphasis on cultivating practitioners with integrity and professionalism. The technologized process of proctoring may reassure medical schools, employers, and the public that results are fair and objective.25 However, while “all forms of examination are surveillance”,15(p3) and while normative conceptions of trust, professionalism, and knowledge were already embedded within traditional assessment practice in medical education,27,28 it is important to consider whether something more is going on than simply “moving exams online”.

본 논문에서는 속도를 늦추고 맥락을 고려하며 의료교육에서 평가테크놀로지와 문화, 이들이 촉진하는 지식과 직업적 정체성의 상호작용을 성찰하자는 빈과 시아노콜로의 제안을 따릅니다. 우리는 포스트 디지털 접근법과 포스트 현상학 접근법을 결합하여 2020년 온라인 프로텍팅된 영국의학전문대학(MRCP) 회원 시험을 분석합니다. 우리는 이 온라인 프록팅의 예시를 통해 생성된 대본, 규범, 신뢰 관계를 살펴보고 역사적, 경제적 맥락에서 이를 위치시킵니다. 이를 통해 교육훈련생과 의료교육기관 간 지식, 전문성, 관계 측면에서 무엇이 가치 있는지 고려한 후 의료교육에서 평가테크놀로지의 통합에 대한 시사점을 도출합니다. 
In this paper, we follow Veen and Ciancolo’s29 suggestion to slow down, consider context, and reflect on the interplay between assessment technology and culture in medical education, and the kinds of knowledge and professional identity they promote. We combine postdigital and postphenomenology approaches to analyze the 2020 online proctored United Kingdoml College of Physicians (MRCP) membership exam. We examine the scripts, norms, and trust relations produced through this example of online proctoring, and locate them in historical and economic contexts. Through this, we consider what is valued in terms of knowledge, professionalism, and relations between trainees and medical education institutions, before drawing out implications for the integration of technologies of assessment in medical education.

이론적 틀: 포스트 디지털과 포스트 현상학의 결합
Theoretical framework: combining the postdigital and postphenomenological

의학 교육 연구가 주로 개인주의와 지식을 "개인 자본"으로 다루는 것에 몰두해 온 반면, 일부는 의학 교육 내에서 테크놀로지를 검토하기 위해 더 복잡한 프레임워크를 채택했습니다. 신체 교육학은 학습과 실천을 (테크놀로지를 포함하는) 물질적 환경과 상호 작용하여 발생하는 구체화된 프로세스로 간주합니다. 활동 이론, 실천 이론 및 기타 사회 물질적 접근법은 테크놀로지와 사람이 특정 상황에서 함께 행동하는 방법을 보는 데 도움이 되어 둘 다 고립되어 이해될 수 없습니다. 이러한 작업은 주로 실천 설정에 초점을 맞추고 있으며, 우리가 아는 한 의료 교육에서 평가 테크놀로지를 검토하는 데 아직 사용되지 않았습니다. 
While medical education research has been largely preoccupied with individualism, and the treatment of knowledge as “private capital”,30(p849) some have employed more complex frameworks to examine technology within medical education. Body pedagogics3 considers learning and practising as embodied processes that occur in interaction with the material environment (which includes technologies). Activity theory,31,32 practice theory,33 and other sociomaterial approaches34 have helped us see how technology and people act together, in particular situations, such that neither can be understood in isolation. Such work focuses primarily on practice settings, and has not yet, to our knowledge, been used to examine assessment technology in medical education.

디지털 테크놀로지의 복잡한 얽힘을 심문하기 위한 새로운 관점은 "포스트 디지털"입니다. 테크놀로지에 대한 사회 물질적 이해와 관련하여, 그것은 모든 "디지털"이 더 넓은 맥락에 포함된 것으로 이해되어야 한다고 주장합니다. 테크놀로지의 결과는 그것이 사용되는 방법과 여러 이해 당사자의 목적, 가치 및 맥락에 달려 있습니다. 더욱이, 디지털 활동과의 만남은 구체화되고 창발합니다. 온라인 시험은 물리적 신체와 물리적 환경에서 이루어지며, 전통적인 교육 관행의 간단한 온라인 버전은 있을 수 없습니다. 온라인 감독 시험은 일부 공통점이 있지만, 필연적으로 시험장과 다른 현실을 수반합니다. 이러한 더 넓은 관점을 강화하기 위해, 우리는 먼저 프록터링 테크놀로지의 예에 의해 촉진되는 인간-테크놀로지 관계(행동 스크립트, 사회적 규범 및 신뢰 관계)의 더 면밀한 심문을 위해 테크놀로지 접근법의 후현상 테크놀로지를 채용합니다. 그런 다음 우리는 이 테크놀로지에 의해 만들어진 평가 현실이 역사적, 정치적, 교육학적 및 경제적 맥락에 어떻게 포함되며, 이것이 평가 테크놀로지의 훈련생, 기관 및 문화 간의 관계에 어떤 의미가 있는지 고려하기 위해 줌아웃합니다. 
An emerging perspective for interrogating the complex entanglements of digital technology is that of the “postdigital”.35,36 Related to sociomaterial understandings of technology, it asserts that anything “digital” must be understood as embedded in a broader context. Outcomes of technology are contingent on the methods by which it is used, and the purposes, values, and contexts of multiple stakeholders.37 Further, encounters with digital activity are embodied and emergent. Online exams take place in physical settings with physical bodies, and there can be no straightforward online versions of traditional educational practices.35,38,39 Online proctored exams inevitably involve a different reality from the exam hall, albeit with some commonalities.40 To augment this broader perspective, we first employ a postphenomenology of technology approach,41–44 for a closer interrogation of the human-technology relations (behavioral scripts, social norms, and trust relations) promoted by an instance of proctoring technology. We then zoom out to consider how the assessment reality created by this technology is embedded in historical, political, pedagogical, and economic contexts, and what this means for relationships between trainees, institutions, and cultures of assessment technology.

포스트 디지털 관점포스트 현상학 관점 모두 현실이 인간의 주관적인 해석과 행동에만 기초한다는 생각을 거부합니다. 우리는 우리 주변의 세계를 완전히 결정하지는 않습니다. 반면, 두 관점 모두 현실이 단지 "저 밖에" 있고 우리가 객관적으로 알 수 있다는 관점을 비판합니다. 우리 주변의 세계가 우리를 완전히 결정하지는 않습니다. 반대로 두 관점 모두 "현실은 관계에서 발생하며, 이를 접하는 인간이 발생하는 것처럼"을 강조하며, 테크놀로지는 이러한 관계를 형성하는 역할을 합니다. 
Both postdigital and postphenomenological perspectives reject the idea that reality is based on human, subjective interpretation and action alone. We do not fully determine the world around us. On the other hand, both perspectives also criticize the view that reality is just “out there” and we can know it objectively. The world around us does not fully determine us. Conversely, both perspectives emphasize that “reality arises in relations, as do the humans who encounter it”,43(p568) and technology has a role in shaping these relations.

온라인 관리 시험
Online proctored exams

온라인 프록팅은 행동과 이동에 대한 가능성을 감시하고 제한함으로써 원격 버전의 시험장 조건을 만듭니다. 그 테크놀로지는 각 응시자의 신원을 확인하고, 그들이 그들의 수행을 도울 수 있는 자원으로부터 혼자이고 격리되어 있다는 것을 확인합니다. 귀마개를 착용하거나 교과서 또는 모바일 장치를 다루는 것은 "심각한 시험 프로토콜 위반"으로 간주될 수 있습니다. 일부 서비스는 시험자가 문서, 응용 프로그램 및 웹사이트에 대한 액세스를 차단하기 위해 그들의 장치에 소프트웨어를 설치하도록 요구합니다. 인증은 일반적으로 시험 동안 환경을 감시하는 웹캠과 마이크를 제어하기 위한 소프트웨어의 허가를 요구합니다. 다른 데이터는 키보드 스트로크, 네트워크 트래픽 및 컴퓨터 메모리 사용량을 포함할 수 있습니다. 모니터링은 녹화 또는 둘 다를 통해 라이브 또는 회고적일 수 있으며 알고리즘 또는 학생에게 알려지지 않고 보이지 않는 인간을 포함할 수 있습니다. 시험 전에 응시자는 웹캠으로 시험 공간(종종 침실, 부엌 또는 집 내의 다른 개인 공간)을 스캔해야 합니다. 
Online proctoring creates a remote version of exam-hall conditions by monitoring and constraining possibilities for action and movement. The technology verifies each candidate’s identity, and that they are alone and isolated from resources that could aid their performance. Wearing earplugs or handling textbooks or mobile devices may be considered a “serious breach of exam protocol”.45(p5) Some services require exam-takers to install software on their device to block access to documents, applications, and websites. Authentication normally requires permission for the software to control webcams and microphones, which monitor the environment during the examination. Other data can include keyboard strokes, network traffic, and computer memory usage.17 Monitoring can be live or retrospective via recordings, or both, and may involve an algorithm, or a human who is unknown to, and unseen by, the student. Before the exam, candidates must scan the examination space (often a bedroom, kitchen, or other private space within their home) with their webcams.

온라인 프록팅의 최근 예는 영국 왕립 의과 대학(MRCP) 회원 시험입니다. 두 파트로 이뤄진 이 시험은 전문가 양성을 위한 관문 역할을 합니다. "매년 5천 명의 응시자가 검사를 받는 "세계에서 가장 큰 규모의 대학원 임상 시험"입니다. 1부는 입문, 필기 시험입니다. 2부는 두 시간, 세 시간의 필기 시험으로 구성되어 있으며 둘 다 같은 날 앉았습니다. 마지막으로 임상 시험 스킬 실무 평가(PACE)가 있습니다. 2020년에 MRCP는 다양한 구성 요소에 대해 다른 활력 서비스를 사용하여 원격 검사할 수 있는 옵션을 제공했습니다. MRCP 지침에 따르면 프록팅은 "대면 시험에서 마주치는 것처럼 시험 내내 활동을 모니터링"하는 "전문 제공자에 의해" 수행됩니다. 45(p5) 
A recent example of high-stakes online proctoring is the United Kingdom’s Royal College of Physicians (MRCP) membership exam. This two-part exam acts as a gateway into specialist training.46 It is “the largest high stakes postgraduate clinical examination in the world” with “5000 candidates examined each year”.47(p2) 

  • Part One is an introductory, written examination.
  • Part Two is more advanced, consisting of two, three-hour written exams, both sat on the same day.
  • Finally, there is the Practical Assessment of Clinical Examination Skills (PACES).

In 2020, MRCP offered the option of remote examination using different invigilation services for the different components. According to the MRCP guidance, proctoring would be performed “by a specialist provider” who would “be monitoring your activity throughout the exam, just as they would in a face to face exam encounter.”45(p5)

본 논문에서는 MRCP 시험 2부의 실기시험 구성 요소를 제외하고 분석을 필기 요소로 제한합니다. 임상 스킬을 입증하기 위한 동등한 평가 환경을 만들 수 있는 온라인 프록팅 능력에 대한 우려가 분명히 있지만 범위를 제한하면 테크놀로지가 필기 평가에서도 제한된 물리적 환경을 어떻게 만드는지에 초점을 맞출 수 있습니다. 2020년 MRCP 회원 시험 2부는 프록터 검사 서비스를 사용했습니다. 수험생은 "보장"되는 조용한 위치를 선택해야 했습니다. 시험 공간은 조명이 잘 켜져 있어야 하고 신뢰할 수 있는 WiFi가 있어야 했습니다. 웹캠과 마이크가 있는 노트북, 구글 크롬 브라우저, 최소 인터넷 속도가 요구되었습니다. 프록터 검사는 눈의 움직임이나 키 누름을 측정하지 않았지만 추가적인 "정확도"를 위해 추가 카메라(예: 응시자의 스마트폰)를 추가하는 "리더"라고 자부했습니다. 48 화면 및 카메라 영상은 "내부 사용"을 위해 녹화되었으며 응시자나 시험관이 사용할 수 없게 되었습니다. 45 
In this paper, we limit our analysis to the written element in Part Two of the MRCP exam, excluding the practical component. While there are obvious concerns about the capacity for online proctoring to create equivalent assessment environments for demonstrating clinical skills, limiting our scope allows us to focus on how the technology creates constrained physical environments even for written assessments. In 2020, Part Two of the MRCP membership exam used the ProctorExam service. Examinees were required to choose a quiet location where they were “guaranteed” not be disturbed.45 The exam space needed to be well lit and have reliable WiFi. Requirements included a laptop with webcam and microphone, Google Chrome browser, and a minimum Internet speed. ProctorExam did not measure eye movements or keystrokes, but prided itself as a “leader” in adding extra cameras (e.g. the candidate’s smartphone) for additional “accuracy”.48 Screen and camera footage was recorded for “internal use” and not made available to candidates or examiners.45

인간 검사관들(Proctor Exam 또는 기관 직원들)은 응시자들이 정확한 시간에 시작했는지 확인하고 필요할 때 도움을 제공하기 위해 응시자들을 지켜봤습니다. 게다가, 그들은 시험 환경이 안전한지 확인했습니다. 이 지지적 체계는 비정상적인 행동을 잠재적인 부정행위로 표시하는 주요 기능을 과소평가했습니다. 이러한 경우, 의료 교육 기관은 취해진 모든 조치에 대해 최종 결정권을 갖습니다. 검사관들은 응시자들에게 보이지 않았습니다. 문자 채팅을 통해 의사소통이 이루어졌습니다. 응시자들은 더 일찍 끝났음에도 불구하고 할당된 시간이 끝날 때까지 컴퓨터에 앉아 있어야 했습니다.
Human proctors (either ProctorExam or institutional employees) watched the candidates, to ensure they started at the correct time and to provide assistance when needed (e.g. where candidates felt unwell or needed the bathroom). Moreover, they ensured that the exam environment was secure. This supportive framework underplayed the primary function, which was to flag abnormal behavior as potential cheating. In such cases, the medical education institution would have the final say on any action taken. Proctors were not visible to candidates; communication occurred via text chat. Candidates had to remain seated at their computer until the end of the allocated time, even if they had finished earlier.45

프록팅의 사후 명명법: 테크놀로지가 현실을 만드는 방법
Postphenomology of proctoring: how technology creates reality

Ihde41과 베어벡에 의해 개발된 Purse 현상학은 테크놀로지가 단순히 우리가 의도하는 것을 하는 특정한 목적을 가지고 설계된 도구라는 생각에 도전합니다.49 대신 테크놀로지는 중립적이지 않은 방법으로 인간과 세계 사이의 관계를 중재합니다.50 이 렌즈를 사용하여 우리는 테크놀로지가 사용자에게 어떻게 그들이 세계에서 어떻게 행동할 수 있는지를 형성하는 특정한 스크립트를 제공하고, 테크놀로지가 어떻게 세계를 그들에게 제시하는지를 면밀히 조사합니다. 
Postphenomenology, as developed by Ihde41 and Verbeek,42 challenges the idea that technology is an instrument designed with a certain purpose that simply does what we intend it to do.49 Instead, technology mediates relations between human and world in non-neutral ways.50 With this lens, we scrutinize how technology offers users particular scripts that shape how they can act in the world, and how technology presents the world to them.

스크립트 및 규범
Scripts and norms

테크놀로지적인 물건들은 "그것들이 사용되는 방식을 형성하는 경향이나 궤적"인 대본을 가지고 있습니다. 43(p569) 예를 들어, 만년필은 우리가 그것들을 쓰기 전에 그것들을 미리 생각하고 문장을 구성하도록 요구하는 반면, 워드 프로세서는 말을 흉내내는 빠르고 유연한 글쓰기를 호출합니다. 어떤 사람은 어느 것으로 천천히 그리고 빠르게 쓸 수 있지만, 각각은 다른 사람들을 방해하면서 특정한 종류의 사용을 촉진합니다. 43,51 게다가, 테크놀로지는 사회적으로 내재되어 있고 문화적인 규범을 형성합니다. 초기의 볼펜은 더 빠르고, 엉성한 글쓰기를 이끌어냄으로써 아이들의 작품의 질을 손상시키는 것으로 생각되었던 반면, 만년필은 깔끔하고 신중한 작품을 생산하는 것으로 보여졌습니다 
Technological objects have a script, that is an “inclination or trajectory that shapes the ways in which they are used.”43(p569) For example, fountain pens require us to think ahead and compose sentences before writing them down, while word processors invoke quick, flexible writing that mimics speech. One can write slowly and quickly with either, but each promotes a certain type of use while discouraging others.43,51 Moreover, technologies are socially embedded and shape cultural norms. Early ballpoint pens were thought to impair children’s quality of work by eliciting quicker, sloppy writing, whereas fountain pens were seen as producing neat and careful work.43

온라인 프록팅에서 수험생의 행동은 테크놀로지의 감시 기능에 의해 통제됩니다. 프록터 Exam은 멀티 카메라 솔루션을 통해 보안과 정확성이 향상된 순수한 맥락을 제공한다고 주장합니다.48 그러나 수험생의 행동에 대한 엄격한 통제와 수험생의 불가피한 해석으로 인해 맥락의 순수성이 훼손됩니다.51 시험장에서 수험생은 자신의 사람을 정화purify하기만 하면 됩니다(예: 금지된 노트 또는 장치를 제외함으로써). 온라인 프록팅에서 수험생은 자신의 전체 환경과 신체 움직임 범위를 정화해야 합니다. 
In online proctoring, examinees behavior is governed by the technology’s surveillance function. ProctorExam claims to provide a pure context, with greater security and accuracy, through their multi-camera solution.48 Purity of context is, however, undermined by the strict control of examinees’ behavior, and by the inevitable interpretation by examiners.51 In exam halls, candidates only need to purify their person (e.g. by excluding prohibited notes or devices); in online proctoring, they must purify their whole environment and range of bodily movement.

따라서, 비록 시험장 활성화는 감시와 행동의 해석을 수반하지만 (예를 들어, 이웃을 바라보는 것은 부정행위 또는 정신을 산만하게 한다는 것을 의미하는가?), 중요한 차이점이 있습니다. 첫째, 시험장에서, (잠재적인) 부정행위는 금지된 자원을 보거나 다른 응시자들에게 말하는 것으로 프레임화되는 반면, 온라인 프록팅에서는 그것이 더 광범위하게 프레임화됩니다:

  • 화면에서 멀리 떨어진 곳을 바라보는 것,
  • 비정형적인 방식으로 움직이는 것,
  • 시험을 위해 사용되고 있는 기기의 불법적인 사용,
  • 인터넷 연결 불량,
  • 다른 테크놀로지적인 문제,
  • 다른 사람이 들어오는 것 

많은 학생들이 온라인 프록팅을 지나치게 간섭적으로 경험하지 않는 것 같고, 어떤 학생들은 그것을 보는 것을 잊거나 그것에 무관심해지는 것처럼 보이지만, 그럼에도 불구하고 신체 움직임에 대한 엄격한 감시는 그들이 수험생의 이상적인 모델을 따르도록 강요합니다. 22,27

Thus, although exam hall invigilation also involves surveillance and interpretation of behavior (e.g. does looking toward a neighbor imply cheating or mind-wandering?), there are important differences. Firstly, whereas in the exam hall, (potential) cheating is framed as looking at prohibited resources, or speaking to other candidates, in online proctoring it is framed more widely:

  • looking away from the screen,
  • moving in an atypical fashion,
  • unsanctioned use of the device being used for exam-taking,
  • poor Internet connectivity,
  • other technical issues,
  • someone entering the room, etc.

While many students do not seem to experience online proctoring as overly intrusive, and some forget about being watched or become apathetic to it,18 strict monitoring of bodily movements, nonetheless, compels them to conform to an ideal model of an examinee.22,27

둘째로, 온라인 프록팅에는 다양한 행동 데이터(예: 눈 움직임, 키 누름, 비디오 피드)가 있으며, 각각은 시험 세계의 디지털화된 부분을 나타냅니다. 이러한 데이터는 행동이 부적절한지 여부를 직접 확인할 수 없습니다. 시험관은 부정행위를 나타내는 벤치마크를 "읽어야" 하며, 시험관은 이러한 기준에 적응하도록 테크놀로지에 의해 격려됩니다. 셋째로, 응시자들은 온라인 시험관을 볼 수 없고, 그들과 그들의 평가관 모두 소프트웨어가 작동하는 방식에 접근할 수 없어 시험관 활성화에 대한 정상적인 신뢰 관계를 방해합니다. 시험관이 무엇을 하고 관찰하는지에 대한 이해가 거의 없기 때문에 시험관의 행동이 미세하게 기록되기 때문에 수험생들은 불리합니다.
Secondly, in online proctoring, there is a variety of behavioral data (e.g. eye-movement, keystrokes, video feeds), and each represents a digitized slice of the test world. These data cannot directly confirm whether behavior is inappropriate. Proctors must “read” the benchmarks that indicate cheating, and examinees are encouraged by the technology to adapt to these standards. Thirdly, candidates cannot see online proctors, and neither they, nor their assessors, have access to how the software works, disrupting normal trust relations of exam hall invigilation.24,25 Examinees are at a disadvantage, since their behavior is minutely recorded, while their understanding of what proctors do and observe is nearly absent.

 

신뢰
Trust

온라인 감독 테크놀로지는 더 엄격한 프로토콜을 시행함으로써 신뢰보다 감시의 규범을 강화하는 동시에 객관성이라는 잘못된 인식을 전달합니다우리가 테크놀로지를 사용할 때 테크놀로지는 투명해집니다(감독을 받는 수험생이 자신이 감시당하고 있다는 사실을 잊어버리는 것처럼).18,43,50 우리는 펜으로 글을 쓰고, Google로 검색 결과를 얻고, 감독관 테크놀로지로 부정행위자를 식별할 수 있기를 기대합니다. 응우옌은 신뢰의 개념을 사람 간의 관계뿐만 아니라 우리가 지속적으로 신뢰하는 (테크놀로지적) 대상에도 적용합니다.52 인간의 신체적, 인지적 한계를 넘어서는 압도적인 세상에 대처하기 위해 우리는 타인, 동물, 사물에게 대리인을 위탁합니다.52 우리는 시각을 안내견에게, 자녀의 교육을 교사에게, 시험 감시를 감독관 테크놀로지에 위탁할 수 있습니다. 각각의 경우 신뢰는 테크놀로지의 신뢰성에 대해 의심하지 않는 태도를 의미합니다. 로프를 잊어버리는 훈련이 필요한 초보 등산객이52 로프가 추락을 막아줄 것이라고 믿고, 소중한 주의를 다른 곳으로 돌릴 수 있다고 생각해 보십시오. 이 테크놀로지는 더 이상 보이지 않거나 투명해졌습니다. 감독 테크놀로지를 효과적으로 활용하려면 수험생은 부정행위를 감지하지 않도록 테크놀로지를 신뢰하는 법을 배워야 하고, 감독관은 부정행위를 적절히 감지할 수 있도록 테크놀로지를 신뢰해야 합니다.
Online proctoring technology intensifies norms of surveillance over trust by enforcing stricter protocols, while also conveying a false sense of objectivity. Technology becomes transparent to us when we use it (as with proctored examinees who forget they are watched).18,43,50 We expect pens to write, Google to yield search results and proctor technology to identify cheaters. Nguyen applies the concept of trust, not only to relations between people, but also to those (technological) objects that we trust constantly.52 To cope with an overwhelming world that poses demands beyond our physical and cognitive limitations, we outsource agency to human others, animals, and objects.52 We may outsource our sight to a guide dog, the education of our children to teachers, and exam surveillance to proctor technologies. In each case, trust implies an unquestioning attitude to the technology’s reliability. Consider a novice mountaineer, who requires training to forget their rope,52 trusting it to stop them from falling, so that they can direct their precious attention elsewhere. The technology is no longer visible, or has become transparent. To work effectively with proctoring technology, examinees must learn to trust it not to flag them inappropriately, while examiners must trust it to appropriately detect cheating.

여러 비디오 피드가 감독자에게는 객관성을 만드는 것처럼 보이지만, 수험생에게는 오프라인 시험장보다 더 세세한 측면까지 외부 힘에 의해 신체가 제약, 감시, 통제되는 매우 작위적인 현실에 위치합니다. 투명성의 붕괴는 응시자가 잠재적으로 의심스러운 행동을 할 때 소프트웨어에 의해 생성되는 알림과 경고에 의해 유발됩니다. 이러한 힘은 기업을 자애롭거나 중립적으로 보호하는 것으로 전달되지만, 그들의 주요 기능은 이동과 환경의 미세한 테크놀로지 스크립트를 통해 제약을 집행하고, 전복을 보고하는 것입니다. 
While multiple video feeds seemingly create objectivity for proctors, for examinees, the assessment is located in a highly-contrived reality in which their bodies are constrained, monitored, and controlled by external forces, in more detail than in exam halls. Breakdowns of transparency are provoked by notifications and warnings produced by the software when a candidate engages in potentially suspicious behavior (e.g. looking in the wrong place or moving in the wrong way). These forces are conveyed by proctoring companies as benevolent or neutral, but their primary function is enforcing constraint and reporting subversion through the minute technological scripting of movement and environment.

온라인 프록팅의 포스트 디지털 뷰
A postdigital view of online proctoring

우리는 온라인 프록팅이 시험장 활성화보다 더 엄격한 대본과 더 많은 해석을 포함한다고 주장했습니다. 이 섹션에서는 포스트 디지털 보기를 확대하여 MRCP 시험이 위치한 역사적, 경제적 맥락과 평가 문화를 축소하고 조사합니다. 
We have argued that online proctoring involves a tighter script and more interpretation than exam hall invigilation. In this section, we broaden our postdigital view to zoom out and investigate the historical and economic contexts and assessment cultures in which the MRCP exam is located.

역사적 맥락
Historical context

온라인 프록팅은 전통적인 시험 환경의 역사적 맥락에 의해 채색된 렌즈를 통해 해석됩니다. Carless의 주장에 따르면, 우리는 부분적으로 그것의 오랜 전통 때문에 시험을 신뢰합니다. 그것들은 "전통적인 시험은 지속성과 안정성을 나타내는 반면, 다른 더 혁신적인 형태의 평가는 마치 위험을 감수하는 것으로 보일 수 있습니다." 게다가, 온라인과 전통적인 시험 사이의 동등성은 시간이 지남에 따라 응시자를 비교하기 위해 필수적입니다. 
Online proctoring is interpreted through a lens colored by the historical context of traditional examination settings. As Carless53 argues, we trust exams, in part, due to their long tradition. They “represent continuity and stability, whilst other more innovative forms of assessment may be seen as risk-taking.” 53(p82) Further, equivalence between online and traditional exams is necessary for comparing candidates over time.

고객을 안심시키기 위해 온라인 프록팅은 "학생들이 어떤 시험 환경에서도 무력화된 감시 위치에 놓인다"는 "대학 공부의 확립된 논리" 내의 기존 불신을 모방합니다. 이러한 전통적인 활성화 관행의 모방은 MRCP 지침에 명시되어 있습니다. 그것은 온라인 프록터가 "대면 시험에서 마주치는 것처럼" 일하는 것으로 프레임화합니다.
To reassure its customers, online proctoring mimics a preexisting distrust within the “established logics of university study” through which “students are placed in disempowered surveilled positions during any examination setting.”18(p13) This mimicry of traditional invigilation practices is explicit in the MRCP guidance. It frames online proctors as working “just as they would in a face to face exam encounter”.45(p5)

그러나 우리의 사례에는 보이지 않는 온라인 감독관, 여러 대의 카메라, 공유 환경 제어, 타사와의 파트너십 등이 포함되었습니다. 또한, ProctorExam의 행동의 데이터화는 [시험을 통한 지식의 정량화와 숫자]를 [다른 형태의 정보]보다 더 객관적인 것으로 여기는 전통을 반영하는 한편, 빅데이터와 알고리즘으로 진실을 판단하는 추세의 일부이기도 합니다.20 데이터 기반 프로세스와 지속적인 소프트웨어 업데이트를 통해 ProctorExam은 끊임없는 혁신의 의미를 담고 있으며18, 동시에 위험이 낮은 연속성 있는 관행으로 인식되고 있습니다.
However, our case involved invisible online proctors, multiple cameras, control of shared environments, partnerships with 3rd party companies, and more. Further, while ProctorExam’s datafication of behavior echoes the quantification of knowledge through exams, and a tradition of seeing numbers as more objective than other forms of information,20,54 it is also part of an increasing trend of big data and algorithmically adjudicated truth.20 With data-driven processes and constantly updating software, ProctorExam is imbued with a sense of relentless innovation,18 while also being perceived as a lower-risk practice of continuity.

경제적 맥락
Economic context

프록팅 테크놀로지는 상업적 제품으로서 가치를 창출해야 합니다. 먼저, 그것은 의과 대학을 고객으로 간주하고, 평가자와 학생 사이의 관계에 스스로 삽입합니다. 상당한 비용을 지출한 의대는 그 시스템에 투자되며, 그 테크놀로지가 성공으로 인식되는 것은 그것의 이익에 부합합니다. 게다가, 보호할 필요가 없는 다른 평가 형식으로 변경하는 것은 비싸고 복잡할 것입니다. 이 인센티브는 의사 결정자들이 비판으로부터 그 테크놀로지를 방어하고, 그것을 계속 사용하도록 장려합니다. 
As a commercial product, proctoring technology must create value. First, it frames medical schools as clients, inserting itself into the relationship between assessors and students.18,48 Having spent considerable money, the medical school is invested in the system, and it is in its interests for the technology to be perceived as a success. Moreover, it would be expensive and complicated to change to a different assessment format that did not require proctoring.18 This incentivises decision-makers to defend the technology against critiques, and to continue using it.

둘째, 보호 테크놀로지는 학생들을 잠재적인 부정행위자로 그리고 따라서 의과대학과 의료계의 학문적 진실성에 대한 위협으로 간주합니다. 소프트웨어는 사람들이 부정행위를 하는 경우에만 필요하기 때문에 이것은 상업적 지속가능성을 위해 중요합니다.
Second, proctoring technology frames students as potential cheaters and, therefore, as threats to the academic integrity of the medical school and the medical profession.25 This is important for commercial sustainability, since the software is only necessary if people cheat.

셋째, 그것은 또한 공정함과 지지의 수사를 통해 학생들을 고객으로 만듭니다. 온라인 감독관들은 "어떤 문제에 대해서도 당신을 돕기 위해 그곳에 있습니다 … 당신이 그들에게 문제를 알려야 할 필요가 있다면 그것들은 당신의 화면에 나타나지 않을 것이지만 사용 가능할 것입니다". 열심히 일하고 부정행위를 하지 않는 학생들은 그들이 다른 사람들의 부정행위로 인해 불이익을 받지 않는다는 것을 안심시킬 수 있습니다. 마지막으로, 그 테크놀로지의 인지된 효과는 또한 데이터를 생성하는 원천으로서 학생들에게 달려있는데, 그들이 시험에 통과하고 싶다면 그들을 따르는 것 외에는 선택의 여지가 없습니다.
Third, it also frames students as clients through its rhetoric of fairness and support. Online proctors are there to “assist you with any issues … They will not be visible on your screen but will be available should you need to alert them to a problem.”45(p13) Hard-working, non-cheating students can be reassured that they are not disadvantaged by the cheating of others.24,25 Finally, the technology’s perceived effectiveness is also contingent on students as sources that generate data,55 with no choice but to comply if they want to pass the exam.

평가문화
Assessment culture

평가는 학생들이 무엇을 어떻게 배우는지, 그리고 교육 시스템과 전문적인 규율 안에서 무엇이 가치 있는지에 강력한 영향을 미칩니다. 예를 들어, 시험은 "객관적인" 지식에 가치를 부여하고, 다른 종류의 지식을 보여주고 검증하기 위한 가능성을 제한합니다. 모든 활력은 표준화와 경험의 평등을 기반으로 하여 성과의 공정한 평가를 위한 환경을 만드는 것을 목표로 합니다. 하지만 외부 자원에 대한 접근을 막고 신체 행동을 통제하는 것은 신뢰, 관계, 팀워크가 기반이 되는 구체화되고 사회적이며 물질적이고 집단적인 지식을 희생시키면서 개별화되고 추상적이며 명제화된 지식을 우선시합니다. 비판적이거나 창의적인 지식을 소외시키고 미래의 자율적인 실천가들의 발전을 방해합니다. 10 
Assessment has a powerful influence over what and how students learn, and over what is valued within education systems13 and professional disciplines.10,56 Exams, for example, value “objective” knowledge, and constrain possibilities for demonstrating and validating other kinds of knowledge.10 All invigilation is aimed at creating an environment for fair assessment of performance, based on standardization and equality of experience.57 Yet preventing access to external resources and controlling bodily behavior prioritizes individualized, abstract, and propositional knowledge58 at the expense of embodied, social, material and collective knowledge on which trust, relationships, and teamwork are founded.59 It marginalizes critical or creative knowledge and inhibits the development of future autonomous practitioners.10

이미 좁은 지식의 관점이었던 것이 온라인 프록팅을 통해 더욱 강화됩니다. 시험장에서 모든 응시자는 동일한 물리적 위치에서 수행하고 매우 제한된 일련의 자료만 허용됩니다. 온라인 프록팅 시험에서 테크놀로지가 학생이 시험 동안 어떻게 행동하고 움직이거나 보여야 하는지에 대한 모델을 준수한다고 고려되지 않는 사람은 진실성이 부족하다는 표시와 관련이 있습니다. 단일 디지털 인터페이스에 대한 시선과 이동의 제한은 물질적, 비인지적 지식 및 다양한 신체 특성 및 조건을 강력하게 부정하는 것과 같다. 이것은 다른 사람들보다 일부에게는 어렵고 온라인 프록팅 서비스가 성별, 인종, 장애, 언어, 문화 등과 관련하여 응시자를 차별한다는 보고가 있습니다. 이것들은 다른 상황적 단점(예: 공유된 생활 공간, 돌봄 책임, 제한된 테크놀로지 자원 또는 신체적 도전이 있는 사람)과 함께 공정하고 객관적인 평가와 상충됩니다.
What was already a narrow view of knowledge is further tightened through online proctoring. In exam halls, all candidates perform in the same physical location, and are allowed only a highly-restricted set of materials. In online proctored exams, anyone not considered by the technology to conform to its model of how a student should behave, move, or look during an exam is associated with signifiers of a lack of integrity. The restriction of gaze and movement to a single digital interface is a strong commitment to the denial of material, non-cognitive knowledge and of diverse bodily characteristics and conditions. This is harder for some than others, and there are reports of online proctoring services discriminating against candidates in relation to gender, race, disability, language, culture, and more.22,24,55 These, along with other circumstantial disadvantages (e.g. those with shared living spaces, caring responsibilities, limited technological resources, or physical challenges) are at odds with fair and objective assessment.

논의
Discussion

무결성, 전문성 및 감시
Integrity, professionalism, and surveillance

시험에서 정답, 자원 배제, 행동 통제는 존재, 사고, 지식, 행동의 가능성을 닫아버립니다.11 또한 "객관적" 평가는 집단적이고 협력적이며 복잡한 전문적 수행을 희생시키면서까지 능력을 표준화되고 탈맥락화된 지식으로 세분화해야 합니다.59-61 온라인 감독에서는 훈련생이 집에서 시험을 볼 수 있도록 유연성을 부여하면 규칙과 감시의 요구 사항이 증가합니다. 이는 수험자, 신뢰, 지식에 대한 기존의 문제적 프레임을 심화시켜 '공정성'이라는 이름으로 더 진정성 있고 의미 있는 형태의 평가가 희생될 수 있다고 주장해 왔습니다."25
In exams, definitive answers, the exclusion of resources, and behavioral control close down possibilities of being, thinking, knowing, and acting.11 Further, “objective” assessment requires breaking ability down into standardized and decontextualized knowledge at the potential expense of collective, collaborative, and complex professional performance.59–61 In online proctoring, the flexibility of enabling trainees to take exams from home increases the requirements of rules and surveillance. We have argued that this intensifies existing problematic framings of examinees, trust, and knowledge, in which more authentic or meaningful forms of assessment are sacrificed in the name of “fairness.”25

2020년 MRCP 시험에서 온라인 감독관은 학습자가 상상한 이상적인 응시자를 묘사하기 위해 자신을 왜곡하는 수행성을 강화함으로써 기존 형태의 차별을 악화시켰을 수도 있습니다.15 평가에서의 감시는 광범위한 정상화 과정의 일부이며, 이를 통해 "'정상' 범주에 부합하지 않는 사람들을 배제하기 때문에... 객관화 기법이 우리를 평가하고 통제하는 데 끊임없이 사용된다."27(p445) "평등, 다양성 및 포용은 규제 기관으로서 우리의 업무에 필수적"이라는 영국 일반의협의회(General Medical Council)와 같은 주장에도 불구하고 62(p3) 학생들은 자신의 민족성, "성별, 성, 문화, 종교, 언어 또는 장애/능력"15(p3) 을 증폭, 위생화 또는 억제해야 한다고 느낄 수도 있습니다.
In the 2020 MRCP exam, online proctoring may also have exacerbated existing forms of discrimination by heightening performativity, through which learners contort themselves to portray an imagined ideal candidate.15 Surveillance in assessment is part of a broader process of normalization, through which “techniques of objectification… are constantly used to evaluate and control us because they exclude those who cannot conform to ‘normal’ categories.”27(p445) Despite claims like the UK General Medical Council’s that “equality, diversity and inclusion are integral to our work as a regulator,”62(p3) students may feel they need to amplify, sanitize, or suppress their ethnicity, “gender, sexuality, culture, religion, language or disability/ability.”15(p3)

또한, 감시는 감시를 받는 조건에 얽매인 일종의 유사 진실성pseudo-integrity을 만들어낼 수 있습니다. 이는 학생들이 해당 학문의 일원이 되어 그 분야에 기여할 수 있도록 준비하는 시험 평가의 문제를 더욱 악화시킵니다.10,63 강제적인 성실성은 독립적인 전문직업성 개발에 역효과를 낼 가능성이 높기 때문입니다.64-67 테크놀로지 감시는 교육자와 학생 간의 불신을 조장하고,68 카메라의 존재는 학생들이 면밀히 감시해야 하는 잠재적 부정행위자라는 것을 암시합니다. 감독 업체들은 응시자의 가정에서 강압적이고 침습적인 조치를 정상화하려고 노력하며, 감시를 교육기관의 '학문적 무결성'과 공정한 시험에 대한 신뢰할 수 있는 학생의 권리를 보호하기 위한 '필요악'으로 포지셔닝합니다.18
Further, surveillance may produce a kind of pseudo-integrity that is bound to conditions of being watched. This exacerbates a problem for exam assessment more generally, in how it prepares students to become part of and contribute to their disciplines,10,63 since enforced integrity is likely to be counterproductive to the development of independent professionalism.64–67 Technological surveillance promotes distrust between educators and students,68 and the presence of cameras implies that students are potential cheaters who must be closely watched. Proctoring companies seek to normalize coercive and invasive measures in the homes of candidates, positioning surveillance as a “necessary evil” to protect the “academic integrity” of institutions and the rights of trustworthy students to a fair examination.18

응시자를 잠재적 부정행위자로 규정하고, 부정행위를 중요하고 성장하며 역동적인 문제로 간주하는 것은 시험 감독 회사의 상업적 이익에 부합합니다.69 테크놀로지적 해결책으로.18,22 MRCP가 온라인 시험 감독을 "임시 비상 해결책"으로 사용하는 것은 테크놀로지 자동화의 광범위한 추세를 따르고 "학생과 대학 간의 필수 인프라 중개자로서 민간 및 상업 제공자"를 확립합니다.55(p2)
It is in the commercial interest of proctoring companies to frame candidates as potential cheaters and cheating as a significant, growing, and dynamic problem,69 with a technological solution.18,22 MRCP’s use of online proctoring as a “temporary emergency solution” follows a broader trend of technological automation and establishes “private and commercial providers as essential infrastructural intermediaries between students and their universities”.55(p2)

의학교육의 테크놀로지에 대한 복잡한 관점
Complex perspectives on technology in medical education

철학적 접근을 통해 분석은 일반적인 형태의 증거를 뛰어넘을 수 있으며, 이는 종종 복잡성을 다루는 방식에 제한이 있습니다.11 포스트 디지털이라는 광범위한 관점을 통해 시험장과 온라인 감독 사이에 직접적인 동등성이 없다는 것을 알 수 있습니다. 2020 MRCP 시험의 "디지털" 테크놀로지는 역사적, 경제적 맥락과 얽혀 있는 방식으로 평가 문화에 내재되어 있습니다. 포스트 현상학적 렌즈는 스크립트와 스크립트가 평가 현실을 형성하는 방식에 주목합니다. 이 두 가지 접근법을 결합하면 "실습과 그 효과에 대한 설득력 있고 방어 가능한 설명을 제공할 수 있습니다."33(219쪽) 이러한 접근법 또는 기타 복잡한 프레임워크는 의학교육의 다른 테크놀로지 적용에도 적용될 수 있으며, 적용되어야 합니다. 예를 들어, 학습 분석을 통해 촉진되는 학습의 종류,35,70 또는 온라인 학습의 사회적 및 물질적 맥락72이 매우 다르기 때문에 캠퍼스 내 교육이 "온라인으로 전환"71되는 것이 무엇을 의미하는지 의문을 제기할 수 있습니다. 각각의 경우에 도덕적, 윤리적 의미를 파악하려면 결과, 약관, 조건을 넘어40 테크놀로지가 특정 문화와 관행에 어떻게 내재되어 있는지 살펴볼 필요가 있습니다.
Philosophical approaches allow analyses to go beyond the usual forms of evidence, which are often limited in terms of how they address complexity.11 Our broader postdigital perspective helps us see that there is no straightforward equivalence between exam halls and online proctoring. The “digital” technology of the 2020 MRCP exam was embedded in an assessment culture in ways that are entangled in a historical and economic context. The postphenomenological lens draws attention to scripts and how they shape the assessment reality. Combined, these two approaches “provide a convincing and defensible account of both the practice and its effects.”33(p219) These or other complex frameworks can, and should, be applied to other applications of technology in medical education. For example, we might question the kinds of learning promoted via learning analytics,35,70 or what it means for on campus teaching to “move online”,71 since the social and material context of online learning72 is very different. In each case, the moral and ethical implications require looking beyond outcomes, terms, and conditions,40 to how technology is embedded in particular cultures and practices.

의료 교육 평가 테크놀로지에 대한 광범위한 수업
Broader lessons for assessment technology in medical education

니미넨과 라덴페라는 고등 교육 평가에서 학생 기관이 어떻게 미래의 발전을 촉진하거나 방해하는지에 대한 연구를 촉구합니다.10 전문직업적 의사는 유능할 뿐만 아니라 신뢰할 수 있어야 하며, 감시를 받지 않고 정직하게 행동해야 합니다. 또한 팀과 더 넓은 시스템의 전문적 구성원이어야 합니다. 반대로 온라인 감독 시험에서 수련생은 잠재적인 부정행위자일 뿐만 아니라, 스스로 생각하고 책임을 지거나 새로운 지식을 창출할 수 없는 통제의 대상으로 구성됩니다.11
Nieminen and Lahdenperä call for research into how student agency in higher education assessment promotes or hinders future development.10 Professional doctors must not only be competent but also trustworthy, and act with integrity without being monitored. Furthermore, they should be professional members of teams and wider systems. Conversely, in online proctored exams, trainees are constructed not only as potential cheaters, but also as objects of control who cannot think for themselves, take responsibility, or create new knowledge.11

코로나19 상황이 안정화되면 온라인 감독관에게 어떤 일이 일어날지는 불분명합니다. 앞으로의 과제는 단순히 온라인 감독 도구가 가치가 있는지,73 또는 스크립트 및 감시를 완화해야 하는지 여부를 결정하는 것이 아닙니다. 특정 조건에서 시험이 효과적일 수 있다는 것을 인정하고 응시자가 원하는 대로 하도록 허용하는 것을 옹호하지는 않지만, 우리는 의학교육자들이 고부담 평가를 수행하는 방법과 왜 그렇게 감독에 의존하는지에 대해 질문할 것을 요청합니다. 여기서 우리의 목표는 감독 시험에 대한 대안을 제안하거나 교육자가 평가에서 테크놀로지를 피해야 한다는 것이 아닙니다. 오히려 테크놀로지와 평가의 결합이 특정 종류의 지식, 정체성, 전문성, 신뢰 관계를 어떻게 촉진하는지에 대한 비판적 고려를 불러일으키고자 합니다.43 이는 결코 간단한 일이 아닙니다. 교육 전반에 걸쳐 평가의 목적, 평가가 교육 관계에 미치는 영향, 또는 평가가 "진실, 공정성, 신뢰, 인간성 또는 사회 정의"와 어떻게 관련되는지에 대한 근본적인 질문을 던지는 것을 오랫동안 꺼려온 것에 맞서야 합니다.74(2쪽) 좋은 출발점은 우리가 현재 평가를 수행하는 방식과 수련생과 의학 교육 기관 간의 관계를 강화하는 방식으로 우리의 관행을 어떻게 재구성할 수 있는지에 대해 솔직한 대화를 나누고, 더 이상 테크놀로지에 대한 신뢰를 학생에 대한 신뢰보다 우선시하지 않도록 하는 것입니다. 
It is unclear what will happen with online proctoring as the Covid-19 situation stabilizes. The challenge ahead is not simply to decide whether online proctoring tools are worthwhile,73 or whether we need to soften their scripts and surveillance. While we acknowledge that exams might be effective under certain conditions, and we would not advocate letting candidates do whatever they want, we call for medical educators to ask questions about how we conduct high stakes assessment and why it is so reliant on invigilation. Our aim here is not to propose alternatives to invigilated examinations, nor that educators should avoid technology in assessment. Rather, we aim to provoke critical consideration of how the combination of technology and assessment promotes particular kinds of knowledge, identity, professionalism, and trust relations.43 This is no simple task. It involves confronting a longstanding reluctance, across education more broadly, to ask fundamental questions about the purpose of assessment, how it affects educational relationships, or how it relates to “truth, fairness, trust, humanity or social justice”.74(p2) A good starting point is to engage in honest dialogue around how we currently do assessment, and how we might reimagine our practices in ways that reinforce relations between trainees and medical education institutions, such that we no longer place trust in technology above trust in our students.

결론
Conclusion

평가는 의학교육에서 가치 있는 것을 반영하고 형성합니다. 2020년 MRCP 회원 시험을 분석한 결과, 온라인 감독 테크놀로지가 시험장 감독에 이미 존재하는 신뢰에 대한 감시 규범을 어떻게 강화하는지를 알 수 있습니다. 이는 의학교육의 평가 문화에 이미 존재하는 긴장, 즉 표준화되고 탈맥락화된 정당한 지식에 대한 편협한 개념, 이상적인 고독한 시험 응시자에 대한 편협한 모델, 수련생에 대한 기본 불신 등을 악화시킵니다. MRCP 시험의 역사적, 경제적 맥락을 살펴봄으로써 이러한 긴장이 불신을 조장하는 시험 감독 회사의 상업적 이익과 데이터에 기반한 규범 모델에 의해 어떻게 강화되는지 보여주었습니다.
Assessment both reflects and shapes what is valued in medical education. Our analysis of the 2020 MRCP membership exam shows how online proctoring technology intensifies a norm of surveillance over trust that already exists in exam hall invigilation. This exacerbates some established tensions within the assessment culture of medical education, namely: a narrow conception of legitimate knowledge as standardized and decontextualized, a narrow model of the ideal, solitary exam candidate, and a default distrust of trainees. By examining the historical and economic contexts of the MRCP exam, we have showed how these tensions are reinforced by the commercial interests of proctoring companies that incentivise distrust and data-driven normative models of invigilation.

이 시리즈를 시작한 논문에서 Veen과 Cianciolo29(pp337-338)는 "학습자를 돌보고 학습자의 성과, 전문성 및 복지를 개선하기 위해 우리가 무엇을 하고 있는지 신중하게 검토하기 위해" 속도를 늦추고 맥락을 고려해야 한다고 썼습니다. 우리는 일반적으로 의학교육자들이 학생들을 신뢰하고 학생들이 신뢰할 수 있도록 지원하기 위해 열심히 노력한다고 확신하지만, 온라인 감독 테크놀로지가 촉진하는 평가 문화와 평가 테크놀로지를 더 광범위하게 사용하는 것은 검토가 필요하다고 주장했습니다. Bearman75이 제안한 것처럼 시험 세계가 실천 세계를 형성한다면, 우리는 평가 테크놀로지를 사용하여 어떤 종류의 세계를 만들어낼 것인가에 대해서도 질문해야 합니다.
Veen and Cianciolo29(pp337-338) wrote, in the paper that launched this series, to slow down and consider context “to examine carefully what we are doing to care for learners and improve their performance, professionalism, and well-being.” While we are confident that, in general, medical educators trust students, and work hard to support them to become trustworthy, we have argued that the assessment culture promoted by online proctoring technology, and our employment of assessment technology more widely, are in need of review. If, as Bearman75 suggests, the test world shapes the practice world, we must also ask: what kind of world do we generate through our use of assessment technology?

 


Teach Learn Med. 2022 Aug-Sep;34(4):444-453. doi: 10.1080/10401334.2022.2048832. Epub 2022 Apr 25.

A Matter of Trust: Online Proctored Exams and the Integration of Technologies of Assessment in Medical Education

Affiliations

1Edinburgh Medical School, University of Edinburgh, Edinburgh, United Kingdom.

2Department of General Practice, Erasmus University Medical Center, Rotterdam, The Netherlands.

PMID: 35466830

DOI: 10.1080/10401334.2022.2048832

Abstract

Issue: Technology is pervasive in medicine, but we too rarely examine how it shapes assessment, learning, knowledge, and performance. Cultures of assessment also shape identities, social relations, and the knowledge and behavior recognized as legitimate by a profession. Therefore, the combination of technology and assessment within medical education is worthy of review. Online proctoring services have become more prevalent during the Covid-19 pandemic, as a means of continuing high-stakes invigilated examinations online. With criticisms about increased surveillance, discrimination, and the outsourcing of control to commercial vendors, is this simply "moving exams online", or are there more serious implications? What can this extreme example tell us about how our technologies of assessment influence relationships between trainees and medical education institutions?

Evidence: We combine postdigital and postphenomenology approaches to analyze the written component of the 2020 online proctored United Kingdom Royal College of Physicians (MRCP) membership exam. We examine the scripts, norms, and trust relations produced through this example of online proctoring, and then locate them in historical and economic contexts. We find that the proctoring service projects a false objectivity that is undermined by the tight script with which examinees must comply in an intensified norm of surveillance, and by the interpretation of digital data by unseen human proctors. Nonetheless, such proctoring services are promoted by an image of data-driven innovation, a rhetoric of necessity in response to a growing problem of online cheating, and an aversion, within medical education institutions, to changing assessment formats (and thus the need to accept different forms of knowledge as legitimate).

Implications: The use of online proctoring technology by medical education institutions intensifies established norms, already present within examinations, of surveillance and distrust. Moreover, it exacerbates tensions between conflicting agendas of commercialization, accountability, and the education of trustworthy professionals. Our analysis provides an example of why it is important to stop and consider the holistic implications of introducing technological "solutions", and to interrogate the intersection of technology and assessment practices in relation to the wider goals of medical education.

Keywords: assessment technology; norms; online proctoring; postdigital; postphenomenology; trust.

언어, 철학, 그리고 의학교육 (Teach Learn Med, 2021)
Language, Philosophy, and Medical Education
John R. Skelton

 

 

소개
Introduction

이 논문에서 저는 임상 커뮤니케이션 분야의 교사이자 연구자로서 철학, 언어, 그리고 제 직업 사이의 관계에 대해 몇 가지 생각을 제시합니다. 
In this paper I offer some thoughts about the relationship between philosophy, language, and my own job, as a teacher and researcher in clinical communication.

저는 제2외국어 및 외국어 학습자를 대상으로 영어를 가르치는 교사로 직업 생활을 시작한 후 교사 트레이너/교육자, 학문적 응용 언어학자로 몇 년을 보냈습니다. 1992년에 "의사소통 기술"을 가르치고 연구하기 위해 의과 대학에 오게 되었습니다. 
I began professional life as a teacher of English to second and foreign language learners, and then spent some years as a teacher trainer/educator, and academic applied linguist. I came to Medical Education in 1992 with a remit to teach and research what was known as “communication skills.”

그 당시에는 언어와 의학에 관한 최고의 질적 연구로 꼽히는 에르빈 미슬러의 저서1가 여러 전통에서 나온 다른 많은 연구와 마찬가지로 몇 년 전부터 나와 있었습니다.2-5 하지만 의학에서의 의사소통 기술에 대한 관문의 사자는 토론토 컨센서스 성명서였습니다.6 이 성명서는 "[의사소통] 기술은 행동 기준으로 정의할 수 있으며 신뢰할 수 있게 가르치고 평가할 수 있다"고 선언했습니다(이 전통에서 '행동 기준'은 '열린 질문' 같은 것이었죠). 이는 언어가 어떻게 작동하는지에 대한 오해로 보였습니다(자세한 내용은 다른 곳에서 논의한 바 있습니다).7 예를 들어, Ong 등8이 이 분야에 대한 초기 최신 논문을 발표했을 때 이후 많은 인용을 받았지만 질적 연구는 단 한 건도 언급되지 않았습니다. 
At that time, Erwin Mishler’s book,1 still perhaps the best qualitative study of language and medicine, had been around for some years, as had a number of others studies, from a variety of traditions.2–5 Yet the lion at the gate for communication skills in medicine was the Toronto Consensus statement, as it was called.6 It declared that “[communication] skills can be defined with behavioral criteria and can be reliably taught and assessed” (The “behavioral criteria” in this tradition were things like “open questions”). This seemed to me a misunderstanding of how language works (I have discussed the details elsewhere).7 So, for example, when Ong et al.8 published an early state of the art paper on the field, subsequently much cited, not a single qualitative study was mentioned.

제가 더 명확하게 이해하게 된 것은 의대생과 의사들이 여러 가지를 더 정교하게 이해해야 할 필요성이 있다는 것이었습니다. 예를 들어, 화법 이론의 한 구절을 빌리자면, 전문적 언어는 말로 일을 하는 것으로서 업무 중심적이라는 점을 강조해야 할 필요가 있었습니다. 의미는 언어가 사용되는 맥락에 의해 정의된다는 점을 강조할 필요가 있었는데, 이는 의사소통 역량과 커뮤니티 의미의 개념에서 부분적으로 다루고 있는 기본 사항입니다. 마지막으로 직업과 개인 생활의 모호함을 관리하고 논의하는 데 도움이 되는 언어의 능력을 강조하고 언어, 자기 인식 및 이러한 것들이 가져다주는 권력 사이의 관계에 대해서도 논의해야 할 필요성이 있었습니다.
What I came to understand more clearly was the need for medical students and doctors to have a more sophisticated understanding of a number of things. For example, there was a need to emphasize professional language as doing things with words, to borrow a phrase from Speech Act Theory, 9 and therefore as being task-focused. There was a need to emphasize that meaning is defined by the context in which language is used, a fundamental point covered in part by the concepts of communicative competence and community meaning. And finally there was a need to emphasize the ability of language to help us manage and discuss the ambiguity of professional and personal life, and to discuss also the relationship between language, self-awareness and the power these things bring.

아래에서 이러한 부분을 살펴봅니다.
It is these areas which I look at below.

언어란 말로 무언가를 하는 것입니다: 목표의 중요성
Language is about doing things with words: The importance of aims

유용한 출발점은 목적이 달성되지 않은 경우를 고려하는 것입니다. 아주 잘 연구된 분야의 예를 들자면, 10 담배를 많이 피우는 44세의 잭 스미스 씨를 상상해 보세요. 그의 의사는 이렇게 말합니다: "좋아, 다음번에는 담배를 끊게 할 거야." 한 달 후 스미스 씨가 들어옵니다. "잘 들어요, 잭," 의사가 말합니다. "이 말도 안 되는 흡연을 그만둬야 해요. 이건 미친 짓이에요. 제발 그만두세요!" 
A useful starting place is to consider when purposes are unfulfilled. To take an example from a very well-researched field, 10 imagine Mr Jack Smith, aged 44, a heavy smoker. His doctor thinks: “Right, next time, I’m going to get him to stop.” A month later, Mr Smith walks in. “Now listen, Jack,” says the doctor, “You’ve just got to stop this smoking nonsense. It’s madness. For God’s sake stop!”

결과는? 스미스 씨는 이전과 마찬가지로 "우리 할아버지는 굴뚝처럼 담배를 피우셨는데 90세까지 사셨어요. 다시는 그 의사를 만나지 않을 거예요. 그는 잔소리만 하거든요." 그러던 어느 날 스미스 씨는 기침이 잦아지고, 체중이 줄고, 기운이 없어지기 시작했습니다...... 그리고 다시 의사를 찾아갔을 때는 이미 너무 늦었습니다. "의사는 아내에게 "글쎄요, 어떤 사람들은 말을 듣지 않아요...."라고 우쭐대며 말합니다. 
The result? Mr Smith thinks, as so often before, “My grandad smoked like a chimney and lived past 90. I’m not going to see that doctor again. All he does is nag me.” Then one day Mr Smith begins to cough more, to lose weight, to feel weak….and when he does go to his doctor again, it’s too late. “Well,” says the doctor virtuously to his wife, “some people just won’t listen….”

의사는 목표를 달성했을까요? 분명히 아닙니다. 그가 옳았다는 것도, 진정으로 환자를 돕고 싶었다는 것도 전혀 중요하지 않습니다. 그는 실패했습니다. 그는 일을 완수하지 못했습니다. 임상 커뮤니케이션에서 모든 교육의 핵심은 '당신의 목적은 무엇인가? 무엇을 하고 싶은가?
So, did the doctor achieve his aim? Clearly not. It matters not at all that he was right, nor that he truly wished to help his patient. He failed. He did not get things done. A central point for all teaching in clinical communication is: what is your purpose? What do you want to do?

'말로 일을 한다'는 개념과 오스틴의 독창적인 연구(Austin 1962)는 상당히 깊이 있고 훨씬 더 복잡한 연구 분야로 발전했습니다. 저는 이 개념의 두 가지 측면, 즉 단어가 어떻게 '일'을 하게 되는지에 초점을 맞추고, 우리가 겉으로 보이는 의미와 실제로 의도하는 의미, 그리고 다른 사람들이 받아들이는 의미 사이의 구분(세부 사항은 50년 이상 논의의 주제였습니다)에 대해 아주 간략하게 다루고자 합니다.
The concept of “doing things with words,” and Austin’s original study (Austin 1962), blossomed into a field of research of considerable depth – and even greater complexity. I want to touch, very briefly, on just two aspects of it: the focus on how words come to “do things,” and the division (details have been the subject of more than 50 years of discussion) between what we appear to mean on the surface, what we actually intend to mean, and what others take us to mean.

오스틴은 원래 연구에서 매우 구체적인 것을 살펴봤는데, 권위자의 말이 실제로 언급된 행동을 수행("수행")하기 때문에 "수행적"이라고 부르는 동사의 한 유형입니다. 따라서 판사가 "5년 형을 선고합니다."라고 말할 수 있고, 목사가 "두 사람을 부부로 선언합니다."라고 말할 수 있는 것과 마찬가지입니다.
Austin, in the original study, looked at something very specific: a type of verb he called “performative” because, if uttered by a person in authority, they actually do (“perform”) the action they mention. Thus, a judge may say “I sentence you to five years,” and so it is: the vicar may “pronounce you man and wife,” and so you are.

그 자체로 이것은 적어도 우리의 목적에 있어서는 한계적인 관심의 언어적 호기심입니다. 하지만 이를 계기로 우리가 언어로 할 수 있는 다른 일과 그 방법에 대한 자세한 논의가 이어졌습니다. 따라서 우리는 요청하고, 약속하고, 세상을 설명하고, 감정을 표현하는 등의 일을 할 수 있습니다. 때때로 말하는 사람의 권위는 매우 중요하며, 그렇게 들리도록 만들어지기도 합니다. 실제로 어떤 상황에서는 우리가 직분을 통해 세상을 바꿀 수 있는 것처럼 보이기도 합니다. 성경의 "빛이 있으라"는 구절과 스타트렉에서 장 뤽 피카르가 자주 말하는 "그렇게 만들라"는 말의 유사성에 주목하세요. 이와 관련하여 설이 "언어 외적 선언"이라고 부르는 것에 대한 그의 발언을 참조하세요: "우리는 표현하는 것 이상을 한다: 우리는 창조한다."11(114쪽) (이 인용문과 이 문제의 다른 측면에 대한 자세한 논의는 한손 월버그12 참조).  
In itself this is a linguistic curiosity of marginal interest, at least for our purposes. But it led to a detailed discussion about the other things we can do with language, and how we do them. Thus we can request, promise, describe the world, express our feelings, and so on. Sometimes the authority of the speaker is very considerable, and is made to sound so. Indeed, it seems in some circumstances, by virtue of our office, that we can change the world by fiat. Note the similarity between the Biblical “Let there be light,” and the utterance “Make it so,” as Jean-Luc Picard so often says in Star Trek. In this respect, see Searle’s remark on what he calls “extra-linguistic declarations”: “we do more than represent: we create.”11(p114) (See also Hansson Wahlberg12 for a detailed discussion of this quotation, and other aspects of the issue.)

그러나 우리가 언어를 사용하여 새로운 상황을 창조하는 데는 이보다 더 일상적인 방식이 있습니다. 우리의 목적은 어떻게 하면 그렇게 효과적으로 할 수 있을까요? 그리고 그 문제와 관련하여 우리가 실패하는 이유는 무엇일까요?  
However, there are more quotidian ways in which we use language to create new states of affairs. For our purposes, the question is: how do we do so effectively? And for that matter, why is it that we fail?

이를 바라보는 방법에는 여러 가지가 있습니다. 화법 이론에서는 다음를 단순하면서도 심오하게 구분할 필요가 있습니다. 

  • 발화의 명백한 의미, 즉 명제적 의미
  • 발화를 통해 달성하고자 하는 목적, 그리고
  • 상대방이 그 의도를 이해했는지 여부

예를 들어 친구를 안타깝게 바라보며 "여기 춥다"라고 말하는 메리를 생각해 봅시다. 분명히 온도에 대한 언급은 창문을 닫아 달라는 요청을 위한 것입니다(설13은 이를 '간접적 언어 행위'라고 부릅니다). 친구가 "아, 죄송합니다 - 제가 할게요...."라고 말하며 자리에서 일어나 창문을 닫는다면 그 의도를 이해한 것입니다. 신중하게 고개를 끄덕이며 "네, 메리, 당신 말이 맞아요"라고 대답하는 것은 그렇지 않습니다. 
There are many ways of looking at this. Within Speech Act theory, it is worth picking up the simple yet profound distinctions between

  • the apparent, or purely propositional, meaning of an utterance,
  • what one intends to achieve through it, and
  • whether the person one is speaking to understand the intention.

Consider Mary, say, who looks ruefully at her friend and says, “It’s cold in here.” Clearly, a statement about temperature is intended to be a request, perhaps to close the window (Searle13 would call this an “indirect speech act”). If the friend says, “Oh sorry – let me….” and jumps up and closes the window, she has understood the intention. To nod judiciously and respond, “Yes Mary, you’re quite correct” is not.

더 큰 규모에서 더 많은 것이 걸려 있는 상황에서는 목적에 대한 질문이 핵심입니다. 제가 처음 관찰한 클리닉은 편도선염 환자를 연달아 치료하는 이비인후과 의사였습니다. 15건 중 10건 정도에서 그는 "편도선이 없는 것이 더 나을 것 같지 않나요?"라고 말하며 결론을 내렸습니다. 환자들은 모두 동의했고, 일부는 기꺼이 동의했지만 한두 명은 다소 의아해했습니다. 의사의 목적은 무엇이었을까요? 환자가 편도선 절제술에 동의하는지 확인하기 위해서였다고 말할 수도 있습니다. 하지만 이런 식으로 던진 질문은 거절을 매우 어렵게 만들었습니다. 진짜 목적은 논의 없이 동의를 받아 신속하게 수술을 진행하려는 것 같았기 때문입니다. (현재 우리가 "공유 의사 결정"이라고 알고 있는 것에 대한 사회언어학적 탐구는 Robertson 외 참조)14) 
On a bigger scale, with more at stake, the question of purpose is central. The first clinic I ever observed was an ENT doctor who was dealing with a succession of patients with tonsillitis. In perhaps 10 out of fifteen cases, he concluded by saying, “I think you’d be better off without those [ie, the tonsils], don’t you?” All of the patients agreed, some willingly but one or two with a degree of surprise. What was the doctor’s purpose? He might say it was to see if the patient consented to a tonsillectomy. But the question, posed in just this way, made a refusal very difficult. It seemed the real purpose was to move the clinic along briskly by getting consent without discussion. (For an exploration of the sociolinguistics of what we now know as “Shared Decision-making” see Robertson et al.)14

언어는 맥락에서 의미를 갖습니다: 사람마다 다른 의미 전달 방식
Language is meaning in context: Different things work for different people

이전 섹션의 근간은 우리가 말하거나 글을 쓸 때 의미를 전달하는 방식에 대한 한 가지 기본 원칙입니다. 즉 의미를 정의하는 것은 맥락입니다. 
Underpinning the previous section is one fundamental principle about how we convey meanings when we speak or write: it is context which defines meaning.

위의 이비인후과 의사는 일종의 창의적인 모호함을 활용했습니다. 언어학자가 말하듯이, 그는 문법적 의문문을 사용했지만 기능적으로 질문하지 않았습니다. 오히려 그는 환자가 (어쨌든 가장 좋은 것이 무엇인지에 대해) 신속하게 묵인하도록 유도하려고 했습니다. 
The ENT doctor above took advantage of a kind of creative ambiguity. As a linguist would say, he used a grammatical interrogative, but he did not functionally ask a question. Rather, he – let’s say – sought to maneuver the patient into swift acquiescence (about what was the best thing anyway).

모든 언어에는 모호한 표현의 기회가 무궁무진하지만, 대개 맥락에 따라 모호함이 제거됩니다. 소설에서 "그는 비꼬듯이 말했다"와 같은 문구의 주요 기능인 맥락(여기서는 억양의 맥락)을 제공함으로써 텍스트를 비-모호disambiguate하게 만드는 것이 바로 이러한 기능입니다. 
All languages have endless opportunities for ambiguity, though usually context removes it. This incidentally is a major function of such phrases as “he said sarcastically” in novels: to disambiguate text by providing a context (the context of intonation, here) lost in the written language.

원하는 의미를 전달하고 정확하게 이해하게 하는 것은 언어학, 특히 교육 언어학에서 "의사소통 능력"으로 인식됩니다. "문법 규칙이 없으면 쓸모없는 사용 규칙이 있다."15(278쪽) 예를 들어 "문법 규칙"은 "당신은 그렇지 않다"라고 말하지만 "그는 그렇지 않다"라고 말하는 것입니다. 특히 미국에서는 할리우드와 대중가요를 통해 영어권 전 세계에 알려진 "그는 아니야"가 일반화되어 있다는 것이 사용의 규칙입니다. 따라서 미국인, 특히 블루칼라 미국인처럼 들리고 싶으면 "ain't"를 사용하고, 영국인, 전문직 종사자처럼 들리고 싶으면 "isn't"를 사용할 수 있습니다. 
Conveying the meaning you want, and having it correctly understood, is recognized in language studies, particularly language in education, as “communicative competence.” The central ideas are set out in Hymes: he summed them up by saying that “There are rules of use without which the rules of grammar would be useless.”15(p278) A “rule of grammar” is, for example, that one says “You aren’t” but “He isn’t.” A rule of use is that “He ain’t” is commonplace particularly in the USA and therefore, through Hollywood and popular song, known around the English-speaking world. So, if I want to sound American, particularly perhaps blue-collar American, I might use “ain’t”: if I want to sound British, professional, etc, I will use “isn’t.”

이러한 문제 중 상당수는 특히 문화권 간 예의와 관련이 있습니다(위와 같이 노동계급과 중산층 문화, 세계 여러 지역의 문화가 여기에 포함될 수 있습니다). 예를 들어 영국인으로서 해외 여행을 하는 경우 동유럽인은 걱정스러울 정도로 직설적이고 일본인은 비스듬한 태도를 보일 수 있으며, 물론 그 반대의 경우도 마찬가지입니다. 영국인은 너무 간접적이거나("기분 나쁘게 듣지 마세요, 하지만 당신들은 모두 두 얼굴이잖아요?" 동유럽 의사가 저에게 한 말), 일본인은 불쾌감을 줄까봐 말하지 않는 것처럼 너무 직접적일 위험이 있습니다. 의사소통 능력에 대한 이해는 모든 사람에게 필요하며, 특히 국제 의학 졸업생(IMG)이 이에 해당합니다. 이들에게 개념과 사용 규칙을 소개하고 무례함, 은폐 등 자칫 인격적 결함으로 보일 수 있는 것을 언어의 문제로 재포장할 수 있도록 도와주는 것은 훌륭한 일입니다. 
Many of these issues have to do with politeness, particularly across cultures (as above, this might include working-class versus middle-class culture, as well as cultures in different areas of the world). If you are British and travel abroad, for example, you might find east Europeans worryingly direct, the Japanese worryingly oblique – and of course, the converse is true: a British person risks being thought of as too indirect (“no offence, but you’re all a bit two-faced, you know?” an east European doctor once said to me), or too direct, as a Japanese person would probably not tell you for fear of causing offense. Everyone needs an understanding of communicative competence: including, most relevantly, International Medical Graduates (IMGs). It is an excellent thing to introduce them to the idea, to rules of use, and help them to repackage what may almost seem character flaws – rudeness, concealment – as just matters of language.

말과 말의 의미 사이의 관계를 고려하는 다른 방법도 있습니다. 
There are other ways too of considering the relationship between what one says and what one means.

예를 들어, 고통은 정의상 다른 사람과 공유할 수 없는 것입니다(예: "여기, 내 고통을 좀 맛보세요"라고 말할 수 없습니다). 비트겐슈타인의 유명한 "딱정벌레" 역설이 바로 여기에 해당합니다.16 우리 모두가 상자 안에 "딱정벌레"라고 부르는 무언가를 가지고 있다고 가정해 봅시다. 내 상자 속의 딱정벌레와 네 상자 속의 딱정벌레가 같은 것을 묘사하고 있다는 것을 언어만으로는 어떻게 알 수 있을까요? 비트겐슈타인은 그럴 수 없다고 말했고, 그의 글의 노믹한 특성을 고려할 때 사람들은 그렇게 주장해 왔습니다. 물론 언어가 단지 개념("나의 고통")을 전달할 뿐이라는 것이 우리의 관점이라면 문제가 있는 것 같습니다. 하지만 언어 자체에서 의미를 협상하고 합의하는 데 사용할 수 있는 가능성을 본다면 그렇지 않습니다. (비트겐슈타인의 작업의 모든 측면과 마찬가지로 이 부분도 많은 논란이 있습니다. 상세하지만 기술적인 논의에 대해서는 많은 논의를 거친 크립케의 논문17을 참조하세요. 의학 교육에 적용되는 딱정벌레 비유에 대한 논의는 Veen 외.)18을 참조하십시오. 
Consider pain, for example – it is, by definition, something which cannot be shared with someone else (you can’t say: “Here, sample some of my pain”). This is where Wittgenstein’s famous “beetle” paradox comes in.16 Let us suppose that we all have something we call a “beetle” in a box. How do we know, just by using language, that we are describing the same thing – that the beetle in my box is identical to the beetle in yours? We cannot, suggests Wittgenstein – or, given the gnomic nature of his writing, so people have argued. Certainly, if our view of language is that it merely communicates concepts (“my pain”), then it seems we have a problem. But if we see in language the potential for using language itself to negotiate and agree a meaning, it is not. (This, like all aspects of Wittgenstein’s work, is hugely contested. For a detailed but technical discussion see Kripke,17 in a very much discussed paper. For a discussion of the beetle analogy as it applies to medical education, see Veen et al.)18

그래서 우리는 모든 종류의 추상적인 개념도 마찬가지라고 주장할 수 있습니다. 내가 생각하는 '의무'나 '사랑'이라는 개념이 당신이 생각하는 개념과 같은 것일까요? 당신과 내가 '의사의 의무'에 대해 이야기한다면 우리는 같은 것에 대해 이야기하는 것일까요? 
So it is too, we might argue, with all kinds of abstract concepts. Is the idea of “duty” or “love” which I have in my mind the same as the idea you have in yours? If you and I talk about “a doctor’s duty,” are we talking about the same thing?

토론의 한 가지 목적다른 사람들이 그 용어를 어떻게 사용하는지 들으면서 자신의 마음속에 있는 용어의 의미를 구체화하여 합의에 도달하는 것입니다. 사실상 단어가 어느 정도 명확한 의미를 가지게 되는 것은 사용을 통해서이며, 또한 그 의미가 어떻게 변화하게 되는지도 마찬가지입니다. 이제 누구도 "게이"라는 단어를 행복하다는 뜻으로, "광장"이라는 단어를 구식이라는 뜻으로 사용할 수 없습니다. 다시 말해, 커뮤니티의 관점을 지향해야 합니다. 그리고 커뮤니티의 관점을 이해하는 것은 - 모든 추상적인 개념이 그렇듯이 - 커뮤니케이션 능력의 한 측면입니다.  
One purpose of discussion is to refine the meaning of the term in one’s own mind as one hears how others use it, and so reach a consensus. In effect it is through use that words come to have moderately clear meanings, and also how it is that meanings come to change. No-one now can use the word “gay” to mean happy, the word “square” to mean “old-fashioned”: the consensus, simply, is otherwise. One must aim, in other words, for the community view. And understanding the community view is – though this, like all abstractions, is up for discussion – an aspect of communicative competence.

마지막 요점입니다. 아이러니, 뉘앙스, 모호함과 같은 단어의 존재는 우리가 말하거나 쓰는 것을 항상 액면 그대로 받아들일 수 없다는 것을 분명히 보여줍니다. 오랫동안 외국어 교과서는 문법적 유사성으로 연결된 섹션을 통해 원형적이고 모호하지 않은 언어를 설명하고 가르치는 것이 그 역할이라는 가정하에 작업해 왔습니다. 그 결과는 매우 이상했습니다. 실제로 유진 이오네스코는 1930년대의 아시밀 영어 교과서와 그 언어의 기괴한 특성에서 부분적으로 영감을 받아 부조리의 극장을 만들었습니다.19
A final point here. The very existence of such words as irony, nuance, ambiguity make it clear that what we say or write cannot always be taken at face-value. Foreign language textbooks, for many years, worked on the presumption that their role was to describe and teach prototypical, unambiguous language, with sections linked by grammatical similarity. The result was famously odd. Indeed, a point which should be a great deal more widely known, Eugene Ionesco was inspired partly by the Assimil English language textbooks of the 1930s, and the bizarre nature of their language, to create the Theater of the Absurd.19

환원주의와 모호성: 언어는 세상의 복잡성을 포착하는 데 도움이 됩니다.
Reductionism and ambiguity: Language helps to capture the world’s complexity

과학은 우리에게 안개를 걷어내고, 증명할 수 있는 것(가설)을 찾아내고, 그것을 테스트하고, '사실'이 무엇인지 확인하도록 요구합니다. 이 새로운 약을 복용한 사람들이 기존 약을 복용한 사람들보다 더 빨리 나아질까요? 테스트하고 확인해 보세요. 이 환자가 박테리아에 감염되었는지 아닌지? 알아보세요. 홉스가 말했듯이 과학은 "결과에 대한 지식과 한 사실이 다른 사실에 의존하는 것"20(p25) 입니다. 
Science asks us to clear away the fog, to identify what can be proven (a hypothesis), to test it and see what “the facts” are. Do more people get better more quickly on this new drug, than on that old drug? Test it and see. Has this patient got a bacterial infection or not? Find out. As Hobbes said, science is “the knowledge of consequences and the dependence of one fact upon another.”20(p25)

우리 모두는 - 물론 환자로서 - 원인과 결과의 연관성을 이해하고, 분리하고, 탐구하는 방식이 점점 더 정교해지고 있으며, 가장 최근에는 EBM(증거 기반 의학) 운동의 성과를 통해 훨씬 더 안전해졌습니다. (토넬리(Tonelli)와 블루엠21은 EBM 세계에서의 인식론에 대한 훌륭한 논의를 제공합니다). 그러나 잘 알려진 두 가지 주의 사항이 있습니다.

  • 하나는 아마도 흄이 제기한 회의적인 주장에서 비롯된 것일 것입니다. 흄은 원인과 결과 관계가 과거에 참이었다고 해서 미래에도 참일 것이라는 것을 우리가 어떻게 알 수 있는지, 즉 우리가 정말로 어떻게 알 수 있는지에 대해 물었습니다. 내일 태양이 동쪽에서 떠오를 것이라고 어떻게 확신할 수 있을까요? 우리는 알 수 없습니다. 단지 "과거에 나타난 것과 유사한 사건의 연속인 미래를 기대하게 만드는 것은 '관습'일 뿐입니다."22(44쪽). 

We are all as patients – of course – much safer because of the increasingly sophisticated way that cause and effect links are understood, isolated, and explored, most recently through the work of the EBM (Evidence-based Medicine) movement. (Tonelli and Bluhm21 have an excellent discussion of epistemology in an EBM world). There are, however, two well-established caveats.

  • One dates perhaps from the skeptical arguments put forward by Hume. He asked how we know – how we really know – that just because cause and effect relationships have held true in the past, they will do so in future. How can we be sure that tomorrow we will perceive the sun as rising in the east? We cannot. It is only “custom” which “makes us expect for the future, a similar train of events with those which have appeared in the past.”22(p44)

어쨌든 우리는 어떻게든 헤쳐나가야 합니다. 지식 일반에 대해 완전히 회의적이거나(이 경우 연구를 왜 하느냐고 반문할 수도 있습니다), 같은 현상이 반복적으로 발생하면 "사실"로 간주할 수 있다는 견해를 취할 수도 있습니다. 공식적으로 관찰은 통상적으로 적용되는 통계적 유의성 기준에 도달합니다. 
Well, we must muddle through somehow. Either one is completely skeptical about knowledge in general (in which case, why bother with research), or one may take the view that repeated co-occurrences of the same set of phenomena amount to something one may assume to be “a fact.” Formally, observations reach a conventionally applied standard of statistical significance.

다른 한 가지 주의할 점은 경험에 따르면 인간 조건의 모든 측면을 경험적으로 이해할 수 없다는 것입니다. 제인은 남편이 자신을 사랑한다는 것을 어떻게 알 수 있을까요? "글쎄요, 남편은 저에게 좋은 것을 사주고, 집을 비우면 항상 전화를 걸어주고, 제 생일을 기억해주고......"라고 말할 수도 있습니다. 그러나 우리 모두는 이런 식으로 사랑을 일련의 경험적 행동으로 축소하는 것이 우리 자신의 경험에 대한 답이 아니라는 것을 인정합니다제인은 어떻게 알까요? 그녀는 그냥 알고 있습니다. 그녀는 인간의 본성을 잘 이해하고 있는 성숙한 여성이기 때문에 남편의 행동적 관심이 - 과학자의 용어를 고수한다면 - 더 깊고 덜 실체적인 무언가를 위한 대리인임을 인식할 수 있습니다. 우리가 알고있는 사랑 : 단순히 그런 식으로 행동하는 성향이 아닙니다. 결국 햄릿이 알고 있듯이, "웃고 웃으면서 악당이 될 수도 있다."23(690쪽)
The other caveat is, quite simply, that experience tells us we cannot understand all aspects of the human condition empirically. How does Jane know her husband loves her? “Well,” she may say, “he buys me nice things, he always rings if he’s away from home, he remembers my birthday…..” But we all accept that reducing love to a set of empirical behaviors in this way does not answer to our own experience. How does Jane know? She just does. She is a mature woman, with a good understanding of human nature, and can therefore recognize that her husband’s behavioral attentions to her are proxies – if we stick with the parlance of the scientist – for something deeper and less tangible. Love as we know it to be: not a disposition merely to behave in such and such a way. After all, as Hamlet knew, “One may smile and smile and be a villain.”23(p690)

셜록 홈즈 이야기의 중심 주제는 홈즈의 뛰어난 추리력인간으로서의 기묘함 사이의 긴장감입니다. 홈즈는 왓슨 박사에게 "불가능을 제거하면 남는 것은 아무리 불가능해도 진실일 수밖에 없다고 내가 얼마나 자주 말했습니까?"라고 묻습니다. (원문 이탤릭체). 실제로 홈즈는 이 말을 두 번 이상 반복하는데, 이는 『셜록 홈즈』에 나오는 두 가지 격언 중 하나입니다. 24(p111) 물론 홈즈는 자격을 갖춘 의사인 아서 코난 도일에 의해 창조되었으며, 그의 "방법"은 코난 도일의 의대생 시절 스승 중 한 명이었던 실제 의사를 기반으로 합니다. (과학자로서의 홈즈의 능력에 대한 흥미로운 현대적 변론은 O'Brien 2013을 참조하세요.)25 
A central theme of the Sherlock Holmes stories is the tension between Holmes’ brilliant deductive mind, and his oddity as a human being. Talking of his craft, he asks Dr Watson: “How often have I said to you that when you have eliminated the impossible whatever remains, however improbable, must be the truth?” (Italics in original). Actually, Holmes gives a version of this thought more than once – this is one of two such aphorisms in The Sign of the Four. 24(p111) Holmes was created, of course, by Arthur Conan Doyle, a qualified doctor, and his “methods” were based on a real doctor who was one of Conan Doyle’s teachers as a medical student. (For an interesting modern defence of Holmes’s abilities as a scientist, see O’Brien 2013.)25

따라서 모든 이야기에서 홈즈는 자신과 다른 모든 사람들이 기꺼이 새로운 지식이라고 주장하는 것으로 끝납니다. 이전에는 누가 피해자를 죽였는지 몰랐지만 이제는 알 수 있습니다. 그러나 이는 홈즈가 명확한 질문(경험적 현상을 어떻게 설명할 수 있는가?)을 던지고 이에 대한 명확한 답이 하나 있다는 것이 밝혀졌기 때문에 만족할 만한 결과입니다.
So, in every one of the stories, Holmes ends with what he and everyone else is happy to claim is new knowledge. We did not know who killed the victim: now we do. This is satisfactory, however, only because Holmes asks a clear question (how do we account for the empirical phenomena?) to which it turns out there is a single, unambiguous answer.

여기서 우리는 언어의 역할에 대해 생각해 볼 수 있습니다. '과학'은 사실을 제공하지만 언어는 우리가 살아가는 복잡한 삶에 대해 생각하고 토론할 수 있는 방법을 제공합니다. 의사가 올바른 직업적 가치관을 가지고 있는지 판단하려면 겉으로 드러나는 행동만으로는 충분하지 않으며, 의사의 인격과 가치관이 쉽게 측정할 수 없는 방식으로 빛을 발하는지 살펴봐야 합니다. 직장에서의 성과와 모의 수술에서 보여지는 성과는 동일하지 않습니다.26 아리스토텔레스(로버츠 번역)27(p7)는 다음과 같이 제안했습니다:  
This brings us to the role of language. “Science” offers facts: language however offers us a way of thinking about and discussing life as we live it, in all its complexity. If we want to determine whether a doctor has good professional values, it is not enough to look at overt behavior, but at whether the doctor’s character and values shine through, in ways which we cannot easily measure. Performance in the workplace and when on display in the simulated surgery are not identical.26 Aristotle (in Roberts’ translation)27(p7) suggested:

수사학에 관한 논문에서 일부 저자들이 주장하는 것처럼 화자가 드러내는 개인적인 선함이 설득의 힘에 아무런 기여도 하지 않는다는 것은 사실이 아니며, 오히려 그의 인격이 그가 가진 가장 효과적인 설득 수단이라고 할 수 있다.
It is not true, as some writers assume in their treatises on rhetoric, that the personal goodness revealed by the speaker contributes nothing to his power of persuasion; on the contrary, his character may almost be called the most effective means of persuasion he possesses.

의사들이 미덕을 전문화하는 방법 - 가버의 훌륭한 문구를 빌리자면28 - 은 통계적 분석에 개방되어 있지 않습니다. '전문직업성'과 같은 추상적인 용어가 의미하는 바를 결정하려면 비트겐슈타인의 딱정벌레처럼 함께 토론하고 공동체의 관점에 도달해야 합니다. 다시 말해, 우리는 언어를 사용해야 하며, 언어가 사용되는 맥락에 따라 의미가 결정된다는 것을 이해해야 합니다.
How doctors professionalize virtue – to borrow an excellent phrase from Garver28 – is not open to statistical analysis. If we want to decide what we mean by an abstract term like “professionalism” then, as with Wittgenstein’s beetle, we must discuss it together and arrive at a community view. In other words, we must use language, and we must understand that language has meaning as it used – that the context of use determines the meaning.

이는 의사소통 능력의 핵심이지만, 더 넓게는 환원주의적이지 않고 우리가 느슨하게 "질적"이라고 생각하는 세계관 및 연구의 핵심이기도 합니다. 
This is at the heart of communicative competence, but more broadly it is at the heart of a view of the world, and of research, which is not reductionist, and which we think of, loosely, as “qualitative.”

의료 사회학에서 중요한 텍스트 중 하나는 글레이저와 스트라우스의 '죽음에 대한 인식'입니다.29 임박한 죽음이라는 사실에 대한 인식이 관련자들 간의 상호작용에 어떤 영향을 미치는지 연구한 이 텍스트는 아름답게 쓰여 있습니다. 언어의 뛰어난 사용은 모호함을 이해하되 해소하지 않는 방식이라는 점이 저와 관련이 있는 것 같습니다. 구어체로 표현하자면, 언어를 잘 사용하면 의미에 생명을 불어넣을 수 있습니다. (미국의 위대한 인류학자 클리포드 거츠는 "나는 옷장 속 수사학자일지도 모르지만, 이제 조금씩 커밍아웃하고 있다."라고 말한 적이 있습니다.)30(p245) 또는 스콧 피츠제럴드의 유명한 말처럼 "일류 지능의 시험은 두 가지 상반된 생각을 동시에 머릿속에 담고도 기능할 수 있는 능력이다."31(p1). 
One of the seminal texts in medical sociology is Glaser and Strauss’s Awareness of dying.29 It studies how awareness of the fact of impending demise affected the interactions between those concerned: and it is beautifully written. This seems relevant to me: excellent use of language is the way in which ambiguities can be understood but not dissolved. Good use of language – a sense of style, one might colloquially say – gives life to one’s meanings. (The great American anthropologist, Clifford Geertz, once remarked, “I’m probably a closet rhetorician, although I’m coming out of the closet a bit.”)30(p245) Or, as Scott Fitzgerald famously put it, “the test of a first-rate intelligence is the ability to hold two opposed ideas in the mind at the same time, and still retain the ability to function.”31(p1)

이러한 관점은 전체론적 또는 인본주의적 의학에 대한 현대의 초점에 잘 어울립니다. 어떤 의미에서 이것은 의학에 대한 다음의 둘 사이의 대조라는 측면에서 논의되어 온 것입니다.

  • 기계론적 접근(신체는 때때로 고장 나는 기계)과 
  • 전인적 접근(질병은 기계가 아니라 사람에게 영향을 미친다) 

이 논쟁은 고대 그리스까지 거슬러 올라가는데, 크니도스의 초기 의사들은 전자를, 코스 출신의 의사들은 후자를 선호했다고 알려져 있으며, 1990년대에 가정의학의 창시자 중 한 명이자 전인적 치료의 강력한 옹호자인 이안 맥휘니(Ian McWhinney,32) 가 논의하면서 이 구분이 어느 정도 통용되기 시작했습니다.  
This perspective lends itself well to the contemporary focus on holistic, or humanistic, medicine. In one sense, this is a discussion which has been couched in terms of a contrast between

  • a mechanistic approach to medicine (the body is a machine which sometimes breaks down), and
  • the holistic approach (illness affects a person, not a machine).

The debate has been pushed back as far as Ancient Greece, with early physicians from Cnidos said to be in favor of the former and those from Cos the latter – the distinction gained some currency in the 1990s when it was discussed by Ian McWhinney,32 one of the founding fathers of family medicine, and a strong advocate of holistic care.

또한, 특히 북미에서는 예술에 대한 '인본주의적' 접근이 어느 정도의 모호성이 핵심인 예술에 대한 이해를 포함할 수 있습니다. 성공적인 예술 작품이란 동시에 여러 가지를 의미하지만, 그럼에도 불구하고 모든 의미와 모순이 함께 어우러져 있습니다. 이를 바탕으로 한 예술 작품은 모호함 속에서 환원할 수 없는 하나의 진술로 취급될 수 있습니다. 그렇다면 햄릿은 무엇에 관한 작품일까요? 모든 것. 아무것도 아닙니다. 그냥 그렇습니다. 베르메르의 <델프트의 풍경33>은 델프트의 풍경인가요? 물론 그렇죠. 침묵과 평화, 그리고 인간의 조건에 대한 명상입니다. 우리가 그러한 것들을 탐구할 때, 우리는 그것들의 밑바닥에 도달하지 못한다는 것을 분명히 이해하면서 그렇게 합니다. 우리는 이해합니다. 하지만 우리는 모릅니다.
In addition, perhaps particularly in North America, a “humanistic” approach to may involve an understanding of the arts, where a degree of ambiguity is at the heart of the endeavor. A successful work of art means multiple things at the same time, but all the meanings, all the contradictions, nevertheless hang together. A work of art on this basis may be treated as a single statement irreducible in its ambiguities. So: what is Hamlet about? Everything. Nothing. It just is. Is Vermeer’s View of Delft33 a view of Delft? Of course it is. And of course it isn’t: it’s a meditation on silence, and peace and the human condition. When we explore such things, we do so on the clear understanding that we don’t get to the bottom of them. We understand: but we don’t know.

언어와 힘: 자신을 이해하는 능력 개발
Language and power: Develop the ability to understand ourselves

언어와 권력의 관계는 광범위하게 논의되어 왔습니다(의학의 경우, 푸코[2003]의 영향이 분명합니다). "상식적인" 관점이 어떻게 우리가 인식하지 못하는 사이에 권력 관계를 만들어내는지 보여주는 Fairclough,34(p2)가 대표적인 예입니다. 그는 의학으로 이를 설명합니다: 
The relationship between language and power has been extensively discussed (as regards medicine, Foucault [2003] is an obvious influence. A standard general account is Fairclough,34(p2) who demonstrates how a “common sense” view creates power relationships without us being aware of them. He illustrates this with medicine:

.... 의사와 환자 사이의 전통적인 유형의 상담에 대한 관습은 권위와 위계를 자연스러운 것으로 취급하는 '상식적인' 가정을 구현합니다
- 의사는 의학에 대해 알고 있지만 환자는 그렇지 않다;
- 의사는 건강 문제를 어떻게 다뤄야 하는지 결정할 위치에 있지만 환자는 그렇지 않다;
- 의사가 상담과 치료 과정을 결정하고 통제해야 하며 환자는 이에 순응하고 협조해야 하는 것이 옳고 '자연스러운' 것이다 등등....

이런 종류의 가정은 사용되는 언어의 형태에 내재되어 있습니다. 

….the conventions for a traditional type of consultation between doctors and patients embody ‘common sense’ assumptions which treat authority and hierarchy as natural
– the doctor knows about medicine and the patient doesn’t;
– the doctor is in a position to determine how a health problem should be dealt with and the patient isn’t;
– it is right (and ‘natural’) that the doctor should make the decisions and control the course of the consultation and of the treatment, and that the patient should comply and cooperate, and so on….

assumptions of this sort are embedded in the forms of language which are used.

위계적 지위에 대한 가정은 명망 있는 억양이나 현지 언어 외에 국제 언어를 구사할 수 있는 능력과 같은 단순한 것에서 비롯될 수 있습니다. 이는 오늘날 전 세계 많은 지역에서 영어가 그러합니다. (이 문제에 대한 자세한 논의는 살라거-마이어를 참조하세요).35 하지만 저는 여기에 약간 특이한 관점을 제시하고 싶습니다. 
Presumptions about hierarchical position might flow from something as simple as a prestigious accent, or the ability to speak an international language in addition to a local language. This is true of English today in many parts of the world. (For a detailed discussion of the issues here, see Salager-Meyer).35 However, I would like to put a slightly unusual twist on this.

브라질의 저명한 교육학자 파울로 프레이레는 언어와 소외 계층, 즉 빈민가의 어린이와 문맹 성인에 주목했습니다. 그의 아이디어는 70년대부터 영향을 미쳤습니다. 핵심적인 은유는 은행업의 은유입니다36(p72): 
The distinguished Brazilian educationist, Paulo Freire, looked at language and the underprivileged – children from the favelas, illiterate adults. His ideas have been influential from the 70s. A central metaphor is that of banking36(p72):

교육은....학생이 depository(예금 보관소)이고 교사가 depositor(예금을 맡기는 사람)인 예금 행위가 된다....이것은 학생들에게 허용되는 행동 범위가 예금을 받고, 제출하고, 보관하는 데까지만 확장되는 교육의 "은행" 개념이다.
Education….becomes an act of depositing, in which the students are the depositories and the teacher is the depositor….This is the “banking” concept of education, in which the scope of action allowed to the students extends only as far as receiving, filing and storing the deposits.

좀 더 친숙한 용어로 이것은 정보 전달로서의 교육 이미지입니다. 전문가는 신탁을 전수하고, 신탁은 특권층이 믿는 것을 말합니다. 교사는 세상을 설명합니다. 
In more familiar terms, this is an image of education as information transfer. The expert, as it were, hands down the oracle – and the oracle says what the privileged believe. The teacher describes the world.

은행의 은유와 달리 프레이레36(40쪽)는 "문제제기 교육"을 제안합니다. 의학교육에서 사용되는 용어인 "문제 기반 학습"(PBL)의 메아리는 분명하지만, 그 유사성이 완전하지는 않습니다. PBL은 학생들이 해결책을 찾도록 장려하는 데 사용되지만, 제시된 문제에 대한 정답이 하나뿐인 경우가 많기 때문에 다시 한 번 모호성을 없애는 것이 과제입니다. 프레이레의 방법론은 학습자의 자각(포르투갈어로 '의식화')을 높여 학습자의 역량을 강화하도록 장려하기 위해 고안되었습니다. 그는 분노의 교육학37(p15)에서 다음과 같이 표현합니다: "교육은 여성과 남성이 학습을 통해 스스로를 만들고 재구성할 수 있다는 것을 배우기 때문에 의미가 있다." 
In contrast to the banking metaphor, Freire36(p40) offers “problem-posing education.” The echoes of “problem-based learning” (PBL), as the term is used in Medical Education, are obvious, but the resemblance is not complete. PBL is used to encourage students to find solutions, but often there is a single right answer to the problem posed, so that once more the task is to disambiguate. For Freire, his methodology is designed to encourage learners to become more empowered, through raising their awareness (conscientização, in Portuguese). As he expresses it in The pedagogy of indignation37(p15): “education makes sense because women and men learn that through learning they can make and remake themselves.”

프레이레의 출발점은 결국 사회에서 목소리를 내는 것을 통한 권한 부여입니다. 그러나 특권이 있든 없든, 우리 대부분은 은행 업무와 같은 교육에 노출되어 왔으며, 새로운 아이디어와 사고 방식을 표현하는 데 어려움을 겪고 있습니다. 예를 들어, 의대생과 자격을 갖춘 의사는 누군가가 '의사소통을 잘한다'거나 '못한다'는 이유를 명시하거나 의료 윤리에 대한 입장을 정립하고 발전시키는 데 있어 다른 사람보다 더 명료한 표현을 구사하는 것은 아닙니다(예: 낙태에 대한 찬성 또는 반대 입장 정당화). 탐구하고, 아이디어를 조사하고, 토론하고, 사물을 바라보고(의사와 환자 간의 상담), 아이디어를 구축하고 반영하는 데 도움이 되는 방식으로 이야기하는 수단으로서의 언어는 교육의 핵심 요소입니다. 이 과정을 통해 우리는 우리 자신뿐만 아니라 공동체의 관점을 더 완전히 이해하고 형성할 수 있습니다. 
Freire’s starting point is then empowerment through having a voice in society. But, privileged or not, most of us have been exposed to education as banking, and we all struggle to articulate new ideas and ways of thinking. Medical students, and qualified doctors, are not necessarily more articulate than anyone else at specifying why someone “communicates well” or badly, for instance, nor at setting out and developing a position on medical ethics – justifying a position for or against abortion, say. Language as a means of exploration, of probing and discussing ideas, of looking at things (perhaps a doctor-patient consultation) and talking about them in a manner which helps us build and reflect on ideas, is a key aspect of education. The process enables us to understand and shape more fully the community view, as well as our own.

프레이레보다 훨씬 이전에 존 로크는 지식과 우리가 지식을 얻는 방법, 더 나아가 교육에 대해 장황하게 썼습니다.38 (로크는 교육 논쟁에 백지 상태인 타불라 라사라는 용어를 도입한 것으로 유명합니다). 그렇다면 우리는 어떻게 지식을 얻을 수 있을까요?

  • 감각(보고 듣는 것 등)함으로써
  • 성찰(보고 듣는 것의 의미를 형성)함으로써

그리고 중요한 것은 성찰 능력에서 비롯되는 자유입니다: 
Long before Freire, John Locke wrote at length both of knowledge and how we come by it, and by extension about education.38 (Locke, famously, introduced the term tabula rasa, the blank slate, to the educational debate). On this basis, how do we come by knowledge?

  • By sensation (we see and hear, and so on), and
  • by reflection – we make sense of what we see and hear.

And part of what is at stake is the liberty that stems from the ability to reflect:

정치와 교육에 관한 로크의 모든 저술에서 매우 중요한 자유의 개념은 에세이 [인간 이해에 관하여]에서 자신의 행동에 대한 마음의 힘, 특히 대상을 충분히 고려할 때까지 자신의 욕망의 만족을 추구하는 행동을 중단할 수 있는 힘에 대한 성찰로 추적됩니다(II.21.47, N: 51-52)39(p16).
The idea of liberty, so crucial to all of Locke’s writings on politics and education, is traced in the Essay [Concerning Human Understanding] to reflection on the power of the mind over one’s own actions, especially the power to suspend actions in the pursuit of the satisfaction of one’s own desires until after a full consideration of their objects (II.21.47, N: 51–52)39(p16)

자유는 특히 의학교육과 관련이 있다고 생각합니다. 교육은 해방에 관한 것이다.

  • 가난하고 절망적인 사람들에게도 그렇고,
  • 자신이 선택한 직업에서 최고가 되고자 하는 사람들에게도 그렇다. 생각하고 말할 수 있는 자유, 즉 자신과 환자, 그리고 자신을 둘러싼 세상을 효과적으로 이해할 수 있는 자유에 관한 것이기도 합니다.

Liberty is, I would suggest, particularly pertinent to medical education. Education is about liberation,

  • for the poor and desperate, but also
  • for those who seek to be the best they can be at their chosen profession – the liberty to think and talk, and thereby to understand effectively oneself and one’s patients and the world around one.

따라서 언어는 작업 중심적이고 문맥에 따라 정의되며, 세상의 복잡성을 표현하고 사용자에게 힘을 실어주는 인식을 제공하는 데 이상적인 수단입니다.
Language then is task-focused, defined by context, an ideal vehicle for expressing the world’s complexity, and for offering the awareness that empowers the user.

하지만 이것이 결론은 아닙니다. 여기 수수께끼가 있습니다.
But this is not quite the conclusion. Here is a conundrum.

이 대화를 통해 '환자 중심주의'라는 개념을 생각해 보세요(발명된 개념이지만 당연한 것처럼 보입니다):
Consider the concept of “patient-centeredness” through this exchange (invented, but it seems commonplace):

의사: 그래서 - 무엇을 원하십니까?
환자: 글쎄요, 의사 선생님께 맡기겠습니다.
Doctor: So – what do you want to do?
Patient: Oh, I don’t know – I’ll leave all that up to you doc.

이 경우 환자가 요청하는 대로 하는 것이 환자 중심일까요? 환자 중심은 의사 중심일까요? (비슷한 맥락에서, 저는 파키스탄의 한 의과대학 1학년 간호학과 학생에게 유능한 동기생들이 왜 그렇게 스스로 생각하기를 열망하는지 농담처럼 물어본 적이 있습니다. 그 학생은 지극히 진지하게 "그렇게 하라고 들었기 때문"이라고 대답했습니다.) 
In this case, is it patient-centred to do what the patient asks? Patient-centred, therefore, to be doctor-centred? (In a not dissimilar vein, I once – slightly joking – asked a first year nursing student at a Medical School in Pakistan why she and her very capable classmates were so eager to think for themselves. “Because we were told to,” she responded, perfectly seriously).

우리는 자유에 대한 주요 철학적 연구 중 하나인 밀의 『자유론』을 통해 환자 중심의 수수께끼를 생각해 볼 수 있습니다.40 밀에 따르면 우리는 원하는 것을 할 자유가 있지만(나의 자유가 너의 자유를 침해해서는 안 된다는 일반적인 주의가 필요합니다), 우리 자신을 노예로 팔아넘길 자유, 즉 자유를 포기할 자유는 없다고 말합니다. 이 근거에 따르면 환자는 선택권을 포기할 수 없는 것처럼 보입니다. 하지만 저는 환자의 재량에 따라 신뢰가 자유보다 우선할 수 있다고 주장하고 싶습니다. 의사가 유능하고 인격이 좋다고 신뢰받는다면 '자유의 상실'은 덜 중요할 수 있습니다. 어쩌면 연약한 순간에 기꺼이 항복할 수 있는 가능성이 의료계의 권력을 다르게 만들 수도 있습니다. 항복, 즉 우리에게 전적으로 중요한 것에 대해서도 항복할 수 있습니다. 우리의 생명과 건강, 그리고 우리가 사랑하는 사람들의 생명과 건강. 
We might think of the patient-centred conundrum in terms of one of the key philosophical studies of liberty, Mill’s On Liberty.40 We are, Mill says, free to do what we want (with the usual caveat that my liberty must not infringe yours): but we are not free to sell ourselves into slavery – not at liberty, in other words, to yield up liberty. On this basis, it would seem the patient cannot choose to abrogate the right to choose. But I would argue that trust may trump liberty at the patient’s discretion. If the doctor is trusted to be competent, and of good character, then “loss of liberty” is less relevant. Perhaps in moments of frailty it is the possibility of willing surrender which makes power within medicine different. Surrender, that is, even about something which matters utterly to us. Our life, our health and the lives and health of those we love.

따라서 직장에서 중요한 것은 (위의 아리스토텔레스에 대한 의견 참조) 우리의 성격을 표현하는 언어의 사용입니다. 
In the workplace, then, it is (see comments on Aristotle above) the use of language to represent our character which matters.

결론
Conclusion

저는 언어와 사상의 역사에 대한 이해가 보건 교사와 학생의 수준을 적절히 관리할 수 있는 여러 가지 방법을 제안하려고 노력했습니다. 몇 가지 예를 들어 다음과 같이 제안하고 싶습니다: 
I have tried to suggest a number of ways in which an understanding of language, and of the history of ideas, can enrich teachers of healthcare and, appropriately managed for level, of students as well. I would suggest the following by way of examples:

  • 의료계 학생들은 '지식'에 대한 환원주의적 모델을 배웁니다(이는 좋은 점입니다). 그러나 학생들은 아이디어에 대한 토론과 탐구를 소중히 여기도록 배우지 않으며, 전체론적 의학에 초점을 맞추고 있음에도 불구하고 모호성커뮤니티 의미 창출을 소중히 여기도록 배우지 않습니다. 언어와 커뮤니케이션의 핵심적인 역할은 학생들이 자신의 가치관을 성찰해야 하는 상황(예: 자궁경부 도말 검사를 거부하는 환자와의 역할극)을 제공하는 것입니다. 그리고 '옳은 것'을 말할 때, 즉 마치 지식의 보고인 것처럼 행동할 때, 프레이레의 용어를 빌리자면, 이에 도전하고 학생들이 스스로 도전하도록 유도해야 합니다. 
    Healthcare students are taught a reductionist model of “knowledge” (this is a good thing). They are not, however, taught to value the discussion and exploration of ideas nor, despite the focus on holistic medicine, are they really taught to value ambiguity and the creation of community meaning. A central role of language and communication is to give students a context (a role-play with a patient refusing a cervical smear, eg) where they must reflect on their values. And when they say “the right thing” – when they act as if they were repositories of knowledge, in Freire’s terms, one must challenge them, and invite students to challenge themselves.
  • "의학 교육에서 '불확실성'을 가르치는 경우, 위험을 관리하고 설명하는 맥락에서 가르치는 경향이 있습니다. 이것 역시 좋은 일입니다. 그러나 개인 및 직업 생활에서 모호성의 사용 및 남용과 관련된 더 광범위한 문제가 있습니다. 가능하면 학생들이 예술을 공부하고 토론할 수 있도록 도와주세요. 커뮤니케이션 수업에서는 보다 일반적인 환자 복지, 의사와 환자의 관계 등에 대한 파급 효과로 인해 모호한 시나리오를 만듭니다. 시뮬레이션 연습(이상적)을 통해 또는 적어도 종이 사례로 특이한 사례 기록, 특이한 이야기를 발표하고 토론합니다. 생각, 생각만 하세요. 시뮬레이션 연습을 할 때는 행동 기준에 대해 가능한 한 적은 시간을 할애하세요. 피드백을 위한 질문의 계층 구조가 있는데, "무엇을 했습니까?"부터, 이 척도의 한쪽 끝에는 명시적으로 물어본 적은 없지만 항상 존재하는 질문이 있습니다: "의사가 된다는 것은 무엇인가요?" 
    “Uncertainty” in medical education, if it is taught at all, tends to be taught in the context of managing and explaining risk. This too is a good thing. However, there are wider issues, to do with the uses and abuses of ambiguity in our personal and professional lives. If at all possible, help students to study the arts, and to discuss. In communication classes, create scenarios which are ambiguous, perhaps because of the ramifications for more general patient welfare, the doctor’s relationship with the patient, and so on. Present and discuss unusual case histories, unusual narratives either through simulation exercises (the ideal), or at least as paper cases. Think, just think. Where simulation exercises are concerned, spend as little time as possible on behavioral criteria. There is a hierarchy of questions for feedback, 41 from “What did you do?” at one end of the scale to a question perhaps never explicitly asked, but always there: “What is it to be a doctor?”

상자 24.2 역할극 후 질문 유형의 계층 구조
Box 24.2 Hierarchy of question types after role play

1. 기술 설명하기: 눈을 마주쳤나요? 적절한 양이었나요? 어떻게 알 수 있는가?
2. 기술 정당화하기: 왜 그렇게 했나요? 다르게 했다면 어땠을까?
3. 기술 일반화하기: 예를 들어 공격성을 해소하는 방법과 같은 일반적인 원칙이 있나요? ("어떤 환자가 있었는데...")
1. Describing skills: Did you maintain eye contact? The right amount? How do you know?
2. Justifying skills: Why did you do it that way? What if you’d done it differently?
3. Generalizing skills: Are there general principles here, e.g. about how to defuse aggression? (“I had a patient who …”)

고차원적인 질문
Higher-order questions
4. 사람 평가하기: 환자는 어땠나요? 이런 유형의 환자나 이런 문제를 가진 환자에게 전형적인가요, 아니면 특이한가요?

5. 자기 평가하기: 당신은 어떤 사람인가요? 스트레스에 대한 반응, 나쁜 소식을 접했을 때... 기분이 어땠는지 등 경험을 통해 무엇을 알 수 있었나요?
6. 직업 평가하기: 이 시나리오에 비추어 볼 때 의사가 된다는 것은 어떤 의미인가요? 의사는 어떤 일을 하나요? 
4. Assessing people: What was the patient like? Is this typical or unusual for patients of this type, or with this problem?
5. Assessing self: What kind of person are you? What did the experience tell you about, e.g. your response to stress, breaking bad news … how did it make you feel?
6. Assessing the profession: In the light of this scenario, what does it mean to be a doctor? What kind of things do doctors do? 

  • 언어는 힘입니다. 학생들이 이것이 자신과 관련된 진리이며, 더 명확하게 표현할 수 있도록 지원받을 권리가 있다는 것을 인식하도록 도와주세요. 성찰은 언어를 통해 이루어집니다. 성찰을 통해 환자 치료가 개선된다는 것은 적어도 현재의 교육적 가정입니다. 의대생과 자격을 갖춘 의사에게 이러한 문제만을 논의하고 의사 소통 능력 또는 "공동체 관점"과 같은 아이디어를 소개하는 것은 불합리하지 않습니다. 
    Language is power. Help students to recognize this is a truth of relevance to them, that they have the right to be supported to become more articulate. Reflection happens through language. Patient care improves through reflection, or at the very least, this is the current educational presumption. It is not unreasonable to discuss just these issues with medical students, and qualified doctors, and to introduce them to such ideas as communicative competence, or the “community view.”
  • 위에서 소개한 가벼운 화법 이론에 학생과 의사의 주의를 환기시키는 것은 매우 강력한 효과를 발휘할 수 있습니다. 명제적 의미, 의도하는 바, 이해되는 방식을 구분하는 것은 이해하기 쉬우며, 동료나 환자가 불쾌감을 느꼈을 수 있는 이유 등에 대해 성찰할 수 있는 방법을 제공합니다. 그리고 대부분의 사람들은 의사도 "당신은 당뇨병이 있습니다"라고 말할 때뿐만 아니라 더 불확실한 명제에 대해 동일한 언어를 사용할 때 성직자ex cathedra처럼 말하는 것으로 간주될 수 있음을 알 수 있습니다: "당신은 약간 지쳤습니다..."
    Drawing the attention of students and doctors to the light touch version of Speech Act Theory I offer above can be very powerful. The distinction between propositional meaning, what one intends and how one is understood is easy to grasp, and offers a way of reflecting on, eg about why a colleague or patient might have been offended. And most people can see that doctors, too, may be seen as talking ex cathedra, not only when they say “you have diabetes,” but when they use the same language for more uncertain propositions: “You’re just a bit fed up…”

따라서 언어는 의학 및 의학 교육의 강력한 요소입니다. 교사와 코스 설계자로서 우리는 언어를 단순히 아이디어의 전달로만 보는 생각을 뛰어넘어야 합니다. 우리 자신의 언어 사용에 대한 성찰을 통해 우리는 다음을 인식할 수 있습니다.

  • 언어가 단어로 일을 처리한다는 점,
  • 단어의 의미가 사용되는 맥락에 따라 달라진다는 점,
  • 신중하고 정확한 언어 사용을 통해 복잡성을 정의할 수 있다는 점,
  • 이 모든 것에서 우리가 내리는 선택이 언어 사용에 힘을 실어줄지, 힘을 뺄지에 영향을 미친다는 점


Language is, then, a powerful element of medicine and medical education. As teachers and course designers, we should transcend the idea of seeing language as merely the communication of ideas. Through reflection on our own language use, we can become aware of the way

  • that language is doing things with words,
  • that the meaning of those words depend on the context in which they are used,
  • that through careful and precise language use we can do justice to complexity, and
  • that the choices we make in all of these have implications for whether our language use empowers or disempowers.

 


 

 

Teach Learn Med. 2021 Apr-May;33(2):210-216. doi: 10.1080/10401334.2021.1877712. Epub 2021 Feb 7.

 

 

Language, Philosophy, and Medical Education

Affiliations collapse

Affiliation

1College of Medical and Dental Sciences, University of Birmingham, Birmingham, UK.

PMID: 33554658

DOI: 10.1080/10401334.2021.1877712

Abstract

Issue: When medical schools began to recognize, a generation ago, that clinical "communication skills" could not be taken for granted among students, a process began of researching them, and introducing the results into curricula. This allowed for a discussion, for the first time, about how doctors should talk to patients, and manage interviews with them. However, there was a focus on a set of behavioral processes which were often unsophisticated with respect to the role of language in communication, or of language as a means of sustaining and describing ambiguity, or language as the primary impetus for educational reflection.

Evidence: This paper looks at literature from language studies, the philosophy of language and the philosophy of education to establish the point that, where natural languages are concerned, it is possible and useful to talk of the purposes for which language is used. It is also important to recognize that the meaning of a particular language use is to a substantial extent defined by context: and that languages are excellent vehicles for maintaining and describing ambiguity, where it is impossible to reduce a state of affairs to the well-defined conclusion of empirical research.

Implications: In the light of this understanding, there is a need for "communication," and particularly the methodologies through which it is taught, to reflect these points. Simulation exercises, designed to develop clinical communication, should be clear that there is no single correct way of "talking to patients," no set of behavioral processes which is always effective. It is, in the end, the awareness and wisdom of the doctor, selecting from among a range of available approaches, which is at stake. In addition, methodologies should account for the recognition that awareness comes only from reflection, and that helping medical students and doctors alike to reflect is central to good practice.

Keywords: Medical education; language; philosophy.

의학교육에서 우리의 인종적 과거를 다루기: 푸코적 관점(Teach Learn Med. 2021)
Contending with Our Racial Past in Medical Education: A Foucauldian Perspective
Zareen Zaidia , Ian M. Partmanb, Cynthia R. Whiteheadc, Ayelet Kuperd, and Tasha R. Wyatte

 

"의학이, 그리고 이를 통해 정부가 시민을 바라봐야 하는 자유로운 시선이 어떻게 지식의 난해함과 사회적 특권의 경직성에 얽매이지 않고 유능한 역량을 갖출 수 있을까요?" - 미셸 푸코, 클리닉의 탄생
“How can the free gaze that medicine, and, through it, the government, must turn upon the citizens be equipped and competent without being embroiled in the esotericism of knowledge and the rigidity of social privilege?” – Michel Foucault, The Birth Of The Clinic

미국 사회와 기관의 구조에 깊이 뿌리내린 체계적이고 구조적인 인종차별에 대한 국가적 논의가 계속되는 가운데, 교육 기관, 특히 대학이 스스로의 인종차별적 역사, 관행, 편견을 인식하고 이를 완화하기 위한 전략을 개발해야 한다는 압력이 커지고 있습니다. 이러한 압력과 함께 의학 및 의학교육을 포함한 교육기관 내에서 인종 불평등을 논의하거나 줄이기 위해 사용되는 기존의 방법이 불충분하거나 경우에 따라서는 문제가 있다는 인식이 증가하고 있습니다. 1 이러한 기관들은 어떻게 그리고 왜 제도적 구조 내에서 조직적인 인종차별을 피상적으로만 다루고 있을까요? 의학교육과 그 기관이 이러한 실패를 완화하고 궁극적으로 바로잡는 데 방해가 되는 것은 무엇일까요? 
Amidst ongoing national conversations about the systemic and structural racism deeply embedded in the fabric of American society and institutions, there is growing pressure for educational institutions – in particular, colleges and universities – to reckon with their own racist histories, practices, and biases and develop strategies for mitigation. With this pressure comes increasing recognition that preexisting methods employed to discuss or decrease racial inequality within institutions, including medicine and medical education, are insufficient or, in some instances, problematic. 1 How and why do these institutions only superficially address systemic racism within their institutional architectures? What is preventing medical education and their institutions from mitigating and ultimately rectifying these failures?

이 초청 글에서 우리는 이러한 실패가 중립적이지도 우연적이지도 않으며, 특정 개인에게 다른 개인보다 특권을 부여하는 깊숙이 자리 잡은 체계적 위계질서의 직접적인 결과라고 주장합니다. 우리는 다음과 같은 두 가지 질문을 제기합니다:

  • (1) 이러한 위계를 어떻게 이해할 수 있는지,
  • (2) 프랑스 이론가 미셸 푸코의 이론을 바탕으로 의학교육에서 체계적인 인종 차별을 해체하기 위한 단계를 어떻게 식별할 수 있는지.

의학교육의 인종 정치 분석에 대한 이러한 푸코적 접근 방식을 통해 우리는 실질적이고 실행 가능한 해결책으로 이어지는 이론 중심의 해답을 제시할 수 있습니다. 
In this invited article, we argue that these failures are neither neutral nor accidental, but the direct result of a deeply entrenched systematic hierarchy that privileges specific individuals over others. We take up the dual questions of:

  • (a) how we can understand this hierarchy and
  • (b) how we can identify steps to dismantle systemic racism in medical education drawing upon the theoretical work of French theorist Michel Foucault.

This Foucauldian approach to the analysis of the racial politics of medical education enables us to propose theory-driven answers to our questions that lead to practical, actionable solutions.

왜 푸코인가?
Why Foucault?

미셸 푸코는 의학과 의학교육에 대해 잘 알려져 있지만, 그의 연구는 의료 사회학 및 인류학과 같은 다른 분야에서 더 잘 알려져 있습니다. 2 이론가로서 푸코는 받아들여지는 지식의 형태, 과학적 이해, 무엇이 진리로 간주되는지를 통해 권력이 어떻게 구성되는지 이해하는 데 관심이 있습니다. 특히 교육과 의료와 같은 '돕는' 직업이 고객의 요구에 부응하기 위해 어떻게 권력을 행사하는지에 대해 관심을 갖고 있습니다. 특히 푸코는 전문가가 새로운 지식을 창출하고 이를 실제로 사용할 때 개인이 자신을 보는 방식, 타인과의 관계, 자신이 살고 있는 현실에 어떤 영향을 미치는지 살펴봅니다. 푸코의 사상은 현재 우리 의료계가 환자와 수련의 모두에게 영향을 미치는 인종차별, 즉 우리 직업에 뿌리 깊게 자리 잡은 조직적 인종차별을 어떻게 다룰지 고민하고 있는 상황에서 특히 적절합니다. 
Michel Foucault is no stranger to medicine and medical education, yet his work has perhaps greater visibility in other disciplines, such as medical sociology and anthropology. 2 As a theorist, Foucault is interested in understanding how power is constituted through accepted forms of knowledge, scientific understanding, and what is considered truth. Of particular concern is how “helping” professions, such as education and medicine exercise power in an attempt to serve their clients’ needs. Specifically, Foucault examines how, when professionals create new knowledge and use it in practice, they affect how individuals view themselves, their relationship to others, and the reality in which they live. Foucault’s ideas are particularly relevant now as our field grapples with how to address the deep-seated systemic racism in our profession; racism that affects both patients and trainees.

주체의 만들기
The making of a subject

권력과 지식의 관계에 대한 푸코의 탐구는 그의 학문적 작업의 중심이었습니다. 그러나 그는 자신의 목표가 권력 그 자체에 대한 연구가 아니라 인간이 주제로 만들어지는 방식에 대한 연구라는 점을 분명히 했습니다. 2 주제대상화 과정을 통해 만들어집니다. 푸코는 그의 저서에서 개인이 "권력의 효과"에 의해 행동하고 영향을 받는 대상화의 세 가지 방식 또는 기법을 설명합니다. 3 (375쪽) 이러한 대상화 과정은 개인과 집단을 다른 사람들의 조직적, 기능적 요구에 부응하기 위해 명명되고, 분류되고, 재분류되는 대상으로 재구성합니다. 
Foucault’s exploration of the relationship between power and knowledge was central to his academic work. He was clear, however, that his goal was not the study of power itself, but of the ways that humans are made into subjects that interested him most. 2 Subjects are created through a process of objectification. In his work, Foucault describes three different modes or techniques, of objectification in which individuals are acted upon and influenced by an “effect of power.” 3 (p.375) This objectification process recasts individuals and groups as objects where they are named, sorted, and reclassified to serve the organizational and functional needs of others.

첫 번째 기법은 '탐구 방식' 또는 지식을 생성하고 체계화하는 방법을 다룹니다. 4 (777쪽) 의학의 탐구 방식은 주로 생물 의학적인 것으로, 의사는 심리적, 환경적, 사회적 영향을 배제하고 질병에 대한 생물학적 요인과 설명에 초점을 맞춥니다. 따라서 의학교육은 교육 커리큘럼을 생물의학에 맞추고, 환자 치료에 대한 이러한 접근 방식을 강화하는 실무에서 의사를 교육하는 것과 관련된 문제에 관심을 갖고 있습니다. 
The first technique deals with “modes of inquiry” or ways of creating and codifying knowledge. 4 (p.777) Medicine’s mode of inquiry has primarily been biomedical, in which physicians focus on biological factors and explanations for disease to the exclusion of psychological, environmental, and social influences. As such, medical education is concerned with issues related to aligning their training curriculum with biomedical sciences, and then training physicians in practices that reinforce this approach to patient care.

이러한 생물의학적 접근 방식은 의사가 환자와 질병을 보는 방식에 광범위한 영향을 미쳤으며, 다른 형태의 지식을 주변부로 밀어냈습니다. 전 세계 다른 곳의 의사들은 북미를 지배하는 생의학적 접근 방식 외에도 건강에 대해 생각하고, 인체 내 치유를 지원하며, 질병을 치료하는 다양한 방법을 사용합니다. 5 학문과 전문직 내에서 이러한 탐구 방식은 대상화의 수단으로 면밀히 검토되는 경우는 드물지만, 지식이 생성되고 주제를 보는 방식을 형성하는 과정입니다. 의학에서는 환자를 보는 방식과 의사를 교육하는 방식에 영향을 미쳤습니다. 
This biomedical approach has had far reaching consequences for how physicians see patients and their diseases and has pushed other forms of knowing to the periphery. Elsewhere in the world, physicians use different ways of knowing, thinking about health, supporting healing within human bodies, and treating disease beyond just the biomedical approach that dominates North America. 5 Such modes of inquiry within disciplines and professions are rarely scrutinized as a means of objectification, yet they are the process by which knowledge is created and shapes the way we see subjects. In medicine, this has had consequences for how we see patients and the way we train physicians.

두 번째 기법은 사람들을 분류하고 그룹화한 다음 그 분류와 그룹에 따라 다른 사람들과 분리하는 과정인 '분할 관행'을 통해 발생합니다. 푸코의 관점에서 볼 때, 과소 대표 소수자(URM)라는 용어 자체에는 인종 차별적 대상화 프로젝트가 내포되어 있습니다. 의학교육에서 URM이라는 범주는 이제 직업 내에서 보호받는 인종 그룹(예: 흑인, 라틴계, 원주민)을 나타내는 데 보편적으로 사용되며, 이러한 그룹 간에는 중요한 차이가 있음에도 불구하고 이 용어가 사용되고 있습니다. 이 문구는 주로 미국의 제도적, 학문적 언어에서 비백인 학생을 설명할 때 사용되지만, 이러한 커뮤니티의 많은 사람들은 이러한 방식으로 스스로를 식별하지 않습니다. 흑인 의대생의 경험은 히스패닉계 학생의 경험과 크게 다르기 때문에 이러한 분류에 의해 그 차이가 사라지기 때문입니다. 두 학생 모두 소수자이자 비백인이라는 신분적 특성으로 인해 예속의 형태를 경험하지만, 그러한 예속의 경험은 억압의 다양한 역사적, 사회적 맥락에 따라 달라집니다
The second technique occurs through “dividing practices,” which is the process by which people are labeled, grouped, and then separated from others in accordance with that labeling and grouping. From a Foucauldian perspective, the very term, underrepresented minorities (URM) is steeped in a project of racist objectification. In medical education, the category of URM is now ubiquitously used to represent protected racial groups within the profession (e.g., Black, Latinx, Indigenous) even though there are important differences between these groups. The phrase appears mostly in American institutional, academic language to describe nonwhite students, however, many of these communities do not self-identify in this way. This is because the experience of a Black medical student is vastly different from that of a Hispanic student, differences that are washed away by this grouping. Even though both students experience forms of subjugation by nature of their underrepresented and nonwhite status, their experience of such subjugation is contingent on the different historical and social contexts of their oppression.

따라서 '분할 관행'의 문제는 그것이 사용되는 것 자체가 아니라 그 사용 방법과 이유에 있습니다. 특정 정체성과 개인에 대한 역사적 과소대표를 통해 다양성과 포용의 틀을 짜려는 열망이 좋은 의도를 가지고 있더라도, 이러한 열망의 결과가 정작 혜택을 받아야 할 사람들에게는 부정적일 수 있음을 우리는 URM이라는 용어의 반복을 통해 알 수 있습니다. URM의 프레임워크는 의료기관 내 대표성에 대한 보다 강력한 설명을 허용하기보다는 교차성과 관련된 중첩된 차별 체계에 대한 관심 없이 소수자라는 용어를 일반화함으로써 분할 관행을 성문화하고, 결과적으로 집단적 예속의 역사적으로 특정한 성격을 지워버립니다. 분할 관행은 개인을 대상화하여 다른 사람들이 생각하고 행동할 수 있는 주제가 되게 하는 방법 중 하나로, 우리의 제도적 정책, 관행, 담론에 깊이 내재되어 있는 기법입니다. 결국 이러한 용어를 사용하는 것은 권력 관계를 유지하고 기존의 사회적 위계를 정당화합니다. 관행을 구분하는 것은 선택적 포용과 배제의 미덕을 통해 규범이 어떻게 성문화되는지를 밝히는 데 도움이 됩니다. 

The problem with “dividing practices,” then, is not so much that they are used, but how and why. We see – in the very iteration of the term URM – that even when the aspiration to frame diversity and inclusion efforts through historical underrepresentation of certain identities and individuals is well-intended, the consequences of these aspirations can be negative precisely for those whom they are supposed to benefit. Rather than allow for more robust accounts of representation within medical institutions, the framework of URM codifies dividing practices by generalizing the term to minorities without attention to overlapping systems of discrimination associated with intersectionality and, subsequently, erasing the very historically specific nature of their collective subjugations. Dividing practices is one of the ways that individuals are objectified and then become subjects for others to think about and act upon, a technique that is deeply embedded in our institutional policies, practices, and discourses. In turn, using these terms maintains power relations and legitimatizes preexisting social hierarchies. Dividing practices help to illuminate how norms are codified through the virtue of selective inclusion and exclusion.

세 번째 기법은 인종, 계급, 섹슈얼리티, 성별 등 특정 범주의 존재를 '주체화'하여 특정 인간 집단이 주체가 되는 과정입니다. 여기서 사람은 자신의 정체성의 일부로 자신의 라벨을 받아들입니다. 예를 들어, 다른 사람에 의해 URM으로 분류된 사람들은 자신을 URM 그룹의 일부로 식별하기 시작합니다. 주체가 자신에게 주어진 정체성을 형성하고 연관시키는 이러한 대상화 방식은 제도 내에서 권력 관계를 성공적으로 유지하는 데 가장 중요한 역할을 합니다. 예를 들어, URM이라는 문구에는 개인의 정체성과 그 정체성이 기관의 권력 매트릭스 내에서 어떻게 배치되는지에 대한 가정이 내재되어 있습니다. 이는 여러 가지 의문을 제기합니다: 누가 대표성을 갖는 것으로 간주되고 누가 과소 대표성을 갖는 것으로 간주되는가? 대표성과 과소 대표성의 기준은 무엇인가요? URM이라는 문구는 대표성에 대한 결정을 누가 어떤 조건으로 내리는지에 대한 질문도 떠올리게 합니다. 동일시는 주체가 외부의 관점에서 자신을 생각하는 방법을 배우는 데 영향을 미치며, 이는 다시 이러한 라벨의 내면화에 영향을 미칩니다.
The third technique is the process by which specific groups of human beings become subjects through “subjectification” with certain categories of being, such as race, class, sexuality, or gender. Here, a person takes up their label as part of their identity. For example, those labeled by others as URMs begin to identify themselves as part of the URM group. This mode of objectification, by which subjects form and associate themselves with identities that were handed to them is paramount to the success of maintaining power relationships within institutions. For example, embedded in the phrase URM is an assumption about the person’s identity and how that identity is placed within the matrices of power in an institution. It raises questions around: Who counts as represented and who counts as underrepresented? What are the thresholds for representation and underrepresentation? The phrase URM also conjures questions of who makes the decision about representation, and under what terms. Identification affects how subjects learn to think of themselves from an outside perspective, which in turn affects their internalization of these labels.

이러한 객관화 기술에 대한 푸코의 이해는 누가 주체로 간주되는지, 주체가 제도적 풍경을 어떻게 탐색하는지와 같은 더 깊은 질문을 제기합니다. 의학교육에 적용하면 푸코의 연구는 다음과 같은 다른 질문을 제기합니다: 

  • 의학교육에서 누가 주체가 될 수 있는가?
  • 어떤 주체가 지식에 대한 권위를 갖는가?
  • 그 권위는 권력과 어떻게 연결되어 있으며, 주체가 될 수 없는 사람들에게 이 권력이 미치는 영향은 무엇인가?
  • 마지막으로, 교육기관 내에서 주체는 어떻게 계속 대상화되고 있을까요?
  • 그리고 아마도 가장 중요한 것은 이러한 객관화 과정을 성문화하는 제도 내에서 이러한 객관화 과정에 어떻게 이의를 제기하고 도전할 수 있을까요?

Foucault’s understanding of these techniques of objectification raise deeper questions such as who counts as a subject and how do they navigate institutional landscapes. Applied to medical education, Foucault’s work raises other questions, such as:

  • Who gets to be a subject within medical education?
  • Which subjects have authority over knowledge?
  • How is that authority linked to power, and what is the effect of this power on those who cannot become subjects?
  • And finally, how do subjects continue to be objectified within our institutions?
  • And perhaps, most importantly, how might these processes of objectification be contested and challenged within the institutions that befit and codify them.

의학교육의 정상화
Normalization in medical education

정상화란 사회적으로 구성된 어떤 것이 정상으로 간주되는 과정을 말합니다. 이는 사람을 측정하는 과학에 의해 만들어진 기준일 수 있습니다(예: 제정신인 사람 또는 법을 준수하는 시민은 "정상" 사람). 그러나 "정상"이라는 개념은 비정상적인 존재(예: 광인 또는 범죄자)의 존재를 의미하기도 합니다. 6 즉, 일탈이라는 개념은 규범이 존재하는 곳에서만 가능합니다. 푸코에게 규범은 "정상" 범주에 부합하지 않는 사람들을 배제하기 때문에 우리를 평가하고 통제하는 데 끊임없이 사용되는 대상화의 기술입니다. 따라서 정상화 과정은 피할 수 없지만 현대 사회에서 교묘하게 해로운 특징입니다.
Normalization is the process whereby something that is socially constructed comes to be considered normal. This could be a standard created by science against which people are measured (e.g., the sane man or the law-abiding citizen are "normal" people). But the idea of "normal" also implies the existence of the abnormal (i.e., the madman or the criminal). 6 In other words, an idea of deviance is possible only where norms exist. For Foucault, norms are techniques of objectification that are constantly used to evaluate and control us because they exclude those who cannot conform to "normal" categories. As such, the process of normalization is unavoidable, but an insidiously harmful feature of modern society.

정상화는 행동, 신념, 관행을 강화하여 특정 형태의 지식을 정당화하고 특정 종류의 주체를 만들어내는 데 사용됩니다. 정상화의 과정은 푸코의 다른 권력 개념과 불가분의 관계에 있습니다. 정상과 비정상을 규정함으로써 감시 시스템에서 규범을 벗어난 방식으로 행동하는 사람들을 자격을 부여하고 분류하고 처벌할 수 있게 됩니다. 6 결국 이 시스템은 주체를 형성하고 표준화된 존재 방식과 사고 방식에 참여하도록 강요합니다. 
Normalization is employed by reinforcing behaviors, beliefs, and practices, which legitimatize certain forms of knowledge, and the creation of certain kinds of subjects. The process of normalization is inextricably linked to Foucault’s other ideas of power. By establishing what is normal and abnormal, it makes it possible to qualify, classify, and punish those who behave in ways outside the norm in a system of surveillance. 6 In turn, this system shapes subjects and coerces them into engaging in standardized ways of being and thinking.

정상화 과정은 표준화된 교육, 의료 전문직 조직, 교육 병원과 같이 건강에 대한 일반적인 규범을 지속적으로 영속화하는 시스템의 도입에 존재합니다. 

  • 예를 들어, 의학교육에서 전문직 정체성 형성(PIF) 문헌은 백인 남성이 지지하는 전문직 정체성과 일치하는 특정 유형의 의사 이미지를 강화하는 데 도움이 되는 방식으로 연구를 구성한 연구로 가득 차 있습니다. 7 이와는 대조적으로 유색인종 의사의 PIF 경험을 조사한 연구는 단 한 건에 불과하며, PIF를 연구하는 데 사용되는 비판적 입장은 거의 부재했습니다. 8 의사가 된다는 것이 무엇을 의미하는지에 대한 이러한 협소한 구성은 규범 관행에 영향을 미치며 흑인/아프리카계 미국인 의사가 자신을 보는 방식과 상충됩니다. 8 

The process of normalization exists in the introduction of standardized education, the organization of the medical profession, and systems that continue to perpetuate general norms of health, such as teaching hospitals.

  • For example, in medical education, the professional identity formation (PIF) literature is replete with studies that have framed research in ways that help to reinforce the image of a certain kind of physician, one that has a professional identity that is in line with those espoused by white men. 7 In contrast there is only one study that explores experiences of PIF in URM physicians and there was an almost complete absence of critical stances used to study PIF. 8 This narrow construction of what it means to be a physician influences norming practices, and conflicts with the ways in which Black/African American physicians see themselves. 8

어느 기관에서나 특정 주체의 직위를 승인하고 정상화하기 위한 근거로 지배적인 관점과 아이디어가 존재합니다. 이러한 관점은 "규범"과의 관계에 따라 일부에게는 진입을 허용하고 다른 사람들에게는 진입을 거부하는 근거가 됩니다. 따라서 정상화는 기존의 지배와 억압의 현장을 강화하는 데 사용됩니다. 7 이를 위해 정상화는 현대 미국 사회를 조직하는 백인 우월주의 규범을 유지하고, 만들고, 형성하는 데 중심적인 역할을 하는 것으로 볼 수 있습니다. 9

  • 다른 예로는 백인 학생들이 의학에 내재된 다양한 의미를 말하고 접근하는 방식이 있습니다. 10 의학적 맥락에서 언어 사용의 미묘한 의미 변화를 이해하면 백인 학습자는 의학 언어를 접하지 못한 소수계 학습자가 이용할 수 없는 방식으로 의학 커뮤니티에 참여할 수 있기 때문에 유리한 위치에 서게 됩니다. 

Within any institution, dominant perspectives and ideas exist as the basis for authorizing and normalizing certain subject positions. These perspectives become the basis for granting entry to some and denying entry to others based on their relationship to the “norm.” Normalization is thus used to reinforce preexisting sites of domination and oppression. 7 

  • To this end, normalization can be seen as playing a central role in upholding, creating, and shaping the white supremacist norms that organize contemporary American society. 9 
  • Other examples include the ways of speaking and accessing the multiple meanings embedded in medicine that white students bring to the profession. 10 Understanding subtle meaning shifts in language use within a medical context puts white learners at an advantage because it helps them join the medical community in ways that are not available for minoritized learners who have not had access to the language of medicine.

의학교육에서 규범화 과정은 일부 의대생에게 멘토로부터 더 나은 의대생 성과 평가서(MSPE)11를 받을 수 있는 기술을 갖추게 하고, 알파 오메가 알파 명예 의사회(AOA)에 선발될 가능성을 높이는 기타 기술을 갖추게 함으로써 혜택을 줍니다. 12 , 13 이러한 리소스는 학습자가 명망 있는 수련의 자리를 확보할 가능성을 높여줄 뿐만 아니라,14 학습자의 경력에 더 큰 영향을 미칠 수도 있습니다. 예를 들어, 백인 학습자는 의학의 언어와 프레임워크에 접근할 수 있기 때문에 소수 민족보다 첫 번째 R01 연구 보조금을 확보할 가능성이 더 높습니다. 15 이는 학습자가 사전에 수준 높은 예비 교육, 이전 업무 경험 및 기타 특권 양식을 이용할 수 있는 경우 내부자 지위를 얻는 것이 훨씬 더 쉽기 때문입니다. 16 종종 인식하지 못하는 것은 개인이 자신의 가치, 신념, 관행을 중심으로 조정된 사회에서 성장하면 그 사회의 거의 모든 곳에서 유리한 위치에 놓이게 된다는 사실입니다. 
In medical education, the process of normativity also benefits some medical students by equipping them with the skills that result in better Medical Student Performance Evaluation letters (MSPE) 11 from mentors, and other skills that increase their likelihood of selection for the Alpha Omega Alpha Honor Medical Society (AOA). 12 , 13 These resources increase learners’ likelihood of securing prestigious training positions, 14 but may also have influence further along in learners’ careers. For example, because white learners have access to the language and framing of medicine, white individuals are more likely than minoritized individuals to secure their first R01 research grants. 15 This is because achieving insider-status is much easier when learners have prior access to high-quality preparatory education, previous work experience, and other modalities of privilege. 16 What often goes unrecognized is that when an individual grows up in a society that is calibrated around their values, beliefs, and practices, they are placed at an advantage almost anywhere in that society.

궁극적으로 정상화 과정의 기저에는 백인을 표준으로 다른 모든 인구를 비교하는 암묵적인 관념이 자리 잡고 있습니다. 미국 기관은 소수 인종을 관리하고 통치하기 위해 고안된 이와 같은 개별적인 형태의 지배를 품고 있습니다. 17 따라서 기관은 다른 사람들의 권위를 유지하기 위해 특정 개인에 대한 차별적 행위를 제재하는 방식으로 작동하기 때문에 이 과정에 연루되어 있습니다.

  • 예를 들어, 의학교육은 과소 대표 집단과 과대 대표 집단을 명확하게 구분하는 것을 정상화함으로써 소위 과소 대표를 초래한 문제와 시스템을 계속 회피하고 있습니다. 18 이러한 회피는 권력으로서의 과대 대표성이라는 역동성을 강화합니다.
  • 다른 예로는 의과대학입문자격시험(MCAT)과 같은 의학교육 전 평가와 의과대학 입학 관행이 있으며, 19 이러한 평가는 규범화 그룹에 속하지 않은 의사를 선별하는 데 사용됩니다.
  • 다른 관행으로는 의학교육에서 인종을 생물학적 변수로 취급하는 의학 커리큘럼이 있으며,20 이는 소수 인종 환자와 학습자의 건강과 삶의 경험에 대한 사회역사적 맥락이라는 더 큰 문제를 근본적으로 지워버리는 것입니다.

문화적 역량 커리큘럼이나 다양성 프로그램과 같이 의료기관 내 인종차별에 맞서기 위한 선의의 이니셔티브조차도 의학교육에 깊이 뿌리내린 관행에 의미 있게 도전하지 못하며, 따라서 정상화 과정의 전개에 도전하는 데 실패합니다. 21-23
Ultimately, what is underlying the process of normalization is the unspoken notion that white people are the norm whereby all other populations are compared. American institutions harbor discrete forms of domination, such as these which are designed to govern and manage minoritized populations. 17 Therefore, institutions are complicit in this process because they work by sanctioning discriminatory acts against certain individuals in order to maintain the authority of others.

  • For example, by normalizing a clear distinction between underrepresented and overrepresented groups, medical education continues to sidestep the issues and systems that have led to the so-called underrepresentation. 18 This sidestep reinforces the very dynamic of overrepresentation-as-power.
  • Other examples include pre-medical education assessments like the MCAT and medical admission practices, 19 which are used to screen physicians, many of whom are not a part of the norming group.
  • Other practices include medical curricula, which treats race as a biological variable in medical education, 20 essentially erasing larger issues of sociohistorical context on the health and lived experiences of minoritized patients and learners.

Even well-intentioned initiatives to combat racism in medical institutions, such as cultural competency curricula and diversity programs fail to meaningfully challenge deeply entrenched practices in medical education, and as such deploy processes of normalization. 21–23

정상화 과정은 모든 학생에게 해롭지만, 특히 [백인이 정한 규범을 따르라는 요구를 가장 눈에 띄게 받는 소수계 의사]에게는 더욱 어렵습니다. 다시 말해, 백인 사회에 고유한 규범을 사용하여 의사에게 기대되는 것을 규범화함으로써, 의학교육은 소수계 의사를 자신이 선택한 주체로 형성하는 데 그 힘과 지식을 사용합니다. 정상화에 맞서기 위해서는 기관이 정책과 절차에 맞서야 하는데, 이는 결국 그 기원이 "있는 그대로의 모습"에 포함되기 때문에 어려울 수 있습니다. 예를 들어, 2020년에 트럼프 행정부는 연방 기금을 받는 기관이 해당 기관 내에서 암묵적 편견 교육에 참여, 후원 및/또는 자금을 지원하는 것을 기능적으로 금지하는 행정 명령을 만들었습니다. 24 백악관은 암묵적 편견 교육을 근본적으로 반미 운동으로 규정했으며, 이는 앞으로 한동안 인종 관계에 영향을 미칠 수 있습니다. 시간이 지나면 기관들은 인종 문제를 다루지 않을 위험에 처하게 될 것이며, 이러한 회피는 "정상"으로 느껴질 것입니다. 사회적, 제도적, 교육적 차원에서 전개되는 이러한 정책과 관행은 우리 사회의 인종 차별적 구조를 영속화합니다. 
While the process of normalization is harmful to all students, it is particularly difficult for minoritized physicians who are most noticeably asked to conform to the norms set by white individuals. In other words, by norming what is expected from physicians using norms endemic to white society, medical education uses its power and knowledge of what is expected to shape minoritized physicians into subjects of their choosing. Combating normalization requires that institutions confront their policies and procedures, which can be challenging because their origins are eventually subsumed into the “just the way things are.” For example, in 2020, the Trump administration created an executive order that functionally prohibits federally funded institutions from engaging in, sponsoring, and/or funding implicit bias training within those institutions. 24 The White House labeled implicit bias training as fundamentally an anti-American exercise, which could have consequences for race relations for some time to come. In time, institutions would run the risk of not addressing issues of race, and this avoidance would feel “normal.” Deployed at the societal and institutional and educational level, policies and practices like these perpetuate racist structures in our society.

푸코를 의학교육에 맥락화하기
Contextualizing Foucault into medical education

모든 교육 기관과 마찬가지로 의학교육도 권력을 유지하기 위한 수단으로서 정상화 과정에 깊숙이 개입되어 있는 것은 분명합니다. 푸코는 "공간의 처분, 내부 생활을 지배하는 세심한 규정, 그곳에서 조직되는 다양한 활동, 그곳에서 살거나 서로 만나는 다양한 사람들, 각자의 기능과 잘 정의된 성격을 가진 사람들, 이 모든 것이 능력-소통-권력의 블록을 구성한다"고 썼습니다. 4 (787쪽) 의료계에서 조직적이고 체계적인 인종 차별의 정상화는 비단 현대의 문제만은 아닙니다. 인종차별은 미국 사회에 깊은 뿌리를 두고 있으며, 역사적으로 흑인 및 기타 소수계 의사가 배제된 것에서 가장 쉽게 찾아볼 수 있습니다. 1910년 아브라함 플렉스너는 카네기 재단으로부터 북미 전역의 의과대학을 조사해 달라는 의뢰를 받았는데, 그의 보고서에 따르면 역사적으로 흑인 의과대학 두 곳을 제외한 모든 의과대학이 문을 닫아 흑인 예비 의사가 수련의 기회를 갖지 못하게 되었습니다. 25 그는 종종 현대 의학 표준화의 조상으로 알려져 있지만, 이러한 학교를 폐쇄하라는 권고를 정당화하면서 흑인 의사 양성에 대한 그의 발언은 흑인 의사를 위한 의학교육의 기능은 "자신의 인종"을 위해 봉사할 미래의 의사를 양성하는 것뿐만 아니라, 아프리카계 미국인 커뮤니티에서 전염되는 질병으로부터 백인 인구를 보호하는 것이라고 주장하는 명백한 인종차별주의자였습니다:

Clearly, medical education, like all educational institutions is deeply enmeshed in the process of normalization as a means to uphold power. As Foucault writes, “the disposal of its space, the meticulous regulations which govern its internal life, the different activities which are organized there, the diverse persons who live there or meet one another, each with his own function, his well-defined character – all these things constitute a block of capacity-communication-power.” 4 (p.787) Normalization of systemic and systematic racism in medicine is not just a contemporary issue. It has deep roots in American society and is often most easily seen in the historical exclusion of Black and other minoritized physicians. In 1910, when Abraham Flexner was commissioned by the Carnegie Foundation to survey medical schools across North America, his report closed all but two historically Black medical schools essentially leaving Black would-be physicians without an opportunity to train. 25 He is often credited for being the grandfather of standardizing modern medicine, yet in justifying his recommendations for closing these schools, his comments toward the training Black physicians were overtly racist, insisting that the function of medical education for Black doctors was not only to train future physicians to be a service to “[their] own race” but also to protect white populations from diseases contracted from African American communities:

흑인은 그를 위해서뿐만 아니라 우리를 위해서도 교육을 받아야 합니다. 그는 인간의 눈으로 볼 수있는 한 국가의 영구적 인 요소입니다. 그는 개인으로서 권리와 마땅한 가치를 지니고 있지만, 그 외에도 감염과 전염의 잠재적 원천으로서 엄청난 중요성을 지니고 있습니다. 25 (p.180) 
The negro must be educated not only for his sake, but for ours. He is, as far as human eye can see, a permanent factor in the nation. He has his rights and due and value as an individual; but he has, besides, the tremendous importance that belongs to a potential source of infection and contagion. 25 (p.180)

흑인 인구가 백인 공동체의 안전에 본질적인 건강 위험을 초래한다는 플렉스너의 믿음과 역사적으로 흑인 의과대학의 대부분을 폐쇄하자는 그의 제안은 정상화가 사회와 제도 내에서 비대칭적인 권력 관계를 유지하는 데 얼마나 널리 퍼져 있는지를 보여줍니다. 플렉스너의 보고서에 따르면 의학교육을 개선한다는 명목으로 거의 한 세기 동안 흑인 의사에 대한 인종적 폭력이 자행되었으며, 그 이후에도 흑인 의사는 백인 의사와 비교할 수 없을 정도로 낮은 비율의 인력을 유지하고 있습니다.
Flexner’s belief that Black populations posed an inherent health risk to the safety of white communities, and his suggestion to close the majority of historically Black medical schools, demonstrates the pervasiveness of how normalization works to maintain asymmetrical power relations in society and within our institutions. In the name of improving medical education, Flexner’s report committed forms of racial violence against Black physicians for nearly a century and since then, Black physicians remain unrepresented in the workforce at levels incommensurate with white physicians.

흑인을 의료계로 끌어들이려는 여러 시도가 있었지만, 이러한 입법 개혁은 이러한 불평등을 약간만 해소하는 데 그쳤습니다. 예를 들어, 이러한 재조정 이니셔티브 중 일부에는 의과대학과 병원이 연방 기금을 받으려면 인종 차별을 해소해야 한다는 내용이 포함되었습니다. 미국 차별 금지법을 통해 제안된 다른 프로그램들은 보건 분야에서 소외된 소수자를 위한 학업 지원 시스템을 개선했습니다. 1977년 미국 대법원 판례인 캘리포니아 대학교 리전트 대 바케 사건은 입학의 다양성을 높이기 위해 고안된 적극적 차별 금지 조치 관행을 승인했습니다. 26 전문가 수준에서는 미국 의과대학협회(AAMC)가 소수자 우대 정책을 감독하여 의과대학에 입학하는 소수자 비율이 3%에서 10%로 증가했습니다. 27 그 후 AAMC는 "2000년까지 3000명" 보건 전문가 파트너십 이니셔티브를 시행하여 전국적으로 파이프라인 프로그램을 만들어 2000년까지 의과대학의 URM 수를 두 배로 늘렸습니다. 28 목표에는 미치지 못했지만, 이 이니셔티브는 1995년까지 소수계 등록률을 12%까지 끌어올렸습니다. 24 그러나 1996년 이후 미국에서 소수집단 우대 조치 프로그램이 공격받기 시작했고, 그 결과 URM 의대생 입학이 감소했습니다. 29 
Even though there have been multiple attempts to enfold Black individuals into the profession, these legislative reforms have had only slightly countered these inequalities. For example, some of these rebalancing initiatives included forcing medical schools and hospitals to desegregate if they were to receive federal funding. Others proposed programs through US anti-discrimination legislation improved academic support systems for under-represented minorities in health. The 1977 U.S. Supreme Court case University Of California Regents vs. Bakke authorized affirmative action practices designed to increase diversity in admissions. 26 At the professional level, the Association of American Medical Colleges (AAMC) oversaw affirmative action policies, which resulted in an increase in minority enrollment in medical schools from 3 to 10%. 27 Then later, the AAMC implemented the “3000 by 2000” Health Professional Partnership Initiative, which created pipeline programs nationally to double the number of URMs in medical schools by the year 2000. 28 While falling short of its goal, the initiative led to a further increase in minority enrollment to 12% by 1995. 24 However, since 1996, affirmative action programs have been under attack in the U.S., which has resulted in a decline in URM medical student admissions. 29

의학교육 내에서 권력의 균형을 재조정하려는 이러한 이니셔티브는 중요합니다. 그러나 푸코의 관점에서 보면 의과대학의 인종을 고려한 입학 정책이 소수계 학생의 등록률과 입학률을 높인다고 해도 의대 내에 존재하는 인종차별적 규범, 편견, 정책을 바꾸지는 못할 것입니다. 인종차별은 단순히 소수인종 의대생을 더 많이 수련과정에 입학시킨다고 해서 사라지지 않습니다. 인종차별은 그 자체로 권력의 한 형태이며, 기관 내에서 정상화되어 있기 때문에 지속되는 것이므로, 입학의 경우 과소 대표성을 형성하는 관행을 먼저 고려하지 않고는 바로잡을 수 없습니다. 필요한 것은 백인이 아닌 사람들을 희생시키면서 개인을 올바른 종류의 주체로 형성하기 위해 노력하는 기관에서 사용하는 규범을 전문직이 조사하는 것입니다. 소수계 의사가 자신의 가치, 신념, 인종적 규범을 지키는 의사가 될 수 있도록 규범화 관행은 반드시 해결되어야 합니다. 8 
These initiatives to rebalance power within medical education are important. However, viewed from the Foucauldian lens, even if medical schools’ race-conscious admissions policies increase the enrollment and admissions rates of minority students, this will not change the racist norms, biases, and policies that exist within the profession. Racism does not go away simply by admitting more minoritized medical students into training. Racism is itself a form of power that persists precisely because of its normalization within institutions, and thus, cannot be rectified without accounting for – in the case of admissions – the practices that shape underrepresentation in the first place. What is needed is for the profession to interrogate the norms used by institutions that work to shape individuals into the right kind of subject at the expense of nonwhite subjects. It is the norming practice that must be addressed, so that minoritized physicians can be the kind of physician that upholds their own values, beliefs, and racial norms. 8

그러나 앞서 언급했듯이 백인 개인은 다른 모든 집단과 비교되는 규범이며, 우리 교육 시스템에서 조직적인 힘으로 작용하는 것은 백인 규범 집단이기 때문에 이 문제는 어렵습니다. 고등 교육에서 백인 규범이 작동하고 있다는 사실은 최근 대법원이 대학이 입학 과정에서 인종 할당제를 사용하는 것은 위헌이지만 소수계 지원자를 받아들이기 위해 학교가 적극적 우대 조치를 사용하는 것은 합헌이라고 판결한 캘리포니아주 리전트 대 바케 사건에서 드러난 바 있습니다. 대법원에서 바케는 "소수자 입학 계획은 역사적으로 억압받지는 않았지만 평등 보호 조항의 의미 내에서 '사람'인 백인에 대한 수정헌법 제14조의 보장을 약화시켰다"고 주장했습니다. 30 (1772쪽) 이 판결은 인종을 고려한 입학의 수혜자가 아닌 백인을 위한 특별 입학 프로그램의 폐지에 대한 선례를 남김으로써 백인 규범성을 지지했습니다. 31 이와 같은 사례는 백인 규범성주체를 만들고 대우하는 데 강력한 힘을 발휘한다는 것을 보여줍니다. 이러한 규범성은 기관의 외부나 가장자리에만 존재하는 것이 아니라 기관 내부에 깊숙이 내재되어 있습니다. 
However, this is challenging because as noted earlier, white individuals are the norm against which all other groups are compared, and it is the white norming group that works as an organizing force in our educational systems. The existence of a white norm at work in higher education was recently revealed in the Regents of California vs. Bakke case where the Supreme Court ruled that a university’s use of racial quotas in its admissions process was unconstitutional, but a school’s use of affirmative action to accept minoritized applicants was constitutional. In the Supreme Court, “Bakke argued that the minority admissions plan abridged Fourteenth Amendment guarantees for whites, who although not historically oppressed, were nevertheless ‘persons’ within the meaning of the Equal Protection Clause.” 30 (p.1772) This ruling upholds white normativity by setting a precedent for the abandonment of special-admissions programs which would otherwise have aided the nonwhite beneficiaries of race-conscious admissions. 31 Cases like these demonstrate that white normativity is powerful in the creation and treatment of subjects. It does not exist solely outside of or on the edges of institutions; it is deeply embedded within them.

숨겨진 교육과정으로서의 인종계약
The racial contract as hidden curriculum

의학의 커리큘럼의 표면 아래에는 의학의 구조적인 조건, 의학 교육의 문화적인 역사, 그리고 의학 지식이 권력의 계통을 따라 계층화되는 방식을 감추는 숨겨진 커리큘럼 32의 일부로 볼 수 있습니다. 이러한 숨겨진 연습은 의학의 모든 측면에 영향을 행사하면서, 불문율적이고 비공식적인 존재, 사고, 그리고 느낌의 방식으로 의대생들을 사회화하는 숨겨진 커리큘럼 32의 일부로 볼 수 있습니다.

  • 누가 커리큘럼에 무엇이 포함되고 우선순위가 될 것인지 결정합니까?
  • 누가 커리큘럼 개발과 평가를 맡고, 그들은 무엇이 포함되는지에 대해 어떻게 결정합니까? 

Lurking under the surface of medicine’s curriculum are hidden practices, which mask the structural conditions of medicine, the cultural history of medical education, and the ways in which medical knowledge is stratified along lines of power. These hidden practices might be viewed as part of the hidden curriculum 32 that socializes medical students in ways of being, thinking, and feeling that are unwritten and unofficial, exerting influence over all aspects of medicine and call into question:

  • Who decides what is to be included and prioritized in the curriculum?
  • Who is charged with curricular development and assessment, and how do they make decisions about what is included?

숨겨진 커리큘럼은 암묵적이고 강력하다. 비대칭적인 권력 관계를 강화하고 합법화하는 방식으로 제도를 변형하고 조직하기 때문이다. 그것은 정상화 과정과 주체의 창조에 관련되어 있습니다. 예를 들어, 숨겨진 커리큘럼은 의학이 사회와 사회적 계약을 형성하는 데 있어 강력한 힘입니다. 이것들은 어떤 종류의 의사가 적합한지를 규제하는 역할을 하는 기관과 사회 사이의 (명시적이기보다는) 암묵적인 협약이다. 한 쪽에서, 의사들은 전문성의 가치를 지지하고, 아픈 사람들을 돌보며, 전문가로서 그들의 역할을 수행할 것으로 기대됩니다. 그 대가로, 사회는 그들과 그들의 직업 존중, 실천의 자율성, 자율성, 그리고 재정적인 보상을 부여합니다. 그러나 사회 계약은 주체를 이상적인 버전의 의사로 형성함으로써 숨겨진 커리큘럼에 복무합니다. 이러한 방식으로, 그것들은 백인과 그들의 유전적인 후손을 보호하기 위해 만들어졌기 때문에 그들은 항상 인종차별을 핵심에 품고 있습니다. 34 본질적으로, 의학의 사회 계약은 훈련생을 올바른 종류의 의사로 형성하려고 시도하고, 35는 그렇게 함으로써 명시적으로 되는 것이 드물지만, 힘, 지식, 그리고 정규성의 과정에 대한 푸코의 개념의 선에 해당하는 방식으로 소수화된 개인들을 억압합니다.
The hidden curriculum is tacit and powerful as it transforms and organizes institutions in ways that reinforce and legitimatize asymmetrical power relationships. It is implicated in normalization processes and in the creation of subjects. For example, the hidden curriculum is a powerful force in shaping medicine’s social contract with society. These are more implicit than explicit agreements between institutions and society that serve to regulate what kinds of physicians are suitable. On one side, physicians are expected to uphold the values of professionalism, care for the sick, and fulfill their role as a professional. In return, society grants them and their profession respect, autonomy in practice, self-regulation, and financial rewards. 33 However, social contracts serve the hidden curriculum by shaping of subjects into an idealized version of a physician. In this way, they always harbor racism at its core because they were created to protect white people and their genetic descendants. 34 Essentially, medicine’s social contract attempts to shape trainees into the right kind of physician, 35 thereby oppressing minoritized individuals in ways that are rarely made explicit, yet fall along the lines of Foucault’s notions of power, knowledge, and processes of normativity.

예를 들어, 백인이 아닌 학생들이 학습 기관에 입학할 때 그들은 "학교와 사회가 그들에게 이용할 수 있는 정체성과 열망의 한계" 안에서 배웁니다. 36 (p.470) 이 제한적인 환경은 소수화된 학생들이 백인 학생들이 이용할 수 있는 가능성에 대한 접근을 거부함으로써 교육적 불평등과 계층화를 받아들이도록 훈련시키는 환경입니다. 다른 예들은 학생들이 주로 강의, 세미나, 그리고 임상 연구를 통해 가르치는 의과 대학의 교육학에서 발견됩니다. 의과대학 교육은 생의학의 실증주의와 객관성의 근본적인 구성과 같은 특정한 가치와 믿음을 전달합니다. 이러한 교육학적 관행의 사용은 주체를 만드는 바로 그 형태의 대상화를 강화합니다. 학생들이 환자와의 상호 작용에서 객관적인 탐구 방식과 분열적인 관행을 사용함에 따라 이것은 더욱 재확인됩니다. 푸코는 "권력의 행사는 명백한 사실, 제도적 권리도 아니고 버티거나 부수는 구조도 아닙니다. 그것은 정교화되고 변형되고 조직화됩니다. 그것은 상황에 다소 조정된 과정을 스스로에게 제공합니다." 38 (p.792)
For example, when nonwhite students enter institutions of learning they are taught within “the limits of the identities and aspirations that school and society make available to them.” 36 (p.470) This limiting environment is one that trains minoritized students to accept educational inequities and stratifications by denying them access to possibilities available to white students. Other examples are found in medical schools’ pedagogy in which students are taught primarily through lectures, seminars, and clinical research, 37 which impart particular values and beliefs, such as biomedicine’s underpinning constructs of positivism and objectivity. Use of these pedagogical practices reinforces the very form of objectification that creates subjects. This is further reified as students employ objective modes of inquiry and divisive practices in their interactions with patients. As Foucault writes, “the exercise of power is not a naked fact, an institutional right, nor is it a structure which holds out or is smashed: it is elaborated, transformed, organized; it endows itself with processes which are more or less adjusted to the situation.” 38 (p.792)

이러한 관점에서 볼 때, 엘리트의 사회적 헤게모니를 보존하기 위한 일차적인 기능을 가진 엘리트 그룹에 복무하는 커리큘럼 프로젝트가 조직됩니다. 39 이런 식으로 자주 언급되지는 않지만 숨겨진 커리큘럼은 학습자를 규범적 공간에 동화시키기 위한 수단이며, 이는 학습자를 이미 억압적이고 깊은 인종차별적인 사회로의 진입을 불균등하게 준비시킵니다. 40 
Seen in this perspective, curricular projects are organized in service of elite groups with a primary function to preserve the elite’s social hegemony. 39 Although not often spoken of in this way, the hidden curriculum is a means to assimilate learners into a normative space, which unevenly prepares learners for entrance into an already oppressive and deeply racist society. 40

의학교육의 기존 권력구조에 대한 저항
Resisting existing power structures in medical education

현대 의학교육에서 숨겨진 커리큘럼의 만연한 효과를 고려할 때, 인종폭력의 규모와 범위를 줄이기 위해서는 체계적인 인종차별을 밝히고 훼손하기 위한 카운터-방법론과 교육학을 개발하는 것이 필수적입니다. 41 필요한 것은 푸코가 "주체와 권력"에서 말하는 "권력관계의 새로운 경제"; 4 (p.779), 즉 의료기관 내 권력관계의 분배와 상호작용에 대한 광범위한 이해를 포괄하는 방법론과 의제입니다. 카운터-방법론을 개발하는 데 있어 목적은 의학교육을 개혁하는 것이 아니라, 기존 권력구조에 저항하고 완전히 뒤집는 것이라는 것을 이해하는 것이 중요합니다. 
Given the pervasive effects of hidden curricula in contemporary medical education, developing counter-methodologies and pedagogies to reveal and undermine systemic racism is imperative for reducing the scale and scope of racial violence. 41 What is needed is what Foucault refers to in “The Subject and Power” as a “new economy of power relations”; 4 (p.779) that is, methodologies and agendas that encompass a broad understanding of the distribution and interaction of power relations within medical institutions. In developing counter-methodologies, it is important to understand that the aim is not to reform medical education, rather to resist existing power structures and upend it altogether.

의학 교육을 개선하는 과정에서, 의학 내의 다양성의 부족이 "학습과 전문적인 발전을 방해"하기 때문에, 그 직업은 인종적으로 다양한 교수진의 채용에 집중할 필요가 있습니다. 42 (p.251) 의학 학생의 다양성을 증가시키기 위해 많은 노력을 기울였지만, 교수진의 대다수는 백인입니다. 43 푸카우디안의 분석에 따르면, 교수진의 다양성의 부족은 또한 교육학적 다양성을 제한하고 방해할 수 있습니다. 백인 교수진은 [그들과 그들의 경험, 관행, 가치]가 [다른 모든 경험, 관행, 가치]를 제한하는 지배적인 규범으로 간주하는 사회를 경험하기 때문에, 그들이 그들의 교육 과정에 대해 가지고 있는 지식의 종류는 미국 사회의 체계적인 인종차별의 복잡한 형태, 특히 체계적인 인종차별이 그들의 지식을 얼마나 적극적으로 구성하는지와 관련하여 제한됩니다. 24 확실히, 더 다양한 의학 교수진이 반 인종주의 의학 교육 과정으로 직접적으로 번역되지는 않습니다. 그러나, 교수진 다양성의 부족은 기존의 권력 관계를 보존하고 선의의 개혁 노력을 개발할 수 있는 기관의 능력을 약화시키는 문제가 있습니다.
In the process of upending medical education, the profession needs to focus on the recruitment of racially diverse faculty because the lack of diversity within medicine “hampers learning and professional development”. 42 (p.251) Great efforts have been made to increase the diversity of medical students, however faculty members remain majority white. 43 Following a Foucauldian analysis, a lack of faculty diversity may also limit and hamper pedagogical diversity. Because white faculty experience a society that regards them and their experiences, practices, and values as the dominant norm by which all other experiences, practices, and values are circumscribed, the kinds of knowledge they have about their curriculum is limited in regards to the complex shape of systemic racism in American society – and particularly, how systemic racism actively constitutes their knowledge. 24 Certainly, a more diverse medical faculty doesn’t directly translate into an anti-racist medical curriculum. However, the lack thereof is problematic that preserves existing power relations and undermines an institutions ability to develop well-intentioned reformation efforts.

게다가, 의학교육은 교육에 대한 질적이고 비판적인 틀의 접근법보다 양적 연구와 경험적인 임상 기반 교육을 특권으로 부여합니다. 44–46

  • 강의와 소규모 그룹과 같은 교훈적인 교육은 이러한 접근법을 탐구하고 참여할 수 있는 공간을 거의 부여하지 않으며, 객관식 질문 은행은 생물학적 인종에 대한 자연화된 이해를 강화하고 유해한 고정관념을 영구화하는 것으로 나타났습니다. 47

이러한 관행은 교육 과정의 내용에 상한ceiling을 두고 생의학에 대한 학제 간 접근법의 가능성을 제한합니다. 의료 교육 프로그램은 역량 기반 의료 교육(CBME) 프레임워크에 의해 점점 더 형성됩니다. CBME는 교육 과정 내용을 효율적으로 전달하는 것을 돕는 반면, 접근법이 의료 교육의 모든 측면에 적합한지 여부에 대한 질문이 제기되었습니다. 5 의학교육을 탈식민화하고, 실용적인 지혜(프로네시스)에 집중해야 한다는 요구가 있어 왔습니다. 프로네시스가 의사에서 구현될 때 생의학 및 임상 과학의 지식과 기술을 도덕적 지향성 및 소명과 연결하게 된다48 필요한 것은 "임상적 만남을 둘러싼 대인 관계망, 환경적 요인 및 정치/사회 경제적 힘의 인식"과 더 나아가 이러한 변수가 건강 악화를 위한 조건을 생성하는 방식을 강조하는 교육 과정입니다. 49 (p.684)  
Additionally, medical education privileges quantitative research and experiential, clinical-based education over qualitative, critical-frame approaches to education. 44–46 

  • Didactic instruction, like lectures and small groups, grant little space for exploring and engaging in these approaches, and multiple-choice question banks have been shown to reinforce a naturalized understanding of race-as-biological and perpetuate harmful stereotypes. 47 

These practices produce a ceiling on the content of the curriculum and limit the possibility for interdisciplinary approaches to biomedicine. Medical education programs are increasingly shaped by the Competency Based Medical Education (CBME) framework. While CBME helps deliver curriculum content efficiently questions have been raised about whether the approach is appropriate for all aspects of medical education. 5 There have been calls to decolonize medical education and focus on practical wisdom (phronesis) which, when embodied in the physician, links the knowledge and skills of the biomedical and clinical sciences with a moral orientation and call. 48 What is needed is a curriculum that emphasizes “recognition of the web of interpersonal networks, environmental factors and political/socioeconomic forces that surround clinical encounters,” and further, the way that these variables produce the conditions for poor health. 49 (p.684)

푸코를 통한 의학교육 재구상
Reimagining medical education through Foucault

푸코의 연구는 권력과 지식의 창조가 권력의 위치에 있는 사람들에게 유리한 불균형한 체계를 유지하는 방식에 관심을 끕니다. 권력, 지식, 대상화 및 규범성을 통해 의사들은 그들을 기관에 의해 통제될 수 있는 주체로 바꾸는 방식으로 전문 분야에 포함됩니다. 우리가 소수화된 개인들의 학대를 지지하는 시스템적 인종차별과 구조를 해결하려면 의료 교육 사업에 계속해서 사소한 조정을 하는 것은 이 목표에 도달하기에 불충분합니다. 필요한 것은 시스템을 유지하는 구조를 방해할 수 있는 제안된 해결책입니다. 푸코의 접근법은 개인에만 초점을 맞추는 것이 아니라 미국 의과 대학(AAMC)의 지도자 자리를 포함하여 의학의 모든 사람(즉, 의사, 과학자, 관리자, 교육자, 직원 및 훈련생)이 시스템적 인종차별을 해결하는 데 참여하는 공동의 노력을 주장합니다. 51

Foucault’s work draws attention to the ways power and the creation of knowledge uphold a system that is unbalanced in favor of those in positions of authority. Through power, knowledge, objectivation, and normativity, physicians are enfolded into the profession in ways that turn them into subjects that enable them to be controlled by institutions. If we are to address systemic racism and its structures that uphold the mistreatment of minoritized individuals, continuing to make minor adjustments to the medical education enterprise are insufficient to reach this goal. 50 What are needed are proposed solutions capable of disrupting the structures that keep the system in place. A Foucauldian approach would not just focus on individuals, but insist on a coordinated effort in which everyone in medicine (i.e. physicians, scientists, administrators, educators, staff, and trainees), including those in leadership positions at the American Association of Medical Colleges (AAMC) be involved in addressing systemic racism. 51

이를 위해, 우리는 푸코가 지지할 것이라고 믿는 세 가지 전략을 제안합니다.
To this end, we propose three strategies that we believe Foucault would support.

첫째, 의학 교육은 의학 교육을 역사적으로 구성되고 사회적으로 협상된 것으로 인식하고 포지셔닝하는 것으로 시작해야 하며, 그 다음 이러한 구성이 어떻게 유지되는지 이해하기 위해 노력해야 합니다. 50 이것을 달성하기 위해, 교육자들은 학술 의학에서 그들의 역할을 재개념화하고 교육학적 방법을 비판 의식의 요소를 통합하는 쪽으로 전환해야 합니다. 52

  • 비판 의식은 개인의 사회적 현재 상태와 비판하려는 노력으로 그들을 만든 힘에 대한 이해를 높이고 따라서 이러한 조건을 변화시킵니다. 53
  • 비판 의식을 보건 전문 교육에 통합하라는 여러 요구가 있었고, 21 그리고 이러한 모든 노력에서 교육자들은 의과 대학을 "사회적, 문화적, 역사적 맥락"에 배치하려고 시도하고 있습니다. 53 (p.782)
  • 비판 의식을 통합하면 교육 과정에서 훈련생들이 체계적인 인종 차별을 유지하는 근본 구조를 확인하고 의사로서 그들에 저항하는 방법을 배울 수 있는 플랫폼을 만들 수 있습니다.
  • 게다가, 그것의 통합은 훈련생들이 의학의 "문화가 없는 문화"와 씨름하는 것을 도와서 그들이 어떻게 시스템이 다른 그룹보다 부당하게 유리한지에 대한 민감성을 발달시킬 수 있을 것입니다 

First, medical education must begin by recognizing and positioning medical education as historically constructed and socially negotiated, and then work to understand how these constructions are maintained. 50 To achieve this, educators must reconceptualize their role in academic medicine and shift their pedagogical methods to incorporate elements of critical consciousness. 52 

  • Critical consciousness raises individuals’ understanding of their social current conditions and the forces that have created them in an effort to critique and therefore change these conditions. 53 
  • There have been multiple calls to incorporate critical consciousness into health professions education, 21 and in all of these efforts, educators are attempting to place medical schools in a “social, cultural, and historical context… [coupling it] with an active recognition of societal problems and a search for appropriate solutions”. 53 (p.782) 
  • Incorporating critical consciousness would create a platform for trainees to identify the underlying structures that maintain systemic racism and learn how to resist them as physicians in training.
  • Further, its integration would help trainees grapple with medicine’s “culture of no culture,” so that they can develop sensitivities to how the system unfairly advantages some groups over others. 54

의학 교육에서 비판적 의식을 촉진하기 위해 사용할 수 있는 많은 도구들이 있지만, 성공적으로 그렇게 하는 것은 현재 권장되는 것과는 다른 종류의 전문적인 발전을 필요로 할 것입니다. 21, 55 

  • 예를 들어, 교육자들은 개인의 맥락이 새로운 지식의 창조에 어떻게 영향을 미치는지에 대한 훈련생의 이해를 돕기 위해 훈련생의 개인적인 역사와 살아있는 경험을 이끌어내는 활동을 통합해야 합니다. 21, 56
  • 추가적으로, 소외된 집단의 경험으로부터의 교육과정을 통합함으로써, 학생들은 종종 당연하게 여겨지는 환자와 그들의 필요에 노출될 것입니다. 57

There are many tools available to promote critical consciousness in medical education, but successfully doing so will necessitate different kinds of professional development than what is currently recommended. 21 , 55 

  • For example, educators should incorporate activities that elicit trainees’ personal histories and lived experience, to assist trainees’ understanding how an individuals’ context impacts the creation of new knowledge. 21 56 
  • Additionally, by incorporating curricula from marginalized groups’ experiences, students will be exposed to patients and their needs that are often taken for granted. 57

둘째로, 의학 교육은 오랫동안 의사들이 긴 근무 시간, 대단히 많은 양의 내용, 그리고 불합리한 환자 치료 기대로 그들에게 과도한 부담을 주는 체계에서 회복력이 있어야 한다는 생각을 지지해 왔습니다. 그러나, 고장난 체계를 바로잡지 않고 의사의 회복력을 높이기 위한 시도는 진실하지 않은 것에 가깝습니다. 59 푸카우디안의 관점은 의학 교육이 현재의 체계를 유지하는 현재의 기대에 부합하기 보다는 학생들이 언제 현재의 구조에 저항해야 하는지를 더 잘 이해하도록 돕기 위한 노력에 다시 집중할 필요가 있다고 제안할 것입니다.
Second, medical education has long supported the idea that physicians must be resilient in a system that overburdens them with long working hours, grueling amounts of content, and patient care expectations that are unreasonable. 58 However, attempts to boost physician resilience without correcting broken system borders on the disingenuous. 59 A Foucauldian perspective would suggest that medical education needs to refocus its efforts to better help students understand when individuals should resist current structures, rather than conform to current expectations that keep the current system in place.

이러한 이유로, 의학 교육은 의사로서 훈련에 생산적이고 필수적인 것으로 옹호 노력을 재평가할 필요가 있습니다. 현재, 의학 교육에서 옹호 훈련은 논란이 많습니다.

  • 한 쪽에서는, 의사들이 정치적인 문제에 관여하는 것이 의사의 전문적인 책임 밖에 있다고 믿지만,
  • 다른 쪽에서는, 의사들은 사회적인 요인들과 건강 사이의 연관성을 관찰하고 묘사할 수 있는 독특한 자격이 있다고 생각됩니다. 61

Foucauldian 분석은 사회적인 조건을 개선하기 위해 옹호에 참여하는 방법에 대한 훈련생의 직접적인 교육을 지원할 것입니다. 다른 의과 대학이 영감으로 사용할 수 있는 옹호 훈련의 효과를 보여주는 다양한 웹 사이트에 대한 몇 가지 작은 연구와 사례가 있습니다. 41, 62–64 추가적으로, 훈련생을 위한 더 건강한 시스템을 만드는 데 도움이 될 의료 교육의 임상 및 학습 환경 전반에 걸쳐 체계적인 인종 차별을 해결하기 위해 기관이 취할 수 있는 다른 구조적인 조치가 있습니다. 51 
For this reason, medical education needs to recast advocacy efforts as productive and integral to their training as physicians. Currently, advocacy training in medical education is controversial.

  • On one side, physicians believe that it is outside the professional responsibility of physicians to engage in political issues, 60 
  • whereas on the other, physicians are thought to be uniquely qualified to observe and delineate links between social factors and health. 61 

A Foucauldian analysis would support trainees’ direct instruction on how to engage in advocacy to improve societal conditions. There are several small studies and examples on various websites that show the efficacy of advocacy training other medical schools might use as inspiration. 41 , 62–64 Additionally, there are other structural actions that institutions can take to address systemic racism throughout medical education’s clinical and learning environments that would help create a healthier system for trainees. 51

셋째, 의학교육에서 교육과정 작성과 전달은 개인이 대상화되는 한 가지 방법입니다. 따라서 교육자들은 내용이 재구성되고, 소수화된 개인의 살아있는 경험을 반영할 수 있도록 소수화된 학생들과 교육과정을 공동으로 구성해야 합니다. 지배적인 관점만을 가르치는 것은 소수화된 훈련생과 환자를 계속해서 대상화하는 과정을 새롭게 만드는 것입니다. 따라서 교육자들은 학생들과 교육자들을 공유된 공간으로 초대하여 의료교육의 교육과정, 평가 방법 및 목표한 결과를 재구성할 수 있는 전략을 개발해야 합니다. 65
Third, in medical education, curricula writing and delivery is one way that individuals are objectified. Therefore, educators should co-construct curricula with minoritized students so that content is reimagined and reflective of the lived experiences of minoritized individuals. To only teach dominant perspectives is to reify the processes that continue to objectify minoritized trainees and patients. Therefore, educators should develop strategies that invite students and educators into a shared space to reimagine the educational process, methods of assessment, and targeted outcomes of medical education. 65

결론
Conclusion

미셸 푸코의 역사적이고 이론적인 작업은 의학 교육과 그 기관 내의 권력과 체계적인 인종차별의 행렬을 분석할 수 있는 생성 렌즈를 제공합니다. 우리의 목표는 광범위하게 정의된 현대 의학 교육과정의 권력 경향과 인종 중립적인 프로젝트에 저항하면서 의학 교육을 다시 상상하는 것의 중요성을 보여주는 것이었습니다. 명백하게 급진적이고 반 인종주의적인 의학 교육학은 의료 교육 내의 제도적 및 교육 관행에 정보를 제공하고 지위 다양성 이니셔티브의 물질적 단점을 피해야 합니다. 
The historical and theoretical work of Michel Foucault provides a generative lens from which to analyze the matrices of power and systemic racism within medical education and its institutions. Our goal has been to demonstrate the importance of re-imagining medical education, resisting the tending-toward power and race-neutral projects of contemporary medical curricula broadly defined. An explicitly radical, anti-racist medical pedagogy should inform institutional and educational practices within medical education and avoid the material shortcomings of status-quo diversity initiatives.

그러한 관행의 위험은 크지만, 전술한 결과는 훨씬 더 큽니다. 의도적이고 결과적인 형태의 권력과 지식으로서 숨겨진 커리큘럼, 인종을 의식하는 다양성 이니셔티브, 평가 편향을 백인 규범성의 스키마에 정면으로 배치함으로써, 우리는 의학 교육이 어떻게 그리고 왜 소수화된 학생들을 실패하게 하는지 더 잘 이해할 수 있습니다. 나아가, 우리는 이러한 실패를 의미 있고 영향력 있는 방법으로 완화하는 데 필요한 방법론을 개발할 수 있습니다. 전국의 기관들이 체계적인 반흑인 인종주의로 인한 피해에 대해 큰 책임을 지고 있기 때문에, 우리는 그러한 인종차별적 폭력을 강화하고, 합법적이며, 정상화하는 의료 기관 내에서 어떻게 구체적인 권력 기술이 제정되는지 고려하지 않는 것이 좋을 것입니다. 푸코가 우리에게 상기시키듯이, "이것이 권력인 곳에는 저항이 있습니다." 66 (p.95) 우리 모두는 그 저항의 일부가 될 필요가 있고, 그것은 억압 체계를 유지하기 위한 더 큰 역사적, 문화적, 정치적 행위를 계속 수용하는 방식을 우리의 기관들을 조사하는 것에서 시작합니다.

The stakes of such a practice are large, but the consequences of its foregoing are much larger. By placing hidden curricula, race-conscious diversity initiatives, and assessment bias squarely in the schema of white normativity, as intentional and consequential forms of power and knowledge, we can better understand how and why medical education fails minoritized students. Further, we can develop the methodologies necessary to mitigate these failures in meaningful and impactful ways. As institutions across the country face great reckoning for the damage caused by systemic anti-Black racism, we would be remiss not to consider how specific technologies of power are enacted within medical institutions that reinforce, legitimate, and normalize such racist violence. As Foucault reminds us, “where this is power, there is resistance.” 66 (p.95) We all need to be part of that resistance, and it starts by examining our institutions for the ways in which it continues to harbor larger historical, cultural, and political acts meant to maintain systems of oppression.

 


 

 

Teach Learn Med. 2021 Aug-Sep;33(4):453-462. doi: 10.1080/10401334.2021.1945929. Epub 2021 Jul 11.

 

 

Contending with Our Racial Past in Medical Education: A Foucauldian Perspective

Affiliations collapse

Affiliations

1Department of Medicine, University of Florida College of Medicine, Gainesville, Florida, USA.

2New York University, New York, New York, USA.

3Department of Family and Community Medicine, University of Toronto, Toronto, Ontario, Canada.

4Department of Medicine, University of Toronto, Toronto, Ontario, Canada.

5Department of Medicine, Uniformed Services University, Bethesda, Maryland, USA.

PMID: 34279159

DOI: 10.1080/10401334.2021.1945929

Abstract

Practices of systemic and structural racism that advantage some groups over others are embedded in American society. Institutions of higher learning are increasingly being pressured to develop strategies that effectively address these inequities. This article examines medical education's diversity reforms and inclusion practices, arguing that many reify preexisting social hierarchies that privilege white individuals over those who are minoritized because of their race/ethnicity. Evidence: Drawing on the work of French theorist Michel Foucault, we argue that medical education's curricular and institutional practices reinforce asymmetrical power differences and authority in ways that disadvantage minoritized individuals. Practices, such as medical education's reliance on biomedical approaches, cultural competency, and standardized testing reinforce a racist system in ways congruent with the Foucauldian concept of "normalization." Through medical education's creation of subjects and its ability to normalize dominant forms of knowledge, trainees are shaped and socialized into ways of thinking, being, and acting that continue to support racial violence against minoritized groups. The systems, structures, and practices of medical education need to change to combat the pervasive forces that continue to shape racist institutional patterns. Individual medical educators will also need to employ critical approaches to their work and develop strategies that counteract institutional systems of racial violence. Implications: A Foucauldian approach that exposes the structural racism inherent in medical education enables both thoughtful criticism of status-quo diversity practices and practical, theory-driven solutions to address racial inequities. Using Foucault's work to interrogate questions of power, knowledge, and subjectivity can expand the horizon of racial justice reforms in medicine by attending to the specific, pervasive ways racial violence is performed, both intra- and extra-institutionally. Such an intervention promises to take seriously the importance of anti-racist methodology in medicine.

Keywords: Foucauldian analysis; advocacy; critical consciousness; resistance; structural racism.

프로젝트 기반 학습과 연구 기반 학습(Higher Education Faculty Career Orientation and Advancement, Ch 8)
P
ROJECT BASED LEARNING (PBL) AND RESEARCH BASED LEARNING

V P S AroraParul SaxenaNeha Gangwar3

1Pro Chancellor, Shri Venkateshwara University Uttar Pradesh

2Assistant Professor, Sharda University, Greater Noida

3Assistant Professor, Periyar Management and Computer College, New Delhi

 

8.2 소개
8.2 Introduction

문제/프로젝트/연구/사례 기반 학습은 전통적인 교실 학습에 대한 흥미로운 대안입니다. 이러한 학습 방법은 학생 중심의 학습으로, 능동적인 학습과 지식의 이해 및 유지를 향상시킵니다. 이를 통해 학생들은 콘텐츠 지식을 향상시키고 의사소통, 문제 해결, 비판적 사고, 협업 및 자기 주도적 학습 능력을 키우는 생활 기술을 개발할 수 있습니다. 이러한 접근 방식을 통해 학생들은 실제 경험을 최적으로 해결할 수 있는 능력을 갖추게 됩니다. 이러한 접근 방식은 주로 강의 기반인 기존의 교수 학습 철학에서 패러다임의 전환을 의미합니다. 이러한 방법을 통한 교육 구성은 전통적인 강의실 또는 강의식 교육과는 매우 다르며 소그룹 학습을 지원하기 위해 더 많은 준비 시간과 리소스가 필요한 경우가 많습니다. 이 방법에서 교사는 학생들에게 강의나 과제, 연습 문제가 아닌 문제를 제시합니다. 학생들에게 '콘텐츠'를 전달하지 않기 때문에 학생들이 문제 해결에 필요하다고 판단되는 콘텐츠를 스스로 발견하고 작업한다는 의미에서 학습이 활발해집니다. 이 과정에서 교사는 "솔루션"의 제공자가 아니라 촉진자이자 멘토의 역할을 합니다.  
Problem/ Project/ Research/ Case-based learning are exciting alternatives
to traditional classroom learning. These methods of learning are student-focused, which allow for active learning and better understanding and retention of knowledge. These facilitate students develop life skills that enhance content knowledge, foster the development of communication, problem solving, critical thinking, collaboration, and self-directed learning skills. Through these approaches students are positioned to optimally act resolving real-world experiences. These approaches represent a paradigm shift from traditional teaching and learning philosophy, which is primarily lecture based. The constructs for teaching through these methods are very different from traditional classroom or lecture teaching and often requires more preparation time and resources to support small group learning. Under these methods teacher presents students a problem, not lectures or assignments or exercises. Since students are not handed “content”, the learning becomes active in the sense that students discover and work with content that you determine to be necessary to solve the problem. In the process the teacher acts as facilitator and mentor, rather than a source of “solutions.”

문제 기반 학습(PBL)은 학생들이 개방형 문제를 해결하기 위해 그룹으로 협력하여 과목을 학습하도록 하는 학생 중심 접근 방식입니다. 문제는 동기 부여와 학습의 원동력이 됩니다. 관련 자료를 가르친 다음 학생들이 지식을 적용하여 문제를 해결하도록 하는 것이 아니라 문제가 먼저 제시됩니다. 확실한 해결책을 찾기 위해 진행하는 고유한 메커니즘은 없습니다. 그러나 이 과정에는 지식 습득, 향상된 그룹 협업 및 커뮤니케이션이 포함됩니다. PBL 프로세스는 처음에 의학 교육을 위해 개발되었으며 이후 다른 학습 영역으로 확대 적용되었습니다. 이 프로세스를 통해 학습자는 향후 실무에 사용할 기술을 개발할 수 있습니다. 이 프로세스는 비판적 평가, 문헌 검색을 향상시키고 팀 환경에서 지속적인 학습을 장려합니다.
Problem-based learning
(PBL) is a student-centered approach in which students are made to learn a subject by working in groups to solve an open-ended problem. The problem is what drives the motivation and the learning. Rather than teaching relevant material and subsequently having students apply the knowledge to solve problems, the problem is presented first. There is no unique mechanism to proceed to find a definite solution. The process however includes knowledge acquisition, enhanced group collaboration and communication. The PBL process was initially developed for medical education and has since been broadened in applications for other domains of learning. The process allows for learners to develop skills used for their future practice. It enhances critical appraisal, literature retrieval and encourages ongoing learning in a team environment.

이 과정은 학습 과정을 지원, 안내 및 모니터링함으로써 교사를 촉진자로 활용합니다. 교사는 학생에게 자신감을 심어주고 문제에 대한 이해를 높이는 것 외에도 학생들을 격려합니다. 학생들은 먼저 용어를 명확히 하고 문제를 정의한 다음, 브레인스토밍을 통해 문제를 구조화하고 가설과 학습 목표를 수립한 다음, 마지막으로 연구를 수행하고 결과를 종합합니다. PBL을 받는 학생들은 일반적으로 - 문제를 식별하고, 조사하고, 개념화합니다;
The process uses teacher as a facilitator by supporting, guiding, and monitoring the learning process. He builds confidence in students, and encourages them besides improving their understanding of the problem. Students first clarify terms and define problem(s), then brainstorm, structure the issues and formulate hypothesis and learning objectives, and finally conduct study and synthesis the findings. Students under PBL generally • Identify, examine and conceptualize the problem;

  • 문제의 요소 또는 그와 관련된 이슈를 탐색하고 근본적인 문제에 대해 무엇을 알고 있는지 알아봅니다;
  • 문제를 해결하기 위해 무엇을 배워야 하는지, 어떤 정보와 도구를 습득하거나 이해해야 하는지 결정합니다;
  • 문제와 문제를 해결하기 위한 대체 방법을 평가합니다;
  • 문제에 대한 가능한 최선의 해결책을 찾습니다.
  • 보고서 준비
  •  • Explore the elements of the problems or issues involved therein as also what do they know about underlying issues;
  •  • Determine as to what they need to learn and what information and tools they need to acquire or understand to resolve the issues problem;
  •  • Evaluate alternate ways to resolve the issues and the problem as such;
  •  • Find the best possible solution to the problem; and
  •  • Prepare the report

다음은 문제 기반 학습 프로젝트를 개발하는 기본 단계입니다:
Following are the basic steps in developing a Problem Based Learning Project:

  • 프로젝트의 학습 결과, 즉 학생들이 무엇을 알 것으로 기대되는지 또는 과제 참여로 어떤 결과가 예상되는지 명확하게 설명합니다.
  • 문제 생성. 학생들이 프로젝트에 흥미를 갖도록 하려면 실제 상황 또는 학생들이 향후 직업이나 생활에서 직면할 수 있는 문제여야 합니다.
  • 학생들이 그룹으로 효과적으로 작업할 수 있도록 처음에 가이드라인을 설정합니다.
  • 학생들이 자신의 작업과 동료의 작업을 모두 평가하는 연습을 할 수 있는 준비 운동을 통해 그룹 프로세스를 준비합니다.
  • 각 학생에게 다른 역할을 맡기거나 전체 프로젝트를 나누어 학생에게 다른 역할을 부여하는 설계를 개발합니다.
  • 과제를 평가하고 평가할 수 있는 기준을 설정합니다. 학생이 자신의 작업과 팀원의 과제에 대해 자신만의 평가 방법을 만들도록 하는 것이 이상적입니다.
  •  • Articulation of learning outcomes of the project i.e. what students are expected to know or what result of participation in the assignment is anticipated?
  •  • Creation of the problem. To make the project exciting to students the problem should be a real-world situation or that students may encounter in their future careers or lives.
  •  • Establishment of guidelines in the beginning itself so that students to work effectively in groups.
  •  • Prepare students for group processes by doing some warm up exercises that allow them to practice assessing both their own work and that of their peers.
  •  • Develop a design wherein each student is to take a different role or the entire project is divided having different roles for students.
  •  • Establish yardsticks to evaluate and assess the assignment. Ideally let students make their own methods of assessments of their own work and that of their teammate’s of the assignment.

위에서 언급한 단계를 통해 학습 과정과 그룹 역학은 학생들이 사회적 지식 구성에 참여하는 능동적인 주체가 되는 PBL의 필수 구성 요소임을 알 수 있습니다. PBL은 경험과 상호작용을 기반으로 의미를 창출하고 세상에 대한 개인적인 해석을 구축하는 과정을 지원합니다. 다음 섹션에서는 프로젝트 기반 학습, 연구 기반 학습 및 사례 기반 학습 방법에 대해 자세히 설명합니다.
From the above mentioned steps it is revealed that the learning process and group dynamics are essential components of PBL wherein students are active agents who engage in social knowledge construction. PBL assists in processes of creating meaning and building personal interpretations of the world based on experiences and interactions. In following sections project based learning, research based learning, and case based learning methods are detailed.

 

8.3 프로젝트 기반 학습
8.3 Project Based Learning

프로젝트 기반 학습에 대한 단일 정의는 존재하지 않지만, 벅 교육 연구소(BIE)에서는 광범위한 범위의 간결한 표준 중심 정의를 제시하고 있습니다. BIE(Markham, Larmer, & Ravitz, 2003)에 따르면 프로젝트 기반 학습은 "복잡하고 실제적인 질문과 신중하게 설계된 제품 및 과제를 중심으로 구조화된 확장된 탐구 과정을 통해 학생들이 지식과 기술을 학습하도록 하는 체계적인 교수법"입니다. 프로젝트 또는 활동을 구현하는 것만으로는 프로젝트 기반 학습으로 간주할 수 없으며, 5가지 필수적인 특징이 충족되지 않으면 프로젝트 기반 학습으로 간주할 수 없습니다. PBL의 필수 기능은 다음과 같습니다.
While a single accepted definition for PBL does not exist, the Buck Institute for Education (BIE) does offer a concise standards-focused definition, broad in scope. According to the BIE (Markham, Larmer, & Ravitz, 2003), project-based learning is “
a systematic teaching method that engages students in learning knowledge and skills through an extended inquiry process structured around complex, authentic questions and carefully designed products and tasks”. Implementing a project or activity is not enough to be considered project-based learning unless five definitive features are met. The essential features of PBL include

1. 중심 프로젝트;
2. 중요한 지식과 기술에 대한 구성주의적 초점;
3. 복잡한 질문, 문제 또는 도전의 형태로 진행되는 활동;
4. 교사가 안내하는 학습자 주도 조사;
5. 학습자에게 진정성이 있는 실제 프로젝트

  • 1. A central project;
  • 2. A constructivist focus on important knowledge and skills;
  • 3. A driving activity in the form of a complex question, problem, or challenge;
  • 4. A learner-driven investigation guided by the teacher;
  • 5. A real-world project that is authentic to the learner

킬패트릭(1918)은 프로젝트 방법에 대한 광범위한 개념을 제시했습니다. 그는 표 1에 나열된 절차에 따라 네 가지 유형의 프로젝트를 식별했습니다: 
Kilpatrick (1918) offered a broad conception of project method. He identified four types of projects with procedures listed in Table 1: 

이 장에서는 프로젝트 기반 코스를 설계할 때 교사가 사용할 수 있는 새로운 프레임워크, 즉 일련의 지침을 제시했습니다. 이 프레임워크는 6가지 테마로 구성됩니다:
In this chapter we have presented an em
ergent framework, a set of guidelines, for teachers when designing project based courses. The framework consists of six themes:

(1) 프로젝트 목표/주제 파악,
(2) 프로젝트 설계,
(3) 프로젝트 그룹 구성,
(4) 모니터링
(5) 피드백 및
(6) 코스 평가 및 개선.

  • (1) Identifying Project objectives/themes,
  • (2) Project Design,
  • (3) Constituting the project group,
  • (4) Monitoring,
  • (5) feedback and
  • (6) Course evaluation and improvement.

학습과 지속적인 개선 및 프로세스 관점은 이 프레임워크에서 분명하게 드러납니다. 이 부문에서 정교화된 프레임워크는 전문가 그룹의 규범과 능동적인 커리큘럼 내에서 교사의 전문적 자율성 개발을 지원해야 합니다. 이 프레임워크가 코스의 질에 긍정적인 영향을 미친다는 강력한 징후가 있습니다. 공식적인 코스 평가에서 학생들은 명확한 코스 설계, 높은 학생 활동, 관련성 있고 진정성 있는 프로젝트 과제, 명시적인 프로젝트 그룹 작업 조건, 명시적인 기준 세트에 따른 다양한 시험 양식, 교사의 수준 높은 피드백을 성공적인 프로젝트 기반 학습의 중요한 구성 요소로 강조했습니다. 프로젝트 기반 학습의 몇 가지 이점은 다음과 같이 요약할 수 있습니다:
The learning and continuous improvement and process perspective is evident in the framework. The framework elaborated in this segment should support teachers’ development of a professional autonomy within the norms of a professional group and an active curriculum. There are strong indications that the framework has positive effects on the quality of the courses. In a formal course evaluation, the students’ have highlighted a clear course design, high student activity, relevant and authentic project tasks, explicit project group work conditions, a variation in examination forms based on an explicit set of criteria, and high quality feedback from the teachers as important constituents of a successful project based learning. Some of the benefits of Project based learning can be summed up as follows:

  •  - 다양한 범위의 학습 스타일을 대상으로 함
  •  - 협업을 촉진하고 그룹 효능감과 자기 효능감을 높입니다.
  •  - 탐구심을 촉진하고 학생들 간의 동기 부여를 증가시킵니다.
  •  - 콘텐츠 지식, 비판력 및 문제 해결 능력 측면에서 긍정적인 학생 반응 보고
  •  - 책임감을 더 잘 받아들여 학업 성취도가 향상됨
  •  - 높은 수준의 학생 참여 유도
  •  - 학생의 자신감 향상 및 커뮤니케이션 능력 향상
  •  • Targets different range of learning styles
  •  • Promotes collaboration and increased group efficacy and self efficacy
  •  • Promotes Inquiry and results in increased motivation among students
  •  • Reports positive student response in terms of content knowledge, critical and problem solving skills
  •  • Results in better academic gains with greater acceptance of responsibility
  •  • Results in high level of student engagement
  •  • Builds student confidence and results in better communication skills

PBL은 학생뿐만 아니라 교사/강사에게도 효과적인 도구임이 입증되었습니다. PBL을 실행하면 수업 결석률이 감소하고, 평생 학습을 촉진하며, 교사가 학습 결과를 평가할 수 있는 다양한 평가 방식을 사용할 수 있다는 것이 연구를 통해 입증되었습니다.
PBL has yielded benefits not only for the students but it has proved to be an effective tool for teachers/ instructors too. It has been proven through studies that implementation of PBL results in reduced absenteeism in class and promotes life-long learning and let teacher have different assessment modalities to evaluate the learning outcomes.

8.3.1 프로젝트 목표/주제 파악하기
8.3.1 Identifying Project Objectives/Themes

목표 설정은 프로젝트 기반 코스에서 핵심적인 요소입니다. 목표는 교사/강사가 학생과 상의하여 설정해야 합니다. 학생은 자신의 관심사와 경험에 맞게 과제를 자유롭게 구성하고 틀을 잡을 수 있어야 합니다. 프로젝트 목표는 다음과 같아야 합니다:
The setting- up of objectives is a core aspect in a project based course. The objectives should be set up by the teacher/instructor in consultation with the students. The students should be given some freedom shape and frame the tasks to fit their own interests and experiences. The project objectives should be:

  • 관련성 및 진정성 - 프로젝트 과제와 프로젝트 결과는 커리큘럼 및 미래 직업(예: 시스템 개발자, IT 또는 경영 컨설턴트, 프로젝트 리더)의 기본 기술을 달성하기 위해 관련성이 있어야 하며 실제 상황(예: ERP 시스템 구현 프로젝트의 문제 해결, 경영학과 학생의 채용처 및 교육 기관 파악)을 반영해야 합니다.
  • 다양한 학습 스타일을 다루기 위해 교사가 텍스트 및 구두로 소개합니다.
  • 특정 또는 간격의 시간 공간을 기반으로합니다. 학습 포인트를 명시하는 것도 중요합니다. 특정 과제를 수행하는 데 필요한 시간에 대한 학생의 기대치에 영향을 미치기 위해 이를 중요한 포인트로 파악했습니다. 시간 관리 및 계획은 프로젝트 작업 설정과 강사가 학생이 습득하기를 바라는 학생의 기술에서도 중요한 부분입니다.
  • 구체적이고 명시적으로 표현합니다: 프로젝트 목표를 명확하게 설정할 때는 코스에서 프로세스 및/또는 제품에 중점을 두는 정도를 정의하는 것도 중요합니다. 교수자는 프로세스 및 제품 차원의 필요성을 명확하게 정의해야 합니다.
  • 학생의 관심사 및 경험에 맞게 조정할 수 있을 만큼 유연해야 합니다.  
  •  • Relevant and authentic – the project task and the project outcome should be relevant in order to achieve basic skills in the curriculum and in a future profession (e.g. as a system developer, IT- or management consultant, project leader) and reflect authentic situations (for example problem solving in an ERP system implementation project, or identifying the sources of recruitment of and educational institute for a management student).
  •  • Introduced by teachers in text and orally in order to address different learning styles.
  •  • Based on a certain or interval space of time. It is also important to make the study points explicit. We have identified this as an important point in order to have an influence on student expectations of time needed to work with a particular task. Time management and plans are also important parts of the project work setting and the student skills that the instructor would like students to gain.
  •  • Concrete and expressed explicitly: When making the project objectives explicit it is also important to define the degree of process and/or product focus in the course. The instructor should clearly define the need for making the process and product dimension
  •  • Flexible enough to adjust to student interests and experiences.  

 

8.3.2 학생 프로젝트 설계하기
8.3.2 Designing Students’ Project

교사는 코스를 전반적으로 설계할 때 다음과 같은 측면을 고려해야 합니다:
In the overall design of a course a teacher should consider the following aspects:

  • 학습 목표는 교사가 명확하게 명시하고 학생들도 알 수 있어야 합니다. 코스 설계의 이러한 측면은 실습(프로젝트에서 학생의 입장)과 이론에 따라 중요합니다.
  • 코스 설계는 전체적으로 다음과 같은 자극을 주어야 합니다:
    • o 학생 활동.
    • o 학생 자신의 경험과 지식을 고려.
    • o 학습 과정과 학생의 자격에 중점을 둠.
    • o 코스의 기반이 되는 커리큘럼의 개선.
  • 코스 활동은 메타인지 수준에서 사고와 기술을 자극해야 합니다(문제 해결의 기본 원리 및 패턴에 대한 성찰과 인식, 학생 자신의 사고 및 학습).
  • 교사의 관점에서 코스 설계는 지난번에 코스를 운영했을 때(해당되는 경우)에 대한 성찰을 기반으로 해야 하며, 그 당시 제기된 변화 요구 사항을 다루어야 합니다.
  • 프로젝트 그룹의 구성은 학급 규모, 달성하고자 하는 학습 결과, 마지막으로 학생들의 다양한 학습 스타일을 염두에 두고 학급 규모에 따라 이루어져야 합니다. 연구에 따르면 그룹은 홀수로 구성해야 효과적입니다. 효과적이고 생산적인 그룹의 이상적인 규모는 7~9명 사이입니다.
  •  • The learning objectives should be clearly stated by the teacher and known by the students. This aspect of course design is important according to practice (student standpoints in our project) and theory.
  •  • The design of the course as a whole should give a stimulus to: o Student activity. o Take students own experiences and knowledge into account. o Focus on a learning process and student qualifications o An improvement of the curriculum that serves as a basis for the course.
  •  • The course activities should stimulate thoughts and skills on a meta-cognitive level (reflection and awareness of underlying principles and patterns in problem solving, students own thinking and learning)
  •  • The design of the course should, from a teacher perspective, be based upon a reflection over the last time the course was run (if applicable) and should address the change needs addressed at that time
  •  • The composition of projects groups should be based on the class size and keeping in mind the class size, the learning outcomes aimed to be achieved and finally the different learning styles of the students. As per the research, the groups should be formed in odd numbers to be effective. An ideal size of the group to be effective and productive is between7-9.

 

8.3.3 프로젝트 모니터링 및 피드백
8.3.3 Project Monitoring and Feedback

모니터링의 설계 및 구성은 코스 설명서/강의 계획서에 명시적으로 설명되어야 하며, 교사는 현재 채점 간격과 함께 구두로 설명해야 합니다. 모니터링은 사전 정의된 기준(예: 문제 처리, 분석, 결론 등의 측면에서 고품질 작업의 특징 설명)에 따라 이루어져야 하며, 교사는 교육 활동을 수행할 때 코스 설계의 효과, 경험 및 가능한 개선 사항에 대한 일지를 작성해야 합니다.
The design of the monitoring and its organizing should be explicitly described in a course description/ syllabus and orally by the teacher together with the present marking interval. Monitoring should be based on a predefined set of criteria (describing for example the distinguishing features of a high quality work in terms of problem handling, analysis, conclusions etc.).The teacher should keep a logbook over the effects, experiences of the course design and possible improvements when performing the education activities.

이상적인 모니터링에는 다양한 학생의 학습 스타일을 다루고 무임승차자의 위험을 줄이기 위해 항상 최소 두 가지 형태의 시험이 포함되어야 합니다
An ideal monitoring should always include at least two different forms of examination in order to address different student learning styles and reduce the risk of free riders.

  • 한 코스에서 적어도 한 번의 시험은 개별 학생의 성취도를 측정해야 합니다.
  • 시험은 신뢰할 수 있고 공정하며 공평해야 합니다.
  • 시험은 교사와 학생 간에 상호 신뢰를 유지해야 합니다.
  • 시험은 학생이 더 많은 것을 배울 수 있는 기회여야 합니다.
  • 시험은 현재의 커리큘럼, 강의 계획서 및 해당 과목에서 표현한 기타 의도와 관련성이 있어야 합니다.
  •  • At least one examination in a course should measure an individual student’s achievement.
  •  • Examination should be reliable, fair and impartial.
  •  • Examination should maintain a reciprocal trust between the teacher and the student.
  •  • Examination should be an opportunity for the students to learn more.
  •  • Examination should be relevant compared with the present curriculum, syllabus and other intentions expressed by the subject area.

8.3.4 피드백
8.3.4 Feedback

여기서 해석하는 피드백은 한편으로는 특정 프로젝트 마일스톤 또는 기타 결과물 달성과 관련된 학습 및 프로젝트 과정의 일부일 수 있으며, 다른 한편으로는 특정 점수 외에 교사의 시험 및 학생과의 커뮤니케이션의 명시적인 부분이 될 수 있습니다.
Feedback, as interpreted here, can on one hand be a part of learning and project process, for example related to achieving certain project milestones or other deliverables, and on the other hand be an explicit part of the teacher’s examination and communication with the student besides a particular mark.

  • 예상되는 피드백의 종류는 교사가 특정 작업의 전제 조건에 명시해야 합니다.
  • 피드백 시점은 항상 교사가 명시해야 합니다.
  • 피드백은 비판적이어야 합니다: 비판적이어야 하고, 차이를 만들어야 하며, 반성적이어야 합니다.
  • 건설적인 비판을 표현하고 검토한 성취도의 긍정적인 측면과 부정적인 측면을 모두 포함해야 합니다.
  • 특정 점수에 대한 표현만 포함해서는 안 된다는 의미에서 질적이어야 합니다. 담당 교사(시험관)의 평가가 포함되어야 합니다. 한 코스에서 여러 단계 또는 단계를 통합합니다.
  • 피드백은 학생과 교사 또는 학습 과정의 일부로서 같은 코스를 수강하는 학생 간의 지속적인 대화를 자극해야 합니다.
  •  • The expected kind of feedback should be expressed by the teacher in the prerequisites of a particular task.
  •  • The point of time for feedback should always be expressed by the teacher.
  •  • Feedback should: Be critical, make a difference, and be reflective.
  •  • Express constructive criticism and contain positive and negative aspects of the achievement examined.
  •  • Be qualitative in a sense that it should not only contain the expression of a particular mark. It should contain estimation from the responsible teacher (examiner).Integrate different stages or phases in a course
  •  • The feedback should stimulate to a continuous dialogue between the student and the teacher or with a student who is on the same course as a part of a learning process.

 

8.3.5 프로젝트 평가
8.3.5 Project Evaluation

프로젝트 평가는 프로젝트 기반 학습의 가장 중요한 측면입니다. 교사/강사는 네 가지 차원을 포괄하는 세 가지 유형의 평가, 즉 자기 평가, 동료 평가, 교사 평가 및 공개 평가를 고려할 수 있습니다:
Project evaluation is the most important aspect of project based learning. A teacher / instructor can consider three types of evaluation encompassing four dimensions viz. Self, peer, teacher and public evaluation:

  • 머디 카드 평가 - 코스 중간에 '머디 카드' 평가를 수행할 수 있습니다(학생이 장단점이 적힌 카드를 작성하고, 이를 바탕으로 노력도를 평가합니다).
  • 교사의 관점에서 수행되는 최종 평가. 학생에게 구술 시험을 보도록 요청하거나 평가를 위해 자신의 경험을 바탕으로 반성적 에세이를 작성하도록 요청할 수 있습니다. 한 과목 영역에서 여러 교사 간의 공동 작업(허용되는 경우)을 수행할 수도 있습니다.
  • 코스 마지막에 학생의 관점에 기반한 자체 평가를 통합할 수도 있으며, 종합적인 평가를 위해 개인 발표/그룹 발표를 권장할 수 있습니다. 자기 평가는 자료, 프로세스 및 최종 결과물에 대한 더 높은 수준의 사고와 인식을 활용하기 때문에 종합 평가의 중요한 부분입니다. 이를 통해 학생은 자신의 성공, 실수 및 다음 목표에 대해 생각하게 됩니다. 구두 또는 서면 형식을 선택하고 이 평가에 대한 기대치 또는 루브릭을 포함합니다.
  • 동료 평가는 교사가 학생의 경험을 고려하기 때문에 더 나은 공동 작업 과정을 촉진하므로 공동 작업 프로젝트에 고유합니다. 이 정보를 사용하여 다음 프로젝트의 워크플로를 수정하고 학생의 작업(노력, 팀에 대한 건설적인 기여도 등)에 대한 책임을 물을 수 있습니다. 평가에서 얻은 의견은 현재 코스를 개선하기 위한 기초 자료로 활용해야 합니다.
  •  • Muddy card evaluation- “Muddy Cards” evaluation can be performed in the middle of the course (student fill in cards with pros. and cons, and based on their listing are evaluated for their efforts
  •  • A Final evaluation performed from a teacher perspective. The students can be asked to appear for a viva- voce exam or to write a reflective essay based on their experience for evaluation purposes A joint action between several teachers (if permissible) in a subject area can also be conducted.
  •  • A self- evaluation based on a student perspective at the end of the course can also be incorporated wherein individual presentation/ group presentations can be encouraged for a comprehensive evaluation. Self-evaluation is an important piece of the summative evaluation because it taps into higher-level thinking and awareness of the material, process, and final product. It makes students think about their successes, mistakes, and goals for the next time. Choose oral or written form, and include expectations or rubrics for this evaluation.
  •  • Peer evaluations are unique to collaborative projects, as they facilitate a better collaborative process because the teacher considers the student experience. We can use this information to modify the workflow for the next project and hold students accountable for their work (effort, constructive contributions to the team, etc.). The input from the evaluation should serve as a basis for improvement of the present course.

8.3.6 프로젝트 기반 학습에 대한 도전 과제
8.3.6 Challenges to Project Based Learning

PBL은 학생 중심 교육을 구현하고 장려하는 효과적인 방식이지만 다음과 같은 과제가 있는 것으로 인식되고 있습니다:
Though PBL is an effective mode to implement and encourage student centric education, it is perceived to have the following challenges:

1. 코스/과목에 대한 심도 있는 탐구 및 PBL 실행을 위한 시간 부족
2. 교육구 커리큘럼 지침을 준수하면 유연성을 발휘할 공간이 거의 또는 전혀 없음
3. 대학/학교 일정 내에서 프로젝트 실행
4. 구성원의 학습 스타일, 관심사, 경험이 다양하므로 프로젝트 그룹 관리 및 모니터링
5. 학생의 이해와 학습 결과를 측정하기 위한 진정한 평가 설계

  • 1. Lack of time for in-depth exploration of the course / subject and implement PBL
  • 2. Adherence to district curriculum guidelines leaves little or no space for flexibility
  • 3. Implementing the project within the University/ school schedule
  • 4. Managing and monitoring project groups as the learning style, interest, experience of the members vary
  • 5. Design of authentic assessment to measure student understanding and learning outcomes

 

8.4 연구 기반 학습
8.4 Research Based Learning

시대의 변화에 따라 고등 교육은 전통적인 강의식 학습에서 학생 중심 교육으로 패러다임이 전환되고 있습니다. 점점 더 많은 고등 교육 기관이 연구 기반 학습의 중요성을 깨닫고 있습니다. 연구 기반 학습은 이론적 지식 기반 또는 이론적 지식을 적절한 데이터 수집 및 분석 절차를 사용하여 현상이나 발생을 조사, 검증 또는 연구하는 통합입니다. 미래 전문가로서의 연구 역량을 키우기 위해서는 탐구와 연구를 실천하는 활동이 필요합니다. 학생들은 이론과 실제가 서로 연결되고 상호 작용하는 학습 과정에 참여해야 합니다. 또한 학생들은 이론 중심의 방법론 수업이 필요하며 관찰, 인터뷰, 해석과 같은 기술을 익혀야 합니다. 연구 기반 교육은 학생들이 자신의 코스에서 독립적으로 연구를 수행하고 그 결과를 공개하는 것을 의미합니다. 이러한 형태의 교수 학습은 강사와 학생이 공동으로 새로운 지식을 습득하는 데 중점을 둡니다. 이를 위해서는 강사가 교사와 학습자로서의 역할을 성찰해야 합니다. 연구 기반 학습의 의도는 대학 학자들이 학생들이 연구 분야와 학생 자신의 학습 사이에 강력한 지적 및 실용적 연결을 구축하도록 돕기 위해 긍정적인 움직임을 보이는 것입니다. 이는 연구 수행 및 방법, 정확한 질문 구성, 연구 과정 처리 및 모니터링과 같은 기술을 내면화하고 연습하는 데 도움이 됩니다. 학생들은 불확실성에 대처하는 능력, 독립성, 팀워크 및 조직 기술을 습득합니다. 
With the changing times, higher education is going through a paradigm shift, moving away from traditional lecture bound learning to student centric education. More and more institutions of higher learning have realized the importance of research based learning. Research based learning is the integration of the theoretical knowledge base or theoretical knowing with the use of appropriate data collection and analysis procedures to examine, verify or study a phenomenon or occurrence. Activities of practicing inquiry and research are needed to develop research competences of future professionals. Students should be involved in a learning process where the theory and practice emerged and interconnect each other. Students also need theoretically oriented method courses and need to work on skills like observation, interview and interpretation. Research-based teaching implies that students carry out research in their courses independently and with an open outcome. This form of teaching and learning focuses on the joint acquisition of new knowledge by instructors and students. This requires lecturers to reflect on their role as teachers and learners. The intention of research-based learning is that university academics make positive moves to help students build strong intellectual and practical connections between research frontiers and the students’ own learning. This helps to internalize and practice research conducts and methods, skills such as formulating a precise question and processing and monitoring a research process. Students attain abilities in dealing with uncertainty, independence, teamwork and organizational skills.

8.4.1 연구 기반 학습의 이점
8.4.1 Benefits from Research Based Learning

학생이 연구 기반 학습을 통해 얻을 수 있는 이점은 다음과 같습니다: 
Benefits Students can derive from research based learning include:

  • 학생 동기 부여 및 수업 참여도 증가
  • 다음을 포함한 학생의 기술 및 역량 개발 및 향상:
    • 비판적 및 분석적 사고, 정보 검색 및 평가와 같은 일반적인 기술 및 문제 해결 능력 향상
  • 학생들의 긍정적인 학습 결과와 연결된 탐구 기반 및 체험적 방법과 같은 교수 학습 접근 방식에 대한 향상된 기회를 제공합니다.
  • 자신이 선택한 학문이 사회에 어떻게 긍정적으로 기여하는지에 대한 학생들의 이해 증진
  • 능동적 학습 촉진; 학생이 지식과 기술을 개발하는 데 적극적으로 참여할 때 가장 많은 것을 배울 수 있습니다.
  • 학습 내용과의 관련성 및 연관성 찾기
  • 학습에 대한 애정을 키우고 평생 학습자 되기
  • 직업 및 개인 생활에서 성공하는 데 필요한 새롭고 필요한 기술과 능력을 개발합니다. 또한 그룹 작업, 시간 및 리소스 관리, 데이터 처리와 같이 이전 가능한 귀중한 기술을 습득합니다.
  •  • Increasing Student motivation and class engagement
  •  • Developing and enhancing students skills and capabilities including: Generic skills such as critical and analytical thinking, information retrieval and evaluation; and problem solving
  •  • Providing enhanced opportunities for teaching and learning approaches such as inquiry-based and experiential methods that have been linked to positive learning outcomes for students
  •  • Increasing students’ understanding of how their chosen discipline contributes positively to society
  •  • Promoting Active learning; student learn most when they are actively involved in developing their knowledge and skills
  •  • Finding relevance in and connections with what they are learning
  •  • Developing a love of learning and become lifelong learners
  •  • Developing new, necessary skills and abilities to be successful in professional and personal life. Also valuable transferable skills such as group work, time- and resource-management and data handling.

 

학생을 위한 교육 혜택은 다음과 같습니다:
Educational benefits for students include:

  • 교수진 멘토와 긴밀히 협력
  • 학생이 선택한 분야의 이슈, 방법, 리더에 대해 학습할 수 있습니다.
  • 수업에서 배운 개념을 '실제' 상황에 적용하기
  • 문제 해결 능력 강화
  • 주요 문헌을 읽는 법 배우기
  •  • Working closely with a faculty mentor
  •  • Learning about issues, methods, and leaders in students’ chosen field
  •  • Applying concepts learned in coursework to ‘real-life’ situation
  •  • Sharpening problems-solving skills
  •  • Learn to read primary literature


학생을 위한 직업적 혜택은 다음과 같습니다:
Professional benefits for students include:

  • 미래 직업 탐색 및 준비
  • 시장성 있는 기술 개발
  • 전문적인 커뮤니케이션 기술 향상
  • 다른 사람들과 협업하고 팀의 일원으로서 효과적으로 일하기
  •  • Exploring and preparing for future careers
  •  • Developing marketable skills
  •  • Enhancing professional communication skills
  •  • Collaborating with others and working effectively as part of a team

학생을 위한 개인적 혜택은 다음과 같습니다:
Personal benefits for students include:

  •  - 분석적이고 독립적인 사상가로서의 성장
  •  - 학생의 비판적 사고, 작문 및 말하기 강화
  •  - 도전 과제를 해결하고 프로젝트를 완료할 수 있는 능력 입증
  •  - 개인적인 관심사 발견 및 증가
  •  • Growing as a analytical and independent thinker
  •  • Strengthens student’ critical thinking, writing, and speaking
  •  • Meeting challenges and demonstrating the ability to complete a project
  •  • Discovering personal interests and increases

강사/교사/진행자를 위한 잠재적 혜택은 다음과 같습니다:
Potential Benefits for Instructor/ Teacher/ facilitator include:

  • 학생과 교사의 관계를 돈독히 합니다: 교육과 연구 활동을 긴밀하게 연계하면 둘 사이의 노력의 경제를 지원합니다.
  • 수업 준비에 소요되는 시간 감소: 학생을 위해 고안할 수 있는 연구와 유사한 학습 활동이 많을수록 교사는 콘텐츠 기반 커리큘럼 준비에 집중할 필요가 줄어듭니다. 교육 콘텐츠에서 학습 과정으로 강조점을 전환하면(종종 학생에게 더 많은 책임을 부여하는 것을 포함) 결국 준비 시간을 줄일 수 있습니다.
  • 연구 과정에 대한 기여도: 학생들이 연구와 같은 학습에 더 많이 참여할수록 학생과 교사 간에 연구 활동에 도움이 되는 대화가 더 많이 이루어질 가능성이 높아집니다.
  • Builds strong student – teacher relationships: Drawing teaching and research activities closely together supports an economy of effort between the two
  •  • Less time spent on teaching preparation: The more research-like learning activities that can be devised for students, the less the teacher has to concentrate on preparing a content-based curriculum. A switch of emphasis from teaching content to learning processes (that often include placing more responsibility on the students) can eventually reduce preparation time.
  •  Contributions to the research process: The more involved students are with research-like learning, the more likely there will be dialogue between students and teachers which feeds into research activity.

8.4.2 연구 기반 학습의 프레임워크
8.4.2 Framework of research-based learning

새로운 도전에 직면하기 위해 대학 프로그램은 학생들의 연구 역량, 특히 연구 프로젝트 수행과 관련된 역량을 개발하고 지식과 학문적 경험을 전문 교육 실무로 이전할 수 있도록 학습 프로그램과 방법을 조정해야 합니다. 이 제안에서 '연구 기반 교육'의 패러다임은 대학 연구 제안에서 구현하기에 가장 적합한 것 중 하나로 보입니다. 연구 기반 교사 교육은 다양한 맥락과 교육 수준에서 연구되어 왔으며, 석-박사 과정에서도 중요한 관심을 가지고 있습니다. 미래 전문직의 연구 역량을 개발하기 위해서는 학습 프로그램의 일부로 탐구와 연구를 실천하는 활동이 필요합니다. 연구 기반 학습은 연구와 교육을 연계하는 다양한 학습 및 교수 전략을 지칭하는 다면적 개념입니다. 연구 기반 학습의 좋은 프레임워크에는 다음이 포함될 수 있습니다: 
In order to face new challenges, university programs have to adapt their study programs and methods in order to develop students’ research competences, especially those related to conduct research projects and also to be able to transfer their knowledge and academic experiences to their professional teaching practice. For this propose, the paradigm of “research-based education” seems to be one of the most adequate to be implemented in the universities study proposals. Researchbased teacher education has been studied in different contexts and education levels, and has a crucial interest in master and doctoral studies. In order to develop research competences of future professionals, activities of practicing inquiry and research are needed as part of the study programs. Research-based learning is a multi-faceted concept referring to a variety of learning and teaching strategies that link research and teaching. Good framework of research-based learning may include:

  • 커리큘럼을 포괄하는 연구 결과 설정
  • 연구 과정 기반 교수학습 방법의 광범위하고 신중한 사용
  • 학생들에게 연구 도구 사용에 대한 워크샵/자습서를 통한 교육 제공
  • 포괄적인 연구 맥락 개발(Blackmore & Fraser, 2007)
  •  • Setting research outcomes that cover the curriculum
  •  • Extensive and Judicious use of research-process based methods of teaching and learning
  •  • Imparting training through workshops/ tutorials to students for using the research tools
  •  • Developing an inclusive research context (Blackmore & Fraser, 2007)

 
8.4.3 연구 기반 학습을 커리큘럼에 통합하기 위한 전략
8.4.3 Strategies for incorporating research-based learning into curriculum

다음 전략은 연구 기반 학습을 코스 및 프로그램에 통합하기 위한 일반적인 지침을 제공합니다. 범주 간에 중복되는 부분이 있을 수 있으며, 일부 제안은 일부 학문 분야, 일부 학년 수준 및 일부 교수-학습 상황에서 다른 것보다 더 적절할 수 있습니다. 아래에 나열된 전략은 다양한 옵션을 제공하며 교수자는 특정 상황과 학생 집단에 맞게 조정할 수 있습니다. 
Following strategies provide general guidelines for incorporating research-based learning into courses and programs. There might be an overlap between categories and some suggestions are more appropriate in some disciplines, at some year levels and in some teaching and learning contexts than others are. The strategies listed below give a range of options and the instructor can tailor these to be used in particular context and student cohort.

코스를 설계하고 가르칠 때 개인 연구를 활용하기
Draw on personal research in designing and teaching courses

  • 현재 진행 중인 연구를 전체 코스의 초점으로 커리큘럼에 직접 통합합니다.
  • 학생들이 아이디어, 개념 및 이론을 이해하는 데 도움이 되도록 연구에서 '실제' 문제를 해결한 자신의 경험을 예시적인 사례로 제시합니다.
  • 대학원생을 포함한 교수진이 현재 진행 중인 연구 프로젝트에 대해 토론하도록 하여 해당 학문의 가치, 관행 및 윤리를 설명합니다.
  • • Incorporate current research directly into the curriculum as the focus of an entire course.
  •  • Refer to your own experience of tackling ‘real world’ problems in your research as illustrative examples to help students understand ideas, concepts and theories.
  •  • Illustrate the values, practices and ethics of your discipline by having faculty members, including postgraduate students, discuss their current research projects.

학과 연구 프로젝트에 학생 참여
Involve students in departmental research projects

  • 학생들에게 더 큰 프로젝트 내에서 독립적인 프로젝트를 제공하세요.
  • 학생들이 대학원생이나 교수진의 연구 조교로 활동하도록 조직합니다.
  • 연구 센터, 산업체 현장 방문을 조직합니다.
  •  • Give students a self-contained project within a larger project.
  •  • Organize students to act as research assistants to higher degree research students or faculty members.
  •  • Organize site visits to research centres, industries

프로그램 내에서 연구 방법, 기술 및 기술을 명시적으로 가르침
Teach research methods, techniques and skills explicitly within programs

  • 실험실 수업 중 연구 방법론에 대한 학생들의 이해도를 높입니다.
  • 실제 연구 문제에 연구 기술을 적용할 수 있는 기회를 제공하는 연구 방법론 과정을 설계합니다.
  • 학생들에게 현대의 주요 연구 문제와 관련된 다양한 방법과 기술을 배울 수 있는 기회를 제공하는 과목 내 평가 과제를 설계합니다.
  •  • Develop students’ understanding of research methodologies during laboratory classes.
  •  • Design research methodology courses that provide opportunities to apply research skills to authentic research problems.
  •  • Design assessment tasks within subjects that provide students with opportunities to learn different methods and skills associated with key contemporary research issues.

소규모 연구 활동을 학부 과제로 만들기
Build small-scale research activities into undergraduate assignments

  • 모든 수준의 학생들은 종종 그룹으로 수행할 수 있는 소규모 연구 활동의 이점을 누릴 수 있습니다. 이는 개인 연구보다는 연구 팀에서 작업하는 연구 문화를 반영합니다.
  • 학생에게 기존 '실제' 프로젝트의 연구 데이터를 분석하도록 요청합니다.
  • 학생들에게 소규모 문헌 검토를 수행하고, 방법론을 결정하고, 데이터를 수집하고, 결과를 작성하고, 결론에 도달해야 하는 연구 질문을 제공합니다.
  •  • Students at all levels can benefit from small-scale research activities that can often be carried out in groups. This mirrors the research culture of working in research teams rather than conducting individual research.
  •  • Ask students to analyze research data from existing ‘real world’ projects.
  •  • Provide students with a research question which requires them to conduct a small-scale literature review, decide on methodology, gather data, write up results and reach conclusions.

학생들이 학과의 연구 문화의 일부라고 느끼도록 장려합니다.
Encourage students to feel part of the research culture of Departments

  • 학부생에게 자신이 공부하고 있는 학과의 연구 관심 분야와 직원들의 강점에 대해 알려주세요.
  • 동료의 관심 분야와 업적을 언급하고 가능하면 동료가 학생들과 자신의 연구에 대해 이야기하도록 초대합니다.
  • 학부생과 대학원생이 학자 방문 연구 세미나에 참석하고, 컨퍼런스에서 논문을 발표하고, 학생 컨퍼런스를 주최하도록 장려합니다.
  •  • Inform undergraduate students about the research interests and strengths of staff in the Departments in which they are studying.
  •  • Refer to colleagues’ areas of interest and achievements and, where possible, invite them to speak to students about their work.
  •  • Encourage undergraduate and postgraduate students to attend research seminars by visiting scholars, give papers at conferences, and host student conferences.

교육에 연구자의 가치를 불어넣으세요.
Infuse teaching with the values of researchers.

  • 학생들이 객관성, 증거 존중, 타인의 견해 존중, 모호성에 대한 관용, 분석적 엄격성 등 연구자의 가치를 이해하고 이를 지향하도록 장려하세요:
  • 강의실 상호작용에서 연구자의 가치 모델링하기
  • 연구자가 논문이 출판되기 전에 거치는 과정과 일반적으로 수정을 거치는 횟수에 대해 이야기하기
  • 동일한 주제에 대해 상반된 주장을 제시하는 연구 논문을 제공하고 학생에게 그 타당성을 분석하고 결론을 도출하도록 요청하는 등, 학생이 이러한 가치를 개발하도록 요구하는 구조화된 학습 경험을 제공합니다
  • • Encourage students to understand and aspire to researchers’ values such as objectivity, respect for evidence, respect for others’ views, tolerance of ambiguity, and analytical rigour, by:
  •  • Modeling researchers’ values in classroom interactions
  •  • Talking about the process that researchers go through before their work is published and the number of revisions typically involved
  •  • Providing structured learning experiences that require students to develop these values, such as, providing research articles presenting opposing arguments on the same topic and asking students to analyze their validity and draw a conclusion

8.4.4 현대 연구 이슈를 중심으로 학습 활동 설계하기
8.4.4 Designing learning activities around contemporary research issue

  • 학생들에게 최신 연구 문제를 탐구하거나 학문의 기초에 대한 지식을 바탕으로 현재 현실 세계의 문제에 대한 해결책을 제안하도록 요청합니다. 이 활동의 변형으로는 학생들에게 다음과 같은 질문을 하는 것도 포함됩니다:
  • 연구에 대한 언론 보도와 공식 보고서를 비교하여 해당 분야의 현재 연구 문제 현황에 대한 보고를 조사합니다.
  • 최근 연구 결과를 설명하는 저널 기사에 제시된 방법론과 논거를 분석합니다.
  • 소규모 문헌 검토를 수행하여 지식의 현재 상태와 해결해야 할 추가 질문에 대한 결론을 도출합니다.
  • • Ask students to explore cutting-edge research problems or to suggest solutions to current real world problems based on their knowledge of the fundamentals of the discipline. Variants of this activity include asking students to:
  •  • Investigate the reporting of the status of a current research question in the discipline by comparing media reporting of a study with the official report.
  •  • Analyze the methodology and argument presented in a journal article setting out recent research findings.
  •  • Conduct a small-scale literature review, leading to a conclusion about the current state of knowledge and further questions to be addressed.

8.4.5 프로그램 내에서 연구 방법, 기법 및 기술을 명시적으로 가르치기
8.4.5 Teaching research methods, techniques and skills explicitly within programs

학부 및 대학원 수준의 많은 학생들이 연구 수행을 위한 기초가 매우 취약합니다. 이러한 결핍은 교수자와 학생 모두에게 좌절감을 안겨줄 수 있는 도전적인 과제가 됩니다. 이러한 문제를 방지하기 위해 강사는 다음 사항을 고려해야 합니다.
Many students at both undergraduate and graduate levels possess very weak foundations for conducting research. This deficit makes it a challenging undertaking that can lead to frustration for both the instructor and the student. For avoiding the problems the instructor should take into consideration the following points.

  • 실험실 수업 중에 연구 방법론에 대한 학생의 이해를 개발합니다. 
  • 연구 과제를 더 잘 이해할 수 있도록 시뮬레이션 과정을 설계합니다. 
  • 학생에게 현대의 주요 연구 문제와 관련된 다양한 방법과 기술을 배울 수 있는 기회를 제공하는 과목 내 평가 과제를 설계합니다. 
  • 실제 연구 문제에 연구 기술을 적용할 수 있는 기회를 제공하는 연구 방법론 과정을 설계합니다. 
  • 수업 세션 중에 학생들을 팀으로 나누고 각 팀이 매우 직관적인 가설을 세우고 질문을 생성하도록 장려해야 합니다. 
  • 문헌 검토 단계에서는 일반적으로 다른 코스에서는 사용되지 않지만 독창적인 연구를 수행하는 데 필수적인 중요한 온라인 아카이브를 학생에게 노출할 수 있는 기회를 교수자에게 제공합니다. 
  • 학생에게 다양한 통계 소프트웨어 및 통계 방법에 대한 실무 지식을 제공합니다. 
  •  • Develop students’ understanding of research methodologies during laboratory classes.
  •  • Designing simulation courses for better understanding the research tasks.
  •  • Design assessment tasks within subjects that provide students with opportunities to learn different methods and skills associated with key contemporary research issues.
  •  • Design research methodology courses that provide opportunities to apply research skills to authentic research problems.
  • • During a class session, students may be divided into teams, and each team came up with a set of very intuitive hypotheses, they should be encouraged to generating the question.
  •  • The literature review step offers the instructor an opportunity to expose students to important online archives that typically are not used in other courses, but that are essential to conducting original research.
  •  • Proving some hands-on knowledge to the students for different statistical software and statistical methods.

8.4.6 소규모 연구 활동 구축하기
8.4.6 Building small-scale research activities

모든 수준의 학생들은 종종 그룹으로 수행할 수 있는 소규모 연구 활동의 혜택을 누릴 수 있습니다. 이는 개인 연구보다는 연구 팀에서 일하는 연구 문화를 반영합니다. '실습' 접근 방식을 강조하는 코스에서는 학생들에게 연구가 어떻게 수행되는지 가르쳐야 하지만, 사회과학에서 경험주의의 중요성을 전달하기 위한 방법으로 학생들이 직접 연구를 수행하도록 요구해야 합니다. 강사와 학생 모두 소규모 연구 활동의 이점을 누릴 수 있습니다. 교수자에게는 연구와 강의를 통합할 수 있는 기회를 제공하고, 학생들에게는 활발한 연구 의제에 직접 참여할 수 있는 기회를 제공합니다. 교수는 특정 분야를 연구한 경험을 학생들과 공유할 수 있습니다. 이 경우 학생들은 권위자를 조사하면서 발견한 어려움, 보람, 기회에 대한 솔직한 토론을 높이 평가했습니다. 
Students at all levels can benefit from small-scale research activities that can often be carried out in groups. This mirrors the research culture of working in research teams rather than conducting individual research. A course that stresses the “hands-on” approach should teach students how research is conducted, but it also should require them to do the research, as a way of communicating the importance of empiricism in the social sciences. Both instructors and students can benefit from the small scale research activities. It gives the instructor an opportunity to integrate research with teaching, and to inject students directly into an active research agenda. Professors are able to share with students their experiences of trying to research a particular area. In this case, students appreciated the frank discussions regarding the difficulties, rewards, and opportunities that they discovered while researching authorities.

  • 학생들이 자신의 관심 분야에 대해 발표된 연구를 평가하는 등 자신의 관심 분야에 방법을 적용할 수 있는 과제를 제시하세요.
  • 자신의 교실, 학생 또는 라이프스타일 문제에서 문제가 되는 영역을 찾아내는 과제를 주는 등 다양한 분야에서 수행된 실제 연구 사례를 통해 학생들의 참여를 유도합니다.
  • 학생들에게 기존 '실제' 프로젝트의 연구 데이터를 분석하도록 요청합니다.
  • 학생들에게 소규모 문헌 검토를 수행하고, 방법론을 결정하고, 데이터를 수집하고, 결과를 작성하고, 결론에 도달해야 하는 연구 질문을 제공합니다.
  • 이전 학기에 습득한 연구 기술과 학문적 지식을 활용하여 주요 프로젝트에 초점을 맞춘 캡스톤 과정을 제공합니다.
  • 동료의 관심 분야와 성과를 참고하고, 가능하면 동료가 학생들과 자신의 작업에 대해 이야기하도록 초대합니다.
  • 학부생과 대학원생이 학자 방문 연구 세미나에 참석하고, 학회에서 논문을 발표하고, 학생 컨퍼런스를 주최하도록 장려합니다.
  • • Give assignments that let students apply methods to their own area of interest such as evaluate published studies in their area of interest.
  •  • Engage them with real world examples of research conducted in different areas, such as give them a task to indentify the area of issue in their own classroom, students or their life style issues.
  •  • Ask students to analyze research data from existing ‘real world’ projects.
  •  • Provide students with a research question which requires them to conduct a small-scale literature review, decide on methodology, gather data, write up results and reach conclusions.
  •  • Offer capstone courses that focus on a major project utilizing the research skills and disciplinary knowledge acquired in previous semesters.
  •  • Refer to colleagues’ areas of interest and achievements and, where possible, invite them to speak to students about their work.
  •  • Encourage undergraduate and postgraduate students to attend research seminars by visiting scholars, give papers at conferences, and host student conferences.

8.4.7 학생(고등 연구생)에게 연구 가치관 심어주기
8.4.7 Infusing research values in the students (higher degree research students)

학생들이 객관성, 증거 존중, 타인의 견해 존중, 모호성에 대한 관용, 분석적 엄격성과 같은 연구자의 가치를 이해하고 열망하도록 장려합니다: 
Encourage students to understand and aspire to researchers’ values such as objectivity, respect for evidence, respect for others’ views, tolerance of ambiguity, and analytical rigour, by:

  • 강의실 상호작용에서 연구자의 가치 모델링하기
  • 연구자가 논문이 출판되기 전에 거치는 과정과 일반적으로 수정을 거치는 횟수에 대해 이야기하기
  • 동일한 주제에 대해 상반된 주장을 제시하는 연구 논문을 제공하고 학생에게 그 타당성을 분석하고 결론을 도출하도록 요청하는 등 학생들이 이러한 가치를 개발하도록 요구하는 구조화된 학습 경험을 제공합니다. 학부 연구에 참여하는 것은 학생들에게 교육적, 직업적, 개인적으로 유익합니다. 연구를 통해 얻을 수 있는 이점에 대해 교육합니다.
  •  • Modeling researchers’ values in classroom interactions
  •  • Talking about the process that researchers go through before their work is published and the number of revisions typically involved
  •  • Providing structured learning experiences that require students to develop these values, such as, providing research articles presenting opposing arguments on the same topic and asking students to analyze their validity and draw a conclusion Participation in undergraduate research benefits students educationally, professionally, and personally. Educate them for about the benefits they get from doing research.

8.5 사례 기반 학습
8.5 Case Based Learning

"사례"우리가 사용하는 문제 또는 의사 결정자가 실제로 직면하여 그의 분석과 결정을 필요로 하는 상황에 대한 설명입니다. 학습 환경에서는 주어진 환경에서 문제에 대한 가능한 최선의 해결책을 찾기 위해 그룹 토론을 하는 경우가 많습니다. 사례 토론은 단순한 경험의 공유를 넘어 협동적이고 창의적인 사고의 연습입니다. 확실히 함께 행동하는 그룹의 작업은 개별 부분의 합보다 더 많은 것을 의미합니다. 따라서 이 학습 방법은 사례와 토론이라는 똑같이 중요한 두 가지 요소를 기반으로 한다는 점을 명심해야 합니다. 
A “Case” is a problem in our usage, or a description of a situation that has actually faced a decision maker and required his analysis and decision. In learning environment it is quite often a group discussion exercise to find the best possible solution to the problem in the given environment. Case discussion is more than just a pooling of experience; it is an exercise in cooperative and creative thinking. Certainly the work of the group acting together is something more than the sum of its individual parts. Thus it is important to bear in mind that this method of learning is based on two equally important elements—cases and discussions.

8.5.1 사례 사용의 철학/근거
8.5.1 Philosophy / Rationale for Use of Case

다음은 교육에 사례를 사용하는 철학 및/또는 근거에 대한 발췌문입니다.
Here is an excerpt on the philosophy and / or rationale for using cases for teaching.

"의심할 여지없이 교과서와 강의의 경로를 통해 소위 지식을 습득하는 것이 더 쉬울 것입니다. 사례 방식은 어려운 방식입니다. 그럼에도 불구하고 사례법은 실제 교육과 단순히 수동적으로 습득한 단어와 아이디어 사이의 차이를 만듭니다. 지식이 곧 힘이라는 말은 자주 사용됩니다. 너무 자주 이 말은 지식이 권력을 부여한다는 의미로 해석됩니다. 수동적으로 습득한 지식이 받는 사람에게 어떤 권력을 부여한다는 것은 사실과 다릅니다. "지식은 힘이다"라는 말의 진정한 의미는 진정한 지식은 문제를 해결하고, 문제를 분석하고, 사실을 정리하고, 무엇을 해야 하는지 파악한 다음 실행할 수 있는 힘, 이러한 힘으로 구성된다는 것입니다. 즉, 진정한 교육은 단순히 책으로 배우는 것이 아니라 상황에 대처할 수 있는 힘, 특히 새롭고 낯선 상황에 대처할 수 있는 힘을 길러줘야 합니다. 이제 그런 힘은 주어지는 것이 아닙니다. 습득해야 합니다. 개인적인 노력을 통해 습득해야 합니다. 진정한 교육은 노력입니다. 강사의 아이디어를 주입하는 것이 아니라 학생의 마음을 끌어내는 과정입니다. 케이스 방식에서는 학생 스스로 무언가를 찾아내야 합니다. 케이스 방식에서는 학생이 수동적인 역할이 아니라 능동적인 역할을 합니다. 강사가 지시하는 것이 아니라 학습자가 사례를 연구하여 강사에게 말하기를 기대합니다. 그런 다음 자신이 취한 입장을 논리적으로 정당화할 수 있는지 질문합니다. 처음에는 사례 방식이 어렵게 느껴질 수 있지만 결국에는 큰 도움이 될 것입니다. "(브라운 외 1961) 
“Undoubtedly it would be easier for you to acquire so-called knowledge by the route of the textbook and the lecture. The case method is the hard way. Nevertheless the case method makes the difference between real education and merely passively acquired words and ideas. The statement frequently is made that knowledge is power. Too frequently that is interpreted to mean that knowledge confers power. Nothing could be less true than the passively acquired knowledge confers any power on the recipient. The true meaning of the statement “knowledge” is power” is that true knowledge consists of power, power to tackle a problem, break it down, sort out the facts, see what must be done, and then get it done. In other words, real education should equip the student not just with book learning but with power to deal with situations, particularly power to deal with new and unfamiliar situations. Now that kind of power cannot be conferred. It has to be acquired. It has to be acquired by painstaking personal effort. Real education is hard work. It is a process of drawing out the student’s mind, not of pouring in the instructor’s ideas. Under the case method you are expected to dig things out for yourself. Under the case method you play an active rather than a passive role. The instructor does not tell you, he expects you to study the case and tell him. Then he questions you to see whether you can logically justify the position which you take. You will find the case method hard at the outset but it will pay dividends in the end. “(Brown et.al 1961)

........ 지혜는 말할 수 없기 때문에2
……..
Because wisdom can’t be told2

현명한 말과 건전한 조언을 듣는 단순한 행위는 누구에게도 도움이 되지 않는다고 단호하게 말할 수 있습니다. 학습 과정에서는 학습자의 역동적인 협력이 필요하지만, 이러한 협력이 저절로 생기는 것은 아닙니다. 이러한 협력은 제공되어야 하고 지속적으로 장려되어야 합니다. 
It can be said flatly that the mere act of listening to wise statements and sound advice does little for anyone. In the process of learning, the learner’s dynamic cooperation is required, such cooperation form students does not arise automatically, however. It has to be provided for and continually encouraged.

비즈니스를 학문으로 삼은 사람들의 축적된 경험과 지혜를 강의와 독서를 통해 지적인 젊은이들에게 전달함으로써 원하는 결과를 얻을 수 있다는 분석되지 않은 가정을 쉽게 받아들일 것입니다. 물론, 보다 신중하게 선택된 젊은이들이 다른 사람들이 습득하고 발전시키는 데 평생이 걸렸던 정보와 일반적인 원칙을 제공받는 이점을 가지고 비즈니스 경력을 시작한다면, 그들은 정보가 부족한 동시대 사람들보다 확실히 앞서 나갈 것으로 기대할 수 있습니다. 
It would be easy to accept the unanalyzed assumption that by passing on, by lectures and readings, to young men of intelligence the accumulated experience and wisdom of those who have made business their study, the desired results could be achieved. Surely, if more carefully selected young men were to begin their business careers with the advantage of having been provided with information and general principles which it has taken others a lifetime to acquire and develop, they might be expected to have a decided head start over their less informed contemporaries.

교사는 다른 사람들의 지식의 지평을 넓히는 것이 자신의 목표이기 때문에 특히 자신이 알고 있는 것을 알려주고 올바른 생각과 행동의 길을 제시하고 싶은 유혹에 시달립니다. 그들의 도움이 요청되는 영역은 그들이 여러 번 침투한 영역입니다. 그들은 아마도 모든 각도에서 자신의 주제에 대해 성찰했을 것입니다. 그들은 자신이 답을 알고 있다고 생각하며 사심 없이 모든 사람에게 기꺼이 알려줍니다. 따라서 그들의 학생들은 그들이 그렇게 훌륭한 답을 찾을 수 있다고 가정하더라도 문제를 해결하는 데 걸렸을 모든 시간과 노력을 절약 할 수 있습니다. 
Teachers, since it is their avowed objective to extend the knowledge boundaries of others, are particularly beset by the temptation to tell what they know - - to point out right paths of thoughts and action. The areas in which their help is called for are the once they have penetrated many times. They have reflected, presumably, upon their subjects from all angles. They feel that they know the answers and, with unselfish abandon, they are willing to tell all. Their students thus will be saved all the time and effort it would have taken them to work things out for them, even granted they ever could work out such excellent answers.

우리는 다른 사람의 통찰력과 지식을 효과적으로 사용할 수 없습니다: 우리가 사용하는 것은 반드시 우리 자신의 지식과 통찰력이어야 합니다.....
We cannot effectively use the insight and knowledge of others: it must be our own knowledge and insight that we use…..

8.5.2 사례 교수법에 따라 학생과 교사는 어떻게 되나요?
8.5.2 What happens to students and teachers under the case method of teaching?

사례 중심 교수법은 사실상 정반대의 가부장적 성격을 띠는 주입식 교수법과는 달리 민주적이라고 할 수 있습니다. 사례법을 사용하면 교사와 학생 등 학습 그룹의 모든 구성원이 동일한 기본 자료를 가지고 있으며, 이를 바탕으로 분석하고 결정을 내릴 수 있습니다. 따라서 각자는 비즈니스 관행과 정책을 규율하는 원칙 체계에 기여할 수 있는 동일한 기회를 갖게 됩니다. 모두가 동등한 위치에 있으며 모두가 경쟁하고 있습니다. 강의실 안팎에서 강력한 기브앤테이크가 이루어질 수 있는 기반이 마련됩니다. 상호 만족스럽고 우월한 개념을 구축하는 것을 목표로 아이디어를 교환하는 귀중한 예술이 배양됩니다. 이러한 교환은 생각을 자극하고 다른 사람으로부터 배우는 방법에 대한 교훈을 제공하며 자신의 아이디어를 효과적으로 전달하는 경험도 제공합니다.
The case plan of instruction may be described as democratic in distinction to the telling method, which is in effect diametrically patriarchal. With the case method, all members of the academic group, teacher and students, are in possession of the same basic materials into the light of which analysis are to be made and decisions arrived at. Each therefore, has an identical opportunity to make a contribution to the body of principles governing business practice and policy. Everyone is on a par and everyone is in competition. The basis is provided for strong give and take both inside and outside the classroom. The valuable art of exchanging ideas is cultivated, with the object of building up some mutually satisfactory and superior notion. Such an exchange stimulates thought, provides a lesson in how to learn from others, and also gives experience in effective transmission of one’s own ideas.

교사와 학생 모두에게 사례 학습 방법의 규율은 엄격합니다. 가부장적인 강사의 지배를 받아왔기 때문에 사실과 아이디어를 다소 수동적으로 받아들이고 그대로 반복하는 비교적 단순한 작업만 해왔던 젊은 남성들에게는 때때로 그 충격이 치명적일 수 있습니다. 모든 학생이 능동적으로 사고하고 동시대 사람들의 격렬한 도전을 받을 수 있는 독립적인 판단을 내리는 부담을 견딜 수 있는 것은 아닙니다. 많은 사람들은 항상 정답이 정해져 있는 것을 선호합니다. 특히 시스템에 익숙하지 않은 교사들은 독단주의라는 안전한 피난처를 떠나 민주적인 방식으로 학생들을 만나는 것이 때때로 부담스러울 수 있습니다. 그러나 사례 시스템의 본질적으로 극적이고 도전적인 특성은 새로 온 사람에게 불안과 혼란을 야기할 수 있지만, 동시에 깊은 관심을 불러일으키고 적응에 필요한 노력을 기울이게 합니다. 
For both teachers and students, the disciplines of the case method of learning are severe. Sometimes the shock is devastating to young men who previously have been dominated by patriarchal instructors and thus have been faced merely with the relatively simple task of more or less passive reception and verbatim repetition of facts and ideas. Not all students can bear the strain of thinking actively, of making independent judgments which may be challenged vigorously by their contemporaries. Many people will always prefer to have answers handed to them. Teachers, for their part, particularly those unused to the system, sometimes find it straining to leave the safe haven of dogmatism and meet their students on a democratic plane. The inherently dramatic and challenging character of the case system, however, although it may produce anxiety and confusion for the newcomer, also arouses his deep interest and leans him to make the effort required for adjustment.

모든 학생들이 동시대 사람들의 격렬한 도전을 받을 수 있는 독립적인 판단을 내리는 능동적인 사고를 견딜 수 있는 것은 아닙니다. 많은 사람들은 항상 정답이 정해져 있는 것을 선호합니다. 특히 시스템에 익숙하지 않은 교사들은 독단주의라는 안전한 피난처를 떠나 민주적인 방식으로 학생들을 만나는 것이 때때로 부담스러울 수 있습니다. 그러나 사례 시스템의 본질적으로 극적이고 도전적인 특성은 새로 온 사람에게 불안과 혼란을 야기할 수 있지만, 동시에 깊은 관심을 불러일으키고 적응에 필요한 노력을 기울이게 합니다.
Not all students can bear thinking actively, of making independent judgments which may be challenged vigorously by their contemporaries. Many people will always prefer to have answers handed to them. Teachers, for their part, particularly those unused to the system, sometimes find it straining to leave the safe haven of dogmatism and meet their students on a democratic plane. The inherently dramatic and challenging character of the case system, however, although it may produce anxiety and confusion for the new comer, also arouses his deep interest and leans him to make the effort required for adjustment.

8.5.3 사례를 어떻게 분석하고 준비하나요? (데이비드 외 1965)
8.5.3 How to Analyze and prepare a case? (David et al 1965)

사례 분석에 대한 공식은 없으며, 각 사례는 새롭고 독특한 상황으로 다루어야 합니다. 한 사례에 적절해 보이는 접근 방식이 다른 사례에는 매우 부적절할 가능성이 높습니다. 그러나 사례 준비 시 따를 수 있는 몇 가지 일반적인 절차가 있습니다. 많은 사례를 분석하기 위한 전제 조건은 의사 결정의 언어에 대한 이해입니다. 각 사례에는 결정이 필요한 문제가 있습니다. 당연히 결정은 사건의 사실관계에 대한 정확한 파악을 바탕으로 내려져야 합니다. 따라서 사례에 접근하는 데 있어 중요한 첫 번째 단계는 사건 자체를 주의 깊게 읽고 파악하는 것입니다. 사실 첫 번째 읽기로 사실관계를 파악하는 것은 거의 불가능하며, 첫 번째 읽기는 주로 주요 쟁점을 분리하고 배경을 스케치하는 수단으로 유용합니다. 일반적으로 세부 사항을 채우려면 두 번째 읽기가 필요합니다.
There is no formula for the analysis of cases; each must be handled as a new and unique situation. The approach that appears to be appropriate for one case is more than likely quite inappropriate for another. There are, however, certain general procedures that can be followed in the preparation of cases. A prerequisite to analysis of many cases is an understanding of the language of the decision making. Each case poses issues requiring decision(s). Obviously, decisions should be based on a sound grasp of the facts of the case. A vital first step in approaching any case, then, is to read and read carefully the case itself. It is seldom possible to assimilate the facts in a first reading; indeed, the first reading is useful primarily as a means of isolating leading issues and sketching the background. A second reading is generally necessary to fill in the details.

학생은 사례를 읽는 동안 끊임없이 스스로에게 질문해야 합니다: 무엇이 문제인가? 조치가 필요한 요점은 무엇인가? 이 상황을 초래한 원인은 무엇인가요? 대부분의 경우 문제는 매우 간단하고 직접적일 수 있지만, 어떤 경우에는 복잡하고 모호할 수 있습니다. 많은 경우, 처음 읽었을 때 문제처럼 보이는 것이 자세히 살펴보면 더 깊고 근본적인 문제의 한 증상일 수 있습니다. 사례 처리의 이 단계는 의사가 환자의 질병을 진단하려고 시도하는 것과 유사합니다. 의사는 여러 가지 증상을 관찰하여 가설을 세웁니다. 사실상 여기 학생도 같은 일을 하고 있는 것입니다. 의료 사례에서와 마찬가지로 이 진단 단계는 문제의 진단에 따라 조치에 대한 권장 사항이 달라지기 때문에 매우 중요합니다. 진단 기술은 교과서를 읽는다고 해서 생기는 것이 아니라 실제 사례를 반복적으로 관찰하는 데서 비롯됩니다. 
Throughout his reading of the case, the student should be constantly asking himself:
what is the problem? What is the point (or points) on which action is required? What has caused this situation? In many cases, the issue will be quite simple and direct; in others, it will be complex and obscure. In many cases, what seems like the issue on first reading may upon reflection be only a symptom of some deeper, more basic problem. This stage in the handling of a case is analogues to the physician attempting to diagnose his patient’s illness. He develops a hypothesis by observing a number of symptoms. In effect, the student here is doing the same. As in a medical case, this stage of diagnosis is crucial, for it is on the diagnosis of the problem that recommendations for action will depend. Skill in diagnosis seldom from reading textbooks: it comes from repeated observation of actual cases.

핵심 문제와 그 원인을 진단한 학생은 일반적으로 몇 가지 대안적인 행동 방침에 직면하게 되는데, 이 단계에서 가능한 모든 행동 방침의 전체 목록을 작성하는 것이 종종 유용합니다. 그런 다음 각각을 개별적으로 고려하고 그 의미와 예상되는 결과를 검토할 수 있습니다. 이 과정에서 각 조치가 회사 내부 운영뿐만 아니라 소비자, 경쟁사 및 경제 전체에 미치는 영향을 신중하게 검토해야 합니다. 그런 다음 일부 대안은 더 이상 고려하지 않고 신속하게 제거할 수 있습니다. 이제 사례를 읽고, 진단하고, 대안을 고려했습니다. 이 절차를 통해 실현 가능한 대안을 두세 가지로 줄이는 데 성공했다고 가정하고, 이 대안들이 모두 상당히 균형 있게 고려되었다고 가정해 봅시다. 이 시점에서 명확한 결정을 내리기 전에 답을 구해야 하는 일련의 질문으로 중심 문제를 세분화하는 것이 유용할 수 있습니다.
Having diagnosed the central problem and its likely causes, the student is generally faced with several alterative courses of action; it is frequently useful at this stage to make a complete listing of all the possible courses of action. Then each may be considered individually, and the implications and likely results examined. In this process, the effects of each action, not only upon the internal operations of the firm, but upon consumers, competitors, and the economy as a whole, should be carefully weighed. Some alternatives may then be quickly eliminated from further consideration. The case has now been read, diagnosed, and alternatives considered. Let us, suppose that this procedure has succeeded in reducing the feasible alternatives to two or three in number, all fairly evenly balanced. It may be useful at this point to break down the central problem into a series of questions which requires answers before any definite decisions can be made.

많은 경우 질문에 대한 명확한 답이 나오지 않을 것입니다. 학생이 질문에 답할 수 있을 만큼 충분한 정보가 없는 경우도 종종 있습니다. 이 경우 좌절감을 느낄 수 있지만, 학생은 비즈니스에서도 동일한 상황이 종종 발생한다는 점을 인식해야 합니다. 대부분의 의사 결정은 불완전한 정보를 바탕으로 이루어집니다. 학생들은 정보에 입각한 추측을 하거나 직감에 의존해야 합니다. 
At many points, no definite answers will be forthcoming in response to questions. Often there will not be sufficient information in the case to enable the student to answer the questions. While this may prove frustration, the student should realize that the same situation is often the case in business itself. The vast majority of decisions are made on the basis of incomplete information. They must make informed guesses, or even play hunches.

8.5.4 교실에서 기대되는 것은 무엇인가? (David 외 1965)
8.5.4 What is expected in the Classroom? (David et al 1965)

개별 사례 연구를 통해 얻을 수 있는 보상은 의심할 여지가 없지만, 교실에서의 주고받기는 사례 방법을 진정한 결실로 가져다 줍니다. 어떤 학생은 이 단계가 가장 어렵다고 느낄 수 있으며, 개인 작업에서 가장 뛰어난 학생도 다른 사람들 앞에서 자신의 생각을 발표하고 방어해야 할 때는 상당히 비효율적이 될 수 있습니다. 물론 그 반대도 마찬가지입니다. 아마도 이 글을 읽는 대부분의 독자는 관리직에 진출할 계획이 있기 때문에 이 글을 읽고 있을 것입니다. 경영은 진공 상태에서 이루어지는 것이 아니라 사람을 위해 사람이 운영하는 것입니다. 다른 사람들과 소통하고 협력하는 능력은 효과적인 경영을 위해 필요한 자질 목록에서 높은 순위를 차지합니다. 
While there are undoubted rewards from individual study of cases, the give and take of the classroom brings the case method to true fruition. Some students will find this the most difficult step of all; some who are most brilliant in their individual work become quite ineffective when called on to present and defend their thinking before others. The reverse is also true, of course. Presumably, most of the readers are here because they plan to enter a management career. Management is not carried on in a vacuum; it is run by people for people. The ability to communicate with others and to work with others stands high on the list of qualities necessary for effective management.

사례법을 수업에 활용하면 상대방의 의견을 경청하는 법을 배우고, 자신을 표현하고 다른 사람을 자신의 관점으로 설득하는 방법을 배우는 경험을 할 수 있습니다. 이 방법은 자신의 판단에 대한 자신감을 얻을 수 있는 기회를 제공할 뿐만 아니라 어느 정도의 겸손함도 제공합니다. 또한 문제의 한 차원 또는 다른 차원에 대한 엄격한 논리적 분석과 공통 분모가 없는 여러 요소를 고려해야 할 때 판단력이 어느 정도까지 발휘되는지 배울 수 있는 가장 귀중한 기회를 제공합니다.5 
The case method if used in class provides an experience in learning to listen to the views of one’s gears and in learning how to express one’s self and perhaps to persuade others to one’s point of view. The method provides an opportunity to gain confidence in one’s own judgment, but also a degree of humility as well. It also provides a most invaluable opportunity to learn how far one can go by rigorous logical analysis of one or another dimension of the problem and the extent to which judgment comes into play when many factors which have no common denominator must be weighed.
5

8.5.5 케이스 방법의 한계: (말콤 1954)
8.5.5 Limitations of Case Method: (Malcolm 1954)

그러나 사례법에는 단점도 있습니다. 
The case method, however, has its disadvantages.

첫째, 행정 기술 개발의 진전이 느리고, 특히 학생이 사례법을 처음 접하고 사례법에 따른 자신의 변화된 지위와 책임을 이해하려고 노력하는 초기에는 학생과 교사 모두 좌절감을 느낀다. 
First, progress in developing administrative skills is slow, and student and teacher alike feel thwarted, especially in the early months, when the student first comes into contact with the case method and is seeking to comprehend his changed position and responsibilities under the case method of instruction.

둘째, 교육에 적용되는 사례법은 사실에 대한 기본적인 지식과 성숙도(책임을 받아들일 준비가 되어 있는 상태)를 전제로 하는데, 그 결과가 현실적이기 위해서는 학생의 젊음에 한계를 두어야 합니다.
Secondly, the case method as applied to instruction assumes a basic knowledge of facts as well as a maturity - - a readiness for acceptance of responsibility- - that, if the results are to be realistic, puts a lower limit to the youthfulness of the student.

사례 방법의 더 중요한 한계는 문제 상황을 지나치게 단순화한다는 것입니다. 검색해야 할 영역이 사례 자체에 의해 제한되기 때문에 문제 인식이 단순화되는데, 이는 비즈니스에서는 일반적이지 않은 조건입니다. 또한, 비즈니스 상황에서는 어떤 정보가 필요한지 결정하고 적절한 노력을 기울이면 얻을 수 있는지를 파악하는 것이 관리자의 중요한 업무인 반면, 사례에서는 분석과 계획에 필요한 요소와 많은 정보가 사례 작성자에 의해 사례에 통합되어 있습니다. 사례 방법의 또 다른 중요한 한계는 전체 행정 프로세스를 종합할 수 없다는 것입니다. 분석이 완료되고 계획이 수립된 후에는 실제 수행 과정, 대면 수준에서 세부 사항을 매일 감독하고 결과를 확인하는 작업이 있으며, 이 과정에서 사례 방법은 제한적으로 도움이 될 수 있습니다.
A more important limitation of the case method is that it oversimplifies the problem situation. Recognition of a problem is simplified because the areas to be searched are limited by the case itself, a condition not typical of business. Furthermore, the factors involved and much of the information needed for analysis and planning have been incorporated in the case by the case writer; whereas in the business situation, deciding what information is required and getting it (if it is available with an appropriate expenditure of effort) are an important part of the task of the administrator. Another important limitation of the case method is that it cannot synthesize the whole administrative process. After analysis is completed and plans have been laid, there is the actual carrying-out process, the daily supervision of details on a face-to-face level, and the checking up on results, in operation for which the case method can be of limited help.

8.6 요약
8.6 Summary

변화하는 사회에 적응하는 새로운 직업 문화 속에서 고등 교육은 지속적인 변화를 경험하고 있습니다. 따라서 교육자/강사는 전통적인 강의식 학습을 넘어서는 사고방식이 필수적이 되었습니다. 교육 전문가는 자신의 전문적 요구와 전문 분야에서 발생하는 새로운 주제에 대해 철저히 생각할 수 있는 연구자이자 지식 사용자가 되어야 합니다. 따라서 문제, 프로젝트 및 연구 기반 학습은 수동적인 학습에서 능동적인 학습으로의 전환을 촉진하여 교육자와 학생이 자신의 분야가 얼마나 복잡한지 인식하고 이 분야를 형성하는 사회적, 문화적, 역사적, 철학적, 심리적 맥락에 부합해야 한다는 것을 이해할 수 있도록 합니다. 성공적인 교육을 위해서는 교사가 자신의 전문 분야에 대한 연구자가 되어야 합니다. 이 제안을 위해 대학 프로그램은 학생과 교사의 연구 역량, 특히 연구 프로젝트 수행과 관련된 역량을 개발하고 지식과 학문적 경험을 전문적 실천으로 옮길 수 있도록 학습 프로그램과 방법을 조정해야 합니다. 이 장에서는 수업 기반 교수법에 대한 대체 학습 모델, 즉 문제 기반 학습, 프로젝트 기반 학습, 연구 기반 학습 및 사례 기반 학습에 대해 자세히 설명했습니다. 이러한 방법과 관련된 프로세스, 주의 사항 및 이러한 방법을 통해 얻을 수 있는 이점에 대해 설명했습니다. 
In this new professional culture, adapted to a changing society, higher education is experiencing a continuous transformation. Thus, it has become imperative for educators/ instructors to think beyond the traditional lecture bound learning. Education professionals ought to be researchers and knowledge users to be able to think thoroughly upon their own professional needs and upon the new topics arising in their professional field. And thus problem, project, and research based learning facilitate a shift from a passive to an active learning enabling educators and students to become aware of how complex their field is and to understand that this field should meet the social, cultural, historical, philosophical, and psychological context shaping it. Teachers should become researchers of their own professional practice, in order to give thrive successfully. For this propose, university programs have to adapt their study programs and methods in order to develop both students/ teachers’ research competences, especially those related to conduct research projects and also to be able to transfer their knowledge and academic experiences to their professional practice. The current chapter has gone into details about alternate learning models to class based teaching viz., problem based learning, project based learning, research based learning and case based learning. Process involved in, cautions to be exercised, and benefits accrued from these methods have been described.

8.7 주요 용어 및 정의
8.7 Key terms with Definition

문제 기반 학습: 문제 기반 학습은 학생들이 개방형 문제를 해결하기 위해 그룹으로 작업하여 과목을 학습하도록 하는 학생 중심 접근 방식입니다. 문제는 동기 부여와 학습의 원동력이 됩니다. 
Problem based Learning:
Problem based Learning is a student-centered approach in which students are made to learn a subject by working in groups to solve an open-ended problem. The problem is what drives the motivation and the learning.

프로젝트 기반 학습: 프로젝트 기반 학습은 "복잡하고 실제적인 질문과 신중하게 설계된 제품 및 과제를 중심으로 구성된 확장된 탐구 과정을 통해 학생들이 지식과 기술을 학습하도록 유도하는 체계적인 교육 방법"입니다.
Project based Learning:
Project based Learning is “a systematic teaching method that engages students in learning knowledge and skills through an extended inquiry process structured around complex, authentic questions and carefully designed products and tasks”

연구 기반 학습: 연구 기반 교수법이란 학생들이 코스에서 독립적으로 실험/연구를 수행하고 그 결과를 공개하는 것을 의미합니다. 이러한 형태의 교수학습은 강사와 학생이 공동으로 새로운 지식을 습득하는 데 중점을 둡니다.
Research based learning:
Research-based teaching means that students carry out experiments/ research in their courses independently and with an open outcome. This form of teaching and learning focuses on the joint acquisition of new knowledge by lecturers and students.

사례 기반 학습: 사례 기반 학습은 주어진 환경에서 문제에 대한 가능한 최선의 해결책을 찾기 위한 체계적인 그룹 토론 연습입니다. 이는 단순한 경험의 공유를 넘어 협동적이고 창의적인 사고의 연습입니다.
Case based Learning:
Case based Learning is a systematic group discussion exercise to find the best possible solution to the problem in the given environment. It is more than just a pooling of experience; it is an exercise in cooperative and creative thinking.

8.8 검토 질문
8.8 Review Questions

1. 문제 기반 학습이란 무엇을 이해합니까? 강사/교사가 학생들에게 이러한 유형의 학습을 장려하는 것이 왜 중요하다고 생각하십니까?
2. 프로젝트 기반 학습이란 무엇입니까? 전통적인 교실 학습과 어떻게 다른가요? 오늘날의 역동적인 비즈니스 세계와 어떤 관련이 있습니까?
3. 프로젝트 기반 학습에서 직면하는 다양한 도전 과제에 대해 설명하고, 강사/진행자로서 이러한 장애물을 극복할 수 있는 방법을 제안하세요?
4. 연구 기반 학습이란 무엇을 이해합니까? 몇 가지 예를 들어 설명하십시오.
5. 교실에서 연구 기반 학습을 시작하는 것이 왜 중요하다고 생각하는가?
6. 연구를 통해 가르치는 것이 학생뿐만 아니라 교수자에게도 어떤 이점이 있는지 설명하십시오.
7. 사례 기반 학습이란 무엇을 이해합니까? 이러한 유형의 학습을 통해 학생들이 탐구할 수 있는 다양한 생활 기술/취업 능력에는 어떤 것이 있습니까?

  • 1. What do you understand by Problem based learning? Why do you think it is important for instructor/ teacher to encourage this type of learning among students?
  • 2. What is Project based learning? How is it different form the traditional classroom learning? What is its relevance in today’s dynamic business world?
  • 3. Describe various challenges confronted in project based learning; suggest means to overcome these hurdles as instructor/ facilitator?
  • 4. What do you understand by research based learning? Explain with few examples.
  • 5. In your opinion why it is important to initiate research based learning in the classroom.
  • 6. What area the benefits of teaching through research to the instructor as well as student, explain.
  • 7. What do you understand by case based learning? What are the different life skills/ employability skills of students can be explored through this type of learning?

 

8.9 사례 연구
8.9 Case Study

기업가 정신: 사례
Entrepreneurship: A Case

디팍 조시는 17살 때 한 가게에서 아이스크림을 맛보고 더 맛있게 만들 수 있다고 생각했습니다. 그는 자신만의 레시피를 만들어 고향인 벨가움에서 아이스크림 바, 콘, 컵을 판매하기 시작했습니다. 사람들은 그에게 더 많은 것을 요청하기 시작했습니다. 디팍은 마이소르에서 직접 교육을 받고 다양한 맛과 구성의 아이스크림을 만드는 기술을 개발했습니다. 디팍 조시는 적은 수익과 어머니의 부엌을 이용해 아이스크림을 대량으로 만들기 시작했습니다. 그 후 그는 직접 포장지를 디자인하고 여러 학교에서 아이스크림을 판매하는 친구들을 위한 커미션 시스템을 개발했습니다. 
When Deepak Joshi was 17 years old, he sampled ice cream at a store and thought that he could make it better. He made his own recipe and began selling ice cream bars, cones, and cups in his hometown of Belgaum. People began asking him for more. Deepak got himself trained at Mysore and developed skills to prepare ice creams of different flavours and compositions. Using meager profits and his mother’s kitchen, Deepak Joshi began making large batches of ice creams. He then designed his own wrappers and developed a commission system for friends who sold ice creams at several schools.

장사가 너무 잘되어 집착이 될 정도였습니다. 디팍은 방과 후, 주말, 공휴일에도 일했고, 보건부에서 아이스크림 제조 허가를 받을 때까지 잠시 영업을 중단한 기간을 제외하고는 대학을 졸업할 때까지 자신만의 방법으로 다양한 종류의 아이스크림을 만들었습니다. 처음에는 특별한 장비를 구입하거나 다른 활동을 희생하지 않고도 수요를 충족할 수 있었지만, 대학 기금 모금 행사나 축제에 아이스크림을 제공하기 시작하자 수요가 수용 능력을 초과했고, 결국 Deepak은 전문 장비를 구입하고 도우미를 고용하고 대량으로 물품을 구입해야 했습니다. 
Business was so good that it became an obsession. Deepak worked after college, weekends, and holidays and aside from a brief period when the health department suspended his operations until he obtained proper permits to make ice cream, he made different types of ice cream by trying his own methods until he graduated from college. At first, he could meet the demand without purchasing special equipment or sacrificing other activities, but when he began providing ice creams for college fund raising events and fun fairs, demand exceeded capacity, and Deepak found himself buying professional equipment, hiring helpers, and purchasing bulk supplies.

디팍은 당시를 돌이켜보며 사업에 대한 집착과 긴 시간, 그리고 배움에 대한 열정을 떠올렸습니다. 디팍은 지역 상점에 주문하고 수십 개의 학교, 대학, 케이터링 업체, 호텔, 시민 단체와 계약을 맺기 시작했습니다. 그의 사업은 곧 가족과 가장 친한 친구들까지 끌어들여 회사를 등록하고 아이스크림 가게를 차렸습니다. 첫 달에 18,000건의 주문을 받았고, 졸업할 무렵에는 3개 주에 있는 소매점에 특수 아이스크림을 납품하고 있었습니다. 
Looking back, Deepak recalled the obsession, the long hours, and the drive to learn about business. Deepak set about placing orders with local stores and developing contracts with dozens of schools, colleges, caterers, hotels, and civic organizations. His business soon consumed his entire family and closest friends; he registered the company and set up an ice cream parlour. During the first month, he has 18,000 orders, and by the time he graduated, Deepak was distributing specialty ice creams to retail stores in three States.

26세가 되던 해, 디팍은 회사를 특수 아이스크림의 주요 유통업체로 재편하고 현재의 아이스크림 제조 및 유통 시스템을 보완할 수 있는 고급 아이스크림 가게 체인을 계획하기 시작했습니다. 계획을 잠시 멈추고 생각해보니 지역 또는 전국적인 체인을 시작하려면 조직에 큰 변화가 필요하다는 것을 깨달았습니다. 그와 그의 가족이 모든 책임을 감당해서는 안 되며, 디팍의 아이스크림 사업의 성격이 바뀔 것입니다. 큰 사업을 추진한다는 생각은 흥미로웠지만, 디팍은 불안한 마음을 감출 수 없었습니다. 
At the age of 26, Deepak repositioned his company as a major distributor of specialty ice creams and began planning a chain of upscale ice cream parlours which would complement his current ice cream manufacturing and distribution system. When he paused to think about his plans, he realized that to launch a regional or national chain would mean major changes in his organization. He and his family should not handle all the responsibilities, and the nature of Deepak’s ice cream business would change. Though the idea of pursuing a major business was exciting, Deepak would not help feeling apprehensive.

디팍은 자신의 사업을 되돌아보며 많은 사람들이 자신의 성공을 그저 좋은 아이스크림을 만들다가 우연히 좋은 시장을 몇 군데 발견한 한 젊은이의 운에 지나지 않는다고 생각한다는 사실을 깨달았습니다. 사실 그는 고객을 유치하기 위해 매우 열심히 노력했습니다. 대부분의 고객들은 젊은 대학생에게 물건을 사는 것을 불편해했고, 고객들은 오랫동안 그와 거래하기 전까지는 그를 진지하게 받아들이지 않았습니다. 디팍에게 고객을 확보하는 것은 장애물이 아니라 항상 도전이었으며, 특이한 아이스크림을 만드는 일은 흥미진진했습니다. 
Reflecting upon his business, Deepak realized that many people considered his success to be no more than the luck of a personable young man who made good ice creams and accidentally stumbled upon a few good markets. In fact, he had worked extremely hard to attract clients. Most of his customers had not been comfortable buying from a young college student, and customers seldom took him seriously until they had dealt with him for a long time. Winning over customers had always been a challenge to Deepak, not a roadblock, and creating unusual ice creams had been exciting.


회사 경영자가 되고 싶다는 생각은 없었고, 항상 다른 사람들과 잘 어울렸지만 디팍은 독립하는 것을 좋아했습니다. 회사를 운영한다는 것은 자신의 자율성을 희생하는 것을 의미하지만, 자신의 전문 아이스크림을 판매하는 매장 체인을 만드는 것은 수년 동안 꿈꿔온 일이었습니다. 동시에 사업 확장은 재정적 위험을 수반하기 때문에 디팍은 항상 부채를 피하고 현금으로만 거래하며 사소한 손실도 피하기 위해 항상 신중하게 비용을 계산해왔습니다. 디팍은 자신의 젊은 커리어에서 중요한 기로에 서 있다는 것을 깨달았습니다. 꿈을 좇아 사업을 확장할지, 아니면 기존 사업에 만족할지 선택해야 했습니다. 
He was not anxious to become a corporate manager, and although he had always worked well with others, Deepak liked being independent. Running a company would mean sacrificing his autonomy, yet the idea of a chain of stores selling his specialty ice creams had been a dream for years. At the same time, expansion would mean financial risk, and Deepak had always avoided debt; he dealt in cash and had always carefully calculated his expenses to avoid even the slightest loss. He realized that he was at a major crossroad in his young career. The choice seemed to be whether to follow his dream and expand or to be content with his existing business.

사례 연구를 위한 질문
Questions for Case Study

1. 디팍 조시의 기업가적 특성을 파악하세요. 성공적인 기업가의 특징과 어떻게 일치하는가?
2. 아이스크림 가게 체인으로 확장할지 여부에 대해 디팍이 직면한 결정에 대한 입장을 취하십시오.
3. 디팍에 대해 알고 있는 것과 그의 특성이 무엇이라고 생각하는지에 근거하여, 그의 성공이 운 때문이라고 할 것인가 아니면 끈기 때문이라고 할 것인가? 설명하십시오.
4. 모든 비즈니스 벤처에서 운은 어떤 역할을 하는가?

  • 1. Identify the entrepreneurial characteristics of Deepak Joshi. How do they match the characteristics described for successful entrepreneurs?
  • 2. Take a position regarding the decision facing Deepak on whether to expand into a chain of ice cream parlours.
  • 3. Based on what you know about Deepak and what you believe his characteristics to be, would say his success was due to luck or persistence? Explain.
  • 4. How does luck play a role in any business venture?

 

 

 

연구-바탕 교육과정 설계에서의 실제성 프레임워크 (TEACHING IN HIGHER EDUCATION, 2017)
A framework for authenticity in designing a research-based curriculum
Navé Wald and Tony Harland

소개
Introduction

저희는 뉴질랜드 오타고 대학교의 학부 생태학 커리큘럼을 살펴보던 중 고등 교육에서 진정성이라는 주제에 관심을 갖게 되었습니다(Harland, Wald, Randhawa, 곧 출간 예정). 이 프로그램에서 학생들은 연구를 통해 학습하며, '진정성'이라는 개념은 오랫동안 학습 활동 설계의 중심이 되어 왔습니다. 기본 아이디어는 학생들이 생태학을 공부할 때마다 어떤 형태로든 진정성 있는 연구에 참여해야 한다는 것입니다. 우리가 진정성이라고 생각하는 것을 달성하기 위해 교사는 전문적인 연구 활동을 사용하여 학생들을 안내합니다. 진정성을 갖추기 위해 교사-학생 관계는 대학원 감독과 호환되는 모델로 전환됩니다. 교육 및 커리큘럼에 대한 이러한 일반적인 접근 방식은 연구자로서 학생을 가르치기 위한 전략 2에서 Jenkins, Healey, Zetter(2007)에 의해 설명되었지만, 이 저자들은 진정성을 주장하지는 않습니다. 생태학에서는 이전에는 '진정성'의 정확한 의미를 고려하지 않았으며, 이 글에서는 이 용어의 사용과 관련된 담론적 수사를 이론 및 교육 실무와 관련하여 살펴볼 것입니다. 그런 다음 이러한 지식을 바탕으로 연구를 통해 교수의 진정성에 대한 프레임워크를 제시합니다.  
We became interested in the subject of authenticity in higher education while examining the undergraduate ecology curriculum at the University of Otago, New Zealand (Harland, Wald, and Randhawa forthcoming). In this programme, students learn by doing research and the concept of ‘authenticity’ has long been central to the design of learning activities. The basic idea is that anytime students are studying ecology, they should be engaged in some form of authentic research. In order to achieve what we consider as authenticity, teachers use their professional research activities to guide them. In order to be authentic, the teacher-student relationship shifts towards a model compatible with postgraduate supervision. This general approach to teaching and curriculum has been described by Jenkins, Healey, and Zetter (2007) in their Strategy 2 for teaching students as researchers, although these authors do not claim authenticity. In ecology, we had not previously considered the precise meaning of ‘authenticity’ and in this essay the discursive rhetoric around the use of the term will be examined in relation to theory and teaching practice. We then use this knowledge to offer a framework for authenticity in teaching through research.

우리는 연구자로서 학생들을 가르치는 다양한 모델에서 진정성에 대한 주장을 찾기 시작했지만(Hung and Chen 2007, Laursen 외. 2010, Sadler 외. 2010, Sadler and McKinney 2010), 고등 교육에서도 다양한 맥락에서 진정성이 사용된다는 사실을 발견했습니다. 여기에는 교수 및 학습(Cranton 2001, Cranton과 Carusetta 2004a, 2004b, Herrington과 Herrington 2006, Herrington, Reeves, Oliver 2014), 평가(Frey, Schmitt, and Allen 2012, Gulikers, Bastiaens, Kirschner 2004, Herrington과 Herrington 1998), 성취(Newmann 1996, Newmann과 Archbald 1992) 등이 포함됩니다. 거의 모든 경우에서 '진정성' 또는 '진정성 있는 행동'을 구성하는 요소의 의미는 완전히 설명되지 않았으며, 따라서 여전히 애매한 상태로 남아 있습니다. 고등 교육에서 진정성에 대한 연구는 결코 미지의 영역이 아니지만, 역사적 측면에서 보면 20세기 듀이주의 사상(Petraglia 1998)에 뿌리를 둔 비교적 최근의 아이디어이므로 교육의 진정성에 대한 탐구는 긴 궤적을 가지지 않습니다(Splitter 2009).
Although we set out to find claims to authenticity in various models of teaching students as researchers (Hung and Chen 2007; Laursen et al. 2010; Sadler et al. 2010; Sadler and McKinney 2010), we discovered that it was also used in many different contexts in higher education. These include teaching and learning (Cranton 2001; Cranton and Carusetta 2004a, 2004b; Herrington and Herrington 2006; Herrington, Reeves, and Oliver 2014), assessment (Frey, Schmitt, and Allen 2012; Gulikers, Bastiaens, and Kirschner 2004; Herrington and Herrington 1998), and achievement (Newmann 1996; Newmann and Archbald 1992). In nearly all cases the meaning of what constitutes ‘being authentic’ or ‘doing something authentically’ is not fully explained and thus remains elusive. While the study of authenticity in higher education is by no means uncharted territory (for examples see Carusetta and Cranton 2005; Cranton and Carusetta 2004a, 2004b; Kreber 2013; Kreber et al. 2007), in historical terms it is a relatively recent idea rooted in twentieth-century Deweyan thought (Petraglia 1998), and thus inquiries into educational authenticity do not have a long trajectory (Splitter 2009).

진정성의 복잡성을 이해하기 시작하려면 용어의 다양한 용도와 정의를 살펴보는 것부터 시작할 수 있습니다. 옥스퍼드 영어 사전(1989)은 '진위성'을 명사로, '진품'을 형용사이자 명사로 정의합니다. 주로 이러한 용어는 사람, 문서, 인공물, 아이디어, 행동, 정체성, 프로세스 등 어떤 것을 지칭합니다. - 진짜, 진품, 진실, 원본, 사실, 정확성, 유효성, 권위 등의 고유한 특성을 지닌 것으로 인식되는 것을 의미합니다. 정확한 의미는 구체적인 맥락에 따라 달라집니다. 사회학적 관점에서 '진정성은 존재의 상태가 아니라 과정이나 표현의 객관화, 즉 특정 시간과 장소의 사람들이 이상이나 모범을 대표한다고 동의하게 된 일련의 자질을 의미합니다'(Vannini and Williams 2009, 3). 따라서 진정성은 사회적으로 구성되므로 유동적이고 맥락에 따라 달라지며 논쟁의 대상이 될 수 있습니다. 따라서 진정성의 구성은 권력, 현실성, 권위, 그리고 궁극적으로는 우월성에 대한 내재적이고 암묵적인 아이디어를 암시합니다. 따라서 진정성은 다양한 의미와 가치가 담긴 키워드입니다(Williams 1976).
To begin to appreciate the complexity of authenticity one can start by examining the term’s various uses and definitions.

  • The Oxford English Dictionary (1989) defines ‘authenticity’ as a noun and ‘authentic’ as both adjective and noun. Primarily, these terms refer to something – person, document, artefact, idea, behaviour, identity, process, etc. – having the perceived inherent quality of being real, genuine, true, original, factual, accurate, valid, authoritative, and so forth. The exact meaning will depend on the specific context at hand.
  • From a sociological perspective, ‘Authenticity is not so much a state of being as it is the objectification of a process or representation, that is, it refers to a set of qualities that people in a particular time and place have come to agree represent an ideal or exemplar’ (Vannini and Williams 2009, 3). 

Thus, authenticity is socially constructed and as such is fluid, highly contextual and may be contested. Constructions of authenticity, then, allude to inherent and implicit ideas of power, realness, authority and, ultimately, of superiority. Authenticity is, therefore, a keyword laden with a range of meanings and values (Williams 1976).

연구를 통해 과학을 가르친다는 좁은 맥락에서조차도 실질적으로 다른 교육 모델과 관련하여 진정성에 대한 주장이 제기되는 것은 놀라운 일이 아닙니다. 그런 다음 우리는 '어떤 이유로 사건과 경험이 어떻게 해석되고 해석되어야 하는지에 대해 궁금증을 불러일으킬 때 철학을 해야 한다'고 주장한 맥신 그린(1973, 10)에서 힌트를 얻습니다. 달리 말하면, 그린은 우리가 파편화되고 의미가 거의 없는 그림에서 더 나은 일관성을 추구할 때 추상화로 전환할 것을 촉구합니다. 따라서 이 글에서는 이 용어의 사용과 관련된 담론적 수사를 살펴볼 것입니다. 진정성에 관한 문헌을 읽은 것은 연구를 통한 학습의 원리와 진정성 이론을 연결할 수 있는 중요한 아이디어를 발견하기 위한 목적으로 특별히 수행되었습니다. 본질적으로 우리는 '우리의 작업이 '진정성있다'라는 말을 이해하는 데 도움이 되는 매우 복잡한 현상에서 무엇을 취할 수 있을까'라는 연구 질문을 던졌습니다. 문헌 검토를 통해 새롭게 등장한 연관성을 바탕으로 교육과 학습, 그리고 진정성에 대한 현재의 논쟁에 정보를 제공하기 위해 설계된 프레임워크를 구축했습니다. 그 결과, 우리의 질문과 관련된 진정성을 이해하는 세 가지 방법을 확인할 수 있었습니다:  
It is of little surprise then that even within the narrower context of teaching science through research, claims for authenticity are made in relation to substantially different educational models. We then take a cue from Maxine Greene (1973, 10) who argued we ought to ‘philosophize when, for some reason, we are aroused to wonder about how events and experiences are interpreted and should be interpreted’. Put differently, Greene urges us to turn to abstraction when we seek better coherence from a picture otherwise fragmented and of little sense. In this article, therefore, the discursive rhetoric around the use of the term will be examined. Our reading of the literature on authenticity was done specifically with the purpose of discovering significant ideas that might connect the principles of learning through research with the theories of authenticity. Essentially we were asking the research question: ‘what can we take from a highly complex phenomenon that would help us understand our work as authentic?’ After our literature review, emerging associations were used to construct a framework designed to inform both teaching and learning and the current debates around authenticity. We were able to identify three ways of understanding authenticity that were relevant to our inquiry:

  1. '실제 세계'와 관련된 진정성
    Authenticity as relating to the ‘real-world’
  2. 실존적인 진정한 자아
    The existential authentic self
  3. 의미의 정도
    A degree of meaning

 

'현실 세계'와 관련된 진정성
Authenticity as relating to the ‘real world’

진정성을 과학교육과 연결하는 가장 일반적이고 응용적인 관점은 '실제 세계'를 반영하는 교육입니다. 간단히 말해, '진정성 있는 과학은 과학자들이 연구하는 방식과 밀접하게 일치하는 탐구 교육의 변형이며 전통적인 학교 과학 실험실 실습과는 다르다'(크로포드 2015, 113)고 할 수 있으며, 이 개념은 우리가 여기서 다루는 생태 프로그램의 커리큘럼 설계에 큰 지침이 되었습니다. 과학교육의 진정성에 대한 이러한 단순한 개념화는 '상응하는 관점'(Kreber 2013, Splitter 2009)으로도 알려져 있으며, 존 듀이와 진보주의 운동의 실용주의 교육적 신념과 강하게 공명합니다. 듀이는 엘리트주의-이상주의 교육과 직업-도제 교육 사이의 확립된 이분법을 거부했는데, 이는 '아이디어의 궁극적 중요성은 현실 세계에 적용될 때 그 결과에서 찾을 수 있다는 가정에 뿌리를 둔 거부'였습니다(Petraglia 1998, 26). 따라서 페트라글리아(1998)는 듀이가 교육과 '실제 삶' 사이의 벽을 허물고, 이를 통해 진정성에 대한 특정한 수사학을 확립한 영향력 있는 유산을 남겼다고 평가합니다. 듀이는 '학습은 학생들에게 '배울 것'이 아니라 '할 일'이 주어질 때 일어난다'고 믿었으며, 학생들이 하는 일은 '실제 삶'과 관련되어야 하며, 이것이 바로 이러한 접근 방식을 의미 있고 가치 있게 만드는 이유입니다(Greene 1973, 158, 원문에서 강조). 
The most common and applied perspective that links authenticity with science education is teaching that mirrors the ‘real world.’ Put simply, ‘Authentic science is a variation of inquiry teaching that aligns closely with how scientists do their work and differs from traditional school science laboratory exercises’ (Crawford 2015, 113), and this concept has largely guided the curriculum design of the ecology programme that we address here. This simple conceptualisation of authenticity in science education, also known as the ‘corresponding view’ (Kreber 2013; Splitter 2009), strongly resonates with the pragmatist pedagogical beliefs of John Dewey and the Progressivist movement. Dewey rejected the established dichotomy between an elitist-idealist education and vocational-apprenticeship training, a rejection that ‘was rooted in the assumption that the ultimate significance of an idea is to be found in its consequences when applied in the real world’ (Petraglia 1998, 26). Thus, Petraglia (1998) attributes to Dewey the influential legacy of dismantling the wall between education and ‘real life,’ by which a particular rhetoric of authenticity was established. Dewey believed that ‘learning takes place when students are given something to do rather than something to learn,’ and what they do should relate to ‘real life,’ which is what renders this approach significant and worthwhile (Greene 1973, 158, emphasis in original).

예를 들어, 헤링턴, 리브스, 올리버(2014, 401)는 '진정성 있는 학습은 학습 과제를 미래의 사용 맥락에 위치시키는 교육학적 접근 방식'이라고 주장합니다. 따라서 진정한 학습의 모델은 지식이 실제 생활에서 그리고 나중에 어떻게 활용될지를 반영하도록 설계됩니다. 이 접근 방식에 따르면 학생들은 졸업 후 자신이 선택한 직업과 분야에서 지식을 창출하고 혁신을 이룰 수 있는 지식과 기술을 습득해야 합니다. 따라서 진정성은 전문적인 환경에서 지식이 어떻게 생산되고 전달되는지를 반영합니다(Herrington 및 Herrington 2006). 이러한 교육적 접근 방식은 지식이 적용될 맥락에서 의미 있는 학습이 설정된다는 Brown, Collins, Duguid(1989)의 상황적 학습 또는 상황적 인지 이론에 뿌리를 두고 있습니다(Herrington, Reeves, Oliver 2010).

Herrington, Reeves, and Oliver (2014, 401), for example, maintain that ‘Authentic learning is a pedagogical approach that situates learning tasks in the context of future use.’ Models of authentic learning are thus designed to reflect how knowledge will be utilised in real life and at a later time. Accoㄴrding to this approach, students should acquire knowledge and skills that would allow them, after graduation, to create knowledge and innovate in their chosen professions and fields. Therefore, authenticity reflects how knowledge is produced and communicated in professional settings (Herrington and Herrington 2006). This pedagogical approach is rooted in Brown, Collins, and Duguid’s (1989) theory of situated learning or cognition in which meaningful learning is set in the context within which the knowledge will be applied (Herrington, Reeves, and Oliver 2010).

그러나 Hung과 Chen(2007)은 학교 공동체와 전문직 공동체 모두 그 자체로 진정성이 있다고 주장합니다. 그들은 이 두 커뮤니티 간의 관계를 맥락-프로세스 프레임워크 내에서 분석해야 한다고 제안합니다. 이 프레임워크에서 진정성에 대한 접근 방식은 주로 유동적이고 다면적인 정체성 개념과 학교 공동체와 전문직 공동체 사이의 전환과 관련된 정체성의 문화화, 형성 및 변화에 초점을 맞추고 있습니다. Hung과 Chen(2007, 162-3)은 '진정성의 문제를 현실 세계의 실천과 학문에만 국한시켜서는 안 되며, 맥락과 과정 차원을 모두 만족시킬 때 진정성 있는 학습이 가능하다'고 말했는데, 여기서 전자는 실천 공동체를, 후자는 정체성 함양과 변형을 의미합니다. 이와는 대조적으로 Splitter(2009, 139)는 '교실 밖의 세계'에서 일어나는 일이 우리가 진정성이 의미하는 바, 또는 의미할 수 있는 바에 대한 표준을 제공한다는 가정에 의문을 제기합니다. 이 저자는 교실에서 이루어지는 일과 '실제 세계'에서 이루어지는 일 사이의 단순한 관계에 반대합니다. 대신, 스플리터에게 진정성은 과업의 의미, 성취도 또는 가치에 뿌리를 두고 있기 때문에 '실제'에 있는 것은 실제보다 덜 중요하다고 말합니다. 이 개념은 진정성에 대한 주장이 이상화된 관행에 대한 주관적인 가치 판단에 근거한다는 것을 의미합니다(Splitter 2009).
However, Hung and Chen (2007) argue that both what they call school community and professional community are authentic in their own right. They propose that the relationships between these two communities should be analysed within a context-process framework. In this framework, approaches to authenticity focus predominantly on the fluid and multi-faceted notion of identity, and its enculturation, formation and transformation within and in relation to the transition between the school community and the professional community. For Hung and Chen (2007, 162-3) ‘the issue of authenticity should not be constrained to real world practices and disciplines, but authentic learning should be possible when we satisfy both context and process dimensions,’ where the former refers to the practice community and the latter to identity enculturation and transformation. In contrast, Splitter (2009, 139) questions ‘the presumption that what happens in “the world beyond the classroom” offers a standard for what we mean, or might mean, by authenticity.’ This author argues against a simple relationship between what is done in the classroom and what is being done in the ‘real world.’ Instead, for Splitter authenticity is rooted in a task’s degree of meaning, fulfilment or worthiness, and therefore what is ‘out there’ is less important than what ought to be. This idea means that assertions of authenticity are based on subjective value judgments about idealised practices (Splitter 2009).

수학적 모델링을 가르치는 맥락에서 Vos(2011)는 '교육-현실 세계'의 연결고리에 대한 다른 관점을 제시합니다. Vos는 진정성의 개념이 사회적으로 구성되는 것으로 인식하고 특정 맥락에서 진정성을 형성하는 데 신중을 기할 것을 촉구합니다.

  • 먼저, 진정성이 사본과 시뮬레이션을 지칭할 수 있는지, 아니면 무조건적인 원본을 지칭할 수 있는지 결정해야 합니다.
  • 두 번째 고려 사항은 진위가 예/아니오의 이진법인지, 아니면 어느 정도 서수적 품질을 갖는지에 관한 것입니다.

보스는 진위성의 정의는 이분법적이어야 하며 원본만을 지칭해야 한다고 주장합니다. 따라서 교육 과제는 전체적으로 진정성이 있는 것이 아니라, 진정성 있는 측면을 포함할 수 있습니다. 또한 과제에 진정성 요소가 있으려면 학교 밖 전문가가 인증 할 수있는 학교 밖에서 유래 한 널리 인식 할 수있는 품질이 있어야하며, 이는 '실제로 ... 진정성을 구현'해야합니다 (Vos 2011, 720). 
Writing within the context of teaching mathematical modelling, Vos (2011) provides a different view on the ‘teaching-real world’ nexus. Vos recognises the concept of authenticity as being socially constructed and urges its formation in a particular context to be done thoughtfully.

  • First, a decision should be made as to whether authenticity can refer to copies and simulations or to unconditional originals.
  • The second consideration concerns whether authenticity is a yes/no binary or has an ordinal more-or-less quality.

Vos argues that a definition of authenticity should be a binary and refer only to originals. Consequently, an educational task will never be authentic as a whole; rather, it may contain authentic aspects. In addition, for a task to have authentic elements it must have a widely recognisable quality that has an out-of-school origin certifiable by out-of-school experts, which ‘in fact … embody the authenticity’ (Vos 2011, 720).

실존적 진정성 자아
The existential authentic self

교육에서 진정성의 또 다른 중요한 측면은 실존 철학과 자아 및 존재 감각과 관련이 있습니다. 교육 문헌에서는 교사의 행동 및 가치관, 교사-학생 관계와 관련하여 진정성의 이러한 측면을 논의하는 경향이 있지만, 여기서는 연구를 통해 교육이라는 주제와도 연결하고자 합니다. 
Another important facet of authenticity in education is linked to existential philosophy and to a sense of self and of being. Whereas the education literature tends to discuss this aspect of authenticity in relation to teachers’ behaviour and values and to teacher-student relations, here we also wish to link it to the theme of teaching through research.

철학적 관점에서 볼 때, 일부 진정성은 '현대 서구 세계의 문화적 구성물이며 ... [그리고] 개인에 대한 서구의 개념과 밀접하게 연관되어 있다'(Handler 1986, 2). 테일러(1991)의 『진정성의 윤리』에서 그는 이러한 개인주의가 현대 사회의 업적이면서 동시에 그 폐해라고 말하며, 개인주의가 사람들의 의미와 존재감에 미친 결과에 대해 우려하고 있습니다. '진정성'이란 사회적 관습과 압력에도 불구하고 자기 자신에 대해 독창적이고 진실한 것을 의미합니다. 트릴링(1972, 93)은 진정성이 '불길한 의미를 지닌 단어'이며, '이 단어가 우리 시대의 도덕적 속어의 일부가 된 것은 타락한 상태의 특이한 본질, 존재와 개인 존재의 신뢰성에 대한 불안을 가리킨다'고 지적합니다. 기든스(1991)도 자아 정체성, 대인 관계, 도덕성 또는 도덕적 지지와 관련하여 진정성에 대해 논의합니다. 그에 따르면 '진정성 있는 사람은 자신을 알고 그 지식을 담론적으로 그리고 행동 영역에서 상대방에게 드러낼 수 있는 사람'입니다(Giddens 1991, 186-7). 따라서 진정성은 사람들 간의 신뢰와 도덕적 지원을 강화하기 위해 자아의 무결성을 활용하는 데 매우 중요합니다.
From a philosophical standpoint, for some authenticity is ‘a cultural construct of the modern Western world … [and is] closely tied to Western notions of the individual’ (Handler 1986, 2). In Taylor’s (1991) Ethics of Authenticity, this individualism is both an achievement of modern society and its malaise, and he is concerned with the consequences it has had for people’s sense of meaning and being. Being ‘authentic’ means being original and true to one’s self in spite of societal conventions and pressure. Trilling (1972, 93) notes that authenticity ‘is a word of ominous import’ and that this ‘word has become part of the moral slang of our day points to the peculiar nature of our fallen condition, our anxiety over the credibility of existence and of individual existences.’ Giddens (1991) also discusses authenticity in relation to self-identity, interpersonal relationships and morality, or moral support. For him, ‘the authentic person is one who knows herself and is able to reveal that knowledge to the other, discursively and in the behavioural sphere’ (Giddens 1991, 186-7). Authenticity, then, is crucial for harnessing the integrity of the self for enhancing trust and moral support among people.

따라서 진정성은 일반적으로 긍정적인 의미를 지니며, 포터(2010, 6)가 '모성어'라고 부르는 '커뮤니티', '지속 가능성', '자연'과 같은 유사한 강력한 용어 그룹에 속한다고 볼 수 있습니다. 서구 사회는 진정성에 대한 추구에 사로잡혀 있으며, 포터는 현대 생활에서 의미를 찾기 위해 자기 성취와 발견을 추구하는 개인주의적 추구로 이해합니다. 그러나 포터에게 진정성이란 특권의 본질은 누구나 가질 수 있는 것이 아니기 때문에 특권을 구성하는 관계적이고 주관적인 속성인 허구입니다. 따라서 진정성에 대한 열망은 현대 사회의 문제에서 벗어나기보다는 근대 이전의 삶에 대한 잘못된 낭만적 관념을 조장합니다(Potter 2010). 치커링(2006)도 진정성의 일반적인 긍정적 속성과 함께 진정성이 나쁠 수 있는 가능성에 주목합니다. 그에게 진정성은 개념적으로 간단합니다. '진정성이 있다는 것은 보이는 것이 곧 얻는 것임을 의미합니다. 내가 믿는 것, 내가 말하는 것, 내가 행동하는 것이 일관성이 있다는 것입니다'(Chickering 2006, 8). 그러나 내적 일관성은 진정으로 선하거나 악한 사람에게도 똑같이 적용될 수 있습니다. 
Thus, authenticity usually carries positive connotations and arguably belongs to a group of similarly powerful terms like ‘community,’ ‘sustainability’ and ‘natural;’ what Potter (2010, 6) calls ‘motherhood words.’ Western society is possessed by a quest for authenticity, which Potter understands as an individualistic pursuit after self-fulfilment and discovery in order to find meaning in modern life. For Potter, however, authenticity is a hoax, a relational and subjective attribute that constructs privilege, because the very nature of privilege is that not everybody can have it. So rather than escaping the malaises of modern society, the aspiration to authenticity promotes ill-informed romantic notions of pre-modern life (Potter 2010). Chickering (2006) also notes the usual positive attribute of authenticity alongside the possibility for authenticity to be bad. For him, authenticity is conceptually straightforward: ‘Being authentic means that what you see is what you get. What I believe, what I say, and what I do are consistent’ (Chickering 2006, 8). Internal consistency, however, can be equally ascribed to someone who is authentically good or evil.

Kreber (2013)와 Kreber 외(2007)가 교육과 학문적 실천에서 진정성을 조사했을 때, 하이데거의 실존철학과 '죽음을 향한 진정한 존재의 존재론적 가능성'과 관련하여 '일상성', '진정성', '비진정성' 사이의 구별에 상당한 주의를 기울였습니다(Heidegger 1962, 304). 

  • 여기서 일상성이란 자신의 행동과 신념이 타인의 행동과 신념에 의해 지시되는 순응주의를 의미합니다. 이 상태는 '부(un)진정성'으로 간주되는 반면,
  • '비(in)진정성'은 사람이 자신의 예정된 죽음을 받아들이거나 깨닫지 못하여 자신의 삶을 비판적으로 검토하지 않는 상태입니다.
  • 따라서 진정성개인이 자신의 유한한 존재를 인식하고 성찰하는 삶을 살도록 요구합니다. '하이데거의 작업에서 [돌본다는 것은] 세속적인 일과 자신의 존재에 대해 '관심을 갖는 것'을 의미하기 때문에'(Kreber 외, 2007, 32, 원문 강조) 돌봄의 개념은 이러한 성찰적 삶의 핵심입니다.

When Kreber (2013) and Kreber et al. (2007) examined authenticity in teaching and academic practice, considerable attention was paid to Heidegger’s existential philosophy and his distinction between ‘everydayness,’ ‘authenticity,’ and ‘inauthenticity’ in relation to the ‘ontological possibility of an authentic Being-towards-death’ (Heidegger 1962, 304).

  • Here, everydayness denotes conformism, where one’s actions and beliefs are directed by those of others. This state is deemed unauthentic,’
  • whereas inauthenticity’ is when persons do not come to terms with or realise their own predetermined demise and therefore do not critically examine their lives.
  • Authenticity, then, requires individuals to appreciate their finite existence and live examined lives. The notion of care is central to such examined life; for ‘in Heidegger’s work, [to care] means “to be concerned about worldly affairs and one’s own existence’ (Kreber et al. 2007, 32, emphasis in original).

하이데거의 존재 방식은 무엇보다도 자신의 유한한 경력을 고려하고 이 시기에 무엇을 성취하고 싶은지, 성취해야 하는지를 고민해야 하는 교사의 직업적 삶과 관련이 있습니다.

  • 일상성이라는 선택지는 교사가 다른 모든 사람들이 하는 것처럼 보이는 일을 하는 길을 의미합니다.
  • 반대로 진정성이란 교육자로서 자신의 제한된 선택지를 인식하는 동시에 가르치는 것에 대해 성찰하고 반성하며, 자신이 가르치는 대상과 영향력에 대해 진정으로 관심을 갖는 것을 의미합니다.
  • Kreber 등(2007)에 따르면 비진정성은 가르치기를 꺼려하고 이기적인 이유만으로 가르치는 것을 의미합니다.

이러한 진정성 개념화의 초점은 주로 자기 자신에 맞춰져 있지만, 크레버와 동료들은 개인이 생활하고 행동하는 사회적 맥락의 중요성을 강조한 아도르노(1973)의 비판에도 주목합니다. 개인의 결정, 신념, 행동이 환경의 영향을 받는다는 점에서 아도르노의 진정성에 대한 관점은 보다 구조주의적입니다. 이를 깨닫기 위해서는 비판적 의식이 필요합니다.
Heidegger’s modes of Being are relevant to the professional lives of teachers, who first and foremost should consider their own finite careers and ponder what they wish or ought to achieve in this time.

  • The option of everydayness implies a path where a teacher does what everybody else seems to be doing.
  • In contrast, being authentic means to be cognisant of one’s limited options as an educator but also to be reflective and reflexive towards teaching, and to genuinely care about one’s subject and impact.
  • Inauthenticity, for Kreber et al. (2007), implies being reluctant to teach and doing so only for selfish reasons.

The focus of this conceptualisation of authenticity is devoted primarily to one’s self, but Kreber and colleagues also note Adorno’s (1973) critique that emphasises the importance of the social context within which individuals live and act. Adorno’s view of authenticity is more structuralist as an individual’s decisions, beliefs and actions are influenced by their environment. Realising this requires a critical consciousness.

의식이라는 개념은 실존주의와 진정성에 관한 사르트르의 저술에서도 핵심적인 개념입니다. 사르트르에게 있어 사람의 존재는 본질보다 우선합니다. 이것은 '인간은 무엇보다도 먼저 존재하고, 자신을 만나고, 세계로 솟구쳐 오르고, 그 후에 자신을 정의한다'는 것을 의미합니다(Sartre 2001, 29). 이는 무엇보다도 인간이 되는 데에 미리 정해진 목적이 없으며, 인간은 자신의 실존적 존재를 구성할 책임과 자유가 있다는 것을 의미합니다(카코리 및 후투넨 2012). 그러나 자신의 존재에 의미를 부여하는 자유와 책임은 내면적으로만, 고립적으로만 일어나는 것이 아니라 '존재는 본질에 선행하기 때문에 자신이 무엇이며 타인을 위해 무엇을 하는지에 대해 도덕적으로 책임이 있다. 사람은 자신에 대해서만 책임지는 것이 아니라 모든 인간에 대해 책임을 져야 한다'(카코리와 후투넨 2012, 355). 따라서 자신의 선택에 대한 책임감은 사르트르(1957)의 실존주의 사상의 핵심입니다. 또한, 선택의 자유와 능력은 아무리 제약이 있더라도 '의식의 존재와 그 자체에 대한 의식을 수반한다'(Priest 2001, 107)고 말합니다.
The idea of consciousness is also central in Sartre’s writings on existentialism and authenticity. For Sartre, a person’s existence comes before essence. This means ‘that man first of all exists, encounters himself, surges up in the world – and defines himself afterwards’ (Sartre 2001, 29). This means, inter alia, no predetermined purpose for being human as well as humans’ responsibility and freedom to construct their own existential being (Kakkori and Huttunen 2012). The freedom and responsibility for giving meaning to one’s being, however, does not happen only internally, in isolation; but rather, ‘Because existence precedes essence, one is morally responsible for what one is and what one does for others. One is not responsible for only oneself but instead for all humans’ (Kakkori and Huttunen 2012, 355). This sense of responsibility for one’s own choices, then, is key in Sartre’s (1957) existential ideas. Moreover, one’s freedom and capacity of making choices, however constrained, ‘entails the existence of consciousness, and consciousness of itself’ (Priest 2001, 107).

사르트르의 실존주의는 하이데거의 실존주의에 비해 고등 교육 분야에 덜 영향을 미쳤지만, 존재와 자아에 대한 그의 사상은 어느 정도 구매력이 있었습니다. 예를 들어, Barnett(2007)은 사르트르의 사상을 고등 교육에서 학생들이 (자신의 행동에 대한 책임을 지는 것과 같이) 자신의 존재를 변화시키는 여정과 연결시킵니다. Barnett(2007, 61)은 '고등 교육은 학생이 진정성을 갖게 될 때 정점에 도달한다'고 말하며, 여기서 하이데거의 작품에서도 발견할 수 있는 '소유권'이라는 개념이 중추적인 역할을 한다고 말합니다. 책임감소유권이라는 실존적 개념은 개인이 독립적인 학습자가 되는 데 중요하며, 이러한 학습은 답을 찾는 것뿐만 아니라 질문하는 사람이 됨으로써 이루어집니다(Greene 1973). 
Sartre’s existentialism has had less impact on the field of higher education, compared with Heidegger’s, but his ideas of being and self did have some purchase. Barnett (2007), for example, links Sartre’s ideas to the journey students undergo in higher education, where they transform their being by, among other things, assuming responsibility for their actions. For Barnett (2007, 61), ‘Higher education achieves its apogee when the student becomes authentic,’ where the idea of ‘ownership,’ which he also finds in Heidegger’s work, is pivotal. These existential ideas of responsibility and ownership are important for individuals’ ability to become independent learners, and this learning happens by means of not only finding answers but also being the ones asking the questions (Greene 1973).

Brook(2009)도 하이데거의 실존 철학과 진정성 개념을 통해 교수법을 검토합니다. 다시 말하지만, 하이데거의 실존적 의미의 진정성은 진정한 인간이 되는 것을 필요로 합니다. 이것은 자기 자신이 되고, 타인을 돌보고, 자신의 필멸성과 따라서 시간성을 깨닫는 것을 포함합니다. 인간은 진정성 있는 존재로 태어나지 않으며, 평생을 진정성 있는 존재가 되지 못한 채 살아갈 수도 있기 때문에 진정성 있는 존재가 되고 변화한다는 개념이 중요합니다. 따라서 인간은 진정한 존재가 될 수 있으며, '하이데거는 교육을 진정한 의미에서 진정성의 형성으로 공식화한다'(Brook 2009, 51, 강조 추가)고 말합니다. 이러한 맥락에서 크레버(2013, 45)는 교사와 학생 모두의 진정성을 증진하는 것이 '고등교육의 주요 목적 또는 보편적 목표가 되어야 한다'고 주장합니다. 그녀에게 고등 교육에서 그리고 고등 교육을 통해 진정성을 형성하는 것은 궁극적으로 사람들이 더 비판적이고, 인식하고, 동정심을 갖고, 연결되는 더 공정하고 풍요로운 세상을 촉진하는 것을 목표로합니다. Jarvis(1992)에 따르면 교사는 관련된 모든 사람의 개인적 발전과 성장을 촉진하려고 노력할 때 진정성 있게 행동합니다. 이 과정에서 학습은 일방적인 것이 아니라 교사와 학생이 대화를 통해 학습하고 상호 성장을 위한 책임을 공유한다는 Paulo Freire(2000)의 아이디어를 따릅니다.  
Brook (2009) also turns to Heidegger’s existential philosophy and notions of authenticity for examining teaching. Again, Heidegger’s existential meaning of authenticity necessitates becoming truly human. This constitutes being one’s self, caring for others and realising one’s own mortality and hence temporality. This notion of becoming, of transforming, is key because humans are not born authentic and may live their entire lives without being authentically themselves. Thus, they can become authentic beings, and ‘Heidegger formulates education in its proper sense as the formation of authenticity’ (Brook 2009, 51, emphasis added). In this vein, Kreber (2013, 45) argues that promoting the authenticity of both teachers and students ‘should be a chief purpose or universal aim of higher education.’ For her, the formation of authenticity in and through higher education ultimately aims to promote a fairer and more enriched world, where people are more critical, aware, compassionate and connected. For Jarvis (1992), teachers act authentically when they attempt to nurture the personal development and growth of everybody involved. In this process, learning is not uni-directional; but rather, it follows Paulo Freire’s (2000) ideas around teachers and students learning in dialogue and sharing responsibilities for mutual growth.

프레이레(2000)는 그의 대표작인 '억압받는 자의 교육학'에서 진정성을 언급하거나 '진정성'이라는 용어를 다양한 방식으로 사용했습니다. 주로 '진실성' 또는 '진정성'을 의미하며, 예를 들어 혁명(지도자가 민중과 소통하는 것)과 권위(권력이 위임되고 공유되는 것)와 관련해서도 사용됩니다. 프레이레는 연대, 자유, 진정성을 함께 연결하며, 이러한 결합은 양방향 소통의 교육학에 달려 있습니다. '진정한 교육은 'A'가 'B'를 위해 또는 'A'가 'B'에 대해 수행하는 것이 아니라, 'A'와 'B'가 (세계, 즉 양 당사자에게 감동을 주고 도전하며 그에 대한 견해나 의견을 제시하는) 세계를 매개로 수행됩니다'(Freire 2000, 93, 원문에서 강조 표시). 교사의 사고는 학생의 사고에 의해 인증되어야 하며, 프레이레에 따르면 이는 학생이 자신의 비진정적이고 억압된 존재를 확인하고 그 사고를 해방하기 위해 행동하지 않는 한 일어날 수 없습니다. 이러한 억압을 내면화하는 상태는 본질적으로 하이데거(1962)가 말한 일상성, 즉 현실을 수동적으로 받아들이고 독창적이고 비판적인 사고가 결여된 상태입니다.
In his seminal work Pedagogy of the Oppressed, Freire (2000) refers to authenticity or uses the term ‘authentic’ in various ways. It primarily denotes ‘truthfulness’ or ‘genuineness,’ for instance in relation to revolution (where leaders communicate with the people) and authority (where power is delegated and shared). Freire links together solidarity, freedom and authenticity, whose combination depends on a pedagogy of bidirectional communication, ‘Authentic education is not carried on by “A” forB” or by “A” aboutB,” but rather by “A” withB,” mediated by the world – a world which impresses and challenges both parties, giving rise to views or opinions about it’ (Freire 2000, 93, emphasis in original). The teacher’s thinking must be authenticated by student thinking and, for Freire, this cannot occur unless the students are able to identify their inauthentic and oppressed being and act to liberate their thought. Such a state of internalising oppression is essentially Heidegger’s (1962) everydayness: a passive acceptance of reality and lack of original and critical thinking.

크레버(2013, 11)는 '진정성은 적어도 세 가지의 광범위한 철학적 전통, 즉 실존주의, 비판주의, 공동체주의에 의해 뒷받침되는 다차원적 개념'이라고 말합니다. 

  • 실존적 관점에서 진정성은 자신의 가능성과 삶의 목적에 대한 자기 인식과 내면의 견해에 대한 헌신으로 이해됩니다. 
  • 비판적 관점에서 실존적 진정성을 포함한 진정성은 자신의 지식, 가치, 신념에 대한 반성적 비판을 전제로 합니다. 이러한 비판은 이러한 것들이 어떻게 무비판적으로 동화되어 왔으며, 때로는 당연한 것으로 받아들여졌는지를 고려합니다. 
  • 공동체주의적 관점은 개인의 진정성에 영향을 미치는 사회적 맥락의 중요성을 지적함으로써 비판적 관점과 관련이 있습니다. 

진정성은 종종 자기 자신을 발견하고 진실해지는 것과 관련이 있지만, 사람들은 고립되어 살지 않으며 공동체주의 관점은 관계의 중요성과 사람들의 상호 연결성을 강조합니다.
Kreber (2013, 11) notes that ‘Authenticity is a multidimensional concept underpinned by at least three broad philosophical traditions: the existential, the critical and the communitarian.’

  • From an existential perspective authenticity is understood as self-awareness of one’s own possibilities and purpose in life, and commitment to one’s inner views.
  • From a critical perspective, authenticity, including existential authenticity, is contingent on reflective critique of one’s own knowledge, values and beliefs. This critique would take account of how these have been uncritically assimilated and, at least sometimes, taken for granted.
  • The communitarian perspective is related to the critical by pointing to the importance of social contexts in affecting an individual’s authenticity.

While authenticity is often associated with discovering and being true to one’s self, people do not live in isolation and the communitarian perspective stresses the importance of relationships and people’s interconnectedness.

의미의 정도
A degree of meaning

의미의 정도진정성의 가치를 구성한다는 생각은 두 가지 측면이 있습니다.

  • 첫째, 서론에서 언급했듯이 진정성이라는 개념은 복잡하고 상황에 따라 달라지지만, 본질적으로 긍정적인 속성을 가지고 있습니다. 이런 의미에서 진정성이 있다고 평가받으려면 사람, 사물, 아이디어 또는 프로세스가 기본적으로 높은 수준의 의미를 가져야 합니다.
  • 둘째, 교육학적 관점에서 볼 때 의미의 정도는 실존적 자아뿐만 아니라 해당 관점(Splitter 2009)의 중요한 속성입니다. 따라서 의미 정도라는 개념을 통해 진정성을 이해하는 것은 여기에서 확인된 진정성의 다른 가치에 내재되어 있기 때문에 의문을 제기할 수 있습니다.

그러나 우리는 고등 교육에서 그리고 고등 교육을 통해 진정성을 향상시키는 데 중요하기 때문에 이 아이디어를 별도로 다루었습니다(Kreber 2013 참조). 이를 별개의 가치로 다루는 것은 위에서 설명한 것처럼 의식, 책임, 소유권, 보살핌에 관한 실존적 아이디어의 중요성을 강조하는 데 도움이 됩니다. 이러한 의미에서 우리는 진정한 자아가 다소 개인적인 의미를 지닌 경험('현실 세계'에 해당하거나 그렇지 않은 경험)에 따라 다르게 영향을 받는다고 주장합니다. 개인적 의미를 지닌 경험은 부과된 과제와 필수 지식을 포함하는 교육 시스템에서 항상 제공되는 것은 아니며, 학생들은 학습 과제에서 주인의식책임감에 따라 의미를 찾을 가능성이 더 높습니다.
The idea that a degree of meaning constitutes a value of authenticity is twofold.

  • First, as noted in the introduction, while the concept of authenticity is complex and context dependent, it has an inherent positive attribute. In this sense, to be regraded authentic, a person, an object, an idea or a process must by default have a high degree of meaning.
  • Second, from a pedagogical perspective, a degree of meaning is an important attribute of the corresponding view (Splitter 2009) as well as of the existential self. As such, understanding authenticity through the idea of a degree of meaning could be questioned because it is inherent to the other values of authenticity identified here.

However, we have treated this idea separately because of its importance for enhancing authenticity in and through higher education (see Kreber 2013). Having this as a distinct value serves to emphasise the importance of existential ideas around consciousness, responsibility, ownership and care, as outlined above. In this sense, we argue that the authentic self is influenced differently by experiences (‘real world’ corresponding or otherwise) that have more or less personal meaning. Experiences that have personal meaning are not always available in a system of education that includes imposed tasks and required knowledge, and students are more likely to find meaning in a learning task depending on the sense of ownership and responsibility it animates in them.

학습이 학생에게 의미를 가져야 한다는 생각은 단순히 '암기식 학습'에 반대하여 '의미 있는 학습'을 경험하는 것에 관한 것이 아닙니다(Novak 2002; Ramsden 2003). 또한 의미 있는 지식은 학습자가 이미 알고 있고 할 수 있는 것을 기반으로 구축되어야 한다는 구성주의적 관점도 아닙니다. 여기서 우리가 관심을 두는 것은 학습 경험의 맥락에서 개인적 의미를 개발하는 것입니다(Rawson 2000). Rawson에 따르면, 개인적 의미는 학생이 스스로 지식을 탐색하고, 어느 정도의 자기 결정권과 주제와 맥락을 초월할 수 있는 잠재력을 제공하는 활동에 참여할 때 가장 잘 달성됩니다. 이러한 의미에서 의미 있다는 것은 학생이 중요하거나 가치 있다고 판단하는 경험을 의미하며, 결과적으로 다른 진정성 가치와도 잘 부합합니다. 또한 하이데거와 사르트르에 따르면 학습자 개개인은 항상 더 넓은 사회적 맥락에서 주체이며, 개인의 의미는 더 넓은 커뮤니티의 다른 사람들을 통해 구성되고 그들과 공유된다고 주장합니다.
The idea that learning should have meaning for a student is not just about experiencing ‘meaningful learning’ as opposed to ‘rote learning’ (Novak 2002; Ramsden 2003). Neither is it about the constructivist view that to have meaning knowledge should be built on what the learner already knows and can do. What we are concerned about here is developing personal meaning in the context of the learning experience (Rawson 2000). According to Rawson, personal meaning is best achieved when students are engaged in their own search for knowledge, an activity that offers a degree of self-determination and the potential to transcend both subject and context. Being meaningful in this sense is about an experience that the student determines to be significant or worthwhile, and as a consequence fits well with other authenticity values. In addition, following Heidegger and Sartre, we also argue that the individual learner is always a subject in a wider social context and that personal meaning is both constructed through, and shared with, others in a wider community.

'진정성 있는' 연구를 통한 학부생 교육
Teaching undergraduate students through ‘authentic’ research

우리는 진정성의 세 가지 렌즈를 사용하여 오타고 대학의 생태학 프로그램에서 진정성 있는 연구에 대한 우리의 주장을 재고했습니다. 이 작업을 돕기 위해 이론적 아이디어를 출발점으로 삼아 각 아이디어를 교육, 커리큘럼, 지식 및 학생 학습 결과에 대한 아이디어와 연결하는 프레임워크가 개발되었습니다. 이를 통해 우리는 생태학 분야의 진정한 학부 연구를 구성하는 요소에 대한 보다 자세한 설명을 만들었습니다(표 1). 이 표에는 생태학 프로그램의 현재 관행 중 일부가 진정성에 대한 요건을 충족한다고 주장할 수 있는 개념이 포함되어 있지만, 더 중요한 것은 이러한 개념이 현상에 대한 이해를 발전시키는 데 도움이 된다는 것입니다. 프레임워크를 설명한 후에는 연구를 통한 다른 형태의 학부 교육이 이 진정성 프레임워크와 어떻게 비교되는지 논의할 것입니다.

Using the three lenses of authenticity we have reconsidered our claim to authentic research in the ecology programme at the University of Otago. To help us in this task a framework was developed that took the theoretical ideas as a starting point and then connected each of these to ideas about teaching, curriculum and outcomes for knowledge and student learning. In doing so we have produced a fuller explanation of what we consider constitutes authentic undergraduate research in ecology (Table 1). The table includes concepts that allow us to claim that parts of the present practices in the ecology programme meet the requirements for authenticity, but more importantly, these concepts assist our developing understanding of the phenomenon. After explaining the framework, we will discuss how other forms of undergraduate teaching through research compare with respect to this framing of authenticity.

이 프레임워크는 특정 맥락에서 진정성의 핵심 가치로 간주되는 것을 통합합니다. 이러한 가치는 커리큘럼을 조정할 때 교사가 집중해야 하는 주요 개념과 일치합니다(Biggs and Tang 2011). 표 1에서 정렬은 커리큘럼 설계, 교수 전략 또는 특정 교수 철학의 채택을 통해 초점 포인트를 적용하는 것을 의미합니다. 따라서 우리는 '실제 세계'에서 과학이 수행되는 방식을 반영하는 보다 응용적 속성과 실존적 자아에 대한 철학적 요소를 함께 가져옵니다. 그러나 결정적으로, 진정성은 맥락에 따라 달라지고 사회적으로 구성되기 때문에 이 프레임워크는 진정성을 주장하는 데 필요한 의미의 정도를 전달합니다. 따라서 연구를 통한 진정성 있는 교육 모델은 학생에게 연구에 대한 주인의식을 고취시켜야 하며, 이는 학생에게 과제에 대한 책임동료에 대한 보살핌을 맡기고, 교사는 전문적인 지원을 제공함으로써 달성됩니다. 따라서 이 프레임워크는 이론적 요소뿐만 아니라 실제적 요소도 포함하고 있습니다. 언급된 결과 중 많은 부분이 측정하거나 평가하기 어려운 것은 사실이지만, 더 많은 경험적 테스트가 필요하지만 현재 연구를 통해 다양한 교육 모델과 비교하여 검토할 수 있습니다. 
The framework incorporates what we consider the core values of authenticity within our particular context. These values are then matched with the main concepts that teachers would need to focus on when aligning a curriculum (Biggs and Tang 2011). In Table 1 alignment refers to the application of focus points, either through curriculum design, teaching strategies or adopting specific teaching philosophies. As such we bring together the more applied attributes of mirroring how science is done in the ‘real world,’ and philosophical elements of the existential self. But crucially, since authenticity is context dependent and socially constructed, the framework conveys the degree of meaning necessary for claiming authenticity. Thus conceived, an authentic model of teaching through research should promote students’ sense of ownership over the research, which is achieved by entrusting them with the responsibility for the work and care for their peers, while teachers provide expert support. The framework therefore contains theoretical as well as practical elements. It is certainly the case that many of the outcomes noted will be difficult to measure or evaluate, but while more empirical testing is required, it is currently possible to examine it against different models of teaching through research.

이 프레임워크를 뒷받침하기 위해 Chinn과 Malhotra(2002)는 듀이(1938)가 사용한 용어인 '진정한 탐구'와 관련된 인지적 과정에 대한 포괄적인 개요를 제공합니다. 이러한 과정에는 자신의 연구 질문 생성, 복잡한 절차의 발명, 자신의 결과에 대한 의문 제기, 다양한 형태의 논증 사용, 이전 연구의 (때로는 상충되는) 결과의 사용 등이 포함됩니다. 이러한 과제는 학생의 주인의식과 고차원적인 학습 결과로 이어집니다. 그러나 일부 저자는 완전히 다른 패러다임과 관련하여 진정성을 주장하기도 했습니다. 따라서 진정한 탐구 또는 연구, 즉 '진짜 과학을 하는 것'에 대한 단순한 이해는 일반적으로 공유되지만, 우리의 프레임워크에서는 진정성이라는 하나의 가치로만 구성됩니다. 진정성에 대한 유일한 척도를 갖는 것과는 대조적으로, 이 프레임워크를 구성하는 일련의 가치들은 필연적으로 연구를 통해 근본적으로 일관된 형태의 교육을 초래할 것입니다. 이 주장을 받아들인다면, 생태학에 대한 우리의 주장을 포함하여 모든 주장이 그 자체로 진정성이 있을 수 있는지에 대한 의문이 제기됩니다. 우리는 대답은 '아니오'라고 제안하며, 여기에 제시된 프레임워크가 연구 모델을 통한 진정한 교육을 설계하는 데 어느 정도 유연성을 허용하지만, 적절하고 인식 가능한 경계를 설정하기 때문에 충분히 제약적이라는 점에 유의해야 합니다. 
In support of the framework, Chinn and Malhotra (2002) provide a comprehensive overview of the cognitive processes implicated in what they call ‘authentic inquiry,’ a term also used by Dewey (1938). These processes include the generation of one’s own research questions, the invention of complex procedures, the questioning of one’s own results, the employment of multiple forms of argument, the use of (sometimes conflicting) results from previous studies, and more. These tasks lead to both ownership and higher-order learning outcomes for students. However, some authors have made claims for authenticity in relation to quite different paradigms. Therefore, while the simple understanding of authentic inquiry or research – namely ‘doing real science’ – is commonly shared, in our framework it constitutes only one value of authenticity. In contrast to having a sole measure for authenticity, the set of values constituting this framework will inevitably result in a fundamentally consistent form of teaching through research. If this argument is accepted, then it brings into question whether all claims can be authentic in their own right (including our own for ecology). We suggest the answer is no, and further note that although the framework offered here allows for some flexibility in designing an authentic teaching through research model, it is also sufficiently constraining because it sets adequate and recognisable boundaries.

이를 '실제 세계'의 가치와 관련하여 설명하기 위해 Laursen 외(2010, 2)에 따르면 '실제 연구란 질문, 방법, 일상적인 작업 방식이 해당 분야에 진정성 있는 연구'라고 합니다. 따라서 학부 연구는 진정성에 대한 해당 관점을 주요 특징으로 삼고, 프로그램의 가치나 효과를 평가할 수 있는 기준으로 삼습니다. 같은 저자들은 또한 진정성이 교직원과 학생 모두에게 유익한 것으로 보고 있으며 다음과 같은 점에 주목합니다:
To illustrate this with reference to the ‘real world’ value, according to Laursen et al. (2010, 2), ‘real research is an investigation whose questions, methods, and everyday ways of working are authentic to the field.’ Undergraduate research, therefore, privileges the corresponding view of authenticity as a key feature, and positions it as a benchmark according to which the value or effectiveness of a programme could be evaluated. The same authors also see authenticity as being beneficial to both staff and students and note that:

지도교수는 답을 알 수 없지만 자신과 자신의 학문에 관심이 있고, 그 답에 기득권을 가지고 있기 때문에 진짜인 연구 질문에서 시작합니다. 그들은 그 질문의 범위를 정의하고, 제한된 시간 내에 초보 연구자에게 적절한 규모의 프로젝트를 제공하는 접근 방식을 고안한 다음, 의도적으로 가르칠 수 있는 순간을 활용합니다. (Laursen 외. 2010, 205)
Advisors begin with a research question that is real because its answer is unknown but of interest to them and their discipline; they have vested interest in its answer. They define the scope of that question and devise approaches to it that offer a right-sized project to a novice researcher with a limited time frame, then purposefully exploits its teachable moments. (Laursen et al. 2010, 205)

그러나 진정성 있는 연구에 대한 이러한 관점에도 문제가 없는 것은 아닙니다. 이러한 연구 프로젝트는 교실을 넘어서는 관련성이 있고 독창적이라는 측면에서 진정성이 있을 수 있지만, 학생들의 독창성, 창의성 및 아이디어와 관련된 측면에서는 그렇지 않을 수 있습니다. 또한 Hung과 Chen(2007)의 말을 빌리자면, 이 모델은 과학자로서의 정체성을 형성하고 교양을 쌓는 진정한 학습의 과정 차원에서는 부적절할 수 있습니다. 마찬가지로, 우리의 프레임워크를 사용하면 이러한 모델이 '실제' '지식 결과' 기준의 일부 요소를 충족할 수 있지만 학생의 기여도를 완전히 인정받지 못할 수도 있습니다. 또한 학생이 연구 설계 및 수행에 대한 책임이 있다는 의미에서 프로젝트를 소유하지 않기 때문에 세 가지 가치 범주에 걸친 학생의 성과가 실현될 가능성이 낮습니다. 
This view of authentic research, however, is not without problems. Such a research project could be authentic in terms of having relevance beyond the classroom and being original, but not so much in relation to students’ originality, creativity and ideas. And, borrowing from Hung and Chen (
2007), this model may be inadequate for the process dimension of authentic learning, where identity formation and enculturation as scientists are developed. Similarly, using our framework, whereas such a model may satisfy some elements of the ‘real-world’ ‘knowledge outcomes’ criterion, the contribution of the student may not be fully recognised. In addition, student outcomes across the three value categories are unlikely to materialise because the student does not own the project in the sense of having the responsibility for designing and performing the research.

다른 학생 연구 모델도 있으며, 미국에서는 학부생이 기존 과학 연구팀에서 견습생으로 일할 수도 있습니다(Laursen 외. 2010). Grabowski, Healy, Brindley(2008)는 학부생이 교수진의 연구 프로젝트와 매칭되어 구직 지원과 유사한 과정을 거치는 프로그램을 조사했습니다. 오버하우저와 르분(2012)은 학부생이 시민 과학이라는 더 넓은 틀 안에서 연구에 참여하는 약간 다른 사례를 조사합니다. 이 모델에서 학생들은 연구 설계, 프로토콜 테스트, 데이터 수집, 출판물 공동 저술과 같은 다양한 연구 과제를 수행했으며, 이 모든 과제는 진정성 있는 것으로 간주되었습니다. 그러나 이 연구의 대부분이 여름 방학 동안 이루어졌고, 얼마나 많은 학생이 프로젝트에 참여했는지 명확하지 않았으며, 학생들이 다른 실제 하위 과제에 참여했을 수 있기 때문에 전체 연구 과정을 경험했는지 또는 얼마나 많은 학생이 경험했는지는 확실하지 않습니다. 
There are other models of student research and in the United States, undergraduates may work as apprentices in an established scientific research team (Laursen et al. 2010). Grabowski, Healy, and Brindley (2008) examine a programme where undergraduate students are matched with faculty members’ research projects in a process that resembles a job application. Oberhauser and LeBuhn (2012) examine a slightly different example whereby undergraduate students engage in research within a broader framework of citizen science. In this model students performed different research tasks such as study design, protocol testing, data collection and co-authoring publications, all of which were deemed authentic. It seems, however, that much of this research was done over summer breaks, it was not clear how many students were involved in the project, and because students may have been involved in different authentic sub-tasks it is not certain if or how many experienced the complete research process.

학부 연구에 대한 접근 방식에 대한 간략한 논의에서 Harvey와 Thompson(2009, 13)은 진정한 학부 연구 경험이란 '발표 및 출판을 목표로 연구를 수행하는 지적 동료로서 한 명 이상의 학생을 참여시키는 교수 주도 프로젝트'라고 주장합니다. 저자들이 인정하듯이 이 접근 방식에는 소수의 선별된 학생만 참여할 수 있고 교수의 연구 관심사에 치우칠 수 있지만, 지속 가능한 모델이 될 수 있습니다. 결정적으로, 학생의 참여는 인지적으로나 인식론적으로 유의미해야 하며, 의미 있는 협업으로 이어져야 하는데, 이는 위에서 언급한 다른 견습 모델보다 더 중요한 요건일 수 있습니다. 그러나 저자들이 이 견습 모델이 지속 가능한 상생 모델이라는 보다 명시적인 주장과 '실제 과학을 하는 것'이라는 암묵적인 주장 외에 왜 이 모델이 진정성 있는 것으로 간주되는지는 명확하지 않습니다. 
In their brief discussion of approaches to undergraduate research, Harvey and Thompson (2009, 13) maintain that an authentic undergraduate research experience is ‘a faculty-led project [that] engages one or more students as intellectual colleagues who conduct research directed toward presentation and publication.’ This approach would include, as the authors admit, only a small and selective number of students and would lean towards the teacher’s research interest, but this would make it a sustainable model. Crucially, students’ involvement should be cognitively and epistemically significant, resulting in a meaningful collaboration, a requirement that perhaps goes further than some of the other apprenticeship models mentioned above. It is not entirely clear, however, why this apprenticeship model is deemed authentic by the authors, beyond the more explicit claim that it is a win-win sustainable model and the implicit claim that it is about ‘doing real science.’

연구 견습생 관련 문헌을 검토한 새들러와 맥키니(2010)는 여러 연구에서 이러한 직책을 맡은 학부생이 지식과 기술 수준이 향상되었다는 증거를 발견했다고 언급했습니다. 그러나 이 저자들은 '이러한 경험이 데이터 분석, 질문 제기, 가설 세우기 등 인식론적으로 더 까다로운 관행을 포함하도록 발전하지 않으면 고차원적인 결과에 대한 학습 이득이 제한될 수 있다'는 우려를 표명합니다(Sadler and McKinney 2010, 48). 따라서 학생들이 '실제' 연구에 참여할 수는 있지만, 어떤 역할이나 과제를 수행해야 하는지, 주인의식, 책임감, 관심을 통해 의미를 가질 수 있을 만큼 연구 과정을 충분히 경험할 수 있는지 여부가 항상 명확하지는 않습니다.  
In a review of the research apprentice literature, Sadler and McKinney (2010) noted that several studies found evidence that undergraduate students that held such positions improved their level of knowledge and skills. However, these authors express a concern that ‘if these experiences do not evolve to include more epistemically demanding practices, such as data analysis, question posing, and hypothesizing, then learning gains on higher-order outcomes will likely be limited’ (Sadler and McKinney 2010, 48). Thus, students may be involved in ‘real-world’ research but it is not always clear what roles or tasks they are required to perform and whether or not they get to experience enough of the research process for it to have meaning through a sense of ownership, responsibility and care.

또한, 도제식 모델에서 '실제' 연구를 통한 학습이 대중 고등 교육에 적합한 전략인지에 대한 적절한 의문이 제기되고 있습니다. 소수의 재능 있는 학생을 선별하여 연구 기회를 제공하는 것과 모든 능력을 갖춘 다수의 학생이 독창적인 연구를 수행하여 학습하는 것은 결코 같을 수 없기 때문에 이 질문은 중요합니다. 예를 들어, Gardner 등(2015)은 '떠오르는 대학 신입생'(62명)을 포함한 견습생 연구 프로그램을 연구했는데, 그 수는 공개되지 않았지만 8명의 학생이 연구 참여에 동의했습니다. 따라서 이 프로그램은 상대적으로 소수의 뛰어난 능력을 가진 학생들을 대상으로 한 것으로 보입니다. 반면, 우리의 프레임워크는 연구를 통한 진정한 교육을 학급의 모든 학생을 위한 커리큘럼에 통합할 수 있는 지침을 제공하는 것을 목표로 합니다. 
Moreover, there is a pertinent question as to whether learning through ‘real-world’ research in an apprenticeship model is a viable strategy for mass higher education. This question is important since selectively identifying a small number of talented students for research opportunities is by no means the same as getting a large number of students of all abilities to learn by carrying out original research. Gardner et al. (2015), for instance, studied an apprenticeship programme of research that included what they describe as ‘rising college freshmen’ (62), and while their number was not disclosed, eight student agreed to take part in the study. It seems, therefore, that this programme was targeted at relatively small number of exceptionally capable students. In contrast, our framework aims to provide guidance for the incorporation of authentic teaching through research into a curriculum for all students in a class.

2000년대 초 오타고 대학교의 생태학 프로그램이 재설계되었을 때 주요 목표 중 하나는 비판적 사고 능력을 개발하는 것이었습니다. 과학자가 되는 법을 배우는 것도 우선 순위가 높았지만 이는 대부분 비판적 사고의 범주에 속했습니다. 그러나 이 두 가지 모두 학생들이 진정한 연구에 참여하게 함으로써 달성할 수 있는 목표였습니다(Spronken-Smith 외. 2011). Spronken-Smith 외(2011, 732)는 '생태학 프로그램의 탐구는 학생에게 새로운 지식을 창출하고 궁극적으로 과학에 새로운 지식을 제공할 수 있는 모든 기회가 있어야 한다는 의미에서 진정성이 있었다'고 말합니다... [프로그램의 3년 동안의] 모든 연구 활동은 생태학자의 작업 측면을 다루기 때문에 이런 의미에서 모두 진정성이 있다'고 설명합니다. 앞서 언급한 '실제 세계'에 상응하는 진정성에 대한 주장은 좀 더 심도 있는 설명이 필요합니다. 
When the ecology programme at the University of Otago was redesigned in the early 2000s one of the main aims was to develop critical thinking skills. Learning to be a scientist also featured high as a priority, but this largely fell within the parameters of critical thinking. Both, however, were to be achieved through getting students engaged in authentic research (Spronken-Smith et al. 2011). Spronken-Smith et al. (2011, 732) note that ‘the inquiry in the ecology programme was authentic in the sense that there had to be every chance of new knowledge being created for the student and eventually new knowledge to science … All research activities [over three-years of the programme] cover aspects of an ecologist’s work so, in this sense, they are all authentic.’ This earlier claim to ‘real world’ corresponding authenticity requires some more in-depth explanation.

커리큘럼은 모든 학생이 대학에 처음 입학할 때부터 연구자로서의 훈련을 받도록 설계되어 3년 동안의 경험 중 일부는 연구를 통해 배우는 데 중점을 두어 연구를 수행하도록 합니다. 연구 활동은 학생들의 현재 능력에 맞게 조정되며, 프로그램이 진행됨에 따라 기대되는 연구 수준이 높아져 결국에는 고급 대학원생이나 심지어 학부 교사의 작업과 비슷해집니다(Harland 2016). 이 프로그램은 학생들이 완전히 설계하고 주도하는 캡스톤 연구 프로젝트로 마무리됩니다. 이 연구 프로젝트의 준비는 프로그램에 참여한 교사들이 연구를 수행하는 방식을 면밀히 따릅니다. 학생들은 짝을 이루어 2학년 때 짧은 현장 학습을 통해 다양한 생태계를 탐험한 후, 3학년 프로젝트에 대한 연구 제안서와 함께 보조금 신청서를 작성합니다. 이 보조금 신청서는 교직원과 학생이 모두 참여하는 이중 맹검 동료 검토 과정을 거치며, 피드백은 연구 설계를 개선하는 데 사용됩니다. 프로그램 3년차에는 학생들이 연구 프로젝트를 수행하고 보고서를 작성합니다. 이러한 프로젝트에서 생성된 지식은 해당 분야에 새로운 지식일 가능성이 높으며, 지난 몇 년 동안 일부는 기존 학술지(Harland, Wald, Randhawa 곧 출간 예정)에 연구를 발표하기도 했습니다. 그러나 이 프로그램은 미래의 학자를 양성하는 것이 목적이 아니라 학생 연구자로서의 작업을 통해 모든 학생의 개인적 성장을 촉진하고자 합니다(Harland 2016).
The curriculum is designed so that all students are trained as researchers from when they first start at university so that a part of their experiences over three years focuses on learning through research by learning to do research. Research activities are aligned to students’ current abilities and as they progress in the programme, the expected level of research increases so that eventually their work resembles that of more advanced postgraduate students or even of their academic teachers (Harland 2016). The programme concludes with a capstone research project that is fully designed and led by the students. The preparation of this research project follows closely how the teachers in the programme do research. Working in pairs, and following a short fieldtrip in second-year where students explore a number of different ecosystems, students write a grant application with a research proposal for the third-year project. This grant application goes through a double-blind peer-review process involving both staff and students, and the feedback is then used to improve the research design. In the third year of the programme, students conduct their research projects and write their reports. The knowledge generated in these projects has every chance of being new to the discipline and in past years some have published their research in established journals (Harland, Wald, and Randhawa forthcoming). The programme, however, does not aim to train future academics; instead, it wishes to promote the personal growth of all students through their work as student-researchers (Harland 2016).

이 모델에는 '실제 과학 수행'이라는 익숙한 형태로 '실제 세계'와의 대응이 포함될 수 있지만, 우리는 더 이상 이것만으로는 '진짜authentic'라고 부르기에 충분하다고 주장하지 않습니다. 오히려 연구를 통한 교육이 진정성을 가지려면 학생들이 자신이 선택한 학문 분야에서 학습자이자 연구자로서, 그리고 교실 밖에서도 자아를 긍정적이고 의미 있게 발전시킬 수 있어야 한다는 것이 우리의 견해입니다. 진정성 있는 학습자는 자신의 가치와 행동에 대한 지식을 얻고 이것이 자신과 타인에게 어떤 영향을 미치는지 알게 됩니다. 학생들의 의식에 대한 이러한 실존적 효과는 학생들이 더 큰 책임감을 갖도록 장려하고 연구를 결정할 수 있는 더 많은 자유를 부여하는 커리큘럼을 통해 달성됩니다. 이 주장을 받아들인다면, 이러한 교육 모델에서 연구는 독창적일 뿐만 아니라 대부분 학생이 주도해야 한다는 결론이 나옵니다. 표 2는 생태학 프로그램의 캡스톤 프로젝트에서 학생과 교사가 책임져야 하는 '실제' 과제를 세분화하여 보여줍니다.
The ‘real-world’ correspondence may be embedded in this model in the familiar form of ‘doing real science,’ but we would no longer claim that this in itself is sufficient for calling it ‘authentic.’ Rather, it is our view that for teaching through research to be authentic, it should positively and meaningfully enable students to develop their sense of self, both within their chosen discipline as learners and researchers, and beyond the classroom. The authentic learner gains knowledge about his or her values and actions and how these impact on self and others. This existential effect on students’ consciousness is achieved by a curriculum that encourages them to assume greater responsibility and that gives them more freedom to determine their research. If this argument is accepted, then it follows that in such a pedagogical model research should be not only original but also largely student-led. Table 2 breaks down ‘real-world’ corresponding tasks and shows what students and teachers assume responsibility for in the capstone project of the ecology programme.


이러한 책임은 진정한 자아의 일부이지만, 이것이 프로젝트 주인의식을 전제로 하는 개인적으로 의미 있는 경험과 어떻게 관련될지 예측하기는 더 어려워 보입니다. 학생에게 책임감을 부여하고 프로젝트를 설계하도록 요구할 수는 있지만, 진정성에 대한 우리의 관점에서 진정으로 느껴야 하는 소유권을 부여할 수는 없습니다(Barnett 2007). 지금까지는 코스 평가에서 주인의식이 특히 학습자이자 연구자로서 자신감을 키우는 데 매우 중요하다는 사실이 일관되게 밝혀졌다는 사실 외에 이러한 경험이 학생들에게 어떤 의미를 갖는지는 명확하지 않았습니다. 진정성의 맥락에서 우리는 진정성 있는 학습 경험에 어느 정도의 개인적 의미가 필요한지 묻고 있습니다. 우리가 결정해야 할 것은 의미가 학습자이자 생태학자가 되는 데, 그리고 궁극적으로 한 사람의 존재와 자아가 되는 데 어떤 영향을 미치는지입니다(Barnett 2007). 그런 다음 이것이 공동 연구 커뮤니티 내에서 일하는 것과 어떤 관련이 있는지, 그리고 나중에 학생들이 사회에 더 광범위하게 기여하는 방법과 어떤 관련이 있는지 확인해야 합니다. 

Such responsibility is part of the authentic-self but it seems more difficult to predict how this might relate to personally meaningful experiences that are predicated on the idea of project ownership. Students may be given responsibility and be required to design a project, but they cannot be given ownership, which has to be genuinely felt (Barnett 2007) in our view of authenticity. To date it has not been clear what the experiences have meant to students, beyond the fact that course evaluations have consistently shown that ownership has been very important, particularly with respect to students growing in confidence as both learners and developing researchers. In the context of authenticity we are asking what degree of personal meaning is required for an authentic learning experience. What we need to determine is how meaning impacts on becoming a learner and an ecologist, and ultimately on being and becoming one’s own person (Barnett 2007). We then need to ascertain how this relates to working within a collaborative research community and perhaps later how students contribute to society more broadly.

전반적으로, 그리고 보다 실용적인 측면에서 볼 때, 연구를 통한 진정한 교육 모델은 대학원 및 학부 연구자들이 지식을 학습하고 생성하는 방식을 최대한 가깝게 따르는 모델이며, 여기에는 여러 가지 기술적 작업뿐만 아니라 연구에 만연한 복잡성, 불확실성, 정치성을 다루어야 하는 것도 포함됩니다. 이 개념에서 학부생은 마치 대학원생처럼 일하기 때문에 일반적으로 이 수준에서 기대할 수 있는 것보다 훨씬 더 큰 학습 책임을 지는 동시에 교수와 훨씬 더 긴밀하고 협력적인 관계를 구축합니다(Harland 2016). 이러한 새로운 관계는 고차원적인 학습 성과와 인식론적으로 까다로운 관행에 대한 요구의 결과입니다. 우리 중 한 명은 수년 동안 이 프로그램에 참여해 왔고 오랫동안 학생들을 연구자로 가르치는 것을 지지해 왔지만, 연구를 통한 교육에서 진정성을 위한 프레임워크의 정교화는 프로그램 개발에서 거의 고려되지 않았던 기술적 과제와 가치를 모두 강조했습니다. 이는 대부분 실존적인 진정한 자아와 의미의 정도와 관련이 있습니다. 이 프레임워크를 통해 우리는 이러한 형태의 교육학, 무엇에 집중해야 하는지, 우리의 가치를 실천과 어떻게 일치시킬 수 있는지 재고할 수 있었습니다. '현실 세계'에 해당하는 과제는 비교적 쉽게 연계할 수 있는 것처럼 보이지만, '존중', '소속감', '풍요로움'과 같은 가치는 학생의 학습 결과에 대한 광범위한 토론에서 거의 주목을 받지 못했으며, Barnett(2007)의 '되기'는 더더욱 그러했습니다. 그러나 우리는 이러한 요소들이 모두 진정한 연구를 통해 학습의 필수적인 부분이라고 주장할 수 있습니다. 
Overall, and in more pragmatic terms, an authentic model of teaching through research is one that follows as closely as possible how postgraduate and academic researchers learn and generate knowledge, which includes a number of technical tasks as well as having to deal with the complexities, uncertainties and politics that are omnipresent in research. In this conception, undergraduate students work as if they were postgraduate students and so have a far greater responsibility over their learning than might typically be expected at this level, while establishing a much closer and more collaborative relationship with their teachers (Harland 2016). These new relationships are a consequence of the drive for higher-order learning outcomes and epistemologically demanding practises. Although one of us has been involved in this programme for many years, and has long been an advocate of teaching students to be researchers, the elaboration of a framework for authenticity in teaching though research has highlighted both technical challenges and values that have received little consideration in the development of the programme. These are mostly related to the existential authentic self and degree of meaning. The framework has allowed us to reconsider this form of pedagogy, what to focus on and how to align our values with practice. Although the ‘real world’ corresponding tasks seem relatively straightforward to align, values such as ‘respect’, ‘belonging’ and ‘enrichment’ have received little attention in wider debates on student learning outcomes; Barnett’s (2007) ‘Becoming,’ even less so. Yet we would argue that they are all an essential part of learning through authentic research.

결론
Conclusions

이 논문은 학부 생태학 프로그램에서 연구를 통한 교육과 관련하여 무엇이 진정성을 구성하는지에 대한 논의에서 시작되었습니다. 과학 교육에서 진정성이란 일반적으로 과학자들이 교실에서 생각하고 작업하는 방식을 그대로 재현하는 것을 의미합니다(Crawford 2015). 그러나 우리의 토론은 진정성에 대해 더 미묘하고 정보에 입각 한 조사를 수행하도록 자극하는 여러 가지 질문을 제기했습니다. 학부생들이 독창적인 연구를 통해 새로운 지식을 창출하는 데 참여하도록 하는 아이디어는 연구를 통한 교수법에서 중추적인 역할을 하며, 진정성은 일반적으로 소위 '실제 세계'와 '대응하는 관점'으로 알려진 것과 관련하여 프레임워크가 구성됩니다(Splitter 2009). 
This paper was conceived out of a discussion about what constitutes authenticity in relation to teaching through research in an undergraduate ecology programme. The common use of authenticity in science teaching refers to replicating the way in which scientists think and work in the classroom (Crawford 2015). Our discussion, however, raised a number of questions that prompted us to carry out a more nuanced and informed inquiry into authenticity. The idea of getting undergraduate students involved in generating new knowledge through original research is pivotal in pedagogies of teaching through research and authenticity is commonly framed in relation to the so-called ‘real world,’ and what has become known as the ‘corresponding view’ (Splitter 2009).

그러나 여기에 제시된 진정성에 대한 제안된 프레임워크는 연구를 통한 교육에서 진정성을 구성하는 요소에 대한 보다 복잡한 이해를 제공합니다. 이는 일반적으로 사용되는 '현실 세계'에 해당하는 관점에 진정성의 다른 두 가지 핵심 가치, 즉 실존적 진정한 자아의미의 정도를 추가함으로써 그렇게합니다. 하이데거, 아도르노, 사르트르와 같은 실존 철학자들의 연구, 특히 의식, 책임, 소유권, 보살핌과 관련된 진정성에 대한 그들의 분석은 고등 교육 분야의 학자들에 의해 확인되고 사용되어 왔습니다. 그러나 여기서 우리의 주요 기여는 이러한 아이디어를 연구를 통해 교육 맥락에서 '현실 세계'에 대한 상대적으로 더 일반적인 아이디어와 결합하는 것입니다. 실존주의와 밀접한 관련이 있는 의미의 정도는 진정성과 관련된 주로 긍정적인 의미를 반영하며, 이는 다시 우수한 모범의 표현이라는 개념의 더 일반적인 의미를 반영합니다. 이러한 가치들을 종합하면 교사가 주요 초점 포인트와 이러한 포인트가 다양한 결과와 어떻게 연계되는지를 안내하는 프레임워크가 구성됩니다. 이 프레임워크는 커리큘럼을 설계할 때 어느 정도 유연성을 허용하는 동시에 연구를 통해 과학 교육의 맥락에서 우리가 진정성이 있다고 인식하는 것에 대한 명확한 지침과 경계를 제공합니다. 
The proposed framework for authenticity presented here, however, offers a more complex understanding of what constitutes authenticity in teaching through research. It does so by adding to the commonly used ‘real world’ corresponding view two other core values of authenticity; namely, the existential authentic self and a degree of meaning. The work of existential philosophers such as Heidegger, Adorno and Sartre, and more specifically their analyses of authenticity in relation to consciousness, responsibility, ownership and care, have been identified and used by scholars in higher education. But our main contribution here is joining these ideas together with the relatively more common ideas about the ‘real world’ within the context of teaching through research. A degree of meaning, which is also closely related to existentialism, reflects the predominantly positive connotation associated with authenticity, which in turn echoes the concept’s more common meanings as a representation of a superior exemplar. Put together, these values constitute a framework that directs teachers towards key focus points and how these align with different outcomes. It allows for some flexibility in designing a curriculum while at the same time provides clearer guidance and boundaries for what we perceive to be authentic in the context of science teaching through research.

따라서 제안된 프레임워크는 주로 연구를 통한 진정한 교육 모델이 어떻게 학생들의 개인적, 심지어 직업적 발달에 긍정적이고 의미 있으며 장기적인 효과를 가져올 수 있는지에 초점을 맞추고 있습니다. 프레임워크의 '학생'과 '지식 결과'에는 교육자로서 학생들이 갖추기를 바라는 몇 가지 핵심 가치와 기술이 포함되어 있습니다. 프레임워크의 '초점' 및 '정렬' 구성 요소는 커리큘럼이 이러한 가치와 기타 결과를 심어줄 수 있는 방법에 대한 지침 역할을 합니다. 원하는 결과를 달성하기 위한 이러한 수단은 주로 학생이 주도하고 책임감, 주인의식, 파트너십 및 배려의 개념을 키우는 학습 환경에 의해 조정되는 '실제 세계'에 해당하는 과제에 달려 있습니다. 하지만 이 프레임워크 내에서 '실제 세계' 측면에 대한 몇 가지 좋은 증거가 있지만, 실존과 의미 속성에 대해서는 더 많은 조사가 필요합니다. 
The proposed framework is thus mainly concerned with how an authentic model of teaching through research could lead to positive, meaningful and long-lasting effects on the personal, and perhaps even professional, development of students. The ‘student’ and ‘knowledge outcomes’ in the framework include some key values and skills that we as educators wish our students to have. The ‘focus’ and ‘alignment’ components in the framework serve as guidance for ways in which a curriculum could instil those values and other outcomes. These means for achieving the desired outcomes predominantly rests on ‘real world’ corresponding tasks that are student-led and moderated by a learning environment that fosters notions of responsibility, ownership, partnership and care. And yet, while we have some good evidence for the ‘real world’ aspects within this framework, the existential and meaning attributes require further inquiry.


ABSTRACT

This conceptual paper is concerned with the discursive and applied attributes of ‘authenticity’ in higher education, with a particular focus on teaching science through student research. Authenticity has been mentioned in passing, claimed or discussed by scholars in relation to different aspects of higher education, including teaching, learning, assessment and achievement. However, it is our position that in spite of the growing appeal of authenticity, the use of the term is often vague and uncritical. The notion of authenticity is complex, has a range of meanings and is sometimes contested. Therefore, we propose here a practice-oriented and theoretically-informed framework for what constitutes authenticity within the context of teaching through research. This framework brings together aspects of the ‘real world,’ existential self, and embedded meaning, and aligns them with different outcomes relating to knowledge and to students. Different models of teaching through research with conflicting claims to authenticity are used to illustrate the framework.

연구-바탕 학습이 효과적인가? 사회과학에서 사전-사후 분석(STUDIES IN HIGHER EDUCATION, 2021)
Is research-based learning effective? Evidence from a pre–post analysis in the social sciences
Insa Wessels a,b, Julia Rueßa, Christopher Gessa, Wolfgang Deickea and Matthias Zieglerb

 

소개
Introduction

교육과 연구는 잘 정의된 다양한 교육 형식을 통해 연결될 수 있습니다. 그 중 하나는 학생이 지도 교수자의 도움을 받아 스스로 연구를 수행하는 연구 기반 학습(RBL)입니다. RBL은 현재 의미 있는 학습 경험의 부족과 자극적인 교육 형식의 필요성 등 고등 교육 분야의 다양한 요구를 해결하기 위한 만병통치약으로 여겨지고 있습니다. 따라서 몇몇 저자와 기관은 모든 학문적 연구 프로그램은 아니더라도 많은 학문적 연구 프로그램의 커리큘럼에 RBL을 통합해야 한다고 주장합니다(예: Healey와 Jenkins 2009). 실제로 미국 국립과학재단의 REU 프로그램과 같이 다양한 학문 분야와 형태로 RBL을 구현하려는 프로그램이 점점 더 많이 시도되고 있습니다. 이러한 노력의 주요 목표는 학생들에게 연구 참여를 경험할 수 있는 기회를 제공하는 것입니다. 과학, 기술, 공학 및 수학(STEM) 분야에서는 RBL이 실제로 그 약속에 부응하고 효과적인 학습 경험을 구성한다는 증거가 있습니다(Linn 외. 2015). 그러나 STEM 분야 외의 분야에서는 RBL이 어떤 연구 성향을 촉진하는지는 아직 불분명합니다. 따라서 본 연구는 다양한 인지적, 정의적 동기부여적 연구 성향의 습득에 관한 RBL의 효과를 사회과학 분야로 일반화할 수 있는지 살펴보고자 합니다. 
Teaching and research can be linked through a variety of well-defined instructional formats. One of these is research-based learning (RBL), in which students conduct their own research with the help of a supervisor. RBL is currently seen as a panacea for addressing a range of demands within higher education, e.g. a lack of meaningful learning experiences and the need for stimulating instructional formats. Accordingly, several authors and institutions claim that RBL should be incorporated into the curriculum of many if not every academic study programme (e.g. Healey and Jenkins 2009). Indeed, a growing number of programmes have attempted to implement RBL in a range of disciplines and forms, e.g. the REU programme by the US National Science Foundation. The main goal of these endeavours is to provide students with an opportunity to experience participation in research. In science, technology, engineering, and mathematics (STEM) disciplines, there is evidence that RBL does indeed live up to its promises and constitutes an effective learning experience (Linn et al. 2015). However, outside the STEM disciplines, it is still unclear which research dispositions RBL fosters. Thus, this study aims to examine whether RBL’s effectiveness regarding the acquisition of various cognitive and affective-motivational research dispositions can be generalised to the social sciences.

이론적 배경
Theoretical background

다른 형태의 연구 관련 교육과 관련하여 연구 기반 학습의 포지셔닝
Positioning research-based learning in relation to other forms of research-related teaching

교육과 연구는 다양한 방식으로 연결될 수 있습니다. 널리 사용되는 모델에서 Healey와 Jenkins(2009)는 두 가지 축을 따라 학생을 연구에 참여시키기 위한 다양한 교육 형식을 구분합니다.

  • 첫 번째 축은 연구 결과 또는 연구 과정 중 어느 쪽을 강조하는지를 설명합니다.
  • 다른 축은 학생이 참여자로서 능동적인 역할을 맡는지, 아니면 청중으로서 수동적인 역할을 맡는지를 설명합니다.

이 두 축은 네 가지 형식으로 결합할 수 있습니다: 연구-지도형, 연구 주도형, 연구 중심형, 연구 기반 학습입니다. RBL에서는 교수자가 연구 과정에 초점을 맞추고 학생은 능동적으로 연구와 탐구를 수행합니다. 그러나 이러한 설명은 학생의 연구 참여의 정확한 본질을 설명하지 못합니다. Huber(2014)는 RBL을 학생이 자신의 연구 질문에 따라 자율적인 방식으로 전체 연구 과정을 진행하는 교육 형식으로 정의합니다. 교수자는 촉진자 역할을 맡습니다. 이론적으로 도출된 이 정의는 연구 관련 형식의 경험적 분류(Rueß, Gess, Deicke 2016)에서 재현되었으며, 현재 연구에서 RBL의 기본 정의로 사용됩니다.각주1 
Teaching and research can be linked in different ways. In a popular model, Healey and Jenkins (2009) distinguish among different instructional formats for engaging students in research along two axes. The first axis describes whether the research results or the research process is emphasised. The other axis describes whether students take on an active role as participants or a passive role as audience. These two axes can be combined into four different formats: research-tutored, research-led, research-oriented and research-based learning. In RBL, teaching focuses on the research process, and students actively conduct research and inquiry. However, this description fails to describe the exact nature of students’ involvement in research. Huber (2014) further defines RBL as an instructional format in which students work through the entire research process in a self-regulated manner, guided by their own research questions. The instructor takes on a facilitating role. This theoretically derived definition was replicated in an empirical classification of research-related formats (Rueß, Gess, and Deicke 2016) and serves as the underlying definition of RBL in the current study.Footnote1

연구 기반 학습의 효과
The effectiveness of research-based learning

자신의 연구 프로젝트를 수행하는 것은 다양한 인지적, 행동적, 정서적 경험을 수반하며(Lopatto, 2009, 29), 이는 결과적으로 RBL과 관련된 다양한 이점으로 이어집니다. 
Conducting one’s own research project involves various cognitive, behavioural, and affective experiences (Lopatto, 2009, 29), which in turn lead to a wide range of benefits associated with RBL.

RBL은 과학적 커리어를 육성할 수 있기 때문에 장기적인 사회적 혜택과 관련이 있습니다: RBL에 참여한 학생들은 대학원 교육 또는 박사 학위 취득에 더 큰 관심을 보였으며(Lopatto 2007; Russell, Hancock, McCullough 2007), 졸업 후 6년 후에도 과학 관련 직업에 종사할 가능성이 더 높았습니다(Hernandez et al. 2018). 
RBL is associated with long-term societal benefits because it can foster scientific careers: Students participating in RBL reported a greater interest in pursuing postgraduate education or PhDs (Lopatto 2007; Russell, Hancock, and McCullough 2007) and were more likely to be engaged in scientific careers six years after graduation (Hernandez et al. 2018).

또한 RBL은 학계 밖의 직업에도 필요한 연구 기술을 육성합니다(British Academy 2012). RBL은 데이터나 상황을 객관적으로 검토하고 문제 해결의 즐거움을 찾는 능력, 즉 '연구자적 사고방식'을 개발하는 데 도움이 된다고 합니다(Wood 2003). 연구자의 사고방식은 다양한 직업 활동에서 효과적일 수 있습니다. 예를 들어 심리 치료 분야에서 치료사는 연구 지식을 활용하여 새로운 치료 접근법에 대한 증거를 참조할 수 있습니다(Levant 외. 2006). 따라서 연구 관련 지식과 기술을 습득하는 것은 과학 및 비과학 분야 모두에서 성공적으로 커리어를 쌓기 위한 전제 조건이며, 이는 이 글의 적절한 초점입니다. 
In addition, RBL fosters research skills that are also necessary for occupations outside academia (British Academy 2012). RBL is said to facilitate the development of a ‘researcher’s mindset’ – the ability to objectively examine data or a situation and finding enjoyment in solving problems (Wood 2003). A researcher’s mindset can be effective in a wide range of professional activities. For example, in the field of psychotherapy, therapists could draw upon their research knowledge to consult evidence on new therapeutic approaches (Levant et al. 2006). Hence, the acquisition of research-related knowledge and skills is a prerequisite for successfully engaging in both scientific and non-scientific careers – making it an appropriate focus for our article.

과제를 성공적으로 수행하려면 지식과 같은 인지적 성향과 이러한 지식을 실천에 옮기기 위한 정서적 동기 부여 성향이 모두 필요합니다(Blömeke, Gustafsson, Shavelson 2015). 성향특정 상황에서 개인이 일반적으로 어떻게 행동할지를 결정하는 다양한 잠재적, 개인적 자원(예: 태도, 특성 및 능력)을 나타내는 포괄적인 용어입니다(Schmidt-Atzert와 Amelang 2012, 63). 따라서 연구 영역에서 유능한 성과를 내기 위해서는 다양한 인지적(예: 지식) 및 정서적-동기적(예: 흥미) 연구 성향이 필요합니다. RBL이 다양한 인지적 및 정의적-동기적 연구 성향의 개발을 촉진하는 데 효과적인지 여부는 이전 연구의 초점이었습니다. 기존 증거는 다음 섹션에서 소개합니다. 
Successfully engaging in a task requires both cognitive dispositions, such as knowledge, and affective-motivational dispositions to put this knowledge into practice (Blömeke, Gustafsson, and Shavelson 2015). Disposition serves as an umbrella term to denote a range of latent, personal resources (e.g. attitudes, traits and abilities) that determine how an individual will normally act in a certain situation (Schmidt-Atzert and Amelang 2012, 63). Accordingly, competent performance in the research domain requires various cognitive (e.g. knowledge) and affective-motivational (e.g. interest) research dispositions. Whether RBL is effective at facilitating the development of different cognitive and affective-motivational research dispositions has been the focus of previous studies. The existing evidence will be introduced in the following sections.

인지적 이득
Cognitive gains

RBL의 효과에 대한 대부분의 경험적 연구는 인지적 연구 성향에 초점을 맞추고 있습니다. 그러나 이러한 연구의 대부분은 STEM 학생을 평가했으며(예: Linn 외. 2015; Seymour 외. 2004), 사회과학 분야에서 RBL의 효과를 조사한 연구는 소수에 불과합니다. 사회복지학 분야의 한 연구에서 학생들은 영역 전반의 연구 지식을 습득했습니다(Whipple, Hughes, Bowden 2015). 타라반과 로그(2012)는 심리학 학생들이 연구에 참여함으로써 연구 방법 기술 향상과 같은 다양한 인지적 이점을 얻을 수 있다는 증거를 발견했습니다. RBL에 참여하면 과학적 과정 전반에 대한 이해도도 높아질 수 있습니다(Lloyd, Shanks, Lopatto 2019). 
Most empirical studies on the effectiveness of RBL focus on cognitive research dispositions. However, the majority of these studies assessed STEM students (e.g. Linn et al. 2015; Seymour et al. 2004), with only a few studies investigating the effect of RBL in the social sciences. In a study from the field of social work, students gained domain-general research knowledge (Whipple, Hughes, and Bowden 2015). Taraban and Logue (2012) found evidence for a range of cognitive benefits of psychology students’ participation in research, such as improved research methods skills. Participation in RBL can also lead to increased understanding of the scientific process as a whole (Lloyd, Shanks, and Lopatto 2019).

다른 연구자들은 개별 연구 단계와 관련된 특정 기술, 예를 들어 통계 소프트웨어 사용 능력(Whipple, Hughes, Bowden 2015), 연구 결과의 전달 및 발표 능력(Stanford 외. 2017)을 조사했습니다. 또한 RBL은 비판적 사고(Hunter, Laursen, Seymour 2007; Kilgo, Ezell Sheets, Pascarella 2015)와 독립적으로 작업하는 능력(Stanford 외. 2017)과 같은 보다 일반적인 인지적 성향을 촉진하는 것으로 보입니다. 
Other researchers have examined specific skills pertaining to individual research steps, e.g. the ability to use statistics software (Whipple, Hughes, and Bowden 2015) and communicating and presenting one’s research (Stanford et al. 2017). RBL also seems to facilitate more general cognitive dispositions like critical thinking (Hunter, Laursen, and Seymour 2007; Kilgo, Ezell Sheets, and Pascarella 2015) and the ability to work independently (Stanford et al. 2017).

따라서 사회과학에서 RBL은 다양한 인지적 성향을 촉진하는 데 효과적인 것으로 보이지만, 이러한 결과는 예비적 증거로만 사용될 수 있습니다. 이 분야의 이러한 연구와 다른 연구들의 해석 가능성과 관련된 문제는 방법론적 설계에 있습니다: 대부분의 기존 연구는 주관적인 사후 평가와 스스로 평가한 기술 향상에 초점을 맞추고 있습니다(예: 스탠포드 외. 2017). 그러나 자기 평가는 종종 성격(John and Robins 1994) 또는 기술 수준 자체(숙련되지 않은 학생은 자신의 능력을 과대평가함, Kruger와 Dunning 1999 참조)에 의해 왜곡될 수 있습니다. 객관적인 척도를 사용한 대규모 조사는 보다 실질적인 결론을 제공하지만, 지금까지는 STEM 학생을 대상으로만 완료되었습니다(예: Russell, Hancock, McCullough 2007). Linn 등(2015)은 RBL의 효과를 객관적으로 조사할 수 있는 유효한 척도가 부족하다는 것이 근본적인 문제라고 지적합니다. 이 문제를 해결하기 위해 사회과학 분야의 인지적 연구 성향을 객관적으로 측정하는 사회과학 연구 역량 테스트가 Gess와 동료들에 의해 개발되었습니다(Gess, 가이거, 지글러 2018; Gess, 웨셀스, 블뢰메케 2017). 이 도구는 연구 과정의 중요한 단계를 수행하는 데 필요한 다양한 연구 지식 영역의 일관된 모델을 기반으로 합니다(부록 1, 온라인 보충 데이터 참조). 검증 연구에서 이 도구는 사회과학 연구 교육을 평가하는 데 적합한 것으로 나타났으며 RBL의 인지적 이점을 객관적으로 측정할 수 있는 도구로 사용될 수 있습니다. 
Thus, while RBL in the social sciences seems to be effective at facilitating a range of different cognitive dispositions, these results can only serve as preliminary evidence. A problem concerning the interpretability of these and other studies in the field lies in their methodological designs: Most existing studies focus on subjective ex-post assessments and self-evaluated skill gains (e.g. Stanford et al. 2017). However, self-assessments are often distorted by personality (John and Robins 1994) or skill levels themselves (unskilled students overestimate their abilities, see Kruger and Dunning 1999). Large-scale investigations using objective measures provide more substantial conclusions, but have so far only been completed for STEM students (e.g. Russell, Hancock, and McCullough 2007). Linn et al. (2015) note that the underlying problem is a lack of valid measures to objectively investigate the effectiveness of RBL. To address this problem, the Social-scientific Research Competency Test, an objective measure of cognitive research dispositions in the social sciences, was developed by Gess and colleagues (Gess, Geiger, and Ziegler 2018; Gess, Wessels, and Blömeke 2017). The instrument is based on a coherent model of different areas of research knowledge necessary to conduct critical steps in the research process (see Appendix 1, online supplemental data). In validation studies, the instrument has been shown to be suitable for evaluating social-scientific research education and could serve as an objective measure of the cognitive benefits of RBL.

정서적 동기 부여 효과
Affective-motivational gains

고등 교육 연구에서 학습에 대한 정서적 동기 부여 측면의 중요성을 점점 더 인정하고 있습니다(예: Postareff와 Lindblom-Ylänne 2011). 이러한 일반적인 추세를 반영하여 RBL에 대한 연구에서도 정서적 동기 부여에 대한 관심이 높아지고 있습니다. 
Higher education research is increasingly acknowledging the importance of affective-motivational aspects for learning (e.g. Postareff and Lindblom-Ylänne 2011). Reflecting this general trend, affective-motivational gains have also drawn increased attention in research on RBL.

RBL이 정서적 동기 부여 연구 성향을 변화시킬 수 있다는 증거는 여러 분야의 표본을 대상으로 한 연구에서 종종 발견됩니다. 연구 자기 효능감 향상(Deicke, Gess, Rueß 2014; Whipple, Hughes, Bowden 2015), 지적 호기심 증가(Bauer, Bennett 2003), 연구 과정의 장애물에 대한 높은 내성(Lloyd, Shanks, Lopatto 2019) 등의 이점이 입증되었습니다. 또한 STEM 학생을 대상으로 한 연구에서는 학습에 대한 열망이 더 크고 모호한 문제를 해결하려는 성향이 증가하는 것으로 나타났습니다(Ward, Bennett, Bauer 2003). 
Evidence on RBL’s potential to alter affective-motivational research dispositions often stems from studies with multidisciplinary samples. Demonstrated benefits include higher research self-efficacy (Deicke, Gess, and Rueß 2014; Whipple, Hughes, and Bowden 2015), increased intellectual curiosity (Bauer and Bennett 2003) and a higher tolerance for obstacles in the research process (Lloyd, Shanks, and Lopatto 2019). Furthermore, a study with STEM students demonstrated a greater desire to learn and an increased disposition towards working with ambiguity (Ward, Bennett, and Bauer 2003).

기존의 몇몇 연구는 모두 개인의 정서적-동기적 연구 성향을 조사했으며, 주로 탐색적인 방식으로 진행되었습니다. 그러나 연구를 수행하는 것은 학생들이 불확실성과 다양한 좌절을 처리해야 하는 특히 까다로운 작업입니다(John and Creighton 2011). 따라서 연구를 성공적으로 수행하려면 연구 과정의 어려움에 대처할 수 있는 다양한 정서적-동기적 성향이 필요하다고 가정할 수 있습니다. 사회과학 분야의 학생 연구에 필요한 정서적-동기적 연구 성향에 대한 일관되고 경험적으로 근거한 모델이 최근에 개발되었습니다(Wessels 외. 2018). 예를 들어, 연구 과정을 시작하고 유지하는 데 필요한 성향은 연구 흥미가 필요하며, 연구 과정을 지속하려면 불가피한 좌절에 대처할 수 있는 좌절 내성이 필요합니다. RBL이 이러한 연구 성향을 개발하는 데 효과적인지 여부는 불분명합니다.  
The few existing studies all examine individual affective-motivational research dispositions, often in an exploratory manner. However, conducting research is an especially demanding task that requires students to handle uncertainties and manifold frustrations (John and Creighton 2011). Thus, it can be assumed that successfully conducting research requires a range of different affective-motivational dispositions to cope with the challenges of the research process. A coherent, empirically grounded model of the affective-motivational research dispositions necessary for student research in the social sciences has been recently developed (Wessels et al. 2018). It encompasses dispositions that are necessary to begin and to sustain the research process: for example, research interest is needed to initiate a research process, while sustaining it requires frustration tolerance to cope with inevitable setbacks. It is unclear whether RBL is effective in developing these research dispositions.

전반적으로 사회과학에서 RBL의 본질과 효과에 대한 연구는 다른 분야의 연구와 달리 일반적으로 부족하고 취약한 방법론적 설계에 기반하는 경우가 많습니다. 그러나 STEM 학생을 대상으로 한 연구에서 얻은 증거가 사회과학에 쉽게 적용된다고 가정할 수는 없습니다.

  • 첫째, 연구는 사회과학보다 자연과학 분야의 대학 프로그램에서 더 중요해 보입니다(Taraban and Logue 2012 참조).
  • 둘째, STEM 분야의 연구 경험은 대부분 교육적 문화가 다를 수 있는 구조화된 실험실 환경에서 이루어집니다(Rand 2016).
  • 셋째, 학문 분야별 결과 변수를 조사하려면 해당 학문 분야에서 연구를 수행해야 합니다. 

Overall, studies on the nature and effectiveness of RBL in the social sciences are generally scarce and often based on weak methodological designs – in contrast to studies from other disciplines. However, one cannot assume that the evidence gained in studies with STEM students easily translates to the social sciences.

  • First, research seems more important to university programmes in the natural sciences than in the social sciences (cf. Taraban and Logue 2012).
  • Second, most research experiences within STEM disciplines occur in structured lab environments that might have a different pedagogical culture (Rand 2016).
  • Third, if discipline-specific outcome variables are to be investigated, a study needs to be conducted in that specific discipline.

또 다른 미해결 질문은 사회과학에서 RBL이 다양한 연구 성향의 변화에 영향을 미치는 과정에 관한 것입니다. STEM 학생을 대상으로 한 연구에서 학습 향상에 대한 주요 예측 변수는 연구 경험의 기간과 강도입니다. 연구 경험이 오래 지속되고 강도가 높을수록 기술 수준이 더 크게 향상됩니다(Bauer와 Bennett 2003). 또 다른 연구에 따르면 연구 과정에서 자율성(예: 스스로 방법론을 결정할 수 있는 자율성)이 높은 학생일수록 학습 성과가 더 높은 것으로 나타났습니다(Gilmore 외. 2015). 그러나 사회과학에서 RBL 과정의 어떤 특성이 다양한 연구 성향의 변화에 영향을 미치는지는 아직 연구되지 않았습니다. 
Another open question pertains to the processes by which RBL in the social sciences affects changes in different research dispositions. In studies with STEM students, the main predictors of learning gains are the duration and intensity of the research experience: longer-lasting and more intense research experiences lead to stronger increases in skill levels (Bauer and Bennett 2003). Another study found that students with higher levels of autonomy in the research process, e.g. the autonomy to make their own methodological decisions, showed stronger learning gains (Gilmore et al. 2015). However, which characteristics of RBL courses in the social sciences affect changes in different research dispositions has not been studied yet.

연구 질문 및 가설
Research questions and hypotheses

이 백서의 목적은 사회과학에서 RBL 과정의 효과를 분석하는 것입니다.

  • (1) 연구 기반 학습이 인지적 및 정의적-동기적 연구 성향에 긍정적인 영향을 미치는가?
  • (2) 다양한 코스 특성이 이러한 연구 성향의 변화와 어떤 관련이 있는가?

The objective of this paper is to analyse the effectiveness of RBL courses in the social sciences. Two main research questions guided our work:

  • (1) Does research-based learning have a positive effect on cognitive and affective-motivational research dispositions?
  • (2) How do different course characteristics relate to changes in these research dispositions?

첫 번째 연구 질문과 관련하여 다음과 같은 가설을 테스트했습니다:
Pertaining to the first research question, the following hypotheses were tested:

  • 가설 1a: 이전 연구에서 학생의 연구 경험과 자기 평가 지식 습득 간의 연관성이 발견되었으므로(Taraban and Logue 2012), 연구 지식(방법 지식, 방법론 지식, 연구 과정 지식)에 대한 사전 시험 점수보다 사후 시험 점수가 유의미하게 높을 것으로 예측합니다. 
    Hypothesis 1a:
     As previous studies have found associations between student research experiences and self-evaluated knowledge gains (Taraban and Logue 2012), we predict that students will have significantly higher post-test scores than pre-test scores for research knowledge (knowledge of methods, knowledge of methodologies and research process knowledge).
  • 가설 1b: 이전 연구에서 학생의 연구 경험과 연구 과정의 장애물에 대한 높은 내성(Lloyd, Shanks, and Lopatto 2019)과 모호성을 다루는 능력 증가(Ward, Bennett, and Bauer 2003) 사이의 연관성이 발견되었으므로, 우리는 학생들이 정서적 동기 연구 성향에 대해 사전 테스트 점수보다 사후 테스트 점수가 유의하게 높을 것으로 예측합니다. 
    Hypothesis 1b:
     As previous studies have found associations between student research experiences and a higher tolerance for obstacles in the research process (Lloyd, Shanks, and Lopatto 2019) as well as an increased ability to work with ambiguity (Ward, Bennett, and Bauer 2003), we predict that students will have significantly higher post-test scores than pre-test scores for affective-motivational research dispositions.

두 번째 연구 질문과 관련하여 다음과 같은 가설을 테스트했습니다:
Pertaining to the second research question, the following hypotheses were tested:

  • 가설 2a: STEM 분야의 연구에서 더 길고 강도 높은 연구 경험(Bauer와 Bennett 2003)이 RBL 참여 효과에 긍정적인 영향을 미친다는 사실이 입증되었으므로, 연구 경험의 강도, 즉 수행한 연구 단계의 수가 연구 지식의 변화에 영향을 미칠 것으로 예측합니다. 
    Hypothesis 2a: Since studies in STEM disciplines have demonstrated that longer and more intense research experiences (Bauer and Bennett 2003) have a positive influence on the effect of participation in RBL, we predict that the intensity of the research experience, i.e. the number of research steps performed, will influence changes in research knowledge.
  • 가설 2b: 연구 과정에서의 자율성이 높을수록 RBL 참여 효과에 긍정적인 영향을 미친다는 연구 결과(Gilmore 외. 2015)가 있으므로, 학생들의 자율성, 즉 연구 질문과 연구 방법을 자유롭게 선택할 수 있는 능력은 정서적-동기적 연구 성향의 변화에 긍정적인 영향을 미칠 것으로 예측합니다. 
    Hypothesis 2b: Since studies in STEM disciplines have demonstrated that higher levels of autonomy in the research process (Gilmore et al. 2015) positively impact the effect of participation in RBL, we predict that students’ autonomy, i.e. ability to freely choose a research question and a research method, will positively affect changes in affective-motivational research dispositions.
  • 가설 2c: 학생들의 자기 효능감, 자신이 '진짜 연구'를 하고 있다는 지각, 학생들의 과제에 대한 교수자의 관심, 향후 진로에 대한 RBL의 유용성 지각 등 다양한 동기 부여 요인이 정의적-동기적 성향의 변화에 긍정적인 영향을 미칠 것이라고 예측합니다. 
    Hypothesis 2c: We predict that different motivating factors, e.g. students’ self-efficacy, the perception that they are doing ‘real research’, perceived instructor interest in the students’ work, and the perceived usefulness of RBL for their later career will positively affect changes in affective-motivational dispositions.

연구 방법
Methods

연구 질문에 답하기 위해 10개 대학에서 다양한 사회과학 분야에서 제공되는 RBL 과정의 시작과 종료 시점에 종이 기반 측정을 실시했습니다.
To answer our research questions, paper-based measurements were conducted at the beginning and the end of RBL courses offered in different social scientific disciplines at 10 different universities.

절차
Procedure

사회과학 분야의 비교 가능한 RBL 과정을 연구하는 것이 목적이었기 때문에 경험적 사회과학 연구 방법을 사용하는 학습 프로그램의 커리큘럼만 고려했습니다. 여기에는 사회학, 정치학, 심리학, 교육학이 포함되었습니다(Gess, Wessels, Blömeke 2017 참조). 
As the objective was to study comparable RBL courses in the social sciences, only the curricula of study programmes employing empirical social science research methods were considered. These included sociology, political science, psychology, and education science (see also Gess, Wessels, and Blömeke 2017).

적합한 RBL 코스는 코스 설명을 통해 확인했습니다. RBL의 정의에 따라 학생들이 자율적인 방식으로 전체 연구 주기를 경험할 수 있는 코스만 고려했습니다. 146개 코스의 강사에게 이메일을 통해 연락하여 연구 참여를 요청했으며, 65명이 참여에 동의했고 50명은 주로 강의 시간 제약으로 인해 참여를 원하지 않았으며 나머지 31명의 강사는 응답하지 않았습니다. 사전 테스트는 과정의 첫 2주 동안, 사후 테스트는 과정의 마지막 2주 동안 예정되어 있었습니다.
Suitable RBL courses were identified via their course descriptions. Only courses that allowed students to experience a full research cycle in a self-regulated manner were considered, in line with our definition of RBL. The instructors of 146 courses were contacted via email and asked to participate in the study; 65 agreed to participate, 50 did not wish to participate, mostly due to time constraints in the course, and the remaining 31 instructors did not respond. Pre-tests were scheduled for the first two weeks of the course, and post-tests for the last two weeks of the course.

사전 및 사후 측정은 독일 전역의 10개 대학에서 총 70개의 RBL 코스에서 실시되었습니다. 실험에 참여한 모든 대학은 다양한 분야의 학위를 제공하는 10,000~50,000명의 학생을 보유한 국공립 대학이었습니다. 
Altogether, pre- and post-measurements were conducted in N = 70 RBL courses at 10 universities across Germany. All universities included were state-funded public universities with 10,000-50,000 students offering degrees in a wide range of disciplines.

테스트는 이 기사의 저자 중 한 명이 수업 시간에 진행했으며, 그는 연구의 절차 및 일반적인 목적을 설명했습니다. 설문지는 인쇄된 소책자 형태로 배포되었습니다. 생일 월 등 민감하지 않은 정보를 기반으로 한 개인 6자리 코드를 사용하여 익명성을 보장하면서 사전 및 사후 설문지를 일치시켰습니다. 설문지를 작성하는 데 약 25분 정도 소요되었습니다. 사후 테스트도 동일한 절차를 따랐습니다. 또한 코스 강의의 특성에 대한 간단한 강사 설문조사도 실시했습니다. 
The testing itself was conducted during class time by one of the authors of this article, who explained the procedure and general purpose of the study. The questionnaires were administered in the form of printed booklets. A personal 6-digit code based on non-sensitive information, e.g. birthday month, was used to match pre- and post-test questionnaires while granting anonymity. Filling in the questionnaire took approximately 25 min. The post-test followed the same procedure. Additionally, a brief instructor survey on characteristics of the course instruction was administered.

샘플
Sample

표본은 총 952명의 학생(여성 74.1%, 남성 23.5%)으로 구성되었으며, 이 중 881명이 1차 측정에, 539명이 2차 측정에 참여했습니다. 첫 번째 측정 시점의 참여율이 더 높았던 이유는 학기 초에 코스 출석률이 높았기 때문입니다.
The sample encompassed N = 952 students (74.1% female, 23.5% male), of which 881 participated in the first measurement and 539 participated in the second measurement. Higher participation rates at the first measurement point were due to higher course attendance at the beginning of the semester.

참여 학생의 평균 연령은 M = 24.38세(SD = 4.79)였습니다. 학생의 61.6%는 학사 과정에 재학 중이었고 29.5%는 석사 과정에 재학 중이었습니다. 50명의 학생은 전통적인 독일 대학 졸업장과 같은 다른 학습 프로그램에 등록했으며, 학습 진도에 따라 학사 또는 석사 과정 학생으로 분류되었습니다. 학사 과정 학생들은 평균적으로 2학년이 거의 끝날 무렵이었으며, 이수한 학기 수는 평균 3.33학점(SD = 1.67)이었습니다. 석사 과정 학생들은 평균적으로 석사 2학년 초에 재학 중이었으며, 평균 이수 학기는 M = 2.57 (SD = 1.63) 학기였습니다.  
The mean age of the participating students was M = 24.38 years (SD= 4.79). 61.6% of the students were enrolled in a bachelor’s programme, while 29.5% were enrolled in a master’s programme. Fifty students were enrolled in other study programmes, such as the traditional German university diploma, and were treated as either bachelor’s or master’s students depending on their study progress. Bachelor’s students were near the end of their second year of study on average; the mean number of semesters completed was M = 3.33 (SD= 1.67). Master’s students were at the beginning of their second year of master’s studies on average, with M = 2.57 (SD= 1.63) semesters of the degree completed on average.

학생들은 교육학(31.4%), 심리학(22.4%), 사회학(10.3%), 커뮤니케이션학(8.6%), 정치학(5.5%) 등 다양한 전공 분야에 등록했으며 나머지 학생들은 미디어 연구와 같은 보다 구체적인 사회과학 과목을 공부하고 있었습니다. 
The students were enrolled in different fields of study, namely educational science (31.4% of the students), psychology (22.4%), sociology (10.3%), communication science (8.6%), and political science (5.5%) The remaining students were studying other, more specific social scientific subjects (i.e. media studies).

학생들은 70개의 RBL 과정 중 하나에 등록했습니다. 참여는 종종 학생들의 학습 프로그램에서 필수적인 부분이었습니다: 41.8%의 학생들은 이 특정 과정에 의무적으로 등록해야 했고, 35.7%는 다른 RBL 과정을 선택할 수 있었으며, 17.6%만이 RBL 교육 형식이 포함되지 않은 과정을 선택할 수 있었습니다. 코스당 평균 참가자 수는 M = 13.54명(SD = 12.62명)이었습니다. 대부분의 학생은 한 학기 코스에 등록했으며(77.7%), 22.3%의 학생은 두 학기 코스에 등록했습니다. 65명의 강사 또는 공동 교수진이 강의를 진행했습니다. 이 중 52명의 강사가 코스 종료 시 강사 설문조사에 참여했습니다. 
The students were enrolled in one of 70 RBL courses. Participation was often a mandatory part of the students’ study programmes: 41.8% of the students were required to enrol in this specific course; an additional 35.7% could have chosen a different RBL course, while only 17.6% could have chosen a course not involving the instructional format of RBL. The average number of participants per course was M = 13.54 (SD = 12.62). The majority of students were enrolled in one-semester courses (77.7%); 22.3% of the students were enrolled in two-semester courses. The courses were led by 65 different instructors or co-teaching teams. Fifty two of these instructors participated in the instructors’ survey at the end of the course.

측정 항목
Measures

연구 지식 Research knowledge

사회과학 분야의 연구 지식을 평가하기 위해 Gess, Wessels, Blömeke(2017)의 9개 항목으로 구성된 사회과학 연구 역량 측정의 짧은 버전이 사용되었습니다. 이 테스트는 양적 연구와 질적 연구에 관한 문항으로 연구 방법에 대한 지식, 방법론에 대한 지식, 연구 과정 지식을 평가합니다. 이 시험은 다양한 연구 문제에 대한 객관식 문항과 함께 짧은 비네팅을 사용합니다(부록 1, 온라인 보충 데이터의 샘플 문항 참조). 이 도구는 여러 검증 연구를 거쳤으며 학사 및 석사 학위 프로그램에서 사회과학 연구 과정을 평가하는 데 적합합니다(Gess, Geiger, Ziegler 2018; Gess, Wessels, Blömeke 2017). 27개 문항으로 구성된 전체 측정은 완료하는 데 35분이 걸리고 수업 시간이 부족하기 때문에 변별 변인, 문항 난이도, 신뢰도, 장문 버전과의 상관관계를 바탕으로 내용 영역 측면에서 원래 시험의 전체 범위를 반영하는 9개 문항으로 구성된 짧은 버전이 개발되었습니다. 짧은 버전의 개인별 점수와 긴 버전의 개인별 점수의 상관관계는 r = 0.86으로, 두 버전이 유사한 구성을 측정한다는 것을 나타냅니다. 그러나 짧은 버전의 테스트는 긴 버전과 동일한 검증 절차를 거치지 않았다는 점에 유의해야 합니다. 학생들의 답변은 정답(1) 또는 오답(0)으로 코딩되어 최종 데이터는 9개의 이분법적 항목으로 구성되었습니다. 신뢰도는 가중 오메가 h = 0.69로 수용 가능한 수준이었습니다(표 1 참조). 

A 9-item short version of the social-scientific research competence measure by Gess, Wessels, and Blömeke (2017) was used to assess research knowledge in the social sciences. This test assesses knowledge of research methods, knowledge of methodologies and research process knowledge with items referring to both quantitative and qualitative research. The test uses short vignettes coupled with multiple choice questions on different research problems (see sample item in Appendix 1, online supplemental data). The instrument has gone through several validation studies and is suitable for the evaluation of research courses in the social sciences in both bachelor’s and master’s degree programmes (Gess, Geiger, and Ziegler 2018; Gess, Wessels, and Blömeke 2017). Since the full 27-item measure takes 35 min to complete and in-class time was sparse, a 9-item short version reflecting the full breadth of the original test in terms of content areas was developed based on the discrimination parameters, item difficulty, reliability and correlation with the long version. The correlation of the person scores for the short version and the person scores for the long version is r = 0.86, which indicates that the two versions measure a similar construct. However, it must be noted that the short version of the test has not undergone the same validation procedure as the long version. The students’ answers were coded as either correct (1) or incorrect (0), such that the final data consisted of 9 dichotomous items. The reliability was acceptable, with weighted omega h = 0.69 (see Table 1).

cshe_a_1739014_sm1493.docx
0.34MB

 

정서적-동기적 연구 성향

Affective-motivational research dispositions

정서적-동기적 연구 성향 모델(Wessels 등, 2018)은 사회과학 연구를 수행하는 데 필요한 9가지 성향을 포괄하며, 이 중 4가지 성향을 본 연구에서 조사 대상으로 선정했습니다.

  • (1) 연구에 대한 가치 관련 관심은 연구의 유용성에 대한 신념을 포함합니다.
  • (2) 연구 수행의 즐거움은 다양한 연구 활동과 관련하여 경험하는 즐거움을 의미합니다.
  • (3) 연구 관련 불확실성 내성은 연구 과정의 불확실성에 대처하는 성향을 의미합니다.
  • (4) 연구 관련 좌절 내성은 연구 과정에서 좌절을 견딜 수 있는 성향을 의미합니다.

The model of affective-motivational research dispositions (Wessels et al. 2018) encompasses nine necessary dispositions for pursuing research in the social sciences, of which four were selected to be investigated in the present study.

  • (1) Value-related interest in research subsumes beliefs about the usefulness of research.
  • (2) Finding joy in conducting research denotes the joy experienced with respect to different research activities.
  • (3) Research-related uncertainty tolerance is the disposition to handle uncertainties in the research process.
  • (4) Research-related frustration tolerance is the disposition to endure setbacks in the research process.

자기 평가 척도(샘플 항목과 기본 설명 데이터는 표 1에서 확인할 수 있음)는 연역적 및 귀납적 검사 구성 절차에 따라 다단계 프로세스로 개발되었습니다(Burisch 1984). 먼저, 고정된 이론 중심의 구성 원칙에 따라 각 성향별로 최소 20개의 문항을 구성했습니다(Wilson 2005). 문항은 사회과학과 학생 250명을 대상으로 한 파일럿 연구를 바탕으로 선정 및 개선되었습니다. 최종 도구는 각 성향당 4~5개 문항으로 구성되었으며, 보통 또는 양호한 신뢰도를 보였습니다(가중 오메가 h = 0.68-0.82). 모든 정서적 동기 부여 측정의 응답 형식은 1점(전혀 동의하지 않음)에서 5점(전혀 동의함)까지의 5점 리커트 척도입니다.
Self-assessment scales (sample items and basic descriptive data can be found in Table 1) were developed in a multistep process following deductive and inductive test construction procedures (Burisch 1984). First, at least 20 items per disposition were constructed according to fixed theory-driven construction principles (Wilson 2005). The items were selected and refined based on a pilot study with N = 250 students from the social sciences. The final instruments encompass 4 or 5 items per disposition and exhibit acceptable or good reliabilities (weighted omega h = 0.68–0.82). The response format for all affective-motivational measures was a five-point Likert scale ranging from 1 (completely disagree) to 5 (completely agree).

교수자 및 코스 특성
Instructor and course characteristics

학생 설문 조사
Student survey

사전 및 사후 테스트 중에 학생에게 추가 정보를 요청했습니다. 사전 테스트에서는 학생들이 스스로 평가한 연구 자기 효능감(5점 척도 6개 항목, 예: '주요 변수를 조작하기 어렵더라도 정량적 연구에 적합한 평가 도구를 찾을 수 있다고 확신한다')이 포함되었습니다. 사후 테스트에서 학생들은 지금까지 수행한 연구 단계(예: 관련 문헌 검색), 연구 프로젝트에 대한 강사의 관심도, '실제' 연구를 하고 있는지에 대한 인식, 향후 커리어에 대한 이 과정의 유용성에 대해 질문했습니다(모두 5점 척도로 각 항목 1개씩 측정). 
During the pre- and post-test, students were asked for additional information. At pre-test, this included their self-assessed research self-efficacy (6 items on a 5-point scale, e.g. ‘I am sure I can find suitable assessment tools for a quantitative study, even if the main variable is difficult to operationalize’). At post-test, students were asked about the research steps (e.g. searching for relevant literature) they had completed so far, their perception of the instructor’s interest in their research project, their perception of whether they were doing ‘real’ research, and the perceived usefulness of the course for their later career (all measured with one item each on a 5-point scale).

강사 설문조사
Instructor survey

사후 테스트는 강사의 관점에서 강좌의 교육 개념에 대한 정보를 수집하는 데에도 사용되었습니다. 강사에게 배포된 5분 분량의 설문지를 통해 학생들이 연구 질문과 방법을 자율적으로 선택할 수 있는지에 대해 질문했습니다(5점 척도 2개 항목). 
The post-test was also used to gather information about the course’s instructional concept from the instructor’s perspective. A 5-minute questionnaire distributed to the instructors asked about students’ autonomy in choosing their own research question and method (two items on a five-point scale).

통계 분석
Statistical analysis

첫 번째 단계로, 학생들의 사전 및 사후 테스트 데이터는 개인 6자리 코드를 통해 매칭되었습니다. SPSS 23을 사용하여 데이터 확인 및 매니페스트 변수에 대한 설명적 분석을 수행했습니다. 시간 경과에 따른 다양한 변수의 변화를 조사하기 위해 잠재 변화 점수 모델링(McArdle 2009, LCM)과 다중 회귀 분석을 사용했습니다. LCM과 필요한 모든 선행 분석은 Mplus 버전 8(Muthén and Muthén 2017)을 사용하여 수행했습니다. 다음 세 단계가 수행되었습니다:  
In a first step, students’ pre- and post-test data were matched via their personal six-digit code. We used SPSS 23 to conduct data checks and descriptive analyses of the manifest variables. To investigate changes in the different variables over time, we employed latent change score modelling (McArdle 2009; LCM) and multiple regressions. LCM and all necessary preceding analyses were performed with Mplus version 8 (Muthén and Muthén 2017). The following three steps were performed:

차원성 테스트
Dimensionality tests

가정된 요인 구조를 확인하고 데이터의 의미 있는 해석을 위해 모든 변수에 대해 확인적 요인 분석을 실시했습니다(부록 2, 온라인 보충 데이터 참조). 거의 모든 변수에 대해 단차원 모형이 더 나은 모델 적합도를 보였습니다. 유일한 예외는 '연구 수행의 즐거움 찾기' 변수였는데, 이 변수는 1차원 모형과 3차원 모형 모두에서 부적합한 모델 적합도를 나타냈습니다. 따라서 데이터의 의미 있는 해석을 위해 이 구성요소를 두 가지 요인으로 분리하여 후속 분석을 실시했습니다.

  • 첫 번째 요인은 '과학 문헌 작업의 즐거움'을,
  • 두 번째 요인은 '경험적 데이터 작업의 즐거움'을 설명합니다. 

To confirm the assumed factor structures and allow for a meaningful interpretation of the data, we conducted confirmatory factor analyses on all variables (see Appendix 2, online supplemental data). For almost all variables, the unidimensional model exhibited better model fit. The only exception was the variable ‘Finding joy in conducting research’, which exhibited inadequate model fits in both the unidimensional and the three-dimensional solution. Hence, subsequent analyses were conducted with two separate factors for this construct to ensure a meaningful interpretation of the data. The first factor describes ‘joy in working with scientific literature’, while the second describes ‘joy in working with empirical data’.

측정값 불변성 테스트
Measurement invariance tests

잠재 변화 점수 모델링의 전제 조건은 강력한 요인 불변성입니다(McArdle 2009). 강력한 요인 불변성이 주어져야만 모든 요인 적재량과 절편이 모든 측정 지점에 대해 동일한 값으로 고정될 수 있습니다. Meredith와 Horn(2001)에 따라 점점 더 제약이 많은 모델의 CFI 값을 비교했습니다(부록 3, 온라인 보충 데이터 참조). 모든 변수에 대해 강력한 요인 불변성 또는 부분 측정 불변성이 확립되었으며, 이는 후속 분석이 의미 있게 해석될 수 있음을 의미합니다. 
A prerequisite for latent change score modelling is strong factorial invariance (McArdle 2009). Only if strong factorial invariance is given can all factor loadings and intercepts be fixed to the same values for all measurement points. Following Meredith and Horn (2001), the CFI values of increasingly constrained models were compared (see Appendix 3, online supplemental data). For all variables, either strong factorial invariance or partial measurement invariance was established, meaning that the subsequent analyses can be meaningfully interpreted.

잠재 변화 점수 모델링
Latent change score modelling

그런 다음 시간에 따른 변수의 변화를 조사하기 위해 잠재 변화 점수 모델링(LCM)을 사용했습니다. LCM에서 변화는 두 개 이상의 측정 지점에서의 변화를 표현하는 잠재 차이 변수로 모델링됩니다(그림 1 참조). 이 접근 방식을 통해 측정 오류 없이 개인 내 변화의 개인 간 차이를 관찰할 수 있습니다(McArdle 2009).  
We then employed LCMs to examine changes in our variables over time. In LCM, change is modelled with latent difference variables that express the change across two or more measurement points (see Figure 1). This approach enables us to observe interindividual differences in intraindividual change free from measurement error (McArdle 2009).

LCM 분석은 두 단계로 수행되었습니다:

  • 첫 번째 단계에서는 각 변수에 대해 단변량 LCM(두 개의 측정 지점, T1 및 T2 포함)을 지정했습니다. 잠재 변화 변수는 T1에서 T2까지의 개인 내 변화를 나타냅니다. 따라서 이 변수는 가설 H1a 및 H1b(효과)를 테스트하기 위해 해석되었습니다. 잠재 변화 변수의 분산은 개인 간 차이, 즉 학생의 연구 성향이 다른 방식으로 발전하는지 여부를 나타냅니다.
  • 유의미한 개인 간 차이가 발견되면 두 번째 단계로 잠재 변화 변수를 6가지 코스 특성에 따라 회귀 분석했습니다. 그런 다음 회귀 계수를 해석하여 가설 H2a, H2b 및 H2c(코스 특성의 영향)를 테스트했습니다. 

LCM analyses were performed in two steps:

  • In the first step, we specified univariate LCMs (with two measurement points, T1 and T2) for each variable. The latent change variable indicates intraindividual changes from T1 to T2. Therefore, this variable was interpreted to test hypotheses H1a and H1b (effectiveness). The variance of the latent change variable indicates interindividual differences, i.e. whether students’ research dispositions develop in different ways.
  • When significant interindividual differences were found, in a second step, the latent change variable was regressed on six different course characteristics. The regression coefficients were then interpreted to test hypotheses H2a, H2b and H2c (impact of course characteristics).

데이터의 중첩된 구조(70개 코스에 중첩된 952명의 학생)를 설명하기 위해 Mplus 명령 TYPE = COMPLEX를 사용하여 코스를 클러스터 변수로 사용했습니다. 또한 두 측정 지점에서 동일한 항목을 사용하여 발생하는 방법 분산을 설명하기 위해 자동 상관 오류를 포함했습니다. 누락된 데이터는 전체 정보 최대 가능성 추정(FIML)을 사용하여 처리했습니다. 양호한 모델 적합도를 결정하기 위한 기준으로는 Hu와 Bentler(1999)가 제시한 기준을 사용했으며, CFI가 0.95 이상이고 RMSEA가 0.06 미만인 모델을 적절한 적합도를 가진 것으로 간주했습니다. 
To account for the nested structure of the data (N = 952 students nested in 70 courses), we used the course as a cluster variable with the Mplus command TYPE = COMPLEX. Additionally, auto-correlated errors were included to account for method variance resulting from the use of the same items over the two measurement points. Missing data were handled using full-information maximum likelihood estimation (FIML). The criteria suggested by Hu and Bentler (1999) were used as a reference point for determining good model fit: models with a CFI > 0.95 and a RMSEA < 0.06 were considered to have adequate fit.

결과
Results

단변량 잠재 변화 점수 모델: 시간에 따른 개인의 인지 및 정서적-동기적 연구 성향의 변화(가설 H1a 및 H1b)
Univariate latent change score models: changes in individual cognitive and affective-motivational research dispositions over time (hypotheses H1a and H1b)

연구 지식
Research knowledge

연구 지식에 대한 LCM은 양호한 모델 적합도를 보였습니다(표 2 참조). 변화 변수의 평균은 작지만 유의미했으며(ΔM = 0.04, p < .01), 이는 T1에서 T2로 유의미한 변화가 있었음을 나타냅니다. 즉, RBL 과정을 수강한 후 학생들은 T1보다 평균 0.45개 문항(9개 문항 중)을 더 많이 정답으로 맞힐 수 있었습니다. 따라서 데이터는 가설 H1a를 지지했습니다. 변화 변수의 분산은 매우 작고 유의하지 않았으며(σ2 = 0.001, p = .8), 이는 개인 간 차이가 없음을 나타냅니다. 
The LCM for research knowledge exhibited good model fit (see Table 2). The mean of the change variable was small but significant (ΔM = 0.04, p < .01), indicating a significant change from T1 to T2. This means that after taking the RBL course, students were able to correctly answer 0.45 questions more on average (out of nine questions) than at T1. Thus, the data supported hypothesis H1a. The variance of the change variable was very small and not significant (σ2 = 0.001, p = .8), indicating that there were no interindividual differences.

모든 정서적 동기 부여 성향에 대한 단변량 LCM은 매우 우수한 모델 적합도를 보였습니다(표 2 참조). 이러한 성향은 T1에서 T2로 발전하는 과정에서 차이가 있었습니다:
The univariate LCMs for all affective-motivational dispositions had very good model fits (see Table 2). The dispositions differed in their development from T1 to T2:

연구에 대한 가치 관련 관심
Value-related interest in research

그 결과 T1에서 T2로 넘어갈수록 유의미한 감소가 나타났습니다(ΔM = -0.14, p < .01). 변화 변수의 유의미한 분산(σ2 = 0.33, p < .01)은 관심도 변화에 개인 간 차이가 있음을 나타냅니다.
The results revealed a significant decrease from T1 to T2 (ΔM = −0.14, p < .01). The significant variance of the change variable (σ2 = 0.33, p < .01) indicates the presence of interindividual differences in changes in interest.

연구 활동과 관련된 기쁨
Joy with respect to research activities

위에서 설명한 바와 같이 이 변수는 두 가지 요인으로 구성되어 있으며, 각 요인의 발달을 개별적으로 조사했습니다.

  • 그 결과, '과학 문헌 작업의 즐거움'이 T1에서 T2로 넘어가면서 유의미하게 감소한 것으로 나타났습니다(ΔM = -0.17, p < .01). 변화 변수의 유의미한 분산(σ2 = 0.36, p < .01)은 학생들의 궤적에 차이가 있었음을 나타냅니다.
  • 두 번째 요인인 '경험적 데이터 작업의 즐거움'에서는 유의미한 변화가 관찰되지 않았습니다(ΔM = -0.05, p = .25). 유의미한 분산은 학생의 궤적에 개인 간 차이가 있음을 나타냅니다(σ2 = 0.15, p < .01).

As described above, this variable consisted of two distinct factors whose development was examined individually. The results suggest a significant decrease in ‘joy in working with scientific literature’ from T1 to T2 (ΔM = −0.17, p < .01). The significant variance of the change variable (σ2 = 0.36, p < .01) indicates that there were differences in students’ trajectories. No significant change was observed for the second factor, ‘joy in working with empirical data’ (ΔM = −0.05, p = .25). The significant variance indicates the presence of interindividual differences in students’ trajectories (σ2 = 0.15, p < .01).

불확실성 내성
Uncertainty tolerance

결과는 T1에서 T2로 유의미한 증가를 시사합니다(ΔM = 0.12, p < .01). 유의미한 분산(σ2 = 0.38, p < .01)은 학생의 궤적에 상당한 개인 간 차이가 있음을 나타냅니다.  
The results suggest a significant increase from T1 to T2 (ΔM = 0.12, p < .01). The significant variance (σ2 = 0.38, p < .01) indicates that there were substantial interindividual differences in students’ trajectories.

좌절감 내성
Frustration tolerance

결과에 따르면 좌절감 내성은 T1에서 T2로 크게 변하지 않았습니다(ΔM = 0.03, p = .24). 유의미한 차이는 개인 간 차이를 나타냅니다(σ2 = 0.12, p < .01). 
The results show that frustration tolerance did not change significantly from T1 to T2 (ΔM = 0.03, p = .24). The significant variance was indicative of interindividual differences (σ2 = 0.12, p < .01).

따라서 이 데이터는 불확실성 내성에 대해서만 가설 H1b를 지지합니다. 연구에 대한 가치 관련 흥미와 과학 문헌 작업에 대한 즐거움의 경우 유의미한 감소가 발견되었습니다. 
Therefore, the data supports hypothesis H1b only with respect to uncertainty tolerance. For value-related interest in research and joy in working with scientific literature, significant decreases were found.

시간 경과에 따른 다양한 연구 성향의 변화에 대한 다른 변수의 영향(가설 H2a, H2b 및 H2c)
Influence of other variables on changes in different research dispositions over time (hypotheses H2a, H2b and H2c)

다음으로, 단변량 LCM에서 개인 간 차이의 증거가 있는 연구 성향에 대해 변화 변수의 예측 변수를 분석했습니다. 연구에 대한 가치 관련 관심, 과학 문헌 작업에 대한 즐거움, 불확실성에 대한 내성이 그 예입니다.  
Next, predictors of the change variable were analysed for the research dispositions for which the univariate LCMs showed evidence of interindividual differences. This was the case for value-related interest for research, joy in working with scientific literature and uncertainty tolerance.

연구에 대한 가치 관련 관심
Value-related interest for research

다중 회귀 분석 결과 연구에 대한 가치 관련 관심의 잠재적 변화에 대한 두 가지 유의미하고 긍정적인 예측 변수가 밝혀졌는데, 바로 나중에 커리어에 대한 강의의 유용성과 학생의 작업에 대한 교수자의 관심도였습니다. 이 회귀 모델로 설명된 전체 분산은 10%였습니다(표 3 참조). 
The multiple regression revealed two significant and positive predictors of the latent change in value-related interest in research: the perceived usefulness of the course for one’s later career and the instructor’s perceived interest in the students’ work. The overall variance explained by this regression model was 10% (see Table 3).

과학 문헌 작업의 즐거움
Joy in working with scientific literature

과정의 유용성은 T1에서 T2로의 기쁨의 잠재적 변화에 대한 중요한 예측 변수로 작용했습니다. 이 과정이 나중에 커리어에 유용하다고 인식한 학생은 과학 문헌을 다루는 기쁨이 더 크게 증가했습니다. 전체 회귀 모델은 기쁨 변화의 분산 중 5%를 설명했습니다(표 3 참조). 
The perceived usefulness of the course served as a significant predictor of the latent change in joy from T1 to T2. Students who perceived the course as useful for their later career experienced greater increases in joy in working with scientific literature. The full regression model explained 5% of the variance in the change in joy (see Table 3).

불확실성 내성
Uncertainty tolerance

불확실성 내성은 T1에서 연구 자기효능감에 의해 유의미하게 예측되었습니다. 자기효능감은 음의 예측 변수로 작용했는데, 학생의 자기효능감이 높을수록 불확실성 내성이 더 많이 감소하거나 덜 증가했습니다. 이 회귀 모델로 설명된 전체 분산은 6%였습니다(표 3 참조). 
Uncertainty tolerance was significantly predicted by research self-efficacy at T1. Self-efficacy served as a negative predictor: the higher a student’s self-efficacy, the more uncertainty tolerance decreased or the less it increased. The overall variance explained by this regression model was 6% (see Table 3).

이러한 결과는 추가적인 동기 부여 요인의 영향을 조사한 가설 H2c와 일치합니다. 가설 H2a와 H2b는 지지되지 않았습니다. 
These findings are in line with hypothesis H2c, which examined the influence of additional motivating factors. Hypotheses H2a and H2b were not supported.

토론 및 시사점
Discussion and implications

본 연구에서는 사회과학 분야에서 RBL의 효과를 조사했습니다. 70개 코스에서 사전-사후 측정을 적용하여 RBL 참여를 통한 다양한 인지적 및 정의적-동기적 연구 성향의 변화를 조사했습니다. 연구 지식은 유의미하게 증가했지만, 추가 조사가 필요한 개인 간 차이는 관찰되지 않았습니다. 연구 관련 불확실성 내성은 증가한 반면, 연구 흥미와 과학 문헌 작업에 대한 즐거움은 RBL 참여 기간 동안 감소했습니다. 후속 회귀 분석 결과, 불확실성 내성의 변화는 연구 자기 효능감에 의해 유의미하게 예측되는 것으로 나타났습니다. 흥미와 즐거움의 변화는 향후 커리어에 대한 강좌의 유용성 지각에 의해 예측되었으며, 흥미의 변화는 강사가 학생의 과제에 대해 지각한 관심도에 의해 예측되기도 했습니다. 
Our study examined the effectiveness of RBL in the social sciences. By applying pre–post measurements in 70 courses, we examined changes in different cognitive and affective-motivational research dispositions through participation in RBL. Research knowledge increased significantly, but no interindividual differences were observed that could be further investigated. Research-related uncertainty tolerance increased, whereas research interest and joy in working with scientific literature decreased over the course of RBL participation. Subsequent regression analyses showed that the change in uncertainty tolerance was significantly predicted by research self-efficacy. The changes in interest and joy were predicted by the perceived usefulness of the course for one’s later career, while the change in interest was also predicted by the instructor’s perceived interest in the students’ work.

예상과는 달리, RBL을 경험하는 동안 수행한 연구 단계의 수와 학생들에게 주어진 자율성은 정서적-동기적 연구 성향의 변화에 영향을 미치지 않았습니다. 
Contrary to our expectations, the number of research steps performed and the autonomy students were given during the RBL experience did not have an effect on changes to any of the affective-motivational research dispositions.

연구 지식
Research knowledge

전반적으로 RBL에 참여하는 동안 연구 지식이 크게 증가했습니다(가설 1a 참조). 개별 사회과학 분야의 학생을 대상으로 한 이전 연구에서도 비슷한 결과가 보고된 바 있습니다(예: 타라반과 로그 2012). 우리는 연구 지식의 세 가지 하위 영역인 방법 지식, 방법론 지식, 사회과학 연구 과정 지식을 평가하는 객관적인 테스트 도구를 사용하여 이러한 결과를 확인할 수 있었습니다. 
Overall, research knowledge increased significantly over the course of RBL participation (see hypothesis 1a). Previous studies with students from individual social scientific disciplines have reported comparable results (e.g. Taraban and Logue 2012). We were able to confirm these findings using an objective test instrument assessing three sub-areas of research knowledge: knowledge of methods, knowledge of methodologies and research process knowledge in the social sciences.

그러나 표본에 포함된 학생들은 향상도에서 상당한 개인 간 차이를 보이지 않았으며, 다른 변수와 관련하여 관찰된 변화의 차이를 설명하기 위한 추가 분석을 수행할 수 없었습니다. 이러한 개인 간 차이가 나타나지 않은 것은 지식 항목의 답안 패턴이 비슷했기 때문일 수 있습니다. 저희는 9개 항목으로 구성된 짧은 버전의 긴 테스트를 사용했기 때문에 학생들 간의 실질적인 차이를 파악하기에 충분하지 않았을 수 있습니다. 향후 프로젝트에서는 27개 문항으로 구성된 테스트 양식이나 학생들의 답변에 더 많은 변수가 있는 다른 객관적인 측정을 사용할 것을 권장합니다.
However, the students in our sample did not exhibit substantial interindividual differences in their improvement and no further analyses could be conducted to explain differences in the observed change with reference to other variables. This lack of interindividual differences might have been due to similar answering patterns on the knowledge items. We used a 9-item short version of a longer test, which might not have been sufficient to identify substantial differences between students. In future projects, we would recommend using the 27-item test form or another objective measurement that yields more variance in students’ answers.

 

정서적 동기 부여 연구 성향
Affective-motivational research dispositions

조사된 네 가지 정서적-동기적 연구 성향 중 세 가지에서 첫 번째 측정 시점과 두 번째 측정 시점 사이에 유의미한 변화가 발견되었습니다. 
A significant change from the first to the second measurement point was found for three out of the four affective-motivational research dispositions examined.

우리의 예상(가설 1b 참조)에 따라 RBL에 참여하는 동안 불확실성 내성이 증가했습니다. 이러한 불확실성 내성의 변화는 연구 자기 효능감에 의해 유의미하게 예측되었습니다(가설 2c 참조). 그러나 자기효능감은 음의 예측 변수로 작용하여 학생의 자기효능감이 높을수록 불확실성 내성의 긍정적인 변화는 더 작았습니다. 연구 자기효능감이 낮은 학생은 연구 경험이 적기 때문에 불확실성 내성이 더 크게 증가할 수 있으며, 따라서 RBL에 참여함으로써 더 큰 혜택을 받을 수 있습니다. 높은 수준의 불확실성 내성은 연구 과정의 예측할 수 없는 특성에 대처하는 데 중요합니다. 불확실성 내성은 연구 수행뿐만 아니라 점점 더 복잡해지는 세상과 마주하는 데에도 필수적이라는 주장도 있습니다(Brew 2010). 이러한 의미에서 불확실성 내성은 학생들이 과학 경력을 쌓는 데 도움이 될 뿐만 아니라 다른 직업을 준비하는 데도 도움이 됩니다. 학생들의 불확실성 내성을 어떻게 변화시킬 수 있는지는 현재 여러 분야에서 논쟁의 대상이 되고 있습니다. 보건 과학 분야에서는 불확실성과 관련된 감정 과정을 모니터링하고 통제함으로써 의대생의 불확실성 내성을 향상시킬 수 있다는 제안이 있었습니다(Iannello 외. 2017). 이 권고를 사회과학 연구에 적용하면, 연구 과정에서 불확실성과 관련된 경험적 감정에 대한 안내를 통합하는 것이 좋습니다. 이를 위한 한 가지 방법은 반성적 학습 일기를 사용하는 것입니다(Nevalainen, Mantyranta, Pitkala 2010). 하지만 저희는 표본에서 불확실성과 관련된 반성적 과정을 테스트하지 않았습니다. 일부 강사가 연구와 관련된 불확실성에 대해 반성하고 논의했다고만 추정할 수 있습니다. 보다 포괄적인 결론을 도출하기 위해서는 RBL 과정에서의 불확실성 내성 발달에 대한 안내된 성찰 과정의 영향을 조사하는 추가 연구가 필요합니다.  
In line with our expectations (see hypothesis 1b), uncertainty tolerance increased over the course of RBL participation. This change in uncertainty tolerance was significantly predicted by research self-efficacy (see hypothesis 2c). However, self-efficacy served as a negative predictor: the higher a student’s self-efficacy, the smaller the positive change in uncertainty tolerance. Students with low levels of research self-efficacy might exhibit stronger increases in uncertainty tolerance because these students have less research experience and thus benefit more strongly from participation in RBL. A high level of uncertainty tolerance is important for coping with the unpredictable nature of the research process. Some claim that uncertainty tolerance is vital not only for conducting research but also for facing an increasingly complex world in general (Brew 2010). In this sense, uncertainty tolerance not only assists students in pursuing scientific careers but also prepares students for other professions. How students’ uncertainty tolerance can be changed is currently a subject of debate in several fields. In the health sciences, it has been suggested that medical students’ uncertainty tolerance can be enhanced by monitoring and controlling emotional processes related to uncertainty (Iannello et al. 2017). Translating this recommendation to research in the social sciences, we suggest integrating guided reflections on experienced emotions related to uncertainty in the research process. One way of doing so would be to use reflective learning diaries (Nevalainen, Mantyranta, and Pitkala 2010). However, we did not test for reflective processes related to uncertainty in our sample. We can only assume that some instructors reflected on and discussed research-related uncertainties. Further research investigating the influence of guided reflection processes on the development of uncertainty tolerance in RBL courses would be necessary to come to a more comprehensive conclusion.

연구에 대한 흥미와 즐거움은 사전 및 사후 테스트 모두에서 높은 평균값을 보였으며, 이는 참여 학생들이 일반적으로 연구 및 관련 활동을 매우 좋아한다는 것을 나타냅니다. 그러나 불확실성 내성과는 달리 흥미와 즐거움은 RBL에 참여하는 동안 감소했습니다(가설 1b 참조). 이에 대한 몇 가지 가능한 설명이 있습니다. 아마도 학생들은 과정을 진행하는 동안 연구가 무엇인지에 대해 보다 현실적인 아이디어를 얻었을 것입니다. 연구를 시작할 때 학생들의 연구 개념은 해당 사회의 지배적인 연구 관점의 영향을 받을 수 있습니다. 독일에서는 대중이 연구를 흥미롭고 신뢰할 수 있는 것으로 인식하고 있습니다(Wissenschaft im Dialog 2018). 따라서 단일 연구 프로젝트의 설명력이 얼마나 작은지 깨닫는 것은 좌절감이나 환멸을 줄 수 있습니다. 연구의 본질과 실제에 대한 보다 현실적인 이해는 연구에 대한 관심이나 기쁨을 감소시키는 동시에 다른 사람들이 '과학자가 되는 것'이라고 부르는 것의 지표가 될 수 있습니다(Hunter, Laursen, Seymour 2007).
Interest and joy in research exhibited high mean values during both the pre- and post-test, indicating that the participating students are generally very fond of research and related activities. However, unlike uncertainty tolerance, interest and joy decreased over the course of RBL participation (see hypothesis 1b). There are several possible explanations for this. Perhaps students gain a more realistic idea of what research is during the course. At the beginning of their studies, students’ conceptions of research might be influenced by the predominant view of research in their society: in Germany, the public perceives research as interesting and trustworthy (Wissenschaft im Dialog 2018). Thus, realising how small the explanatory power of a single research project is might be frustrating or disillusioning. Gaining a more realistic understanding of the nature and practice of research might lead to decreased interest or joy in research, while simultaneously serves as an indication of what others have termed ‘becoming a scientist’ (Hunter, Laursen, and Seymour 2007).

회귀 분석 결과 특정 코스 변수가 유의미한 예측 변수로 작용하는 것으로 나타났습니다(가설 2c 참조). 즉, 학생의 연구에 대한 관심의 변화는 교수자가 학생의 연구에 대해 가지는 관심도학생이 평가한 해당 코스의 향후 경력에 대한 유용성에 의해 유의미하게 예측되었습니다. 강사가 자신의 연구에 관심이 있다고 지각하는 것은 학생에게 동기를 부여하고 연구에 대한 관심을 높일 수 있습니다. 실용적인 의미로, 교수자가 학생의 작업에 관심이 있는 척해야 한다는 의미는 아닙니다. 교수자가 진정으로 관심 있는 주제(예: 자신의 연구 주제)를 RBL 코스의 주제로 선택하는 것만으로도 충분할 수 있습니다. 자신의 연구 주제를 강의실에 가져와서 교육과 연구를 결합하는 것은 종종 교수자에게 유용한 관행으로 권장되어 왔습니다(Vicens and Bourne 2009). 이에 대한 주요 주장 중 하나는 교육과 연구 모두에 관여하는 강사의 귀중한 시간을 절약할 수 있다는 것입니다. 또한 연구 결과에 따르면 교육과 연구를 병행하면 교수자의 주제에 대한 관심에 더 많은 동기를 부여받는 학생에게도 이점이 있는 것으로 나타났습니다. 
The regression analyses showed that certain course variables served as significant predictors (see hypothesis 2c): changes in students’ interest in research were significantly predicted by the instructor’s perceived interest in the students’ research and the perceived usefulness of the course for their later career (both rated by the students). Perceiving that the instructor is interested in their work might be motivating for students and increase their own interest in research. As a practical implication, this does not mean that instructors should pretend to be interested in students’ work. It could suffice for instructors to choose topics for RBL courses that are of genuine interest to them – for example, their own research topics. Bringing one’s own research topics into the classroom, thereby combining one’s teaching and research, has often been recommended as a useful practice for instructors (Vicens and Bourne 2009). One of the main arguments for this is that it saves valuable time for instructors involved in both teaching and research. Our results additionally suggest that combining teaching and research comes with benefits for students, who feel more motivated by their instructors’ interest in the topic.

즐거움의 변화는 학생들의 향후 커리어에 대한 강좌의 유용성에 따라 유의미하게 예측되었습니다. 강좌가 향후 커리어에 유용하다고 인식한 학생들은 연구에 더 많은 즐거움을 얻었습니다. 학문적 커리어를 목표로 하지 않는 학생의 경우, 비학문적 커리어에 관심이 있는 연구 주제를 선택하거나 서비스 학습을 적용하는 등 학계 밖에서의 유용성을 강조하거나 강화하는 것이 도움이 될 수 있습니다(Potter, Caffrey, Plante 2003). 이러한 방식으로 더 많은 학생들이 자신의 연구 프로젝트를 수행하는 것이 학계 밖의 경력에 유용하다고 인식하여 연구하는 데 더 큰 즐거움을 찾을 수 있습니다. 
Changes in joy were significantly predicted by the perceived usefulness of the course for students’ later careers: those students who perceived the course as useful for their future career gained more joy in research. For students who do not aspire to academic careers, it might be beneficial to emphasise or enhance the course’s usefulness for outside academia, e.g. by choosing research topics that are of interest in non-academic careers or applying service learning (Potter, Caffrey, and Plante 2003). In this way, more students might perceive conducting their own research projects as useful for careers outside academia and therefore find greater joy in doing research.

예상과는 달리, RBL을 경험하는 동안 수행한 연구 단계의 수와 학생들에게 주어진 자율성은 정서적-동기적 연구 성향의 변화에 영향을 미치지 않았습니다(가설 2a 및 2b 참조). 이는 미리 정의된 연구 문제를 해결하거나 제한된 양의 연구 단계만 완료해도 학생들에게 긍정적인 영향을 미친다는 것을 나타냅니다.
Contrary to our expectations, the number of research steps performed and the autonomy students were given during the RBL experience did not have an effect on changes to any of the affective-motivational research dispositions (see hypothesis 2a and 2b). This indicates that even working on pre-defined research problems or completing only a limited amount of research steps has a positive effect on students.

전반적으로 다양한 정서적 동기 변수의 변화를 예측하는 데 사용된 회귀 모델은 잠재적 변화 변수의 분산 중 5%(과학 문헌 작업의 즐거움), 6%(불확실성 허용), 10%(연구 흥미)를 차지했습니다. 이러한 효과 크기는 작은 것으로 분류될 수 있지만(Cohen 1988), 학생들이 예측 변수에 대한 설문지에 응답하는 데 1~2분밖에 걸리지 않았다는 점을 고려할 때 이러한 회귀 분석의 비용 대비 가치 비율은 매우 긍정적인 것으로 간주할 수 있습니다. 보다 근본적인 관점에서 볼 때, 정서적 동기 부여 성향은 현재의 기분이나 개인적인 삶의 사건과 같은 다양한 외부 변수의 영향을 받는 복잡하고 다차원적인 현상이라는 점에 유의해야 합니다. 이 연구에서 조사한 변수(예: 학생의 자율성, 교수자의 관심도)는 전체 코스에 걸쳐 다양한 정서적 동기 부여 연구 성향의 변화를 정확하게 예측하기에 충분하지 않습니다. 그러나 부분적으로 중요한 예측 변수로 작용하여 RBL 코스 설계에 실용적인 새로운 아이디어를 제공했습니다. 
Overall, the regression models used to predict changes in different affective-motivational variables accounted for 5% (joy in working with scientific literature), 6% (uncertainty tolerance) and 10% (research interest) of the latent change variable’s variance. While these effect sizes can be classified as small (Cohen 1988), it is important to put these values into perspective: given that answering the questionnaires on the predictor variables took students only 1–2 min, the cost-value ratio of these regression analyses can be considered very positive. From a more fundamental perspective, it must be noted that affective-motivational dispositions are complex, multidimensional phenomena that are influenced by a range of external variables, such as current mood or personal life events. The variables examined in this study (e.g. student autonomy, instructors’ interest) are not sufficient to accurately predict changes in different affective-motivational research dispositions over an entire course. However, they did partially serve as significant predictors and thus provide practical new ideas for designing RBL courses.

향후 연구를 위한 한계와 시사점
Limitations and implications for future research

본 연구와 이 분야의 다른 연구의 문제점은 대조군이 없다는 점입니다(Lopatto 2004 참조). 적절한 비교 그룹이 없으면 연구 경험 자체가 효과적인지 또는 RBL 코스에 참여하는 학생의 유형이 효과적인지 여부가 불분명합니다(Linn 외. 2015). 일부 저자들은 RBL 과정을 찾는 학생들이 애초에 다른 학생들보다 학업 능력이 더 높고 동기 부여가 더 강하다고 주장합니다(Carter 외. 2016). 우리 표본에서는 RBL 과정 참여가 학생들의 학습 프로그램에서 필수적인 부분인 경우가 많았기 때문에 표본에서 강한 자기 선택 편향이 있을 가능성을 배제할 수 없습니다. 그럼에도 불구하고 RBL의 효과에 대한 최종 결론을 도출하기 위해서는 의미 있고 일치하는 대조군이 필요합니다(예: RBL 과정 대기자 명단이 있는 학습 프로그램을 조사하는 등). 
A problem with our and other studies in the field is the lack of a control group (cf. Lopatto 2004). Without an adequate comparison group, it remains unclear whether the research experience itself is effective or whether it is the type of student who participates in RBL courses (Linn et al. 2015). Some authors claim that students who seek out RBL courses have higher academic abilities and are more motivated than other students in the first place (Carter et al. 2016). In our sample, participation in the RBL course was often a mandatory part of the students’ study programme; thus, a strong self-selection bias in our sample can be ruled out. Nevertheless, a meaningful, matched control group is still necessary to draw final conclusions on the effectiveness of RBL, e.g. by examining study programmes with a waiting list for RBL courses.

또 다른 한계는 테스트 시점과 관련이 있습니다. 사후 측정은 강의가 끝날 무렵 강의실에서 실시되었기 때문에 최종 논문 작성이나 연구 결과 발표의 효과를 반영하지 못했습니다. 그러나 자신의 연구에 대해 공개적으로 발표하는 것은 학생들에게 특히 동기를 부여하는 것으로 묘사되어 왔으며(Cuthbert, Arunachalam, Licina 2012), 따라서 RBL과 관련된 학습 결과에 영향을 미칠 수 있습니다. 향후 연구에서는 추후 또는 후속 측정을 통해 최종 과제의 효과를 통합해야 합니다. 
Another limitation concerns the testing time point. Since the post-measurement was conducted in the classroom towards the end of the course, our results do not reflect the effect of writing final papers or presenting research results. However, giving a public presentation on one’s research has been described as particularly motivating by students (Cuthbert, Arunachalam, and Licina 2012) and thus might influence the learning outcomes associated with RBL. Future research should incorporate the effects of final assignments by using later or follow-up measurements.

본 연구의 정량적 설정은 연구 프로젝트에 대한 학생들의 개인적인 관점, 연구 과정의 어려움에 대한 개별적인 반응, 교수자의 행동에 대한 추가적인 생각을 다룰 수 없음을 의미했습니다. 향후 프로젝트에서는 심층 인터뷰를 통해 학생들의 관점을 통합하여 본 연구의 예비 결과와 그에 따른 시사점을 추가로 탐색하고 검증할 수 있습니다. 
Our study’s quantitative set-up meant that the students’ personal perspectives on their research projects, individual reactions to challenges in the research process and additional thoughts on their instructors’ behaviour could not be addressed. A future project could further explore and validate the preliminary findings of this study and the resulting implications by incorporating students’ perspectives via in-depth interviews.

이 연구의 목적은 인지적 및 정서적 동기부여 연구 성향을 향상시키기 위한 사회과학 분야의 RBL 과정의 효과를 조사하는 것이었습니다. 연구 결과에 따르면 RBL은 연구 지식과 연구 관련 불확실성 내성을 향상시키는 데 효과적인 교육 형식이라는 결론을 내릴 수 있습니다. 특히 학생들이 RBL 경험이 향후 커리어에 도움이 될 것이라고 생각할 때 RBL 과정이 효과적이라는 것이 입증되었습니다. 
The aim of this study was to examine the effectiveness of RBL courses in the social sciences for enhancing cognitive and affective-motivational research dispositions. Based on the results, we can conclude that RBL is an effective instructional format for enhancing research knowledge and research-related uncertainty tolerance. RBL courses proved especially effective when students thought the RBL experience was useful for their later career.

RBL이 효과적인 교육 형식인지에 대한 질문은 지금까지 STEM 분야의 연구에서 주로 다루어져 왔으며, 사회과학 분야의 증거는 아직 부족합니다. 본 연구에서는 사전-사후 설계를 사용하여 다양한 사회과학 분야의 학생들을 대상으로 RBL의 효과에 대한 체계적인 설명을 제공함으로써 학문별 측정치를 향상시키고자 했습니다. 선택한 절차는 해당 분야의 기존 증거를 확장하는 데 적합했지만, 추가 연구 노력에서 해결해야 할 다양한 미해결 질문이 남아 있습니다.

The question of whether RBL is an effective instructional format has so far been dominated by studies from the field of STEM, while evidence from the social sciences remains scarce. Our study sought to provide a systematic account of the effectiveness of RBL among students from different social scientific disciplines for enhancing discipline-specific measures using a pre–post design. While the chosen procedure was suitable for extending existing evidence in the field, a range of open questions remain that should be addressed in further research endeavours.

 


ABSTRACT

Research-based learning (RBL) is regarded as a panacea when it comes to effective instructional formats in higher education settings. It is said to improve a wide set of research-related skills and is a recommended learning experience for students. However, whether RBL in the social sciences is indeed as effective as has been postulated for other disciplines has not yet been systematically examined. We thus administered a pre–post-test study to N = 952 students enrolled in 70 RBL courses at 10 German universities and examined potential changes in cognitive and affective-motivational research dispositions. Latent change score modelling indicated that students increased their cognitive research dispositions, whereas most affective-motivational research dispositions decreased. The instructors’ interest in the students’ work served as a significant predictor of changes in research interest and joy. Practical implications for designing RBL environments can be inferred from the results.

마스터의 집 해체하기: HPE에서 형평성과 사회적 정의의 앎의 새로운 방식 (Adv Health Sci Educ Theory Pract. 2020)
Dismantling the master’s house: new ways of knowing for equity and social justice in health professions education
Morag Paton1,2 · Thirusha Naidu3 · Tasha R. Wyatt4 · Oluwasemipe Oni5 · Gianni R. Lorello6,7,8 · Umberin Najeeb9,10 · Zac Feilchenfeld9,10 · Stephanie J. Waterman11 · Cynthia R. Whitehead8,12,13 · Ayelet Kuper8,9,10 

 

 

주인의 집 해체: 보건 전문직 교육에서 형평성과 사회 정의를 위한 새로운 인식의 전환
Dismantling the master’s house: new ways of knowing for equity and social justice in health professions education

글을 쓰는 시점에서 동상이 쓰러지고 있습니다. 거리에서 시위가 벌어지고 있습니다. 틱톡 동영상, 트위터가 풀리고, 페이스북에서 모임이 확산되면서 자금 지원을 중단하라는 요구가 울려 퍼지고 있습니다. 정부 건물 밖에는 천막이 설치되고 있습니다. 의회 건물에서 인종 차별을 규탄하는 시위가 벌어집니다. 물을 끓여 먹으라는 권고가 내려집니다. 이주 노동자들에게 제공되는 밀집된 주거 캠프에서 코로나19가 발생했습니다. 스포츠 프랜차이즈의 이름이 재검토되고 있습니다. 폭력을 당하는 시신이 있습니다. 사망으로 끝나는 건강 검진도 있습니다. 주차장에서 대치가 벌어지고 있습니다. 소셜 미디어에서 열띤 토론이 벌어지고 있습니다. 다른 사람들에게 "네가 왔던 곳으로 돌아가라"고 말하는 사람들이 있습니다. "당신은 잘못했다", "당신은 너무 멀리 갔다", "성난 군중"이 있습니다. 무릎을 꿇은 사람들도 있습니다. 바디 카메라가 있습니다. 약속과 진술, 약속이 이루어지고 있습니다. 임시 프로필 사진이 있습니다. 사임, 이별, 새로운 출발이 있습니다. 인터뷰와 대화가 있습니다. "내가 말했잖아", "왜 이렇게 오래 걸렸어", "우린 몇 년 동안 이 말을 해왔어"가 있습니다. 질문이 오고가고 아이디어가 도전받습니다. 숨을 쉬려고 노력하는 사람들이 있습니다. 
At the time of writing, statues are falling. There are protests on the streets. Calls for defunding resound as TikTok videos, Twitter unrolls, and gatherings proliferate on Facebook. There are tents occupying lands outside government buildings. There are declarations of racism in parliament buildings. There are boil water advisories. There are COVID-19 outbreaks in the dense housing camps offered to migrant laborers. There are names of sports franchises being reconsidered. There are bodies being subjected to violence. There are wellness checks that end in death. There are confrontations in parking lots. There are heated discussions on social media. There are some people telling other people to “go back to where you came from”. There are the “you’re wrongs”, “you’ve gone too far” and “angry mobs”. There are people on their knees. There are body cameras. There are commitments and statements and promises being made. There are temporary profile pictures. There are resignations, partings of ways, and new starts. There are interviews and conversations. There are “I told you so’s” and “what took you so longs” and “we’ve been saying this for years”. There are questions being asked and ideas being challenged. There are people just trying to breathe.

관점에 대한 관점
A perspective on perspectives

백인 중심의 북미(유럽 중심) 사회에서 미디어에서 보여지는 것, 메시지가 전달되는 것, 저녁 식탁에서 토론되는 것의 예는 다음과 같습니다. 이것이 바로 보건직업교육(HPE) 분야의 주요 조직, 규제 기관 및 출판사가 소셜 미디어에서 공유하는 내용이며, 변화를 요구하는 목소리가 많은 이유입니다. 이 백인 중심의 북미 프레임워크는 "마스터의 집"(Lorde 2007)의 한 관점입니다. 이러한 관점을 벗어난 일부(즉 오랫동안 소외되어 온 형평성에 합당한 집단)의 관점에서는 이러한 '깨어 있는' 관점이 이기적이고, 형식적이며, 우려스러울 정도로 수사적이고, 절망적으로 늦은 것으로 묘사되었습니다(Gutierrez 2020; Spaulding 2020; Yancy 2020).  
In the dominant white North American (Eurocentric) society, these are examples of what is being seen in the media, what is being messaged about, and what is being debated over dinner tables. This is what dominant organizations, regulatory bodies, and publishing houses in Health Professions Education (HPE) are sharing on social media and why there have been so many calls for change. This white North American framing is one perspective from “the Master’s House” (Lorde 2007). For some outside this perspective, that of equity-deserving groups who have long been marginalized, this seemingly ‘woke’ perspective has been described as possibly self-serving, perfunctory, concerningly rhetorical, and hopelessly late (Gutierrez 2020; Spaulding 2020; Yancy 2020).

이 저널의 독자는 위의 텍스트 어딘가에서 자신의 관점이 반영된 것을 알아차릴 수 있습니다. 아마도 당신은 HPE 프로그램의 커리큘럼 디렉터일 수도 있고, 이론가, 학장, 수련생, 교사, 임상의 또는 커뮤니티 구성원일 수도 있습니다. 저널 기고자로서 여기에 표시된 저자 팀인 '우리' 역시 다양한 관점을 포괄합니다: '우리'는 병원 리더, 교육 교수, 대학 교수진, 직원 및 학생, 임상의사 및 이론가입니다. 하지만 '우리'는 '나'와 같지 않으며 '우리'의 관점은 다양합니다(의도적으로 그렇습니다).

  • '우리'는 우세한 집단과 공평하게 대우받아야 하는 집단 모두의 관점을 대표합니다.
  • '우리'는 흑인, 갈색, 백인으로 명명됩니다.
  • '우리'는 캐나다, 무슬림, 스코틀랜드, 나이지리아, 미국, 오논다가, 파키스탄, 유대인, 남아프리카공화국으로 명명됩니다.
  • '우리'는 캐나다, 미국, 남아프리카에 거주합니다. '우리'는 기혼, 미혼, 동성 및 이성에 매력을 느끼는 사람으로 구분됩니다.
  • '우리'는 정책을 작성하고, 따르고, 관리합니다.
  • '우리'는 커리큘럼을 만들고, 운영하고, 이론화하고, 경험합니다.

'우리'는 스승의 집 내부에서 글을 쓰고 그것을 해체하려고 시도하고 있습니다. '우리'는 전문성과 경험을 바탕으로 이 학술지의 부편집장인 해당 분야의 선임 저자와 대학원생, 그리고 우리가 공동 저자로 초빙한 이론과 실천의 전문가들이 함께 이 논문을 쓰도록 초대받았습니다. '우리'가 모여 한 팀으로 글을 쓰고 독자 여러분이 이 글을 접할 때, '우리'의 집단적 개별 관점, 정체성, 역할은 모두 긴장 관계에 있습니다. '우리'가 여기에 쓰고 선언적인 것처럼 보이는 진술은 논쟁의 여지가 있습니다. '우리'가 진실이라고 주장하는 진술은 우리 중 한 명에게만 진실일 수 있으며 '우리'는 '우리'의 집단적 경험을 넘어서는 진실을 주장할 수 없습니다. '우리'의 글이나 '우리'가 추구하는 행동에서 '우리'가 주장하는 것은 급진적이고 전투적일 수도 있고, 신중하고 조심스러울 수도 있습니다. 이 백서에서 나오는 아이디어는 다양한 존재론적, 인식론적 전통에서 비롯된 것이므로, '우리'가 글을 쓰고 여러분도 글을 읽으면서 우리가 왜 이 글을 쓰는지, 어떤 관점에서 글을 쓰는지 생각해 보시기 바랍니다. 우리는 어떤 변화하는 특권을 제정할 것인가? 우리는 마스터의 집 내부에서 글을 쓰는가, 아니면 외부에서 글을 쓰는가? 우리의 글쓰기는 정체성, 형식, 수행을 통해 총체적으로 집의 모르타르를 느슨하게 할 것인가, 아니면 너무 익숙한 패턴을 연상시키는 벽돌을 추가할 것인가, 아니면 두 가지를 동시에 하고 있을 것인가? 독자로서 이러한 다양한 관점에 대해 질문하고 동시에 스스로에게 질문해 보시기 바랍니다.  

Readers of this journal may recognize their own perspective reflected somewhere in the above text; perhaps you are a curriculum director of an HPE program, perhaps you are a theorist, a dean, a trainee, a teacher, a clinician or a community member. As journal contributors, ‘we’, the authorship team displayed here also encompass multiple perspectives: ‘we’ are hospital leaders, education professors, university faculty, staff and students, clinicians and theorists. But ‘we’ is not the same as ‘I’ and ‘our’ perspectives are diverse (and purposefully so).

  • ‘We’ represent perspectives of both dominant and equity-deserving groups.
  • ‘We’ are named as Black, Brown, and White.
  • ‘We’ are named as Canadian, Muslim, Scottish, Nigerian, American, Onondaga, Pakistani, Jewish, and South African.
  • ‘We’ live in Canada, the United States, and South Africa.
  • ‘We’ are bounded as married, single, and attracted to members of the same-sex and opposite sex.
  • ‘We’ write, follow, and administer policy. ‘We’ create, operationalize, theorize, and experience curricula.

‘We’ write from within the Master’s House and are attempting to dismantle it. ‘We’ were invited to write this paper by the journal because of our expertise and experience: a senior author in the field who is a Deputy Editor at this journal, her graduate student, and experts in theory and praxis who we invited to join as co-authors. As ‘we’ come together to write as a team, and as you the reader encounters this piece, all of ‘our’ collective individual perspectives, identities, and roles are in tension. Statements that ‘we’ write here and appear to be declarative are debated. Statements that ‘we’ claim are true might only be true for one of us and ‘we’ cannot make claims to truth beyond ‘our’ collective experience. Claims ‘we’ make in ‘our’ writing or actions ‘we’ seek may be both radical and militant and also cautious and careful. The ideas emerging from this paper stem from multiple ontological and epistemological traditions, so as ‘we’ proceed in our writing, and you proceed in your reading, we invite you to consider why we might write this and from which standpoints we write. What shifting privileges do we enact? Are we writing from within the Master’s House, or from outside of it? Will our writing collectively, through identity, form and performance, loosen the mortar of the house, are we still adding bricks reminiscent of an all too familiar pattern, or are we doing both at the same time? We invite you to question these multiple perspectives as a reader, and at the same time, question your own.

주인의 집
The master’s house

그로스포겔은 서구 대학(그리고 더 나아가 HPE)의 지식 구조가 "서유럽 5개국(이탈리아, 프랑스, 영국, 독일, 미국)의 소수의 사람들이 생산한 지식을 바탕으로"(그로스포겔 2013, 74쪽) 15세기 후반의 영토 정복과 종교적 학살로부터 발전한 구조적 토대 위에 세워졌다고 주장합니다(그로스포겔 2013). 기독교 신을 지식의 기초로 삼기보다는 데카르트의 '나' 철학("나는 생각한다, 그러므로 나는 존재한다")과 그를 따르는 계몽주의 사상가들은 서양 철학을 하나의 근본적인 사물의 범주에서 벗어나 몸과 마음을 분리하는 방향으로 나아갔습니다. 이 이원론은 의식, 의도성, 자아에 대한 의문을 제기합니다(Robinson 2020). 인간을 기독교 신을 넘어 마음을 통제 할 수있는 것으로 구성함으로써, 권력을 가진 서양인에게 인식 론적 특권, 즉 지식이 구조화되는 방식에 대한 특권을 부여했습니다 (Robinson 2020). 이러한 특권은 종교와 영토를 정복하는 데 사용되어 왔으며 식민주의를 통해 계속되고 있습니다. 우리는 의학과 의학교육이 이러한 특권에 의존한다고 주장할 수 있습니다. 
Grosfoguel argues that the structure of knowledge upon which the Western University (and, we would argue, by extension HPE) is built on a canon of thought “based on the knowledge produced by a few men from five countries in Western Europe (Italy, France, England, Germany and the USA)” (Grosfoguel 2013, p. 74) and on a structural foundation evolved from late 15th century conquests of territories and religious genocides (Grosfoguel 2013). Rather than a Christian God as the foundation of knowledge, Descartes’s philosophy of “I” (“I think, therefore I am”) and the Enlightenment thinkers that followed him moved Western philosophy away from having one fundamental category of things and towards the separation of the body and the mind. This dualism then raises questions about consciousness, intentionality, and the self (Robinson 2020). Constructing man as having control over the mind, beyond a Christian God, afforded the Western man who held power epistemic privilege: power over how knowledge is structured (Robinson 2020). This privilege has been used in conquests over religion and territories, and continues through colonialism. We would argue that medicine and medical education rely on this privilege.

대부분의 서구 대학과 의학교육에서 지배적인 담론은 지식 생산을 아는 주체의 관점 또는 영점 인식론에 기초한 것으로 자리매김했습니다(Castro-Gómez 2001; de Sousa Santos 2008; Naidu 2020). 영점백인 서구 과학이 지식을 생산하는 방식에 대한 명백히 객관적인 입장을 지칭하는 것으로, 과학자들이 추구하는 '진리'는 어디에도 없으면서 어디에나 존재하므로, 단지 영점으로서 '있다'고 주장합니다. 이는 "중립적 객관성을 스스로 주장하는 사람들의 상상적 입장, 즉 모든 것을 볼 수 있다고 가정하는 보이지 않는 입장"입니다(솔다텐코 2015, 140쪽). 이 틀 안에서 과학은 "적절한 방법을 사용하는 것만으로도 물리적, 사회적 세계에 대한 객관적으로 타당한 지식을 얻을 수 있는" 중립적인 객관적 진리를 찾는 것으로 구성됩니다(Castro-Gómez 2001, 149쪽). 이러한 구조는 "서구화된 대학에서 지식 생산의 정경의 특권과 권위를 독점하고 있는 5개국(프랑스, 영국, 독일, 이탈리아, 미국) 출신의 (백인) 남성들"의 전 세계적 물질적, 사회적 이해관계에 크게 뿌리를 두고 있습니다(Grosfoguel 2013, 87쪽; Cupples와 Grosfoguel 2018).
The dominant discourses at work in most Western universities and medical education have positioned knowledge production as based on the perspective of a knowing subject or zero-point epistemology (Castro-Gómez 2001; de Sousa Santos 2008; Naidu 2020). The zero point is a reference to the avowedly objective stance of how white Western science produced knowledge: the ‘truth’ scientists seek is both nowhere and everywhere; we would claim it just ‘is’, as a zero point. It is an “imaginary position of those who claim neutral objectivity for themselves—an unseen position that presumes to see all” (Soldatenko 2015, p. 140). Within this frame, science is constructed as a search for a neutral objective truth where “it is possible to achieve objectively valid knowledge about the physical and social world by merely using the appropriate method” (Castro-Gómez 2001, p. 149). This construction is heavily rooted in the global material and social interests of (white) “men from five countries (France, England, Germany, Italy and the USA) who are the ones monopolizing the privilege and authority of canons of knowledge production in the Westernized university” (Grosfoguel 2013, p. 87; Cupples and Grosfoguel 2018).

이러한 세계 권력의 역사에 뿌리를 둔 영점 인식론은 인식론적 부정의인식론적 폭력의 형태를 낳습니다(Fricker 2007, Ndofirepi and Gwaravanda 2018, Soldatenko 2015, Spivak 1988). Fricker(2017)는 두 가지 유형의 인식적 부정의, 즉 증언적 부정의해석학적 부정의를 설명합니다.

  • 증언적 부정의편견으로 인해 누군가의 말이 잘못 판단되어 다른 사람의 말보다 덜 가치 있는 것으로 간주될 때 발생합니다. 의료 환경의 예를 들면 편견이나 인종차별 때문에 환자의 의료적 불만을 무시하는 의료 전문가를 들 수 있습니다(호프만 외. 2016; 로리 및 말론 2020).
  • 해석학적 부정의두 사람이 동일한 지식 기반을 충분히 공유하지 않아 상황에 대한 공동의 이해에 도달할 수 없을 때 발생합니다. 의료 서비스를 예로 들면, 특권을 가진 사람이 같은 특권을 갖지 못한 사람이 같은 리소스에 접근할 수 없는 이유를 이해할 수 없을 때 발생할 수 있습니다(Florko 2020).

영점 관점은 이러한 형태의 인식론적 부정의와 결합하여 현대 의료 관행에서 "의료의 일반적인, 아마도 만연한 특징"이 된 방법, 관행, 증거의 형태 및 앎의 방식에 대한 특권으로 더욱 나타납니다(Carel and Kidd 2014, 538쪽). 
Rooted in these global histories of power this zero-point epistemology result in forms of epistemic injustice and epistemic violence (Fricker 2007; Ndofirepi and Gwaravanda 2018; Soldatenko 2015; Spivak 1988). Fricker (2017) describes two types of epistemic injustice: testimonial injustice and hermeneutic injustice.

  • Testimonial injustice occurs when someone’s words are misjudged and considered to be less worthy than another’s due to prejudice. An example in a healthcare setting would be a health professional who ignores a patient’s medical complaints due to prejudice or racism (Hoffman et al. 2016; Lowrie and Malone 2020).
  • Hermeneutic injustice occurs when two people do not sufficiently share the same knowledge base such that a shared understanding of a situation cannot be reached. An example in healthcare may be when those with privilege cannot understand why those without the same privilege are unable to access the same resource (Florko 2020).

The zero-point perspective, combined with these forms of epistemic injustice, further manifest in contemporary healthcare practice as a privileging of methods, practices, forms of evidence, and ways of knowing which have become “a common, possibly pervasive, feature of healthcare” (Carel and Kidd 2014, p. 538).

HPE 프로그램과 이를 구축하는 데 사용하는 증거는 이러한 관점 속에 내재되어 있어 의료 시스템이 구축된 방식이 '자연스러운' 것처럼 보입니다. 우리는 바로 이 시스템을 통해 다음에 대해 의문을 제기하지 않도록 조건화되었다고 가정합니다. 

  • 우리가 왜 우리가 알고 있다고 생각하는지,
  • 왜 어떤 아이디어는 커리큘럼의 '핵심'이라고 생각하는 반면 다른 아이디어는 그렇지 않다고 생각하는지,
  • 왜 HPE의 마스터 하우스에 구축된 모든 것을 개선할 수 있다고 생각하는지

유럽과 북미의 전문 학교는 이러한 영점 인식론을 바탕으로 설립되었으며, 이를 전 세계로 확산하고 있습니다. 우리는 성차별, 인종차별, 가부장제, 권위, 자본주의의 영향을 받고 백인 '5개국 출신 남성'의 영점 인식론의 지배에 기반한 HPE의 심기와 확산이 역사를 통해 명백히 드러난다고 주장합니다.

  • 1852년 뉴먼은 대학을 신사 양성을 위한 진리 수양과 사색의 장으로 자리매김했습니다(Newman and Turner 1996).
  • 1900년대 초에 플렉스너는 이상적인 의학 프로그램을 지식과 사실 추구에 전념하는 프로그램(Flexner 1968, 1972)과 "명예 규범이 있는 질서, 계급"(1968, 30쪽)으로 규정했습니다.
  • 1960년대에 커(1963)는 대학을 "지식의 생산자, 도매업자, 소매업자"(114쪽)로 포지셔닝했습니다.
  • 그 후에도 슬러터와 로즈(2004)는 대학을 학문적 자본주의 지식/학습 체제로 포지셔닝합니다.
  • Saks(2016)는 전문직의 권력과 특권은 국가가 승인한 지식 통제에 기반을 두고 있다고 지적합니다. 

HPE programs and the evidence that we use to build them are so embedded within this perspective that how the health system has been constructed appears to be ‘natural’. We posit that it is through this very system that we have been conditioned not to question why we think we know what we know, or why we think some ideas are ‘core’ to curricula while others are not, or why we think we can improve upon anything built within this Master’s House of HPE. Professional schools in Europe and North America have been built from this zero-point epistemology and have gone on to spread this globally. We argue that the planting and proliferation of HPE as founded on the pillars of sexism, racism, patriarchy, authority, buffeted by capitalism, and grounded in the dominance of the zero-point epistemology of white ‘men from five countries’ is evident in history.

  • In 1852, Newman positions the university as a place for the cultivation and contemplation of the truth for the formation of gentlemen (Newman and Turner 1996).
  • Writing in the early 1900s, Flexner positions the ideal medical program as one devoted to the pursuit of knowledge and facts (Flexner 1968, 1972) and a profession as “an order, a caste [with] a code of honour” (1968, p. 30).
  • In the 1960s, Kerr (1963) positions the university as a “producer, wholesaler, and retailer of knowledge” (p. 114).
  • Later still, Slaughter and Rhoades (2004) position the university as an academic capitalist knowledge/learning regime.
  • Saks (2016) notes that the power and privilege of the professions is based on the state-sanctioned control over knowledge.


HPE 내부에서 마스터스 하우스의 규칙은 어떤 지식이 진리로서 유포되고 언급될 수 있는지, 그리고 의료 전문가가 지역사회에서 어떤 역할을 수행할 수 있는지를 승인합니다. 이러한 교육 프로그램에는 커리큘럼, 표준, 학습 목표, 예상 결과 및 표준화된 시험이 있으며, 이는 지배적인 지식의 방식에 따라 설정됩니다. 이러한 학교를 졸업한 자율 규제 보건 전문직 종사자들은 성문화된 사고 체계를 통해 경계와 지위의 수호자이자 재생산자로 간주됩니다(Freidson 2001). 그러나 "지배의 정치는 종종 교육 환경에서 재생산"됩니다(후크스 2014, 39쪽).

  • 예를 들어, 의사들은 제국주의 투쟁의 공헌자로 여겨져 왔습니다 (Aidoo 1987; Fanon 1994). 이러한 인식론적 폭력은 지속되고 있으며, 의학교육을 통한 식민지화에 대한 우려가 계속 제기되고 있습니다(Muzzin and Martimianakis 2016; Naidu and Kumagai 2016; Whitehead 2016) 및 의료 행위(Sharma 2018).
  • 지식 생산을 추구하는 과정에서 HPE는 해방과 같은 교육의 다른 잠재적 목표보다는 실증주의, 보편주의, 합리주의와 같은 계몽주의 이념에 계속 가치를 두고 있습니다(Freire 2000).
  • 이를 통해 HPE는 지배, 특권, 지위를 창출, 승인, 재생산하며, 교육은 사회 내 상황을 개선하기 위한 수단이 아니라 개인의 성취로 간주된다고 주장합니다.
  • 이러한 지배적인 인식론에 근거하여, 우리는 많은 HPE 교육자들이 실천에서 개인의 직업적 책임을 입증하는 데 주의를 집중하고, 그러한 실천의 사회적 책임에 대해서는 덜 집중한다고 주장합니다. 

From within HPE, the rules of the Master’s House authorize what knowledges can be circulated and spoken of as truths and in turn, what role a practicing health professional serves in the community. In these educational programs there are curricula, standards, learning objectives, expected outcomes, and standardized tests set on the dominant ways of knowing. Those who graduate from these schools, members of self-regulated health professions, are seen as guardians and reproducers of boundaries and status through codified systems of thought (Freidson 2001). However, the “politics of domination are often reproduced in the educational setting” (hooks 2014, p. 39).

  • Physicians, for example, have been viewed as contributors to imperialist struggles (Aidoo 1987; Fanon 1994). This epistemic violence endures and concerns continue to be raised about colonization through medical education (Muzzin and Martimianakis 2016; Naidu and Kumagai 2016; Whitehead 2016) and medical practice (Sharma 2018).
  • In the pursuit of knowledge production, the House of HPE continues to place value on the ideologies of the Enlightenment—on positivism, universalism, and rationalism—rather than other potential goals of education, such as liberation (Freire 2000).
  • In so doing, we argue, HPE creates, authorizes, and reproduces domination, privilege, and status and education is seen as an individual achievement and not a means for improving circumstances within society.
  • Based on these dominant epistemologies, we argue that many HPE educators focus attention in demonstrating an individual’s professional responsibility in practice, and focus less on the social responsibility of that practice.

형평성과 사회 정의는 그 기원으로 인해 HPE 커리큘럼 내에서 다소 불편하게 자리 잡고 있습니다. 형평성과 사회 정의의 개념은 종종 계몽주의의 합리주의적 입장에 반대하는 입장으로 간주되기 때문에 이는 의외일 수 있습니다. 언뜻 보기에 형평성과 사회 정의의 개념은 합리적이고 보편적인 실증주의 생물학적 모델에 반대되는 것처럼 보일 수 있지만, 우리와 다른 사람들은 현대 (정착민) 북미와 유럽의 형평성과 사회 정의 구성이 영점 인식론의 동일한 시작점인 정복, 계몽주의, 그리고 그에 따른 식민주의와 연결되어 있다고 주장합니다. 그것은 주인의 집 안에서 유지되는 식민지적 권력 모델입니다. 심지어 "근대성 역시 그 출발점부터 식민지적이었다"(퀴자노 2000, 549쪽).

  • 불평등과 불공정을 먼저 구축하고 정의하지 않고서는 공평과 사회 정의를 논할 수 없습니다.
  • 인종이라는 구조가 존재하지 않는다면 반인종주의를 논의할 수 없습니다.

마스터의 집이라는 현대의 HPE가 구조적으로 불건전하다면(그리고 우리는 여기서 그렇게 주장합니다), 아무리 암묵적인 편견 교육이나 잘 만들어진 다양성 선언문도 수 세기에 걸친 인식론적 폭력을 지울 수는 없습니다.
Equity and social justice are themselves positioned somewhat uncomfortably within HPE curricula because of their origins. This may be surprising as the idea of equity and social justice is often considered as a stance against the rationalist positioning of the Enlightenment. While at first glance the concepts of equity and social justice may appear to be in opposition to the rational, universal, positivist biomedical model, we and others argue that the modern (settler) North American and European constructions of equity and social justice are tied to the same beginnings of the zero-point epistemology: conquest, the Enlightenment, and subsequent coloniality. It is a colonial model of power that is sustained within the Master’s House. Even “modernity was also colonial from its point of departure” (Quijano 2000, p. 549).

  • One cannot discuss equity and social justice without first having built and defined inequity and injustice.
  • One cannot discuss anti-racism without the existence of the construct of race.

If the contemporary HPE that is the Master’s House is structurally unsound (and we argue here that this is so), then no amount of implicit bias training or well-crafted diversity statements can erase the centuries of epistemic violence.

반 마일더스는 서구 학계에서 다양성 선언의 문제점을 다음과 같이 설명합니다: "현대 대학은 인종, 성별, 계급적 차이의 문제를 모호하게 하기 위해 정체성 정치와 다양성에 대한 근거 없는 찬사를 적절히 활용함으로써 백인이라는 헤게모니적 비가시성을 그대로 방치하고 있습니다(Cupples and Grosfoguel 2018, 47쪽, van Milders). 그의 설명은 다양성 선언이 권력 구조를 그대로 둔다는 점을 강조합니다. 만약 게이트키퍼 역할을 하는 대학이나 전문직 구조가 형평성과 사회 정의의 개념을 정의하거나 이러한 문제에 대한 가정된 해결책을 실행하는 동일한 기관이라면, 그들은 차이(Cupples and Grosfoguel 2018)를 지우고 식민성을 영속화하는 것 외에 아무것도 하지 않을 수 있다는 것이죠. 

Van Milders explains the problem with diversity statements in Western academia thus: “the contemporary university has managed to appropriate identity politics and the unsubstantiated celebration of diversity in order to obscure issues of raced, gendered, and classed difference and thereby leaves the hegemonic invisibility of whiteness untouched (van Milders in Cupples and Grosfoguel 2018, p. 47). His explanation emphasizes that diversity statements leave power structures untouched: if the university or professional structures that act as gatekeepers are the same institutions that define the concepts of equity and social justice, or that implement supposed solutions to these issues, then they may be doing nothing more than erasing differences (Cupples and Grosfoguel 2018) and perpetuating coloniality.

계몽주의 이후 국민국가의 경제, 정치, 법의 구축과 맞물려 과학은 인종의 구성을 통해 사람들을 분리하는 데 활용되었습니다. 과학과 사람이 누구인지, 어디에서 '태어났는지'에 대한 우리의 생각은 세계 시스템의 일부를 형성합니다(Castro-Gómez 2001). 세계 시스템에서 경제를 건설하고 자원에 접근하기 위해 한 민족 국가는 다른 민족 국가를 식민지화했습니다. 식민지 개척자들은 인종, 동양이라는 개념(Said 1979), 남북 이분법 및 기타 분열 관행을 구축했습니다. 형평성, 반인종주의, 사회 정의의 개념을 포함하여, 지배적인 담론에서 '현대 문화'라고 부르는 것에 대한 이해는 모두 영점 인식론의 구축된 보편주의에 의해 유지되는 이 프레임 안에 있습니다. 식민지성과 과학에 기반한 정체성 및 사회적 가치 구성에서 비롯된 노동의 분배와 착취는 인종에 따라 차별화되는 노동 통제 형태를 가져왔고, 따라서 "지배/착취의 새로운 기술, 이 경우 인종/노동은 두 요소가 자연스럽게 연관된 것처럼 보이는 방식으로 표현되었다"(퀴야노 2000, 537쪽). 이러한 역사적 노동 분배와 학계 및 의학계에서 소외된 집단의 지속적인 노동 분배 사이에 직접적인 연관성을 찾을 수 있습니다(미국 의과대학 협회 2020; Henry 외. 2017; Hodges 2020; Nestel 2004). 우리는 과학과, 과학에서 나온 전문직이 계속해서 사람들을 지배하고 통제하며 분열시키고 있다고 주장합니다. 
Intertwined with the building of post-Enlightenment nation-state economics, politics, and law, science was deployed to separate people through the construction of race. Science, and our ideas of who people are or where they ‘come from’ form part of a world-system (Castro-Gómez 2001). To build an economy and gain access to resources in the world-system, one nation state colonized another. Colonizers constructed race, the notion of the Orient (Said 1979), the North/South binary, and other such dividing practices. The understanding of what the dominant discourse calls ‘modern culture’, including notions of equity, antiracism, and social justice, all sit within this frame which is held up by the constructed universalism of zero-point epistemology. The distribution and exploitation of labour stemming from coloniality and science-based constructions of identities and social value brought about forms of labour control that were differentiated by race; thus “a new technology of domination/exploitation, in this case race/labor, was articulated in such a way that the two elements appeared naturally associated” (Quijano 2000, p. 537). One can draw a direct line between this historical distribution of labour and the ongoing distribution of the labour of marginalized groups in academia and medicine (Association of American Medical Colleges 2020; Henry et al. 2017; Hodges 2020; Nestel 2004). We argue that science, and the professions that emerged from it, continue to dominate, control, and divide people.

보건 전문직 교육은 식민주의와 인식론적 폭력에 뿌리를 둔 현재의 모델을 더 이상 지속할 수 없습니다. 형평성과 사회 정의를 재구성하기 위해서는 영점을 넘어 부분적인 관점, 위치 지식, 정체성과 위치의 경계선을 포용하는 인식론적, 존재론적 입장에서 도출된 새로운 HPE 비전이 필요하다고 제안합니다(Anzaldúa 1999; Haraway 1988). 마스터의 집을 해체하는 것은 "새로운 방식의 글로벌 구조화"(카스트로-고메즈 2001, 152쪽)와 새로운 가능성의 교육학(모타 2013)을 제공할 것입니다. 
Health professions education can no longer sustain the continuation of our current models rooted in coloniality and epistemic violence. In order to reframe equity and social justice, we suggest that we need a new vision of HPE; one derived from epistemological and ontological positions that move beyond the zero point to embrace partial perspectives, situated knowledges, and the borderlands of identity and position (Anzaldúa 1999; Haraway 1988). Dismantling the Master’s House will give “way to new ways of global structuring” (Castro-Gómez 2001, p. 152) and new pedagogies of possibility (Motta 2013).

우리는 시간의 순간을 묘사하고, 그 순간을 목격하고, 인식론적 불의를 해결하기 위해 다양한 방식으로 직접 참여하면서 이 작품을 시작했습니다. 아마도 캐나다 시인 디온 브랜드(2020)가 이 순간을 가장 잘 묘사한 것 같습니다. "모든 것이 공중에 떠 있고, 그 순간의 모든 내러티브가 날아가고, 동상이 쓰러지고, 모든 지표가 잠시나마 무너지는 순간"이죠. 
We began this piece describing moments in time, bearing witness to these moments, and participating ourselves in a multitude of different ways to address epistemic injustices. Perhaps the Canadian poet Dionne Brand (2020) describes this moment the best. A moment when “everything is up in the air, all narratives for the moment have been blown open—the statues are falling—all the metrics are off, if only briefly.”

 

마스터의 집 해체하기
Dismantling the master’s house

주인의 집을 해체하려면 HPE 내에서 다음에 대한 조사가 필요합니다.

  • 차이는 어떻게 구성되는지,
  • 이러한 개념화로 인해 누가 혜택을 받았는지,
  • 이러한 개념이 교육과 실무에서 어떻게 나타났는지,
  • 이러한 패턴이 어떻게 HPE에서 불평등을 지속시키는지

오랫동안 지배적인 영점 인식론에 대한 대안은 무엇일까요? 식민지, 젠더와 섹슈얼리티의 구성, 인종 구성 등 서로 연결된 세 가지 사례를 예로 들어 설명하겠습니다. 그러나 이는 세 가지 가능한 부분적인 관점일 뿐이며, 예를 들어 건강 상태, 능력, 종교적 신념, 토착성 또는 사회경제적 지위도 탐구할 수 있습니다. 식민지성, 성별 및 섹슈얼리티, 인종을 선택한 데에는 여러 가지 이유가 있습니다.

  • 첫째, 이 주제들은 정복과 식민지에서 비롯된 영점 인식론에서 비롯된 것이고,
  • 둘째, 글로벌 식민지 권력 매트릭스는 인종주의의 토대 위에서 구성되며 성별과 섹슈얼리티가 권력의 한 영역으로 유지되고 있고,
  • 셋째, 보건 전문직 교육의 구성원으로서 집단적으로나 개인적으로 특히 관심이 있는 분야이며,
  • 넷째, 이러한 질문을 통해 새로운 가능성을 상상할 수 있다는 희망이 있기 때문입니다.

Dismantling the Master’s House calls for an interrogation of

  • how difference is constructed within HPE,
  • who has been advantaged by these conceptualizations,
  • how these have manifested in education and practice, and
  • how these patterns continue to perpetuate inequities in HPE.

What are the alternatives to the long dominant zero-point epistemologies? We will employ three interconnected examples as illustrations: coloniality, the constructs of gender and sexuality, and the construct of race. However, these are just three possible partial perspectives; we could have also, for example, explored health status, ability, religious beliefs, Indigeneity, or socio-economic status. We have selected coloniality, gender and sexuality, and race for a number of reasons.

  • First, they emerge out of zero-point epistemologies stemming from conquest and colonization;
  • second, the global Colonial Matrix of Power is constructed on the foundation of racism and is held up by gender and sexuality as a sphere of power;
  • third, these are areas of particular interest to us collectively and individually as members of health professions education; and
  • fourth, there is hope that through their interrogation, we can imagine new possibilities.

식민지성
Coloniality

식민성의 개념은 식민주의와 탈식민주의에 대한 대응으로 개발되었습니다. 식민주의는 한 집단이 다른 집단을 정복하는 지배의 관행을 말합니다(Kohn and Reddy 2017). 식민주의는 세계 역사에서 계속되어 왔지만, 이 백서에서는 주로 16세기에 시작되어 아시아, 아프리카, 호주와 뉴질랜드, 아메리카 대륙의 사람들과 영토를 포괄하는 유럽 열강에 의한 현재의 식민지 시대를 지칭합니다. 식민주의는 흔히 제국주의 열강이 새로운 영토를 정복하고 자원을 약탈하는 행위로만 생각하기 쉽습니다. 그러나 동시에 제국주의 열강은 경제와 사회가 어떻게 기능해야 하는지를 포함한 계몽주의의 이상을 수출하고 있었습니다. 정교한 전통 교육 관행은 혼란에 빠지거나 근절되었습니다. 식민주의는 여러 세대에 걸친 지식의 패권적 파괴를 통해 문화, 언어, 지식 체계를 죽이는 "문화 학살, 언어 학살, 인식 학살"로 이어졌습니다(Hall and Tandon 2017). 다음과 같은 것은 바로 이러한 이유에서 비롯된 것이라고 우리는 주장한다.

  • 대부분의 캐나다 학교에서 학생들이 영어와 프랑스어로 교육을 받지만 이누크티투트어나 오지브웨이는 배우지 않는 이유,
  • '전통적인' 문학 정전에 셰익스피어는 있지만 소잉카는 포함되지 않는 이유,
  • 우리가 '내러티브'라고 부르는 것이 주로 구술이 아니라 로 된 이유,
  • 우리 몸이 어떻게 기능하는지에 대한 이해가 영적인 것이 아니라 생물학적이라는 이유 등

이러한 지식은 식민지 인식론에서 비롯된 것이며, 현대 대학이 현재 합법적이고 '진짜', '진실'로 간주하는 것의 대부분은 이러한 식민지 지배 규범에서 비롯된 것입니다(Hall and Tandon 2017). 
The concept of coloniality was developed as a response to both colonialism and postcolonialism. Colonialism refers to the practice of domination where one group of people subjugate another (Kohn and Reddy 2017). While colonialism has been ongoing in world history, for the purposes of this paper we refer primarily to the current period of colonization by European powers that started in the 16th century and encompassed people and territories in Asia, Africa, Australia and New Zealand, and the Americas. Colonialism is often only thought of as the act of imperialist powers conquering new territories and plundering their resources. However, at the same time, imperialist powers were exporting the ideals of the Enlightenment, including how economies and societies should function. Sophisticated traditional education practices were disrupted or eradicated. Through the hegemonic disruption of generations of knowledge, colonialism led to “cultural genocide, linguicide and epistemicide”—the killing of culture, language and Knowledge Systems (Hall and Tandon 2017). It is

  • why, we argue, students in most Canadian schools are educated in English and French but not in Inuktitut or Ojibway;
  • why the ‘traditional’ literary canon contains Shakespeare but not Soyinka,
  • why what we call ‘narrative’ is primarily written and not oral, and
  • why our understanding of how our bodies function is biological, not spiritual.

These knowledges stem from colonial epistemologies and much of what the modern university now positions as legitimate, ‘real’ and ‘true’ is positioned from this colonial dominant norm (Hall and Tandon 2017).

탈식민주의는 약 400년에 걸친 유럽 중심의 식민지배에 대한 대응으로 등장했습니다. 그것은 다음과 같이 정의됩니다:
Postcolonialism emerged as a response to approximately 400 years of Eurocentric colonization. It is defined as:

식민주의의 경험과 그 과거와 현재의 영향에 대한 연구로, 식민지 이전 사회의 지역적 수준뿐만 아니라 제국의 후유증으로 여겨지는 보다 일반적인 글로벌 발전의 수준에서 모두 포함됩니다. 탈식민주의는 종종 노예, 이주, 억압, 저항, 차이, 인종, 성별, 장소 등 다양한 종류의 경험에 대한 논의를 포함합니다.... (슈바르츠와 레이 2008, 93쪽)
studied engagement with the experience of colonialism and its past and present effects, both at the local level of ex-colonial societies, as well as at the level of more general global developments thought to be the after-effects of empire. Postcolonialism often involves the discussion of experiences of various kinds such as those of slavery, migration, suppression, and resistance, difference, race, gender, place…. (Schwarz and Ray 2008, p. 93)

탈식민주의는 '자아'가 사회적으로 구성되었으며, 제국주의의 지배 세력이 우리 대 그들, 백인 대 흑인, 서양 대 동양의 이분법을 만들어냈다고 주장합니다(Said 1979). 사회적으로 구성된 정체성은 지배적인 지식 관행에 의해 항상 '타자'와의 관계에서 자신을 바라보도록 조건화되어 다층적으로 구축됩니다(Bhabha 2012). 탈식민주의는 부분적으로는 정치적, 경제적 대응일 뿐만 아니라 인식론적 대응으로서, 계몽주의와 식민지화를 통해 발전한 모든 것을 단적으로 정의할 수 있다는 실증주의적 규범에 도전하는 것입니다. 후기식민주의는 긴밀하게 묶여 있지 않으며 "하나의 분야, 관점 또는 정치적 약속"으로 볼 수 있습니다(Loomba 2015, 4쪽). "탈식민주의"를 정의하는 것은 하나의 합리화되고 환원주의적인 정의로 축소하려는 지식 관행에 대해 (저항하는 것이 아니라) 설명하는 것입니다. 
Postcolonialism argues that the ‘self’ has been socially constructed; the dominant powers of imperialism generating the binaries of us versus them, white versus black, and West versus East (Said 1979). Socially constructed identities are built up in layers, conditioned by dominant knowledge practices to always see oneself in relation to an ‘other’ (Bhabha 2012). Postcolonialism is, in part, not only a political and economic response but an epistemological one, challenging the dominant positivist norm developed through the Enlightenment and colonization that everything can be singularly defined. Postcolonialism is not tightly bound and can be viewed as “a field, or a perspective, or a political commitment” (Loomba 2015, p. 4). Defining “postcolonialism” is describing instead a resistance to knowledge practices that attempt to whittle it down to a single rationalized and reductionist definition.

많은 학자들이 탈식민주의라는 개념에 저항하고, 대신 식민성이라는 개념을 통해 연구를 구성합니다. 식민성은 포스트모더니스트 유럽 중심적 사상가(푸코, 그람시, 데리다 등)에 대한 의존에서 벗어나, 소외된 인식론적 철학, 전통, 사유 체계가 내재된 지식으로 나아가는 식민지 지식의 가시적인 형태로 자리매김하고 있습니다(Grosfoguel 2011). 예를 들어,

  • 글로리아 안잘두자(1999)는 자아를 정복으로부터 해방시키기 위해 국경지대에 대한 새로운 포용적이고 혼합적인 의식을 요구합니다.
  • 프란츠 파농(1963, 2008)과 스티브 비코(2015)는 자아의 변증법적 구성으로부터 사회를 해방시키기 위해 혁명, 힘 또는 폭력이 필요할 수 있다는 점을 고려할 것을 권유합니다.

이들의 공통점은 다름을 인정하는 지식 실천에 대한 찬사입니다. 식민성 또는 탈식민화 프레임을 사용하면 [차이를 지우고, 주체의 위치를 은폐하며, 주체가 "지배적 위치에 있는 것과 같은 인식론적 사고"를 하게 만드는 지식]의 형태에서 신중하게 벗어날 수 있습니다(Grosfoguel 2011, 5쪽). 
Many scholars resist the idea of postcolonialism and instead frame their work through the concept of coloniality. Coloniality positions itself as a tangible form of decolonizing knowledges—moving away from the reliance on postmodernist Eurocentric thinkers (such as Foucault, Gramsci, and Derrida) to knowledge imbued with marginalized epistemological philosophies, traditions, and systems of thought (Grosfoguel 2011). For example,

  • Gloria Anzaldúza (1999) calls for a new inclusive, mixed consciousness of the borderlands to unentangle the self from subjugation.
  • Frantz Fanon (1963, 2008) and Steve Biko (2015) invite one to consider that revolution, force, or violence may be needed to emancipate society from dialectic constructions of the self.

What these have in common is their celebration of a knowledge practice that recognizes difference. Using frames of coloniality or decolonization move us thoughtfully away from forms of knowledge that erase differences, conceal subject positions, and makes subjects “think epistemically like the ones on the dominant positions” (Grosfoguel 2011, p. 5).

서구의 "근대적" 인식론이 어떻게 일부 집단에는 유리하지만 다른 집단에는 불리한지 보여주는 데 도움이 되는 도구 중 하나는 식민지 권력 매트릭스입니다. 이 매트릭스(미뇰로 2007; 퀴자노 2000)는 식민주의를 통해 발전한 근대 글로벌 권력의 기초로서 지식, 인종주의, 가부장제, 자본을 중심에 두고 있습니다. 미뇰로와 퀴야노가 주장했듯이, 현대 글로벌 시스템은 지배의 도구로서 권력의 영역(주체성, 성별과 섹슈얼리티, 권위, 토지 및 노동력 착취)을 부과했습니다. 이러한 도구는 상호 의존적이며 서로 관련되어 작동하며 현대의 글로벌 권력 구성을 유지하고 재생산하는 역할을 합니다(Quijano 2000). 이론가들은 식민지 권력 매트릭스가 "서구 문명의 근본 구조"(Mignolo 2011, 16쪽)이며 "상호 연결된 위계를 생성, 재생산, 수정, 유지하는 논리"(Mignolo 2011, 17쪽)라고 주장합니다. (그림 1) 
One tool that helps demonstrate how a Western “modern” epistemology advantages some groups but not others is the Colonial Matrix of Power. This matrix (Mignolo 2007; Quijano 2000) centres knowledge, racism, patriarchy and capital as the basis of modern global power developed through colonialism. This modern global system, as Mignolo and Quijano have argued, imposed spheres of power (subjectivity, gender and sexuality, authority, and the exploitation of land and labour) as instruments of domination. These instruments are interdependent, operating in relation to one another, and serve to uphold and reproduce the modern construction of global power (Quijano 2000). Theorists argue that the Colonial Matrix of Power is “the very foundational structure of Western civilization” (Mignolo 2011, p. 16) and is “the logic that generates, reproduces, modifies, and maintains interconnected hierarchies” (Mignolo 2011, p. 17). (Fig. 1)

구조적 인종 차별
Structural racism

뉴잉글랜드 의학 저널에 실린 한 논문은 경찰의 불균형적인 공권력 사용으로 미니애폴리스에서 사망한 흑인 남성이 어떻게 미국 의료계가 구조적 인종주의에 맞서야 한다는 요구를 촉발했는지를 설명합니다. 이 논문은 의료 전문가들이 구조적 인종주의를 해체할 책임이 있으며, 이를 위해 구체적인 행동을 취함으로써 이를 시작할 수 있다고 설명합니다.

  • △건강 격차를 초래하는 역사적 인종주의의 뿌리에 대해 배우고
  • △암묵적 편견에 도전하며
  • △인종주의를 목격했을 때 정의하고 이름을 붙이고
  • △우세한 집단의 관점에서 소외된 집단의 관점으로 전환하는 등 

이 논문이 조지 플로이드의 사망 이후인 2020년에 발표되었다고 생각할 수 있지만, 실제로는 2016년에 필란도 카스틸레라는 남성이 경찰의 손에 의해 사망한 사건에 대해 작성되었습니다(Hardeman 외. 2016). Hardeman은 구조적 인종차별을 "미국에서 생명을 단축시키는 폭력의 공통분모"라고 부릅니다(2113쪽). 그녀는 용기와 변화를 모두 요구하지만, 그 이후 많은 변화가 있었을까요? 
A paper in the New England Journal of Medicine describes how a Black man killed in Minneapolis through the disproportionate use of lethal force by the police sparked calls for the medical profession in the United States to confront structural racism. It explains that medical professionals have a responsibility to dismantle structural racism and can begin doing so by taking specific actions:

  • learning about historical racist roots which lead to health disparities;
  • challenging implicit biases;
  • defining and naming racism when it is seen, and
  • ‘centering at the margins’—shifting away from the dominant group’s perspective to that of marginalized groups.

One might imagine this paper came out in 2020 following the death of George Floyd, but it was actually written in 2016 about a man named Philando Castile who also died at the hands of the police (Hardeman et al. 2016). Hardeman calls structural racism “the common denominator of the violence that is cutting lives short in the United States” (p. 2113). She calls for both courage and change, but has much changed since?

인종주의는 식민지 권력 매트릭스 구조의 중심에 있습니다. 인종이라는 개념으로 전 세계 사람들을 분류한 것은 식민주의였지만, 식민주의 구조보다 더 오래 지속되어 온 것은 인종주의입니다(퀴야노 2000). 식민주의를 통해 지리적 출신에 따라 개인을 분류하거나 식별하는 방식은 관찰 가능한 특성(또는 표현형)에 따라 개인을 분류하는 방식으로 바뀌었고, 이는 새로 만들어진 인종이라는 범주에 따라 개인을 분류하는 방식으로 바뀌었습니다(Quijano 2000). 인종주의는 제국과 식민지 경제의 확산을 정당화했습니다. 정복당한 사람들은 식민지 개척자보다 인종적으로 열등한 존재로 구성되었습니다.
Racism is at the centre of the structure of the Colonial Matrix of Power. While it was colonialism that classified the world’s people by the idea of race, it is racism that has endured longer than the colonial structure from whence it came (Quijano 2000). Through colonialism, categorizing or identifying an individual by geographic origin gave way to categorizing individuals based on observable characteristics (or phenotypes) which then gave way to categorizing individuals by the newly-created category of race (Quijano 2000). Racism legitimized the spread of empire and colonial economies. The conquered were constructed as racially inferior to the colonizer.

다윈, 스미스, 생시몽, 콩트, 뉴먼, 밀(그리고 다른 많은 학자들)의 유럽 중심적 렌즈를 통해 유럽 사회는 진보와 발전을 개인주의, 효용, 교육, 질서와 동일시했으며, 이러한 조건은 "'관습'에 얽매이지 않고 관용과 합리적인 토론이 허용되는 사회"에서만 실현될 수 있었습니다(Cowen과 Shenton 1996, 41쪽)(말할 필요도 없이 다른 사람의 문화적 표준만 '관습'으로 비하될 수 있습니다). 식민주의와 인종주의는 제국주의와 경제 확장이 성장함에 따라 이와 유사한 영점 사상이 교육, 보건, 정부 및 그 구조와 제도의 시스템을 통해 만들어지고 엮어졌습니다.
Through the Eurocentric lenses of Darwin, Smith, Saint-Simon, Compte, Newman, and Mill (and many others), European society equated progress and development with individualism, utility, education, and order and these conditions could only be realized in societies “not bound by ‘custom’ and in which tolerance and rational discussion were permitted” (Cowen and Shenton 1996, p. 41) (needless to say, only someone else’s cultural norm would be derided as ‘custom’). Colonialism and racism fit right in and as imperialist and economic expansion grew, these and similar zero-point ideas created and wove their way up and through the systems of education, health, government, and their structures and institutions.

그렇다면 인종주의란 무엇이며, 구조적 또는 제도적 인종주의란 무엇일까요? 여기서는 카마라 존스(2002)의 글을 길게 인용할 가치가 있습니다. 그녀는 이렇게 썼습니다:
What is racism then, and what is structural or institutional racism? It is worth quoting Camara Jones (2002) here at length. She writes:

인종주의는 표현형("인종")에 따라 기회를 구조화하고 가치를 부여하는 시스템으로, 일부 개인과 공동체에 부당하게 불이익을 주고, 다른 개인과 공동체에 부당하게 이득을 주며, 인적 자원의 낭비를 통해 사회 전체의 잠재력을 최대한 실현하는 것을 저해합니다. (p. 10)
Racism is a system of structuring opportunity and assigning value based on phenotype (“race”), that: unfairly disadvantages some individuals and communities; unfairly advantages other individuals and communities; [and] undermines realization of the full potential of the whole society through the waste of human resources. (p. 10)

존스는 이어서 제도화된 인종차별을 다음과 같이 정의합니다:
Jones then goes on to define institutionalized racism as:

"인종"에 따라 사회의 재화, 서비스 및 기회에 차별적으로 접근하는 구조, 정책 또는 규범입니다. 제도화된 인종차별은 규범화되어 있고 때로는 합법화되어 있으며 대물림되는 불이익으로 나타나는 경우가 많습니다. 인종차별은 관습, 관행, 법률 제도에 성문화된 구조적 문제이므로 가해자가 특정되지 않아도 ... 물질적 조건과 권력에 대한 접근성에서 모두 나타납니다. (p. 10)
the structures, policies, or norms resulting in differential access to the goods, services, and opportunities of society by “race.” Institutionalized racism is normative, sometimes legalized, and often manifests as inherited disadvantage. It is structural, having been codified in our institutions of custom, practice, and law so there need not be an identifiable perpetrator … [and it] manifests itself both in material conditions and in access to power. (p. 10)

퀴자노가 주장했듯이 인종주의와 식민주의는 불가분의 관계에 있으며, 경제와 제국의 성장에 초점을 맞춘 영점 인식론의 전 세계적 확장은 저임금 노동, 계약직 노동, 노예제 등 인종주의와 이를 뒷받침하는 구조에 의해 지원되는 노동 세대를 낳았다.
As Quijano has argued racism and colonialism are inextricably linked, such that the global expansion of zero-point epistemology which has been centred around and focused on economic and imperial growth has resulted in generations of labour supported by racism and the structures that support it, including underpaid labour, indentured labour, and slavery.

프란츠 파농은 『검은 피부, 하얀 가면』(1994)과 『지구의 비참한 사람들』(1963)에서 이러한 구조에 억압받아온 사람들의 이야기를 썼습니다. 파농은 마르티니크에서 태어나 리옹에서 정신과 전문의 자격을 취득한 후 알제리에서 진료 활동을 했습니다(Khalfa 2015). 알제리의 병동에서 유럽인과 알제리인 환자를 모두 돌보는 다인종 의사로 일하면서 그는 정신 질환의 형태가 문화적으로 결정된다는 것을 확인했습니다. 파농은 식민지 시대의 권력 매트릭스를 비판하며, 이 매트릭스가 억압자와 피억압자의 생각과 마음 모두에 주입된다는 인식을 가지고 있습니다. 파농은 이러한 형태의 억압 아래서 인간의 삶은 "착취, 비참함, 굶주림과의 싸움의 형태"(2008, 174쪽)에 지나지 않는다고 말하며, 이러한 억압을 해소할 수 있는 유일한 방법으로 폭력을 요구합니다. 그는 "식민주의는 생각하는 기계도 아니고 추론 능력을 부여받은 신체도 아니다. 그것은 그 자체로 폭력이며, 더 큰 폭력에 직면했을 때만 굴복할 것이다"(1963, 61쪽)라고 말합니다. 파농은 그의 작품 전반에 걸쳐 다음을 세심하게 묘사합니다.

  • 식민주의가 식민화된 정신에 어떻게 스며드는지,
  • 억압적 담론이 어떻게 일상화되는지,
  • 불평등이 어떻게 인종화되는지

비록 이 용어가 만들어지기 전에 글을 썼지만, 파농은 식민지적 권력 매트릭스를 묘사하고 있습니다. 
Frantz Fanon writes to those who have been oppressed by these structures in his works Black Skin, White Masks (1994) and The Wretched of the Earth (1963). Fanon was born in Martinique, qualified as a psychiatrist in Lyon and went on to practice in Algeria (Khalfa 2015). Through his work on the wards in Algeria as a racialized physician attending to both European and Algerian patients, he identified forms of psychiatric illness as culturally determined. Fanon critiques the Colonial Matrix of Power, with the recognition that this matrix instills itself both in the thoughts and minds of the oppressor and also the oppressed. Fanon writes that a man’s life under these forms of oppression is conceived as nothing other than “the form of a battle against exploitation, misery, and hunger” (2008, p. 174) and calls for violence as the only method by which this oppression can be lifted. He writes: “colonialism is not a thinking machine, nor a body endowed with the reasoning faculties. It is violence in its natural state, and it will only yield when confronted with greater violence” (1963, p. 61). Throughout his work Fanon carefully describes

  • how colonialism pervades the colonialized mind;
  • how oppressive discourses become normalized, and
  • how inequality is racialized.

Although he was writing before this term was created, Fanon is describing the Colonial Matrix of Power.

파농이 1960년대에, 존스가 2000년대에 묘사한 구조적 인종주의는 HPE와 관행을 포함하여 사회에 계속 만연해 있습니다. 과학은 계속해서 인종차별적인 사람들을 약탈하고 있습니다.

  • 루하 벤자민은 줄기세포 연구(2013)와 기술 설계(Benjamin 2019a, b)가 흑인을 차별하는 방식에 대해 글을 썼습니다.
  • 린다 투히와이 스미스(2008)는 학술 연구와 같은 구조가 원주민에게 어떻게 경쟁의 장이 될 수 있는지 자세히 설명하며, 영점 인식론 내의 연구는 저항해야 할 대상이라고 말합니다. 겉으로는 평등주의적 태도를 보이는 미국의 일부 주치의는 흑인 및 라틴계 인구에 대해 상당한 암묵적 편견을 가지고 있는 것으로 나타났습니다(Hostetter and Klein 2018).
  • 오드레 로데(2007)는 학술회의의 구조를 "인종차별적 가부장제의 도구"(110쪽)라고 표현하며, 인종차별적이고 소외된 사람들은 토큰으로만 발표에 초대될 수 있다고 말합니다.
  • 패트리샤 힐 콜린스(1986)와 벨 후크스(2014)는 위계적 형태의 권위적인 학문 전파 방식에서 벗어나 외부의 목소리를 듣는 것이 중요하다고 말합니다(학술지에 실린 이 논문도 여기에 포함시킵니다). 후크스는 학계가 "인종주의와 성차별과 같은 지배 체계를 다시 기록하는 교육적 관행"(2014, 10페이지)에서 벗어날 것을 제안합니다.  

The structural racism that Fanon describes in the 1960s, and Jones describes in the 2000s, continues to pervade society, including HPE and practice. Science continues to be predatory against racialized people.

  • Ruha Benjamin writes about how stem cell research (2013) and technological design (Benjamin 2019a, b) are discriminatory against Black people.
  • Linda Tuhiwai Smith (2008) details how structures, such as academic research, can be sites of contestation for Indigenous Peoples, with research within zero-point epistemology as something that needs to be resisted. Some primary care physicians in the United States who outwardly demonstrate egalitarian attitudes have been shown to have significant implicit biases against Black and Latino populations (Hostetter and Klein 2018).
  • Audre Lorde (2007) refers to the structure of an academic conference as “the tools of a racist patriarchy” (p. 110) where racialized and marginalized people may only be invited to present as tokens.
  • Patricia Hill Collins (1986) and bell hooks (2014) speak of the importance of listening to voices from outside the authoritative diction of hierarchical forms of academic dissemination (we would include this paper here too, written for a scholarly journal). hooks suggests further that academia move away from “pedagogical practices that … reinscribe systems of domination (such as racism and sexism)” (2014, p. 10).

이러한 사례는 구조적 인종주의가 교육과 의료 분야에서 어떻게 형성되고 자리 잡았는지 설명하는 데 사용된 몇 가지 예에 불과합니다. 우리의 구조, 우리 중 많은 사람들이 누리는 특권, 우리가 추구하는 이점은 그 구조가 인종주의의 토대 위에 세워졌기 때문입니다. 미니애폴리스에서 필란도 카스티야가 살해된 지 4년이 지난 지금도 우리는 여전히 같은 이야기를 쓰고 있습니다.
These are just some examples used to illustrate how structural racism has built and takes its place within education and healthcare. Our structures, the privileges many of us hold, and the advantages we seek, are because the structures are built on a foundation of racism. Four years after the murder of Philando Castile in Minneapolis, we still write the same stories.

성별과 섹슈얼리티
Gender and sexuality

식민주의는 또한 소외된 사람들에게 성별 구조를 강요했습니다. 오예우미(1997)는 영국의 북서아프리카 식민지배가 어떻게 요루바 사회에서 '여성'이라는 개념의 구축과 그 후의 사회 종속을 초래했는지 설명합니다(Lugones(2016) 참조). 성별과 젠더에 대한 식민지 사상의 부과를 설명하는 또 다른 예는 '두 영혼'이라는 용어입니다. 북미 원주민 커뮤니티의 맥락에서 '두 영혼'이라는 용어는 원주민 문화에 내재된 다중 성 정체성, 즉 남성뿐만 아니라 여성뿐만 아니라 둘 이상의 성 지향성(성 지향성은 성적으로 끌리는 개인이 아니라 자신이 일치하는 역할을 의미)으로 정체화하는 개인을 지칭합니다. 그러나 식민주의의 역사, 종교적 교리, 문화적 말살, 기숙 학교 교육의 잔인함, 그리고 그에 따른 세대 간 트라우마로 인해 원주민 공동체 내에서 '두 영혼'의 의미에 대한 가르침이 혼란스러워졌습니다(Cameron 2005). 이마저도 식민지 권력 매트릭스에 의해 지워졌지만, 상당한 저항 노력과 행동주의를 통해 원주민 커뮤니티 내 일부에 의해 두 영혼의 정체성이 되찾아지고 있습니다(Depelteau와 Giroux 2015). 또한 식민지배는 '동성애'라는 범주를 만들어냈고(Mignolo 2011), 이전에는 이러한 방식으로 사람들을 분류하지 않았던 여러 문화의 인식론적 신념을 근절했습니다. 
Coloniality also imposed structures of gender upon the people it marginalized. Oyěwùmí (1997) explains how the British colonization of northwest Africa resulted in both the construction of the concept of “woman” in Yorùbá society and then their subsequent subordination in society (see also Lugones (2016)). Another example to illustrate the imposition of colonial ideas about sex and gender is the term ‘two-spirited’. Within the context of Indigenous communities in North America, the term ‘two-spirited’ referred to a multiple gender position embedded within Indigenous cultures, an individual who identifies as more than one gender orientation—not just male and not just female (gender orientation meaning the roles that one aligns with rather than the individuals to whom one is sexually attracted). However, the history of colonialism, of religious dogma, cultural eradication, the brutality of residential schooling, and subsequent intergenerational trauma led to a disruption of teachings within Indigenous communities about the meaning of ‘two spirited” (Cameron 2005). Even that was being erased by the Colonial Matrix of Power, but through significant resistance efforts and activism the two-spirited identity is being reclaimed by some within Indigenous communities (Depelteau and Giroux 2015). Further, coloniality created the category of ‘homosexuality’ (Mignolo 2011), eradicating the epistemic beliefs of multiple cultures that had not previously categorized its people in these ways.

다시 말해, 지배 사회에서는 '새롭게 실현된' 것처럼 보이지만 이미 존재했던 성 및 젠더 개념이 식민지 사회에서는 동일한 권력을 갖지 못한 채 소외되어 왔다는 것입니다. 우리는 여기서 섹스와 젠더에 대한 이러한 깨달음이 백인 유럽 학계에서 지배적인 영점 인식론에 대한 의문을 제기하는 초기 징후라고 주장합니다. 1949년 출간된 시몬 드 보부아르의 저서 『제2의 성』(2010)과 주디스 버틀러의 저서(1987, 1990, 2004)는 성을 식민주의에 의존한 고정불변의 정체성이 아니라 "문화적 해석"(1987, 36쪽)으로 재구성하고 있습니다. 성별은 생물학적 스펙트럼에 있지만, 젠더는 사회적으로 구성되며 타인과의 관계를 통해 배우는 것입니다. 
In other words, there are conceptions of sex and gender that may appear to have been ‘newly realized’ within the dominant society but had already existed and had then been marginalized in the colonized societies that had not been afforded the same power. We argue here that such realizations about sex and gender were early indications of a questioning of the dominant zero-point epistemology from within the white European academy. The 1949 publication of Simone De Beauvoir’s book The Second Sex (2010) and Judith Butler’s works (1987, 1990, 2004) reconstruct gender not as the fixed immutable identity relied upon through coloniality, but as a “cultural interpretation” (1987, p. 36). While sex may be on a biological spectrum, gender is socially constructed; it is something we learn how to do through our relations with others.

식민지 권력 매트릭스는 인종, 성별, 젠더를 별개의 구분 관행으로 구성하여, 인종과 성별, 젠더가 권력을 통해 상호 연결되는 위계를 만들어 백인 남성이 백인 여성에 대한 권력을 갖고 백인 여성이 흑인 남성에 대한 권력을 갖도록 합니다(Mignolo 2011). 따라서 식민지 매트릭스에 맞서기 위해서는 사회 정의를 위해 함께 노력하면서 역사적 차이를 인정하는 통합된 접근 방식이 필요합니다. 오드레 로데, 벨 훅스, 패트리샤 힐 콜린스는 모두 지배적인 인종차별주의와 가부장제 사회에 저항하는 소외된 목소리의 중요성에 대해 이야기합니다. 여기에서 인종과 성별의 교차성(Crenshaw 1989)을 더 쉽게 확인할 수 있습니다. Lorde(2007)는 소외된 사람들의 생존은 성별, 인종, 나이, 사회경제적 지위 등 자신의 차이를 강점으로 만드는 능력에 달려 있다고 말하며, 독자들에게 개인을 정치화하고 사회 변화를 옹호할 것을 촉구합니다. 후크스는 "말하는 것은 단지 창조적 힘의 표현이 아니라 저항의 행위이며, 우리를 이름도 없고 목소리도 없게 만드는 지배의 정치에 도전하는 정치적 제스처"(2015, 8쪽)라며 목소리와 변화를 더욱 옹호하고 있습니다. 목소리, 직위, 직책이 있다고 해도 사람들이 내 말을 들어준다는 보장은 없습니다. 힐 콜린스(1986)는 흑인 여성에 의한 흑인 여성의 자기 정의와 자기 평가에 긍정적인 변화를 일으키기 위해 외부에서 파생된 이미지를 "진정한 흑인 여성 이미지"(517쪽)로 대체하는 아프리카 중심적 페미니즘 인식론을 주장하며 변화를 촉구합니다. 

The Colonial Matrix of Power constructs race, sex and gender as separate dividing practices, creating hierarchies where race and sex and gender became interconnected through power, such that white men had power over white women, and white women had power over Black men (Mignolo 2011). Confronting the colonial matrix thus requires a unified approach that names historical differences while working together for social justice. Audre Lorde, bell hooks and Patricia Hill Collins all speak of the importance of marginalized voices resisting the dominant racist and patriarchal society. It is here where one can more easily identify the intersectionality (Crenshaw 1989) of both race and gender. Lorde (2007) suggests that the survival of marginalized people depends on their ability to take their differences, such as gender, race, age or socioeconomic status, and make them strengths, urging readers to make the personal political, and advocate for social change. hooks further advocates for voice and change, writing “[t]rue speaking is not solely an expression of creative power; it is an act of resistance, a political gesture that challenges politics of domination that would render us nameless and voiceless” (2015, p. 8). Even though you may have a voice, or position, or title, there is still no guarantee that people will listen. Hill Collins (1986) calls for change, arguing for an Afrocentric feministic epistemology where externally-derived images are replaced by “authentic Black female images” (p. 517) to produce positive change in the self-definition and self-valuation of Black women by Black women.

식민지성과 저작자
Coloniality and authorship

우리는 저자 집단으로서 '우리'가 누구인지에 대한 설명으로 HPE의 주인의 집을 해체하는 이 이야기를 시작하면서, 우리의 여러 교차, 강요, 주장된 정체성이 독자들에게 주의와 회의로 우리의 관점을 읽고 자신의 입장, 관점, 특권에 대해 의문을 제기하도록 경각심을 불러일으킬 수 있다는 생각을 암시했습니다. 독자 여러분이나 저자인 저희는 완벽한 반성적 입장에 도달할 수 있을 거라는 환상을 갖고 있지 않습니다. 이 글의 어느 시점에서 누구의 목소리가, 어떤 관점에서, 어떤 위치에서 말하고 있을까요? 저자 순서를 보면 누구의 목소리가 표현되었는지, 누가 이러한 목소리가 어떻게 표현되는지 결정할 수 있는 권한이 있는지에 대한 단서를 얻을 수 있습니다. 지금 누구의 목소리가 나오는가, 제1저자의 목소리인가? 선임 저자의 목소리인가요? 물론 '우리'라고 주장되는 모든 목소리가 동일하게 대표될 수는 없으며, 어떤 사람들은 이러한 목소리 중 일부는 전혀 대표되지 않는다고 주장할 수도 있습니다. 
We started this story of dismantling the Master’s House in HPE with a description of who ‘we’ are as a collective of authors, alluding to the idea that our multiple intersecting, imposed, and claimed identities should alert the reader to read our perspective with caution and scepticism and to attempt to interrogate their own positions, perspectives, and privileges in the reading. We are under no illusion that either you, dear reader, or we as authors will attain a perfected reflexive positioning. Whose voice is speaking at any point in this piece, from what vantage point, and what position? The authorship order might offer some clues over whose voices are represented and who might have the power to determine how these voices are represented. Whose voice is speaking right now, is it the voice of the first author? The voice of the senior author? Certainly, all the voices that are claimed as ‘we’ cannot be represented equally, and some might argue that some of these voices are not represented at all.

학계의 관례에 따라 제1저자는 학계에서 특권을 가진 목소리로 간주될 수 있으며, 이 논문을 작성하고 잠재적으로 HPE에서 콘텐츠가 수용되는 방식을 형성할 수 있는 권한을 갖습니다. 이 경우 제1저자는 박사 과정 중에 박사 지도교수인 마지막 저자에게 의뢰한 이 논문의 작업에 초대받아 이러한 아이디어를 작성했기 때문에 특권을 주장할 수도 있습니다. 마지막 저자는 저자 목록에 자신의 이름을 올리고 의뢰를 받았다는 점에서 강력하고 자원이 풍부한 북미 공간에서 정당화되고 승인된 합법적인 목소리를 낼 수 있는 특권을 동등하게 주장합니다. 두 목소리 모두 식민지 권력 매트릭스 내에서 중심을 잡고 있습니다. 출판된 논문의 제1저자 직책은 그 자체로 학계 구조 내에서 가치 있는 화폐입니다. 이는 책임과 인정을 의미합니다. 이 사례의 경우처럼, 박사 과정 학생이 자신의 연구에 활용하고자 하는 아이디어를 전파하는 데 도움이 되는 경우가 많습니다. 보조금, 직위 또는 승진을 신청할 때 이력서에 기재하면 도움이 됩니다. 
Academic convention might place the first author as a voice of privilege in the academic space, having the latitude to craft this paper and potentially shape how the content is received in HPE. In this case the first author can also lay claim to privileges, having written about these ideas during the process of her doctoral work she was invited to work on this paper originally commissioned to her doctoral supervisor, the last author. The last author, by the positioning of her name on the authorship list and having been commissioned, equally lays claim to the privileges of a legitimized and approved legitimizing voice in a powerful, well-resourced North American space. Both voices are centred from within the Colonial Matrix of Power. The first author position on a published paper is itself a valuable currency within the structure of academia. It connotes responsibility and recognition. It is often, as is the case here, a helpful position to take for a doctoral candidate disseminating ideas that they intend to employ in their research. It is a helpful position to have on one’s CV when applying for grants, positions, or promotions. 

다른 저자들도 잘 드러나지는 않지만, 그럼에도 불구하고 활용되는 특권을 가지고 있습니다. 소외되었던 목소리는 이제 백인 남성이나 백인 여성에 비해 인종이나 성별, 식민지성에 대해 개인적인 자제력, 경계심, 판단에 대한 두려움을 덜 느끼며 글을 쓸 수 있습니다. 이러한 특권을 인식하고 이를 활용하는 저자들도 있습니다. 이 공간에서 인종 차별적 관행을 고발하는 목소리가 침묵하지 않을 것이라는 기대가 점점 커지고 있습니다. 동시에 식민지 출신이거나 조상이 식민지였던 지역 출신이거나 식민지 민족의 후손인 저자들도 식민지배와 그 영향에 대해 정당성을 인정받으며 말하고 글을 쓸 수 있습니다. 이러한 위치는 집단적 저자의 목소리에 진정성을 부여할 수 있습니다. 또 다른 사람들은 보건 전문가로서 일하는 특권을 누리는데, 이 특권은 우리가 전통적인 HPE의 지식 방식과 그로 인한 불평등과 사회적 불의를 직접 목격하고, 드러내고, 궁극적으로 해체할 수 있는 공간에서 이루어집니다. 더 나아가 우리 중 일부(첫 번째 저자를 포함)는 병원에 들어가 의료 서비스 제공자로 활동한 적이 없고 앞으로도 없을 것입니다. 우리의 지향점은 실습보다는 이론에 더 기울어져 있습니다. 이론적 접근 방식을 취하는 사람도 있지만, 특히 이 작업에서 그들의 방향은 이론보다는 실무에 더 기울어져 있습니다. 

Other authors too have privileges, less obvious perhaps, but privileges that are leveraged nevertheless. Voices that have been marginalized may now write about race or gender or coloniality with less personal restraint, vigilance, or fear of judgement in one sense than white men or white women could. Some authors here perceive this privilege and leverage that here. There is an increasing expectation that voices that call out racist practices in this space will not be silenced. At the same time, authors who are from or have ancestral origins in colonized territories or who are descendants of colonized peoples can also speak and write with an accepted legitimacy about colonization and its effects. This position may afford authenticity to the collective author voice. Still others have the privilege of working as health professionals in the spaces where we can witness firsthand, reveal, and eventually dismantle traditional HPE ways of knowing and the resulting inequities and social injustices. This goes even further. There are some of us (this first author included) who has never and will never step into a clinic and act as a healthcare provider. Our orientations lean more towards theory rather than praxis. And while some also have a theoretical approach, their orientations in this work in particular will lean more towards praxis than theory.

텍스트의 본문에서 저자의 성찰과 입장으로 관심을 돌리는 것이 이상하게 보일 수 있지만, 권력의 식민성에 대해 글을 쓰고 있는 지금, 이것이 어떻게 제정되는지를 보여줄 수 있는 한 가지 방법임이 분명합니다. 지식, 인종, 자본이 매트릭스의 중심에 있습니다. 그리고 저자 목록의 첫머리에 스코틀랜드계 캐나다인 백인 여성 박사과정 학생이 있는데, 이 학생은 대학에서 관리자로 정규직으로 일하고 있으며 이 책에서 설명하는 문제의 일부임을 인정하고 있습니다. 이 분도 해결책의 일부가 될 수 있을까요? HPE 내에서 마스터스 하우스의 혜택을 받고 이를 유지해온 바로 그 사람들이 자신의 '집'을 해체할 것을 기대할 수 있을까요? 소외의 구조를 해체하는 것은 오로지 소외된 자들의 역할일까요? 지금 우리에게는 답이 없고 질문만 있을 뿐입니다. 개인으로서 그리고 집단적으로 우리는 이러한 생각에 얽혀 있고, 얽혀야만 합니다. 우리는 어떻게 특권을 반성적이고 정중하게 인식하고 활용할 수 있을까요? 작품이 한 방향으로만 흘러가야 하는 것은 아닙니다. 억압받는 사람들이 억압자를 교육하기 위해 보상도 받지 못하는 일을 하라고 (우리 기관이 반복해서 하는 것처럼) 요구하는 것이 공정한 일인가요? 저희는 불공평하다고 생각합니다. 대신 이 논문에서 우리 중 일부는 '다수세majority tax'(Mensah 2020)을 지불하기 시작해야 할지도 모른다.

  • 교육 및 보건 기관에서 서로 다른 역할을 맡은 전문가 그룹을 모으고,
  • 찬성하는 목소리와 반대하는 목소리를 겸손하게 경청하고,
  • 특권을 활용하여 특권이 적은 사람들의 아이디어를 발전시키고,
  • 정직하고 개방적이며 서로에게 반성적으로 사고하고,
  • 주인의 집을 해체하는 데 도움이 될 수있는 논쟁을 함께 배치하는 것이다.

It may seem strange to direct attention away from what might appear as the body of the text to the reflections and positions of its authors, but as we are writing about the coloniality of power, this is certainly one way to demonstrate how this is enacted. Knowledge, race, and capital are at the centre of the matrix. And at the beginning of our authorship list is a white, female, Scottish-Canadian PhD candidate who holds a full-time job as an administrator at a university and admittedly part of the problem being described here. Is it possible to also be part of the solution? Can the very people who have benefitted and uphold the Master’s House within HPE be expected to dismantle their ‘home’? Is it solely the role of those who have been marginalized to dismantle the structures of their marginalization? Right now, we do not have answers, only questions. As individuals and collectively as authors we are entangled in and must tangle with these ideas. How do we recognize and leverage privilege reflexively and respectfully? It is unlikely that the work must only fall in one direction. This work is not being compensated, is it fair to ask (as our institutions do time and time again) for the oppressed to take on uncompensated work to educate their oppressors? We think it unfair. Instead in this paper perhaps some of us start to pay a ‘majority tax’ (Mensah 2020),

  • bringing together a group of experts who hold different roles in education and health institutions;
  • listening to both confirming and dissenting voices with humility,
  • leveraging privilege to advance the ideas of those who have less privilege,
  • being honest and open and reflexive in our thinking and with each other, and
  • positioning an argument together that might help to dismantle the Master’s House. 

아직 부족할 수도 있습니다. 
Perhaps this is still insufficient.

우리는 지금까지 이러한 논쟁에서 주로 이론적인 측면에 집중해 왔습니다. HPE의 구조에는 이론과 실천이 모두 필요하지만, 마스터의 집을 해체하기 위해서는 이론과 실천이 모두 필요합니다. 그래서 우리는 이제 이론에서 생생한 경험으로 옮겨가면서 제1저자와 다른 이론가들의 목소리와 입장으로부터 의도적으로 벗어나고자 합니다. 아마도 우리는 우리 자신의 동상을 무너뜨리기 시작할 것입니다.
We have primarily been focusing on the theoretical side thus far in these arguments. While the structure of HPE needs both theory and praxis, we also need both theory and praxis to dismantle the Master’s House. And so, we move now from theory to lived experience, intentionally away from the voice and positionality of the first author and the other theorists among us. Perhaps we will start toppling some statues of our own.

이론에서 실천으로: 식민지성, 젠더와 섹슈얼리티, 인종주의
From theory to praxis: coloniality, gender and sexuality, and racism

아래 사례 중 일부는 실제 경험에서 직접 도출한 것으로, 식민지 권력 매트릭스가 HPE 내에서 어떻게 제정되는지 보여줍니다. 각 사례와 함께 식민지 권력 매트릭스에 저항할 수 있는 방법도 설명하기 시작합니다. 우리는 마스터의 집을 해체하는 방법을 보여주기 시작합니다. 
In the examples below, some drawn directly from lived experience, we begin to show how the Colonial Matrix of Power is enacted within HPE. Together with each example, we also begin to illustrate ways in which the Colonial Matrix of Power can be resisted. We begin to show how to dismantle the Master’s House.

HPE 프로그램에 참여하는 학생들은 종종 학습 환경 내에서 지속되는 불평등의 피해자입니다. 여러 연구에 따르면 이러한 프로그램 내에서 학생에 대한 학대가 매우 흔하게 발생하며, 이는 거의 전문의가 되기 위한 통과의례로 여겨질 정도입니다(Markman 외. 2019).

  • 예를 들어, 같은 방에 있는 백인 학생은 의대생으로 인정하면서 흑인 학생은 간호사로 무시하는 백인 환자나 인턴십 면접에서 성이 "너무 아랍어로 들린다"는 이유로 담당 외과의사로부터 탈락한 학생을 생각해 보십시오. 이러한 학생들은 보복에 대한 두려움, 학대가 의료 문화의 일부라는 인식, 더 미묘한 형태의 학대를 신고하기 어렵다는 점 등 여러 가지 이유로 이러한 미세 공격에 대한 신고를 주저합니다(Chung et al. 2018).
  • 원주민 학생들도 마찬가지로 인식론적 제국주의에 직면하는 과학, 기술 및 보건 학위에서 불이익을 받는 것으로 나타났습니다. 이러한 프로그램에서 원주민의 앎의 방식은 커리큘럼 내에서 위계화되고, 소외되고, 침묵하며, 도전을 받습니다(Cech 외. 2017).
  • 교수진은 또한 인종차별, 불평등, 미시적 침략을 경험하는데, 그 중 상당수는 "미묘하고 미묘하지만 해로운"(Joseph 2020) 것입니다. 이러한 식민주의의 표현으로 인해 일부 교수진은 진실을 말하는 것을 두려워하고, 잘못 해석될까 두려워 발언하기를 꺼리며, 문제가 있는 사람으로 분류되거나 토큰으로 사용될 것을 우려합니다. 이러한 억압적인 환경으로 인해 일부 학계 의사들은 학계를 떠나기로 어려운 결정을 내렸고, 대신 권력에 진실을 말할 수 있는 새로운 공간을 만들었습니다(Blackstock 2020). 

Students in HPE programs are often victims of inequities perpetuated within their learning environments. Several studies have shown that mistreatment of students is so commonplace within these programs that it is almost regarded as a rite of passage into the profession (Markman et al. 2019).

  • Take for example, a white patient who acknowledges the white students in the room as medical students while dismissing the Black student as a nurse, or the student who is dismissed by a staff surgeon from an internship interview because her last name sounded “too Arabic”. These students hesitate to report such microaggressions for many reasons, some of which include fear of reprisal, perception that mistreatment is part of medical culture, or difficulty reporting more subtle forms of mistreatment (Chung et al. 2018).
  • Indigenous students have similarly been shown to be disadvantaged in science, technology and health degrees where they encounter epistemic imperialism. In these programs, Indigenous Ways of Knowing are delegitimatized, marginalized, silenced, and challenged within curricula (Cech et al. 2017).
  • Faculty members also experience racism, inequities and microaggressions, much of it “subtle and nuanced, yet pernicious” (Joseph 2020). This manifestation of coloniality leaves some faculty members fearful of speaking their truth, reluctant to speak up for fear of being misinterpreted, concerned of being labelled as problematic or used as tokens. These oppressive environments have caused some academic physicians to make the difficult decision to leave academic medicine, creating new spaces instead where they can speak truth to power (Blackstock 2020).

HPE 프로그램을 연구하고, 가르치고, 구축하고, 관리하고, 이끄는 사람들은 불평등과 사회 정의에 대한 가르침을 기존의 지배적 이데올로기의 중립적 객관성에 대항하는 구성주의와 인식론적 다원주의와 같은 비지배적 인식론에 다시 집중할 필요가 있습니다. 아마도 HPE 내에서 권력 역학을 해체하는 것이 좋은 출발점이 될 것입니다.

  • 학생들의 불평등에 대한 경험 및 지식이 필요하고 가치 있다고 판단되면, 기꺼이 경청하고 배우려는 교수진이 이러한 지식 중 일부를 불평등과 사회 정의에 대한 교육에 통합할 수 있습니다.
  • 마찬가지로, 교육 연구를 추구하거나 지도하거나 출판하는 사람들은 지배적인 이데올로기를 중심으로 한 단일 관점에 의문을 제기하고 이를 가시화해야 합니다.
    • 연구 경력의 초기 단계에 있는 사람들은 반성적 사고에 대한 안내를 받을 수 있고, 오랜 시간 동안 믿어온 가정에 의문을 제기하는 방법과 위치에 대한 안내를 받을 수 있습니다.
    • 동료 검토자로 참여하는 사람들도 마찬가지로 저자의 가정뿐만 아니라 우리 자신의 가정에 대해서도 반성하도록 요청할 수 있습니다.
  • 영점 인식론으로부터의 전환은 형평성, 다양성, 포용성에 중점을 둔 HPE를 만들 수 있는 잠재력을 가지고 있으며, 학생, 교수진, 교직원, 특히 소수자가 학습 환경의 일부로서 불평등에 맞서 싸우거나 불가피한 현실에 굴복하지 않아도 되는 문화를 조성할 수 있습니다.
    • 교육할 때 백인이 아닌 피부의 피부과 질환에 대한 예를 포함하거나(Rimmer 2020), 인종에 대한 생물학적 정의를 사용하여 환자를 차별화하는 임상 개입이나 치료법에 대해 더 이상 가르치지 않는 것(Witzig 1996)처럼 간단한 것부터 시작할 수 있습니다. 

Those who research, teach, build, administer, and lead HPE programs need to re-centre their teachings of inequity and social justice on non-dominant epistemologies—such as constructivism and epistemic pluralism which counteract the neutral objectivity of the existing dominant ideologies. Perhaps the dismantling of the power dynamic within HPE is a good place to begin.

  • If students’ experiences and/or knowledges of inequity are considered necessary and deemed valuable, then some of this knowledge can be incorporated into training on inequity and social justice by faculty who are willing to listen and learn.
  • Likewise, for those who pursue, mentor or publish educational research, singular perspectives centred around dominant ideologies should be questioned and made visible.
    • Those of us who are early on in our research careers could be guided in reflexivity and guided in how and where to question our long-held assumptions.
    • Those of us who participate as peer reviewers could likewise ask to reflect on not only the author’s assumptions, but also our own.
  • A shift from zero-point epistemology has the potential to create HPE that is centered on equity, diversity, and inclusion, and could cultivate a culture in which students, faculty and staff, especially those who are minoritized, don’t have to take it upon themselves to fight inequity or succumb to its inevitable reality as part of the learning environment.
    • In teaching, we suggest that some of it could be as simple as thinking to include examples of dermatological conditions on non-white skin (Rimmer 2020) or no longer teaching about clinical interventions or treatments that differentiate patients using biological definitions of race (Witzig 1996).

예를 들어, 의학계에서 계속 수행되고 있는 실무 중심의 작업의 대부분은 백인 여성을 중심으로 이루어지고 있으며, 여성의 리더십 직위 승진을 늘려야 한다고 요구합니다. 그러나 백인 여성을 중심으로 한 이러한 노력은 임상의사라는 직업이 주는 일상적인 스트레스의 무게뿐만 아니라 여러 형태의 구조적 인종차별과 암묵적 편견으로 인해 더욱 억압받는 흑인, 원주민 또는 유색인종(BIPOC)으로 분류되는 사람들의 경험을 침묵시키고 동질화하며 무력화시키는 역할을 합니다(Cyrus 2017; Moreton-Robinson 2000). 여러 종속의 축으로 인해 차이를 부정하고 억압의 형태를 만들어내는 구조를 해체하기 위해 우리는 변화를 위한 교차적 접근법을 사용할 수 있습니다. 
Much of the praxis-oriented work that continues being performed in medicine centres white women, for example, calling for increases in the promotion of women to positions of leadership. But this centring on white women works to silence, homogenize, and negate the experiences of people who identify as Black, Indigenous, or people of colour (BIPOC) who not only carry the weight of the everyday stress of the job of being a clinician, but also carry the burden of multiple forms of structural racism and implicit biases that further oppress them (Cyrus 2017; Moreton-Robinson 2000). To begin to dismantle the structures that negate difference and create forms of oppression due to multiple axes of subordination we can employ an intersectional approach to change.

교차적 관점(콜린스 2015; 크렌쇼 1989, 1991)은 여러 형태의 억압이 누적되어 나타난다는 점을 인식합니다.

  • 예를 들어, 캐나다 태생 국제 의대 졸업생(C-IMG)(일반적으로 캐나다에서 태어나고 자랐지만 다른 나라로 가서 의대를 마친 사람)은 이민 국제 의대 졸업생(I-IMG)(일반적으로 캐나다 밖에서 태어나고 자랐으며 의대 교육을 마친 사람)과 임상 교육 프로그램을 다르게 경험하게 됩니다.
  • IMG는 캐나다 생활에 적응하고 캐나다 의료 시스템을 배워야 하는 반면, C-IMG는 캐나다에서 기대되는 많은 사회적 '규범'을 이미 알고 있습니다. 나지브 외(2019)의 연구에 따르면, C-IMG와 I-IMG 모두 캐나다 밖에서 의대를 졸업했다는 이유로 편견과 차별을 경험하지만, 인종화된 I-IMG는 더 심한 형태의 차별을 경험한다고 합니다.

 

Intersectional perspectives (Collins 2015; Crenshaw 1989, 1991) recognize that there are multiple forms of oppression that are cumulative.

  • For example, a Canadian-born international medical graduate (C-IMG) (someone who typically was born and grew up in Canada but who went to another country to complete medical school) will experience a clinical training program differently compared to an Immigrant international medical graduate (I-IMG) (someone who typically was born, grew up, and completed medical training outside Canada).
  • Whereas IMGs need to adjust to life in Canada and learn the Canadian health system, a C-IMG is already aware of many of the social ‘norms’ expected of them in Canada. In a study by Najeeb et al. (2019), both C-IMGs and I-IMGs experience a form of bias and discrimination from having completed medical school outside Canada but racialized I-IMGs experienced a heightened form.

교차성은 의학이 학습되고, 실행되고, 전달되는 방식에서 사회적 불공정을 완화하기 위한 목적으로 의학을 지배하는 복잡한 권력 관계를 이해하는 수단을 제공합니다. 주치의 제도를 뒷받침하는 헤게모니적 관행을 해체하기 위해, 우리는 자신의 정체성과 관행이 HPE에서 규범적 담론의 공고화와 수출에 어떻게 기여하는지 더 잘 이해하기 위해 비판적 성찰과 반성성을 사용하는 프레이레의 『피억압자의 교육학』(2000) 또는 후크스의 『범법 가르치기』(2014)에서 가져온 것과 같은 다양한 교육학의 사용을 제안합니다(Naidu and Kumagai 2016; Ng et al. 2019). 
Intersectionality provides a means of understanding the complex power relations that dominate medicine with the objective of alleviating social injustices in how medicine is learned, practiced, and delivered. In order to dismantle the hegemonic practices that support the Master’s House, we suggest the use of a range of pedagogies, such as those taken from Freire’s Pedagogy of the Oppressed (2000) or hooks’ Teaching to Transgress (2014), which employ critical reflection and reflexivity to better understand how one’s own identity and practices contribute to the solidification and exportation of normative discourses in HPE (Naidu and Kumagai 2016; Ng et al. 2019).

이 글에서 우리는 교차성 프레임 내에서 비판적 성찰과 반성이 오랫동안 '금과옥조'로 여겨져 온 보건 전문직 교육 및 실무 모델을 뒤흔들 수 있는 잠재력을 가지고 있다고 주장합니다. 젠더 블라인드나 컬러 블라인드로 차이를 지우는 제도적 정책과 관행 또는 연구 관행보다는, 교차성과 이전에는 소외되었던 지역사회 중심의 [교차적 인식론의 도입]

  • 차이를 포용하고,
  • 차이의 지저분함과 얽히는 어려운 작업을 수행하고,
  • 이러한 얽힘이 만들어내는 불편함으로부터 학습을 통해 앞으로 나아갈 수 있게 해줄 수 있습니다.

We argue here that critical reflection and reflexivity within an intersectional frame have the potential to disrupt models of health professions education and practice that have long been upheld as proverbial ‘gold standards’. Rather than institutional policies and practices or research practices erasing differences by being gender-blind or colour-blind, intersectionality and the introduction of intersectional (Eckstrand et al. 2016), previously marginalized, and community-oriented, epistemologies (Battiste 2013; Brayboy 2005; Collins 2002; Dei 2000; Gordon 1990; Naidu 2020; Rasmus et al. 2020; Smith 1999) would better enable us to

  • embrace difference,
  • do the difficult work of tangling with the messiness of difference, and
  • move us forward through learning from the discomfort these entanglements produce.

기관 스스로가 이러한 작업을 주도하고 지원할 수 있습니다. 여기에는 장기적이고 심층적인 반인종주의(또는 반성소수자) 교육의 형태로 보건 전문가와 멘토를 위한 지속적인 전문성 개발, 눈에 잘 띄지 않고 때로는 고립되는 회복 작업을 지원하고 피해를 입힌 사람들에게 책임을 물을 수 있는 공간을 만들고 구조적 지원(시간 및 급여 포함)을 제공하는 것 등이 포함될 수 있습니다(Richardson 2020c), 동료 검토 과정 내의 체계적인 편견으로 인해 종종 불이익을 받는 소외된 집단을 대상으로 자금을 제공하거나(Doll and Thomas 2020), 채용, 승진 또는 포상 과정에서 교차성이 백인보다 낮은 교수 평가를 받는 경향이 있는 인종화된 교수진(특히 인종화된 여성)에 이중으로 영향을 미치는 방식을 고려합니다. 여기에는 다음이 포함될 수 있습니다.

  • 장기적이고 심층적인 반인종주의(또는 반성소수자) 교육의 형태로 보건 전문가와 멘토를 위한 지속적인 전문성 개발
  • 눈에 잘 띄지 않고 때로는 고립된 회복 작업을 지원하기 위해 공간을 만들고 구조적 지원(시간 및 급여 포함)을 제공
  • 해를 끼친 사람들에게 책임을 묻습니다(리처드슨 2020c),
  • 동료 검토 프로세스 내의 체계적인 편견으로 인해 종종 불이익을받는 소외된 그룹을 대상으로 자금을 제공
  • 채용, 승진 또는 포상 과정에서 교차성이 백인보다 낮은 교육 평가를받는 경향이있는 인종화 된 교수진 (특히 인종화 된 여성)에게 이중으로 영향을 미치는 방식을 고려

Institutions themselves can drive and support this work. This might include

  • continuing professional development for health professionals and mentors in the form of longitudinal and deep antiracist (or antisexist) training,
  • creating space and offering structural supports (including time and salary) to aid in the hypervisible and sometimes isolating work of restitution,
  • holding people who cause harm to account (Richardson 2020c),
  • offering funding targeted towards underrepresented groups where systemic biases within peer review processes have often led to disadvantage (Doll and Thomas 2020), or
  • taking into consideration during hiring, promotion, or awards processes how intersectionality doubly affects racialized faculty (and racialized women in particular) who tend to receive lower teaching evaluations than their white counterparts (Chávez and Mitchell 2020; Mohamed and Beagan 2019; Ross and Edwards 2016; Silverberg and Ruzycki 2020).

진정한 구조적 변화를 위한 노력은 토큰주의적이거나 일시적일 수 없으며, 전략적 목표로 나타났다가 곧 사라져서는 안 됩니다. 
Commitment to real structural change can neither be tokenistic nor temporary, it cannot appear as a strategic goal and then disappear soon after.

결론
Conclusion

이 백서에서는 마스터스 하우스와 그 유럽 중심적 기원, 영점 인식론에 대한 의존성, 그리고 이 하우스에 현재 보건 전문직 교육과 사회 정의에 대한 이해와 실천이 얼마나 많이 내재되어 있는지에 대해 설명했습니다. 우리는 퀴자노의 식민지 권력 매트릭스(2000)를 활용하여 식민성, 성, 성별, 인종이 하우스 내에서 어떻게 구성되었는지를 설명하고 질문하면서 그 과정에서 인식론적 불공정의 예를 제시했습니다. 우리는 이 글의 두 섹션에서 개인으로서, 그리고 저자로 구성된 팀으로서 우리 자신의 관점에 대해 꽤 긴 글을 썼고, 식민지 권력 매트릭스 내에서 저술에 대한 몇 가지 성찰을 제공했습니다. 후반부에서는 이론에서 실천으로 넘어가 학습 환경과 실천의 맥락에서 식민성, 젠더와 섹슈얼리티, 인종 차별을 탐구했습니다.  
Within this paper, we have described the Master’s House, its Eurocentric origins, its dependence on zero point epistemology, and how many current understandings and practices of health professions education and social justice are embedded within this House. We utilized Quijano’s Colonial Matrix of Power (2000) to illustrate and interrogate how coloniality, sex and gender and race has been constructed within the house, giving examples of epistemic injustices along the way. We wrote quite at length in two sections of the narrative about our own perspectives as individuals and as a team of authors and provided some reflections on authorship within the Colonial Matrix of Power. In the latter section, we moved away from theory into praxis, exploring coloniality, gender and sexuality, and racism in the context of the learning environment and practice.

우리는 스승의 집의 해체를 주장했습니다. 이는 우리 중 많은 사람들이 일하고 배우고 수입을 얻는 집의 해체를 의미할 것입니다. 이것이 쉽거나 편안할 것이라고 제안하는 것은 아니지만, 반드시 필요합니다. 개인, 위원회, 기관으로서 취할 수 있는 조치는 많으며, 이 작업에 참여하고자 할 때 다양한 관점과 목소리를 찾아보시기 바랍니다. 이 저널의 독자들을 위해 몇 가지 추가 단계를 제안합니다.
We have argued for the dismantling of the Master’s House. It would mean the dismantling of the house in which many of us work and learn, and from where we draw our incomes. We are not suggesting this will be easy, or comfortable, but it is needed. There are many steps we can take as individuals, as committees, and as institutions and we encourage you to seek out many perspectives and voices as you seek to engage with this work. For the audience of this journal, we suggest a few additional steps.

[개인으로서] 우리는 우리의 작업을 어떻게 포지셔닝하는지에 주의를 기울일 수 있으며, 청중이 비슷한 입장에 있다고 가정하지 않도록 주의해야 합니다. 글을 쓰거나 말할 때 이러한 관점에 대해 더 명확히 밝히고, 우리 자신과 정체성, 그리고 우리가 말하는 입장을 더 많이 공유할 수 있습니다. 우리는 권력이나 목소리 또는 위계질서를 유지하는 데 덜 집중하고, 우리 자신과 다른 인식론적 관점을 가진 사람들과 의미 있는 파트너십을 구축하는 데 더 집중하면서 의미 있는 협업을 구축할 수 있습니다(Richardson 2020a). 강좌의 읽기 목록을 구성할 때 모든 지식이 백인적이고 서구적이라는 믿음을 재현하지 않기 위해 전통적인 정전 밖을 살펴볼 수 있습니다. HPE의 학생으로서, 때로는 교육의 '소비자'로서 다양한 형태의 지식에 특권을 부여하는 프로그램과 과정을 찾을 수 있습니다. 이론의 학생 또는 실무자로서 우리는 연구에 적용하는 이론이 종종 인식론적 불공정성이나 폭력의 과정을 통해 개발된다는 것을 알고 자신과 다른 사람들에게 선택한 이론적 틀에 대한 신중한 고려를 요구할 수 있습니다. 우리는 이것이 어려운 작업이며 우리 모두가 이 여정의 다른 단계에 있다는 것을 알기 때문에 "친절로 혼란을 일으킬 수 있습니다."(Richardson 2020b). 우리 중 일부는 동맹을 찾아야 할 수도 있고, 일부는 동맹으로 행동해야 할 수도 있으며, 일부는 둘 다 필요할 수도 있습니다.  

As individuals we could pay attention to how we position our work, being mindful of not assuming our audience is similarly positioned. We can be more explicit about these perspectives as we write or speak, sharing more of ourselves, our identities, and the positions from which we speak. We can establish meaningful collaborations with less focus on retaining power or voice or hierarchy and more focus on building meaningful partnerships with people from epistemic perspectives not our own (Richardson 2020a). When structuring a reading list for a course, we can look outside the traditional canon so as to not reproduce the belief that all knowledge is white and Western. As a student in HPE, and as a sometimes named ‘consumer’ of education, one can seek out programs and courses that privilege multiple forms of knowledge. As a student or practitioner of theory we can demand of ourselves and others a careful consideration of a chosen theoretical framework, knowing that the theories we apply to our research are often developed through processes of epistemic injustice or violence. We can “disrupt with kindness” (Richardson 2020b) knowing that this is difficult work, and we are all on different stages of this journey. Some of us may need to find allies, some of us may need to act as allies, and some of us may need both.

[위원회로서] 커리큘럼을 구축하든, 학습자를 입학시키든, 직원과 교수진을 채용하든, 정책을 만들든, 우리는 식민지 시대의 권력 매트릭스를 인식하고, 이를 해체하려는 언어와 관점을 사용하여 제로 포인트가 아닌 인식론의 관행이나 독서를 제안할 수 있으며, 주변부에 위치한 사람들을 중심에 놓고 권한을 부여할 수 있습니다. 시스템을 개발할 때, 우리는 교차성을 고려할 수 있으며, 일부 개인은 시스템과 그 안의 사람들이 내리는 선택에 의해 이중 또는 삼중의 영향을 받는다는 사실을 깨닫게 됩니다. 우리는 지배적인 '규범'에 속하지 않는 아이디어에 귀를 기울이고, 이를 통해 배우고, 이를 위한 공간을 만들 수 있습니다.  
As committees, whether we are building curriculum, admitting learners, hiring staff and faculty or creating policy, we can suggest practices or readings from non-zero-point epistemologies, using language and perspectives that recognize the Colonial Matrix of Power and seek to dismantle it, and we can center and empower the people who are positioned on the margins. As we develop our systems, we can take into account intersectionality, realizing that some individuals are doubly or triply affected by the choices that the system (and the people within it) may make. We can listen to, learn from, and create space for ideas that are not part of the dominant ‘norm’.

[기관으로서] 우리는 암묵적인 편견, 관점 및 구조를 보다 투명하게 만드는 정책과 관행을 개발하고, 지속적인 전문성 개발 또는 행동 변화로 이어지는 기타 관행을 통해 의미 있고 지속적인 변화를 창출하는 데 자원(시간, 자금, 인력)을 투입할 수 있습니다. 다원적 인식론에 기반하고 이를 환영하는 교육 연구 교육 프로그램에 자원을 투입할 수 있습니다 .
As institutions, we can develop policies and practices that make implicit biases, perspectives and structures more transparent, committing resources (time, funding, people) to creating meaningful and lasting change through continuing professional development or other practices that lead to behaviour change. We can commit to resourcing training programs in education research that are built on and welcome pluralistic epistemologies.

우리는 미세한 공격이나 인종 차별적, 성차별적 관행을 고발하는 사람들을 침묵시키거나 최소화하는 대신, 권력에 반대하는 목소리를 내는 사람들을 정당화하여 스승의 집 내 공격자들과 맞설 수 있습니다. 기관은 이러한 변화를 주도하는 사람들의 업무를 더 잘 지원할 수 있으며, 컨설턴트나 위원회 위원으로 활동하는 사람들에게 보호된 시간, 자금, 공간 및 추가 지원을 제공함으로써 이들의 업무에 대한 공정한 보상을 제공할 수 있습니다. 마지막으로, 기관은 영점 인식론의 단일한 시연을 고용, 승진 및 보상하는 규범에 뿌리를 둔 기존 관행을 해체하여 보다 공평한 변화 시스템을 구축할 수 있는 새로운 아이디어와 리더를 위한 길을 만들어야 합니다. 
We can legitimize those who speak out against power, confronting those who are aggressors within the Master’s House, rather than silencing or minimizing those who call out microaggressions or racist and sexist practices. Institutions can better support the work of the people leading these changes, fairly compensating people for their work as consultants or committee members by providing protected time, funding, space, and/or additional support. Finally, institutions need to dismantle the existing practices, rooted in the norms that hire, promote and reward singular demonstrations of zero point epistemology, making way for new ideas and leaders that can construct a more equitable system for change.

이 논문이 게재된 저널은 그 자체로 우리 분야의 기관입니다. 이 논문은 25년 만에 편집장직에서 물러난 제프리 노먼 박사를 기념하기 위해 특별호로 의뢰된 것입니다(Norman and Ellaway 2020). 그 자신도 인정했듯이, 노먼 박사는 25년 동안 이 저널을 이끌며 우리가 쓰고 읽은 이야기를 형성하고 페이지 사이에 담긴 생각과 관점을 큐레이팅해 왔습니다. AHSE는 항상 새로운 아이디어를 위한 길을 열어주는 저널이었으며, 우리 분야의 발전을 축하하고 고착화된 단일한 단어를 넘어 우리를 움직였습니다. 이에 대해 노먼 박사에게 감사를 표하며 새로운 아이디어와 리더를 AHSE에 환영합니다. 우리는 앞으로 25년 동안 어떤 이야기가 나오든 아직 쓰여지지 않았고, 아직 들리지 않았고, 아직 읽히지 않은 수많은 이야기들도 이 페이지에 포함될 것으로 기대합니다. 
The journal in which this paper is published is itself an institution within our field. This paper was commissioned for a special issue in celebration of Dr. Geoffrey Norman who has just stepped down as Editor-in-Chief after 25 years (Norman and Ellaway 2020). As he himself would acknowledge, for a quarter of a century, Dr. Norman has guided this journal, shaped the stories that we have written and read, and curated the thoughts and perspectives bound between its pages. AHSE has always been a journal making way for new ideas; celebrating the advances of our fields, and moving us beyond the staid singular word. And for that, we thank Dr. Norman and also welcome new ideas and leaders to AHSE. We anticipate that whatever comes in the next quarter century will also encompass the plurality of stories that have not yet been written, not yet been heard, and not yet been read within these pages.

우리는 소외되고 억압받고 지워진 수많은 정체성을 어떻게 가장 잘 끌어안고 포용할 수 있을지 잘 안다고 주장하지 않습니다. 우리는 제도와 구조가 그들의 권력에 빚진 역사적 불의를 해결하도록 요구하는 데 항상 성공하지 못했습니다. 지식은 중립적이고 가치관이 없는 것이 아니며, 그렇지 않다고 주장하는 것은 지배 집단의 힘을 강화하는 것일 뿐이라는 사실에 대해 HPE 내부에서도 동의가 이루어졌다고 주장할 수 없습니다. 분명한 것은 우리가 해야 할 일이 있다는 것입니다. 우리 모두가 개인적으로나 집단적으로 근접성, 자유, 안전에 대한 관점이 바뀐 이 새로운 공간에서 숨을 쉬려고 노력할 때, 우리는 우리 주변에 쓰러져가는 동상을 다시 세우지 않을 수 있습니다. 그렇게 하면 과거의 실패를 되풀이할 뿐이며, 불평등과 소외에 대한 똑같은 이야기를 쓰게 될 것입니다. 우리는 마스터의 집을 해체하고 더 공평하고 포용적인 새로운 마스터의 집을 지을 수 있습니다. 우리는 이 새로운 시작을 위해 헌신해야 합니다. 

We do not claim to know how best to engage and embrace the many identities that are marginalized, oppressed, and erased. We have not always been successful in our demands that institutions and structures address the historical injustices to which they owe their power. We cannot even claim that there is agreement within the field of HPE that knowledge is not neutral and value-free, and that claiming otherwise just reinforces the power of the dominant group. Clearly, we have work to do. As we all, individually and collectively, try to breathe within this new space, where our perspectives of proximity, freedom, or safety may have shifted, we can choose not to re-erect the statues that are falling around us. Doing so will simply resurrect our past failures, writing the same stories of inequity and marginalization. We can dismantle the Master’s House and build a new one, one that is more equitable and inclusive. We must commit to this new beginning.

 


Adv Health Sci Educ Theory Pract. 2020 Dec;25(5):1107-1126. doi: 10.1007/s10459-020-10006-x. Epub 2020 Nov 2.

Dismantling the master's house: new ways of knowing for equity and social justice in health professions education

Affiliations collapse

1Continuing Professional Development, Temerty Faculty of Medicine, University of Toronto, 500 University Avenue, 6th Floor, Toronto, ON, M5G 1V7, Canada. morag.paton@utoronto.ca.

2Department of Leadership, Higher and Adult Education, Ontario Institute for Studies in Education, University of Toronto, Toronto, Canada. morag.paton@utoronto.ca.

3Behavioural Medicine, University of KwaZulu-Natal, Durban, South Africa.

4The Medical College of Georgia at Augusta University, Augusta, Georgia.

5MD Program, Temerty Faculty of Medicine, University of Toronto, Toronto, Canada.

6Department of Anesthesiology and Pain Medicine, University of Toronto, Toronto, Canada.

7Department of Anesthesiology and Pain Medicine, Toronto Western Hospital - University Health Network, Toronto, Canada.

8The Wilson Centre, University Health Network/University of Toronto, Toronto, Canada.

9Department of Medicine, Temerty Faculty of Medicine, University of Toronto, Toronto, Canada.

10Division of General Internal Medicine, Sunnybrook Health Sciences Centre, Toronto, Canada.

11Department of Leadership, Higher, and Adult Education, Centre for the Study of Canadian and International Higher Education, Ontario Institute for Studies in Education, University of Toronto, Toronto, Canada.

12Family and Community Medicine, Women's College Hospital, Toronto, Canada.

13Department of Family and Community Medicine, Temerty Faculty of Medicine, University of Toronto, Toronto, Canada.

PMID: 33136279

PMCID: PMC7605342

DOI: 10.1007/s10459-020-10006-x

Free PMC article

 

Abstract

Health professions education (HPE) is built on a structural foundation of modernity based on Eurocentric epistemologies. This foundation privileges certain forms of evidence and ways of knowing and is implicated in how dominant models of HPE curricula and healthcare practice position concepts of knowledge, equity, and social justice. This invited perspectives paper frames this contemporary HPE as the "Master's House", utilizing a term referenced from the writings of Audre Lorde. It examines the theoretical underpinnings of the "Master's House" through the frame of Quijano's concept of the Colonial Matrix of Power (employing examples of coloniality, race, and sex/gender). It concludes by exploring possibilities for how these Eurocentric structures may be dismantled, with reflection and discussion on the implications and opportunities of this work in praxis.

Keywords: Coloniality; Critical theory; Curricula; Decolonization; Equity; Health professions education; Medical education; Social justice.

Conflict of interest statement

The author(s) declare that they have no competing interests.

의학교육커리큘럼에서 인공지능의 필요성, 도전, 적용(JMIR Med Educ. 2022)
Needs, Challenges, and Applications of Artificial Intelligence in Medical Education Curriculum
Joel Grunhut1*, BA; Oge Marques2,3*, PhD; Adam T M Wyatt4*, PhD

 

소개
Introduction

인공지능(AI)과 그 응용 분야는 진단, 진단 촉진, 의사 결정, 빅데이터 분석, 관리 등 의료 분야의 많은 글로벌 문제를 해결할 수 있는 큰 가능성을 가지고 있습니다[1,2]. AI는 전 세계 의사 부족 문제를 해결하고 전 세계 오지에 의료 서비스를 제공할 수 있는 잠재력을 가지고 있습니다[2].  
Artificial intelligence (AI) and its applications hold great promise for solving many of health care’s global issues including making diagnoses, facilitating diagnostics, decision-making, big-data analytics, and administration [1,2]. AI has the potential to solve the global doctor shortage and bring access to health care to remote areas of the world [2].

이미 많은 의료 분야에서 AI의 실제 적용을 통해 혜택을 보고 있습니다. 예를 들어 심방세동, 간질 발작, 저혈당증을 감지하거나 조직 병리 검사 또는 의료 영상에 기반한 질병 진단 등이 있습니다[3]. AI의 사용은 영상의학이나 병리학 분야에 국한된 것이 아니라, 1차 진료부터 긴급한 중환자 결정에 이르기까지 다양한 분야를 아우르는 단일 데이터 형태인 이미지 인식에 대한 AI의 힘을 보여주는 지표입니다. 최근 데이터에 따르면 의학의 모든 전문 분야에서 의사를 보조하는 데 AI를 활용하는 방안을 모색하고 있습니다[4]. 딥러닝 알고리즘은 다양한 의료 분야에서 웨어러블, 스마트폰 및 기타 모바일 모니터링 센서를 통해 개인이 매일 사용하는 데이터의 양이 증가함에 따라 이를 기능적으로 이해할 수 있습니다[3]. AI는 대부분의 데이터 형태에 대해 분석을 수행하고 지능적인 실행 가능한 권장 사항을 제공하는 기능을 지속적으로 개선할 것입니다[5]. 향후 AI의 발전은 의료의 모든 측면에 스며들 것으로 예상됩니다[6]. 
Many fields of medicine have already seen benefit from the practical application of AI. Examples include the detection of atrial fibrillation, epilepsy seizures, and hypoglycemia, or the diagnosis of disease based on histopathological examination or medical imaging [3]. The use of AI is not limited to the fields of radiology or pathology; rather, those fields are indicators of the power of AI for image recognition, a singular form of data that transverses many fields spanning from primary care practice to urgent midsurgical decisions. Recent data show that every specialty in medicine is exploring the use of AI in assisting physicians [4]. Deep learning algorithms can make functional sense of increasing amounts of data used by individuals daily through wearables, smartphones, and other mobile monitoring sensors in different areas of medicine [3]. AI will continue to improve its capabilities to perform analysis and provide intelligent actionable recommendations on most forms of data [5]. It is expected that the future advancements in AI will permeate all aspects of medicine [6].

파괴적 혁신
Disruption

AI가 의료 분야에서 계속 발전하고 있지만 도전 과제가 없는 것은 아닙니다. AI는 이러한 임상 진료의 진화에 대비하지 못한 의사들의 저항에 직면해 있습니다[3]. 의사들은 AI의 발전으로 혜택을 받을 가능성이 높지만, 대체에 대한 두려움으로 인해 이러한 기회를 놓칠 수 있습니다. 또한 AI에 대한 지식이 부족하면 머신러닝 예측의 신뢰성에 대한 회의론이 생길 수 있습니다. 이러한 반발로 인해 다른 전문 분야에서는 AI 솔루션을 사용하여 산업을 발전시키는데 반해 의료 부문의 상당 부분이 AI에 적응하지 못하고 있을 수 있습니다[3].  
As AI continues to make advancements in health care, it is not without challenges. AI is met with resistance from physicians ill-equipped for such an evolution of clinical practice [3]. It is likely that physicians would benefit from the advancements of AI, but an understandable fear of replacement may prevent these opportunities. Furthermore, a lack of knowledge in AI can create skepticism in the trustworthiness of a machine learning prediction. This pushback may be preventing a large part of the health care sector from adapting to AI as other professional sectors continue to use AI solutions to advance their industries [3].

AI는 기존의 임상의사-환자 양자 구도를 훨씬 더 윤리적이고 감정적으로 복잡한 임상의사-AI-환자 삼자 구도로 변화시킬 것입니다. 이는 윤리적, 법적, 재정적 영향과 함께 신뢰와 책임 측면을 극적으로 변화시킬 것입니다[7]. 의사는 이러한 큰 변화에 대비해야 합니다[8]. 
AI will change the dynamics of the traditional clinician-patient dyad to a much more ethically and emotionally complex clinician-AI-patient triad. This will dramatically alter the trust and accountability aspects with ethical, legal, and financial implications [7]. Physicians must be prepared for this great change [8].

AI와 같은 신흥 기술은 전통적인 교육 프로그램을 통해 유지되는 노동 시장을 혼란에 빠뜨릴 잠재력을 가지고 있습니다. 이러한 시장 혼란에 탄력적으로 대응하기 위해서는 의사 교육 프로그램에 변화가 필요합니다[9]. 현재의 학부 의학교육(UME) 커리큘럼은 진화하는 기술의 새로운 요구사항에 점점 더 부합하지 못하고 있습니다. 대부분의 의과대학이 변화를 수용하고 의학 커리큘럼의 구성 요소를 정기적으로 업데이트하기 위해 노력하고 있지만, 대대적인 개편은 달성하기 어렵고 커리큘럼에서 AI를 구현하는 데 방해가 될 수 있습니다. 깊이 내재된 가치와 인증 과정 등 다양한 요인으로 인해 중요한 커리큘럼 개혁을 달성하기는 어렵습니다[10]. 
Emerging technologies such as AI have the potential to disrupt labor markets maintained through traditional education programs. In order to be resilient to these market disruptions, physician training programs will require change [9]. The current undergraduate medical education (UME) curriculum is increasingly out of sync with the new needs of an evolving technology. Although most medical schools embrace change and strive to regularly update the components of the medical curriculum, a major overhaul is difficult to achieve and may be a hindrance to the implementation of AI in the curriculum. The path to significant curricular reform is difficult because of a variety of factors, including deeply embedded values and the accreditation process [10].

UME는 미래를 맞이하고 학생들에게 AI를 통해 더 넓은 범위의 의료 서비스에 대한 접근성을 제공해야 합니다. [데이터 과학에 대한 지식, 알고리즘 품질 평가, 다양한 AI 제품 간 변별]은 의학교육의 필수 구성 요소이며, 교수진은 이를 통합하기 시작해야 합니다. 의과대학은 의사가 미래에 대체할 수 없는 역할을 확립하기 위해 컴퓨터보다 경쟁 우위를 점할 수 있는 고유한 인간 능력을 가르치고 육성하기 시작해야 합니다[9]. 
UME must begin to welcome the future and provide students access to a broader scope of health care through AI. Knowledge on data science, assessing algorithmic quality, and differentiating among different AI products are necessary components of medical education, which faculty must begin to incorporate. Medical schools must begin to teach and nurture unique human abilities that give physicians a competitive advantage over computers to establish an irreplaceable role in the future [9].

의사에게는 어떤 기술이 필요할까요?
What skills Do Physicians Need?

의료계는 임상 의사 결정을 개선하기 위한 데이터 사용이 증가하면서 숙련된 의사와 기계의 상호 작용이 필요한 AI 시대에 접어들고 있습니다[11]. 차세대 의사에게 올바른 기술과 AI에 대한 적응력을 교육하면 이 새로운 데이터 과학 혁명의 일원이 될 수 있습니다[8]. 현재 의사가 AI와 함께할 수 있는 접근 방식은 다양합니다. 데이터 과학 과정을 수강하는 의사, 펠로우십 기회를 얻는 의사, 의학교육 프로그램에 참여하는 데이터 과학자 등이 있습니다. 이들은 전체 의사 인구의 극히 일부에 불과하므로 UME에서 보다 통합적이고 전향적인 접근 방식이 필요합니다. 
The practice of medicine is entering the age of AI in which the use of data to improve clinical decision-making will grow, bringing forth the need for skillful medicine-machine interaction [11]. Educating the next generation of physicians with the right techniques and adaptations to AI will enable them to become part of this emerging data science revolution [8]. Currently, there are different approaches for physicians to become accompanied to AI. There are physicians taking courses in data science, fellowship opportunities, and data scientists entering medical education programs. These represent a small fraction of the total physician population, and therefore a more integrative and forward approach in UME is necessary.

의료 전문가들은 AI의 장점과 비용 절감, 품질 향상, 의료 서비스 접근성 확대 등의 잠재력에 대해 충분히 교육받아야 합니다. 마찬가지로 중요한 것은 의사가 투명성 및 책임과 같은 AI의 단점에 대해 잘 알고 있어야 한다는 것입니다. 이러한 목표를 달성하기 위해서는 커리큘럼의 여러 측면에 걸쳐 AI를 원활하게 통합해야 합니다[11].  
Medical professionals need to be sufficiently trained in AI, its advantages, and its potential to lower cost, improve quality, and expand access to health care. Of equal importance, physicians should be knowledgeable in its shortfalls such as transparency and liability. AI needs to be seamlessly integrated across the different aspects of the curriculum to achieve these goals [11].

AI 솔루션의 권장 사항을 환자의 치료 과정에 통합할 때 의사는 환자가 가질 수 있는 모든 우려에 답할 수 있어야 합니다. 더 중요한 것은 의사가 AI가 환자 치료에 도움이 되는 기술이 되고 해를 끼치는 기술이 되지 않도록 할 책임이 있다는 것입니다. 기술 혁명은 의료 분야에서 AI 기반 구현에 대한 윤리적 고려 사항과 관련하여 많은 과제를 제기합니다. 데이터베이스의 소수자 배제, 법적 보호 문제, 인본주의적 터치의 감소 등 여러 윤리적 문제들이 의료 분야에 AI를 적용하는 데 있어 우려를 불러일으킵니다. 이러한 이유로 인해 미래의 의사에게 매우 중요한 의무인 AI에 대한 충분한 지식과 경험 습득의 중요성이 부각되고 있습니다[12]. 
When incorporating recommendations from AI solutions to a patient’s course of treatment, physicians should be capable to answer any concerns that patients may have. Perhaps even more importantly, physicians are responsible for ensuring that AI becomes a technology beneficial for patient care and not possibly a cause of harm. The technological revolution raises many challenges with regards to ethical considerations of AI-based implementation in health care. Minority exclusions in databases, issues with legal protections, and a decrease in humanistic touch, among other ethical issues, raise concern for an adaptation of AI in health care. These reasons bring forth the importance of acquiring sufficient knowledge and experience about AI, an obligation of high importance for future physicians [12].

의과대학은 학생들에게 데이터 과학, 생물 통계학, AI의 생명윤리적 영향, 근거 기반 의학 등과 함께 기초 및 임상 의학에 대한 폭넓은 지식을 교육하는 데 필요한 조치를 취해야 합니다. 의대생 교육에는 [올바른 정보와 수사를 구별하는 능력][환자와 대중을 위해 철저하게 검증되고 신뢰할 수 있는 정보를 만들고 배포하는 방법을 이해하는 능력] 개발이 포함되어야 합니다[12].  
Medical schools should take necessary steps to educate students with widespread knowledge of basic and clinical medicines along with data science, biostatistics, bioethical implications of AI, and evidence-based medicine. Part of a medical student’s training should include developing the abilities to distinguish correct information from rhetoric and to understand how to create and disseminate thoroughly validated, trustworthy information for patients and the public [12].

제안 단계
Suggested Steps

현재 의학교육에서 인공지능은 초기 단계에 있으며 추측 단계에 머물러 있습니다[13-16]. 이전에 우리는 이 주제에 대해 발표된 대부분의 문헌이 학부 의학교육의 변화를 요구하고 있으며 커리큘럼 변화를 뒷받침하기 위한 연구가 필요하다는 것을 보여주었습니다[17]. 그럼에도 불구하고 이러한 변화를 만들기 위해 취해야 할 단계에 대해 고민한 사람은 거의 없습니다. 이는 주요 커리큘럼 개편을 실행하는 데 어려움이 있기 때문에 예상되는 일입니다. 여기에서는 인식되는 어려움에 대한 개요를 제공하고 이러한 문제를 해결하기 위한 해결책을 제시합니다(표 1).
Currently, the state of AI in medical education is in its infancy and speculative stages [13-16]. Previously, we have shown that the majority of published literature on the topic call for change in undergraduate medical education and that research is necessary to support curricular changes [17]. Even so, few have given thought to the steps that must be taken to create this change. This is expected because of the difficulty in implementing major curricular changes. Here, we provide an outline of the perceived difficulties and offer solutions to resolve these challenges (Table 1).

의과대학 커리큘럼 변경은 변화에 대한 저항으로 인해 실행하기 어렵습니다. 이러한 저항은 변화를 통합하는 방법에 대한 합의가 부족하고 이미 바쁜 커리큘럼으로 인해 정당화됩니다. 이러한 이유로 추가 교과목이나 업무량을 제안하면 의대생에게 최선의 이익이 되는 의학교육 교수진의 비판에 직면할 가능성이 높습니다. 국가 인프라 수준에서 이러한 문제는 의학교육 및 기관의 리더가 지원할 수 있습니다. 이러한 인식은 연례 미국 의과대학 졸업 설문조사에 1~3개의 질문을 추가하여 학생들의 관심도와 능력을 측정함으로써 쉽게 명확히 할 수 있습니다. 예를 들어, 설문지에는 UME 기간 동안 AI를 가르쳐야 하는지, 몇 학년도에 가르쳐야 하는지, 어떻게 통합해야 하는지에 대한 동의를 구할 수 있습니다. 이러한 의견은 인증 요건으로 전환되어 변화를 촉진할 수 있습니다. 
Medical school curricular changes are difficult to implement due to resistance to change. This resistance is justified through a lack of consensus on how to incorporate change and an already busy curriculum. For this reason, proposing additional courses or workload will likely be met with criticism from medical education faculty in the best interest of medical students. On a level of national infrastructure, these issues can be supported by leaders of medical education and organizations. These perceptions can be clarified easily through the addition of 1-3 questions on the annual Association of American Medical Colleges Graduation Questionnaire to gauge interest and ability over time from students. For example, the questionnaire can ask for agreement on whether AI should be taught during UME, what year of training it should be taught in, and how it should be incorporated. These can translate into accreditation requirements and drive change forward.

Table 1. Multitiered solutions to include AI in the medical education curriculum.
Levels and target areas of improvement Examples
National infrastructure  
  AAMCb Questionnaire, materials, and guidance
  LCMEc Minimal requirements and expert panels
  Multi-institutional research Longitudinal research on attitudes and quality improvements
Individual school  
  Faculty expansion Bioethics, bioinformatics, and medical AI experience
  Basic knowledge lessons Introductory courses, benefits and pitfalls of AI, and ethics of AI
  Case-based learning Multispecialty implications in previous cases and biostatistical implications
Student specific  
  Journal clubs or reading groups Specialty-specific journals, health care systems journals, and AI in health care journals
  Use of AI in clinical setting Tumor board, radiology rotation, and point of care ultrasound

aAI: artificial intelligence.

bAAMC: Association of American Medical Colleges.

cLCME: Liaison Committee on Medical Education.

더 중요한 질문은 학부 의학교육자들이 어떻게 연합하여 커리큘럼에 AI를 통합하는 것에 대한 수준 높은 연구를 수행할 수 있는가 하는 것입니다. 연구와 프로토콜의 기준이 서로 다른 개별 학교의 보고서가 모든 학부 의학교육에 필요한 변화를 정의할 수 있을까요? 여러 의과대학의 공동 및 연합 연구 노력은 이 문제에 대한 다각적이고 다양한 의견을 제공할 수 있으며, 이는 반드시 필요합니다. 
A more overarching question is how undergraduate medical educators can unite to perform high-quality research on the incorporation of AI in the curriculum. Would individual school reports with differing standards in research and protocol do justice to a necessary change across all undergraduate medical education? A joint and united research effort from multiple medical schools would provide a multifaceted and diverse input on the issue and is necessary.

개별 학교 차원에서는 커리큘럼을 개선하기 위한 자원 투자가 필요할 것입니다. 시간 및 내용 제약 문제를 해결하기 위해 UME 전반에 걸친 종단적 AI 스레드를 옹호해야 합니다. 근거 기반 의학을 가르치는 과정에는 AI의 입력을 평가하는 추가적인 관점을 통합해야 합니다. 의과대학 교수진은 근거 기반 의학에서 AI의 역할에 대한 질문에 답하거나 토론할 준비가 되어 있지 않을 수 있습니다. 따라서 의과대학 교수진에 다른 학교의 임상의학 데이터 과학자나 컴퓨터 과학 및 공학 교수진을 추가하는 것이 필수적입니다.  
On an individual school level, investments of resources will be necessary to create improvements in the curriculum. A longitudinal AI thread throughout the UME should be advocated to solve time and content constraint issues. Courses teaching evidence-based medicine should incorporate an additional perspective of evaluating the input of AI. Medical school faculty may not be equipped to answer questions or discuss the role of AI in evidence-based medicine. Therefore, it is imperative to add clinician data scientists or computer science and engineering faculty from other schools to medical school teaching faculty.

공중 보건 과학을 배우는 학생들은 AI가 미래의 연구와 진료에서 무엇을 할 수 있고 무엇을 할 수 없는지 알기 위해 AI에 대한 배경 지식을 습득해야 합니다. 의과대학 커리큘럼에서 AI의 전체 과정을 가르치는 것은 너무 어렵습니다. 의학에서 AI에 대한 입문 강의는 반드시 필요하고 옹호되어야 합니다. 대부분의 학교에서는 강사가 데이터 과학자일 가능성이 높지만, 강사가 강의 경험이 있고 의대생에게 친숙하며 의학에서 AI의 역할에 대해 잘 알고 있는 사람이어야 합니다. 강사는 이전에 컴퓨터 과학 과목에서 의학에서 AI의 역할에 대해 이미 가르친 적이 있는 것이 좋습니다. 가장 중요한 것은 강사가 AI가 의료 분야에 가져온 광범위한 윤리적 문제를 다룰 수 있는 수준의 생명윤리 역량을 갖추고 있어야 한다는 것입니다. 
Students learning public health sciences must be introduced to a background in AI in order to know what AI can and cannot do for their future research and practices. It is far too difficult to teach entire courses of AI in a medical school curriculum. An introductory lecture to AI in medicine is a necessity and should be advocated for. In most schools, the instructor will likely be a data scientist, but it is important that the instructor has teaching experience, is familiar with medical students, and is conversant with the role of AI in medicine. Preferably, the instructor will have already taught about the role of AI in medicine previously in a computer science course. Most importantly, instructors should have levels of competency in bioethics to address the expansive ethical issues AI has brought to health care.

사례 기반 학습과 시뮬레이션 학습은 임상 시나리오에 AI 기반 권장 사항을 통합할 수도 있습니다. 사례와 시뮬레이션에 AI를 통합함으로써 학생들은 AI 기반 솔루션을 접하고 친숙해질 수 있습니다. AI 애플리케이션을 협업하고 관리하려면 의대생이 확률적 추론에 대한 깊은 이해와 윤리적 고려가 필요합니다[10]. 이러한 수업은 AI 추천의 정확성과 해석에 대한 지식을 갖춘 교수진이 가르쳐야 합니다. 의과대학은 의학 콘텐츠에서 양질의 AI를 제공하기 위해 이 분야의 교수진을 추가로 채용해야 할 가능성이 높습니다. 
Case-based learning and simulation learning can also incorporate AI-based recommendations in clinical scenarios. By integrating AI into cases and simulations, students can have exposure and familiarity with AI-based solutions. Collaborating and managing AI applications will require a deep understanding of probabilistic reasoning and ethical consideration from medical students [10]. These lessons should be taught from faculty with knowledge about the accuracy and interpretations of AI recommendations. It is likely that medical schools will need to hire additional faculty in this field to ensure quality delivery of AI in medicine content.

또 다른 제안은 다른 기관에서 만든 웹 기반 의료 프로그램(예: 스탠포드 대학의 의료 분야의 인공 지능 전문가 프로그램)에서 AI에 대한 액세스를 제공하는 것입니다. 이러한 프로그램은 의료와 AI의 접점에서 세계적으로 유명한 전문가인 교수진이 가르치며, 의대생은 비용을 지불하고 프로그램을 이용할 수 있습니다. 프로그램에 대한 액세스를 제공함으로써 의과대학은 다른 방법으로는 제공할 수 없었던 새로운 지식을 커리큘럼에 주입할 수 있습니다.  
Another suggestion is for institutions to offer access to AI in web-based health care programs created at other institutions (eg, Stanford University’s Artificial Intelligence in Healthcare professional program). These programs are taught by faculty who are world-renowned experts at the interface of health care and AI, and the programs are available to medical students with a cost. Providing access to a program will enable medical schools to infuse new knowledge in a curriculum that could not be provided otherwise.

학생 개개인의 차원에서는 학생들이 AI에 능동적으로 참여함으로써 교육의 변화를 주도할 수 있습니다. 앞서 의대생이 AI 도구를 코딩하고 만드는 방법을 배울 필요는 없지만, AI의 작동 방식과 한계는 이해해야 한다는 데 대부분의 최신 문헌이 동의하고 있음을 살펴봤습니다[17]. 학생들은 의학 저널에서 의료 분야의 AI 발전에 대해 읽을 수 있습니다. 의료 AI를 주제로 한 저널을 포함하여 많은 주요 저널에서 AI 연구가 활발히 진행되고 있습니다. 의료 분야 AI의 최신 동향을 읽음으로써 학생들은 의료의 미래에 대한 정보를 얻고 준비할 수 있습니다. 의과대학에서 증거 기반 의학 학습과 결합하면 학생들은 AI 연구의 무결성을 평가할 수 있습니다. 
On an individual student level, students can help drive change in their education with a proactive engagement with AI. Previously, we have shown that most of the current literature agrees that medical students do not need to learn how to code and create AI tools, but they should understand how AI works and its limitations [17]. Students can read about AI advancements in health care in medical journals. AI research has a strong appearance in many leading journals, including medical AI-themed journals. Reading the current trends in AI in health care will inform and prepare students for the future of health care. When combined with evidence-based medicine learning at medical school, students will be able to assess the integrity of AI research.

학생들은 임상 환경에서도 AI를 접할 수 있습니다. 이미 AI 기반 소프트웨어가 탑재된 개별 휴대용 초음파를 통해 학생들이 교육에 도움을 받았다는 보고가 있습니다[18,19]. 학생들은 방사선과 로테이션에서 AI 애플리케이션을 보고 AI 애플리케이션의 영향을 받는 환자 치료에 관여하는 여러 전문 분야의 방사선과 전문의 및 임상의와 임상 의사 결정에서 AI의 역할에 대해 토론할 수 있습니다. AI 통합은 전문 분야에 따라 다르겠지만, 의료 서비스 전반에 걸쳐 AI가 도입될 가능성이 높습니다. 예를 들어 방사선과 전문의, 병리학자, 종양 전문의, 외과의로 구성된 종양 위원회는 AI 애플리케이션의 영향을 받습니다. 학생들은 관심 있는 분야에 대한 노출을 맞춤화할 수 있습니다. 위의 제안은 의학교육 전반에 적용되며 일반 의학교육의 중요성과 개선의 여지를 강조합니다. 전문 분야에 특화된 AI 주제는 UME에는 필요하지 않을 수 있지만 레지던트 과정과 그 이후에는 필요할 수 있습니다. 그럼에도 불구하고 의과대학은 AI에 대한 종단적 커리큘럼을 통해 학생들이 AI를 사용하여 다양한 전문 분야를 접할 수 있도록 할 수 있습니다.
Students can expose themselves to AI in the clinical setting as well. There are already reports of students receiving individual portable ultrasounds with AI-driven software to help advance their education [18,19]. Students can see AI applications in their radiology rotations and discuss its role in clinical decision-making with radiologists and clinicians across different specialties involved in patient care impacted by AI applications. AI integration will be specialty specific, but AI as a whole will likely be present across health care. For example, a tumor board, consisting of radiologists, pathologists, oncologists, and surgeons, is impacted by AI applications. Students can tailor their exposure toward fields of interests. The suggestions above apply to medical education as a whole and highlight the importance and room for improvement in general medical education. Specialty-specific AI topics would not be necessary for UME but perhaps in residency and beyond. Nevertheless, through a longitudinal curricular thread in AI, medical schools can expose their students to a wide variety of specialties using AI.

AI를 통한 의사 결정의 교훈은 도시와 농촌을 막론하고 의료 서비스의 전 영역에 걸쳐 개인에게 적용될 것입니다. AI는 의료 서비스에 대한 접근성을 확대할 수 있는 잠재력을 가지고 있기 때문에 다양한 의료 환경에 침투할 것으로 예상됩니다. 따라서 학생 개개인은 어떤 의료 분야를 선택하든 AI에 대해 학습하여 대비해야 합니다. 
Lessons in decision-making with AI will apply to individuals across the spectrum of health care, both in city and rural settings. It is expected that AI will permeate various health care settings because of its potential to expand access to health care. Therefore, individual students should be prepared by learning about AI no matter what area of medicine they choose.

방법론적 접근
A Methodological Approach

새로운 의학 커리큘럼의 변화는 의대생에게 긍정적이거나 부정적인 영향을 미칠 수 있습니다. 또한 완전히 새로운 주제를 도입하는 것과 같은 커리큘럼의 변화는 어려운 작업입니다. 따라서 여러 지역의 의학교육 전문가들이 함께 협력하여 시행된 변화를 만들고 평가하는 것이 중요합니다. 교육 연구는 다양한 커리큘럼 개혁의 효과를 평가하는 데 필수적입니다[20]. 이러한 성공을 달성하기 위한 한 가지 제안은 커리큘럼에서 다양한 AI 구현의 결과를 측정하기 위한 장기 연구를 시작하는 것입니다. 
New medical curricular changes can have tremendous positive and negative impacts on medical students. Additionally, a change in curriculum such as the introduction of an entire novel topic is a difficult task. Therefore, it is important that medical education specialists across different regions work in unison to create and assess the implemented changes. Educational research is vital to assessing the effectiveness of different curricular reforms [20]. One suggestion to achieving such success is to begin a long-term study to measure the outcomes of different implementations of AI in the curriculum.

학생과 교수진의 태도, 기술 수준, UME에서 AI에 대한 구체적인 요구 사항을 측정하는 연구는 현 시점에서 매우 중요하고 시급한 과제입니다. 이러한 제안을 통합하기 위한 추가 노력은 측정 가능하고 해석 가능한 데이터를 확보하여 UME에서 AI 구현을 발전시켜야 합니다. 이러한 목표를 달성하기 위해서는 여러 기관이 공동으로 연구하는 것이 논리적인 접근 방식입니다.
Research measuring student and faculty attitudes, skill level, and specific needs of AI in UME is crucial and urgent at this point in time. Further efforts to incorporate these suggestions should be measurable and have interpretable data to advance the implementation of AI in UME. A concerted multi-institutional study is a logical approach in order to achieve these goals.

의과대학 학장들이 모여 AI 커리큘럼 개혁을 논의하고 계획해야 합니다. 조직 차원에서 의학교육 관리 기관은 이러한 변화를 제정하고 촉진해야 합니다. 의학교육 연락 위원회는 특별 위원회를 통해 AI를 의학교육에 가장 잘 통합하는 방법에 대한 제안과 지침을 제공해야 합니다. 
Medical education deans need to gather to discuss and plan AI curricular reform. At the organizational level, medical education governing bodies must enact and promote these changes. The Liaison Committee on Medical Education should provide suggestions and guidelines of how to best incorporate AI to medical education through special committees.

2018년에 미국의학협회는 "의학교육에서 AI 교육이 학습 및 임상 결과에 미치는 효과에 관한 연구"를 촉구했습니다[21]. 3년이 지난 지금, 이용 가능한 문헌에 따르면 UME는 이 요청에 대해 느리게 대응하고 있습니다[17]. 따라서 이 원래의 요청을 실천으로 옮기기 위해 더 많은 노력을 기울여야 합니다. 
In 2018, the American Medical Association called for “Research regarding the effectiveness of AI instruction in medical education on learning and clinical outcomes” [21]. Three years later, the available literature suggests UME has been slow to address this call [17]. Thus, further efforts should be made to advance this original call into practice.

 

결론
Conclusion

현재와 미래의 의학 분야 AI의 발전으로 인해 학부 의학교육자들은 커리큘럼에 AI를 도입하고 구현해야 합니다. 이러한 커리큘럼 변화를 가장 효과적으로 달성하는 방법을 효과적으로 연구하기 위해서는 종단적 연구 계획이 필요합니다. 의학교육 관리 기관, 의학교육 학장, 의학교육 연구자들은 학부 의학교육 커리큘럼에 AI를 구현하기 시작해야 합니다. 이러한 기관의 집단적 합의를 통해 앞으로 나아간다면 미래의 의사인 재학생들이 적절한 AI 노출을 받을 수 있을 것입니다. 
The current and future advancements of AI in medicine oblige undergraduate medical educators to act and implement AI in the curriculum. Longitudinal research plans are necessary to effectively study how to best achieve these curricular changes. Medical education governing bodies, medical education deans, and medical education researchers should begin to implement AI in the undergraduate medical education curriculum. Moving forward with collective agreement from these entities will ensure current students—our future physicians—receive adequate AI exposure.

 


JMIR Med Educ. 2022 Jun 7;8(2):e35587. doi: 10.2196/35587.

Needs, Challenges, and Applications of Artificial Intelligence in Medical Education Curriculum

Affiliations collapse

1Schmidt College of Medicine, Florida Atlantic University, Boca Raton, FL, United States.

2Department of Electrical Engineering and Computer Science, College of Engineering and Computer Science, Florida Atlantic University, Boca Raton, FL, United States.

3Department of Biomedical Sciences, Schmidt College of Medicine, Florida Atlantic University, Boca Raton, FL, United States.

4Department of Population Health and Social Medicine, Schmidt College of Medicine, Florida Atlantic University, Boca Raton, FL, United States.

#Contributed equally.

PMID: 35671077

PMCID: PMC9214616

DOI: 10.2196/35587

Free PMC article

Abstract

Artificial intelligence (AI) is on course to become a mainstay in the patient's room, physician's office, and the surgical suite. Current advancements in health care technology might put future physicians in an insufficiently equipped position to deal with the advancements and challenges brought about by AI and machine learning solutions. Physicians will be tasked regularly with clinical decision-making with the assistance of AI-driven predictions. Present-day physicians are not trained to incorporate the suggestions of such predictions on a regular basis nor are they knowledgeable in an ethical approach to incorporating AI in their practice and evolving standards of care. Medical schools do not currently incorporate AI in their curriculum due to several factors, including the lack of faculty expertise, the lack of evidence to support the growing desire by students to learn about AI, or the lack of Liaison Committee on Medical Education's guidance on AI in medical education. Medical schools should incorporate AI in the curriculum as a longitudinal thread in current subjects. Current students should understand the breadth of AI tools, the framework of engineering and designing AI solutions to clinical issues, and the role of data in the development of AI innovations. Study cases in the curriculum should include an AI recommendation that may present critical decision-making challenges. Finally, the ethical implications of AI in medicine must be at the forefront of any comprehensive medical education.

Keywords: AI; artificial intelligence; medical education; medical student.

의학교육에서 인공지능 훈련 도입하기 (JMIR Med Educ. 2019)
Introducing Artificial Intelligence Training in Medical Education
Ketan Paranjape1*, MS, MBA; Michiel Schinkel2*, MD; Rishi Nannan Panday3, MD; Josip Car4, MD, PhD, FRCP;
Prabath Nanayakkara2, MD, PhD, FRCP

 

전 세계 의료 서비스 지출은 2017년 7조 7,000억 달러에서 2022년 10조 달러로 5.4%의 비율로 증가할 것으로 예상됩니다[1]. 이는 선진국의 경우 국내총생산에서 의료비가 차지하는 비중이 평균 9%에 달한다는 것을 의미합니다[2,3]. 의료 서비스 접근성 및 경제성 확대에 영향을 미칠 수 있는 미국의 세제 개혁 및 정책 변화(건강보험개혁법)[4], 유럽연합 탈퇴 결정에 따른 영국의 의료 서비스 지출에 대한 영향[5] 등이 주요 글로벌 동향으로 꼽힙니다, 중국과 인도의 인구 증가와 부의 증가[6-8], 러시아의 의료 서비스를 위한 사회경제 정책 개혁 시행[9], 아르헨티나의 보편적 의료 서비스를 효과적으로 만들기 위한 시도[10], 아프리카의 전자 의료 및 원격 의료에 대한 대대적인 추진[11], 전 세계적으로 전례 없는 인구 고령화 속도의 영향[12] 등이 있습니다. 
Global health care expenditure has been projected to grow from US $7.7 trillion in 2017 to US $10 trillion in 2022 at a rate of 5.4% [1]. This translates into health care being an average of 9% of gross domestic product among developed countries [2,3]. Some key global trends that have led to this include tax reform and policy changes in the United States that could impact the expansion of health care access and affordability (Affordable Care Act) [4], implications on the United Kingdom’s health care spend based on the decision to leave the European Union [5], population growth and rise in wealth in both China and India [6-8], implementation of socioeconomic policy reform for health care in Russia [9], attempts to make universal health care effective in Argentina [10], massive push for electronic health and telemedicine in Africa [11], and the impact of an unprecedented pace of population aging around the world [12].

임상의의 관점에서 볼 때 의료 정보의 증가는 놀라울 정도로 의료 서비스 제공 방식에 영향을 미치는 중요한 트렌드가 많이 있습니다. 1950년에 의료 정보가 두 배로 늘어나는 데 50년이 걸렸습니다. 1980년에는 7년이 걸렸습니다. 2010년에는 3.5년이 걸렸고 2020년에는 73일 만에 두 배가 될 것으로 예상됩니다[13]. 이러한 성장은 의료 전문가들이 의료 정보를 보유하고 이를 효과적으로 진료에 활용해야 하는 과제를 안겨주고 있습니다.
From clinicians’ perspective there are many important trends that are affecting the way they deliver care of which the growth in medical information is alarming. It took 50 years for medical information to double in 1950. In 1980, it took 7 years. In 2010, it was 3.5 years and is now projected to double in 73 days by 2020 [13]. This growth is posing a challenge to health care professionals to both retain and use it effectively to practice medicine.

의료 분야에서 인공지능의 부상
Rise of Artificial Intelligence in Health Care

의료 분야의 인공 지능
Artificial Intelligence in Health Care

인공 지능(AI)은 일반적으로 인간의 특성인 작업을 수행할 수 있는 컴퓨터 알고리즘을 이해하고 만드는 데 중점을 둔 과학 분야입니다[14]. AI는 이제 의료 분야에서 탄력을 받고 있습니다. "기계가 생각할 수 있는가?"라는 질문을 제기한 튜링의 중요한 논문인 컴퓨팅 기계와 지능[15]에 뿌리를 둔 AI는 먼 길을 걸어왔습니다. 자연어 처리(NLP)[16], 음성 인식[17], 가상 에이전트[18], 의사 결정 관리[19], 머신 러닝[20], 딥 러닝[21], 로봇 프로세스 자동화[22] 등이 AI의 발전 사례로 꼽힙니다.
Artificial intelligence (AI) is a scientific discipline that focuses on understanding and creating computer algorithms that can perform tasks that are usually characteristics of humans [14]. AI is now gaining momentum in health care. From its early roots in Turing’s seminal paper, Computing Machinery and Intelligence [15], where he proposed the question “Can machines think?”, AI has come a long way. Examples of advances in AI include natural language processing (NLP) [16], speech recognition [17], virtual agents [18], decision management [19], machine learning [20], deep learning [21], and robotic process automation [22].

오늘날 AI는 의료 분야에서 더 빠르고 정확한 진단을 위해[23], 영상의학을 보강하고[24], 사람의 피로로 인한 오류를 줄이고, 의료 비용을 절감하고[25], 지루하고 반복적이며 노동 집약적인 작업을 보조 및 대체하고[26], 최소 침습 수술[27], 사망률을 줄이기 위해[28] 시범적으로 도입되고 있습니다.
Today, AI is being piloted in health care [23] for faster and accurate diagnosis, to augment radiology [24], reduce errors due to human fatigue, decrease medical costs [25], assist and replace dull, repetitive, and labor-intensive tasks [26], minimally invasive surgery [27], and reduce mortality rates [28].

인공 지능의 도전 과제
Challenges With Artificial Intelligence

의료 분야에서 인공지능이 부상하고 일상적인 임상 진료에 통합되는 것은 어려운 과제가 될 것입니다. 의사의 기존 업무 방식 변화와 함께 블랙박스 문제[29]와 책임 문제[30]가 가장 예상되는 과제 중 하나입니다.
The rise of AI in health care and its integration into routine clinical practice is going to be a challenge. Along with changing the conventional ways physician work, the black box problem [29] and liability issues [30] are some of the most anticipated challenges.

블랙박스
Black Box

마운트 사이나이 병원의 연구원들은 70만 명의 환자 데이터로 학습된 딥러닝 알고리즘을 개발했습니다. 이 알고리즘은 정신분열증과 같은 질병의 발병을 높은 정확도로 예측할 수 있었습니다[31]. 이 질환은 전문가도 진단하기 어렵다는 사실을 고려하면 더욱 인상적입니다. 이 알고리즘의 가장 큰 문제점은 시스템이 어떻게 이러한 예측을 생성했는지, 어떤 요소를 고려했는지 알 수 없다는 것입니다. 이러한 현상을 블랙박스 현상이라고 합니다. 의학에서는 전례가 없는 일이지만, 시스템이 어떻게 작동하는지에 대한 이해가 없는 경우 시스템을 신뢰하기는 어렵습니다. 의사는 입력과 알고리즘을 이해하고 AI가 제안한 진단을 해석하여 오류가 없는지 확인해야 합니다. 또한 표준 치료법에 비해 좋은 결과를 입증할 수 있는 경우에도 블랙박스 의학의 결과 또는 의도하지 않은 부작용이 무엇인지 이해해야 합니다. 
Researchers at Mount Sinai Hospital have created a deep learning algorithm that was trained on the data of 700,000 patients. This algorithm was able to predict onset of a disease such as schizophrenia with high accuracy [31]. This is even more impressive considering the fact that this condition is difficult to diagnose even for experts. The main problem with this algorithm is that there is no way to know how the system created this prediction and what factors were taken into consideration. This phenomenon is called the black box phenomenon. It would not be a precedent in medicine, nevertheless it is difficult to trust a system when there is no understanding on how it works. The physician needs to understand the inputs and the algorithm and interpret the AI-proposed diagnosis to ensure no errors are made. We also need to understand what the consequences or unintended side effects are of black box medicine, even when good outcomes can be demonstrated against a standard of care.

마지막으로, 많은 AI 시스템이 인간과 동물의 중추 신경계의 측면을 모방하려고 시도하지만, 이는 여전히 블랙박스에 가깝습니다. 최근 논문에서 자도르[32]는 동물의 뇌에서 이 현상을 이해하기 위해 더 많은 것을 배울 수 있다고 주장했습니다. 
Finally, many of the AI systems attempt to mimic aspects of human and animal central nervous systems that are, at large, still a black box. In a recent paper, Zador [32] argued that we have much more to learn from animal brains to unravel this phenomenon.

개인정보 보호 및 데이터 제어
Privacy and Control Over Data

AI 알고리즘을 개발하려면 거의 대부분 많은 환자의 데이터가 필요합니다. 예를 들어, Google은 2개 병원에서 11년 동안 총 216,221명의 성인 비식별 데이터에서 수집한 460억 개의 데이터 포인트를 사용하여 입원 환자의 결과를 예측하고 있습니다[33,34]. 이는 환자 개인정보 보호 및 통제와 관련하여 많은 우려를 불러일으킵니다. 환자가 자신의 정보가 알고리즘 개발에 사용되는 연구에 참여하기를 원하지 않는다면 어떻게 될까요? 유럽연합에서는 잊혀질 권리에 따라 환자가 동의를 철회한 경우 개인 데이터를 삭제할 수 있습니다[35]. 환자 데이터가 제한적인 상황에서 알고리즘 개발자는 합성 데이터 또는 가상의 데이터로 모델을 학습시키므로 안전하지 않고 잘못된 치료 권장 사항을 생성할 위험이 있습니다[36]. 마지막으로, AI 시스템은 알고리즘이 의료 정보를 잘못 분류할 수 있는 사이버 보안 공격에도 취약합니다[37].
The development of AI algorithms almost as a rule requires data from a large number of patients. Google, for example, is using 46 billion data points collected from 216,221 adults’ deidentified data over 11 combined years from 2 hospitals to predict the outcomes of hospitalized patients [33,34]. This raises many concerns including relating to patient privacy and control. What happens if a patient does not want to participate in a study where their information is used in algorithm development? In the European Union, the Right to be Forgotten would allow personal data to be erased when the patient has withdrawn their consent [35]. In situations where patient data are limited, algorithm developers train the models on synthetic or hypothetical data, with the risk of generating unsafe and incorrect treatment recommendations [36]. Finally, AI systems are also vulnerable to cybersecurity attacks that could cause the algorithm to misclassify medical information [37].

환자 치료 및 책임에 대한 인공지능 사용 기준의 부재
Lack of Standards for Use of Artificial Intelligence in Patient Care and Liability

의료 분야에서 인공지능의 사용과 관련하여 해결되지 않은 또 다른 문제는 알고리즘의 예측에 대한 책임입니다. 부정확한 예측으로 인해 환자가 심각한 피해를 입었을 때 누가 책임을 져야 하는지 불분명합니다. 의사, 병원, 소프트웨어를 개발한 회사, 소프트웨어를 개발한 사람, 심지어 데이터를 제공한 사람 등 모든 관련 당사자가 책임을 져야 한다고 주장할 수 있습니다. 의료 분야에서 AI를 사용하기 위한 표준은 여전히 개발 중입니다[38,39]. 임상 치료, 품질, 안전, 의료 과실, 커뮤니케이션 가이드라인에 대한 새로운 표준을 개발하여 AI를 더 많이 사용할 수 있도록 해야 합니다. 최근 출시된 당뇨망막병증의 자율 감지를 위한 AI 시스템은 의료 과실 및 책임 보험에 가입되어 있습니다[40,41].
Another unresolved question related to the use of AI in health care is liability for the predictions of an algorithm. It is unclear who is liable when a patient experiences serious harm because of an inaccurate prediction. One could argue for any of the involved parties: the physician, the hospital, the company that developed the software, the person who developed the software, or even the person who delivered the data. Standards for use of AI in health care are still being developed [38,39]. New standards for clinical care, quality, safety, malpractice, and communication guidelines have to be developed to allow for greater use of AI. A recently launched AI system for autonomous detection of diabetic retinopathy carries medical malpractice and liability insurance [40,41].

AI 사용과 챗봇[42]과 같은 도구의 적극적인 사용이 증가함에 따라 의사와 환자는 이러한 기술의 강점과 한계를 인식하고 효과적이고 안전하게 사용하는 방법에 대한 교육을 받아야 합니다[43,44]. 
As use of AI and proactive use of tools such as chatbots [42] increases, physicians and patients will need to be aware of strengths and limitations of such technologies and be trained in how to effectively and safely use them [43,44].

인공지능은 오늘날 의사의 과제를 어떻게 해결할 수 있을까요?
How Can Artificial Intelligence Address Today’s Physician Challenges?

의료 정보가 빠른 속도로 증가함에 따라 의사들은 이를 따라잡는 데 어려움을 겪고 있습니다. 이로 인해 정보 과부하가 발생하고 레지던트 자격을 얻기 위해 미국 의사 면허 시험(USMLE)을 통과하기 위해 이 모든 내용을 암기해야 한다는 압박감이 커지고 있습니다. 오늘날 의사들은 의료 비용이 증가하고 규제로 인해 행정 절차에 추가적인 부담이 가중되는 복잡한 질환과 동반 질환이 있는 고령화 사회에서 더 긴 시간 동안 일하고 있으며[45,46] 조정된 치료를 제공해야 할 것으로 예상됩니다. 
With medical information growing at a breakneck speed, physicians are having trouble keeping up. This is leading to information overload and creates pressure to memorize all this content to pass the United States Medical Licensing Examinations (USMLE) to qualify for residency positions. Physicians today are working longer hours and are also expected to deliver coordinated care [45,46] in an aging society with complex conditions and comorbidities where health care costs are increasing and regulations are putting an additional burden on administrative processes.

AI는 대량의 데이터를 통합하고 의사 결정 과정을 보완하여 진단을 식별하고 치료법을 추천함으로써 의사를 도울 수 있습니다. 의사는 결과를 해석하고 환자에게 권장 사항을 전달할 수 있는 능력이 필요합니다.

  • 또한 AI는 일상적인 업무 수행에 대한 의사의 부담을 덜어줌으로써 영향을 미칠 수 있습니다[47].
  • 음성 인식은 키보드 사용을 대체하여 정보를 입력하고 검색하는 데 도움이 될 수 있습니다[48].
  • 의사 결정 관리는 방대한 양의 데이터를 선별하고 의사가 정보에 입각하여 의미 있는 결정을 내리는 데 도움이 될 수 있습니다[49,50].
  • 자동화 도구는 의료 접근성 보호법과 같은 규제 요건을 관리하는 데 도움이 될 수 있으며 의사가 비용 결정을 내리기 전에 적절한 기준을 검토할 수 있도록 지원합니다[51].
  • 마지막으로, 의료 전문가의 심각한 부족 문제를 해결하기 위해 가상 에이전트는 향후 환자 치료의 일부 측면을 지원하고 환자를 위한 신뢰할 수 있는 정보원이 될 수 있습니다[52]. 

AI could help physicians by amalgamating large amounts of data and complementing their decision-making process to identify diagnosis and recommend treatments. Physicians in turn need the ability to interpret the results and communicate a recommendation to the patient.

  • In addition, AI could have an impact by alleviating the burden from physicians for performing day-to-day tasks [47].
  • Speech recognition could help with replacing the use of keyboards to enter and retrieve information [48].
  • Decision management can help with sifting enormous amounts of data and enable the physician to make an informed and meaningful decision [49,50].
  • Automation tools can help with managing regulatory requirements such as Protecting Access to Medicare Act and enable physicians to review the appropriate criteria before making a cost decision [51].
  • Finally, to help with the acute shortage of health care professionals, virtual agents could, in the future, help with some aspects of patient care and become a trusted source of information for patients [52].

 

의학교육에서의 인공 지능 교육
Artificial Intelligence Training in Medical Education

오늘날 의학교육의 현황
State of Medical Education Today

의사는 전문의가 되기까지 오랜 기간의 수련 과정을 거칩니다. 의학은 지난 수십 년 동안 큰 변화를 겪었지만, 의학교육은 여전히 전통적인 커리큘럼을 기반으로 하고 있습니다[53]. 구체적인 교육 기간은 국가마다 다르지만 이러한 커리큘럼의 핵심 역량은 전 세계적으로 유사합니다[54]. 전임상 교육의 핵심 단계 이후 교육은 대부분 실습 기반 학습을 중심으로 이루어집니다[53]. 의학교육은 환자 치료, 의학 지식, 대인관계 및 의사소통 기술, 실습 기반 학습 및 개선, 전문성, 시스템 기반 실습 등 6가지 영역을 기반으로 하는 경우가 많습니다[55]. 이러한 영역은 의학 교육 졸업 인증 위원회(ACGME)에 의해 도입되었습니다. 의료 교육의 대부분은 가능한 한 많은 정보를 소비하고 이 지식을 환자 치료에 적용하는 방법을 배우는 데 중점을 둡니다. 이 과정은 여전히 대부분 암기 위주입니다[56]. 의대생이나 레지던트들이 AI, 모바일 의료 애플리케이션, 원격 의료와 같은 새로운 기술에 익숙해지는 데 소요되는 시간은 적습니다[53,55,56]. 미국에서는 USMLE에서 이러한 주제에 대한 시험을 치르지 않습니다[57]. 그러나 2018년 미국 의학 협회(AMA) 연례 회의에서 증강 지능에 대한 AMA의 첫 번째 정책이 채택되어 의학교육에서 AI를 어떻게 다뤄야 하는지에 대한 연구가 장려된 이후 변화는 불가피한 것으로 보입니다[58]. 표 1에는 AMA에서 제시한 의학교육에 AI를 통합하기 위한 몇 가지 이니셔티브가 나와 있습니다[58]. 

Physicians go through extensive periods of training before they can eventually register as specialists. Although medicine has seen major changes over the last decades, medical education is still largely based on traditional curricula [53]. The specific length of training differs between countries, but the core competencies of these curricula are globally similar [54]. After a core phase of preclinical didactics, training is mostly centered around practice-based learning [53]. Medical education is often based on 6 domains: patient care, medical knowledge, interpersonal and communication skills, practice-based learning and improvement, professionalism, and systems-based practice [55]. These fields were introduced by the Accreditation Council for Graduating Medical Education (ACGME). A large part of medical training focuses on consuming as much information as possible and learning how to apply this knowledge to patient care. This process is still largely memorization based [56]. Less time is spent on familiarizing medical students or residents with new technologies such as AI, mobile health care applications, and telemedicine [53,55,56]. In the United States, USMLE does not test on these subjects [57]. However, change seems inevitable since the 2018 annual meeting of the American Medical Association (AMA) saw the adoption of AMA’s first policy on augmented intelligence, encouraging research into how AI should be addressed in medical education [58]. In Table 1, several initiatives for incorporating AI in medical education are shown, as presented by the AMA [58].

Table 1. Initiatives for artificial intelligence in medical education.
Institution Project
Duke Institute for Health Innovation Medical students work together with data experts to develop care-enhanced technologies made for physicians
University of Florida Radiology residents work with a technology-based company to develop computer-aided detection for mammography
Carle Illinois College of Medicine Offers a course by a scientist, clinical scientist, and engineer to learn about new technologies
Sharon Lund Medical Intelligence and Innovation Institute Organizes a summer course on all new technologies in health care, open to medical students
Stanford University Center for Artificial Intelligence in Medicine and Imaging Involves graduate and postgraduate students in solving heath care problems with the use of machine learning
University of Virginia Center for Engineering in Medicine Involves medical students in the engineering labs to create innovative ideas in health care

AMA는 의사와 수련 중인 의사를 위한 AI 교육 모듈 개발 장려, 환자 치료에 영향을 미칠 수 있는 AI 교육 격차 해소, 의사가 AI 교육 자료 개발 및 실행에 참여하도록 보장하는 등 의학교육에 AI를 통합하기 위한 정책을 채택했습니다. 이러한 새로운 정책의 결과로 AMA는 다음과 같이 장려할 것입니다:
The AMA adopted policies on integrating AI into medical education, which include encouraging the development of AI education modules for physicians and physicians-in-training, addressing disparities in AI education that could impact patient care, and ensuring that physicians are involved in the development and implementation of educational materials on AI. As a result of these new policies, the AMA will encourage:

  • 인증 및 면허 기관은 인증 및 면허 기준에서 AI를 가장 적절하게 다루는 방법을 연구해야 합니다.
  • 의료 전문 학회 및 이사회는 AI와 관련된 전문 분야별 교육 모듈 제작을 고려합니다.
  • 의학교육에서 AI 교육이 학습 및 임상 결과에 미치는 효과에 관한 연구.
  • 교육기관과 프로그램은 AI 보조 기술을 언제 가르쳐야 하는지 결정할 때 신중해야 하며, 여기에는 확립된 근거 기반 치료법을 고려하고 새로운 교육 모듈을 수용하기 위해 제거해야 할 다른 커리큘럼에 대한 고려가 포함됩니다.
  • 이해관계자는 학습자가 AI 시스템에 내재되어 있을 수 있는 편견이 의도치 않게 전파되는 것을 방지하는 데 도움이 되는 교육 자료를 제공해야 합니다.
  • AI에 대한 기관별 접근성의 차이가 자원이 적고 AI 기술에 대한 접근성이 낮은 학교의 학생 교육 격차에 어떤 영향을 미칠 수 있는지에 대한 연구.
  • 환자 치료에서 데이터의 평가, 이해 및 적용에 관한 의학교육 전반에 걸친 교육 강화.
  • AI 교육 자원의 격차가 자원이 부족하고 AI 기술에 대한 접근성이 낮은 지역사회의 환자들의 의료 서비스 격차에 어떤 영향을 미칠 수 있는지에 대한 연구.
  • 교육 기관의 리더와 학장은 학습자의 AI 이해와 사용을 돕기 위해 데이터 과학자 및 엔지니어와 같은 비임상의를 교수진 명단에 포함시키는 것을 적극적으로 추진해야 합니다.
  • AI 애플리케이션 개발 시 임상의사와 긴밀히 협력하고 감독합니다.
  • Accrediting and licensing bodies to study how AI should be most appropriately addressed in accrediting and licensing standards.
  • Medical specialty societies and boards to consider production of specialty-specific educational modules related to AI.
  • Research regarding the effectiveness of AI instruction in medical education on learning and clinical outcomes.
  • Institutions and programs to be deliberative in the determination of when AI-assisted technologies should be taught, including consideration of established evidence-based treatments, and including consideration regarding what other curricula may need to be eliminated in order to accommodate new training modules.
  • Stakeholders to provide educational materials to help learners guard against inadvertent dissemination of bias that may be inherent in AI systems.
  • The study of how differences in institutional access to AI may impact disparities in education for students at schools with fewer resources and less access to AI technologies.
  • Enhanced training across the continuum of medical education regarding assessment, understanding, and application of data in the care of patients.
  • The study of how disparities in AI educational resources may impact health care disparities for patients in communities with fewer resources and less access to AI technologies.
  • Institutional leaders and academic deans to proactively accelerate the inclusion of non-clinicians, such as data scientists and engineers, onto their faculty rosters in order to assist learners in their understanding and use of AI.
  • Close collaboration with and oversight by practicing physicians in the development of AI applications.

https://www.ama-assn.org/press-center/press-releases/ama-adopt-policy-integrate-augmented-intelligence-physician-training


의료 교육에서 종종 간과되는 또 다른 중요한 기술 관련 측면은 전자 건강 기록(EHR)을 사용하는 것입니다. EHR은 환자 안전 개선과 같은 많은 이점을 제공할 뿐만 아니라 의료 서비스에서 AI를 구현하는 데도 도움이 됩니다. AI 알고리즘은 EHR의 정보를 사용하므로 편향되지 않은 데이터를 EHR에 입력하는 방법에 대한 지식이 필수적입니다. 그렇지 않으면 AI 알고리즘도 편향될 가능성이 높습니다[59]. 현재 의대생과 의사를 대상으로 한 EHR 사용 교육은 의료 커리큘럼에 일반적으로 포함되지 않아[60], 의료 전문가가 이 기술의 진정한 잠재력을 이해하지 못한 채 종이로 정보를 캡처하는 대체 수단으로 EHR을 사용하고 있습니다[61]. EHR 사용에 대한 교육은 일반적으로 병원 시스템을 실제로 사용하기 위한 기본 기술만 가르치는 임시 임시 입문 과정으로 구성됩니다. 데이터의 품질과 컴퓨터가 환자-의사 관계에 미치는 영향에 대한 우려는 거의 다루어지지 않으며[60], USMLE에서도 이러한 주제에 대해 테스트하지 않습니다[57]. 
Another important technology-related aspect that is often overlooked in medical training is working with electronic health records (EHRs). EHRs have many benefits, such as improved patient safety, but also assist the implementation of AI in health care. AI algorithms use information from the EHR, and therefore, the knowledge on how to input unbiased data into the EHR is essential. Otherwise, the AI algorithm will likely be biased as well [59]. At present, training on use of EHRs for medical students and physicians is not commonly incorporated in the medical curriculum [60], resulting in the medical professional using the EHR as a replacement to capture information on paper without understanding the true potential of this technology [61]. Training on the use of EHRs usually consists of ad hoc brief introductory courses that just teach the basic skills to use the hospital’s system in practice. Quality of data and concerns on the impact of the computer on the patient-physician relationship are rarely addressed [60] and the USMLE does not test on these subjects either [57].

임상의료행위의 변화
How Clinical Practice Is Changing

의료 서비스의 급속한 디지털화로 인해 EHR은 정보에 입각한 결정을 내리는 데 사용할 수 있는 귀중한 정보를 획득하고 처리하는 새로운 방법을 촉진합니다[62]. 이러한 발전과 정보화 시대에서 AI 시대로의 전환[56]은 임상 진료와 환자 치료 결과를 더 나은 방향으로 변화시킵니다. 미래의 의사들은 데이터 관리, AI 도구 감독, 정보에 입각한 의사 결정을 내리기 위한 AI 애플리케이션 사용 등 다양한 기술과 역량을 갖춰야 할 것입니다.  
With the rapid digitization of health care, EHRs facilitate new ways to acquire and process valuable information that can be used to make an informed decision [62]. These advances and transitioning from an information age to the age of AI [56] change clinical practice and patient outcomes for the better. Physicians of the future will have to add to the armory of their skills and competencies, the ability to manage data, supervise AI tools, and use AI applications to make informed decisions.

의사는 이러한 도구 중 어떤 것이 환자에게 가장 적합한지 결정하는 데 중요한 역할을 하게 될 것입니다. 이는 결국 의사와 환자의 관계를 변화시킬 가능성이 높습니다[63]. 정보 처리가 주로 컴퓨터에 의해 이루어지면 의사가 환자를 돌보고 소통하는 데 더 집중할 수 있다는 점에서 의료 분야에서 AI의 주요 이점 중 하나가 부각됩니다[64]. 마지막으로, AI 시대에는 "의사는 내러티브, 기계론적, 수학적 사고를 훈련에 결합하고, 환자를 중심에 두고 질병의 생체-사회적 모델을 고려해야 한다"고 말합니다. "컴퓨터는 인간의 강점과 한계, 그리고 정보 과부하가 특징인 환경을 인식하는 자기 성찰적인 의료 전문가를 결코 대체할 수 없습니다."[65,66]. 
Physicians will have a crucial role in deciding which of these tools is best for their patients. In turn, this will likely change the physician-patient relationship [63]. When information processing is done mainly by computers, this highlights one of the major benefits of AI in medicine: it allows the physician to focus more on caring for and communicating with patients [64]. Finally, in the age of AI, “the physician should combine narrative, mechanistic and mathematical thinking in their training and consider the biopsycho-social model of the disease with the patient at its center.” “Computers will never substitute for self-reflective medical expert who is aware of the strengths and limitations of human beings and of an environment characterized by information overload” [65,66].

미래에는 의사에게 무엇을 요구할까요?
What Will Be Asked From Physicians in the Future?

미래의 의사들은 임상에서 AI를 적절히 활용하기 위해 광범위한 기술을 필요로 할 것입니다. 의사는 의학의 원리를 이해하는 것 외에도 수학적 개념, AI 기초, 데이터 과학 및 관련 윤리적, 법적 문제에 대한 충분한 지식을 습득해야 할 것입니다. 이러한 기술은 다양한 출처의 데이터를 사용하고, AI 도구를 감독하며, 알고리즘이 예상보다 정확하지 않을 수 있는 경우를 인식하는 데 도움이 됩니다[67]. 또한, AI 기반 시스템이 환자의 신체적, 정서적 상태를 모두 고려할 수 없기 때문에 커뮤니케이션 및 리더십 기술과 감성 지능이 그 어느 때보다 중요해질 것입니다[56]. 이러한 특성은 컴퓨터가 습득하기 어렵기 때문에 AI 시대에 훌륭한 의사의 특징이 될 것입니다.  
Future physicians will need a broad range of skills to adequately use AI in clinical practice. Besides understanding the principles of medicine, physicians will also need to acquire satisfactory knowledge of mathematical concepts, AI fundamentals, data science, and corresponding ethical and legal issues. These skills will help them to use data from a broad array of sources, supervise AI tools, and recognize cases where algorithms might not be as accurate as expected [67]. Furthermore, communication and leadership skills as well as emotional intelligence will be more important than ever as AI-based systems will not be able to consider all the physical and emotional states of the patient [56]. These traits are hard to master for computers and will characterize a great physician in the age of AI.

실용적인 고려 사항
Practical Considerations

의료 정보를 암기하는 데 소요되던 시간 중 일부는 이제 다른 기술에 투자해야 할 것입니다. 이는 학생과 레지던트가 수련을 경험하는 방식에 큰 영향을 미칠 것입니다. 더 이상 사실적 지식이 아닌 의사소통 능력, 감성 지능, 컴퓨터 사용법에 대한 지식으로 역량을 판단하는 방식으로 시스템이 바뀌어야 합니다.
Some of the time that was originally spent on memorizing medical information will now have to be devoted to other skills. This will have a major impact on the way students and residents will experience their training. The system has to change in such a way that competence will no longer be judged based on factual knowledge but rather on communication skills, emotional intelligence, and knowledge on how to use computers.

2016년 AMA의 설문조사에 따르면 의사의 85%가 새로운 디지털 도구의 이점을 인식하고 있지만[58], 커리큘럼이 지나치게 많기 때문에 새로운 주제를 채택하는 데 관심이 제한되어 있습니다[68]. AI 중심 교육을 의료 커리큘럼에 통합하는 것은 기술이 발전함에 따라 시간이 걸릴 것입니다. 학습을 위한 새로운 인프라를 도입해야 하며 컴퓨터 과학, 수학, 민족지학, 경제학 등의 분야에서 새로운 교육자를 채용해야 합니다. 현재 이러한 과목은 ACGME의 핵심 역량에 포함되지도 않지만 이러한 역량은 "변화하는 지식에 적응할 수 있을 만큼 충분히 견고합니다"[69]. 
With an overfull curriculum, there is limited interest in adopting new topics [68], although a 2016 survey by AMA shows that 85% of physicians perceive benefits from new digital tools [58]. The integration of AI-oriented education into the medical curriculum will take time as the technology evolves. A new infrastructure for learning has to be introduced, and new educators from disciplines such as computer sciences, mathematics, ethnography, and economics will need to be hired. At the moment, these subjects are not even covered by the core competencies of ACGME, but these competencies “are robust enough to adapt to changing knowledge” [69].

커리큘럼의 변화를 이루기 위해서는 많은 정치적, 관료적 장애물을 극복해야 합니다. 새로운 학습 성과를 창출하기 위해서는 교육 시스템, 프로그램 구조, 목표가 바뀌어야 합니다[70]. 변화는 많은 양의 증거가 생성될 때만 실행될 수 있습니다. 우리는 아직 인공지능을 위한 변화를 구현할 단계에 이르지 못했습니다. 또한 의학 내 다른 많은 분야에서도 마땅히 받아야 할 관심을 받지 못했다고 주장합니다[71,72]. AI는 그 이점을 증명해야 하며, 현재 적절한 의학 교육이 부족한 다른 중요한 과목보다 의학 커리큘럼의 중요한 주제라는 점을 정당화해야 합니다.
To achieve a change in curriculum, many political and bureaucratic hurdles have to be overcome. Educational systems, program structures, and objectives have to change to create new learning outcomes [70]. A change can only be implemented when large amount of evidence is generated. We have not reached that stage of implementing changes for AI. Furthermore, many other fields within medicine argue that they have not received the attention they deserve [71,72]. AI needs to prove its benefits and also justify that it is an important topic for medical curriculum over other important subjects that lack adequate medical training at present.

그러나 의학교육에서 AI 교육을 실시해야 한다는 가장 설득력 있는 주장 중 하나는 이 교육이 기존 교과 과정을 대체하기보다는 기존 교과 과정을 보강할 수 있다는 것입니다. 학생들이 AI 도구 사용법을 교육받을 때는 도구 사용법에 대한 기본 지식을 습득하는 것에서 기본 원리에 대한 기본적인 이해로 초점을 옮겨야 합니다. 이렇게 하면 학생들은 현재 도구가 구식이 되고 새로운 도구가 도입되었을 때 이러한 기본 지식을 활용할 수 있습니다.
However, one of the most compelling arguments for the implementation of AI training in medical education is that this training will augment existing curriculum rather than replace existing coursework. When students are trained to use AI tools, focus should shift from acquiring basic knowledge on how to use the tool to a basic understanding of the underlying principles. This will enable the students to use this fundamental knowledge when current tools get outdated and new tools are introduced.

또 다른 현실적인 문제는 기존의 의료 교육이 주로 주치의와 레지던트 또는 의대생 간의 상호작용을 중심으로 이루어졌다는 점입니다. AI가 임상 진료에 점점 더 많이 도입되면 문제가 될 수 있습니다. 많은 시니어 의사들은 AI에 대한 경험이 거의 없거나 전혀 없습니다. AI 교육은 평생 의학 교육(CME) 프로그램을 통해 제공될 수 있으며, 의료계 외부의 교육자에게도 교육을 받아야 할 수 있습니다. 예를 들어, AI와 임상 진료의 미래에 관한 2학점짜리 CME 과정은 전산 생물학자와 비즈니스 경제학자가 제공합니다[73].
Another practical problem is that traditional medical training revolves mainly around the interactions between an attending physician and the residents or medical students. When AI is increasingly introduced into clinical practice, this could be problematic. Many senior physicians have little to no experience with AI. AI training could be delivered via Continuing Medical Education (CME) programs and might need to be also taught by educators from outside the medical community. For example, a 2-credit CME course on AI and the Future of Clinical Practice is delivered by a computational biologist and business economists [73].

 

권장 사항
Recommendations

프레임워크
Framework

암기 위주의 전통적인 의학 커리큘럼은 정보화 시대에서 AI 시대로의 전환을 따라야 합니다. 미래의 의사들은 점점 더 다양한 출처의 정보를 효과적으로 통합하고 활용할 수 있는 역량을 배워야 합니다[56]. 이러한 지식을 의학에 포함시키기 위해서는 교육 초기부터 이러한 개념을 도입하는 것이 필수적입니다. 많은 국가에서 의과대학에 입학하기 위해서는 의과대학 입학시험(MCAT)을 치러야 합니다. 예를 들어, 현재 미국 MCAT 시험은 생물학, 화학, 물리학, 심리학, 사회학 및 추론에 중점을 둡니다 [78]. 이러한 시험은 선형 대수 및 미적분의 기초와 같은 수학적 개념에 대한 테스트를 시작할 수 있습니다. 이러한 개념은 AI에 대한 기초적인 이해에 필수적이며 나머지 커리큘럼의 분위기를 조성합니다.
The traditional medical curriculum, which is mostly memorization based, must follow the transition from the information age to the age of AI. Future physicians have to be taught competence in the effective integration and utilization of information from a growing array of sources [56]. To embed this knowledge into medicine, it is of the essence to start introducing these concepts from the beginning of training. In many countries, a Medical College Admission Test (MCAT) has to be taken to be admitted into medical school. The current US MCAT exam, for example, focuses on biology, chemistry, physics, psychology, sociology, and reasoning [78]. These exams could start testing on mathematical concepts such as basis of linear algebra and calculus. These concepts are vital to the elementary understanding of AI and will set the tone for the rest of the curriculum.

전임상 교육 과정의 핵심 단계에서는 의료 데이터 큐레이션 및 품질[79], 출처[80], 통합[81], 거버넌스, EHR[60], AI 기초, AI의 윤리 및 법적 문제[82,83]를 다루는 데 시간을 할애해야 합니다. AI 및 로봇 기술에 대한 비판적 평가와 통계적 해석에 대한 교과목도 중요합니다[84]. 

  • 첫째, 이러한 과목은 현재 응용 프로그램이 구식이 된 후에도 사용할 수있는 이러한 과목의 기초에 대해 가르치기 위해 독립된 과정으로 가르 칠 수 있습니다 [68]. 이러한 독립적인 과목은 현재 커리큘럼에서 의료 정보학 및 통계학 과목을 대체하고 보완할 수 있습니다. 
  • 둘째, 임상 과정에서도 반복하여 학생들이 AI의 임상 적용에 익숙해지고 다양한 환경에서 EHR과 함께 작업할 수 있도록 해야 합니다[68]. 

In the core phase of preclinical didactics, time should be devoted to working with health data curation and quality [79], provenance [80], integration [81], and governance, working with EHRs [60], AI fundamentals, and ethics and legal issues with AI [82,83]. Course work in critical appraisal and statistical interpretation of AI and robotic technologies is also important [84].

  • First, these subjects could be taught in self-contained courses to teach about the fundamentals of these subjects that can be used even after current applications become outdated [68]. These self-contained courses could potentially replace and augment courses on medical informatics and statistics in the current curriculum.
  • Second, they should also recur in clinical courses to familiarize students with the clinical applications of AI and work with EHRs in diverse settings [68].

AI를 도입하는 한 가지 접근 방식은 근거 기반 의학[85]과 같은 과목에서 이 기술을 통합하는 것입니다. 학생은 PubMed와 같은 데이터베이스나 진단 테스트 또는 체계적 문헌고찰을 통해 증거를 평가하는 방법을 배우게 되는데, 이 과정은 데이터 과학의 개념을 적용하고 NLP와 같은 AI 기술을 적용하고 시나리오를 분석하여 윤리 및 책임 문제에 대해 테스트함으로써 강화될 수 있습니다[86]. 또한, 학생들은 컴퓨터 및 소프트웨어 공학의 기초에 대한 교육을 받아 실제 AI 애플리케이션의 의미를 이해해야 합니다. 예를 들어, 하드웨어 및 소프트웨어 개발과 사용자 경험 설계의 기초도 유용할 수 있습니다.
An approach to introducing AI could be to incorporate this technology during courses such as Evidence Based Medicine [85]. As the student is taught to appraise evidence through databases such as PubMed or diagnostic tests or systematic reviews, this process could be augmented by applying concepts from data sciences, applying AI technologies such as NLP and analyzing scenarios to test them on questions of ethics and liability [86]. In addition, the students should also be trained in the fundamentals of computer and software engineering to understand the semantics behind real-world AI applications. For example, basics of hardware and software development and user experience design may also be valuable.

임상 로테이션과 레지던트 기간 동안에는 AI를 실제로 적용하는 데 초점을 맞춰야 합니다디지털 바이오마커[87]와 디지털 치료법[88]이 발전함에 따라 학생들도 AI에 의존하는 이러한 기술에 대한 교육을 받아야 합니다. 이러한 기술은 가까운 미래에 가정 내 환경에서 대규모 진단과 치료를 가능하게 할 잠재력을 가지고 있습니다[89]. 교육이 끝나면 USMLE는 최종 시험에 데이터 과학 및 AI 기초에 관한 상당수의 문제를 포함시켜야 합니다. 의료 전문가들이 최신 개발 동향을 파악할 수 있도록 의료 AI 관련 컨퍼런스에 참석하도록 인센티브를 제공할 수 있습니다. 참석하는 의사를 위해 AI 및 데이터 과학에 대한 광범위한 과정이 CME의 일부가 되어야 합니다. 자세한 내용은 표 2를 참조하십시오.

During clinical rotations and residency, focus should shift toward relevant applications of AI in practice. With advancements in digital biomarkers [87] and digital therapeutics [88], students should also be trained in these technologies as they rely on AI. They have the potential to enable large-scale diagnostics and treatments in in-home environments in the near future [89]. At the end of training, the USMLE should include a substantial number of questions on data science and AI fundamentals in their final exams. Attendance of conferences on health care AI could be incentivized, so that health care professionals stay up-to-date with the latest developments. For attending physicians, extensive courses on AI and data science should be part of CME. See Table 2 for more details.

Table 2. List of Continuing Medical Education programs on artificial intelligence in health care.
Program Faculty; organization Number of Continuing Medical Education credits
Artificial Intelligence and the Future of Clinical Practice [73] Computational biologist, Business economist; Massachusetts Medical Society 2.0
Intro to AI and Machine Learning: Why All the Buzz [74] Medical Informatics, Radiology; The Radiological Society of North America 1.0
Current Applications and Future of Cardiology [75] Healthcare Technologists, Bioinformatics, Cardiology; Mayo Clinic 10.0
Artificial Intelligence and Machine Learning: Application in the Care of Children [76] Pediatric Medicine; University of Pittsburgh School of Medicine

1.0
Artificial Intelligence in Healthcare: The Hope, The Hype, The Promise, The Peril [77] Medical Informatics, Business Administration; Stanford University School of Medicine 6.0

보다 균형 잡힌 미래의 의사를 양성하기 위해 AI 기술은 비분석 및 사람 중심의 의료 측면과도 균형을 이루어야 합니다. 의사 소통, 공감, 공동 의사 결정, 리더십, 팀 구축, 창의성과 같은 다른 기술도 의사에게 계속 중요해질 기술입니다. 텍사스 대학교 오스틴 캠퍼스의 Dell 의과 대학에서는 리더십, 창의성, 커뮤니케이션과 같은 소프트 스킬 교육에 집중하기 위해 기초 과학 커리큘럼의 기간을 단축했습니다[63]. 
AI skills must also be balanced with nonanalytics and person-centered aspects of medicine to develop a more rounded doctor of the future. Other skills such as communications, empathy, shared decision making, leadership, team building, and creativity are all skills that will continue to gain importance for physicians. At the Dell Medical School at the University of Texas, Austin, the curriculum in basic sciences has been reduced in duration to accommodate training in soft skills such as leadership, creativity, and communication [63].

임상의가 혁신적으로 사고하고 기술 기반 치료 모델을 만들 수 있도록 하려면 구현 과학, 운영 및 임상 정보학에 대한 다학제적 교육이 필요합니다. 스탠포드 의과대학은 대학원 의학교육에 인간 중심의 설계 접근 방식을 도입하여 디지털 미래를 위한 임상의사 혁신가를 양성하는 프로그램을 만들었습니다[90]. 보스턴 매사추세츠 종합병원의 헬스케어 혁신 연구소에서는 레지던트 수련생에게 데이터 과학, 머신러닝, 의료 운영, 서비스, 디자인 사고, 지적 재산권, 기업가 정신 등의 주제를 다루는 의료 혁신 분야의 1년 펠로우십을 제공합니다[91]. 이러한 프로젝트는 새로운 개발이며 의학교육에 AI를 도입하기 위해 취한 첫 번째 단계입니다.
To enable clinicians to think innovatively and create technology-enabled care models, multidisciplinary training is needed in implementation science, operations, and clinical informatics. The Stanford medical school has created such a program to train clinician-innovators for the digital future by introducing a human-centered design approach to graduate medical education [90]. At the Healthcare Transformation Laboratory at Massachusetts General Hospital in Boston, a 1-year fellowship is offered in health care innovation exposing resident trainees to topics in data sciences, machine learning, health care operations, services, design thinking, intellectual property, and entrepreneurship [91]. These projects are new developments and are the first steps taken to introduce AI in medical education.

첫 단계
First Steps

이러한 모든 개입을 동시에 도입할 수는 없으므로 향후 몇 년 동안의 토대를 마련할 몇 가지 첫 단계를 제안합니다. 먼저 의학전문대학원입학자격시험의 수학 영역과 유사한 수학적 개념에 관한 문제를 MCAT에 도입하는 것부터 시작할 것을 제안합니다. 의학교육의 핵심 단계에서 데이터 과학 및 AI 기초에 대한 고품질 웹 기반 강좌를 자유롭게 제공해야 합니다. 이를 통해 학생들은 다음 수련 과정에서 자연스럽게 이러한 과목을 응용하는 데 집중할 수 있습니다.
As not all of these interventions can be introduced simultaneously, we suggest a few first steps that will lay the foundation for the upcoming years. We suggest to start off by introducing questions on mathematical concepts into the MCAT similar to the mathematics section in the Graduate Record Examination. High quality Web-based courses on data sciences and AI fundamentals should be freely offered in the core phase of medical education. This might lead to students focusing on applications of these subjects more naturally in following years of training.

이미 이 교육 단계를 마친 레지던트와 의대생에게는 남은 의학교육 기간 동안 기초 과목에 대한 강좌가 제공되고 필수로 이수해야 합니다. 새로운 기술을 활용한 진료 모델을 만드는 데 관심이 있는 학생의 경우, 임상 기간 중 또는 레지던트 졸업 후 갭이어 기간 동안 의료 혁신에 대한 전문 교육을 받을 수 있도록 장려해야 합니다. 현직 의사를 위한 입문 과정과 재교육 과정도 제공되어야 합니다. 특히 이 그룹은 향후 의대생과 레지던트에게 이러한 주제에 대해 교육하는 임무를 부분적으로 다시 맡을 수 있도록 광범위한 교육이 필요합니다. 표 3에는 의학교육의 다양한 단계에 추가할 수 있는 권장 콘텐츠가 나열되어 있습니다. 표 4에는 의사와 수련의가 이 기술과 의료 분야에서의 적용에 대해 자세히 알아보기 위해 참석할 수 있는 의료 컨퍼런스에서 빠르게 진화하는 AI의 일부가 나열되어 있습니다.
For residents and medical students who have already finished this phase of training, courses on the fundamental subjects should be available and mandatory throughout the remaining part of their medical education. For students interested in creating new technology-enabled care models, dedicated training in health care innovation during a gap year during the clinical years or after residency should be encouraged. For attending physicians, introductory courses and refresher courses should also be made available. Extensive training is especially necessary for this group so that they can partly take back the task of educating medical students and residents on these subjects in the future. Table 3 lists suggested content that can be added to the various phases of medical education. Table 4 lists a small subset of rapidly evolving AI in health care conferences that physicians and trainees can attend to learn more about this technology and its applications in health care.

 

결론
Conclusions

의사와 기계의 협업은 임상 의사 결정과 환자 건강 결과를 개선할 수 있는 가장 큰 잠재력을 가지고 있습니다[114]. AI는 의료 기록, 유전자 보고서, 약국 기록, 환경 데이터 등 더 많은 데이터를 큐레이션하고 처리하여 더 많은 의료 정보를 보유, 액세스, 분석할 수 있습니다. 그러나 돌봄의 기술을 대체할 수는 없습니다. AI와 그 응용이 의료 분야에서 주류가 되면서 의대생, 레지던트, 펠로우, 개업의는 AI, 데이터 과학, EHR 기본 사항, AI와 관련된 윤리 및 법적 문제에 대한 지식을 갖춰야 합니다. 의과대학은 이러한 내용을 커리큘럼의 일부로 포함시켜야 합니다. 의대생이 의사가 되기까지 단계적으로 교육하는 것이 좋습니다. 
Physicians and machines working in combination have the greatest potential to improve clinical decision making and patient health outcomes [114]. AI can curate and process more data such as medical records, genetic reports, pharmacy notes, and environment data and in turn retain, access, and analyze more medical information. However, it cannot replace the art of caring. As AI and its application become mainstream in health care, medical students, residents, fellows, and practicing physicians need to have knowledge of AI, data sciences, EHR fundamentals, and ethics and legal issues concerning AI. Medical schools will need to include them as part of the curriculum. A staged approach to educating the medical student through their journey is recommended.

AI는 더 빠르고 정확한 진단을 가능하게 하고, 영상의학을 보강하며, 인간의 피로로 인한 오류를 줄이고, 의료 비용을 절감하며, 지루하고 반복적이며 노동 집약적인 작업을 보조 및 대체하고, 최소 침습 수술을 가능하게 하며, 사망률을 감소시킬 것입니다. 
AI will enable faster and accurate diagnosis, augment radiology, reduce errors due to human fatigue, decrease medical costs, assist and replace dull, repetitive, and labor-intensive tasks, minimally invasive surgery, and reduce mortality rates.

2022년까지 전 세계 의료비 지출이 미화 10조 달러에 달할 것으로 예상되는 가운데, AI는 환자 경험 향상, 인구 건강 개선, 비용 절감, 의료진 경험 개선이라는 의료 분야의 네 가지 목표를 달성할 수 있는 귀중한 잠재력을 가지고 있습니다[115,116]. 
With the global health care expenditure projected to reach US $10 trillion by 2022, AI has the invaluable potential to advance the quadruple aim in health care—enhance the patient experience, improve population health, reduce costs, and improve the provider experience [115,116].

 


JMIR Med Educ. 2019 Dec 3;5(2):e16048. doi: 10.2196/16048.

Introducing Artificial Intelligence Training in Medical Education

Affiliations collapse

1Amsterdam University Medical Center, Amsterdam, Netherlands.

2Department of Internal Medicine, Amsterdam University Medical Center, Amsterdam, Netherlands.

3Section Acute Medicine, Department of Internal Medicine, Vrije Universiteit University Medical Center, Amsterdam, Netherlands.

4Lee Kong Chian School of Medicine, Nanyang Technological University, Singapore, Singapore.

#Contributed equally.

PMID: 31793895

PMCID: PMC6918207

DOI: 10.2196/16048

Free PMC article

Abstract

Health care is evolving and with it the need to reform medical education. As the practice of medicine enters the age of artificial intelligence (AI), the use of data to improve clinical decision making will grow, pushing the need for skillful medicine-machine interaction. As the rate of medical knowledge grows, technologies such as AI are needed to enable health care professionals to effectively use this knowledge to practice medicine. Medical professionals need to be adequately trained in this new technology, its advantages to improve cost, quality, and access to health care, and its shortfalls such as transparency and liability. AI needs to be seamlessly integrated across different aspects of the curriculum. In this paper, we have addressed the state of medical education at present and have recommended a framework on how to evolve the medical education curriculum to include AI.

Keywords: algorithm; artificial intelligence; black box; continuing education; curriculum; data sciences; deep learning; machine learning; medical education.

보건의료전문직교육에서 러닝 애널리틱스의 열 가지 위협: 소비자 관점(Med Teach, 2020)
Ten caveats of learning analytics in health professions education: A consumer’s perspective
Olle ten Catea , Suzan Dahdalb, Thomas Lambertc, Florian Neubauerd, Anina Plesse, Philippe Fabian Pohlmannf, Harold van Rijena and Corinne Gurtnerg 

 

  • 최근 JAMA는 의대생, 주니어 레지던트, 시니어 레지던트, 펠로우, 신경외과 의사로 나뉜 50명의 참가자가 각각 270개의 지표(총 300만 개 이상의 데이터 포인트)를 수집하여 250개의 모의 신경외과 수술을 연습한 후 머신러닝 알고리즘에 의해 90% 정확하게 분류되었다는 연구 결과를 발표했습니다. 저자들은 기존 시뮬레이션에는 숙련된 강사의 학습자 피드백이 필요하지만, 인공지능은 인간 평가자의 필요성을 줄여줄 수 있다고 제안합니다(Winkler-Schwartz 외. 2019).
  • 2016년에 Warm 등은 신시내티 내과(IM) 프로그램에서 36개월 이내에 수집한 189명의 레지던트에 대한 364,728건의 위탁 데이터를 사용하여 교수진, 동료 및 관련 의료 전문가의 평가 간의 체계적인 차이를 보여주는 발달 및 추세에 대한 명확한 그래픽을 만들었습니다(Warm 등, 2016).
  • 또 다른 신시내티 연구에 따르면 IM 레지던트의 USMLE 2단계 임상 지식 점수가 1점 상승할 때마다 미국 내과학회 인증에 합격할 확률이 6.9%씩 증가했습니다(Sharma 외. 2019).
  • 또 다른 신시내티 연구에서는 1511명의 환자 전자 기록을 통해 인턴이 환자의 주치의인지 아닌지를 매우 정확하게 예측할 수 있음을 보여주었습니다(Schumacher 외. 2019).
  • Saqr 등은 133명의 학생을 대상으로 추적한 초기 온라인 활동을 기반으로 학생의 최종 성적을 63.5%의 정확도로 예측하고 위험에 처한 학생을 어느 정도 예측했습니다(Saqr 등. 2017). 

Recently, JAMA published a study showing how 50 participants, divided in medical students, junior residents, senior residents, fellows, and neurosurgeons, were 90% correctly classified by a machine learning algorithm after all had exercised 250 simulated neurosurgical operations, each collecting 270 metrics (totaling over 3 million data points). The authors suggest that, while traditional simulation requires learner feedback by skilled instructors, artificial intelligence may decrease the need for human evaluators (Winkler-Schwartz et al. 2019). In 2016, Warm et al. used 364,728 entrustment data of 189 residents in the Cincinnati Internal Medicine (IM) program, collected within 36 months, and created clear graphics of development and trends showing systematic differences between faculty, peers and allied health professionals’ assessments (Warm et al. 2016). Another Cincinnati study showed that for every point increase in USMLE Step 2 Clinical Knowledge scores of IM residents, the odds of passing the American Board of Internal Medicine certification increased by 6.9% (Sharma et al. 2019). Still another Cincinnati study showed how 1511 patients’ electronic records enabled predicting with great accuracy whether or not an intern was the primary caregiver of the patient (Schumacher et al. 2019). Saqr et al. predicted student’s final grades with 63.5% accuracy and predicted at risk students to some degree based on their earlier online activity traced among 133 students (Saqr et al. 2017).

이러한 학습 분석(LA) 사례는 학습자 및 전문가에 대해 수집된 빅 데이터가 보건 전문직 교육자 및 다른 사람들에게 학습자와 학습자의 진행 상황에 대해 알려주는 역할을 하는 방법을 보여줍니다(Chan 외. 2018). 학습 분석은 개발 초기 단계에 있으며 교육 및 개별 학생에게 많은 이점을 제공할 수 있습니다. 이점은 분명하지만 LA를 사용할 때 몇 가지 단점도 있을 수 있습니다. 우리는 이러한 몇 가지 주의 사항을 파악하려고 시도했습니다.
These examples of learning analytics (LA) show how big data collected on learners and professionals serve to inform health professions educators and others about learners and their progress (Chan et al. 2018). Learning analytics is in an early phase of development and may bring many advantages to education and individual students. While benefits may be undisputed, there may also be some downsides of the use of LA. We attempted to identify some of these caveats.

연구 배경, 설정 및 방법
Background, setting, and methods

2019년 7월, 스위스 베른 대학교의 의학교육 석사 과정에 재학 중인 22명의 교육자 그룹이 네덜란드 위트레흐트 대학 메디컬 센터에 모여 보건 전문직 교육에 대한 관심 주제를 논의하기 위해 여름 수련회에 모였습니다. 이 자리에는 전문의, 일차 의료 과학자, 수의 병리학자, 마취과 교육자, 레지던트 2명, 선임 교육 학자 3명이 참석했습니다. 관심 주제 중 하나는 LA였습니다. 모든 참가자가 토론에 참여했으며, 3개 그룹과 전체 토론을 번갈아 가며 진행했습니다. 토론이 풍부하게 진행되었기 때문에 그 결과를 기사로 정리하기로 결정했으며, LA를 사용하고 조정하는 교육자의 관점, 즉 '소비자 관점'에서 바라본 LA의 주의 사항에 중점을 두었습니다. 
In July 2019, a group of 22 educators, predominantly participants of the Master of Medical Education Course of the University of Bern, Switzerland, convened for a summer retreat at University Medical Center Utrecht, The Netherlands, to discuss topics of interest for health professions education. The participants included medical specialists, a primary health care scientist, a veterinary pathologist, a nurse anesthetist educator, two residents, and three senior educational scholars. One of the topics of interest was LA. All participants engaged in its discussion, which alternated between groups of three and plenary discussions. The richness of the discussion led to the decision to consolidate its results in an article, with a focus on caveats of LA, as viewed from the perspective of an educator using and adjusting, but not developing LA, i.e. a ‘consumers’ perspective’.

토론은 세 가지 질문을 중심으로 진행되었습니다:

  • 학습 분석이란 무엇인가?
  • 학습 분석의 목적은 무엇인가?
  • 그리고 학습 분석의 잠재적 위험은 무엇인가?

The discussion evolved around three questions:

  • What is learning analytics?
  • What are its purposes? and
  • What are potential risks of learning analytics?

그룹은 문헌('학습과 학습이 이루어지는 환경을 이해하고 최적화하기 위한 목적으로 학습자와 그 맥락에 대한 데이터를 측정, 수집, 분석 및 보고하는 것')을 반영하는 정의에 도달했습니다(Siemens 2012). 그러나 학습자, 측정, 데이터, 분석이라는 필수 개념 외에도 학습자의 진도, 학습 과정 정보, (학습에 소요된 시간과 같은) 행동적 측면이 정의에 포함되어야 한다는 의견도 있었습니다.
The group arrived at definition features that reflect the literature (‘The measurement, collection, analysis and reporting of data about learners and their contexts, for purposes of understanding and optimizing learning and the environments in which it occurs’) (Siemens 2012). However, the group also felt that, in addition to necessary concepts of learners, measurement, data and analysis, the definition should include learner progresslearning process information, and behavioral aspects, such as time spent on learning.

학습을 이해하고 최적화하는 것 외에도 그룹은 LA가 교육과 교육, 연구 개발을 최적화해야 한다는 데 동의했습니다. 또한, 보건 전문직 교육에서 LA는 학습을 최적화할 뿐만 아니라 궁극적으로 임상의료행위를 최적화해야 합니다.
As a purpose, besides understanding and optimizing learning, the group agreed that LA should optimize teaching and education, and its research and development. Furthermore, LA in health professions education should not only optimize learning but eventually optimize clinical practice.

마지막으로, LA를 사용할 때 의도하지 않은 부작용이나 잠재적 위험과 같은 주의 사항에 대해 중점적으로 논의했습니다. 데이터는 쉽게 수집할 수 있지만, 어려운 부분은 교육 정책에 대한 해석과 번역입니다. Gašević 등이 주장하듯이, LA 도구가 효과적이려면 인간 행동에 대한 강력한 이론적 모델을 기반으로 해야 합니다(Gašević 외. 2015).
Finally, the core discussion focused on caveats, i.e. unintended adverse consequences or potential risks of using LA. Data are easily collected; the hard part is interpretation and translations to educational policy. As Gašević et al. contend, LA tools should be based on robust theoretical models of human behavior to be effective (Gašević et al. 2015).

이러한 주의 사항은 토론 중에 플립 차트에 나열되었고, 회의가 끝난 후 필사되고 정교화되어 참가자들에게 피드백되었습니다. 회의 후 몇 주 내에 두 번째와 세 번째 라운드에서 의견과 추가 사항이 제공되었고, 그 결과 그룹이 공유할 가치가 있다고 판단한 일련의 주의 사항이 도출되었습니다. 다음으로, 전체 논문의 공동 저자로 자원한 모든 사람에게 확인된 주의 사항 중 두 가지 이상을 입증하는 과제를 부여했습니다. 이를 주 저자가 편집하여 10가지 주의 사항으로 통합했습니다. 
These caveats were listed on flip-charts during the discussion, transcribed, elaborated, and fed back to the participants after the meeting. In a subsequent second and a third round within weeks after the meeting, comments and additions were provided, resulting in a series of caveats the group found worthy of sharing. Next, all who volunteered to be co-authors on the full paper were tasked to substantiate two or more of the caveats identified. These were edited and consolidated in 10 caveats by the primary author.

소비자 관점에서의 학습 분석의 주의 사항
Caveats of learning analytics from a consumer’s perspective

표준화된 학습으로 인한 자율성 저하
Decreased autonomy through standardized learning

대량의 데이터를 수집하고 개별화된 학습 추천을 제공함으로써 개별 학습을 촉진하는 도구로 설계된 LA는 [최적의 학습이 무엇인지에 대한 인사이트]를 제공할 수 있습니다. 그러나 이러한 인사이트는 학습자 사이에서 그 이상을 충족해야 한다는 압박감을 유발할 수 있으며, 이는 스트레스를 유발하고 대안적인 학습 경로를 없애버릴 수 있습니다(Gašević 외. 2015).

  • 한 가지 예로 e-포트폴리오를 들 수 있는데, e-포트폴리오는 학습자가 전자 데이터 관리 시스템에 입력한 데이터를 기반으로 교사로부터 개별화된 피드백을 받을 수 있는 기회를 제공합니다(van der Schaaf 외. 2017).
    • 반면에 학습자는 동료와 비교되고 순위가 매겨지는 것에 대한 두려움 때문에 일정량의 데이터 포인트를 입력해야 한다는 압박감을 느낄 수 있습니다.
    • 결과적으로 학습자는 지금까지 자신에게 효과적인 것으로 입증된 학습 스타일이라 할지라도 다른 사람들의 학습 방식을 반영하지 않는다는 이유만으로 학습 스타일을 변경할 수 있습니다.
    • 결과적으로 스스로 선택한 자율성 감소는 LA의 의도하지 않은 부작용으로 간주될 수 있습니다(Buckley 외. 2009; van der Schaaf 외. 2017).
  • 또 다른 예로 AMBOSS 또는 의료 지식 자가 평가 프로그램과 같은 상용 플랫폼은 과거 시험의 MCQ 질문에 대한 답을 기반으로 특정 주제 학습에 대한 개별화된 권장 사항을 제공합니다(Bientzle 외. 2019).
    • 이러한 간결하고 전문적인 권장 사항은 학습자가 더 큰 그림과 학습에 대한 주인의식을 잃을 위험을 수반합니다.
    • 학습의 자율성이 감소하면 동기 부여와 학업 성취도에 부정적인 영향을 미칠 수 있습니다(Artino 외. 2010; Kusurkar 외. 2011). 

Designed as a tool to facilitate individual learning by collecting large amounts of data and providing individualized learning recommendations, LA may give insight into what optimal learning is. However, this insight may give rise to pressure among learners to meet that ideal, which can cause stress and could obliterate alternative learning paths (Gašević et al. 2015).

  • One example is that of e-portfolios: they provide an opportunity for learners to receive individualized feedback by teachers based on data entered into the electronic data management system (van der Schaaf et al. 2017).
    • On the other hand, learners could feel pressured to fill in a certain amount of data points for fear of being compared to peers and ranked.
    • Consequently, they might change their learning style, even if it has proven to be effective for them so far, just because it does not reflect how (most) others learn.
    • The resulting self-chosen decrease of autonomy can be considered an unintended side effect of LA (Buckley et al. 2009; van der Schaaf et al. 2017).
  • Another example is the commercial platforms such as AMBOSS (for students; https://www.amboss.com/us) or the Medical Knowledge Self-Assessment Program (for clinicians; https://mksap18.acponline.org) offer individualized recommendations to learning specific topics based on answers to MCQ questions from past exams (Bientzle et al. 2019).
    • These concise, specialized recommendations entail the risk that learners lose sight of the bigger picture and their sense of ownership of learning.
    • A decrease in autonomy of learning may have adverse effects on motivation and academic performance (Artino et al. 2010; Kusurkar et al. 2011).

학습 자원의 다양성 감소
A decrease in the variety of learning resources

학습 리소스는 계속 증가하고 있고 학생들은 과거보다 훨씬 더 다양한 리소스 중에서 자신의 선호도에 맞게 선택할 수 있지만, LA는 학생들을 가장 효율적이거나 효과적인 리소스로 강하게 유도할 수 있습니다. 주의할 점은 그룹 전체(또는 '평균' 학생)에 대한 '가장 효율적이거나 효과적인'은 스타일과 선호도의 개인차를 숨길 수 있다는 것입니다(Newble and Clarke 1986; Newble and Entwistle 1986). 평가의 요구 사항을 충족하기 위해 학생들은 종종 전략적 학습 접근 방식을 찾습니다(Taylor와 Hamdy 2013). 시스템을 게임하기 위해 학생들은 '검증된' 효과가 있는 리소스를 빠르게 찾고 교환하여 학습 리소스의 폭을 좁히고 다양성을 떨어뜨릴 수 있습니다. LA의 매혹적인 '입증의 힘'은 비주류 학습 접근 방식이 더 나은 개별 학생들을 오도할 수 있습니다.  
While resources for learning keep increasing and students can choose from a much larger variety to match their preferences than in the past, LA may strongly direct students toward the most efficient or effective sources. A caveat is that ‘the most efficient or effective’ for the group as a whole (or the ‘average’ student) may conceal individual differences in style and preference (Newble and Clarke 1986; Newble and Entwistle 1986). To meet the demands of their assessment students often seek strategic learning approaches (Taylor and Hamdy 2013). To game the system students may quickly seek and exchange resources with a ‘proven’ effect, thus narrowing down the breadth of learning resources and impoverishing its variety. The seductive ‘power of proof’ from LA can mislead individual students who would be better served with a non-mainstream approach to learning.

의도하지 않은 효율성 결과
Unintended efficiency consequences

LA가 가장 효과적이고 효율적인 학습 행동을 정의하면 규제 당국은 평균보다 짧은 학습 궤적을 반영하여 이 행동을 표준으로 간주하고 싶은 유혹을 받을 수 있습니다. 결국 교육(및 학습)에 할당된 시간과 비용이 감소하는 방향으로 나아갈 수 있습니다. 의학교육은 개인뿐만 아니라 지역사회를 위해서도 길고 비용이 많이 들기 때문에 효율성이 높아지고 기간이 단축되면 환영받을 것입니다. 거의 모든 분야에서 데이터 분석을 통해 효율성을 높일 수 있습니다. 문제는 학습 속도가 실제로 빨라질 수 있는가 하는 것입니다(10 Cate 외. 2018). 효율성을 높이고 평균적인 학생과 일치하거나 능가해야 한다는 압박은 스트레스를 유발하고 학생들 간의 경쟁을 심화시킬 수 있습니다. 이미 위태로운 상황에 처해 있는 학생의 웰빙이 더 이상 위태로워져서는 안 됩니다(Mata 외. 2015; Rotenstein 외. 2016). 의료 서비스 개선을 위한 '4중 목표' 중 하나인 '의료 전문가의 웰빙' 역시 학생을 고려해야 합니다. 
Once LA has defined the most effective and efficient learning behavior, regulators may be tempted to regard this behavior as the norm, reflecting a shorter than average learning trajectory. There may eventually be a push toward a decrease in time and money allotted to education (and thus to learning). Medical education is long and expensive, for the individual as well as for the community, so any increase in efficiency and decrease in length will be welcomed. Data analytics in almost any branch drive to increase efficiency. The question is whether learning can really be sped up (ten Cate et al. 2018). Pressure on students to increase efficiency, and to match or exceed the average student, can cause stress, and increased competition among students. Student wellbeing, already at stake (Mata et al. 2015; Rotenstein et al. 2016), should not be further jeopardized. Wellbeing of health professionals, one of the ‘quadruple aims’ for improvement of health care (Bodenheimer and Sinsky 2014), should also regard students.

교사의 시간 투입 증가
Increased time commitment from teachers

LA는 방대한 양의 데이터를 수집해야 하므로 많은 수의 평가가 필요합니다. 현재 역량 기반 의학교육(CBME) 프로그램에서는 교육생 역량을 평가하고 커리큘럼 내에서 교육생 진도에 대한 결정을 내리기 위해 이미 많은 정성적, 정량적 데이터가 생산되고 있습니다. 그러나 LA에서는 더 많은 수의 데이터 포인트가 필요하기 때문에 평가의 목적이 [학습자와 교사를 위한 직접적인 혜택]에서, 데이터베이스에 제공하기 위해 데이터를 축적하는 보다 [관리적인 목표]로 바뀔 수 있습니다(Chan et al. 2018). 이러한 데이터 수집 과정은 교사에게 부담을 줄 수 있습니다. 데이터를 생성하는 것 자체가 하나의 작업이 되어 수업에서 시간과 에너지 자원을 빼앗고 평가 피로를 유발할 수 있습니다(Barrett 외. 2018). LA의 장기적인 이점이 존재할 수 있지만, 자신의 가르침에 대한 즉각적인 가시적 가치가 부족하면 좌절감과 열정을 잃을 수 있으며 실제로 학생에 대한 피드백의 질을 저해할 수 있습니다. 교사의 의사 결정에 도움이 되려면 데이터가 이해하기 쉬워야 하며, 단순한 양만으로는 이러한 목적에 부합하지 않을 수 있습니다(Chan 외. 2018). 
LA requires massive amounts of data to be collected, thus making a large number of evaluations necessary. In the current competency-based medical education (CBME) programs much qualitative and quantitative data is already being produced in order to assess trainee competencies and to make decisions about their progression within the curriculum. As LA requires an increased number of data points; however, the purpose of evaluations may shift from a direct benefit for the learner and teacher toward the more managerial goal of amassing data in order to feed a database (Chan et al. 2018). The process of this data collection may burden teachers. Creating the data becomes a task in itself, which can take time and energy resources away from teaching and may lead to evaluation fatigue (Barrett et al. 2018). Although long-term benefits of LA may be present, the lack of an immediate visible value for one’s own teaching could lead to frustration and loss of enthusiasm and actually impede the quality of feedback to students. To serve decision making by teachers, the data need to be comprehensible; the mere volume of it may not serve that purpose (Chan et al. 2018).

학습자의 진도를 평가할 수 있는 '유효한' 정보 소스의 감소
A decrease of ‘valid’ information sources to assess learner progress

역설적이게도, LA는 가급적이면 많은 주제에 걸쳐 많은 소스의 빅 데이터를 사용하지만, 분석이 다른 소스를 희생하면서 학습 결과를 가장 잘 예측하는 소스를 최적화하려고 시도할 수 있기 때문에, 학습자 평가가 이러한 데이터 소스 중 더 많은 것에 초점을 맞추기보다는 더 적은 것에 집중할 위험이 있을 수 있습니다. Winkler-Schwarz 등이 측정한 270개의 지표 중 머신러닝 알고리즘은 6~9개를 선택하여 성과 평가에 포함시켰습니다(Winkler-Schwarz 외. 2019). 그러나 근거 기반 환자 관리 프로토콜이 모든 개별 환자에게 최적이 아닌 것처럼, 그룹을 기반으로 한 추론이 모든 개인에게 항상 최적은 아닐 수 있습니다. 
Paradoxically, while LA uses big data, preferably from many sources across large numbers of subjects, there may be a risk that learner assessment will focus on less rather than more of these data sources, because the analysis may attempt to optimize the sources that predict outcomes of learning best, at the cost of other sources. Of the 270 metrics measured by Winkler-Schwarz et al., machine learning algorithms chose 6 to 9 to include in performance evaluation (Winkler-Schwartz et al. 2019). However, inferences based on groups may not always be optimal for all individuals, just like evidence-based patient management protocols may not be optimal for all individuals patients.

임상 현장에서 학습자의 행동을 문서화하는 e-포트폴리오는 데이터 포인트가 많기 때문에 학습자에 대한 정확한 그림을 제안할 수 있다고 생각할 수 있지만, 이러한 데이터 중 일부는 정확하지 않을 수 있습니다. '가비지 인 가비지 아웃'은 너무 냉소적인 시각일 수 있지만, 집계된 포트폴리오 데이터에서 도출된 결론의 정확성이 잘못될 수 있다는 점을 인지해야 합니다. 집계된 포트폴리오 데이터가 항상 잘 해석되는 것은 아니며(Oudkerk Pool 외. 2018), 데이터 자체의 타당성이 부족할 수도 있습니다. 학생이 관찰 순간과 관찰자를 선택할 수 있고, 평가하는 임상 스태프가 부주의하거나 성급하거나 기분과 성격에 과도하게 영향을 받거나 인지적으로 과부하가 걸린 경우 항목이 선택적으로 작성되었을 수 있습니다(Paravattil and Wilby 2019). 훌륭한 임상 책임자는 포트폴리오 정보를 평가하는 직원들 사이에서 '비둘기와 매파'를 알고 있으며, 모든 정보를 똑같이 타당한 것으로 받아들이지 않고 해석해야 합니다. 포트폴리오 데이터를 신중하게 검토하지 않으면 이러한 수정이 이루어지지 않을 수 있습니다.  
E-Portfolios that document learner behavior in the clinical workplace may suggest building an accurate picture of the learner, because of the large number of data points, but some of these data may not be accurate. ‘Garbage-in-garbage-out’ maybe a too cynical view, but we should be aware of the possibility of false accuracy of conclusions drawn from aggregated portfolio data. While aggregated portfolio data are not always well interpreted (Oudkerk Pool et al. 2018), the data itself may lack validity. Entries may have been selective if the student can choose observation moments and observers, and if clinical staff who rate are careless, hasty, unduly affected by mood and personality or cognitively overloaded (Paravattil and Wilby 2019). A good clerkship director knows the ‘doves and hawks’ among the staff who assess and should interpret portfolio information, rather than accept all information as equally valid. Without carefully weighing portfolio data, such corrections may not happen.

학습 분석이 최종 임상 성과와 맞지 않을 수 있음
Learning analytics may misalign with eventual clinical performance

'도구가 망치라면 모든 것이 못처럼 보인다'는 매슬로우의 옛 속담은 LA의 경우 어느 정도는 사실일 수 있습니다. 수집하기 쉬운 온라인 행동 및 필기 시험 점수와 같은 학습 분석 데이터는 교육의 궁극적인 목적인 전문 환경에서의 성과를 제대로 반영하지 못할 수 있습니다. LA는 교육 프로그램에서 학습을 최적화하는 데 중점을 둡니다. 이러한 학습이 필기시험을 가장 바람직한 결과 척도로 삼는 강의실 학습으로 정의되면 임상 성과 예측 변수를 놓칠 수 있습니다. 최적의 학습자가 최적의 의료인이 아닐 수도 있습니다.

  • 밀러 피라미드의 하위 수준('알고 있음' 및 '알고 있음') 데이터(Miller 1990)는 많은 교수진 데이터베이스에서 쉽게 구할 수 있지만 임상 성과를 잘 반영하지는 못합니다.
  • 마찬가지로, 교육 연속체의 다른 쪽 끝에서는 전문 위원회가 개발한 필기 시험을 기반으로 한 인증 유지가 실제 진료 품질 유지에 대한 유용성이 낮고(Weinberger 2019),
  • 평생 의학 교육 과정의 효과에 대한 지식이 대부분 Kirkpatrick 평가 계층 구조의 가장 낮은 수준의 데이터로 제한되어 있다는 비판을 받고 있습니다(Tian et al. 2007).

학습자, 의사 및 교육자에게 피드백을 제공하기 위해 이러한 '망치와 못'을 사용하면 적절한 데이터가 수집되지 않아 임상 실습의 중요한 구성 요소에 집중하지 못할 수 있습니다. 임상 성과에 진정으로 초점을 맞춘 더 많은 더 나은 지표가 필요합니다. LA를 가장 중요한 의료 관련 교육 성과에 맞추는 것은 아직 초기 단계에 있습니다(Bakharia 외. 2016).

Maslow’s old saying ‘if your tool is a hammer, everything looks like a nail’ might hold true, to a certain extent, for LA. Learning analytics data such as online behavior and scores on written tests, which are easy to collect, may poorly reflect the ultimate purpose of training: performance in a professional environment. LA is focused on optimizing learning in educational programs. If such learning is defined as classroom learning with written examinations as the most desirable outcome measure, predictors of clinical performance may be missed. The optimal learner may not be the optimal medical practitioner.

  • Data at lower levels of Miller’s Pyramid (‘Knows’ and ‘Knows how’) (Miller 1990) are readily available in many faculty databases but do not reflect clinical performance very well.
  • Likewise, at the other end of the educational continuum, maintenance of certification based on written exams developed by specialty boards has been criticized because of their low usefulness for the actual maintenance of practice quality (Weinberger 2019) and
  • knowledge about the effectiveness of continuing medical education courses is mostly limited to data from the lowest levels of the Kirkpatrick evaluation hierarchy (Tian et al. 2007).

Using these ‘hammers and nails’ for feedback to learners, physicians and educators may distract from important components of clinical practice, simply because appropriate data is not collected. There is a need for more and better metrics that truly focus on clinical performance. Aligning LA with the most important, health care related outcomes of education is still in its infancy (Bakharia et al. 2016).

LA가 개인 정보 및 데이터 보호에 미치는 영향
Impact of LA on privacy and data protection

학습 행동에 대한 권장 사항을 최적화하고 성공을 예측하기 위해 LA는 학습자에 대한 데이터를 가능한 한 많이 수집해야 합니다. 여기에는 학습이 이루어지는 장소와 시간, 휴식 시간 및 횟수, 온라인 키보드 동작, 심지어 생리적 매개변수와 같은 매우 개인적인 측정값이 포함될 수 있습니다. 복강경 수술 중 시선추적은 이제 수술 기술을 평가하는 데 사용되었습니다(구나와데레나 외. 2011). 얼굴 인식과 인간 활동 인식은 다양한 센서와 다양한 이유로 인간 행동에 대한 지극히 개인적인 데이터를 식별하는 데 사용될 수 있습니다(Kabassi and Alepis 2019; Lu et al. 2017; Ravi et al. 2017). 이러한 데이터의 존재만으로도 의도하지 않은 목적으로 데이터를 사용하려는 관심을 불러일으킬 수 있습니다. 학습자의 개인 정보를 보호하려면 LA 데이터 수집, 저장, 사용 및 삭제의 한계를 결정하는 규칙이 필요합니다. 데이터의 소유권과 주권 및 데이터 사용은 중요한 문제이며 반드시 해결해야 할 문제입니다.

  • 어떤 데이터를 언제, 어떤 의도로 분석할지 결정할 수 있는 사람 또는 이사회는 누구입니까?
  • 동의를 받은 후 데이터의 사용 목적을 조정할 수 있나요?
  • 동의는 정기적으로 갱신해야 하나요?
  • 데이터 수집이 코스 등록의 조건이 될 수 있나요, 아니면 학습자가 동의를 거부할 수 있으며, 그럴 경우 어떤 결과가 발생하나요?

이러한 질문을 명확히 하지 않으면 데이터 오용과 원치 않는 새로운 권력 관계의 발생에 대한 두려움이 남아 있습니다. 이러한 규정에서 학생이 발언권을 갖는 것은 적절해 보입니다(West 외. 2020). 
To optimize recommendations about learning behavior and to predict success, LA must collect as much data about learners as possible. This may include very personal measures, like place and time of the day when learning occurs, duration and number of breaks taken, online keyboard behavior, possibly even physiological parameters. Eye tracking during laparoscopic surgery has now been used to assess surgical skills (Gunawardena et al. 2011). Face recognition and Human Activity Recognition can be used to identify extremely personal data of human behavior through various sensors and for various reasons (Kabassi and Alepis 2019; Lu et al. 2017; Ravi et al. 2017). The mere existence of such data may evoke interest to use them for unintended purposes. Rules determining the limits of LA data collection, storage, use, and deletion are needed to protect the privacy of learners. Ownership and sovereignty of data and its use are crucial issues and need to be addressed.

  • Which person or board can decide which data will be analyzed when and with which intention?
  • Can the intended use of data be adjusted after consent was given?
  • Must consent be renewed on a regular basis?
  • Can data collection be a condition for course enrolment or can learners refuse to give consent and what consequences will that have?

Without clarification of these questions, a fear of data misuse and the development of new but possibly unwanted power relationships remains. It seems pertinent that students have a say in these regulations (West et al. 2020).

문서화된 실패의 불가피성
The inescapability of documented failures

모든 학생은 오류와 실수를 통해 학습하고 숙련된 교사의 건설적인 구두 피드백을 통해 교정받을 자격이 있지만, 작업장 기반 평가 및 피드백에서 전자 문서화가 증가하면 시도, 작은 실수 및 오류에 과도한 가중치를 부여할 수 있습니다. 많은 학생이 문서화된 피드백이 의도한 것보다 더 총괄적이라고 느낍니다(Bok 외. 2013; Heeneman 외. 2015). 모든 행동을 문서화하면 관찰된 모든 실패가 정보 클라우드에 영원히 남는다는 단점이 있기 때문에 이를 비난할 수는 없습니다. 과거의 실수가 미래의 학생에게 불리하게 작용할 수 있다는 단순한 생각은 사실 여부와 상관없이 학생들의 개방성과 학습의 즐거움에 해로운 영향을 미칠 수 있습니다(Dyer and Cohen 2018). 고등 교육을 위한 '온라인 자기 보호'에 관한 최근 보고서에서 Bond와 Phippen은 많은 관할권의 검색 엔진과 마찬가지로 '잊혀질 권리'에 관한 규칙을 권고합니다(Bond and Phippen 2019). 이는 특히 학생 포트폴리오에 대한 대규모 데이터 수집과 프로그램 평가의 진행 상황 모니터링(Van Der Vleuten 외. 2015)이 주를 이루는 경우와 관련이 있습니다. 새로운 출발을 위해 학생의 기록을 '정리'하는 옵션은 성공적인 교정 후 조치에 포함될 수 있습니다. 
While all students learn through errors and mistakes and deserve to be corrected with constructive oral feedback by skilled teachers, the increased electronic documentation in workplace-based assessment and feedback may give undue weight to attempts, small mistakes, and errors. Many students feel documented feedback to be more summative than was intended (Bok et al. 2013; Heeneman et al. 2015). They cannot be blamed for that, as the flipside of documenting all of the behavior is that all of their observed failures will remain forever in the information cloud. The mere idea that mistakes in the past can be held against students in the future, true or not, can have detrimental effects on their openness and their fun of learning (Dyer and Cohen 2018). In a recent report on ‘online self-guarding’ for higher education, Bond and Phippen recommend a rule concerning the ‘right to be forgotten’ (Bond and Phippen 2019) as is the case for search engines in many jurisdictions. This is particularly relevant when massive data collection for student portfolios and monitoring of progress in programmatic assessment (Van Der Vleuten et al. 2015) becomes dominant. The option to ‘clean’ a student’s record in order to grant a new start may be incorporated in measures after successful remediation.

LA의 호손 및 시간 지연 효과
Hawthorne and time-lag effects of LA

교육과 같은 복잡한 적응 시스템에서는 학습자에게 피드백되는 LA 측정 정보가 학습자의 행동을 변화시킬 수 있습니다. 따라서 개인이 관찰되고 있다는 인식에 반응하여 행동을 수정할 때 심리학 연구에서 호손 효과와 유사하게 LA 추론의 예측력이 감소할 수 있습니다. 호손 효과는 임상 과제를 직접 관찰하는 맥락에서 논의되어 왔지만(Kogan 외. 2017; Paradis and Sutkin 2017), 종단적 행동 기록에 대한 학습자의 반응은 덜 명확합니다. 그러나 기록된 온라인 행동에 따라 '성취도 미달' 또는 '위험군'(Saqr 외. 2017)으로 분류된 학생이 튜터로부터 깜짝 전화를 받은 후 온라인 행동이 어떻게 변화하여 참여와 적절한 자기 조절을 모방하게 되는지 상상하기란 어렵지 않습니다. 그들의 '온라인 이미지'는 더 이상 타당하지 않을 수 있습니다.
In a complex adaptive system such as education, the information from LA measurement fed back to learners may change their behavior. Consequently, the predictive power of LA inferences may decrease, comparable to the Hawthorne effect in psychological studies, when individuals modify behavior in response to awareness of being observed. While Hawthorne effects have been discussed in the context of direct observations of clinical tasks (Kogan et al. 2017; Paradis and Sutkin 2017), the reaction of learners to longitudinal behavior recordings is less clear. However, it is not hard to imagine how students flagged as ‘under-achievers’ or ‘at risk’ (Saqr et al. 2017) based on their documented online behavior and receiving surprise calls from a tutor, change their online behavior to mimic engagement and appropriate self-regulation. Their ‘online image’ may no longer be valid.

마찬가지로, 참조 데이터의 출처가 되는 학습 집단과 조사 대상 집단이 크게 다를 경우 LA의 예측값은 실패할 수 있습니다. 빠르게 부상하는 기술 기반 인터넷 사회(Wartman 2019), 의료 서비스의 빠른 진화, 학습 행동에 대한 새로운 습관의 출현으로 인해 이러한 시차로 인해 개별화된 학습에 대한 LA 기반 표준이 무효화될 수 있습니다. 
Similarly, the predictive value of LA could fail if the training cohort from which the reference data originate and the investigated cohort deviate significantly. Due to a rapidly emerging technology-based internet society (Wartman 2019), a fast evolution of health care, and due to the emergence of new habits in learning behavior, this time-lag might render any LA-based standards for individualized learning invalid.

LA의 점진적인 목적 변화
A gradual shift of the purpose of LA

한 가지 목적을 위해 개발된 도구는 점차 의도하지 않은 목적으로 사용될 수 있습니다. [학습자에게 피드백을 제공하기 위한 모니터링 도구나 프로그램 개선을 위한 평가 데이터]는 [데이터와 분석이 설계되지 않은 목적]으로 개인이나 프로그램의 인증, 품질 비교 또는 순위를 매기는 데 사용될 위험이 있습니다. 특히 순위매기기ranking는 방법론적 또는 이데올로기적 오류와 불공정성의 위험을 수반합니다(Powell and Steelman 2006). 문헌에는 오용 사례가 풍부하며(Cousins 2004), 데이터 누락은 심각한 결과를 초래할 수 있습니다(Chan et al. 2018; McConnell et al. 2016). 직장 기반 평가를 위해 고안된 도구가 면허 인증 획득을 위해 의무화되는 것은 상상할 수 없는 일이 아닙니다. 이러한 사용은 '학습을 위한 평가'의 초기 목적이 아니었습니다(Rogausch 외. 2012). 교육자, 교육 기관 및 인증 기관은 오용을 방지하기 위해 LA 도구와 데이터를 올바르게 사용해야 할 책임이 있습니다.
Tools developed for one purpose may gradually shift to being used for purposes that were not intended. Monitoring instruments to provide feedback to learners, or evaluation data to improve programs run the risk of becoming used for accreditation, quality comparisons or ranking of individuals or programs, purposes for which the data and analysis were not designed. Rankings, in particular, carry the risk of methodological or ideological errors and unfairness (Powell and Steelman 2006). There are abundant examples of misuse in the literature (Cousins 2004) and missing data might have severe ramifications (Chan et al. 2018; McConnell et al. 2016). It is not unthinkable that tools designed for workplace-based assessment will become mandatory to obtain license certification. Such use was not the initial purpose of ‘assessments for learning’ (Rogausch et al. 2012). Educators, educational institutions, and accrediting bodies bear a high responsibility for the correct use of LA instruments and data to avoid misuse.

토론
Discussion

커리큘럼을 개선하고 학생의 역량을 강화하기 위한 목적으로 LA를 사용하는 것은 칭찬할 만한 일이며 다른 곳에서도 많은 미덕이 강조되었습니다(Chan et al. 2018). 기술 발전에는 그 자체의 역학 관계가 있으며 이러한 발전에 의문을 제기하는 것은 의미가 없습니다. 문제는 이러한 기술과 데이터를 사용해야 하는지 여부가 아니라, 의미 있는 학습을 위해 이러한 사용을 최적화하고 학습자, 교육자 및 관리자의 요구를 충족하고 동시에 권리를 보호하는 방법입니다. 위트레흐트 회의에 모인 교육자들은 몇 가지 우려 사항을 더 많은 청중과 공유할 가치가 있다고 생각했습니다. 
The use of LA for the purpose of improving curricula and empowering students is a laudable cause and many virtues have been highlighted elsewhere (Chan et al. 2018). Technology advancements have their own dynamics and there is no sense in questioning these advancements. The question is not whether we should use such technology and data, but how to optimize this use for meaningful learning and fulfill the needs and protect the rights of learners, educators, and administrators at the same time. The educators gathered in the Utrecht meeting felt that some concerns were worth sharing with a wider audience.

우리의 운동에는 상당한 한계가 있습니다. 이 그룹은 보건 전문직 교육에 대한 고급 학위를 가지고 있거나 수료한 보건 전문직 교육자들로 구성되었지만 특별히 LA 전문가는 포함되지 않았습니다. 따라서 이 보고서는 정보에 입각한 소비자 우려에 대한 개요로 간주해야 합니다. 이 보고서는 향후 보다 다양한 전문가 패널의 합의 방법을 확립하여 보다 엄격한 연구를 위한 출발점으로 간주될 수 있습니다.
Our exercise has significant limitations. The group consisted of health professions educators with, or completing advanced academic degrees in health professions education, but did not specifically include LA experts. Our report should, therefore, be viewed as an overview of informed consumer concerns. It may be regarded as a starting point for more rigorous future studies with established consensus methods among a more diverse expert panel.

 


Med Teach. 2020 Jun;42(6):673-678. doi: 10.1080/0142159X.2020.1733505. Epub 2020 Mar 9.

Ten caveats of learning analytics in health professions education: A consumer's perspective

Affiliations

1Center for Research and Development of Education, University Medical Center Utrecht, Utrecht, The Netherlands.

2University Hospital Bern, Bern, Switzerland.

3Kepler University Hospital Linz, Johannes Kepler University Linz, Linz, Austria.

4Institute for Medical Education, University of Bern, Bern, Switzerland.

5Institute of Primary Health Care (BIHAM), University of Bern, Bern, Switzerland.

6Faculty of Medicine, University of Freiburg, Breisgau, Germany.

7Institute of Animal Pathology, Vetsuisse Faculty Bern, University of Bern, Bern, Switzerland.

PMID: 32150499

DOI: 10.1080/0142159X.2020.1733505

Free article

Abstract

A group of 22 medical educators from different European countries, gathered in a meeting in Utrecht in July 2019, discussed the topic of learning analytics (LA) in an open conversation and addressed its definition, its purposes and potential risks for learners and teachers. LA was seen as a significant advance with important potential to improve education, but the group felt that potential drawbacks of using LA may yet be under-exposed in the literature. After transcription and interpretation of the discussion's conclusions, a document was drafted and fed back to the group in two rounds to arrive at a series of 10 caveats educators should be aware of when developing and using LA, including too much standardized learning, with undue consequences of over-efficiency and pressure on learners and teachers, and a decrease of the variety of 'valid' learning resources. Learning analytics may misalign with eventual clinical performance and can run the risk of privacy breaches and inescapability of documented failures. These consequences may not happen, but the authors, on behalf of the full group of educators, felt it worth to signal these caveats from a consumers' perspective.

Keywords: Portfolio; computer-based; information handling; trends.

 

의과대학 교육에서 보건AI윤리 교육 필요성(Adv Health Sci Educ Theory Pract. 2021)
The need for health AI ethics in medical school education
Gali Katznelson1 · Sara Gerke2

소개
Introduction

인공지능(AI)이 의료 서비스를 혁신하고 있습니다. 2018년 4월, 미국 식품의약국(FDA)은 안과 질환인 당뇨망막병증에 대한 진단 결정을 내리는 최초의 '자율' AI 소프트웨어 시스템인 IDx-DR의 시판을 허가했습니다(Digital Diagnostics, 2020; FDA, 2018a). 2019년 9월, 의료 신경 기술 회사인 BrainScope는 결과와 조치를 제공하여 뇌진탕 및 경미한 외상성 뇌손상 진단에 도움을 주는 AI 기반 의료 기기 BrainScope TBI(모델: Ahead 500)에 대한 FDA 허가를 받았습니다(FDA, 2019a). 이 외에도 심장 환자를 위한 최초의 AI 기반 의료 영상 플랫폼인 Arterys(FDA, 2017), 손목 골절을 감지하도록 설계된 AI 소프트웨어인 OsteoDetect(FDA, 2018b), 뇌졸중과 관련된 지표에 대한 컴퓨터 단층 촬영 결과를 분석하기 위해 AI를 사용하는 임상 의사 결정 지원 소프트웨어인 Viz.AI(FDA, 2018c) 등이 이미 FDA의 허가를 받거나 승인된 건강 AI입니다. 
Artificial Intelligence (AI) is transforming health care. In April 2018, the U.S. Food and Drug Administration (FDA) permitted marketing of the first “autonomous” AI software system, called IDx-DR, to provide a diagnostic decision for the eye disease diabetic retinopathy (Digital Diagnostics, 2020; FDA, 2018a). In September 2019, the medical neurotechnology company BrainScope received FDA clearance for its AI-based medical device BrainScope TBI (model: Ahead 500) that helps in the diagnosis of concussion and mild traumatic brain injury by providing results and measures (FDA, 2019a). Other health AIs that have already been cleared or approved by the FDA include Arterys, the first medical imaging platform powered by AI for cardiac patients (FDA, 2017), OsteoDetect, an AI software designed to detect wrist fractures (FDA, 2018b) and Viz.AI, a clinical decision support software that uses AI to analyze computed tomography results for indicators associated with a stroke (FDA, 2018c).

지금까지 160개 이상의 의료용 AI 기반 기기가 FDA의 허가를 받았거나 승인되었으며(Ross, 2021), 현재 개발 파이프라인에 더 많은 제품이 있습니다. 의료 AI의 미래를 예측하기는 어렵지만 가상 비서, 개인 맞춤형 의료, 자율 로봇 수술은 의료 시스템의 미래 모습에 대한 가능성의 영역에서 벗어나지 않습니다. 의료 AI는 의료를 더 나은 방향으로 변화시킬 수 있는 엄청난 잠재력을 가지고 있지만, 사전 동의, 편견, 안전, 투명성, 환자 개인정보 보호, 할당에 이르기까지 윤리적 문제도 제기합니다.  
Over 160 health AI-based devices have been cleared or approved by the FDA so far (Ross, 2021), and there are currently many more products in the development pipeline. It is difficult to predict what the future of health AI will bring, but virtual assistants, personalized medicine, and autonomous robotic surgeries are not outside the realm of possibilities of how the health care system could look like in the future. Health AI has tremendous potential to transform medicine for the better, but it also raises ethical issues, ranging from informed consent, bias, safety, transparency, patient privacy to allocation.

의료 AI는 이미 의료 서비스를 변화시키고 있고 앞으로도 계속 변화할 것이지만, 의료 AI 윤리는 아직 의과대학 커리큘럼에 표준 과목으로 포함되어 있지 않습니다. 이러한 격차는 현재의 문헌에도 반영되어 있습니다: AI와 의학교육에 초점을 맞춘 출판물은 거의 없으며, 윤리를 전혀 언급하지 않은 출판물은 더 적습니다(Kolachalama & Garg, 2018; Wartman & Combs, 2018; Wartman & Combs, 2019; Paranjape et al., 2019; AMA, 2019). 
Although health AI is already shaping health care and will continue to do so, health AI ethics is not yet a standard course in medical school curriculums. This gap may also be reflected in the current literature: Only few publications focus on AI and medical education, and even fewer mention ethics at all (Kolachalama & Garg, 2018; Wartman & Combs, 2018; Wartman & Combs, 2019; Paranjape et al., 2019; AMA, 2019).

먼저 의료 인공지능 윤리가 무엇인지 설명한 다음 의과대학에서 이러한 교육이 필요한 이유를 논증할 것입니다. 그런 다음 의대 교육이 필요한 의료 AI가 제기하는 6가지 주요 윤리적 문제인 사전 동의, 편향성, 안전, 투명성, 환자 개인정보 보호, 할당에 대해 집중적으로 논의할 것입니다. 이러한 윤리적 이슈는 임상 의료 윤리와 관련된 AI의 프레임워크를 형성합니다. 실제 사례를 사용하여 응용적인 맥락에서 의료 AI 윤리를 가르치는 것이 유용할 수 있습니다. 
We will first explain what health AI ethics is and will then argue why this education is needed in medical schools. Our focus will then be devoted to a discussion of six key ethical issues raised by health AI that require medical school education: informed consent, bias, safety, transparency, patient privacy, and allocation. These ethical issues form a framework for AI that is pertinent to clinical medical ethics. We suggest that it may be useful to teach Health AI Ethics in an applied context using real-life examples.

의료 AI 윤리란 무엇인가요?
What is health AI ethics?

우리는 건강 AI 윤리'AI가 관여하는 건강 분야의 맥락에 윤리를 적용하고 분석하는 것'으로 정의합니다. 건강이 여러 가지 방식으로 정의되어 온 것처럼(Huber 등, 2011), 1955년 McCarthy 등(2006)에 의해 처음 사용된 인공지능(AI)이라는 용어에 대한 단일 정의도 존재하지 않습니다. 의료 분야에서 의료 전문가가 AI와 그 응용 분야를 이해하는 것이 점점 더 중요해지고 있습니다.
We define Health AI Ethics as the ‘application and analysis of ethics to contexts in health in which AI is involved’. Just as health has been defined in several ways (Huber et al., 2011), there is also no single definition for the term artificial intelligence (AI), which was first coined in 1955 by McCarthy et al. (2006). In medicine, it is becoming increasingly important for health care professionals to understand AI and its applications.

예를 들어, 미국의학협회(AMA)는 AI를 다음과 같이 정의합니다:
For example, the American Medical Association (AMA) defines AI as:

일반적으로 이성적인 인간과 관련된 방식으로 작업을 완료하는 컴퓨터의 능력, 즉 개체가 환경에서 적절하게 기능하고, 선견지명을 가지고 기능할 수 있도록 하는 자질입니다. 진정한 AI는 인공지능이 인간과 구별할 수 없는 지능적인 행동을 보일 수 있어야 한다는 튜링 테스트(2018)를 이길 수 있는 프로그램 또는 알고리즘으로 널리 알려져 있습니다.
The ability of a computer to complete tasks in a manner typically associated with a rational human being—a quality that enables an entity to function appropriately and with foresight in its environment. True AI is widely regarded as a program or algorithm that can beat the Turing Test, which states that an artificial intelligence must be able to exhibit intelligent behavior that is indistinguishable from that of a human (2018).

AI를 구성하는 요소에 대한 이해는 수년에 걸쳐 발전해 왔습니다. 1970년대에 의료 분야의 AI는 심전도 해석과 같은 규칙 기반 알고리즘으로 구성되었으며, 이는 오늘날에도 여전히 일반적이지만 일반적으로 "진정한 AI"라고 불리는 알고리즘은 아닙니다(Kundu 외., 2000; Yu 외., 2018). 최근 AI의 발전은 알고리즘을 사용하여 데이터에서 패턴을 찾는 컴퓨터 과학의 한 분야인 머신 러닝(ML)으로 이루어졌습니다(Murphy, 2012; Yu et al., 2018). ML은 지도형 또는 비지도형일 수 있습니다. 지도 ML은 학습 중에 입출력 데이터의 상관관계를 기반으로 출력을 예측하는 데 사용되는 반면, 비지도 ML은 레이블이 지정되지 않은 데이터에서 패턴을 식별합니다(Yu et al., 2018). 예를 들어, 지도 머신러닝은 이미지에서 특정 유형의 암 유무를 감지하도록 학습되지만, 비지도 머신러닝은 많은 수의 이미지를 평가하여 패턴을 감지하고 그에 따라 이미지를 그룹화합니다. 특히 대규모 데이터 세트에 다층 인공 신경망을 사용하는 ML의 한 분야인 딥러닝의 발전은 AI 분야를 더욱 발전시켰습니다(Yu et al., 2018). 임상 치료에 사용되는 대부분의 AI는 아직 인간의 지능을 능가하지 못하며, 여전히 협소하고 특정 업무에 국한되어 있습니다(Hosny 외., 2018). AMA는 "증강 지능"이라는 용어를 사용하여 의사의 지능을 대체하는 것이 아니라 의사의 지능을 증강하는 현재 AI의 능력을 강조합니다(2018). 
The understanding of what constitutes AI has evolved over the years. In the 1970s, AI in health care consisted of rule-based algorithms, such as electrocardiogram interpretation, which remain commonplace today but are not typically those referred to as “true AI” (Kundu et al., 2000; Yu et al., 2018). Recent developments in AI have consisted of Machine Learning (ML), a branch of computer science that finds patterns in data using algorithms (Murphy, 2012; Yu et al., 2018). ML can be supervised or unsupervised. Supervised ML is used to predict outputs based on correlations of input–output data during training, while unsupervised ML identifies patterns in data that is not labelled (Yu et al., 2018). For example, while supervised ML would be trained to detect the presence or absence of a certain type of cancer on an image, unsupervised ML would evaluate a large number of images to detect patterns and group images accordingly. In particular, developments within Deep Learning, a field within ML that uses multi-layered artificial neural networks on large datasets, has propelled the field of AI forward (Yu et al., 2018). Most AI that is used in clinical care has yet to surpass human intelligence, and remains narrow and task-specific (Hosny et al., 2018). The AMA uses the term “Augmented Intelligence” to highlight current AI’s ability to augment the physician’s intelligence rather than to replace it (2018).

윤리는 간단히 말해서 옳고 그름의 문제를 고려하는 철학의 한 영역입니다. 윤리는 규범적 윤리, 메타윤리, 응용 윤리로 나눌 수 있습니다(Fieser, 1999). 

  • 규범 윤리는 올바른 행동 방식에 대한 질문에 답하려고 합니다. 규범적 윤리 이론에는 의무론, 결과론, 덕 윤리가 포함되지만 이에 국한되지는 않습니다.
  • 메타윤리학옳고 그름의 본질에 대한 질문을 다루는 철학의 한 분야입니다.
  • 응용 윤리는 윤리적 이론이나 원칙을 구체적인 실생활 문제에 적용하는 것을 다룹니다. 

많은 의대생들은 보챔프와 차일드레스(2012)가 제시한 자율성, 비악성, 유익성, 정의라는 네 가지 생의학 윤리의 원칙을 잘 알고 있을 것입니다. 원칙주의로 알려진 이 다원주의 이론은 의학의 윤리적 딜레마를 해결하기 위한 실용적인 접근 방식을 안내합니다. 의료 인공지능 윤리 교육은 사례 기반의 응용적 방법을 통해 윤리에 접근해야 하지만 규범 윤리와 메타 윤리의 요소도 포함해야 합니다. 정보에 입각한 동의, 편견, 안전, 투명성, 환자 프라이버시, 배분 등 6가지 이슈로 구성된 의료 AI 윤리를 학습하는 프레임워크가 의료 학습자에게 가장 적합하다고 제안합니다.
Ethics is the area of philosophy that, in simplest terms, considers questions of right and wrong. Ethics can be divided into normative ethics, metaethics, and applied ethics (Fieser, 1999).

  • Normative ethics tries to answer questions about the right way to act. Normative ethical theories include, but are certainly not limited to deontology, consequentialism, and virtue ethics.
  • Metaethics is the branch of philosophy that addresses questions about the nature of right and wrong.
  • Applied ethics deals with applying ethical theories or principles to specific, real-life issues.

Many medical students will be familiar with Beauchamp and Childress’ (2012) four principles of biomedical ethics: autonomy, non-maleficence, beneficence, and justice. This pluralistic theory, known as principlism, is meant to guide a pragmatic approach to resolving ethical dilemmas in medicine. A Health AI Ethics education should approach ethics through an applied, case-based method, but should also include elements from normative ethics and metaethics. We suggest that a framework to study Health AI Ethics consisting of the following six issues is most pertinent for medical learners: informed consent, bias, safety, transparency, patient privacy, and allocation.

의과대학 교육에 의료 AI 윤리가 필요한 이유는 무엇인가요?
Why is health AI ethics needed in medical school education?

의료 AI가 의료 분야에 미칠 영향력이 커질 것이라는 징후가 몇 가지 있습니다. 첫째, 전 세계 의료 시스템 전반에 걸쳐 엄청난 양의 데이터가 수집되고 있습니다. 한 추정에 따르면 '글로벌 데이터스피어'는 2025년까지 175제타바이트까지 증가할 것으로 예상됩니다(Reinsel et al., 2018). 이러한 전례 없는 양의 데이터는 의료 AI와 같이 데이터에 의존하는 분야에서 혁신적인 발전으로 이어질 수 있습니다. 
Several signs point toward the increasing impact that health AI will have in medicine. First, there are gigantic amounts of data being collected across the global health care system. According to one estimate, the “global datasphere” is expected to grow to 175 zettabytes by 2025 (Reinsel et al., 2018). These unprecedented amounts of data may lead to revolutionary developments in fields that rely on data, such as health AI.

둘째, 의료 AI 시장은 2020년 49억 달러에서 2026년 452억 달러로 증가할 것으로 예상됩니다(Markets & Markets, 2020). 특히 구글, 마이크로소프트, IBM과 같이 전통적으로 의료와 관련이 없었던 거대 기술 기업들도 빠르게 성장하는 이 시장의 경제적 인센티브에 자극을 받아 의료 AI 시장의 주요 플레이어로 부상하고 있습니다. 
Second, it is estimated that the market for health AI will increase from 4.9 billion USD in 2020 to 45.2 billion USD in 2026 (Markets & Markets, 2020). In particular, tech giants that are traditionally not health-related, such as Google, Microsoft, and IBM, are key players in the health AI market and are probably motivated by the economic incentives of this rapidly growing market.

셋째, 환자들은 AI를 사용하는 연결된 세상에 살고 있다는 사실을 알게 되었습니다. 환자들은 더 이상 의사 진료실에만 국한되지 않고, '닥터 구글'에게 조언을 구하고, 피트니스 트래커, 건강 AI 앱, 디지털 알약 등을 사용하여 건강을 모니터링하고 관리합니다(Gerke et al., 2019). 이러한 활동의 대부분은 환자 데이터를 수집하며, 데이터는 경제적 가치로 인해 오늘날 경제에서 "새로운 석유"라고 불리고 있습니다(The Economist, 2017). 한편, 병원은 데이터와 증거를 통해 개선된 환자 치료 개발을 추진하는 '학습형 의료 시스템'으로 거듭나도록 장려되고 있습니다(Olsen et al., 2007). 의료 AI는 새로운 방식으로 대량의 데이터를 분석할 수 있는 역량을 통해 병원이 이러한 목표를 달성하는 데 도움을 줄 수 있는 잠재력을 가지고 있습니다. 방대한 데이터 생성, 데이터 시장의 성장, 환자 치료 환경의 변화는 의료 AI의 의료 혁신 잠재력에 대한 환영할 만한 징후입니다. 
Third, patients have found themselves to be living in a connected world that uses AI. Health care is no longer confined to the doctor’s office—patients are targeted for health adds, are quick to consult ‘Dr. Google’ for advice, and use fitness trackers, health AI apps, and digital pills (Gerke et al., 2019) to help them monitor and manage their health. Many of these activities collect patient data, and data has been dubbed “the new oil” in today’s economy for its economic value (The Economist, 2017). Meanwhile, clinics have been encouraged to become “learning healthcare systems,” systems in which data and evidence are intended to drive the development of improved patient care (Olsen et al., 2007). Health AI has the potential to help hospitals achieve this goal through its capacity to analyze large quantities of data in novel ways. The massive generation of data, increasing market for data, and changing patient care landscape serve as welcoming indications for health AI’s potential to transform medicine.

그러나 이러한 변화에는 많은 윤리적 문제가 수반됩니다(아래 참조). 예를 들어, 아니타 호(2019)와 주나이드 나비(2018)는 헤이스팅스 센터 보고서에서 의료 분야에서 AI가 어떻게 윤리적으로 설계되고 구현되어야 하는지에 대한 글을 썼습니다. Ho는 의료 AI가 현재의 요구에 부응하고 그 과정에서 발생하는 문제에 대해 열린 자세를 유지하는 의료 서비스 품질 개선 문화 속에서 개발되어야 한다고 주장합니다. 나비는 의료 AI는 생명윤리 원칙을 지침으로 삼아 설계되어야 한다고 주장합니다. 미래의 중요한 의료 이해당사자인 의대생이 의료 AI 윤리에 대한 적절한 교육 없이는 의료 AI의 설계, 구현 및 사용에 참여하기 어렵다는 것이 우리의 주장입니다. 
Such changes, however, bring with them many ethical issues (see below). For example, both Anita Ho (2019) and Junaid Nabi (2018) have written in the Hastings Center Report about how AI should be designed and implemented ethically in medicine. Ho argues that health AI should be developed within a culture of quality improvement in health care that responds to current needs and remains open to issues that arise along the way. Nabi argues that health AI should be designed with bioethical principles as a guidance. We argue that, for medical students, as important future stakeholders in medicine, it will be difficult to participate in the design, implementation, and use of health AI without adequate training in health AI ethics.

일부 학자들은 이미 AI 시대에 의과대학 커리큘럼 개혁을 촉구한 바 있습니다(Kolachalama & Garg, 2018; Wartman & Combs, 2018; Wartman & Combs, 2019; Paranjape et al., 2019). 예를 들어, Kolachalama와 Garg(2018)는 의과대학이 AI의 '이점, 위험 및 윤리적 딜레마'에 중점을 둔 '머신러닝 리터러시'를 위해 노력할 것을 권장합니다. 2019년 6월, AMA는 증강 지능을 의학교육에 통합하는 것에 관한 정책을 발표했습니다. AMA는 무엇보다도

  • 의과대학 교수진에 데이터 과학자와 엔지니어를 포함시킬 것
  • 증강 지능 애플리케이션의 편견과 불균형을 해소하는 교육 자료를 제공할 것을 권장합니다.
  • 또한 협회는 인증 및 라이선스 기관에 증강 지능을 인증 및 라이선스 표준에 통합하는 방법을 고려할 것을 촉구합니다. 

Some scholars have already called for a medical school curriculum reform in the age of AI (Kolachalama & Garg, 2018; Wartman & Combs, 2018; Wartman & Combs, 2019; Paranjape et al., 2019). For example, Kolachalama and Garg (2018) encourage medical schools to strive for “machine learning literacy,” which includes an emphasis on “the benefits, risks, and the ethical dilemmas” of AI. In June 2019, the AMA released a policy regarding the integration of augmented intelligence into medical education. The AMA recommends, among other things,

  • the inclusion of data scientists and engineers on medical school faculties, as well as
  • educational materials that address bias and disparities of augmented intelligence applications.
  • The Association also calls on accreditation and licensing bodies to consider how augmented intelligence should be integrated into accreditation and licensing standards.

우리는 이러한 요구를 지지하며, 의료 인공지능의 윤리적 차원을 포괄적으로 다루는 의과대학 커리큘럼의 필요성을 강조합니다. 의료 전문가가 의료 AI에 적절히 대비할 수 있도록 의대생은 데이터 과학에 대한 지식뿐만 아니라 AI가 제기하는 윤리적 문제에 대한 미묘한 이해와 인식도 키워야 합니다. 오늘날의 의대생은 의료 서비스에 통합된 AI의 개발, 구현 및 평가에 참여하게 될 것입니다. 이러한 과정에 의미 있게 참여하려면 AI 윤리에 대한 탄탄한 기초가 필요합니다.
We support these calls and highlight the need for a medical school curriculum that comprehensively addresses the ethical dimensions of health AI. To ensure that health care professionals are adequately prepared for health AIs, medical school students do not only need to become knowledgeable in data science but also need to develop a nuanced understanding and awareness of the ethical issues raised by them. Today’s medical students will be involved in the development, implementation, and evaluation of AI that is integrated into health care. They require a solid foundation in AI ethics to engage meaningfully in these processes.

의대 교육에 필요한 윤리적 이슈는 무엇인가요?
What are the ethical issues requiring medical school education?

특히 의과대학 교육이 필요한 6가지 주요 윤리적 이슈는 의료 AI에 의해 제기됩니다:

  • 1. 사전 동의,
  • 2. 편견,
  • 3. 안전,
  • 4. 투명성,
  • 5. 환자 개인정보 보호,
  • 6. 할당.

우리는 모든 의료 전문가가 이러한 이슈가 AI와 어떻게 상호작용하는지에 대한 윤리적 이해가 있어야 한다고 생각합니다. 의대생은 이미 공부하면서 이러한 문제를 접했을 수도 있지만, AI는 이러한 문제를 복잡하게 만들고 특별한 주의가 필요한 고유한 우려를 제시합니다. 각 문제에 대해 사례 기반 방식으로 커리큘럼에 통합할 수 있는 AI의 예를 제공합니다. 
There are, in particular, six key ethical issues raised by health AI that require medical school education:

  • 1. informed consent,
  • 2. bias,
  • 3. safety,
  • 4. transparency,
  • 5. patient privacy, and
  • 6. allocation.

We believe that all health professionals should have an ethical understanding of how these issues interplay with AI. Although medical students may already come across these issues in their studies, AI complicates these issues and presents unique concerns that warrant special attention. For each issue, we provide examples with AI that can be incorporated into the curriculum in a case-based method.

정보에 입각한 동의
Informed consent

새로운 의료 AI를 임상 진료에 배치할 때 정보에 입각한 동의에 대한 긴급한 질문이 제기됩니다(Gerke et al., 2020c). 의사가 치료 계획을 결정하기 위해 의료 AI를 사용하는 경우 환자는 의사 결정 과정에 AI가 관여했다는 사실을 알 권리가 있나요? 만약, 그렇다면 환자에게 어떤 구체적인 정보를 알려야 할까요? (Cohen, 2020). 예를 들어, 임상의는 알고리즘을 훈련하는 데 사용되는 데이터가 전자 건강 기록 데이터인지 또는 인위적으로 생성된(합성) 데이터인지와 같은 데이터에 대해 환자에게 알려야 하나요?  
The deployment of new health AIs in clinical practice raises urgent questions about informed consent (Gerke et al., 2020c). If a doctor uses a health AI to determine a treatment plan, does the patient have a right to know that the AI was involved in the decision-making process, and if so, what specific information should the patient be told? (Cohen, 2020). For example, does the clinician need to inform the patient about the data that is being used to train the algorithm, such as whether it is electronic health record data or artificially created (synthetic) data?

환자의 자율성을 존중하기 위해 의료계는 일반적인 치료 동의서에 서명하는 것 외에 정보에 입각한 동의가 필요한 건강 AI 사용에 대해 결정할 필요가 있습니다. 이 문제에 대한 답은 특정 의료 AI와 그 적용 분야에 따라 달라질 수 있습니다. 가상의 미래 AI가 환자의 치료 과정을 완전히 자율적으로 결정하는 경우에는 구체적인 사전 동의가 필요할 수도 있습니다. 저희는 의사가 사전 동의를 둘러싼 윤리와 특정 의료 AI의 개발 방식, 작동 방식, 사용 의도를 이해해야만 이 문제에 대해 비판적인 의견을 제시할 수 있다고 믿습니다. 이해관계자들은 더 많은 의료 AI가 임상 진료에 도입되기 전에 지금부터 사전 동의의 윤리적 문제에 대한 논의를 시작해야 합니다. 이 논의를 거친 후 두 번째 단계로, 특정 의료 AI에 맞는 사전 동의에 관한 의사를 위한 가이드라인과 커뮤니케이션 계획이 개발되어 임상에서 유용한 도구로 사용될 수 있습니다. 의대생들은 이 분야를 주시할 필요가 있으며, 이러한 논의를 형성하는 데 중요한 역할을 할 수 있습니다. 
In an effort to respect patient autonomy, the medical community needs to decide if there is something essential about using health AIs that requires informed consent (in addition to signing the general treatment consent form). The answer to this issue will likely depend on the particular health AI and its application. Perhaps a hypothetical future AI that fully autonomously decides on the treatment course of a patient will warrant a specific informed consent. We believe that only by understanding the ethics surrounding informed consent, as well as how a specific health AI is developed, how it works, and how it is intended to be used, can physicians formulate a critical opinion on this matter. Stakeholders should start the discussion today on the ethical issue of informed consent before even more health AIs enter clinical practice. As a second step (after having this discussion), guidelines and communication plans for physicians on informed consent that are tailored to specific health AIs could then be developed and serve as a useful tool in clinical practice. Medical students need to watch this space and can also play a role in shaping this discussion.

편견
Bias

편견에는 다양한 유형이 있으며, 의료 전문가는 의료 AI에 존재하는 편견의 유형을 인식하고 환자를 대할 때와 의료 시스템 수준에서 이러한 편견을 완화하는 방법에 대해 생각하는 것이 중요합니다. 편향된 데이터로 의료 AI를 학습시키면 기존의 건강 격차가 줄어들기는커녕 오히려 확대될 수 있습니다. 예를 들어, 의사가 주로 백인 피부를 대상으로 학습된 의료 AI 암 검진 기기를 신뢰하여 흑인 환자의 피부가 어두운 사람에게 가장 흔한 흑색종(Villines, 2019)을 놓치는 시나리오가 발생할 수 있습니다(Adamson & Smith, 2018). 지도 머신러닝을 기반으로 하든 비지도 머신러닝을 기반으로 하든, 백인 피부만을 입력 데이터로 학습한 AI는 다른 피부 타입의 암을 진단하는 방법을 학습할 수 없습니다. 
There are different types of biases, and it is important for health care professionals to be aware of the types of biases that exist with health AI, and to think about how to mitigate such biases both within their patient encounters and on a health care system level. If health AIs are trained on biased data, existing disparities in health may be augmented rather than reduced. For example, the scenario could be that a Black patient’s acral lentiginous melanoma, the most common type of melanoma in individuals with darker skin (Villines, 2019), is missed because a physician trusts a health AI cancer screening device that was primarily trained on white skin (Adamson & Smith, 2018). Whether this AI is based on supervised or unsupervised ML, if it is only trained on white skin as input data, it cannot learn how to diagnose cancer in any other skin type.

다른 경우에는 알고리즘에 편견이 있을 수 있습니다. 예를 들어, 최근 대규모 의료 시스템과 보험사가 매년 미국 내 약 2억 명에게 적용되는 의료 결정을 안내하는 데 사용하는 알고리즘에서 흑인 환자에 대한 심각한 인종적 편견이 있음을 보여준 Obermeyer 등(2019)의 연구 결과가 있습니다. 이 알고리즘은 데이터 세트의 흑인 환자가 훨씬 더 아팠음에도 불구하고 백인 환자와 동일한 수준의 위험을 흑인 환자에게 잘못 할당했습니다(Obermeyer et al., 2019). 이러한 인종적 편향은 알고리즘이 건강 요구 수준을 대신하여 (질병 대신) 의료 비용을 사용했기 때문에 발생했습니다(Obermeyer 외., 2019). 흑인 환자의 건강에 더 적은 비용이 지출되었기 때문에 알고리즘은 흑인 환자가 더 건강하다고 잘못 결론을 내렸습니다(Obermeyer et al., 2019). 알고리즘 편향은 사용된 라벨에 대해 신중하게 생각함으로써 완화될 수 있지만(Obermeyer 등, 2019), 편향되지 않은 모델에 대해 학습할 수 있는 새로운 알고리즘도 필요합니다(Wiens 등, 2020). 
In other cases, the algorithm may exhibit bias. For example, Obermeyer et al., (2019) recently showed a major racial bias against Black patients in an algorithm used by large health systems and payers to guide health decisions applied to about 200 million people in the U.S. every year. The algorithm falsely assigned the same level of risk to Black as to White patients, even though Black patients in the dataset were much sicker (Obermeyer et al., 2019). Such a racial bias arose because the algorithm used health care costs (instead of illness) as a proxy for the level of health needs (Obermeyer et al., 2019). Since less money was spent on Black patients’ health, the algorithm incorrectly concluded that Black patients were healthier (Obermeyer et al., 2019). Algorithmic biases may be mitigated by carefully thinking about the labels used (Obermeyer et al., 2019), but new algorithms are also needed that can be trained on unbiased models (Wiens et al., 2020).

따라서 목표는 "제품이 설계되고 테스트된 후가 아니라 설계 단계에서부터 윤리를 고려하는 것"이어야 합니다(Gerke et al., 2019). 이해관계자, 특히 AI 제조업체는 의료 AI와 함께 존재할 수 있는 편견의 유형을 인식하고 제품 개발 과정에서 가능한 한 빨리 편견을 완화하기 위해 노력해야 합니다. 발생할 수 있는 편견의 유형에 대한 인식이 있다면 의대생들이 AI 개발 팀에 합류하여 미래의 의료 AI 설계에 기여할 수 있습니다. 또한, 미래의 직업에 대비하여 환자 치료를 위해 임상에서 사용하기 전에 의료 AI를 비판적으로 면밀히 검토할 준비가 될 것입니다. 
Consequently, the goal should be “ethics by design—rather than after a product has been designed and tested” (Gerke et al., 2019). Stakeholders, particularly AI makers, must be aware of the types of biases that can exist alongside health AI and try as early as possible in the development process of their products to mitigate biases. With an awareness of the types of biases that can arise, medical students may be encouraged to join AI development teams, and contribute to the design of future health AIs. Moreover, they will be prepared for their future profession and will be ready to critically scrutinize a health AI before using it in clinical practice for the treatment of their patients.

안전
Safety

속 쓰림을 호소하는 여성에게 위식도 역류 질환(흔히 위산 역류로 알려져 있음)이 있다고 가정하고 단순히 제산제를 추천하는 온라인 챗봇을 생각해 보세요. 숙련된 의사는 이 환자에게 심장마비를 즉시 배제하는 것이 중요하다는 것을 알고 있어야 합니다. 많은 AI 앱과 챗봇은 불필요한 병원 방문을 제한하도록 설계되었지만, 지속적인 업데이트, 점검 또는 규제가 이루어지지 않으면 소비자에게 심각한 피해를 입힐 수 있습니다. 
Consider an online chatbot that assumes that a woman with a sensation of heartburn has gastroesophageal reflux disease, commonly known as acid reflux, and simply recommends an antacid. A trained physician should know the importance of immediately ruling out a heart attack for this patient. Many AI apps and chatbots are designed to limit unnecessary doctor visits, but some of them can also cause serious harm to consumers if they are not continuously updated, checked, or regulated.

FDA와 같은 규제 당국은 최근 일부 의료용 AI(의료용 소프트웨어, 즉 SaMD, "하드웨어 의료 기기의 일부가 아니면서 이러한 목적을 수행하는 하나 이상의 의료 목적으로 사용되는 소프트웨어")를 규제하는 새로운 접근 방식을 도입하여 성능을 개선하고 안전성과 효과를 보장하기 위한 조치를 취하고 있습니다(IMDRF, 2013). 예를 들어, 소프트웨어 사전 인증 프로그램을 개발하려는 FDA의 노력(2019b), 소위 "업데이트 문제"와 "적응형" 알고리즘과 "잠금형" 알고리즘의 처리 문제를 해결하기 위한 최근 토론 보고서(2019c), 최근 실행 계획(2021)이 있습니다. 특히 FDA와 같은 규제 기관은 현재 시간이 지남에 따라 계속 학습하고 변화하는 알고리즘의 마케팅을 허용해야 하는지에 대한 문제에 직면해 있습니다(FDA, 2019c; Babic et al., 2019). 이러한 적응형 알고리즘의 마케팅을 허용하기로 결정할 경우, 이러한 AI/ML 기반 SaMD가 지속적으로 안전하고 효과적이라는 것을 어떻게 보장할 수 있는지에 대한 후속 문제에 직면하게 됩니다. 규제 당국은 이러한 새로운 혁신적 규제 모델의 세부 사항을 파악해야 하지만, 이러한 모델의 핵심 구성 요소는 기기 관점이 아닌 시스템 관점뿐만 아니라 AI/ML 시스템 고유의 기능으로 인한 위험에 초점을 맞춘 지속적인 위험 모니터링 접근 방식이 필수적입니다(Babic 외., 2019; Gerke 외., 2020a).  
Regulators like the FDA have recently initiated steps toward new approaches of regulating some health AIs—those that are classified as Software as a Medical Device (i.e., SaMD, “software intended to be used for one or more medical purposes that perform these purposes without being part of a hardware medical device”) (IMDRF, 2013)—to improve their performance and ensure their safety and effectiveness. Examples include the FDA’s effort to develop a Software Precertification Program (2019b), its recent discussion paper (2019c) to address the so-called “update problem” and the treatment of “adaptive” versus “locked” algorithms (Babic et al., 2019), and its recent Action Plan (2021). In particular, regulators like the FDA currently face the problem of whether they should permit the marketing of algorithms that continue to learn and change over time (FDA, 2019c; Babic et al., 2019). If they decide to permit the marketing of such adaptive algorithms, they face the follow-up issue of how they can safeguard that such AI/ML-based SaMD are continuously safe and effective. Regulators still need to figure out the details of such new innovative regulatory models, but it is essential that a key component of such models will be a continuous risk monitoring approach that focuses on risks due to features that are specific to AI/ML systems as well as a system view rather than a device one (Babic et al., 2019; Gerke et al., 2020a).

학생들이 이러한 노력을 이해하는 것이 중요하며, 특히 여전히 남아있는 의료 AI 안전에 대한 격차와 장벽에 주의를 기울여야 합니다. 지속적인 규제 이니셔티브에도 불구하고 미래의 의료 전문가는 특정 임상 의사 결정 지원 소프트웨어와 많은 AI 앱 및 챗봇과 같이 현재 많은 의료 AI가 FDA 검토 대상이 아니라는 사실을 알아야 합니다(미국 연방 식품, 의약품 및 화장품법, 520(o)(1)). FDA 시판 전 검토를 받아야 하는 의료용 AI의 경우, 안전성과 효과에 대한 합리적인 보증을 제공하기 위해 다양한 통제가 필요한 여러 경로가 적용될 수 있습니다(FDA, 2018d). 의대생은 복잡한 규제 환경을 인식하고 해당 분야의 새로운 발전과 프로세스에 계속 참여하는 것이 중요합니다. 
It is important for students to understand these efforts, with particular attention to the gaps and barriers to health AI safety that remain. Even with ongoing regulatory initiatives, future health professionals need to know that many health AIs are currently not subject to FDA review, such as certain clinical decision support software and many AI apps and chatbot (U.S. Federal Food, Drug, and Cosmetic Act, s. 520(o)(1)). Of those health AIs that do need to undergo FDA premarket review, they can be subject to different pathways requiring different controls to provide reasonable assurance of their safety and effectiveness (FDA, 2018d). It is important for medical students to be aware of the complicated regulatory landscape and to remain engaged with such processes and new developments in the field.

환자들이 진료실 밖에서 찾을 수 있는 의료 솔루션을 점점 더 많이 수용함에 따라 의료 전문가는 소비자 건강 AI의 잠재적 위험에 대해 환자에게 교육해야 합니다. 또한 안전을 염두에 두고 설계된 AI 앱과 챗봇을 추천할 수 있어야 합니다. 이미 시장에 압도적으로 많은 앱과 챗봇이 출시되어 있고 매일 더 많은 앱과 챗봇이 추가되고 있기 때문에 이는 의료 전문가에게 현실적인 도전이 될 것입니다. 또한 이러한 앱과 챗봇은 자주 업데이트되기 때문에, 여전히 신뢰할 수 있고 추천할 만한지 판단하기가 더욱 어렵습니다. 또한 AI가 환자 치료에 관여할 때 누가 책임을 져야 하는지에 대한 우려도 상당합니다(Price et al., 2019, 2021). 의대생들이 이러한 문제에 대한 인식을 갖게 되면 해당 분야의 전문가들과 협력하여 건강 앱과 챗봇의 안전성과 효과를 평가하는 강력한 윤리 및 법적 프레임워크를 개발하는 등 문제 해결에 참여하도록 장려할 수 있습니다. 
As patients embrace health care solutions that can be increasingly found outside of the doctor’s office, health professionals will need to educate patients about the potential risks of consumer health AIs. They will need to be able to recommend AI apps and chatbots that are designed with safety in mind. This will be a practical challenge for health professionals since there is already an overwhelming number of apps and chatbots available on the market, and more are added every day. In addition, these apps and chatbots are frequently updated, which makes it even harder to determine whether they are still trustworthy and recommendable. There are also significant concerns regarding who is liable when AI is involved in patient care (Price et al., 2019, 2021). By gaining an awareness of these problems, medical students might be encouraged to participate in solving them, such as by engaging with experts in the field to develop robust ethical and legal frameworks that evaluate the safety and effectiveness of health apps and chatbots.

투명성
Transparency

사전 동의와 안전 문제를 복잡하게 만들기 위해 '블랙박스'인 의료 AI를 사용하면 의사가 본질적으로 완전히 투명하지 않은 시스템으로 작업하면서 환자에게 어떻게 투명성을 유지할 수 있는지에 대한 의문이 제기됩니다. '블랙박스'는 일반적으로 의사의 환자 치료를 돕기 위해 설계되었지만 입력 데이터가 어떻게 분석되어 의사 결정에 도달하는지 설명하지 않는 소프트웨어로 설명할 수 있습니다(Daniel et al., 2019). 이러한 설명 불가능성은 의사가 쉽게 이해할 수 없는 복잡한 AI/ML 모델 또는 알고리즘이 독점적인 것으로 간주되기 때문에 발생할 수 있습니다(Daniel et al., 2019). 의사가 특정 환자에 대해 의료 AI/ML이 어떻게 또는 왜 결정을 내렸는지 이해할 수 없는 경우, 환자에게 알려야 할 내용은 물론 해당 소프트웨어에 의존해야 하는지 여부를 고려하는 것이 중요합니다. 데이터 과학자들이 AI/ML의 블랙박스를 열기 위해 노력하고 있지만(Lipton, 2016), 의사와 환자가 얼마나 많은 정보를 가져야 하는지에 대한 문제는 설명 가능한 AI와 함께 남아있을 것입니다. 
To complicate the matters of informed consent and safety, the use of health AIs that are ‘black boxes’ raises the question of how physicians can remain transparent with patients while working with systems that are, by nature, not fully transparent. ‘Black boxes’ can be described as software that is usually designed to help physicians with patient care, but that does not explain how the input data is analyzed to reach its decision (Daniel et al., 2019). This inexplicability may result from complicated AI/ML models that cannot be easily understood by physicians or due to the algorithm being considered proprietary (Daniel et al., 2019). If physicians cannot comprehend how or why a health AI/ML has arrived at a decision for a particular patient, it is important to consider whether they should be relying on the software, let alone what they should be informing their patients. Although data scientists are working on opening the black box of AI/ML (Lipton, 2016), the issue of how much information physicians and their patients should have will remain with explainable AI.

새로 배포된 의료 AI/ML이 환자의 사망 날짜를 예측했지만, 의사는 의료 AI/ML이 이 날짜를 어떻게 계산했는지 이해할 방법이 없는 상황을 생각해 보십시오. 사망률을 예측하는 ML 기법은 이미 여러 그룹에서 설명한 바 있습니다(Motwani 외., 2017; Shouval 외., 2017; Weng 외., 2019). 의료 AI/ML이 환자가 몇 시간 더 생존하지 못할 것이라고 계산했다고 상상해 보세요. 한편 의사는 제한적이기는 하지만 다른 환자에 대한 임상 경험을 바탕으로 환자의 예후를 훨씬 더 좋게 예측할 수 있습니다.

  • 사는 환자와 가족에게 건강 AI의 계산 결과를 알려야 할까요?
  • 의사가 정확히 뭐라고 말해야 할까요?

이제 대부분의 경우 건강 AI/ML이 올바른 것으로 판명되었다고 가정해 보겠습니다.

  • 이제 의사는 이 AI/ML에 전적으로 의존해야 할까요?
  • 의사가 임상에서 블랙박스형 의료 AI/ML 모델을 전혀 사용해야 할까요? 

Consider a situation in which a newly deployed health AI/ML predicts the date of a patient’s death, but the physician has no way of understanding how the health AI/ML has calculated this date. ML techniques to predict mortality have already been described by several groups (Motwani et al., 2017; Shouval et al., 2017; Weng et al., 2019). Imagine that the health AI/ML has calculated that the patient will not survive a few more hours. Meanwhile, based on clinical experience, albeit limited, with other patients, the physician would estimate a much better prognosis for the patient.

  • Should the physician inform the patient and their family about the health AI’s calculation?
  • What exactly would the physician say?

Now consider that the health AI/ML turns out to be correct in most such cases.

  • Should a physician now rely on this AI/ML fully?
  • Should physicians use black-box health AI/ML models in clinical practice at all?

이러한 질문에 대한 답은 의사의 법적 책임 위험과 같은 다양한 고려 사항에 따라 달라질 수 있습니다. 또한 AI/ML 제조업체가 무작위 임상시험 등을 통해 해당 기기가 안전하고 효과적이라는 충분한 증거를 제시했는지 여부에 따라 달라질 수 있습니다. 의대생이라면 알겠지만, 의학에서 사용되는 많은 약물은 초기에 완전히 이해되지 않았을 수 있습니다. 예를 들어, 임상의들은 약 70년 동안 아스피린이 해열, 진통, 항염증 효과가 있다는 것을 알고 있었지만 그 근본적인 메커니즘은 알지 못한 채 아스피린을 처방해 왔습니다(London, 2019). 아스피린이 사이클로옥시게나제와 결합하여 프로스타글란딘 생성을 억제하여 이러한 효과를 생성하는 경로는 나중에야 밝혀졌습니다(Vane & Botting, 2003). 따라서 신뢰할 수 있고 정확하며 장기와 같은 희소 자원을 할당하는 데 사용되지 않는다는 충분한 증거가 있는 한, 의사가 임상에서 일부 블랙박스 건강 AI/ML 모델을 사용할 수 있고 사용해야 한다고 주장할 수도 있습니다(Babic et al., 2020). 의대생들이 가까운 미래에 의사로서 블랙박스 의료 AI/ML 모델과 함께 일하게 된다면, 병원이 상당한 비용을 들여 구입하여 사용을 권장하고 있는 블랙박스 의료 AI/ML에 대해 병상에서 반대하는 자신을 발견하기 전에 윤리적으로 그렇게 하는 방법에 대한 논의가 시작되어야 합니다. 
The answers to such questions may depend on different considerations, such as the physician’s liability risk. They may also depend on whether the AI/ML maker has shown sufficient proof that the device is safe and effective such as through randomized clinical trials. As medical students might know, many of the drugs used in medicine may not have been fully understood initially. For example, clinicians prescribed Aspirin for about 70 years, knowing that the drug had antipyretic, analgesic, and anti-inflammatory effects, but without knowing its underlying mechanism (London, 2019). The pathway by which aspirin binds cyclooxygenase to inhibit prostaglandin production to produce these effects was only later understood (Vane & Botting, 2003). Thus, one might argue that physicians can (and perhaps should) use some black-box health AI/ML models in clinical practice, as long as there is sufficient proof that they are reliable and accurate and are not used for allocating scarce resources such as organs (Babic et al., 2020). If medical students are to be working alongside black-box health AI/ML models as physicians in the near future, the discussions about how to do so ethically should begin before they find themselves at the bedside disagreeing with a black-box health AI/ML that the hospital purchased for a considerable amount of money and thus is likely encouraging them to use.

환자 개인정보 보호
Patient privacy

임상 환경을 넘어 웨어러블과 건강 앱을 통해 일상 생활에서 환자로부터 수집되는 대량의 건강 데이터로 인해 환자 개인정보 보호가 중요한 고려 사항으로 떠올랐습니다. 전례 없는 양의 건강 데이터가 축적되면 환자가 어느 정도인지 인지하지 못한 채 환자의 개인정보가 침해될 수 있습니다. 
With the large amounts of health data collected from patients, beyond clinical settings and in daily life through wearables and health apps, patient privacy has emerged as an important consideration. The accumulation of unprecedented amounts of health data may compromise patient privacy, without patients even realizing to what extent.

예를 들어, 최근의 소송인 Dinerstein 대 Google 소송(2019)은 개인의 데이터 보호 및 개인정보 보호에 대한 새로운 관심을 반영하고 있습니다. 이 소송은 시카고대학교 의료센터의 환자였던 매트 디너스타인이 개인 자격으로, 그리고 비슷한 처지에 있는 다른 모든 환자를 대신하여 Google, 시카고대학교, 시카고대학교 의료센터를 상대로 제기한 소송입니다. 2017년 시카고대학교 의료센터와 Google은 병원 재입원과 같은 의료 이벤트를 예측하기 위해 새로운 머신러닝 기법을 사용하기 위한 파트너십을 선언했고(Wood, 2017), 1년 후 연구 결과가 발표되었습니다(Rajkomar 외., 2018). Dinerstein은 2009년부터 2016년 사이에 시카고대학교 의료센터가 환자의 명시적 동의 없이 자유 텍스트 메모와 데이터 스탬프가 포함된 수십만 건의 의료 기록을 Google에 전송했다고 주장했습니다(Dinerstein v. Google; Rajkomar 외., 2018). 그러나 이 소송은 2020년 9월 일리노이주 연방 판사가 Dinerstein이 손해를 입증하지 못했다는 이유로 기각했습니다. 이 사례는 구글과 같은 거대 기술 기업과 환자 데이터를 공유하는 병원을 상대로 소송을 제기하는 데 따르는 어려움을 강조하고, 의료 데이터 개인정보 보호가 불충분하다는 것을 보여줍니다(Becker, 2020). 
For example, the recent lawsuit, Dinerstein v. Google, has reflected the emerging concern for individuals’ data protection and privacy (2019). The lawsuit was by Matt Dinerstein, a patient of the University of Chicago Medical Center, individually and on behalf of all other patients similarly situated, against Google, the University of Chicago, and the University of Chicago Medical Center. In 2017, the University of Chicago Medical Center and Google proclaimed a partnership to use new ML techniques to predict medical events, such as hospital readmissions (Wood, 2017), and the study results were published a year later (Rajkomar et al., 2018). Dinerstein claimed that between 2009 and 2016, the University of Chicago Medical Center transferred hundreds of thousands of medical records to Google, which included free-text notes and datestamps without obtaining patients’ express consent (Dinerstein v. Google; Rajkomar et al., 2018). However, this lawsuit was dismissed in September 2020 by a federal judge in Illinois on the grounds that Dinerstein failed to demonstrate damages. This case highlights the challenges of pursuing claims against hospitals that share patient data with tech giants such as Google, and shows the insufficient protection of health data privacy (Becker, 2020).

이 사례를 통해 학생들은 데이터 처리 방법 및 공유 대상과 같은 데이터 공유 문제환자가 자신의 데이터에 대해 가져야 하는 권리의 유형에 대해 배울 수 있습니다. 이 사례는 다음과 같은 새로운 환자 개인정보 보호 문제에 대한 토론을 촉진하는 데 도움이 됩니다. 

  • 데이터 삼각 측량을 통한 재식별 문제(Cohen & Mello, 2019; Price & Cohen, 2019; Gerke 외., 2020b),
  • 의료 AI 혁신과 민감한 환자 데이터 간의 상호 작용,
  • 병원 시스템과 타사 의료 AI 개발자 간의 관계 

Through this example, students can learn about data sharing issues such as how data should be handled and with whom it should be shared, as well as the types of rights patients should have regarding their data. This example helps to facilitate a discussion on emerging patient privacy concerns, such as

  • the issue of reidentification through data triangulation (Cohen & Mello, 2019; Price & Cohen, 2019; Gerke et al., 2020b),
  • the interplay between health AI innovation and sensitive patient data, and
  • the relationship between hospital systems and third party health AI developers.

환자 개인정보 보호는 의학계에서 오랫동안 지켜온 원칙이며, 모든 의료 AI의 개발과 구현에 있어 핵심적인 고려사항으로 남아 있어야 합니다. 의대생은 의료 분야에서 데이터 프라이버시의 윤리적, 법적 차원에 대한 이해와 함께 새로운 의료 AI 개발을 접하여 환자 프라이버시를 위협하는 새로운 의료 기술의 구현을 비판적으로 평가할 수 있어야 합니다.
Patient privacy has been a longstanding principle in medicine, and should remain a key consideration with the development and implementation of all health AIs. Medical students should be confronted with new health AI developments alongside an understanding of the ethical and legal dimensions of data privacy in health care so they can critically appraise the implementation of new health technologies that threaten patient privacy.

할당
Allocation

마지막으로 할당 문제가 있습니다. 자원의 공정한 배분은 의료 분야에서 지속적으로 제기되는 문제이며, 의료 AI의 등장으로 더욱 복잡해졌습니다. 실제 사례 중 하나는 알고리즘을 기반으로 간병 자원을 할당하는 것입니다. 2016년에 주 프로그램의 일환으로 주당 56시간의 간병을 배정받았던 아칸소 주 출신의 뇌성마비 여성 태미 돕스(Tammy Dobbs)는 주정부가 알고리즘에 의존해 간병을 배정하기로 결정한 후 갑자기 32시간만 배정받았습니다(Lecher, 2018). 돕스 씨에 따르면 이 시간은 충분하지 않았고 알고리즘이 어떻게 결정에 도달했는지에 대한 정보도 제공되지 않았습니다(Lecher, 2018). AI는 이러한 결정을 보이지 않게 만들 수 있기 때문에 할당 결정을 복잡하게 만듭니다. 의대생들은 태미 돕스처럼 자동화된 시스템으로 인해 의료 자원에 대한 접근성이 저하될 수 있는 미래의 환자들을 옹호할 수 있도록 AI가 자원 할당과 어떻게 상호 작용하는지에 대한 인식을 가져야 합니다. 
Finally, there is the issue of allocation. The just allocation of resources is an ongoing issue in health care, made more complicated by the advent of health AI. One real-life example involves the allocation of caregiving resources based on an algorithm. In 2016, Tammy Dobbs, a woman from Arkansas with cerebral palsy who was initially allocated 56 h of care per week as part of a state program, was suddenly allotted just 32 h after the state decided to rely on an algorithm to allocate its caregiving (Lecher, 2018). According to Ms. Dobbs, these hours were insufficient, and she was not given any information about how the algorithm reached its decision (Lecher, 2018). AI complicates allocation decisions because it can make these decisions invisible. Medical students must gain an awareness of how AI interfaces with resource allocation so they can advocate for future patients, who, like Tammy Dobbs, may find their access to health care resources undermined by automated systems.

임상 환경에서 의료 AI를 사용하는 것은 이러한 도구의 급여화에 달려 있습니다. 미래의 많은 환자들, 아마도 가장 취약한 환자들은 보험이 적용되지 않는다면 의료 AI 진단 또는 의료 AI 치료 도구에 접근하지 못할 수도 있습니다. 학생들과 함께 논의해야 할 질문은 다음과 같습니다:

  • 의료 AI의 맥락에서 정의란 무엇인가?
  • 정의를 파괴하지 않고 증진하기 위해 의료 AI를 어떻게 설계하고 사용할 수 있을까요?
  • 의사, 의료 보험 회사, 공중 보건 당국은 어떻게 의료 AI의 공정한 배분을 보장할 수 있을까요? 

The use of health AIs in clinical settings also depends on the reimbursement of such tools. Many future patients—perhaps the most vulnerable ones—may not have access to health AI diagnostic or health AI treatment tools if their insurance does not cover them. Questions that should be discussed with students include:

  • What is justice in the context of health AI?
  • How can health AI be designed and used to promote justice rather than to subvert it?
  • How can physicians, health insurance companies, and public health authorities ensure the just allocation of health AI?

결론
Conclusion

의료 시스템의 중요한 미래 이해당사자인 오늘날의 의대생은 환자와의 일상적인 임상적 상호 작용에서, 그리고 의료에 AI를 통합하는 것에 대한 광범위한 정책 논의에서 의료 AI 사용과 관련된 중요한 결정을 내려야 할 것입니다. 최근의 사건들은 의대생들에게 의료 AI 윤리를 가르쳐야 할 필요성을 강조하고 있습니다. 의과대학에서 의료 AI에 대한 윤리적 논의를 시작하여 학생들이 의료 AI의 지속적인 발전에 주의를 기울일 뿐만 아니라, 윤리적 렌즈를 통해 이러한 발전을 이해하고 의료 AI 또는 기타 디지털 의료 기술로 인해 새롭게 제기되는 윤리적 문제를 처리하는 데 필요한 도구를 개발할 수 있도록 장려해야 합니다. 
As important future stakeholders in the health care system, today’s medical students will have to make important decisions related to the use of health AI, both in every day clinical interactions with patients, and in broader policy discussions about the emergent integration of AI into health care. Recent events are highlighting the need to teach health AI ethics to medical students. We must begin the ethical discussion about health AI in medical schools so that students will not only be encouraged to pay attention to the ongoing developments in health AI but also will develop the tools needed to understand these developments through an ethical lens and be able to deal with new emerging ethical issues raised by health AI or other digital health technologies.

이 커리큘럼을 구성하는 윤리적 이슈는 사전 동의, 편견, 안전, 투명성, 환자 개인정보 보호 및 할당입니다. 이러한 문제에 대해 도전적인 질문을 제기하고 사례 연구의 맥락에서 제시할 수 있는 최신 의료 AI 이벤트가 부족하지 않습니다. 의대생은 이러한 문제를 제기하는 실제 사례를 바탕으로 한 사례 연구를 접함으로써 이미 의료 현장에 영향을 미치고 있는 의료 AI의 윤리적 문제를 이해하고 해결할 수 있는 기술을 습득할 수 있습니다.

The ethical issues that should constitute this curriculum are informed consent, bias, safety, transparency, patient privacy, and allocation. There is no shortage of current health AI events that raise challenging questions about these issues, and that can be presented in the context of case studies. With exposure to case studies based on real-life examples that raise these issues, medical students can gain the skills to appreciate and solve the ethical challenges of health AI that are already affecting the practice of medicine.

 


Adv Health Sci Educ Theory Pract. 2021 Oct;26(4):1447-1458. doi: 10.1007/s10459-021-10040-3. Epub 2021 Mar 3.

The need for health AI ethics in medical school education

Affiliations

1Schulich School of Medicine and Dentistry, Western University, 1151 Richmond St, London, ON, N6A 5C1, Canada.

2The Petrie-Flom Center for Health Law Policy, Biotechnology, and Bioethics at Harvard Law School, Harvard University, 23 Everett Street, Cambridge, MA, 02138, USA. sgerke@law.harvard.edu.

PMID: 33655433

DOI: 10.1007/s10459-021-10040-3

Abstract

Health Artificial Intelligence (AI) has the potential to improve health care, but at the same time, raises many ethical challenges. Within the field of health AI ethics, the solutions to the questions posed by ethical issues such as informed consent, bias, safety, transparency, patient privacy, and allocation are complex and difficult to navigate. The increasing amount of data, market forces, and changing landscape of health care suggest that medical students may be faced with a workplace in which understanding how to safely and effectively interact with health AIs will be essential. Here we argue that there is a need to teach health AI ethics in medical schools. Real events in health AI already pose ethical challenges to the medical community. We discuss key ethical issues requiring medical school education and suggest that case studies based on recent real-life examples are useful tools to teach the ethical issues raised by health AIs.

Keywords: Artificial intelligence; Curriculum; Ethics; Health; Medical education.

When I say ... 해석적 현상학 (Med Educ, 2018)
When I say . . . hermeneutic phenomenology
William Bynum1 & Lara Varpio2

 

헤르메스는 그리스 신들 사이와 인간 세계에 메시지를 전달하고, 그 메시지를 해석하여 그 근본적인 의미를 전달하는 일을 담당했습니다.1 해석학적 현상학은 어원을 공유하는 메신저 신과 마찬가지로, 현상을 설명하는 것을 넘어 일상 생활의 맥락에서 그 의미를 탐구하고 전달하는 질적 연구 방법론입니다.2 해석적 현상학이라고도 불리는 해석적 현상학은 현상에 대한 참여자의 생생한 경험의 의미와 중심 구조, 즉 본질, 그리고 현상을 형성하는 맥락적 힘을 밝혀내고자 합니다. 따라서 연구자들은 학습자 학대 및 소진부터 사무직 또는 전문가 간 팀에서의 학습자 경험에 이르기까지 복잡하고 환경의 영향을 받는 현상을 보다 완벽하게 이해하는 데 도움이 될 수 있습니다. 
Among his duties, Hermes was responsible for delivering messages among the Greek gods and to the mortal world, and for interpreting those messages and conveying their underlying meaning.1 Hermeneutic phenomenology, like the messenger god with whom it shares its lexical root, is a qualitative research methodology that goes beyond describing a phenomenon to exploring and conveying its meaning in the context of everyday life.2 Sometimes referred to as interpretive phenomenology, hermeneutic phenomenology seeks to uncover the meaning and central structures, or essences, of a participant's lived experience with a phenomenon and the contextual forces that shape it. As such, it can help researchers more fully understand complex, environmentally influenced phenomena, ranging from learner mistreatment and burnout to learners' experiences on a clerkship or interprofessional team.

이 글에서는 해석학적 현상학의 세 가지 특징에 초점을 맞춰 다른 질적 방법론과 차별화되는 해석학적 현상학의 특징에 대해 설명합니다.

  • (i) 해석적 성격과 생생한 경험에 대한 초점,
  • (ii) 데이터 수집 및 분석 과정에 연구자의 경험을 포함한다는 점,
  • (iii) 데이터 분석을 안내하는 역동적이고 사려 깊은 성찰과 글쓰기 과정에

이러한 특징들이 해석학적 현상학이라는 용어의 의미를 형성합니다.
In this article, we focus on three features of hermeneutic phenomenology that, when combined, distinguish it from other qualitative methodologies:

  • (i) its interpretive nature and focus on lived experience,
  • (ii) the inclusion of researcher experiences in the processes of data collection and analysis, and
  • (iii) the dynamic, thoughtful process of reflecting and writing that guides data analysis.

These features shape what we mean when we say: hermeneutic phenomenology.

설명적 현상학의 목적은 현상을 그것이 존재하는 맥락과 분리된 별개의 실체로 기술하는 것이지만, 해석적 현상학은 현상의 의미를 기술하고 현상을 형성하는 맥락적 힘을 이해하고자 합니다.1, 3

  • 반 마넨에 따르면 해석학적 현상학의 목표는 '인간 경험 전체'의 맥락에서 특정 인간 현상의 더 깊은 의미를 더 잘 이해하기 위해 다른 사람들의 경험과 성찰에 주목하는 것입니다.4
  • 해석학적 현상학을 통해 우리는
    • 표면적 인식 아래에 가려진 인간 경험의 더 깊은 층을 이해하고,
    • 개인의 생활 세계 또는 그 사람이 사전 성찰적으로 경험하는 세계가 이 경험에 어떻게 영향을 미치는지 이해할 수 있습니다.4
  • 따라서 해석학의 목적은 이론을 개발하는 것(예: 근거 이론)이 아니라 우리가 살고 배우는 '세계와 더 직접적으로 접촉할 수 있는 그럴듯한 통찰력'을 개발하는 것입니다.4

예를 들어, 우리는 현재 해석학적 현상학을 사용하여 매우 개인적이고 종종 암묵적이며 인식되지 않는 감정인 수치심에 대한 의료 학습자의 경험을 이해하는 연구를 수행하고 있습니다. 해석학적 현상학은 다음과 같은 개인의 수치심 경험과 관련된 연구 질문에 답할 수 있는 최적의 방법입니다:

  • 의료 학습자는 임상 학습 환경 내에서 수치심을 어떻게 경험하는가?
  • 학습 환경의 어떤 힘이 학습자가 수치심을 경험하는 방식에 영향을 미치는가?

Whereas the purpose of descriptive phenomenology is to describe a phenomenon as a distinct entity separate from the context in which it exists, hermeneutic phenomenology seeks to describe the meaning of a phenomenon and understand the contextual forces that shape it.1, 3 

  • The goal of hermeneutic phenomenology, according to Van Manen, is to attend to other people's experiences and reflections to better understand the deeper meaning of a specific human phenomenon within the context of ‘the whole of human experience’.4 
  • Hermeneutic phenomenology allows us to understand
    • the deeper layers of human experience that lay obscured beneath surface awareness and
    • how the individual's lifeworld, or the world as he or she pre-reflectively experiences it, influences this experience.4 
  • Thus, rather than developing theory (e.g., as in grounded theory), the purpose of hermeneutics is to develop ‘plausible insights that bring us in more direct contact with the world’ in which we live and learn.4 

For example, we are currently conducting a study using hermeneutic phenomenology to understand medical learners' experiences with shame, a highly personal and often implicit, unrecognised emotion. Hermeneutic phenomenology is an optimal method to answer research questions related to individuals' experience of shame, such as:

  • How do medical learners experience shame within the clinical learning environment?
  • What forces from the learning environment influence the way in which learners experience it?

해석학적 현상학은 연구자가 자신의 과거 경험과 기존 지식이 해석 과정에 내재되어 있고 필수적인 것으로 인정할 것을 요구합니다.1, 2, 5 일반적으로 설명적 현상학에서 요구되는 것처럼 연구자는 현상에 대한 개인적인 경험, 편견 및 전문 지식을 괄호로 묶는 대신, 데이터 수집 및 분석 중에 자신의 주관성을 공개적으로 반영, 공유 및 주의하면서 동시에 해석학적 전통을 고수하고 반성성을 달성해야 합니다.

  • 학습자 수치심에 대한 연구에서 학습자, 교사 또는 인간으로서 자신이 경험한 수치심을 무시하려는 시도는 무의미하며, 참여자의 수치심 경험을 해석하는 의식에서 그러한 형성적이거나 영향력이 있거나 고통스러운 경험을 확실하게 괄호로 묶을 수 없습니다.

Hermeneutic phenomenology requires that researchers acknowledge their own past experiences and existing knowledge as embedded in and essential to the interpretive process.1, 2, 5 Rather than bracketing off their personal experiences, biases and expertise regarding the phenomenon (as is generally required in descriptive phenomenology), researchers openly reflect on, share, and attend to their subjectivity during data collection and analysis, simultaneously adhering to the hermeneutic tradition and achieving reflexivity.

  • In our study on learner shame, attempts to ignore the shame that we experienced ourselves as learners, teachers or human beings are futile; we cannot reliably bracket off such formative, impactful or painful experiences from the consciousness through which we interpret the experience of shame in our participants.

데이터 수집과 분석에 개인적인 관점을 인식하고 통합하면 해석 과정에 추가적인 차원을 더할 수 있습니다. 또한 반 마넨은 해석학적 방법론의 핵심 요소 현상에 대한 직접적인 경험에서 비롯되는 개인적인 관심 주제에서 시작하는 것이라고 주장합니다.4

  • 실제로 의학 학습자가 수치심을 경험하는 방식을 이해하는 데 대한 우리의 관심은 수치심이라는 감정에 대한 우리 자신의 투쟁에서 비롯되었으며, 이제 우리 자신과 분리할 수 없는 부분이며 다른 사람들이 어떻게 그 감정을 경험하는지에 대해 이야기하고 이해하는 능력을 향상시켜주는 투쟁에서 비롯되었습니다.

Recognising and incorporating our personal perspectives into data collection and analysis contributes additional dimensions to the interpretive process. Furthermore, Van Manen asserts that a key element of hermeneutic methodology is to begin with a topic of personal interest, one that often arises from our direct experience with the phenomenon.4 

  • Indeed, our interest in understanding how medical learners experience shame arose from our own struggles with the emotion, struggles that are now an inseparable part of who we are and that enhance our ability to talk about and understand how others experience the emotion.

해석학적 현상학의 또 다른 특징은 엄격한 분석 기법을 고수하지 않고 연구자가 현상을 형성하는 현상학적 주제, 즉 '생생한 경험의 구조'를 제시하기 위해 '훈련된 사려 깊음'에 의존한다는 점입니다.4 반 마넨은 해석학적 분석이 '규칙에 얽매인 과정'은 아니지만 무작위적인 것도 아니라고 주장합니다.4

  • 해석학적 현상학은 우리의 관심을 생생한 경험으로 이끄는 흥미로운 현상을 식별하는 것으로 시작하는 여러 연구 활동 간의 역동적인 상호작용을 중심으로 전개됩니다.
  • 그런 다음 연구팀원들은 개념화된 경험이 아닌 실제 경험을 조사하고, 참여자의 현상 경험을 특징짓는 본질적인 주제에 대해 성찰하면서 동시에 자신의 경험에 대해 성찰합니다.
  • 연구자는 자신의 성찰을 글로 기록한 다음 다시 성찰하고 글을 쓰는 과정을 반복하여 점점 더 견고하고 미묘한 분석을 개발합니다.
  • 분석하는 동안 연구자는 연구 중인 현상에 대한 강한 방향성을 유지하고(즉, 산만함을 피하고) 부분과 전체 간의 상호 작용에 주의를 기울여야 합니다.
  • 해석학적 순환이라고도 하는 이 마지막 단계에서는 데이터(부분)가 현상(전체)에 대한 이해를 발전시키는 데 어떻게 기여하는지, 그리고 각 부분이 서로의 의미를 어떻게 향상시키는지를 의도적으로 고려하는 연습을 강조합니다.5 실제로 위의 활동은 간헐적으로 또는 동시에 수행될 수 있습니다.
  • 이 기본 분석 프레임워크의 구체적인 적용 사례는 이미 발표되어 있으며, 그 운용에 유용한 예시로 활용되고 있습니다.2, 4, 5 

Another distinguishing characteristic of hermeneutic phenomenology is that it does not adhere to a strict set of analytical techniques; rather, the researcher relies on ‘cultivated thoughtfulness’ to present phenomenological themes, or the ‘structures of lived experience’, that shape the phenomenon.4 Although Van Manen asserts that hermeneutic analysis is not a ‘rule-bound process’, it is also not random.4 

  • It revolves around a dynamic interplay among multiple research activities that starts with identifying an interesting phenomenon that directs our attention towards lived experience.
  • Members of the research team then investigate experience as it is lived, rather than as it is conceptualised, and reflect on the essential themes that characterise the participant's experience with the phenomenon, simultaneously reflecting on their own experiences.
  • Researchers capture their reflections in writing and then reflect and write again, creating continuous, iterative cycles to develop increasingly robust and nuanced analyses.
  • Throughout the analysis, researchers must maintain a strong orientation to the phenomenon under study (i.e., avoid distractions) and attend to the interactions between the parts and the whole.
  • This last step, also described as the hermeneutic circle, emphasises the practice of deliberately considering how the data (the parts) contribute to the evolving understanding of the phenomena (the whole) and how each enhances the meaning of the other.5 In practice, the above activities may be accomplished intermittently or simultaneously.
  • Specific applications of this basic analytical framework have been published and serve as useful examples for its operationalisation.245


해석학적 분석의 산물은 현상에 대한 풍부한 설명으로, 독자를 참여자의 삶의 세계와 더 깊이 연결하여 표면 아래에 남아있을 수 있는 경험의 핵심 요소를 조명합니다.4 학습자 수치심의 경우, 이러한 설명은 의료 학습 환경 내에서 수치심 경험의 존재와 의미에 주목하고 학습자와 교육자 모두의 정서적 회복력을 높일 수 있는 개입을 알려줄 수 있는 잠재력을 지니고 있습니다.
The product of a hermeneutic analysis is a rich description of a phenomenon that more deeply connects the reader to the participant's lifeworld, illuminating key elements of his or her experience that may otherwise remain beneath the surface.4 In the case of learner shame, such descriptions have the potential to draw attention to the presence and meaning of shame experiences within the medical learning environment and to inform interventions that will buoy emotional resilience in learners and educators alike.

헤르메스처럼, 의학 학습과 관련된 어려움을 단순히 설명하는 데 그치지 않고, 이러한 어려움을 경험하는 방식을 전달하고 이에 영향을 미치는 맥락적 힘을 파악하고자 하는 의학교육자가 점점 더 많아지고 있습니다. 다행히도 우울증, 번아웃, 수치심과 같은 복잡한 인간 경험의 깊은 층을 조명하기 위해 그리스 신이 될 필요는 없습니다. 해석학적 현상학을 갖춘 우리 인간도 오늘날의 의료 학습 환경에서 학습자가 된다는 것이 무엇을 의미하는지 해석하고 전 세계에 전달할 수 있습니다.
Like Hermes, an increasing number of medical educators seek to go beyond simply describing the challenges associated with learning medicine to conveying how they are experienced and identifying the contextual forces that influence them. Fortunately, one doesn't have to be a Greek god to illuminate the deep layers of complex human experiences such as depression, burnout and shame. Equipped with hermeneutic phenomenology, even we mere mortals can interpret and convey what it means to be a learner in today's medical learning environment to the rest of the world.


Med Educ. 2018 Mar;52(3):252-253. doi: 10.1111/medu.13414. Epub 2017 Sep 12.

When I say … hermeneutic phenomenology

Affiliations collapse

1Fort Belvoir, Virginia, USA.

2Bethesda, Maryland, USA.

PMID: 28895184

DOI: 10.1111/medu.13414

No abstract available

현상학이 어떻게 다른 사람의 경험으로부터 배우게끔 하는가(Perspect Med Educ, 2019)
How phenomenology can help us learn from the experiences of others
Brian E. Neubauer1,2 · Catherine T.Witkop3 · Lara Varpio1

소개
Introduction

인간은 다른 사람의 경험으로부터 배울 수 있는 거의 유일한 능력을 가지고 있지만, 그렇게 하기를 꺼리는 것으로도 놀랍습니다.-더글러스 애덤스(Douglas Adams)
Human beings, who are almost unique in having the ability to learn from the experience of others, are also remarkable for their apparent disinclination to do so.—Douglas Adams

 

인간은 다른 사람의 경험으로부터 배울 수 있는 몇 안 되는 동물 중 하나이지만, 우리는 종종 그렇게 하는 것을 싫어합니다. 아마도 비슷한 상황은 결코 우리에게 닥칠 수 없다고 가정하기 때문일 것입니다. 같은 상황에 처하면 더 현명한 결정을 내릴 것이라고 가정하기 때문일 수도 있습니다. 개인의 주관적인 경험은 외부 현실에서 수집한 객관적인 데이터만큼 신뢰할 수 있는 정보가 아니라고 가정하기 때문일 수도 있습니다. 이러한 우려의 근거가 되는 가정이 무엇이든, 학자들이 다른 사람들의 경험으로부터 배우는 것은 필수적입니다. 사실 이것은 연구의 기본 전제입니다. 연구란 정보를 발견하거나 대상에 대한 새로운 이해를 얻기 위해 대상(예: 개인, 개인 집단, 사회 또는 사물)을 자세히 연구하는 것을 포함합니다[1]. 이러한 세부적인 연구를 위해서는 특정 현상에 대한 새로운 통찰력을 얻기 위해 다른 사람의 경험을 이해해야 하는 경우가 많습니다. 보건 전문직 교육(HPE) 분야의 학자들은 다른 사람의 경험을 통해 배워야 할 필요성에 대해 잘 알고 있습니다. 피드백, 직장 기반 학습, 임상적 추론 또는 기타 무수히 많은 현상의 효과를 극대화하기 위해 HPE 연구자들은 다른 사람의 경험을 주의 깊게 탐색하고 배울 수 있어야 합니다. 이러한 노력을 방해하는 것은 종종 방법론의 부족입니다. 다시 말해 HPE 연구원은 다른 사람의 경험에서 배우는 방법을 알아야 합니다. 
Despite the fact that humans are one of few animals who can learn from the experiences of others, we are often loath to do so. Perhaps this is because we assume that similar circumstances could never befall us. Perhaps this is because we assume that, if placed in the same situation, we would make wiser decisions. Perhaps it is because we assume the subjective experience of an individual is not as reliably informative as objective data collected from external reality. Regardless of the assumptions grounding this apprehension, it is essential for scholars to learn from the experiences of others. In fact, it is a foundational premise of research. Research involves the detailed study of a subject (i. e., an individual, groups of individuals, societies, or objects) to discover information or to achieve a new understanding of the subject [1]. Such detailed study often requires understanding the experiences of others so that we can glean new insights about a particular phenomenon. Scholars in health professions education (HPE) are savvy to the need to learn from the experiences of others. To maximize the effectiveness of feedback, of workplace-based learning, of clinical reasoning, or of any other of a myriad of phenomena, HPE researchers need to be able to carefully explore and learn from the experiences of others. What often curtails these efforts is a lack of methodology. In other words: HPE researchers need to know how to learn from the experiences of others.

현상학은 이러한 탐구를 지원할 수 있는 독보적인 위치에 있는 질적 연구 접근법입니다. 그러나 HPE 연구에 참여하는 접근법으로서 현상학은 그다지 큰 호응을 얻지 못하고 있습니다. 그 이유는 쉽게 알 수 있습니다: 현상학을 진정으로 이해하려면 현상학을 뒷받침하는 철학에 대한 이해가 필요합니다. 이러한 철학은 인간 경험의 의미를 이론화합니다. 다시 말해, 현상학 연구에 참여하려면 학자는 인간 경험에 대한 해석의 철학적 토대에 익숙해져야 합니다. 이것은 어려운 작업일 수 있지만, 더글러스 애덤스는 다른 사람의 경험으로부터 배우는 것이 결코 쉽다고 말한 적이 없습니다. 
Phenomenology is a qualitative research approach that is uniquely positioned to support this inquiry. However, as an approach for engaging in HPE research, phenomenology does not have a strong following. It is easy to see why: To truly understand phenomenology requires developing an appreciation for the philosophies that underpin it. Those philosophies theorize the meaning of human experience. In other words, engaging in phenomenological research requires the scholar to become familiar with the philosophical moorings of our interpretations of human experience. This may be a daunting task, but Douglas Adams never said learning from the experiences of others would be easy.

현상학이 답할 수 있는 질문과 이러한 종류의 연구가 제공할 수 있는 인사이트는 HPE에게 매우 중요합니다.

  • 수치심이란 무엇이며 그 경험이 의료 학습자에게 미치는 영향은 무엇인가[2]?
  • 공감하는 임상의가 된다는 것은 무엇을 의미할까요[3]?
  • 의료 학습자가 고난이도 시험에서 실패한 경험은 무엇입니까[4]?
  • 숙련된 임상의는 전문 진료에서 임상적 추론을 전달하는 방법을 어떻게 배울 수 있을까요[5]?

이러한 질문에 대한 해답은 우리 분야의 토대를 구성합니다. 이러한 질문에 답하기 위해 우리는 현상학을 사용하여 다른 사람들의 경험으로부터 배울 수 있습니다. 
The questions that phenomenology can answer, and the insights this kind of research can provide, are of foundational importance to HPE:

  • What is the experience of shame and the impact of that experience for medical learners [2]?
  • What does it mean to be an empathetic clinician [3]?
  • What is the medical learner’s experience of failure on high stakes exams [4]?
  • How do experienced clinicians learn to communicate their clinical reasoning in professional practice [5]?

Answers to such questions constitute the underpinnings of our field. To answer such questions, we can use phenomenology to learn from the experiences of others.

이 원고에서는 해석학적 현상학과 초월적 현상학이라는 두 가지 현상학의 철학과 방법론에 대해 살펴봅니다. 우리의 목표는 현상학의 복잡성을 단순화하거나 모든 HPE 연구자가 현상학을 사용해야 한다고 주장하는 것이 아닙니다. 그 대신 현상학이 HPE의 연구 체계에서 자리를 잡아야 할 가치 있는 연구 접근법이라는 점을 제안하고자 합니다. 우리는 이 두 가지 접근법을 철학적 뿌리의 맥락에 놓고 현상학적 연구 참여 방식 간의 유사점과 차이점을 설명할 것입니다. 이를 통해 HPE 연구자들이 연구 질문에 이러한 연구 접근 방식이 필요할 때 현상학에 신중하게 참여하도록 장려하고자 합니다. 
In this manuscript, we delve into the philosophies and methodologies of two varieties of phenomenology: hermeneutic and transcendental. Our goal is not to simplify the complexities of phenomenology, nor to argue that all HPE researchers should use phenomenology. Instead, we suggest that phenomenology is a valuable approach to research that needs to have a place in HPE’s body of research. We will place these two approaches in the context of their philosophical roots to illustrate the similarities and differences between these ways of engaging in phenomenological research. In so doing, we hope to encourage HPE researchers to thoughtfully engage in phenomenology when their research questions necessitate this research approach. 

현상학이란 무엇인가요?
What is phenomenology?

간단히 말해서 현상학은 현상을 경험한 사람의 관점에서 현상을 탐구하여 현상의 본질을 설명하고자 하는 연구 접근법이라고 정의할 수 있습니다[6]. 현상학의 목표는 무엇을 경험했는지, 어떻게 경험했는지 등 경험의 의미를 설명하는 것입니다[6]. 현상학에는 여러 가지 종류가 있으며, 각 현상학은 인간 경험의 대상과 방법을 생각하는 각기 다른 방식에 뿌리를 두고 있습니다. 다시 말해, 현상학의 각 접근 방식은 서로 다른 철학 학파에 뿌리를 두고 있습니다. 현상학적 연구 방법론을 선택하려면 학자는 자신이 수용하는 철학에 대해 성찰해야 합니다. 과학자가 수용할 수 있는 철학이 다양하다는 점을 고려할 때, 연구자가 활용할 수 있는 현상학적 전통이 광범위하다는 것은 놀라운 일이 아닙니다. 이 원고에서는 현상학에 대한 초월적 접근법과 해석학적 접근법을 강조하지만, 더 광범위한 현상학적 환경이 존재합니다. 예를 들어, 1997년에 출간된 현상학 백과사전에는 7가지 유형의 현상학에 대한 기사가 실려 있습니다[7]. 초월적/해석학적 분열을 해소하는 더 현대적인 전통도 개발되었습니다. 이러한 전통 중 몇 가지가 탭. 1 [8-10].
In simple terms, phenomenology can be defined as an approach to research that seeks to describe the essence of a phenomenon by exploring it from the perspective of those who have experienced it [6]. The goal of phenomenology is to describe the meaning of this experience—both in terms of what was experienced and how it was experienced [6]. There are different kinds of phenomenology, each rooted in different ways of conceiving of the what and how of human experience. In other words, each approach of phenomenology is rooted in a different school of philosophy. To choose a phenomenological research methodology requires the scholar to reflect on the philosophy they embrace. Given that there are many different philosophies that a scientist can embrace, it is not surprising that there is broad set of phenomenological traditions that a researcher can draw from. In this manuscript, we highlight the transcendental and the hermeneutic approaches to phenomenology, but a broader phenomenological landscape exists. For instance, the Encyclopedia of Phenomenology, published in 1997, features articles on seven different types of phenomenology [7]. More contemporary traditions have also been developed that bridge the transcendental/hermeneutic divide. Several of these traditions are detailed in Tab. 1 [810].

현상학에 대한 이러한 접근 방식을 이해하려면 대부분의 접근 방식이 현상학의 연구 대상에 대해 유사한 정의를 내리고 있다는 점을 기억하는 것이 유용합니다. 현상학은 일반적으로 다음에 대한 연구로 설명됩니다[11].

  • 우리의 경험에 나타나는 현상,
  • 우리가 현상을 인식하고 이해하는 방식, 그리고
  • 현상이 주관적 경험에 갖는 의미

간단히 말해, 현상학은 세계에 대한 개인의 생생한 경험을 연구하는 학문입니다[12]. 주관적으로 경험한 그대로의 경험을 조사함으로써 새로운 의미와 인식을 개발하여 그 경험을 이해하는 방법을 알려주거나 심지어 방향을 바꿀 수 있습니다[13].
To understand any of these approaches to phenomenology, it is useful to remember that most approaches hold a similar definition of phenomenology’s object of study. Phenomenology is commonly described as the study

  • of phenomena as they manifest in our experience,
  • of the way we perceive and understand phenomena, and
  • of the meaning phenomena have in our subjective experience [11].

More simply stated, phenomenology is the study of an individual’s lived experience of the world [12]. By examining an experience as it is subjectively lived, new meanings and appreciations can be developed to inform, or even re-orient, how we understand that experience [13].

이러한 공통된 이해를 바탕으로 이제 초월적(설명적) 현상학과 해석적(해석적) 현상학이 이 연구에 서로 다른 방식으로 접근하는 방법을 다루겠습니다. 이러한 접근 방식은 탭에 요약되어 있습니다. 2.
From this shared understanding, we now address how transcendental (descriptive) phenomenology and hermeneutic (interpretive) phenomenology approach this study in different ways. These approaches are summarized in Tab. 2.

 

초월적 현상학
Transcendental phenomenology

현상학은 수세기에 걸쳐 발전한 철학적 전통에서 비롯되었지만, 대부분의 역사학자들은 20세기 초에 현상학을 정의한 에드먼드 후설의 공로를 인정합니다[14]. 후설의 학문적 역사를 이해하면 현상학에 대한 그의 초월적 접근 방식에 대한 통찰력을 얻을 수 있습니다. 후설의 초기 연구는 수학을 연구 대상으로 삼았지만[15], 이후 다른 현상들을 탐구하는 방향으로 나아갔습니다. 철학에 대한 후설의 접근 방식은 객관적 경험과 주관적 경험을 동등하게 중요시했으며, 그의 작업은 '순수 현상학'에 대한 관심 또는 철학과 과학의 보편적 토대를 찾기 위한 노력에서 절정에 이르렀습니다[13]. 후설은 외부 현실에 대한 객관적 관찰에 절대적으로 초점을 맞추는 실증주의를 거부하고, 대신 개인의 의식에 의해 지각되는 현상이 과학적 연구의 대상이 되어야 한다고 주장했습니다. 따라서 후설은 어떠한 가정도 현상학의 탐구에 영향을 주어서는 안 되며, 철학적 또는 과학적 이론, 연역적 논리 절차, 그 밖의 경험적 과학이나 심리적 추측도 탐구에 영향을 주어서는 안 된다고 주장했습니다. 대신, 개인의 직관에 직접적으로 주어지는 것에 초점을 맞춰야 합니다[16]. 
Phenomenology originates in philosophical traditions that evolved over centuries; however, most historians credit Edmund Husserl for defining phenomenology in the early 20th century [14]. Understanding some of Husserl’s academic history can provide insight into his transcendental approach to phenomenology. Husserl’s initial work focused on mathematics as the object of study [15], but then moved to examine other phenomena. Husserl’s approach to philosophy sought to equally value both objective and subjective experiences, with his body of work ‘culminating in his interest in “pure phenomenology” or working to find a universal foundation of philosophy and science [13].’ Husserl rejected positivism’s absolute focus on objective observations of external reality, and instead argued that phenomena as perceived by the individual’s consciousness should be the object of scientific study. Thus, Husserl contended that no assumptions should inform phenomenology’s inquiry; no philosophical or scientific theory, no deductive logic procedures, and no other empirical science or psychological speculations should inform the inquiry. Instead, the focus should be on what is given directly to an individual’s intuition [16].

최근 스타이티가 주장했듯이, 현상학에 대한 이러한 태도는 '이전에 알려지지 않은 현실의 차원을 막 발견한 자연과학자[17]'의 태도와 유사합니다. 이러한 초점의 전환은 연구자가 '사물의 본질과 의미를 발견하기 위해 자아로 돌아가야 한다[18]'고 요구합니다. 후설은 이렇게 주장했습니다: '궁극적으로 모든 진정한 지식, 특히 모든 과학적 지식은 내적 증거에 달려 있습니다[19].' 내적 증거, 즉 의식에 나타나는 것이고, 여기가 현상을 연구해야 하는 곳입니다. 후설에게 이것이 의미하는 바는 주관적 지식과 객관적 지식이 서로 밀접하게 얽혀 있다는 것입니다. 현상의 실체를 이해한다는 것은 한 사람이 경험한 그대로의 현상을 이해하는 것입니다. 후설에게 있어 이러한 생생한 경험은 아직 발견되지 않은 존재의 차원입니다[17]. 후설에게 현상학은 인식론적 태도에 뿌리를 두고 있었으며, 그에게 현상학적 탐구의 핵심 질문은 '개인이 현상을 알거나 의식한다는 것은 무엇인가[20]'였습니다. 후설의 현상학 개념에서 경험된 모든 현상은 연구의 대상이 될 수 있으며, 따라서 단순한 감각적 지각(즉, 내가 보고, 듣고, 만지는 것)을 넘어 사고, 기억, 상상 또는 감정의 경험으로 분석의 범위를 넓힐 수 있습니다[21].

As Staiti recently argued, this attitude towards phenomenology is akin to that of ‘a natural scientist who has just discovered a previously unknown dimension of reality [17].’ This shift in focus requires the researcher to return ‘to the self to discover the nature and meaning of things [18].’ As Husserl asserted: ‘Ultimately, all genuine and, in particular, all scientific knowledge, rests on inner evidence [19].’ Inner evidence—that is, what appears in consciousness—is where a phenomenon is to be studied. What this means for Husserl is that subjective and objective knowledge are intimately intertwined. To understand the reality of a phenomenon is to understand the phenomenon as it is lived by a person. This lived experience is, for Husserl, a dimension of being that had yet to be discovered [17]. For Husserl, phenomenology was rooted in an epistemological attitude; for him, the critical question of a phenomenological investigation was ‘What is it for an individual to know or to be conscious of a phenomenon [20]?’ In Husserl’s conception of phenomenology, any experienced phenomenon could be the object of study thereby pushing analysis beyond mere sensory perception (i. e. what I see, hear, touch) to experiences of thought, memory, imagination, or emotion [21].

후설은 어떤 현상에 대한 생생한 경험에는 그 현상을 경험한 개인이 공통적으로 인식하는 특징이 있다고 주장했습니다. 이러한 공통적으로 인식되는 특징, 보편적 본질을 파악하여 일반화 가능한 설명을 개발할 수 있습니다. 후설에 따르면 현상의 본질은 그 현상의 진정한 본질을 나타냅니다. 그렇다면 후설의 현상학에 참여하는 연구자가 직면한 과제는 다음과 같습니다:
Husserl contended that a lived experience of a phenomenon had features that were commonly perceived by individuals who had experienced the phenomenon. These commonly perceived features—or universal essences—can be identified to develop a generalizable description. The essences of a phenomenon, according to Husserl, represented the true nature of that phenomenon. The challenge facing the researcher engaging in Husserl’s phenomenology, then, is:

사물을 그 자체로 기술하고, 직관과 자기 성찰을 고려하여 눈앞에 있는 것이 의식에 들어와 그 의미와 본질로 이해될 수 있도록 하는 것입니다. 이 과정에는 실제로 존재하는 것과 가능한 의미의 관점에서 존재하는 것으로 상상되는 것의 혼합, 즉 현실과 이상의 통합이 포함됩니다[18].
To describe things in themselves, to permit what is before one to enter consciousness and be understood in its meanings and essences in the light of intuition and self-reflection. The process involves a blending of what is really present with what is imagined as present from the vantage point of possible meanings; thus, a unity of the real and the ideal [18].

다시 말해, 현상에 대한 한 사람의 생생한 경험을 연구하여 그 현상의 보편적 본질을 강조하는 것입니다[22]. 이를 위해서는 연구자가 현상에 대한 참가자의 경험에 집중하고 현상의 본질을 파악하기 위해 자신의 태도, 신념, 가정을 중단해야 합니다. 후설이 철학과 과학에 기여한 가장 큰 공헌 중 하나는 연구자가 '인간의 마음이라고 부르는 것에 대한 순진한 이해뿐만 아니라 자연적인 태도를 중단하고, 새로운 탐구 분야로서 초월적 주관성의 영역을 밝힐 수 있게 해주는 방법'을 개발했다는 점입니다[17].
In other words, the challenge is to engage in the study of a person’s lived experience of a phenomenon that highlights the universal essences of that phenomenon [22]. This requires the researcher to suspend his/her own attitudes, beliefs, and suppositions in order to focus on the participants’ experience of the phenomenon and identify the essences of the phenomenon. One of Husserl’s great contributions to philosophy and science is the method he developed that enables researchers ‘to suspend the natural attitude as well as the naïve understanding of what we call the human mind and to disclose the realm of transcendental subjectivity as a new field of inquiry [17].’

후설의 '초월적 현상학(서술적 접근법이라고도 함)'에서 연구자의 목표는 초월적 주관성, 즉 '연구자가 조사에 미치는 영향을 끊임없이 평가하고, 편견과 선입견을 중화하여, 연구 대상에 영향을 미치지 않는 상태[22]'를 달성하는 것입니다. 연구자는 자신의 주관성이 참가자가 제공하는 설명에 영향을 미치지 않도록 독립적인 입장에 서야 합니다.

  • 이러한 생생한 경험의 차원은 초월적 자아의 상태에 도달할 수 있는 연구자가 가장 잘 접근할 수 있습니다[23]. 
    • [객관적인 연구자가 '참여자의 생생한 경험의 사실에 대한 설명'으로부터 '의식 자체를 파악할 수 있는 현상의 보편적 본질'로 이동하는 상태]
  • 초월적 자아의 상태에서 연구자는 현상에 대한 참가자의 경험에 사전 반성적으로 접근할 수 있는데, 이는 
    • '개념화에 대한 범주화에 의존하지 않는 것. 여기에는 종종 당연하게 여겨지는 것 또는 상식적인 것들도 포함한다[13]'는 것입니다. 
  • 초월적 자아는 연구에 어떠한 정의, 기대, 가정, 가설도 가져오지 않으며, 대신 이 상태에서 연구자는 참가자의 경험을 통해 현상의 본질을 이해하는 백지 상태인 타불라 라사의 입장을 취합니다.

In Husserl’s’ transcendental phenomenology (also sometimes referred to as the descriptive approach), the researcher’s goal is to achieve transcendental subjectivity—a state wherein ‘the impact of the researcher on the inquiry is constantly assessed and biases and preconceptions neutralized, so that they do not influence the object of study [22].’ The researcher is to stand apart, and not allow his/her subjectivity to inform the descriptions offered by the participants.

  • This lived dimension of experience is best approached by the researcher who can achieve the state of the transcendental I
    • a state wherein the objective researcher moves from the participants’ descriptions of facts of the lived experience, to universal essences of the phenomenon at which point consciousness itself could be grasped [23].
  • In the state of the transcendental I, the researcher is able to access the participants’ experience of the phenomenon pre-reflectively
    • that is ‘without resorting to categorization on conceptualization, and quite often includes what is taken for granted or those things that are common sense [13].’
  • The transcendental I brings no definitions, expectations, assumption or hypotheses to the study; instead, in this state, the researcher assumes the position of a tabula rasa, a blank slate, that uses participants’ experiences to develop an understanding of the essence of a phenomenon.

이 상태는 일련의 환원을 통해 달성됩니다. 

  • 초월적 단계라고 하는 첫 번째 환원은 일상 생활의 자연스러운 태도에서 벗어나 괄호 치기 과정이라고도 하는 에포케(판단 중지)를 통해 초월해야 합니다. 이는 연구자가 수학 방정식에서처럼 관심 있는 현상에 대한 이전의 이해, 과거의 지식, 가정을 제쳐두거나 괄호를 치는 과정입니다. 제쳐두어야 하는 이전의 이해에는 과학적 이론, 지식 또는 설명, 참여자가 주장하는 내용의 진실 또는 거짓, 연구자의 개인적인 견해 및 경험 등 다양한 출처가 포함됩니다[24].
  • 두 번째 단계인 초월적-현상학적 환원에서는 개별 참가자의 경험을 개별적으로 고려하고, 현상의 의미와 본질에 대한 완전한 설명을 구성합니다[18].
  • 다음으로 상상적 변형을 통한 환원모든 참가자의 의식적 경험에 대한 설명을 자유로운 변형 과정을 통해 본질에 대한 통합된 종합으로 증류하는 것입니다[25]. 이 과정은 직관에 의존하며 현상의 본질에 도달하기 위해 현상의 여러 변형을 상상해야 합니다[25]. 이러한 본질은 현상에 대한 모든 지식의 기초가 됩니다.

This state is achieved via a series of reductions.

  • The first reduction, referred to as the transcendental stage, requires transcendence from the natural attitude of everyday life through epoche, also called the process of bracketing. This is the process through which the researchers set aside—or bracket off as one would in a mathematical equation—previous understandings, past knowledge, and assumptions about the phenomenon of interest. The previous understandings that must be set aside include a wide range of sources including: scientific theories, knowledge, or explanation; truth or falsity of claims made by participants; and personal views and experiences of the researcher [24].
  • In the second phase, transcendental-phenomenological reduction, each participant’s experience is considered individually and a complete description of the phenomenon’s meanings and essences is constructed [18].
  • Next is reduction via imaginative variation wherein all the participants’ descriptions of conscious experience are distilled to a unified synthesis of essences through the process of free variation [25]. This process relies on intuition and requires imagining multiple variations of the phenomenon in order to arrive at the essences of the phenomenon [25]. These essences become the foundation for all knowledge about the phenomenon.

이러한 환원을 실현하기 위해 따르는 구체적인 과정은 초월적 현상학에 참여하는 연구자마다 다릅니다. 일반적으로 사용되는 초월적 현상학 방법 중 하나는 심리학자 클라크 무스타카스의 방법이며, 다른 접근법으로는 다음과 같은 연구가 있습니다: Colaizzi [26], Giorgi [27], Polkinghorne [28] 등이 있습니다. 어떤 접근법을 사용하든 초월적 현상학에 엄격하게 참여하기 위해서는 연구자 개인의 주관성이 데이터 분석과 해석에 편향되지 않도록 연구자는 괄호 작업에서 주의를 기울여야 합니다. 연구자 자신의 해석, 인식, 범주 등이 환원 과정에 영향을 미치지 않는 초월적 '나'의 상태에 도달하는 것이 과제입니다. 현대 철학자들은 후설의 브라케팅 개념과 계속 씨름하고 있다는 점에 유의하는 것이 중요합니다. 괄호 치기가 성공적으로 이루어지면 연구자는 연구자의 육체를 포함하여 세계와 그 내용 전체를 따로 떼어 놓습니다[17]. 이러한 브라케팅에 대한 헌신은 유지하기 어렵지만, 후설은 이것이 필요하다고 주장합니다. 물리적 현실에 대한 의존과 기초를 중단하는 것은 초월적인 나를 찾기 위해 인간적 경험을 버리는 유일한 방법입니다. 연구자들은 이러한 목표를 달성하기 위해 다른 질적 연구 방법의 관행[29]을 차용할 수 있습니다.

  • 예를 들어, 여러 연구자가 삼각 측량[30]을 통해 적절한 브래킷이 유지되었는지 확인하도록 연구를 설계할 수 있습니다.
  • 또는 연구 참여자가 확인[31]을 통해 데이터[18]를 검증하여 식별된 본질이 참가자의 경험에 공감하는지 확인할 수도 있습니다.

The specific processes followed to realize these reductions vary across researchers engaging in transcendental phenomenology. One commonly used transcendental phenomenological method is that of psychologist Clark Moustakas, and other approaches include the works of: Colaizzi [26], Giorgi [27], and Polkinghorne [28]. Regardless of the approach used, to engage rigorously in transcendental phenomenology, the researcher must be vigilant in his/her bracketing work so that the researcher’s individual subjectivity does not bias data analysis and interpretations. This is the challenge of reaching the state of the transcendental I where the researcher’s own interpretations, perceptions, categories, etc. do not influence the processes of reduction. It is important to note that modern philosophers continue to wrestle with Husserl’s notions of bracketing. If bracketing is successfully achieved, the researcher sets aside the world and the entirety of its content—including the researcher’s physical body [17]. While dedication to this bracketing is challenging to maintain, Husserl asserts that it is necessary. Suspending reliance on and foundations in physical reality is the only way to abandon our human experiences in such a way as to find the transcendent I. Researchers might borrow [29] practices from other qualitative research methods to achieve this goal.

  • For instance, a study could be designed to have multiple researchers triangulate [30] their reductions to confirm appropriate bracketing was maintained.
  • Alternatively, a study could involve validation of data [18] via member checking [31] to ensure that the identified essences resonated with the participants’ experiences.

후설의 초월적 현상학은 HPE 연구자들에 의해 활용되었습니다. 

  • 예를 들어, 2012년에 타바콜 등은 초월적 현상학 연구를 통해 의대생들의 공감에 대한 이해를 연구했습니다[32]. 저자들은 의대생들이 임상 전 교육에서 임상 교육으로 전환하면서 공감 능력을 상실하는 것은 의학 문헌에 잘 기록되어 있으며[33], 환자와 제공되는 의료 서비스의 질에 부정적인 영향을 미치는 것으로 밝혀졌다고 지적합니다[34].
  • 타바콜 등[32]은 설명적 현상학적 접근법(즉, 콜라이지와 조르기의 방법론 사용)을 사용하여 의대생이 수련 과정에서 경험하는 공감 현상에 대해 보고했습니다. 저자들은 공감 능력에 영향을 미치는 두 가지 주요 요인, 즉 타고난 공감 능력과 공감 표현에 대한 장벽을 확인했습니다[32].

Husserl’s transcendental phenomenology has been employed by HPE researchers.

  • For example, in 2012, Tavakol et al. studied medical students’ understanding of empathy by engaging in transcendental phenomenological research [32]. The authors note that medial students’ loss of empathy as they transition from pre-clinical to clinical training is well documented in the medical literature [33], and has been found to negatively impact patients and the quality of healthcare provided [34].
  • Tavakol et al. [32] used a descriptive phenomenological approach (i. e. using the methodology of Colaizzi and Giorgi) to report on the phenomenon of empathy as experienced by medical students during the course of their training. The authors identified two key factors impacting empathic ability: innate capacity for empathy and barriers to displaying empathy [32].

해석학적 현상학
Hermeneutic phenomenology

해석적 현상학이라고도 알려진 해석학적 현상학은 마르틴 하이데거의 연구에서 유래했습니다. 하이데거는 신학에서 경력을 시작했지만 철학 학생으로서 학계로 옮겨갔습니다. 하이데거의 철학적 탐구는 후설의 연구와 함께 시작되었지만, 나중에 후설의 초월적 현상학의 몇 가지 핵심 측면에 도전했습니다. 그의 전임자와의 근본적인 단절은 현상학적 탐구의 초점이었습니다.

  • 후설은 지식의 본질(즉, 인식론적 초점)에 관심이 있었던 반면, 하이데거는 존재의 본질과 시간성(즉, 존재론적 초점)에 관심을 가졌습니다[21].
  • (하이데거의) 해석학적 현상학은 인간의 경험과 삶의 방식에 초점을 맞추면서, 후설이 '세계에 주목하고, 지각하고, 기억하고, 생각하는 행위[13]'와 현상에 대한 지식인knowers으로서의 인간에 초점을 두었던 것에서 벗어나게 됩니다. 반면 하이데거는 세계 속의 행위자로서의 인간에 관심을 두고 개인과 그의 생활세계 사이의 관계에 초점을 맞춥니다.

Hermeneutic phenomenology, also known as interpretive phenomenology, originates from the work of Martin Heidegger. Heidegger began his career in theology, but then moved into academia as a student of philosophy. While Heidegger’s philosophical inquiry began in alignment with Husserl’s work, he later challenged several key aspects of Husserl’s transcendental phenomenology.

  • A foundational break from his predecessor was the focus of phenomenological inquiry. While Husserl was interested in the nature of knowledge (i. e., an epistemological focus), Heidegger was interested in the nature of being and temporality (i. e., an ontological focus) [21].
  • With this focus on human experience and how it is lived, hermeneutic phenomenology moves away from Husserl’s focus on ‘acts of attending, perceiving, recalling and thinking about the world [13]’ and on human beings as knowers of phenomenon. In contrast, Heidegger is interested in human beings as actors in the world and so focuses on the relationship between an individual and his/her lifeworld. 

하이데거가 말하는 생활세계 '개인의 현실은 그들이 살고 있는 세계에 의해 항상 영향을 받는다[22]'는 개념을 의미합니다. 이러한 방향성을 고려할 때, 개인은 지속적, 명시적 및 의식적으로 그러한 이해를 인식하지 않더라도 항상 세계 내에서 자신에 대한 이해를 이미 가지고 있는 것으로 이해됩니다 [17]. 하이데거에게 있어 현상에 대한 개인의 의식적 경험은 세계와 분리된 것이 아니며, 개인의 개인적 역사와도 분리된 것이 아닙니다. 대신 의식은 개인의 개인사와 그가 자란 문화를 포함하여 역사적으로 살아온 경험의 형성입니다 [22]. 개인은 자신의 생활세계에서 벗어날 수 없습니다. 인간은 자신의 배경 이해를 참조하지 않고는 현상을 경험할 수 없습니다. 따라서 해석학적 현상학은 '표면적 인식 아래에 가려져 있는 인간 경험의 더 깊은 층위와, 개인의 생활세계 또는 그 사람이 미리 성찰적으로 경험한 세계가 이 경험에 어떻게 영향을 미치는지 이해하고자 한다[35]'고 합니다. 해석학적 현상학은 개인의 내러티브를 연구하여 개인이 일상 생활과 생활세계에서 경험하는 것을 이해합니다.
Heidegger’s term lifeworld referred to the idea that ‘individuals’ realities are invariably influenced by the world in which they live [22].’ Given this orientation, individuals are understood as always already having an understanding of themselves within the world, even if they are not constantly, explicitly and/or consciously aware of that understanding [17]. For Heidegger, an individual’s conscious experience of a phenomenon is not separate from the world, nor from the individual’s personal history. Consciousness is, instead, a formation of historically lived experiences including a person’s individual history and the culture in which he/she was raised [22]. An individual cannot step out of his/her lifeworld. Humans cannot experience a phenomenon without referring back to his/her background understandings. Hermeneutic phenomenology, then, seeks ‘to understand the deeper layers of human experience that lay obscured beneath surface awareness and how the individual’s lifeworld, or the world as he or she pre-reflectively experiences it, influences this experience [35].’ Hermeneutic phenomenology studies individuals’ narratives to understand what those individuals experience in their daily lives, in their lifeworlds.

그러나 해석학적 전통은 설명적 이해를 넘어서는 것입니다. 해석학적 현상학은 개인의 생활 세계를 통해 경험과 현상을 해석하는 해석학에 뿌리를 두고 있습니다. 여기서 하이데거의 신학 배경은 현상학에 대한 그의 접근 방식에 영향을 미친 것으로 볼 수 있습니다. 해석학은 텍스트의 해석을 의미하며, 다른 언어로 된 문헌을 번역해야 할 필요성과 원문(예: 성경)에 대한 접근이 문제가 되는 상황에서 발전한 이론입니다[36]. 인간의 모든 경험이 개인의 생활세계에 의해 영향을 받고, 모든 경험이 그 배경을 통해 해석되어야 한다면, 해석학적 현상학은 현상에 대한 설명을 넘어 현상에 대한 해석으로 나아가야 합니다. 연구자는 개인의 배경이 미치는 영향을 인식하고 그것이 개인의 존재 경험에 미치는 영향을 설명해야 합니다.
But the hermeneutic tradition pushes beyond a descriptive understanding. Hermeneutic phenomenology is rooted in interpretation—interpreting experiences and phenomena via the individual’s lifeworld. Here, Heidegger’s background in theology can be seen as influencing his approach to phenomenology. Hermeneutics refers to the interpretation of texts, to theories developed from the need to translate literature from different languages and where access to the original text (e. g., the Bible) was problematic [36]. If all human experience is informed by the individual’s lifeworld, and if all experiences must be interpreted through that background, hermeneutic phenomenology must go beyond description of the phenomenon, to the interpretation of the phenomenon. The researcher must be aware of the influence of the individual’s background and account for the influences they exert on the individual’s experience of being.

그렇다고 해서 사회적, 문화적, 정치적 맥락과 불가분의 관계에 있는 개인의 주관적 경험이 미리 결정되어 있다는 말은 아닙니다. 하이데거는 개인이 상황적 자유를 가지고 있다고 주장했습니다. 상황적 자유는 '개인은 자유롭게 선택할 수 있지만, 그 자유는 절대적인 것이 아니라 일상 생활의 특정 조건에 의해 제한된다[22]'고 주장하는 개념입니다. 해석학적 현상학은 개인의 경험이 생활 세계를 통해 해석될 때 세계 속에서 개인의 존재가 갖는 의미와 이러한 의미와 해석이 개인의 선택에 어떤 영향을 미치는지 연구합니다[13]. 이러한 초점은 해석학적 현상학자가 연구 참여자가 제공한 내러티브를 개별 맥락과 관련하여 해석하여, [참여자가 가진 존재에 대한 이해의 근본적인 구조]와 [그것이 개인의 결정을 어떻게 형성했는지]를 조명할 것을 요구합니다[37].
This is not to say that the individual’s subjective experience—which is inextricably linked with social, cultural, and political contexts—is pre-determined. Heidegger argued that individuals have situated freedom. Situated freedom is a concept that asserts that ‘individuals are free to make choices, but their freedom is not absolute; it is circumscribed by the specific conditions of their daily lives [22].’ Hermeneutic phenomenology studies the meanings of an individual’s being in the world, as their experience is interpreted through his/her lifeworld, and how these meanings and interpretations influence the choices that the individual makes [13]. This focus requires the hermeneutic phenomenologist to interpret the narratives provided by research participants in relation to their individual contexts in order to illuminate the fundamental structures of participants’ understanding of being and how that shaped the decisions made by the individual [37].

해석학적 현상학을 구별하는 또 다른 핵심 측면은 탐구에서 연구자의 역할입니다. 해석학적 현상학은 연구자의 주관적인 관점을 괄호로 묶는 대신, 연구 대상과 마찬가지로 연구자도 자신의 생활세계에서 벗어날 수 없음을 인정합니다. 대신 연구자의 과거 경험과 지식이 탐구의 귀중한 길잡이가 됩니다. 연구자가 어떤 현상이나 경험을 조사할 만한 가치가 있다고 생각하게 하는 것은 연구자의 교육과 지식 기반입니다. 연구자에게 데이터에 대한 편견 없는 접근을 요구하는 것은 해석학적 현상학의 철학적 뿌리와 일치하지 않습니다. 대신, 이 전통에 따라 연구하는 연구자는 자신의 선입견을 공개적으로 인정하고 자신의 주관성이 분석 과정의 일부임을 반성해야 합니다[16].
Another key aspect that distinguishes hermeneutic phenomenology is the role of the researcher in the inquiry. Instead of bracketing off the researcher’s subjective perspective, hermeneutic phenomenology recognizes that the researcher, like the research subject, cannot be rid of his/her lifeworld. Instead, the researcher’s past experiences and knowledge are valuable guides to the inquiry. It is the researcher’s education and knowledge base that lead him/her to consider a phenomenon or experience worthy of investigation. To ask the research to take an unbiased approach to the data is inconsistent with hermeneutic phenomenology’s philosophical roots. Instead, researchers working from this tradition should openly acknowledge their preconceptions, and reflect on how their subjectivity is part of the analysis process [16].

해석학적 현상학의 해석 작업은 하나의 규칙에 얽매인 분석 기법에 얽매이지 않고, 여러 분석 활동의 상호작용을 포함하는 해석 과정입니다[35]. 일반적으로 이 과정은
The interpretive work of hermeneutic phenomenology is not bound to a single set of rule-bound analytical techniques; instead, it is an interpretive process involving the interplay of multiple analysis activities [35]. In general, this process:

먼저 실제 경험에 대한 관심을 유도하는 흥미로운 현상을 식별하는 것으로 시작합니다. 그런 다음 연구팀 구성원은 개념화된 경험이 아닌, 실제 경험을 조사하고, 참여자의 현상 경험을 특징짓는 본질적인 [현상학적] 주제에 대해 성찰하는 동시에, 자신의 경험에 대해 성찰합니다. 연구자는 자신의 성찰을 글로 기록한 다음, 다시 성찰하고 글을 쓰는 과정을 반복하여 점점 더 견고하고 미묘한 분석을 개발합니다. 분석하는 동안 연구자는 연구 중인 현상에 대한 강한 방향성을 유지하고(즉, 산만함을 피하고) 부분과 전체 간의 상호 작용에 주의를 기울여야 합니다. 해석학적 순환이라고도 하는 이 마지막 단계는 데이터(부분)가 현상(전체)의 진화하는 이해에 어떻게 기여하는지, 그리고 각 부분이 서로의 의미를 어떻게 향상시키는지를 의도적으로 고려하는 연습을 강조합니다[35].
Starts with identifying an interesting phenomenon that directs our attention towards lived experience. Members of the research team then investigate experience as it is lived, rather than as it is conceptualized, and reflect on the essential [phenomenological] themes that characterize the participant’s experience with the phenomenon, simultaneously reflecting on their own experiences. Researchers capture their reflections in writing and then reflect and write again, creating continuous, iterative cycles to develop increasingly robust and nuanced analyses. Throughout the analysis, researchers must maintain a strong orientation to the phenomenon under study (i. e., avoid distractions) and attend to the interactions between the parts and the whole. This last step, also described as the hermeneutic circle, emphasizes the practice of deliberately considering how the data (the parts) contribute to the evolving understanding of the phenomena (the whole) and how each enhances the meaning of the other [35].

현상학에 대한 해석학적 접근 방식에서 이론은 탐구의 초점을 맞추고, 연구 참여자에 대한 결정을 내리고, 연구 질문을 해결할 수 있는 방식을 결정하는 데 도움이 될 수 있습니다[22]. 이론은 연구 결과를 이해하는 데에도 도움이 될 수 있습니다. 해석학적 현상학에 대한 관심이 널리 알려진 학자 중 한 명은 맥스 반 마넨입니다[38]. 반 마넨은 해석학적 현상학이 '스스로를 체계적 도식이나 해석적 절차의 집합으로 기만적으로 환원시키지 않는다[39]'는 점을 인정합니다. 대신, 이러한 종류의 현상학은 연구자가 해석학적 현상학적 사고, 읽기, 쓰기의 프로젝트를 파악하기 위해 이 전통의 철학을 깊이 있게 읽을 것을 요구합니다.
In the hermeneutic approach to phenomenology, theories can help to focus inquiry, to make decisions about research participants, and the way research questions can be addressed [22]. Theories can also be used to help understand the findings of the study. One scholar whose engagement with hermeneutic phenomenology is widely respected is Max van Manen [38]. Van Manen acknowledges that hermeneutic phenomenology ‘does not let itself be deceptively reduced to a methodical schema or an interpretative set of procedures [39].’ Instead, this kind of phenomenology requires the researcher to read deeply into the philosophies of this tradition to grasp the project of hermeneutic phenomenological thinking, reading, and writing.

Bynum 등이 발표한 최근 연구는 해석학적 현상학이 HPE에서 어떻게 활용될 수 있는지를 보여줍니다[2]. 이 논문에서 바이넘 등은 의대생이 경험하는 감정으로서의 수치심 현상을 탐구하고 수치심 경험이 학습자에게 미치는 영향에 대한 통찰력을 제공했습니다. 이 연구는 학문적 탐구의 한 수단으로서 해석학적 현상학이 HPE에 불가분의 관계로 얽혀 있는 복잡한 현상에 대한 통찰력을 어떻게 제공할 수 있는지를 보여줍니다. 
A recent study published by Bynum et al. illustrates how hermeneutic phenomenology may be employed in HPE [2]. In this paper, Bynum et al. explored the phenomenon of shame as an emotion experienced by medical residents and offer insights into the effects of shame experiences on learners. As a means in scholarly inquiry, this study demonstrates how hermeneutic phenomenology can provide insight into complex phenomena that are inextricably entwined in HPE.

결론
Conclusion

현상학적 연구 방법론을 HPE 장학금에 통합하면 다른 사람들의 경험에서 배울 수 있는 기회가 생깁니다. 현상학적 연구는 학습, 행동, 커뮤니케이션과 관련된 복잡한 현상에 대한 이해의 폭을 넓힐 수 있으며, 이는 우리 분야와 밀접한 관련이 있습니다. 그러나 이러한 노력의 성공 여부는 이러한 접근법의 잠재적 가치에 대한 인식 개선과 현상학의 근본적인 철학적 지향과 방법론적 접근에 대한 친숙도 향상에 달려 있습니다. 가장 중요한 것은 HPE 학자들이 선택한 방법론의 신조와 그 근간이 되는 철학적 뿌리에 부합하는 연구 프로세스를 구축해야 한다는 점입니다. 이러한 정렬은 연구의 엄격성과 신뢰성을 확립하기 위한 초석입니다. 
Incorporating phenomenological research methodologies into HPE scholarship creates opportunities to learn from the experiences of others. Phenomenological research can broaden our understanding of the complex phenomena involved in learning, behaviour, and communication that are germane to our field. But success in these efforts is dependent upon both improved awareness of the potential value of these approaches, and enhanced familiarization with the underlying philosophical orientation and methodological approaches of phenomenology. Perhaps most critically, HPE scholars must construct research processes that align with the tenets of the methodology chosen and the philosophical roots that underlie it. This alignment is the cornerstone for establishing research rigour and trustworthiness.

특정 검증 활동 체크리스트나 필수 프로세스를 따르는 것만으로는 특정 현상학적 연구의 품질과 엄격성을 높일 수 없습니다. 대신, 연구 질문, 패러다임, 선택한 방법론 간의 충실성을 유지하는 것 외에도 강력한 현상학적 연구에는 읽기, 반성적 글쓰기, 다시 읽기, 다시 쓰기를 통해 데이터에 깊이 관여하는 것이 포함됩니다.

  • 무스타카스의 초월적 현상학 접근법에서 연구자는 데이터를 읽고, 데이터를 의미 단위로 환원하고, 환원된 데이터를 다시 읽고, 주제별 클러스터링에 참여하고, 데이터를 비교하고, 설명을 작성하는 등 연구자가 생생한 경험의 본질을 설명할 수 있을 때까지 지속적으로 데이터에 참여하고 성찰과 요약을 작성하는 지속적인 과정을 거칩니다[18].
  • 해석학적 현상학에서 학자들은 연구자가 데이터를 읽고, 모호한 이해를 구성하고, 반성적 글쓰기에 참여한 다음, 수정된 이해를 가지고 텍스트에 다시 참여하는 해석학적 순환에 참여하는 것을 설명합니다[40]. 해석학 연구자는 텍스트의 전체와 부분에 주의를 기울이는 읽기와 쓰기의 순환을 통해 생생한 경험에 대한 이해를 구성합니다.

두 전통 모두 읽기, 쓰기, 다시 읽기, 다시 쓰기를 통해 데이터에 깊이 관여하는 것이 기본입니다. 이러한 참여 작업이 표준화되어 있지는 않지만, 폴킹혼은 현상학적 연구에 대한 풍부한 묘사는 생생함, 풍부함, 정확성, 우아함과 같은 특성으로 특징지어질 수 있다고 제안합니다[41]. 이러한 특성이 질적 연구에서 어떻게 평가될 수 있는지는 의문이지만, 현상학적 데이터를 읽고 쓰는 데 있어 참여의 깊이에 대한 관심이 엄밀성을 위한 필수 조건임을 확인시켜 줍니다. 
Following a specific checklist of verification activities or mandatory processes cannot buoy the quality and rigour of a particular phenomenological study. Instead, beyond maintaining fidelity between research question, paradigm, and selected methodology, robust phenomenological research involves deep engagement with the data via reading, reflective writing, re-reading and re-writing.

  • In Moustakas’s approach to transcendental phenomenology, the researcher reads the data, reduces the data to meaning units, re-reads those reductions to then engage in thematic clustering, compares the data, writes descriptions, and so on in an ongoing process of continually engaging with the data and writing reflections and summaries until the researcher can describe the essence of the lived experience [18].
  • In hermeneutic phenomenology, scholars describe engaging in a hermeneutic circle wherein the researcher reads the data, constructs a vague understanding, engages in reflective writing, then re-engages with the text with revised understandings [40]. In cycles of reading and writing, of attending to the whole of the text and the parts, the hermeneutic researcher constructs an understanding of the lived experience.

In both traditions, deep engagement with the data via reading, writing, re-reading and re-writing is foundational. While this engagement work is not standardized, Polkinghorne suggests that rich descriptions of phenomenological research might be characterized by qualities such as vividness, richness, accuracy, and elegance [41]. While we question how these qualities might be evaluated in a qualitative study, they confirm that attention to the depth of engagement in reading and writing of the phenomenological data is a necessary condition for rigour.

현상학은 귀중한 도구이자 연구 전략입니다. 현상학의 철학적 토대나 방법론적 적용에 익숙하지 않은 사람들에게는 HPE 장학금에 지원하는 것이 어려워 보일 수 있습니다. 이 원고가 향후 연구에서 현상학의 활용을 고려하는 데 있어 약간의 불안감을 해소하는 데 도움이 되기를 바랍니다. 현상학을 HPE의 연구 질문에 적절히 적용하면 다른 사람들의 경험에서 배움으로써 이해를 증진하는 데 도움이 될 것이라고 믿습니다.
Phenomenology is a valuable tool and research strategy. For those who are not familiar with its philosophical underpinnings or methodological application, it can seem challenging to apply to HPE scholarship. We hope this manuscript will serve to relieve some of the apprehension in considering the use of phenomenology in future work. We believe that the appropriate application of phenomenology to HPE’s research questions will help us to advance our understanding by learning from the experiences of others.

 


 

Perspect Med Educ. 2019 Apr;8(2):90-97. doi: 10.1007/s40037-019-0509-2.

How phenomenology can help us learn from the experiences of others

Affiliations collapse

1Department of Medicine, Uniformed Services University, Bethesda, MD, USA. brian.e.neubauer.mil@mail.mil.

2General Internal Medicine Service, Walter Reed National Military Medical Center, Bethesda, MD, USA. brian.e.neubauer.mil@mail.mil.

3Department of Preventative Medicine and Biostatistics, Uniformed Services Medical Center, Bethesda, MD, USA.

4Department of Medicine, Uniformed Services University, Bethesda, MD, USA.

PMID: 30953335

PMCID: PMC6468135

DOI: 10.1007/s40037-019-0509-2

Free PMC article

Abstract

Introduction: As a research methodology, phenomenology is uniquely positioned to help health professions education (HPE) scholars learn from the experiences of others. Phenomenology is a form of qualitative research that focuses on the study of an individual's lived experiences within the world. Although it is a powerful approach for inquiry, the nature of this methodology is often intimidating to HPE researchers. This article aims to explain phenomenology by reviewing the key philosophical and methodological differences between two of the major approaches to phenomenology: transcendental and hermeneutic. Understanding the ontological and epistemological assumptions underpinning these approaches is essential for successfully conducting phenomenological research.

Purpose: This review provides an introduction to phenomenology and demonstrates how it can be applied to HPE research. We illustrate the two main sub-types of phenomenology and detail their ontological, epistemological, and methodological differences.

Conclusions: Phenomenology is a powerful research strategy that is well suited for exploring challenging problems in HPE. By building a better understanding of the nature of phenomenology and working to ensure proper alignment between the specific research question and the researcher's underlying philosophy, we hope to encourage HPE scholars to consider its utility when addressing their research questions.

Keywords: Hermeneutic phenomenology; Qualitative; Transcendental phenomenology.

CARDA: 보건전문직교육 연구에서 문헌분석의 가이드 (Med Educ, 2022)
CARDA: Guiding document analyses in health professions education research
Jennifer Cleland1 | Anna MacLeod2 | Rachel H. Ellaway3

 

 

1 소개
1 INTRODUCTION

'태초에 말씀이 계시니라'. 요한복음 1:1-3
‘In the beginning was the Word’. John 1:1–3

우리는 문서를 만들고, 문서를 사용하고, 문서를 보관하고, 문서를 주고받습니다. 집과 사무실에 있는 문서, 휴대하고 다니는 문서, 컴퓨터와 기타 디지털 기기에 있는 문서가 있습니다. 보내는 문서와 받는 문서가 있습니다. 현대 사회에 대한 우리의 지식과 현대 사회와의 상호 작용은 상당 부분 문서에 의해 매개됩니다. 정책 및 절차, 회의록, 보고서, 커리큘럼 맵, 시험지, OSCE 스테이션, 학습 사례 및 시뮬레이션 스크립트 등 수많은 문서를 생성하고 이를 통해 재인용되는 보건 전문직 교육(HPE)도 예외는 아닙니다. 문서는 HPE에 관련된 사람들의 일상적인 경험을 구조화하며, '어떤 것은 존재하게 하고 어떤 것은 부재하게 하며, 어떤 것은 보이게 하고 어떤 것은 보이지 않게 하는'(182페이지) 도구 역할을 합니다.1 
We make documents, we use documents, we keep documents and we exchange documents. There are documents in your home and in your office, documents you carry with you and documents on your computer and other digital devices. There are documents you send and documents you receive. Our knowledge of and interactions with contemporary society are substantially mediated by documents. Health professions education (HPE) is no outlier in this regard as it generates and is reinscribed through, its many documents, including policies and procedures, meeting notes, reports, curriculum maps, examination papers, OSCE stations, learning cases and simulation scripts. Documents structure the everyday experiences of those involved in HPE, and they serve as tools ‘through which some things are made present, and others absent, some things visible and others invisible’ (p. 182).1

문서는 연구 관점에서 풍부한 정보를 제공할 수 있습니다. 실제로 문서는 과거 사건을 이해하는 데 있어 가장 좋은, 때로는 유일한 데이터 소스인 경우가 많습니다(예: 2). 마찬가지로 현재에도 사람, 사건, 사회적 관계, 권력에 대한 지식의 대부분은 문서를 통해 간접적으로 얻게 됩니다. 스미스3는 이를 '이러한 형태의 사회를 통치, 관리 및 운영하는 관행의 기본이 되는'(257쪽) '문서적 실재'라고 설명했습니다.
Documents can provide a wealth of information from a research perspective. Indeed, documents are often the best, and sometimes the only, source of data for understanding past events (e.g.,2). Similarly, in the present, much of our knowledge of people, events, social relations and powers arises indirectly, through documents. Smith3 described this as ‘documentary reality’ that ‘is fundamental to the practices of governing, managing and administration of this form of society’ (p. 257).

문서가 우리 주변에 존재함에도 불구하고(그리고 부분적으로는 그 때문에) 문서가 무엇인지, 또는 문서가 되어야 하는지에 대한 하나의 표준적이거나 포괄적인 정의는 없으며, 오히려 문서가 무엇인지에 대한 다양한 담론이 존재합니다. 예를 들어, 문서는 물리적 물건으로 정의될 수도 있고,4 정보 소스5로 정의될 수도 있으며,6 탐구 행위를 통해 탄생할 수도 있습니다(상자 1 참조).
Despite their ambient presence (and perhaps in part because of it), there is no one canonical or overreaching definition of what documents are or should be; rather, there are different discourses of what documents can be. For instance, a document can be defined as a physical item,4 an informational source5 or brought into being by the act of inquiry6—see Box 1.


박스 1: 문서란 무엇인가요?
Box 1: What is a document?

문서가 무엇인지, 또는 문서가 되어야 하는지에 대한 표준적이고 포괄적인 정의는 없으며, 문서가 무엇일 수 있는지에 대한 다양한 담론이 존재합니다. 문서는 텍스트 본문일 수도 있고, 텍스트 내용 외에 연구자가 관심을 가질 만한 특성(예: 이미지, 주석 또는 상호 참조의 사용)이 있는 인공물일 수도 있습니다. 오리어리4는 문서를 다음과 같이 분류했습니다:
There is no one canonical or overreaching definition of what documents are or should be; rather, there are different discourses of what documents can be. They can be bodies of text or they can be artefacts with qualities of interest to researchers beyond their textual content (such as the use of images, annotations or cross-references). O'Leary4 classified documents as follows:

  • 공공 기록: 조직의 활동에 대한 공식적이고 지속적인 기록. HPE의 예로는 학생 성적표, 사명 선언문, 연례 보고서, 매뉴얼, 학생 핸드북, 전략 계획 및 강의 계획서 등이 있습니다.
  • 개인 문서: 개인의 행동, 경험 및 신념에 대한 1인칭 서술. 예를 들면 달력, 이메일, 스크랩북, 블로그, Facebook 게시물, 근무일지, 사건 보고서, 반성문/일기, 신문 등이 있습니다.
  • 물리적 증거: 연구 환경 내에서 발견된 물리적 물체. 예를 들면 전단지, 이메일, 포스터, 의제, 핸드북, 교육 자료 등이 있습니다.
  • Public Records: The official, ongoing records of an organisation's activities. Examples from HPE include student transcripts, mission statements, annual reports, manuals, student handbooks, strategic plans and syllabi.
  • Personal Documents: First-person accounts of an individual's actions, experiences and beliefs. Examples include calendars, e-mails, scrapbooks, blogs, Facebook posts, duty logs, incident reports, reflections/journals and newspapers.
  • Physical Evidence: Physical objects found within the study setting. Examples include flyers, emails, posters, agendas, handbooks and training materials.

HPE의 맥락에서는 다음으로 구분할 수 있습니다(Ellaway 외., 2019).

  • 교육 과정의 일부로 작성된 문서(예: 프로그램 평가, 강의 계획서 및 커리큘럼),
  • 교육 과정에서 작성되었지만 교육 목적이 아닌 문서(예: 개인 파일, 조직 정책 및 웹사이트),
  • 의학교육과 무관하게 작성된 문서(예: 소셜 미디어 게시물, TV 또는 영화 대본)

문서는 생성 방법과 목적, 보존 또는 큐레이션 방법, 캡처한 미디어, 생성 이후 복사, 필사, 편집 또는 수정 여부에 따라 다를 수 있습니다.
In the context of HPE, we might differentiate between

  • documents that were created as part of educational processes (e.g., program evaluations, syllabi and curricula),
  • documents created in education but not for educational purposes (e.g., personal files, organisational policies and websites), and
  • documents created outside of medical education altogether (e.g., social media posts, TV or film scripts) (Ellaway et al., 2019).

Documents can differ in how they were produced and for what purposes, as well as how they were preserved or curated, what media they were captured on and whether they have been copied, transcribed, edited or redacted since their creation.

문서는 중립적인 것이 아니라 사회적으로 구성된 것입니다.문서의 사회성에 주목하면 누가, 어떤 목적으로, 어떤 맥락/사회적 위치에서 문서를 만들었는지에 주목하게 됩니다. 다시 말해, 문서는 단순히 문서에 포함된 정보 그 이상이며, 문서가 무엇을 나타내는지, 그리고 문서가 해석되고 사용될 수 있는 무수한 방식에 관한 문제이기도 합니다. 
Documents are not neutral, they are socially constructed.7 Attending to the sociality of documents focuses attention on who created it, for what purposes and in what context/social situatedness. In other words, a document is more than the information it contains; it is also a matter of what it represents and the innumerable ways in which it might be interpreted and used.

연구자는 각 연구의 맥락에서 문서가 의미하는 바를 정의해야 합니다. Prior8는 ''문서'라는 단어는 어떤 종류의 물리적 또는 전자적 용기를 나타내는 명사로 사용되는 경향이 있지만... 어떤 대상을 문서로 표시하는 것은 그것이 담고 있는 내용이나 물리적 또는 전자적 형식이 아니라 정보의 전달자로서의 역할과 사용'이라고 주장했습니다(Briet9 및 Lund 참조).10 반면에 Ricoeur는 문서를 탐구 행위로 인해 생겨난다고 설명했습니다.6 이는 과학적 탐구에서 데이터의 정의와 더 일치하는데, 합법적인 출처의 독점 목록보다는 선택 및 분석 행위가 더 중요하다는 점입니다. 
Researchers need to define what they mean by documents in the context of each study. Prior8 argued that[T]he word “document” tends to be used as a noun to denote a physical or electronic container of some kind … however, what marks an object as a document is not what it contains nor its physical or electronic format, but its role and use as a conveyor of information—see also Briet9 and Lund.10 Ricoeur on the other hand described documents as brought into being by the act of inquiry.6 This is more consistent with a definition of data in scientific inquiry: acts of selection and analysis matter more than exclusive lists of legitimate sources.


문서 분석(DA)은 일반적으로 텍스트 및/또는 이미지가 포함된 인쇄 또는 전자 문서를 포함하는 체계적인 연구를 포괄하는 용어입니다.11 DA는 연구 참여자로부터 정보를 직접 도출하지 않으므로 참여자의 반응이나 행동 변화 가능성을 제거하므로 비교적 방해가 적습니다.12 DA는 [과거 사건에 대한 역사적 분석과 비판적 이론적 관점의 표현]에서 [정책 및 이론 개발]에 이르기까지 다양한 용도로 사용될 수 있습니다. 그러나 많은 연구에서 문서가 엄격하고 논리적인 DA 방법론을 따르기보다는 '상대적으로 조용히 '현장'에 들어왔다가 나가는'(417쪽) 경향이 있습니다.5 구어에 비해 문서 기반 데이터를 과소평가하거나 DA 연구의 수행이나 보고에 거의 관심을 기울이지 않는 연구자들에 대한 비판도 있었습니다.13-16
Document analysis (DA) is an umbrella term for systematic research involving printed or electronic documents, typically containing text and/or images.11 It is relatively unobtrusive as it does not involve the direct elicitation of information from research participants and thus removes the potential for reaction or changed behaviour from participants.12 There are many possible uses of DA, ranging from historical analyses and articulations of critical theoretical perspectives on past events to policy and theoretical development. However, rather than following rigorous and logical DA methodologies, documents in many studies have tended ‘to enter and to leave the ‘field’ in relative silence’ (p. 417).5 There has also been criticism of researchers who under-privilege document-based data compared to the spoken word or who pay little attention to the conduct or reporting of DA studies.13-16

보건 전문직 교육(HPE) 실무, 토론 및 문화의 문서화 현실에 의도적으로 조율하고 DA를 사용하는 것은 HPE 연구에서 아직 개발되지 않은 풍부한 잠재력을 가지고 있으며, 이는 다른 연구자들이 더 깊이 탐구하도록 남겨둘 문제입니다. 그러나 이 연구의 계기가 된 것은 DA가 HPE 연구에서 제대로 개발되지 않아 엄밀성과 명확성이 부족하다는 가설이었습니다. 이 가설을 탐구하기 위해 메타 연구 검토 프로세스를 채택하여17 결과보다는 방법에 비판적으로 집중할 수 있었습니다. 따라서 이 연구는 더 나은 방법을 개척하기 위한 연구를 수행하기 위한 것이었습니다.18, 19 
Deliberately attuning to the documentary reality of health professions education (HPE) practice, debate and culture and the use of DA holds a wealth of untapped potential in HPE research, a matter that we will leave others to explore in more depth. However, the trigger for this study was our hypothesis that DA has been underdeveloped in HPE research, with a resulting lack of rigour and clarity. To explore this hypothesis, we employed a meta-study review process,17 which allowed for a critical focus on methods rather than on outcomes. As such, this study was about conducting research on research to pioneer better methods.18, 19

방법론적 입장과 다양한 절차적 방법의 집합으로서 DA에 초점을 맞추기 위해 메타 방법 접근법을 채택했습니다.20 우리의 목표는 HPE 문헌에서 DA의 현재 상태를 설명하고, DA에 참여하는 연구자를 지원하는 방법을 파악하고, 우리 분야의 다른 방법과 비교할 수 있는 방법론적, 분석적, 보고의 엄격성 표준을 제안하는 것이었습니다. 이를 통해 HPE에서 문서 정보에 기반한 연구의 품질을 개선하는 데 기여하고자 했습니다. 
Given our focus on DA both as a methodological stance and as a set of various procedural methods, we adopted a meta-method approach.20 Our aims were to describe the current state of DA in the HPE literature, to identify ways to support researchers engaging in DA and to propose standards of methodological, analytical and reporting rigour comparable to other methods in our field. Collectively, we sought to contribute to improving the quality of document-informed research in HPE.

이를 위해 다음과 같은 검토 질문을 던졌습니다:
To that end, the review questions were as follows:
1. HPE 연구 논문에서 DA는 어떻게 접근해 왔습니까?
2. HPER(보건 전문직 교육 연구)에서 현재 DA 관행의 강점과 약점은 무엇인가?
3. HPER에서 DA 관행을 강화하려면 무엇이 필요한가?
4. DA를 통해 해결할 수 있는 지식의 격차는 무엇입니까?

  1. How has DA been approached in HPE research papers?
  2. What are the strengths and weaknesses of current DA practices in HPER (health professions education research)?
  3. What is needed to strengthen DA practices in HPER?
  4. What are the gaps in our knowledge that could be addressed through DA?

2 방법론
2 METHODS

DA의 방법론적 입장과 절차적 방법에 초점을 맞추다 보니 범위 검토 접근 방식을 취하게 되었을 수 있습니다. 그러나 범위 검토Scoping review는 '연구 활동의 범위, 범위 및 성격을 검토'하고 '기존 문헌의 연구 공백을 파악'할 수 있지만,21 연구 과정을 명시적으로 고려하는 메타 연구의 초점과 구체성이 부족합니다. 따라서 우리의 연구 설계는 메타 연구에서 inform되었으며,17 '실질적 영역에서 연구의 이론, 방법 및 데이터 분석을 면밀히 조사하는 분석, 그리고 새로운 지식 창출에 적용하는 마무리로 종합'(2페이지)을 포함합니다.

  • 분석과 관련하여 우리의 목표는 연구 목적으로 사용된 문서가 식별, 기술, 관리 및 분석된 방식을 종합하고 해석하는 것이었습니다. 즉, 메타 연구는 사용된 DA 방법의 인식론적 건전성(지식의 원천으로서 문서의 표현과 문서에서 도출된 지식 또는 이를 기반으로 한 지식 사이의 일치와 일관성)과 방법론적 적절성에 초점을 맞추었습니다.
  • 종합 측면에서, 우리의 목표는 특히 강점과 한계, 문헌의 동향, 우리 분야에서 DA의 수행과 보고가 어떻게 개선될 수 있는지에 중점을 두고 HPER의 DA 연구에 대한 증거에 기반한 설명에 도달하는 것이었습니다. 

Our focus on methodological stance and procedural methods in DA might have led us to take a scoping review approach. However, while scoping reviews can both ‘examine the extent, range and nature of research activity’ and ‘identify research gaps in the existing literature’,21 they lack the focus and specificity of meta-study, which explicitly considers research processes. Our study design was therefore informed by meta-study,17 which involves analysis, the scrutiny of the theory, method, and data analysis of research in a substantive area, and culminates in synthesis, an application of that scrutiny to the generation of new knowledge’ (p. 2).

  • With respect to analysis, our goal was to synthesise and interpret the ways in which documents used for research purposes had been identified, described, managed and analysed. This meant that our meta-study focused on the apparent epistemological soundness (an alignment and coherence between the articulation of documents as sources of knowledge and the knowledge that was derived from them or based upon them) and methodological appropriateness of the DA methods used.
  • In terms of synthesis, our goal was to arrive at an evidence-informed description of DA research in HPER with a particular focus on its strengths and limitations, trends in the literature and how the conduct and reporting of DA in our field might be improved.

포지셔닝
Positionality

우리는 이 연구를 수행하면서 우리가 가져온 관점에 주목합니다. 이 연구는 HPER의 방법론과 이론에 대한 지속적인 논의를 바탕으로 개발되었으며, 처음에는 DA 연구를 수행한 저희의 경험을 바탕으로 했습니다.

  • 보다 구체적으로, JC는 연구의 일환으로 문서 분석을 수행한 경험이 있고(예: Cleland 외.22, Patterson 외.23), 연구 내에서 DA를 사용한 박사 과정 학생을 감독한 경험이 있습니다(예: Coyle 외.24, Hawick 외.25).
  • AM은 문제 기반 학습 연구(To 외.26 및 MacLeod 외1)와 리더십 직무 기술서 연구(Gorsky 외.27)에서 문서를 주요 소스로 사용하고 삼각 측량을 위해 DA를 사용한 초기 연구에서 DA를 주요 소스로 사용한 경험을 가지고 있습니다. 각각의 경우 문서 소싱, 관리 및 분석 방법과 관련하여 추가 설명의 기회가 있습니다.
  • RHE는 연구의 일환으로 문서 분석을 수행한 경험이 있었는데28-30, 편집자이자 멘토로서의 다른 관점을 이 문제에 적용했습니다. 우리 자신의 DA 경험과 이 분야의 다른 사람들의 DA 작업을 읽으면서 일반적으로 DA 관행의 깊이와 엄격함을 개선하기 위해 노력했습니다. 

We note the perspectives we brought to bear in undertaking this research. The study was developed from our ongoing discussions about methodology and theory in HPER and was based initially on our own experiences in conducting DA research.

  • More specifically, JC had experience in conducting document analyses as part of her research (e.g., Cleland et al.22, Patterson et al.23) and in supervising doctoral students who used DA within their research (e.g., Coyle et al.24 and Hawick et al.25).
  • AM had experience using DA as a primary source in earlier research where documents were used both as a primary source and to triangulate in studies of Problem Based Learning (To et al.26 and MacLeod et al1) and also as an object in studies of leadership job descriptions (Gorsky et al.27). In each case, there are opportunities for further explanation with respect to how documents were sourced, managed and analysed.
  • RHE had experience in conducting document analyses as part of her research28-30 she brought other perspectives from being an editor and mentor to bear on the issue. It was both our own DA experiences and our reading of the DA work of others in the field that led us to seek to improve the depth and rigour DA practices in general.

프로세스
Process

먼저 파일럿 검색을 실시하여 잠정 검색 전략을 테스트하고, 연구 질문을 구체화하며, 검토 범위를 계획하는 데 도움을 받았습니다. 2021년 7월 15일에 익명 모드에서 ['문서 연구' 및 '의학교육']이라는 용어로 Google Scholar를 사용하여 이 파일럿 검색을 실시했습니다. 그 결과 261개의 논문이 반환되었으며, 이 중 처음 50개의 관련성을 분석하여 6개의 논문(12%)을 식별했습니다. 이를 통해 학습한 후, 2021년 7월 16일에 PubMed와 ['문서 분석' 및 '의학 교육']을 사용하여 두 번째 파일럿 검색을 수행한 결과 53개의 논문이 반환되었습니다. 관련성을 검토한 결과, 14개의 논문은 HPE와 관련이 없는 것으로 제외되었고, 39개(74%)의 논문이 신뢰할 수 있는 것으로 나타났습니다. 이는 또한 대규모 메타 연구를 실행할 수 있을 만큼 충분한 HPE 연구에서 어떤 식으로든 DA를 사용했음을 시사합니다. 
We first conducted a pilot search to test our provisional search strategy, refine our research questions and help us plan the scope of the review. We conducted this pilot search using Google Scholar in anonymous mode with the terms [‘document research’ AND ‘medical education’] on 15 July 2021. This returned 261 articles, of which the first 50 were analysed for relevance, identifying six articles (12%). Learning from this, we then conducted a second pilot search using PubMed and [‘document analysis’ AND ‘medical education’] on 16 July 2021, which returned 53 articles. Screening for relevance, 14 articles were excluded as not being relevant to HPE, leaving 39 (74%) that seemed credible. This also suggested that sufficient HPE studies had used DA in some way to render a larger meta-study viable.

전체 검색을 위해 사서와 협력하여 검색 전략을 수립했습니다. 사서의 추천에 따라 범위를 '의학교육'에서 HPE에 대한 보다 광범위한 용어로 확장하고(부록 1a-1c 참조), MEDLINE, CINAHL, Scopus 및 ERIC을 포함하도록 검색을 확대했습니다. Google Scholar는 제외되었으며, 연구에 입력된 논문의 양과 일관성을 관리하기 위해 2000년 1월부터 2021년 10월까지 발표된 영어 논문으로 검색을 제한했습니다. 전체 검색 결과 1298개의 논문이 검색되었으며, 이 단계에서 285개의 중복 논문을 제거했습니다. 그런 다음 인용문을 Excel로 가져왔습니다. 
For our full search, we worked with a librarian to create a search strategy. On their recommendation, we expanded the scope from ‘medical education’ to a set of broader terms for HPE (see Supplementary Appendices 1a1c), and we expanded the search to include MEDLINE, CINAHL, Scopus and ERIC. Google Scholar was omitted, and we limited the searches to English-language papers published from January 2000 to October 2021 as a way of managing the quantities and coherence of the papers entered into the study. This full search resulted in 1298 articles; 285 duplications were removed at this stage. Citations were then imported into Excel.

그런 다음 각 저자는 전체 텍스트를 읽기 전에 논문 그룹을 필터링하고, 라벨을 붙이고, 제목과 초록을 선별하여 포함하거나 제외한 이유에 대한 의견을 작성했습니다. 이 단계에서 의학 교육에 관한 논문이 아닌 경우, DA를 포함하지 않는 방법론이 포함된 경우, 문서를 참조했지만 해당 문서를 분석하지 않은 경우(예: 논평), 인터뷰 녹취록만 분석한 경우, 영어로 된 논문이 아닌 경우 논문을 제외했습니다. 논평이나 오피니언 기사는 DA와 관련된 내용일 경우 포함했습니다. 
Each author then took a group of articles to filter, label and make comments on why she included or excluded them on title and abstract screening, before full-text reading. At this stage, we excluded articles if they were not on healthcare education, if they involved methodologies that did not include DA, if they referred to documents but did not analyse these documents (such as in commentaries), if the analysis was only of interview transcripts or if they were not in English. We included commentaries or opinion articles when they involved some sort of DA.

파일럿 검색을 통해 얻은 인사이트를 바탕으로 연구 질문 1과 2를 해결하기 위해 데이터 추출은 다음에 중점을 두었습니다.

  • DA가 사용된 정도,
  • DA의 목적,
  • 사용된 DA 방법과 DA 적용 및 보고의 엄격성,
  • 사용된 문서의 범위와 유형,
  • 연구 질문 해결에 있어 DA의 유용성

이러한 초기 연역적 주제에 매핑된 데이터 추출 도구를 반복적으로 개발했습니다. 또한 Siegner 등이 제시한 정성적 DA의 유형을 참고했습니다.

  • 맥락(문서가 연구 질문이나 문제에 대한 관련 배경을 제공함),
  • 삼각측량(문서가 다른 데이터를 확증하는 수단으로 사용됨),
  • 1차 출처(연구용 데이터),
  • 연구 대상(사회적 맥락에서 특정 문서의 역할과 기능)

Based on the insights gained from the pilot search and to address study questions 1 and 2, data extraction focused on

  • the extent to which DA had been employed,
  • the purpose of DA,
  • the DA methods used and the rigour with which DA was applied and reported;
  • the range and types of documents used; and
  • the utility of DA in addressing the research question.

We iteratively developed a data extraction tool mapped to these initial deductive themes. We also drew on Siegner et al’s31 typology of qualitative DA:

  • contextual (documents provide relevant background on the research question or problem),
  • triangulation (documents are used as a means of providing corroborating other data),
  • primary source (the data for a study) and
  • object of the research (the role and function of a specific document in its social context).

세 명의 저자가 처음 몇 개의 논문을 코딩하고 도구로 데이터를 추출한 후, 데이터 추출 도구의 흐름과 명확성을 위해 수정한 다음 선택한 모든 논문에 적용했습니다(보충 부록 2 참조). 이 도구는 추출 데이터의 추적 및 대조가 가능하도록 Qualtrics(유타주 프로보)를 사용하여 제공되었습니다. 
Following the coding of the first few articles and data extraction into the tool by all three authors, the data extraction tool was modified for flow and clarity and then applied to all selected articles (see Supplementary Appendix 2). The tool was delivered using Qualtrics (Provo, UT) to allow for tracking and collation of extraction data.

데이터 추출이 완료되면 Qualtrics에서 리뷰를 다운로드하고 구조화된 응답을 표로 만들고 구조화되지 않은 응답을 대조했습니다. 세 팀원 모두 비정형 응답을 읽고 주요 이슈와 우려 사항을 코딩했습니다. 이 단계는 귀납적이고 해석적이며 반사적인 방식으로 진행되었으며, DA 상태에 대한 초기(선입견) 믿음을 코딩의 출발점으로 삼아 이후 데이터와의 접촉, 회의 및 토론을 통해 이러한 믿음을 지속적으로 재구성했습니다.32 
Once the data extraction was complete, the reviews were downloaded from Qualtrics, the structured responses tabulated and the unstructured responses collated. All three team members read through the unstructured responses and coded for key issues and concerns. This step was inductive, interpretive and reflexive, using our initial (preconceived) beliefs about the state of DA as the starting point for coding and reconstructing these beliefs continuously through subsequent contact with the data, meetings and discussions.32

3 결과
3 RESULTS

검색을 통해 확인된 1013개의 논문 중 898개의 논문이 포함 기준을 충족하지 못했습니다. 그 결과 115개의 논문이 리뷰에 포함되었습니다(리뷰 코퍼스를 구성하는 논문 목록은 그림 1 및 부록 3 참조). 
Of the 1013 articles identified from the search, 898 did not meet our inclusion criteria. This left 115 articles for inclusion in the review—see Figure 1 and Supplementary Appendix 3 for the list of articles that made up the review corpus.

 

56편의 논문은 의학 교육(n = 20), 보건 과학 교육 발전(n = 9), 의료 교사(n = 9), 학술 의학(n = 6), 전문직 간 진료(n = 4), BMC 의학 교육(n = 5), 의학 교육에 대한 관점(n = 3, 이 저널은 2012년까지 영어로 출판되지 않음), 그리고 다양한 간호 저널에 20편의 논문이 추가로 실렸습니다. 몇몇 논문은 의학 전문 학술지(n = 10)에, 나머지는 다양한 기타 학술지에 게재되었습니다. 2000~2010년(n = 19)에 비해 2011~2021년(n = 96)에 DA 사용을 보고한 논문 수가 크게 증가했습니다. 63편의 논문은 단일 방법(DA만)이었고, 나머지는 혼합 방법 연구(MMR)였습니다. 이 중 22개는 DA와 인터뷰, 나머지 8개는 인터뷰와 포커스 그룹을 포함했습니다. 7건은 일반적으로 인터뷰와 함께 DA 및 설문조사 데이터를 포함했습니다(DA 및 설문조사 데이터만 사용한 논문은 1건뿐). 여러 연구에서 DA, 인터뷰(개별 또는 포커스 그룹), 관찰 등 다양한 데이터 소스를 사용했습니다. 저희가 확인한 연구 중 5건은 특정 정보를 찾기 위해 문서를 면밀히 검토한 후 설명적 또는 통계적 분석을 거친 정량적 연구였습니다. 
Fifty-six articles were in HPE journals including Medical Education (n = 20), Advances in Health Sciences Education (n = 9), Medical Teacher (n = 9), Academic Medicine (n = 6), The Journal of Interprofessional Care (n = 4), BMC Medical Education (n = 5) and Perspectives on Medical Education (n = 3, note this journal did not publish in English until 2012), plus an additional 20 articles in various nursing journals. Several articles were published in medical specialty journals (n = 10), and the remainder, in diverse other journals. There was a significant increase in the number of articles published reporting the use of DA in the period 2011–2021 (n = 96) compared to 2000–2010 (n = 19). Sixty-three articles were single method (DA only), and the others were mixed methods research (MMR). Of these, 22 involved DA and interviews, and a further eight involved interviews and focus groups. Seven included DA and survey data, usually along with interviews (only one paper used DA and survey data only). Several studies used many different sources of data, such as DA, interviews (individual or focus groups) and observations. Five of the studies we identified were quantitative, scrutinising documents for specific information, which was then subject to descriptive or statistical analysis.

문서 말뭉치, 연구 목적, 방법, 연구 결과, 문서 분석의 이론 및 메타학문 측면에서 메타 연구 내러티브 종합을 보고합니다.
We report our meta-study narrative synthesis in terms of the document corpus, purposes, methods, findings and theory and metascholarship in document analyses.

문서 코퍼스
Document corpus

먼저 DA에 입력된 문서, 즉 '문서 말뭉치'(보충 부록 3)부터 시작합니다. 연구 이전에 존재했던 문서(예: 회의록 및 정책 문서)와 연구의 일부로 생산된 문서(예: 현장 노트 및 일기 항목)를 분석하는 데 한 가지 차이점이 있습니다. Charmaz33은 전자의 경우 '현존하는 텍스트'라는 용어를, 후자의 경우 '도출된 텍스트'라는 용어를 사용했습니다. 저희가 검토한 논문 중 단 2개(<2%)만이 연구에서 도출된 데이터를 사용했습니다. Voogt 등34은 정책 문서와 함께 참여자 QI 프로젝트 자료를 분석했고, Ruiz-Lopez 등35은 참여자의 저널을 분석했습니다. 인터뷰 녹취록과 같이 연구에서 생성된 데이터는 포함하지 않았습니다. 
We start with the documents that were entered into the DA; the ‘document corpus’ (Supplementary Appendix 3). One distinction was between the analysis of documents that pre-existed the research (e.g., meeting minutes and policy documents) and documents that were produced as part of a study (e.g., field notes and diary entries). Charmaz33 used the term ‘extant text’ for the former and ‘elicited text’ for the latter. Only two (<2%) of the articles we reviewed used study-elicited data. Voogt et al.34 analysed participant QI project materials (alongside policy documents) and Ruiz-Lopez et al.35 analysed participants' journals. Note that we did not count study-generated data such as interview transcripts.

둘째, 문서 선정 방법, 포함된 문서 수, 분석된 문서의 특성에 대한 정보가 광범위하게 부족했습니다. 실제로 어떤 문서가 사용되었는지(또는 왜 포함되었는지 또는 어떻게 분석되었는지) 보고하지 않은 연구도 있었습니다(예: Brosnan36).

  • 다음은 이러한 세부 사항 부족의 대표적인 예입니다: '검토 대상인 전문 규제 측면과 관련된 정책 보고서 또는 논평에 해당하는 텍스트가 포함된 경우'(731쪽).37
  • 또 다른 예로, Wong38 은 다음과 같이 언급했습니다: '이용 가능한 모든 부서 및 프로그램 문서를 검토했다'(1211쪽)고 말했지만, 문서가 무엇인지, 문서 수가 얼마나 되는지, 그 밖의 다른 내용은 설명하지 않았습니다.
  • 마찬가지로 '핵심 문서'라는 문구가 문서 포함에 대한 유일한 정당화였습니다. 그러나 이러한 핵심 문서가 무엇이고 왜 핵심 문서인지에 대한 정보가 없으면 포함된 문서의 품질이나 적절성을 평가할 근거가 없습니다. 

Secondly, there was a broad deficit of information on how documents were selected, on how many documents were included and on the characteristics of the documents analysed. Indeed, some studies did not report what documents were used (or indeed why they were included or how they were analysed, e.g., Brosnan36).

  • The following typifies this lack of detail: ‘texts were included if they constituted policy reports or commentary concerned with those aspects of professional regulation of concern to the review’ (p. 731).37 
  • As another example, Wong38 stated: ‘all available departmental and programme documents were examined’ (p. 1211) but did not describe what they were, how many there were, or anything else about them.
  • Similarly, the phrase ‘key documents’ was the only justification for document inclusion. However, without information as to what these key documents were and why they were key, there are no grounds on which to assess the quality or appropriateness of the included documents.

DA 말뭉치의 구성에 대한 세부 정보가 부족하기 때문에, 우리가 말할 수 있는 것은 다음과 같은 대략적인 범주에 속하는 문서들이 포함되었다는 것입니다:
Given the lack of detail on the makeup of the DA corpus, the most we can say is that documents approximated to the following broad categories:

  1. 단일 교육기관 커리큘럼 문서예를 들어, Hawick 등은25 내부 보고서와 회의록을 분석하여 커리큘럼 개혁의 과정을 조사했습니다.
    Single institution curricular documents. For example, Hawick et al.25 analysed internal reports and meeting minutes to examine the processes of curricular reform.
  2. 다중 교육기관 커리큘럼 문서. 예를 들어 Steven 등39은 여러 영국 의과대학의 이비인후과 커리큘럼을 분석했습니다.
    Multi-institution curricular documents. For example, Steven et al.39 analysed the otolaryngology curricula from multiple UK medical schools.
  3. 정책 및 기타 공개 문서. 예를 들어, Razack 등40은 의과대학 선택에 대한 담론 분석을 위해 의과대학 웹사이트와 국가 규제 기관의 정책 문서를 조사했습니다. 프레데릭센41은 정해진 기간 내에 출판된 의사와 간호사를 위한 교과서를 분석했습니다(논문에서 교과서에 대한 세부 정보를 제공).
    Policy and other public-facing documents. For example, Razack et al.40 examined the medical school websites and the policy documents of national regulatory bodies in a discourse analysis of medical school selection. Frederiksen41 analysed textbooks for doctors and nurses published within a defined time period (providing details of the textbooks in her paper).
  4. 학생 또는 교수진 데이터(자기 성찰, 학습 로그, 온라인 토론 등). 예를 들어, Zaidi 등42은 온라인 토론의 텍스트를 분석하여 비판적 의식을 형성하는 데 있어 기존 다문화 토론의 강점과 한계를 정의했습니다.
    Student or faculty data (self-reflections, learning logs, online discussions etc.). For example, Zaidi et al.42 analysed text from online discussions to define the strengths and limitations of existing cross-cultural discussions in generating critical consciousness.

목적
Purposes

  • Siegner 등의 유형학을 사용하여 31개의 논문에서 삼각 측량 목적으로 DA를 사용한다고 명시적으로 설명했거나, 명시적으로 설명하지 않은 경우 전체 논문을 읽은 후 문서 사용을 그렇게 해석했습니다.
    • 예를 들어, Hawick 외.25는 다음과 같이 말했습니다: '문서 분석의 목적은 다양한 데이터 소스와 방법을 사용하여 수렴과 확증을 추구하는 것이었다'.
  • 20개의 기사에서 문서가 맥락적 목적으로 사용된 것으로 보였습니다.
  • 그보다 적은 수(n = 16)의 논문이 문서를 연구 대상으로 사용했으며, 이들은 담화 분석 연구인 경향이 있었습니다.
  • 나머지 논문(n = 48)에서는 사실 또는 맥락에 대한 주요 참고 자료로 문서가 사용되었습니다(우리가 알 수 있는 한).
    • 예를 들어 보그스트롬 등43은 포트폴리오 콘텐츠를 조사하여 직업적 가치에 대한 언급을 식별하고 분석했습니다.
    • 앤더슨과 갈리아르디44는 여성 건강 커리큘럼에 대한 내용 분석을 수행하여 관련 커리큘럼 내용을 파악했습니다.
    • Waterval 등45 은 다양한 문서의 내용을 사용하여 연구 질문에 대한 정보를 얻었습니다.
  • Using Siegner et al’s typology, 31 articles either explicitly described using DA for triangulation purposes or, where this was not made explicit, on reading the full article, we interpreted their use of documents as such.
    • For example, Hawick et al.25 stated: ‘The aim of document analysis was to seek convergence and corroboration through the use of different data sources and methods’.
  • In 20 articles, documents seemed to be used for contextual purposes.
  • Fewer (n = 16) used documents as the object of the research, and these tended to be discourse analysis studies.
  • In the other articles (n = 48), documents had been used (as far as we could tell) as primary reference sources on factual or contextual matters.
    • For example, Borgstrom et al.43 examined portfolio content to identify and analyse references to professional values.
    • Anderson and Gagliardi44 conducted a content analysis of women's health curricula to identify relevant curriculum content.
    • Waterval et al.45 used the content of various documents to inform their research questions.

방법
Methods

문서에서 데이터를 추출하는 방법은 설명이 부족하고 모호한 경우가 많았습니다. 예를 들어, Sirili 등은46 탄자니아 교육 개혁의 정책 과정과 결과를 분석하는 데 사용한 문서를 명확하게 나열했습니다. 그러나 문서 데이터를 어떻게 관리하고 분석했는지에 대한 정보는 논문에서 찾아볼 수 없었습니다.

  • 35편(30%)의 논문이 내용 분석, 프레임워크 분석 또는 주제 분석을 사용했다고 보고했지만, 이는 주로 기본적인 사실이나 세부 사항을 추출하는 데 그쳤으며, 권위나 명료성에 거의 주의를 기울이지 않았고 이러한 분석 기법의 사용 간에 별다른 차이를 발견할 수 없었습니다.
  • 29개(25%) 논문은 어떤 종류의 담론 분석을 사용했다고 밝혔고, 24개(21%) 논문은 분석 접근법이나 방법론을 사용했다고 언급하지 않았습니다.

예를 들어, Fealy 외.37는 '검색된 모든 텍스트에 대해 문서 분석을 수행했다'(731페이지)고 명시했지만, 어떤 분석을 수행했는지에 대한 자세한 내용은 제공하지 않았습니다. 나머지 논문은 템플릿 분석(예: Chenot 및 Daniel47), 키워드 매칭(예: Wong 외.48) 등 다른 접근법을 사용했습니다.
How data were extracted from documents was often under-described and ambiguous. For example, Sirili et al.46 clearly listed the documents they used to analyse the policy process and outcomes of training reform in Tanzania. However, any information on how they managed and analysed the document data was lacking in the paper.

  • Thirty-five articles (30%) reported using content, framework or thematic analyses, although this was often limited to extracting basic facts or details with little attention to their authority or articulation, and we found little distinction between the use of these analytic techniques.
  • Twenty-nine (25%) articles stated that they used some kind of discourse analysis, while twenty-four (21%) did not mention having used any analysis approach or methodology.

For example, Fealy et al.37 stated ‘Documentary analysis performed on all retrieved texts’ (p. 731) but did not provide any detail of what was done. The remaining articles employed other approaches, including template analysis (e.g., Chenot and Daniel47) and keyword matching (e.g., Wong et al.48).

MMR 논문에서 대부분의 저자는 DA 사용에 대한 설명에 비해 그들이 사용한 다른 방법에 대해 훨씬 더 실질적인 설명을 제공했습니다. 예를 들어, 인터뷰와 문서를 데이터로 사용한 MMR 연구에서는 인터뷰 질문, 인터뷰 대상자, 인터뷰 횟수, 인터뷰 데이터 분석에 대해 명시적으로 설명한 반면, 문서에 대한 세부 사항(샘플링 방법 포함) 및 분석에 대한 설명은 부족했습니다. 예를 들어, 서덜랜드 등49 은 포커스 그룹의 수와 기간, 참가자 수, 포커스 그룹 데이터 분석에 대한 접근 방식을 명시했지만 문서의 수나 문서의 내용, 분석 방법에 대해서는 언급하지 않았습니다(질적 데이터 관리 소프트웨어에 문서를 입력했다고만 명시). 결과 섹션에는 문서 데이터가 제시되지 않았습니다. 다른 논문에서는 저자가 접근 방식을 구성하거나 수행한 방법을 설명하지 않고 단순히 문서 분석 접근 방식을 사용했다고 언급했습니다.
In the MMR articles, most authors provided much more substantive descriptions of the other methods they had used compared to their descriptions of using DA. For example, in MMR studies that used interviews and documents as data, the interview questions, who was interviewed, the number of interviews and interview data analysis were explicitly described, while parallel details about documents, including how they were sampled, and their analysis were lacking. To illustrate, Sutherland et al.49 specified the number and length of their focus groups, the number of participants and their approach to focus group data analysis but made no mention of the number of documents or what these were or how they were analysed (stating only that documents were entered into qualitative data management software). No document data were presented in the results section. In other articles, authors simply mentioned using a document analytic approach rather than describing how the approach was configured or conducted.

위에서 언급한 바와 같이, 29개 논문(25%)은 담화 분석 접근법을 사용했다고 명시적으로 언급했습니다. 그러나 전체 텍스트를 읽어보면 이러한 분석의 대부분은 내용 분석 또는 주제 분석으로 더 정확하게 설명할 수 있습니다. 비판적 담화 분석을 사용했다고 명시한 논문(n = 22) 중 19편이 푸코주의적 관점을 사용했으며, 이 중 16편은 같은 기관에 소속된 저자의 논문이었습니다. 담론 분석 논문에서는 대상 또는 객체와 다른 데이터와의 삼각 측량으로 처리된 문서를 검토했으며, 방법론적 지향이 명시되어 있어 엄밀성과 방법론적 일관성이 논의되고 분명했습니다.
As stated above, 29 articles (25%) explicitly stated that they took a discourse analysis approach. However, when we read the full texts, many of these analyses would be more accurately described as content or thematic analysis. Of those articles which were explicit about using critical discourse analysis (n = 22), 19 used a Foucauldian perspective and 16 of these were from authors associated with the same institution. In the discourse analysis articles, we reviewed documents that were treated as object or object plus triangulation with other data, and, as they had an explicit methodological orientation, rigour and methodological coherence was both discussed and apparent.

연구 결과 및 논의
Findings and discussions

검토한 논문 중 연구 결과의 맥락에서 문서나 그 내용을 명시적으로 설명한 논문은 거의 없었습니다. 오히려 제시된 증거는 고도로 일반화되었거나 MMR 연구의 경우 다양한 지식 주장을 설명 또는 방어하기 위해 다른 방법론적 흐름(예: 인터뷰 데이터)에서 주로 파생된 것이었습니다. 실제로 방법 섹션에서는 문헌을 언급했지만 결과나 논의에서는 명시적으로 언급하지 않은 경우도 있었습니다(예: 50). 유일한 예외는 문서가 유일한 데이터 소스인 담론 분석 기사였습니다. 고찰 섹션에서도 마찬가지로 문서의 품질, 중요성 또는 기타 특성이 연구 결과의 시사점, 추가 연구에 대한 시사점 또는 연구의 한계와 거의 고려되지 않았거나 연결되지 않았습니다. 이는 권위 있는 출처로서의 문서에 대한 신뢰도가 낮거나, 특히 MMR 연구에서 DA 스트림에 대한 연구자들의 일반적인 사각지대가 반영된 결과라고 볼 수 있습니다.
Very few of the articles we reviewed explicitly described their documents, or the content thereof, in the context of their findings. Rather, the evidence presented was either highly generalised or, in the case of MMR studies, largely derived from other methodological streams (e.g., interview data) to illustrate and/or defend their various knowledge claims. Indeed, at times documents were referred to in the methods section but not referred to explicitly in the results or discussion (e.g.,50). The only exceptions to this were the discourse analysis articles where documents were the lone data source. Similarly in discussion sections, the quality, significance or other characteristics of documents were rarely considered or linked to the implications of findings, implications for further research or limitations of the study. This suggests either a lower sense of confidence in documents as sources of authority or a further reflection of the common blind spots researchers have had regarding DA streams, particularly within MMR studies.

이론과 메타학술성
Theory and Metascholarship

대부분의 논문(담화 분석 제외)은 DA 이론이나 방법론적 문제에 대한 근거가 거의 또는 전혀 없었습니다. 대부분 DA 방법론은 이를 뒷받침하기 위해 방법론적 출처를 한두 번 인용하면서 언급되었는데, 가장 흔한 출처는 Bowen이었습니다.11 이러한 무성의함은 어떤 문서가 있는지, 문서와 관련된 연구자의 입장, DA 방법론의 도전과 논쟁 등에 대한 관심이 부족하다는 것을 반영합니다. 
Most articles (discourse analyses excepted) had little or no grounding in DA theory or methodological concerns. Mostly, DA methodology was stated with one or two citations to a methodological source to back it up, most commonly Bowen.11 This casualness reflected a lack of attention to what documents might be, the position of the researcher in relation to the documents, the challenges and debates in DA methods and so forth.

또한 담론 분석 방법을 사용하는 논문과 커리큘럼 개혁에 초점을 맞춘 논문 중 이론적 렌즈를 사용하여 분석한 논문은 소수에 불과했습니다. 예를 들어, 

  • Ellaway 등은 담화 분석을 위해 Gee의51 개념적 틀을 사용했고,
  • Razack 등은40 '푸코, 부르디외, 바흐친, 고프만의 성과 이론'을 활용했으며,
  • Hawick 등은25 데이터의 측면을 강조하기 위해 '사악한 문제' 프레임워크52 를 적용했습니다.

Moreover, only a few articles, typically but not always those employing discourse analysis methods and those focused on curriculum reform, used a theoretical lens in their analysis. For instance,

  • Ellaway et al. used Gee's51 conceptual framing for discourse analysis,
  • Razack et al.40 drew on ‘Foucault, Bourdieu and Bakhtin … and the performance theories of Goffman’, while
  • Hawick et al.25 applied the ‘wicked problem’ framework52 to highlight aspects of their data.

HPE 학자들은 학문적 연구에 더 많은 이론적 지향성을 요구해 왔으며,53 특히 그렇게 하지 않으면 연구 결과의 개념적 일반화 가능성이나 이전 가능성이 제한되기 때문입니다.54 일부 방법론이 이러한 요구에 부응했지만, 아직까지 DA에 실질적인 영향을 미치지는 않은 것으로 보입니다. 또한 DA 이론, DA 방법 또는 DA 과학 전체에 대한 기여에 대한 실질적인 고려는 거의 찾아볼 수 없었습니다. 
HPE scholars have called for more theoretical orientation to scholarly work,53 not least because not doing so limits the conceptual generalisability or transferability of findings.54 While some methodologies have responded to this call, it seems that this has not yet touched DA in any substantial way. We also note that we found almost no substantive consideration of contributions to DA theory, DA methods or DA science as a whole.

예외
Exceptions

많은 누락에도 불구하고 DA를 수용하고 이를 잘 보도한 기사도 몇 개 발견했습니다. 그 중 눈에 띄는 논문은 Sundberg 등의 논문이었습니다.55 저자들이 사용한 문서뿐만 아니라 길이를 포함한 문서의 특성을 설명하는 방식에 감사했습니다. 또한 인터뷰와 문서 모두에 사용된 분석 접근 방식을 명시하고 분석의 각 측면에 대해 인터뷰 데이터와 문서 데이터를 모두 제시했습니다. 마지막으로, 연구진은 연구 질문과 관련된 소규모 문서 코퍼스의 한계에 대해 인정했습니다. 
Despite the litany of omissions, we found some articles that had embraced DA and reported it well. One example which stood out was a paper by Sundberg et al.55 We appreciated the way the authors specified not only the documents they used but also described the characteristics of the documents, including the length. They also specified the analysis approach used for both their interviews and the documents and presented both interview and document data for each aspect of their analysis. Finally, they acknowledged possible limitations of the small corpus of documents relevant to their research question.

4 토론
4 DISCUSSION

HPE 연구 논문에서 DA는 어떻게 접근했습니까?
How has DA been approached in HPE research articles?

DA 연구에 사용된 문서는 기본 데이터 소스가 아닌 맥락적 및 삼각 측량 목적으로 자주 사용되었습니다. 즉, 대부분의 논문에서 문서를 정적이고 '유순한' 지식의 저장소로 개념화하여

  • 문서가 '무엇을 하는가'보다는
  • 문서가 무엇을 '말하는가'(내용),
  • 문서가 어떻게 말하는가를 조사했습니다.8

We found that documents in DA studies were frequently used for contextual and triangulation purposes, not as a primary data source. This meant that most articles conceptualised documents as static and ‘docile’ containers of knowledge, examining

  • what documents ‘say’ (content) and
  • to a lesser extent how they say it,
  • rather than what documents ‘do’.8 

이러한 차이점에는 연구자가 문서에 관여하는 방식에 대한 암묵적인 변증법이 존재했습니다.

  • 한편으로, 문서는 실험적으로 도출된 데이터와 유사한 방식으로 수집, 처리 및 분석되는 1차 데이터로 접근할 수 있습니다.
  • 반면에 문서는 그 내용, 표현 방식, 권위에 대한 논란이 있을 수 있으므로, 덜 비판적이거나 직접적인 방식으로 접근할 수 있으며,
  • 엄격하게 데이터로 간주되기보다는, 데이터를 성찰하는 데 사용될 수 있습니다. 

There was an implied dialectic of researcher engagement with documents in these differences.

  • On the one hand, documents may be approached as primary data that are collected, treated and analysed in similar ways to experimentally derived data.
  • On the other hand, documents may be approached in a less critical or direct way such that their content, articulation and authority are moot, and they are used to reflect on data rather than being strictly considered as data.

문서의 내용을 조사하는 것도 분명 의미가 있지만, 문서의 의미나 중요성을 이해하는 데는 문서 작성, 생산 및 소비의 사회적, 물질적 현실이 매우 중요할 수 있다고 생각합니다. 이는 문서를 다음으로 취급해야 한다는 주장을 반영한 것입니다. 

  • 자원(독자에게 특정 환경, 조직, 사건 또는 사람에 대해 알려주는 의미, 정보원)으로서,
  • 독립적인 인공물로서,56 그리고
  • 잠재적으로 여러 온톨로지를 가진 '사회적 위치의 산물'(Scott57, 34쪽)

(문서의 위치성과 수사적 위치가 어느 정도는 채택된 방법론적 틀 안에 포함되곤 하는) 담론 분석 연구는 다소 예외였다. 예를 들어, Coyle 등24 은 데이터와의 관련성 측면에서 자신의 직업적, 개인적 배경을 밝히고, 서로 다른 삶의 과정, 교육 및 훈련이 문서에 대한 해석과 이 연구의 맥락 및 초점과 관련하여 자신의 입장을 어떻게 형성했는지에 대해 지속적으로 성찰했다고 언급했습니다.
While it is clearly meaningful to investigate the content of documents, we believe the social and material realities of document authorship, production and consumption can be of critical importance in understanding their meaning or significance. This reflects arguments that documents should be treated both

  • as resources (meaning, sources of information that tell a reader about a particular setting, organisation, event or person),
  • as stand-alone artefacts,56 and
  • as ‘socially situated products’ (Scott57, p. 34) with multiple potential ontologies.

The exception, to an extent, was discourse analysis studies where the positionality and rhetorical positioning of the documents were (to some degree) included albeit within the methodological frame adopted. For example, Coyle et al.24 stated their professional and personal backgrounds in terms of relevance to the data and stated that they were continuously reflective about how their differing life courses, education and training shaped their interpretations of the documents and their positioning with respect to the study context and focus of this study.

현재 HPER의 DA 관행의 강점과 약점은 무엇인가요?
What are the strengths and weaknesses of current DA practices in HPER?

서두에서 언급했듯이, 그리고 이번 연구 결과에서 확인했듯이, DA의 활용 가능성은 매우 다양하며, 문서와 그 분석이 학술적 탐구 행위에 가치를 부여할 수 있는 이론적, 실제적 방법도 많습니다. 따라서 우리는 DA의 더 나은 사용이나 더 강력한 사용, 더 나쁜 사용이나 더 약한 사용이 있다고 말할 수 없습니다. 그보다는 DA가 사용된 연구 맥락에서 각각을 명확히 파악하고 평가해야 합니다. 이번 연구 결과는 글로벌 방법론적 규범에 따라 판단하기보다는 연구 내 공통 관심사에 초점을 맞추었기 때문에 이를 반영합니다. 
As we mentioned in our opening and as our findings confirmed, there are many possible uses for DA and many theoretical and practical ways in which documents and analyses of them might lend value to acts of scholarly inquiry. We cannot say therefore that there are better or stronger uses or worse or weaker uses of DA. Rather, each should be articulated and appraised in the study context in which it was used. Our findings reflect this, as we focused on common concerns within studies rather than seeking to judge them against global methodological norms.

예를 들어, 연구를 시작하기 전부터 우려를 했음에도 불구하고(실제로 연구로 이어지기도 했습니다), 저희는 HPER에서 DA가 얼마나 제대로 보고되지 않는지에 놀랐습니다. 물론 예외도 있지만 전반적으로 다음을 보고하는 데에 있어 큰 허점이 있었습니다.

  • 문서를 사용한 이유,
  • 문서를 식별한 방법,
  • 저자가 수행한 작업,
  • 문서에서 발견한 내용에 대한 

이는 특히 다른 방법 및 방법론에 비해 일관되게 DA를 덜 엄격하고 세부적으로 다루었거나, 적어도 덜 엄격하고 세부적으로 기술되거나 보고된 MMR 연구에서 두드러지게 나타났습니다. 이로 인해 투명성과 재현성에 대한 근본적인 문제가 발생하고 연구 결과가 의심스러워졌습니다. 부실한 보고는 문서 데이터의 '신뢰성'(예: 신뢰성 및 확인 가능성)을 평가하는 것을 불가능하게 만든다는 것은 잘 알려진 사실입니다58). MMR 연구 내의 다른 데이터 스트림에 대한 보다 실질적인 보고에 비해 반복적으로 DA 보고가 부족하다는 것은 인터뷰 기록의 주제별 분석과 비교하여 DA 방법 사용에 대한 자신감이나 역량이 부족하다는 것을 반영할 수 있습니다. 그러나 역량보다는 주의력 부족을 나타낼 수도 있습니다. 우리가 검토한 모든 논문이 각 저널에 게재되기 전에 일종의 동료 검토 과정을 거쳤으며, 그 과정에서 DA에 대한 설명이 부족하다는 지적을 받거나 수정되지 않았다는 사실이 이를 뒷받침할 수 있습니다. 따라서 이는 저자의 역량이나 집중력 때문이라기보다는 DA 학술활동에 대한 체계적인 부주의를 나타내는 것으로 보입니다. 
For instance, although we had concerns leading into the study (indeed, they led to the study), we were still surprised at how poorly DA has been reported in HPER. Of course, there are exceptions, but, overall, there are major lacunae in terms of reporting on

  • why documents were used,
  • how documents were identified,
  • what the authors did and
  • what they found from the documents.

This was particularly apparent in MMR studies where DA was consistently treated with less rigour and attention to detail compared to other methods and methodologies (or at least it was described or reported with less rigour and detail). This created a fundamental problem of transparency and replicability and rendered findings suspect. It is well established that poor reporting makes it impossible to assess the ‘trustworthiness’ of the document data (e.g., credibility and confirmability58). The recurring paucity of DA reporting compared to the more substantive reporting of other data streams within MMR studies may reflect a lack of confidence or competence in using DA methods compared to, say, thematic analysis of interview transcripts. However, it may instead indicate a lack of attention rather than competence. This would be supported by the fact that all the articles we reviewed had passed some kind of peer review process before being published in their respective journals, during which the paucity of the description of DA had not apparently been challenged or corrected. This would seem therefore to indicate a systemic inattention to DA scholarship rather than one solely of author competence or focus.

HPER에서 DA 관행을 강화하기 위해 어떤 지침이나 표준이 필요하나요?
What guidelines or standards are needed to strengthen DA practices in HPER?

DA 보고에 대한 가이드라인과 기준이 필요합니다. 우리는 이 문제에 대해 오랫동안 논의한 끝에 일련의 지침과 검토 결과를 위한 출발점으로 PRISMA(체계적 문헌고찰 및 메타분석을 위한 우선 보고 항목) 프레임워크를 활용하기로 결정했습니다.59 PRISMA는 체계적 문헌고찰 보고를 안내하기 위해 개발되었고 DA와 SR 사이에는 많은 개념적, 절차적 차이가 있지만, 문헌 출처에서 자료를 식별, 선택, 추출, 분석 및 합성하는 것과 관련하여 명확성을 제공하는 원칙은 충분히 유사하여 그 사용을 보증하기에 충분했습니다. 말뭉치에서 일련의 기사를 평가하고 범주, 언어, 필수 및 선택적 요소를 해결하여 프레임워크의 초안을 작성하고 다시 작성했습니다. 수용 가능한 수준의 안정성(새로운 문제나 도전 과제가 발견되지 않음)과 기능성(검토 말뭉치의 샘플 기사에 쉽게 적용할 수 있음)을 달성한 후 검토 및 수정 프로세스를 종료했습니다. 
Guidelines and standards for reporting DA are needed. We discussed this at length and decided to draw on the PRISMA (preferred reporting items for systematic reviews and meta-analyses) framework as a starting point for a set of guidelines as well as on the findings from our review.59 Although PRISMA was developed to guide reporting of systematic reviews and there are many conceptual and procedural differences between DA and SR, the principles of providing clarity with respect to identifying, selecting, extracting, analysing and synthesising material from documentary sources were sufficiently similar to warrant its use. We drafted and redrafted the framework based on evaluating a series of articles from the corpus, resolving categories, language and mandatory and optional elements. We ended the review and revision process once we had achieved acceptable levels of stability (no new issues or challenges were identified) and functionality (we found it easy to apply to sample articles from the review corpus).

그 결과 도출된 프레임워크는 저자가 DA 보고를 안내하고 검토자가 DA 연구의 질을 평가할 수 있도록 체크리스트 형태로 표 1에 제시되어 있습니다. 이 체크리스트인 문서 분석 평가 및 보고 체크리스트(CARDA)(그림 60)는 엄격한 DA를 촉진하고 DA의 다양한 과정을 투명하고 완전하며 정확하게 보고하여 독자가 HPER 및 기타 주제 영역에서 문서 사용 및 분석 결과의 신뢰성을 평가하는 데 도움이 되도록 설계되었습니다.
The resulting framework is presented in Table 1, in the form of a checklist for authors to guide the reporting of DA and for reviewers to guide evaluations of the quality of DA studies. This checklist—the Checklist for Assessment and Reporting of Document Analysis (CARDA) (drawing on60) - is designed to facilitate rigorous DA and transparent, complete and accurate reporting of the various processes of DA, to help readers assess the trustworthiness of the findings from document use and analysis in HPER and other subject areas.

TABLE 1. Checklist for the use and reporting of document analysis in HPER (CARDA) (drawing on Tong et al.60)

Section and topic Checklist item
Title 문서 분석과 관련된 연구를 식별합니다.
Identify the study involved in document analysis.
Abstract 방법을 혼합(방법 나열) 또는 문서 분석 전용으로 식별합니다.
Identify the methods as mixed (listing the methods) or solely document analysis.
Rationale 연구에서 문서를 사용한 근거를 설명합니다.
Describe the rationale for the use of documents in the study.
Objectives 연구 목적 또는 연구 질문에 대한 명시적인 설명을 제공합니다.
Provide an explicit statement of the research objective(s) or question(s) of the study.
Eligibility criteria 이 특정 연구에서 데이터로 문서를 포함할 수 있는 자격 기준을 지정합니다.
Specify the eligibility criteria for including documents as data in this specific study.
Document corpus 말뭉치에 있는 문서의 성격을 지정합니다:
 - 얼마나 많은 문서가 있었는지.
 - 어떤 종류의 문서가 포함되었는지(예: 지역 커리큘럼 안내서, 국가 정책 문서).
 - 문서의 매체(인쇄물, 전자 문서 등).
 - 기존 문서가 사용된 문서의 원래 목적(예: 대상 고객, 누가, 언제, 왜 작성했는가?)

사용된 모든 문서에 대한 표 또는 이에 상응하는 문서(문서에 포함하거나 부록으로 포함)를 포함합니다.


Specify the nature of the documents in the corpus:
  • How many documents there were.
  • What kinds of documents were involved (e.g., local curriculum guides and national policy papers).
  • The documents' media (print, electronic etc.).
  • The original purposes of the document where existing documents were used (e.g., Target audience. Who produced them, when and why?)
Include a table or equivalent documentation of all the documents used (either in the paper or as a supplementary table).
Document provenance 해당 문서가 
 연구 전용 문서인지, 
 데이터 수집의 일환으로 작성된 문서(예: 현장 메모 및 일기 항목) 또는 
 기존(현존하는) 문서(예: 회의록, 안내서, 정책 또는 과거 문서)인지 명시합니다.


State whether the documents were
 study-specific or
 elicited (created as part of data collection, e.g., field notes and diary entries) or 
 existing (extant) documents (e.g., meeting minutes, prospectuses, policy or historical documents).


연구와 관련된 문서인 경우 구체적으로 명시합니다:
 - 문서가 어떻게 그리고 누구로부터 도출되었는지.
 - 연구자가 작성한 것인지 참여자가 작성한 것인지. 예를 들어, 일기나 반성적 글쓰기가 사용된 경우, 참여자 대상 그룹의 근거와 텍스트 작성과 관련하여 참여자에게 제공된 지침을 설명합니다.
 - 문서가 작성된 시기와 연구의 일부로 수집된 시기(예: 2020년 1월부터 2020년 12월 말까지)를 명시합니다.

Where documents were study-specific, specify:

  • How they were elicited and from whom.
  • Whether they were researcher- or participant-created. For example, where diary entries or reflective writing are used and explain why the rationale behind the target group of participants and the guidance given to participants in respect of producing texts.
  • When the documents were created and when they were collected as part of the study (e.g., January 2020 to the end of December 2020).
기존 문서가 사용된 경우 명시합니다:
 - 문서를 식별한 방법(예: 아카이브 또는 웹사이트 검색).
 - 적절한 경우, 사용된 필터 및 제한(예: 영어만, 특정 웹사이트만)을 포함하여 문서 식별을 위한 전체 검색 전략을 제시합니다.
 - 모든 검색의 데이터 제한과 이러한 데이터 제한의 근거를 제시합니다.

Where existing documents were used, specify:
  • How the documents were identified (e.g., archives or websites searched).
  • If appropriate, present the full search strategies for document identification, including any filters and limits used (e.g., English language only and particular websites only).
  • The data limits of any searches and the rationale for these data limits.

Document collection and management 문서 입수, 관리 방법 

사용된 문서 중 공개적으로 사용 가능한 문서가 있는지, 어디서 찾을 수 있는지 보고합니다.

How documents were obtained, managed etc.


Report if any of the documents used are publicly available and where they can be found.
Document quality 문서의 '품질'과 문서 품질과 연구 목표와의 관계를 고려합니다.

기존 문서의 경우:
 문서가 완전한가? 
 문서에 공백이 있는가? 문서가 수정되었나요?
 계획보다 더 많은 검색을 수행하거나 추가 문서에 의존해야 했습니까?11
 일부 문서를 사용할 수 없거나 액세스할 수 없었는가?

도출된 문서의 경우:

 참가자들이 의도한 대로 프로세스에 참여했습니까?
 데이터가 포괄적이었습니까, 아니면 드물었습니까?
 데이터를 도출하는 데 연구자의 노력이 얼마나 필요했으며, 연구자 개입(예: 잦은 알림)의 의미는 무엇인가요?

Consider the “quality” of the documents and the relation of document quality to the study objectives.

For existing documents:

  • Were they complete?
  • Were there gaps in the documents? Were they redacted?
  • Did you need to do more searching or rely on additional documents than planned?11
  • Were some documents not available or accessible?
For elicited documents:
  • Did participants engage in the process as intended?
  • Were the data comprehensive or sparse?
  • How much researcher effort was required to elicit the data, and what might be the implications of researcher interventions (e.g., frequent reminders)?

Reflexivity/positionality (may be placed in the methods or discussion section of your paper) 연구자의 역할과 경험, DA 및 포지셔닝에 대한 경험.

문서(#8로 다시 연결되는 링크)와 연구자(들) 모두에서 포지셔닝의 잠재적 존재를 고려합니다.

Role and experience of researchers, experience in DA and positionality.


Consider the potential presence of positionalities, both in a document (links back to #8) and of the researcher(s).
Preliminary data analysis 예비 또는 정리 데이터 분석에 대한 접근 방식문서에서 데이터를 수집하는 데 사용된 방법(예: 보웬의 "1차 문서 검토"[32페이지]11, 종종 주제별 또는 내용 분석의 변형 사용)을 명시합니다.

프로세스에 자동화 도구가 사용되었는지 명시합니다(예: AntConc 및 Wordsmith).

Specify the approach to preliminary or organising data analysis, the methods used to collect data from the documents (e.g., Bowen's “first-pass document review” [p. 32]11; often using variations on thematic or content analyses).


Specify if any automation tools were used in the process (e.g., AntConc and Wordsmith).
Document analysis 어떤 방법론 또는 방법이 사용되었는지 분석 단계를 간략하게 설명하세요.

분석이 콘텐츠, 잠재적 콘텐츠, 언어학 또는 기타 문서 콘텐츠 또는 특성에 중점을 두었는지 설명하세요.

분석가가 분석 대상 문서의 콘텐츠, 스타일, 하위 텍스트 및 기타 차원에 어느 정도, 어떤 방식으로 몰입하거나 조율했나요?

이전 가능성을 보장하기 위해 이론적 렌즈를 사용했나요?

결과를 도출하기 위해 어떤 방식으로 결과를 종합했나요?

Outline the analytical steps taken—what methodology or methods were involved?


Explain whether the analysis focused on content, latent content, linguistics or some other document content or characteristics.


To what extent and in what ways did analysts immerse or attune themselves to the content, style, subtexts and other dimensions of the documents they analysed?


Was a theoretical lens used to ensure transferability?


How were findings synthesised to arrive at findings?
Results directly relate to research questions or goals 일반: 제시된 내용이 논리적 순서로 정리되어 있고 연구 질문과 일치하는지 확인합니다.
General: ensure what is presented is set out in a logical order and aligns with the research question.
Findings directly relate to DA 문맥, 삼각측량, 주요 데이터 소스 또는 연구 접근 방식의 대상 등 문서 데이터가 결과/결과의 근거가 된 방법을 명확히 설명합니다.31

따옴표를 사용하는 경우, 출판물을 참조할 때와 마찬가지로 문서에 대한 링크(예: 문서 이름 및 페이지 번호)를 제공합니다.
Clarify how the document data informed the results/findings—including whether contextual, triangulation or as the primary data source or the object of the research approach.31


If using quotes, link back to the document as you would when referencing a publication (e.g., document name and page number).
Findings are balanced 사용된 DA의 형태와 말뭉치의 성격에 따라 결과와 균형이 맞아야 합니다.

MMR에서 DA 구성 요소는 연구 전체 내에서 가중치에 따라 결과에 표시되어야 합니다.
Results and balanced and proportional to the form of DA used and the nature of the corpus


In MMR, DA component should be represented in results according to its weighting within the study as a whole
Consequences for DA methods 문서 분석이 연구에 무엇을 추가했는지 명확하게 설명해야 합니다.

연구가 DA에 무엇을 추가했나요?

DA 사용의 강점과 한계를 고려합니다.

Be clear about what the document analysis added to the study.


What did the study add to DA?


Consider the strengths and limitations of the use of DA.
DA in context 다른 DA 연구의 맥락에서 결과에 대한 일반적인 해석을 제공하세요.
Provide a general interpretation of the results in the context of other DA studies.
Overall
제공된 세부 정보가 연구를 재현하기에 충분한가?
1. 연구를 재현할 수 있는가?
2. 연구의 모든 단계를 평가하는가?

Are the details provided sufficient to
  1. reproduce the study?
  2. evaluate every stage of the study?

체크리스트의 유용성을 개선하기 위해 파일럿 테스트를 진행했지만, 추가 테스트의 여지가 있다는 점을 잘 알고 있습니다. 분명한 다음 단계는 질적 HPE 학자 및 저널 편집자와 함께 델파이 프로세스를 통해 내용을 계속 평가하고 개선하는 것입니다. 또한 DA에 종사하는 분들을 초대하여 DA 또는 혼합 방법 연구에서 CARDA의 실제 사용을 테스트해 보시기 바랍니다. 또한 다른 방법론 보고를 위한 지침과 체크리스트가 시간이 지남에 따라 발전해 온 것과 마찬가지로, 이러한 피드백이 체크리스트를 더욱 발전시키는 데 사용될 수 있다는 관점에서 학자들이 어떻게 사용했는지에 대한 토론에 참여하도록 초대합니다. 
Although we pilot-tested the checklist to refine its usability, we appreciate that there is room for further testing. An obvious next step would be to continue to assess its content and refine it, perhaps via a Delphi process with qualitative HPE scholars and journal editors. We also invite those engaging in DA to test CARDA's use in practice in DA or mixed methods research. Moreover, we invite scholars to engage in discussion about how they used it, with the view that this feedback can be used to develop the checklist further—in the same way that guidelines and checklists for reporting other methodologies have evolved over time.

DA를 사용하면 어떤 지식의 격차를 해소할 수 있을까요?
What gaps in our knowledge could be addressed using DA?

마지막 연구 질문은 DA를 통해 해결할 수 있는 지식의 격차를 파악하는 것과 관련이 있습니다. 물리적이든 물질적이든, 문서를 수동적인 정보 보유자 이상으로 개념화하면 HPER에서 데이터로서 문서가 가진 엄청난 잠재력을 활용할 수 있습니다. 예를 들어, 다양한 유형, 크기, 형태를 가진 문서는 여러 사회적 세계에 존재하고 이러한 세계 간의 커뮤니케이션을 연결하고 중재하여 여러 세계 간에 지식과 관점의 교환을 촉진하는 경계 개체 역할을 할 수 있습니다(예: 62). 즉, 주어진 텍스트가 어떻게 사용 및/또는 해석될지는 예측할 수 없습니다. 따라서 동일한 경계 개체라도 그것이 서식하는 세계에 따라 다르게 해석될 수 있습니다.

  • 예를 들어, 일련의 인증 표준은 규정 준수를 입증해야 하는 사람들을 위한 거버넌스를 구성합니다.
    • 커뮤니케이션 표준과 올바른 모양과 느낌을 준수하기 위해 인증 표준을 브랜딩하는 일을 맡은 사람들에게 이 문서는 일련의 업무 관련 작업을 수행하는 원동력이 됩니다.
    • 수십 년 후 의료 기록 보관소에서 동일한 표준을 확인하는 사람들에게 이 문서는 한 시대의 우선순위를 나타내는 역사적 지표 역할을 합니다.

문서의 여러 복잡성을 파악하면 다양한 사회적, 물질적 행위자들이 원하는 프로젝트를 달성하기 위해 어떻게 협력하는지, 또는 서로 어떻게 충돌할 수 있는지 등 HPER의 지속적인 과제를 해결할 수 있는 새로운 관점을 발견할 수 있습니다. 예를 들어, 한 세기 전 플렉스너 개혁에 대한 슈레브의63 역사적 DA는 북미 의학교육의 발전에 있어 이 중요한 사건과 이전에는 연관되지 않았던 조작과 이념적 포지셔닝의 층위를 확인했습니다. 
Our final research question related to identifying the gaps in our knowledge that could be addressed through DA. Whether physical or material, when we conceptualise a document as more than a passive holder of information, we can begin to leverage the tremendous potential of documents as data in HPER. For example, documents, of various types, sizes, and forms, can serve as boundary objects61 as they exist in multiple social worlds and serve to connect and mediate communication between those worlds, facilitating the exchange of knowledge and perspectives across them (e.g.,62). In other words, the ways in which a given text will be used and/or interpreted cannot be predicted. The same boundary object can therefore be interpreted differently, depending on the world it inhabits.

  • A set of accreditation standards, for example, constitutes governance for those who must demonstrate compliance.
    • For those tasked with branding the accreditation standards to comply with communications standards and the right look and feel, the document serves as an impetus to engage in a set of work-related tasks.
    • For those who identify with the same set of standards decades later in a medical archive, the document serves as a historical indicator of the priorities of an era.

Attuning to the multiple complexities of documents can allow us to uncover new angles to address ongoing challenges of HPER, including how the various social and material actors involved cooperate to accomplish a desired project or how they may be in conflict with each other. For example, Schrewe's63 historical DA of the Flexner reforms of a century ago identified layers of manipulation and ideological positioning that have not previously been associated with this critical event in the development of medical education in North America.

이는 자연스럽게 디지털 문서에 대한 고려로 이어집니다. 의과대학 웹페이지를 분석한 몇몇 논문을 제외하고는 검토한 논문에서 디지털 문서에 대한 언급이 눈에 띄지 않는데, 디지털 문서가 제공하는 기회 때문에 많은 사람들이 디지털 문서를 다큐멘터리 연구의 미래로 칭송해 왔습니다. 그러나 디지털 문서는 '해석 과정에서 종종 보이지 않지만 중요한 역할을 하는 물질성을 지닌 고도로 매개된 대상'(1743쪽)입니다.64 디지털 문서가 인쇄 문서와 다르다는 점을 인식하면 '형태의 후과'(96쪽)에 대해 질문할 수 있습니다. 65 매체가 중요하다면 문서를 다루는 사람들은 '디지털 텍스트의 존재론적 지위... 디지털 텍스트가 제공하는 특정한 분석적 어포던스를 논의하는 미래의 작업의 근거가 될 것'(78쪽)을 고려해야 합니다.66 문서의 물성과 그 물성이 가능하게 하는 실천 사이의 관계에 대한 추가 고려는 디지털 인문학 분야에서 찾을 수 있습니다(예: Berry와 Fagerjord67 참조).
This leads naturally to the consideration of digital documents. Conspicuously absent in the articles reviewed—other than a few articles that analysed medical school webpages—digital documents have been extolled by many as the future of documentary research because of the opportunities they offer. However, digital documents ‘are highly mediated objects with a materiality that plays a significant, if often unseen contributory role in the interpretative process’ (p. 1743).64 Recognising that digital documents are different from print documents allows us to ask about the ‘consequences of form’ (p. 96).65 If the medium is important, those working with documents need to consider ‘the ontological status of digital text … that will ground future work discussing the specific analytical affordances offered by digital texts’ (p. 78).66 Further consideration of the relationships between the materiality of documents and the practices enabled by the materiality can be found in the field of digital humanities (see, for instance, Berry and Fagerjord67).

마지막으로, '역사가들은 필연적으로 현재에 배치된 설명을 통해 과거의 행동을 이해하려고 시도한다'(71쪽).68 HPE에 있는 수많은 문서와 문서는 과거 사건을 이해하는 주요 도구이지만, 보건 전문직 교육의 역사를 다룬 논문이 현저히 부족하다는 점에 주목했습니다. 단 9건(8% 미만)의 기사만이 일부 역사적 분석 요소를 포함하고 있었으며, 대부분 프로그램에 대한 단순한 설명에 그쳤습니다. 의학의 역사를 다룬 문헌은 중요하지만(실제로 의학의 역사에 초점을 맞춘 오랜 전통의 학술지[예: 의학 및 연합 과학사 및 의학사 저널]가 여러 개 있습니다), 보건 전문직 교육 분야의 역사적 뿌리와 시간의 흐름에 따른 발전에 주목하는 연구는 거의 없다는 점은 주목할 만합니다. 이 분야는 충분히 연구할 가치가 있는 분야입니다. 
Finally, ‘historians attempt to understand past action through descriptions that are, by necessity, laid out in the present’ (p.71).68 The plethora of documents in HPE and documents are our primary tool for understanding past events, but we noted a significant absence of articles that dealt with the history of health professions education. Only nine articles (<8%) involved some element of historical analysis, and for the most part, these were simple descriptions of programs. While the literature addressing the history of medicine is significant (indeed there are several long-established journals focusing specifically on the history of medicine [e.g., Journal of the History of Medicine and Allied Sciences and Medical History], it is noteworthy that so little work in the field of health professions education attends to its historical roots and development over time. This is an area ripe for investigation.

이전 연구와의 비교
Comparison with previous research

연구 목적으로 문서의 장점을 강조한 것은 저희가 처음이 아닙니다. 또한 이를 위한 지침을 제공한 최초의 연구도 아닙니다(예: O'Leary4 및 Bowen11). 그러나 우리가 아는 한, 특정 분야 내에서 방법론적 프레임으로서 DA의 상태를 평가한 것은 이번이 처음입니다. 메타 리뷰 접근법을 사용하여 우리는 DA가 HPER에서 개념화, 제정 및 보고되는 방식에서 주요 문제를 식별할 수 있었습니다. 엄격성과 명확성이 부족한 이유 중 하나는 기존의 DA 지침이 유용하기는 하지만 '방법'에 대한 세부 사항을 충분히 제공하지 않았기 때문이라고 잠정적으로 판단했습니다. 이와 대조적으로, 본 검토의 면밀한 조사, 해석 및 비판을 통해 이전 지침(예: 오리어리4)을 기반으로 HPER 분야 및 잠재적으로 더 광범위하게 적용되는 DA의 방법론적 및 분석적 엄격성에 대한 증거에 기반한 기준을 설명할 수 있었습니다. 
We are not the first to extol the virtues of documents for research purposes. Nor are we the first to offer guidance for doing so (e.g., O'Leary4 and Bowen11). However, to the best of our knowledge, this is the first evaluation of the state of DA as a methodological frame within a particular field. Using a meta-review approach, we were able to identify major issues in how DA has been conceptualised, enacted and reported in HPER. We tentatively suggest that part of the reason for the lack of rigour and clarity is that existing DA guidance, while useful, has not provided sufficient ‘how to’ detail. In contrast, the level of scrutiny, interpretation and critique in our review allowed us to build on previous guidance (e.g., O'Leary4), to delineate evidence-informed standards of methodological and analytical rigour for DA that apply to the field of HPER and potentially more broadly.

강점과 한계
Strengths and limitations

이 연구에 접근하는 우리의 입장이 이 연구의 과정과 보고에 영향을 미칠 수밖에 없었지만, 우리는 연구 방법과 결과, 그리고 연구에서 도출한 권고안을 개발하는 데 있어 투명성을 유지하기 위해 주의를 기울였습니다. 최근 Greenhalgh 등이 권고한 바와 같이,69 우리는 체계적 문헌고찰과 서술적 문헌고찰 방법을 상호보완적으로 사용했습니다. 특히, 검색 과정에 사서를 참여시켜 데이터베이스 선택과 적격 연구를 검색하기 위한 검색 전략 개발을 지원했습니다(예: 70). 검색, 선택, 관리 및 분석에 신중하고 엄격한 접근 방식을 사용했으며 검토 방법에 대한 감사 추적을 제공했습니다.71 '문서'와 '분석'은 연구 논문에서 일반적으로 사용되는 단어입니다. 최종 데이터 세트를 얻기 위해 포함 기준에 따라 식별된 논문을 면밀히 조사해야 했으며, 다른 사람들이 동의하지 않는 내용을 유지하거나 거부하는 결정을 내렸을 수도 있습니다. 그런 다음 이론적 이해를 증진하고 새로운 질문을 식별하기 위해 식별된 연구를 비판적으로 해석하여 DA가 어떻게 사용되었는지에 대한 통찰력을 수집하는 데 집중했습니다.72 이 후자의 과정은 검토된 논문에서 종종 제공되는 데이터가 부족하기 때문에 현실과 진실에 대한 우리 자신의 이해와 '문서 경험'(1118페이지)73에 상당 부분 의존했습니다. 
Although our positionality in approaching this work will have inevitably shaped the process and reporting of this study, we were careful to be transparent in our methods and findings and in the development of the recommendations we made from the study. As recently recommended by Greenhalgh et al.,69 we used systematic and narrative review methods in a complementary manner. Specifically, we involved a librarian in the search process, to help with the selection of databases and the development of a search strategy to retrieve eligible studies (e.g.,70). We used a deliberate and rigorous approach for searching, selection, management and analysis and provided an audit trail of our review methods.71 ‘Document’ and ‘analysis’ are commonly used words in research articles. Close scrutiny of identified articles against the inclusion criteria was required to obtain the final dataset, and we may have made some decisions as to what to keep and what to reject with which others would disagree. We then focused on critically interpreting the identified studies to gather insight into how DA has been used, for the purpose of advancing theoretical understanding and identifying new questions.72 This latter process depended to a great extent on our own understandings of reality and truth and ‘document experience’ (p. 1118)73 given the paucity of data often provided in the reviewed articles.

우리는 HPER의 DA에 초점을 맞추었지만, DA 실무자에 대한 비평과 지침의 일환으로 광범위한 이론 및 절차 문헌을 활용했습니다. 이 과정에서 HPER에서 확인한 많은 강점과 약점이 다른 많은 분야에서도 발견된다는 점에 주목했습니다(예: Coffey56 참조). 우리는 DA에 대한 접근 방식에서 모범적인 분야나 학문을 발견하지 못했으며, 오히려 서로에게서 배울 점이 많은 것으로 보입니다. 
Although our focus was on DA in HPER, we engaged broader theoretical and procedural literatures as part of our critique of and guidance to DA practitioners. In doing so, we noted that many of the strengths and weaknesses we identified in HPER are also to be found in many other disciplines (for instance, see Coffey56). We found no one field or discipline that was exemplary in their approaches to DA; rather, it would seem that there is much to be learned from each other.

5 결론
5 CONCLUSION

DA는 그 자체로 연구 도구로서, 그리고 HPER에서 혼합 방법 연구의 일부로서 많은 잠재력을 가지고 있습니다. 그러나 DA가 그 잠재력을 발휘하기 위해서는 엄격성과 보고 측면에서 개선되어야 합니다. 우리는 이를 위한 지침을 제공하고 해당 분야의 학자들이 DA를 어떻게 사용하는지에 대한 토론에 참여하도록 초대하며, 궁극적으로는 우리 분야에서 의미를 이해하고 구성하는 데 문서를 더 많이, 더 잘 사용하도록 보장하는 것을 목표로 합니다.
DA has much potential as a research tool in its own right and as part of mixed methods research in HPER. However, for it to fulfil its potential, DA must improve in terms of rigour and reporting. We offer guidance for doing so and invite scholars in the field to engage in discussions about how they use DA, with the ultimate aim of ensuring more and better use of documents for understanding and constructing meaning in our field.

 


 

 

Med Educ. 2023 May;57(5):406-417. doi: 10.1111/medu.14964. Epub 2022 Nov 17.

 

 

CARDA: Guiding document analyses in health professions education research

Affiliations collapse

1Lee Kong Chian School of Medicine, Nanyang University Singapore, Singapore.

2Department of Continuing Professional Development and Medical Education, Dalhousie University, Halifax, Nova Scotia, Canada.

3Department of Community Health Sciences, Cumming School of Medicine, University of Calgary, Calgary, Alberta, Canada.

PMID: 36308050

DOI: 10.1111/medu.14964

Abstract

Introduction: Documents, from policies and procedures to curriculum maps and examination papers, structure the everyday experiences of health professions education (HPE), and as such can provide a wealth of empirical information. Document analysis (DA) is an umbrella term for a range of systematic research procedures that use documents as data.

Methods: A meta-study review was conducted with the aims of describing the current state of DA in HPE, guiding researchers engaging in DA and improving methodological, analytical and reporting rigour. Structured searches were conducted, returns were filtered for inclusion and the 115 remaining articles were critically analysed for their use of DA methods and methodologies.

Results: There was a significant increase in the number of articles reporting the use of DA over time. Sixty-three articles were single method (DA only), while the others were mixed methods research (MMR). Overall, there were major lacunae in terms of why documents were used, how documents were identified, what the authors did and what they found from the documents. This was particularly apparent in MMR where DA reporting was typically poorer than the reporting of other methods in the same paper.

Discussion: Given these many lacunae, a framework for reporting on DA research was developed to facilitate rigorous DA research and transparent, complete and accurate reporting of the same, to help readers assess the trustworthiness of the findings from document use and analysis in HPE and, potentially, other domains. It was also noted that there are gaps in HPE knowledge that could be addressed through DA, particularly where documents are conceptualised as more than passive holders of information. Scholars are encouraged to reflect more deeply on the applications and practices of DA, with the ultimate aim of ensuring more substantive and more rigorous use of documents for understanding and constructing meaning in our field.

프레임워크 방법을 사용하여 다분야 보건연구에서 질적자료 분석하기(BMC Med Res Methodol. 2013)
Using the framework method for the analysis of qualitative data in multi-disciplinary health research
Nicola K Gale1*, Gemma Heath2, Elaine Cameron3, Sabina Rashid4 and Sabi Redwood2

 

질적 데이터의 관리 및 분석을 위한 프레임워크 방법은 1980년대부터 사용되어 왔습니다[1]. 이 방법은 대규모 사회 정책 연구에서 시작되었지만 의료 및 보건 연구에서도 점점 더 대중적인 접근법이 되고 있지만, 그 잠재적 적용과 한계에 대해 약간의 혼란이 있습니다. 이 글에서는 프레임워크 방법을 사용하는 것이 적절한 시기와 다른 질적 분석 방법과 비교하는 방법에 대해 논의합니다. 특히 다학제 보건 연구팀에서 이 방법을 어떻게 사용할 수 있는지 살펴봅니다. 응용 보건 연구에서 다학제 및 혼합 방법 연구가 점점 더 보편화되고 있습니다. 간호학, 심리학, 사회학 등 질적 연구에 익숙한 분야뿐만 아니라 역학자, 보건 경제학자, 경영 과학자 등이 팀에 포함되는 경우가 많습니다. 또한 응용 보건 연구에는 종종 임상적 대표성이 있으며, 점점 더 많은 환자와 대중이 참여하고 있습니다[2]. 우리는 경험이 풍부한 질적 방법론자의 리더십이 의심할 여지없이 필요하지만, 더 넓은 팀의 비전문가도 분석 과정에 참여할 수 있고 참여해야 한다고 주장합니다. 그런 다음 프레임워크 방법의 적용에 대한 단계별 가이드를 제시하며, 프로세스의 주요 단계를 설명하기 위해 발표된 연구[3]의 작업 예시(추가 파일 1 참조)를 사용하여 설명합니다. 기술 용어는 용어집(아래)에 포함되어 있습니다. 마지막으로 이 접근 방식의 강점과 한계에 대해 논의합니다. 
The Framework Method for the management and analysis of qualitative data has been used since the 1980s [1]. The method originated in large-scale social policy research but is becoming an increasingly popular approach in medical and health research; however, there is some confusion about its potential application and limitations. In this article we discuss when it is appropriate to use the Framework Method and how it compares to other qualitative analysis methods. In particular, we explore how it can be used in multi-disciplinary health research teams. Multi-disciplinary and mixed methods studies are becoming increasingly commonplace in applied health research. As well as disciplines familiar with qualitative research, such as nursing, psychology and sociology, teams often include epidemiologists, health economists, management scientists and others. Furthermore, applied health research often has clinical representation and, increasingly, patient and public involvement [2]. We argue that while leadership is undoubtedly required from an experienced qualitative methodologist, non-specialists from the wider team can and should be involved in the analysis process. We then present a step-by-step guide to the application of the Framework Method, illustrated using a worked example (See Additional File 1) from a published study [3] to illustrate the main stages of the process. Technical terms are included in the glossary (below). Finally, we discuss the strengths and limitations of the approach.

프레임워크 방식에 사용되는 주요 용어 용어집
Glossary of key terms used in the Framework Method

  • 분석 프레임워크: 분석에 참여하는 연구자들이 공동으로 개발한 카테고리로 구성된 일련의 코드로, 데이터를 관리하고 구성하는 데 사용할 수 있습니다. 프레임워크는 연구 질문에 답하는 데 도움이 되는 방식으로 데이터를 요약/축소하는 데 도움이 되는 새로운 데이터 구조(참가자가 제공한 전체 원본 설명이 아닌)를 생성합니다.
    Analytical framework: A set of codes organised into categories that have been jointly developed by researchers involved in analysis that can be used to manage and organise the data. The framework creates a new structure for the data (rather than the full original accounts given by participants) that is helpful to summarize/reduce the data in a way that can support answering the research questions.
  • 분석 메모: 특정 개념, 주제 또는 문제에 대한 서면 조사로, 분석 프로세스를 포착하는 데이터의 새로운 이슈를 반영합니다(추가 파일 1, 섹션 7 참조).
    Analytic memo: A written investigation of a particular concept, theme or problem, reflecting on emerging issues in the data that captures the analytic process (see Additional file 1, Section 7).
  • 카테고리: 분석 과정에서 코드는 유사하고 상호 연관된 아이디어 또는 개념을 중심으로 클러스터로 그룹화됩니다. 카테고리와 코드는 일반적으로 분석 프레임워크에서 트리 다이어그램 구조로 배열됩니다. 카테고리는 원시 데이터와 밀접하고 명시적으로 연결되어 있지만, 카테고리를 개발하는 것은 데이터를 추상화하는 프로세스를 시작하는 방법입니다(즉, 특정 또는 일화적인 것이 아니라 일반적인 것을 향해).
    Categories: During the analysis process, codes are grouped into clusters around similar and interrelated ideas or concepts. Categories and codes are usually arranged in a tree diagram structure in the analytical framework. While categories are closely and explicitly linked to the raw data, developing categories is a way to start the process of abstraction of the data (i.e. towards the general rather than the specific or anecdotal).
  • 차트 작성: 요약된 데이터를 프레임워크 메서드 매트릭스에 입력합니다(추가 파일 1, 섹션 6 참조). 
    Charting: Entering summarized data into the Framework Method matrix (see Additional File 1, Section 6).
  • 코드: '코딩'이라는 프로세스에서 원시 데이터의 발췌에 할당되는 설명적 또는 개념적 레이블입니다(추가 파일 1, 섹션 3 참조). 
    Code: A descriptive or conceptual label that is assigned to excerpts of raw data in a process called ‘coding’ (see Additional File 1, Section 3).
  • 데이터: 정성적 데이터는 일반적으로 분석하기 전에 텍스트 형식이어야 합니다. 이러한 텍스트는 도출 텍스트(음식 일기 등 연구를 위해 특별히 작성된 텍스트) 또는 기존 텍스트(회의록, 정책 문서 또는 웹로그 등 기존 텍스트)일 수도 있고, 인터뷰 또는 포커스 그룹 데이터를 필사하거나 참여자 관찰을 수행하거나 대상 또는 사회적 상황을 관찰하면서 '현장' 노트를 작성하여 생성할 수도 있습니다.
    Data: Qualitative data usually needs to be in textual form before analysis. These texts can either be elicited texts (written specifically for the research, such as food diaries), or extant texts (pre-existing texts, such as meeting minutes, policy documents or weblogs), or can be produced by transcribing interview or focus group data, or creating ‘field’ notes while conducting participant-observation or observing objects or social situations.
  • 색인화: 합의된 분석 프레임워크의 코드를 전체 데이터 세트에 체계적으로 적용하는 것입니다(추가 파일 1, 섹션 5 참조).
    Indexing: The systematic application of codes from the agreed analytical framework to the whole dataset (see Additional File 1, Section 5).
  • 매트릭스: 스프레드시트에는 요약된 데이터를 코드(열)와 사례(행)별로 입력하는 수많은 셀이 포함되어 있습니다(추가 파일 1, 섹션 6 참조).
    Matrix: A spreadsheet contains numerous cells into which summarized data are entered by codes (columns) and cases (rows) (see Additional File 1, Section 6).
  • 주제: 전체 데이터 집합 분석의 최종 결과물로, 데이터의 측면을 묘사하거나 설명하는 해석적 개념 또는 명제입니다. 테마는 사례 간 및 사례 내 비교를 통해 데이터 범주를 조사하여 명확하게 표현하고 개발합니다. 일반적으로 여러 범주가 각 테마 또는 하위 테마에 속합니다[3].
    Themes: Interpretive concepts or propositions that describe or explain aspects of the data, which are the final output of the analysis of the whole dataset. Themes are articulated and developed by interrogating data categories through comparison between and within cases. Usually a number of categories would fall under each theme or sub-theme [3].
  • 트랜스크립트: 인터뷰나 대화와 같은 구두 상호 작용에 대한 축어적(단어 하나하나) 기록입니다.
    Transcript: A written verbatim (word-for-word) account of a verbal interaction, such as an interview or conversation.
12874_2012_991_MOESM1_ESM.docx
0.16MB

배경
Background

프레임워크 방법은 흔히 주제별 분석 또는 질적 콘텐츠 분석이라고 하는 광범위한 분석 방법군에 속합니다. 이러한 접근 방식은 정성적 데이터의 공통점과 차이점을 파악한, 다음 데이터의 여러 부분 간의 관계에 초점을 맞추어 주제를 중심으로 한 기술적 또는 설명적 결론을 도출하고자 합니다. 프레임워크 방법은 1980년대 후반 영국 국립사회연구센터의 질적 연구 부서의 연구자인 제인 리치와 리즈 스펜서에 의해 대규모 정책 연구에 사용하기 위해 개발되었습니다[1]. 현재는 건강 연구를 비롯한 다른 분야에서도 널리 사용되고 있습니다[3-12]. 요약된 데이터의 행(사례), 열(코드), '셀'로 구성된 매트릭스 아웃풋은 연구자가 데이터를 체계적으로 축소하여 사례별, 코드별로 분석할 수 있는 구조를 제공합니다[1]. 대부분의 경우 '사례'는 개별 인터뷰 대상자이지만, 미리 정의된 그룹이나 조직과 같은 다른 분석 단위에도 적용될 수 있습니다. 전체 데이터 세트에서 주요 주제에 대한 심층 분석이 이루어질 수 있지만, 각 연구 참여자의 견해는 매트릭스 내에서 해당 account의 다른 측면과 연결되어 있으므로 개인의 견해에 대한 맥락이 손실되지 않습니다. 데이터를 비교하고 대조하는 것은 질적 분석에 매우 중요하며, 프레임워크 방법의 구조와 프로세스에는 개별 사례 내뿐만 아니라 사례 간 데이터를 쉽게 비교할 수 있는 기능이 내장되어 있습니다. 
The Framework Method sits within a broad family of analysis methods often termed thematic analysis or qualitative content analysis. These approaches identify commonalities and differences in qualitative data, before focusing on relationships between different parts of the data, thereby seeking to draw descriptive and/or explanatory conclusions clustered around themes. The Framework Method was developed by researchers, Jane Ritchie and Liz Spencer, from the Qualitative Research Unit at the National Centre for Social Research in the United Kingdom in the late 1980s for use in large-scale policy research [1]. It is now used widely in other areas, including health research [312]. Its defining feature is the matrix output: rows (cases), columns (codes) and ‘cells’ of summarised data, providing a structure into which the researcher can systematically reduce the data, in order to analyse it by case and by code [1]. Most often a ‘case’ is an individual interviewee, but this can be adapted to other units of analysis, such as predefined groups or organisations. While in-depth analyses of key themes can take place across the whole data set, the views of each research participant remain connected to other aspects of their account within the matrix so that the context of the individual’s views is not lost. Comparing and contrasting data is vital to qualitative analysis and the ability to compare with ease data across cases as well as within individual cases is built into the structure and process of the Framework Method.

프레임워크 방법은 따라야 할 명확한 단계를 제공하며, 요약된 데이터의 고도로 구조화된 결과물을 생성합니다. 따라서 여러 연구자가 프로젝트를 진행하는 경우, 특히 모든 구성원이 질적 데이터 분석 경험이 없는 다학제 연구팀에서 전체 데이터 집합에 대한 총체적이고 설명적인 개요를 얻는 것이 바람직한 대규모 데이터 집합을 관리하는 데 유용합니다. 그러나 이 방법은 모든 유형의 정성적 데이터를 분석하거나 모든 정성적 연구 질문에 답하는 데 적합한 도구가 아니며, 정량적 연구자를 위한 '쉬운' 정성적 연구 버전도 아니므로 이 방법을 선택하기 전에 주의를 기울이는 것이 좋습니다. 중요한 점은 프레임워크 방법은 매우 이질적인 데이터를 수용할 수 없다는 것입니다. 즉, 데이터는 유사한 주제나 주요 이슈를 다루고 있어야 분류가 가능하다는 것입니다. 물론 개별 인터뷰 대상자는 각 주제와 관련하여 매우 다른 견해나 경험을 가지고 있을 수 있으며, 이를 비교하고 대조할 수 있습니다. 프레임워크 방법은 반구조화된 인터뷰 녹취록의 주제별 분석에 가장 일반적으로 사용되지만, 원칙적으로 회의록이나 일기[12], 관찰 현장 노트[10] 등 다른 유형의 텍스트 데이터[13]에도 적용될 수 있습니다.
The Framework Method provides clear steps to follow and produces highly structured outputs of summarised data. It is therefore useful where multiple researchers are working on a project, particularly in multi-disciplinary research teams were not all members have experience of qualitative data analysis, and for managing large data sets where obtaining a holistic, descriptive overview of the entire data set is desirable. However, caution is recommended before selecting the method as it is not a suitable tool for analysing all types of qualitative data or for answering all qualitative research questions, nor is it an ‘easy’ version of qualitative research for quantitative researchers. Importantly, the Framework Method cannot accommodate highly heterogeneous data, i.e. data must cover similar topics or key issues so that it is possible to categorize it. Individual interviewees may, of course, have very different views or experiences in relation to each topic, which can then be compared and contrasted. The Framework Method is most commonly used for the thematic analysis of semi-structured interview transcripts, which is what we focus on in this article, although it could, in principle, be adapted for other types of textual data [13], including documents, such as meeting minutes or diaries [12], or field notes from observations [10].

질적 연구자와 함께 일하거나 처음으로 질적 연구를 탐구하는 정량적 연구자에게는 프레임워크 방법의 체계적인 프로세스와 '스프레드시트' 접근 방식이 정량적 패러다임에 더 밀접하게 부합하는 것처럼 보이기 때문에 매력적으로 다가옵니다[14]. 프레임워크 방법은 다루기 어려워 보일 수 있는 정성적 데이터를 분류하고 정리하는 매우 체계적인 방법이지만, (분석 선택을 내리고 해석 전략을 가시화하고 감사할 수 있게 만드는 방법 등) 정성적 데이터 분석과 관련된 일반적인 문제에 대한 만병통치약은 아닙니다. 매트릭스를 적절하게 해석하고 설명, 범주, 설명 및 유형화를 용이하게 생성하기 위해서는 질적 연구 스킬이 필요합니다. 또한 다른 질적 방법에서와 마찬가지로 프레임워크 방법에서도 반성성, 엄격성 및 품질이 요구됩니다. 따라서 분석에 프레임워크 방법을 사용하는 연구는 숙련된 질적 연구자가 감독하는 것이 필수적이지만, 그렇다고 해서 질적 연구를 처음 접하는 연구자가 더 넓은 연구팀의 일원으로 분석에 기여하는 것을 배제하는 것은 아닙니다. 
For quantitative researchers working with qualitative colleagues or when exploring qualitative research for the first time, the nature of the Framework Method is seductive because its methodical processes and ‘spreadsheet’ approach seem more closely aligned to the quantitative paradigm [14]. Although the Framework Method is a highly systematic method of categorizing and organizing what may seem like unwieldy qualitative data, it is not a panacea for problematic issues commonly associated with qualitative data analysis such as how to make analytic choices and make interpretive strategies visible and auditable. Qualitative research skills are required to appropriately interpret the matrix, and facilitate the generation of descriptions, categories, explanations and typologies. Moreover, reflexivity, rigour and quality are issues that are requisite in the Framework Method just as they are in other qualitative methods. It is therefore essential that studies using the Framework Method for analysis are overseen by an experienced qualitative researcher, though this does not preclude those new to qualitative research from contributing to the analysis as part of a wider research team.

질적 데이터 분석에는 담화 분석[15] 및 민족지학[16]과 같이 언어와 사회적 상호작용에서 언어가 어떻게 사용되는지에 주목하는 접근법, 현상학[17, 18] 및 내러티브 방법[19]과 같이 경험, 의미 및 언어에 관심을 갖는 접근법, 근거 이론[20, 21]과 같이 일련의 절차와 상호 연결된 단계를 통해 데이터에서 도출된 이론을 개발하고자 하는 접근법 등 다양한 접근법이 존재합니다. 이러한 접근법 중 다수는 특정 분야와 연관되어 있으며 분석 과정을 형성하는 철학적 아이디어에 의해 뒷받침됩니다[22]. 그러나 프레임워크 방법은 특정 인식론적, 철학적 또는 이론적 접근 방식과 일치하지 않습니다. 오히려 테마를 생성하는 것을 목표로 하는 다양한 질적 접근 방식과 함께 사용할 수 있도록 조정할 수 있는 유연한 도구입니다. 
There are a number of approaches to qualitative data analysis, including those that pay close attention to language and how it is being used in social interaction such as discourse analysis [15] and ethnomethodology [16]; those that are concerned with experience, meaning and language such as phenomenology [17, 18] and narrative methods [19]; and those that seek to develop theory derived from data through a set of procedures and interconnected stages such as Grounded Theory [20, 21]. Many of these approaches are associated with specific disciplines and are underpinned by philosophical ideas which shape the process of analysis [22]. The Framework Method, however, is not aligned with a particular epistemological, philosophical, or theoretical approach. Rather it is a flexible tool that can be adapted for use with many qualitative approaches that aim to generate themes.

테마의 개발은 질적 데이터 분석의 공통적인 특징으로, 조사 대상 현상을 밝힐 수 있는 완전한 설명을 생성하기 위해 패턴을 체계적으로 검색하는 것을 포함합니다. 특히, 많은 질적 접근 방식은 근거 이론의 일부로 개발된 '지속적 비교 방법'을 사용하는데, 이는 각 주제를 구체화하기 위해 사례 간에 체계적으로 비교하는 것을 포함합니다[21, 23]. 근거 이론과 달리 프레임워크 방법은 사회 이론을 생성하는 데는 관심이 없지만, 매트릭스 전반에 걸친 데이터 검토를 통해 지속적인 비교 기법을 크게 촉진할 수 있습니다. 
The development of themes is a common feature of qualitative data analysis, involving the systematic search for patterns to generate full descriptions capable of shedding light on the phenomenon under investigation. In particular, many qualitative approaches use the ‘constant comparative method’ , developed as part of Grounded Theory, which involves making systematic comparisons across cases to refine each theme [21, 23]. Unlike Grounded Theory, the Framework Method is not necessarily concerned with generating social theory, but can greatly facilitate constant comparative techniques through the review of data across the matrix.

프레임워크 방법이 매우 체계적이기 때문에, 다른 논평가들이 지적했듯이, 종종 질적 분석에 대한 연역적 접근법과 혼동되기도 합니다[13, 14]. 그러나 이 도구 자체는 귀납적 또는 연역적 주제 분석 중 어느 쪽에도 충실하지 않으며, 연구가 귀납적-연역적 연속체에서 어디에 위치하는지는 연구 질문에 따라 달라집니다.

  • '환자가 심혈관 질환 발병에 대해 정확한 생의학적 설명을 할 수 있는가'와 같은 질문은 본질적으로 예/아니오 질문이므로(설명의 정도나 적절한 용어 사용에 따라 미묘한 차이가 있을 수 있지만) 데이터 수집과 분석(예: 구조화 또는 반구조화 인터뷰, 지시적 질적 내용 분석[24]) 모두에 연역적 접근 방식이 필요합니다.
  • 마찬가지로 행동 변화 이론과 같은 기존 이론에 근거하여 분석하는 경우, 예를 들어 '계획된 행동 이론이 GP 처방을 설명하는 데 어떻게 도움이 되는가'와 같은 연구 질문의 경우 연역적 접근 방식을 취할 수 있습니다[11].
  • 그러나 '사람들은 심혈관 질환 발병에 대한 설명을 어떻게 구성하는가'와 같은 연구 질문은 예상치 못한 것을 허용하고 연구자가 미리 예측할 수 없는 문화적 신념, 음식 준비 습관, '운명'의 개념 또는 슬픔과 같은 삶의 다른 중요한 사건과의 연관성을 포함할 수 있는 인터뷰 대상자의 사회적 위치 응답[25]을 허용하는 보다 귀납적 접근 방식이 필요합니다(예: 인터뷰 대상자 주도 개방형 인터뷰 및 근거 이론 [20]).

Perhaps because the Framework Method is so obviously systematic, it has often, as other commentators have noted, been conflated with a deductive approach to qualitative analysis [13, 14]. However, the tool itself has no allegiance to either inductive or deductive thematic analysis; where the research sits along this inductive-deductive continuum depends on the research question.

  • A question such as, ‘Can patients give an accurate biomedical account of the onset of their cardiovascular disease?’ is essentially a yes/no question (although it may be nuanced by the extent of their account or by appropriate use of terminology) and so requires a deductive approach to both data collection and analysis (e.g. structured or semi-structured interviews and directed qualitative content analysis [24]).
  • Similarly, a deductive approach may be taken if basing analysis on a pre-existing theory, such as behaviour change theories, for example in the case of a research question such as ‘How does the Theory of Planned Behaviour help explain GP prescribing?’ [11].
  • However, a research question such as, ‘How do people construct accounts of the onset of their cardiovascular disease?’ would require a more inductive approach that allows for the unexpected, and permits more socially-located responses [25] from interviewees that may include matters of cultural beliefs, habits of food preparation, concepts of ‘fate’, or links to other important events in their lives, such as grief, which cannot be predicted by the researcher in advance (e.g. an interviewee-led open ended interview and grounded theory [20]).

이러한 모든 경우에 프레임워크 방법을 사용하여 데이터를 관리하는 것이 적절할 수 있습니다.

  • 연역적 접근법에서는 이전 문헌, 이전 이론 또는 연구 질문의 특성에 따라 주제와 코드가 미리 선택되는 반면,
  • 귀납적 접근법에서는 개방형(제한 없는) 코딩을 통해 데이터에서 주제를 생성한 후 주제를 구체화하는 방식으로 차이가 분명해집니다.

많은 경우, 프로젝트에 탐구해야 할 특정 이슈가 있지만 참가자의 경험이나 현상에 의미를 부여하는 방식에서 예상치 못한 다른 측면을 발견할 수 있는 여지를 남겨두려는 목적이 있는 경우 두 가지 접근 방식을 결합하는 것이 적절합니다. 요컨대, 프레임워크 방법은 연역적, 귀납적 또는 복합적 유형의 질적 분석에 맞게 조정할 수 있습니다. 그러나 사례와 주제별로 데이터를 분석하는 것이 적절하지 않은 연구 질문이 있으므로 프레임워크 방법을 피해야 하는 경우도 있습니다. 예를 들어,

  • 연구 질문에 따라 생활사 데이터는 내러티브 분석[19]을,
  • 환자와 의료진 간의 상담 기록은 대화 분석[26]을,
  • 임산부를 위한 자료와 같은 다큐멘터리 데이터는 담화 분석[27]을 사용하여 분석하는 것이 더 적합할 수 있습니다. 

In all these cases, it may be appropriate to use the Framework Method to manage the data. The difference would become apparent in how themes are selected:

  • in the deductive approach, themes and codes are pre-selected based on previous literature, previous theories or the specifics of the research question; whereas
  • in the inductive approach, themes are generated from the data though open (unrestricted) coding, followed by refinement of themes.

In many cases, a combined approach is appropriate when the project has some specific issues to explore, but also aims to leave space to discover other unexpected aspects of the participants’ experience or the way they assign meaning to phenomena. In sum, the Framework Method can be adapted for use with deductive, inductive, or combined types of qualitative analysis. However, there are some research questions where analysing data by case and theme is not appropriate and so the Framework Method should be avoided. For instance,

  • depending on the research question, life history data might be better analysed using narrative analysis [19];
  • recorded consultations between patients and their healthcare practitioners using conversation analysis [26]; and
  • documentary data, such as resources for pregnant women, using discourse analysis [27].

연구 설계나 데이터 수집을 심도 있게 고려하는 것은 이 백서의 범위에 속하지 않지만, 프레임워크 방법 분석 프로세스를 설명하기 전에 한 걸음 물러나서 분석을 시작하기 전에 어떤 일이 일어나야 하는지 간략하게 살펴볼 필요가 있습니다. 분석 방법의 선택은 연구 제안 단계에서 고려되어야 하며, 연구 질문과 연구의 전반적인 목표에 부합해야 합니다. 많은 질적 연구, 특히 귀납적 분석을 사용하는 연구는 본질적으로 새로운 것이므로 연구자는 앞으로 일어날 일에 대한 "상상적 리허설"만 제공할 수 있습니다[28]. 혼합 방법 연구에서는 프로젝트의 더 넓은 목표 내에서 질적 구성 요소의 역할도 고려해야 합니다. 데이터 수집 단계에서는 질적 인터뷰가 고도로 숙련된 활동이기 때문에 적절히 훈련된 연구원이 질적 인터뷰를 수행할 수 있도록 리소스를 할당해야 합니다. 경우에 따라 연구팀은 일반인, 환자 또는 동료를 인터뷰에 참여시키기로 결정할 수 있으며[29-32], 이 경우 적절한 훈련과 멘토링을 받아야 하므로 시간과 자원이 필요합니다. 이 초기 단계에서는 데이터 관리 및 분석에 도움을 줄 수 있는 컴퓨터 지원 질적 데이터 분석 소프트웨어(CAQDAS)를 사용할지 여부를 고려하는 것도 유용합니다.

It is not within the scope of this paper to consider study design or data collection in any depth, but before moving on to describe the Framework Method analysis process, it is worth taking a step back to consider briefly what needs to happen before analysis begins. The selection of analysis method should have been considered at the proposal stage of the research and should fit with the research questions and overall aims of the study. Many qualitative studies, particularly ones using inductive analysis, are emergent in nature; this can be a challenge and the researchers can only provide an “imaginative rehearsal” of what is to come [28]. In mixed methods studies, the role of the qualitative component within the wider goals of the project must also be considered. In the data collection stage, resources must be allocated for properly trained researchers to conduct the qualitative interviewing because it is a highly skilled activity. In some cases, a research team may decide that they would like to use lay people, patients or peers to do the interviews [2932] and in this case they must be properly trained and mentored which requires time and resources. At this early stage it is also useful to consider whether the team will use Computer Assisted Qualitative Data Analysis Software (CAQDAS), which can assist with data management and analysis.

모든 형태의 정성적 또는 정량적 분석은 순전히 기술적인 과정이 아니라 연구자의 특성과 학문적 패러다임의 영향을 받기 때문에 연구의 설계, 데이터의 구성 또는 수집, 분석 등 연구 과정 전반에 걸친 비판적 성찰이 무엇보다 중요합니다. 팀의 모든 구성원은 연구 일기를 작성하여 반성적 메모, 데이터에 대한 인상, 분석에 대한 생각 등을 연구 과정 전반에 걸쳐 기록해야 합니다. 숙련된 질적 연구자는 엄격하고 반성적인 방식으로 데이터를 선별하고 분석하는 데 더욱 능숙해집니다. 실제 사회생활의 복잡성을 포용하고 설명하며 복잡한 사회 문제에 적용할 수 있는 풍부하고 미묘한 연구 결과를 도출하기 위해서는 확실성에 너무 집착하지 않고 연구 전반에 걸쳐 유연성과 적응력을 유지해야 합니다. 프레임워크 방법을 사용할 때는, 데이터 수집과 데이터 분석이 연구 과정의 엄격하게 순차적이고 상호 배타적인 단계인 양적 연구와 달리, 질적 분석에서는 프로젝트에 따라 어느 정도는 데이터 수집, 분석, 이론 개발 사이에 지속적인 상호작용이 있다는 점을 기억하는 것이 중요합니다. 예를 들어, 참가자의 새로운 아이디어나 인사이트가 잠재적으로 유익한 탐구 방향을 제시하거나, 면밀한 분석을 통해 추가 조사가 필요한 미묘한 불일치를 발견할 수 있습니다. 
As any form of qualitative or quantitative analysis is not a purely technical process, but influenced by the characteristics of the researchers and their disciplinary paradigms, critical reflection throughout the research process is paramount, including in the design of the study, the construction or collection of data, and the analysis. All members of the team should keep a research diary, where they record reflexive notes, impressions of the data and thoughts about analysis throughout the process. Experienced qualitative researchers become more skilled at sifting through data and analysing it in a rigorous and reflexive way. They cannot be too attached to certainty, but must remain flexible and adaptive throughout the research in order to generate rich and nuanced findings that embrace and explain the complexity of real social life and can be applied to complex social issues. It is important to remember when using the Framework Method that, unlike quantitative research where data collection and data analysis are strictly sequential and mutually exclusive stages of the research process, in qualitative analysis there is, to a greater or lesser extent depending on the project, ongoing interplay between data collection, analysis, and theory development. For example, new ideas or insights from participants may suggest potentially fruitful lines of enquiry, or close analysis might reveal subtle inconsistencies in an account which require further exploration.

분석 절차
Procedure for analysis

1단계: 전사
Stage 1: Transcription

좋은 품질의 오디오 녹음이 필요하며, 이상적으로는 인터뷰의 축어적(단어 대 단어) 필사본이 필요합니다. 프레임워크 방법 분석의 경우, 내용이 주요 관심사이기 때문에 읽기 어려울 수 있는 대화 필사본의 규칙(예: 일시 정지 또는 두 사람이 동시에 대화하는 경우)을 반드시 포함할 필요는 없습니다. 트랜스크립트에는 나중에 코딩하고 메모할 수 있도록 여백이 넓고 줄 간격이 적절해야 합니다. 필사 과정은 데이터에 몰입할 수 있는 좋은 기회이므로 신입 연구자에게 적극 권장할 만합니다. 그러나 일부 프로젝트에서는 이 작업을 전문 전사자에게 아웃소싱하는 것이 더 나은 리소스 활용이라고 판단할 수 있습니다. 
A good quality audio recording and, ideally, a verbatim (word for word) transcription of the interview is needed. For Framework Method analysis, it is not necessarily important to include the conventions of dialogue transcriptions which can be difficult to read (e.g. pauses or two people talking simultaneously), because the content is what is of primary interest. Transcripts should have large margins and adequate line spacing for later coding and making notes. The process of transcription is a good opportunity to become immersed in the data and is to be strongly encouraged for new researchers. However, in some projects, the decision may be made that it is a better use of resources to outsource this task to a professional transcriber.

2단계: 인터뷰에 익숙해지기
Stage 2: Familiarisation with the interview

오디오 녹음 및/또는 녹취록과 면접관이 녹음한 상황별 또는 반성적 메모를 사용하여 전체 인터뷰에 익숙해지는 것은 해석에 있어 매우 중요한 단계입니다. 오디오 녹음의 전체 또는 일부를 다시 듣는 것도 도움이 될 수 있습니다. 다학제 또는 대규모 연구 프로젝트의 경우, 데이터 분석에 참여하는 사람과 인터뷰를 진행하거나 필사한 사람이 다를 수 있으므로 이 단계가 특히 중요합니다. 한 칸의 여백을 사용하여 분석 메모, 생각 또는 인상을 기록할 수 있습니다. 

Becoming familiar with the whole interview using the audio recording and/or transcript and any contextual or reflective notes that were recorded by the interviewer is a vital stage in interpretation. It can also be helpful to re-listen to all or parts of the audio recording. In multi-disciplinary or large research projects, those involved in analysing the data may be different from those who conducted or transcribed the interviews, which makes this stage particularly important. One margin can be used to record any analytical notes, thoughts or impressions.

3단계: 코딩
Stage 3: Coding

익숙해지면 연구자는 대본을 한 줄 한 줄 주의 깊게 읽으면서 구절에서 중요하다고 해석한 내용을 설명하는 문구나 라벨('코드')을 붙입니다. 귀납적 연구에서는 이 단계에서 가능한 한 다양한 관점에서 관련성이 있을 수 있는 모든 것을 코딩하는 '오픈 코딩'이 이루어집니다. 코딩은 다음 등을 나타낼 수 있습니다.

  • 실체적인 것(예: 특정 행동, 사건 또는 구조),
  • 가치(예: 근거 기반 의학 또는 환자 선택에 대한 믿음과 같이 특정 진술을 알리거나 뒷받침하는 것),
  • 감정(예: 슬픔, 좌절, 사랑) 및
  • 인상적/방법론적인 요소(예: 인터뷰 대상자가 설명하기 어려운 것을 발견했다, 인터뷰 대상자가 감정적이 되었다, 인터뷰자가 불편함을 느꼈다) [33] 

After familiarization, the researcher carefully reads the transcript line by line, applying a paraphrase or label (a ‘code’) that describes what they have interpreted in the passage as important. In more inductive studies, at this stage ‘open coding’ takes place, i.e. coding anything that might be relevant from as many different perspectives as possible. Codes could refer to

  • substantive things (e.g. particular behaviours, incidents or structures),
  • values (e.g. those that inform or underpin certain statements, such as a belief in evidence-based medicine or in patient choice),
  • emotions (e.g. sorrow, frustration, love) and
  • more impressionistic/methodological elements (e.g. interviewee found something difficult to explain, interviewee became emotional, interviewer felt uncomfortable) [33].

순수 연역적 연구에서는 코드가 미리 정의되어 있을 수 있으므로(예: 기존 이론 또는 프로젝트의 특정 관심 분야) 이 단계가 꼭 필요하지 않을 수 있으며 바로 색인화로 넘어갈 수도 있지만, 일반적으로 데이터의 중요한 측면을 놓치지 않으려면, 적어도 몇 개의 트랜스크립트에서 오픈 코딩을 수행하는 것이 광범위한 연역적 접근 방식을 취하는 경우에도 도움이 될 수 있습니다. 코딩은 모든 데이터를 분류하여 데이터 세트의 다른 부분과 체계적으로 비교할 수 있도록 하는 것을 목표로 합니다. 가능하면 최소 두 명의 연구자(또는 다학제 연구팀의 경우 각 분야 또는 전문 분야에서 한 명 이상)가 처음 몇 개의 기록물을 독립적으로 코딩해야 합니다. 환자, 대중 참여 대표 또는 임상의도 이 단계에 생산적으로 참여할 수 있는데, 이는 대안적인 관점을 제시하여 특정 관점이 지배적이지 않도록 보장할 수 있기 때문입니다. 
In purely deductive studies, the codes may have been pre-defined (e.g. by an existing theory, or specific areas of interest to the project) so this stage may not be strictly necessary and you could just move straight onto indexing, although it is generally helpful even if you are taking a broadly deductive approach to do some open coding on at least a few of the transcripts to ensure important aspects of the data are not missed. Coding aims to classify all of the data so that it can be compared systematically with other parts of the data set. At least two researchers (or at least one from each discipline or speciality in a multi-disciplinary research team) should independently code the first few transcripts, if feasible. Patients, public involvement representatives or clinicians can also be productively involved at this stage, because they can offer alternative viewpoints thus ensuring that one particular perspective does not dominate.

귀납적 코딩에서는 문자 그대로의 설명적인 방식으로 코딩하는 것이 아니라, 예상치 못한 것을 찾아내는 것이 중요하므로, 다양한 관점을 가진 사람들의 참여가 큰 도움이 될 수 있습니다. 한 줄 한 줄 코딩을 통해 전체적인 내용을 파악할 수 있을 뿐만 아니라, 명확하게 표현되지 않았거나 나머지 계정과 '맞지 않아서' 보통은 보이지 않는 부분을 고려하도록 연구자에게 경각심을 줄 수 있습니다. 이런 식으로 데이터의 이상 징후를 조정하고 설명하면 분석을 더욱 강력하게 만들 수 있습니다. 코딩은 새로운 코드를 자동으로 추적할 수 있는 유용한 방법인 CAQDAS를 사용하여 디지털 방식으로도 수행할 수 있습니다. 그러나 일부 연구자들은 코딩의 초기 단계를 종이와 펜으로 하는 것을 선호하며, 5단계(아래 참조)에 도달한 후에야 CAQDAS를 사용하기 시작합니다.
It is vital in inductive coding to look out for the unexpected and not to just code in a literal, descriptive way so the involvement of people from different perspectives can aid greatly in this. As well as getting a holistic impression of what was said, coding line-by-line can often alert the researcher to consider that which may ordinarily remain invisible because it is not clearly expressed or does not ‘fit’ with the rest of the account. In this way the developing analysis is challenged; to reconcile and explain anomalies in the data can make the analysis stronger. Coding can also be done digitally using CAQDAS, which is a useful way to keep track automatically of new codes. However, some researchers prefer to do the early stages of coding with a paper and pen, and only start to use CAQDAS once they reach Stage 5 (see below).

4단계: 작업용 분석 프레임워크 개발하기
Stage 4: Developing a working analytical framework

처음 몇 개의 트랜스크립트를 코딩한 후에는 관련된 모든 연구자가 모여 각자가 적용한 레이블을 비교하고, 이후의 모든 트랜스크립트에 적용할 코드 세트에 동의해야 합니다. 코드를 카테고리로 그룹화한 다음(도움이 된다면 트리 다이어그램을 사용) 명확하게 정의할 수 있습니다. 이렇게 하면 작업용 분석 프레임워크가 형성됩니다. 추가 코드가 나오지 않을 때까지 분석 프레임워크를 여러 번 반복해야 할 수도 있습니다. 각 범주 아래에 '기타' 코드를 두어 맞지 않는 데이터를 무시하지 않도록 하고, 마지막 기록이 코딩될 때까지 분석 프레임워크는 결코 '최종'이 아닙니다. 
After coding the first few transcripts, all researchers involved should meet to compare the labels they have applied and agree on a set of codes to apply to all subsequent transcripts. Codes can be grouped together into categories (using a tree diagram if helpful), which are then clearly defined. This forms a working analytical framework. It is likely that several iterations of the analytical framework will be required before no additional codes emerge. It is always worth having an ‘other’ code under each category to avoid ignoring data that does not fit; the analytical framework is never ‘final’ until the last transcript has been coded.

5단계: 분석 프레임워크 적용
Stage 5: Applying the analytical framework

그런 다음 기존 카테고리와 코드를 사용하여 후속 트랜스크립트를 색인화하여 작업용 분석 프레임워크를 적용합니다. 각 코드에는 일반적으로 쉽게 식별할 수 있도록 번호나 약어가 할당되며(따라서 코드의 전체 이름을 매번 적을 필요가 없음), 트랜스크립트에 직접 기록됩니다. 컴퓨터 지원 정성적 데이터 분석 소프트웨어(CAQDAS)는 이 단계에서 특히 유용하며, 프로세스 속도를 높이고 이후 단계에서 데이터를 쉽게 검색할 수 있도록 해주기 때문입니다. 정확한 지침에 따라 실제로 계산을 수행하는 통계 분석용 소프트웨어와 달리, 정성적 분석 소프트웨어 패키지에 데이터를 넣는 것은 데이터를 분석하는 것이 아니라 분석 프로세스에 액세스할 수 있도록 데이터를 저장하고 구성하는 효과적인 방법일 뿐이라는 점에 유의할 필요가 있습니다.

The working analytical framework is then applied by indexing subsequent transcripts using the existing categories and codes. Each code is usually assigned a number or abbreviation for easy identification (and so the full names of the codes do not have to be written out each time) and written directly onto the transcripts. Computer Assisted Qualitative Data Analysis Software (CAQDAS) is particularly useful at this stage because it can speed up the process and ensures that, at later stages, data is easily retrievable. It is worth noting that unlike software for statistical analyses, which actually carries out the calculations with the correct instruction, putting the data into a qualitative analysis software package does not analyse the data; it is simply an effective way of storing and organising the data so that they are accessible for the analysis process.

6단계: 프레임워크 매트릭스에 데이터 차트화
Stage 6: Charting data into the framework matrix

정성적 데이터는 방대하며(한 시간의 인터뷰로 15~30페이지의 텍스트가 생성될 수 있음), 데이터를 관리하고 요약(축소)하는 것은 분석 프로세스에서 매우 중요한 측면입니다. 스프레드시트를 사용하여 매트릭스를 생성하고 데이터를 매트릭스에 '차트화'합니다. 차트 작성에는 각 기록에서 카테고리별로 데이터를 요약하는 작업이 포함됩니다. 좋은 차트를 작성하려면 한편으로는 데이터를 줄이고, 다른 한편으로는 인터뷰 대상자의 말의 원래 의미와 '느낌'을 유지하는 것 사이에서 균형을 맞출 수 있어야 합니다. 차트에는 흥미롭거나 예시적인 인용문에 대한 참조가 포함되어야 합니다. CAQDAS를 사용하여 데이터를 관리하는 경우 자동으로 태그를 지정할 수 있으며(N-Vivo 버전 9 이상에는 프레임워크 매트릭스를 생성하는 기능이 있음), 그렇지 않은 경우 대문자 'Q', (익명화된) 트랜스크립트 번호, 페이지 및 줄 참조로 충분합니다. 여러 분야가 참여하는 팀에서는 분석 프로세스의 초기 단계에서 요약 스타일을 비교하고 대조하여 팀 내 일관성을 유지하는 것이 도움이 됩니다. 약어를 사용할 때는 팀원들이 동의해야 합니다. 팀원들이 분석 프레임워크에 익숙해지고 코딩과 차트 작성에 능숙해지면 평균적으로 1시간 분량의 요약본을 작성하는 데 반나절 정도 걸립니다. 초기 단계에서는 훨씬 더 오래 걸립니다. 
Qualitative data are voluminous (an hour of interview can generate 15–30 pages of text) and being able to manage and summarize (reduce) data is a vital aspect of the analysis process. A spreadsheet is used to generate a matrix and the data are ‘charted’ into the matrix. Charting involves summarizing the data by category from each transcript. Good charting requires an ability to strike a balance between reducing the data on the one hand and retaining the original meanings and ‘feel’ of the interviewees’ words on the other. The chart should include references to interesting or illustrative quotations. These can be tagged automatically if you are using CAQDAS to manage your data (N-Vivo version 9 onwards has the capability to generate framework matrices), or otherwise a capital ‘Q’, an (anonymized) transcript number, page and line reference will suffice. It is helpful in multi-disciplinary teams to compare and contrast styles of summarizing in the early stages of the analysis process to ensure consistency within the team. Any abbreviations used should be agreed by the team. Once members of the team are familiar with the analytical framework and well practised at coding and charting, on average, it will take about half a day per hour-long transcript to reach this stage. In the early stages, it takes much longer.

7단계: 데이터 해석
Stage 7: Interpreting the data

데이터에 대한 인상, 아이디어, 초기 해석을 기록할 수 있는 별도의 노트나 컴퓨터 파일을 준비해 두는 것이 연구 전반에 걸쳐 유용합니다. 흥미로운 아이디어, 개념 또는 잠재적 주제를 탐색하기 위해 어느 단계에서든 분석 메모[20, 21]를 작성하여 일반인 및 임상 구성원을 포함한 다른 연구팀원들과 논의하는 것이 좋습니다. 점차적으로 데이터의 특징과 데이터 간의 차이점을 파악하여 다음을 할  수 있습니다. 

  • 유형학을 생성하고,
  • 이론적 개념(이전 개념 또는 데이터에서 나온 개념)을 질문하거나,
  • 범주 간의 연결을 매핑하여 관계 및 인과관계를 탐색

데이터가 충분히 풍부하다면 이 과정을 통해 도출된 결과는 특정 사례에 대한 기술을 넘어 설명으로 확장될 수 있습니다. 

  • 현상의 출현 이유,
  • 조직이나 기타 사회적 행위자가 상황을 어떻게 선동하거나 대응할지 예측,
  • 조직이나 시스템 내에서 제대로 작동하지 않는 영역을 식별

이 단계는 예상보다 오래 걸리는 경우가 많으므로 프로젝트 계획에 회의와 연구자 개개인의 연구 결과 해석 및 작성에 충분한 시간을 할당해야 합니다(추가 파일 1, 섹션 7 참조). 
It is useful throughout the research to have a separate note book or computer file to note down impressions, ideas and early interpretations of the data. It may be worth breaking off at any stage to explore an interesting idea, concept or potential theme by writing an analytic memo [20, 21] to then discuss with other members of the research team, including lay and clinical members. Gradually, characteristics of and differences between the data are identified, perhaps

  • generating typologies,
  • interrogating theoretical concepts (either prior concepts or ones emerging from the data) or
  • mapping connections between categories to explore relationships and/or causality.

If the data are rich enough, the findings generated through this process can go beyond description of particular cases to explanation of, for example,

  • reasons for the emergence of a phenomena,
  • predicting how an organisation or other social actor is likely to instigate or respond to a situation, or
  • identifying areas that are not functioning well within an organisation or system.

It is worth noting that this stage often takes longer than anticipated and that any project plan should ensure that sufficient time is allocated to meetings and individual researcher time to conduct interpretation and writing up of findings (see Additional file 1, Section 7).

토론
Discussion

프레임워크 방법은 25년 이상 개발되어 연구에 성공적으로 사용되어 왔으며, 최근 질적 보건 연구에서 널리 사용되는 분석 방법이 되었습니다. 질적 연구에서 품질을 평가하는 방법에 대한 문제는 많은 논쟁이 있어 왔지만[20, 34-40], 분석의 엄격성과 투명성을 보장하는 것은 필수적인 요소입니다. 물론 여러 가지 방법이 있지만 프레임워크 방법에서는 다음과 같은 방법이 도움이 됩니다: 
The Framework Method has been developed and used successfully in research for over 25 years, and has recently become a popular analysis method in qualitative health research. The issue of how to assess quality in qualitative research has been highly debated [20, 3440], but ensuring rigour and transparency in analysis is a vital component. There are, of course, many ways to do this but in the Framework Method the following are helpful:

  • 차트를 작성하는 동안 데이터를 요약하는 것은 데이터를 줄이는 실용적인 방법일 뿐만 아니라 일반인, 임상 및 (정량적) 학계 구성원을 포함한 다분야 팀의 모든 구성원이 (모든 기록을 읽거나 분석의 보다 기술적인 부분에 관여하지는 않더라도) 분석 과정에서 데이터에 참여하고 각자의 관점을 제공할 수 있음을 의미합니다.
    Summarizing the data during charting, as well as being a practical way to reduce the data, means that all members of a multi-disciplinary team, including lay, clinical and (quantitative) academic members can engage with the data and offer their perspectives during the analysis process without necessarily needing to read all the transcripts or be involved in the more technical parts of analysis.
  • 또한 차트를 작성하면 연구자가 해석으로 넘어가기 전각 참여자의 주관적인 프레임과 표현을 사용하여 데이터를 설명하는 데 세심한 주의를 기울일 수 있습니다. 
    Charting also ensures that researchers pay close attention to describing the data using each participant’s own subjective frames and expressions in the first instance, before moving onto interpretation.
  • 요약된 데이터는 각 사례의 더 넓은 맥락에서 유지되므로 복잡한 의미와 이해의 층위에 주의를 기울이는 두꺼운 설명을 장려합니다[38].
    The summarized data is kept within the wider context of each case, thereby encouraging thick description that pays attention to complex layers of meaning and understanding [38].
  • 매트릭스 구조는 시각적으로 간단하며 모순되는 데이터, 비정상적인 사례 또는 빈 셀에 주의를 기울이는 등 연구팀의 모든 구성원이 데이터의 패턴을 쉽게 인식할 수 있습니다.
    The matrix structure is visually straightforward and can facilitate recognition of patterns in the data by any member of the research team, including through drawing attention to contradictory data, deviant cases or empty cells.
  • 체계적인 절차(이 문서에 설명되어 있음)를 통해 여러 분야의 팀이나 대규모 데이터 세트가 있는 경우에도 쉽게 따라할 수 있습니다.
    The systematic procedure (described in this article) makes it easy to follow, even for multi-disciplinary teams and/or with large data sets.
  • 인터뷰가 아닌 데이터(예: 인터뷰 중에 작성한 현장 메모 또는 반성적 고려 사항)도 매트릭스에 포함할 수 있을 만큼 유연합니다.
    It is flexible enough that non-interview data (such as field notes taken during the interview or reflexive considerations) can be included in the matrix.
  • 특정 인식론적 관점이나 이론적 접근 방식과 일치하지 않으므로 귀납적 또는 연역적 분석 또는 이 둘을 조합하여 사용할 수 있습니다(예: 기존의 이론적 구성을 연역적으로 사용한 다음 귀납적 측면으로 이론을 수정하거나 귀납적 접근 방식을 사용하여 데이터에서 주제를 식별한 다음 문헌으로 돌아가 연역적으로 이론을 사용하여 특정 주제를 추가로 설명하는 데 도움이 됨).
    It is not aligned with a particular epistemological viewpoint or theoretical approach and therefore can be adapted for use in inductive or deductive analysis or a combination of the two (e.g. using pre-existing theoretical constructs deductively, then revising the theory with inductive aspects; or using an inductive approach to identify themes in the data, before returning to the literature and using theories deductively to help further explain certain themes).
  • 주제를 설명하기 위해 관련 데이터 추출을 식별하고 제안된 주제에 대한 충분한 증거가 있는지 확인하는 것이 쉽습니다.
    It is easy to identify relevant data extracts to illustrate themes and to check whether there is sufficient evidence for a proposed theme.
  • 마지막으로, 원본 원시 데이터에서 최종 테마까지, 예시 인용문을 포함한 명확한 감사 추적이 있습니다.
    Finally, there is a clear audit trail from original raw data to final themes, including the illustrative quotes.

이 접근 방식에는 여러 가지 잠재적인 함정이 있습니다:
There are also a number of potential pitfalls to this approach:

  • 배경에서 언급했듯이 체계적인 접근 방식과 매트릭스 형식은 정량적으로 훈련된 사람들에게는 직관적으로 매력적이지만, '스프레드시트' 형식은 정성적 연구에 대한 심층적인 이해가 없는 사람들이 정성적 데이터를 정량화하려는 유혹을 더욱 증가시킬 수 있습니다(예: "20명의 참가자 중 13명이 X라고 답함"). 정성적 연구의 표본 추출은 더 넓은 집단을 대표하도록 설계된 것이 아니라 현상에 대한 다양성을 포착하기 위한 것이기 때문에 이러한 종류의 진술은 분명히 무의미합니다 [41]. 
    The systematic approach and matrix format, as we noted in the background, is intuitively appealing to those trained quantitatively but the ‘spreadsheet’ look perhaps further increases the temptation for those without an in-depth understanding of qualitative research to attempt to quantify qualitative data (e.g. “13 out of 20 participants said X). This kind of statement is clearly meaningless because the sampling in qualitative research is not designed to be representative of a wider population, but purposive to capture diversity around a phenomenon [41].
  • 모든 질적 분석 방법과 마찬가지로 프레임워크 방법도 시간과 리소스 집약적입니다. 응용 보건 연구의 모범 사례처럼 데이터 분석 및 해석에 여러 이해관계자 및 분야를 참여시킬 경우 필요한 시간이 연장됩니다. 이 시간은 펀딩 전 단계에서 프로젝트 제안서에 반영되어야 합니다. 
    Like all qualitative analysis methods, the Framework Method is time consuming and resource-intensive. When involving multiple stakeholders and disciplines in the analysis and interpretation of the data, as is good practice in applied health research, the time needed is extended. This time needs to be factored into the project proposal at the pre-funding stage.
  • 새로운 다분야 팀에서 이 방법을 성공적으로 사용하려면 많은 교육이 필요합니다. 분석에서 각자의 역할에 따라 연구팀 구성원은 데이터를 코딩, 색인화, 차트화하는 방법을 배우고, 자신의 정체성과 경험이 분석 과정에 어떤 영향을 미치는지 반성적으로 생각해야 하며, 데이터의 의미와 중요성을 정당하게 해석하기 위해 일반화 방법(통계적 일반화가 아닌 분석적 일반화 및 전이 가능성[41])에 대해 배워야 할 수도 있습니다. 
    There is a high training component to successfully using the method in a new multi-disciplinary team. Depending on their role in the analysis, members of the research team may have to learn how to code, index, and chart data, to think reflexively about how their identities and experience affect the analysis process, and/or they may have to learn about the methods of generalisation (i.e. analytic generalisation and transferability, rather than statistical generalisation [41]) to help to interpret legitimately the meaning and significance of the data.

프레임워크 방법은 비전문가도 데이터 분석에 참여할 수 있지만, 대규모 혼합 방법 연구의 전체 책임자가 다른 사람이더라도 숙련된 질적 연구자가 프로젝트를 이끄는 것이 이 방법을 성공적으로 사용하는 데 매우 중요합니다. 질적 연구 책임자는 최소한 질적 분석에 대한 사전 교육이나 경험이 있는 다른 연구자들과 함께 하는 것이 이상적입니다. 질적 연구 책임자의 책임은 연구 설계, 프로젝트 일정 및 리소스 계획에 기여하고, 주니어 질적 연구자를 멘토링하고, 임상, 일반 및 기타 (비질적) 학자들이 분석 과정에 적절히 기여할 수 있도록 교육하고, 데이터 및 다른 팀원들과 비판적이고 반성적인 참여를 장려하는 방식으로 분석 회의를 촉진하고, 마지막으로 연구 보고서 작성을 주도하는 것입니다. 
While the Framework Method is amenable to the participation of non-experts in data analysis, it is critical to the successful use of the method that an experienced qualitative researcher leads the project (even if the overall lead for a large mixed methods study is a different person). The qualitative lead would ideally be joined by other researchers with at least some prior training in or experience of qualitative analysis. The responsibilities of the lead qualitative researcher are: to contribute to study design, project timelines and resource planning; to mentor junior qualitative researchers; to train clinical, lay and other (non-qualitative) academics to contribute as appropriate to the analysis process; to facilitate analysis meetings in a way that encourages critical and reflexive engagement with the data and other team members; and finally to lead the write-up of the study.

결론
Conclusion

우리는 프레임워크 방법 연구가 의료 전문가, 심리학자, 사회학자, 경제학자, 일반인/서비스 사용자 등을 포함하는 다학제 연구팀에 의해 수행될 수 있다고 주장해 왔습니다. 다양한 관점을 포함한다는 것은 분석 과정에서 의사결정을 내리는 데 많은 시간과 리소스가 소요될 수 있음을 의미합니다. 인터뷰 대상자가 표현하고 녹취록에서 확인된 아이디어가 각 분야의 기존 개념 및 이론과 프로젝트가 해결하고자 하는 보건 시스템의 실제 '문제'와 어떻게 관련되어 있는지에 대해 광범위하고 반성적이며 비판적인 대화가 필요할 수 있습니다. 그러나 이러한 종류의 팀 노력은 연구 결과의 신뢰성과 관련성을 높여 '전체가 부분의 합보다 크다'는 것을 보장하기 위해 임상 및 일반인의 연구 참여뿐만 아니라 학제 간 협업을 촉진하는 훌륭한 포럼입니다.
We have argued that Framework Method studies can be conducted by multi-disciplinary research teams that include, for example, healthcare professionals, psychologists, sociologists, economists, and lay people/service users. The inclusion of so many different perspectives means that decision-making in the analysis process can be very time consuming and resource-intensive. It may require extensive, reflexive and critical dialogue about how the ideas expressed by interviewees and identified in the transcript are related to pre-existing concepts and theories from each discipline, and to the real ‘problems’ in the health system that the project is addressing. This kind of team effort is, however, an excellent forum for driving forward interdisciplinary collaboration, as well as clinical and lay involvement in research, to ensure that ‘the whole is greater than the sum of the parts’, by enhancing the credibility and relevance of the findings.

프레임워크 방법은 텍스트 데이터, 특히 인터뷰 녹취록의 주제별 분석에 적합하며, 여러 사례의 데이터를 주제별로 비교하고 대조하는 동시에 각 관점을 각 개인 기록의 다른 측면과의 연관성을 유지하여 맥락에 맞게 배치하는 것이 중요합니다. 숙련된 질적 연구자가 분석의 모든 측면을 주도하고 진행해야 하지만, 프레임워크 방법의 체계적인 접근 방식은 다분야 팀의 모든 구성원을 참여시키는 데 적합합니다. 엄격한 질적 분석을 위해서는 모든 팀원의 개방적이고 비판적이며 반성적인 접근 방식이 필수적입니다.
The Framework Method is appropriate for thematic analysis of textual data, particularly interview transcripts, where it is important to be able to compare and contrast data by themes across many cases, while also situating each perspective in context by retaining the connection to other aspects of each individual’s account. Experienced qualitative researchers should lead and facilitate all aspects of the analysis, although the Framework Method’s systematic approach makes it suitable for involving all members of a multi-disciplinary team. An open, critical and reflexive approach from all team members is essential for rigorous qualitative analysis.

고품질의 질적 연구를 위해서는 실제 보건 시스템의 복잡성과 건강 문제에 대한 다양한 관점의 존재를 인정하는 것이 필요합니다. 질적 연구가 잘 수행되면 중요한 현상에 대한 설명과 예측을 제시하고, 대규모 연구의 정량적 부분과 건설적인 관계를 맺으며, 보건 서비스 개선과 보건 정책 개발에 기여할 수 있습니다. 프레임워크 방법을 적절히 선택하고 실행하면 신뢰할 수 있고 관련성 있는 결과를 도출하여 이러한 목표를 달성하는 데 적합한 도구가 될 수 있습니다. 
Acceptance of the complexity of real life health systems and the existence of multiple perspectives on health issues is necessary to produce high quality qualitative research. If done well, qualitative studies can shed explanatory and predictive light on important phenomena, relate constructively to quantitative parts of a larger study, and contribute to the improvement of health services and development of health policy. The Framework Method, when selected and implemented appropriately, can be a suitable tool for achieving these aims through producing credible and relevant findings.

요약
Summary

  • 프레임워크 방법은 데이터를 관리하고 매핑하기 위한 체계적인 모델을 제공하기 때문에 주제별(질적 내용) 분석을 지원하는 데 탁월한 도구입니다.
  • 프레임워크 방법은 사례 내 및 사례 간 비교를 통해 주제를 생성하는 것이 바람직한 인터뷰 데이터 분석에 가장 적합합니다.
  • 프레임워크 방법은 매트릭스 형태로 요약된 데이터를 직관적으로 구조화한 개요를 제공하기 때문에 대규모 데이터 세트의 관리가 용이합니다.
  • 프레임워크 방법의 명확한 단계별 프로세스는 학제 간 및 협업 프로젝트에 적합합니다.
  • 이 방법의 사용은 숙련된 질적 연구자가 주도하고 촉진해야 합니다.
  • The Framework Method is an excellent tool for supporting thematic (qualitative content) analysis because it provides a systematic model for managing and mapping the data.
  • The Framework Method is most suitable for analysis of interview data, where it is desirable to generate themes by making comparisons within and between cases.
  • The management of large data sets is facilitated by the Framework Method as its matrix form provides an intuitively structured overview of summarised data.
  • The clear, step-by-step process of the Framework Method makes it is suitable for interdisciplinary and collaborative projects.
  • The use of the method should be led and facilitated by an experienced qualitative researcher.

BMC Med Res Methodol. 2013 Sep 18;13:117. doi: 10.1186/1471-2288-13-117.

Using the framework method for the analysis of qualitative data in multi-disciplinary health research

Affiliations collapse

1Health Services Management Centre, University of Birmingham, Park House, 40 Edgbaston Park Road, Birmingham B15 2RT, UK. n.gale@bham.ac.uk.

PMID: 24047204

PMCID: PMC3848812

DOI: 10.1186/1471-2288-13-117

Free PMC article

Abstract

Background: The Framework Method is becoming an increasingly popular approach to the management and analysis of qualitative data in health research. However, there is confusion about its potential application and limitations.

Discussion: The article discusses when it is appropriate to adopt the Framework Method and explains the procedure for using it in multi-disciplinary health research teams, or those that involve clinicians, patients and lay people. The stages of the method are illustrated using examples from a published study.

Summary: Used effectively, with the leadership of an experienced qualitative researcher, the Framework Method is a systematic and flexible approach to analysing qualitative data and is appropriate for use in research teams even where not all members have previous experience of conducting qualitative research.

근거이론의 퀄리티를 추구하며 (QUALITATIVE RESEARCH IN PSYCHOLOGY, 2021)
The pursuit of quality in grounded theory
Kathy Charmaza and Robert Thornberg

 

 

소개
Introduction

미국의 사회학자 바니 글레이저와 안셀름 스트라우스(1967)의 '근거 이론의 발견': 질적 연구를 위한 전략'은 새로운 분석 방법을 제안했을 뿐만 아니라 질적 연구의 질을 지키는 데 앞장섰습니다. 근거 이론은 데이터 수집을 구체화하고 이를 분석하기 위한 명시적인 전략을 제공하는 체계적인 연구 수행 방법입니다. 이 방법의 명확한 목적은 연구 대상의 하나 이상의 핵심 관심사에 대한 추상적인 이해를 제공하는 이론을 구성하는 것입니다. 
American sociologists Barney Glaser and Anselm Strauss’s (1967) The Discovery of Grounded Theory: Strategies for Qualitative Research not only proposed a new method of analysis, but also led the charge of defending the quality of qualitative research. Grounded theory is a systematic method of conducting research that shapes collecting data and provides explicit strategies for analyzing them. The defining purpose of this method is to construct a theory that offers an abstract understanding of one or more core concerns in the studied world.

근거 이론 연구에서는 연구자의 분석 초점이 경험적 탐구가 시작되기 전에 결정되는 것이 아니라 연구 과정 중에 나타납니다. 점점 더 많은 근거 이론가들은 이 방법을 연구 과정 전반에 걸쳐 데이터에 대해 사고하고, 구성하고, 상호 작용하는 방식이라고 가정합니다(Morse 외, 곧 발표 예정). 이제 근거 이론을 사용한다는 것은 참가자의 삶에 대해 개방적으로 학습한다는 것 이상의 의미를 갖습니다. 또한 연구가 철저하고 체계적으로 수행된 과정을 보여줌으로써 연구자가 배운 것을 투명하게 공개하는 것을 의미합니다.
In grounded theory studies, the researcher’s analytic focus emerges during the research process, rather than being determined before empirical inquiry begins. Increasingly, grounded theorists assume that the method is a way of thinking about, constructing, and interacting with data throughout the research process (Morse et al., forthcoming). Using grounded theory now means more than openness to learning about the participants’ lives. It also means making what the researchers learn transparent by showing how the research has been conducted thoroughly and systematically.

근거 이론 방법은 연구자의 이론적 분석을 발전시키는 데 유용한 전략을 제공합니다. 이 방법은 연구자가 자신의 학문 분야와 더 큰 연구 문헌에서 새로운 개념을 생성하는 데 도움이 됩니다. 이러한 개념은 심리학을 비롯한 여러 분야의 전문 정책과 실무에 직접 적용될 수 있습니다.
The grounded theory method offers useful strategies to develop researchers’ theoretical analyses. This method helps them to generate new concepts in their discipline and the larger research literature. These concepts may have direct application for professional policies and practices in psychology and beyond.

먼저 이 방법의 논리를 간략하게 설명한 다음, 근거 이론의 발전의 역사적 맥락을 스케치해 보겠습니다. 근거 이론은 그 시작부터 현재까지 질적 연구의 질에 대한 질문을 다루어 왔습니다. Glaser와 Strauss(1967)는 질적 연구를 새로운 이론적 공헌과 연결시켰습니다. 논의 전반에 걸쳐, 우리는 근거 이론 연구에서 품질에 대한 우려가 연구 프로세스에 어떻게 퍼져 있는지 자세히 설명합니다. 또한 근거 이론가들의 품질에 대한 개념을 더 큰 문헌과 비교한 다음 개념의 발전과 이론적 프레임워크와의 관계를 자세히 설명합니다. 마지막으로 요점을 종합하고 구성주의 근거 이론 연구에서 품질을 수행하기 위한 체크리스트와 제안을 제공하는 것으로 마무리하지만, 대부분의 제안은 다른 버전의 근거 이론에도 적용될 수 있습니다.
We begin by briefly explaining the logic of the method and then sketch the historical context of the development of grounded theory. From its beginning to the present, grounded theory has addressed questions about quality in qualitative research. Glaser and Strauss (1967) tied quality to making new theoretical contributions. Throughout our discussion, we detail how concerns about quality pervade the research process in grounded theory studies. We also compare notions of quality among grounded theorists with the larger literature and then detail development of a concept and its relation to a theoretical framework. We end by synthesizing our key points and offering a checklist and suggestions for conducting quality in constructivist grounded theory research, although most of the suggestions are applicable to other versions of grounded theory as well.

근거 이론 연구의 품질에 대해 설명하기 전에, 많은 연구자, 그중에서도 심리학자들이 이론 구성 대신 또는 이론 구성과 함께 다양한 가치 있는 목적으로 이 방법을 사용한다는 점을 지적하고 싶습니다. 이러한 목적에는 다음 등이 있습니다.

  • 새로운 연구 영역 탐색(Bronk 2012),
  • 주요 과정 설명 및 이해(Qin and Lykes 2006),
  • 대중의 목소리를 거부당한 사람들의 상황 조명(Ayón 외. 2017; Gibson 2016; Scull, Mbonyingabo, Kotb 2016; Tuason 2013),
  • 정책 개발(Faija 외. 2017),
  • 전문적 실천에 대한 시사점(Song and de Jong 2013; Yakushko 2010) 

수많은 연구자들이 주제별 분석을 수행하기 위해 몇 가지 근거 이론 전략을 사용합니다(브라운과 클라크 2006 참조). 이 글에서는 다른 목적에도 부합하는지 여부와 관계없이 이론 구축을 목표로 하는 근거 이론 연구의 품질을 강조합니다. 
Before outlining quality in grounded theory research, we wish to point out that many researchers, psychologists among them, use this method for a variety of worthy purposes instead of or in conjunction with theory construction. Such purposes include

  • exploring a new area of study (Bronk 2012)
  • explicating and understanding a major process (Qin and Lykes 2006),
  • illuminating the situations of people denied a public voice (Ayón et al. 2017; Gibson 2016; Scull, Mbonyingabo, and Kotb 2016; Tuason 2013),
  • developing policy (Faija et al. 2017), and
  • implications for professional practice (Song and de Jong 2013; Yakushko 2010). 

Numerous researchers use several grounded theory strategies for conducting thematic analyses (cf. Braun and Clarke 2006). In this article, we emphasize quality in grounded theory studies that aim for theory construction, despite whether they also serve other goals.

근거 이론의 논리
The logic of grounded theory

글레이저와 스트라우스(1967)는 병원에서의 죽음과 임종에 대한 주목할 만한 질적 연구를 구성하는 데 사용한 방법을 설명함으로써 근거 이론을 발전시켰습니다(Glaser & Strauss, 1965, 1968). 이 방법론적 논문에서 그들은 동시 데이터 수집 및 분석이라는 혁신적이고 체계적인 전략을 도입했습니다. 이는 근거 이론의 특징이 되었으며 질적 조사 전반에 걸쳐 널리 채택되었습니다. 글레이저와 스트라우스는 데이터 수집과 분석의 반복적인 과정을 통해 연구자가 연구 분야에서 가장 중요한 문제에 순차적으로 집중할 수 있다고 주장했습니다. 데이터 수집과 분석을 동시에 수행하면 연구자는 데이터에 대한 개념을 개발하는 데 꾸준히 집중하고 초기 개념을 구체화하는 추가 데이터를 수집하는 데 도움이 됩니다. 글레이저와 스트라우스는 당시 민족지학 연구의 특징이었던 데이터 수집과 분석의 분리에 반대했습니다. 1960년대의 민족지학자들은 일반적으로 상당한 양의 데이터가 깊이와 풍부함이 부족하다는 사실을 발견했습니다. 그러나 이 반갑지 않은 발견을 했을 때는 이미 연구 현장을 떠난 후여서 돌아오지 못하는 경우가 많았습니다. 그러나 연구자들이 데이터를 수집할 때 체계적으로 질문하면 초기 아이디어가 후속 데이터 수집에 영향을 줄 수 있습니다. 
Glaser and Strauss (1967) developed grounded theory by explaining the methods they used to construct their remarkable qualitative studies of death and dying in hospitals (Glaser & Strauss, 1965, 1968). In this methodological treatise, they introduced the innovative and systematic strategy of simultaneous data collection and analysis. It became a hallmark of grounded theory and has become widely adopted throughout qualitative inquiry. Glaser and Strauss argued that by engaging in an iterative process of data collection and analysis, researchers would sequentially focus on the most significant issues in the field of study. Simultaneous data collection and analysis help researchers to steadily focus on developing concepts about the data and to gather further data that flesh out their nascent concepts. Glaser and Strauss opposed the separation of data gathering and analysis that characterized ethnographic research of their time. Ethnographers of the 1960s commonly discovered their considerable quantities of data lacked depth and richness. But by the time they made this unwelcome discovery, they had left the research site and often could not return. If, however, researchers systematically interrogate their data as they gather it, their early ideas can then inform subsequent data collection.

데이터 분석을 시작하기 위해 Glaser와 Strauss는 데이터를 비교하고 코딩할 것을 주장했습니다. 이들에게 초기 코딩이란 데이터의 스니펫에 레이블을 지정하여 데이터를 분리하는 동시에 데이터가 제시하는 의미와 조치에 주의를 기울이는 것을 의미했습니다. 연구자가 데이터를 새롭게 바라보고, 데이터의 조각을 비교하고, 분석적인 질문을 던질 수 있도록 하기 때문에 우리는 첫 번째 단계로 라인별 코딩을 권장합니다. 근거 이론 방법은 연구자가 데이터를 종합하는 데 도움이 될 뿐만 아니라, 무슨 일이 일어나고 있는지 설명하는 새로운 개념을 구성하여 설명을 넘어서는 데도 도움이 됩니다. 
To begin analyzing data, Glaser and Strauss advocated comparing and coding the data. For them, initial coding meant labeling snippets of data to take them apart while being attentive to the meanings and actions suggested by these data. We advocate line-by-line coding as a first step, because it forces the researcher to take a fresh look at the data, compare fragments of these data, and ask analytic questions about them. The grounded theory method not only helps researchers to synthesize data but, moreover, to move beyond description through constructing new concepts that explicate what is happening.

라인별 코딩은 근거 이론가가 연구 참여자의 경험과 관점을 이해하는 데 도움이 됩니다. 이러한 이해를 얻으면 연구자가 데이터에 적합하다고 믿었던 소중한 학문적 개념을 다시 생각하거나 포기할 수 있습니다

  • 예를 들어, 심리학자들은 회복탄력성에 관한 중요한 연구를 많이 수행해 왔습니다. 그러나 이 개념의 유용성은 지속적인 위기를 경험하는 절망적인 사람들의 입장에는 맞지 않을 수 있습니다. 카프리스키 세이데(Charmaz 2020, 166)는 콜레라가 유행하던 아이티의 상황을 직접 조사했습니다. 그녀는 노숙자, 극심한 빈곤, 굶주림, 고립, 절망, 죽음과 마주했습니다. 세이데는 '젊은 여성에게 회복탄력성이라는 단어는 patronizing하였고, 더 많은 아이티인들이 일상 생활에서 시험과 도전을 받아 '이성을 잃지 않는다'는 사실이 놀랍기 때문에 구조적 폭력을 정상화하는 것처럼 보였다'고 보고했습니다.

Line-by-line coding helps grounded theorists to understand their research participants’ experiences and perspectives. Gaining this understanding can lead to rethinking or relinquishing cherished disciplinary concepts that researchers might have believed would fit their data.

  • For example, psychologists have conducted many important studies about resilience. However, the usefulness of this concept may not fit the stance of desperate people who experience constant crises. Kapriskie Seide (in Charmaz 2020, 166) conducted firsthand research on the situation in Haiti during the cholera epidemic. She found herself face-to-face with homelessness, immense poverty, starvation, isolation, hopelessness, and death. Seide reported that ‘For a young woman, the word resilient was patronizing and seemed to normalize structural violence as it is surprising to some that more Haitians are not ‘losing their shit’ from being tested and challenged by their everyday lives’.

글레이저와 스트라우스(1965, 1968)의 연구는 여러 현장에서의 광범위한 현장 연구를 기반으로 했습니다. 오늘날 대부분의 근거 이론 연구는 인터뷰를 기반으로 합니다. 근거 이론가들은 초기 인터뷰의 코드에 대한 후속 연구를 통해 보다 핵심적인 질문을 개발하고 중요할 것이라고 예상하지 못했던 영역에 대해 질문합니다. 데이터와 분석 사이를 오가며 초기 아이디어의 타당성을 확인하고, 타당성이 있는 아이디어의 분석 수준을 높이며, 이를 더욱 완벽하게 뒷받침하는 데 도움이 됩니다. 근거 이론가들은 코딩을 하는 동안 코드와 코드에 대해 궁금한 점에 대해 메모를 작성합니다.
Glaser and Strauss’s (1965, 1968) studies were based on extensive field research in multiple sites. Today, most grounded theory studies are based on interviews. By following up on codes in the early interviews, the grounded theorists develop more pointed questions and ask about areas that they had not anticipated would be important. Tacking back and forth between data and analysis helps to check the pertinence of their nascent ideas, raise the analytic level of those that hold up, and support them more fully. While grounded theorists are coding, they write memos about their codes and the questions they have about them.

메모 작성코딩과 (잠정 분석을 포함한) 논문 초안 작성 사이의 중간 단계입니다. 초기 메모에는 근거 이론가의 코드, 분석 및 방법론적 질문, 데이터 조각 간의 비교에 대한 논의가 포함될 수 있습니다. 다른 메모는 근거 이론가들이 코드를 분해하기 때문에 더 분석적입니다.

  • 먼저 코드의 속성이나 특징에 따라 코드를 정의하는 것이 좋습니다. 이러한 속성은 코드를 구성하고 다른 코드와 차별화하는 요소입니다.
  • 명시되지 않은 가정을 찾아보고 자신과 연구 참여자의 가정을 검토하세요.
  • 코드가 어디로 연결되는지, 다른 코드와 어떻게 연결되는지 기록하세요.
  • 모든 코드가 동일한 것은 아닙니다. 어떤 코드는 구체적이고 설명적입니다. 다른 코드는 보다 분석적이고 광범위한 데이터를 설명합니다.
  • 연구를 진행하면서 메모는 더욱 명확해지고 분석적이 됩니다. 이런 식으로 연구에 퀄리티를 쌓아가는 것입니다.

Memo writing is the intermediate step between coding and writing the first draft of the paper, including the provisional analysis. Early memos may include discussions of grounded theorists’ codes, analytic and methodological questions as well as comparisons between fragments of data. Other memos are more analytic because grounded theorists take codes apart.

  • We suggest that you first define a code by its properties or characteristics. These properties are what constitute the code and differentiate it from other codes.
  • Look for unstated assumptions and examine your own as well as those of your research participants.
  • Record where the code takes you and how it is linked to other codes.
  • Not all codes are equal. Some codes are concrete and descriptive. Others are more analytic and account for a wider range of data.
  • As you proceed with your research, your memos become more definitive and analytic. In this way, you are building quality into your study.

얼마나 많은 줄 단위 코딩을 해야 할까요? 코드가 어떻게 합쳐지는지 확인하고 어떤 코드가 가장 중요한지 파악한 후에는 줄 단위 코딩을 중단할 수 있습니다. 가장 중요한 코드를 집중 코드로 정의하세요. 이러한 코드는 다른 코드보다 더 많은 데이터를 설명하고, 관련 코드를 하위에 포함하며, 작업의 분석 수준을 높입니다. 그런 다음 집중 코드를 사용하여 대량의 데이터 배치에서 어떻게 작동하는지 살펴보세요. 집중 코딩은 데이터에 대한 강력한 기반을 유지하면서 분석 프로세스를 신속하게 진행합니다. 집중 코드는 잠정적인 분석 범주를 생성하는 데 도움이 됩니다. 이 범주가 유효할까요? 이 범주가 데이터를 설명할 수 있을까요, 아니면 다른 문제가 있을까요?
How much line-by-line coding should you do? After seeing how your codes coalesce and identifying which are the most important, you can stop line-by-line coding. Define the most important codes as focused codes. These codes account for more data than other codes, subsume related codes, and raise the analytic level of your work. Then use the focused codes to examine how they work with large batches of data. Focused coding expedites the analytic process while retaining your strong foundation in the data. Focused codes help to generate tentative analytic categories, which you then pursue. Do these categories hold up? Can they account for these data, or is something else going on?

근거 이론은 집중 코딩과 같이 연구 프로세스에 품질에 기여하는 점검을 구축합니다. 동시에 집중 코딩을 사용하면 분석 속도를 높이고 후속 데이터 수집을 간소화하여 새로운 분석에서 질문에 답할 수 있는 타깃 데이터를 수집할 수 있습니다. 따라서 근거 이론은 연구자에게 더 적은 데이터로 더 많은 분석력을 제공합니다. 그럼에도 불구하고 이 점이 매우 작은 샘플을 사용하는 것을 변명할 수는 없습니다(참조, Thomson 2011). 
Grounded theory builds checks into the research process that contribute to its quality, such as engaging in focused coding. Simultaneously, using focused coding helps you to expedite your analysis and streamline your subsequent data collection to gather targeted data that answer questions in your emerging analysis. Hence, grounded theory gives the researcher more analytic power with fewer data. Nonetheless, this point does not excuse having very small samples (cf., Thomson 2011).

질적 연구를 통해 연구자는 데이터에서 명시적 및 암시적 프로세스를 식별할 수 있습니다. 근거 이론은 프로세스를 연구하는 유용한 방법을 제공합니다. 프로세스를 명시하기 위해 근거 이론가들은 행동과 의미를 연구하고 이들이 어떻게 연결되어 있는지 보여줍니다. 

  • 예를 들어, 심리학자 Qin과 Lykes(2006)는 의미와 행동의 융합에 대한 훌륭한 분석을 제공합니다. 이들은 미국에 있는 중국 여성 대학원생들의 상황을 연구하여 파편화된 자아를 재구성함으로써 자기 이해를 얻는 기본적인 심리적 과정을 발견했습니다. 이 학생들은 미국에 도착하기 전에 분열된 자아를 경험한 경우가 많았습니다. 중국에서는 성차별, 정치적 부패, 사회적 관계망에 대한 관리 능력 부족 등으로 인해 자기 이해가 파편화되었습니다. 고등 교육에 대한 학생들의 열망은 여성에 대한 문화적 규범과 모순되었습니다. 미국에서는 '차별, 무례, 외로움, 자기 의심'(192쪽)을 경험하면서 자아가 더욱 분열되었습니다. 그러나 많은 사람들이 자기 이해에 다문화적 통찰을 접목하면서 더 복잡한 자아를 갖게 되었습니다.

Qualitative research allows researchers to discern explicit and implicit processes in their data. Grounded theory offers a useful way of studying processes. To make processes explicit, grounded theorists study actions as well as meanings and show how they are connected.

  • For example, psychologists Qin and Lykes (2006) provide an excellent analysis of the convergence of meanings and actions. They studied the situations of Chinese women graduate students in the United States and discovered the basic psychological process of gaining self-understanding through reweaving a fragmented self. These students often experienced a fragmented self before their arrival in the US. In China, their self-understanding became fragmented due to gender discrimination, political corruption, and inability to manage the web of social relationships in which they were embedded. The students’ quest for higher education contradicted cultural norms for women. In the US their selves became further fragmented, as they experienced ‘discrimination, disrespect, loneliness, and self-doubt’ (p. 192). Yet many gained more complex selves as they rewove cross-cultural insights into their self-understandings.

연구 과정의 모든 단계에서 근거 이론가들은 데이터로 시작하여 범주 간의 비교로 끝나는 비교를 합니다.각주1 그 후, 그들은 최종 범주 또는 범주를 기존 문헌과 비교합니다. 근거 이론이 어떤 방향으로 나아갈지 미리 알 수 없기 때문에 연구를 완료할 때 문헌을 체계적으로 검색해야 합니다.
At every stage of the research process grounded theorists make comparisons beginning with data and ending with comparisons between their categories.Footnote1 Subsequently, they compare their final category or categories with the existing literature. Because they do not know in advance where grounded theory may take them, they need to do a systematic search of the literature as they complete their study.

글레이저와 스트라우스는 연구자의 개념 범주의 분석력을 높이는 반복적인 과정이 근거 이론에 많은 힘을 준다는 사실을 깨달았습니다. 그들은 새로운 데이터로 이러한 범주를 채우기 위해 새로운 유형의 샘플링인 '이론적 샘플링'을 제안했습니다. 이 유형의 샘플링에서 연구자는 범주를 설명할 수 있는 데이터를 찾습니다. 이 용어는 정량적 연구에서 대표 표본 추출로 오인되는 경우가 많기 때문에 혼동될 수 있습니다. 그러나 이론적 샘플링은 대표 샘플링과는 아무런 관련이 없습니다. 글레이저와 스트라우스는 새로운 개념 범주의 이론적 포화라고 부르는 것을 목표로 삼고 있습니다. 근거 이론가들은 이론적 샘플링을 하면서 더 많은 데이터를 찾지만 범주의 새로운 속성이나 특성을 발견하지 못할 때 이론적 포화 상태에 도달합니다. 이론적 샘플링이론적 포화는 반복적인 프로세스를 추구하고 구축된 범주를 데이터와 비교하여 철저하게 확인하는 데 달려 있습니다. 그러나 연구자가 각 참가자에게 동일한 질문만 던진다면 주제에 대해 비슷한 이야기를 이끌어낼 가능성이 높습니다. 이는 데이터 포화 상태이며, 상대적으로 적은 수의 인터뷰에서도 발생하지만 연구의 분석력에는 거의 기여하지 않습니다. 
Glaser and Strauss realized that the iterative process of increasing the analytic power of the researcher’s conceptual categories gave grounded theory much of its strength. They proposed a new type of sampling, ‘theoretical sampling’, to fill out these categories with new data. In this type of sampling, researchers look for data that will inform their categories. The term is confusing because it is often mistaken for representative population sampling in quantitative research. However, theoretical sampling has nothing to do with representative sampling. Glaser and Strauss are aiming for what they call theoretical saturation of the emerging conceptual categories. Grounded theorists achieve theoretical saturation, when they seek more data while theoretical sampling, but find no new properties or characteristics of their categories. Theoretical sampling and theoretical saturation depend upon pursuing the iterative process and thoroughly checking the constructed categories against data. If, however, researchers only ask the same questions of each participant, they are likely to elicit similar stories about the topic. That is data saturation, and it occurs with relatively few interviews but seldom contributes to the analytic power of the study.

이론적 샘플링과 이론적 포화는 연구자의 분석을 강화하고 명확한 주장을 할 수 있는 자료를 제공함으로써 연구의 품질에 기여합니다. 요컨대, 근거 이론가들은 상담 심리학자 Morrow(2005)와 Williams와 Morrow(2009)가 연구 실무에서 반드시 달성해야 한다고 주장한 연구의 'trustworthiness'을 구축하고 있습니다.
Theoretical sampling and theoretical saturation contribute to the quality of the study by strengthening researchers’ analysis and giving them material for making explicit claims about it. In short, grounded theorists are building the kind of ‘trustworthiness,’ of their research that counseling psychologists Morrow (2005) and Williams and Morrow (2009) rightly argue is imperative to achieve in research practice.

근거 이론 개발의 질에 대한 우려
Concerns about quality in the development of grounded theory

글레이저와 스트라우스(1967)가 최첨단 이론을 발표할 당시만 해도 그들은 사회학자들에게 많은 이야기를 하고 있었습니다. 그들은 자신들의 방법이 심리학, 간호학, 의학, 교육, 컴퓨터 과학, 도시 계획 등 여러 학문 분야와 전문 분야의 경계를 넘나들 것이라고는 꿈에도 생각하지 못했습니다. 사회학에서 질적 연구의 질에 대한 글레이저와 스트라우스의 옹호는 양적 사회학자에 대한 용감한 반박이었습니다. 1960년대에 이르러 질적 연구는 객관성, 타당성, 신뢰성, 재현성이 결여된 것으로 간주하는 미국의 양적 사회학자들의 공격을 받게 되었습니다(Bryant & Charmaz 2007; Charmaz, 1995, Charmaz 2006). 정량적 연구는 이미 체계적으로 체계화되어 있었고, 그 방법을 배울 수 있는 교과서도 점점 더 많이 보급되고 있었습니다. 반면, 질적 연구는 주로 구전으로 내려오는 멘토링 전통과 탐구 분야에 대한 몰입을 통해 배워왔습니다. 그 결과는 소규모의 설명적 연구였습니다. Glaser와 Strauss(1967)의 진술이 나오기 전까지는 고품질의 질적 이론 분석을 구성하는 방법에 대해 체계적으로 성문화된 글은 거의 없었으며, 그보다 훨씬 적은 양이었습니다. 
At the time of Glaser and Strauss’s (1967) cutting edge statement, they were very much speaking to sociologists. They never dreamt that their method would cross many disciplinary and professional borders such as in psychology, nursing, medicine, education, computer science, and urban planning. Glaser and Strauss’s defense of the quality of qualitative research in sociology stood as a valiant rebuttal to quantitative sociologists. By the 1960s, qualitative research had come under attack by US quantitative sociologists who viewed qualitative inquiry as lacking objectivity, validity, reliability, and replicability (Bryant & Charmaz 2007; Charmaz, 1995, Charmaz 2006). Quantitative research had already been systematically codified and textbooks were increasingly available for learning how to do it. In contrast, qualitative research had largely been taught through an oral tradition of mentoring and immersion in the field of inquiry. The results were small descriptive studies. Until Glaser and Strauss’s (1967) statement, little had been written, much less codified into a systematic statement, about how to construct a qualitative theoretical analysis of high quality.

질적 연구에 대한 양적 사회과학자들의 날카로운 비판에 대해 글레이저와 스트라우스는 양적 전통의 교리에 따라 질적 연구를 평가하는 일반적인 관행을 거부했습니다. 글레이저와 스트라우스는 질적 연구에 대한 양적 연구자들의 비판을 체계적이지 않고 편향적이며 직관적이라는 이유로 거부했습니다. 대신, 그들은 질적 연구는 지배적인 양적 전통에 의해 강요된 기준이 아니라 그 자체의 표준에 따라 평가되어야 한다고 주장했습니다. 
When answering quantitative social scientists’ sharp criticisms of its quality, Glaser and Strauss rejected the common practice of evaluating qualitative research according to the tenets of the quantitative tradition. Glaser and Strauss rejected quantitative researchers’ criticisms of qualitative inquiry as being unsystematic idiosyncratic, biased, and intuitive. Instead, they argued that qualitative research must be evaluated on its own canons, not on those imposed by the dominant quantitative tradition.

글레이저와 스트라우스는 연역적 정량적 연구는 연구자가 연구를 시작하기 전에 '올바른' 질문을 알고 있다고 가정한다고 주장했습니다. 이러한 질문은 일반적으로 경험적 세계와는 거리가 먼 사변적 이론에서 파생된 것이었습니다. 글레이저와 스트라우스는 다음과 같이 제안했습니다.

  • (1) 연구 질문은 경험적 상황을 연구하는 과정에서 생겨나야 하고, 
  • (2) 연역적 가설 테스트는 새로운 이론적 접근법 개발을 저해하며, 
  • (3) 따라서 연구 결과의 품질, 관련성 및 유용성을 떨어뜨린다고 

Glaser and Strauss avowed that deductive quantitative research assumed that researchers knew the ‘right’ questions to ask before beginning their studies. Such questions were typically derived from speculative theorizing far removed from the empirical world. Glaser and Strauss proposed that

  • (1) research questions had to arise from studying empirical situations,
  • (2) deductive hypothesis testing undermined developing new theoretical approaches, and
  • (3) thus, reduced the quality, relevance and usefulness of the research products.

요컨대, 글레이저와 스트라우스는 풍부한 직접 데이터를 활용한 귀납적 질적 연구가 이론 구축으로 이어질 수 있으며, 객관성, 타당성, 신뢰성, 재현성의 규범을 고수하는 것은 이론화를 저해할 수 있다고 선언했습니다. 따라서 연구를 수행하기 전에 연구와 이론적 문헌에 몰입하면 연구자가 흔들리고 결과적으로 연구에 대한 선입견을 갖게 된다고 주장했습니다. 글레이저와 스트라우스에게 이론화, 즉 수준 높은 연구를 위해서는 연구 대상 현상에 대한 직접적인 지식이 전제되어야 했습니다. 또한 직접 경험에 대한 연구는 엄격하게 수행될 수 있다고 주장했습니다.
In short, Glaser and Strauss declared that inductive qualitative research with rich first-hand data could lead to theory construction and that adhering to canons of objectivity, validity, reliability and replicability would inhibit theorizing. Hence, they argued that immersion in the research and theoretical literatures before conducting research would sway researchers and subsequently, preconceive their studies. For Glaser and Strauss, theorizing–and creating high quality research–needed to be predicated on direct knowledge of the studied phenomenon. Moreover, they contended that studies of direct experience could be conducted with rigor.

글레이저와 스트라우스의 입장을 맥락에 맞게 이해하려면 1960년대 미국 사회학과에서 어떤 일이 벌어지고 있었는지 자세히 알아두면 도움이 됩니다. 사회학과 인류학은 20세기에 접어들면서 학문이 시작될 때부터 질적 연구를 직접 수행해 온 오랜 역사를 가지고 있습니다. 그러나 1960년대에 이르러 양적 연구자들이 사회학의 주요 부서, 학술지, 연구 기관, 연구비 지원 기관을 장악하면서 질적 연구를 공격하고 소외시켰습니다. 그들은 소수의 재능 있는 스타만이 학계의 주목을 받을 만한 질적 연구를 수행할 수 있다고 믿었습니다. 글레이저와 스트라우스는 이러한 견해를 거부하고 질적 연구를 민주화했습니다. 그들은 근거 이론이 일반 연구자들에게 각자의 분야에서 견고한 이론을 구축할 수 있는 도구를 제공할 것이라고 약속했습니다. 
To place Glaser and Strauss’s position in context, it helps to know more about what was happening in US sociology departments of the 1960s. Sociology and anthropology have had long histories of first-hand qualitative research from the beginning of their disciplines at the turn of the 20th century. But by the 1960s, quantitative researchers had attacked and marginalized qualitative inquiry in sociology by gaining control over leading departments, journals, research institutes, and funding agencies. They believed only a few talented stars could produce qualitative studies worthy of academic attention. Glaser and Strauss rejected this view and democratized qualitative inquiry. They promised that grounded theory would give ordinary researchers the tools to construct solid theories in their respective areas.

글레이저와 스트라우스의 책(1967)은 여러 세대의 대학원생들에게 영감을 주었습니다. 이 책은 귀납적 질적 연구를 정당화했고 코딩과 메모 작성을 질적 탐구의 필수 전략으로 만들었습니다. 그러나 이론적 샘플링과 포화에 관심을 갖고 이론을 구성한 연구자는 거의 없었습니다. Strauss와 Corbin(1990, 1998)의 등장으로 연구자들에게 근거 이론을 수행하는 방법에 대한 지침을 제공한다고 주장하며 큰 인기를 끌었던 매뉴얼이 등장했습니다. 그러나 이들의 책은 Strauss(1959)의 초기 연구에서 보여준 개방적이고 유동적인 접근 방식과 뚜렷한 대조를 이루며 경직되고 규범적인 것으로 비춰졌습니다.각주2 Strauss와 Corbin의 매뉴얼은 Glaser(1978)의 정교한 방법론과도 차이가 있었으며, Glaser(1992)의 격렬한 반응과 유일한 '고전적' 근거 이론 방법을 가지고 있다고 공언한 것과도 차이가 있습니다. 
Glaser and Strauss’s (1967) book inspired generations of graduate students. The book legitimized inductive qualitative research and made coding and memo-writing integral strategies of qualitative inquiry. However, few researchers engaged in theoretical sampling and saturation and constructed theory. The appearance of Strauss and Corbin (1990, 1998) immensely popular manuals claimed to give researchers instructions about how to do grounded theory. However, their books came across as rigid and prescriptive in sharp contrast to the open-ended, fluid approach of Strauss’s (1959) earlier work, and evident in the Discovery book.Footnote2 Strauss and Corbin’s manuals also diverged from Glaser’s (1978) elaboration of the method, to Glaser’s (1992) furious response and avowals to have the only ‘classic’ grounded theory method.

아이러니하게도 초기의 근거 이론 연구자와 지지자들(예: Glaser 1978; Strauss와 Corbin 1990, 1998)은 이 방법을 데이터를 수집하고 분석하는 절차의 기계적인 적용으로 취급하는 경우가 많았습니다. 실증주의 인식론의 잔재는 글레이저와 스트라우스와 코빈의 텍스트에서도 분명하게 드러나는데, 그 이유는 아래와 같은 중립적인 관찰자를 전제로 하기 때문입니다. 

  • (1) 세심한 관찰을 통해 발견할 수 있는 외부 세계를 가정하고,
  • (2) 연구 과정으로부터 자신을 분리하고,
  • (3) 데이터에 대한 객관적인 시각을 형성하고,
  • (4) 연구 참여자와 연구 과정에 대한 그들의 대표성을 문제가 없는 것으로 간주한다. 

Perhaps ironically, early grounded theory researchers and proponents (e.g., Glaser 1978; Strauss and Corbin 1990, 1998) often treated the method as a mechanistic application of procedures to gather and analyze data. The residues of an epistemology of positivism are also evident in both Glaser’s and Strauss and Corbin’s texts because they presuppose neutral observers who

  • (1) assume an external world, which can be discovered by meticulous observation,
  • (2) separate themselves from the research process,
  • (3) form an objective view of the data, and
  • (4) treat their representation of research participants and the research process as unproblematic.

또한 글레이저는 소규모 표본을 옹호하고, 근거 이론을 모든 인식론(지식의 본질과 그에 대한 합리적 정당화에 대한 철학적 이론)과 함께 사용할 수 있다고 가정하며, 시간, 장소, 개인, 상황을 초월하는 검약한 이론적 일반화를 추구합니다. 그러나 인식론적 입장은 연구자가 데이터를 수집하는 방법과 이러한 데이터와 후속 분석에 대한 영향력을 인정할지 여부를 결정하기 때문에 중요합니다.
In addition, Glaser defends small samples, presumes that grounded theory can be used with any epistemology (a philosophical theory of the nature of knowledge and reasoned justifications for it) and pursues parsimonious theoretical generalizations that transcend time, place, individuals, and circumstances. Epistemological stances are, however, significant because they shape how researchers gather their data and whether they acknowledge their influence on these data and the subsequent analysis.

심리학자 헨우드와 피전(2003)은 17년 전에 근거 이론에 대해 오늘날에도 여전히 유효한 중요한 지적을 제기했습니다. 그들은 근거 이론을 하나의 단일 방법으로 보기보다는 질적 탐구에서 중요한 문제에 대해 토론할 수 있는 유용한 결절점으로 볼 수 있다고 주장했습니다. 근거 이론을 수행하는 방법을 설명하는 초기의 매뉴얼과 달리, Bryant(2017, 2019), Charmaz(2006, 2014), Corbin과 Strauss(2008, 2015), Thornberg와 Charmaz(2014)를 포함한 현대 버전의 방법론은 근거 이론에 유연하게 접근하고 보다 최근의 인식론을 채택하고 있습니다. 이러한 방법론자들은 다양한 현실을 인정하고, 다양한 관점을 추구하며, 연구 과정 전반에 걸쳐 비판적 분석에 참여하는 것을 지지합니다. 이 접근법은 아래와 같은 연구자에게 호소력을 발휘합니다.

  •  (1) 연구 과정 전반에 걸쳐 반성적으로 참여하고,
  • (2) 자신의 입장, 출발점, 연구 활동을 가능한 한 투명하게 하고자 하며,
  • (3) 연구에 참여하기 전에 해당 주제에 대한 이론적, 실체적 문헌을 읽되 이러한 문헌을 반드시 진실이나 최종 진술로 받아들이지 않고,
  • (4) 근거 이론을 포함한 모든 방법론적 접근은 인식론을 가정한다고 본다.

Psychologists Henwood and Pidgeon (2003) raised a crucial point 17 years ago about grounded theory that still holds today. They contended that rather than seeing grounded theory as a unitary method, we can view it as a useful nodal point around which we can debate significant issues in qualitative inquiry. Unlike earlier manuals describing how to do grounded theory, contemporary versions of the method including Bryant (2017, 2019), Charmaz (2006, 2014), Corbin and Strauss (2008, 2015), and Thornberg and Charmaz (2014) take a flexible approach to grounded theory and adopt more recent epistemologies. These methodologists subscribe to acknowledging multiple realities, seeking diverse perspectives, and engaging in critical analysis throughout the research process. This approach appeals to researchers who

  • (1) engage in reflexivity throughout the research process,
  • (2) aim to make their standpoints, starting points, and research actions as transparent as possible,
  • (3) read theoretical and substantive literatures on their topics before engaging in research, but do not necessarily take these literatures as true or final statements, and
  • (4) assume every methodological approach, including grounded theory, assumes an epistemology.

근거 이론에 대한 글레이저와 스트라우스의 주장은 1960년대에 혁명적이었습니다. 2007년에 케네스 게르겐(Kenneth Gergen)은 '사실에 대한 모든 지식은 경험에서 비롯되거나 그 검증을 위해 경험이 필요하다고 주장하는' 인식론적 접근 방식인 경험주의에 의존하기 때문에 Glaser와 Strauss(1967)의 근거 이론을 시대에 뒤떨어진 것passé 으로 일축했습니다(APA 심리학 사전). 게르겐은 모든 경험적 견해는 해석적이라고 지적했는데, 이는 21세기 대부분의 근거 이론가들이 공유하는 인식론적 관점입니다. 언어와 경험은 연구자가 세상을 보는 방식을 형성합니다. 이와는 대조적으로 Glaser(2013)는 여전히 데이터가 문제가 없다고 가정하고, 연구자가 이전의 개념, 관점 및 연구를 불러와 데이터를 분석할 때 선입견을 가져서는 안 된다고 주장합니다. 
Glaser and Strauss’s statement of grounded theory was revolutionary in the 1960s. By 2007, Kenneth Gergen (in Cisneros-Puebla 2007) dismissed Glaser and Strauss’s (1967) grounded theory as passé because of its reliance on empiricism, an epistemological approach ‘holding that all knowledge of matters of fact either arises from experience or requires experience for its validation’ (APA Dictionary of Psychology). Gergen pointed out that all empirical views are interpretive, an epistemological view most 21st century grounded theorists share. Language and experience shape how researchers see the world. In contrast, Glaser (2013) still assumes that data are unproblematic and insists researchers must not preconceive analyzing them by invoking earlier concepts, perspectives, and studies.

질적 연구와 심리학
Qualitative research and psychology

질적 연구의 품질에 대한 기준은 아직 명확하게 정립되지 않았습니다. 질적 연구에서 품질은 매우 중요하지만, 코빈의 말처럼 '질적 연구에 적합한 평가 기준이 무엇인지에 대한 합의가 거의 이루어지지 않고 있습니다'(코빈과 스트라우스 2015, 341). 이는 적어도 부분적으로는 다양한 존재론적, 인식론적 신념과 연구 이상에 뿌리를 둔 질적 연구 전통(예: 담화 분석, 민족지학, 현상학적 연구, 대화 분석)과 그 안의 다양성(예: 비판적 담화 분석, 해석적 현상학적 분석, 비판적 민족지학, 구성주의 근거 이론)으로 설명할 수 있습니다. 심리학자들은 이러한 다양한 질적 방법을 구독하고 그 발전에 기여해 왔습니다.  
Criteria about the quality in qualitative research remain unsettled. Although quality is crucial in qualitative research, there is, as Corbin states, ‘little consensus about what constitutes an appropriate set of evaluation criteria for qualitative research’ (Corbin and Strauss 2015, 341). This can, at least in part, be explained by the multiplicity of qualitative research traditions (e.g., discourse analysis, ethnography, phenomenological research, conversation analysis) and diversities within them (e.g., critical discourse analysis, interpretative phenomenological analysis, critical ethnography, constructivist grounded theory), rooted in various ontological and epistemological beliefs and research ideals. Psychologists have subscribed to this wide range of qualitative methods and contributed to their development.

질적 연구의 객관성, 타당성, 신뢰성 및 재현성에 대한 우려는 여전히 학문적 심리학에 만연해 있습니다. 최근의 한 예로, Anczyk 외(2019)는 질적 연구에서의 복제성을 주장합니다. Rubin, Bell, McCleland(2018)는 대학원 심리학 프로그램에 대한 혼합 방법 연구에서의 우려를 문서화했습니다. 이들은 오랫동안 심리학 분야에서 질적 연구에 대한 부정적인 시각이 존재해 왔다는 사실을 발견했습니다. 응답 프로그램 중 13%만이 질적 연구 과정을 요구한다고 보고했습니다. 1960년대 질적 연구에 대한 사회학적 비판을 반영하듯, 루빈 등의 응답자들은 "질적 연구는 '부정확하고', '주관적이며', '엄밀성이 결여된' 것으로 상상되거나 믿어졌다"(41페이지)고 말했습니다. 그러나 응답자들은 질적 연구가 '페미니즘, 커뮤니티 기반, 사회 정의 연구에 가장 적합한 방법'이라고 설명했습니다(43페이지). 이 점에 대해서는 비평가들이 옳습니다. 심리학자들은 이 분야에서 엄청난 공헌을 해왔으며, 이들 중 다수는 근거 이론을 사용합니다(예: Ayón 외. 2017; Faija 외. 2017; Gibson, 2016; Lee 2018; Scull, Mbonyingabo, Kotb 2016; Tsai, L. 2017; Tuason 2013 참조). 
Concerns about objectivity, validity, reliability and replicability in qualitative research still pervade academic psychology. In a recent example, Anczyk et al. (2019) plea for replication in qualitative research. Rubin, Bell, and McCleland (2018) document the above concerns in their mixed methods study of graduate psychology programs. They found negative judgments about qualitative inquiry that had long been evident in the discipline. They reported that only 13% of the responding programs required a course in qualitative research. Echoing sociological criticisms of qualitative studies in the 1960s, Rubin et al.’s respondents stated that “qualitative research was either imagined to be or believed to be ‘inaccurate,’ ‘subjective,’ and ‘lacking rigor’ (p. 41). However, the respondents described qualitative research as providing the ‘best methods for feminist, community-based, and social justice research’ (p. 43). The critics are correct on this point. Psychologists have made enormous contributions in these areas, and many of them use grounded theory (see, for example, Ayón et al. 2017; Faija et al. 2017; Gibson, 2016; Lee 2018; Scull, Mbonyingabo, and Kotb 2016; Tsai, L. 2017; Tuason 2013).

그러나 비평가들은 질적 연구를 수행하는 심리학자들의 기여에 대한 다른 중요한 고려 사항을 무시하는 것 같습니다.

  • 질적 심리학자들은 다양한 문제를 연구하며 의학 및 정신의학, 교육, 종교, 민족 및 젠더 연구, 비즈니스 등 다양한 프로그램에 소속되어 있습니다.
  • 질적 심리학자들의 위치와 다양한 출판 매체는 연구의 질과 기여의 범위를 가릴 수 있습니다(예: Bronk 2012; Mazzone 외. 2018; Tsai, Seballos-Llena, Castellano-Datta 2017; Wójcik 2018).
  • 또한 질적 심리학자들은 종종 다학제적 팀의 전문 분야에서 일하기도 합니다(예: Khankeh 외. 2015).각주3
  • 또한 심리학자가 심리학 프로그램에 고용되지는 않더라도 여러 분야의 전문 지식을 보유하는 것은 드문 일이 아닙니다.각주4 

Yet critics appear to ignore other important considerations about the contributions of psychologists who conduct qualitative research.

  • Qualitative psychologists study an amazing array of problems and are affiliated with a wide range of programs, including those in medicine and psychiatry, education, religion, ethnic and gender studies, and business, to name a few.
  • Their locations and diverse publication outlets may mask both the quality of their research and the scope of their contributions (e.g. Bronk 2012; Mazzone et al. 2018; Tsai, Seballos-Llena, and Castellano-Datta 2017; Wójcik 2018).
  • Also, qualitative psychologists often work in specialized areas on multidisciplinary teams (e.g. Khankeh et al. 2015).Footnote3 
  • Furthermore, it is not unusual for psychologists to hold multi-disciplinary expertise, although they may not be employed in psychology programs.Footnote4

1960년대와 마찬가지로 일반적으로 질적 연구도, 특히 근거 이론도 양적 연구에 기반한 질적 판단에 적합하지 않습니다. 우리는 가치 있는 주제, 풍부한 엄격성, 성실성, 신뢰성, 공명, 유의미한 기여, 윤리성, 의미 있는 일관성(837쪽)이라는 Tracy(2010)의 질적 연구의 '빅 텐트' 지표에 동의합니다. 그러나 연구 실무에서 이러한 용어가 의미하는 바는 연구자마다 다를 수 있습니다. 그럼에도 불구하고 근거 이론가들은 연구자들이 철저한 연구를 수행할 때 이러한 질적 지표를 충족할 수 있습니다. 점점 더 많은 연구자들이 질적 연구의 품질 기준으로 투명성과 반성성을 요구하고 있습니다(예: Treharne and Riggs 2014). 
As in the 1960s, neither qualitative research, in general, nor grounded theory, in particular, fit judgments of quality based on quantitative research. We agree with Tracy’s (2010) ‘big tent’ markers of quality in qualitative research: a worthy topic, rich rigor, sincerity, credibility, resonance, significant contribution, ethics, and meaningful coherence (p. 837). However, what these terms mean in research practice may differ among researchers. Nonetheless, grounded theorists can meet these markers of quality when researchers conduct thorough studies. Increasingly, researchers ask for transparency and reflexivity as criteria of quality in qualitative research (e.g. Treharne and Riggs 2014).

다양한 버전의 근거 이론의 품질 기준
Quality criteria in various versions of grounded theory

근거 이론은 그 고유한 특성으로 인해 품질을 평가하기 위한 자체 기준이 필요하지만(참조: Berthelsen, Grimshaw-Aagaard, Hansen 2018; Chiovitti와 Piran 2003; Elliott와 Lazenbatt 2005; Hutchison, Johnston, Breckon 2011), 근거 이론가는 인터뷰, 현장조사 등의 품질을 보장하기 위한 데이터 수집 방법 사용에 관한 보다 일반적인 지침에서 벗어날 수 없습니다. 특히 데이터와 근거에 중점을 둔다는 점에서 '쓰레기 투입, 쓰레기 배출'의 원칙은 근거 이론에 매우 유용하게 적용될 수 있습니다. 근거 이론의 품질을 평가하는 기준은 어떤 버전의 근거 이론이 문제가 되는지에 따라 달라질 수 있습니다. 가장 초창기이지만 덜 발전된 이론인 Glaser와 Strauss(1967)는 신뢰성적용 가능성에 중점을 두었습니다.

  • 이들은 신뢰성을 실제 현장을 면밀히 연구하고 분석하여 데이터에 대한 체계적인 지식을 습득한 연구자 자신의 지식에 대한 확신과 연결시켰습니다. 글레이저와 스트라우스는 신뢰성을 판단하는 몇 가지 기준을 제시했습니다.
    • (1) 독자가 현장에 있는 듯한 느낌을 받을 수 있도록 데이터에 대한 상세하고 생생한 설명,
    • (2) 연구자가 어떻게 결론에 도달했는지에 대한 독자의 평가(데이터는 무엇이며 어떻게 수집하고 분석했는가),
    • (3) 이론의 범위와 일반성을 높이고 새로운 이론을 다양한 상황에 맞게 수정하고 조정하기 위한 여러 비교 그룹.
  • 적용 가능성은 일반화 가능성과 연결될 수 있으며(참조, Larsson 2009), Glaser와 Strauss(1967)는 상호 관련된 네 가지 기준을 제안했습니다:
    • (1) 적합성: '이론은 그것이 적용될 실질적인 영역에 적합해야 한다'(238쪽)는 것으로, 이들은 이론이 연구 대상인 데이터에 적합해야 한다고 강조했습니다.
    • (2) 이해: 이론은 해당 실체적 영역에서 일하거나 생활하는 비연구자들도 이해할 수 있어야 합니다.
    • (3) 일반성: 이론은 적용 가능성을 높이기 위해 충분히 일반적이어야 합니다. '범주는 민감성을 잃을 정도로 추상적이어서는 안 되지만, ... 이론이 다조건적이고 끊임없이 변화하는 일상 상황에 대한 일반적인 지침이 될 수 있을 정도로 추상적이어야 합니다'(242페이지).
    • (4) 통제: 이론은 사용자가 사회적 현실을 이해하고 분석하는 데 도움을 주며, 상황에서 무슨 일이 일어나고 있는지, 어떻게 변화를 가져올 수 있는지에 대한 충분한 설명력을 포함해야 합니다.

Grounded theory needs its own set of criteria for evaluating quality due to its unique features (cf., Berthelsen, Grimshaw-Aagaard, and Hansen 2018; Chiovitti and Piran 2003; Elliott and Lazenbatt 2005; Hutchison, Johnston, and Breckon 2011), although grounded theorists cannot escape more general guidelines concerning their use of data gathering methods to ensure quality in doing interviews, fieldwork etc. The principle of ‘garbage in, garbage out’ is very much applicable to grounded theory, particularly considering its emphasis on data and groundedness. Criteria for evaluating quality in grounded theory can vary due to which version of grounded theory is of concern. In the original but less developed one, Glaser and Strauss (1967) focused on credibility and applicability.

  • They connected credibility to researchers’ confidence in their own knowledgeability based on carefully studying and analyzing the actual field, and gaining systematic knowledge of the data. Glaser and Strauss suggested a few criteria for judging credibility:
    • (1) a detailed and vivid description of data so the readers feel that they have been in the field as well, and literally can hear and see the participants;
    • (2) readers’ assessments of how the researchers came to their conclusions (what are the data and how have they been gathered and analyzed?); and
    • (3) multiple comparison groups to increase the scope and generality of the theory, and to correct and adjust the emerging theory to diverse conditions. 
  • Applicability, in turn, can be connected to generalizability (cf., Larsson 2009), and Glaser and Strauss (1967) proposed four interrelated criteria:
    • (1) Fitness: The ‘theory must fit the substantive area to which it will be applied’ (p. 238), and they emphasized that the theory needs to fit the data under study.
    • (2) Understanding: The theory should make sense and be understandable to non-researchers working or living in the substantive area.
    • (3) Generality: The theory needs to be sufficiently general to increase its applicability – ‘categories should not be so abstract as to lose their sensitizing aspect, but yet must be abstract enough to make … theory a general guide to multi-conditional, ever-changing daily situations’ (p. 242).
    • (4) Control: The theory should help the users to understand and analyze their social reality, to include enough explanatory power on what is going on in situations and how to bring about change in them.

근거이론을 더욱 발전시킨 Glaser(1978, 1998)는 품질을 판단하는 네 가지 기준을 제시했습니다:

  • (1) 실행가능성: 이론이 연구의 실질적인 영역에서 관련 행동을 설명하는 데 효과가 있는가?
  • (2) 관련성: 실제 분야의 사람들과 관련성이 있는가?
  • (3) 적합성: 이론이 실체적 영역에 적합한가? 이론과 그 범주가 데이터에 맞아야 합니다.
  • (4) 수정가능성: 새로운 데이터가 등장할 때 이론을 쉽게 수정할 수 있는가?

근거 이론을 개발할 때 Strauss와 Corbin(1990; Corbin과 Strauss 1990; Strauss와 Corbin 1998)은 네 가지 일반적인 기준을 강조했습니다:

  • (1) 데이터의 질, 즉 근거이론가는 데이터의 신뢰성과 신뢰성을 확보하기 위해 데이터 수집에 사용된 방법과 관련된 질적 기준을 신중하게 다루고 채택해야 하며,
  • (2) 이론 자체의 타당성과 가치,
  • (3) 연구 과정의 적절성(표본 추출 절차, 이론적 표본 추출, 코딩, 범주화, 가설 또는 범주 간 개념 관계 개발, 이론을 개발하는 핵심 범주 선정),
  • (4) 이론의 경험적 근거에 대한 문제 등이 있습니다.

이 두 가지 기준의 평가를 위한 체크리스트와 지침에 대한 포괄적인 설명은 Strauss와 Corbin(1990; Corbin과 Strauss 1990; Strauss와 Corbin 1998)에서 제공합니다.

In his further development of grounded Glaser (1978, 1998) suggested four criteria in judging quality:

  • (1) Workability: Does the theory work to explain relevant behavior in the substantive area of the study?
  • (2) Relevance: Does it have relevance to the people in the substantive field?
  • (3) Fit: Does the theory fit the substantive area? The theory and its categories must fit the data.
  • (4) Modifiability: Is the theory readily modifiable as new data emerge?

In their development of grounded theory, Strauss and Corbin (1990; Corbin and Strauss 1990; Strauss and Corbin 1998) emphasized four general criteria:

  • (1) quality of the data, in other words, grounded theorists need to carefully address and adopt quality criteria related to methods used for data gathering to secure credibility and trustworthiness of data;
  • (2) the plausibility and value of the theory itself;
  • (3) adequacy of the research process (sampling procedures, theoretical sampling, coding, categorization, development of hypotheses or conceptual relations between categories, and selection of core category through which the theory is developed); and
  • (4) the issue of the empirical grounding of the theory. A comprehensive description of checklists and guidelines for evaluation of the two later criteria is offered by Strauss and Corbin (1990; Corbin and Strauss 1990; Strauss and Corbin 1998).

스트라우스와 코빈에 따르면, 연구의 경험적 근거와 관련하여 질문해야 할 사항은 다음과 같습니다: 

  • (1) 개념이 생성되었는가?
  • (2) 개념이 체계적으로 관련되어 있는가?
  • (3) 개념적 연결이 많으며 범주가 잘 발달되어 있는가? 범주에 개념 밀도가 있는가?
  • (4) 이론에 변이가 내재되어 있는가? 개념이 광범위한 조건에서 검토되었으며 여러 차원을 제공하는가?
  • (5) 변이를 발견할 수 있는 조건이 연구에 내장되어 있고 설명되어 있는가?
  • (6) 프로세스를 고려하고 식별했는가?
  • (7) 이론적 발견이 중요해 보이는가, 그 정도는 어느 정도인가?
  • (8) 이론이 시간의 시험을 견뎌내고 관련 사회 및 전문가 그룹 간에 교환되는 토론과 아이디어의 일부가 되는가? (자세한 내용은 스트라우스와 코빈 1998, 270-272쪽 참조).

According to Strauss and Corbin, questions to ask regarding empirical grounding of the study are:

  • (1) Are concepts generated?
  • (2) Are the concepts systematically related?
  • (3) Are there many conceptual linkages, and are the categories well developed? Do categories have conceptual density?
  • (4) Is variation built into the theory? Have the concepts been examined under a broad range of conditions and do they offer several dimensions?
  • (5) Are the conditions under which variation can be found built into the study and explained?
  • (6) Has process been considered and identified?
  • (7) Do the theoretical findings seem significant, and to what extent?
  • (8) Does the theory stand the test of time and become part of the discussions and ideas exchanged among relevant social and professional groups? (For further reading, see Strauss and Corbin 1998, pp. 270–272.)

이후 판(Corbin과 Strauss 2008, 2015)에서 Corbin은 질적 연구의 질에 대한 보다 일반적인 기준을 추가하기도 했습니다.

  • 방법론적 일관성, 
  • 목적의 명확성, 
  • 자기 인식, 
  • 질적 연구 수행 방법에 대한 훈련, 
  • 참여자와 데이터에 대한 민감성, 
  • 열심히 일하려는 의지, 
  • 창의적 자아와 연결되는 능력, 
  • 방법론적 인식, 
  • 연구에 대한 강한 열망

In later editions (Corbin and Strauss 2008, 2015), Corbin also added more general criteria of quality in qualitative research:

  • methodological consistency,
  • clarity of the purpose,
  • self-awareness,
  • training in how to conduct qualitative research,
  • sensitivity to participants and data,
  • willingness to work hard,
  • ability to connect with the creative self,
  • methodological awareness, and
  • strong desire to do research.

원래의 근거 이론(Glaser와 스트라우스 1967), 글레이저 근거 이론(Glaser 1978, 1998), 스트라우시안 근거 이론(스트라우스와 코빈 1990, 1998)에서는 설명력(즉, 설명하고 예측하는 힘)이 구성된 이론의 중요한 품질 기준이라는 점에 유의하세요. 이러한 근거 이론의 접근 방식은 Charmaz(2006, 2014)가 말하는 이론의 실증주의적 정의(즉 원인을 찾고 설명력, 예측력, 일반성 및 보편성을 강조하는 것)을 공유합니다.
Note that in the original grounded theory (Glaser and Strauss 1967), Glaserian grounded theory (Glaser 1978, 1998) and Straussian grounded theory (Strauss and Corbin 1990, 1998), explanatory power (i.e., the power to explain and predict) is a significant quality criterion of the constructed theory. These approaches of grounded theory share what Charmaz (2006, 2014) terms as positivist definitions of theory: theories that seek causes, and stress explanation, prediction, generality, and universality.

근거 이론에 대한 구성주의적 관점에서 Charmaz(2006, 2014)는 이러한 이론 정의를 '해석을 강조하고 설명보다 추상적 이해를 더 우선시하는'(Charmaz 2014, 230) 이론의 해석적 정의와 대조합니다. 이러한 이론은 의미와 행위, 그리고 사람들이 그것을 구성하는 방식을 이해하는 것을 목표로 하며, '행위자의 주관성을 끌어들이고, 연구자의 주관성을 인정할 수 있다'(231쪽). 이들은 사회적, 역사적, 지역적, 상호 작용적 맥락에 위치situated합니다. 
From a constructivist view of grounded theory, Charmaz (2006, 2014) contrasts such definitions of theory with interpretive definitions of theory, in which theory ‘emphasizes interpretation and gives abstract understanding greater priority than explanation’ (Charmaz 2014, 230). Such theories aim to understand meanings and actions and how people construct them, and they ‘bring in the subjectivity of the actor and may recognize the subjectivity of the researcher’ (p. 231). They are situated in their social, historical, local, and interactional contexts.

따라서 [근거 이론의 서로 다른 버전] 간에 [서로 다른 인식론, 이상, 목표 등]이 [근거 이론의 품질을 평가하고 근거 이론의 품질 기준을 논의]할 때 고려되어야 합니다(글라제리안, 스트라우시안, 구성주의 근거 이론 접근법 간의 유사점과 차이점에 대한 개요는 Berthelsen, Grimshaw-Aagaard, Hansen 2018 참조); 인식론과 품질 기준 사이의 연관성에 대한 자세한 논의는 Healy 와 Perry 2000, Lincoln, Lynham, Guba 2018, Lützhöft, Nyce, Petersen 2010, Santiago-Deleofosse et al. 2015).
Thus, different epistemologies, ideals, aims etc. between different versions of grounded theory have to be considered when evaluating quality and discussing quality criteria for grounded theory (for overviews of similarities and differences between Glaserian, Straussian and constructivist grounded theory approaches, see Berthelsen, Grimshaw-Aagaard, and Hansen 2018; Thornberg 2017; for further discussions about the link between epistemology and quality criteria, see for example; Healy and Perry 2000; Lincoln, Lynham, and Guba 2018; Lützhöft, Nyce, and Petersen 2010; Santiago-Deleofosse et al. 2015).

구성주의적 근거 이론 내에서 Charmaz(2006, 2014)는 근거 이론 연구에 대한 네 가지 주요 기준, 즉 신뢰성, 독창성, 공명, 유용성을 제안합니다.

  • 신뢰성은 데이터에 대한 예리한 질문을 할 수 있는 충분한 관련 데이터를 확보하고, 연구 과정 전반에 걸쳐 체계적으로 비교하고, 철저한 분석을 개발하는 것에서 시작됩니다. 논란의 여지가 많은 주제 및/또는 분석일수록 연구자는 회의적인 청중을 설득하기 위해 더 많은 데이터가 필요합니다.

Within a constructivist grounded theory, Charmaz (2006, 2014) proposes four main criteria for grounded theory studies: credibility, originality, resonance, and usefulness. 

  • Credibility begins with having sufficient relevant data for asking incisive questions about the data, making systematic comparisons throughout the research process, and developing a thorough analysis. The more controversial the topic and/or analysis is, the more data the researcher needs to persuade skeptical audiences.

신뢰성에는 연구자의 견해와 행동도 포함됩니다. 구성주의적 근거 이론은 연구 과정 전반에 걸쳐 강력한 반성성을 요구합니다. 즉, 연구자는 당연하게 받아들여지는 가정을 설명해야 하며, 이를 위해서는 숨겨진 신념이 연구 과정에 어떻게 개입할 수 있는지에 대한 '방법론적 자의식'(Charmaz 2017)을 가져야 합니다. 브라질에서 현장 조사를 하던 중 엘리자베스 호지-프리먼(Elizabeth Hordge-Freeman)은 우연히 백인 가정에서 입양된 흑인 딸인 필하스 데 크리아시온의 곤경을 발견했습니다(Charmaz 2020, 168-169쪽). 호지-프리먼은 이렇게 썼습니다:
Credibility also involves the researcher’s views and actions. Constructivist grounded theory requires strong reflexivity throughout the research process. This means researchers must explicate their taken-for-granted assumptions, which requires gaining ‘methodological self-consciousness’ (Charmaz 2017) of how hidden beliefs can enter the research process. During her fieldwork in Brazil, Elizabeth Hordge-Freeman (in Charmaz 2020, pp. 168–169) accidentally discovered the plight of black adopted daughters, filhas de criação, in white families. Hordge-Freeman writes:

한 여성이 입양 가정에서 바닥에서 잠을 자고 있고 다른 여러 여성이 40년 넘게 입양 가정에서 무급으로 일하고 있다는 사실을 알게 되었을 때, 저는 이러한 불의에 대한 분노에 휩싸였습니다. 비판적 연구자로서 초기 충동은 이러한 '괴물 같은' 가족을 폭로하여 정의를 실현하고 싶다는 것이었지만, 데이터에 대한 해석을 면밀히 검토하고 지속적인 성찰을 강조하는 구성주의적 근거 이론의 감성은 아주 일찍부터 데이터를 더 미묘한 방식으로 분석하고 감정적 반응까지 조사하도록 저를 설득했습니다. 그렇게 하면서 저는 이 불의를 '바로잡고' 인터뷰 대상자들을 자유롭게 하려는 저의 탐구가 제가 백인 초국적 연구자들을 비판했던 구세주 콤플렉스와 매우 유사하게 들린다는 것을 깨달았습니다. 결국 저는 구성주의적 근거 이론을 사용하여 구조적, 정서적 제약이 신생아의 삶을 어떻게 형성하는지 더 잘 이해할 수 있는 데이터를 수집할 수 있도록 질문의 방향을 바꾸고, 인터뷰 대상자의 해석이 진지하게 받아들여질 수 있도록 반성적 태도를 사용하기로 결정했습니다. 
When I discovered that one woman was sleeping on the floor in their family’s home and several others had been working for no pay in adoptive families for over 40 years, I was overwhelmed with a sense of anger over this injustice. As a critical researcher, my initial impulse was a desire to mete out justice by exposing these ‘monstrous’ families; however, very early on the sensibilities of constructivist grounded theory with its emphasis on scrutinizing our interpretations of data and engaging in sustained reflexivity persuaded me to analyze the data in more nuanced ways and to even interrogate my affective responses. By doing so, I realized that my quest to ‘right’ this injustice and free the interviewees sounded eeringly similar to the savior complex for which I had critiqued white transnational researchers. Ultimately, using constructivist grounded theory, I re-directed my questions to be able to collect data that provided me a greater understanding of how structural and affective constraints shape
 filhas de criação lives and used reflexivity to ensure that my interviewees’ interpretations were taken seriously.

호지-프리먼의 진술은 구성주의 근거 이론에서 가장 옹호하는 강력한 반사성의 유형을 나타냅니다. 방법론적 자의식의 근간을 이루는 강한 반성성(Charmaz 2017)은 연구자의 방법론적 결정을 검토하는 것 이상의 의미를 갖습니다. 연구자가 누구인지 면밀히 검토하는 개방성을 의미합니다. 
Hordge-Freeman’s statement represents the type of strong reflexivity most advocated in constructivist grounded theory. The strong reflexivity undergirding methodological self-consciousness (Charmaz 2017) means more than examining the researcher's methodological decisions. It means openness to scrutinizing who the researcher is.

독창성다양한 형태로 나타날 수 있습니다. 

  • 새로운 통찰력 제공,
  • 인식된 문제에 대한 새로운 개념화,
  • 분석의 중요성 확립 등 

공명은 연구자가 연구 참여자의 경험을 대표할 뿐만 아니라, 다른 사람들에게도 통찰력을 제공하는 개념을 구성했음을 보여줍니다. 공감을 얻으려면 연구자는 데이터 수집 전략을 참가자의 경험을 조명하는 데 맞춰야 합니다.

  • 제니퍼 로이스(2010)는 홈스쿨링 엄마들에 대한 자신의 질문이 질이 아닌 시간의 양에 초점을 맞추고 있다는 사실을 깨닫고 새로운 관점에서 엄마들의 이야기를 듣고 질문을 수정함으로써 공감을 얻었습니다. 이후 '순서대로: 향수를 불러일으키고 후회를 예상하기'(434쪽)와 '음미하기: 현재에 머무르며 양질의 시간을 만들기'(437쪽)라는 코드를 통해 엄마들의 행동을 이해할 뿐만 아니라 시간적 감정의 개념을 구성할 수 있게 되었습니다. 그녀는 후회나 희망과 같은 현재의 특정 감정이 현재에서 과거 또는 미래로 시간대를 넘나들어야만 느낄 수 있다는 사실을 밝혀냈습니다. 로이즈는 사람들이 시간적 감정을 다루는 방식이 시간이 지남에 따라 자아의 상대적 연속성에 영향을 미친다는 이론을 세웁니다.

Originality can take varied forms such as

  • offering new insights,
  • providing a fresh conceptualization of a recognized problem, and
  • establishing the significance of the analysis. 

Resonance demonstrates that the researchers have constructed concepts that not only represent their research participants’ experience, but also provide insight to others. To gain resonance, researchers must fit their data-gathering strategies to illuminate their participants’ experience.

  • Once Jennifer Lois (2010) realized her questions of homeschooling mothers focused on quantity of time instead of quality, she gained resonance by hearing their stories from a new standpoint and revising her questions. Her subsequent codes: ‘Sequencing: eliciting nostalgia and anticipating regret,’ (p. 434) and ‘Savoring: staying present and creating quality time’ (p. 437) not only led her to understand these mothers’ actions but also to construct the concept of temporal emotions. She reveals how certain present feelings like regret or hope can only be felt by crossing timeframes from the present to the past or future. Lois theorizes that how people handle temporal emotions influences their relative continuity of self over time.

유용성은 아래와 같은 것 등입니다.

  • 연구 참여자의 일상 생활에 대한 이해를 명확히 하고,
  • 정책 및 실무 적용을 위한 기반을 형성하며,
  • 새로운 연구 라인을 만드는 데 기여하고,
  • 만연한 과정과 관행을 밝히는 데 기여하는 

그레고리 해들리(Gregory Hadley, Charmaz 2020, 168쪽)는 병원에서의 죽음과 임종에 대한 글레이저와 스트라우스의 분석의 유용성에 대해 설명합니다.

Usefulness includes

  • clarifying research participants’ understanding of their everyday lives,
  • forming a foundation for policy and practice applications,
  • contributing to creating new lines of research, as well as
  • revealing pervasive processes and practices.

Gregory Hadley (in Charmaz 2020, 168) describes the usefulness of Glaser and Strauss’s analysis of death and dying in hospitals.

예를 들어, 글레이저가 스트라우스와 함께 쓴 저서 "죽어감에 대한 인식"은 장인어른이 말기 암으로 투병 중이던 시기에 일본 병원에서 '무슨 일이 일어나고 있었는지'에 대한 많은 의미를 밝혀주었습니다. 이 근거 이론이 반세기 후 수천 마일 떨어진 문화권에서도 빛을 발할 수 있었다는 것은 글레이저와 스트라우스가 고전적 근거 이론을 사용한 천재성을 입증하는 증거입니다.
Glaser’s work with Strauss in his book, “An Awareness of Dying”, for example, unlocked much of the meaning of what was “going on” in a Japanese hospital during the time when my father-in-law was on the trajectory of terminal cancer. That this grounded theory could have salience a half century later in a culture thousands of miles away is a testament to the genius behind what Glaser and Strauss did using Classical Grounded Theory.

이 사례에서 글레이저와 스트라우스의 광범위한 연구는 그들이 어떻게 유용한 수준의 일반성을 달성했는지 보여줍니다. 구성주의적 근거 이론을 사용하여 스노우와 모스(2014)는 행동과 감정을 형성하는 조건을 포함하여 겉으로 보기에 자발적인 집단 행동이 발생하는 조건을 설명합니다. 이러한 조건에 대한 민감성은 사회 운동 주최자가 군중을 동원하는 데 도움이 될 수 있습니다. 
In this case, Glaser and Strauss’s extensive research shows how they achieved a useful level of generality. Using constructivist grounded theory, Snow and Moss (2014) delineate the conditions, including those shaping behavior and emotions, in which seemingly spontaneous collective action arises. Sensitivity to these conditions can assist social movement organizers in mobilizing crowds.

이중 희생: 근거 이론에 기반한 새로운 개념 개발의 사례
Double victimizing: an example of developing a new concept with grounded theory

구성주의적 근거 이론 연구인 Thornberg 외(2013)는 학교 괴롭힘의 피해자였던 개인이 괴롭힘 경험을 어떻게 인식하는지, 그리고 이러한 경험이 자신에게 어떤 영향을 미쳤는지 조사했습니다. 이 프로젝트는 스웨덴의 3개 중등학교와 2개 대학교에 재학 중인 학생들에게 523개의 개방형 설문지를 배포하는 것으로 시작되었습니다. 설문지에는 괴롭힘에 대한 과거 경험과 괴롭힘에 대한 인터뷰를 받을 의향이 있는지에 대해 질문했습니다. 511명의 응답자 중 168명의 학생이 과거에 괴롭힘을 당한 적이 있다고 답했으며 36명이 인터뷰에 응했습니다. 연구진은 1년 이상 괴롭힘을 당한 학생 21명을 대상으로 인터뷰를 진행했습니다. 모든 인터뷰를 진행한 할딘, 볼름스요, 피터슨은 질적 인터뷰에 대한 교육과 훈련을 받았습니다. 편안하고 사적이며 조용한 면담 환경 조성, 면담 대상자와의 친밀감 형성 및 강조, 관심 있는 학습자의 역할 수행, 적극적인 경청, 개방형 질문 사용 및 선행 질문 피하기, 프로빙, 비판적 접근법 채택 등 문헌에서 제시하는 질적 기준이 이들의 면담을 이끌었습니다(예: King & Horrocks, 2010; Kvale & Brinkmann, 2009; Seidman, 2006). 
In their constructivist grounded theory study, Thornberg et al. (2013) examined how individuals, who had been victims of school bullying, perceived their bullying experiences, and how these had affected them. The project began with distributing 523 open-ended questionnaires to students in three secondary schools and two universities in Sweden. The questionnaire asked about their past experiences with bullying and their willingness to be interviewed about it. Of 511 responses, 168 students reported having been bullied in the past and 36 volunteered to be interviewed. The researchers interviewed the 21 students who had been bullied for more than one year. Halldin, Bolmsjö and Petersson, who conducted all the interviews, were instructed and trained in qualitative interviewing. Quality criteria from the literature guided their interviewing, such as establishing a comfortable, private, and quiet interview setting building rapport and emphasizing with the interviewee; taking the role of an interested learner; active listening; using open-ended questions and avoiding leading questions; probing; and adopting a non-judgmental approach (e.g., King & Horrocks, 2010; Kvale & Brinkmann, 2009; Seidman, 2006).

구성주의 근거 이론(Charmaz 2014)에서 인터뷰는 현실을 반영하려는 노력이 아니라, 인터뷰 대상자의 경험과 관점에 대한 상호 탐색을 통해 발생하는 상호 작용으로 간주됩니다. 따라서 [인터뷰어의 접근 방식과 질문 방식, 인터뷰 대상자가 말하는 것을 경청하고 후속 조치를 취하는 것]은 데이터의 공동 구성과 품질에 매우 중요합니다. 질적 인터뷰 문헌에 기반한 이러한 접근 방식은 Thornberg 등(2013)이 생생하고 풍부하며 포괄적인 데이터를 수집하는 데 도움이 되었습니다. 이들은 근거 이론에 따라 데이터 수집과 분석(반복적 과정) 사이를 오갔습니다. 이 접근 방식에는 네 가지 장점이 있습니다.

  • (1) 피상적이고 무작위적인 방식으로 데이터를 수집하거나,
  • (2) 분석되지 않은 방대한 양의 데이터로 인해 압도감을 느끼거나,
  • (3) 오랜 기간 동안 집중하지 못하거나,
  • (4) 참가자의 견해나 주식 규율 범주를 무비판적으로 채택하는 것을 방지할 수 있었습니다. 

In constructivist grounded theory (Charmaz 2014), interviewing is not considered as efforts to mirror reality but as emergent interactions through a mutual exploration of the interviewee’s experiences and perspectives. Therefore, the interviewer’s approach and way of asking questions, listening and following up what the interviewee is telling are crucial in the co-construction and quality of data. Such an approach, based on the qualitative interview literature, helped Thornberg et al. (2013) to gather vivid, rich, and comprehensive data. In accordance with grounded theory, they moved back and forth between gathering and analyzing data (iterative process). This approach has four advantages. It prevented them from

  • (1) gathering data in a superficial and random way;
  • (2) feeling overwhelmed due to a huge amount of unanalyzed data;
  • (3) being unfocused for lengthy periods; and
  • (4) uncritically adopting the participants’ view or stock disciplinary categories.

Thornberg 등(2013)은 데이터와 데이터, 데이터와 코드, 코드와 코드를 비교하는 초기 코딩을 통해 데이터에 맞는 코드를 구성하고, 데이터에서 무슨 일이 일어나고 있다고 해석하는지에 대해 열린 자세를 유지하며 탐구하는 과정을 계속했습니다. 잠정적인 초기 코드는 서로, 그리고 데이터와 주의 깊게 비교하고 유사점과 차이점에 따라 더욱 정교하게 그룹화하여 더 적지만 더 집중적이고 포괄적인 코드로 이어졌습니다. 반복적인 과정과 코딩, 지속적인 비교를 통해 구축된 초점 코드는 데이터와 밀접하게 일치했습니다. 예를 들어, '자기 억제'라는 초점 코드는 '눈에 띄지 않으려고 노력함', '사회적 두려움으로 소극적이 됨', '자신을 낮춤', '사회적 투명성이 괴롭힘을 방지한다고 믿음', '자아의 사회적 존재감을 억제함', '침묵함'과 같은 초기 코드에 뿌리를 두고 있었습니다. 또 다른 초점 코드인 '자기 의심'은 표 1과 2에 표시된 것처럼 '불안해짐', '무가치함을 느끼기', '자신감 상실', '괴롭힘으로 인해 자신감이 떨어짐'과 같은 초기 코드에 뿌리를 두고 있습니다.

Thornberg et al. (2013) constructed codes that fit the data by engaging in initial coding, in which they compared data with data, data with codes, and codes with codes, and stayed close to and remained open to exploring what they interpreted was happening in the data. The provisional, initial codes were carefully compared with each other and with data, further elaborated and grouped together based on similarities and differences, leading to fewer but more focused and comprehensive codes. As a result of the iterative process, coding and constant comparison, their constructed focused codes fit tightly with their data. For example, the focused code ‘self-inhibiting’ had its roots in initial codes like ‘trying to not stand out’, ‘becoming passive out of social fear’, ‘keeping oneself down’, ‘believing social invisibility prevents bullying’, ‘inhibiting the social presence of self’, and ‘becoming silent’. Another focused code, ‘self-doubting’, had its roots in initial codes like ‘becoming insecure’, ‘feeling self-worthlessness’, ‘loss of self-confidence’, and ‘getting bad self-confidence from being bullied’, as indicated in Tables 1 and 2.

 

쏜버그와 동료들이 집중 코딩을 하는 동안 데이터 수집 및 분석에 대한 비교 접근법(2013)에는 이론적 샘플링이 반복적 프로세스의 중요한 부분으로 포함되었으며, 이는 이후 인터뷰를 안내하고 새로운 범주를 작성하는 데 도움이 되었습니다. Charmaz(2014)가 언급했듯이, 이들의 초점 코딩은 이후 분석을 위한 프레임의 기초를 제공했습니다. 그러나 이러한 초점 코드를 최종 프레임으로 사용하기보다는 Thornberg 등(2013)은 학교 괴롭힘의 피해자가 되고 그로부터 자신을 구출하는 과정에 대한 분석을 개발했습니다(Charmaz 2014, 141). 
Thornberg and colleagues’ comparative approach to data collection and analysis (2013) during their focused coding included theoretical sampling as a prominent part of the iterative process, which guided their later interviews and helped them to fill out emerging categories. As noted by Charmaz (2014), their focused codes provided the makings of a frame for the later analysis. ‘Rather than using these focused codes as the final frame, however, Thornberg et al. (2013) developed an analysis of processes involved in becoming a victim of school bullying and in extricating self from it’ (Charmaz 2014, 141).

집중 코딩, 이론적 코딩, 지속적인 비교, 메모 작성 및 이론적 샘플링의 근거 이론 방법을 통해 Thornberg 등(2013)은 '자기 억제', '자기 고립', '감정 끄기'와 같은 집중 코드를 통합하여 '자기 보호'라는 범주로 개발하여 이 범주를 구성하는 이전의 집중 코드를 다른 자기 보호 전략을 나타내는 하위 범주로 포함시켰습니다. 다른 초점 코드 그룹은 '어울리지 못한다는 느낌', '자책' 등 보다 포괄적인 다른 범주로 병합되었습니다. [풍부한 데이터의 공동 구성, 지속적인 비교, 집중 코딩, 이론적 코딩, 메모 작성 및 이론적 샘플링] 간의 상호 작용은 데이터에 고정된 일련의 개념적 범주를 개발하는 데 매우 중요했습니다.
Grounded theory methods of focused coding, theoretical coding, constant comparison, memo-writing and theoretical sampling guided Thornberg et al. (2013) to merge focused codes such as ‘self-inhibition’, ‘self-isolation’, and ‘turning off emotions’ into an even more comprehensive focused code developed into a category that they labeled ‘self-protecting’, in which the former focused codes that constituted this category were included as subcategories representing different self-protecting strategies. Other groups of focused codes were further merged into other more comprehensive categories such as ‘a sense of not fitting in’ and ‘self-blaming’. The interplay between co-constructing rich data, constant comparison, focused coding, theoretical coding, memo-writing and theoretical sampling was crucial in order to develop a set of conceptual categories anchored in the data.

이러한 반복적인 과정을 통해 Thornberg 등(2013)은 Glaser(1998)와 Corbin과 Strauss(2015)가 연구의 '핵심 개념'이라고 부르는 주요 범주, 즉 '이중 피해자화'를 구성할 수 있었습니다. 이 주요 범주는 외부적 피해자화(즉, 피해자를 향한 반복적인 유해 행위로 인해 또래 사이에서 피해자 역할을 확인하는 사회적 과정)와 내부적 피해자화(즉, 피해자가 자신을 보호하기 위한 전략을 개발하는 동시에 외부적 피해자화가 만들어낸 피해자 이미지를 통합하는 과정) 간의 상호 작용 및 순환 과정을 의미합니다. '이중 피해자화'는 핵심 개념(Corbin and Strauss 2015; Glaser 1998)과 마찬가지로 실제로 가장 중요하고 빈번한 코드였으며, 다른 많은 코드와 연관되어 있고 다른 범주보다 더 많은 데이터를 차지했습니다. 
This iterative process helped Thornberg et al. (2013) to construct a major category – what Glaser (1998) and Corbin and Strauss (2015) would refer to as the ‘core concept’ of the study – namely ‘double victimizing’. This major category refers to an interplay and cycling process between external victimizing (i.e., a social process of repeated harmful acts directed at the victims that confirmed their victim role among the peers) and internal victimizing (i.e., victims incorporated the victim-image produced by external victimizing at the same time as they tried to develop strategies in order to protect themselves). Like the term core concept (Corbin and Strauss 2015; Glaser 1998), ‘double victimizing’ was indeed the most significant and frequent code, and was related to as many other codes as possible and accounted for more data than other categories.

결국 다른 범주는 이중 피해의 일부이거나 다른 방식으로 이중 피해와 관련되어 있다는 이중 피해에 대한 근거 이론이 구축되었습니다. 예를 들어, 외적 피해자화는 다른 사람으로 분류되어 낙인찍히고 사회적으로 배제되는 사회적 과정으로 구성되는 반면, 내적 피해자화는 어울리지 못한다는 느낌, 타인 불신, 자기 보호, 자기 의심, 자책, 체념 등을 포함합니다. 초기 공격은 이중 피해자화보다 먼저 발생했으며, 이중 피해자화가 괴롭힘에서 벗어나면 괴롭힘의 후유증으로 내부 피해자화가 남는 것으로 나타났습니다. 본 연구에서는 이론적 완성도를 갖춘 근거 이론을 구축했다는 측면에서 이론적 포화 상태에 도달하기 위해 이론적 샘플링이 필요했습니다(Charmaz 2014; Glaser, 2001). 
A grounded theory of this double victimizing was finally constructed in which the other categories were parts of the double victimizing or in other ways related to it. For instance, whereas external victimizing consists of the social processes of stigmatizing by being labelled as different and social excluding, internal victimizing includes a sense of not fitting in, distrusting others, self-protecting, self-doubting, self-blaming, and resignation. Initial attacks antedated double victimizing, and when double victimizing ended in terms of bullying exit, after-effects of bullying included a lingering internal victimizing. In this study, theoretical sampling was necessary to reach theoretical saturation in terms of having constructed a grounded theory with theoretical completeness (Charmaz 2014; Glaser, 2001).

신중하게 수행된 인터뷰와 근거이론 방법의 체계적인 사용은 학교폭력 이중피해에 대한 최종 근거이론이 이론과 그 개념이 데이터와 명확하게 일치하고(Glaser 1998), 신뢰성(Charmaz 2014; Strauss and Corbin 1998)과 신뢰성을 입증함으로써 경험적 근거에 도달(Strauss and Corbin 1998)할 수 있게 했습니다. 또한 이론의 경험적 근거는 다음과 같이 이어졌습니다:

  • (a) 개발된 중간 범위 이론인 작업성(Glaser 1998): 괴롭힘 피해와 정신 건강 문제 사이의 연관성을 설명하는 데 기여하는 문헌(예, Klomek, Sourander, and Elonheimo 2015),
  • (b) 추상적 이해(Charmaz, 2017): 의미와 행동, 피해자가 이를 구성하는 방식에 대한 이해를 높이는 데 기여,
  • (c) 관련성(Glaser 1998)과 공명(Charmaz 2014): 연구 참여자와 다른 학교폭력 피해자가 이중 피해자화 근거 이론에 포함된 대부분의 또는 모든 과정을 인식할 수 있었기 때문에 

The carefully conducted interviews and the systematic use of grounded theory methods made sure that the final grounded theory of double victimizing in school bullying reached empirical grounding (Strauss and Corbin 1998) as the theory and its concepts clearly fitted with the data (Glaser 1998), and demonstrated credibility (Charmaz 2014; Strauss and Corbin 1998) and trustworthiness (Strauss and Corbin 1998). In addition, the empirical grounding of the theory led to:

  • (a) workability (Glaser 1998) as the developed middle-range theory contributes to explain the link between bullying victimization and mental health problems in the literature (e.g., Klomek, Sourander, and Elonheimo 2015) from the voice and perspectives of the participants;
  • (b) abstract understanding (Charmaz, 2017) as it contributes to increase our understanding of meanings and actions and how victims construct them; and
  • (c) relevance (Glaser 1998) and resonance (Charmaz 2014) as participants in the study and other victims of school bullying could recognize most or all processes included in the grounded theory of double victimizing.

개방적이고 탐구적인 접근 방식으로 인해 개발된 근거이론은 새로운 통찰력을 제공하고 피해자의 경험과 학교폭력 이후의 경로에 대한 새로운 개념화를 증명함으로써 문헌에 기여하는 독창성을 보여주었습니다(Charmaz 2014). 경험적 근거, 적합성, 신뢰성, 관련성, 실행 가능성, 공명도 등을 종합적으로 평가한 결과, Thornberg 등(2013)의 이중피해이론은 새로운 연구 계통 창출에 기여하고, 학교폭력 피해자 경험을 명확히 하며, 학교폭력이 끝난 후에도 내적 피해는 몇 년 동안 지속된다는 것을 밝혀내 학교폭력 예방에 시사하는 바가 있어 유용성이 인정되었다(Charmaz 2014). 지식과 앎에 대한 실용주의적 관점에 따라 구성주의적 근거 이론 접근법(Charmaz 2006, 2014; Thornberg 2012)의 근간이 되는 Thornberg 등(2013)의 이중 피해에 대한 근거 이론은 위치, 오류, 잠정적인 것으로 간주되며 따라서 수정가능성을 수용합니다(Glaser 1998). 새로운 데이터는 이론을 더욱 수정하고 정교화할 수 있습니다. 
Due to the open and exploratory approach, the developed grounded theory showed originality (Charmaz 2014) as it contributes to the literature by offering new insights and proving a fresh conceptualization of victims’ experiences and path through school bullying and beyond. As a result of empirical grounding, fit, credibility, relevance, workability and resonance, Thornberg et al. (2013) grounded theory of double victimizing also demonstrated usefulness (Charmaz 2014) as it contributes to creating new lines of research, clarifies bullying victim experiences, and reveals that an inner victimizing seems to continue several years after bullying has ended, which has anti-bullying implications. In accordance with the pragmatistic view of knowledge and knowing, underlying the constructivist grounded theory approach (Charmaz 2006, 2014; Thornberg 2012), Thornberg et al. (2013) grounded theory of double victimizing is considered to be situated, fallible and provisional, and therefore embraces modifiability (Glaser 1998). New data may revise and elaborate the theory further.

구성주의 근거 이론의 품질: 체크리스트 및 가이드라인
Quality in constructivist grounded theory: checklists and guidelines

마지막으로 구성주의 근거 이론의 대학원생과 초심자가 작업을 수행하는 동안 체크리스트로 사용할 수 있는 가이드라인을 제시합니다. 이 목록은 엄밀한 연구를 대신하는 것이 아니라 리소스로 활용하시기 바랍니다. Barbour(2001)가 지적했듯이, 체크리스트를 사용하면 방법에 대한 깊은 몰입을 피하는 방법론적 버팀목이 될 위험이 있습니다. 우리는 연구자가 자신의 방법과 데이터에 깊이 관여할 것을 강력히 지지합니다.
We conclude by offering guidelines that graduate and postgraduate students and beginners in constructivist grounded theory can use as a checklist while conducting their work. Use the list as a resource, not as a substitute for rigorous research. As Barbour (2001) observes, using checklists risks becoming a methodological crutch that avoids deep engagement with the method. We strongly advocate that researchers gain a deep engagement with their method and data.

다양한 버전의 근거 이론 간의 유사점과 차이점을 구분할 수 있지만, 일반적인 가이드라인을 제공합니다. 동시에, 사용하기로 선택한 특정 버전의 근거 이론의 방법론적 담론에서 강조하는 엄격성, 신뢰성 및 품질 문제에 대해 자세히 알아볼 것을 권장합니다. 따라서 이러한 사항을 일반적으로 질적 연구를 수행하거나 특히 근거 이론 연구를 구성할 때 고려할 수 있는 유연한 지침으로 삼으시기 바랍니다.
Although we can discern similarities and differences between various versions of grounded theory, we offer a general set of guidelines. At the same time, we recommend you learn more about issues of rigor, credibility and quality emphasized in the methodological discourse of the specific version of grounded theory that you choose to use. So just take these points as flexible guidelines to consider when conducting qualitative inquiry in general or constructing a grounded theory study in particular.

  1. 방법론적 자의식을 갖기 위해 노력하세요(Charmaz 2017)
    1. 특정 주제, 방법론 및 방법을 선택한 이유는 무엇이며, 이것이 연구자의 정체성, 연구 목표 및 질문과 어떻게 부합하는가? 
    2. 어떤 버전의 근거 이론을 채택했으며 그 이유는 무엇인가요? 
    3. 존재론적 및 인식론적 가정은 무엇이며, 이러한 가정이 연구 과정, 연구자의 위치, 연구 결과 및 전이 가능성을 포함한 품질 문제에 어떤 의미가 있나요?
  1. Strive to achieve methodological self-consciousness (Charmaz 2017).
    1. Why have you chosen the specific topic, methodology and methods, and how do these fit with who you are and your research objectives and questions?
    2. What version of grounded theory have you adopted and why?
    3. What are the ontological and epistemological assumptions, and what do these mean for the research process, researcher position, findings, and quality issues, including transferability?
  2. 내러티브 탐구, 담화 분석, 근거 이론 등 어떤 질적 탐구 유형을 채택하든 가능한 한 모든 것을 알아보세요. 가능하다면 접근 방식에 대해 잘 알고 있는 멘토와 함께 작업하세요.
    Learn everything you can about the type of qualitative inquiry you adopt, whether it’s narrative inquiry, discourse analysis, or a version of grounded theory. If possible, work with a mentor who is knowledgeable about your approach.
  3. 해당 분야의 기존 문헌에 대해 개방적이고 비판적이며 분석적인 관점을 취하세요. 글레이저주의 근거 이론과는 달리, 스트라우시안 및 구성주의 근거 이론에 부합하는 문헌을 검토하여 연구에 대한 방어 가능한 근거를 확립하고, 바퀴를 재발명하지 않으며, 이론적 민감성을 높이는 것이 좋습니다. 문헌을 진리가 아닌 잠정적이고 오류가 있을 수 있는 것으로 취급하세요(자세한 내용은 Thornberg 2012, Thornberg and Dunne 2019 참조).
    Take an open, non-committal, critical, analytic view of the existing literature in the field. In contrast to Glaserian grounded theory but in line with Straussian and constructivist grounded theory, we recommend that you review the literature to establish a defensible rationale for the study, to avoid re-inventing the wheel, and to increase theoretical sensitivity. Treat the literature as provisional and fallible, not as the Truth (for further reading, see Thornberg 2012; Thornberg and Dunne 2019).
  4. 풍부한 데이터를 수집하세요. 심리학자에게 풍부한 데이터란 일반적으로 특정 경험을 했거나 현재 경험하고 있는 사람들의 이야기를 학습하고 수집하는 것을 의미합니다. 풍부한 데이터는 경험적 세계에 대한 개방성과 나와는 다른 사람들의 경험을 이해하려는 의지가 있음을 의미합니다.
    Gather rich data. For psychologists, rich data usually means learning and collecting the stories of people who have had or are having a specific experience. Rich data means an openness to the empirical world and a willingness to try to understand the experiences of people who may be far different from you.
  5. 투명성을 유지하세요. 연구를 수행한 방법, 샘플을 확보한 방법, 참여자를 포함시킨 방법과 이유, 근거 있는 이론과 데이터 수집 방법을 사용한 방법을 설명하세요. 선택의 정당성을 포함하세요.
    Be transparent. Describe how you conducted your study, obtained your sample and state how and why you have included the participants, and how you have used grounded theory and data collection methods. Include justifications of your choices.
  6. 데이터와 개발 중인 분석 사이를 오가며 후속 데이터 수집에 집중하고 새로운 분석 범주를 채우세요.
    Go back and forth between data and your developing analysis to focus your subsequent data collection and to fill out your emerging analytic categories.
  7. 경험적 세계에 친숙해지고 이를 이해하기 위한 분석적 핸들을 만들기 위해 고군분투하는 동안 모호함을 용인하세요.
    Tolerate ambiguity while you struggle to gain intimate familiarity with the empirical world and to create an analytic handle to understand it.
  8. 진행하면서 새로운 분석을 개발하는 데 도움이 되는 데이터에 대해 점진적으로 집중적인 질문을 하세요.
    As you proceed, ask progressively focused questions about the data that help you develop your emerging analysis.
  9. 데이터와 데이터에 대한 아이디어를 가지고 놀아보세요. 데이터에 대한 가능한 모든 이론적 설명을 찾아서 확인합니다.
    Play with your data and your ideas about it. Look for all possible theoretical explanations of the data and check them.
  10. (1) 유용한 비교를 하고, (2) 강력한 분석 범주를 만들고, (3) 독자들에게 범주의 중요성을 설득할 수 있도록 충분한 데이터를 수집하세요.
    Collect sufficient data to (a) make useful comparisons, (b) create robust analytic categories, and (c) convince readers of the significance of your categories.
  11. 카테고리에 대해 질문하세요: 카테고리의 속성은 무엇인가? 어떤 방식으로 하위 카테고리를 포함하나요? 주요 카테고리는 어떻게 연결되어 있나요? 어떻게 이론적 진술을 하는가? 이 진술의 의미는 무엇인가요?
    Ask questions about your categories: What are their properties? In which ways do they subsume minor categories? How are your main categories connected? How do they make a theoretical statement? What is the significance of this statement?
  12. 코드, 범주 및 이론적 개요는 항상 잠정적인 것으로 취급하고 새로운 데이터와 추가 분석에 비추어 수정하거나 거부할 수 있도록 열어 두세요.
    Always treat your codes, categories and theoretical outlines as provisional and open for revision and even rejection in the light of new data and further analysis.
  13. 분석을 완료한 후에는 이전 검토에서 다루지 않은 사례 연구 및 관점을 포함할 수 있는 문헌의 관련 자료와 비교하세요. 이때 검토는 자신이 개발한 아이디어에 중점을 두어야 합니다. 이 검토를 통해 여러분의 분석이 해당 분야의 선도적인 아이디어와 어떻게 부합하는지, 확장되는지, 또는 어떻게 도전하는지 보여줄 수 있는 기회를 얻을 수 있습니다.After you have completed your analysis, compare it with relevant material from the literature, which may well include case studies and perspectives that you did not address during your earlier review. At this time, your review will be focused on the ideas that you have developed. This review gives you the opportunity to show how your analysis fits, extends, or challenges leading ideas in your field.

ABSTRACT

This article introduces grounded theory and places this method in its historical context when 1960s quantitative researchers wielded harsh criticisms of qualitative research. The originators of grounded theory, sociologists Glaser and Strauss, sought to defend the quality of qualitative research and argued that grounded theory increased its quality by providing a method of theory construction. Our major foci include: (1) introducing the logic of grounded theory, with emphasis on how researchers can use it to construct theory, (2) detailing criteria for quality in the major forms of grounded theory advocated by Glaser and Strauss and augmented by Glaser, Strauss and Corbin and refined by Corbin, and Charmaz and (3) providing an analysis of how constructivist grounded theorists Thornberg, Halldin, Bolmsjö and Petersson attended to the interviewing process, coding, and developing their theoretical concept of double victimizing. Students and researchers new to the method can use our concluding guidelines as a checklist to assess the quality of their constructivist grounded theory research.

주제분석(TA)를 사용할 수 있나요? 그래야 하나요? 그러지 말아야 하나요? 성찰적 주제분석과 다른 패턴-기반 질적분석 접근(Couns Psychother Res. 2021)
Can I use TA? Should I use TA? Should I not use TA? Comparing reflexive thematic analysis and other pattern-based qualitative analytic approaches
Virginia Braun1 | Victoria Clarke2

 

1 서론
1 INTRODUCTION

완벽한 질적 분석 접근법이 기다리고 있으며, 그것만 찾아낼 수 있다면 훌륭한 질적 연구를 할 수 있을 것이라고 상상하고 싶은 유혹이 있습니다. 우리는 이러한 사고를 '신성한 방법' 퀘스트라고 부릅니다. 이러한 사고에는 특정 연구 프로젝트에 이상적으로 적합한 분석 접근법이 하나 있으며, 상담 및 심리치료 및 기타 분야에서 연구자의 임무는 그 접근법을 찾아서 사용하거나, 다른 접근법을 사용하는 경우 왜 이상적인 방법을 사용하지 않았는지 정당화해야 한다는 것입니다. 상담 및 심리치료 학생들이 주제 분석(TA)을 사용해도 되는지에 대한 질문에서 이러한 사고가 분명하게 드러나는데, 이는 다른 접근법, 일반적으로 이론, 분석 방법 및 연구 설계의 (요소) 패키지를 미리 제공하는 레디메이드 또는 '기성' 방법론(Chamberlain, 2012)을 사용해야 한다는 말을 들었을 때 발생합니다. 이러한 기성 방법론의 예로는 다음이 있습니다. 

  • 근거 이론(GT; Birks & Mills, 2015 참조),
  • 해석적 현상학적 분석(IPA; Smith et al., 2009 참조),
  • 담화 분석(DA; Willig, 2013 참조) 등

It is tempting to imagine that there is a perfect qualitative analytic approach waiting, and if you can only identify it, you will do excellent qualitative research. We refer to such thinking as a ‘hallowed method’ quest. Within such thinking, there is one analytic approach ideally suited to a particular research project, and the mission of the researcher in counselling and psychotherapy, and other fields, is to identify and use that approach or, if using another approach, justify why they did not use the ideal method. We see such thinking as evident in queries we get about whether it is ‘okay’ to use thematic analysis (TA), when counselling and psychotherapy students have been told they should instead use another approach, usually a ready-made or ‘off-the-shelf’ methodology (Chamberlain, 2012), which provides a pre-prepared package of theory, analytic method and (elements of) research design. Examples of such off-the-shelf methodologies include

  • grounded theory (GT; see Birks & Mills, 2015),
  • interpretative phenomenological analysis (IPA; see Smith et al., 2009) and
  • discourse analysis (DA; see Willig, 2013).

이러한 방법론methodologies(이론에 근거한 연구 프레임워크)은 종종 TA와 같은 방법methods(이론적으로 독립적인 도구 및 기법, 프레이밍 이론은 별도로 결정됨)보다 우월한 것으로 인식됩니다. 이는 TA가 무이론적이기 때문에 분석력과 정교함이 부족하다는 잘못된 믿음에 근거한 것으로 보입니다(Braun & Clarke, 2020).

  • [방법론]이 본질적으로 [방법]보다 더 나은 것은 아닐 뿐만 아니라(Chamberlain, 2012 참조), 서로 다른 분석 방법과 방법론이 제공할 수 있는 내용에는 종종 상당한 중복이 있습니다.
  • 우리는 이전에 각 분석이 수행되는 방식에 따라 GT, IPA, 심지어 포스트구조주의 DA1과 (반사적) TA와 같은 패턴 기반/사례 간(Yeh & Inman, 2007) 방법론의 '결과물'이 매우 유사할 가능성이 있다고 주장한 바 있습니다(Braun & Clarke, 2013).

즉, 분석 접근법을 고려하고 결정하는 것은 과일을 먹을지, 케이크 한 조각을 먹을지, 햄버거를 먹을지 결정하는 것이 아니라, 어떤 종류의 과일(사과, 오렌지, 바나나?)을 먹을지 결정하는 것과 비슷합니다.  
Such methodologies (theoretically informed frameworks for research) are often perceived as superior to methods (theoretically independent tools and techniques; framing theory is determined seperately) such as TA. This seems to be based on the mistaken belief that TA is atheoretical and thus lacks analytic power and sophistication (Braun & Clarke, 2020).

  • Not only are methodologies not inherently better than methods (see Chamberlain, 2012), but there is also often considerable overlap in what different analytic methods and methodologies can deliver.
  • We have previously argued that there is potential for great similarity in ‘output’ from pattern-based/across-case (Yeh & Inman, 2007) methodologies like GT, IPA and even poststructuralist DA1, and (reflexive) TA, depending on how each analysis is conducted (Braun & Clarke, 2013).

This means in considering and deciding on an analytic approach it is more like deciding between which type of fruit you will choose to eat (apple, orange or banana?), than deciding whether to have fruit, a slice of cake, or a burger.

저희는 연구 프로젝트에 이상적인 방법 또는 방법론이 하나만 있는 경우는 거의 없다고 생각합니다. 특정 유형의 질적 연구와 관련하여 가장 잘 알려진 접근법이라고 해서 반드시 기성 방법론을 사용해야 할 필요는 없습니다. 연구자는 때로는 개념적, 때로는 실용적, 때로는 자신이나 연구 감독자, 멘토 또는 협력자에게 친숙하고 편안한 접근 방식이기 때문에 등 다양한 이유로 분석 접근 방식을 선택합니다. 패턴화된/사례 간 의미를 탐색하는 데 관심이 있는 경우처럼 분석을 한 가지 방법으로만 다룰 수 있는 경우가 아니라면, 거의 항상 다양한 옵션이 있습니다연구자들은 '신성한 방법'을 찾아 헤맬 필요가 없습니다. 중요한 것은 사용된 방법이 프로젝트의 목적에 '적합'하고, 이론적 가정, 연구 질문 및 방법이 일치하며, 전반적인 연구 설계가 일관성이 있어야 한다는 것입니다(Willig, 2013). 이는 설계 일관성 또는 '적합성'이라는 질적 연구 설계의 일반적인 원칙을 반영한 것입니다(Braun & Clarke, 2013). Levitt 등(2017)은 유사한 개념인 '방법론적 무결성'을 제안했습니다: 
We take the view that there is rarely one ideal method—or methodology—for a research project. There is no requirement to use an off-the-shelf methodology just because it is the most well-known approach associated with a particular type of qualitative research. Researchers select analytic approaches for all sorts of reasons, sometimes conceptual, sometimes pragmatic and sometimes because an approach is familiar and comfortable—to themselves or to their research supervisor, mentor or collaborator. Unless the analysis can only be tackled in one way—which is not the case for those interested in exploring patterned/across-case meaning—there is nearly always a range of options. Researchers do not need to go on a ‘hallowed method’ quest. What is important, is that the method used ‘fits’ the project's purpose, that theoretical assumptions, research question and methods are in alignment, and that the overall research design is coherent (Willig, 2013). This reflects a general principle for qualitative research design of design coherence or ‘fit’ (Braun & Clarke, 2013). Levitt et al. (2017) proposed a similar concept of ‘methodological integrity’ to capture when:

연구 설계와 절차(예: 자동 민족지, 담론 분석)가 
 연구 목표(예: 연구 문제/질문)를 지원하고, 
 연구자의 탐구 접근 방식(예: 세계관, 패러다임 또는 철학적/인식론적 가정으로 설명되기도 하는 연구 전통)을 존중하며, 
 주제와 연구자의 근본적인 특성에 맞게 조정된 경우(9-10페이지)를 포착할 수 있습니다.

research designs
 and procedures (e.g. autoethnography, discursive analysis)
 support the research goals (i.e. the research problems/questions);
 respect the researcher's approaches to inquiry (i.e. research traditions sometimes described as world views, paradigms or philosophical/epistemological assumptions);
 and are tailored for fundamental characteristics of the subject matter and the investigators (pp. 9–10).

반사적 주제 분석 또는 다른 패턴 기반 방법/논리를 언제, 왜 사용해야 하나요?
When and why to use reflexive thematic analysis or another pattern-based method/ology?

질적 분석 기법에서 성찰적 주제 분석이 어디에 위치하는지 이해하는 것은 분석 접근 방식에 대해 알고 반사적으로 선택하고, 그러한 선택이 무엇을 축소하고 가능하게 하는지 이해하는 데 유용합니다. 이 백서에서는 재귀적 TA와 다른 패턴 기반 접근법을 비교하여 유사점과 차이점을 강조합니다. 이 백서는 상담 및 심리치료 연구자들이 다른 방법/이론 대신 성찰적 TA를 선택한 이유를 정당화하거나 설명하는 데 유용한 자료를 제공할 것이며, 실제로 성찰적 TA 대신 다른 방법/이론을 선택한 경우도 있습니다. 각 접근법이 제공하는 이점을 최종적으로 검토하면서, 상담 및 심리치료 연구자들이 성찰적 TA를 사용하는 대신 이러한 접근법을 사용할 수 있는 시기를 고려했습니다. 성찰적 TA가 항상 출발점이 되어야 한다고 생각하기 때문이 아니라, 대조에 대한 앵커 포인트를 제공하기 때문입니다. 
Understanding where reflexive TA sits in the landscape of qualitative analytic techniques is useful for making knowing and reflexive choices about analytic approaches, and appreciating what those choices curtail and enable. In this paper, we compare reflexive TA with other patterned-based approaches, to highlight similarities and differences. This paper will provide a useful resource for counselling and psychotherapy researchers for justifying or explaining why reflexive TA was chosen over another method/ology, or, indeed, another method/ology over reflexive TA. In our final weighing up of what each approach offers, we consider when counselling and psychotherapy researchers might want to use these instead of using reflexive TA. Not because we think reflexive TA should always be the starting point, but because it gives an anchor point for the contrast.

비교의 초점은 질적 데이터 세트를 구성하는 데이터 항목 또는 사례 전반의 의미 패턴 분석에 중점을 둔 다른 질적 분석 접근 방식에 있습니다. 대화 분석(예: Madill 외, 2001) 및 담화 심리학(예: Wiggins, 2016)과 같이 말의 세분화된 또는 상호 작용적인 작업을 조사하는 방법들은 상당히 다른 초점을 가지고 있습니다. 내러티브 분석과 같이 전기, 이야기 또는 삶의 스토리에 초점을 맞추는 방법도 마찬가지입니다(예: Reissman, 2008). 여기서 고려하는 접근 방식은 질적 내용분석(QCA), IPA, GT 및 (패턴 기반) DA입니다. 이 중 (반사적) TA와 마찬가지로 QCA, IPA, GT는 상담 및 심리치료 연구에서 널리 사용됩니다. DA는 덜 널리 사용되지만 중요한 질적 연구 전통을 잘 보여줍니다. 
Our focus of comparison is on other qualitative analytic approaches centred on the analysis of patterns of meaning across the data items or cases that constitute a qualitative data set. Methods that examine the fine-grained or interactional work of speech—such as conversation analysis (e.g. Madill et al., 2001) and discursive psychology (e.g. Wiggins, 2016)—have a quite different focus. As do methods that focus on biography, stories or the storied nature of life such as narrative analysis (e.g. Reissman, 2008). The approaches we consider here are qualitative content analysis (QCA), IPA, GT and (pattern-based) DA. Three of these—QCA, IPA and GT, like (reflexive) TA—are widely used in counselling and psychotherapy research. DA is less widely used but importantly exemplifies the critical qualitative research tradition.

  • 성찰적 TA와 QCA와 같은 접근법은 주로 이론적 또는 이론적으로 유연한 도구와 기법을 제공하는 방법입니다. 이러한 방법들은 특정 연구에 적용될 때 이론적 가정이 주입됩니다. 일반적으로 QCA의 경우처럼 방법론 작성자가 명시적으로 요구하지 않더라도 품질 관행을 위해서는 이론을 명시적으로 제시할 필요가 있습니다.
  • IPA, GT, DA와 같은 접근법은 연구를 위한 이론적 근거가 있고 구분된 프레임워크로서 방법론으로 생각하는 것이 가장 좋습니다. 이러한 접근법은 단순한 기법이 아니므로 방법론적 기반에서 분리하는 것은 거의 의미가 없으며, 그렇게 하면 분석 실무와 결과물이 제대로 나오지 않는 경우가 많습니다. 

 

  • Approaches like reflexive TA and QCA are primarily methods, offering tools and techniques that are either atheoretical or theoretically flexible. They become infused with theoretical assumptions when enacted in a particular study. Theory needs to be made explicit, for quality practice, even if this is not mandated by methodological authors, as is typically the case with QCA.
  • Approaches like IPA, GT and DA are best thought of as methodologies, as theoretically informed and delimited frameworks for research. They are not just techniques, so detaching them from their methodological anchors rarely makes sense, and doing so often results in poor analytic practice and outputs.

우리는 성찰적 TA와 대조적으로 이러한 다른 접근법이 제공하는 것과 연구자가 특정 방법론적 선택을 할 때 헌신해야 할 것과 제약을 받아야 할 것을 강조합니다. 그러나 먼저 성찰적 TA에 대한 접근 방식의 특징과 그것이 속한 TA 방법군에 대해 논의함으로써 이러한 비교를 맥락화합니다. 
We highlight what these different approaches offer, in contrast to reflexive TA, and what researchers need to commit to, and be constrained by, in making a particular methodological choice. But first we contextualise these comparisons by discussing the characteristics of our approach to reflexive TA and the family of TA methods to which it belongs.

반사적 주제 분석과 주제 분석 방법군
Reflexive thematic analysis and the thematic analysis family of methods

TA는 상담 및 심리치료 연구와 그 밖의 다른 분야에서 한 가지 절차로 이루어진 단일 방법으로 오해되는 경우가 많습니다(Clarke & Braun, 2018). 그러나 TA는 몇 가지 공통점이 있지만 근본적인 연구 가치, 핵심 구성 요소의 개념화 및 분석 절차에서 상당한 차이가 있는 방법의 계열로 간주하는 것이 가장 좋습니다(Fugard & Potts, 2020). TA 접근법은 일반적으로

  • 코딩에 대한 귀납적(데이터 중심) 및 연역적(이론 중심) 방향의 가능성을 인정하며,
  • 의미론적(명시적 또는 명시적) 및 잠재적(암묵적, 잠재적, 반드시 무의식적일 필요는 없음) 의미를 잡아내고,
  • 코딩과 주제 개발 과정을 인정하며,
  • 연구를 구성하는 이론에 대한 유연성의 잠재력을 인정한다.

TA is frequently misunderstood in counselling and psychotherapy research, and elsewhere, as a singular method with one set of procedures (Clarke & Braun, 2018). However, it is best thought of as family of methods (Fugard & Potts, 2020), with some characteristics in common but also significant divergences in underlying research values, the conceptualisation of core constructs and analytic procedures. TA approaches typically acknowledge

  • the potential for inductive (data-driven) and deductive (theory-driven) orientations to coding,
  • capturing semantic (explicit or overt) and latent (implicit, underlying; not necessarily unconscious) meanings,
  • processes of coding and theme development, and
  • the potential for some flexibility around the theory that frames the research. 

우리는 TA 방법을 크게 세 가지 유형으로 분류했습니다(Braun et al., 2019): 
We have categorised TA methods into three broad types (Braun et al., 2019):

  1. 코딩 신뢰성 접근법(예: Boyatzis, 1998; Guest 외., 2012)은 초기 주제 개발을 포함하며 코딩을 주제에 대한 증거를 식별하는 과정으로 개념화합니다. 주제는 일반적으로 특정 주제 또는 데이터 수집 질문과 관련하여 참가자가 가장 빈번하게 언급한 내용을 요약 또는 개괄한 주제 요약으로 이해되며, 연구자의 분석 작업 이전에 데이터에 존재하는 실체로 이해됩니다. 코딩 신뢰성 접근법은 코딩 프레임 또는 코드북을 중심으로 구조화된 코딩 접근법을 사용하며, 일반적으로 여러 코더가 독립적으로 작업하여 코딩 프레임을 데이터에 적용해야 합니다. 연구자의 주관성은 코딩 신뢰성에 잠재적인 위협이 될 수 있는 '편향'으로 개념화됩니다. 이러한 위협은 여러 코더를 사용하여 코더 간의 '합의' 수준을 측정하고, 높은 수준의 합의가 신뢰할 수 있는 코딩과 같다는 가정 하에 합의를 통해 최종 코딩을 결정함으로써 관리할 수 있습니다. 
    Coding reliability approaches (e.g. Boyatzis, 1998; Guest et al., 2012) involve early theme development and conceptualise coding as a process of identifying evidence for themes. Themes are typically understood as topic summaries—summaries or overviews of the most frequent things participants said in relation to a particular topic or data collection question—and as entities that reside in data, pre-existing any analytic work on the part of the researcher. Coding reliability approaches use a structured approach to coding centred around a coding frame or codebook, and typically require multiple coders working independently to apply the coding frame to the data. Researcher subjectivity is conceptualised as ‘bias’, a potential threat to coding reliability. This threat is managed through the use of multiple coders, measuring the level of ‘agreement’ between coders, with the assumption that a high level of agreement equals reliable coding, and determining final coding through consensus.
  2. 성찰적 접근법(예: Braun & Clarke, 2006, 2019a; Hayes, 2000)은 테마는 코드에서 개발되고, 중심 조직 개념에 의해 뒷받침되는 공유된 의미의 패턴으로 개념화하여, 나중에 테마를 개발하는 방식을 포함합니다(Braun et al., 2014). 테마 개발에는 연구자의 상당한 분석 및 해석 작업이 필요합니다. 테마는 표면적으로 서로 다른 것처럼 보이는 데이터를 포함할 수 있지만, 이러한 테마는 암묵적 또는 잠재적 의미를 통합합니다. 테마는 연구자와 분리되어 존재할 수 없으며, 연구자가 이 과정에 가져오는 모든 것(예: 연구 가치, 기술, 경험 및 훈련)에 의해 매개되는 데이터 참여를 통해 연구자에 의해 생성됩니다. 코딩 프로세스는 비정형적이고 유기적이며, 연구자의 데이터에 대한 이해가 깊어짐에 따라 코드가 진화할 수 있는 잠재력을 가지고 있습니다. 코딩은 본질적으로 주관적인 과정으로 인식되며, 연구자는 자신의 가정과 이러한 가정이 어떻게 코딩을 형성하고 구분할 수 있는지에 대해 성찰하기 위해 노력하는 반성적 연구자가 필요합니다. Atlassian의 반성적 접근 방식에는 익숙해지기, 코딩하기, 초기 테마 생성하기, 테마 검토 및 개발하기, 테마 다듬기, 정의 및 이름 짓기, 작성하기의 6가지 재귀적 단계가 포함됩니다.
    Reflexive approaches (e.g. Braun & Clarke, 2006, 2019a; Hayes, 2000) involve later theme development, with themes developed from codes, and conceptualised as patterns of shared meaning underpinned by a central organising concept (Braun et al., 2014). Theme development requires considerable analytic and interpretative work on the part of the researcher. Although themes might encompass data that on the surface appears disparate, such themes unite implicit or latent meaning. Themes cannot exist separately from the researcher—they are generated by the researcher through data engagement mediated by all that they bring to this process (e.g. their research values, skills, experience and training). The coding process is unstructured and organic, with the potential for codes to evolve to capture the researcher's deepening understanding of the data. Coding is recognised as an inherently subjective process, one that requires a reflexive researcher—who strives to reflect on their assumptions and how these might shape and delimit their coding. Our reflexive approach involves six—recursive—phases of: familiarisation; coding; generating initial themes; reviewing and developing themes; refining, defining and naming themes; and writing up.
  3. 코드북 접근법(예: King & Brooks, 2018; Ritchie & Spencer, 1994)은 [성찰적 TA의 질적 연구 가치][코딩에 대한 보다 구조화된 접근법(초기 주제 개발 및 코딩 신뢰성 TA의 특징인 주제 요약으로서의 주제 개념화)]를 결합한 것입니다. 그러나 일반적으로 응용 연구에 사용하기 위해 개발된 코드북 접근법은 코딩의 신뢰성과 정확성을 결정하기 위한 목적이 아니라 발전하는 분석을 도표화하거나 매핑하기 위해 코드북을 사용합니다. 이는 팀원 각자가 데이터 세트의 서로 다른 부분을 코딩하여 팀워크를 촉진하고, 정해진 기한에 맞춰 분석을 효율적으로 전달하며, 미리 정해진 정보 요구를 충족하는 등 실용적인 이유에서 주로 사용됩니다.
    Codebook approaches (e.g. King & Brooks, 2018; Ritchie & Spencer, 1994) combine the qualitative research values of reflexive TA with the more structured approach to coding, early theme development and the conceptualisation of themes as topic summaries characteristic of coding reliability TA. However, codebook approaches—typically developed for use in applied research—use a codebook not for the purposes of determining the reliability and accuracy of coding but to chart or map the developing analysis. This is often for pragmatic reasons such as facilitating teamwork, with each member of the team coding different parts of the data set, efficient delivery of analysis to a fixed deadline and meeting predetermined information needs.

이 유형 외에도 쉬운 분류를 거부하고 여러 유형의 요소를 결합한 TA 접근법, 심리치료 과정 연구를 위해 특별히 개발된 '주제 분석' 버전 등 다양한 유형이 있습니다(예: 마이어 외., 2008). 
There is variation beyond this typology—with TA approaches that defy easy categorisation and combine elements from the different types; there are also versions of ‘theme analysis’ developed specifically for psychotherapy process research (e.g. Meier et al., 2008).

세 가지 유형의 TA는 코딩 신뢰성에서 반사적 접근에 이르기까지 하나의 연속체를 이루는 것으로 개념화할 수 있습니다.

  • 코딩 신뢰도 TA(포스트)실증주의2 연구 가치에 의해 뒷받침되는 질적 도구와 기법을 사용하는 '작은 q' 질적(Kidder & Fine, 1987)이라고 불리는 것을 예시합니다(Ponterotto, 2005 참조). 이러한 가치관은 일반적으로 정량적 연구를 뒷받침하는 가치관이며, 객관적이고 일반화 가능하며 신뢰할 수 있고 복제 가능한 지식을 이상적으로 강조합니다.
  • 반면, 성찰적 TA는 질적 연구를 단순히 도구와 기법으로 개념화하는 것이 아니라 질적 가치 프레임워크 내에서 이러한 도구와 기법의 사용을 포함하는 '빅 큐' 질적 연구(Kidder & Fine, 1987)를 예시합니다. 이러한 이유로 Big Q 질적 연구를 '완전 질적' 연구(즉, 기법과 가치 모두에서 질적인 연구)라고 부르기도 합니다. 질적 연구 가치는 쉽게 정의할 수 없지만, 일반적으로 연구자의 주관성을 연구 자원으로, 의미와 지식을 부분적, 위치적, 맥락적이라고 개념화하는 것을 포함합니다(Braun & Clarke, 2013). 

The three different types of TA can be conceptualised as occupying a continuum, from coding reliability to reflexive approaches.

  • Coding reliability TA exemplifies what has been dubbed ‘small q’ qualitative (Kidder & Fine, 1987)—the use of qualitative tools and techniques underpinned by (post)positivist2 research values (see Ponterotto, 2005). These are the values that typically underpin quantitative research and emphasise objective, generalisable, reliable and replicable knowledge as ideal.
  • Reflexive TA, by contrast, exemplifies ‘Big Q’ qualitative (Kidder & Fine, 1987)—where qualitative research is not merely conceptualised as tools and techniques but as involving the use of these within a qualitative values framework. For this reason, Big Q qualitative is sometimes termed ‘fully qualitative’ research (i.e. research that is qualitative both in techniques and values). Although qualitative research values are not easily defined, they typically include a conceptualisation of researcher subjectivity as a resource for research and of meaning and knowledge as partial, situated and contextual (Braun & Clarke, 2013).

TA는 상담 및 심리치료 연구에서 흔히 사용되는 현상학적 또는 경험적 질적 연구 전통에 속하는 것으로 이해되는 경우가 많습니다(Morrow, 2007). 이 전통은 참여자의 주관적 경험과 의미 만들기에 대한 탐구에 중점을 둡니다(Braun & Clarke, 2013; Willig, 2013). 많은 코딩 신뢰성 및 코드북 저자들은 이러한 전통에 따라 TA의 버전을 포지셔닝합니다(예: Guest et al., 2012).

TA is often understood as belonging to the phenomenological or experiential qualitative research tradition, common in counselling and psychotherapy research (Morrow, 2007). This tradition is centred on the exploration of participants’ subjective experiences and sense-making (Braun & Clarke, 2013; Willig, 2013). Many coding reliability and codebook authors position their versions of TA within this tradition (e.g. Guest et al., 2012). 

그러나 일부 성찰적 및 코드북 TA 저자(예: Clarke & Braun, 2014; King, 2012)는 또 다른 연구 전통, 즉 비판적 질적 연구의 전통을 인정합니다. 비판적 전통은 종종 사회적으로 내재된 의미 패턴과 그 함의 및 효과에 대한 의문에 초점을 맞춘 포스트구조주의(예: Gavey, 1989) 및 구성주의3(예: Gergen, 2015) 이론적 틀과 연관됩니다(Clarke & Braun, 2014 참조). 포스트구조주의와 구성주의(예: 내러티브 치료 및 연구, Lainson 등, 2019 참조)의 영향을 받은 연구와 실천이 일부 존재하지만, 상담 및 심리치료 연구에서는 비판적 질적 전통이 잘 확립되어 있지 않습니다(Ponterotto 등, 2017). 

However, some reflexive and codebook TA authors (e.g. Clarke & Braun, 2014; King, 2012) acknowledge another research tradition—that of critical qualitative research. The critical tradition is often associated with poststructuralist (e.g. Gavey, 1989) and constructionist3 (e.g. Gergen, 2015) theoretical frameworks, focusing on the interrogation of socially embedded patterns of meaning and the implications and effects of these (see Clarke & Braun, 2014). The critical qualitative tradition is less well established in counselling and psychotherapy research (Ponterotto et al., 2017), although there are pockets of research and practice informed by poststructuralism and constructionism (e.g. narrative therapy and research, see Lainson et al., 2019).

주제 분석과 질적 내용분석의 차이점은 무엇인가요?
What are the differences between thematic analysis and qualitative content analysis?

TA와 QCA는 종종 혼동되어 혼용되는 경우가 많은데, QCA는 아마도 TA와 가장 유사한 분석 접근 방식일 것입니다(Vaismoradi 외., 2013). 이 두 방법의 차이점은 부분적으로 TA와 QCA를 어떻게 정의하느냐에 따라 달라집니다. TA에 대한 접근 방식이 하나만 있는 것이 아니듯, QCA에 대한 접근 방식도 하나만 있는 것은 아닙니다. 또한 TA가 종종 (암묵적으로) 단일한 접근법으로 제시되는 것처럼(예: Vaismoradi 외., 2016; Vaismoradi & Snelgrove, 2019), QCA도 마찬가지입니다(예: Burla 외., 2008). '한 가족의 형제자매로서 다양한 유형의 TA'라는 비유를 확장하면(Fugard & Potts, 2020), TA와 QCA를 각각 많은 자녀를 둔 두 개의 관련 '핵가족'으로 상상하는 것이 유용합니다. 각 가족 내에는 많은 차이가 있으며, 두 가족 사이에는 많은 연결 지점과 약간의 차이가 있습니다. 
TA and QCA are often confused and conflated; QCA is probably the analytic approach most like TA (Vaismoradi et al., 2013). How these two methods differ in part depends on how both TA and QCA are defined. Just as there is no one approach to TA, there is no one approach to QCA. Moreover, just as TA is often (implicitly) presented as a singular approach (e.g. Vaismoradi et al., 2016; Vaismoradi & Snelgrove, 2019), so too is QCA (e.g. Burla et al., 2008). Extending the ‘different types of TA as siblings in a family’ analogy (Fugard & Potts, 2020), it is useful to imagine TA and QCA as two related ‘nuclear families’, each with lots of children. There is lots of variation within each family, and lots of points of connection, and some differences, between the two families.

QCA는 아마도 양적 버전에서 발전했을 것입니다.Mayring(2000; 그러나 Hseih & Shannon, 2005 참조)은 20세기 중반에 내용분석에 대한 질적 접근법의 발전을 설명했습니다(예: Kracauer, 1952). QCA는 종종 질적 데이터에서 주제를 식별하는 방법으로 설명되며(예: Cho & Lee, 2014; Hseih & Shannon, 2005; Vaismoradi 외., 2016), 일부 연구자들은 그들의 접근 방식을 '주제별 내용분석'이라고 부르기도 합니다(예: Brewster 외., 2014). QCA에 대한 일부 정의는 (일반적으로) TA와 유사한 방법을 설명합니다. 예를 들어, Hsieh와 Shannon(2005)은 TA에 대한 일반적인 정의를 작성했을 수 있습니다: 
QCA probably developed from quantitative versions4—Mayring (2000; but see Hseih & Shannon, 2005) described the development of qualitative approaches to content analysis in the middle of the twentieth century (e.g. Kracauer, 1952). QCA is often described as a method for identifying themes in qualitative data (e.g. Cho & Lee, 2014; Hseih & Shannon, 2005; Vaismoradi et al., 2016), and some researchers even label their approach ‘thematic content analysis’ (e.g. Brewster et al., 2014). Some definitions of QCA describe a method that is like TA (in general). For example, Hsieh and Shannon (2005) could have been writing a generic definition of TA:

질적 내용 분석은 단순히 단어 수를 세는 것을 넘어, 대량의 텍스트를 유사한 의미를 나타내는 효율적인 수의 범주로 분류하기 위해 언어를 집중적으로 조사하는 것입니다(Weber, 1990). 이러한 범주는 명시적 의사소통 또는 추론적 의사소통을 나타낼 수 있습니다 [...] 질적 내용 분석은 주제나 패턴을 코딩하고 식별하는 체계적인 분류 과정을 통해 텍스트 데이터의 내용을 주관적으로 해석하는 연구 방법이라고 정의됩니다(1,278쪽). 
Qualitative content analysis goes beyond merely counting words to examining language intensively for the purpose of classifying large amounts of text into an efficient number of categories that represent similar meanings (Weber, 1990). These categories can represent either explicit communication or inferred communication […] qualitative content analysis is defined as a research method for the subjective interpretation of the content of text data through the systematic classification process of coding and identifying themes or patterns (p. 1,278).

이 정의에는 코딩 및 주제 개발 과정(TA에서와 마찬가지로 QCA에서도 주제에 대한 널리 합의된 정의는 없지만), 명시적(의미론적) 의미와 추론적(잠재적) 의미, 연구자 주관성의 중심성 등이 포함됩니다. 연구자의 주관성을 강조하는 것을 제외하면, 이러한 특징들은 다양한 출처에서 QCA의 주요 특징입니다(예: Burla et al., 2008; Cho & Lee, 2014; Forman & Damschroder, 2008; Vaismoradi et al., 2013). 다른 일반적인 특징으로는 귀납적 접근법연역적 접근법(또는 일반적 접근법과 지시적 접근법) 또는 이 둘의 조합을 모두 사용할 수 있다는 점이 있습니다(예: Cho & Lee, 2014; Hseih & Shannon, 2005). 실제로 일부 QCA 저자들은 '주제 분석' 또는 TA가 QCA의 다른 이름일 뿐이라고 주장하기도 합니다(Schreier, 2012). 일반적인 수준에서 보면 TA와 QCA를 구분하는 것은 거의 없는 것 같습니다. 그러나 TA 접근 방식에 따른 차이는 QCA가 코드북 및 코딩 신뢰성 TA와 가장 많이 겹친다는 것을 의미합니다.

  • QCA에 대해 널리 합의된 절차는 없지만, 대부분의 저자는 코드북 또는 코딩 프레임의 사용을 강조하며(예: Burla et al., 2008; Forman & Damschroder, 2008; Schreier, 2012),
  • 일부는 여러 독립 코더 사용 및 코더 간 일치도 측정과 같은 코딩 신뢰성을 보장하고 입증하기 위한 관행을 논의합니다(예: Burla et al., 2008; Forman & Damschroder, 2008).

이와는 대조적으로, 성찰적 TA는 연구자에게 절차 및 기본 연구 가치 측면에서 완전히 질적인 접근 방식을 제공하는 것으로 보입니다. 
This definition includes reference to processes of coding and theme development (although, as in TA, there is no widely agreed on definition of a theme in QCA), explicit (semantic) and inferred (latent) meaning, and the centrality of researcher subjectivity. With perhaps the exception of an emphasis on researcher subjectivity, these are key features of QCA in many different sources (e.g. Burla et al., 2008; Cho & Lee, 2014; Forman & Damschroder, 2008; Vaismoradi et al., 2013). Other common features include the possibility of using both inductive and deductive (or conventional and directed) coding approaches, or a combination of the two (e.g. Cho & Lee, 2014; Hseih & Shannon, 2005). Indeed, some QCA authors argue that ‘theme analysis’ or TA is just another name for QCA (Schreier, 2012). At the general level, there does seem to be little that separates TA and QCA. However, the variation across TA approaches means QCA overlaps most with codebook and coding reliability TA.

  • Although there is no one widely agreed on set of procedures for QCA, most authors emphasise the use of a codebook or coding frame (e.g. Burla et al., 2008; Forman & Damschroder, 2008; Schreier, 2012) and
  • some discuss practices to ensure and demonstrate coding reliability such as using multiple independent coders and measuring inter-coder agreement (e.g. Burla et al., 2008; Forman & Damschroder, 2008).

In contrast, reflexive TA does seem to offer the researcher a distinct approach, one that is fully qualitative in terms of both its procedures and the underlying research values.

QCA는 일반적으로 방법론이라기보다는 하나의 방법으로 제시되지만(Cho & Lee, 2014), 이론적 토대는 거의 논의되거나 인정되지 않습니다. 실제로 QCA와 TA의 주요 차이점 중 하나는 QCA가 이론적으로 유연하기보다는 무이론적인 것으로 암묵적으로, 때로는 명시적으로 제시된다는 점입니다(Forman & Damschroder, 2008).

  • 이러한 포지셔닝에도 불구하고, (포스트)실증주의 이론적 가정은 연구자 주관을 최소화하고 코딩의 '정확성'을 극대화하기 위해 코더 간 일치도 계산과 같은 품질 측정을 사용하여 분석에 도입되는 경우가 많습니다.
  • 이론적 토대가 인정되는 경우, 일반적으로 (포스트)실증주의 또는 현실주의(또는 '사실주의') 유형에 속합니다(Vaismoradi 외., 2013).

QCA의 이러한 무이론적 위치 때문에 QCA는 설명적 분석만을 위한 방법으로 여겨지기도 하고(Cho & Lee, 2014; Vaismoradi 외., 2013), 따라서 질적 분석 접근법 중 (가장 해석적 접근법이라고 주장하는 GT나 해석적 현상학(예: Vaismoradi 외., 2013)에 비해) 가장 해석적이지 않은 것으로 여겨지기도 합니다. 이 때문에 QCA는 종종 질적 분석 초보자가 접근하기 쉽지만 상대적으로 정교하지 않은 '입문용' 방법(Vaismoradi 외., 2013)으로 인식되는 경우가 많습니다(TA도 종종 잘못 표현되는 것처럼). 
Although QCA is commonly presented as a method rather than a methodology (Cho & Lee, 2014), theoretical underpinnings are rarely discussed or acknowledged. Indeed, one major difference between QCA and TA seems to be that QCA is often implicitly and sometimes explicitly presented as atheoretical, rather than theoretically flexible (Forman & Damschroder, 2008).

  • Despite such positioning, (post)positivist theoretical assumptions are often imported into the analysis through the use of quality measures like calculating inter-coder agreement and a concern to minimise researcher subjectivity and maximise the ‘accuracy’ of coding.
  • If theoretical underpinnings are acknowledged, it is usually of the (post)positivist or realist (or ‘factist’) variety (Vaismoradi et al., 2013).

The atheoretical positioning of QCA is perhaps why it is often thought of as a method for only producing descriptive analyses (Cho & Lee, 2014; Vaismoradi et al., 2013) and—thus—as the least interpretive of the qualitative analytic approaches, compared to what some claim are the most interpretive approaches, such as GT or interpretive phenomenology (e.g. Vaismoradi et al., 2013). This is perhaps why QCA is often framed as a ‘starter’ method (Vaismoradi et al., 2013), accessible for qualitative beginners, but relatively unsophisticated (as TA is often also misrepresented as).

TA와 QCA는 정량적 내용분석에서 병렬적으로 발전한 것으로 보이며 버전에 따라 어느 정도 겹치는 부분이 있는데, 이를 별개의 방법으로 간주하는 것이 유용할까요? 서로 다른 용어를 사용하면 명확해지나요, 아니면 불필요하게 혼란스럽고 복잡해지나요? 저희의 견해는 후자 쪽에 가깝지만, 이 두 가지 방법이 모두 확고하게 자리 잡았기 때문에 어느 쪽도 사라지지는 않을 것입니다. 그렇다면 왜 TA 대신 QCA를 선택해야 할까요? 이는 아마도 각 방법이 더 많은 '신뢰도' 또는 수용성을 지니고 있으며 특정 상황에서 더 널리 사용되기 때문에 상황에 따라 크게 달라질 수 있습니다. 만약 여러분의 접근 방식이 (포스트)실증주의적/'작은 q'적이라면, 두 가지를 구분할 필요가 거의 없습니다. 하지만 - 이것은 중대한 '하지만'이다 - 우리는 질적 분석이 무이론적이라는 (암묵적인) 포지셔닝에 문제가 있습니다. 연구자의 목적이 무엇이든, 분석에는 항상 이론적 가정과 선택이 수반되기 때문에 질적 분석은 무이론적일 수 없습니다(Ponterotto et al., 2017). 일반적으로 TA 문헌에는 이론적 토대에 대한 논의가 있기 때문에(때때로 제한적이고 때로는 문제가 되기도 하지만), 우리는 어떤 형식을 사용하든 QCA보다 TA를 사용하고 분석의 이론적 근거에 대해 논의할 것을 옹호합니다. 이론적으로 유연한 TA의 프레임워크는 이론을 피할 수 없음을 의미합니다(이론적으로는! - Braun & Clarke, 2020 참조). 또한, 우리는 작업 대상인 '콘텐츠'보다는 '주제', 즉 무엇을 얻고자 하는지에 초점을 맞추는 것을 선호합니다. 전자(contents에 초점을 두는 것)는 데이터 분석에 대해 '진실은 거기에 있다'는 식의 추출적 성향을 불러일으킬 위험이 있습니다(Braun & Clarke, 2016).  
As TA and QCA seem to be parallel developments from quantitative content analysis, and more or less overlap (depending on the version), is it useful to consider them distinct methods? Does having different terms clarify, or does it just confuse and complexify, unnecessarily? Our view tends towards the latter, but as both branches of this family of methods are now firmly established, neither will disappear. So why might you choose QCA over TA? This probably largely depends on context, as each method carries more ‘cachet’ or acceptance and is more widely used in certain contexts. If your approach is more (post)positivist/small q, there is little to distinguish between the two. But—and this is a big but—we are troubled by the (implicit) positioning of QCA as atheoretical. Qualitative analysis cannot be atheoretical—no matter what a researcher's purpose, analysis always involves theoretical assumptions and choices (Ponterotto et al., 2017). Because there is usually some discussion of theoretical underpinnings within the TA literature (albeit at times limited, and sometimes problematic), we therefore advocate for using TA over QCA—whichever form you use, and for discussing the theoretical bases of the analysis. The framing of TA as theoretically flexible means theory cannot be avoided (in theory! - see Braun & Clarke, 2020). Furthermore, we prefer the focus on ‘themes’—what you're aiming to get to—rather than ‘content’—what you're working with. The latter risks evoking an extractive, ‘the truth is in there’ orientation to data analysis (Braun & Clarke, 2016).

주제별 분석과 해석적 현상학적 분석의 차이점은 무엇인가요?
What are the differences between thematic analysis and interpretative phenomenological analysis?

다양한 현상학적 접근법(예: Finlay, 2011; Paley, 2017)이 있으며, 특히 적어도 1980년대부터 현상학적 연구에 사용되어 온 TA(예: Dapkus, 1985)가 가장 대표적인 접근법입니다. 여기서 IPA에 초점을 맞추는 이유는 잘 발달된 방법론적 지침과 함께 상담 및 심리치료 연구에서 점점 더 널리 사용되고 있기 때문입니다(McLeod, 2011). 방법론으로서 IPA는 다음을 지정합니다:

  • (a) 지침이 되는 이론적 틀(현상학 - 이 버전에서는 인간이 세계를 경험하고 이해하는 방식을 이해하고 해석하는 데 광범위하게 관련됨),
  • (b) 특정 맥락에서의 개인적 경험과 의미 만들기에 초점을 맞춘 연구 질문,
  • (c) 작고 동질적인 목적 표본의 사용,
  • (d) 개인 경험에 대한 일인칭 설명을 수집하기 위한 인터뷰 사용(예: Smith et al., 2009; Smith & Osborn, 2007; Spiers & Riley, 2019).

There are a wide variety of phenomenological approaches (e.g. Finlay, 2011; Paley, 2017), not least TA, which has been used in phenomenological research since at least the 1980s (e.g. Dapkus, 1985). We focus on IPA here because it is increasingly widely used in counselling and psychotherapy research, with well-developed methodological guidance (McLeod, 2011). As a methodology, IPA specifies:

  • (a) a guiding theoretical framework (phenomenology—which in this version is broadly concerned with understanding and interpreting how human beings experience and make sense of the world);
  • (b) research questions focused on personal experience and meaning-making in a particular context;
  • (c) the use of small, homogenous purposive samples; and
  • (d) the use of interviews to collect first-person accounts of personal experience (e.g. Smith et al., 2009; Smith & Osborn, 2007; Spiers & Riley, 2019). 

그러나 1990년대에 처음 소개되었을 때와 달리 IPA가 발전함에 따라 데이터 수집 방법에 대한 다양성이 증가하고 있습니다(예: 포커스 그룹 데이터를 분석하는 데 IPA를 사용하는 것에 대한 논의가 있었습니다; Palmer et al., 2010). 성찰적 TA에서와 마찬가지로 연구자의 주관성은 IPA의 기본 자원입니다. 실제로 IPA 연구는 근본적인 인간의 행위로 묘사되어 왔습니다:

  • '인간이 하는 일을 하는 것일 뿐입니다. 좀 더 세밀하게 하고, 좀 더 꾸준히 하고 있지만, 그럼에도 불구하고 연구 과정에서 일어나는 본질적으로 인간적인 과정입니다'(Smith, 2019, 171쪽).

There is, however, increasing variation around data collection methods as IPA has evolved from when it was first outlined in the 1990s (e.g. there has been some discussion of using IPA to analyse focus group data; Palmer et al., 2010). As in reflexive TA, researcher subjectivity is a fundamental resource for IPA. Indeed, IPA research has been described as a fundamentally human practice, it is:

  • ‘merely doing what human beings do. OK, it's doing it in more detail, it's doing it more steadfastly, but nonetheless, it's an essentially human process that is happening in the research's endeavour’ (Smith, 2019, p. 171).

방법/방법론의 문제 외에도, 성찰적 TA와 IPA 사이에는 두 가지 중요한 차이점이 있습니다.

  • 첫 번째는 IPA는 [사례(참여자) 전반에 걸쳐 주제를 식별하는 주제적 방향]과 [각 사례의 구체적이고 고유한 세부 사항에 관심을 갖고 집중하는 개별 사례적 접근]이라는 이중 분석적 초점을 통합한다는 점입니다.
  • 둘째, 이러한 개별 사례적 초점과 부분적으로 관련이 있는데, IPA 절차는 TA 절차와는 다소 다릅니다:
    • IPA는 사례 전반에 걸쳐across 주제를 개발하기 전에 각each 사례의 분석에 세부적으로 초점을 맞추는 것을 포함합니다(Braun & Clarke, 2013).
    • 이는 전체 데이터 세트의 코딩한 다음, 코드에서 사례 전반의across 테마를 개발하는 재귀적 TA의 테마 개발과는 상당히 다릅니다.
    • IPA는 데이터 세트 전체에 걸쳐 주제를 개발하기 위해 전반적인 주제 방향을 잡기 전에 각 데이터 항목에 대해 훨씬 더 깊이 또는 더 깊이 분석합니다. 각 인터뷰 기록은 순차적으로 전체 분석되며, 분석 노트는 기록 자체에 이상적으로 기록되어 각 참가자 이야기의 고유한 특징에 대한 상세하고 면밀한 참여를 유도합니다.

Beyond the method/ology question, there are two important differences between reflexive TA and IPA.

  • The first is that IPA incorporates a dual analytic focus: both a thematic orientation—the identification of themes across cases (participants)—and an idiographic approach—interest in and focus on the particular and unique details of each case.
  • Second, related in part to this idiographic focus, IPA procedures are rather different from TA procedures:
    • IPA involves a detailed focus on the analysis of each case, before developing themes across cases (Braun & Clarke, 2013).
    • This is quite different from theme development in reflexive TA, where themes are developed across cases from codes, following the coding of the entire data set.
    • IPA goes analytically much deeper or further with each data item, before taking an overall thematic orientation to develop themes across the data set. Each interview transcript is analysed in full, sequentially, and analytic notes are ideally recorded on the transcripts themselves, encouraging detailed and close engagement with the unique features of each participant's account.

IPA 프로세스는 데이터에 상세한 노트를 작성하는 '초기 노팅'로 시작됩니다. 이러한 주석은 TA에서와 같이 설명적(의미론적)이며 참가자의 명시적 의미에 가깝거나, 개념적(잠재적)이며 연구자의 관점에서 참가자의 세계관에 대한 해석을 반영할 수 있습니다. IPA에서 초기 노팅의 또 다른 측면은 언어 사용에 초점을 맞추는 것입니다: Smith 등(2009)은 은유뿐만 아니라 '대명사 사용, 멈춤, 웃음, 언어의 기능적 측면, 반복, 어조, 유창성 정도(명료하거나 머뭇거림)'(88쪽)에도 주의를 기울일 것을 권장했습니다. 은유에 초점을 맞추면 연구자가 더 많은 개념적 의미를 파악하는 데 도움이 될 수 있습니다. IPA에서 언어는 사람들이 생각하고 느끼는 것을 반영하고 전달하는 것으로 가정하는데, 이는 DA 및 기타 비판적 질적 접근법에서 언어가 이론화되는 방식과 크게 다릅니다(Willig, 2013 참조). 이러한 초기 노트는 연구자가 성찰적 TA의 첫 번째 단계에서 작성하는 익숙화 메모와 유사하지만, 일반적으로 더 형식화되고 체계적이며 상세합니다.
The IPA process begins with ‘initial noting’: writing detailed notes on the data. These comments can, like in TA, be descriptive (semantic) and stay close to the participants’ overt meanings, or conceptual (latent) and reflect an interpretation of the participant's worldview from the standpoint of the researcher. An additional aspect of initial noting in IPA is a focus on language use: Smith et al. (2009) encouraged attention to ‘pronoun use, pauses, laughter, functional aspects of language, repetition, tone, degree of fluency (articulate or hesitant)’ (p. 88) as well as metaphor. A focus on metaphor may help the researcher to grasp more conceptual meanings. In IPA, language is assumed to reflect and communicate what people think and feel, which differs profoundly from how language is theorised in DA and other critical qualitative approaches (see Willig, 2013). These initial notes are similar to the familiarisation notes the researcher makes in the first phase of reflexive TA, but they are generally more formalised, systematic and detailed.

다음 단계는 동일한(한 명의) 참가자를 대상으로 '출현(또는 귀납적) 주제'를 개발하는 것입니다(이는 반사적 TA의 코드와 다소 유사합니다. Braun & Clarke, 2013 참조). 떠오르는 주제들 간의 연관성을 찾는 과정을 통해 해당 참가자와 관련된 '상위 주제'를 개발하게 되는데, 이는 재귀적 TA의 주제와 다소 유사하지만, 떠오르는 주제와 연결된 공통된 의미를 가진 주제 요약에 더 가깝다고 할 수 있습니다.
The next step involves the development of ‘emergent (or inductive) themes’ for the same participant (these are somewhat akin to codes in reflexive TA, see Braun & Clarke, 2013). A process of searching for connections across emergent themes leads to the development of ‘super-ordinate themes’ related to that participant—these are somewhat akin to themes in reflexive TA, but can be more like topic summaries, with shared meaning connected to emergent themes.

이 과정은 각 인터뷰마다 반복됩니다. 마지막으로 연구자는 모든 참가자를 위한 상위 주제 목록을 개발합니다. 이러한 '마스터 테마'는 일반적으로 분석의 구조와 조직을 제공하며, 세부적으로 보고되는 것은 출현 주제입니다. 출현 주제와 상위 주제와 관련하여 IPA에서 주제가 개념화되는 방식은 (TA처럼) 지저분messy합니다.

  • 때때로 제시된 테마는 '주제 요약'과 유사하며, 이는 특히 상위 종속 테마에서 분명해 보입니다.
  • 다른 경우에는 테마가 중심 개념을 중심으로 구성된 의미 기반 패턴을 보고하는 것처럼 보이기도 합니다.

This process is then repeated for each interview. Finally, the researcher seeks to develop a list of super-ordinate themes for all of the participants. These ‘master themes’ typically provide structure and organisation for the analysis; what is reported in detail are the emergent themes. The way themes are conceptualised in IPA, both in relation to emergent and super-ordinate themes is—like with TA—messy.

  • Sometimes, themes presented are akin to ‘topic summaries’—this seems particularly evident for super-ordinate themes.
  • Other times, themes appear to report meaning-based patterns organised around a central concept.

영국의 심리학자 스미스를 비롯한 주요 저자들의 IPA에 대한 간략한 요약과 방법론적 설명은 '교과서' 버전의 IPA라고 할 수 있으며, 이들의 경험적 연구(예: Eatough & Smith, 2010; Rhodes et al., 2019; Smith & Osborne, 2007)를 통해 그 예시를 확인할 수 있습니다. 이는 더 넓은 연구 커뮤니티에서 IPA를 제정하는 방식과는 다소 다를 수 있습니다(TA와 마찬가지로; Braun & Clarke, 2020 참조). IPA는 아주 작은 표본을 대상으로 TA를 수행하는 방법으로 자주 사용되며, 참가자의 의미 결정에 대한 더 넓은 사회적 맥락을 거의 고려하지 않는 다소 '가벼운' 설명적 분석을 생성하는 데 사용되는 것 같습니다. 이러한 사용은 TA와 IPA의 잠재력을 모두 충족시키지 못합니다. 이러한 평가는 비단 우리만의 생각은 아닙니다. IPA 방법론가들은 IPA가 자주 사용되는 방식에 대해 비판적이었으며(예: Brocki & Wearden, 2006; Larkin 외, 2006; Smith, 2011), 특히 'Personhood의 구성적 근거'로서 사회 세계를 무시하는 것에 대해 비판적이었습니다(예: Chamberlain, 2011; Parker, 2005). IPA의 이러한 (잘못된) 사용이 의미하는 바는 IPA의 '산출'이 현상학적 TA의 산출과 거의 같을 수 있지만, 일반적으로 표본이 더 작다는 것입니다. 그러나 이러한 접근 방식은 달라야 합니다. 
Our brief summary of IPA, and methodological descriptions by key authors, including British psychologist Smith, could be called the ‘textbook’ version of IPA and is exemplified by their empirical work (e.g. Eatough & Smith, 2010; Rhodes et al., 2019; Smith & Osborne, 2007). This can be rather different from how IPA is enacted by the wider research community (much like with TA; see Braun & Clarke, 2020). It seems to us that IPA is quite often used as a method for doing TA on very small samples, and to produce rather ‘light’ descriptive analyses that show little regard for the wider social context of participants’ sense-making. Such use fails the potential of both TA and IPA. We are not alone in this assessment. IPA methodologists have been critical of the way IPA is often used (e.g. Brocki & Wearden, 2006; Larkin et al., 2006; Smith, 2011), and particularly the neglect of the social world as the ‘constituent ground of personhood’ (Larkin et al., 2011, p. 324), as have those less sympathetic to IPA (e.g. Chamberlain, 2011; Parker, 2005). What this (mis)use of IPA means is that the ‘output’ of an IPA can be little different from the output of a phenomenological TA, but usually with a smaller sample. But these approaches should be different.

Spiers와 Riley (2019)는 성찰적 TA와 IPA를 모두 사용하여 47 명의 GP와 인터뷰 한 데이터 세트에서 서로 다른 분석을 생성하는 것을 반영하는 데있어 이례적입니다. TA는 전체 데이터 세트를 분석하는 데 사용되었습니다(비판적 현실주의6 이론적 틀 내에서, IPA의 철학적 토대에 부합하고 귀납적 방향과 의미론적 의미에 초점을 맞추기 위해). IPA는 '인구통계적으로 동질적인'(278페이지) 10개의 인터뷰 하위 집합을 대상으로 실시되었습니다. 저자들은 TA는 폭이 넓고 IPA는 깊이가 있다고 제안했지만, IPA의 경우 표본이 작아 각 인터뷰에 더 깊이 참여할 수 있었고(분석에 시간을 할애하는 것은 우리가 강조하는 부분입니다, Braun & Clarke, 2021), 잠재적 의미에 초점을 맞추면 TA 분석이 'IPA처럼 보이는'(284쪽) 결과를 낳았을 것이라는 점을 인정했습니다. 그들은 데이터를 읽고 해석하는 방식에서 분석 방향을 전환하는 데 어려움을 겪었지만, IPA와 TA가 '방법으로서 잘 작동한다'고 결론지었습니다(287쪽).  
Spiers and Riley (2019) are unusual in providing a reflection of using both reflexive TA5 and IPA to produce different analyses from one data set of interviews with 47 GPs living with distress. TA was used to analyse the full data set (within a critical realist6 theoretical framework, to align with the philosophical underpinnings of IPA and with an inductive orientation and focus on semantic meaning). An IPA was conducted on a ‘demographically homogenous’ (p. 278) subset of 10 interviews. The authors suggested their TA produced breadth, while the IPA produced depth, but acknowledged that the smaller sample for the IPA allowed for more in-depth engagement with each interview (taking time over analysis is something we emphasise, Braun & Clarke, 2021), and that a focus on latent meaning would have resulted in a TA analysis ‘that looked more like IPA’ (p. 284). They noted difficulty in shifting analytic orientation in terms of how they were reading and interpreting the data, but concluded that IPA and TA ‘work well together as methods’ (p. 287).

연구자가 한 가지 접근법만 사용하고 광범위한 경험적 또는 현상학적 연구를 수행한다고 가정할 때, 언제 IPA 대신 반사적 TA를 사용하는 것이 합리적일까요? IPA의 요구사항이나 초점이 연구에 잘 맞지 않을 때는 IPA 대신 TA를 사용하는 것이 좋습니다. 예를 들어 TA를 사용하는 경우는
Assuming a researcher is just using one approach, and conducting a broadly experiential or phenomenological study, when might it make sense to use reflexive TA instead of IPA? We recommend TA instead of IPA when the requirements or focus of IPA are not well met by a study. For instance:

  • [연구 질문]이 (단지) 개인적인 경험과 감각이 아닌 다른 것에 초점을 맞추고 있는 경우.
  • [데이터 소스]는 인터뷰 또는 개인적인 경험과 감각에 대한 심층적인 1인칭 설명을 수집하는 방법 이외의 다른 것입니다.
  • [샘플]상대적으로 크거나(즉, N = 10보다 큼), (다양성을 포착하는 것이 목적일 때와 같이) 이질적인 경우입니다(Fassinger, 2005).
  • [분석의 초점]은 개별 사례의 고유한 특징보다는 데이터 세트 전반의 주제를 식별하는 데에만 맞춰져 있습니다.
  • 연구에 실무에 대한 명확한 시사점이 있는 '실행 가능한 결과'가 필요하기 때문에(Sandelowski & Leeman, 2012), 분석을 '주제별 진술'(공유된 의미 기반 주제)로 구성해야 합니다.
  • [분석적 관심]은 개인적 경험이 더 넓은 사회문화적 맥락에서 어떻게 위치하는지에 있습니다.
  • The research question is focused on something other than (just) personal experience and sense-making.
  • The data source is something other than interviews or another method that gathers in-depth first-person accounts of personal experience and sense-making.
  • The sample is relatively large (i.e. larger than N = 10) and/or heterogeneous—such as when the aim is to capture diversity (Fassinger, 2005).
  • The analytic focus is solely on identifying themes across the data set, rather than also on the unique features of individual cases.
  • The need for the research to have ‘actionable outcomes’ with clear implications for practice (Sandelowski & Leeman, 2012) requires organising the analysis into ‘thematic statements’ (shared meaning-based themes).
  • The analytic interest is on how personal experiences are located within wider socio-cultural contexts.

주제별 분석과 근거 이론의 차이점은 무엇인가요?
What are the differences between thematic analysis and grounded theory?

GT는 원래 1960년대에 미국의 사회학자 Glaser와 Strauss에 의해 개발되었는데, 이 시기는 질적 연구가 지금처럼 다양한 방법으로 확립된 개념이 아니었던 시기였습니다(Charmaz & Thornberg, 2020). GT 개념과 관행은 질적 탐구 전반에 걸쳐 많은 아이디어에 영향을 미쳤으며, 때로는 암묵적으로(때로는 포화 개념처럼 정당화할 만한 근거 없이) 영향을 미치기도 했습니다(Braun & Clarke, 2019b). Glaser와 Strauss(1965, 1967)는 사회학 이론을 경험적 증거에 근거한 연구 접근법을 확립하는 것을 목표로 삼았습니다(Charmaz & Thornberg, 2020). 초기의 근거 이론은 오늘날 질적 연구를 위한 대규모 표본과 데이터 수집 및 분석의 동시 프로세스를 포함하는 광범위한 범위였습니다.

  • 예를 들어, 최소 9가지 유형의 병동 또는 서비스에 대해 2~4주 동안 관찰하는 등 6개 병원에서 실시한 집중적인 현장 연구, Glaser와 Strauss(1967, 289쪽)의 '간호학생의 죽음과의 만남에 대한 광범위한 인터뷰 데이터' 또는 Charmaz(1983)의 73개 인터뷰 등이 있습니다.

GT was originally developed by US sociologists Glaser and Strauss in the 1960s—at a time when qualitative research was not the established concept with a vast range of methods it has become (Charmaz & Thornberg, 2020). GT concepts and practices have gone on to influence many ideas across qualitative inquiry, often implicitly (and sometimes without good justification—such as in the pervasive concept of saturation; Braun & Clarke, 2019b). Glaser and Strauss (1965, 1967) aimed to establish an approach to research that grounded sociological theories in empirical evidence (Charmaz & Thornberg, 2020). Early grounded theories were broad in scope, involving what would now be regarded as large samples for qualitative research, and concurrent processes of data collection and analysis.

  • For instance, intensive fieldwork at six hospitals, including observations lasting two to four weeks on at least nine different types of wards or services, and ‘extensive interview data on nursing students’ encounters with death’ in Glaser and Strauss (1967, p. 289) or 73 interviews in Charmaz (1983).

초기 GT의 절차와 가정은 실증주의에 대한 글레이저의 헌신과 인간의 행동과 상호작용을 통한 의미와 사회 질서의 창조에 관한 사회학 이론인 상징적 상호작용주의에 대한 스트라우스의 관심을 모두 반영한 것으로 보입니다(Charmaz, 2014). 글레이저와 스트라우스는 지적으로 분열되어 각자의 GT 버전을 개발했습니다(예: 글레이저, 1992; 스트라우스 & 코빈, 1990). 그들의 박사 과정 학생들 중 일부, 특히 Charmaz(2014)도 자신만의 GT 버전을 개발했습니다. 심리치료 과정 연구를 포함한 특정 분야에서 사용하기 위해 개발된 변형도 있습니다(Rennie, 2006). 이처럼 다양한 버전의 GT가 존재하기 때문에 성찰적 TA와 GT의 차이점을 파악하는 것은 매우 복잡합니다.7  
The procedures and assumptions of early GT arguably reflected both Glaser's commitment to positivism and Strauss’ interests in symbolic interactionism, a sociological theory concerned with the creation of meaning and social order through human actions and interactions (Charmaz, 2014). Glaser and Strauss split intellectually and developed their own versions of GT (e.g. Glaser, 1992; Strauss & Corbin, 1990). Some of their PhD students, most notably Charmaz (2014), have also developed their own versions of GT. There are also variants developed for use within specific fields including psychotherapy process research (Rennie, 2006). Identifying the differences between reflexive TA and GT, then, is complex, because there are so many different versions of GT.7

많은 근거 이론가들은 GT가 사회적 과정과 같은 특정 유형의 연구 질문과 특정 현상에 영향을 미치고, 뒷받침하고, 형성하는 요인에 초점을 맞춰야 한다고 주장합니다(Charmaz, 2014). 그러나 연구자들은 훨씬 더 다양한 연구 질문을 다루기 위해 GT를 사용하는 경향이 있으며, 상담 및 심리치료 연구에서는 종종 실제 경험에 초점을 맞춘 질문이 이에 해당합니다(예: Lillie, 2006). 인터뷰는 데이터 수집의 일반적인 방법이지만 민족지학적 현장 작업/관찰 방법, 2차 자료(예: 정부 문서, 미디어 자료), 질적 조사, 일기, 사진 및 비디오 등 다양한 데이터 수집 기법을 사용할 수 있습니다(Charmaz, 2014 참조). 
Many grounded theorists argue that GT should be focused on particular types of research questions—such as social processes, and the factors that influence, underpin and shape particular phenomena (Charmaz, 2014). However, researchers tend to use GT to address a much wider variety of research questions—in counselling and psychotherapy research this is often questions focused on lived experience (e.g. Lillie, 2006). Interviewing has been the typical method of data collection, but a wider range of data collection techniques is possible, such as ethnographic field work/observational methods, secondary sources (e.g. Government documents, media items), qualitative surveys, solicited diaries, photographs and videos (see Charmaz, 2014).

Glaser(1992)의 실증주의적 반복에서 Charmaz(2014)의 구성주의적 재작업에 이르기까지 다양한 GT 버전은 서로 다른 이론적 토대를 가지고 있으며 분석 절차에서도 대부분 사소한 차이가 있습니다. 이러한 버전에 걸쳐 GT 분석 프로세스는 다양한 단계 또는 '수준'의 코딩을 포함합니다(Birks & Mills, 2015).

  • 일반적으로 초기 또는 '개방형'(줄 단위) 코딩에서
  • 보다 '선택적', '통합적' 또는 '집중형'(더 광범위하고, 더 높은 수준, 더 추상적이고, 해석적이거나 개념 지향적인) 코딩으로 이동한다.

Ranging from Glaser’s (1992) positivist iteration to Charmaz’s (2014) constructivist re-working, the various versions of GT have different theoretical underpinnings; there are also mostly minor divergences in analytic procedures. Across these versions, the GT analytic process generally involves different stages or ‘levels’ of coding—

  • moving from initial or ‘open’ (line-by-line) coding
  • to more ‘selective’, ‘integrative’ or ‘focused’ (broader, higher level, more abstract, interpretive or conceptually oriented) coding (Birks & Mills, 2015).

근거 이론가들은 코드, 개념, 범주를 구분하는데(이 용어들은 종종 혼용되어 사용되기도 함), '범주'는 성찰적 TA의 '주제'에 느슨하게 매핑됩니다. 일반적으로 GT의 결과물은 핵심 개념/카테고리 또는 때때로 계층적으로 관련된 개념/카테고리의 클러스터입니다. 코딩의 후반 단계, 특히 카테고리 개발을 목표로 하는 코딩은 재귀적 TA의 주제 개발 프로세스에 광범위하게 매핑됩니다. 그러나 GT는 TA처럼 두 가지 '수준'의 분석(코드/테마) 사이에 명확한 전환이 없는 것으로 보이는데, 이와 달리 성찰적 TA에서는 코드에서 테마가 개발되는 것이 명확하다. 
Grounded theorists distinguish between codes, concepts and categories (these terms are also often conflated in use)—categories loosely map onto themes in reflexive TA. Generally, the output of a GT is a core concept/category and/or cluster of sometimes hierarchically related concepts/categories. The later stages of coding, and particularly coding aimed at category development, broadly map onto theme development processes in reflexive TA. However, GT does not seem to have such a clear sense of transition between two ‘levels’ of analysis (codes/themes) as TA has—something particularly evident in reflexive TA where themes are developed from codes.

[라인별 코딩] 및 [지속적인 비교 분석]과 같은 근거 이론가들이 개발한 코딩 전략은 종종 TA에 기인하는 경우가 많으며, GT는 영향력이 있습니다(Charmaz & Thornberg, 2020). 우리는 때때로 성찰적 TA 내에서 이러한 전략의 옹호자로 묘사되지만, 우리는 그렇지 않습니다(Braun & Clarke, 2020). 이와는 대조적으로 Charmaz(2014)는 줄 단위 코딩을 사용하는 것이 GT를 '일반적인 주제 분석'과 구별하는 요소라고 지적했습니다(125쪽). 라인별 코딩은 세분화된 코딩부터 데이터의 모든 라인에 대한 코드 생성까지 다양한 의미를 가지며(Charmaz, 2014), 데이터를 청크로 분할하거나 구문 분석하기 전에 선행될 수 있습니다(Pidgeon & Henwood, 1996). 
GT is influential, with coding strategies developed by grounded theorists—such as line-by-line coding and constant comparative analysis—often attributed to TA (Charmaz & Thornberg, 2020). We are sometimes described as advocates of these strategies within reflexive TA, which we are not (Braun & Clarke, 2020). Charmaz (2014), in contrast, noted that the use of line-by-line coding is precisely what distinguishes GT from a ‘general thematic analysis’ (p. 125). Line-by-line coding has different meanings—from fine-grained coding to generating a code for every line of data (Charmaz, 2014)—and can be preceded by segmenting or parsing the data into chunks (Pidgeon & Henwood, 1996).

어떤 의미가 적용되든, 반사적 TA에서는 코딩이 다르게 접근됩니다. 

  • 분석을 위해 데이터를 세분화할 필요가 없고,
  • 모든 데이터(라인)에 코드를 적용할 필요는 없으며,
  • 연구의 목표와 목적에 따라 필요한 만큼 세밀하게 또는 거칠게 코딩할 수 있습니다.

'지속적인 비교 분석'은 데이터를 이해하고 효과적으로 코딩하고 분석하기 위해 [데이터 비트와 다른 데이터 비트, 코드와 코드, 범주와 범주]를 비교하는 전략을 효과적으로 일컫는 복잡한 이름입니다(Birks & Mills, 2015). 넓은 의미에서 모든 형태의 질적 데이터 분석은 예를 들어 데이터의 특정 부분이 이 코드 또는 저 코드로 가장 잘 코딩되는지, 또는 이 프로세스 또는 저 프로세스의 증거인지 등을 고려하는 것을 포함한다. 그렇기에 일반적으로 좋은 질적 분석에서는 지속적인 비교 분석으로 캡슐화된 '아이디어'가 핵심입니다. 그러나 명명되고 체계화된 기법으로서 지속적인 비교 분석은 특히 GT와 관련이 있습니다.
Whichever meaning applies, coding is approached differently in reflexive TA:

  • data do not need to be segmented for analysis,
  • not all data (lines) need to have codes applied, and
  • coding can be as fine grained or as coarse as is required to address the aims and purpose of the research.

‘Constant comparative analysis’ is a complex name for what is effectively a strategy of comparing bits of data with other bits of data, codes with codes and categories with categories, in order to make sense of the data, and code and analyse it effectively (Birks & Mills, 2015). In the broadest sense, all forms of qualitative data analysis involve consideration of whether a specific segment of data is, for example, best coded with this code or that code, or evidence of this or that process, and so on—making the ‘idea’ encapsulated by constant comparative analysis core in good qualitative practice generally. But as a named and systematised technique, constant comparative analysis is specifically associated with GT.

완전히 실현된 GT는 종종 GT 전체를 포괄하고 설명하는 핵심 범주와 핵심 범주와 관련된 다양한 하위 범주를 개발하는 데 중점을 둡니다(Birks & Mills, 2015). GT는 현재 'GT-lite'라는 축약된 형태로 자주 사용됩니다(Braun & Clarke, 2006, 2013).

  • 코딩 및 범주화, 메모 작성, 지속적인 비교 분석과 같은 GT의 필수 절차가 많이 사용되지만, 샘플은 종종 GT와 관련된 '최대 변동' 샘플보다는 더 작고 상대적으로 균질한 경향이 있습니다(Fassinger, 2005).
  • GT 라이트 버전에서는 데이터 수집과 분석이 반드시 동시에 이루어지는 것은 아닙니다.
    • Charmaz와 Thornberg(2020)는 최근 데이터 수집과 분석의 동시 진행이 GT의 특징이라고 강조했습니다(즉 '이론적 샘플링'의 활용을 통해 분석과 함께 샘플이 개발되는 것. 이 때 개발 중인 분석이 지속적인 참여자 선정에 정보를 제공하는 것).
  • GT의 샘플링 및 분석 개발과 관련된 핵심 개념인 포화(이론적 샘플링/데이터 수집이 중단되는 시점으로 광범위하게 정의됨)는 데이터 수집이 '새로운 인사이트를 생성하지 않는' 시점으로 축소되는 경우가 많습니다(Braun & Clarke, 2019b). '포화도'는 (세부적인 동시 데이터 분석보다는) 데이터 수집 중 연구자의 데이터에 대한 느낌에 따라 결정되는 경우가 많습니다.
    • 반면 초기 GT이론적 포화는 범주의 속성과 범주 간의 관계가 충분히 설명되어 근거 이론이 나올 수 있는 시점을 나타냅니다(Morse, 2015).
  • 마지막으로, 축약된 GT분석 결과범주 또는 테마의 집합과 이러한 범주 간의 관계에 대한 이해(때로는 모델 형태로 표현됨)입니다.

A fully realised GT often centres on the development of a core category that encompasses and explains the GT as a whole, alongside various subsidiary categories related to the core category (Birks & Mills, 2015). GT is now very often used in an abbreviated form we have sometimes referred to as ‘GT-lite’ (Braun & Clarke, 2006, 2013).

  • Although many of the essential procedures of GT, such coding and categorising, memo writing and constant comparative analysis, are used, samples tend to be smaller and relatively homogenous, rather than the ‘maximum variation’ samples often associated with GT (Fassinger, 2005).
  • In GT-lite versions, data collection and analysis is not necessarily concurrent.
    • Charmaz and Thornberg (2020) recently emphasised that concurrent data collection and analysis—samples developed in concert with analysis through the use of ‘theoretical sampling’, where the developing analysis informs the ongoing selection of participantsis a defining feature of GT.
  • Saturation, a key notion around sampling and analytic development for GT (broadly defined as the point at which theoretical sampling/data collection ceases), is often watered down to the point at which data collection is generating ‘no new insights’ (Braun & Clarke, 2019b). ‘Saturation’ is often determined by the researcher's impression of the data during data collection, rather than on detailed concurrent data analysis.
    • In contrast, theoretical saturation in early GT represented the point at which the properties of categories and the relationships between categories were fully explained so that a grounded theory could arise (Morse, 2015).
  • Finally, the analytic output from an abbreviated GT is a set of categories or themes and an understanding of the relationship between these categories (sometimes represented in the form of a model).

이렇듯, 축약된 GT를 사용하면 TA와 사실상 구분할 수 없는 분석 결과를 도출하는 경우가 많습니다. 
This abbreviated use of GT often produces an analysis that is, effectively, indistinguishable from that of TA.

유사한 분석의 가능성을 고려할 때, 언제 GT 대신 성찰적 TA를 사용해야 할까요? 이러한 답변은 'GT'를 단순히 주제를 식별하는 기법으로 개념화하는 것은 GT에 해를 끼칠 뿐만 아니라, 더 적합한 방법을 활용하지 못하는 것이다는 우리의 입장을 반영한 것입니다. 따라서 다음 중 하나 이상에 해당하는 경우 성찰적 TA를 사용하는 것이 좋습니다:
Given the potential for similar analysis, when might you use reflexive TA rather than GT? Our response reflects our position that conceptualising ‘GT’ simply as techniques for identifying themes both does disservice to GT, and fails to utilise a better-suited method. So, our advice is to use reflexive TA when one or more of the following apply:

  • 연구자가 질적 연구 여정을 시작할 때. TA는 GT보다 더 간단하고 절차가 적고 덜 복잡하며 명확한 경로가 있습니다.
  • [연구 질문]이 GT에 특별히 적합한 질문이 아닌 경우(가장 바람직한definitive GT 연구 질문은 사회적 프로세스에 중점을 둡니다).
  • [목표]는 데이터에서 패턴을 식별하고, 그 패턴을 설명 및 해석하거나, 이론적으로 근거가 있는 해석을 제공하는 것입니다.
  • 연구자는 데이터 세트와 분석을 통해 근거 이론을 개발하려는 [의도]가 없습니다.
  • 데이터는 분석 개발과 무관하게 수집됩니다(즉, 이론적으로 표본을 추출하려는 의도가 없음).
  • 질적 연구에서 흔히 볼 수 있는 '편의' 표본의 경우처럼 표본이 상대적으로 작거나 균질합니다(Braun & Clarke, 2013).
  • 특정하고 촉박한 마감일에 의해 시간이 제한됩니다. 반사적 TA는 빠르지는 않지만 '전체' GT 프로젝트보다는 빠를 수 있습니다.
  • When a researcher is beginning their qualitative research journey. TA is more straightforward than GT, the procedures are fewer and less complex, and there is a clearer pathway through them.
  • The research questions are not those particularly suited to GT (the definitive GT research question centres on social processes).
  • The goal is to identify patterns in data, to describe and interpret those patterns, and/or to provide a theoretically informed interpretation of them.
  • The researcher does not intend to develop a grounded theory from the data set and analysis.
  • Data are collected independent from the analytic development (i.e. there is no intention to sample theoretically).
  • The sample is relatively small and/or homogenous—as is often the case with samples of ‘convenience’ that are common in qualitative research (Braun & Clarke, 2013).
  • Time is limited by a particular and tight deadline. Reflexive TA, while not quick, can be faster than a ‘full’ GT project.

 

주제 분석과 (패턴 기반) 담화 분석의 차이점은 무엇인가요?
What are the differences between thematic analysis and (pattern-based) discourse analysis?

DA는 오랫동안 비판적 질적 연구를 정의하는 (유일한) 접근 방식이었습니다. 모든 형태의 DA는 언어를 단순히 참가자의 생각과 감정을 투명하게 반영하는 것이 아니라, (언어가) 활동적이고 수행적이며, 일을 하고, 현실을 이끌어내는 사회적 실천으로 보는 관점에 기반을 두고 있습니다. 따라서 DA는 언어 연습에 초점을 맞추는 것으로 이해할 수 있습니다(Braun & Clarke, 2013). 그러나 GT와 마찬가지로 DA에 대한 구체적인 접근 방식은 사회과학과 보건과학 내에서도 매우 다양합니다. 담화 심리학(Wiggins, 2016), 대화 분석에 기반한 접근법(Madill et al., 2001) 등 일부는 언어 사용의 미시적 세부 사항에 더 초점을 맞춥니다. 해석적 레퍼토리 분석(Wetherell & Potter, 1992)이나 포스트구조주의적 DA(Gavey, 1989)와 같은 다른 접근 방식은 보다 광범위한 담화 패턴이나 주제에 대해 이야기하는 방식에 더 중점을 둡니다. 더 많은 변형이 있습니다.
DA has long been the defining approach of critical qualitative research. All forms of DA are underpinned by a view of language as a social practice, something active and performative, doing things, and bringing forth realities, rather than merely transparently reflecting participants’ thoughts and feelings. Thus, DA can be understood as focusing on language practice (Braun & Clarke, 2013). But, as with GT, specific approaches to DA vary widely, even just within the social and health sciences. Some—such as discursive psychology (Wiggins, 2016), an approach informed by conversation analysis (Madill et al., 2001)—are more focused on the micro details of language practice. Others—such as interpretative repertoire analysis (Wetherell & Potter, 1992) and poststructuralist DA (Gavey, 1989)—focus more on broader discursive patterns or ways of talking about a topic. There are many more variations.

성찰적 TA는 일부 담화 분석 접근 방식이 제공하는 언어 사용의 세부적이고 세분화된 분석을 위한 도구를 제공하지 않습니다. 그러나 어떤 종류의 비판적 질적 이론적 틀(예: 구성주의[Gergen, 2015], 포스트구조주의[Gavey, 1989]) 내에서 구현될 때, 패턴 기반 담화 접근법(Braun & Clarke, 2013)과 유사한 것을 제공할 수 있습니다. 여기에는 앞서 언급한 해석적 레퍼토리 분석, 특히 포스트구조주의적 DA가 포함됩니다. 이러한 패턴 기반 DA는 언어 사용의 미시적인 세부 사항보다는 데이터에서 '담화' 또는 '해석적 레퍼토리'라고 불리는 보다 거시적인 의미 패턴에 분석의 초점을 맞추기 때문에 '패턴 기반 DA'라고 불렀습니다.

  • 예를 들어, 기독교 치료사와 함께 일하기로 선택한 기독교 상담 내담자와의 인터뷰에 대한 해석적 레퍼토리 분석에서 Greenidge와 Baker(2012)는 각각 두 가지 해석적 레퍼토리로 구성된 '내담자 담화'와 '기독교 담화'를 개발했습니다. 저자들은 이러한 레퍼토리(예: '상담은 비즈니스 거래', '상담사는 도움을 주도록 훈련받은 전문가')가 상담, 치료사, 치료 관계를 어떻게 구성하고 내담자를 어떻게 포지셔닝하는지를 탐구했습니다.

구성주의 또는 포스트구조주의에 기반한 동일한 데이터에 대한 성찰적 TA도 매우 유사한 분석을 도출할 수 있을 것으로 예상됩니다.
Reflexive TA does not provide tools for a detailed and fine-grained analysis of language practice that some discourse analytic approaches offer. But, when implemented within a critical qualitative theoretical framework of some kind (e.g. constructionism [Gergen, 2015], poststructuralism [Gavey, 1989]), it can offer something akin to what we have elsewhere described as pattern-based discursive approaches (Braun & Clarke, 2013). These include the aforementioned interpretative repertoire analysis and, particularly, poststructuralist DA. We dubbed these pattern-based DA because their overriding analytic focus is on more macro patterns of meaning—whether called ‘discourses’ or ‘interpretative repertoires’—in data, rather than on the more micro details of language practice.

  • For example, in an interpretative repertoire analysis of interviews with Christian counselling clients who chose to work with a Christian therapist, Greenidge and Baker (2012) developed a ‘client discourse’ and a ‘Christian discourse’, each constituted by two interpretative repertoires. The authors explored how these repertoires (e.g. ‘counselling is a business deal’ and ‘counsellors are professionals trained to help’) constructed counselling, therapists and the therapeutic relationships and positioned the clients.

We imagine that a reflexive TA of the same data, informed by constructionism or poststructuralism, could produce a very similar analysis.

패턴 기반 DA와 성찰적 TA의 이러한 유사성 외에도, 테리(2016)는 성찰적 TA의 이론적 유연성이 '[...] 다원적 분석 접근 방식에 이상적으로 적합하다'(104쪽)고 주장했습니다. 그는 담론적 접근 방식과 함께 TA를 사용하는 데 많은 가치를 인식했으며, 이러한 반사적 TA의 특정 표현을 '비판적 TA'라고 설명했습니다.
Beyond this similarity between pattern-based DA and reflexive TA, Terry (2016) argued the theoretical flexibility of reflexive TA ‘makes it ideally suited to […] a pluralistic analytic approach’ (p. 104). He perceived much value in using TA in combination with discursive approaches, describing this particular rendition of reflexive TA as ‘critical TA’.

주제적 분해와 주제적 DA를 포함하여 TA와 DA의 요소를 결합담론적 접근법도 확립되어 있습니다. 주제별 분해는 이 두 가지 접근법 중 더 널리 사용되는 접근법이며 영국의 비판 심리학자 Stenner(1993)와 가장 밀접한 관련이 있습니다. 이 접근 방식은 언어 및 기타 의미화 관행을 통해 의미가 사회적으로 구성되는 것으로 개념화되는 담론적 프레임워크 안에 위치합니다. 주제적 분해에는 TA에 대한 코드북 접근 방식과 유사하게 코딩과 주제 식별이 포함되며, 포스트구조주의 프레임워크 내에서 주제가 개발됩니다(Stenner 외., 2010). 포스트구조주의 담론적 접근법은 종종 [인격personhood의 담론적 생산]과 [담론이 특정 주체의 위치, 즉 '말하고 행동할 수 있는 담론적 위치'를 제공하는 방식]에 관심을 갖습니다(Willig, 2013, 132쪽). 주제 분해에 대한 포스트구조주의의 영향은 주제가 주관적 의미(예: Stenner 외, 2010), 주관성(예: Gurevich 외, 2007) 또는 주체 위치(예: Ussher 외, 2014)와 관련된다는 개념에서 분명하게 드러납니다.
There are also established discursive approaches that combine elements of TA and DA within their method, including thematic decomposition (Stenner, 1993; Stenner et al., 2010) and thematic DA (Singer & Hunter, 1999; Taylor & Ussher, 2001). Thematic decomposition is the more widely used of these two approaches and is most strongly associated with British critical psychologist Stenner (1993). The approach is situated within a discursive framework in which meanings are conceptualised as socially constituted through linguistic and other signifying practices. Thematic decomposition involves coding and the identification of themes, similar to codebook approaches to TA, with themes developed within a poststructuralist framework (Stenner et al., 2010). Poststructuralist discursive approaches are often concerned with the discursive production of personhood and the ways in which discourses make available particular subject positions, or ‘discursive locations from which to speak and act’ (Willig, 2013, p. 132). The influence of poststructuralism on thematic decomposition is apparent in the notion that themes relate to subjective meanings (e.g. Stenner et al., 2010), subjectivities (e.g. Gurevich et al., 2007) or subject positions (e.g. Ussher et al., 2014).

패턴 기반 DA를 활용하지 않고, 구성주의 또는 포스트구조주의 이론적 틀 내에서 성찰적 TA를 사용하거나, DA의 요소와 TA를 결합하는 경우는 언제, 왜인가요? 이러한 방법들이 제공할 수 있는 부분이 상당히 중복된다는 점을 고려할 때, 여기서는 주로 실용적인 이유를 반영하여 답변합니다. 트위터는 다음 중 하나 이상이 해당될 때 중요한 형태의 재귀적 TA가 더 유용하다고 생각합니다:
When and why would you use reflexive TA within a constructionist or poststructuralist theoretical framework, or combine TA with elements from DA, rather than utilise pattern-based DA? Given that there is considerable overlap in what these methods can provide, our response here reflects mainly pragmatic reasons. We feel that critical forms of reflexive TA are more useful when one or more of the following apply:

  • 연구자가 질적 연구를 처음 접하는 경우. 성찰적 TA는 실용적인 지침을 많이 제공하는 반면(예: Braun & Clarke, 2006, 2013; Braun et al., 2014, 2019), DA의 절차는 덜 구체적이고 지침보다는 개념, 아이디어 및 관행에 기반하는 경우가 많습니다. 지침이 제공되더라도(예: Willig, 2013), 이론적 및 방법론적 근거가 충분하지 않으면 여전히 다소 불투명하고 이해하기 어렵고 적용하기 어려울 수 있습니다. 이는 연구 과정에 불안을 가중시킬 수 있습니다. 
    When a researcher is fairly new to qualitative research. Reflexive TA offers much in the way of practical guidance (e.g. Braun & Clarke, 2006, 2013; Braun et al., 2014, 2019), whereas the procedures for DA are less concrete and often based in concepts, ideas and practices, rather than guidelines. When guidance is provided (e.g. by Willig, 2013), it can be still somewhat opaque and hard to grasp and apply without a good theoretical and methodological grounding. This can add anxiety to the process.
  • 연구자가 분석에서 완전한 담론 지향에 전념하고 있는지 확신하지 못하는 경우. 
    When a researcher is not certain they are committed to a full discourse orientation in their analysis.
  • 연구 질문과 관심사가 전적으로 또는 주로 언어의 효과(예: 피험자 위치)에만 맞춰져 있지 않은 경우. 
    The research questions and interests are not solely or primarily oriented to the effects of language (such as subject positions).

2 요약
2 SUMMARY

이 백서는 상담 및 심리치료 연구자들이 여러 사례 분석 접근법 중 어떤 것이 자신의 연구에 적합한지 결정하는 데 도움을 주기 위한 도구로 고안되었습니다. TA 방법군을 소개하고, 성찰적 TA를 다른 네 가지 영향력 있는 질적 분석 방법 및 방법론(QCA, IPA, GT, DA)과 비교 및 대조했습니다. TA와 각 방법/론 사이의 철학적, 절차적 차이점과 유사점을 간략히 설명하고, 연구자가 다른 접근법보다 성찰적 TA를 선택할 수 있는 경우와 추론에 따라 다른 접근법을 사용하는 것이 더 나은 경우에 대한 평가를 제공했습니다. 우리는 이러한 [패턴 기반 접근법의 매핑과 비교 및 대조]를 중립적이라고 주장하지 않습니다(또는 완전하다고 주장하지도 않습니다8). TA 저자로서 우리는 중립적인 평가자가 아니며, 이 매핑은 심리학에 대한 우리의 훈련과 연구 가치를 반영하고 있습니다(예: Braun & Clarke, 2019a). 저희는 질적 연구, 특히 TA에서 무엇이 좋은 관행이고 나쁜 관행인지에 대한 명확한 생각을 가지고 있습니다(Braun & Clarke, 2013, 2020). 상담 및 심리치료 연구에서의 사례 간 접근에 대한 다른 설명(예: McLeod, 2011; Yeh & Inman, 2007)은 그 지형을 다소 다르게 매핑합니다. McLeod(2011)는 TA와 IPA를 GT의 변형으로 설명한 반면, 우리는 이러한 접근법이 GT보다 오래전부터 내려온 전통(각각 내용 분석과 현상학)에서 비롯된 것으로 보고 있습니다. 질적 분석을 수행할 때와 마찬가지로, 우리의 주관성은 질적 연구를 개념화하고 매핑하는 과정에 영향을 미칩니다. 
This paper is designed as a tool to help counselling and psychotherapy researchers decide which of several across-case analytic approaches suits their research. We introduced the TA family of methods, and compared and contrasted reflexive TA with four other influential qualitative analytic methods and methodologies: QCA; IPA; GT; and DA. We briefly outlined some of the philosophical and procedural differences and similarities between TA and each method/ology, and we offered our assessment of when a researcher might choose reflexive TA over the other approach—and, by inference, when the other approach might better be used. We do not claim this mapping of pattern-based approaches and compare and contrast exercise as neutral (nor as exhaustive8). As TA authors, we are not neutral evaluators; the mapping no doubt reflects our training in psychology and our research values (e.g. Braun & Clarke, 2019a). We have clear ideas about what constitutes good and bad practice in qualitative research, and specifically in TA (Braun & Clarke, 2013, 2020). Other accounts of across-case approaches in counselling and psychotherapy research (e.g. McLeod, 2011; Yeh & Inman, 2007) map the terrain rather differently. McLeod (2011) described TA and IPA as variants of GT, whereas we view these approaches as originating in traditions (content analysis and phenomenology, respectively) that long pre-dated GT. As in the doing of qualitative analysis, our subjectivity informs the process of conceptualising and mapping qualitative research.

여기서 우리가 시도한 것은 [사례 전반의 질적 분석을 위한 완벽한 분석 방법/논리가 항상 존재한다는 생각에 문제를 제기하는 것]입니다. 우리는 종종 두 가지 이상의 접근법이 유사한 결과를 제공하거나 연구자가 연구 질문을 해결할 수 있다는 것을 보여 주었으면 합니다. 이러한 접근법을 비교하고 '언제 TA를 해야 하는가'라는 질문을 다루면서, 우리는 무분별한 TA의 광범위한 수용이 아니라, '신성한 방법'에 대한 탐구를 피하고, 대신 분석 접근법을 선택하고 사용할 때 사려 깊고 신중한 연습을 포함하는 방법에 대한 사고 접근법을 장려하고자 합니다.
What we have attempted here is to problematise the idea that there is—always—one perfect analytic method/ology for across-case qualitative analysis. We hope we have shown that often more than one approach would deliver similar results, or allow a researcher to address their research question. In comparing these approaches, and addressing ‘when TA’ questions, we aim to encourage not widespread thoughtless uptake of TA, but an approach to thinking about method that avoids the ‘hallowed method’ quest, and instead involves thoughtful and deliberative practice in choosing and using analytic approaches.

ENDNOTES

  • 1 언어와 담론이 현실을 구성하고 사회의 생산적인 힘으로서 권력의 작동에 필수적이며 의미와 주관성을 생산한다고 보는 포스트구조주의 이론의 영향을 받은 담화 분석의 한 유형입니다. 포스트구조주의 DA는 권력과 지배적인 지식에 이의를 제기하고 도전하는 데 강한 관심을 갖는 경향이 있습니다. 또한 자아와 주관성을 단일하거나 일관된 것이 아니라 파편화되고 모순적이며 담론을 통해 생산되는 것으로 이해합니다(포스트구조주의 이론과 DA에 대한 접근 가능한 개요는 Gavey, 1989 참조). 
    1
    A type of discourse analysis informed by poststructuralist theory—which views language and discourse as constitutive of reality and integral to the operation of power as a productive force in society, producing meaning and subjectivity. Poststructuralist DA tends to have a strong interest in power, and in contesting and challenging dominant—powerful—knowledge. It also understands the self and subjectivity as not unitary or coherent, but fragmented and contradictory, and produced through discourse (see Gavey, 1989, for an accessible overview of poststructuralist theory and DA). 
  • 2 포스트 실증주의는 연구 결과에 대한 연구자의 영향력을 인정하지만, 객관적 지식은 여전히 이상적이라는 실증주의의 개선된 개념입니다. '(포스트)실증주의'라는 용어는 이 두 가지 밀접하게 관련된 가치의 경계가 모호해지는 것을 포착합니다. 
    2
    Post-positivism is a refinement of positivism—the influence of the researcher on research outcomes is recognised but objective knowledge remains the ideal. The term ‘(post)positivism’ captures the blurring of these two closely related sets of values. 
  • 3 구성주의(때로는 사회적 구성주의)는 단일한 현실과 진리라는 개념을 거부하고, 현실과 진리를 언어, 표상 및 기타 사회적 과정을 통해 생산(구성)되는 것으로 보는 이론적 전통입니다.
    • [세계를 이해하는 용어]는 [특정한 사회 정치적, 문화적, 역사적 맥락과 관련된 것]으로 간주되며,
    • [의미]는 현실의 본질에 대한 내재적 진리가 아니라, [사회적 상호 작용의 결과인 사회적 인공물]로 간주됩니다(Gergen, 2015 참조).
  • 3 Constructionism (sometimes social constructionism) is a theoretical tradition that views reality and truth—or realities and truths as it rejects the idea of a singular reality and truth—as produced (constructed) through language, representation and other social processes.
    • The terms in which the world is understood are seen as related to specific socio-political, cultural and historical contexts, and
    • meanings are seen as social artefacts, resulting from social interaction, rather than some inherent truth about the nature of reality (see Gergen, 2015). 
  • 4 TA도 마찬가지로 정량적 내용 분석에서 발전한 것으로 여겨집니다(Joffe, 2012). 
    4
    TA is similarly thought to have evolved from quantitative content analysis (Joffe, 2012). 
  • 5 이들의 성찰적 TA의 사용과 설명은 우리가 설명한 방식과 다르며, 언어(예: 긴급 코드 및 주제), 주제 개념화(주제 요약) 및 분석 과정 설명('하위 코드'와 코드북 사용, 성적표별 분석 성적표)은 부분적으로 IPA의 영향을 반영합니다. 
    5
    Their use and description of reflexive TA is not quite how we have described it, and the language (e.g. emergent codes and themes), conceptualisation of themes (topic summaries) and analytic process described (use of ‘subcodes’ and a codebook, analysis transcript by transcript) partly reflect an IPA influence. 
  • 비판적 리얼리즘은 질적 연구를 뒷받침하는 리얼리즘의 한 형태입니다. 연구를 통해 직접 관찰하거나 발견할 수 있는 단일한 현실을 가정하는 '단순' 또는 '순진한' 리얼리즘과 달리 비판적 리얼리즘은 우리가 현실을 경험하는 방식이 문화, 언어, 정치적 이해관계에 의해 형성된다는 가정을 전제로 합니다(Maxwell, 2012 참조). 
    6
    Critical realism is a form of realism that frequently underpins qualitative research. Unlike ‘simple’ or ‘naïve’ realism, which assumes a singular reality that can be directly observed or discovered through research, critical realism is premised on the assumption that how we experience reality is shaped by culture, language and political interests (see Maxwell, 2012). 
  • 7 버크스와 밀스(2015)는 GT에 대해 읽을 수 있는 접근 가능한 출발점이라고 할 수 있습니다. 
    7
    We find Birks and Mills (2015) an accessible starting point for reading about GT. 
  • 8 합의적 질적 연구(CQR; Hill et al., 1997)와 같은 다른 패턴 기반 방법론도 있는데, 여기에는 우리가 여기서 설명한 다양한 접근법의 요소가 있습니다(예: CQR의 경우, 코딩 신뢰도 TA와 구성주의적 GT); 그러나 CQR은 기본 연구 가치의 일관성을 옹호하지 않는다는 점에서 상대적으로 독특합니다. 
    8
    There are other pattern-based methodologies—like consensual qualitative research (CQR; Hill et al., 1997)—that have elements of various different approaches we have described here (e.g. in the case of CQR, coding reliability TA and constructivist GT); CQR is relatively unique however in not advocating for coherence in underlying research values. 

 


Abstract

Thematic analysis methods, including the reflexive approach we have developed, are widely used in counselling and psychotherapy research, as are other approaches that seek to develop ‘patterns’ (themes, categories) across cases. Without a thorough grounding in the conceptual foundations of a wide variety of across-case analytic approaches, and qualitative research more broadly—something rarely offered in counselling training—it can be difficult to understand how these differ, where they overlap, and which might be appropriate for a particular research project. Our aim in this paper is to support researchers in counselling and psychotherapy to select an appropriate across-case approach for their research, and to justify their choice, by discussing conceptual and procedural differences and similarities between reflexive thematic analysis (TA) and four other across-case approaches. Three of these are also widely used in counselling and psychotherapy research—qualitative content analysis, interpretative phenomenological analysis and grounded theory. The fourth—discourse analysis—is less widely used but importantly exemplifies the critical qualitative research tradition. We contextualise our comparative approach by highlighting the diversity within TA. TA is best thought of as a spectrum of methods—from types that prioritise coding accuracy and reliability to reflexive approaches like ours that emphasise the inescapable subjectivity of data interpretation. Although reflexive TA provides the point of comparison for our discussion of other across-case approaches, our aim is not to promote reflexive TA as ‘best’. Rather, we encourage the knowing selection and use of analytic methods and methodologies in counselling and psychotherapy research.

역량-기반 평가: 인공지능을 활용하여 하위역량 내용 예측하기 (Acad Med, 2023)
Competency-Based Assessments: Leveraging Artificial Intelligence to Predict Subcompetency Content
Gregory J. Booth, MD, Benjamin Ross, MD, William A. Cronin, MD, Angela McElrath, MD, Kyle L. Cyr, MD, John A. Hodgson, MD, Charles Sibley, MD, J. Martin Ismawan, MD, Alyssa Zuehl, MD, James G. Slotto, MD, Maureen Higgs, MD, Matthew Haldeman, MD, Phillip Geiger, MD, and Dink Jardine, MD, MS

 

 

역량 기반 의학교육(CBME)은 의학교육에서 졸업후교육의 기본이 되는 표준 패러다임이 되었습니다.1 미국의 경우, 미국의학전문대학원교육인증위원회(ACGME) 인증 프로그램 중 현재 평가 프레임워크는 6개의 핵심 역량 영역으로 구성되며, 각 영역은 수련의의 궤적을 추적하기 위해 5단계의 점진적 척도로 이루어져 있습니다. ACGME는 각 전문과목이 초심자에서 독립 전문의가 되기까지의 특정 경로("마일스톤"이라고 함)를 정의할 수 있도록 합니다.2 기술과 의료 행위가 발전함에 따라 이러한 경로는 주기적으로 재평가되어 지속적인 발전과 진화하는 수련 표준에 발맞출 수 있도록 보장합니다. 
Competency-based medical education (CBME) has become the standard paradigm underlying postgraduate training in medical education.1 In the United States, among Accreditation Council for Graduate Medical Education (ACGME)-accredited programs, the current evaluation framework consists of 6 core competency domains, each with a progressive 5-level scale to track the trajectory of trainees. ACGME allows each specialty to define the specific pathways of progression from novice to independent (termed “Milestones”).2 As technology and medical practice progress, these pathways are periodically reassessed to ensure that they keep pace with ongoing developments and the evolving standard of training.

담당 의사는 수련의를 위한 성과 피드백을 생성하며, 이 피드백은 개인의 진전도를 평가하는 데 중추적인 역할을 합니다.3 CBME 프레임워크에서 이러한 피드백은 정량적 평가에만 국한되어서는 안 됩니다.4 마일스톤을 만든 이유 중 하나는 수치화된 평가 척도에서 벗어나기 위해서였으며,5 의학교육의 일부 리더들은 서술적 피드백이 수치화된 평가를 완전히 대체해야 한다고 주장합니다.6 ACGME에 따르면, 각 프로그램은 "후원 기관의 전반적인 사명, 해당 기관이 봉사하고 졸업생이 봉사하게 될 지역사회의 요구사항, 졸업하고자 하는 의사의 고유한 역량"을 고려해야 합니다.7 내러티브 피드백에서 프로그램이 사용하는 용어와 문구는 피드백 문화, 기관 관행, 환자 집단 등의 차이로 인해 매우 다양할 수 있습니다. 따라서 내러티브 피드백을 분석하는 데 사용되는 기법을 포함한 평가 방법은 각 프로그램에 맞게 조정되어야 합니다.
Staff physicians generate performance feedback for trainees that is pivotal in assessing their individual progress.3 In the CBME framework, this feedback should not be limited to quantitative ratings.4 One of the stated reasons for creating Milestones was to move away from numerical rating scales,5 and some leaders in medical education argue that narrative feedback should replace numerical ratings entirely.6 According to the ACGME, each program must consider the “overall mission of its Sponsoring Institution, the needs of the community it serves and that its graduates will serve, and the distinctive capabilities of physicians it intends to graduate.”7 The terms and phrases that programs use in narrative feedback can vary widely due to differences in feedback culture, institution practices, patient populations, and more. Therefore, evaluation methods, including techniques used to analyze narrative feedback, must be tailored to each program.

자연어 처리(NLP) 또는 컴퓨터 언어학은 컴퓨터 처리 방법을 사용하여 구어 또는 문어를 분석하여 인간의 능력에 근사치를 구하는 작업을 수행합니다.8 CBME 영역 내에서 NLP를 평가한 연구는 거의 없으며, 이러한 연구의 대부분은 연수생의 임상 기록을 검토하거나 특정 임상 경험에 대한 연수생의 노출을 분석하는 데 중점을 두었습니다.9 그러나 일부 연구에서는 NLP가 ACGME 역량과 관련된 언어를 식별할 수 있는지 여부를 조사했습니다. 

  • Neves 등은 NLP를 사용하여 수련의 평가에 대한 서술적 코멘트에 높은 품질과 높은 유용성 등 특정 피드백 특성이 포함되어 있는지 예측하고 전문성 또는 의사소통에 대한 내용이 포함되어 있는지 조사했습니다.10
  • Zhang 등은 NLP를 사용하여 수련의 평가의 정서를 조사하고 코멘트에 반영된 ACGME 핵심 역량을 예측하는 모델을 개발했습니다.11 Zhang 등은 향후 연구에서는 더 큰 데이터 세트를 사용하여 하위 역량을 식별하는 이러한 모델의 타당성에 초점을 맞추는 것이 좋다고 제안했습니다.

Natural language processing (NLP), or computational linguistics, uses computer processing methods to analyze spoken or written language to perform tasks that seek to approximate human abilities.8 Few published studies have evaluated NLP within the realm of CBME, and most of these studies focused on reviewing trainees’ clinical notes or analyzing trainees’ exposure to certain clinical experiences.9 But a small subset explored whether NLP can identify language related to ACGME competencies.

  • Neves et al used NLP to predict whether narrative comments on trainee evaluations contained specific feedback traits, including high quality and high utility, and explored whether they included content about professionalism or communication.10 
  • Zhang et al used NLP to investigate sentiment of trainee evaluations and developed models to predict ACGME Core Competencies reflected by comments.11 Zhang et al suggested that future work should use larger data sets to focus on feasibility of such models to identify subcompetencies.

NLP를 사용하여 ACGME 전문 분야에 특화된 피드백 언어를 학습하는 모델을 만든 다음, 특정 프로그램에 대한 서술 코멘트의 ACGME 하위 역량 내용을 예측하기 위해 고유한 기관에 맞게 미세 조정할 수 있습니다. 이러한 모델은 각 프로그램이 졸업하고자 하는 고유한 역량에 대한 교육생의 진전 궤적을 추적하는 각 프로그램의 기능을 강화할 수 있습니다. NLP 기술은 대량의 텍스트를 매우 빠르게 처리할 수 있도록 확장할 수 있으며, 다양한 시스템에 통합하여 교육생 평가의 프로그래밍 관리와 평가 언어에 대한 교수진의 피드백을 향상시킬 수 있습니다. 또한 자연어 처리 기술은 수련의 성별과 관련된 암묵적 편견과 같은 평가의 편견을 밝혀내어 의학교육의 특정 격차를 완화할 수 있는 잠재력을 가지고 있습니다.12 
NLP could be used to create models that learn the feedback language specific to ACGME specialties, which then could be fine-tuned to unique institutions to predict ACGME subcompetency content in narrative comments for specific programs. Such models could augment each program’s ability to track the trajectory of trainees’ progress toward the unique capabilities that the program intends to graduate. NLP techniques can scale to process volumes of text very rapidly and could be integrated into a variety of systems to enhance programmatic management of trainee evaluations and feedback to faculty on their evaluation language. NLP also holds promise to reveal biases in evaluation, such as implicit bias related to trainee gender, which could mitigate certain disparities in medical education.12

이 연구의 목적은 마취과 수련의에 대한 평가의 서술적 피드백을 적절한 ACGME 마일스톤 2.0 하위 역량 범주로 자동 분류하는 NLP 모델을 개발하고 평가하는 것이었습니다.
The aim of this study was to develop and evaluate an NLP model to automatically categorize narrative feedback from evaluations of anesthesiology trainees into the appropriate ACGME Milestone 2.0 subcompetency categories.

방법
Method

투명성 및 개방성 증진
Transparency and openness promotion

이 조사는 개인 예후 또는 진단을 위한 다변량 예측 모델의 투명한 보고13 가이드라인과 생의학 연구에서의 기계 학습 예측 모델 개발 및 보고 가이드라인을 따릅니다.14 NLP 모델 구축을 위한 소스 코드는 공개적으로 사용 가능하며, 최종 모델은 공개적으로 사용할 수 있습니다. 
This investigation follows the Transparent Reporting of a Multivariable Prediction Model for Individual Prognosis or Diagnosis13 guidelines and the Guidelines for Developing and Reporting Machine Learning Predictive Models in Biomedical Research.14 Source code for building the NLP model is publicly available (https://github.com/gb563/Milestone_NLP), and the final model is available for public use (http://nb-group.org/milestone/).

연구 설계 및 데이터 출처
Study design and data source

이 프로토콜은 해군 의료센터 포츠머스 기관생명윤리심의위원회의 승인을 받았습니다. 이 연구는 2개의 완전한 학년도(2019년 7월 1일 ~ 2021년 6월 30일, 적격 기록 수 = 6,494건) 동안 4개의 군 의학전문대학원(GME) 프로그램에서 마취과 수련의의 임상 성과 평가를 포괄하는 후향적 코호트 연구였습니다. 모든 사이트는 동일한 핵심 프로그램 목표를 공유합니다. 모든 데이터는 전자 평가 시스템에서 추출했습니다. 성과 평가에는 일일 임상 과제에서 직접 관찰한 피드백이 포함되었습니다. 평가 구조와 질문은 사이트마다 다르지만, 모두 서술적 설명을 위한 필드가 포함되어 있습니다. 2곳의 사이트에는 전반적인 의견을 위한 일반 항목이, 1곳에는 긍정적인 관찰과 건설적인 관찰 항목이, 1곳에는 전반적인 의견, 긍정적인 관찰, 건설적인 관찰 항목이 포함되었습니다. 코멘트이 없는 평가는 모두 제외했으며, 나머지 평가의 각 분야별 코멘트을 합산했습니다. 총 5,935개의 평가가 연구에 포함되었습니다. 이러한 평가는 25,714개의 개별 문장으로 분리되었으며, 169명의 수련의에 대한 207명의 마취과 전문의의 피드백을 나타냅니다. 문장 분리 및 추가 텍스트 전처리는 자연어 툴킷 3.6.15를 사용하여 수행되었습니다. 
This protocol was approved by the Naval Medical Center Portsmouth Institutional Review Board. This was a retrospective cohort study encompassing clinical performance evaluations of anesthesiology trainees from 4 military graduate medical education (GME) programs during 2 complete academic years (July 1, 2019, to June 30, 2021, n = 6,494 eligible records). All sites share the same core set of program aims. All data were extracted from electronic evaluation systems. Performance evaluations included direct observation feedback from daily clinical assignments. Evaluation structure and questions are site-specific, but all include fields for narrative comments. Two sites included a generic field for overall comments, 1 site included a field for positive observations and another for constructive observations, and 1 site include fields for overall comments, positive observations, and constructive observations. All evaluations without comments were excluded, and comments from each field in the remaining evaluations were pooled. A total of 5,935 evaluations were included in the study. These evaluations were separated into 25,714 individual sentences and represented feedback from 207 staff anesthesiologists on 169 trainees. Sentence separation and further textual preprocessing were performed using Natural Language Toolkit 3.6.15

이 조사는 Zhang 등11의 연구를 기반으로 하며 몇 가지 주요 차이점이 있습니다. 이 조사는 단일 기관의 699개 코멘트을 사용하여 ACGME 핵심 역량을 예측하도록 설계된 모델에 대한 내부 검증 메트릭을 보고했으며, 유사한 모델이 하위 역량을 예측할 수 있는지 평가하기 위해 더 큰 데이터 세트를 탐색해야 한다고 가정했습니다. 이 조사에는 여러 기관의 수천 개의 코멘트이 포함되었으며, 사전에 훈련 코호트검증 코호트로 나뉘어 하위 역량 예측을 수행했습니다. 
This investigation builds on the work of Zhang et al11 and has several key differences. Their investigation reported internal validation metrics on models designed to predict ACGME Core Competencies using 699 comments from a single institution and posited that a larger data set should be explored to assess whether similar models can predict subcompetencies. This investigation included several thousand comments from multiple institutions, split a priori into training and validation cohorts, and we performed subcompetency prediction.

본 조사는 의료 분야에서 책임감 있는 인공 지능을 목표로 하는 몇 가지 최신 전략을 사용하여 설계 및 구현되었습니다.16 여기에는 다음이 포함됩니다.

  • 엄격한 설계 및 보고 기준13,14;
  • 모델 개발에 사용된 코드 공개;
  • 모델을 웹 기반 애플리케이션으로 구축하여 공개적으로 탐색, 테스트 및 검증할 수 있도록 하는 노력.
  • 모델이 예측하는 방식을 더 잘 이해할 수 있도록 해석 가능성 그래픽을 포함시켰습니다.

또한, 하위 단어 또는 단어의 작은 부분을 잡아내어 학습 중에 한 번도 접해보지 못한 단어에 대해서도 예측할 수 있습니다. 이 기능은 비표준 단어, 약어, 철자 오류가 자주 발생하는 의료 분야에서 특히 중요합니다.
Our investigation was designed and implemented using several contemporary strategies aimed at responsible artificial intelligence in health care,16 including

  • rigorous design and reporting criteria13,14;
  • publishing the code that was used to develop models;
  • an effort to build the model into a web-based application to allow public exploration, testing, and validation; and
  • the inclusion of interpretability graphics to better understand how the model makes predictions.

Additionally, our model captures subwords, or smaller sections of words, so that it can make predictions on words that it never encountered during training. This feature is particularly important in health care where nonstandard words, abbreviations, and spelling errors are frequently encountered.

결과
Outcomes

이 조사의 1차 평가지표는 마취과 수련의의 성과 평가에 대한 서술적 코멘트를 통해 마일스톤 2.0 하위 역량을 예측하는 알고리즘의 개발 및 평가였습니다. 2차 결과에는 각 평가 문장에 하위 역량 레이블을 할당하는 전문가들의 평가자 간 합의와 전문가들이 동의하지 않을 때 가장 빈번하게 발생하는 하위 역량 레이블에 대한 탐색적 분석이 포함되었습니다.
The primary endpoint of this investigation was the development and evaluation of an algorithm to predict Milestone 2.0 subcompetencies from narrative comments on anesthesiology trainee performance evaluations. Secondary outcomes included inter-rater agreement for experts assigning subcompetency labels to each evaluation sentence and exploratory analysis of the most frequent co-occurring subcompetency labels when experts disagreed.

마일스톤 2.0 하위 역량을 평가에 할당하기
Assigning Milestone 2.0 subcompetencies to evaluations

4개의 군사 대학원 교육 프로그램에서 10명의 마취과 전문의가 모집되었습니다. 이 그룹에는 프로그램 책임자 2명과 현재 또는 과거의 부프로그램 책임자 8명이 포함되었습니다. 편향성을 완화하기 위해 난수 생성기를 사용하여 각 평가에 2명의 검토자를 배정했습니다. 어떤 리뷰어에게도 동일한 평가 세트를 배정하지 않았으며, 각 평가는 정확히 두 번 배정되었습니다. 모든 평가는 비식별화되었습니다. 비식별화를 달성하기 위해 평가 모음에 나타나는 모든 단어의 사전을 수동으로 검토했습니다. 이 사전 내의 모든 교육생 및 교수진 이름을 컴파일한 다음 프로그래밍 방식으로 평가에서 제거했습니다. 각 검토자에게는 개별 문장으로 분할된 평가 목록이 제공되었습니다. 그런 다음 검토자는 할당된 문장에 내용을 가장 잘 파악한 23개의 마취과 마일스톤 2.0 하위 역량 중 하나를 선택하거나, 인구통계학적 특성(예: "이것은 당직 근무에 대한 평가입니다.") 또는 유용하지 않은 경우(예: "잘했음.")를 나타내는 D 또는 N으로 레이블을 지정했습니다. 각 문장에는 고유 식별 번호가 부여되어 검토자가 어떤 문장이 같은 평가에서 나온 것인지 알 수 있도록 했습니다. 여러 문장이 있는 평가의 경우, 식별 번호는 검토자가 코멘트의 맥락을 이해하는 데 도움이 되었습니다.
Ten academic anesthesiologists from 4 military graduate education programs were recruited. This group included 2 program directors and 8 current or past associate program directors. To mitigate bias, a random number generator was used to assign 2 reviewers to each evaluation. No reviewers were assigned the same set of evaluations, and each evaluation was assigned exactly twice. All evaluations were deidentified. To achieve deidentification, a dictionary of all words that appear in the collection of evaluations was manually reviewed. All trainee and faculty names within this dictionary were compiled and then programmatically removed from evaluations. Each reviewer was provided a list of evaluations that were split into individual sentences. The reviewers then labeled their assigned sentences with 1 of the 23 anesthesiology Milestone 2.0 subcompetencies that best captured content, or D for demographics (e.g., “This is an evaluation for a call shift.”), or N for not useful (e.g., “Good job.”). Each sentence was given a unique identifying number so that reviewers knew which sentences came from the same evaluation. For evaluations that had multiple sentences, the identifier helped reviewers understand the context of comments.

연구 책임자(G.J.B.)는 각 검토자를 만나 마일스톤 2.0 하위 역량에 대해 논의하고, 지침을 설명하고, 검토자가 과제를 수행할 능력이 있다고 느낄 때까지 몇 가지 예제를 검토했습니다. 각 검토자에게는 ACGME 마취학 마일스톤 2.0 가이드가 제공되었지만, 결과 평가의 편견을 최소화하기 위해 명시적인 채점 규칙은 제공되지 않았습니다. 
The principal investigator (G.J.B.) met with each reviewer to discuss the Milestone 2.0 subcompetencies, explain the instructions, and go through several examples until reviewers felt competent performing the task. Each reviewer was given the ACGME Anesthesiology Milestone 2.0 guide, but no explicit scoring rules were provided to minimize bias in outcome assessment.

훈련 및 검증 코호트
Training and validation cohorts

사전 훈련 코호트는 사이트 1, 2, 4의 풀링된 데이터로, 외부 검증 코호트는 사이트 3으로 결정했습니다. 훈련 코호트는 두 리뷰어가 라벨에 동의한 문장으로 제한되었습니다(n = 11,960). 이러한 문장은 각 평가 내에서 동일한 레이블이 할당된 문장을 결합하는 방식으로 추가 처리되었습니다. 이 단계를 거친 최종 훈련 코호트에는 10,218개의 코멘트이 포함되었습니다(그림 1). 따라서 각 코멘트은 단일 문장 또는 단일 평가에서 나온 동일한 레이블을 가진 문장들의 조합을 나타냅니다. 이 단계는 다양한 구두점 사용을 제어하기 위해 수행되었습니다.

  • 어떤 평가자는 연속된 문장을 작성했고,
  • 어떤 평가자는 세미콜론으로 아이디어를 구분했으며,
  • 어떤 평가자는 대시 또는 아무것도 사용하지 않았습니다.

A priori, it was decided that the training cohort was the pooled data from Sites 1, 2, and 4, and the external validation cohort was Site 3. The training cohort was limited to sentences for which both reviewers agreed on the label (n = 11,960). These sentences were further processed by combining sentences within each evaluation that were assigned the same label. After this step, the final training cohort contained 10,218 comments (Figure 1). Therefore, each comment represents either a single sentence or a combination of sentences that come from a single evaluation and have the same label. This step was performed to help control for variable use of punctuation.

  • Some evaluators wrote run-on sentences,
  • others separated ideas with semicolons, and
  • others with dashes or nothing at all.

알고리즘은 평가를 문장으로 분할한 다음 분류하도록 설계되었기 때문에 이 처리 단계는 학습 데이터가 단순히 [별개의 문장]이 아닌 평가에서 [별개의 주제]를 포착하도록 하는 데 도움이 되었습니다. 검증 코호트의 경우, 연구 책임자가 라벨 할당에 대한 의견 불일치 시 동점자를 결정하는 역할을 했습니다. 최종 검증 코호트에는 2,255개의 문장이 포함되었습니다. 이 접근 방식에는 두 가지 장점이 있었습니다.

  • 첫째, 평가자 간 합의가 완벽한 훈련 데이터를 선택함으로써 숙련된 분류자를 구축하는 데 도움이 되었습니다.
  • 둘째, 검증 사이트의 모든 평가를 포함함으로써 프로그램의 모든 피드백을 대표하는 보이지 않는 데이터에 대한 분류기의 일반화 가능성을 평가하여 편향을 줄이는 데 도움이 되었습니다. 

Since the algorithm was designed to split evaluations into sentences and then classify them, this processing step helped ensure that training data captured distinct topics in evaluations rather than simply distinct sentences. For the validation cohort, the principal investigator served as the tie-breaker for any disagreements in label assignments. The final validation cohort contained 2,255 sentences. This approach had 2 advantages.

  • First, selecting training data with perfect inter-rater agreement helped build a skilled classifier.
  • Second, including all evaluations from the validation site helped reduce bias by assessing the generalizability of the classifier to unseen data representative of all feedback from a program.

 

예측자
Predictors

모델 입력은 내러티브 성능 평가의 원시 텍스트만 사용했습니다. 모든 텍스트는 소문자로 변환되었고 알파벳이 아닌 문자는 제거되었습니다. 텍스트 분류기에 거의 가치를 부여하지 않는 일반적인 단어, 즉 중단어(예: of, to, in)는 제거되었습니다. 하위 역량 레이블은 상당한 클래스 불균형을 보여주었습니다(표 1). 환자 관리(PC)6, PC9, 전문성(P)3, 대인 커뮤니케이션 및 기술(ICS)3, 실습 기반 학습 및 개선(PBLI)1, 시스템 기반 실습(SBP)1은 각각 전체 레이블의 1% 미만으로 포함되었습니다. 따라서 NLP 모델에 각 범주에서 적절한 샘플을 제공하기 위해 특정 하위 역량을 결합했습니다. PC6(현장 초음파)는 PC2(수술 전후 치료 및 관리)로, PC9(중환자 치료)는 PC7(상황 인식 및 위기 관리)로 재할당되었습니다. P, ICS, PBLI 및 SBP 내의 모든 하위 역량은 통합되었습니다. 따라서 분류 알고리즘이 예측할 수 있는 최종 카테고리는 16개였습니다: PC1, PC2, PC3, PC4, PC5, PC7, PC8, PC10, MK1, MK2, P, ICS, PBLI, SBP, D, N(표 2). 이러한 처리 기법은 훈련 및 검증 코호트에도 동일한 방식으로 적용되었습니다.

The only model inputs were raw text from narrative performance evaluations. All text was converted to lowercase, and nonalphabetic characters were removed. Common words that add little value to text classifiers, termed stopwords (e.g., of, to, in), were removed. Subcompetency labels demonstrated substantial class imbalance (Table 1). Patient care (PC)6, PC9, professionalism (P)3, interpersonal communication and skills (ICS)3, practice-based learning and improvement (PBLI)1, and systems-based practice (SBP)1 each contained < 1% of total labels. Therefore, to provide the NLP model with adequate samples in each category, certain subcompetencies were combined. PC6 (point of care ultrasound) was reassigned to PC2 (perioperative care and management) and PC9 (critical care) was reassigned to PC7 (situational awareness and crisis management). All subcompetencies within P, ICS, PBLI, and SBP were combined. Therefore, there were 16 final categories for the classification algorithm to predict: PC1, PC2, PC3, PC4, PC5, PC7, PC8, PC10, MK1, MK2, P, ICS, PBLI, SBP, D, N (Table 2). These processing techniques were applied in the same manner for the training and validation cohorts.

 

통계 분석
Statistical analysis

모델 개발.
Model development.

NLP 모델에는 FastText가 사용되었습니다. FastText는 맞춤법 오류와 의학 전문 용어 등 데이터 세트에 내재된 몇 가지 한계를 극복하는 오픈 소스 머신 러닝 알고리즘17입니다. FastText는 하위 단어(예: "intubate"의 하위 단어에는 "int", "ntu", "tub", "uba", "bat", "ate"가 포함될 수 있음)에 집중함으로써 이러한 영역에서 탁월한 성능을 발휘하며, 표준 영어 사전에 나타나지 않을 수 있는 철자와 단어 또는 약어에 대한 내성을 갖추고 있습니다. 또한 하위 단어 분석을 통해 분류기가 학습 과정에서 한 번도 보지 못한 단어가 포함된 문장을 예측할 수 있습니다. 마지막으로, FastText는 불균형한 클래스가 포함된 대규모 데이터 세트를 쉽게 처리할 수 있습니다. 
FastText was used for the NLP model. FastText is an open-source machine learning algorithm17 that overcomes several limitations inherent to the dataset, including spelling errors and medical jargon. FastText excels in these areas by focusing on subwords (e.g., subwords for “intubate” could include “int,” “ntu,” “tub,” “uba,” “bat,” “ate”), making it resistant to misspellings and words or abbreviations that may not appear in a standard English dictionary. Subword analysis also allows predictions on sentences containing words that the classifier has never seen in the training process. Finally, FastText is facile dealing with large datasets that contain imbalanced classes.

머신러닝에서 하이퍼파라미터는 학습 과정을 안내하는 알고리즘 피쳐입니다. 조사된 구체적인 하이퍼파라미터는 다음이 있다. 

  • 학습 속도(각 훈련 주기 동안 모델이 스스로 업데이트하는 정도),
  • 에포크(훈련 주기 수),
  • 하위 단어의 길이(고려해야 할 연속 글자 수),
  • 단어 n-그램(고려해야 할 연속 단어 수)

매크로 F1 점수를 최적화하는 하이퍼파라미터 세트를 결정하기 위해 5배 교차 검증을 사용하여 그리드 검색을 수행했습니다. F1 점수는 민감도와 양의 예측값의 균형을 추구하며, 매크로 F1은 각 클래스의 관찰 수를 고려하지 않고 각 클래스에 대한 F1 점수의 평균을 산출합니다. 이 접근 방식은 클래스 불균형의 영향을 완화하고 16개 카테고리를 모두 동등하게 중요하게 취급합니다.
In machine learning, hyperparameters are algorithm features that guide the learning process. Specific hyperparameters investigated were

  • learning rate (the extent to which the model updates itself during each training cycle),
  • epochs (number of training cycles),
  • length of subwords (number of consecutive letters to consider), and
  • word n-grams (number of consecutive words to consider).

Grid search was performed using fivefold cross-validation to determine the set of hyperparameters that optimized the macro F1 score. F1 score seeks to balance sensitivity and positive predictive value, and macro F1 averages F1 scores for each class without considering the number of observations in each class. This approach mitigates the impact of class imbalance and treats all 16 categories as equally important.

교차 검증을 사용하면 전체 훈련 세트가 80%:20% 코호트 또는 폴드로 분할됩니다. 모델은 80% 폴드에서 일련의 하이퍼파라미터를 사용하여 훈련되고, 훈련된 모델의 성능은 20% 폴드에서 평가됩니다. 다른 폴드를 사용하여 동일한 하이퍼파라미터로 이 과정을 4회 반복하여 주어진 하이퍼파라미터 조합에 대한 전체 학습 데이터 세트의 평균 매크로 F1 점수를 계산합니다. 이 과정은 가능한 모든 하이퍼파라미터 조합에 대해 반복됩니다. 그런 다음 가장 우수한 성능을 보인 하이퍼파라미터를 전체 훈련 데이터 세트를 사용하여 최종 모델을 훈련하는 데 사용했습니다.
With cross-validation, the entire training set is split into 80%:20% cohorts, or folds. The model is trained using a set of hyperparameters on the 80% fold, and performance of that trained model is assessed on the 20% fold. This repeats 4 times with the same hyperparameters using the other folds to calculate average macro F1 score across the entire training dataset for a given combination of hyperparameters. This process is repeated for all possible combinations of hyperparameters. The hyperparameters that yielded the best performance were then used to train the final model using the entire training dataset.

성능 메트릭 및 모델 검증.
Performance metrics and model validation.

최종 모델 파라미터가 결정되면 각 클래스에 대한 민감도, 양의 예측값, F1 및 수신기 작동 특성 곡선 아래 면적(AUC)을 계산하여 내부 검증을 평가했습니다. AUC는 한 클래스와 다른 모든 클래스를 고려하여 계산했습니다. 예를 들어, PC1에 대한 AUC는 코멘트을 PC1에 속하는 것과 다른 카테고리에 속하는 것을 구별하는 알고리즘의 능력을 측정합니다. 외부 검증은 검증 코호트에 대한 AUC를 계산하여 평가했습니다. 성능 지표의 평균 및 95% 신뢰 구간은 500개의 샘플로 계층화된 부트스트래핑을 통해 결정되었습니다. 계층화된 부트스트래핑은 각 훈련 샘플에 동일한 비율의 하위 역량이 포함되도록 하여 클래스 불균형을 고려합니다. 훈련 및 검증 코호트에서 보정 곡선을 통해 예측 신뢰도를 평가했습니다. 각 범주에 대한 관찰 확률과 모델 예측 확률을 비교하여 각 범주에 대한 보정 곡선을 생성했습니다. 잘 보정된 모델은 관찰된 확률과 매우 유사한 예측 확률을 보여야 합니다. 예를 들어, 모델이 어떤 코멘트을 70%의 확률로 PC1이라고 예측했다면, 리뷰어에 따르면 유사한 코멘트 10개 중 7개가 실제로는 PC1이어야 합니다.
Once the final model parameters were determined, internal validation was assessed by calculating sensitivity, positive predictive value, F1, and area under the receiver operating characteristic curve (AUC) for each class. AUC was calculated by considering one class vs all others. For example, AUC for PC1 measures the algorithm’s ability to discriminate a comment as belonging to PC1 vs any other category. External validation was assessed by calculating AUC on the validation cohort. Mean and 95% confidence intervals for performance metrics were determined by stratified bootstrapping with 500 samples. Stratified bootstrapping ensures that each training sample contains the same relative proportions of subcompetencies to account for class imbalance. Prediction reliability was assessed in the training and validation cohorts through calibration curves. Calibration curves were generated for each category by plotting observed probabilities vs model prediction probabilities for each class. A well-calibrated model should demonstrate prediction probabilities that are very similar to observed probabilities. For example, if the model predicts that a comment is PC1 with 70% probability, then 7 out of 10 similar comments should in fact be PC1 according to reviewers.

2차 결과 및 민감도 분석.
Secondary outcomes and sensitivity analyses.

리뷰어의 레이블은 개수와 빈도로 설명했습니다. 레이블은 순위나 순서가 없는 명목 변수로 간주했습니다. 모든 하위 역량 라벨에 대한 전반적인 평가자 간 일치도는 Fleiss의 카파를 사용하여 평가했습니다. 각 하위 역량에 대해 범주별 일치율을 계산하여 특정 하위 역량에 따라 평가자 간 동의가 달라지는지 조사했습니다. 리뷰어들이 동의하지 않을 때 가장 빈번하게 함께 나타나는 하위 역량 레이블을 조사하여 하위 역량에 구분하기 어려운 주제가 있는지 조사했습니다. 두 가지 민감도 분석이 수행되었습니다.

  • 첫째, 6개의 핵심 역량으로 묶은 후 평가자가 지정한 라벨에 대한 평가자 간 합의도를 조사했습니다.
  • 둘째, 외부 검증 데이터에 대한 성능 지표를 평가자 간 완벽한 합의가 있는 문장 하위 집합에 대해 계산하여 평가자 간 완벽한 합의가 포함된 학습 데이터로 개발되었기 때문에 동점자 불일치 또는 모델 예측에 편향이 있을 수 있는지 평가했습니다.

분석은 Python 3.8(델라웨어주 윌밍턴) 및 R 4.1(매사추세츠주 보스턴)을 사용하여 수행되었습니다.
Reviewers’ labels were described with counts and frequencies. Labels were considered nominal variables with no ranking or ordering. Overall inter-rater agreement for all subcompetency labels was assessed with Fleiss’ Kappa. Category-specific percent agreement was calculated for each subcompetency to investigate whether specific subcompetencies varied in reviewer agreement. The most frequent co-occurring subcompetency labels when reviewers disagreed were explored to investigate whether there were themes in subcompetencies that were difficult to differentiate. Two sensitivity analyses were performed.

  • First, inter-rater agreement on reviewer-assigned labels was explored after pooling them into the 6 Core Competencies.
  • Second, performance metrics on external validation data were calculated for the subset of sentences for which there was perfect inter-rater agreement to assess whether there could be bias in the process of tie-breaking disagreements or bias in model predictions since it was developed with training data that contained perfect inter-rater agreement.

Analyses were performed with Python 3.8 (Wilmington, Delaware) and R 4.1 (Boston, Massachusetts).

모델 해석 가능성.
Model interpretability.

대부분의 머신 러닝 모델과 마찬가지로 NLP 모델은 블랙박스 동작으로 인해 어려움을 겪습니다. 로지스틱 회귀의 확률 비율과 같이 쉽게 해석할 수 있는 계수가 없습니다. 최종 모델이 어떻게 예측을 했는지 이해하기 위해 로컬 해석 가능한 모델-무관용 설명(LIME)18을 사용했습니다. LIME은 다양한 머신러닝 알고리즘에 사용되어 예측을 할 때 어떤 특징이 중요한지 설명하는 데 도움이 됩니다. 3개의 예시 문장에 대해 모델 예측과 LIME 시각화를 수행했으며, 이 기능은 온라인 애플리케이션에 내장되었습니다.
NLP models, like most machine learning models, suffer from black-box behavior. There are no coefficients, such as odds ratios in logistic regression, that are easily interpretable. Local Interpretable Model-Agnostic Explanations (LIME)18 was used to understand how the final model made predictions. LIME can be used for a wide range of machine learning algorithms to help demonstrate what features are important while making predictions. Model predictions and LIME visualizations were performed for 3 example sentences, and this feature was built into the online application.

모델 구현.
Model implementation.

이 모델은 교육생 자가 평가 연습의 일부로 작동되었습니다. 모델을 구현하는 간단한 컴퓨터 프로그램을 만든 다음 모델 출력이 포함된 스프레드시트를 생성했습니다. 18명의 교육생에 대한 모든 평가는 연구 기간 후 6개월 동안 수집되었습니다. 이 모델은 각 교육생의 내러티브 코멘트를 읽고 개별 문장으로 분리한 다음 각각에 해당 카테고리에 레이블을 지정했습니다. 이렇게 분류된 코멘트는 각 교육생이 멘토와 함께 검토할 수 있도록 별도의 스프레드시트에 자동으로 정리되어 스스로 결정한 하위 역량에 대한 성과를 개선하기 위한 실행 계획을 안내하는 데 도움이 되었습니다.
The model was operationalized as part of a trainee self-assessment exercise. A simple computer program was created which implements the model and then produces spreadsheets containing model outputs. All evaluations on 18 trainees were collected from a 6-month window after the study period. The model read each trainee’s narrative comments, separated them into individual sentences, and labeled each with the corresponding category. These labeled comments were then automatically organized into separate spreadsheets for each trainee for review with their mentors to help guide action plans to improve performance in self-determined subcompetencies.

결과
Results

평가 라벨
Evaluation labels

전체 데이터 세트에 대한 검토자 라벨(두 검토자가 라벨에 동의하지 않은 의견을 제외하기 전)에는 PC 35.2%, MK 8.8%, P 10.1%, ICS 5.9%, PBLI 5.1%, SBP 3.8%, D 10.1%, N 21.0%가 포함되었으며, 훈련 코호트최종 검증 코호트 간에 검토자가 지정한 라벨의 분포에 유의미한 차이가 있었습니다(P < .01). 가장 큰 차이는 P와 N에서 관찰되었습니다(표 1).
Reviewer labels on the complete dataset (before excluding comments where both reviewers did not agree on the labels) included 35.2% PC, 8.8% MK, 10.1% P, 5.9% ICS, 5.1% PBLI, 3.8% SBP, 10.1% D, and 21.0% N. There were significant differences in the distribution of reviewer-assigned labels between the training and final validation cohorts (P < .01). The biggest differences were observed for P and N (Table 1).

평가자 간 합의
Inter-rater agreement

검토자들은 25,714개 문장 중 13,068개 문장에 대해 25개 레이블(23개 하위 역량, D, N)에 동의했습니다(전체 동의율 50.8%). PC10(말초 및 신경계 마취, 72.0%)이 가장 높은 동의율을 보였고 SBP3(의료 시스템에서의 의사의 역할, 9.9%)가 가장 낮은 동의율을 보였습니다(보충 디지털 부록 1). Fleiss의 카파는 25개 범주에 대해 0.44였습니다. 하위 역량을 핵심 역량으로 합산했을 때 Fleiss의 카파는 0.50이었습니다. 전문가들이 하위 역량에 대해 의견이 일치하지 않을 때 가장 빈번하게 동반되는 하위 역량 레이블은 PC4(수술 중 관리)였습니다. ICS와 SBP 간, 그리고 P와 N 간에는 빈번하게 공존하는 경향이 있었습니다(보충 디지털 부록 1).
Reviewers agreed on the 25 labels (23 subcompetencies, D, and N) for 13,068 of 25,714 sentences (overall agreement 50.8%). Percent agreement was highest for PC10 (peripheral and neuraxial anesthesia, 72.0%) and lowest for SBP3 (physician role in health care systems, 9.9%) (Supplemental Digital Appendix 1 at https://links.lww.com/ACADMED/B361). Fleiss’ Kappa was 0.44 for the 25 categories. When subcompetencies were aggregated into the core competencies, Fleiss’ Kappa was 0.50. The most frequent co-occurring subcompetency label when experts disagreed on any subcompetency was PC4 (intraoperative care). There tended to be frequent co-occurrence between ICS and SBP and between P and N (Supplemental Digital Appendix 1 at https://links.lww.com/ACADMED/B361).

모델 개발
Model development

432개의 하이퍼파라미터 조합(4개의 개별 학습률과 에포크, 3개의 단어 길이, 9개의 개별 하위 단어 길이)에 대해 그리드 검색을 수행했습니다. 모델 구축에 대한 자세한 내용은 여기에서 확인할 수 있습니다. 최종 모델의 하이퍼파라미터에는 2개의 단어 n-그램과 1~4자 길이의 하위 단어가 포함되었습니다. 
Grid search was performed on 432 combinations of hyperparameters (4 separate learning rates and epochs, 3 lengths for word n-grams, and 9 separate subword lengths). Details for building the model are available at https://github.com/gb563/Milestone_NLP. Hyperparameters for the final model included 2 word n-grams and subwords that were 1–4 characters long.

모델 성능
Model performance

내부 검증 결과, PC5, PC10, MK1, D, N은 우수한 판별력(AUC ≥ 0.8)을 보였고, PC1, PC3, PC4, P, ICS, PBLI는 양호한 판별력(AUC ≥ 0.7)을 보였습니다. SBP는 변별력이 가장 낮았습니다(AUC 0.59)(표 2). 양성 예측값은 PC5와 PC10(0.88)이 가장 높았고, SBP(0.31)가 가장 낮았습니다. 민감도는 N(0.89)이 가장 높았고 SBP(0.19)가 가장 낮았습니다. 훈련 및 검증 코호트에 대한 양성 예측값, 민감도, F1에 대한 전체 보고는 보충 디지털 부록 2와 3에서 확인할 수 있습니다. 보정 곡선은 예측 확률 범위에서 신뢰할 수 있는 예측을 보여주었습니다(추가 디지털 부록 4).
On internal validation, excellent discrimination (AUC ≥ 0.8) was observed for PC5, PC10, MK1, D, and N. Good discrimination (AUC ≥ 0.7) was observed for PC1, PC3, PC4, P, ICS, and PBLI. SBP had the worst discrimination (AUC 0.59) (Table 2). Positive predictive value was highest for PC5 and PC10 (0.88), and lowest for SBP (0.31). Sensitivity was highest for N (0.89) and lowest for SBP (0.19). Full reporting of positive predictive value, sensitivity, and F1 for training and validation cohorts can be found in Supplemental Digital Appendices 2 and 3 at https://links.lww.com/ACADMED/B361. Calibration curves demonstrated reliable predictions across the range of predicted probabilities (Supplemental Digital Appendix 4 at https://links.lww.com/ACADMED/B361).

모델 평가
Model evaluation

모델 변별력은 검증 데이터에서 매우 일관적이었습니다. 내부 검증 데이터와 비교했을 때 Professionalism을 제외하고는 성능에 차이가 없었습니다(표 2). 검토자의 완전한 동의를 얻은 문장만 검증 데이터에 포함시킨 민감도 분석에서도 내부 검증과 비교했을 때 전문성에 대한 AUC는 더 이상 차이가 없었습니다(보충 디지털 부록 5). 검증 데이터에 대한 모델 보정 결과, 모든 범주에서 예측이 과신하는 경향이 나타났습니다(보충 디지털 부록 6).
Model discrimination was very consistent on the validation data. There were no differences in performance compared with the internal validation data except professionalism (Table 2). On the sensitivity analysis in which only sentences with complete reviewer agreement were included in the validation data, there was no longer a difference in AUC for professionalism compared with internal validation (Supplemental Digital Appendix 5 at https://links.lww.com/ACADMED/B361). Model calibration on validation data demonstrated a tendency toward overconfident predictions for all categories (Supplemental Digital Appendix 6 at https://links.lww.com/ACADMED/B361).

모델 사양
Model specification

이 알고리즘은 독립적인 테스트와 검증을 위해 웹 기반 애플리케이션에 구축되었습니다. 누구나 자유 응답 평가 내러티브를 입력할 수 있으며, 모델은 해당 내러티브에 포함된 (하위) 역량을 예측합니다. 상위 3개 예측을 요약하고 모델이 이러한 예측을 하게 된 단어를 강조하는 LIME 그래픽이 표시됩니다. 예를 들어 다음과 같은 코멘트가 모델에 전달되었습니다:

  • "이 평가는 흉부외과에서의 하루를 다룹니다. 동의하는 동안 환자와 가족을 안심시키는 데 큰 역할을 했습니다. 응급 섬망에 대한 근거 기반 진료 권고사항을 통합했습니다. 중심정맥관 배치는 숙련되었으나 심폐우회술에서 분리하는 동안 인트로프로프 관리를 제대로 하지 못함. 다음 사례에 대비하여 분리 과정을 시각화하여 보다 원활하고 안전하게 분리할 수 있도록 하는 것이 좋습니다."

The algorithm was built into a web-based application for independent testing and validation. Anyone can type a free-response evaluation narrative, and the model predicts which (sub)competencies it contains. LIME graphics are displayed that outline the top 3 predictions and highlight which words drove the model to make those predictions. As an example, the following comment was passed to the model:

  • “This evaluation covers a day in the cardiothoracic room. Did a great job putting patient and family member at ease during consent. Incorporated evidence-based practice recommendations on emergence delirium. Skillful central line placement, but poor management of inotropes while separating from cardiopulmonary bypass. Consider visualizing the separation process in preparation for your next case so you can do this more smoothly and safely.”

이 모델은 단락을 개별 문장으로 분할한 다음, 각 문장이 어떤 (하위) 역량을 다룰지 예측합니다. 이 예는 모델이 자유 응답 내러티브를 분석하여 ACGME (하위) 역량 프레임워크로 구성하는 방법을 강조합니다. 모델 예측은 표 3에 나와 있습니다. LIME 해석 가능성 도표로 개선된 세 가지 추가 예는 부록 디지털 부록 7-9에 포함되어 있습니다.
The model splits the paragraph into individual sentences, then predicts which (sub)competencies each sentence addresses. This example highlights how the model can dissect a free-response narrative to organize it into an ACGME (sub)competency framework. Model predictions are presented in Table 3. Three additional examples, enhanced by LIME interpretability plots, are included in Supplemental Digital Appendices 7–9 at https://links.lww.com/ACADMED/B361.

acadmed_2023_01_19_booth_acadmed-d-22-00772_sdc1.pdf
0.51MB

모델 구현
Model implementation

컴퓨터 프로그램은 약 1분 만에 18명의 교육생에 대한 수백 개의 서술적 의견을 읽고, 라벨을 붙이고, 정리하여 교육생과 멘토가 검토할 수 있도록 개별화된 스프레드시트를 생성했습니다. 조직화된 피드백은 교육생이 마일스톤 2.0을 통해 스스로 결정한 하위 역량에 대한 진도를 향상시키기 위한 실행 계획을 세우도록 안내했습니다. 이 구현에 대한 영향 지표는 수집되지 않았습니다. 그러나 내부 피드백은 이 연습에 대해 매우 긍정적이었으며, "레지던트가 자신의 강점을 활용하고 성장 영역을 식별하기 위해 개별화된 학습 계획을 개발하도록 지원"하는 ACGME 공통 프로그램 요건을 달성했습니다.7
In approximately 1 minute, the computer program read, labeled, and organized several hundred narrative comments on 18 trainees and produced individualized spreadsheets for review by trainees and their mentors. The organized feedback guided trainees to make action plans to enhance their progress through Milestones 2.0 on self-determined subcompetencies. Impact metrics were not collected on this implementation. However, internal feedback was very positive on the exercise, and it achieved the ACGME Common Program Requirement to “assist residents in developing individualized learning plans to capitalize on their strengths and identify areas for growth.”7

토론
Discussion

이 연구는 인공지능이 GME 연수생에 대한 내러티브 피드백을 마일스톤 2.0의 하위 역량과 핵심 역량으로 정확하게 분류할 수 있음을 보여줍니다. NLP 모델은 3개 레지던트 프로그램의 마취과 전문의로부터 10,000개 이상의 코멘트을 사용하여 피드백 언어를 학습했습니다. 이 모델은 외부 평가 사이트에서도 잘 일반화되었습니다. 개념 증명 시험에서 이 모델은 최소한의 노력으로 대량의 내러티브 피드백을 빠르게 정리하고 마일스톤 자가 평가 연습에서 수련의를 성공적으로 안내하는 것으로 입증되었습니다. 이 연구에서 개발된 NLP 모델은 기존 전자 평가 시스템에 구축하여 수천 개의 평가를 쉽게 관리할 수 있도록 확장할 수 있으며, 이를 통해 교육생의 진행 상황에 대한 구조화된 피드백과 적시 평가를 제공하는 프로그램의 기능을 강화할 수 있습니다.
This study shows that artificial intelligence can accurately categorize narrative feedback on GME trainees into corresponding Milestone 2.0 subcompetencies and core competencies. An NLP model learned the feedback language from anesthesiologists at 3 residency programs using more than 10,000 comments. The model generalized well to an external evaluation site. A proof-of-concept trial demonstrated that the model rapidly organizes large volumes of narrative feedback with minimal effort, and it successfully guided trainees in a Milestone self-assessment exercise. An NLP model, such as developed in this study, could be built into existing electronic evaluation systems and scaled to manage thousands of evaluations with ease, thereby augmenting programs’ ability to provide structured feedback and timely assessments of trainee progress.

NLP 모델은 대부분의 하위 역량과 핵심 역량에 걸쳐 우수한 성능을 보였으며, 내부 및 외부 검증 모두에서 우수한 변별력을 보여준 여러 범주에서 우수한 성능을 보였습니다. 

  • PC3(훈련 데이터의 1.9%, AUC 0.76) 및 PBLI(훈련 데이터의 3.8%, AUC 0.75)와 같이 거의 사용되지 않는 몇 가지 범주에서도 우수한 성능을 보였습니다.
  • 이 모델은 인구통계학적 정보와 관련된 코멘트(예: "이것은 전기생리학 실험실에서 하루 동안의 평가입니다.", AUC 0.87)과 유용하지 않은 코멘트(예: "잘했어요.", AUC 0.87)을 예측하는 데 특히 우수한 성능을 보였습니다.

The NLP model performed well across most subcompetencies and core competencies with several categories demonstrating excellent discrimination on both internal and external validation.

  • It performed well even for several of the rarely used categories, such as PC3 (1.9% of training data, AUC 0.76) and PBLI (3.8% of training data, AUC 0.75).
  • The model performed particularly well for predicting comments related to demographic information (e.g., “This is an evaluation for a day in the electrophysiology lab,” AUC 0.87) and comments that were not useful (e.g., “Good job,” AUC 0.87).

SBP(AUC 0.59)의 성능이 최악이었습니다. Zhang 등은 교육생 평가의 피드백 코멘트에 포함된 감정과 관련 핵심 역량을 식별하려는 NLP 기법을 살펴본 결과, 마찬가지로 SBP가 예측하기 가장 어려운 역량이라는 사실을 발견했습니다.11 SBP에 대한 코멘트 분석의 어려움은 평가자 간 일치도 결과에서 잘 드러나는데, SBP 하위 역량 중 하나에 대한 평가자 간 일치도가 9.9%로 낮게 나타났습니다. 이 결과는 SBP와 관련된 의견을 예측하는 데 문제가 있는 것은 GME 커뮤니티가 SBP를 특성화하는 데 어려움을 겪고 있거나, 서술적 의견 이외의 평가 기법으로 SBP를 더 잘 평가할 수 있다는 것을 시사합니다. 
Performance was worst for SBP (AUC 0.59). Zhang et al explored NLP techniques that attempt to discern the sentiment and pertinent core competencies contained in feedback comments from trainee evaluations, and they similarly found that SBP was the most difficult competency to predict.11 The challenge of analyzing comments about SBP is underscored by our results for inter-rater agreement; inter-rater agreement was as low as 9.9% for one of the SBP subcompetencies. This finding suggests that the problem predicting comments related to SBP may be that the GME community has a hard time characterizing SBP or that SBP may be assessed better by evaluation techniques other than narrative comments.

전문가 라벨에 대한 전반적인 동의도는 보통 수준이었으며(Fleiss의 카파 0.44), 하위 역량 간 동의도에는 상당한 편차가 있었습니다. 일반적으로 PC 하위 역량에 대한 동의도가 가장 높았고, P와 SBP에 대한 동의도가 가장 낮았습니다. 하위 역량을 핵심 역량으로 통합했을 때 평가자 간 일치도는 소폭 개선되었지만 여전히 보통 수준이었습니다(Fleiss의 카파 0.50). 이러한 결과는 지속적인 교수진 개발의 필요성을 뒷받침하며, 이 프로젝트의 다음 반복에서는 트레이너 교육 환경에서 이러한 기회를 모색할 것입니다.
Overall agreement on expert labels was moderate (Fleiss’ Kappa 0.44), and there was substantial variability in agreement between subcompetencies. In general, agreement was highest for PC subcompetencies and lowest for P and SBP. When subcompetencies were pooled into core competencies, inter-rater agreement improved marginally but was still moderate (Fleiss’ Kappa 0.50). These results support the need for ongoing faculty development, and the next iteration of this project will seek to explore this opportunity in a train-the-trainer setting.

이 연구는 레지던트 프로그램의 지속적인 수련 과정 평가를 지원하기 위한 도구로 NLP를 사용하려는 이전의 노력을 기반으로 합니다. 여러 선행 연구에서 평가의 품질 또는 유용성을 예측하기 위해 NLP를 다루고 있지만,10,19,20 본 연구 결과에 따르면 교수진이 평가서를 작성하는 방법뿐만 아니라 평가서에 작성하는 내용을 대상으로 하는 것이 더 신중할 수 있음을 시사합니다. 유용하지 않거나 인구통계학적 내용에 관한 코멘트이 데이터의 30% 이상을 차지했습니다. CBME 평가를 목표로 하는 교수진 개발 이니셔티브는 필수적입니다.21 ACGME는 교수진 개발에는 교육기관에 맞는 구조화된 프로그램이 포함된다고 설명하며7 피드백 제공자를 위한 트레이너 양성 프로그램을 권장합니다.22 프로그램은 웹 기반 애플리케이션에 내장된 NLP 모델을 사용하여 교수진이 교육기관에 맞는 피드백 언어에 대해 구조적이고 신중한 연습을 할 수 있도록 지원할 수 있습니다.
This study builds on prior endeavors to use NLP as a tool to assist residency programs in the ongoing evaluation of trainee progress. While several prior studies address NLP to predict the quality or utility of evaluations,10,19,20 our results suggest that it may be as prudent to target what faculty write about in their evaluations, rather than only how they write them. Comments that were not useful or about demographic content made up more than 30% of the data. Faculty development initiatives aimed at CBME assessments are imperative.21 ACGME outlines that faculty development includes structured programming specific to an institution7 and recommends train-the-trainers programs for feedback providers.22 Programs could use NLP models built into web-based applications to facilitate structured, deliberate practice for faculty on feedback language consistent with their institution.

이 연구에는 몇 가지 한계가 있습니다. NLP 모델은 훈련에 사용된 데이터에 의해 제한됩니다. SBP와 같은 일부 범주에서는 평가자 간 일치도가 낮게 나타났습니다. 잘 훈련된 인공 지능 모델은 모호한 결과를 예측하는 데 제한적인 유용성을 가집니다. 이 연구에서 개발된 모델과 같은 모델은 ACGME 마일스톤에 대한 프로그램의 해석에 대해 직원을 교육하는 것을 목표로 하는 전문성 개발 활동과 병행해야 할 수도 있습니다. 또 다른 한계는 이 모델이 품질이나 유용성보다는 하위 역량과 역량을 학습하도록 훈련되었다는 점입니다. 따라서 알고리즘을 통합한 트레이너 교육 프로그램은 교수진이 형성적인 피드백보다는 특정 유행어나 문구를 작성하도록 장려할 수 있습니다. 데이터 세트에서 유용하지 않은 코멘트의 비율이 높다는 점을 고려할 때, 현재의 알고리즘은 평가자가 역량에 대해 더 구체적으로 작성하는 방법을 배우는 데 도움을 줌으로써 우선적으로 큰 가치를 더할 수 있습니다. 향후 연구에서는 (코멘트가 설명하는 역량과 무관하게 )실행 가능한 코멘트와 그렇지 않은 코멘트을 인식하는 별도의 모델을 쉽게 훈련할 수 있으며, 이를 현재 알고리즘과 결합하여 콘텐츠와 품질에 대한 동시 예측을 생성할 수 있습니다.
This study has several limitations. NLP models are limited by the data used to train them. Some categories, such as SBP, demonstrated poor inter-rater agreement. A well-trained artificial intelligence model has limited utility in predicting ambiguous outcomes. Models such as the one developed in this study may need to be paired with a professional development activity aimed at educating staff on a program’s interpretation of ACGME Milestones. Another limitation was that the model was trained to learn subcompetencies and competencies rather than quality or utility. Therefore, a train-the-trainer program incorporating the algorithm may encourage faculty to write certain buzzwords or phrases rather than formative feedback. Given the high proportion of comments that were not useful in the dataset, the present algorithm can add a great deal of value first by helping evaluators learn to write more specifically to competencies. A future study could easily train a separate model to recognize actionable comments vs not (independent of the competencies they may or may not describe), which could be paired with the present algorithm to produce simultaneous predictions on content and quality.

향후 작업에서 가장 중요하게 고려해야 할 사항은 이러한 모델을 책임감 있고 윤리적으로 배포하는 것입니다. 개념 증명 시험은 교육생이 자가 평가 연습을 할 수 있도록 설계되었습니다. 만약 이 모델이 훈련생의 진도에 대한 결정을 내리기 위해 설계된 방식으로 배포되었다면 알고리즘 개발의 특정 편향23,24 또는 내러티브 피드백 자체에 내재된 편향23-25으로 인해 재앙적인 결과를 초래할 수 있습니다. 
A major consideration for future work is responsible and ethical deployment of these models. The proof-of-concept trial was designed to guide trainees in a self-assessment exercise. If the model were deployed instead in a manner designed to make decisions on trainee progress, certain biases in algorithm development,23,24 or biases inherent in the narrative feedback itself,23–25 could have disastrous consequences.

결과 평가에 편향이 있을 가능성이 있었습니다. 라벨링 프로세스는 고유한 지식, 교육 및 GME 경험을 가진 10명의 리뷰어에게 의존했으며, 모델은 완전한 동의가 있는 데이터만을 사용하여 학습되었습니다. 이로 인해 평가 의견의 크기가 제한되고 모호성이 덜한 언어로 모델이 편향되었습니다. 그러나 최종 모델에는 여전히 10,000개가 넘는 개별 코멘트의 언어가 포함되었으며, 외부 검증을 통해 성능이 잘 일반화되었음을 확인할 수 있었습니다. 데이터 분석 수명 주기에서 많은 의료 서비스 관련 프로젝트에 부족한 중요한 단계는 모델 모니터링 및 피드백 루프입니다. 이 연구에서 설명한 것과 같은 알고리즘에 대한 향후 작업에서는 오분류의 영향을 완화하는 데 도움이 되는 다양한 데이터 세트와 모델 업데이트를 통한 지속적인 검증을 모색해야 합니다. 또한 모델 모니터링을 통해 기관 및/또는 프로그램 간의 일반화 가능성을 평가할 수 있으며, 성능 임계값을 정의하여 모델을 미세 조정하기 위한 재교육을 트리거할 수 있습니다. 또 다른 한계는 문장을 하나의 하위 역량으로만 제한하는 것입니다. 여러 문장이 두 개 이상의 하위 역량에 대해 말하고 있으며, 평가자에게는 레이블을 할당하는 구체적인 규칙이 제공되지 않았습니다. 따라서 여러 하위 역량이 적용되는 경우, 전문가가 특정 인지적 편견으로 인해 한 범주를 다른 범주보다 더 많이 선택했을 수 있습니다.
There was potential for bias in outcome assessment. The labeling process relied on 10 reviewers with unique knowledge, training, and GME experiences, and the model was trained only using data for which there was complete agreement. This restricted the size of evaluation comments and biased the model toward language that is less ambiguous. However, the final model still incorporated language from more than 10,000 individual comments, and external validation supports that performance generalizes well. A critical phase of the data analytics lifecycle that many health care–related projects lack is model monitoring and feedback loops. Future work on algorithms, such as described in this work, should explore ongoing validation with various datasets and model updating to help mitigate the impacts of misclassification. Model monitoring would also allow assessment of generalizability between institutions and/or programs, and performance thresholds could be defined to trigger retraining to fine-tune models. Another limitation is restricting sentences to just a single subcompetency. Several sentences speak to more than one subcompetency, and raters were not provided with specific rules to assign labels. Therefore, when multiple subcompetencies applied, certain cognitive biases may have contributed to experts choosing one category over another.

마지막으로, 마일스톤 2.0과 그에 수반되는 하위 역량이 포함 기간 동안 공개되었습니다. 대부분의 의견은 첫 번째 마일스톤 세트를 대상으로 했을 가능성이 높지만, 전문가들은 이를 마일스톤 2.0에 매핑했습니다. 이러한 접근 방식은 특정 범주에 편향성을 불러일으킬 수 있지만, 이러한 접근 방식은 추가적인 미래 지향적 검증을 용이하게 합니다.
Finally, Milestones 2.0 with their accompanying subcompetencies were released during the inclusion period. Most comments likely targeted the first set of Milestones, yet experts mapped them to Milestones 2.0. This approach may have introduced bias to certain categories, but this approach facilitates further prospective validation.

결론
Conclusions

이 연구는 4개의 교육 프로그램에 걸쳐 207명의 교수진이 169명의 마취과 수련의에 대한 25,714개의 서술적 코멘트를 검토했습니다. NLP 알고리즘은 3개의 마취과 GME 프로그램의 언어를 학습하도록 훈련되었으며, 대부분의 ACGME 하위 역량에 걸쳐 매우 우수한 성능을 보였습니다. 이 모델은 6개월간의 교육생 피드백을 신속하게 정리하여 자가 평가 연습을 안내하는 컴퓨터 프로그램에 구축되었습니다. 효과적인 자동화 프로세스를 개발하는 데 성공하면 마일스톤 2.0을 통해 개별 수련의가 발전함에 따라 레지던트 프로그램의 추적 기능을 향상시킬 수 있지만, 이러한 시스템이 책임감 있고 윤리적으로 배포되도록 하기 위해서는 상당한 작업이 필요합니다. 자연어 처리 방법은 내러티브 데이터를 복잡하게 분류하고 처리할 수 있으며, 이러한 방법을 CBME에 적용할 수 있는지에 대한 추가 조사가 필요합니다.

This study reviewed 25,714 narrative comments on 169 anesthesiology trainees from 207 faculty across 4 training programs. An NLP algorithm was trained to learn the language of 3 anesthesiology GME programs, and it performed very well across most ACGME subcompetencies. The model was built into a computer program which rapidly organized 6 months of trainee feedback to guide a self-assessment exercise. Success in developing an efficacious automated process could enhance the tracking capabilities of residency programs as individual trainees progress through Milestones 2.0, although substantial work is needed to make sure such systems are deployed responsibly and ethically. NLP methods are capable of complex categorization and processing of narrative data, and further investigation into these applications to CBME is warranted.


Acad Med. 2023 Apr 1;98(4):497-504. doi: 10.1097/ACM.0000000000005115. Epub 2022 Dec 5.

Competency-Based Assessments: Leveraging Artificial Intelligence to Predict Subcompetency Content

Affiliations collapse

1G.J. Booth is assistant professor, Uniformed Services University of the Health Sciences, and residency program director, Department of Anesthesiology and Pain Medicine, Naval Medical Center Portsmouth, Portsmouth, Virginia.

PMID: 36477379

DOI: 10.1097/ACM.0000000000005115

Abstract

Purpose: Faculty feedback on trainees is critical to guiding trainee progress in a competency-based medical education framework. The authors aimed to develop and evaluate a Natural Language Processing (NLP) algorithm that automatically categorizes narrative feedback into corresponding Accreditation Council for Graduate Medical Education Milestone 2.0 subcompetencies.

Method: Ten academic anesthesiologists analyzed 5,935 narrative evaluations on anesthesiology trainees at 4 graduate medical education (GME) programs between July 1, 2019, and June 30, 2021. Each sentence (n = 25,714) was labeled with the Milestone 2.0 subcompetency that best captured its content or was labeled as demographic or not useful. Inter-rater agreement was assessed by Fleiss' Kappa. The authors trained an NLP model to predict feedback subcompetencies using data from 3 sites and evaluated its performance at a fourth site. Performance metrics included area under the receiver operating characteristic curve (AUC), positive predictive value, sensitivity, F1, and calibration curves. The model was implemented at 1 site in a self-assessment exercise.

Results: Fleiss' Kappa for subcompetency agreement was moderate (0.44). Model performance was good for professionalism, interpersonal and communication skills, and practice-based learning and improvement (AUC 0.79, 0.79, and 0.75, respectively). Subcompetencies within medical knowledge and patient care ranged from fair to excellent (AUC 0.66-0.84 and 0.63-0.88, respectively). Performance for systems-based practice was poor (AUC 0.59). Performances for demographic and not useful categories were excellent (AUC 0.87 for both). In approximately 1 minute, the model interpreted several hundred evaluations and produced individual trainee reports with organized feedback to guide a self-assessment exercise. The model was built into a web-based application.

Conclusions: The authors developed an NLP model that recognized the feedback language of anesthesiologists across multiple GME programs. The model was operationalized in a self-assessment exercise. It is a powerful tool which rapidly organizes large amounts of narrative feedback.

전공의의 임상추론 문서의 평가 자동화를 위한 머신러닝 모델 개발 및 타당화(J Gen Intern Med. 2022)
Development and Validation of a Machine Learning Model for Automated Assessment of Resident Clinical Reasoning Documentation 
Verity Schaye, MD, MHPE1,2 , Benedict Guzman, MS1, Jesse Burk-Rafel, MD,MRes1, Marina Marin, MSc1, Ilan Reinstein, MS1, David Kudlowitz, MD1, LouisMiller,MD3, Jonathan Chun, MD4, and Yindalon Aphinyanaphongs, MD, PhD1 

 

소개
INTRODUCTION

전자 의료 기록(EHR)의 주요 역할은 우선순위에 따른 감별 진단을 포함한 환자의 임상 경과를 명확한 추론 설명과 함께 전달하는 것입니다.1 그러나 EHR의 등장 이후 문서화 품질이 저하되었습니다.2,3,4,5 노트는 임상적 추론(CR)의 효과적인 전달이 부족한 경향이 있으며, 수련의는 감독 교수진의 시간 제약CR 문서에 대한 공유된 멘탈 모델의 부재로 인해2,3,4,5 피드백을 자주 받지 못합니다.6,7,8,9,10 문서화 품질을 평가하기 위한 여러 노트 평가 도구가 존재하지만 평가자 교육과 노트의 수동 평가에 많은 시간이 소요됩니다.4,11,12,13,14,15 
A primary role of the electronic health record (EHR) is to communicate the patient’s clinical course including a prioritized differential diagnosis with clear explanation of reasoning.1 However, since the advent of EHRs, there has been a decline in documentation quality.2,3,4,5 Notes tend to lack effective communication of clinical reasoning (CR), and trainees infrequently receive feedback,2,3,4,5 owing to time constraints of supervising faculty and lack of a shared mental model of CR documentation.6,7,8,9,10 Several note-rating instruments exist to assess documentation quality, but require time-consuming rater training and manual rating of notes.4,11,12,13,14,15

머신러닝(ML)과 자연어 처리(NLP)는 CR 문서 평가를 자동화할 수 있는 잠재력을 제공합니다.16,17,18,19 인공 지능의 한 분야인 ML은 컴퓨터 시스템과 통계 알고리즘을 사용하여 대량의 데이터에서 패턴을 식별하여 자동화된 분류 모델을 생성합니다.20 NLP는 ML과 언어학의 결합으로 텍스트 데이터를 통해 자연어를 연구합니다.21 문서화 개선 및 감별 진단 생성을 위해 ML과 NLP를 사용하는 것이 제안되었지만, 이 영역에서 구현된 보고는 제한적입니다.17,18,19,21,22,23,24,25,26,27,28,29,30,31 
Machine learning (ML) and natural language processing (NLP) offer the potential to automate assessment of CR documentation.16,17,18,19 ML, a domain of artificial intelligence, uses computer systems and statistical algorithms to identify patterns in large amounts of data to create automated classification models.20 NLP is a combination of ML and linguistics for studying natural human language through text data.21 While use of ML and NLP to improve documentation and differential diagnosis generation have been suggested, there are limited reports of implementation in this domain.17,18,19,21,22,23,24,25,26,27,28,29,30,31

미국 의사 면허 시험 2단계 임상 기술 시험에서 메모를 평가하기 위해 의사 위원회가 미리 결정한 메모에서 필수 필수 개념의 존재를 감지하는 NLP 기반 평가가 개발되었습니다.22,23 유사하게, Cianciolo 등은 표준화된 환자 진료에 대한 의대생 메모에 점수를 매기기 위해 NLP 기반 ML 모델을 개발했습니다.31 감별 진단에 대한 피드백을 제공하기 위해 Khumrin 등은 문서화된 임상 관찰을 기반으로 진단 가능성을 예측하는 ML 모델을 개발했습니다.24,25 이 모델은 하나의 주요 관심사(복통)에 초점을 맞추고 5가지 진단 가능성을 예측했습니다. 표준화된 사례 또는 고정된 주요 관심사 집합에서 CR을 평가하기 위해 NLP와 ML을 적용하면, 진단적으로 다양한 임상 환경에서는 적용되지 않는 예상 언어를 미리 지정할 수 있습니다. 
To evaluate notes in the United States Medical Licensing Examination Step 2 Clinical Skills Exam, an NLP–based assessment was developed to detect presence of essential required concepts in notes pre-determined by a committee of physicians.22,23 Similarly, Cianciolo et al. developed an NLP–based ML model to score medical student notes for standardized patient encounters.31 To give feedback on differential diagnosis, Khumrin et al. developed a ML model that predicts the likelihood of a diagnosis on the basis of documented clinical observations.24,25 Their model focused on one chief concern (abdominal pain) and predicted the likelihood of five diagnoses. These applications of NLP and ML to assess CR in standardized cases or a fixed set of chief concerns permit a preset designation of expected language which would not be applicable in the diagnostically varied clinical environment.

우리가 아는 한, 임상 환경에서 CR 문서를 자동으로 분류한 연구는 없습니다. 이 연구에서는 레지던트 입원 기록에 저품질 또는 고품질 CR 문서가 있는지 분류하는 ML 모델을 개발하고 Kane의 타당성 프레임워크를 사용하여 초기 타당성 증거를 수집했습니다.32 
To our knowledge, no studies have described automated classification of CR documentation in the clinical environment. In this study, we developed a ML model that classifies whether a resident admission note has low- or high-quality CR documentation and collected initial validity evidence using Kane’s validity framework.32

방법
METHOD

설정 및 연구 모집단
Setting and Study Population

뉴욕시 소재 한 학술 의료 센터의 통합 EHR(에픽 시스템즈, 위스콘신주 베로나)에서 두 가지 노트 세트가 검색되었습니다. 

  • (1) 2014년 7월부터 2019년 6월까지 내과(IM) 레지던트 및 하위 전문과 펠로우의 입원 기록으로 구성된 ML 개발 데이터 세트
  • (2) 2019년 7월부터 2020년 3월까지 레지던트 입원 기록으로 구성된 인간 검증 및 후향적 데이터 분석 데이터 세트

이 연구는 뉴욕대학교 그로스만 의과대학 기관윤리심의위원회의 승인을 받았습니다. 
Two distinct note sets were retrieved from an integrated EHR (Epic Systems, Verona, WI) at one academic medical center in New York City:

  • (1) ML development dataset comprised of internal medicine (IM) residents’ and subspecialty fellows’ admission notes from July 2014 to June 2019 and
  • (2) human validation and retrospective data analysis dataset comprised of resident admission notes from July 2019 to March 2020.

The study was approved by the NYU Grossman School of Medicine institutional review board.

인간 평가(개정된 DEA 평가)
Human Rating (Revised-DEA Assessment)

지도 머신러닝 모델을 생성하려면 먼저 신뢰할 수 있는 골드 스탠다드에 따라 데이터에 레이블을 지정해야 합니다(그림 1).33 저희는 CR 문서 품질에 대한 골드 스탠다드로 Revised-IDEA 도구의 DEA 구성 요소(이하 Revised-DEA 도구)를 사용했습니다. Revised-IDEA 도구4개의 영역(해석적 요약, 감별 진단, 추론 설명, 대체 진단 설명)에 걸쳐 검증된 노트 평가 도구로, 총점 범위는 0~10점, Revised-DEA 하위 점수는 0~6점입니다.34 해석적 요약은 CR의 중요한 측면이지만, 고품질 해석적 요약을 만드는 구성 요소가 너무 복잡하여 초기 ML 개발 단계에서 포착하기 어렵기 때문에, 이 단계에서는 이를 통합하지 않았습니다.  
To create a supervised ML model, data must first be labeled by a reliable gold standard (Fig. 1).33 We used the DEA component (the Revised-DEA tool) of the Revised-IDEA tool as our gold standard for CR documentation quality. The Revised-IDEA tool is a validated note-rating instrument across four domains (Interpretive summary, Differential diagnosis, Explanation of reasoning, Alternative diagnoses explained) with a total score range of 0–10 for the Revised-IDEA score and 0–6 for the Revised-DEA subscore.34 While the interpretive summary is an important aspect of CR, we did not incorporate it at this stage as the components that make for a high-quality interpretive summary were too complex to capture for the initial ML development.

CR 전문 지식을 갖춘 4명의 의사(IM 치프 레지던트, 호스피탈리스트 2명, 심장 전문의(IM 레지던트 프로그램의 수석 부프로그램 책임자)가 Revised-DEA 도구를 사용하여 입원 기록을 검토했습니다. 도구의 특정 앵커를 고려할 때 최소한의 교육만 필요했습니다.34 Kane의 타당도 프레임워크는 채점, 일반화, 추정, 함의의 네 가지 영역에서 타당도 논증의 추론을 식별합니다(그림 2).32 평가자 선정 및 교육 과정은 Kane 프레임워크의 점수 추론에 대한 타당성 증거를 제공했습니다. 

Four physicians with CR expertise (an IM chief resident, two hospitalists, and a cardiologist (who was the senior associate program director for the IM residency program)) reviewed admission notes using the Revised-DEA tool. Minimal training was required given the tool’s specific anchors.34 Kane’s validity framework identifies inferences in the validity argument in four domains: scoring, generalization, extrapolation, and implications (Fig. 2).32 The process of rater selection and training provided validity evidence for the scoring inference of Kane’s framework.

ML 개발 데이터세트 노트는 비식별화되었고, 의사 패널이 평가 및 계획 섹션을 평가했습니다. 처음에는 무작위로 노트를 선택했지만, Revised-DEA 도구에서 평가한 고품질 노트의 수가 적었습니다. 따라서 의도적인 샘플링이 필요했습니다. 1차 평가에서 높은 점수를 받은 펠로우의 노트와 레지던트의 추가 노트를 평가하여 최종 ML 개발 데이터세트에 충분한 수의 고품질 노트를 확보했습니다(최종 데이터세트에서 n = 414개 노트). 평가자 간 신뢰도는 먼저 3명의 평가자가 414개의 노트 중 10%를 평가하고, 나머지는 한 명의 평가자가 평가함으로써 확립되었습니다. 의도적인 샘플링 과정과 평가자 간 신뢰도는 케인 프레임워크의 일반화 추론에 대한 타당성 증거를 제공했습니다(그림 2).

The ML development dataset notes were deidentified, and the assessment and plan sections rated by the panel of physicians. At first, notes were randomly selected; however, the number of high-quality notes as rated by the Revised-DEA tool was low. Therefore, purposive sampling was required: notes from fellows and additional notes from residents, with high-quality notes in the first round of rating, were rated to ensure a sufficient number of high-quality notes in the final ML development dataset (n = 414 notes in the final dataset). Interrater reliability was established by first rating 10% of the 414 notes by three raters; the remainder was rated by a single rater. The process of purposive sampling and the interrater reliability provided validity evidence for the generalization inference of Kane’s framework (Fig. 2).

고품질 CR에 대한 수정-DEA 커트라인은 심사위원이 최소 및 최대 실패율과 허용 가능한 합격 점수를 결정하여 최종 합격 커트라인 점수를 결정하는 규범 참조 기준과 기준 참조 기준을 조합하여 사용하는 Hofstee 기준 설정에 의해 결정되었습니다.35 패널의 각 의사는 최소 허용 가능 및 최대 허용 가능한 수정-DEA 커트라인 점수 및 실패율을 결정했습니다. Revised-DEA 점수가 3점 이상(6점 만점)이면 높은 품질로 간주되었습니다(그림 3). 이 표준 설정 프로세스는 케인 프레임워크의 함의 추론에 대한 타당성 증거를 제공했습니다(그림 2). 

Revised-DEA cutoff for high-quality CR was determined by Hofstee standard setting which utilizes a combination of norm-referenced and criterion-referenced standards where judges decide on the minimum and maximum failure rates and acceptable pass mark to determine the final passing cutoff score.35 Each of the physicians on the panel determined the minimally acceptable and maximally acceptable Revised-DEA cutoff score and failure rate. A Revised-DEA score of ≥ 3 (out of 6) was deemed high quality (Fig. 3). This standard setting process provided validity evidence for the implication inference of Kane’s framework (Fig. 2).

노트 전처리
Note Preprocessing

ML 개발 데이터 세트의 문서 패턴을 검토한 결과, 노트 작성 구조와 길이가 다양하다는 사실을 발견했습니다. 우리는 [주요 문제에 대한 감별진단을 반영하는 평가 및 계획의 부분]을 [리드 및 대체 진단에 대한 설명]과 분리하려고 노력했습니다. 이러한 섹션은 일반적으로 시작 키워드(예: '~을 보였다', '입원하였다')로 시작하고 구분 기호(예: 두 번째 '#'[해시 기호]) 또는 끝 키워드(예: 'ppx', '코드 상태')로 끝맺습니다. 시작 및 종료 키워드의 전체 목록은 두 명의 검토자가 결정했습니다(부록 1). 평가에서 원하는 부분으로 메모를 잘라내기 위해 총 5가지 방법이 개발되었습니다(부록 2).
Review of documentation patterns in the ML development dataset revealed variability in note writing structure and length. We sought to isolate the portion of the assessment and plan reflecting the differential for the main problem with the explanation of the lead and alternative diagnoses. Such sections typically began with a start keyword (e.g., “presents with,” “admitted”) and terminated with either a delimiter (e.g., second “#” [hash sign]) or an end keyword (e.g., “ppx,” “code status”). A complete list of start and end keywords was determined by two human reviewers (Appendix 1). A total of five methods were developed to truncate the notes to the desired portion of the assessment (Appendix 2).

피쳐 엔지니어링
Feature Engineering

[잘린 임상 노트]는 (규칙 기반 및 ML 기술을 사용하여 구조화되지 않은 임상 텍스트에서 정보를 추출하는 오픈 소스 NLP 시스템인) cTAKES 4.0.0에서 처리되었습니다.36 cTAKES는 해부학적 부위, 약물, 질병/장애, 징후/증상, 영상 검사 등의 [명명된 개체]를 동일한 의미를 가진 개념에 대한 개념 고유 식별자(CUI)를 사용하여 식별합니다. 또한 두 명의 의사가 [ML 개발 데이터세트]를 검토하여 CR을 나타내는 단어와 구문(즉, 우선순위가 지정된 감별 진단을 전달할 때 일반적으로 결합어로 사용되는 단어와 구문) 목록을 선별했습니다. 이 검토를 통해 '가장 가능성이 높은', '일치하는', '높은 의심' 등의 총 91개의 단어나 문구가 도출되었습니다(부록 3).
Truncated clinical notes were processed in cTAKES 4.0.0, an open-source NLP system that uses rule-based and ML techniques to extract information from unstructured clinical text.36 cTAKES identifies named entities such as anatomical sites, drugs, diseases/disorders, signs/symptoms, and imaging tests—each with a concept unique identifier (CUI) for concepts with the same meaning. Additionally, two physicians reviewed the ML development dataset and curated a list of words and phrases that conveyed CR (i.e., those typically used as a conjunction in communicating prioritized differential diagnoses). This review yielded 91 words or phrases in total, such as “most likely,” “consistent with,” and “high suspicion” (Appendix 3).

용어 빈도 역 문서 빈도(분석 대상 텍스트에서 특정 단어나 구가 얼마나 중요한지를 나타내는 데 사용되는 NLP 기법)를 통해 ML 모델에 대한 입력 변수(주요 관심사, 잘린 텍스트 길이, 해부학적 부위 언급, 약물 언급, 시술 언급, 원시 텍스트의 숫자 표현 등이)를 여러 번 반복하여 테스트했습니다. 그러나 이러한 입력 변수를 사용하면 다음을 최종적으로 선택한 3가지 변수를 사용한 모델보다 성능이 더 떨어졌습니다.

  • (1) 고유한 CUI를 가진 질병/장애 명명 개체의 수,
  • (2) CR을 전달한 단어나 구의 수,
  • (3) 질병/장애로 명명된 개체에서 5단어 범위 내에서 CR을 전달한 단어나 구의 개수로, 이러한 단어나 구가 CR을 전달하기 위해 사용되었을 가능성이 높은 시기를 구분하기 위한 것입니다.

종속 변수는 CR 노트 품질로, 사람의 평가에 따라 낮은 품질(Revised-DEA 점수 0~2점) 또는 높은 품질(Revised-DEA 점수 3~6점)로 이분화했습니다.
There were multiple iterations of input variables tested for the ML models including chief concern, truncated text length, anatomical site mention, medication mention, procedure mention, and numerical representations of the raw text via term frequency inverse document frequency (an NLP technique used to represent how important a specific word or phrase is in the text being analyzed). However, utilizing these input variables yielded worse performance than the models with the 3 finally selected variables:

  • (1) counts of disease/disorder named entities with unique CUIs;
  • (2) counts of words or phrases that conveyed CR; and
  • (3) counts of words or phrases that conveyed CR within a 5-word window frame from a disease/disorder named entity, to differentiate when these words or phrases were likely used to convey CR.

The dependent variable was CR note quality, binarized as low quality (Revised-DEA score 0–2) or high quality (Revised-DEA score 3–6) as determined by the human rating.

모델 선택 및 평가
Model Selection and Evaluation

ML 개발 데이터 세트는 ML 모델 개발의 표준 절차에 따라 훈련 데이터 세트(71%, 294개 노트)와 검증 데이터 세트(29%, 120개 노트)로 구분되었습니다. 모델 훈련은 훈련 데이터세트에서 반복적으로 수행된 다음, 과적합을 방지하고 일반화 가능성을 높이기 위해 이전에 본 적이 없는 검증 데이터세트에서 모델 성능을 테스트합니다.37 노트 품질을 분류하기 위해 세 가지 종류의 모델을 테스트했습니다:

  • (1) 로지스틱 회귀(해석 가능성, 즉 분류 결정을 이해하기 쉽도록),
  • (2) 단순 신경망(보다 복잡한 비선형 패턴을 학습하기 위한 다층 퍼셉트론),
  • (3) 앙상블 모델(예측 정확도는 높지만 해석 가능성이 떨어지는 랜덤 포레스트 및 극한 그라데이션 부스팅).

The ML development dataset was divided into a training dataset (71%, 294 notes) and validation dataset (29%, 120 notes)—standard procedure for ML model development. Model training occurs iteratively on the training dataset, then model performance is tested on the never-before-seen validation dataset, to counter overfitting and promote generalizability.37 Three classes of models were tested to classify note quality:

  • (1) logistic regression (for interpretability, i.e., ease of comprehending classification decisions);
  • (2) simple neural network (multilayer perceptron to learn more complex nonlinear patterns); and
  • (3) ensemble models (random forest and extreme gradient boosting for high predictive accuracy but reduced interpretability).

모델 출력은 0과 1 사이의 확률로 제공되었으며, 0.50을 기본 컷오프 값으로 설정했습니다(0.50 이상 고품질, 0.50 미만 저품질). 모델 성능은 이진 분류 작업에 대한 표준 지표인 수신기 작동 특성 곡선 아래 면적(AUROC)(컷오프 값에 관계없이 모델이 클래스를 얼마나 잘 구분하는지), 평균 정밀도(또는 양성 예측값, PPV) 및 정확도(둘 다 컷오프 값에 따라 달라짐)를 사용하여 평가되었습니다.38
Model outputs were provided as probabilities (ranging between 0 and 1), with 0.50 as the default cutoff value (> 0.50 high quality and < 0.50 low quality). Model performance was evaluated using standard metrics for binary classification tasks: area under the receiver operating characteristic curve (AUROC) (how good a model distinguishes between classes regardless of cutoff value), and average precision (or positive predictive value, PPV) and accuracy (both dependent on the cutoff value).38

인간 검증 및 후향적 데이터 세트
Human Validation and Retrospective Dataset

이 모델은 새로운 개별 입원 기록 세트(인간 검증 및 후향적 데이터 세트)에 대해 실행되었습니다(n = 9591). 인적 검증의 경우, 의사 검토자 중 한 명이 ML 결과를 보지 못한 채 Revised-DEA 도구를 사용하여 무작위로 선정된 205개의 메모를 평가했습니다. 초기 인간 평가 단계에서 이미 평가자 간 신뢰성이 확립되었기 때문에 이 단계는 한 명의 평가자만 수행했습니다. Revised-DEA 점수와 ML 모델 결과는 Cohen의 카파를 사용하여 비교했습니다. 이 후향적 데이터 세트를 사용하여 ML 모델의 기본 확률 컷오프인 0.5를 새로운 임계값으로 수정하여 민감도를 낮추면서 모델의 특이도를 최대화했습니다. 본적 없는 새로운 데이터에 대해 0.55의 확률 컷오프가 선택되어 70%의 민감도와 80%의 PPV를 목표로 삼았습니다.
The model was run on a new set of distinct admission notes (the human validation and retrospective dataset) (n = 9591). For human validation, one of the physician reviewers, blinded to ML output, rated a random selection of 205 of these notes using the Revised-DEA tool. Only one reviewer performed this round as interrater reliability had already been established in the initial human rating phase. The Revised-DEA score and the ML model output were compared using Cohen’s kappa. Using this retrospective dataset, the default probability cutoff of 0.5 for the ML model was modified to a new threshold to maximize the model’s specificity at a small cost to sensitivity. A probability cutoff of 0.55 was selected for new, unseen data to target a sensitivity of 70% and a PPV of 80%.

데이터 분석
Data Analysis

모든 데이터 전처리, 모델링 및 시각화는 Python(버전 3.6.6, Python Software Foundation)의 Anaconda(버전 5.3.0, Anaconda Inc., 텍사스주 오스틴) 배포판을 사용하여 수행되었습니다. 이 연구에 사용된 라이브러리에는 판다(pandas), 넘피(numpy), 사이킷-런(scikit-learn), 매트플롯리브(matplotlib), xgboost 및 해당 라이브러리 종속성이 포함되었습니다. 
All data preprocessing, modeling, and visualization were performed using the Anaconda (version 5.3.0; Anaconda Inc., Austin, TX) distribution of Python (version 3.6.6; Python Software Foundation, https://www.python.org). Libraries utilized in this study included pandas, numpy, scikit-learn, matplotlib, xgboost, and their respective library dependencies.

설명적 통계, 클래스 내 상관관계, 코헨의 카파를 포함한 비식별화된 데이터의 분석은 SPSS v25(미국 일리노이주 시카고)를 사용하여 완료되었습니다. 선형 추세에 대한 맨텔-헨젤 카이제곱 검정을 사용해 졸업 연도(PGY)와 노트 품질 간의 관계를 조사했습니다.
Analysis of deidentified data including descriptive statistics, intraclass correlation, and Cohen’s kappa was completed with SPSS v25 (Chicago, IL, USA). The Mantel-Haenszel chi-square test for linear trend was used to examine the relationship between post-graduate year (PGY) and note quality.

결과
RESULTS

인적 평가
Human Rating

세 명의 평가자가 채점한 노트 간의 클래스 내 상관관계는 0.84(95% CI 0.74-0.90)였습니다. ML 개발 데이터세트에서 Revised-DEA 등급을 기준으로 195개(47%)의 노트가 높은 품질, 219개(53%)의 노트가 낮은 품질로 분류되었습니다.
Intraclass correlation was 0.84 (95% CI 0.74–0.90) among notes scored by three raters. In the ML development dataset, 195 notes (47%) were high quality and 219 notes (53%) were low quality by Revised-DEA rating.

모델 성능
Model Performance

테스트한 모델 중 로지스틱 회귀 모델과 랜덤 포레스트 모델의 성능 측정값이 가장 높았습니다(표 1). 로지스틱 회귀 모델은 AUROC가 0.88, PPV가 0.68, 평균 정확도가 0.79로 우수한 해석 가능성을 고려하여 선택되었습니다.39
Among the models tested, logistic regression and random forest models had the highest performance measures (Table 1). The logistic regression model with an AUROC of 0.88, a PPV of 0.68, and an average accuracy of 0.79 was selected given its superior interpretability.39

인간 검증
Human Validation

205개의 보이지 않는 검증 세트에서 인간과 ML 평가 간의 평가자 간 신뢰도에 대한 코헨의 카파는 0.67로, 케인의 프레임워크에서 외삽 타당성 증거를 제공했습니다(그림 2).
Cohen’s kappa was 0.67 for interrater reliability between human and ML ratings in the unseen validation set of 205 notes, thus providing extrapolation validity evidence in Kane’s framework (Fig. 2).

후향적 데이터 세트
Retrospective Dataset

후향적 데이터세트에는 295명의 레지던트가 작성한 9591개의 입원 노트(레지던트당 평균 32.5개, 범위는 1-245개)가 있었으며, 이 중 31.1%의 노트가 ML 모델에 의해 높은 품질로 분류되었습니다. 노트 품질은 PGY별로 27.0%(PGY1)에서 31.0%(PGY2)로, 39.0%(PGY3)로 증가했습니다(맨텔-헨젤 테스트 추세 p < .001). 후향적 데이터 세트에는 50가지가 넘는 주요 우려 사항이 있었습니다. 가장 흔한 것은 호흡곤란(11.0%), 기타(7.5%), 상세불명(6.0%), 흉통(6.0%), 복통(4.0%), 낙상(3.0%), 정신 상태 변화(2.0%), 발열(2.0%), 쇠약(2.0%)이었으며 나머지 주요 우려 사항은 각각 2% 미만으로 나타났습니다. 이 대규모 후향적 데이터 세트에 포함된 광범위한 주요 우려 사항과 눈에 띄는 전공의들은 케인 프레임워크의 일반화 추론에 대한 추가적인 타당성 증거를 제공했습니다(그림 2).
In the retrospective dataset, there were 9591 admission notes written by 295 distinct residents (mean 32.5 notes per resident, range 1–245); 31.1% of the notes were classified as high quality by the ML model. Note quality increased by PGY from 27.0% (PGY1) to 31.0% (PGY2) to 39.0% (PGY3) (Mantel-Haenszel test of trend p < .001). There were over 50 chief concerns in the retrospective dataset. The most common were shortness of breath (11.0%), other (7.5%), unspecified (6.0%), chest pain (6.0%), abdominal pain (4.0%), fall (3.0%), altered mental status (2.0%), fever (2.0%), and weakness (2.0%); the remainder of chief concerns occurred < 2% each. The breadth of chief concerns and distinct residents included in this large retrospective dataset provided further validity evidence for the generalization inference of Kane’s framework (Fig. 2).

토론
DISCUSSION

우리는 레지던트 입원 기록에서 CR 문서 품질을 자동으로 분류하기 위해 Kane의 프레임워크를 사용하여 NLP 기반 ML 모델에 대한 타당성 증거를 개발하고 수집했습니다. 이 연구는 ML과 NLP를 사용하여 표준화된 사례에서 CR 문서를 평가하는 이전 연구를 뛰어넘는 것으로, 우리의 모델이 광범위한 주요 관심사가 있는 임상 환경에 적용되고 사전 설정된 임상 정보 목록에 의존하지 않기 때문입니다22,23,24,25,31 우리가 아는 한 이러한 연구는 처음입니다. 저희 기관의 CR 문서화 품질은 전반적으로 낮은 수준이었으며, 이는 널리 보고된 것과 유사했습니다.2,3,4,5 295명의 레지던트가 작성한 후향적 데이터 세트의 9591개 메모 중 31.1%만이 고품질의 CR 문서화를 보여주었습니다. 수련이 더 진행된 레지던트일수록 더 높은 품질의 CR 문서를 보유하고 있었습니다. ML 개발 데이터세트에는 의도적인 샘플링이 사용되었기 때문에 고품질 노트의 비율이 더 높았습니다. 
We developed and collected validity evidence with Kane’s framework for an NLP–based ML model to automatically classify CR documentation quality in resident admission notes. This study goes beyond prior work using ML and NLP to assess CR documentation in standardized cases as our model is applied in the clinical environment with a wide range of chief concerns and is not dependent on a preset list of clinical information22,23,24,25,31—the first study to our knowledge to do so. We found at our institution low overall levels of CR documentation quality, similar to what has been widely reported.2,3,4,5 Only 31.1% of the 9591 notes in the retrospective dataset from 295 residents demonstrated high-quality CR documentation. Residents further along in training did have higher-quality CR documentation. The ML development dataset had a higher proportion of high-quality notes owing to the purposive sampling used.

우리는 케인 프레임워크의 네 가지 영역 모두에서 이 새로운 평가 도구에 대한 타당성 증거를 수집했습니다.

  • 채점(평가자가 어떻게 점수를 부여하는가)에 대한 증거
    • 평가자 선정 및 교육에 대한 설명
  • 일반화(평가가 이론적 테스트 세계에서 가능한 모든 항목의 성과를 대표한다는 것을 입증)에 대한 증거
    • 의도적 샘플링 과정,
    • 인간 평가자 간 신뢰도,
    • 광범위한 주요 관심사와 레지던트를 대표하는 후향적 데이터 세트의 대규모 표본 규모
  • 외삽(이론적 테스트 세계에서의 성과는 관련 구성에 대한 실제 세계의 성과를 반영)에 대한 증거는
    • ML 모델 결과물이 동일한 현상에 대한 인간 평가 참조 표준 측정치(Revised-DEA 점수)와 얼마나 잘 상관관계가 있는지, 그리고
    • 전문가와 초보자를 비교한 결과, 교육이 많이 진행된 레지던트가 더 높은 품질의 CR 문서를 작성했다는 사실에서 알 수 있듯이, 마지막으로 전문가와 초보자를 비교한 결과입니다
  • 함의(평가 데이터가 사용되는 방법)에 대한 증거는
    • 고품질 CR 문서의 컷오프 점수를 결정하는 Hofstee 표준 설정에 대한 

We collected validity evidence for this novel assessment tool in all four domains of Kane’s framework. We provided

  • evidence on scoring (how an assessor gives a single score) with
    • the description of rater selection and training;
  • evidence on generalization (demonstrating the assessment is representative of performance on all possible items in a theoretical test universe) with
    • the process of purposive sampling,
    • interrater reliability among human raters, and
    • the large sample size of the retrospective dataset with a wide breadth of chief concerns and residents represented;
  • evidence on extrapolation (performance in the theoretical test universe reflects performance in the real world on related constructs) 
    • with how well the ML model output correlated with a human rating reference-standard measure of the same phenomenon (the Revised-DEA score) and
    • with expert-novice comparison as evidenced by the fact that residents further along in training had higher-quality CR documentation; and lastly,
  • evidence on implications (how the assessment data will be used) with
    • Hofstee standard setting to determine cutoff scores for high-quality CR documentation.32

우리는 ACGME 하위 역량 대인관계 및 의사소통 기술 3(건강 기록의 적절한 활용 및 작성40)과 같은 다른 관련 구성 요소와의 관계를 포함하여 타당성 증거를 계속 수집하고 시행의 영향을 연구할 것입니다. 그러나 평가의 의도가 형성적 피드백이라는 점을 고려할 때, 시범 시행을 보증하기에 충분한 타당성 증거가 수집되었다고 판단하여32 대화형 대시보드에 표시되는 ML 모델 출력을 사용하여 우리 기관의 IM 레지던트에게 피드백을 제공하기 시작했습니다(그림 4). EHR에서 입원 기록을 매일 추출하여 ML 모델로 분석하고 대시보드에 시각화하여 출력합니다. 2개월 동안 2주 야간 로테이션(입원 기록의 대부분이 작성되는 시기)의 중간에 이 대시보드를 통해 레지던트에게 중간 피드백을 제공하는 시범 서비스를 실시했습니다. 레지던트들은 고품질 CR 문서의 중요성과 (개정된-IDEA 프레임워크에 대한) 공유된 정신 모델을 개괄적으로 설명하는 간단한 PowerPoint 프레젠테이션과 자신의 데이터를 보는 방법에 대한 지침이 포함된 대시보드 개요가 포함된 소개 이메일을 받았습니다. 이 교육이 시행되기 전에는 레지던트들에게 개정-IDEA 프레임워크나 CR 문서화에 대한 기타 명시적인 커리큘럼을 교육하지 않았습니다. 레지던트들은 Revised-IDEA 프레임워크를 배우고 노트에 대한 피드백을 받는 것이 도움이 되었다고 보고했습니다. 그러나 이 대시보드를 교수진과 함께 사용하고 더 구체적인 피드백을 ML 모델에 통합하는 것이 향후 반복 작업의 목표라는 일관된 개선 주제가 있었습니다. 

We will continue to collect validity evidence including relation to other related constructs such as ACGME sub-competency interpersonal and communication skills 3 (Appropriate utilization and completion of health records40) and studying the impact of implementation. However, given the intent of the assessment is for formative feedback, we believe sufficient validity evidence has been gathered to warrant pilot implementation32 and have begun providing feedback to IM residents at our institution using ML model output displayed on an interactive dashboard (Fig. 4). Admission notes from the EHR are extracted daily, analyzed by the ML model, and output visualized on the dashboard. For a 2-month period, we piloted providing residents mid-block feedback with this dashboard halfway through their 2-week night rotation (when the majority of admission notes are written). Residents received an introductory email including a brief PowerPoint presentation overviewing the importance of and a shared mental model for (the Revised-IDEA framework) high-quality CR documentation and an overview of the dashboard with instructions of how to view their own data. Prior to this implementation, residents were not taught the Revised-IDEA framework or other explicit curriculum on CR documentation. The residents reported learning the Revised-IDEA framework and receiving feedback on their notes were helpful. However, a consistent theme for improvement was to use this dashboard with faculty and to incorporate more specific feedback into the ML model—both goals for future iterations.

다음 단계는 이 대시보드를 사용하여 CR 문서에 대한 피드백을 제공하도록 교수진을 교육하는 것입니다. 우리는 피드백 세션을 용이하게 하기 위해 개별 및 전체 레지던트 보기가 포함된 대시보드의 교수용 보기화면를 개발했습니다(그림 5). 또한 이 대시보드는 프로그램 리더십이 이 데이터에 액세스할 수 있도록 하여 평가 프로그램에 통합할 수 있습니다. 밀러 피라미드의 '수행' 수준에서 CR에 대한 작업장 기반 평가는 역량 개발에 필수적입니다.41 CR 평가의 과제 중 하나는 상황 특이성(상황의 영향이 CR 프로세스에 미치는 영향) 문제를 고려할 때, 광범위한 사례 샘플링이 필요하다는 것입니다.42 ML 모델을 사용하여 평가에 자동화된 프로세스를 사용하면 다양한 사례에 걸쳐 많은 수의 평가를 신속하게 제공할 수 있으므로 이러한 문제를 극복하는 혁신적인 솔루션이 될 수 있습니다. 마지막으로, 이 ML 모델은 레지던트 개인에게 의미 있는 데이터를 제공하는 것 외에도 커리큘럼 또는 시스템 변경에 대한 정보를 제공하는 데 사용될 수 있습니다. ML 모델은 수동 차트 검토나 기타 평가자 기반 평가(예: 마일스톤)로는 달성할 수 없는 레지던트의 CR 문서화 관행에 대한 대규모 데이터 세트를 즉각적으로 생성할 수 있습니다. 이러한 데이터 세트에서 패턴을 검토하여 부족한 부분을 파악하여 커리큘럼 또는 시스템 변경(예: CR 문서화 커리큘럼 또는 EHR 템플릿 변경)을 알리는 데 도움을 줄 계획이며, 이는 의학교육에서 ML을 혁신적으로 사용하는 것입니다.16 

Next steps are to train faculty to use this dashboard to provide feedback on CR documentation. We have developed a faculty-facing view of the dashboard with individual and aggregate resident views to facilitate feedback sessions (Fig. 5). This dashboard also provides program leadership access to this data which can be integrated into our assessment program. Workplace-based assessment of CR at the “Does” level of Miller’s pyramid is essential to developing competence.41 One of the challenges of CR assessment is it requires a broad sampling of cases given the issue of context specificity (the impact of context on the CR process).42 Using automated processes for assessment with a ML model is an innovative solution to overcome these challenges as it can rapidly provide a large number of assessments across a range of cases. Lastly, in addition to providing meaningful data to the individual resident, this ML model could also be used to inform curricular or systems change. The ML model can instantaneously create large datasets on residents’ CR documentation practices that cannot be achieved with manual chart review or other human-rater-based assessments (e.g., milestones). We plan to review these datasets for patterns to help identify areas of deficiency to inform curricular or systems changes (such as CR documentation curriculum or EHR template changes), which would be an innovative use of ML in medical education.16

한계
LIMITATIONS

ML 모델은 민감도 70%, PPV 80%, 코헨의 카파 0.67로 성능이 뛰어나지만 불완전합니다. 또한, 현재 ML 모델은 노트를 이진 방식으로 분류하지만, 가장 효과적인 피드백은 구체적이고 실행 가능한 피드백입니다.43 또한, ML 모델은 Revised-IDEA 도구의 초기 검증에 포함되었던 해석적 요약을 제외합니다. 그러나 검증 연구에서 D, E, A 항목 간의 일치도는 0.69, I, D, E, A 항목 간의 일치도는 0.53으로 더 높은 것으로 나타났습니다.34 이는 DEA 구성요소가 해석적 요약과는 다른 CR 문서의 측면(감별 진단의 우선순위 지정 및 정당화)을 측정하고 있음을 시사하며,44 따라서 ML 모델 개발에서 DEA 구성요소를 사용하는 것을 뒷받침합니다. 모델 성능을 개선하고 해석 요약을 통합하는 모델을 개발하기 위한 작업이 진행 중입니다. 
The ML model was high performing but imperfect, with a sensitivity of 70%, PPV of 80%, and Cohen’s kappa of 0.67. Furthermore, the current ML model classifies notes in a binary fashion; however, the most effective feedback is specific and actionable.43 Additionally, the ML model excludes the interpretive summary which was included in the initial validation of the Revised-IDEA tool. However, we did find in the validation study higher agreement between the D, E, and A items with a Cronbach alpha of 0.69 vs Cronbach alpha of 0.53 between the I, D, E, and A items.34 This suggests that the DEA component is measuring an aspect of CR documentation (prioritizing and justifying a differential diagnosis) distinct from the interpretive summary,44 thus supporting use of the DEA component in the ML model development. Work is ongoing to improve upon the model performance and develop a model incorporating the interpretive summary.

ML 모델은 CR이 수행되었는지 또는 정확한지 여부는 평가하지 않으며 문서화되었는지 여부만 평가합니다. 레지던트는 문서화하지 못한 고품질 CR을 보유하거나 반대로 임상적으로 부정확한 고품질 CR을 문서화할 수 있습니다. 그러나 CR 문서화는 필수적인 기술이며, 레지던트는 졸업 시 "문서에서 CR을 효과적으로 전달할 수 있는 역량"을 갖추도록 기대됩니다.40 
The ML model does not assess whether CR was performed or was accurate, only if it was documented. Residents may possess high-quality CR that they failed to document or conversely documented high-quality CR that was clinically inaccurate. However, CR documentation is an essential skill and residents are expected to achieve the competency “to demonstrate effective communication of CR in their documentation” upon graduation.40

마지막으로, EHR의 복잡하고 다양한 특성과 이 기술을 구현하는 데 필요한 리소스를 고려할 때 일반화 가능성에 대한 몇 가지 우려가 있습니다. 400개 이상의 라벨이 지정된 데이터 세트로 모델을 학습시키고 다양한 주요 관심사가 포함된 205개의 다른 데이터로 검증했지만, 임상 환경에는 수많은 주요 관심사가 있을 수 있습니다. 예상되는 실제 성능을 확인하기 위해 지속적인 전향적 검증을 수행할 계획입니다.45 또한 다른 레지던트 프로그램에서 이 기술을 구현할 수 있도록 ML 모델 아키텍처를 공개 도메인에서 사용할 수 있도록 하는 프로세스를 진행 중이며 구현을 지원하기 위한 협업에 열려 있습니다. 
Lastly, there are some concerns about generalizability given the complex and varied nature of the EHR and the resources required to implement this technology. While we trained the model with a labeled dataset of over 400 notes and validated with another 205 notes with a wide range of chief concerns, there are numerous possible chief concerns in the clinical environment. To ascertain expected real-world performance, we will plan to perform ongoing prospective validation.45 We are also working on a process to make the ML model architecture available in the public domain so other residency programs could implement this technology and are open to collaborations to assist with implementation.

결론
CONCLUSIONS

이 검증 연구는 다양한 주요 관심사에 걸쳐 임상 환경에서 레지던트 CR 문서 품질을 평가하는 데 ML과 NLP를 사용할 수 있는 가능성을 보여줍니다. 이 기술의 잠재적 사용 사례는 CR 교육 및 평가에 혁신적일 수 있습니다. 향후 방향에는 모델을 계속 반복하고, 더 많은 타당성 증거를 수집하고, 다른 프로그램에서 구현하기 위한 프로세스를 생성하는 것이 포함됩니다.
This validation study demonstrates the feasibility of using ML and NLP to assess resident CR documentation quality in the clinical environment across a wide array of chief concerns. There are many potential use cases for this technology which could be transformative for teaching and assessment of CR. Future directions will include continuing to iterate on the model, gathering further validity evidence, and generating a process for implementation at other programs.


J Gen Intern Med. 2022 Jul;37(9):2230-2238. doi: 10.1007/s11606-022-07526-0. Epub 2022 Jun 16.

Development and Validation of a Machine Learning Model for Automated Assessment of Resident Clinical Reasoning Documentation

Affiliations collapse

1NYU Grossman School of Medicine, New York, NY, USA. verity.schaye@nyulangone.org.

2NYC Health & Hospitals/Bellevue, New York, NY, USA. verity.schaye@nyulangone.org.

3NYU Grossman School of Medicine, New York, NY, USA.

4Zucker School of Medicine at Hofstra/Northwell, Hempstead, NY, USA.

5Stanford University School of Medicine, Stanford, CA, USA.

PMID: 35710676

PMCID: PMC9296753

DOI: 10.1007/s11606-022-07526-0

Free PMC article

Abstract

Background: Residents receive infrequent feedback on their clinical reasoning (CR) documentation. While machine learning (ML) and natural language processing (NLP) have been used to assess CR documentation in standardized cases, no studies have described similar use in the clinical environment.

Objective: The authors developed and validated using Kane's framework a ML model for automated assessment of CR documentation quality in residents' admission notes.

Design, participants, main measures: Internal medicine residents' and subspecialty fellows' admission notes at one medical center from July 2014 to March 2020 were extracted from the electronic health record. Using a validated CR documentation rubric, the authors rated 414 notes for the ML development dataset. Notes were truncated to isolate the relevant portion; an NLP software (cTAKES) extracted disease/disorder named entities and human review generated CR terms. The final model had three input variables and classified notes as demonstrating low- or high-quality CR documentation. The ML model was applied to a retrospective dataset (9591 notes) for human validation and data analysis. Reliability between human and ML ratings was assessed on 205 of these notes with Cohen's kappa. CR documentation quality by post-graduate year (PGY) was evaluated by the Mantel-Haenszel test of trend.

Key results: The top-performing logistic regression model had an area under the receiver operating characteristic curve of 0.88, a positive predictive value of 0.68, and an accuracy of 0.79. Cohen's kappa was 0.67. Of the 9591 notes, 31.1% demonstrated high-quality CR documentation; quality increased from 27.0% (PGY1) to 31.0% (PGY2) to 39.0% (PGY3) (p < .001 for trend). Validity evidence was collected in each domain of Kane's framework (scoring, generalization, extrapolation, and implications).

Conclusions: The authors developed and validated a high-performing ML model that classifies CR documentation quality in resident admission notes in the clinical environment-a novel application of ML and NLP with many potential use cases.

Keywords: assessment; clinical reasoning; documentation; machine learning; natural language processing.

자연어처리와 전공의 피드백 퀄리티의 질 평가 (J Surg Educ. 2021)
Natural Language Processing and Assessment of Resident Feedback Quality
Quintin P. Solano, BS,* Laura Hayward, BS,† Zoey Chopra, BA,‡ Kathryn Quanstrom, BA,x Daniel Kendrick, MD,k Kenneth L. Abbott, MD, MS,{ Marcus Kunzmann, AB,# Samantha Ahle, MD, MHS,** Mary Schuller, MSEd,†† Erkin €Otle¸s, MSE,‡‡ and Brian C. George, MD, MAEdxx 

 

소개
INTRODUCTION

효과적인 학습을 위해서는 성과 피드백이 필요합니다. 외과에서 피드백은 기술적 술기와 비기술적 술기의 개발을 모두 지원합니다.1, 2, 3, 4, 5, 6 이러한 이유로 레지던트에게 성과 피드백을 제공하는 것은 미국의학전문대학원교육인증위원회(ACGME)의 핵심 프로그램 요건입니다.7 이러한 요구를 해결하기 위해 새로운 작업장 기반 평가 도구는 교수진이 수련의에게 지시된dictated 피드백을 제공할 수 있는 메커니즘을 제공합니다.8, 9, 10 이로 인해 외과 수련의에게 제공되는 피드백의 양이 더 많아졌습니다.8,11 학습에는 피드백의 양도 중요하지만 피드백의 질이 가장 중요합니다.12, 13, 14 이러한 맥락에서 교육 프로그램은 교수진이 이러한 새로운 도구를 사용하여 수련의에게 필요한 고품질 피드백을 제공하도록 보장해야 합니다. 그러나 수행 피드백의 품질을 특성화하는 현재의 접근 방식은 노동력과 리소스 집약적이며, 평가자가 데이터 세트의 각 피드백을 개별적으로 평가해야 하는 경우가 많습니다.10,15 
Performance feedback is necessary for effective learning. In surgery, feedback supports the development of both technical and non-technical skills.1, 2, 3, 4, 5, 6 For this reason, providing residents with performance feedback is an Accreditation Council for Graduate Medical Education (ACGME) core program requirement.7 To address this need, new workplace-based assessment tools provide a mechanism for faculty to provide trainees with dictated feedback.8, 9, 10 This in turn has led to greater volume of feedback provided to surgical trainees.8,11 While the quantity of feedback is important for learning, it is the quality of feedback matters most.12, 13, 14 Within that context, training programs must ensure that faculty use these new tools to provide the high-quality feedback that trainees need. However, current approaches to characterizing the quality of performance feedback are labor and resource intensive, often requiring raters to individually evaluate each piece of feedback in a dataset.10,15

일련의 기계 학습 방법인 자연어 처리(NLP)는 이 문제에 대한 자동화된 솔루션을 제공할 수 있습니다. 이전의 파일럿 연구에서는 SIMPL(Society for Improving Medical Professional Learning) 스마트폰 애플리케이션(매사추세츠주 보스턴)의 내러티브 데이터에 적용된 다양한 NLP 모델을 비교했습니다.8 이 연구에서는 소량의 수술 수련생 피드백 샘플의 피드백 기록 품질을 가장 정확하게 분류하는 NLP 모델 유형을 확인했습니다.16 초기 결과는 유망했지만 데이터 세트의 크기로 인해 성능 평가가 제한적이었습니다. 따라서 NLP 도구를 사용하여 피드백 품질을 자동으로 평가할 때 기대할 수 있는 성능은 알 수 없습니다. 
Natural language processing (NLP), a set of machine learning methods, may offer an automated solution to this problem. A previous pilot study compared different NLP models applied to narrative data from the Society for Improving Medical Professional Learning (SIMPL) smartphone application (Boston, MA).8 That study identified which type of NLP model most accurately classified the quality of feedback transcripts of a small sample of surgical trainee feedback.16 While the initial results were promising, performance assessment was limited by the size of the dataset. Therefore, the expected performance of utilizing NLP tools to automatically assess feedback quality is unknown.

이 연구의 주요 목표는 수술 수련생에게 제공되는 피드백의 품질을 특성화하기 위해 NLP 모델의 성능을 평가하는 것이었습니다. 이를 위해 훨씬 더 큰 데이터 세트를 사용했습니다. 코딩된 트랜스크립트 세트를 사용하여 NLP 모델을 학습시킨 후 테스트를 거쳐 성능을 분석했습니다. 
The primary aim of this study was to assess the performance of an NLP model to characterize the quality of feedback provided to surgical trainees. To do this we use a much larger dataset. The NLP model was trained using a set of coded transcripts, subsequently tested, and then analyzed for performance.

자료 및 방법
MATERIALS AND METHODS

연구 모집단
Study Population

2019년 8월에 기록된 단일 학술 외과 레지던트 프로그램에서 수술 성과 피드백을 받아쓰기한 간단한 성적표를 수집했습니다. 미시간대학교 기관윤리심의위원회는 이 연구가 심의 면제 대상이라고 판단했습니다. 
We collected SIMPL transcripts of dictated operative performance feedback from a single academic surgical residency program, all recorded in August 2019. The University of Michigan institutional review board deemed this study exempt from review.

데이터 수집
Data Collection

외과 레지던트의 수술 중 성과에 대한 수술 후 평가를 용이하게 하기 위해 개발된 SIMPL 스마트폰 앱을 사용하여 받아쓰기 피드백을 수집했습니다. 피드백은 구글 클라우드 음성-텍스트 변환기(캘리포니아주 마운틴뷰)를 통해 전사하고 연구 코디네이터가 비식별화한 다음 품질을 위해 코딩했습니다. 
Dictated feedback was collected using the SIMPL smartphone app, which was developed to facilitate post-operative evaluation of surgical residents’ intra-operative performance. Feedback was transcribed via Google Cloud Speech-to-Text (Mountain View, CA), de-identified by a study coordinator, and then coded for quality.

품질 평가
Quality Assessment

모든 성적표는 각각 2명의 코더로 구성된 두 개의 별도 팀에서 평가했습니다. 코더들은 이전 연구에서 외과의가 코딩한 '워밍업 성적표' 세트에 대한 교육을 받은 의대생이었습니다.15 코더들의 코딩을 전문가 평가와 비교하고 불일치하는 부분을 논의하여 평가자의 정확성을 개선했습니다. 성적표는 500단계로 평가되었습니다. 모든 단계가 끝나고 다음 단계가 시작되기 전에 코딩 불일치를 확인하고 각 코더 팀이 모여 코딩 결정을 논의하고 다음 단계의 코딩 스키마를 개선했습니다. 훈련 및 연구 데이터 세트를 코딩하는 동안 성적표의 텍스트 의미에 대한 의문이 생기면 저자 DK와 BG에게 문의하여 명확히 설명했습니다. 불일치하는 코드가 있을 때마다 각 팀은 각 녹취록에 대해 단일 품질 코드에 합의했습니다. 그런 다음 이 최종 코드를 사용하여 NLP 모델을 훈련했습니다. 
All transcripts were evaluated by two separate teams with 2 coders each. The coders were medical students who were trained on a set of “warm-up transcripts” coded by surgeons in a previous study.15 Their codes were then compared to expert ratings and discrepancies were discussed to improve rater accuracy. Transcripts were assessed in phases of 500. After every phase and prior to initiation of any subsequent phase, coding discrepancies were identified, and each coder team met to discuss their coding decisions and refine coding schema for subsequent phases. During coding of the training and study data sets, authors DK and BG were consulted for clarification when questions arose about the meaning of text in the transcripts. For each discordant code, each team reached consensus on a single quality code for each transcript. These final codes were then used to train the NLP model.

코더들은 Ahle 외15가 설명한 방법에 따라 피드백을 분류했으며, 처음에는 녹취록을 '관련성' 여부로 분류했습니다. 녹취록이 "관련성"으로 코딩된 경우, 후속 코딩에서는 해당 녹취록을 "구체적", "교정적", 둘 다 또는 둘 다 아닌 것으로 할당했습니다. 이러한 이진 속성은 훈련된 각 평가자가 평가했습니다. 각 성적표에 대한 코딩은 문장 수준에서 이루어졌으며, 성적표 내의 어떤 문장이 '관련성', '구체적' 및/또는 '교정적'에 해당하면 전체 성적표가 그렇게 코딩됩니다. 
Coders classified the feedback following the methods described by Ahle et al15, with an initial classification of the transcripts as “relevant” or not. If a transcript was coded as “relevant”, subsequent coding would assign the transcript as being “specific”, “corrective”, both, or neither. These binary attributes were assessed by each trained rater. Coding for each transcript occurred at the sentence level; if any sentence within a transcript qualified as “relevant”, “specific”, and/or “corrective”, the entire transcript would be coded as such.

  • '구체적'과 '교정적'으로 모두 평가된 성적표는 효과적(E)으로,
  • 구체적이거나 교정적이지만 둘 다는 아닌 성적표는 보통(M)으로,
  • 관련성이 있지만 구체적이지도 교정적이지도 않은 성적표는 비효과적(I)으로 분류했습니다.
  • 관련성이 없는 것으로 평가된 성적표는 기타(O)로 분류되었습니다.

이러한 코드는 특정 분석을 위해 다시 이분화되어 E 또는 M으로 평가된 성적표는 높은 품질로, I 또는 O로 평가된 성적표는 낮은 품질로 분류되었습니다(표 1).

  • Transcripts rated as both “specific” and “corrective” were classified as effective (E);
  • transcripts rated as specific or corrective but not both were classified as mediocre (M);
  • transcripts rated as relevant but neither specific nor corrective were classified as ineffective (I).
  • Transcripts not rated as relevant were classified as other (O).

These codes were further dichotomized for specific analyses, with transcripts rated as E or M classified as high quality, and transcripts rated as I or O classified as low quality (Table 1).

 

통계 분석
Statistical Analysis

NLP 모델은 Python17 프로그래밍 언어와 SKLearn18, Pandas19, Numpy20 프레임워크의 도움을 받아 구축되었습니다. 트랜스크립트는 길이 1에서 5까지 다양한 n-그램 크기의 백 오브 워드 벡터21로 사전 처리되었습니다. 데이터는 훈련 세트와 테스트 세트로 무작위로 분할(75%/25%)되었습니다. 
NLP models were constructed using the Python17 programming language with the aid of the SKLearn18, Pandas19, and Numpy20 frameworks. Transcripts were pre-processed into bag-of-word vectors21 with varying n-gram sizes, ranging from length 1 to 5. The data was randomly split (75%/25%) into a training set and a testing set.

로지스틱 회귀 모델은 파일럿 연구 결과를 바탕으로 선택되었습니다.17 모델 하이퍼파라미터와 파이프라인 파라미터(예: n-그램 크기)는 훈련 세트에서 5배 교차 검증 그리드 검색을 사용하여 평가되었습니다. 최적의 파라미터가 발견되면 전체 훈련 세트에서 모델을 훈련하고 테스트 세트에서 평가했습니다. 
Logistic regression models were chosen based on results from a pilot study.17 Model hyperparameters and pipeline parameters (e.g. n-gram size) were assessed using a 5-fold cross-validation grid search on the training set. Once the best parameters were found, the models were trained on the full training set and evaluated on the testing set.

주요 결과는 개별 및 이분화된 코딩 시스템 모두의 예측 정확도였습니다. 개별 클래스(E, M, I, O) 성능 등급은 클래스 가중치 메트릭(즉, 마이크로 가중치)을 사용하여 계산되었습니다. 2차 결과는 민감도, 특이도, 부정 및 양성 예측값, NLP 모델의 수신기 작동 특성 곡선(AUROC) 아래 영역이었습니다. 신뢰 구간은 부트스트랩 샘플링을 사용하여 추정했습니다. 테스트 데이터 세트는 성능 메트릭의 부트스트랩 샘플을 생성하기 위해 1,000회 교체하여 다시 샘플링되었습니다. 이 부트스트랩 분석을 통해 성적표 품질 레이블의 분포와 관련하여 예측 모델의 정확도 변화와 다른 성능 측정값을 추정할 수 있었습니다. 
The primary outcomes were the predictive accuracies of both the individual, and dichotomized coding systems. The individual class (E, M, I, O) performance ratings were calculated using class weighted metrics (i.e., micro weighting). Secondary outcomes were sensitivity, specificity, and negative and positive predictive values, and area under the receiver operating characteristic curve (AUROC) of the NLP model. Confidence intervals were estimated using bootstrap sampling. The test dataset was resampled with replacement 1,000 times to generate bootstrap samples of the performance metrics. This bootstrap analysis enabled estimation of the predictive model's variation in accuracy, and the other performance measures, in relation to the distribution of transcript quality labels.

결과
RESULTS

총 2,416개의 트랜스크립트가 품질 코딩되었으며 표 2에 설명되어 있습니다. 전체적으로 1,014개(42%)가 효과적(E)으로 코딩되었고 1,811개(75%)의 성적표가 높은 품질(E, M)로 코딩되었습니다. 고품질 및 저품질 피드백의 예는 표 3에 나와 있습니다. 

A total of 2,416 transcripts were coded for quality and are described in Table 2. Overall, 1,014 (42%) were coded as Effective (E) and 1,811 (75%) of the transcripts were high quality (E, M). Examples of high quality and low-quality feedback are shown in Table 3.

 

 

개별 피드백을 E, M, I 또는 O로 평가할 때 모델의 정확도는 0.65(95% 신뢰 구간: 0.61, 0.65)였으며, 민감도는 0.46(0.43, 0.49), 특이도는 0.87(0.86, 0.89), 양성 예측값은 0.50(0.48, 0.53), 음성 예측값은 0.87(0.86-0.89)로 나타났습니다. 개별 클래스 성능 지표는 부록 표 1에 나와 있습니다.

The accuracy of the model when rating individual pieces of feedback as E, M, I, or O was 0.65 (95% confidence interval: 0.61, 0.65), with sensitivity of 0.46 (0.43, 0.49), specificity of 0.87 (0.86, 0.89), positive predictive value of 0.50 (0.48, 0.53), and negative predictive value of 0.87 (0.86-0.89). Individual class performance metrics are presented in Appendix Table 1.

등급을 이분화했을 때(높은 품질과 낮은 품질), 낮은 품질의 피드백을 분류하는 모델 정확도는 0.83(0.80, 0.86), 민감도 0.37(0.33, 0.45), 특이도 0.97(0. 96, 0.98), 양의 예측값 0.80(0.74, 0.85), 음의 예측값 0.83(0.80, 0.85), 수신기 작동 특성 곡선 아래 면적 0.86(0.83, 0.87, 그림 1)으로 나타났습니다. 

When ratings were dichotomized (high vs. low quality), the model accuracy for classifying low quality feedback was 0.83 (0.80, 0.86), with sensitivity of 0.37 (0.33, 0.45), specificity of 0.97 (0.96, 0.98), positive predictive value of 0.80 (0.74, 0.85), negative predictive value of 0.83 (0.80, 0.85), and area under the receiver operating characteristic curve of 0.86 (0.83, 0.87; Fig. 1).

토론
DISCUSSION

우리는 수술 수련생에게 제공되는 피드백의 품질을 특성화하는 임무를 맡은 NLP 모델의 성능 특성을 조사했습니다. NLP 모델은 높은 정확도와 특이도로 피드백 품질을 분류할 수 있습니다. 그러나 민감도는 훨씬 낮았는데, 이는 알고리즘이 낮은 품질의 피드백을 가장 안정적으로 식별할 수 있음을 나타냅니다. 이 보고서에서 설명한 NLP 모델은 수술 훈련 프로그램에서 피드백 개입의 효과를 측정하는 데 유용할 수 있습니다. 
We investigated the performance characteristics of NLP models tasked with characterizing the quality of feedback provided to surgical trainees. NLP models can classify feedback quality with high accuracy and specificity. However, sensitivity was much lower, indicating that the algorithm can most reliably identify low quality feedback. The NLP model described in this report may be useful for measuring the effects of feedback interventions in surgical training programs.

이 연구는 NLP의 기능을 조사한 이전 파일럿 연구의 결과를 검증하지만, 이 연구에서는 이 기술이 더 큰 규모로 사용될 수 있기를 바라며 분류 성능을 더욱 개선하기 위해 더 큰 표본 크기를 활용했습니다.16 이 연구의 모델 지표는 의과 교육 환경 밖의 NLP 연구에서 나온 지표와 비슷합니다.22, 23, 24 라마찬드란 등은 NLP를 활용하여 연구 검토의 품질을 자동으로 평가하고 0.32-0.67의 정확도를 보고했습니다.22 우리 모델은 비교적 높은 정확도를 달성했으며, 이는 의학교육 맥락에서 향후 피드백 품질 개선을 위한 NLP의 잠재력을 강조합니다. 
This study validates the results of a previous pilot study examining the capabilities of NLP, however, in this study we utilized a larger sample size to further improve classification performance in the hope that this technology might be used on a larger scale.16 Model metrics from this study are comparable to those from studies of NLP outside medical education settings.22, 23, 24 Ramachandran et al. utilized NLP to automatically assess the quality of research reviews and reported accuracies of 0.32-0.67.22 Our model achieved relatively high accuracy, and this highlights the potential of NLP for future feedback quality improvement in a medical education context.

NLP 모델은 피드백을 측정하고 개선하는 데 도움이 되는 새로운 도구가 될 수 있습니다. 효과적인 고품질 피드백 제공의 중요성은 분명하지만 피드백 품질을 측정하는 데는 리소스 집약적입니다.15,25 NLP 모델은 거의 실시간으로 피드백 품질을 자동으로 특성화하여 이러한 부담을 줄일 수 있습니다. 외과 레지던트 프로그램은 자동화된 피드백 품질 특성화를 사용하여 레지던트들이 받는 피드백을 개선할 수 있습니다. 예를 들어, 지속적으로 낮은 품질의 피드백을 제공하는 교수진에게는 추가적인 교수진 개발 리소스를 제공할 수 있습니다. 또한, 자동화된 피드백 분류는 피드백 개선을 위한 새로운 아이디어를 개발 및 테스트하고 피드백 품질 개선을 위한 기존 방법 구현의 영향을 평가하는 데 사용될 수 있습니다.9,26,27 
NLP models may be a novel tool to both measure and help improve feedback. The importance of providing effective, high quality feedback is clear, yet the measurement of feedback quality is resource intensive.15,25 NLP models can reduce this burden by automatically characterizing feedback quality in near real time. Surgical residency programs could use automated characterizations of feedback quality to improve the feedback their residents receive. For example, faculty who consistently provide low quality feedback might be provided with additional faculty development resources. Furthermore, automated feedback classification might be used to develop and test new ideas for improving feedback, and to assess the impact of implementing existing methods for improving feedback quality.9,26,27

본 접근법은 일반외과 레지던트 프로그램 내에서 시범적으로 시행되었지만 다른 수술 전문과목에도 일반화할 수 있을 것으로 보입니다. 비수술 전문과목의 수련의에게 제공되는 피드백은 용어와 어휘가 다를 수 있지만, 이러한 환경에서 사용할 수 있는 NLP 모델을 개발하는 데 본 방법을 사용할 수 있습니다. 
Our approach, while piloted within a general surgery residency program, is likely generalizable to other procedural specialties. Although, the feedback provided to trainees in non-procedural specialties likely features different terminology and verbiage, our methods could be used to develop NLP models for use in such settings.

이 연구에는 한계가 있습니다.

  • 첫째, 우리가 분석한 모든 피드백은 단일 교육 기관에서 SIMPL을 통해 수집한 것으로, 다른 환경이나 다른 도구로 전달된 피드백을 대표하지 못할 수 있습니다.
  • 둘째, 피드백 품질을 평가한 의대생은 제한된 경험으로 인해 일부 기록을 잘못 코딩했을 수 있지만, 이전에 코딩된 기록에 대한 교육과 실습 외과의와의 빈번한 상담을 통해 이를 완화하려고 노력했습니다. 일부 모범적이고 어려운 대본은 실습 외과의와 논의했지만, 코딩된 대본의 대부분은 외과의의 감수를 거치지 않았습니다.
  • 셋째, 오디오 피드백의 대본에는 때때로 의미와 관련하여 합리적 추측을 필요로 하는 전사 오류가 포함되어 있으며, 이러한 추측 중 일부는 잘못된 것일 수 있습니다.
  • 마지막으로 나이, 인종, 성별, 억양과 같은 요인이 전사 품질과 내용에 영향을 미칠 수 있으므로 이러한 모델을 구현할 때는 NLP 모델 출력에서 관련 편견의 위험성을 염두에 두어야 합니다.

이러한 한계에도 불구하고 이 보고서는 잠재적 유용성을 강조하고 의학교육에서 NLP 연구를 위한 벤치마크를 제공합니다. 
This study has limitations.

  • First, all the feedback we analyzed was collected via SIMPL at a single academic institution and may not be representative of feedback delivered in other settings or with other tools.
  • Second, the raters of feedback quality were medical students who, due to limited experience, may have miscoded some transcripts, though we attempted to mitigate this via training with previously coded transcripts and frequent consultations with practicing surgeons. Although some exemplar and difficult transcripts were discussed with the practicing surgeons, the majority of the coded transcripts were not audited by them.
  • Third, transcripts of audio feedback sometimes contained transcription errors requiring reasoned guesses concerning meaning, and some of these guesses may have been incorrect.
  • Finally, factors like age, race, gender, and accents may impact transcription quality and content, when moving to implement these models we must be mindful of the risk of related biases in NLP model output.

Notwithstanding these limitations, this report highlights the potential utility and provides a benchmark for the study of NLP in medical education.

결론
CONCLUSIONS

NLP 모델은 높은 정확도와 특이도, 적당한 민감도로 수술 성과 피드백 품질을 분류할 수 있습니다. NLP는 피드백 품질을 자동으로 분류하는 데 효과적인 접근 방식이 될 수 있습니다. 이러한 정보는 궁극적으로 피드백을 개선하고 수술 수련의의 학습을 가속화하는 데 사용될 수 있습니다. 
An NLP model is able to classify operative performance feedback quality with high accuracy and specificity and modest sensitivity. NLP could serve as effective approach for automated classification of feedback quality. That information can ultimately be used to improve feedback and in turn accelerate learning for surgical trainees.

 


J Surg Educ. 2021 Nov-Dec;78(6):e72-e77. doi: 10.1016/j.jsurg.2021.05.012. Epub 2021 Jun 21.

Natural Language Processing and Assessment of Resident Feedback Quality

Affiliations collapse

1University of Michigan Medical School, Ann Arbor, Michigan. Electronic address: qsolano@med.umich.edu.

2University of Michigan Medical School, Ann Arbor, Michigan.

3Department of Surgery, University of Minnesota Medical School, Minneapolis, Minnesota.

4Washington University School of Medicine in St. Louis, St Louis, Missouri.

5Department of Surgery, Yale School of Medicine, New Haven, Connecticut.

6Department of Surgery, Michigan Medicine, Ann Arbor, Michigan.

7Department of Industrial and Operations Engineering , University of Michigan Medical School, University of Michigan, Ann Arbor, Michigan.

8Center for Surgical Training and Research, Michigan Medicine, Ann Arbor, Michigan.

PMID: 34167908

DOI: 10.1016/j.jsurg.2021.05.012

Abstract

Objective: To validate the performance of a natural language processing (NLP) model in characterizing the quality of feedback provided to surgical trainees.

Design: Narrative surgical resident feedback transcripts were collected from a large academic institution and classified for quality by trained coders. 75% of classified transcripts were used to train a logistic regression NLP model and 25% were used for testing the model. The NLP model was trained by uploading classified transcripts and tested using unclassified transcripts. The model then classified those transcripts into dichotomized high- and low- quality ratings. Model performance was primarily assessed in terms of accuracy and secondary performance measures including sensitivity, specificity, and area under the receiver operating characteristic curve (AUROC).

Setting: A surgical residency program based in a large academic medical center.

Participants: All surgical residents who received feedback via the Society for Improving Medical Professional Learning smartphone application (SIMPL, Boston, MA) in August 2019.

Results: The model classified the quality (high vs. low) of 2,416 narrative feedback transcripts with an accuracy of 0.83 (95% confidence interval: 0.80, 0.86), sensitivity of 0.37 (0.33, 0.45), specificity of 0.97 (0.96, 0.98), and an area under the receiver operating characteristic curve of 0.86 (0.83, 0.87).

Conclusions: The NLP model classified the quality of operative performance feedback with high accuracy and specificity. NLP offers residency programs the opportunity to efficiently measure feedback quality. This information can be used for feedback improvement efforts and ultimately, the education of surgical trainees.

Keywords: Medical Knowledge; Practice-Based Learning and Improvement; feedback; machine learning; medical education; natural language processing.

주관주의자 귀납적 패러다임을 향한 자연어처리의 진화(Med Educ, 2023)
Evolving natural language processing towards a subjectivist inductive paradigm
Brian C. Gin

 

 

인공지능(AI)이 데이터 중심 사회에서 점점 더 큰 입지를 차지하면서 언어에 초점을 맞춘 파생 기술인 자연어 처리(NLP)가 보건 전문직 교육 연구(HPER)에 진출했습니다.1 NLP는 텍스트와 문서의 질적 분석을 위한 획기적인 검색 및 자동화 도구를 약속합니다. 그러나 탄탄한 이론적, 철학적 토대가 없다면 NLP를 통한 질적 결과는 불투명하거나 최악의 경우 오해의 소지가 있을 수 있습니다. 이번 호에서 Cleland 등은 HPER에서 전통적인(즉, NLP가 아닌) 질적 문서 분석(DA)의 실행에서 유사한 이론적 결함을 지적하고 그러한 DA 연구의 신뢰성을 증진하기 위한 표준을 제안합니다.2 이들의 접근 방식은 실제로 NLP를 사용한 연구를 강화하기 위해 확장될 수 있습니다. 
As artificial intelligence (AI) takes an ever-increasing foothold in our data-driven society, its language-focused derivative, natural language processing (NLP), has made headway into health professions education research (HPER).1 NLP promises groundbreaking discovery and automation tools for the qualitative analysis of text and documents. However, without sound theoretical and philosophical foundations, qualitative results facilitated by NLP stand to be opaque, or at worst, misleading. In this issue, Cleland et al note a similar deficiency of theory in the practice of traditional (i.e. non-NLP) qualitative document analysis (DA) in HPER and propose standards to promote the trustworthiness of such DA research.2 Their approach could indeed be extended to strengthen studies using NLP.

탄탄한 이론적, 철학적 토대가 없다면 NLP를 통해 얻은 질적 결과는 불투명하거나 최악의 경우 오해의 소지가 있을 수 있습니다.
Without sound theoretical and philosophical foundations, qualitative results facilitated by NLP stand to be opaque, or at worst, misleading.

HPER에서 빠르게 증가하는 연구 모음은 본질적으로 인간 코더의 범위를 대규모 데이터세트로 확장하기 위한 '자동화된 코딩 도우미'로 NLP를 사용했습니다. 이러한 연구들은 인간 연구자의 '훈련'에 의존하는 NLP '분류기' 알고리즘을 활용했습니다. 예를 들어,

  • 부스(Booth) 등은 NLP를 활용하여 ACGME 마일스톤 하위 역량별로 내러티브 평가를 자동으로 분류하고, 인간 코더가 데이터의 하위 집합(즉, '훈련 데이터 세트')에 붙인 레이블을 모방하도록 NLP 알고리즘을 효과적으로 훈련시켰습니다. 3
  • 내러티브 평가에서 성별 편향 가능성을 찾기 위해 Andrews 등은 인간 연구자가 코드북을 개발하는 데 사용하는 작은 조각으로 내러티브를 표현하여 내러티브의 정서(즉, 긍정적 또는 부정적 정서적 가치)를 결정하는 NLP 알고리즘을 만들었고, 이 알고리즘은 전체 데이터 세트에 자동으로 적용되었습니다.4
  • 비슷한 질문을 탐구하면서 Sarraf 등은 상업적으로 훈련된 NLP 알고리즘을 사용하여 추천서의 정서를 특성화했습니다.5

이러한 사례와 그 밖의 많은 최근 HPER의 NLP 분류 사례는 철학적 입장과 이론적 가정에 대한 추가 검토를 유도하는 'NLP 지원 코딩' 방법론의 새로운 패턴을 가리킵니다. 
A rapidly growing collection of studies in HPER has used NLP, in essence, as an ‘automated coding assistant’ to extend the reach of human coders to large datasets. These studies utilised NLP ‘classifier’ algorithms that rely on some form of ‘training’ by human researchers. For example,

  • Booth et al utilised NLP to automatically classify narrative evaluations by ACGME milestone subcompetency, effectively training their NLP algorithm to mimic the labels placed by human coders on a subset of the data (i.e. a ‘training dataset’).3 
  • Searching for possible gender bias in narrative evaluations, Andrews et al created an NLP algorithm to determine the sentiment (i.e. positive or negative emotional valence) of narratives by representing them in bite-sized pieces that human researchers used to develop a codebook, which the algorithm then automatically applied to the entire dataset.4 
  • Exploring a similar question, Sarraf et al employed commercially trained NLP algorithms to characterise the sentiment of letters of recommendation.5 

These and many other recent examples of NLP classification in HPER point to an emerging pattern of ‘NLP-assisted coding’ methodologies that invite further examination of their philosophical stances and theoretical assumptions.

Cleland의 DA 연구 결과와 유사하게, 연구자들이 NLP 지원 코딩을 사용하는 기본 연구 패러다임은 종종 불분명합니다. 성찰적 주제 분석, 근거 이론, 질적 내용 분석과 같은 유비쿼터스 질적 방법론은 모두 데이터 탐색, 코드 개발, 주제 종합 사이에 어떤 형태의 반복에 의존합니다.6, 7 그러나 NLP 지원 코딩을 사용하는 경우, 반복적인 탐구 과정이 아닌 전체 데이터 세트에 고정된 코드북을 적용하는 방식으로 배포되는 경우가 많습니다. 초기 연구자가 수행한 훈련 데이터 세트의 코딩은 반복적인 귀납적 접근 방식을 통해 이루어질 수 있지만, 더 큰 전체 데이터 세트에 NLP를 일회성으로 적용하면 코드 및 테마 형성에 대한 해당 데이터의 추가 기여를 놓치게 됩니다. 따라서 현재 HPER에서 NLP를 주로 구현하는 방식은 귀납적 접근 방식이 아닌 연역적 접근 방식에 속하는 것으로 보이며, 데이터를 사용하여 가설이나 이론을 생성하기보다는 정적 학습 데이터 세트에 코드화된 가설을 데이터에 적용하는 방식입니다. 
Similar to Cleland's findings in DA, the underlying research paradigms within which researchers employ NLP-assisted coding are often unclear. Ubiquitous qualitative methodologies such as reflexive thematic analysis, grounded theory and qualitative content analysis all rely on some form of iteration between exploring data, developing codes and synthesising themes.6, 7 When NLP-assisted coding is used, however, it is often deployed by applying a fixed codebook to the entire dataset, rather than within an iterative process of inquiry. While the initial researcher-performed coding of the training dataset may occur via an iterative inductive approach, the use of NLP as a one-time application to the larger complete dataset will miss additional contributions of those data to the formation of codes and themes. Thus, the predominant implementation of NLP in HPER currently appears to fall under a deductive rather than inductive approach, applying a hypothesis—codified in a static training dataset—to data rather than using the data to generate a hypothesis or theory.

현재 HPER에서 주로 구현되는 NLP는 귀납적 접근 방식이 아닌 연역적 접근 방식에 속하는 것으로 보이며, 데이터를 사용하여 가설이나 이론을 생성하기보다는 정적 훈련 데이터 세트에 코드화된 가설을 데이터에 적용합니다.
The predominant implementation of NLP in HPER currently appears to fall under a deductive rather than inductive approach, applying a hypothesis—codified in a static training dataset—to data rather than using the data to generate a hypothesis or theory.

그렇다고 NLP가 연역적 탐구에만 사용되거나 (포스트)실증주의 패러다임 내에서만 사용 가능하다는 것은 아닙니다. 귀납적 정성적 접근 방식을 지원할 수 있는 NLP의 잠재력은 존재하지만, 현재 기술적으로 까다롭고 HPE 내에서 상대적으로 미개척 분야로 남아 있습니다. 한 가지 접근 방식은 '비지도' 주제 모델링 전략으로, NLP 알고리즘이 코드화되지 않은 데이터 세트 내에서 의미 패턴을 자동으로 검색하여 새로운 코드를 개발하는 것입니다.8 '연역적'인 것처럼 보이지만 완전히 자동화된 비지도 접근 방식은 알고리즘과 인간 연구자 간의 반복적인 협업이 수반되지 않는 한 이상적이라고 할 수 없습니다. 보다 유망한 방향은 능동형 머신 러닝과 연구자 지원 주제 모델링과 같이 연구자가 수행하는 코딩과 NLP 자동 코딩을 혼합하는 것으로 보입니다. 인간과 기계 간의 미래 협업은 알고리즘이 학습하고 의사 결정을 내리는 방식에 대한 이해, 즉 '설명 가능한 AI'의 진전에 달려 있습니다. 최신 자연어 처리 알고리즘이 텍스트 의미를 표현하는 AI의 능력을 확장함에 따라 복잡성이 증가하면서 의사 결정 과정이 모호해지고 있습니다. 이러한 불투명성은 소위 '블랙박스' 현상으로, AI 알고리즘이 복잡한 행동을 모방하도록 훈련할 수는 있지만 그렇게 학습하는 방법에 대한 인사이트는 거의 드러나지 않습니다. 인간의 마음도 마찬가지이지만, 효과적인 인간과 기계의 협업은 최종 분류에 대한 지식만 얻는 것이 아니라 NLP 알고리즘이 내부적으로 의미적 의미를 어떻게 표현하는지를 이해하는 데 달려 있습니다.9 
This is not to say that NLP can only be used for deductive inquiry or only within a (post-)positivist paradigm. The potential for NLP to assist an inductive qualitative approach exists, but it currently appears technically challenging and remains relatively untapped within HPE. One approach involves an ‘unsupervised’ topic modelling strategy whereby an NLP algorithm automatically searches for patterns of meaning within an uncoded dataset to develop de novo codes.8 Although seemingly ‘deductive’, a completely automated unsupervised approach is not ideal unless it also involves iterative collaboration between the algorithm and human researchers. More promising directions appear to involve hybrids between researcher-performed and NLP-automated coding, such as active machine learning and researcher-assisted topic modelling. Future collaboration between human and machine also depends on making progress in ‘explainable AI’—the understanding of how algorithms learn and make decisions. As newer NLP algorithms expand AI's ability to represent textual meaning, their increasing complexity obfuscates their decision-making process. This opacity is the so-called ‘black box’ phenomenon whereby an AI algorithm can be trained to mimic complex behaviour but reveals little insight into how it learned to do so. While the same can be said of the human mind, effective human–machine collaboration will depend on understanding how NLP algorithms represent semantic meaning internally, rather than gaining knowledge only of the final classifications they make.9

효과적인 인간과 기계의 협업은 NLP 알고리즘이 내부적으로 의미적 의미를 표현하는 방식을 이해하는 데 달려 있습니다.
Effective human-machine collaboration will depend on understanding how NLP algorithms represent semantic meaning internally.

마지막으로, NLP를 이용한 정성적 문서 분석의 성찰성reflexivity 문제가 있습니다. 반사적 정성적 접근 방식은 의미를 만드는 데 있어 연구자의 기여를 인정하고 존중하지만, 현재의 NLP 알고리즘은 이러한 자기 인식이 부족합니다. 학습된 NLP 알고리즘은 학습 데이터를 코딩한 연구자의 반사성을 이어받을 수 있지만, 의도하지 않은 잠재적으로 원치 않는 코딩 경향이나 편견을 분석에 도입할 수도 있습니다. 또한 NLP 알고리즘은 종종 '전이 지식'(예: 별도의 말뭉치에 대한 학습을 통해 얻은 언어에 대한 기계의 이해)으로 보완되는데, 이는 외부 학습 데이터의 편견을 항상 그대로 전달할 수 있습니다. Sarraf 등이 수행한 것처럼 상업적으로 사전 학습된 NLP 알고리즘을 사용하는 경우, 이러한 편향(및 관련 반사성)은 연구자 자신의 반사성과는 완전히 외부에 있습니다. 이러한 알고리즘 편향을 식별하고 완화하는 것은 NLP 내에서 활발히 연구되고 있는 분야입니다. 그러나 '편향되지 않은' NLP 알고리즘의 이상은 필연적으로 객관주의에 귀를 기울일 수밖에 없으며 주관주의적 관점에서는 달성할 수도 없고 원하지도 않을 수 있습니다. 따라서 NLP 알고리즘의 '반사성'은 잘 정의되어 있지 않으며, 알고리즘이 분석에서 중요한 역할을 하는 경우 연구에 비판적 노출을 남길 수 있습니다. 질적 연구의 반사성에 대한 NLP의 기여도를 정의, 평가 및 조정하는 방법을 이해하는 것은 시급히 해결해야 할 과제입니다.10
Finally, there is the issue of reflexivity in NLP-assisted qualitative document analysis. While reflexive qualitative approaches have both acknowledged and enshrined researchers' contributions to making meaning, current NLP algorithms lack such self-awareness. While a trained NLP algorithm may carry forward the reflexivity of the researchers who coded the training data, it may also introduce unintended and potentially unwelcome coding tendencies or biases into the analysis. Further, NLP algorithms are often supplemented by ‘transfer knowledge’—for example, machine understanding of language afforded by training on a separate corpus—that invariably carries forward biases from that external training data. In the case of using a commercially pre-trained NLP algorithm as was done by Sarraf et al, such bias (and any associated reflexivity) is completely external to the researchers' own reflexivity. Identifying and mitigating such algorithmic biases is an active area of research within NLP. However, the ideal of ‘unbiased’ NLP algorithms inevitably hearkens to objectivism and may neither be achievable nor desired from a subjectivist perspective. As such, the ‘reflexivity’ of an NLP algorithm is not well defined and may leave a study critically exposed if the algorithm plays a significant role in the analysis. Understanding how to define, assess and tune the contribution of NLP to a qualitative study's reflexivity needs to be urgently addressed.10

질적 연구의 반사성에 대한 NLP의 기여도를 정의, 평가 및 조정하는 방법을 이해하는 것은 시급히 해결해야 할 과제입니다.
Understanding how to define, assess and tune the contribution of NLP to a qualitative study's reflexivity needs to be urgently addressed.

특히 임상 학습 환경을 사회적으로 구성된 것으로 간주할 때, 연역적 (후기) 실증주의 접근법을 지향하는 NLP 지원 DA 연구의 암묵적 경향은 많은 HPER 연구자들이 DA를 통해 답을 구하고자 하는 주관주의적 연구 질문과 상반될 수 있습니다. NLP를 주관주의 귀납적 패러다임으로 전환하는 것은 연구자와 AI '어시스턴트' 모두를 협력적이고 투명한 탐구 프로세스로 초대하는 새로운 NLP 전략을 개발하는 데 달려 있습니다. 한편, Cleland 등이 개발한 CARDA 체크리스트를 사용하면 AI 기술의 클라우드가 빠르게 진화하는 동안에도 NLP 지원 DA 연구가 이론적, 철학적 토대 위에 확고하게 자리 잡을 수 있습니다.
The implicit tendency of NLP-assisted DA studies towards a deductive (post-)positivist approach may stand in contrast to subjectivist research questions that many HPER researchers seek to answer via DA, particularly when considering the clinical learning environment as socially constructed. Moving NLP towards a subjectivist inductive paradigm will depend upon developing new NLP strategies that invite both researchers and their AI ‘assistants’ into a collaborative and transparent process of inquiry. In the meantime, use of the CARDA checklist by Cleland et al can keep NLP-assisted DA studies firmly situated on their theoretical and philosophical underpinnings while the clouds of AI technology rapidly evolve.

NLP를 주관주의 귀납적 패러다임으로 전환하는 것은 연구자와 AI '어시스턴트' 모두를 협력적이고 투명한 탐구 과정으로 초대하는 새로운 NLP 전략을 개발하는 데 달려 있습니다.
Moving NLP towards a subjectivist inductive paradigm will depend upon developing new NLP strategies that invite both researchers and their AI ‘assistants’ into a collaborative and transparent process of inquiry.


Med Educ. 2023 May;57(5):384-387. doi: 10.1111/medu.15024. Epub 2023 Feb 15.

Evolving natural language processing towards a subjectivist inductive paradigm

Affiliations collapse

1Department of Pediatrics, University of California San Francisco, San Francisco, California, USA.

PMID: 36739578

DOI: 10.1111/medu.15024

인공지능을 활용하여 어떻게 피드백이 위임을 나타나는지 탐색하기 (Med Educ, 2022)
Exploring how feedback reflects entrustment decisions using artificial intelligence
Brian C. Gin1 | Olle ten Cate2,3 | Patricia S. O'Sullivan3,4 | Karen E. Hauer3 | Christy Boscardin3,5

 

 

1 소개
1 INTRODUCTION

임상 책임의 발전은 수련의가 의료 역량을 개발하는 데 매우 중요합니다. 이러한 발전은 위임이라는 과정을 통해 이루어지며, 임상 감독자는 수련자에게 환자 진료에 대한 책임감을 부여함으로써 수련의의 성장을 유도합니다.1, 2 이상적으로는 감독자가 수련의의 역량 수준에 맞는 적절한 수준의 독립성을 부여하는 위임 결정을 내리는 것이 좋습니다.3 그러나 교육자들이 위임의 틀을 적용함에 따라, 위임 기반 평가가 교육 목표 달성을 위한 수련의의 지침을 어떻게 제공하는지에 대한 증거는 아직 명확하지 않습니다.4-7 위임을 부여하는 임상에서 수퍼바이저의 피드백은 수련의에게 더 높은 위임을 달성하는 방법에 대한 지침을 제공하고, 이는 다시 수련의의 학습 요구를 파악할 수 있게 합니다. 수퍼바이저의 위임 결정과 수련의의 학습 요구 사이의 이러한 상호작용은 아직 경험적으로 입증되지 않았습니다. 특히, 다양한 수준의 위임이 연수생에게 제공되는 피드백의 성격 및 품질과 어떤 관련이 있는지는 불분명합니다. 위임을 부여하는 만남에서 생성된 내러티브 피드백을 조사하면 내러티브 주제와 위임 등급 간의 연관성을 발견할 수 있습니다. 이러한 연관성은 위임 결정이 감독자의 연수생 지도에 어떤 영향을 미치는지에 대한 통찰력을 제공하여 위임 기반 평가의 개발과 유용성을 더욱 지원할 수 있습니다. 
Progressions in clinical responsibility are crucial for trainees to develop medical competence. These progressions are mediated by a process called entrustment, through which clinical supervisors guide trainees' growth by granting them increasing responsibility for patient care.1, 2 Ideally, supervisors make entrustment decisions that grant a trainee an appropriate degree of independence to match their level of competence.3 Yet, as educators apply the framework of entrustment, evidence of how entrustment-based assessment provides trainees' guidance for achieving educational goals remains less clear.4-7 Supervisors' feedback from entrustment-granting clinical encounters may provide trainees with guidance on how to achieve higher entrustment, which may, in turn, capture trainees' learning needs. This interaction between supervisors' entrustment decisions and trainees' learning needs has yet to be demonstrated empirically. Particularly, it is unclear how different levels of entrustment may relate to the nature and quality of feedback provided to trainees. Examining narrative feedback generated from entrustment-granting encounters may reveal associations between narrative themes and entrustment ratings. These associations may provide insight into how making entrustment decisions affects supervisors' guidance of trainees, to further support the development and utility of entrustment-based assessments.

위임 결정은 몇 가지 주요 요인에 의해 영향을 받기 때문에 수련생이 다양한 수준의 위임을 달성할 수 있는 방법에 대한 지침도 이러한 요인에 의해 형성될 것이라고 추론할 수 있습니다.8-10 선행 연구에서는 수련생과의 피드백 상호 작용의 맥락에서가 아니라 위임에 대한 감독자의 사고 과정에 대한 해석을 조사하여 이러한 요인을 탐색했습니다.11-13 위임을 결정하는 요인에는 과제의 복잡성과제가 완료될 임상적 맥락이 포함됩니다. 대인관계 요인에는 다음이 포함됩니다.9, 14 

  • 과제에 대한 수련자의 신뢰성(역량 및 경험 포함),
  • 수퍼바이저의 신뢰 성향(위험 허용 및 지원 제공 능력 포함),
  • 수련자와 수퍼바이저의 관계(서로에 대한 상호 신뢰 포함)

Because entrustment decisions are influenced by several key factors, it could be inferred that guidance for how trainees can achieve different levels of entrustment would also be shaped by those factors.8-10 Prior research explored these factors by examining supervisors' interpretations of their own thought processes around entrustment but not in the context of feedback interactions with trainees.11-13 Entrustment-determining factors include the complexity of the task and the clinical context in which the task is to be completed. Interpersonal factors include

  • the trustworthiness of the trainee for the task (including competence and experience),
  • the supervisor's tendency to trust (including tolerance of risk and ability provide support) and
  • the relationship between the trainee and supervisor (including their mutual trust in each other).914 

이러한 요인은 주로 수퍼바이저의 이전 위임 결정에 대한 회상 또는 향후 만남에 대한 예측을 사용하여 식별되었습니다.15, 16 최근의 한 연구에서는 수퍼바이저가 위임 결정을 내린 직후(또는 '임시')15, 17에 인터뷰를 실시하여 잠재적인 회상 편향을 완화했지만,11 인터뷰 중 수퍼바이저의 자기보고가 연수생 이해관계자에 대한 책임을 반드시 반영하지 않을 수 있기 때문에 왜곡 가능성이 여전히 남아있을 수 있습니다. 대인관계 요인은 위임을 탐색하는 데 있어 감독자와 연수생 간의 의사소통의 중요성을 강조하며, 이는 Telio 등의 '교육 동맹' 연구에도 반영되어 있습니다.12, 13 피드백은 이러한 의사소통의 한 형태입니다. 피드백 상호작용은 수퍼바이저가 연수생의 신뢰도와 역량을 판단하는 방법뿐만 아니라 각 위임 등급에서 연수생의 교육적 요구를 해결하기 위해 이러한 판단을 해석하는 방법도 반영할 수 있습니다. 
These factors were largely identified using supervisors' recall of prior entrustment decisions or projections of how they would approach future encounters.15, 16 While a recent study mitigated potential recall bias, by performing interviews with supervisors shortly after in-the-moment (or ‘ad-hoc’)15, 17 entrustment decisions,11 a potential for distortion may still remain, because supervisor self-reports during interviews may not necessarily reflect their accountability to trainee stakeholders. The interpersonal factors highlight the importance of communication between supervisor and trainee in navigating entrustment, as is also reflected in Telio et al.'s work on the ‘educational alliance’.12, 13 Feedback represents one such form of communication. Feedback interactions may reflect not only how the supervisors judge trainees' trustworthiness and competence but also how they translate these judgements to address trainees' educational needs at each entrustment rating.

여러 연구에서 위임 평가가 피드백에 어떻게 반영될 수 있는지 조사했습니다. Dolan 등은 평가에 위임 언어를 포함하면 감독자가 더 낮은 점수를 선택하려는 의지가 증가하고 더 자세한 설명으로 이를 정당화할 수 있다는 사실을 발견했습니다.18 Dudek 등은 질적 연구에서 피드백의 위임 앵커피드백 품질 개선 간에 유사한 연관성을 발견했습니다.5 위임은 학습자의 과제별 및 일반적인 자질 모두에 영향을 받습니다.15 위임을 결정하는 일반적인 요인을 피드백에서 어떻게 도출할 수 있는지, 피드백 내용이 관련 위임 등급에 따라 어떻게 변하는지에 대해서는 알려진 바가 많지 않습니다. 이 흥미로운 질문에도 불구하고 내러티브 피드백 데이터를 질적으로 분석하여 학습자가 감독자 사이에서 자신의 과제 수행에 대한 신뢰를 높이는 데 필요한 요소를 이해하는 데 도움이 될 수 있는 요인을 추출하려면 많은 자원과 인적 노력이 필요할 것입니다.19 

Several studies have examined how entrustment can be captured in feedback. Dolan et al. found that including entrustment language in an assessment increased supervisors' willingness to choose lower scores and also to justify them with more written detail.18 Dudek et al. found a similar connection between entrustment anchors in feedback and improved feedback quality in a qualitative study.5 Entrustment is affected by both task-specific and general qualities of the learner.15 Not much is known about how general factors determining entrustment can be derived from feedback and how feedback content varies with associated entrustment ratings. Despite this intriguing question, it would require extensive resource and human effort to analyse narrative feedback data qualitatively to extract factors that might guide learners in understanding what it takes to enhance trust in their task execution among supervisors.19

이 연구에서는 임상실습 시기의 의대생과 임상 감독자가 함께 작성한 즉석 평가에 기록된 임시 위임 결정과 관련된 요인을 조사하고자 했습니다. 이 평가는 핵심 임상실습 기간 동안 위임을 부여하는 만남에서 생성된 피드백 내러티브의 대규모(약 3300건 관찰) 데이터 세트와 후향적 위임-감독(ES) 수준(학생이 임상 과제를 완료하는 데 필요한 감독 정도를 나타내는 수치 평가)을 생성했습니다. 설명 가능한 자연어 처리(NLP) 방법론을 개발 및 활용하여 이 내러티브를 통해 ES 수준을 예측하고, 그 예측에 사용된 주제에 대한 결과를 검토하여 감독된 임상 만남 및 관련 피드백 상호 작용 내에서 위임 요인이 어떻게 작동하는지에 대한 경험적 증거를 얻습니다. 특히 역량 기반 의학교육(CBME)을 시행하는 기관에서 유사한 데이터 세트를 생성하는 의료 커뮤니티의 다른 사람들이 위임을 탐색할 수 있도록 방법론을 자세히 설명합니다. 
In this study, we sought to investigate factors associated with ad hoc entrustment decisions as documented by in-the-moment assessments completed together by clerkship-year medical students and their clinical supervisors. Generated from entrustment-granting encounters during the core clerkships, this assessment yielded a large (~3300 observation) dataset of feedback narratives paired with retrospective entrustment-supervision (ES) levels—a numeric rating indicating how much supervision a student required to complete a clinic task. We develop and employ an explainable natural language processing (NLP) methodology to predict ES levels from this narrative and examine results for themes NLP used to make that prediction—yielding empirical evidence for how entrustment factors operate within supervised clinical encounters and their associated feedback interactions. We detail our methodologies so that others in the medical community, particularly in institutions implementing competency-based medical education (CBME), generating similar datasets can explore entrustment.

2 방법론
2 METHODS

NLP 접근 방식 개요
Overview of NLP approach

최근 인공지능(AI) 및 NLP의 발전은 대규모 내러티브 데이터 세트 분석의 한계를 극복하기 위해 적용되었습니다.20-24 NLP는 언어학, 의미론 및 AI의 한 분야로 기계 학습(ML) 알고리즘을 활용하여 언어의 의미 패턴을 인식하며 이러한 패턴은 단어, 구문, 문장, 문단 수준에서 인식할 수 있습니다.22 문장 및 단락 수준에서 NLP는 정성적 코딩에서 생성된 것과 유사한 주제를 인식하는 데 사용할 수 있으며, 기존의 정성적 분석으로는 접근하기 어려운 대규모 내러티브 데이터 세트에 적용할 수 있다는 추가적인 이점이 있습니다.25 
Recent developments in artificial intelligence (AI) and NLP have been applied to overcome limitations in analysing large narrative datasets.20-24 NLP is a branch of linguistics, semantics and AI that harnesses machine learning (ML) algorithms to recognise semantic patterns in language; these patterns can be recognised at the level of the word, syntax, sentence, paragraph and beyond.22 At the sentence and paragraph level, NLP can be used to recognise themes similar to those generated by qualitative coding—with the added advantage of application to large narrative datasets frequently inaccessible to traditional qualitative analysis.25

스탈 등은 NLP를 활용하여 다양한 위임 수준과 관련된 내러티브를 모델링했습니다.26 이들의 방법은 위임 수준별로 내러티브를 그룹화하고 각 수준에서 높은 빈도로 발견되는 키워드를 식별했습니다. 이러한 키워드는 다양한 수준의 위임과 관련된 기술에 대한 인사이트를 제공했지만 명확하게 정의할 수 있는 질적 주제나 요인을 나타내는 데는 부족했습니다. 최근 외틀레쉬(Ötleş) 등27은 NLP 알고리즘의 예측 능력을 입증하기 위해 사람이 품질을 코딩한 피드백 댓글의 하위 집합을 학습시킨 후 내러티브 피드백의 품질을 인식하도록 NLP 알고리즘을 훈련시켰습니다. 스탈 등은 더 발전된 NLP 기술을 사용하는 향후 연구에서는 위임과 관련된 주제를 자동으로 식별하고 이를 사용하여 내러티브 데이터에서 위임 수준을 예측할 수 있을 것으로 예상했습니다. 
Stahl et al. utilised NLP to model narratives associated with different entrustment levels.26 Their method grouped narratives by entrustment level and identified keywords found with high frequency at each level. These keywords gave insight into the skills relevant to different levels of entrustment but stopped short of representing clearly definable qualitative themes or factors. Demonstrating predictive capabilities of NLP algorithms, Ötleş et al.27 recently trained an NLP algorithm to recognise the quality of narrative feedback after training it on a subset of feedback comments coded by humans for their quality. Stahl et al. projected that future studies using more advanced NLP techniques would automatically be able to identify themes related to entrustment and use these to predict entrustment levels from narrative data.

내러티브 피드백을 통해 위임 등급을 예측하도록 NLP 알고리즘을 훈련시킬 수는 있지만, 알고리즘이 어떤 테마를 인식하여 예측을 했는지 이해할 수 없다면 이는 제한적으로 사용될 것입니다. 이러한 '설명 가능성'의 부족은 AI 애플리케이션에 대한 주요 비판 중 하나입니다. AI가 복잡한 작업에서 인간의 인지를 모방하는 데는 성공했지만, 그 작동 방식을 이해할 수 있는 간단한 방법이 없는 경우가 많기 때문입니다. 마찬가지로, 설명가능성의 부족은 피드백 품질에 대한 외틀쉬의 작업에도 영향을 미칩니다. NLP 알고리즘이 품질을 할당하기 위해 어떤 내러티브 특징을 인식했는지 불분명하기 때문입니다. AI 시스템이 패턴을 인식하고 의사 결정을 내리는 방식에 대한 인사이트를 얻는 것은 새롭게 떠오르는 설명 가능한 AI 분야의 주제입니다.28 NLP의 관점에서 설명 가능성을 향한 첫 번째 단계는 알고리즘이 텍스트를 기반으로 예측, 분류 또는 의사 결정을 내리기 위해 인식하는 의미론적 주제가 무엇인지 이해하는 것입니다. 
While NLP algorithms could be trained to predict entrustment ratings from narrative feedback, this would be of limited use if we could not understand what themes the algorithm recognised to make predictions. This lack of ‘explainability’ is one of the key criticisms of AI applications—although AI has succeeded in mimicking human cognition on complex tasks, there is often no straightforward way to understand how it works. Similarly, a lack of explainability affects Ötleş's work on feedback quality—it is unclear what narrative features their NLP algorithm recognised to assign quality. Gaining insight into how AI systems recognise patterns and make decisions is the subject of the emerging field of explainable AI.28 From the perspective of NLP, a first step towards explainability is understanding what semantic themes an algorithm recognises to make predictions, classifications or decisions based on text.

저희는 각 피드백 내러티브에 할당된 ES 수준과 짝을 이루는 데이터 세트를 사용했으며, 이는 의대생들이 직접 관찰한 임상 사례 중 빈도가 낮고 빈도가 높은 상황에서 생성되었습니다.29 먼저 각 피드백 내러티브에 ES 수준과 관련된 단어 또는 문구가 포함되어 있는지 여부를 조사했습니다. 이를 위해 (복잡한 인지를 가장 잘 모방할 수 있는 것으로 여겨지는 기계 언어 방법론인) 심층 신경망(DNN)을 사용했습니다. 지도* ML 접근 방식에서는, 감독자가 지정한 ES 수준이 '골드 스탠다드'(즉, 특정 내러티브와 관련된 실제 ES 수준)를 나타낸다고 가정하고, 피드백 내러티브로부터 ES 수준을 예측하도록 DNN을 훈련시켰습니다. DNN은 복잡한 작업을 수행할 수 있지만, 전통적으로 설명이 가장 어려운 AI 방법 중 하나로 여겨져 왔습니다.31, 32 우리는 훈련된 DNN을 심문interrogate하는 새로운 방법을 개발하여, DNN이 다양한 ES 레벨을 할당하도록 유도하는 특정 단어와 구문('특징features'이라고 함)을 식별함으로써 감독자의 ES 레벨 할당과 관련된 요소를 밝혀냄으로써 이 과제에 접근했습니다. 

We used a dataset of feedback narratives each paired with an assigned ES level, generated during low-stakes, high frequency directly observed clinical encounters of clerkship-year medical students.29 We first examined whether each feedback narrative contained words or phrases associated with its ES level. To do this, we employed a deep neural network (DNN)—a machine language methodology that has been viewed as the most capable of mimicking complex cognition. In a supervised* ML approach, we trained the DNN to predict ES levels from feedback narratives, assuming that the ES level assigned by the supervisors represented the ‘gold standard’ (i.e. the true ES level associated with any given narrative). While capable of complex tasks, DNNs have traditionally been seen as one of the least explainable AI methods.31, 32 We approached this challenge by developing a new method to interrogate trained DNNs, identifying specific words and phrases (termed ‘features’) that triggered the DNN's assignment of different ES levels, thus revealing the factors associated with supervisors' ES level assignment.

데이터, 참가자 및 환경
Data, participants and setting

데이터는 216명의 고유(비식별화된) 의대생에 대한 3328개의 개별 평가로 구성되었으며, 1455명의 고유(비식별화된) 임상 감독자(교수진 및 레지던트)가 관찰했습니다. 각 평가는 관찰된 단일 임상 상황에서 생성되었으며, 과제 유형, 개방형 프롬프트에 의해 생성된 피드백 서술, 과제에 대해 얼마나 많은 감독이 제공되었는지를 후향적으로 표시하기 위해 1에서 4까지의 ES 수준(수정된 O-SCORE 척도 기준)으로 구성되었습니다(상자 1).33 이러한 평가는 감독자와 의대생이 공동으로 작성하고 온라인 설문지에 감독자 또는 의대생이 입력했습니다(이 경우 학생에게 피드백을 요약하여 제출할 기회가 주어졌으며 감독자의 승인을 받아야 했습니다). 학생들은 일주일에 2번의 평가를 수집해야 했습니다(따라서 데이터는 연구 기간 동안 핵심 임상 실습을 순환한 모든 의대생을 대표합니다). 데이터는 2020년 1월부터 7월까지 미국의 4년제 학사 학위 취득 후 의과대학에서 수집되었으며, 하나의 주State에 여러 임상실습 사이트가 있습니다. 이 데이터 세트에 포함된 클리닉은 마취과, 가정의학과, 내과(3년차 클리닉 및 4년차 인턴십), 신경과, 산부인과, 소아과, 정신과 및 외과였습니다. 관찰된 임상 과제는 의사소통, 구두 발표, 병력, 신체 검사, 메모 작성 및 기타(분류되지 않음)의 6가지 유형으로 나뉘었습니다. 감독자와 학생은 무작위로 할당된 숫자 자리 표시자를 사용하여 비식별화되었습니다. 기관 심의 위원회는 연구 프로토콜을 승인했습니다(연구 ID 20-32 478). 
The data consisted of 3328 individual assessments of 216 unique (de-identified) medical students, observed by 1455 unique (de-identified) clinical supervisors (faculty and residents). Each assessment was generated from a single observed clinical encounter and consisted of type of task, a feedback narrative generated by an open-ended prompt and an assigned ES level (based on the Modified O-SCORE scale) ranging from 1 to 4 (Box 1) to indicate retrospectively how much supervision was provided for the task.33 These assessments were completed collaboratively by the supervisor and medical student and were entered into an online questionnaire by either the supervisor or medical student (in which case the student was given the opportunity to summarise and submit the feedback with supervisor approval). Students were required to collect 2 assessments per week (thus, the data represent all medical students who rotated through their core clinical clerkships during the study period). The data were collected from January to July 2020 at a 4-year post baccalaureate medical school in the United States with multiple sites in a single state. The clerkships included in this dataset were anesthesiology, family and community medicine, internal medicine (3rd-year clerkship and 4th-year acting internship), neurology, obstetrics/gynaecology, paediatrics, psychiatry and surgery. Clinical tasks observed were divided into six types: communication, oral presentation, history, physical exam, note taking and other (uncategorized). Supervisors and students were de-identified using randomly assigned numerical placeholders. Our Institutional Review Board approved the study protocol (study ID 20-32 478).

주제 정의-전문가 지원 축 코딩
Defining themes—Expert-assisted axial coding

DNN은 다른 정성적 분석과 마찬가지로 주제를 암시하는 features에 따라 내러티브 데이터를 클러스터링할 수 있지만, 콘텐츠 전문 지식을 통해 이러한 테마의 해석 가능성이 향상됩니다. DNN은 텍스트 데이터를 단어, 단어 패턴, 구문 등 특정 features에 의해 우선적으로 활성화되는 상호 연결된 인공 뉴런의 집합으로 모델링합니다. 따라서 우리는 내러티브 데이터 클러스터 내에서 DNN이 식별한 각 features이 무엇을 나타내는지에 대한 합의를 도출하고 의학 교육자에게 의미 있는 방식으로 각 특징을 정의하기 위해 인간 전문가 패널을 고용했습니다. 이 과정은 질적 분석의 축 코딩 및 주제 분석과 유사합니다.34 이 그룹은 제1저자(BG)와 보건 전문직 교육 위임에 초점을 맞춘 이전 연구 경험이 있는 세 명의 학자(OtC, PO'S 및 CB)로 구성되었습니다. 구성원들은 훈련된 DNN이 식별한 features(아래 설명 참조)을 기반으로 독립적으로 주제를 정의하고 각 주제에 대한 합의된 정의에 공동으로 도달했습니다. 
While DNNs can cluster narrative data by features suggestive of themes, as in other qualitative analysis, the interpretability of these themes is enhanced with content expertise. DNNs model textual data as a set of interconnected artificial neurons activated preferentially by specific features: words, patterns of words and phrases. As such, we employed a panel of human experts to reach consensus as to what each of the DNN's identified features represented within the cluster of narrative data and to define each in a way that is meaningful to medical educators. This process is similar to axial coding and thematic analysis in qualitative analysis.34 This group was composed of first author (BG) and three scholars with prior work focused on entrustment in health professions education (OtC, PO'S and CB). Members independently defined themes based on features identified by the trained DNN's (as described below) and collaboratively reached consensus definitions of each theme.

NLP 구현
NLP implementation

내러티브 데이터에서 ES 수준을 예측하기 위한 머신러닝 알고리즘은 텐서플로우 2.3에서 스택형 장단기 메모리(LSTM) 아키텍처30를 사용하는 DNN으로 구현되었습니다(기술적 세부 사항은 부록 S1 참조). LSTM은 언어의 단어 시퀀스와 계층 구조를 인식하는 능력으로 NLP 애플리케이션에서 사용되는 인공 뉴런의 일종입니다.36, 37 입력 텍스트를 인코딩하기 위해 GloVe 사전 학습된 단어 임베딩38을 사용한 다음 두 개의 양방향 LSTM 레이어4방향 다중 클래스 분류를 수행하는 최종 예측 레이어를 사용했습니다.

  • 원본 데이터 세트의 30%를 차지하는 무작위로 추출된 하위 집합에서 생성된 훈련 세트(각 평가에 대해 피드백 내러티브와 ES 수준을 모두 사용할 수 있는)를 사용하여 여러 번의 반복(또는 NLP 용어로 '에포크')으로 DNN을 훈련시켰습니다.
  • 그런 다음 원본 데이터 세트의 나머지 70%를 나타내는 검증 세트(알고리즘에 피드백 내러티브만 제공되고 할당된 ES 레벨은 보류됨)에 훈련된 DNN을 적용했습니다.

그런 다음 검증 세트에서 예측된 ES 레벨과 보류된 ES 레벨을 비교하여 수신자 운영 특성(ROC) 곡선을 만들고 곡선 아래 면적(AUC)을 계산하여 각 ES 레벨을 예측하는 DNN의 능력을 표시했습니다(AUC가 1이면 완벽한 예측 능력을, 0.5이면 그러한 능력이 없음을 나타냄). ES 수준과 내러티브 특징 간의 연관성을 기대할 수 없는(그리고 AUC가 0.5에 가까워야 하는) 무작위로 할당된 ES 수준의 피드백 내러티브를 사용하여 DNN을 훈련시킨 대조 실험에서 이러한 단계를 반복했습니다.  

Our ML algorithm for predicting ES levels from narrative data was implemented as a DNN employing a stacked long short-term memory (LSTM) architecture30 in TensorFlow35 2.3 (see Appendix S1 for technical details). LSTMs are a type of artificial neuron that have been used in NLP applications for their ability to recognise sequences of words and hierarchical structures in language.36, 37 We used the GloVe pretrained word embeddings38 to encode the input text, followed by two bidirectional LSTM layers, and a final prediction layer that performed 4-way multiclass classification. We trained the DNN in multiple iterations (or ‘epochs’ in NLP terminology) using a training set (where both the feedback narrative and ES level were available for each evaluation) created from a randomly drawn subset representing 30% of our original dataset. We then applied the trained DNN to a validation set (where only the feedback narrative was available to the algorithm, and the assigned ES levels were withheld), which represented the remaining 70% of the original dataset. We then compared the predicted ES levels from the validation set to the withheld ES levels, constructing receiver operating characteristic (ROC) curves and calculating the area under the curve (AUC) to indicate the DNN's ability to predict each ES level (an AUC of 1 represents perfect predictive ability; 0.5 represents no such ability). We repeated these steps in a control experiment in which the DNN had been trained using feedback narratives with randomly assigned ES levels, where no association between ES levels and narrative features should be expected (and the AUC should approach 0.5).

DNN의 예측 능력이 확립된 다음에는 어떤 features(예: 특정 단어 또는 단어 패턴)이 위임 수준과 관련이 있는 것으로 '학습'되는지 파악하는 것이 주요 목표였습니다. 이를 위해서는 훈련된 DNN의 중간 계층 내에 있는 인공 뉴런(상자 2 참조)을 조사해야 했습니다. 훈련 후 이러한 인공 뉴런은 특정 내러티브 features에 민감하게 반응합니다. 마지막 중간 레이어(부록 S1의 레이어 4)에서 훈련된 DNN을 잘라내어 이러한 features을 추출하여 개별 인공 뉴런의 출력(즉, 활성화)을 주어진 내러티브에 대한 반응으로 평가할 수 있도록 했습니다. 이러한 활성화를 다차원 벡터 공간으로 표현하고 주성분 분석(PCA)을 사용하여 차원을 줄였습니다.39 처음 세 개의 주성분은 데이터 세트의 분산 중 90% 이상을 설명했습니다(부록 S1의 그림 A2). 세 가지 주성분 각각과 가장 강한 상관관계가 있는 내러티브와 약한 상관관계가 있는 내러티브(즉, 가장 긍정적인 내적 곱과 가장 부정적인 내적 곱이 있는 내러티브)를 식별하여 총 6개의 내러티브 세트를 도출한 다음, 위에서 설명한 전문가 패널을 통해 코딩했습니다. 또한, 각 내러티브 세트에 단어가 각 주성분의 해당 인공 뉴런을 얼마나 강하게 활성화했는지를 반영하는 워드 클라우드로 각 내러티브 세트를 보강했습니다(부록 S2의 그림 B3). 이 절차는 부록 S2에서 더 자세히 설명합니다. 
With the predictive ability of our DNN established, we turned to the primary goal of the determining which features (i.e. specific words or patterns of words) it ‘learned’ as being related to entrustment levels. This required us to examine the artificial neurons (see Box 2) within the intermediate layers of the trained DNN. After training, these artificial neurons develop sensitivities to specific narrative features. We extracted these features by truncating our trained DNN after the last intermediate layer (Layer 4 in Appendix S1), so that the outputs (i.e. activations) of individual artificial neurons could be assessed in response to any given narrative. We represented these activations in a multidimensional vector space and used principal component analysis (PCA) to reduce its dimensionality.39 The first three principal components explained >90% of the variance in our dataset (Figure A2 of Appendix S1). We identified the narratives most strongly and weakly correlated with each of the three principal components (i.e. narratives that had the most positive and most negative inner products), yielding six total sets of narratives that we then coded via the expert panel described above. Additionally, we augmented each narrative set with a word cloud reflecting how strongly the words activated each principal component's corresponding artificial neurons (Figure B3 of Appendix S2). We describe this procedure in more detail in Appendix S2.

medu14696-sup-0001-supporting_information_proof-revision.docx
0.37MB

3 결과
3 RESULTS

평가 데이터 세트 특성
Assessment dataset characteristics

비식별처리된 평가 데이터의 출처는 표 1에 전문 분야 및 과제 유형과 함께 요약되어 있습니다. '기타' 범주로 표시된 대부분의 작업은 봉합, 정맥로 확보, 삽관 및 배액관 제거와 같은 절차적 술기였습니다. 전반적으로 높은 ES 레벨이 우세했으며, 가장 낮은 ES 레벨인 1을 받은 평가는 70개에 불과했습니다. 

The de-identified sources of assessment data are summarised in Table 1 with specialty and task type. Most tasks represented by the ‘other’ category were procedural skills such as suturing, i.v. placement, intubation and drain removal. We found a predominance of higher ES levels overall, and just 70 assessments received the lowest ES level of 1.

ES 수준과 관련된 주제 식별
Identification of themes related to ES levels

표 2는 알고리즘에 의해 식별된(그리고 전문가 패널에 의해 코딩된) 내러티브의 특징과 해당 특징을 구성하는 내러티브에 대한 관련 ES 수준을 보여줍니다. 표 2에 따르면 내러티브는 각각 고유한 특징과 연관된 네 가지 범주의 ES 수준에 따라 그룹화할 수 있습니다: 
Table 2 shows the narrative features identified by the algorithm (and coded by the expert panel) and the associated ES level for the narratives making up that feature. Table 2 reveals that narratives could be grouped according to four categories of ES levels, each associated with distinct features:

1. 가장 높은 ES 수준과 연관된 내러티브는 높은 위임 평가에 대한 정당성으로 교육생의 특정 행동과 특성을 언급하는 상세한 강화 피드백을 나타냅니다(평균 ES = 3.83 [SD 0.67]). 
1. Narratives associated with the highest ES levels represented
 detailed reinforcing feedback that cited specific trainee behaviours and characteristics as justification for the high entrustment ratings (average ES = 3.83 [SD 0.67]).

문서/SOAP 메모를 시작할 때 한 줄로 시작하는 탁월한 사용. 환자 우려 사항과 관련된 철저한 HPI. 노트에서 평가와 계획을 분리하고, 평가에서 관련 세부 사항에 초점을 맞춥니다. 
Outstanding use of a one-liner to start the documentation/SOAP note. Thorough HPI relevant to patient concerns. Separate assessment from plan in the note, and focus on pertinent details in the assessment …


2. 다음으로 높은 ES 수준과 관련된 서술은 세부적인 일반적 칭찬(3.40 [0.65])과 임상적 추론에 대한 상세한 건설적 피드백(3.32 [0.55])을 모두 나타냈습니다. 
2. Narratives associated with the next highest set of ES levels represented both low detail generic praise (3.40 [0.65]) and detailed constructive feedback on clinical reasoning (3.32 [0.55]).

병력을 작성하는 동안 이러한 증상에 대한 감별 진단을 염두에 두고 체계적으로 더 질문하고 싶은 핵심 증상 한두 가지를 생각해 보세요. 
During the history taking think about what your differential is and the one or two key symptoms you would like to ask more questions about in a systematic way, keeping in mind your differentials for these symptoms.
전반적으로 잘했습니다. 
Good job overall.

3. ES 수준이 낮을수록 디테일이 적은 강화 피드백(2.86 [0.63])과 수술 및 검사 기술에 대한 건설적인 피드백(2.85 [0.84])이 모두 낮게 나타났습니다. 
3. Narratives associated with lower ES levels represented both low detail reinforcing feedback (2.86 [0.63]) and constructive feedback on surgical and exam skills (2.85 [0.84]).

바늘을 피부와 수직으로 움직이고 피부 가장자리를 일직선으로 만들기 위해 얼마나 많이 물어야 하는지 생각해야 합니다. 
Make sure to drive the needle perpendicular to the skin and think about how much of bite you need to take to make the skin edge line up.
구두 발표가 우수합니다. 
Excellent oral presentation.

4. 가장 낮은 ES 수준과 관련된 서술은 향후 수행을 위한 구체적인 지침을 제공하는 모든 유형의 술기에 대한 상세하고 건설적인 피드백을 나타냈습니다(2.57 [0.61]). 
4. Narratives associated with the lowest ES levels represented detailed constructive feedback on all types of skills that provided specific instructions for future performance (2.57 [0.61]).

몇 가지 다른 팁 시간순으로 살펴보기: 증상이나 기타 데이터를 얻을 때마다 해당 증상이 나타난 시간대를 파악하세요. 지리적/직업적/관계 마커를 사용해 시간대를 구분하세요. 기분 에피소드나 입원의 경우, 주요 증상을 파악하고 싶을 때 ... 
A few other tips: Make sure you go chronologically: whenever you get symptoms or other data, ensure that you know the time frame in which they are present. Block out epochs of time with geographic/occupational/relationship markers. For mood episodes or hospitalizations, you want to get primary symptoms …
 

강화로 분류된 내러티브만 고려했을 때, 구체적인 강화 피드백일반적인 칭찬이나 비특이적 강화 피드백보다 평균 ES 수준이 더 높았으며, 각각 평균 3.83, 3.40, 2.86이었습니다(모든 쌍별 비교에서 p <0.001). 
Considering only narratives classified as reinforcing, specific reinforcing feedback had a higher average ES level than generic praise or nonspecific reinforcing feedback, with means 3.83, 3.40, and 2.86, respectively, (p < 0.001 for all pairwise comparisons).

이러한 결과는 알고리즘이 위임 수준과 관련된 다음과 같은 피드백의 특징을 인식하고 있음을 시사합니다. 

  • (i) 피드백의 세부 수준,
  • (ii) 피드백이 건설적인지 강화적인지 여부,
  • (iii) 피드백이 절차적 기술인지 인지적 기술인지 또는 과제를 반영하는지 여부와 같은 

These findings suggest that the algorithm recognised the following feedback features associated with levels of entrustment:

  • (i) the level of detail of the feedback,
  • (ii) whether the feedback was constructive versus reinforcing and
  • (iii) whether the feedback reflected procedural versus cognitive skills or tasks.

피드백 내러티브를 통한 ES 수준 예측
Prediction of ES levels from feedback narratives

감독된 NLP 알고리즘은 ES 레벨 2~4(높은 수준의 위임, 낮은 수준의 감독)에 대해 중간 정도의 변별력(AUC 0.6~0.7)을 보여주었습니다.40, 41 알고리즘은 이 ES 점수가 할당된 평가의 수가 적기 때문에 가장 낮은 ES 레벨 1(AUC 0.5)을 변별하지 못했습니다. 이러한 결과는 부록 S1의 그림 A1에 각 ES 레벨에 대한 ROC 곡선과 AUC를 보여줍니다. 오른쪽 삽입물은 알고리즘이 예상한 결과를 제공하는지 확인하기 위해 각 내러티브의 ES 수준을 무작위로 지정한 대조 실험(섹션 2 참조)의 결과를 보여줍니다(AUC 0.5는 무작위로 할당된 ES 수준으로 훈련했을 때 알고리즘이 내러티브를 변별할 수 없음을 나타냄). 
The supervised NLP algorithm demonstrated low-to-moderate discrimination ability (AUC 0.6–0.7) for ES Levels 2 through 4 (higher levels of entrustment, lower levels of supervision).40, 41 The algorithm was unable to discriminate the lowest ES level 1 (AUC 0.5) due to the small number (70) of evaluations assigned this ES score. These findings are depicted in Figure A1 of Appendix S1 showing the ROC curves and AUCs for each ES level. The right inset shows the results of the control experiment (see Section 2) where we randomised the ES level of each narrative to verify that the algorithm gave the expected result (an AUC of 0.5 indicating the algorithm's inability to discriminate narratives when trained with randomly assigned ES levels).

4 토론
4 DISCUSSION

우리는 NLP를 사용하여 위임 결정과 피드백이 교육생에게 특정 학습 목표를 달성하는 데 필요한 세부 정보를 제공할 수 있는 방식으로 상호 작용한다는 사실을 발견했습니다. 감독자들은 특정 목표 설정, 즉 높은 수준의 위임을 획득(또는 유지)하고 위임을 획득(또는 유지)하는 방법에 대한 자세한 지침을 제공하는 피드백 프로세스에서 무의식적으로 위임 프레임워크를 사용하는 것으로 보였습니다. 최근 사례 연구에서 슈퍼바이저가 서로 다른 역량 수준의 연수생에게 접근하는 일관성에 의문이 제기되었지만,4 NLP를 통해 더 큰 데이터 세트를 조사하여 ES 수준과 연수생 지도 사이의 두드러진 경향을 밝혀냈습니다. 즉, 위임 척도의 높은 끝과 낮은 끝 모두에서 지침의 세부 수준과 구체성이 증가한다는 점에서, 위임이 슈퍼바이저의 연수생 지도에 영향을 준다는 것을 알 수 있었습니다. 또한 내러티브 평가 데이터의 신뢰성이 이전에 입증된 점을 고려할 때 내러티브의 위임 등급을 예측하는 NLP 알고리즘의 능력은 예상치 못한 것이 아니었습니다.42 알고리즘에 대한 심층 분석을 통해 위임과 특별히 연관된 특징이 밝혀졌습니다. 이러한 특징들을 위임 모델(수련생, 수퍼바이저, 상황, 업무 및 관계) 내에서 구성하여 수퍼바이저가 위임 수준을 할당할 때 고려하는 요소를 제시했습니다.8, 43 한 가지 요소(관계)를 제외한 모든 요소가 데이터에 직접적으로 반영된 것으로 나타났습니다.  
We found by using NLP that entrustment decisions and feedback interacted in a way that could provide trainees with details necessary to achieve specific learning goals. Supervisors appeared to employ, perhaps subconsciously, the entrustment framework in the feedback processes guiding specific goal-setting—i.e. earning (or maintaining) a high level of entrustment—and providing detailed instruction on how to earn (or maintain) that entrustment. While a recent case study cast doubt on the consistency with which supervisors approach trainees at different competency levels,4 NLP allowed us to examine a larger dataset to reveal a prominent trend between ES levels and trainee guidance: the level of detail and specificity of instruction increased at both high and low ends of the entrustment scale, suggesting that entrustment does affect supervisors' guidance of trainees. Further, the ability of the NLP algorithm to predict entrustment ratings of narratives was not unexpected given the previously demonstrated reliability of narrative assessment data.42 Deeper analysis of the algorithm revealed the features specifically associated with entrustment. We framed these features within an entrustment model (trainee, supervisor, context, task and relationship) suggesting factors supervisors considered when assigning entrustment levels.8, 43 All but one factor (relationship) appeared to be directly reflected in our data.

연수생
Trainee

수퍼바이저의 성찰에서 도출된 수련의 요인의 개념화(신뢰성과 관련된 수련의 자질에 초점을 맞춘)와 비교했을 때,15 여기서 확인된 주제는 수련의가 임상 업무를 수행하는 방법의 실용성에 초점을 맞추는 경향이 있었습니다. 실제로 ES 수준이 가장 높거나 낮은 것과 관련된 내러티브는 과제를 어떻게 유능하게 수행했거나 수행했어야 하는지에 대한 구체적인 세부 사항에 집중하는 것으로 나타났습니다. 위임의 사용은 이러한 세부 사항을 불러일으키는 데 도움이 되었을 수 있습니다. 교육생에 대한 감독자의 긍정적인 감정(칭찬 및 강화 진술에 반영됨)은 유능한 교육생의 성과에 대한 구체적인 증거를 인용하는 것보다 덜 중요한 것으로 보였으며, [일반적인 칭찬]이나 [비특이적 강화 피드백]보다 [구체적인 성과에 대한 강화 피드백]이 평균 ES 수준이 더 높았습니다. 
Compared with conceptualizations of the trainee factor derived from supervisor reflections (that focused on trainee qualities associated with trustworthiness),15 the themes identified here tended to focus on the practicalities of how trainees perform clinical tasks. Indeed, the narratives associated with the highest and lowest ES levels appeared to centre on the specific details of how a task was, or should have been, performed competently. The use of entrustment may have helped to engender these details. Supervisors' positive sentiments about trainees (reflected by praise and reinforcing statements) appeared to be less important than their citing specific evidence of competent trainee performance—specific reinforcing feedback had a higher average ES level than generic praise or nonspecific reinforcing feedback.

감독자들이 과제별 증거에 집중하는 것은 효과적인 피드백은 학생의 특성보다는 학생의 성과와 관련되어야 한다는 Gibbs 등의 명제를 반영합니다.44 낮은 ES 수준을 할당할 때, 감독자들은 더 높은 수준의 위임을 받기 위해 연수생이 앞으로 수행해야 할 구체적인 단계를 상세하게 설명했습니다. 이 결과는 위임 척도 사용이 피드백에 미치는 영향에 대한 Dolan 등 및 Dudek 등의 연구와 건설적인 피드백은 구체적이고 미래의 방향을 포함해야 한다는 결론을 내린 여러 연구를 뒷받침합니다.45-48 또한, 본 연구 결과는 수퍼바이저가 수련생에게 제공하는 지도의 양이 위임 결정에 영향을 미치는 주요 요인이며, 지도의 필요성이 증가할수록 ES 수준이 낮아진다는 Robinson 등의 최근 질적 인터뷰 결과를 뒷받침합니다.11 따라서 낮은 ES 수준에 대한 본 연구 결과는 이러한 선행 연구의 맥락에서 예상되는 것이지만, 가장 높은 ES 수준에서도 서술의 세부 수준이 높아진 것은 다소 의외입니다. 이 결과는 감독자가 더 높은 수준의 위임을 선택한 이유와 이를 뒷받침할 수 있는 증거의 가용성과 관련이 있을 수 있습니다. 
Supervisors' focus on task-specific evidence mirrors Gibbs et al.'s proposition that effective feedback should relate to students' performance rather than their characteristics.44 When assigning low ES levels, supervisors detailed specific steps for trainees to perform in the future, to earn higher levels of entrustment. This finding corroborates the work of Dolan et al. and Dudek et al. on the effects of using an entrustment scale on feedback, as well as several studies concluding that constructive feedback should be specific and contain future direction.45-48 In addition, our results support Robinson et al.'s recent finding from qualitative interviews that the amount of guidance a supervisor provided to a trainee was the primary factor that influenced their entrustment decision, where an increasing need for guidance led to lower ES levels.11 While our results about low ES levels are thus expected in the context of these prior studies, it is somewhat surprising that the level of narrative detail was also increased at the highest ES levels. This finding may relate to how supervisors justified their choice of higher entrustment and the availability of evidence to support it.

감독자
Supervisor

피드백의 세부 수준에 대한 조사 결과는 수퍼바이저가 위임을 정당화할 때 공정성에 대한 고려를 반영할 수도 있습니다.

  • 세부 수준이 높을수록 피드백의 공정성에 대한 인식이 높아지는 것으로 생각되며,49 이는 또한 수퍼바이저가 ES 수준을 높고 낮게 지정할 때 더 구체적이고 세부적으로 지정하는 경향이 있는 이유를 설명할 수 있습니다.
  • 최고 또는 최저 ES 등급을 선택하는 데 대한 슈퍼바이저의 자신감 부족은 관찰 및 피드백 제공에 대한 슈퍼바이저의 참여가 적기 때문일 수 있습니다.50 또한, 중간 ES 등급에서 세부 사항이 부족하다는 것은 슈퍼바이저가 더 높거나 낮은 ES 등급을 명확하게 정당화할 증거가 부족하다는 것을 반영할 수 있습니다.
  • 피드백을 강화하는 '일반적인' 칭찬은 아직 더 높은 수준의 위임을 받을 자격이 없는 학생을 격려하려는 감독자의 시도로 볼 수 있습니다.51 

Our findings about the level of detail of feedback may also reflect supervisors' considerations of fairness in justifications of entrustment.

  • An increased level of detail is thought to support perceptions of fairness in feedback,49 which could also explain why supervisors tended to be more specific and detailed when assigning both higher and lower ES levels.
  • Lack of supervisor confidence to choose the highest or lowest ES levels may be a consequence of less supervisor participation in the exercise of observing and giving feedback.50 Furthermore, the lack of detail at the middle ES ratings may reflect supervisors' lack of evidence to clearly justify a higher or lower ES rating.
  • ‘Generic’ praise as reinforcing feedback could be seen as supervisors' attempts to encourage students who did not yet deserve higher levels of entrustment.51

맥락과 과제
Context and task

본 연구는 위임 결정에서 맥락과 과제 요인의 중요성을 강조하는 동시에 추가적인 질문을 제기합니다. 감독자들은 인지적 과제(환자 의사소통 및 임상적 추론 포함)에 비해 절차적 과제(수술 및 검사 기술 포함)에 대해 더 낮은 ES 수준을 부여하는 경향이 있었습니다. 이러한 과제 유형의 효과는 의과대학 초기에 절차적 기술을 쌓을 기회보다는 인지적 기술(환자 사례, 임상 추론, 기초 과학 등)을 쌓는 데 중점을 두는 것을 반영할 수 있습니다.52 또는 수행되는 전문 분야(예: 외과 대 내과), 학생과 레지던트 수련의에게 업무를 맡기는 임상 문화의 잠재적 차이 또는 편견을 반영할 수도 있습니다.53 마지막으로, 이 발견은 시술의 자율성에 대한 어포던스가 제한될 수 있고 환자 안전에 대한 우려가 높기 때문에, 임상실습 기간 동안 의대생이 인지적 과제에 비해 절차적 과제에 대해 지각(감독자 편견 또는 평가 척도에 대한 이해로 인해) 또는 실제 신뢰도에 내재된 차이를 추가로 반영할 수 있습니다.53 이러한 기여를 분석하려면 추가 연구가 필요하지만, 우리의 결과는 수련의 및 감독자의 고려 사항과는 별개로 과제 및 상황 요인의 영향에 대한 직접적인 증거를 제공한다는 것은 분명합니다. 
Our study highlights the importance of context and task factors in entrustment decisions while raising further questions. Supervisors tended to assign lower ES levels for procedural tasks (including surgical and exam skills) compared with cognitive tasks (including patient communication and clinical reasoning). This effect of task type may reflect the focus during the early years of medical school on cognitive skill-building (such as patient cases, clinical reasoning and basic sciences) rather than opportunities for building procedural skills.52 Alternatively, it may reflect context—the specialty in which it is performed (i.e. surgery versus medicine) and potential differences or biases in clinical cultures' tendencies to entrust student versus resident trainees.53 Finally, this finding may additionally reflect an inherent difference in perceived (due to supervisor bias or understanding of the rating scale) or actual trustworthiness of medical students for procedural tasks compared with cognitive ones during the clerkship years, because affordances for autonomy in procedures may be limited and concerns about patient safety are high.53 While further investigation is needed to parse these contributions, it is clear that our results provide direct evidence of the effects of task and context factors independent from trainee and supervisor considerations.

AI는 문헌에 보고되지 않은 인사이트를 제공했지만, 이는 의료 분야와 그 밖의 분야에서 최근의 ML 성과에 기반이 되는 DNN의 새로운 기능을 통해서만 가능했습니다.54, 55 동시에 이러한 복잡한 네트워크가 어떻게 '사고' 또는 '학습'하는지는 평가하기 어려웠으며, 이는 AI의 '블랙박스' 문제를 보여줍니다.24 연구자들은 설명 가능한 AI 기술을 사용하여 전자 의료 기록을 검토하고 재입원과 관련된 요인을 파악하고 방사선과에서 병리 분류에 중요한 이미지의 특징을 강조하는 데 사용했습니다.56-58 우리의 절차는 ES 수준에 연결된 특정 인공 뉴런을 활성화하는 단어와 문장을 식별하여 NLP에 유사한 설명 가능한 AI 전략을 도입합니다. NLP를 설명 가능하게 만들기 위한 노력이 계속되고 있지만,28,59,60 우리의 방법론은 이제 의학교육 연구자들이 그러한 인사이트에 접근할 수 있게 해줍니다. 이 방법론은 의학교육 연구자가 기존의 질적 방법으로는 평가하기 어려울 수 있는 엄청나게 큰 내러티브 데이터베이스에서 주제를 탐색할 수 있도록 AI 매개 지원을 제공함으로써 기존의 질적 및 혼합 방법 분석을 보강합니다(예: 리소스 제한으로 인해 선택적 샘플링이 필요하거나 코딩 일관성 제한으로 인해 전체 데이터 집합을 고려하지 못할 수 있음).25 질적 데이터를 정량적으로 평가하는 새로운 도구를 제공하여 질적 데이터와 범주형 또는 연속형 변수 간의 연관성을 조사하고 그러한 연관성에 기여하는 요소를 밝혀야 하는 시나리오에 적용할 수 있습니다. 예를 들어, 고품질 노트와 관련된 요인을 파악하고 이러한 요인을 자동화된 피드백의 기초로 사용하여 교육생에게 문서 품질에 대한 피드백을 제공하는 데 사용할 수 있습니다. 
While AI provided insights that have not been reported in the literature, this only happened through the emerging capabilities of the DNNs underlying recent ML achievements in healthcare and beyond.54, 55 At the same time, how these complex networks ‘think’ or ‘learn’ has been difficult to assess, illustrating AI's ‘black box’ issue.24 Researchers have used explainable AI techniques to review electronic health records and determine factors associated with readmission and in radiology for highlighting features of images important to pathology classification.56-58 Our procedure brings a similar explainable AI strategy to NLP by identifying words and sentences that activate specific artificial neurons tied to ES levels. While there are ongoing efforts to make NLP explainable,28, 59, 60 our methodology makes such insights accessible to medical education researchers now. Our methods augment traditional qualitative and mixed-methods analysis by giving medical education researchers AI-mediated assistance to explore themes in prohibitively large narrative databases that may be difficult to assess with traditional qualitative methods (i.e. resource limitations may lead to selective sampling, or coding consistency limitations may restrict consideration of the entire dataset).25 The methodology provides a new tool to assess qualitative data quantitatively, applying to scenarios in which associations between qualitative data and a categorical or continuous variable need to be examined and the factors contributing to such associations elucidated. For example, it could be used to provide trainees with feedback on the quality of their written documentation by both identifying factors associated with high-quality notes and using these factors as a basis for automated feedback.

이 연구에는 한계가 있습니다. 데이터 세트 수집 방식을 변경하면 위임(일반적인 피드백 대비)과 결과의 관련성을 개선할 수 있습니다. 첫째, 피드백 내러티브 프롬프트는 (감독자에게 할당된 ES 수준을 정당화하도록 요청하는 것과 달리) 비특이적이었습니다. 또 다른 한계는 후향적('얼마나 많은 슈퍼비전이 제공되었습니까?') ES 척도의 성격이었습니다.33 전향적 ES 척도('향후 사례에 대해 얼마나 많은 슈퍼비전이 권장됩니까?')였다면 내러티브와 할당된 척도 값 사이에 더 강력한 연결 고리를 제공했을 것입니다.61 실제로, 낮은 수준에서 중간 수준의 예측 능력(부록 S1의 그림 A1)은 알고리즘 자체의 약점이 아니라 데이터 수집 도구가 부과한 한계를 반영하는 것일 수 있습니다.42 의학 텍스트에 대해 사전 학습된 어휘집을 사용하는 것도 결과를 개선할 수 있지만, 최근 연구에 따르면 어휘집 선택이 분류에 큰 영향을 미치지 않을 수 있다고 합니다.62 위임 요인과 관련하여, 교수 수퍼바이저와 레지던트 수퍼바이저 간의 결과를 비교하여 수퍼바이저 요인의 명확성을 검토할 수도 있습니다.9 우리의 데이터는 관계 요인에 대한 유의미한 증거를 밝히지 못했으며, 이는 수퍼바이저와 수련의의 종적 짝을 중심으로 데이터 집합을 수집함으로써 잠재적으로 해결될 수 있을 것입니다. 이 연구의 또 다른 한계(결과의 일반화 가능성에 영향을 미침)로는 단일 기관에서 수집했다는 점, 주로 임상실습 연도에 초점을 맞췄다는 점, 상업적으로 훈련된 NLP 애플리케이션에 비해 훈련 데이터의 가용성이 제한적이라는 점을 들 수 있습니다. 
This study has limitations. The relevance of our results to entrustment (versus feedback in general) could be improved by making changes to how our dataset was collected. Firstly, the feedback narrative prompt was nonspecific, as opposed to asking supervisors to justify the ES levels assigned. Another limitation was the nature of the retrospective (i.e. ‘how much supervision was provided?’) ES scale.33 A prospective ES scale (‘how much supervision is recommended for future instances?’) might have provided a stronger link between the narratives and assigned scale values.61 Indeed, the low-to-moderate predictive abilities (Figure A1 of Appendix S1) likely do not reflect a weakness of the algorithm itself but rather a ceiling imposed by the data collection instrument.42 Using a lexicon pretrained on medical texts may also improve results, but a recent study suggests that lexicon choice may not significantly impact classification.62 With respect to entrustment factors, clarification of the supervisor factor could also be examined by comparing results between faculty supervisors and resident supervisors.9 Our data did not reveal significant evidence for the relationship factor, which may potentially be addressed by collecting a dataset focused on longitudinal pairings of supervisors and trainees. Additional limitations of this study (affecting generalizability of our results) include collection at a single institution, the focus primarily on the clerkship year and the limited availability of training data compared to commercially trained NLP applications.

5 결론
5 CONCLUSIONS

결론적으로, 위임 중심 피드백 상호작용은 학습자가 임상 과제를 수행할 수 있는 역량을 갖추도록 구체적인 단계를 안내할 수 있으며, 위임 척도의 양 극단에서 더 많은 세부 정보를 제공하고 있다. 본 연구 결과는 감독자의 관점에 기반하여 Hauer 등이 발전시킨 이전 모델을 확증하는 한편, 위임 기반 평가에서 이러한 요소가 교육생-감독자 피드백 상호작용 내에서 어떻게 작용하는지를 보여줍니다. 본질적으로 위임의 프레임워크에는 더 높은 수준의 위임을 받는다는 목표가 내재되어 있으며, 따라서 이 목표를 달성하는 데 필요한 역량을 중심으로 피드백 프로세스63가 이루어지는 것으로 보입니다. 우리의 혁신적인 ML 접근 방식은 기존에는 불투명한 NLP 알고리즘으로만 가능했던 복잡한 분류 작업에 대한 투명성을 확보하여 NLP에서 설명 가능한 AI를 향해 한 걸음 더 나아가고 있습니다. 이러한 기술을 더욱 발전시키면 형성 평가 데이터의 사용을 강화하여 학습자의 성과를 파악하고 향후 학습 및 환자 치료를 안내할 수 있습니다. 

In conclusion, entrustment-centred feedback interactions can drive concrete steps in guiding the learner towards achieving competence to perform clinical tasks, with increasing detail provided at both extremes of the entrustment scale. While our results corroborate prior models advanced by Hauer et al. and Holzhauzen et al. based on supervisor perspectives, our results reveal how these factors operate within trainee–supervisor feedback interactions within entrustment-based assessment. In essence, the framework of entrustment carries the built-in goal of earning higher levels of entrustment, thus appearing to centre feedback processes63 around the competencies needed to achieve this goal. Our innovative ML approach creates transparency around complex classification tasks traditionally afforded only by opaque NLP algorithms, taking a step towards explainable AI in NLP. Further developing these techniques can strengthen the use of formative assessment data to understand learner performance and guide their future learning and patient care.


 

 

Med Educ. 2022 Mar;56(3):303-311. doi: 10.1111/medu.14696. Epub 2021 Dec 1.

 

 

Exploring how feedback reflects entrustment decisions using artificial intelligence

Affiliations collapse

1Department of Pediatrics, University of California San Francisco, San Francisco, CA, USA.

2Utrecht Center for Research and Development of Health Professions Education, University Medical Center, Utrecht, The Netherlands.

3Department of Medicine, University of California San Francisco, San Francisco, CA, USA.

4Department of Surgery, University of California San Francisco, San Francisco, CA, USA.

5Department of Anesthesia, University of California San Francisco, San Francisco, CA, USA.

PMID: 34773415

DOI: 10.1111/medu.14696

Abstract

Context: Clinical supervisors make judgements about how much to trust learners with critical activities in patient care. Such decisions mediate trainees' opportunities for learning and competency development and thus are a critical component of education. As educators apply entrustment frameworks to assessment, it is important to determine how narrative feedback reflecting entrustment may also address learners' educational needs.

Methods: In this study, we used artificial intelligence (AI) and natural language processing (NLP) to identify characteristics of feedback tied to supervisors' entrustment decisions during direct observation encounters of clerkship medical students (3328 unique observations). Supervisors conducted observations of students and collaborated with them to complete an entrustment-based assessment in which they documented narrative feedback and assigned an entrustment rating. We trained a deep neural network (DNN) to predict entrustment levels from the narrative data and developed an explainable AI protocol to uncover the latent thematic features the DNN used to make its prediction.

Results: We found that entrustment levels were associated with level of detail (specific steps for performing clinical tasks), feedback type (constructive versus reinforcing) and task type (procedural versus cognitive). In justifying both high and low levels of entrustment, supervisors detailed concrete steps that trainees performed (or did not yet perform) competently.

Conclusions: Framing our results in the factors previously identified as influencing entrustment, we find a focus on performance details related to trainees' clinical competency as opposed to nonspecific feedback on trainee qualities. The entrustment framework reflected in feedback appeared to guide specific goal-setting, combined with details necessary to reach those goals. Our NLP methodology can also serve as a starting point for future work on entrustment and feedback as similar assessment datasets accumulate.

일반외과에서 NLP와 EPA에 대한 텍스트 피드백: 머신러닝 모델과 전공의 자율성(Am J Surg. 2021)
Natural language processing and entrustable professional activity text feedback in surgery: A machine learning model of resident autonomy 
Christopher C. Stahl a, Sarah A. Jung a, Alexandra A. Rosser a, Aaron S. Kraut b, Benjamin H. Schnapp b, Mary Westergaard b, Azita G. Hamedani b, Rebecca M. Minter a, Jacob A. Greenberg a, *

소개
Introduction

외과 교육은 현장과 환자의 요구를 충족하기 위해 끊임없이 진화하고 있습니다. 외과 졸업생이 수련을 마친 후 독립적으로 수술할 수 있는 능력에 대한 우려로 인해 외과에서 역량 기반 교육이 추진되고 있습니다.1 역량 기반 교육과 관련된 근본적인 과제 중 하나는 역량 측정입니다. 레지던트가 언제 독립적으로 안전하게 수술할 준비가 되었는지 어떻게 알 수 있을까요? 
Surgical education is constantly evolving to meet the needs of the field and its patients. There has been a push towards competency-based education in Surgery due to concerns about the ability of surgical graduates to operate independently upon completion of their training.
1 One of the fundamental challenges involved in competency-based education is the measurement of competency: how do we know when a resident is ready to safely practice independently?

위임 가능한 전문 활동(EPA)은 의학전문대학원 교육에서 위임 결정을 정의하고 표준화하는 데 도움을 주기 위해 개발된 새로운 역량 기반 평가 프레임워크입니다. EPA는 특정 전문과목에 종사하는 의사의 필수 활동을 나타냅니다. 현재 일반외과에 대해 5개의 EPA가 존재하며, 레지던트가 EPA 평가를 완료할 때마다 교수진이 미세평가를 완료합니다. 미세 평가는 숫자 점수('관찰만'에서 '다른 사람 감독'에 이르는 0~4점)와 전문 활동에 대한 피드백을 제공하는 자유 텍스트 의견 옵션으로 구성됩니다.2 각 EPA는 해당 '위임 로드맵'과 함께 게시되며, 각기 다른 0~4 위임 수준에 해당하는 레지던트가 보여준 행동에 대한 서술형 텍스트 설명이 포함되어 있습니다. 이러한 위임 로드맵은 내러티브 코멘트 내에서 특정 행동에 대한 점수 할당 및 토론을 안내하기 위한 것입니다.  
Entrustable Professional Activities (EPAs) are a novel competency-based assessment framework developed to help define and standardize entrustment decisions in graduate medical education. EPAs represent the essential activities of a practicing physician in a given specialty. Five EPAs currently exist for general surgery, and each time a resident completes an EPA evaluation, faculty complete a microassessment. The microassessment consists of a numeric score (0–4, ranging from “observation only” to “supervising others”) and an option for free text comments giving feedback on the professional activity.2 Each EPA is published with a corresponding ‘entrustment roadmap’, a narrative text description of the behaviors demonstrated by the resident that correspond to the different 0–4 entrustment levels. These entrustment roadmaps are meant to guide score assignment and discussion of specific behaviors within the narrative comments.

이러한 위임 로드맵은 ABS, APDS, RRC 및 RAS의 대표로 구성된 전문가 위원회에서 신중하게 작성되었습니다.2 그러나 당시에는 실제로 외과의사 교육자들이 각 EPA 위임 수준에 대해 대표적인 행동으로 간주하는 것이 무엇인지에 대한 데이터가 거의 없었습니다. 각 위임 수준과 관련된 실제 EPA 의견에 대한 심층 분석은 "현장에 있는" 외과 교수진이 레지던트 위임에 대해 중요하게 생각하는 것이 무엇인지에 대한 중요한 통찰력을 제공할 수 있습니다. 또한 이 데이터는 일상적인 관행을 더 잘 반영하기 위해 EPA 위임 로드맵을 반복적으로 수정하는 데 사용될 수 있습니다. 
These entrustment maps were carefully written by an expert committee with representation from the ABS, APDS, RRC, and RAS.2 However, at that time there was very little data on what surgeon educators out in practice considered representative behaviors for each EPA entrustment level. An in-depth analysis of real-world EPA comments associated with each given entrustment level can offer important insight into what “boots on the ground” surgical faculty consider important for resident entrustment. Additionally, this data could be used to iteratively revise the EPA entrustment roadmaps to better reflect daily practice.

이 연구는 자연어 처리(NLP)의 힘을 활용하여 이러한 분석을 수행합니다. 잠재 디리클레 할당(LDA) 주제 모델링을 사용하여 EPA 내러티브 피드백 내에서 잠재 주제를 식별했습니다. 이러한 코멘트 내에서 위임 가능한 전문 활동(EPA) 프레임워크에 정의된 다양한 위임 수준에 일관되게 매핑되는 주제를 식별하는 LDA 알고리즘의 능력을 평가했습니다. 그런 다음 식별된 주제를 검토하여 컴퓨터로 생성된 이러한 주제를 위임 수준에 매핑하는 것이 인간 평가자가 이해할 수 있는지 여부를 결정했습니다. 
This study harnesses the power of natural language processing (NLP) to perform such an analysis. Latent Dirichlet allocation (LDA) topic modeling was used to identify latent topics within EPA narrative feedback. We assessed the ability of the LDA algorithm to identify topics within these comments that consistently mapped to different entrustment levels as defined within the Entrustable Professional Activities (EPA) framework. We then reviewed the identified topics to determine if the mapping of these computer-generated topics to entrustment levels was comprehensible to human raters.

자료 및 방법
Material and methods

EPA 데이터
EPA data

우리 기관은 외과 교육에서 위임 가능한 전문 활동(EPA)에 대한 미국 외과학회(ABS)의 전국적 파일럿 시험에 참여하고 있습니다. 앞서 설명한 바와 같이, EPA 평가에 대한 우리의 실행 전략에는 레지던트와 교수진이 위임 점수("관찰만"에서 "다른 사람 감독"에 이르는 0~4점)와 레지던트의 성과에 대한 자유 텍스트 의견을 모두 포함하는 EPA 평가를 제출할 수 있는 휴대폰 애플리케이션이 포함됩니다.3 평가는 2018년 7월부터 2020년 1월까지 현재 시범 시험 중인 5개 일반외과 EPA(일반 외과 상담, 외상, 담낭 질환, 우하단부 통증, 사타구니 탈장)에 대해 수집했습니다. 레지던트에 대한 교수진의 평가만 분석에 포함되었습니다. 이 실행 전략의 독특한 특징은 외과 및 응급의학과 교수진이 레지던트에 대한 교수 평가를 수행하는 등 여러 부서의 협업을 통해 이루어졌다는 점입니다. 이 두 교수진 그룹이 수행한 평가는 모두 분석에 포함되었습니다. 
Our institution is participating in the national American Board of Surgery (ABS) pilot trial of Entrustable Professional Activities (EPAs) in surgical education. As previously described, our implementation strategy for EPA assessment involves a mobile phone application to which residents and faculty can submit EPA assessments containing both an entrustment score (0–4, ranging from “observation only” to “supervising others”) and free text comments on the resident’s performance.3 Assessments were collected for the five general surgery EPAs currently in the pilot trial (General Surgical Consultation, Trauma, Gallbladder Disease, Right Lower Quadrant Pain, Inguinal Hernia) from July 2018 to January 2020. Only faculty assessments of residents were included in the analysis. A unique feature of our implementation strategy is multi-departmental collaboration, with faculty evaluations of residents performed by both Surgery and Emergency Medicine faculty. Assessments performed by both of these faculty groups were included in the analysis.

토픽 모델링
Topic modeling

자연어 처리(NLP)는 자연어 데이터와 상호 작용하기 위해 컴퓨터를 활용하는 것을 포함합니다. 토픽 모델링은 텍스트 데이터의 말뭉치(본문) 내에 존재하는 토픽을 발견하기 위해 고안된 NLP의 하위 집합입니다. 좀 더 기술적인 수준에서는 텍스트에서 용어(단어) 발생 빈도에 대한 확률적 프레임워크를 제공하는 생성 통계 모델입니다.4 NLP 및 기계 학습 분야의 상당한 발전에도 불구하고, 대부분의 텍스트 컴퓨터 분석은 여전히 단어장 모델을 사용하여 데이터와 상호 작용하고 있다는 점에 유의하세요. 향후에는 컴퓨터가 '개념 가방' 또는 '서술 가방'과 같이 인간에게 더 친숙한 방식으로 텍스트와 상호 작용할 수 있게 되겠지만, 현재는 '단어 가방' 모델이 우세합니다.5 즉, 이러한 방법을 사용하여 생성된 주제는 주어진 주제에 속할 가능성(단어 분포)에 따라 정렬된 단어 목록이며 여전히 사람의 해석이 필요합니다.6 
Natural language processing (NLP) involves the utilization of computers to interact with natural language data. Topic modeling is a subset of NLP designed to uncover topics present within a corpus (body) of text data. On a more technical level, these are generative statistical models that provide a probabilistic framework for the frequency of term (word) occurrence in text.4 Of note, despite significant advances in the fields of NLP and machine learning, most computational analyses of text still interact with data using a bag-of-words model. Future developments may allow computers to interact with text in a more humanly familiar way, such as a ‘bag-of-concepts’ or ‘bag-of-narratives’, but currently bag-of-words models predominate.5 This means that the topics generated using these methods are lists of words ordered by likelihood of belonging to a given topic (a distribution over words) and still require human interpretation.6

잠재 디리클레 할당
Latent Dirichlet Allocation

잠재 디리클레 할당(LDA)은 토픽 모델링에 사용되는 일반적인 접근 방식입니다. LDA는 문서에 존재하는 단어를 토픽으로 할당하기 위해 디리클레 분포를 사용하여 텍스트 말뭉치에서 숨겨진(잠재) 토픽을 식별하는 데 사용되는 생성적, 확률적, 베이지안, 비지도 머신 러닝 알고리즘입니다.4,7 할당 과정을 간단히 살펴보면 다음과 같습니다.

  • 알고리즘은 데이터 코퍼스의 모든 단어를 k개의 토픽 중 하나에 무작위로 할당합니다(토픽 수[k]는 사용자가 미리 지정함).
  • 그런 다음 알고리즘은 단일 단어에 대한 토픽을 "버린"다음 다른 모든 단어의 분포를 기반으로 해당 단어가 할당될 가능성이 가장 높은 토픽을 다시 계산합니다.
  • 그런 다음 해당 단어를 가장 가능성이 높은 토픽에 다시 할당하고 말뭉치의 모든 단어를 다시 할당할 때까지 다음 단어에 대해 이 과정을 반복합니다.
  • 이 프로세스는 단어가 새로운 주제에 지속적으로 할당되는 것을 멈출 때까지(즉, 추정치가 안정 상태에 도달할 때까지) 수천 번 반복됩니다

Latent Dirichlet Allocation (LDA) is a common approach used for topic modeling. LDA is a generative, probabilistic, Bayesian, unsupervised machine learning algorithm used to identify hidden (latent) topics in text corpora using a Dirichlet distribution to allocate the words present in documents into topics.4,7 A simplified view of the allocation process is as follows:

  • the algorithm randomly assigns every word in the corpus of data to one of k topics (the number of topics [k] is pre-specified by the user).
  • The algorithm then “throws out” the topic for a single word and re-calculates the topic to which that word is most likely to be assigned based on the distribution of all other words.
  • It then reassigns that word to its most likely topic and repeats the process for the next word until it has reassigned all words in the corpus.
  • This process is repeated thousands of times, until the words stop consistently getting reassigned to new topics (i.e., the estimates have reached a steady state).

해석
Interpretation

LDA 프로세스가 완료되면 문서-토픽 확률(감마)단어-토픽 확률(베타)을 생성합니다.8

  • LDA는 각 문서를 토픽의 혼합으로 모델링하며, 각 문서-토픽 쌍에는 해당 토픽으로 구성된 문서의 비율을 나타내는 감마가 있습니다. 감마는 확률처럼 보고되며, 값이 1이면 해당 문서의 100%가 해당 토픽으로 구성되어 있음을 의미하고 0이면 0%를 나타냅니다.
  • 각 토픽은 단어의 분포로 구성되며, 각 단어에는 단어-토픽 확률(베타)이 있으며 베타가 높을수록 해당 단어가 해당 토픽에 포함될 가능성이 높습니다. 각 단어는 다양한 확률로 여러 토픽에 나타날 수 있습니다. LDA를 사용하여 식별된 토픽은 베타 값이 감소하는 순서대로 정렬된 단어 가방입니다.

이러한 용어에 대한 요약은 표 1에서 확인할 수 있습니다. 
After the LDA process is complete, it generates document-topic probabilities (gamma), and word-topic probabilities (beta).8 

  • LDA models each document as a mixture of topics—each document-topic pair has a gamma that represents proportion of the document made up of that topic. Gamma is reported like a probability, with a value of 1 meaning that 100% of that document is made up of the given topic, and a value of zero indicating 0%.
  • Each topic consists of a distribution of words—each word has a word-topic probability (beta), with a higher beta representing a higher likelihood of that word being present in the corresponding topic. Each word may appear in multiple topics, albeit with varying probability. The topics identified using LDA are bags-of-words ordered by decreasing beta values.

A summary of these terms can be found in Table 1.

분석
Analysis

LDA 분석을 위해 EPA 코멘트는 축약어와 특수 문자를 제거하여 정리한 다음 R의 tm 패키지를 사용하여 개별 단어로 토큰화했습니다.9 정지어("the", "and" 등과 같이 일반적으로 의미가 거의 없는 영어에서 일반적으로 사용되는 단어)는 세 글자 미만의 모든 단어와 함께 제거되었습니다. 중복된 단어는 제거되지 않았습니다. 위임 수준이 0인 평가는 빈도가 낮아 제거되었습니다(1015개 중 n = 8개). 토픽모델 패키지는 데이터의 EPA 위임 수준("1", "2", "3", "4")과 일치하도록 k 토픽을 4로 설정한 표준 변형 기대 최대화(VEM) 알고리즘을 사용하여 LDA 분석을 수행하는 데 사용되었습니다.4 문서별 토픽 분포에 대한 디리클레 선행의 매개변수인 알파는 토픽모델 패키지 기본값인 50/k에 따라 시작값이 할당되었습니다. 이 분석은 '유니그램'(단일 단어) 항목을 사용하여 수행되었습니다. '준비되지 않음' 또는 '유능하지 않음'과 같은 부정적 수식어의 영향을 포착하기 위해 유니그램 + 빅그램(두 단어 항목) 결합 분석을 사용하여 분석을 반복했습니다. 빅그램의 추가는 결과에 큰 영향을 미치지 않았으며 단순화를 위해 이 원고에서는 생략했습니다. 문서-토픽 확률(감마)을 사용하여 LDA에서 생성된 토픽과 EPA 위임 수준의 매핑을 분석했습니다. 이 분석은 각 개별 EPA(외상, 일반 외과 상담 등)에 대해 반복되었습니다. 
EPA comments were cleaned for LDA analysis by removing contractions and special characters and then tokenized into individual words using the tm package in R.9 Stop words (commonly used words in the English language that typically provide little meaning such as “the”, “and”, etc.) were removed, along with any words less than three letters long. Duplicate words were not removed. Assessments with an entrustment level of 0 were removed due to low frequency (n = 8 out of 1015). The topicmodels package was used to perform the LDA analysis using the standard variational expectation-maximization (VEM) algorithm with k topics set at 4 to match the number of EPA entrustment levels (“1”, “2”, “3”, “4”) in the data.4 Alpha, the parameter of the Dirichlet prior for the per-document topic distribution, was assigned a starting value per the topicmodels package default of 50/k. This analysis was performed using ‘unigram’ (single word) items. The analysis was repeated using a combined unigram + bigram (two word item) analysis to help capture the impact of negative modifiers such as ‘not ready’ or ‘not competent’. The addition of bigrams did not significantly impact the results and were omitted from this manuscript for simplicity. The mapping of LDA-generated topics to EPA entrustment levels was analyzed using document-topic probabilities (gammas). This analysis was repeated for each individual EPA (Trauma, General Surgical Consultation, etc.).

각 주제와 연관된 상위 10개 단어(단어-주제 확률[베타]를 사용하여 계산)를 수동으로 검토하여 주제가 위임 수준과 일관되게 일치하는지 확인했습니다. 한 명의 외과 레지던트가 위임 수준에 따라 다르며 자율성과 연관된 단어를 식별했습니다. 이러한 단어는 위임 수준에 따라 색상이 지정된 상자(낮음=빨간색, 중간=노란색, 높음=초록색)를 사용하여 수동으로 강조 표시한 다음 다른 저자 4명(외과의사 및 교육 과학자)이 이 과제를 검토했습니다. 이 수동 검토는 체계적이지 않고 비구조적이라는 점에 유의하는 것이 중요합니다. 토픽 모델링으로 생성된 토픽을 해석하는 한 가지 방법은 없으며, 토픽 모델링을 시도하는 모든 그룹은 특정 프로젝트의 요구 사항에 적합한 방법을 선택하는 것이 좋습니다. 이 수동 검토는 컴퓨터로 생성된 주제가 사람이 이해할 수 있는지 신속하게 확인하는 방법으로, EPA 평가 수준을 그룹으로 완벽하게 분류했지만 해석 가능한 패턴이나 내러티브를 제공하지 못하는 주제는 실제 유용성이 제한될 수 있습니다. 
The top ten words associated with each topic (calculated using word-topic probabilities [betas]) were manually reviewed to determine if the topics coherently corresponded to the entrustment levels. A single surgery resident identified words that differed between entrustment levels and were associated with autonomy. These words were manually highlighted using boxes colored according to the level of entrustment they appeared to represent (low = red, intermediate = yellow, high = green) and then these assignments were reviewed by 4 other authors (surgeons and education scientists). It is important to note that this manual review was unstructured, and not systematic. There is no one way to interpret the topics created by topic modeling, and we recommend that any group attempting to do so select a method well suited to the needs of their specific project. This manual review was a way to quickly check that the computer-generated topics were understandable by humans—topics that perfectly sorted EPA assessment levels into groups but failed to provide any interpretable pattern or narrative would have limited real-world utility.

이 프로젝트는 기관 보건 과학 IRB의 검토를 거쳐 공식적인 검토가 면제된 것으로 인증되었습니다. 사전 동의는 면제되었습니다. 모든 데이터 분석 및 시각화는 R 3.6.1(오스트리아 비엔나, 통계 컴퓨팅을 위한 R 재단)을 사용하여 수행되었습니다. 
This project was reviewed by the institutional Health Sciences IRB and certified as exempt from formal review. Informed consent was waived. All data analysis and visualizations were performed using R 3.6.1 (R Foundation for Statistical Computing, Vienna, Austria).

결과
Results

LDA-EPA 상관관계
LDA-EPA correlation

2018년 7월부터 2020년 1월까지 1015개의 교수진 EPA 평가가 수집되었으며, 이 중 97%는 자유 텍스트 코멘트와 연관되어 있었습니다. 이러한 코멘트는 32,215개의 단어로 구성되었습니다. 중지 단어, 길이가 3글자 미만인 단어, 레벨 0 평가를 제거한 후 13,364개의 단어가 남았습니다. 단어는 모든 EPA에 고르게 분포되어 있었으며, 각 EPA에는 최소 1831개의 단어가 포함되어 있었습니다. 
1015 faculty EPA assessments were collected between July 2018 and January 2020; 97% of these assessments were associated with free text comments. These comments consisted of 32,215 words. After removal of stop words, words less than three letters in length, and level 0 assessments, 13,364 words remained. Words were well distributed across all EPAs, with each EPA containing at least 1831 words.


5개의 EPA를 모두 단일 그룹으로 분석했을 때, LDA 알고리즘은 1:1로 매핑되는 토픽을 EPA 위임 수준 1-4에 식별할 수 있었습니다(모든 감마 >0.99)(그림 1). 안타깝게도 이러한 주제는 수준 간 위임의 차이보다는, 각 위임 수준에 일반적으로 할당되는 서로 다른 EPA를 정성적으로 반영했습니다. 따라서 더 의미 있는 토픽이 생성되는지 확인하기 위해 개별 EPA에 대해 개별적으로 LDA 분석을 반복했습니다. 그 결과, 위임 수준 간의 매우 효과적인 구분이 개별 EPA 수준에서 재현되었고(모든 감마 >0.99), 더 이해하기 쉬운 토픽이 생성되었습니다(그림 2, 그림 3, 그림 4, 그림 5, 그림 6). 

When all 5 EPAs were analyzed together as a single group, the LDA algorithm was able to identify topics that mapped 1:1 onto EPA entrustment levels 1–4 (all gammas >0.99) (Fig. 1). Unfortunately, these topics qualitatively reflected the different EPAs commonly assigned to each entrustment level, rather than differences in entrustment between levels. Therefore, the LDA analysis was repeated for each EPA individually to see if more meaningful topics would be generated. The highly effective discrimination between entrustment levels was replicated at the individual EPAs level (all gammas >0.99), and more comprehensible topics were generated (Fig. 2, Fig. 3, Fig. 4, Fig. 5, Fig. 6).

 

주제 해석
Topic interpretation

개별 EPA에 대해 발견된 주제는 해당 위임 수준 아래에 표시됩니다(그림 2, 그림 3, 그림 4, 그림 5, 그림 6). 예시 단어는 한 명의 검토자가 위임 수준에 따라 색상이 지정된 상자를 사용하여 수동으로 강조 표시했습니다(낮음 = 빨간색, 중간 = 노란색, 높음 = 녹색). 조사된 모든 개별 EPA에서 낮은 위임 단어에서 높은 위임 단어로 논리적인 추세가 있는 것으로 보입니다(그림 2, 그림 3, 그림 4, 그림 5, 그림 6). 예를 들어, RLQ 통증 EPA(그림 4)의 경우,

  • 위임 수준 1과 2는 충수절제술의 기술적 측면("기구", "손/손/취급", [따라] "지시")을 배우는 것을 설명하는 것으로 보이는 반면,
  • 위임 수준 3과 4는 독립적으로 사례를 완료하는 것, 종종 후배 전공의를 감독하면서("독립적으로", "완료", "감독", "취하다", "후배", "레지던트", "관리") 설명하는 것처럼 보였습니다.

흥미롭게도 레벨 3은 사례의 기술적 난이도("간단함")를 명확히 하는 것으로 보이며, 이는 레벨 3과 4 수행 간의 중요한 차이를 강조할 수 있습니다. 
The topics uncovered for individual EPAs are shown underneath the corresponding entrustment levels (Fig. 2, Fig. 3, Fig. 4, Fig. 5, Fig. 6). Illustrative words were manually highlighted by a single reviewer using boxes colored according to the level of entrustment they appeared to represent (low = red, intermediate = yellow, high = green). There appears to be a logical trend from low entrustment words to higher ones for all of the individual EPAs examined (Fig. 2, Fig. 3, Fig. 4, Fig. 5, Fig. 6). For example, for the RLQ Pain EPA (Fig. 4) entrustment levels 1 and 2 seem to describe learning technical aspects of an appendectomy (“instruments”, “hand/hands/handling”, [following] “directions”), while levels 3 and 4 seem to describe independently completing cases, often while supervising junior residents (“independently”, “complete”, “supervise”, “taking”, “junior”, “residents”, “management”). Interestingly, level 3 appears to clarify the technical difficulty of the case (“straightforward”), which may highlight a critical difference between level 3 and 4 performance.

마찬가지로, 외상 EPA 수행에 있어 위임의 경로는

  • 기본 평가("초기", "평가", "2차", "조사")를 학습하는 것부터
  • 효과적으로 의사소통하고 적절한 후속 연구를 지시하는 것("의사소통", "영상"),
  • 마지막으로 이전의 모든 기술을 효과적으로 수행하고 외상 베이를 관리하는 것("우수", "침착")으로 추적할 수 있습니다(그림 6).

평가된 나머지 세 개의 EPA에서도 유사한 일관된 경향을 발견할 수 있습니다(그림 2, 그림 3, 그림 5). 
Similarly, the path to entrustment in the performance of Trauma EPAs may be traced

  • from learning the fundamental evaluation (“initial”, “assessment”, “secondary”, survey”)
  • to communicating effectively and ordering appropriate follow up studies (“communication”, “imaging”),
  • to finally performing all of the previous skills effectively and managing the trauma bay (“excellent”, “calm”) (Fig. 6).

Similar coherent trends can be found in the remaining three EPAs evaluated (Fig. 2, Fig. 3, Fig. 5).

토론
Discussion

LDA는 다양한 EPA 위임 수준과 관련된 텍스트 피드백의 고유한 패턴을 식별할 수 있습니다. LDA를 사용하여 생성된 토픽은 EPA 위임 수준에 합리적으로 매핑됩니다. 이는 실제 적용 가능성도 있는 중요한 개념 증명입니다. 첫째, 수술 교육에 EPA를 구현하는 것은 진화하는 과정입니다. 각 위임 로드맵에 명시된 현재 행동은 외과 교육 전문가들이 전문가 의견을 바탕으로 작성하고 개선한 것입니다.2 전문가 의견은 항상 유용한 출발점이지만, 이 연구에서 확인된 EPA 위임 수준-LDA 주제 쌍은 구현된 EPA 시스템 내에서 일하는 광범위한 교육자 풀로부터 실제로 각 위임 수준을 차별화하는 요소에 대한 데이터를 제공합니다. 이는 교육생의 자율성/위임과 의미 있는 상관관계가 있는 행동에 대한 중요한 통찰력을 제공하며, 데이터에 기반하여 기존 위임 설명을 수정하고 정보에 기반한 향후 위임 로드맵을 작성할 수 있게 해줍니다. 
LDA is capable of identifying unique patterns of text feedback associated with different EPA entrustment levels. Topics generated using LDA map sensibly to EPA entrustment levels. This is an important proof-of-concept that also has practical applicability. First, the implementation of EPAs into surgical education is an evolving process. The current behaviors ascribed to each entrustment roadmap were created and refined by experts in surgical education based on their expert opinion.2 While expert opinion is always a useful starting point, the EPA entrustment level—LDA topic pairs identified in this study provide data from a broad pool of educators working within an implemented EPA system on what actually differentiates the distinct entrustment levels. This provides important insight into what behaviors meaningfully correlate with trainee autonomy/entrustment and will allow for a data-driven revision of the existing entrustment descriptions and informed creation of future entrustment roadmaps.

더 넓은 범위에서 이 원고는 외과 교육에서 NLP 전략의 잠재적 유용성을 보여줍니다. 놀랍지 않게도 외과 교육자들은 서로 다른 EPA 위임 수준에서 레지던트 성과에 대해 설명할 때 서로 다른 어휘와 구조를 사용합니다. 중요한 것은 LDA가 이러한 중요한 차이점을 포착하고 평가자가 해석할 수 있는 방식으로 위임 수준의 주요 차별화 측면을 강조할 수 있었다는 점입니다. 이는 자연어 처리 기술을 외과 교육에 광범위하게 통합하는 데 있어 유망한 첫 단계입니다. 레지던트 성과에 대한 대량의 텍스트 기반 데이터를 통합하는 평가 프레임워크가 개발됨에 따라 이러한 데이터를 대규모로 해석할 수 있는 전략이 필요합니다. NLP는 데이터를 통해 외과 교육을 확장하는 데 도움이 될 수 있습니다. 예를 들어, 추출 기반의 자동화된 문서 요약은 레지던트에게 제공되는 내러티브 피드백 코퍼스 내에서 가장 중요한 코멘트를 강조 표시할 수 있어 CCC 위원회를 통해 신속하게 검토할 수 있습니다.10,11 감독형 LDA(sLDA)와 같은 예측 모델링 기법은 평가를 그룹으로 분류하는 데 가장 능숙한 주제 대신 응답(점수)을 예측하는 잠재 주제를 식별하는 것을 목표로 관련 응답이 포함된 텍스트 평가 본문(예: 쌍을 이룬 위임 점수를 가진 EPA 평가)을 사용하여 학습할 수 있습니다. 그런 다음 레이블이 지정되지 않은 평가의 점수를 모델을 사용하여 추정할 수 있습니다. 이러한 시스템은 개별 레지던트에 대한 대량의 텍스트 데이터에 대한 요약적인 해석을 제공할 수 있어 잠재적으로 CCC의 의사 결정을 지원할 수 있습니다. 또는 교육자는 전공의에게 형성적인 무료 텍스트 피드백을 제공하는 데만 집중하고, 각 EPA 의견을 '점수'로 종합적으로 평가하는 작업은 컴퓨터에 맡기는 시스템을 상상해 볼 수 있습니다. 

On a broader scale, this manuscript demonstrates the potential utility of NLP strategies in surgical education. Not surprisingly, surgical educators use different vocabulary and structure in their comments on resident performance at different EPA entrustment levels. Critically, LDA was able to pick up on these important differences, and highlight key differentiating aspects of entrustment levels in ways that are interpretable to human raters. This is a promising first step in a broader integration of NLP into surgical education. As assessment frameworks that consolidate large volumes of text-based data on resident performance are developed, strategies to interpret this data at scale are needed. NLP can help surgical education scale with its data. For example, extraction-based automated document summarization can highlight the most important comments within a corpus of narrative feedback provided to a resident—allowing for rapid review via CCC committee.10,11 Predictive modeling techniques, such as supervised LDA (sLDA) can be trained using a body of text assessments with an associated response (e.g. EPA assessments with a paired entrustment score) with the goal of identifying latent topics predictive of the response (score) instead of the topics most adept at classifying the assessments into groups. Then an unlabeled assessment’s score can be estimated using the model. Such a system would be able to provide a summative interpretation of a large body of text data for any individual resident, potentially assisting CCC decision making. Or one could imagine a system in which educators can focus only on providing formative free text feedback to their residents, while the job of summatively assessing this each EPA comment for a ‘score’ could be left to the computer.

외과 교육에서 NLP의 잠재적 가능성에도 불구하고 이 연구에는 몇 가지 한계가 있습니다. 무엇보다도, 이 연구는 단일 센터에서 단일 EPA 평가를 시행한 연구이므로 일반화 가능성에 한계가 있습니다. 향후 무료 텍스트 데이터를 EPA 평가에 통합하는 다른 센터와 협력하여 위치 또는 구현 전략에 따라 피드백 패턴이 어떻게 달라질 수 있는지 살펴보고자 합니다. 이 연구는 또한 일반외과를 위해 만들어진 처음 5개의 EPA만 평가하는데, 이는 레지던트가 졸업할 때까지 축적해야 하는 전체 수술 지식의 일부만을 다루고 있습니다. NLP 기술은 낮은 품질의 텍스트 데이터를 보완할 수 없습니다. 평가자는 여전히 알고리즘이 분석할 수 있도록 레지던트에게 고품질 텍스트 피드백을 제공해야 합니다. 마지막으로, 현재의 토픽 모델링 기법은 여전히 '단어 가방' 모델에 국한되어 있어 결과 토픽에 대한 사람의 해석이 필요합니다. 이 원고의 다른 연구자나 독자는 우리의 해석에 동의하지 않을 수 있습니다. 저희의 데이터와 해석은 EPA의 위임과 자율성에 대한 논의를 시작하기 위한 것이지 최종적인 권위 있는 중재자 역할을 하는 것이 아닙니다. 궁극적으로 컴퓨터가 자연어 데이터에서 의미론(개념 가방) 또는 실용론(내러티브 가방)을 구분하여 더 유용한 정보를 제공할 수 있게 되겠지만, 그렇게 될 때까지 이러한 중요한 논의를 미룰 이유가 없다고 생각합니다. 
Despite the potential promise for NLP in surgical education, this study has several limitations. Foremost, this was a single center study with a single implementation of EPA assessments, limiting generalizability. We hope to collaborate with other centers that incorporate free text data into their EPA assessments in the future to see how patterns in feedback might vary based on location or implementation strategy. This study also only assesses the first 5 EPAs created for general surgery, which cover only a fraction of the total knowledge of surgery which residents must accumulate by graduation. NLP techniques cannot make up for low quality text data. Evaluators will still need to provide high-quality text feedback to residents for the algorithms to analyze. Finally, current topic modeling techniques are still limited to the ‘bag of words’ model, requiring human interpretation of resulting topics. Different researchers or readers of this manuscript may disagree with our interpretations. We encourage this—our data and interpretations are meant to start discussions about entrustment and autonomy in EPAs, not function as a final authoritative arbiter. Eventually, computers may be able to distinguish semantics (bag of concepts) or pragmatics (bag of narratives) from natural language data to provide more useful input, but we see no reason to delay these important discussions until that is possible.

결론
Conclusions

잠재 디리클레 할당을 사용한 토픽 모델링은 EPA 위임 수준을 구분할 수 있습니다. LDA로 생성된 주제는 위임 수준에 일관되게 매핑되어 외과의 교육자가 수련의의 자율성을 설명하고 위임을 부여하는 방식에 대한 통찰력을 제공합니다. 이 데이터는 향후 EPA 위임 로드맵을 작성하고 기존 로드맵을 데이터 기반으로 개정하는 데 사용할 수 있습니다. 외과 교육에서 NLP 방법론이 더욱 발전하면 외과의사 교육자는 대량의 텍스트 평가 데이터를 확장 가능한 방식으로 분석할 수 있습니다. 

Topic modeling using latent Dirichlet allocation is capable of discriminating between EPA entrustment levels. Topics generated by LDA map coherently to entrustment levels, providing insight on how surgeon educators describe trainee autonomy and grant entrustment. This data can be used to inform the creation of future EPA entrustment roadmaps, and data-driven revision of existing ones. Further development of NLP methodologies in surgical education may allow surgeon educators to analyze large amounts of text assessment data in a scalable fashion.

 


Am J Surg. 2021 Feb;221(2):369-375. doi: 10.1016/j.amjsurg.2020.11.044. Epub 2020 Nov 26.

Natural language processing and entrustable professional activity text feedback in surgery: A machine learning model of resident autonomy

Affiliations collapse

1Department of Surgery, University of Wisconsin School of Medicine and Public Health, Madison, WI, USA.

2Department of Emergency Medicine, University of Wisconsin School of Medicine and Public Health, Madison, WI, USA.

3Department of Surgery, University of Wisconsin School of Medicine and Public Health, Madison, WI, USA. Electronic address: greenbergj@surgery.wisc.edu.

PMID: 33256944

PMCID: PMC7969407

DOI: 10.1016/j.amjsurg.2020.11.044

Free PMC article

Background: Entrustable Professional Activities (EPAs) contain narrative 'entrustment roadmaps' designed to describe specific behaviors associated with different entrustment levels. However, these roadmaps were created using expert committee consensus, with little data available for guidance. Analysis of actual EPA assessment narrative comments using natural language processing may enhance our understanding of resident entrustment in actual practice.

Methods: All text comments associated with EPA microassessments at a single institution were combined. EPA-entrustment level pairs (e.g. Gallbladder Disease-Level 1) were identified as documents. Latent Dirichlet Allocation (LDA), a common machine learning algorithm, was used to identify latent topics in the documents associated with a single EPA. These topics were then reviewed for interpretability by human raters.

Results: Over 18 months, 1015 faculty EPA microassessments were collected from 64 faculty for 80 residents. LDA analysis identified topics that mapped 1:1 to EPA entrustment levels (Gammas >0.99). These LDA topics appeared to trend coherently with entrustment levels (words demonstrating high entrustment were consistently found in high entrustment topics, word demonstrating low entrustment were found in low entrustment topics).

Conclusions: LDA is capable of identifying topics relevant to progressive surgical entrustment and autonomy in EPA comments. These topics provide insight into key behaviors that drive different level of resident autonomy and may allow for data-driven revision of EPA entrustment maps.

Keywords: Assessment; Entrustable professional activities; Feedback; Natural language processing; Surgery education.

+ Recent posts