의학교육이 인공지능을 만나는 곳: 테크놀로지가 돌봄을 할 수 있을까? (Med Educ, 2020)

의학교육이 인공지능을 만나는 곳: 테크놀로지가 돌봄을 할 수 있을까? (Med Educ, 2020)
Where medical education meets artificial intelligence: ‘Does technology care?’
Anneke G. van der Niet1,2 | Alan Bleakley3

핵심 메시지
key message

인공지능은 의학의 모습을 바꿀 것이지만 '해결책주의'의 증상을 겪을 수 있습니다. 인공 지능이 돌봄의 관계가 치료의 일부가 될 수 있는 '수작업' 의학을 대체해서는 안 됩니다.
Artificial intelligence will change the face of medicine, but may suffer from symptoms of ‘solutionism.’ Artifical intelligence must not displace 'hands on' medicine, where caring relationship can be part of the cure.

기계는 공감과 연민과 같은 인간의 자질이 부족하기 때문에 환자는 인간 의사가 상담을 주도하고 있다는 인식을 가져야 합니다. 또한 불신에 가려진 기술인 AI를 환자들이 즉각적으로 신뢰하는 것은 기대할 수 없습니다.1
Machines lack human qualities such as empathy and compassion, and therefore, patients must perceive that consultations are being led by human doctors. Furthermore, patients cannot be expected to immediately trust AI; a technology shrouded by mistrust.1

1 소개
1 INTRODUCTION

16세기 베살리우스의 해부학 텍스트 이후 '기계로서의 신체'는 의학의 중심적이고 환원적인 은유가 되었으며, 특히 환자를 객관화하는 데 기여했습니다.2 기술화된 의학의 시대에 접어들면서 인공지능(AI)은 진단과 치료를 통해 구체화되는 의학을 쉽게 강화할 수 있게 되었습니다. 이러한 도구적 접근 방식은 신자유주의적 효율성의 가치에 기반한 '관리형' 의료와 일맥상통합니다. 점점 더 환원적이고 기술화되고 알고리즘적 사고의 지배를 받는 의학 교육은 특히 기계적 시뮬레이션을 통한 학습에서 두드러지게 나타납니다. 한편, 교육학은 인격 형성과 같은 커리큘럼의 더 넓은 가치를 무시한 채 겉으로 드러난 역량과 그 평가에 집중함으로써 '축소 포장'되고 있습니다. 
Since Vesalius’ 16th century anatomy texts, ‘the body as machine’ has become a central, reductive metaphor in medicine, serving in particular to objectify patients.2 As we enter the age of technologised medicine, artificial intelligence (AI) readily reinforces a medicine that disembodies through both diagnosis and treatment. Such an instrumental approach chimes with a ‘managed’ medicine grounded in values of neoliberal efficiency. There is a knock-on effect for a medical education that has become increasingly reductive, technologised and subject to algorithmic thinking, particularly evident in learning through mechanical simulation. Pedagogy, meanwhile, is ‘shrink-wrapped’ through focus on bare competencies and their assessment, ignoring wider value in the curriculum such as character formation.

최근(2019년 10월) 런던에서 열린 한 컨퍼런스에서는 글로벌 '업계 리더'들이 모여 최근 AI의 혁신에 대해 논의했습니다. '모범 사례' 중에는 영국 국민보건서비스(NHS)의 AI 활용 사례도 있었습니다.3 이 사례는 'AI는 복잡한 문제를 해결할 수 있는 잠재력을 가지고 있으며, 이를 통해 더 많은 시간을 확보하고 생산성 수준을 높일 수 있다'는 문제 해결의 틀을 가지고 있었습니다. 이 문장의 후반부는 환자 치료라는 '느린' 의학의 가치보다 생산성, 도구성, 효율성을 우선시하는 신자유주의 윤리를 반영합니다.4 후자는 '차가운' 기술 중심 의료보다 '따뜻한' 감각 기반 임상을 우선시하는 '체화된' 의학에 대한 관심 증가로 대표됩니다.5 이 글에서는 비감각적 AI 문제 해결의 순간과 '느린' 체화된 의학 사이에 생산적인 대화를 생성하는 방법을 질문함으로써 의학에서 AI를 문제화합니다. 도구주의와 수동적이고 포괄적인 승인을 넘어서는 AI의 잠재적 영향력을 탐구함으로써 의학교육의 '솔루션주의'에 관한 논의에 기여합니다. 
A recent (October 2019) conference in London brought together global ‘industry leaders’ to discuss recent innovations in AI. Amongst the ‘Best Practice Examples’ was AI use in the UK National Health Service (NHS).3 This was framed as a problem-solving exercise, where ‘AI has the potential to solve complex problems and in doing so, freeing up more time and increasing levels of productivity.’ The second half of the sentence reflects a neoliberal ethic, where output, instrumentality and efficiency are prioritised above the values of the ‘slow’ medicine of patient care.4 The latter is exemplified by a growth of interest in ‘embodied’ medicine that places a ‘warm’ sense-based clinical practice before a ‘cold’ technology-driven health care.5 In this article, we problematise AI in medicine by asking how we can generate productive dialogue between the instants of non-sensory AI problem-solving and ‘slow’ embodied medicine. By exploring the potential impact of AI beyond instrumentalism and passive, all-encompassing approval, we contribute to discussions concerning ‘solutionism’ in medical education.

1960년대 후반, 존 매카시는 '생각할 수 있는 기계'를 설명하기 위해 '인공 지능'이라는 용어를 만들었습니다.6 1980년대 중반에 AI는 의학 담론에 들어왔지만,7,8 비교적 최근에야 의학교육에 관여하기 시작했습니다.9 21세기 AI 시대는 컴퓨터 사용을 통해 증가하는 정보의 양을 관리하는 데 중점을 두었던 20세기 중후반의 정보화 시대를 넘어섰습니다. 이제 우리는 정보의 지능적 활용에 초점을 맞추고 있습니다.10 AI가 의학에 광범위하게 도입됨에 따라 '대규모 데이터 세트, 머신러닝 및 로봇과 관련된 지능 도구'11를, 인간 능력의 확장뿐만 아니라, 잠재적 자율 에이전트로서 배우기 위한 의학교육의 심각한 '리부팅'이 필요합니다. 이는 행위자 네트워크 이론(ANT)12과 같은 객체 지향 교육법과 '객체 지향 온톨로지'13와 같은 철학적 프레임워크에 기반하여 기술 자체를 객관화하지 않고 개념적으로 정교한 미래의 의료 교육을 형성할 것을 제안합니다. 이러한 새로운 지평은 이미 과부하로 인한 잠재적 소진에 시달리고 있는 수련의들에게 더 큰 부담을 주는 부담이 아니라 기회로 받아들여져야 합니다.14 우리는 AI의 포스트휴먼 요구와 체화된 반성적 의학 및 의학교육의 기초가 되는 시대를 초월한 민감한 인간적 지원을 결합해야 합니다.15 그러면 의학 교육은 두 가지 과제에 직면하게 됩니다. 

• (a) 체화된 의학을 새로운 기술과 대화하게 하고
• (b) ANT와 같은 객체 의도성을 수용하는 개념적 모델에 익숙해지는 

In the late 1960s, John McCarthy coined the term ‘artificial intelligence’ to describe ‘machines that can think.’6 By the mid-1980s, AI had entered medical discourse,7, 8 but only relatively recently has it engaged medical education, albeit mainly descriptively rather than critically.9 The AI age of the 21st century has eclipsed the previous age of information of the mid- to late 20th century that focused on management of increasing quantities of information through the use of computers. Now we are focused upon the application of information as intelligent use.10 The widespread introduction of AI into medicine requires a serious ‘reboot’ of medical education to learn about ‘intelligence tools involving large datasets, and machine learning and robots,’11 not just as extensions of human capacities but as potentially autonomous agents. This suggests drawing on object-oriented pedagogies such as actor-network theory (ANT)12 and on philosophical frameworks such as ‘object-oriented ontology’13 to shape a conceptually sophisticated medical education for the future, where technologies themselves are not objectified. Such a new horizon must be framed as an opportunity, rather than a burden placing increasing pressure on trainee doctors already suffering from potential burnout through overload.14 We must blend the post-human demands of AI with timeless sensitive human support that is the basis of an embodied, reflexive medicine and medical education.15 Medical pedagogies then face a twin challenge:

• (a) bringing embodied medicine into dialogue with new technologies, and
• (b) gaining familiarity with conceptual models that embrace object intentionality such as ANT.

2 의료 분야의 AI
2 AI IN MEDICINE

의학적 의사 결정에서 인간의 사고를 모방하는 컴퓨터 기반 시스템은 1970년대 초 내과 진단 도구로 설계된 INTERNIST-I와 스탠포드 대학에서 개발한 감염을 일으키는 박테리아를 식별하고 체중에 따라 적절한 항생제 치료법을 추천할 수 있는 AI 시스템인 MYCIN이 등장한 이래로 사용되어 왔습니다. 환자가 증상을 컴퓨터에 설명하면 컴퓨터가 진단을 내립니다. 1970년대 중반부터 피츠버그 대학의 해리 피플은 진단 능력이 뛰어나기로 유명한 내과 의사 잭 마이어스 박사를 인터뷰하고 데이터를 수집했습니다. 10년이 넘는 기간 동안 피플은 혈액 매개 감염성 박테리아에 국한된 마이신의 범위를 확장하여 1000가지 질병을 진단할 수 있는 '의료 전문가 시스템' 또는 AI의 한 형태인 캐듀서스(CADUCEUS)를 개발했습니다. 현재 암 치료에는 최소 800여 가지의 약물이 사용되고 있으며, 이러한 치료법에 대한 연구 증거의 양은 방대합니다. 
Computer-based systems that emulate human thinking in medical decision-making have been around since the early 1970s, when INTERNIST-I was designed as a diagnostic tool in internal medicine, paralleled by MYCIN (developed at Stanford University) as an AI system that could both identify bacteria causing infections and recommend suitable antibiotic treatment with dosage keyed to body weight. The patient describes symptoms to the computer, which in turn offers a diagnosis. Starting in the mid-1970s, Harry Pople at the University of Pittsburgh interviewed and gathered data from Dr Jack Meyers, an experienced internal medicine doctor renowned for his diagnostic acumen. Over a period of more than 10 years, Pople expanded on the narrow focus of MYCIN on blood-borne infectious bacteria, to develop CADUCEUS, a ‘medical expert system’ or form of AI that could diagnose 1000 diseases. As a current example, the spectrum of current cancer treatments involves at least 800 different drugs and the volume of research evidence behind such treatments is enormous.

AI는 망원경과 현미경을 동시에 적용하여 대규모 데이터베이스를 활용하여 스마트하고 개인화된 정밀 치료를 가능하게 하며, Microsoft가 진행 중인 '프로젝트 하노버'가 그 예입니다.16 이러한 전문가 시스템은 저장된 지식(사실과 규칙 모두)을 기반으로 작동하여 추론을 실현하고, 알려진 사실에 규칙을 적용하여 새로운 사실과 설명까지 추론합니다. 대량의 데이터를 개인의 편견과 편견의 오염 없이 빠르게 처리할 수 있습니다.17 그러나 여기에는 인공지능의 내부 모순이 있습니다. 

• '폐쇄적' 연산이기 때문에 '객관적'으로만 작동할 수 있으며, 입력에서 출력까지 경로를 오염시키는 역설적인 요소가 존재하지 않는다는 것입니다. 

물론 이러한 선형 시스템은 인간의 피드백과 재설계를 통해 조정할 수 있습니다. 반면 인간은 여러 개의 경쟁적인 피드백 루프가 있는 '개방형' 시스템(복잡하고 역동적이며 적응적)이며, 많은 인지적 편향과 정서적 오염을 보입니다. 그러나 불확실성에서 비롯된 이러한 색채가 바로 의료 상담에 의미를 부여하거나 진심을 다할 수 있는 이유입니다. 연구에 따르면 환자들은 의사가 세심하고 공감적으로 경청할 뿐만 아니라 적절하게 접촉하는 '따뜻한' 의술을 원합니다.5 또한 은유의 광범위한 사용은 이러한 의료적 만남에 언어적 '신체'를 더하는 반면,2 아직까지 AI는 은유를 잠재적 오염으로 간주합니다.18 이는 우리가 AI 시대로 더 깊이 들어가면서 의학 교육도 감각을 교육하고 임상 업무에서 은유를 능숙하게 사용하는 데 중점을 두어야 한다는 것을 시사합니다.
AI allows simultaneous application of a telescope and microscope, harnessing large databases for smart, personalised precision treatments, exemplified in Microsoft's ongoing ‘Project Hanover.’16 Such expert systems work on the basis of stored knowledge (both facts and rules) realising inferences, where rules are applied to known facts to deduce new facts and even explanations. Large quantities of data can be dealt with rapidly without contamination from personal bias and prejudice.17 Here, however, is AI’s internal contradiction:

• it can only function ‘objectively’ because it is a ‘closed’ operation; there are no paradoxical elements contaminating the route from input to output.

Such a linear system can of course be adapted through human feedback and redesign. Humans, by contrast, are ‘open’ systems (complex, dynamic and adaptive) with multiple, competing feedback loops, and show many cognitive biases and emotional contaminations. But it is precisely in such colourations arising from uncertainty that medical consultations may gain meaning, or are given heart. Research shows that patients want an embodied ‘warm’ medicine where doctors not only listen attentively and empathically, but also touch appropriately.5 Further, the widespread use of metaphor adds linguistic ‘body’ to such medical encounters,2 whereas AI, as yet, spurns metaphor as potential contamination.18 This suggests that as we move deeper into the AI age, medical education must also focus on educating the senses and on fluency in use of metaphor in clinical work.

우리는 AI의 사용 증가가 '해결책주의'의 형태로 의학과 의학교육에 가져올 수 있는 오만함을 인식해야 하며, 이는 교육적, 윤리적 함의를 모두 가져올 수 있습니다. 최근 파이낸셜 타임즈에서 유전자 편집 기술인 크리스퍼 유전자가위(CRISPR)의 공동 발견자인 제니퍼 두드나와의 인터뷰는 똑똑한 AI '해결책주의'가 어떻게 다양하고 복잡한 문제를 가릴 수 있는지 보여줍니다.19

• 첫째, 과학적 오만: 크리스퍼 유전자 편집 기술은 복잡성과 잠재적 위험을 가리는 은유를 통해 설명됩니다. 이 기술은 '유전자를 자르거나' '가위처럼 자를 수 있는' '강력한 기술'입니다.
• 둘째, 교육적 도구주의: 위 크리스퍼의 은유에 담긴 공학적 사고방식을 반영하듯, 의학교육은 복잡한 학습을 평가 목적으로 관찰 가능한 도구적 결과로 축소하는 경향이 있는 '역량' 운동의 게으른 언어와 관행에 제대로 도전하지 못했습니다. 이는 '가능성 학습'과 혁신이 '안정을 위한 학습'이라는 안전지대로의 후퇴로 대체되는, 의도적이고 상상력이 풍부한 역량 교육학을 잠재적으로 속일 수 있습니다.

We should be aware of the creeping hubris that increasing use of AI may bring to medicine and medical education in the form of ‘solutionism,’ introducing both pedagogical and ethical implications. A recent interview in the Financial Times with Jennifer Doudna, the co-discoverer of clustered regularly interspaced short palindromic repeats (CRISPR), the gene-editing technology, shows how smart AI ‘solutionism’ can mask a range of complex issues.19 

• First, scientific hubris: Crispr gene-editing technology is described through metaphors that mask complexity and potential dangers. It is a ‘powerful technology’ that can ‘snip out genes’ or ‘cut like scissors.’
• Second, pedagogical instrumentalism: mirroring the engineering mentality of Crispr's metaphors above, medical education has simply failed to properly challenge the lazy language and practices of the ‘competence’ movement that tend to reduce complex learning to instrumental, observable outcomes for assessment purposes. This potentially cheats a purposeful and imaginative pedagogy of capabilities, where ‘possibility learning’ and innovation are replaced by a retreat to the safe ground of ‘learning for stability.’

 

• 셋째, 매우 중요한 것은 인공지능이 중심이 되는 의학 및 관련 의학교육의 미래에 대한 윤리적 함의가 복잡하고 긴급하며, 종종 상황에 따라 달라진다는 점입니다. 예를 들어, 중국 과학자 허젠쿠이는 크리스퍼 편집 쌍둥이의 탄생을 발표했을 때 이 위험한 행동으로 인해 3년의 징역형과 거액의 벌금을 선고받고 과학자 경력을 끝내야 했습니다. 물론 이것은 수사학적으로 사용된 극단적인 예입니다. 하지만 예를 들어 의학교육 시뮬레이션에서 SimMan과 같은 복잡한 마네킹이 널리 사용되고 있다고 가정하면, 이러한 시뮬레이션 작업이 남성 성별 모델에 국한된다는 윤리적 수수께끼는 어떻게 설명할 수 있을까요?
• Third, and extremely important, the ethical implications of an AI-heavy medicine and associated medical education future are complex and emergent, often context-specific. For example, when the Chinese scientist He Jiankui announced the birth of Crispr-edited twins, this rogue action led to a jail sentence of 3 years, a hefty fine and the end of a scientific career. This of course is an extreme example used rhetorically. Yet, if we tone this down to, for example, the widespread use of complex manikins such as SimMan in medical education simulations, what do we make of the ethical conundrum that such simulation work is limited to a male-gendered model?

3 인간이 컴퓨터가 되는 순간
3 WHERE THE HUMAN BECOMES COMPUTER

일반적으로 우리는 컴퓨터를 인간처럼 만들기 위해 노력하지만, 어떤 사람들은 인간이 컴퓨터처럼 되기를 원합니다. 에드워드 프렌켈의 사랑과 수학: 숨겨진 현실의 핵심은 1980년대에 수학 가정교사이자 멘토였던 야코프 이사에비치가 모스크바 병원의 선임 비뇨기과 의사들과 함께 일하면서 그들이 진단 및 의사 결정 전문 지식을 합리화하도록 도왔던 이야기를 담고 있습니다.20 컴퓨터의 도움 없이 이사에비치는 의사들이 구두로 사고 전략을 연습하면 이사에비치가 이를 간소화하여 의사들에게 다시 반영하여 고려하도록 하는 'thinking aloud' 연구를 사용했습니다. Isaevich는 의사들의 진단 의사 결정 과정 중 85%~90%가 중복적이며, 나머지 핵심적인 10%~15%는 의사 결정 트리로 명확하게(명료화 및 매핑) 만들 수 있다는 결론을 내렸습니다. 인간의 직관, 순수한 알고리즘 논리, 발명이 겹치는 영역에서 일하면서 Isaevich는 AI를 임상 업무에 적용하기 위한 템플릿을 공식화했지만, 기계가 개입하지 않았다는 점을 제외하면 말이죠. 오히려 논리학자 자신이 기계가 되었습니다. 
Where we generally strive to make computers more like humans, some would like humans to be more like computers. Edward Frenkel's Love and Math: The Heart of Hidden Reality tells the story of how his mathematics tutor and mentor Yakov Isaevich had been working in the 1980s with senior urologists in a Moscow hospital, helping them to rationalise their diagnostic and wider decision-making expertise.20 Without the help of computers, Isaevich employed ‘thinking aloud’ research, where doctors would verbally rehearse thinking strategies and Isaevich would streamline these, mirroring them back to the doctors for consideration. Isaevich concluded that 85%-90% of the doctors’ diagnostic decision-making processes were redundant, and the remaining key 10%-15% could be made plain (articulated and mapped) as decision trees. Working in the territory of overlap between human intuition, pure algorithmic logic and invention, Isaevich formulated a template for the application of AI to clinical work, except that, again, no machine was involved. Rather, the logician was himself becoming the machine.

이사예비치는 학부 마지막 학기였던 프렌켈에게 이사예비치의 의료 추론 프로젝트에 함께 일해 달라고 요청했습니다. 그는 프렌켈을 신장 이식 시 발생하는 문제에 대한 박사 학위 논문을 위해 데이터를 수집하고 있던 젊은 비뇨기과 의사 세르게이 아루티유니안과 짝을 이루게 했습니다. 환자의 면역 체계가 이식된 신장을 거부하는 경우, 의사와 외과의는 그 자리에서 신장을 제거할지 아니면 사투를 벌일지 결정해야 합니다. 신장을 유지하면 환자가 사망할 수도 있지만, 제거하면 환자는 다시 원점으로 돌아가 또 다른 기증을 받아야 합니다. 아루투니안은 초음파 판독을 통해 수집한 환자 집단의 정량적 데이터를 바탕으로 40가지의 다양한 매개변수(의사의 의사 결정은 보조 기술에 의해 보강되기도 하고 압도되기도 함)를 바탕으로 이 딜레마에 대한 직관적이지 않고 논리적인 해답을 찾고자 했습니다. 우아하고 최소한의 의사 결정을 위한 객관적인 기준이 마련될 수 있을까요? 
Isaevich invited Frenkel, now in his final undergraduate year, to work with Isaevich's medical reasoning project. He paired Frenkel with a young urologist, Sergei Arutyunyan, who was collecting data for a PhD thesis on problems encountered in transplanting kidneys. Where patients’ immune systems reject transplanted kidneys, doctors and surgeons must make on-the-spot decisions about removing the kidney or fighting for it. Keeping the kidney could lead to the patient's death, but removal puts the patient back to square one, needing another donation. Arutyunyan wanted a logical, and not intuitive, answer to this dilemma based on quantitative data from patient populations gathered through ultrasound readings yielding a wieldy 40 different parameters (the doctor's decision making then both augmented and overwhelmed by the supplemental technology). Could a set of objective criteria be established for elegant, minimalist decision making?

흥미롭게도 프렌켈이 이룬 의료 AI의 도약은 성과가 있었습니다. 순수하게 수학자로 교육을 받은 프렌켈은 의사 아루투니안과 역할을 바꿔, 구현된 기계로서 이 좁은 전문 영역에서 의사의 의사 결정 전문성을 모방하고 심지어 향상시킬 수 있는지 확인했습니다. 프렌켈은 아루투니안이 복잡한 데이터를 가지고 있는 270명의 환자 각각이 고유한 사례를 제시했지만, 환자들에게도 주요 공통 속성과 문제가 있음을 발견했습니다. 그는 30명의 환자 데이터를 무작위로 선택하고 패턴을 찾아 이식 신장이 거부반응을 일으킬 가능성이 있는 경우 의사 결정을 내릴 때 일반화할 수 있는 일련의 규칙을 조합하려고 했습니다. 
Interestingly, the medicine AI leap that Frenkel made was performative. Although educated purely as a mathematician, he reversed roles with the doctor Arutyunyan to see if, as an embodied machine, he could imitate, even enhance, the doctor's decision-making expertise in this narrowly defined area of expertise. Although each of 270 patients for whom Arutyunyan had complex data presented a unique case, Frenkel saw that patients also displayed key common attributes and issues. He tried to piece together a generalisable set of rules for decision making in the case of potential rejection of transplanted kidneys by randomly choosing data for 30 patients and looking for patterns.

이를 통해 그는 아루티유니안이 모델링한 진단 추론 프로세스에 들어가 일반적인 규칙을 이해했습니다. 프렌켈은 의사 의자에 앉았을 뿐만 아니라 환자의 기록을 참조할 때도 아루티유니안이 환자에 대한 질문을 하면 프렌켈이 파일을 참조하여 대답하는 방식으로 환자의 마음속으로 들어갔습니다. 이런 식으로 프렌켈은 퍼즐을 완성하는 것이 아니라 풀어나가는 것처럼 질문하는 패턴을 고안해냈습니다. 그는 실제로 서너 가지의 핵심적인 임상 해부학적 질문만으로 진단에 도달할 수 있으며, 이를 의사 결정 트리로 쉽게 매핑할 수 있다는 사실에 주목했습니다. 프로세스 규칙을 학습한 프렌켈 역시 정확한 진단을 내릴 수 있었고, 말콤 글래드웰이 제안한 집중적인 연습을 통해 전문 지식을 습득하는 '1만 시간'의 법칙에 도전할 수 있었습니다.21 프렌켈은 지능형 기계처럼 불확실성을 수용해야 하는 실시간 의료 상담이나 주요 의료-수술 팀 기반 의사 결정의 '뜨거운' 실제 상황과는 완전히 분리된 작동 규칙을 '차갑게' 학습한 상태였습니다. 프렌켈은 이전에는 초음파 진단에서 확인되지 않았던 '간단한 알고리즘'을 발견했는데, 이 알고리즘은 소수를 제외한 모든 경우에 적합했습니다. 
Thus, he got inside the diagnostic reasoning process that Arutyunyan modelled and made sense of its generic rules. Frenkel not only sat in the doctor's chair but also in his mind, when consulting patients’ records as Arutyunyan asked him questions about these patients that Frenkel would then answer by consulting their files. In this way, as he describes it himself, Frenkel conceived a pattern of questioning as if he were undoing, rather than completing, a jigsaw. He noted that Arutyunyan could in fact arrive at a diagnosis after only three or four key clinical-anatomical questions and that these could be readily mapped as a decision tree. Having learned the process rules, Frenkel too could make a correct diagnosis, challenging the ‘10 000 hours’ rule of acquiring expertise through focused practice as suggested by Malcolm Gladwell.21 Frenkel had, as intelligent machines do, learned ‘cold’ the rules of operation, completely divorced from the ‘hot’ flesh-and-blood contexts of live medical consultations, or key medico-surgical team-based decisions, that must embrace uncertainty. Frenkel had discovered a ‘simple algorithm’ at play (that fitted all but a small number of cases) that, he claimed, had previously not been identified in ultrasound diagnostics.

컴퓨터의 도움 없이 의사의 역할을 수행한 프렌켈은 '하루 동안의 의사'이자 '기계 지능'이 되었으며, AI형 인지가 의사의 업무를 보완하는 것이 아니라 대체하는 것이라는 프레임을 만들었습니다. 하지만 기술 프레임워크에 의해 실제 의술이 강화되는 것이 아니라 대체되는 것을 환영해야 할까요? 체화된 의학과 체화되지 않은 인공지능 사이의 모순된 공간에서 점점 더 많은 일을 하게 될 미래 의사들의 정체성은 어떤 식으로 형성될까요? 다시 말하지만, 

• 인간의 전문성은 모호성을 용인하도록 설계된 개방적이고 역동적이며 복잡한 시스템의 산물이지만,
• 전문가 시스템은 폐쇄적이고 피드백을 통해 반복되며 모호성을 용납하지 않는 선형적입니다. 

전문가 시스템은 선형적이고 계층적인 명령과 통제 프로세스를 따르기 때문에 권위적일 수밖에 없으며, 동적인 문제에 대해 안정적인 해결책을 제시하기도 합니다.
Acting in the role of the computer but without the help of a computer, Frenkel became ‘doctor for a day’ and ‘machine intelligent,’ framing AI-type cognition as not just supplementing but supplanting the doctor's work. But do we welcome this displacement, rather than enhancement, of hands-on medicine by a technological framework? In what sense might this shape doctors’ identities in the future as they increasingly work in a contradictory space between embodied medicine and disembodied AI? Again,

• although human expertise is the product of an open, dynamic, complex system designed to tolerate ambiguity,
• expert systems are linear: closed; looped through feedback, and intolerant of ambiguity.

They are inevitably authoritarian as they conform to linear, hierarchical processes of command and control, also suggesting stable solutions to problems that are dynamic.

4 계산의 지배력 증가: 의료 도구에서 디지털 도구까지
4 THE INCREASING DOMINANCE OF CALCULATION: FROM MEDICAL TOOLS TO DIGITAL TOOLS

육체가 있고 구체화된 실습 의학과 육체가 없고 구체화되지 않은 기계가 주도하는 의학을 분리하는 것은 기술의 가치를 깎아내리기 위한 수사학적 장치(거짓 반대)로 볼 수 있습니다. 결국 기술은 인간의 감각, 존재론적 대상13, 인간의 '기계적 집합체'의 연장이 아닐까요?"22, 23 우리가 우려하는 것은 기계 시뮬레이션과 같은 기술이 인간 행위자로부터 분리되어 거품 속에서 작동하고, 실습이 실습 검사를 대체하기 시작할 수 있다는 점입니다. 과연 기술에 대한 매혹과 그에 따른 과잉 검사는 의학계에서 치료해야 할 증상일까요?"24 이 분야에 대해 간략히 살펴봅시다.
Our separation of a fleshly, embodied hands-on medicine and a fleshless, disembodied machine-led medicine could be seen as a rhetorical device (a false opposition) to discount the value of technologies. After all, are technologies not extensions of the human senses, ontological objects13 and humans’ ‘machinic assemblages?’22, 23 Our fear is that technologies, like mechanical simulations, can become disengaged from human actors to operate in a bubble, where hands-off testing begins to be a substitute for hands-on examinations. Indeed, is fascination with technology and consequent over-testing a symptom in medicine that should be treated?24 Let us briefly review the field.

로봇 수술과 같은 새로운 형태의 '하드' 의료 기술25과 앞서 논의한 유전자 편집에 사용되는 크리스퍼 염기서열과 같은 '소프트' 의료 기술19, 26은 계속해서 빠른 속도로 의료 행위를 재편하고 있습니다.27 컴퓨터화된 기기는 의료 서비스 제공에서 인간을 빠르게 대체하고 있습니다. 마취는 이제 의사가 마취를 유도할 때를 제외하고는 환자의 육체를 거의 보지 않을 정도로 기계에 의존하고 있습니다. 또한 한때 인간 기술자가 수행하던 다양한 실험실 테스트가 컴퓨터화된 기계에 의해 일상적으로 수행되고 있으며,28 일부 수술 절차에서는 로봇과 같은 자동화 기술이 외과의의 모습을 보완했다가 대체하기도 합니다. 
New forms of ‘hard’ medical technologies such as robotic surgery25 and ‘soft’ ones such as Crispr sequences used to edit genes, discussed earlier,19, 26 continue to reshape medical practice at an accelerating pace.27 Computerised devices are rapidly replacing human beings in the delivery of medical services. Anaesthesia is now so machine dependent that practitioners rarely look at the patient in the flesh, other than at induction. In addition, a wide variety of laboratory tests that were once conducted by human technicians have long been routinely performed by computerised machines,28 and forms of automation such as robotics have in some surgical procedures come to augment and then displace the figure of the surgeon.

실제로 최근 출시된 'GP at Hand' 앱과 같은 자가 진단 AI가 성공을 거두면 의사들은 일자리를 잃게 될 것입니다.29 이 기술은 챗봇 형태의 AI를 사용하여 사용자가 질문 메시지에 따라 증상을 입력하면 확률을 통해 감별 진단을 내리고 다음 단계를 제안합니다. 신약 개발과 같은 임상시험에 준하는 규제와 절차가 없기 때문에 이러한 종류의 애플리케이션에 대한 윤리적 문제가 해결되지 않은 채로 남아있습니다. 또한 데이터 보호, 제3자 개입, 잘못된 코딩(백인 인종에 대한 알고리즘 편향성 포함)도 이러한 개발로 인해 발생하는 문제입니다. 진단을 지원하기 위해 기계와 컴퓨터를 사용한다는 것은 행동, 감각 및 상호 작용을 모두 숫자 또는 픽셀 단위의 기술 형식에 맞게 계산해야 한다는 것을 의미합니다. 결과적으로 건강과 신원 모두 점점 더 계산적인 관점에서 접근하게 될 것이며, 20년 전 굿맨의 예측이 현실화되고 있습니다: '의료 전문직의 미래는 계산적이다."28 이러한 도구주의와 효율성은 건강을 '관리'하는 앞서 설명한 신자유주의적 가치 체계로 우리를 되돌려 놓습니다. 또한 계산적 프레임워크는 의료 교육학을 형성할 것이며, 이러한 교육학은 말 그대로 도구적 교육이 될 것이며, 인도적이고 윤리적 치료를 배양하는 전통적인 병상 참여에서 요구되는 다양한 감각적 능력보다는 주로 학생들의 시각적 기반 '판독'에 대한 피드백을 요구하게 될 것입니다. 
Indeed, doctors themselves will be threatened with redundancy should self-diagnosing AI such as the recent app ‘GP at Hand’ prove successful!29 This technology uses AI in the form of a chatbot, where users write their symptoms according to question prompts, resulting in a differential diagnosis with probabilities and suggested next steps. Without regulation and the equivalent of clinical trials (as you would expect for, say, a new pharmaceutical) this leaves ethical questions unanswered for this kind of application. Further, data protection, third party intervention and poor coding (including algorithmic bias towards white ethnic groups) are all problems arising from such developments. Employing machines and computers to assist in diagnosing means that actions, sensations and interactions all have to be calculated in order to fit the technological form, which is in digits or pixels. Consequently, both health and identities are increasingly framed in computational terms, realising Goodman's prediction from two decades ago that: ‘the future of the health professions is computational.’28 Such instrumentalism and efficiency returns us to the neoliberal values framework described earlier, where health is ‘managed.’ Further, calculative frameworks will shape medical pedagogy, such pedagogy in turn becoming literally instrumental, requiring mostly feedback on students’ optically based ‘readouts’ rather than a range of sensory capabilities such as those required in traditional bedside engagement that cultivates humane, ethical care.

5 중재 및 의미 만들기
5 MEDIATION AND MEANING MAKING

의료에 새로운 기술이 도입될 때마다 의사는 고유한 맥락에서 이를 어떻게 이해할지 고민해야 합니다.30 의료 기술을 매개하는 것은 '확장된 인지'를 가진 '확장된 인간'으로 초점을 이동시키고 있습니다.31 매개체는 변형하고 번역할 뿐만 아니라 전달해야 할 요소의 의미를 잠재적으로 왜곡하고 수정합니다.32 기술 혁신이 의사의 감각을 확장하고 조절하는 의학에서 감각 비율, 지각 유형 또는 지각 패턴을 변경하는 등의 효과는 광범위하게 조사되지 않았습니다. 의료 정보 기술이 의료 과실을 줄여 환자 안전을 향상시킬 것이라는 약속은 아직 완전히 실현되지 않았습니다.33, 34
Whenever new technologies are introduced into health care, doctors have to figure out how to make sense of them in unique contexts,30 where mediating medical technologies are shifting the focus to the ‘extended human’ with ‘extended cognition.’31 Mediators transform and translate, but also potentially distort and modify the meaning of the elements they are supposed to carry.32 In medicine, where technological innovations extend and modulate the doctor's senses, the effects, such as altering sense ratios, type of perception or patterns of perception, have not been extensively investigated. The promise that health information technologies will increase patient safety by decreasing medical error has yet to be fully realised.33, 34

AI는 또한 자아의 기술을 구성하여 이를 사용하는 의사의 정체성과 성격을 적극적으로 형성하며,35 여기서 정체성은 수행 능력, 즉 자신이 하는 것입니다.36 로봇 수술이 대표적인 예로, 최악의 시나리오는 개복 수술을 수행할 줄 아는 외과의가 감소하는 것입니다.36 기술 사용의 변화로 인해 혈관 방사선 전문의가 혈관 외과 전문의의 내부자가 되는 등 새로운 기술의 도입에는 다양한 내부자 및 외부자 역학 관계가 수반됩니다.37 [새로운 기술의 도입]은 [새로운 언어의 채택]과 누가 (하위) 전문 분야에 포함되거나 제외되는지에 대한 [새로운 관할권 주장]으로 이어져 정체성에 혼란을 야기합니다. 
AI also constitutes technologies of the self, actively shaping the identities and characters of the doctors that make use of them,35 where identity is performance, something that one does.36 A key example is robotic surgery, where a worst-case scenario is a decline in surgeons knowing how to perform an open surgery.36 A variety of insider and outsider dynamics come with the uptake of new technologies, such as vascular radiologists becoming insiders to the vascular surgeons due to a change in use of technology.37 The introduction of new technologies leads to the adoption of new languages and new jurisdictional claims about who is included in or excluded from the (sub)specialty, confounding identities.

그러나 기술은 사용 방식에 따라 그 의미와 궁극적인 기능이 달라지는 [관계적인 것]으로 볼 수 있습니다.38 의료 서비스에서 컴퓨팅 시스템의 효과는 정확성과 성능뿐만 아니라 사용자의 수용도, 사용 맥락, 임상적 만남을 포함한 사회적 및 직업적 상호 작용에 대한 결과도 분석해야 합니다.39 기술이 종종 의사와 환자 간의 거리를 넓히기 때문입니다. 환자 침대 옆에 있는 컴퓨터 주위에 모여 있는 의사나 환자의 증상보다는 검사 결과 등 환자에 대한 정보를 얻기 위해 컴퓨터 화면을 바라보는 가정의의 많은 예처럼,40 기술은 임상의의 시선을 환자의 신체에서 기기로 향하게 할 수 있습니다. 아브라함 베르게스와 동료들은 '차트 선반 주변과 방사선실에서 모든 전문의가 모여 환자에 대해 논의하던 중요한 사회적 의식의 상실'을 통해 EMR 구축의 의도하지 않은 결과를 지적합니다.41 
However, technologies can be seen as relational: only getting their meanings and ultimate functions in the ways that they are put to use.38 The effects of computing systems in health care are subject to analysis not only of accuracy and performance but also of acceptance by users, of the context of use, and of consequences for social and professional interaction, including the clinical encounter, as technologies often distance doctors from their patients.39 Technologies can direct the clinician's gaze away from the patient's body towards the device,40 like the many examples of doctors gathering around a computer next to the bed of the patient, or the family practitioner who looks at the computer screen for information about the patient, such as test results, rather than at the patient's presenting symptoms. Abraham Verghese and colleagues point to the unintended consequences of establishing the electronic medical record through ‘loss of important social rituals … around the chart rack and in the radiology suite, where all specialties converged to discuss patients.’41

6 선물 상자를 열었지만 블랙박스만 발견하다
6 OPENING THE GIFT BOX ONLY TO FIND A BLACK BOX

인공지능은 우리에게 거절할 수 없는 선물을 선사할까요? 대부분의 기술 혁신은 의사와 환자 사이를 매개하지만, AI는 그 이상의 역할을 합니다. 존 매카시의 '생각할 수 있는 기계'에서처럼 예측을 합니다.6 대부분의 AI 시스템에서는 입력과 출력이 모두 소프트웨어 프로그램에 제공됩니다. 전문가가 AI 프로그램이 올바른 연결을 할 수 있도록 지원하는 훈련 기간 동안 AI가 입력과 출력 사이의 패턴을 인식한 후에는 입력만으로 소프트웨어가 개발된 알고리즘에 따라 출력을 제공할 수 있습니다. 예를 들어, 피부과에서 피부암을 인식하는 연구에서 다양한 디지털 사진과 해당 질병 라벨을 각각 입력과 출력으로 제공했습니다.42 훈련 기간이 지나자 AI 소프트웨어는 새로운 피부암 이미지를 기반으로 특정 질병을 진단할 수 있었습니다. 이제 AI는 질병을 인식하는 방법을 '학습'하여 숙련된 안과 의사의 망막 이미지 진단이 AI보다 정확도가 떨어지는 등 숙련된 의사와 동일하거나 더 높은 수준까지 매우 빠르고 정확하게 진단할 수 있게 되었습니다.43 이러한 형태의 AI인 머신러닝은 영상의학, 병리학 및 종양학에서 광범위하게 적용됩니다.44 임상적으로 관련된 출력 데이터를 생성하려면 AI는 정의된 샘플 데이터베이스에 대한 이전 학습 기록의 맥락에서 처리된 많은 환자의 입력 데이터가 필요합니다.45 이러한 유형의 AI는 의사 결정을 내리는 것으로 가정된 특정 신경 아키텍처를 수학적으로 표현한 것이므로 인공 신경망(ANN)을 생성한다고도 합니다. 이러한 유형의 AI는 중환자실과 정신과에서 환자의 특정 위험이나 약물 부작용을 예측하는 데 사용되었습니다. 
Surely AI offers a gift we cannot refuse? Although most technical innovations mediate between the doctor and patient, AI does something more than that: it predicts, as in John McCarthy's ‘machines that can think.’6 In most AI systems, both input and output are provided to a software program. After AI has recognised a pattern between input and output during a training period in which the expert assists the AI program in making the right connection, only the input will be sufficient for the software to provide an output based on its developed algorithm. For example, in a study on recognising skin cancer in dermatology, many different digital pictures and their corresponding disease labels were provided as input and output, respectively.42 After a training period, the AI software was able to diagnose the specific disease based on a new image of skin cancer. AI has now ‘learned’ to recognise diseases, and is able to do so very fast and accurately, up to the same, or an even higher, level as an experienced doctor, such as experienced ophthalmologists’ diagnoses of retinal images being less accurate than those of their AI counterpart.43 This form of AI, machine learning, is applied widely in radiology, pathology and oncology.44 To produce clinically relevant output data, AI needs input data from many patients, processed in the context of previous training history on a defined sample database.45 As this type of AI is a mathematical representation of the particular neural architecture assumed to make decisions, it is often said to produce an artificial neural network (ANN). This type of AI has been used to predict certain risks or adverse reactions to drugs for patients in both intensive care and psychiatry.

이 모든 것은 문제가 없는 것처럼 보입니다. 하지만 몇 가지 한계가 있습니다. 앞서 언급했듯이 AI가 사용하는 데이터 세트의 기본 입력은 지금까지 숫자 또는 디지털 픽셀 단위인 AI 소프트웨어 프로그램의 언어에 맞아야 합니다. 즉, 의사는 이 언어를 준수하는 입력으로 기억상실증의 측면만 제공할 수 있으므로 AI의 일부가 될 수 있는 항목에 제한이 있습니다. 다른 측면은 무시되거나(예: 터치) 컴퓨터의 '생각' 형태에 맞게 조작(예: 텍스트)됩니다. 의사가 물리적으로 경험하는 행동과 감각은 이제 계산되어야 합니다. 
This all seems to be non-problematic. However, there are several limitations: as mentioned earlier, the basic input for the datasets that AI uses should fit the language of the AI software program, which is so far in digits or digital pixels. This means that a doctor can only provide those aspects of the anamnesis as input that complies with this language, thus placing a limitation on what can become part of AI. Other aspects are either ignored (eg, touch) or manipulated (eg, text) in such a way that they fit to the form of ‘thought’ of a computer. Actions and sensations that are experienced physically by a doctor now have to be calculated.

결국 의료 교육도 계산화될 것입니다. 이에 대한 글은 이미 벽에 써져 있습니다. 혁신적인 사회물질적, 사회문화적 모델이 의학교육에 도입된 후 초기의 흥분 이후, 역량 운동과 '위탁 가능한 전문 활동'(EPA)은 의학교육에 대한 새로운 믿음을 대표하며, [비판적 학습은 예측 가능한 결과의 '고지'가 아니라 불확실성, 독특성, 가치 갈등(과정으로서의)의 '늪지대'에서 발생한다]는 도널드 쇤의 주요 통찰을 버린 것처럼 보입니다.46 
In turn, perhaps medical pedagogies too will become calculated. The writing is on the wall for this. After an initial flush of excitement after innovative sociomaterial and sociocultural models were introduced to medical education, the competence movement and ‘entrustable professional activities’ (EPAs) represent the new faith in medical education, seemingly abandoning the major insight of Donald Schön, that critical learning occurs in the ‘swampy lowland’ of uncertainty, uniqueness and value conflict (as process), rather than the ‘high ground’ of predictable outcomes.46

이런 식으로 전문가와 환자의 신체, 다른 의료진, 도구와의 임상적 관계는 파편화되고 기술적인 형태로 재구성됩니다. 이는 질병의 복잡성을 줄일 수 있지만, 의사의 전문성을 제약하는 측면이 더 큽니다. 이러한 전문성은 상당 부분 암묵적이거나 암묵적(예: '눈 깜빡임' 패턴 인식 또는 유형 1 추론 사용)이며, 구현된 많은 기술은 모델링에 접근하기 어렵습니다.47 이는 비뇨기과 의사들이 '소리 내어 생각하기'를 통해 대부분 은밀한 의사 결정 과정을 언어화(따라서 합리화)하도록 도왔던 프렌켈의 도전이기도 했습니다. 또한 AI가 의학의 모호성을 줄이기 위한 수단으로 여겨질 수 있지만, 전문성을 통해 발달한 직관이나 '인지 무의식'48의 중요성을 거부함으로써 불확실성을 증가시키는 의도하지 않은 결과를 초래할 수 있습니다. 다시 말하지만, 이러한 중재는 환자의 생생한 경험에 대한 현상학적 '파악'인 구체화된 실천의 잠재적 손실을 수반합니다.15 입력 경계와 관련된 또 다른 한계는 '가치 정렬'로, 이는 AI가 인간의 목표와 가치에 따라 행동하도록 학습할 수 있는 방법을 다룹니다. 옳고 그름을 구분하기 위해서는 일련의 가치가 필요한 경우가 많습니다. 숙련된 의사는 특정 환자의 목표에 따라 어떤 치료법을 다른 치료법보다 더 중요하게 생각해야 할 때를 알고 있습니다. 이러한 유형의 목표는 아직까지 AI에서 설정할 수 없지만, 설령 가능하다고 하더라도 시스템이 어떻게 이해하고 도덕화할 수 있을지는 알 수 없습니다. 
In this way, the clinical relation of the expert to patients’ bodies, to other practitioners and to tools becomes fragmented and reconstructed in technological forms. This might reduce the complexity of a disease, but more, it constrains the expertise of a doctor. Such expertise is to a great extent implicit or tacit (eg, in employing ‘blink-of-an-eye’ pattern recognition or Type 1 reasoning) and many embodied techniques are inaccessible to modelling.47 This was also the challenge of Frenkel, who helped the urologists to verbalise (and hence rationalise) their mostly covert decision-making process by making them ‘think aloud,’ a contested way of trying to get inside doctors’ minds. In addition, where AI might be seen as a means to reduce ambiguity in medicine, it can have unintended consequences of increasing uncertainty by refusing the importance of intuition or the ‘cognitive unconscious’48 developed through expertise. Again, the mediation thus comes with a potential loss of embodied practice, the phenomenological ‘grasp’ of the patient's lived experience.15 Another limitation related to the input boundary is ‘value alignment’; this deals with how AI can be taught to act in accordance with human goals and values. Often, a set of values is necessary to tell right from wrong. An experienced doctor knows when to value one treatment over another, given the goal for this particular patient. These types of goals cannot be set in AI so far, but even when this will be possible, it is unknown how (and how we know that) the system understands and can moralise.

AI의 출력이 뉘앙스의 여지가 없는 참/거짓 유형의 목표로 제한되는 경우, 이는 제어와 관련된 또 다른 한계에 직면하게 됩니다. 앞서 언급했듯이 지금까지 AI에는 피드백이 불가능했습니다. 소프트웨어가 실행되면 목표를 변경할 수 없습니다. 루프가 닫힙니다. 또한 어떤 경로가 사용되어 특정 결과가 나왔는지, 신경망의 특정 계층 사이에 왜 특정 가중치가 있었는지 역추적하기가 어렵습니다. 의료 현장에서 의사들은 환자에 대한 진단을 확인하기 위해 서로에게 자주 물어보며 일반적인 규칙에 맞지 않을 수 있는 특이한 사례의 구체적인 세부 사항을 추론할 여지를 제공하지만, 컴퓨터에게 특정 진단에 도달한 방법과 이유를 설명해 달라고 요청하기는 어렵습니다. 가장 중요한 것은, 환자와의 의도적인 상호 작용이 없으며, 정보로 축소된다는 점입니다. 성능의 정확성과 효율성(선물 상자)에도 불구하고 AI는 종종 블랙박스와 같습니다. 
Where the output of AI is limited to a true/false type of goal, with no room for nuance, this brings us to another limitation, which deals with control. As noted earlier, there is until now no feedback possible in AI. Once the software is running, goals cannot be changed. The loop is closed. Moreover, it is difficult to trace back what pathways have been used that led to a certain outcome, or why there was a particular weight between certain layers of the neural network. In medical practice, doctors frequently ask each other to verify a diagnosis for a patient, giving room for reasoning on the specific details of the idiosyncratic case that might not fit the general rules, but it is difficult to ask a computer to explain how and why it came to a particular diagnosis. Most importantly, there is no intentional interaction with the patient, who is also reduced to information. Despite the accuracy and efficiency of the performance (a gift box), AI is often a black box.

이 블랙박스를 열어야 합니다. 그렇지 않으면 AI는 의사가 이해하지 못하거나 동의하지 않거나 잘못된 '솔루션'을 제공하여 의사를 온갖 종류의 어려운 상황에 처하게 할 수 있으며, 이는 다시 책임과 대행에 관한 윤리적 문제를 제기할 수 있습니다. 이미 크리스퍼 기술을 이용한 유전자 치료제에 대해 언급했으며, 최근 간세포에 개입하면 '나쁜' 콜레스테롤 생성 수준을 바꿀 수 있다는 연구 결과가 발표되었습니다. 하지만 심장마비 가능성을 제어할 수 있다는 이 약속이 구조적 불평등을 통한 사회적 불공평이라는 더 큰 건강 문제에 의해 가로채질 수 있을까요? 새로운 기술의 혜택은 누구에게 돌아갈까요? 인공지능에 대한 입력은 병원에 내원하는 환자에 국한되기 때문에 인공지능의 결과물은 같은 사람으로 제한되어 잠재적으로 불평등을 강화할 수 있습니다. 최악의 경우, 미디어에 의해 심하게 악용되는 AI는 '폭주하는 대상'49이 되어 치료법이 증상으로 바뀔 수도 있습니다. 
This black box needs to be opened. If not, AI can place doctors in all kinds of difficult situations, providing ‘solutions’ that they do not understand or agree with, or that are erroneous, again raising ethical questions concerning responsibility and agency. We have already mentioned gene therapeutics using Crispr technologies, and recent developments show that intervention in liver cells can alter levels of production of ‘bad’ cholesterol. However, could this promise to control the potential for heart attacks be hijacked by the greater health problem of social injustice through structural inequality? Who will benefit from the new technologies? The input for AI goes as far as the patients who present themselves at the clinic, thus limiting the output of AI to those same people, potentially reinforcing inequality. In a worst-case scenario, heavily exploited by the media, AI may become a ‘runaway object,’49 rogue or autonomous, turning a cure into a symptom.

7 치료를 위한 교육인가, 관리를 위한 교육인가?
7 EDUCATING TO CURE OR TO CARE?

AI는 의사의 업무를 변화시키고 직업적 정체성을 재구성함으로써 의료 서비스에 영향을 미칠 것입니다. 그러나 컴퓨터가 진단과 치료 측면에서 무엇을 할 수 있더라도 임상적 직관, 비언어적 지각, 공감과 같은 임상 치료의 복잡한 측면을 모두 충족시킬 수는 없으며, 이는 좋은 임상 치료와 전문직업성의 핵심입니다.50 따라서 '학습자가 환자와의 연결 능력을 희생하지 않고 이러한 새로운 기술을 습득하도록 돕는 것이 차세대 의사 교육의 큰 과제 중 하나가 될 것입니다'40. 
AI will impact health care by changing doctors’ tasks and reshaping professional identities. However, no matter what a computer can do in terms of diagnosing and treating, it cannot fulfil the full range of complex aspects of clinical care, such as clinical intuition, ineffable perceptions and empathy, that are key to good clinical care and professionalism.50 Therefore, ‘helping our learners to master these new technologies without sacrificing their ability to connect with their patients will undoubtedly be one of the great challenges of educating the next generation of physicians.’40

의학교육은 의료 분야에서 [AI 시스템에 대한 비판적 검토]를 커리큘럼 과정과 강의 계획서 내용에 어떻게 가장 잘 통합할 것인가라는 교육학적 과제에 직면해 있습니다. 커리큘럼 자체가 알고리즘화되는 도구주의의 함정에 빠질 위험이 있습니다. 학습자는 이러한 기술이 의료 문제에 대한 인식을 중재하고 틀을 짜는 데 사용될 것이라는 점을 이해해야 합니다. [AI의 원리에 대한 교육 측면]에서 공식화는 학습자가 [자신의 감각적 경험과 관련하여], 그리고 [일상적인 의료 행위의 복잡하고 불확실한 현실에서 추론과 관련하여] AI 결과를 이해하는 데 도움이 될 것입니다. 이는 또한 전문가적 통제력을 회복하는 방법이기도 한데, AI를 사용한 작업을 규제함으로써 전문가적 정체성의 왜곡을 방지할 수 있습니다.38

Medical education faces a pedagogical challenge: how best to incorporate the critical examination of AI systems in health care as curriculum process and syllabus content. The danger is falling into the trap of instrumentalism, where the curriculum itself becomes algorithmic. Learners have to understand that these technologies will come to mediate and frame their perceptions of medical problems. Formalisation in terms of education on the principles of AI will help learners to make sense of AI output in relation to their own sensory experiences and in relation to reasoning in the complex and uncertain reality of everyday medical practice. It is also a way of regaining professional control, where regulating work with AI sets out to inoculate against the distortion of professional identity.38 

대부분의 AI 세부 사항은 의사의 전문적 한계를 넘어서는 것이지만, 테크놀로지는 [계산적 사고 방식을 넘어서는 의료 전문가로서의 부분]에 주의를 다시 집중할 기회를 제공하여 학습자가 독특한 환자와의 관계를 맺도록 요구합니다.

• 의대생은 의료 행위가 배타적이고 명확하게 과학적, 통계적 또는 절차적이지 않으며, 따라서 지금까지는 계산으로 추적할 수 없다는 것을 배워야 합니다.
• 마찬가지로 많은 임상적 의사 결정에는 사회적, 개인적, 윤리적, 심리적, 재정적, 가족적, 법적 및 기타 요소가 포함되어 있어 전적으로 의학적인 것만 있는 것은 아닙니다.

즉, 의학에는 본질적으로 예술성과 인간성이 내재되어 있으며, 이는 정의상 AI가 복제할 수 없는 가소성입니다. 의대생을 위한 AI 교육 개발은 '신체 교육학'을 배우는 것과 함께 진행되어야 합니다.15 
Although most AI detail will be beyond doctors’ professional limits, technologies offer an opportunity to refocus attention on the part of being a health care professional that is beyond calculative modes of thought, requiring learners to make a connection with a unique patient.

• Medical students should be taught that the practice of medicine is not exclusively and clearly scientific, statistical or procedural, and hence is not, so far, computationally tractable.
• Likewise, many clinical decisions are not exclusively medical, where they have social, personal, ethical, psychological, financial, familial, legal and other components.

In other words, medicine has an intrinsic artistry and humanity that by definition is plastic and cannot be replicated by AI. Developments in AI education for medical students must walk hand-in-hand with learning ‘body pedagogics.’15

8 결론
8 CONCLUSIONS

우리는 체화된 의학을 질문자로 삼아 의학 분야에서 AI의 성장을 단순히 나열하고 축하하기보다는 문제를 제기하여 비관론보다는 주의caution의 분위기를 조성했습니다. 우리는 또한 무비판적이고 반성적이지 않은 '해결책주의'에 대해서도 문제를 제기했습니다. 우리는 의학교육이 학부 과정에서 AI에 대한 조기 학습에 대한 요구에 느리게 대응해 왔으며, 특히 윤리적 의학을 실천하는 데 있어 AI와의 교류가 미래 의사의 정체성 구성에 핵심 요소가 될 것이라는 점에 주목합니다. 미래의 의사는 AI가 알지 못하는 것을 알아야 하며, 의사는 진단의 정확성을 넘어 환자에게 무엇을 계속 제공할 수 있을까요?"51 AI의 뼈대에 살을 붙여 봅시다.

Using embodied medicine as interrogator, we have problematised, rather than simply catalogued and celebrated, the growth of AI in medicine to set a tone of caution rather than pessimism. We have also problematised uncritical and unreflexive ‘solutionism.’ We note that medical education has been slow to respond to the demands of early learning about AI in undergraduate medicine, and that engaging with AI will become a key factor in the identity constructions of doctors of the future, particularly in the exercise of an ethical medicine. What will the physician of the future need to know that AI does not, and what will doctors continue to offer patients beyond diagnostic precision?51 Let us put flesh on the bones of AI.

 

---

 

Med Educ. 2021 Jan;55(1):30-36. doi: 10.1111/medu.14131. Epub 2020 Mar 30.

Where medical education meets artificial intelligence: 'Does technology care?'

Anneke G van der Niet 1 2, Alan Bleakley 3

Affiliations collapse

Affiliations

1Faculty of Health, Medicine and Life Sciences, School of Health Professions Education, Maastricht University, Maastricht, the Netherlands.

2Julius Center for Health Sciences and Primary Care, University Medical Center Utrecht, Utrecht, the Netherlands.

3Plymouth University Peninsula School of Medicine, Plymouth, UK.

PMID: 32078175

DOI: 10.1111/medu.14131

Abstract

'COLD' TECHNOLOGIES AND 'WARM' HANDS-ON MEDICINE NEED TO WALK HAND-IN-HAND: Technologies, such as deep learning artificial intelligence (AI), promise benign solutions to thorny, complex problems; but this view is misguided. Though AI has revolutionised aspects of technical medicine, it has brought in its wake practical, conceptual, pedagogical and ethical conundrums. For example, widespread adoption of technologies threatens to shift emphasis from 'hands-on' embodied clinical work to disembodied 'technology enhanced' fuzzy scenarios muddying ethical responsibilities. Where AI can offer a powerful sharpening of diagnostic accuracy and treatment options, 'cold' technologies and 'warm' hands-on medicine need to walk hand-in-hand. This presents a pedagogical challenge grounded in historical precedent: in the wake of Vesalian anatomy introducing the dominant metaphor of 'body as machine,' a medicine of qualities was devalued through the rise of instrumental scientific medicine. The AI age in medicine promises to redouble the machine metaphor, reducing complex patient experiences to linear problem-solving interventions promising 'solutionism.' As an instrumental intervention, AI can objectify patients, frustrating the benefits of dialogue, as patients' complex and often unpredictable fleshly experiences of illness are recalculated in solution-focused computational terms. SUSPICIONS ABOUT SOLUTIONS: The rate of change in numbers and sophistication of new technologies is daunting; they include surgical robotics, implants, computer programming and genetic interventions such as clustered regularly interspaced short palindromic repeats (CRISPR). Contributing to the focus of this issue on 'solutionism,' we explore how AI is often promoted as an all-encompassing answer to complex problems, including the pedagogical, where learning 'hands-on' bedside medicine has proven benefits beyond the technical. Where AI and embodied medicine have differing epistemological, ontological and axiological roots, we must not imagine that they will readily walk hand-in-hand down the aisle towards a happy marriage. Their union will be fractious, requiring lifelong guidance provided by a perceptive medical education suspicious of 'smart' solutions to complex problems.

© 2020 John Wiley & Sons Ltd and The Association for the Study of Medical Education.