의과대학 교육에서 보건AI윤리 교육 필요성(Adv Health Sci Educ Theory Pract. 2021)

의과대학 교육에서 보건AI윤리 교육 필요성(Adv Health Sci Educ Theory Pract. 2021)
The need for health AI ethics in medical school education
Gali Katznelson1 · Sara Gerke2

소개
Introduction

인공지능(AI)이 의료 서비스를 혁신하고 있습니다. 2018년 4월, 미국 식품의약국(FDA)은 안과 질환인 당뇨망막병증에 대한 진단 결정을 내리는 최초의 '자율' AI 소프트웨어 시스템인 IDx-DR의 시판을 허가했습니다(Digital Diagnostics, 2020; FDA, 2018a). 2019년 9월, 의료 신경 기술 회사인 BrainScope는 결과와 조치를 제공하여 뇌진탕 및 경미한 외상성 뇌손상 진단에 도움을 주는 AI 기반 의료 기기 BrainScope TBI(모델: Ahead 500)에 대한 FDA 허가를 받았습니다(FDA, 2019a). 이 외에도 심장 환자를 위한 최초의 AI 기반 의료 영상 플랫폼인 Arterys(FDA, 2017), 손목 골절을 감지하도록 설계된 AI 소프트웨어인 OsteoDetect(FDA, 2018b), 뇌졸중과 관련된 지표에 대한 컴퓨터 단층 촬영 결과를 분석하기 위해 AI를 사용하는 임상 의사 결정 지원 소프트웨어인 Viz.AI(FDA, 2018c) 등이 이미 FDA의 허가를 받거나 승인된 건강 AI입니다. 
Artificial Intelligence (AI) is transforming health care. In April 2018, the U.S. Food and Drug Administration (FDA) permitted marketing of the first “autonomous” AI software system, called IDx-DR, to provide a diagnostic decision for the eye disease diabetic retinopathy (Digital Diagnostics, 2020; FDA, 2018a). In September 2019, the medical neurotechnology company BrainScope received FDA clearance for its AI-based medical device BrainScope TBI (model: Ahead 500) that helps in the diagnosis of concussion and mild traumatic brain injury by providing results and measures (FDA, 2019a). Other health AIs that have already been cleared or approved by the FDA include Arterys, the first medical imaging platform powered by AI for cardiac patients (FDA, 2017), OsteoDetect, an AI software designed to detect wrist fractures (FDA, 2018b) and Viz.AI, a clinical decision support software that uses AI to analyze computed tomography results for indicators associated with a stroke (FDA, 2018c).

지금까지 160개 이상의 의료용 AI 기반 기기가 FDA의 허가를 받았거나 승인되었으며(Ross, 2021), 현재 개발 파이프라인에 더 많은 제품이 있습니다. 의료 AI의 미래를 예측하기는 어렵지만 가상 비서, 개인 맞춤형 의료, 자율 로봇 수술은 의료 시스템의 미래 모습에 대한 가능성의 영역에서 벗어나지 않습니다. 의료 AI는 의료를 더 나은 방향으로 변화시킬 수 있는 엄청난 잠재력을 가지고 있지만, 사전 동의, 편견, 안전, 투명성, 환자 개인정보 보호, 할당에 이르기까지 윤리적 문제도 제기합니다.  
Over 160 health AI-based devices have been cleared or approved by the FDA so far (Ross, 2021), and there are currently many more products in the development pipeline. It is difficult to predict what the future of health AI will bring, but virtual assistants, personalized medicine, and autonomous robotic surgeries are not outside the realm of possibilities of how the health care system could look like in the future. Health AI has tremendous potential to transform medicine for the better, but it also raises ethical issues, ranging from informed consent, bias, safety, transparency, patient privacy to allocation.

의료 AI는 이미 의료 서비스를 변화시키고 있고 앞으로도 계속 변화할 것이지만, 의료 AI 윤리는 아직 의과대학 커리큘럼에 표준 과목으로 포함되어 있지 않습니다. 이러한 격차는 현재의 문헌에도 반영되어 있습니다: AI와 의학교육에 초점을 맞춘 출판물은 거의 없으며, 윤리를 전혀 언급하지 않은 출판물은 더 적습니다(Kolachalama & Garg, 2018; Wartman & Combs, 2018; Wartman & Combs, 2019; Paranjape et al., 2019; AMA, 2019). 
Although health AI is already shaping health care and will continue to do so, health AI ethics is not yet a standard course in medical school curriculums. This gap may also be reflected in the current literature: Only few publications focus on AI and medical education, and even fewer mention ethics at all (Kolachalama & Garg, 2018; Wartman & Combs, 2018; Wartman & Combs, 2019; Paranjape et al., 2019; AMA, 2019).

먼저 의료 인공지능 윤리가 무엇인지 설명한 다음 의과대학에서 이러한 교육이 필요한 이유를 논증할 것입니다. 그런 다음 의대 교육이 필요한 의료 AI가 제기하는 6가지 주요 윤리적 문제인 사전 동의, 편향성, 안전, 투명성, 환자 개인정보 보호, 할당에 대해 집중적으로 논의할 것입니다. 이러한 윤리적 이슈는 임상 의료 윤리와 관련된 AI의 프레임워크를 형성합니다. 실제 사례를 사용하여 응용적인 맥락에서 의료 AI 윤리를 가르치는 것이 유용할 수 있습니다. 
We will first explain what health AI ethics is and will then argue why this education is needed in medical schools. Our focus will then be devoted to a discussion of six key ethical issues raised by health AI that require medical school education: informed consent, bias, safety, transparency, patient privacy, and allocation. These ethical issues form a framework for AI that is pertinent to clinical medical ethics. We suggest that it may be useful to teach Health AI Ethics in an applied context using real-life examples.

의료 AI 윤리란 무엇인가요?
What is health AI ethics?

우리는 건강 AI 윤리를 'AI가 관여하는 건강 분야의 맥락에 윤리를 적용하고 분석하는 것'으로 정의합니다. 건강이 여러 가지 방식으로 정의되어 온 것처럼(Huber 등, 2011), 1955년 McCarthy 등(2006)에 의해 처음 사용된 인공지능(AI)이라는 용어에 대한 단일 정의도 존재하지 않습니다. 의료 분야에서 의료 전문가가 AI와 그 응용 분야를 이해하는 것이 점점 더 중요해지고 있습니다.
We define Health AI Ethics as the ‘application and analysis of ethics to contexts in health in which AI is involved’. Just as health has been defined in several ways (Huber et al., 2011), there is also no single definition for the term artificial intelligence (AI), which was first coined in 1955 by McCarthy et al. (2006). In medicine, it is becoming increasingly important for health care professionals to understand AI and its applications.

예를 들어, 미국의학협회(AMA)는 AI를 다음과 같이 정의합니다:
For example, the American Medical Association (AMA) defines AI as:

일반적으로 이성적인 인간과 관련된 방식으로 작업을 완료하는 컴퓨터의 능력, 즉 개체가 환경에서 적절하게 기능하고, 선견지명을 가지고 기능할 수 있도록 하는 자질입니다. 진정한 AI는 인공지능이 인간과 구별할 수 없는 지능적인 행동을 보일 수 있어야 한다는 튜링 테스트(2018)를 이길 수 있는 프로그램 또는 알고리즘으로 널리 알려져 있습니다.
The ability of a computer to complete tasks in a manner typically associated with a rational human being—a quality that enables an entity to function appropriately and with foresight in its environment. True AI is widely regarded as a program or algorithm that can beat the Turing Test, which states that an artificial intelligence must be able to exhibit intelligent behavior that is indistinguishable from that of a human (2018).

AI를 구성하는 요소에 대한 이해는 수년에 걸쳐 발전해 왔습니다. 1970년대에 의료 분야의 AI는 심전도 해석과 같은 규칙 기반 알고리즘으로 구성되었으며, 이는 오늘날에도 여전히 일반적이지만 일반적으로 "진정한 AI"라고 불리는 알고리즘은 아닙니다(Kundu 외., 2000; Yu 외., 2018). 최근 AI의 발전은 알고리즘을 사용하여 데이터에서 패턴을 찾는 컴퓨터 과학의 한 분야인 머신 러닝(ML)으로 이루어졌습니다(Murphy, 2012; Yu et al., 2018). ML은 지도형 또는 비지도형일 수 있습니다. 지도 ML은 학습 중에 입출력 데이터의 상관관계를 기반으로 출력을 예측하는 데 사용되는 반면, 비지도 ML은 레이블이 지정되지 않은 데이터에서 패턴을 식별합니다(Yu et al., 2018). 예를 들어, 지도 머신러닝은 이미지에서 특정 유형의 암 유무를 감지하도록 학습되지만, 비지도 머신러닝은 많은 수의 이미지를 평가하여 패턴을 감지하고 그에 따라 이미지를 그룹화합니다. 특히 대규모 데이터 세트에 다층 인공 신경망을 사용하는 ML의 한 분야인 딥러닝의 발전은 AI 분야를 더욱 발전시켰습니다(Yu et al., 2018). 임상 치료에 사용되는 대부분의 AI는 아직 인간의 지능을 능가하지 못하며, 여전히 협소하고 특정 업무에 국한되어 있습니다(Hosny 외., 2018). AMA는 "증강 지능"이라는 용어를 사용하여 의사의 지능을 대체하는 것이 아니라 의사의 지능을 증강하는 현재 AI의 능력을 강조합니다(2018). 
The understanding of what constitutes AI has evolved over the years. In the 1970s, AI in health care consisted of rule-based algorithms, such as electrocardiogram interpretation, which remain commonplace today but are not typically those referred to as “true AI” (Kundu et al., 2000; Yu et al., 2018). Recent developments in AI have consisted of Machine Learning (ML), a branch of computer science that finds patterns in data using algorithms (Murphy, 2012; Yu et al., 2018). ML can be supervised or unsupervised. Supervised ML is used to predict outputs based on correlations of input–output data during training, while unsupervised ML identifies patterns in data that is not labelled (Yu et al., 2018). For example, while supervised ML would be trained to detect the presence or absence of a certain type of cancer on an image, unsupervised ML would evaluate a large number of images to detect patterns and group images accordingly. In particular, developments within Deep Learning, a field within ML that uses multi-layered artificial neural networks on large datasets, has propelled the field of AI forward (Yu et al., 2018). Most AI that is used in clinical care has yet to surpass human intelligence, and remains narrow and task-specific (Hosny et al., 2018). The AMA uses the term “Augmented Intelligence” to highlight current AI’s ability to augment the physician’s intelligence rather than to replace it (2018).

윤리는 간단히 말해서 옳고 그름의 문제를 고려하는 철학의 한 영역입니다. 윤리는 규범적 윤리, 메타윤리, 응용 윤리로 나눌 수 있습니다(Fieser, 1999). 

• 규범 윤리는 올바른 행동 방식에 대한 질문에 답하려고 합니다. 규범적 윤리 이론에는 의무론, 결과론, 덕 윤리가 포함되지만 이에 국한되지는 않습니다.
• 메타윤리학은 옳고 그름의 본질에 대한 질문을 다루는 철학의 한 분야입니다.
• 응용 윤리는 윤리적 이론이나 원칙을 구체적인 실생활 문제에 적용하는 것을 다룹니다. 

많은 의대생들은 보챔프와 차일드레스(2012)가 제시한 자율성, 비악성, 유익성, 정의라는 네 가지 생의학 윤리의 원칙을 잘 알고 있을 것입니다. 원칙주의로 알려진 이 다원주의 이론은 의학의 윤리적 딜레마를 해결하기 위한 실용적인 접근 방식을 안내합니다. 의료 인공지능 윤리 교육은 사례 기반의 응용적 방법을 통해 윤리에 접근해야 하지만 규범 윤리와 메타 윤리의 요소도 포함해야 합니다. 정보에 입각한 동의, 편견, 안전, 투명성, 환자 프라이버시, 배분 등 6가지 이슈로 구성된 의료 AI 윤리를 학습하는 프레임워크가 의료 학습자에게 가장 적합하다고 제안합니다.
Ethics is the area of philosophy that, in simplest terms, considers questions of right and wrong. Ethics can be divided into normative ethics, metaethics, and applied ethics (Fieser, 1999).

• Normative ethics tries to answer questions about the right way to act. Normative ethical theories include, but are certainly not limited to deontology, consequentialism, and virtue ethics.
• Metaethics is the branch of philosophy that addresses questions about the nature of right and wrong.
• Applied ethics deals with applying ethical theories or principles to specific, real-life issues.

Many medical students will be familiar with Beauchamp and Childress’ (2012) four principles of biomedical ethics: autonomy, non-maleficence, beneficence, and justice. This pluralistic theory, known as principlism, is meant to guide a pragmatic approach to resolving ethical dilemmas in medicine. A Health AI Ethics education should approach ethics through an applied, case-based method, but should also include elements from normative ethics and metaethics. We suggest that a framework to study Health AI Ethics consisting of the following six issues is most pertinent for medical learners: informed consent, bias, safety, transparency, patient privacy, and allocation.

의과대학 교육에 의료 AI 윤리가 필요한 이유는 무엇인가요?
Why is health AI ethics needed in medical school education?

의료 AI가 의료 분야에 미칠 영향력이 커질 것이라는 징후가 몇 가지 있습니다. 첫째, 전 세계 의료 시스템 전반에 걸쳐 엄청난 양의 데이터가 수집되고 있습니다. 한 추정에 따르면 '글로벌 데이터스피어'는 2025년까지 175제타바이트까지 증가할 것으로 예상됩니다(Reinsel et al., 2018). 이러한 전례 없는 양의 데이터는 의료 AI와 같이 데이터에 의존하는 분야에서 혁신적인 발전으로 이어질 수 있습니다. 
Several signs point toward the increasing impact that health AI will have in medicine. First, there are gigantic amounts of data being collected across the global health care system. According to one estimate, the “global datasphere” is expected to grow to 175 zettabytes by 2025 (Reinsel et al., 2018). These unprecedented amounts of data may lead to revolutionary developments in fields that rely on data, such as health AI.

둘째, 의료 AI 시장은 2020년 49억 달러에서 2026년 452억 달러로 증가할 것으로 예상됩니다(Markets & Markets, 2020). 특히 구글, 마이크로소프트, IBM과 같이 전통적으로 의료와 관련이 없었던 거대 기술 기업들도 빠르게 성장하는 이 시장의 경제적 인센티브에 자극을 받아 의료 AI 시장의 주요 플레이어로 부상하고 있습니다. 
Second, it is estimated that the market for health AI will increase from 4.9 billion USD in 2020 to 45.2 billion USD in 2026 (Markets & Markets, 2020). In particular, tech giants that are traditionally not health-related, such as Google, Microsoft, and IBM, are key players in the health AI market and are probably motivated by the economic incentives of this rapidly growing market.

셋째, 환자들은 AI를 사용하는 연결된 세상에 살고 있다는 사실을 알게 되었습니다. 환자들은 더 이상 의사 진료실에만 국한되지 않고, '닥터 구글'에게 조언을 구하고, 피트니스 트래커, 건강 AI 앱, 디지털 알약 등을 사용하여 건강을 모니터링하고 관리합니다(Gerke et al., 2019). 이러한 활동의 대부분은 환자 데이터를 수집하며, 데이터는 경제적 가치로 인해 오늘날 경제에서 "새로운 석유"라고 불리고 있습니다(The Economist, 2017). 한편, 병원은 데이터와 증거를 통해 개선된 환자 치료 개발을 추진하는 '학습형 의료 시스템'으로 거듭나도록 장려되고 있습니다(Olsen et al., 2007). 의료 AI는 새로운 방식으로 대량의 데이터를 분석할 수 있는 역량을 통해 병원이 이러한 목표를 달성하는 데 도움을 줄 수 있는 잠재력을 가지고 있습니다. 방대한 데이터 생성, 데이터 시장의 성장, 환자 치료 환경의 변화는 의료 AI의 의료 혁신 잠재력에 대한 환영할 만한 징후입니다. 
Third, patients have found themselves to be living in a connected world that uses AI. Health care is no longer confined to the doctor’s office—patients are targeted for health adds, are quick to consult ‘Dr. Google’ for advice, and use fitness trackers, health AI apps, and digital pills (Gerke et al., 2019) to help them monitor and manage their health. Many of these activities collect patient data, and data has been dubbed “the new oil” in today’s economy for its economic value (The Economist, 2017). Meanwhile, clinics have been encouraged to become “learning healthcare systems,” systems in which data and evidence are intended to drive the development of improved patient care (Olsen et al., 2007). Health AI has the potential to help hospitals achieve this goal through its capacity to analyze large quantities of data in novel ways. The massive generation of data, increasing market for data, and changing patient care landscape serve as welcoming indications for health AI’s potential to transform medicine.

그러나 이러한 변화에는 많은 윤리적 문제가 수반됩니다(아래 참조). 예를 들어, 아니타 호(2019)와 주나이드 나비(2018)는 헤이스팅스 센터 보고서에서 의료 분야에서 AI가 어떻게 윤리적으로 설계되고 구현되어야 하는지에 대한 글을 썼습니다. Ho는 의료 AI가 현재의 요구에 부응하고 그 과정에서 발생하는 문제에 대해 열린 자세를 유지하는 의료 서비스 품질 개선 문화 속에서 개발되어야 한다고 주장합니다. 나비는 의료 AI는 생명윤리 원칙을 지침으로 삼아 설계되어야 한다고 주장합니다. 미래의 중요한 의료 이해당사자인 의대생이 의료 AI 윤리에 대한 적절한 교육 없이는 의료 AI의 설계, 구현 및 사용에 참여하기 어렵다는 것이 우리의 주장입니다. 
Such changes, however, bring with them many ethical issues (see below). For example, both Anita Ho (2019) and Junaid Nabi (2018) have written in the Hastings Center Report about how AI should be designed and implemented ethically in medicine. Ho argues that health AI should be developed within a culture of quality improvement in health care that responds to current needs and remains open to issues that arise along the way. Nabi argues that health AI should be designed with bioethical principles as a guidance. We argue that, for medical students, as important future stakeholders in medicine, it will be difficult to participate in the design, implementation, and use of health AI without adequate training in health AI ethics.

일부 학자들은 이미 AI 시대에 의과대학 커리큘럼 개혁을 촉구한 바 있습니다(Kolachalama & Garg, 2018; Wartman & Combs, 2018; Wartman & Combs, 2019; Paranjape et al., 2019). 예를 들어, Kolachalama와 Garg(2018)는 의과대학이 AI의 '이점, 위험 및 윤리적 딜레마'에 중점을 둔 '머신러닝 리터러시'를 위해 노력할 것을 권장합니다. 2019년 6월, AMA는 증강 지능을 의학교육에 통합하는 것에 관한 정책을 발표했습니다. AMA는 무엇보다도

• 의과대학 교수진에 데이터 과학자와 엔지니어를 포함시킬 것과
• 증강 지능 애플리케이션의 편견과 불균형을 해소하는 교육 자료를 제공할 것을 권장합니다.
• 또한 협회는 인증 및 라이선스 기관에 증강 지능을 인증 및 라이선스 표준에 통합하는 방법을 고려할 것을 촉구합니다. 

Some scholars have already called for a medical school curriculum reform in the age of AI (Kolachalama & Garg, 2018; Wartman & Combs, 2018; Wartman & Combs, 2019; Paranjape et al., 2019). For example, Kolachalama and Garg (2018) encourage medical schools to strive for “machine learning literacy,” which includes an emphasis on “the benefits, risks, and the ethical dilemmas” of AI. In June 2019, the AMA released a policy regarding the integration of augmented intelligence into medical education. The AMA recommends, among other things,

• the inclusion of data scientists and engineers on medical school faculties, as well as
• educational materials that address bias and disparities of augmented intelligence applications.
• The Association also calls on accreditation and licensing bodies to consider how augmented intelligence should be integrated into accreditation and licensing standards.

우리는 이러한 요구를 지지하며, 의료 인공지능의 윤리적 차원을 포괄적으로 다루는 의과대학 커리큘럼의 필요성을 강조합니다. 의료 전문가가 의료 AI에 적절히 대비할 수 있도록 의대생은 데이터 과학에 대한 지식뿐만 아니라 AI가 제기하는 윤리적 문제에 대한 미묘한 이해와 인식도 키워야 합니다. 오늘날의 의대생은 의료 서비스에 통합된 AI의 개발, 구현 및 평가에 참여하게 될 것입니다. 이러한 과정에 의미 있게 참여하려면 AI 윤리에 대한 탄탄한 기초가 필요합니다.
We support these calls and highlight the need for a medical school curriculum that comprehensively addresses the ethical dimensions of health AI. To ensure that health care professionals are adequately prepared for health AIs, medical school students do not only need to become knowledgeable in data science but also need to develop a nuanced understanding and awareness of the ethical issues raised by them. Today’s medical students will be involved in the development, implementation, and evaluation of AI that is integrated into health care. They require a solid foundation in AI ethics to engage meaningfully in these processes.

의대 교육에 필요한 윤리적 이슈는 무엇인가요?
What are the ethical issues requiring medical school education?

특히 의과대학 교육이 필요한 6가지 주요 윤리적 이슈는 의료 AI에 의해 제기됩니다:

• 1. 사전 동의,
• 2. 편견,
• 3. 안전,
• 4. 투명성,
• 5. 환자 개인정보 보호,
• 6. 할당.

우리는 모든 의료 전문가가 이러한 이슈가 AI와 어떻게 상호작용하는지에 대한 윤리적 이해가 있어야 한다고 생각합니다. 의대생은 이미 공부하면서 이러한 문제를 접했을 수도 있지만, AI는 이러한 문제를 복잡하게 만들고 특별한 주의가 필요한 고유한 우려를 제시합니다. 각 문제에 대해 사례 기반 방식으로 커리큘럼에 통합할 수 있는 AI의 예를 제공합니다. 
There are, in particular, six key ethical issues raised by health AI that require medical school education:

• 1. informed consent,
• 2. bias,
• 3. safety,
• 4. transparency,
• 5. patient privacy, and
• 6. allocation.

We believe that all health professionals should have an ethical understanding of how these issues interplay with AI. Although medical students may already come across these issues in their studies, AI complicates these issues and presents unique concerns that warrant special attention. For each issue, we provide examples with AI that can be incorporated into the curriculum in a case-based method.

정보에 입각한 동의
Informed consent

새로운 의료 AI를 임상 진료에 배치할 때 정보에 입각한 동의에 대한 긴급한 질문이 제기됩니다(Gerke et al., 2020c). 의사가 치료 계획을 결정하기 위해 의료 AI를 사용하는 경우 환자는 의사 결정 과정에 AI가 관여했다는 사실을 알 권리가 있나요? 만약, 그렇다면 환자에게 어떤 구체적인 정보를 알려야 할까요? (Cohen, 2020). 예를 들어, 임상의는 알고리즘을 훈련하는 데 사용되는 데이터가 전자 건강 기록 데이터인지 또는 인위적으로 생성된(합성) 데이터인지와 같은 데이터에 대해 환자에게 알려야 하나요?  
The deployment of new health AIs in clinical practice raises urgent questions about informed consent (Gerke et al., 2020c). If a doctor uses a health AI to determine a treatment plan, does the patient have a right to know that the AI was involved in the decision-making process, and if so, what specific information should the patient be told? (Cohen, 2020). For example, does the clinician need to inform the patient about the data that is being used to train the algorithm, such as whether it is electronic health record data or artificially created (synthetic) data?

환자의 자율성을 존중하기 위해 의료계는 일반적인 치료 동의서에 서명하는 것 외에 정보에 입각한 동의가 필요한 건강 AI 사용에 대해 결정할 필요가 있습니다. 이 문제에 대한 답은 특정 의료 AI와 그 적용 분야에 따라 달라질 수 있습니다. 가상의 미래 AI가 환자의 치료 과정을 완전히 자율적으로 결정하는 경우에는 구체적인 사전 동의가 필요할 수도 있습니다. 저희는 의사가 사전 동의를 둘러싼 윤리와 특정 의료 AI의 개발 방식, 작동 방식, 사용 의도를 이해해야만 이 문제에 대해 비판적인 의견을 제시할 수 있다고 믿습니다. 이해관계자들은 더 많은 의료 AI가 임상 진료에 도입되기 전에 지금부터 사전 동의의 윤리적 문제에 대한 논의를 시작해야 합니다. 이 논의를 거친 후 두 번째 단계로, 특정 의료 AI에 맞는 사전 동의에 관한 의사를 위한 가이드라인과 커뮤니케이션 계획이 개발되어 임상에서 유용한 도구로 사용될 수 있습니다. 의대생들은 이 분야를 주시할 필요가 있으며, 이러한 논의를 형성하는 데 중요한 역할을 할 수 있습니다. 
In an effort to respect patient autonomy, the medical community needs to decide if there is something essential about using health AIs that requires informed consent (in addition to signing the general treatment consent form). The answer to this issue will likely depend on the particular health AI and its application. Perhaps a hypothetical future AI that fully autonomously decides on the treatment course of a patient will warrant a specific informed consent. We believe that only by understanding the ethics surrounding informed consent, as well as how a specific health AI is developed, how it works, and how it is intended to be used, can physicians formulate a critical opinion on this matter. Stakeholders should start the discussion today on the ethical issue of informed consent before even more health AIs enter clinical practice. As a second step (after having this discussion), guidelines and communication plans for physicians on informed consent that are tailored to specific health AIs could then be developed and serve as a useful tool in clinical practice. Medical students need to watch this space and can also play a role in shaping this discussion.

편견
Bias

편견에는 다양한 유형이 있으며, 의료 전문가는 의료 AI에 존재하는 편견의 유형을 인식하고 환자를 대할 때와 의료 시스템 수준에서 이러한 편견을 완화하는 방법에 대해 생각하는 것이 중요합니다. 편향된 데이터로 의료 AI를 학습시키면 기존의 건강 격차가 줄어들기는커녕 오히려 확대될 수 있습니다. 예를 들어, 의사가 주로 백인 피부를 대상으로 학습된 의료 AI 암 검진 기기를 신뢰하여 흑인 환자의 피부가 어두운 사람에게 가장 흔한 흑색종(Villines, 2019)을 놓치는 시나리오가 발생할 수 있습니다(Adamson & Smith, 2018). 지도 머신러닝을 기반으로 하든 비지도 머신러닝을 기반으로 하든, 백인 피부만을 입력 데이터로 학습한 AI는 다른 피부 타입의 암을 진단하는 방법을 학습할 수 없습니다. 
There are different types of biases, and it is important for health care professionals to be aware of the types of biases that exist with health AI, and to think about how to mitigate such biases both within their patient encounters and on a health care system level. If health AIs are trained on biased data, existing disparities in health may be augmented rather than reduced. For example, the scenario could be that a Black patient’s acral lentiginous melanoma, the most common type of melanoma in individuals with darker skin (Villines, 2019), is missed because a physician trusts a health AI cancer screening device that was primarily trained on white skin (Adamson & Smith, 2018). Whether this AI is based on supervised or unsupervised ML, if it is only trained on white skin as input data, it cannot learn how to diagnose cancer in any other skin type.

다른 경우에는 알고리즘에 편견이 있을 수 있습니다. 예를 들어, 최근 대규모 의료 시스템과 보험사가 매년 미국 내 약 2억 명에게 적용되는 의료 결정을 안내하는 데 사용하는 알고리즘에서 흑인 환자에 대한 심각한 인종적 편견이 있음을 보여준 Obermeyer 등(2019)의 연구 결과가 있습니다. 이 알고리즘은 데이터 세트의 흑인 환자가 훨씬 더 아팠음에도 불구하고 백인 환자와 동일한 수준의 위험을 흑인 환자에게 잘못 할당했습니다(Obermeyer et al., 2019). 이러한 인종적 편향은 알고리즘이 건강 요구 수준을 대신하여 (질병 대신) 의료 비용을 사용했기 때문에 발생했습니다(Obermeyer 외., 2019). 흑인 환자의 건강에 더 적은 비용이 지출되었기 때문에 알고리즘은 흑인 환자가 더 건강하다고 잘못 결론을 내렸습니다(Obermeyer et al., 2019). 알고리즘 편향은 사용된 라벨에 대해 신중하게 생각함으로써 완화될 수 있지만(Obermeyer 등, 2019), 편향되지 않은 모델에 대해 학습할 수 있는 새로운 알고리즘도 필요합니다(Wiens 등, 2020). 
In other cases, the algorithm may exhibit bias. For example, Obermeyer et al., (2019) recently showed a major racial bias against Black patients in an algorithm used by large health systems and payers to guide health decisions applied to about 200 million people in the U.S. every year. The algorithm falsely assigned the same level of risk to Black as to White patients, even though Black patients in the dataset were much sicker (Obermeyer et al., 2019). Such a racial bias arose because the algorithm used health care costs (instead of illness) as a proxy for the level of health needs (Obermeyer et al., 2019). Since less money was spent on Black patients’ health, the algorithm incorrectly concluded that Black patients were healthier (Obermeyer et al., 2019). Algorithmic biases may be mitigated by carefully thinking about the labels used (Obermeyer et al., 2019), but new algorithms are also needed that can be trained on unbiased models (Wiens et al., 2020).

따라서 목표는 "제품이 설계되고 테스트된 후가 아니라 설계 단계에서부터 윤리를 고려하는 것"이어야 합니다(Gerke et al., 2019). 이해관계자, 특히 AI 제조업체는 의료 AI와 함께 존재할 수 있는 편견의 유형을 인식하고 제품 개발 과정에서 가능한 한 빨리 편견을 완화하기 위해 노력해야 합니다. 발생할 수 있는 편견의 유형에 대한 인식이 있다면 의대생들이 AI 개발 팀에 합류하여 미래의 의료 AI 설계에 기여할 수 있습니다. 또한, 미래의 직업에 대비하여 환자 치료를 위해 임상에서 사용하기 전에 의료 AI를 비판적으로 면밀히 검토할 준비가 될 것입니다. 
Consequently, the goal should be “ethics by design—rather than after a product has been designed and tested” (Gerke et al., 2019). Stakeholders, particularly AI makers, must be aware of the types of biases that can exist alongside health AI and try as early as possible in the development process of their products to mitigate biases. With an awareness of the types of biases that can arise, medical students may be encouraged to join AI development teams, and contribute to the design of future health AIs. Moreover, they will be prepared for their future profession and will be ready to critically scrutinize a health AI before using it in clinical practice for the treatment of their patients.

안전
Safety

속 쓰림을 호소하는 여성에게 위식도 역류 질환(흔히 위산 역류로 알려져 있음)이 있다고 가정하고 단순히 제산제를 추천하는 온라인 챗봇을 생각해 보세요. 숙련된 의사는 이 환자에게 심장마비를 즉시 배제하는 것이 중요하다는 것을 알고 있어야 합니다. 많은 AI 앱과 챗봇은 불필요한 병원 방문을 제한하도록 설계되었지만, 지속적인 업데이트, 점검 또는 규제가 이루어지지 않으면 소비자에게 심각한 피해를 입힐 수 있습니다. 
Consider an online chatbot that assumes that a woman with a sensation of heartburn has gastroesophageal reflux disease, commonly known as acid reflux, and simply recommends an antacid. A trained physician should know the importance of immediately ruling out a heart attack for this patient. Many AI apps and chatbots are designed to limit unnecessary doctor visits, but some of them can also cause serious harm to consumers if they are not continuously updated, checked, or regulated.

FDA와 같은 규제 당국은 최근 일부 의료용 AI(의료용 소프트웨어, 즉 SaMD, "하드웨어 의료 기기의 일부가 아니면서 이러한 목적을 수행하는 하나 이상의 의료 목적으로 사용되는 소프트웨어")를 규제하는 새로운 접근 방식을 도입하여 성능을 개선하고 안전성과 효과를 보장하기 위한 조치를 취하고 있습니다(IMDRF, 2013). 예를 들어, 소프트웨어 사전 인증 프로그램을 개발하려는 FDA의 노력(2019b), 소위 "업데이트 문제"와 "적응형" 알고리즘과 "잠금형" 알고리즘의 처리 문제를 해결하기 위한 최근 토론 보고서(2019c), 최근 실행 계획(2021)이 있습니다. 특히 FDA와 같은 규제 기관은 현재 시간이 지남에 따라 계속 학습하고 변화하는 알고리즘의 마케팅을 허용해야 하는지에 대한 문제에 직면해 있습니다(FDA, 2019c; Babic et al., 2019). 이러한 적응형 알고리즘의 마케팅을 허용하기로 결정할 경우, 이러한 AI/ML 기반 SaMD가 지속적으로 안전하고 효과적이라는 것을 어떻게 보장할 수 있는지에 대한 후속 문제에 직면하게 됩니다. 규제 당국은 이러한 새로운 혁신적 규제 모델의 세부 사항을 파악해야 하지만, 이러한 모델의 핵심 구성 요소는 기기 관점이 아닌 시스템 관점뿐만 아니라 AI/ML 시스템 고유의 기능으로 인한 위험에 초점을 맞춘 지속적인 위험 모니터링 접근 방식이 필수적입니다(Babic 외., 2019; Gerke 외., 2020a).  
Regulators like the FDA have recently initiated steps toward new approaches of regulating some health AIs—those that are classified as Software as a Medical Device (i.e., SaMD, “software intended to be used for one or more medical purposes that perform these purposes without being part of a hardware medical device”) (IMDRF, 2013)—to improve their performance and ensure their safety and effectiveness. Examples include the FDA’s effort to develop a Software Precertification Program (2019b), its recent discussion paper (2019c) to address the so-called “update problem” and the treatment of “adaptive” versus “locked” algorithms (Babic et al., 2019), and its recent Action Plan (2021). In particular, regulators like the FDA currently face the problem of whether they should permit the marketing of algorithms that continue to learn and change over time (FDA, 2019c; Babic et al., 2019). If they decide to permit the marketing of such adaptive algorithms, they face the follow-up issue of how they can safeguard that such AI/ML-based SaMD are continuously safe and effective. Regulators still need to figure out the details of such new innovative regulatory models, but it is essential that a key component of such models will be a continuous risk monitoring approach that focuses on risks due to features that are specific to AI/ML systems as well as a system view rather than a device one (Babic et al., 2019; Gerke et al., 2020a).

학생들이 이러한 노력을 이해하는 것이 중요하며, 특히 여전히 남아있는 의료 AI 안전에 대한 격차와 장벽에 주의를 기울여야 합니다. 지속적인 규제 이니셔티브에도 불구하고 미래의 의료 전문가는 특정 임상 의사 결정 지원 소프트웨어와 많은 AI 앱 및 챗봇과 같이 현재 많은 의료 AI가 FDA 검토 대상이 아니라는 사실을 알아야 합니다(미국 연방 식품, 의약품 및 화장품법, 520(o)(1)). FDA 시판 전 검토를 받아야 하는 의료용 AI의 경우, 안전성과 효과에 대한 합리적인 보증을 제공하기 위해 다양한 통제가 필요한 여러 경로가 적용될 수 있습니다(FDA, 2018d). 의대생은 복잡한 규제 환경을 인식하고 해당 분야의 새로운 발전과 프로세스에 계속 참여하는 것이 중요합니다. 
It is important for students to understand these efforts, with particular attention to the gaps and barriers to health AI safety that remain. Even with ongoing regulatory initiatives, future health professionals need to know that many health AIs are currently not subject to FDA review, such as certain clinical decision support software and many AI apps and chatbot (U.S. Federal Food, Drug, and Cosmetic Act, s. 520(o)(1)). Of those health AIs that do need to undergo FDA premarket review, they can be subject to different pathways requiring different controls to provide reasonable assurance of their safety and effectiveness (FDA, 2018d). It is important for medical students to be aware of the complicated regulatory landscape and to remain engaged with such processes and new developments in the field.

환자들이 진료실 밖에서 찾을 수 있는 의료 솔루션을 점점 더 많이 수용함에 따라 의료 전문가는 소비자 건강 AI의 잠재적 위험에 대해 환자에게 교육해야 합니다. 또한 안전을 염두에 두고 설계된 AI 앱과 챗봇을 추천할 수 있어야 합니다. 이미 시장에 압도적으로 많은 앱과 챗봇이 출시되어 있고 매일 더 많은 앱과 챗봇이 추가되고 있기 때문에 이는 의료 전문가에게 현실적인 도전이 될 것입니다. 또한 이러한 앱과 챗봇은 자주 업데이트되기 때문에, 여전히 신뢰할 수 있고 추천할 만한지 판단하기가 더욱 어렵습니다. 또한 AI가 환자 치료에 관여할 때 누가 책임을 져야 하는지에 대한 우려도 상당합니다(Price et al., 2019, 2021). 의대생들이 이러한 문제에 대한 인식을 갖게 되면 해당 분야의 전문가들과 협력하여 건강 앱과 챗봇의 안전성과 효과를 평가하는 강력한 윤리 및 법적 프레임워크를 개발하는 등 문제 해결에 참여하도록 장려할 수 있습니다. 
As patients embrace health care solutions that can be increasingly found outside of the doctor’s office, health professionals will need to educate patients about the potential risks of consumer health AIs. They will need to be able to recommend AI apps and chatbots that are designed with safety in mind. This will be a practical challenge for health professionals since there is already an overwhelming number of apps and chatbots available on the market, and more are added every day. In addition, these apps and chatbots are frequently updated, which makes it even harder to determine whether they are still trustworthy and recommendable. There are also significant concerns regarding who is liable when AI is involved in patient care (Price et al., 2019, 2021). By gaining an awareness of these problems, medical students might be encouraged to participate in solving them, such as by engaging with experts in the field to develop robust ethical and legal frameworks that evaluate the safety and effectiveness of health apps and chatbots.

투명성
Transparency

사전 동의와 안전 문제를 복잡하게 만들기 위해 '블랙박스'인 의료 AI를 사용하면 의사가 본질적으로 완전히 투명하지 않은 시스템으로 작업하면서 환자에게 어떻게 투명성을 유지할 수 있는지에 대한 의문이 제기됩니다. '블랙박스'는 일반적으로 의사의 환자 치료를 돕기 위해 설계되었지만 입력 데이터가 어떻게 분석되어 의사 결정에 도달하는지 설명하지 않는 소프트웨어로 설명할 수 있습니다(Daniel et al., 2019). 이러한 설명 불가능성은 의사가 쉽게 이해할 수 없는 복잡한 AI/ML 모델 또는 알고리즘이 독점적인 것으로 간주되기 때문에 발생할 수 있습니다(Daniel et al., 2019). 의사가 특정 환자에 대해 의료 AI/ML이 어떻게 또는 왜 결정을 내렸는지 이해할 수 없는 경우, 환자에게 알려야 할 내용은 물론 해당 소프트웨어에 의존해야 하는지 여부를 고려하는 것이 중요합니다. 데이터 과학자들이 AI/ML의 블랙박스를 열기 위해 노력하고 있지만(Lipton, 2016), 의사와 환자가 얼마나 많은 정보를 가져야 하는지에 대한 문제는 설명 가능한 AI와 함께 남아있을 것입니다. 
To complicate the matters of informed consent and safety, the use of health AIs that are ‘black boxes’ raises the question of how physicians can remain transparent with patients while working with systems that are, by nature, not fully transparent. ‘Black boxes’ can be described as software that is usually designed to help physicians with patient care, but that does not explain how the input data is analyzed to reach its decision (Daniel et al., 2019). This inexplicability may result from complicated AI/ML models that cannot be easily understood by physicians or due to the algorithm being considered proprietary (Daniel et al., 2019). If physicians cannot comprehend how or why a health AI/ML has arrived at a decision for a particular patient, it is important to consider whether they should be relying on the software, let alone what they should be informing their patients. Although data scientists are working on opening the black box of AI/ML (Lipton, 2016), the issue of how much information physicians and their patients should have will remain with explainable AI.

새로 배포된 의료 AI/ML이 환자의 사망 날짜를 예측했지만, 의사는 의료 AI/ML이 이 날짜를 어떻게 계산했는지 이해할 방법이 없는 상황을 생각해 보십시오. 사망률을 예측하는 ML 기법은 이미 여러 그룹에서 설명한 바 있습니다(Motwani 외., 2017; Shouval 외., 2017; Weng 외., 2019). 의료 AI/ML이 환자가 몇 시간 더 생존하지 못할 것이라고 계산했다고 상상해 보세요. 한편 의사는 제한적이기는 하지만 다른 환자에 대한 임상 경험을 바탕으로 환자의 예후를 훨씬 더 좋게 예측할 수 있습니다.

• 의사는 환자와 가족에게 건강 AI의 계산 결과를 알려야 할까요?
• 의사가 정확히 뭐라고 말해야 할까요?

이제 대부분의 경우 건강 AI/ML이 올바른 것으로 판명되었다고 가정해 보겠습니다.

• 이제 의사는 이 AI/ML에 전적으로 의존해야 할까요?
• 의사가 임상에서 블랙박스형 의료 AI/ML 모델을 전혀 사용해야 할까요? 

Consider a situation in which a newly deployed health AI/ML predicts the date of a patient’s death, but the physician has no way of understanding how the health AI/ML has calculated this date. ML techniques to predict mortality have already been described by several groups (Motwani et al., 2017; Shouval et al., 2017; Weng et al., 2019). Imagine that the health AI/ML has calculated that the patient will not survive a few more hours. Meanwhile, based on clinical experience, albeit limited, with other patients, the physician would estimate a much better prognosis for the patient.

• Should the physician inform the patient and their family about the health AI’s calculation?
• What exactly would the physician say?

Now consider that the health AI/ML turns out to be correct in most such cases.

• Should a physician now rely on this AI/ML fully?
• Should physicians use black-box health AI/ML models in clinical practice at all?

이러한 질문에 대한 답은 의사의 법적 책임 위험과 같은 다양한 고려 사항에 따라 달라질 수 있습니다. 또한 AI/ML 제조업체가 무작위 임상시험 등을 통해 해당 기기가 안전하고 효과적이라는 충분한 증거를 제시했는지 여부에 따라 달라질 수 있습니다. 의대생이라면 알겠지만, 의학에서 사용되는 많은 약물은 초기에 완전히 이해되지 않았을 수 있습니다. 예를 들어, 임상의들은 약 70년 동안 아스피린이 해열, 진통, 항염증 효과가 있다는 것을 알고 있었지만 그 근본적인 메커니즘은 알지 못한 채 아스피린을 처방해 왔습니다(London, 2019). 아스피린이 사이클로옥시게나제와 결합하여 프로스타글란딘 생성을 억제하여 이러한 효과를 생성하는 경로는 나중에야 밝혀졌습니다(Vane & Botting, 2003). 따라서 신뢰할 수 있고 정확하며 장기와 같은 희소 자원을 할당하는 데 사용되지 않는다는 충분한 증거가 있는 한, 의사가 임상에서 일부 블랙박스 건강 AI/ML 모델을 사용할 수 있고 사용해야 한다고 주장할 수도 있습니다(Babic et al., 2020). 의대생들이 가까운 미래에 의사로서 블랙박스 의료 AI/ML 모델과 함께 일하게 된다면, 병원이 상당한 비용을 들여 구입하여 사용을 권장하고 있는 블랙박스 의료 AI/ML에 대해 병상에서 반대하는 자신을 발견하기 전에 윤리적으로 그렇게 하는 방법에 대한 논의가 시작되어야 합니다. 
The answers to such questions may depend on different considerations, such as the physician’s liability risk. They may also depend on whether the AI/ML maker has shown sufficient proof that the device is safe and effective such as through randomized clinical trials. As medical students might know, many of the drugs used in medicine may not have been fully understood initially. For example, clinicians prescribed Aspirin for about 70 years, knowing that the drug had antipyretic, analgesic, and anti-inflammatory effects, but without knowing its underlying mechanism (London, 2019). The pathway by which aspirin binds cyclooxygenase to inhibit prostaglandin production to produce these effects was only later understood (Vane & Botting, 2003). Thus, one might argue that physicians can (and perhaps should) use some black-box health AI/ML models in clinical practice, as long as there is sufficient proof that they are reliable and accurate and are not used for allocating scarce resources such as organs (Babic et al., 2020). If medical students are to be working alongside black-box health AI/ML models as physicians in the near future, the discussions about how to do so ethically should begin before they find themselves at the bedside disagreeing with a black-box health AI/ML that the hospital purchased for a considerable amount of money and thus is likely encouraging them to use.

환자 개인정보 보호
Patient privacy

임상 환경을 넘어 웨어러블과 건강 앱을 통해 일상 생활에서 환자로부터 수집되는 대량의 건강 데이터로 인해 환자 개인정보 보호가 중요한 고려 사항으로 떠올랐습니다. 전례 없는 양의 건강 데이터가 축적되면 환자가 어느 정도인지 인지하지 못한 채 환자의 개인정보가 침해될 수 있습니다. 
With the large amounts of health data collected from patients, beyond clinical settings and in daily life through wearables and health apps, patient privacy has emerged as an important consideration. The accumulation of unprecedented amounts of health data may compromise patient privacy, without patients even realizing to what extent.

예를 들어, 최근의 소송인 Dinerstein 대 Google 소송(2019)은 개인의 데이터 보호 및 개인정보 보호에 대한 새로운 관심을 반영하고 있습니다. 이 소송은 시카고대학교 의료센터의 환자였던 매트 디너스타인이 개인 자격으로, 그리고 비슷한 처지에 있는 다른 모든 환자를 대신하여 Google, 시카고대학교, 시카고대학교 의료센터를 상대로 제기한 소송입니다. 2017년 시카고대학교 의료센터와 Google은 병원 재입원과 같은 의료 이벤트를 예측하기 위해 새로운 머신러닝 기법을 사용하기 위한 파트너십을 선언했고(Wood, 2017), 1년 후 연구 결과가 발표되었습니다(Rajkomar 외., 2018). Dinerstein은 2009년부터 2016년 사이에 시카고대학교 의료센터가 환자의 명시적 동의 없이 자유 텍스트 메모와 데이터 스탬프가 포함된 수십만 건의 의료 기록을 Google에 전송했다고 주장했습니다(Dinerstein v. Google; Rajkomar 외., 2018). 그러나 이 소송은 2020년 9월 일리노이주 연방 판사가 Dinerstein이 손해를 입증하지 못했다는 이유로 기각했습니다. 이 사례는 구글과 같은 거대 기술 기업과 환자 데이터를 공유하는 병원을 상대로 소송을 제기하는 데 따르는 어려움을 강조하고, 의료 데이터 개인정보 보호가 불충분하다는 것을 보여줍니다(Becker, 2020). 
For example, the recent lawsuit, Dinerstein v. Google, has reflected the emerging concern for individuals’ data protection and privacy (2019). The lawsuit was by Matt Dinerstein, a patient of the University of Chicago Medical Center, individually and on behalf of all other patients similarly situated, against Google, the University of Chicago, and the University of Chicago Medical Center. In 2017, the University of Chicago Medical Center and Google proclaimed a partnership to use new ML techniques to predict medical events, such as hospital readmissions (Wood, 2017), and the study results were published a year later (Rajkomar et al., 2018). Dinerstein claimed that between 2009 and 2016, the University of Chicago Medical Center transferred hundreds of thousands of medical records to Google, which included free-text notes and datestamps without obtaining patients’ express consent (Dinerstein v. Google; Rajkomar et al., 2018). However, this lawsuit was dismissed in September 2020 by a federal judge in Illinois on the grounds that Dinerstein failed to demonstrate damages. This case highlights the challenges of pursuing claims against hospitals that share patient data with tech giants such as Google, and shows the insufficient protection of health data privacy (Becker, 2020).

이 사례를 통해 학생들은 데이터 처리 방법 및 공유 대상과 같은 데이터 공유 문제와 환자가 자신의 데이터에 대해 가져야 하는 권리의 유형에 대해 배울 수 있습니다. 이 사례는 다음과 같은 새로운 환자 개인정보 보호 문제에 대한 토론을 촉진하는 데 도움이 됩니다. 

• 데이터 삼각 측량을 통한 재식별 문제(Cohen & Mello, 2019; Price & Cohen, 2019; Gerke 외., 2020b),
• 의료 AI 혁신과 민감한 환자 데이터 간의 상호 작용,
• 병원 시스템과 타사 의료 AI 개발자 간의 관계 

Through this example, students can learn about data sharing issues such as how data should be handled and with whom it should be shared, as well as the types of rights patients should have regarding their data. This example helps to facilitate a discussion on emerging patient privacy concerns, such as

• the issue of reidentification through data triangulation (Cohen & Mello, 2019; Price & Cohen, 2019; Gerke et al., 2020b),
• the interplay between health AI innovation and sensitive patient data, and
• the relationship between hospital systems and third party health AI developers.

환자 개인정보 보호는 의학계에서 오랫동안 지켜온 원칙이며, 모든 의료 AI의 개발과 구현에 있어 핵심적인 고려사항으로 남아 있어야 합니다. 의대생은 의료 분야에서 데이터 프라이버시의 윤리적, 법적 차원에 대한 이해와 함께 새로운 의료 AI 개발을 접하여 환자 프라이버시를 위협하는 새로운 의료 기술의 구현을 비판적으로 평가할 수 있어야 합니다.
Patient privacy has been a longstanding principle in medicine, and should remain a key consideration with the development and implementation of all health AIs. Medical students should be confronted with new health AI developments alongside an understanding of the ethical and legal dimensions of data privacy in health care so they can critically appraise the implementation of new health technologies that threaten patient privacy.

할당
Allocation

마지막으로 할당 문제가 있습니다. 자원의 공정한 배분은 의료 분야에서 지속적으로 제기되는 문제이며, 의료 AI의 등장으로 더욱 복잡해졌습니다. 실제 사례 중 하나는 알고리즘을 기반으로 간병 자원을 할당하는 것입니다. 2016년에 주 프로그램의 일환으로 주당 56시간의 간병을 배정받았던 아칸소 주 출신의 뇌성마비 여성 태미 돕스(Tammy Dobbs)는 주정부가 알고리즘에 의존해 간병을 배정하기로 결정한 후 갑자기 32시간만 배정받았습니다(Lecher, 2018). 돕스 씨에 따르면 이 시간은 충분하지 않았고 알고리즘이 어떻게 결정에 도달했는지에 대한 정보도 제공되지 않았습니다(Lecher, 2018). AI는 이러한 결정을 보이지 않게 만들 수 있기 때문에 할당 결정을 복잡하게 만듭니다. 의대생들은 태미 돕스처럼 자동화된 시스템으로 인해 의료 자원에 대한 접근성이 저하될 수 있는 미래의 환자들을 옹호할 수 있도록 AI가 자원 할당과 어떻게 상호 작용하는지에 대한 인식을 가져야 합니다. 
Finally, there is the issue of allocation. The just allocation of resources is an ongoing issue in health care, made more complicated by the advent of health AI. One real-life example involves the allocation of caregiving resources based on an algorithm. In 2016, Tammy Dobbs, a woman from Arkansas with cerebral palsy who was initially allocated 56 h of care per week as part of a state program, was suddenly allotted just 32 h after the state decided to rely on an algorithm to allocate its caregiving (Lecher, 2018). According to Ms. Dobbs, these hours were insufficient, and she was not given any information about how the algorithm reached its decision (Lecher, 2018). AI complicates allocation decisions because it can make these decisions invisible. Medical students must gain an awareness of how AI interfaces with resource allocation so they can advocate for future patients, who, like Tammy Dobbs, may find their access to health care resources undermined by automated systems.

임상 환경에서 의료 AI를 사용하는 것은 이러한 도구의 급여화에 달려 있습니다. 미래의 많은 환자들, 아마도 가장 취약한 환자들은 보험이 적용되지 않는다면 의료 AI 진단 또는 의료 AI 치료 도구에 접근하지 못할 수도 있습니다. 학생들과 함께 논의해야 할 질문은 다음과 같습니다:

• 의료 AI의 맥락에서 정의란 무엇인가?
• 정의를 파괴하지 않고 증진하기 위해 의료 AI를 어떻게 설계하고 사용할 수 있을까요?
• 의사, 의료 보험 회사, 공중 보건 당국은 어떻게 의료 AI의 공정한 배분을 보장할 수 있을까요? 

The use of health AIs in clinical settings also depends on the reimbursement of such tools. Many future patients—perhaps the most vulnerable ones—may not have access to health AI diagnostic or health AI treatment tools if their insurance does not cover them. Questions that should be discussed with students include:

• What is justice in the context of health AI?
• How can health AI be designed and used to promote justice rather than to subvert it?
• How can physicians, health insurance companies, and public health authorities ensure the just allocation of health AI?

결론
Conclusion

의료 시스템의 중요한 미래 이해당사자인 오늘날의 의대생은 환자와의 일상적인 임상적 상호 작용에서, 그리고 의료에 AI를 통합하는 것에 대한 광범위한 정책 논의에서 의료 AI 사용과 관련된 중요한 결정을 내려야 할 것입니다. 최근의 사건들은 의대생들에게 의료 AI 윤리를 가르쳐야 할 필요성을 강조하고 있습니다. 의과대학에서 의료 AI에 대한 윤리적 논의를 시작하여 학생들이 의료 AI의 지속적인 발전에 주의를 기울일 뿐만 아니라, 윤리적 렌즈를 통해 이러한 발전을 이해하고 의료 AI 또는 기타 디지털 의료 기술로 인해 새롭게 제기되는 윤리적 문제를 처리하는 데 필요한 도구를 개발할 수 있도록 장려해야 합니다. 
As important future stakeholders in the health care system, today’s medical students will have to make important decisions related to the use of health AI, both in every day clinical interactions with patients, and in broader policy discussions about the emergent integration of AI into health care. Recent events are highlighting the need to teach health AI ethics to medical students. We must begin the ethical discussion about health AI in medical schools so that students will not only be encouraged to pay attention to the ongoing developments in health AI but also will develop the tools needed to understand these developments through an ethical lens and be able to deal with new emerging ethical issues raised by health AI or other digital health technologies.

이 커리큘럼을 구성하는 윤리적 이슈는 사전 동의, 편견, 안전, 투명성, 환자 개인정보 보호 및 할당입니다. 이러한 문제에 대해 도전적인 질문을 제기하고 사례 연구의 맥락에서 제시할 수 있는 최신 의료 AI 이벤트가 부족하지 않습니다. 의대생은 이러한 문제를 제기하는 실제 사례를 바탕으로 한 사례 연구를 접함으로써 이미 의료 현장에 영향을 미치고 있는 의료 AI의 윤리적 문제를 이해하고 해결할 수 있는 기술을 습득할 수 있습니다.

The ethical issues that should constitute this curriculum are informed consent, bias, safety, transparency, patient privacy, and allocation. There is no shortage of current health AI events that raise challenging questions about these issues, and that can be presented in the context of case studies. With exposure to case studies based on real-life examples that raise these issues, medical students can gain the skills to appreciate and solve the ethical challenges of health AI that are already affecting the practice of medicine.

 

---

Adv Health Sci Educ Theory Pract. 2021 Oct;26(4):1447-1458. doi: 10.1007/s10459-021-10040-3. Epub 2021 Mar 3.

The need for health AI ethics in medical school education

Gali Katznelson 1, Sara Gerke 2

Affiliations

1Schulich School of Medicine and Dentistry, Western University, 1151 Richmond St, London, ON, N6A 5C1, Canada.

2The Petrie-Flom Center for Health Law Policy, Biotechnology, and Bioethics at Harvard Law School, Harvard University, 23 Everett Street, Cambridge, MA, 02138, USA. sgerke@law.harvard.edu.

PMID: 33655433

DOI: 10.1007/s10459-021-10040-3

Abstract

Health Artificial Intelligence (AI) has the potential to improve health care, but at the same time, raises many ethical challenges. Within the field of health AI ethics, the solutions to the questions posed by ethical issues such as informed consent, bias, safety, transparency, patient privacy, and allocation are complex and difficult to navigate. The increasing amount of data, market forces, and changing landscape of health care suggest that medical students may be faced with a workplace in which understanding how to safely and effectively interact with health AIs will be essential. Here we argue that there is a need to teach health AI ethics in medical schools. Real events in health AI already pose ethical challenges to the medical community. We discuss key ethical issues requiring medical school education and suggest that case studies based on recent real-life examples are useful tools to teach the ethical issues raised by health AIs.

Keywords: Artificial intelligence; Curriculum; Ethics; Health; Medical education.

© 2021. The Author(s), under exclusive licence to Springer Nature B.V. part of Springer Nature.