인간과 기계: 임상추론학습의 공생적 접근을 위하여(Med Teach, 2019)

인간과 기계: 임상추론학습의 공생적 접근을 위하여(Med Teach, 2019)

Humans and machines: Moving towards a more symbiotic approach to learning clinical reasoning
Ralph Pinnocka , Jenny McDonaldb , Darren Ritchiec and Steven J. Durningd,e

 

 

 

 

도입

Introduction

 

 

인공지능(AI)은 헬스케어를 비롯한 많은 직업에서 대규모 변화를 가속화할 것이 확실시되는 성장현상이다. 아마도 AI가 의료에 가져올 가장 중요하고 도전적인 변화는 환자를 어떻게 진단하느냐일 것이다(마스터 2019). 
Artificial Intelligence (AI) is a growing phenomenon that is certain to accelerate wide-scale changes in many professions including healthcare. Perhaps the most significant and challenging change that AI will bring to health care is how we diagnose patients (Masters 2019). 

우리는 지금이 [학부 교과과정의 임상 추론에 대한 우리의 가르침에 AI를 어떻게 통합할 것인지] 고려해야 할 때라고 생각한다.

We believe that now is the time to consider how we will incorporate AI into our teaching of clinical reasoning in the undergraduate curriculum.

 

임상추론

Clinical reasoning

임상추론이란 [의사가 특정 상황과 선호도에 기초하여 환자를 진단하고 관리하기 위해 정보를 관찰, 수집 및 분석하는 데 사용하는 인지 과정]이다(Eva et al. 2007; Durning and Artino 2011). 임상 추론을 가르치려는 명시적 시도에는 다음을 포함한다.

• 인지 과정(예: 이중 프로세스 이론)과 이 두 프로세스 각각에 관련된 전략(예: 주요 특징 및 패턴 인식)을 가르치고,
• 이러한 전략의 사용의 유연성을 강조하며,
• 의도적(노력적) 실천의 필요성과 지식 획득 및 지식의 조직화(정보가 실제로 효율적이고 효과적으로 회수될 수 있도록 기억 속에서 서로 얽히거나 엮이는 방법을 참조하는 것)의 중요성을 강조하는 것
• 패턴 인식, 가설 추론 및 메타 인지(자신의 생각을 반영하는 것)은 임상 추론을 이해하는 데 있어 종종 기초적인 것으로 강조되는 임상 추론 전략이다(찰린 외 2007; 리 외 2010; 크로커리 외 2013; 게이 외 2013; 렌치 외 2016). 

Clinical reasoning is the cognitive processes physicians use to observe, collect, and analyse information to diagnose and manage a patient based on their specific circumstances and preferences (Eva et al. 2007; Durning and Artino 2011). Explicit attempts to teach clinical reasoning have included

• teaching both cognitive processes (e.g. dual process theory) and strategies pertaining to each of these two processes (e.g. key features and pattern recognition),
• emphasizing flexibility in use of these strategies,
• the need for deliberate (effortful) practice and stressing the importance of knowledge acquisition and its organization (latter referring to how information is believed to be intertwined or weaved in memory so that it can be efficiently and effectively recalled in practice).
• Pattern recognition, hypothetico-deduction and metacognition (reflecting on one’s thinking) are clinical reasoning strategies that are often emphasized as fundamental to understanding clinical reasoning (Charlin et al. 2007; Lee et al. 2010; Croskerry et al. 2013; Gay et al. 2013; Rencic et al. 2016). 
  
  인공지능

Artificial intelligence

AI라는 용어는 1950년대에 인간 지능과 학습의 측면을 정확하게 기술하여 기계로 시뮬레이션할 수 있도록 하기 위해 만들어졌다. 
The term AI was first coined in the 1950s as the precise description of aspects of human intelligence and learning such that it can be simulated by machines (Shannon and McCarthy 1956). 

수년 동안, AI에 대한 많은 정의가 제안되었다(Russell and Norvig 2009). 한 가지 핵심 쟁점은 인공지능이 의미하는 바를 정의하는 어려움과 관련이 있다. 
Over the years, many definitions of AI have been proposed (Russell and Norvig 2009). One key issue relates to the difficulty of defining what we mean by artificial intelligence. 

우리는 진단 의료 환경에서 AI를 [정확한 임상 진단을 지원하거나 만드는 것을 목표로 하는 모든 계산 과정]으로 정의한다. 따라서 AI는 임상 추론을 모방하는 것을 목표로 하는 유방 촬영의 병변 분류와 같은 특정 인식 작업recognition task을 위한 시스템을 포함할 수 있다. 예를 들어, 열이 있는 어린 아이가 더 사소한 바이러스 감염인지 아니면 생명을 위협하는 심각한 박테리아 감염인지를 진단하는 방법(Liang et al. 2019). 
we define AI in the diagnostic health care context as any computational process that has as its goal supporting or making the correct clinical diagnosis. Thus, AI can include systems for specific recognition tasks such as the classification of lesions in mammograms to more complex problems, which aim to emulate clinical reasoning. For example, howto diagnose whether a young child who presents with fever has a more trivial viral infection or a life-threatening serious bacterial infection (Liang et al. 2019). 


전통적으로 환자의 프레젠테이션 진단은 의사의 배타적 영역이었다. 보다 최근에는 진단 정확도를 높이기 위한 방법으로 환자와 다른 전문 의료진의 진단 프로세스에 대한 기여가 제안되었다(Graber et al., 2012). 
Traditionally, the diagnosis of a patient’s presentation has been the exclusive domain of physicians. More recently, contributions to the diagnostic process from the patient and other professional healthcare staff have been proposed as ways to improve diagnostic accuracy (Graber et al. 2012). 

최근 AI의 발전은 지금과같은 [진단에서의 인간의 배타적 역할]에 도전하고 있다. 따라서 임상 실무에서 임상의는 환자의 프레젠테이션과 관련된 특정 정보를 기기에 제시하거나(Zorc et al. 2019) 환자 기록에서 필요한 정보를 얻고 진단하기 위해 교과서, 데이터베이스 및 합의된 의견으로부터 정보를 사용하도록 기기를 훈련시킬 수 있다(Liang et al. 2019). 
Recent developments in AI are now challenging the exclusive role of humans in diagnosis. Thus, in clinical practice clinicians can present specific information relevant to the patient’s presentation to the machine (Zorc et al. 2019) or the machine can be trained to obtain the necessary information from the patients’ records and use information from textbooks, databases and consensus opinions to diagnose (Liang et al. 2019). 

AI가 빠르게 변화하는 기술이고 앞으로도 변화가 일어날 것이라는 점이 AI를 가르치는 과제 중 하나다.

One of the challenges of teaching AI is that it is a rapidly changing technology and changes will continue to occur. 

 

 

임상 추론을 지원하기 위한 AI의 최근 발전
Recent developments in AI to support clinical reasoning

임상 추론을 모방하려는 초기 [규칙 기반 시도]는 질병 모델이 없는 상태에서 운영되었기 때문에 대부분 실패했다(Szolovits et al., 1988). 나중에, 전문가 시스템은 이 문제를 해결하려고 시도했지만 복잡했고, 개발하는 데 수 년의 전문가 노동력이 걸렸고, 개발된 특정 영역(Lenat 및 Feigenbaum 1991)을 넘어서서 취약했다. 문제 해결에 대한 통계적 접근법(기계 학습이라고도 함)은 세기가 바뀔 무렵에 인기를 얻기 시작했으며, 지난 10여 년 동안 데이터 처리 능력과 스토리지의 발전은 이전에는 상상할 수 없었던 규모(Marcus 2018)에서 데이터를 다루는 방법을 제공하였다. 
Early rule-based attempts to emulate clinical reasoning largely failed because they operated in the absence of models of disease (Szolovits et al. 1988). Later, expert systems attempted to address this but were complex, took years of expert labour to develop and were fragile beyond the specific domains for which they were developed (Lenat and Feigenbaum 1991). Statistical approaches to problem solving (also called machine learning) began to find favour around the turn of the century and in the last decade or so, advances in data processing power and storage have provided a way of dealing with data (for purposes such as clinical reasoning) on a previously inconceivable scale (Marcus 2018). 

AI의 한 분야일 뿐인 머신러닝은 패턴인식을 활용한 영상 차별화를 컴퓨터에 가르칠 수 있게 해 임상 실무에서 상태 진단에 도움을 주는 데 활용되고 있다. 예를 들어, 기계는 흑색종의 초기 단계(Esteva et al. 2017)와 당뇨망막병증의 초기 망막 변화(De Fauw et al. 2018)를 진단하는 데 사용된다. 
Machine learning, which is just one branch of AI, makes it possible to teach computers to differentiate images using pattern recognition and is now being used to help diagnose conditions in clinical practice. For example, machines are used to diagnose early stages of melanoma (Esteva et al. 2017) and early retinal changes of diabetic retinopathy (De Fauw et al. 2018). 

기계 학습은 이미지뿐만 아니라 모든 소스의 데이터를 사용할 수 있습니다. 최근에는 인공신경망(ANN – 대뇌피질의 신경 연결성에 의해 느슨하게 영감을 받는 기계 학습 접근법)이 전자 환자 건강 기록, 진단 테스트 및 영상(Marcus 2018)을 사용하여 복잡한 환자 표시를 해결하기 위해 적용되고 있다. 이러한 네트워크는 자연어 처리를 사용하여 전자 건강 기록에서 환자 프레젠테이션의 세부 정보와 교과서, 데이터베이스 및 합의된 의견에서 가능한 원인 질환의 특징에 모두 액세스하여 특정 임상 조건을 진단하는 데 사용할 수 있다(Lang 등. 2019).
Machine learning can use data from any source, not just images. Recently, artificial neural networks (ANN – a machine learning approach which is loosely inspired by neuronal connectivity in the cerebral cortex) have been applied to solve complex patient presentations using electronic patient health records, diagnostic tests and imaging (Marcus 2018). Using natural language processing these networks can access both details of patients’ presentations from electronic health records and features of possible causative disorders from textbooks, databases and consensus opinions and use them to diagnose specific clinical conditions (Liang et al. 2019).

AI가 임상 실무에서 사용될 수 있는 방법은 무수히 많다. 우리는 의사들이 AI를 그들 자신의 추론을 대체하는 것이 아니라 진단 정확도를 향상시키기 위해 그들의 practice를 향상시키는 것으로 보아야 한다고 제안한다. AI는 의사들에게 환자의 프레젠테이션에 대해 가능한 광범위한 진단을 알리는 의사 결정 지원 도구로 점점 더 많이 사용되고 있다(Graber et al., 2012).

There are numerous ways that AI can be used in clinical practice. We suggest that doctors should view AI as augmenting their practice to improve diagnostic accuracy rather than as a substitution for their own reasoning. AI is increasingly being used as a decision support tool to alert physicians to a wide range of possible diagnoses for a patient’s presentations (Graber et al. 2012).

치료를 위해 환자를 트리아지하는 것도 AI의 또 다른 가능성 있는 역할이다. 교육 초기(일부 국가에서는 임상 전 기간으로 알려져 있음)의 학생과 지속적인 교육에서 의사가 [자신의 진단]을 [기계의 진단]과 비교할 수 있는 교육 보조 역할을 모색하고 있다. 
Triaging patients for treatment is another possible role for AI. Its role as a teaching aid where students early in their training (known as the preclinical period in some countries) and physicians in their continuing education can compare their own diagnosis with that of a machine is being explored. 

훈련 초기 의사에게 AI는 심각한 상태와 덜 심각한 상태를 구별하는 데 도움을 줌으로써 일반적인 프레젠테이션에서 진단을 지원하는 데도 사용될 수 있다. (Lang et al., 2019) 방사선과 의사가 일상적인 흉부 X선 판독 작업에서 벗어나면 중재적 시술에 더 많은 시간을 할애할 수 있다(Annarumma et al. 2019).

For doctors early in their training AI can also be used to support their diagnosis in common presentations by helping differentiate serious from less serious conditions. (Liang et al. 2019). Relieving radiologists from the task of reading routine chest x-rays will allow them more time to spend on interventional procedures (Annarumma et al. 2019).

임상 추론에 필수적인 AI 개념을 가르치기 위한 프레임워크 개념화
Conceptualising a framework to teach essential AI concepts in clinical reasoning

 

교사와 학습자는 임상 추론과 AI 간의 유사점과 특히, AI 개념이 임상 추론 지침에 통합될 수 있는 방법을 알아야 한다. 
teachers and learners should be aware of the parallels between clinical reasoning and AI and, in particular, ways that AI concepts can be incorporated into clinical reasoning instruction. 

기초과학
Basic sciences

기초과학 측면에서 의대생들은 일반적으로 이중처리이론에 노출되며 AI는 인간의 이중처리이론과 광범위하게 관련된다. 
In terms of the basic sciences, medical students are typically exposed to dual process theory and AI broadly relates to dual processes theory in humans. 

의대생들은 이미지 인식을 이용하여 제1종 추론과 비교할 수 있다. 예를 들어, X선에 대한 해석을 기계의 해석과 비교할 수 있습니다. 이것은 학생들에게 기계 학습의 함정을 배울 뿐만 아니라 조기 폐쇄의 편견을 인식시킬 수 있는 기회가 될 것이다. 또한 Isabel과 같은 진단 의사결정 지원 시스템은 보다 복잡한 프레젠테이션에 차등 진단을 제공하는 데 도움이 될 수 있습니다. 그런 다음 학생들은 [기계가 제공하는 감별 진단]과 [II형 사고에서 파생된 자신의 감별 진단]을 비교할 수 있습니다. 

Medical students can use image recognition to compare with their Type I reasoning. For example, they can compare their interpretation of x-rays with those of machines. This would be an opportunity for students to be made aware of the bias of premature closure as well as to learn the pitfalls of machine learning. In addition, diagnostic decision support systems such as Isabel can assist in providing differential diagnoses for more complex presentations. Students can then compare the differential diagnosis provided by the machine with their own differential diagnosis derived from Type II thinking. 

 

정보 수집

Information gathering

의대 학생들이 환자로부터 정보를 수집하고 분석하는 방법은 학부 교육 중에 변화한다고 여겨진다(Pinnock et al., 2019). 임상 추론의 개발 초기 단계에 있는 학생들은 별도의 인지 과정으로서 정보를 수집하고 분석한다. 아마도 그들이 '병증 스크립트'를 다듬었을 때, 그들은 '자발적으로 생각하고' 두 과정을 동시에 수행할 수 있을 것이다(Bowen 2006; Pinnock et al. 2019).).  
How medical students gather and analyse the information from patients is believed to change during their undergraduate training (Pinnock et al. 2019). Students in the early stages of development of clinical reasoning gather and analyse information as separate cognitive processes – it is only towards the end of their training, probably when they have refined their ‘illness scripts’, that they are able ‘think on their feet’ and perform both processes simultaneously (Bowen 2006; Pinnock et al. 2019). 

최근, Maicher 등(Maicher et al., 2017)은 의대생의 정보 수집 능력을 정확하게 평가하기 위해 챗봇을 사용하여 표준화된 환자를 만드는 방법을 기술했다. 이러한 가상 환자는 신중하게 시술할 수 있는 기회를 제공하고 즉각적인 피드백을 제공합니다. 의대생이 수집한 정보의 품질에 대한 평가는 임상 교사의 평가와 유사하지만 저자는 챗봇의 적용이 제한된 영역과 비교적 단순한 맥락으로 제한된다는 것을 인정한다. 마스터스(마스터즈 2019)는 AI가 학생들의 지식 격차를 파악해 대응하고 학생과 교사들에게 피드백을 제공하는 튜터링 시스템을 제공할 것으로 전망하고 있다. 

Recently, Maicher et al. (Maicher et al. 2017) described using a chatbot to create standardised patients in order to accurately assess information-gathering skills of medical students. These virtual patients provide an opportunity for deliberate practice and provide immediate feedback. Their assessments of the quality of information gathered by medical students is comparable to that of their clinical teachers but the authors acknowledge that the application of chatbots are constrained to limited domains and relatively simple contexts. Masters (Masters 2019) predicts that AI will provide tutoring systems that identify and respond to gaps in students’ knowledge and provide feedback to students and teachers. 

의사 결정, 오류 및 편견에 사용되는 데이터
Data used to make decisions, errors and biases

유형 I 및 유형 II 추론을 포함한 [임상 추론의 기초적 과학]을 학습함에 따라, 머신 의사 결정에 기초하는 AI 및 머신 러닝에 대한 광범위한 접근 방식을 소개하고 머신 정확도에 영향을 미치는 요소를 논의할 수 있다. 

• 예를 들어, 특정 컨텍스트에 수집된 데이터를 밀접하게 적합시키는 예측 모델은 해당 컨텍스트에 대해 매우 정확할 수 있지만 새로운 컨텍스트로 전송하지 못할 수 있다(즉, 모델이 특정 상황에 편향되어 있다). 
• 반대로, 특정 컨텍스트에서 합리적인 데이터 근사치를 제공하는 모델은 서로 다른 데이터 세트(즉, 모델의 분산이 더 크다)를 가진 새로운 컨텍스트에서 잘 작동할 수 있다. 

학생들이 임상 실습에서 사용에 대한 모델 적합성을 평가하기 위해 머신 러닝 모델(편향-분산 트레이드오프라고 함)의 편향과 분산을 도입하는 것이 중요할 것이다. 

As students learn the basic science of clinical reasoning, including Type I and Type II reasoning they can be introduced to the broad approaches to AI and machine learning that underlie machine decision-making and discuss factors that affect machine accuracy.

• For example, a predictive model that closely fits data gathered in a specific context may be highly accurate for that context but fail to transfer to new context (i.e. the model is biased towards a specific situation).
• Conversely, a model that provides a reasonable approximation of data in a specific context may work well in new contexts with different data sets (i.e. greater variance in the model).

It will be important that students are introduced to bias and variance in machine learning models (called the bias-variance trade-off) in order to assess model suitability for use in clinical practice. 

감별진단

Differential diagnoses

인간은 고려 중인 잠재적 진단의 수를 제한하는 제한된 인지 능력을 가지고 있지만, 기계는 원칙적으로 무한한 수의 가능한 진단을 관리할 수 있다. 그럼에도 불구하고 기계는 여전히 가장 가능성이 높은 진단을 검색하기 위한 전략이 필요하다. 그것이 패턴 인식을 통해서든, 일종의 프로그래밍된 논리 또는 추론과 진단 모델(예: 임상 가이드라인)을 함께 사용하든, 아니면 둘의 조합을 통해서든. 

While humans have a limited cognitive capacity, which limits the number of potential diagnoses under consideration, a machine can, in principle, manage an infinite number of possible diagnoses. Even so, a machine still needs a strategy to search for the most likely diagnosis, whether that is through pattern recognition, some kind of programmed logic or reasoning together with a diagnostic model (such as a clinical guideline), or a combination of the two. 

환자 중심성 및 커뮤니케이션
Patient centeredness and communication

환자들은 그들의 의사의 진단에 대한 이유를 그들에게 설명받는 것에 익숙하다. 미래 의사의 AI 과제 중 하나는 기계에서 생성된 진단에 어떻게 대처하느냐 하는 것이다. 
Patients are accustomed to having the reasons for their physician’s diagnosis explained to them. One of the challenges with AI for future physicians will be how to address machine generated diagnoses. 

현재로선 의사소통과 공감능력의 발전과 실천이 전적으로 인간의 영역 안에 있다. 그렇긴 하지만, 미래에는 이것이 항상 그런 것은 아닐 수도 있다는 징후가 있다. 인간과 유사한 아바타는 인간과 유사한 감정에 반응하고 표시하도록 훈련될 수 있습니다(예: Soul Machine).TM) 
For now, the development and practice of communicative and empathetic skills is entirely within the domain of humans. Even so, there are signs on the horizon that this may not always be the case. Human-like avatars can be trained to both respond to and display human-like emotions (e.g. Soul MachinesTM) 

 

학생들이 AI에 의한 진단에 대해 알아야 할 것은 무엇인가?
What will students need to know about diagnoses by AI?

학생들은 그들이 사용하고 있는 기계의 리콜(감성 또는 기계가 모든 진정한 양의 일치를 정확하게 식별하는 확률)과 양의 예측 값(기계에 의해 양의 일치로 분류된 결과가 실제로 양의 일치가 될 확률)과 같은 평가 척도를 이해할 필요가 있을 것이다. 그들은 인간과 기계의 진단에 대한 평가자간 조치와 평가 기법을 적용해야 할 것이다. 
students will need to understand evaluative measures such as the recall (sensitivity or the probability that a machine correctly identifies all true positive matches) and positive predictive value (precision or the probability that an outcome categorised by a machine as a positive match really is a positive match) of the machines they are using. They will need to apply inter-rater measures and evaluation techniques of diagnoses from humans and machines. 

머신 러닝 모델은 일반적으로 컨텍스트와 모집단마다 다르다(Marcus 2018). 이 모델은 널리 사용되기 전에 별도의 모집단의 데이터에 대해 훈련되고 검증되어야 한다. 
Machine learning models are typically context and population specific (Marcus 2018). The models will need to trained and validated on data from separate populations before widespread use. 

AI가 의사를 대체할 가능성은 낮다는 점은 인정되지만, 미래의 유능한 주치의는 AI를 활용해 진단과 치료 옵션을 강화할 가능성이 크다(마스터 2019). AI가 어떻게 자신의 장애를 진단하고 관리하는 데 사용되고 있는지를 설명하면서 환자와 더욱 효과적이고 공감적으로 소통하는 것이 미래의 의사들에게 큰 역할을 할 것이다. 
Though it is acknowledged that AI is unlikely to replace physicians, the competent physician of the future will most likely use AI to enhance diagnosis and treatment options (Masters 2019). A major role for physicians of the future will be to communicate more effectively and empathetically with patients as they explain how AI is being used to diagnose and manage their disorders. 

 

결론

Conclusion

AI의 윤리적 난제들이 다뤄져야 할 것이다. 여기에는 적절한 근거에 기초하지 않은 진단 또는 치료에 대한 정보를 사용하고 환자의 프라이버시를 보존하기 위해 환자 기록에서 수집된 방대한 양의 데이터를 관리하는 인간의 편견을 반영하는 알고리듬이 포함된다. 또한 학습자와 교수진에게 새로운 기술을 평가하는 방법과 이러한 기술이 임상 추론 및 기타 주제에 미치는 영향을 가르쳐야 합니다. 의학적이든 의학적이든 전문적 관행의 필수적인 요소는 자신의 결정과 행동을 지속적으로 반성하고 평가할 수 있는 능력이다. 우리 모두가 급변하는 세계와 씨름할 때, 임상 추론을 가르치는 데 AI의 요소를 통합하는 것은 우리 학생들에게 이러한 능력을 장려하고 홍보하는 것과 일치한다.
The ethical challenges of AI will need to be addressed. These include algorithms mirroring human biases, using information on diagnosis or treatment that is not based on adequate evidence and managing the extensive amount of data collected from patient records to preserve patient privacy. Learners and faculty will also need to be taught how to evaluate new technologies and their impact on clinical reasoning and other topics. An essential component of any professional practice, medical or otherwise, is the ability to continuously reflect on and evaluate one’s decisions and actions. As we all grapple with a rapidly changing world, incorporating elements of AI into teaching clinical reasoning is consistent with encouraging and promoting this ability in our students. 




Rencic J, Durning SJ, Holmboe E. Gruppen LD. 2016. Understanding the assessment of clinical reasoning. In: Assessing competence in professional performance across disciplines and professions. Cham: Springer International Publishing; p. 209–235. http://link.springer.com/10.1007/978-3-319-30064-1_11.

 

 

 

 

---

Med Teach. 2020 Mar;42(3):246-251.

 doi: 10.1080/0142159X.2019.1679361. Epub 2019 Oct 28.

Humans and machines: Moving towards a more symbiotic approach to learning clinical reasoning

Ralph Pinnock 1, Jenny McDonald 2, Darren Ritchie 3, Steven J Durning 4 5

Affiliations collapse

Affiliations

• 1Educational Unit, Dunedin School of Medicine, Otago University, Dunedin, New Zealand.
• 2Centre for Learning & Research in Higher Education (CLeaR), University of Auckland, Auckland, New Zealand.
• 3Dunedin School of Medicine, Otago University, Dunedin, New Zealand.
• 4Professor of Medicine and Pathology and Director Graduate Programs in Health Professions Education, Uniformed Services University of the Health Sciences, Bethesda, MD, USA.
• 5Medicine and Pathology, Uniformed Services University of the Health Sciences, Bethesda, MD, USA.

• PMID: 31658842

 

• DOI: 10.1080/0142159X.2019.1679361

Abstract

Artificial intelligence is a growing phenomenon that is driving major changes to how we deliver healthcare. One of its most significant and challenging contributions is likely to be in diagnosis. Artificial intelligence is challenging the physician's exclusive role in diagnosis and in some areas, its diagnostic accuracy exceeds that of humans. We argue that we urgently need to consider how we will incorporate AI into our teaching of clinical reasoning in the undergraduate curriculum; students need to successfully navigate the benefits and potential issues of new and developing approaches to AI in clinical diagnosis. We offer a pedagogical framework for this challenging change to our curriculum.