보건의료전문직이 인공지능-기반 도구를 사용하기 위한 역량(Acad Med, 2023)

보건의료전문직이 인공지능-기반 도구를 사용하기 위한 역량(Acad Med, 2023)
Competencies for the Use of Artificial Intelligence–Based Tools by Health Care Professionals
Regina G. Russell, PhD, MA, MEd, Laurie Lovett Novak, PhD, Mehool Patel, MD, Kim V. Garvey, PhD, MS, MLIS, Kelly Jean Thomas Craig, PhD, Gretchen P. Jackson, MD, PhD, Don Moore, PhD, and Bonnie M. Miller, MD, MMHC 

 

인공 지능(AI)은 머신 러닝, 딥 러닝, 자연어 처리, 신경망을 활용하는 알고리즘을 포함하여 인간의 지능을 모방하는 컴퓨터 과학 기술을 말합니다. 의료 분야에서 AI 알고리즘은 이해할 수 없을 정도로 크고 복잡한 데이터 세트를 임상적 결정을 내릴 수 있는 정보로 변환할 수 있습니다. 1 이러한 기술은 점점 더 정교해지고 있으며, 위험 점수, 이미지 해석, 의료 기록 요약과 같이 AI로 생성된 결과물은 이미 환자 치료에 직접적인 영향을 미치는 데 사용되고 있습니다. 2,3 AI 기반 도구에는 이러한 유형의 계산 기술을 운영 체제에 통합하는 모든 기기와 소프트웨어가 포함됩니다.  
Artificial intelligence (AI) refers to computer science techniques that mimic human intelligence, including algorithms that leverage machine learning, deep learning, natural language processing, and neural networks. In health care, AI algorithms can transform incomprehensibly large and complex data sets into information that can guide clinical decisions. 1 These technologies have become increasingly sophisticated, and AI-generated outputs, such as risk scores, image interpretation, and health record summarization, are already being used to directly influence patient care. 2,3 AI-based tools include all instruments and software that incorporate these types of computational technologies into their operating systems.

의료 서비스에서 AI 기반 도구를 구현하면서 도구 개발의 편향성, 후속 건강 개선의 분배 정의 등 다양한 실용적, 윤리적 문제가 제기되고 있습니다. 4-7 이러한 도구의 도입이 증가함에 따라 임상의는 이러한 도구의 유익한 효과와 해로운 효과를 모두 경험하게 될 것이며, 따라서 AI의 영향을 받는 의료 환경에서 효과적이고 효율적이며 안전하며 공평하게 진료하기 위한 기본 역량을 습득해야 합니다. 그러나 이러한 역량의 성격은 아직 명확히 밝혀지지 않았습니다.
The implementation of AI-based tools in health care has given rise to a variety of practical and ethical concerns, including bias in tool development and justice in the distribution of subsequent health improvements. 4–7 As adoption increases, clinicians will encounter both beneficial and harmful effects of these tools and will therefore need to acquire baseline competencies for practicing effectively, efficiently, safely, and equitably in AI-influenced health care environments. However, the nature of such competencies has not yet been articulated.

6개 의과대학에서 제공하는 프로그램을 검토한 Paranjape 등 8은 고급 수학, 의료 데이터 세트, AI 기반 도구의 임상 적용 등 다양한 AI 관련 주제를 다루는 학습 활동을 설명했습니다. Lee 등 9은 학부 의과 교육에서 AI에 대한 범위 검토를 수행하여 명확한 학문적 구조와 특정 역량이 필요하다는 결론을 내렸습니다. 최근 논평에서 Garvey 등10은 임상 현장에서 새로운 AI 기반 도구를 테스트하고 구현할 때 구조화된 학습 프로그램이 거의 수반되지 않는다고 지적하며 역량에 대한 요구를 반영했습니다. 임상 정보학에 대한 역량이 발표되었지만,11 AI 기반 도구의 계산 복잡성과 진료 및 결과에 대한 잠재적 영향력을 고려할 때 안전하고 윤리적인 배포를 보장하기 위한 구체적인 역량이 필요합니다. 
In a review of programs offered at 6 medical schools, Paranjape et al 8 described learning activities that covered a range of AI-related topics, including advanced mathematics, health care data sets, and clinical applications of AI-based tools. Lee et al 9 conducted a scoping review of AI in undergraduate medical education and concluded that a clear academic structure and specified competencies were needed. In a recent commentary, Garvey et al 10 noted that structured learning programs rarely accompanied the testing and implementation of new AI-based tools in clinical workplaces and they echoed the call for competencies. Although competencies have been published for clinical informatics, 11 the computational complexity of AI-based tools and their potential influence on practice and outcomes necessitate specific competencies aimed at ensuring safe and ethical deployment.

역량 기반 교육은 이 연구를 위한 개념적 틀을 제공합니다. 12-14 역량 기반 교육의 기본 가정은 특정 지식, 기술 및 태도(역량)가 전문직 실무에 필요하며 이러한 역량 기대치는 전문직 환경의 핵심 측면을 분석하여 학습자를 위해 개발될 수 있다는 것입니다. 기대치가 정의되면 학습자는 개별화된 학습 경로를 따라 해당 역량을 습득할 수 있습니다. 12-14 본 연구의 목표는

• (1) 의료 전문가를 위한 AI 관련 임상 역량을 정의하고,
• (2) 향후 의료 AI 기술의 사용과 감독 및 관리에 필요한 조직의 책임을 탐구하는 것입니다.

Competency-based education provides a conceptual framework for this study. 12–14 The basic assumption of competency-based education is that specific knowledge, skills, and attitudes (competencies) are necessary for professional practice and that these competency expectations can be developed for learners by analyzing core aspects of their professional environments. Once expectations are defined, learners can acquire the competencies along individualized learning pathways. 12–14 Our study’s goals were

• (1) to define AI-related clinical competencies for health care professionals and
• (2) to explore future uses of health care AI technologies and the organizational responsibilities required for oversight and management.

방법
Method

2020년 12월부터 2021년 7월까지 의료 전문가가 AI 기반 도구를 효과적으로 사용하는 데 필요한 역량에 대해 주제별 전문가(SME)를 인터뷰하는 정성적 연구를 수행했습니다. 15-19그림 1은 연구 프로세스를 간략하게 보여줍니다.
From December 2020 through July 2021, we conducted a qualitative study in which we interviewed subject matter experts (SMEs) about the competencies health care professionals need to work effectively with AI-based tools. 15–19Figure 1 outlines the study process.

다학제 연구팀은 밴더빌트 대학교 의과대학의 교수진 5명(R.G.R., L.L.N., K.V.G., D.M., B.M.M.)과 AI 관련 연구 및 분석에 전문성을 갖춘 IBM 왓슨 헬스의 직원 3명(M.P., K.J.T.C., G.P.J.)으로 구성되었습니다. 이 팀에는 의사 3명(M.P., G.P.J., B.M.M.), 의료 AI 전문 인류학자(L.L.N.), 기술 업계 과학 책임자이자 전 의학교육자(K.J.T.C.), 교육 기술 전문가(K.V.G.), 직장 및 역량 기반 학습에 전문성을 갖춘 의학교육 학자 2명(D.M. 및 R.G.R.)이 포함되었습니다. 과도한 영향을 피하기 위해 IBM 왓슨 헬스의 팀원은 인터뷰에 참여하지 않았습니다. 두 연구팀은 연구의 다른 모든 측면에 대해 협력했습니다. 밴더빌트 대학교 기관윤리심의위원회는 이 프로젝트가 최소한의 위험을 초래한다고 판단하여 면제 대상으로 지정했습니다. 
The multidisciplinary research team consisted of 5 faculty members (R.G.R., L.L.N., K.V.G., D.M., and B.M.M.) from Vanderbilt University School of Medicine and 3 members (M.P., K.J.T.C., and G.P.J.) from IBM Watson Health who have expertise in AI-related research and analytics. The team included 3 physicians (M.P., G.P.J., and B.M.M.), an anthropologist specializing in health care AI (L.L.N.), a science officer in the technology industry and former medical educator (K.J.T.C.), a specialist in educational technology (K.V.G.), and 2 medical education scholars with expertise in workplace and competency-based learning (D.M. and R.G.R.). To avoid undue influence, team members from IBM Watson Health did not participate in the interviews. The combined team collaborated on all other aspects of the study. The Vanderbilt University Institutional Review Board determined that the project posed minimal risk and designated it exempt.

참여자
Participants

문헌 검토, 전문가 접촉, 눈덩이 기법(참가자에게 다른 내용전문가(SME)을 추천하도록 요청)을 통해 의료 환경에서 AI 기반 도구를 사용하는 내용전문가(SME)을 파악하고 이 연구에 참여하도록 초대했습니다. 19 연구에 참여하려면 미국 보건 전문직 교육 또는 보건 정보학 분야에서 일해야 했습니다. 이러한 의도적인 표본 추출 과정을 통해 다양한 직업을 대표할 수 있도록 했으며 윤리 및 형평성에 대한 특별한 전문성을 가진 사람들을 포함했습니다. 내용전문가(SME)은 연구 참여에 대한 사례금을 받았습니다. 
We identified SMEs in the use of AI-based tools in health care settings through literature review, professional contacts, and snowball techniques (asking participants to recommend other SMEs) and invited them to participate in this study. 19 To be eligible for the study, individuals needed to work in U.S. health professions education or health informatics. This purposive sampling process ensured representation from multiple professions and included those with special expertise in ethics and equity. The SMEs received an honorarium for their participation in the study.

데이터 수집
Data collection

반구조화된 인터뷰가 데이터의 주요 원천이었지만, 인구통계학적 설문지와 역량 초안에 대한 피드백을 요청하는 양식에서도 데이터를 수집했습니다. 저자들의 사전 논평에서 확인된 내용은 인터뷰 가이드 개발에 도움이 되었습니다. 10 반구조화된 인터뷰 프로토콜에는 연구 목표에 대한 설명이 포함된 소개 스크립트와 인터뷰에 대한 공유된 이해를 확립하기 위한 의료 분야에서의 AI에 대한 실무적 정의가 포함되었습니다. 인터뷰는 "의료 전문가가 임상 치료에서 AI 기반 도구를 사용하려면 어떤 역량이 필요한가?"라는 질문에 답하기 위해 설계되었습니다. 또한 인터뷰에서는 의료 AI 기술의 향후 활용과 이에 대한 조직의 감독 및 관리 책임에 대해서도 논의했습니다. 질문의 질과 유용성을 평가하기 위해 두 차례의 파일럿 인터뷰가 실시되었습니다. 초기 인터뷰에 대한 팀의 검토를 거쳐 다양성, 포용성, 건강 형평성과 관련된 질문이 추가되었습니다. 15번의 인터뷰 끝에 데이터 포화, 즉 내용전문가(SME)이 공유하는 아이디어의 반복에 도달했습니다. 20 최종 인터뷰 가이드는 부록 디지털 부록 1에서 확인할 수 있습니다.
Semistructured interviews were the primary source of data, although we also collected data from a demographic questionnaire and a form that solicited feedback on drafts of the competencies. Articles identified from the authors’ prior commentary informed development of the interview guide. 10 The semistructured interview protocol included an introductory script with a description of the study objectives and a working definition of AI in health care that was intended to establish a shared understanding for the interviews. Interviews were designed to answer the question, “What competencies do health care professionals need for use of AI-based tools in clinical care?” Interviews also explored future uses of health care AI technologies and organizational responsibilities for their oversight and management. Two pilot interviews were conducted to assess quality and utility of the questions. After team reflection on the initial interviews, questions were added related to diversity, inclusion, and health equity. Data saturation, or repetition of the ideas being shared by the SMEs, was reached after 15 interviews. 20 The final interview guide is available in Supplemental Digital Appendix 1 (at https://links.lww.com/ACADMED/B334).

인터뷰는 2021년 1월부터 4월까지 화상회의를 통해 진행되었으며, 참가자의 동의를 얻어 오디오를 녹음하고 필사했습니다. 인터뷰는 45분에서 60분 사이에 진행되었습니다. 인터뷰는 밴더빌트 대학교 의과 대학 팀원들이 가용성에 따라 분산되어 진행되었으며, 각 팀당 1명이 주 인터뷰어로 지정되었습니다. 보조 면접관은 일관성을 보장하기 위해 1명을 제외한 모든 면접에 참여했으며 선택한 지점에서 후속 질문을 던졌습니다. 일관성을 유지하기 위해 연구팀 전체가 매주 만나 인터뷰 내용을 보고하고, 녹취록을 검토하고, 인터뷰 가이드를 수정했습니다.
Interviews were conducted via videoconference between January and April 2021, audio-recorded with consent of the participants, and transcribed. The interviews lasted between 45 and 60 minutes. Interviews were distributed across Vanderbilt University School of Medicine team members based on availability, with 1 person designated as the primary interviewer for each. A secondary interviewer participated in all but 1 interview to ensure consistency and pose follow-up questions at selected points. To further ensure consistency, the entire research team met weekly to debrief interviews, review transcripts, and refine the interview guide.

내용전문가(SME)은 인터뷰 후 학위, 직책, 직업, 전문 분야, 나이, 경력 연수, 성별, 인종 또는 민족 등의 인구통계학적 요소를 제공했습니다. 2021년 7월, 내용전문가(SME)은 각 역량 및 하위 역량 초안의 구체적인 문구가 포함된 양식을 받았습니다. 응답자들은 각각에 대해 공개 텍스트 의견과 편집 제안을 제공하도록 요청받았으며 요약 의견을 제공할 기회를 가졌습니다. 인구통계학적 설문지와 역량 피드백 양식은 안전한 온라인 데이터 수집 도구인 REDCap(Research Electronic Data Capture)을 통해 관리되었습니다. 21 
The SMEs provided the following demographic elements after the interview: degree(s), title(s), profession, fields of expertise, age, years of professional experience, gender, and race or ethnicity. In July 2021, the SMEs received a form that contained the specific wording of each draft competency and subcompetency. Respondents were asked to provide open text comments and editorial suggestions on each and had the opportunity to provide summary comments. The demographic questionnaire and competency feedback form were administered through REDCap (Research Electronic Data Capture), a secure online data-capturing tool. 21

데이터 관리 및 분석
Data management and analysis

인터뷰 녹취록은 정성적 데이터 분석 도구인 Dedoose로 가져오기 전에 비식별화되었습니다. 22 코딩은 연구팀 전체에 분산되어 2명의 연구원이 각 인터뷰마다 코딩을 담당했습니다. 코딩에는 녹취록에서 텍스트 섹션을 발췌하고 각 발췌에 1개 이상의 코드를 할당하는 작업이 포함되었습니다. 연구팀은 연역적 코딩과 귀납적 코딩 방법을 모두 사용했습니다. 23

• 연역적 코딩에서는 의료 전문직 전반의 영역을 통합한 기존 역량 분류법을 적용했습니다. 24
• 귀납적 코딩에서는 선험적 코딩 체계 없이 데이터를 검토하여 기존 프레임워크에 포함되지 않은 새로운 아이디어를 식별할 수 있었습니다.

이전에 개발된 역량 프레임워크를 사용하면 코더 간 개념의 초기 조율을 지원하는 한편, 개방형 코딩의 유연성을 통해 예상치 못한 인사이트를 발견할 수 있었습니다.
Interview transcripts were deidentified before importing into the qualitative data analysis tool Dedoose. 22 Coding was distributed across the research team, with 2 members coding each interview. This coding involved excerpting sections of text from transcripts and assigning 1 or more codes to each excerpt. The team used both deductive and inductive coding methods. 23 

• In deductive coding, an existing competency taxonomy that integrated domains across health professions was applied. 24 
• In inductive coding, data were reviewed without an a priori coding scheme, allowing identification of new ideas not included in existing frameworks.

The use of a previously developed competency framework supported initial alignment of concepts across coders, whereas the flexibility of open coding allowed discovery of unexpected insights.

주제별 분석은 코딩 과정에서 떠오른 아이디어를 탐색하고 요약하는 데 사용되었습니다. 15,19,23 코딩된 데이터에 대한 반복적인 팀 토론을 통해 6개의 광범위한 개념적 주제가 확인되었습니다. 이러한 주제는 인터뷰 전반에 걸쳐 반복적으로 나타났으며, 15개의 녹취록을 분석한 결과 귀납적 주제 포화도에 도달했습니다. 20,25
Thematic analysis was used to explore and summarize ideas that surfaced during the coding process. 15,19,23 Six broad conceptual themes were identified through iterative team discussion of the coded data. These themes appeared repeatedly throughout interviews, and after analysis of 15 transcripts, inductive thematic saturation was reached. 20,25

전문 분야에 따라 각 개념적 주제에 1명의 연구원이 배정되어 역량 진술로 번역했습니다. 연구자들은 주제에 매핑된 발췌문을 사용하여 향후 커리큘럼 개발에 필요한 구체성을 제공하는 하위 역량도 만들었습니다. 두 번째 팀원이 각 초안을 검토하고 수정 사항을 제안하도록 배정되었습니다. 그런 다음 팀 전체가 작성된 목록을 검토하고 유사한 하위 역량을 중복 제거하고 합의에 도달할 때까지 문구와 프레임워크를 반복적으로 수정했습니다. 이 합의 문서는 후속 양식을 작성하는 데 사용되었으며, 역량 진술에 대한 피드백을 요청하기 위해 내용전문가(SME)에 이메일을 통해 배포되었습니다.
On the basis of areas of expertise, 1 researcher was assigned to each conceptual theme for translation into competency statements. Using excerpts that mapped to the themes, researchers also created subcompetencies, which provided the specificity needed for future curriculum development. A second team member was assigned to review each draft and suggest revisions. The entire team then reviewed the compiled list, deduplicated similar subcompetencies, and iterated the wording and framework until consensus was reached. This consensus document was used to construct the follow-up form, which was distributed via email to the SMEs to solicit feedback on competency statements.

내용전문가(SME)의 피드백을 수집한 후, 각 역량과 그 하위 역량에 대해 1차 및 2차 검토자가 배정되었습니다. 1차 검토자는 제출된 답변을 변경 없음, 문구 수정, 삭제 또는 새로운 하위 역량 추가 등의 루브릭을 사용하여 코드화했습니다. 그런 다음 1차 검토자는 코드화된 답변을 사용하여 필요에 따라 진술을 수정했습니다. 2차 검토자는 성문화된 내용을 확인하고 수정된 내용이 정확하고 완전한지 평가했습니다. 수정된 역량 목록은 전체 연구팀의 합의 프로세스를 통해 검토 및 최종 확정되었습니다.
After collection of feedback from the SMEs, primary and secondary reviewers were assigned to each competency and its subcompetencies. The primary reviewer codified the submitted responses using the following rubric: no change, edit wording, delete, or add new subcompetency. The primary reviewer then used the codified responses to revise statements as needed. The secondary reviewer confirmed codification and evaluated the revisions for accuracy and completeness. The revised competency list was reviewed and finalized using a consensus process across the combined research team.

매주 회의를 통해 팀원들의 다양한 관점과 경력 경험이 데이터 해석에 미치는 영향에 대한 지속적인 성찰을 장려했습니다. 성적표 코딩, 성명서 작성, 내용전문가(SME) 피드백을 통한 수정 작업을 함께 진행함으로써 팀 내 참여가 더욱 활발해져 요약 결과의 신뢰도가 높아졌습니다. 25
Weekly meetings encouraged ongoing reflection on the impact of team members’ diverse perspectives and career experiences on data interpretation. Mixed pairings for transcript coding, statement writing, and revisions from the SME feedback encouraged deeper engagement within the team, increasing the credibility of the summary findings. 25

결과
Results

남성 10명, 여성 5명을 포함하여 15명의 내용전문가(SME)을 인터뷰했습니다. 내용전문가(SME)의 연령은 34세부터 73세까지 다양했으며, 3명은 소수 인종 또는 소수 민족 출신이었습니다. 내용전문가(SME)을 대표하는 임상 전문직은 의학(n = 9), 간호(n = 2), 약학(n = 1, 표 1) 등이었습니다. 비임상 학자 3명은 윤리(n = 1), 비즈니스 및 교육(n = 1), 사회 의학(n = 1)에 대한 전문성을 추가했습니다. 여러 역할을 맡고 있다고 답한 내용전문가(SME)이 많았지만,

• 주로 의료 AI, 생의학 정보학 및/또는 직장에서의 AI의 윤리적 적용에 대한 전문성으로 11명이 선정되었고,
• 의료 전문직 교육에 대한 전문성으로 2명이,
• 의료 전문직 교육과 의료 AI에 대한 이중 전문성으로 2명이 선정되었습니다.

Fifteen SMEs were interviewed, including 10 men and 5 women. The SMEs ranged in age from 34 to 73 years, and 3 were from racial or ethnic minority groups. Clinical professions represented by the SMEs included medicine (n = 9), nursing (n = 2), and pharmacy (n = 1; Table 1). Three additional nonclinical scholars added expertise in ethics (n = 1), business and education (n = 1), and social medicine (n = 1). Although many SMEs reported multiple roles,

• 11 were selected primarily for their expertise in health care AI, biomedical informatics, and/or the ethical application of AI in the workplace;
• 2 for their expertise in health professions education; and
• 2 because of dual expertise in health professions education and health care AI.

주요 주제 및 선정 의견
Key themes and selected comments

연구원들은 코딩된 발췌문을 반복적으로 분석하여 6개의 개념적 주제를 식별했습니다. 이러한 주제는 초기 전문가 간 역량 프레임워크에 의해 연역적으로 형성되었으며, 연구팀의 다양한 전문성을 반영한 오픈 코딩을 통해 귀납적으로 형성되었습니다. 주제와 대표 의견은 아래에 요약되어 있습니다. 의견은 길이와 명확성을 위해 최소한의 편집을 거쳤습니다. 
Researchers identified 6 conceptual themes based on iterative analysis of coded excerpts. These themes were shaped deductively by the initial interprofessional competency framework as well as inductively by open coding, which reflected the diverse expertise of the research team. Themes and representative comments are outlined below. Comments have been minimally edited for length and clarity.

기초 지식의 필요성.
The need for foundational knowledge.

내용전문가(SME)들은 임상 치료에 활용되는 AI 도구의 유형, 목적, 데이터의 품질, 관련 분야의 개발 기여도에 대한 기초 지식이 필요하다고 설명했습니다. 내용전문가(SME)들은 임상의가 이러한 분야의 전문가가 될 필요는 없지만 일반적인 정보학 역량과 데이터 입력, 생성된 출력, 알고리즘의 특성 등 AI의 구성 요소에 대한 높은 수준의 이해가 있어야 한다고 강조했습니다.
The SMEs described a need for foundational knowledge about the types of AI tools deployed in clinical care, their purposes, the qualities of data, and the contributions of related fields to their development. The SMEs stressed that clinicians need not become experts in any of these disciplines but instead should gain general informatics competency and a high-level understanding of the components of AI, including data inputs, generated outputs, and the nature of algorithms.

모든 의료 전문가를 위한 기본적인 정보학 역량 교육부터 시작해야 합니다. 어떤 기술을 사용하고 있나요? 어떻게 효율적으로 사용하나요? 데이터란 무엇인가요? 데이터를 어떻게 수집하나요? 왜 정확한 데이터가 필요한가?... 그런 다음 다음과 같은 더 복잡한 내용으로 넘어갑니다: AI란 무엇인가요? (내용전문가(SME) 4)
You have to start with fundamental informatics competency education for all our health professionals. What are the technologies you use? How do you use them efficiently? What’s data? How do you collect data? Why do we need accurate data?… Then, we move up to more complex stuff like: What is AI? (SME 4)

어떤 사람들은 이것을 새로운 형태의 문해력이라고 설명합니다.
Some described this as a new form of literacy.

더 많은 의료 서비스가 기술을 통해 제공될 수밖에 없기 때문에, 그 편안함, 그것은 수리력도 아니고 문해력도 아닙니다. 기술 리터러시와 같은 것이죠. (내용전문가(SME) 3)
We have no choice that more health care is going to be funneled through technology, so that comfort, it’s not quite numeracy and it’s not quite literacy. It’s like tech literacy. (SME 3)

내용전문가(SME)들은 또한 특정 도구를 특정 환자 또는 환자 집단에 안전하게 적용하기 위해서는 해당 도구에 대해 "알아야 할 것을 알아야 한다"고 설명했습니다.
The SMEs also described a need to “know what you need to know” about a specific tool to safely apply it to any given patient or population of patients.

우리는 약리학에 대해 충분히 배워서 누군가 와서 "이 마법의 콩이 있어요"라고 말하면 "그래요, 약리학을 해봤어요. 어떻게 작용하죠?" 그러면 그들은 "그냥 마술이에요."라고 대답할 것입니다. 환자에게 마법의 콩을 주기 전에 그 마법에 대해 조금 더 알고 싶을 것입니다. AI는 사람들에게 판매되는 방식이 마법의 콩과 비슷하기 때문에 우리 모두가 올바른 질문을 할 수 있기를 바랍니다. 그 뒤에 있는 기술은 무엇인가요? 어떻게 테스트되었나요? 외부 검증을 거쳤나요? 어떤 종류의 데이터 세트인가요? (내용전문가(SME) 6)
We learn enough about pharmacology that if someone came in and said, “I have these magic beans” and you said “Okay, I’ve had pharmacology. How do they work?” And they said “Well, it’s just magic.” You’d probably want to know a little more about the magic before you would give it to your patients. AI is kind of like magic beans the way it gets sold to people, and I want all of us to be able to ask the right questions. What’s the technology behind it? How has it been tested? Did you do external validation? What kind of data sets? (SME 6)

마지막으로, 내용전문가(SME)들은 일부 기초 지식은 기존 교육 과정에서 이미 다루어졌을 수 있지만 AI의 맥락에서 명시적으로 적용해야 할 필요가 있다는 점을 인정했습니다.
Finally, the SMEs acknowledged that some foundational knowledge may already be covered in existing courses but would need to be applied explicitly in the context of AI.

이 부분은 이미 어느 정도 교육을 받고 있다고 생각합니다. 민감도, 특이성, 정확도 측정에 대한 기본적인 개념만 "AI가 모든 것을 해결해 줄 거야"라고 말하는 경향이 있기 때문입니다. 하지만 완벽한 방법은 없습니다. (내용전문가(SME) 14)
This is something I think they already get some training on. Just the basic notion of sensitivity, specificity, the accuracy measures because there’s a tendency to say, “Ooh, you know, AI is going to solve everything.” But no particular method is perfect. (SME 14)

윤리적, 법적, 규제적, 사회적, 경제적, 정치적 문제.
Ethical, legal, regulatory, social, economic, and political issues.

많은 내용전문가(SME)은 공정성을 보장하기 위한 신중한 조치 없이 AI 기반 도구가 구현될 경우 건강 불평등을 악화시킬 가능성에 대해 논의했습니다. 잠재적인 부정적 결과에 대해 충분한 주의를 기울이기 전에 형사 사법, 교육, 주택 분야에 AI 기반 기술이 도입되었을 때 발생하는 문제점을 언급하기도 했습니다. 이러한 우려를 바탕으로 내용전문가(SME)은 모든 임상의가 AI 기반 도구가 건강 격차와 의료 격차를 좁힐지 넓힐지를 결정할 사회적, 윤리적, 법적, 규제적 문제를 이해해야 한다고 설명했습니다. 
Many of the SMEs discussed the potential for AI-based tools to worsen health inequities if implemented without deliberate action to ensure fairness. Several cited problems occurred when AI-based technologies were implemented in criminal justice, education, and housing before sufficient attention was given to potential negative consequences. On the basis of these concerns, the SMEs described a need for all clinicians to understand the social, ethical, legal, and regulatory issues that will determine whether AI-based tools will narrow or widen health disparities and health care gaps.

우리는 형사 사법, 교육, 주택 등 다양한 분야에서 인공지능이 형평성과 포용성을 무시할 때 어떤 일이 벌어지는지 보아왔습니다. 우리는 이러한 분야에서 인공지능을 사용해서는 안 되며, 의료 분야에서도 인공지능을 사용해서는 안 됩니다. (내용전문가(SME) 15) 
We have seen what AI does when it ignores equity and inclusion in criminal justice, in education, in housing, in you name it. We should not have done it in those fields, and we certainly cannot do it in health care. (SME 15)

내용전문가(SME)들은 이해도를 넘어 임상의가 AI 도구의 윤리적 배포와 적절한 평가를 보장하기 위해 개인적이고 공동의 책임감을 개발해야 할 필요성을 설명했습니다. 
Beyond understanding, the SMEs described a need for clinicians to develop a sense of personal and shared responsibility for ensuring ethical deployment and appropriate evaluation of AI tools.

많은 임상의가 "나에게는 책임이 있고 그 책임의 일부는 목소리를 내는 것입니다. 저는 이 문제에 대해 방관자가 되지 않을 것입니다." 라고 말하기보다는 시스템이 저절로 작동하도록 내버려 둡니다.  (내용전문가(SME) 15) 
Many clinicians allow the system to run itself rather than saying, “I have a responsibility and part of that is to speak up. I’m not going to be a bystander on this one.” (SME 15)

내용전문가(SME)들은 AI 기반 도구가 제공하는 지원과 관계없이 임상의가 환자 치료의 모든 측면과 임상 결과에 대한 일차적인 전문적, 법적 책임을 여전히 져야 한다고 한목소리로 말했습니다. 
The SMEs uniformly stated that clinicians should still hold primary professional and legal responsibility for all aspects of patient care and for clinical outcomes, regardless of the support provided by AI-based tools.

학생들에게 필요한 윤리적 부분은 의사가 그 과정에서 전문적인 의무를 포기하지 않는다는 개념이라고 생각합니다. (내용전문가(SME) 10) 
I think the ethical piece that the students would need is this notion of the physician not abdicating their professional duty in the process. (SME 10)

몇몇은 형평성과 격차 악화 가능성에 대한 우려를 신랄하게 표현하고 공평한 배치를 방해할 수 있는 정치적, 구조적 요인에 대해 설명했습니다. 
Several expressed concerns for equity and the potential for worsening disparities in poignant terms and described the political and structural factors that could impede equitable deployment.

그렇다면 기술에 접근할 수 없거나 교육, 언어 또는 기타 장벽으로 인해 뒤처진 사람들은 어떤 상황에 놓이게 될까요? AI 혁명은 그 범주에 속하는 사람들을 어디에 남겨둘까요? 그리고 환급 구조와 전체 시스템 측면에서 의료 서비스 모델은 어디에서 장애를 일으키기 시작할까요? AI가 본질적으로 격차를 줄이는 데 도움이 되기보다는 오히려 악화시킬 수 있는 부분은 어디일까요? 저는 그것이 앞으로 문제가 될 수 있다고 생각하기 때문입니다. (내용전문가(SME) 14)  
So where does it leave those who don’t have access to technology or who are left behind because of educational, language, or other barriers? Where does an AI revolution leave people who fall in that bucket? And where does the health care model start to impede, in terms of the way reimbursements are structured, the entire system? Where might it introduce gaps that AI essentially exacerbates rather than helps close? Because I can see that being a problem down the line. (SME 14)

임상의의 역할과 책임, 그리고 임상 진료의 본질.
Clinician roles and responsibilities and the nature of the clinical encounter.

내용전문가(SME)들은 AI 기반 도구의 큰 잠재력은 임상의가 다양한 소스에서 파생된 방대한 양의 데이터를 관리할 수 있도록 지원함으로써 임상 진료를 개선하는 데 있다는 데 동의했습니다. 
The SMEs agreed that the great promise of AI-based tools is to improve clinical care by helping clinicians manage massive amounts of data derived from diverse sources.

과거 데이터, 현재 데이터. 환자의 환경에서 무슨 일이 일어나고 있는지 진료 시점에 이 모든 것을 종합하려고 합니다....... 증상. 치료법. 우리를 돕기 위해 이러한 도구가 필요합니다. 우리의 마음은 무한하지 않습니다. 우리는 산만합니다. 우리는 피곤합니다. 우리는 무슨 일이 일어나고 있는지 따라잡을 수 없습니다. 올바른 결정을 내리는 데 도움을 줄 수 있는 도구가 필요합니다. (내용전문가(SME) 4) 
Historic data, current data. Trying to piece all that together at the point of care with whatever’s going on in the environment of the patient…. The symptomatology. Their treatment. We need these tools to help us. Our minds are not infinite. We are distracted. We get tired. We can’t keep up with what’s going on. We need these tools to be able to provide us the support to help make good decisions. (SME 4)

내용전문가(SME)들은 AI 기반 도구의 결과물이 임상적 의사 결정을 보강하고 지원하는 데 사용되어야 하며, 임상의가 개별 환자를 돌볼 때 이러한 결과물을 적용하는 데 판단력을 발휘해야 하며, 이상적으로는 공유 의사 결정 모델을 사용해야 한다고 강조했습니다. 
The SMEs stressed that the outputs of AI-based tools should be used to augment and support clinical decision-making and that clinicians should exercise judgment in applying those outputs in caring for individual patients, ideally using shared decision-making models.

르네 라넥은 튜브를 통해 들을 수 있는 청진기를 사용하면 더 잘 들을 수 있다는 사실을 발견했고, 이는 결국 현대 청진기로 발전했습니다. 마찬가지로 AI 도구는 진단 또는 치료 능력을 향상시키는 청진기처럼 보아야 하며, 귀를 대체해서는 안 됩니다. (내용전문가(SME) 7) 
René Laënnec discovered that you could hear better with a tube you could listen through that was eventually refined to the modern stethoscope. Similarly, AI tools should be viewed like a stethoscope that increases your diagnostic or therapeutic ability but shouldn’t replace what goes on between your ears. (SME 7)

의사의 역할은 해당 지침이나 프레젠테이션을 환자의 맥락에서 해석한 다음 공유된 의사 결정 프로세스를 통해 환자가 현재 처한 상황에서 환자의 요구를 가장 잘 충족할 수 있는 치료 계획을 생성하는 것이며, 일부 상충 관계가 있을 수 있음을 이해해야 합니다. (내용전문가(SME) 2) 
The physician’s job is to interpret that guideline or presentation in the context of their patient and then through a shared decision-making process generate a care plan that’s going to best meet the needs of the patient where they are at that time, understanding that there may be some tradeoffs. (SME 2)

내용전문가(SME)들은 환자의 치료에 영향을 미칠 수 있는 AI 기반 도구의 결과를 환자에게 설명할 때 향상된 커뮤니케이션 기술이 필요하다고 설명했지만, 이러한 도구가 임상의와 환자 관계의 인간적인 측면을 향상시킬 수 있는 기회를 제공할 수 있다고 믿었습니다. 
The SMEs described a need for enhanced communication skills in explaining to patients the outputs of AI-based tools that might influence their care but also believed that these tools may present an opportunity to enhance humanistic aspects of clinician–patient relationships.

의사 결정에 따른 인지적 부하를 일부 상쇄하고 이를 돕기 위해 이 도구를 통합함으로써 이득을 얻을 수 있다고 한다면, 이러한 인지적 부하를 인문학적 상호 작용에 다시 주입할 수 있을까요? (내용전문가(SME) 10) 
If we’re saying we’re going to benefit from offsetting some of the cognitive load of the decision making and incorporating this tool to help us do that, can we reinfuse that cognitive load in the humanistic interactions? (SME 10)

내용전문가(SME)들은 대체가 아닌 보강을 강조했지만, 임상 치료의 일부 측면이 결국 AI 기반 기능으로 대체될 수 있다는 점을 인정했습니다. 
Although the SMEs emphasized augmentation and not replacement, they acknowledged that some aspects of clinical care might eventually be replaced by AI-based capabilities.

기술이 여러분이 하는 일의 일부를 대체할 것이라는 점을 이해해야 합니다. 그리고 그거 아세요? 괜찮습니다. 여러분의 스킬 세트에는 여전히 중요한 다른 측면이 있습니다. 하지만 기술이나 시스템의 다른 부분으로 더 잘할 수 있는 일에 매달리는 것은 어떨까요? 환자와 시스템 모두에게 중요합니다. AI가 이를 더욱 강화할 것이라고 생각합니다. (내용전문가(SME) 2) 
You need to understand that technology is going to replace some of the stuff you do. And guess what? That is okay. There are other aspects of your skill set that are going to remain really important. But hanging onto stuff that can be done better by either technology or other points in the system? It’s important for both the patients and the system. AI, I think, is going to push that. (SME 2)

마지막으로, 내용전문가(SME)들은 임상의가 임상적으로 적절한 경우 환자가 생성한 데이터를 통합해야 한다고 생각했습니다. 
Finally, the SMEs believed that clinicians should incorporate patient-generated data when clinically appropriate.

엄청나게 가치 있는 정보죠? 예를 들어 진료실에서 혈압을 한 번 측정하는 것보다 훨씬 낫죠. 이제 환자의 일상 생활과 건강 상태에 대한 훨씬 더 정확한 데이터를 얻을 수 있습니다. 따라서 우리는 이를 활용해야 합니다. 엄청난 잠재력을 제공합니다. 사람들을 너무 단편적으로 만나기 때문에 우리가 할 수 있는 모든 일을 할 수 없습니다. 하지만 이를 어떻게 처리하고 최대한 활용할 수 있을지 함께 노력해야 합니다. (내용전문가(SME) 10) 
It’s incredibly valuable information, right? It’s so much better than the one shot of, for instance, a blood pressure measurement when they’re in the office. Now you’ve got much more accurate data about their day-to-day life and how things work. And so, we need to lean into it. It offers tremendous potential. It’s all the stuff that we can’t do because we see folks so episodically. But we will need to work together to figure out how to process it and make the most of it. (SME 10)

팀 역학 및 워크플로에 미치는 영향.
The impact on team dynamics and workflows.

몇몇 내용전문가(SME)은 AI 기반 도구가 기존 워크플로우에 미칠 영향에 대해 논의하고 워크플로우 변경 사항을 명시적으로 처리하는 구현 프로세스를 권장했습니다. 
Several SMEs discussed the impact that AI-based tools would have on established workflows and recommended implementation processes that explicitly address workflow changes.

"우리의 워크플로는 무엇이며, 이 기술은 어디에 적합fit한가?"라는 질문을 던질 수 있어야 합니다. 그것이 위험 모델을 제시하는 것이든, 약물을 전달하는 로봇이든, 정맥주사 펌프이든 상관없습니다. 이 새로운 도우미를 수용하기 위해 워크플로에 어떤 변화가 필요할까요? (내용전문가(SME) 1) 
We should be able to ask the question, “What is our workflow and where does this technology fit into that?” And that’s whether it’s the presentation of a risk model or it’s the robot that delivers medications or the IV [intravenous] pump. How will this fit in, and what do we need to change about our workflows, if anything, to accommodate this new helper? (SME 1)

내용전문가(SME)들은 이러한 워크플로우의 중단이 전문가 간 팀과 팀원 간의 관계에 영향을 미칠 수 있다는 점을 인정했습니다. 
The SMEs acknowledged that these disrupted workflows could have an impact on interprofessional teams and the relationships between team members.

또한 전문가 간 팀은 팀 내에서 증강 지능이 할 수 있는 일과 할 수 없는 일에 대해 공유된 이해를 가져야 합니다. 특히 진행성 암과 같은 복잡한 치료 문제와 관련하여 중요한 부분이라고 생각할 수 있습니다. (내용전문가(SME) 2) 
The interprofessional team would also have to have a shared understanding of what that augmented intelligence can and can’t do within that team aspect. But you could imagine that being an important part, particularly around complex care issues like advanced cancers. (SME 2)

데이터 세트의 편향성 및 대표성에 대한 우려.
Concerns about bias and representativeness of data sets.

내용전문가(SME)들은 개인적 편향, 조직적 편향, 시스템적 편향 등 여러 수준에서, 그리고 도구 제작 과정의 여러 지점에서 편향에 대한 우려를 논의했습니다. 특히 내용전문가(SME)들은 데이터 세트 학습과 검증에 사용되는 모집단의 특성에 따라 AI 기반 도구에 내장될 수 있는 편향성에 대해 설명할 때 우려를 표명했습니다.
The SMEs discussed concerns for bias at multiple levels, including personal, organizational, and systemic bias, and at multiple points in the tool creation process. Concerns were particularly strong when SMEs described the bias that can be built into AI-based tools based on the characteristics of populations used for training data sets and for validation.

문제는 이러한 도구를 사용하는 사람들이 도구의 기반이 되는 데이터에 사용된 개별 연구에 대해 알지 못한다는 것입니다. 예를 들어 70세 미만은 임상시험에 참여하지 않거나 어린이는 임상시험에 참여하지 않는 등의 배제 기준이 있었을 수 있습니다. 모든 임상시험에 해당되는 것은 아니지만, 이상값에 대한 예측의 기본 통계적 근거가 편향될 수 있을 정도로 많은 수의 임상시험에 해당될 수 있습니다. 따라서 일반적인 AI 도구에서 경계 조건이 무엇인지 모른다면 도구를 적용하는 것은 매우 위험합니다. (내용전문가(SME) 7) 
The problem there is that the people that are using those tools don’t know about the individual studies that went into the data underlying the tool. There may have been exclusion criteria for, like, people under 70 weren’t admitted into the trial, or children weren’t admitted into the trial, and so on. And that may not have been true of all of the trials, but enough of them that it would bias the underlying statistical basis for predictions for outliers. So, it’s very dangerous to apply a tool, in general AI tools, if you don’t know what their boundary conditions are. (SME 7)

데이터의 대표성은 특히 과소대표된 환자 및 인구 집단에 특정 AI 도구를 적용하는 결정을 내릴 때 매우 중요합니다.
Representativeness of data becomes especially critical in decisions about applying specific AI tools to underrepresented patients and populations.

얼굴 인식 및 치안 분야에서는 소수 민족의 얼굴에 대해 학습되지 않은 도구가 판매되어 근처에 있지도 않은 사람을 부적절하게 용의자로 분류하는 등의 문제가 발생하기도 했습니다. 의료 분야에도 이와 유사한 사례가 있습니다. (내용전문가(SME) 14) 
And we’ve seen issues with that in facial recognition and policing space where tools have been sold that were not trained on minority faces and then inappropriately flagged people as being suspects for things where they were not even anywhere near the vicinity. There’s an analog in medicine to that as well. (SME 14)

내용전문가(SME)들은 편견을 완화하기 위해 커뮤니티 참여와 권한 부여 접근 방식을 권장했습니다.
The SMEs recommended a community engagement and empowerment approach to mitigate bias.

환자와 보호자를 테이블로 끌어들이는 것은 점점 더 넓어지고 있습니다. 그리고 네, 그렇게 하면 속도가 느려집니다. 저도 동의합니다. 하지만 모두를 위한 진전을 이루려면 모든 사람을 테이블에 참여시켜 발언권을 부여하고 영향력을 행사할 수 있는 권한을 부여해야 합니다. (내용전문가(SME) 15) 
Bringing in patients and their caregivers to the table is broadening and widening. And, yes, that slows things down. I agree. But if you wanted to find progress for everyone, then we need to empower and have everyone at the table and give them a power to speak and influence and shape. (SME 15)

지속적인 전문성 개발.
Continuing professional development.

내용전문가(SME)들은 변화의 속도가 빠르기 때문에 보건 전문직 교육 단계 전반에 걸쳐 이니셔티브가 필요하다고 말하며, 후배 학습자가 상급자보다 더 발전할 수 있다고 언급했습니다. 
The SMEs stated that the rapid pace of change created an imperative for initiatives across the phases of health professions education and noted that junior learners might be more advanced than their supervisors.

이러한 상황에서 공동 제작 및 공동 학습이 도움이 될 수 있다고 생각하며, 교수진이 학생 및 레지던트와 함께 자신들이 접하지 못했던 분야에 대해 배울 수 있는 공간을 마련할 수 있습니다. (내용전문가(SME) 2)
This is where I think co-production and co-learning can be helpful, creating space for faculty to kind of learn with their students and the residents in areas that they themselves may not have been exposed to. (SME 2)

의료 전문가를 위한 AI 관련 역량
AI-related competencies for health care professionals

인터뷰 분석, 주제 파악, 전문가 피드백 통합, 연구팀 전체의 반복적인 합의 도출을 통해 최종적으로 의료 전문가를 위한 6개의 AI 관련 역량 영역 진술과 25개의 하위 역량이 공식화되고 구체화되었습니다. 의료 전문가 역량 분류체계 24가 초기 코딩을 용이하게 했지만, 일부 AI 관련 역량은 이미 확립된 여러 영역에 매핑되는 것을 발견했으며 최종 프레임워크를 구성할 때 이 분류체계에 국한하지 않았습니다. 
Ultimately, 6 AI-related competency domain statements and 25 subcompetencies for health care professionals were formulated and refined from analysis of the interviews, identification of themes, incorporation of expert feedback, and iterative consensus development across the study team. Although the health professions competency taxonomy 24 facilitated initial coding, we found that several of the AI-related competencies mapped to multiple established domains and did not limit ourselves to this taxonomy in constructing our final framework.

역량 영역 진술은 다음과 같습니다:

• (1) AI에 대한 기본 지식: AI가 무엇인지 설명하고 의료 분야에 적용하는 방법을 설명한다.
• (2) AI의 사회적, 윤리적 의미: 사회, 경제, 정치 시스템이 AI 기반 도구에 미치는 영향과 이러한 관계가 정의, 형평성, 윤리에 미치는 영향을 설명한다.
• (3) AI로 강화된 임상 진료: 환자 중심 치료 계획을 수립할 때 다양한 정보원을 통합하는 AI 강화 임상 진료 수행,
• (4) AI 기반 도구의 증거 기반 평가를 수행: 환자 및 집단에 대한 치료를 제공할 때 AI 기반 도구와 그 기반 데이터 세트의 품질, 정확성, 안전성, 맥락적 적절성, 편향성을 평가하고,
• (5) AI 기반 도구의 워크플로 분석: AI 기반 도구 구현으로 인한 팀, 역할, 책임, 워크플로 변화를 분석하고 이에 적응하며,
• (6) AI 기반 도구 관련 실무 기반 학습 및 개선: 의료 서비스에서 AI 도구 사용과 관련된 지속적인 전문 개발 및 실무 기반 개선 활동에 참여합니다.

The competency domain statements are as follows:

• (1) basic knowledge of AI: explain what AI is and describe its health care applications;
• (2) social and ethical implications of AI: explain how social, economic, and political systems influence AI-based tools and how these relationships impact justice, equity, and ethics;
• (3) AI-enhanced clinical encounters: carry out AI-enhanced clinical encounters that integrate diverse sources of information in creating patient-centered care plans;
• (4) evidence-based evaluation of AI-based tools: evaluate the quality, accuracy, safety, contextual appropriateness, and biases of AI-based tools and their underlying data sets in providing care to patients and populations;
• (5) workflow analysis for AI-based tools: analyze and adapt to changes in teams, roles, responsibilities, and workflows resulting from implementation of AI-based tools; and
• (6) practice-based learning and improvement regarding AI-based tools: participate in continuing professional development and practice-based improvement activities related to use of AI tools in health care.

그림 2는 역량 영역을 보여줍니다. 목록 1은 AI 관련 역량과 그 하위 역량을 제시합니다. 전문직별 번역의 예로, 부록 디지털 부록 2에는 이러한 역량이 의학전문대학원 교육 인증위원회의 핵심 역량 영역 26과 대략적인 난이도에 매핑된 목록이 나와 있습니다.

Figure 2 depicts the competency domains. List 1 presents the AI-related competencies along with their subcompetencies. As an example of profession-specific translation, Supplemental Digital Appendix 2 (at https://links.lww.com/ACADMED/B334) lists these competencies mapped to the Accreditation Council for Graduate Medical Education core competency domains 26 and approximate level of difficulty.

토론
Discussion

AI 기반 도구의 임상적 사용에 대한 내용전문가(SME)의 일반적인 열의에도 불구하고 거의 모든 인터뷰에 신중함이 스며들어 있었습니다. 사람에 대한 부적절한 분류 및 라벨링, 왜곡된 데이터 세트에 기반한 예측 모델, 기존의 불평등을 의도치 않게 유지하는 강력한 기술 등 잠재적인 위험은 AI 개발의 역사 전반에 걸쳐 목록화되어 왔습니다. 4,27 인공지능의 역사에 대한 최근의 비판적 검토에 따르면 "인공지능은 인공적이지도 지능적이지도 않다"고 주장합니다. 4 AI 기반 도구의 출력은 사용 가능한 데이터에 의해 결정되므로 시스템의 "지능"은 인간의 결정에서 비롯된 기본 데이터 소스의 구조, 가정 및 범위에 의해 결정됩니다. 따라서 강력한 윤리적 지향과 형평성에 대한 헌신이 모든 AI 관련 역량의 핵심이 되어야 합니다. 
Despite the SMEs’ general enthusiasm for clinical use of AI-based tools, a sense of caution permeated nearly all interviews. Potential dangers have been cataloged across the history of AI development, including inappropriate categorization and labeling of people, predictive models based on skewed data sets, and powerful technologies that inadvertently maintained existing inequalities. 4,27 A recent critical review of the history of AI claims that “artificial intelligence is neither artificial nor intelligent.” 4 Outputs from AI-based tools are determined by available data, and therefore system “intelligence” is determined by the structure, assumptions, and scope of underlying data sources, which originate from human decisions. Thus, a strong ethical orientation and commitment to equity should lie at the heart of all AI-related competencies.

수많은 저자와 전문 기관은 AI 관련 지식, 기술 및 태도를 전달하기 위한 체계적인 접근 방식과 이러한 교육 및 학습을 안내할 역량 목록을 개발할 것을 촉구해 왔습니다. 7-10,28-36 의료37 및 간호 교육에서 정보학을 위한 역량이 개발되었으며,38 이들 중 일부는 AI와 관련이 있지만 임상 치료에서 강력한 AI 기반 도구를 사용하는 데 필요한 구체성이 부족합니다. 저자들은 보건 전문직 커리큘럼에 AI 관련 주제를 포함할 것을 권고하고10 다른 저자들은 모범 프로그램을 인용했지만,17,18 역량 목록이 공식화되지는 않았습니다. 
Numerous authors and professional organizations have called for systematic approaches to imparting AI-related knowledge, skills, and attitudes and for the development of a list of competencies that would guide this teaching and learning. 7–10,28–36 Competencies have been developed for informatics in medical 37 and nursing education, 38 and although some of these are relevant to AI, they lack the specificity needed for the use of powerful AI-based tools in clinical care. Although authors have made recommendations for AI-related topics to be included in health professions curricula 10 and others have cited exemplar programs, 17,18 no list of competencies had been formulated.

이 연구는 반구조화된 전문가 인터뷰의 주제별 분석을 통해 의료 전문가를 위한 AI 관련 임상 역량 목록을 생성함으로써 이러한 격차를 해결합니다. 임상 진료를 제공하는 모든 사람이 결국 AI 기반 도구와 상호작용하게 되므로 전문가 간 접근 방식을 의도적으로 선택했습니다. 연구 결과에 따르면 의료 전문직 간에 상당한 연관성이 있으며, 이는 전문직 간 학습자가 협력하여 역량을 개발할 수 있는 잠재적 기회를 나타냅니다. 
This study addresses that gap by generating a list of AI-related clinical competencies for health care professionals through thematic analysis of semistructured expert interviews. An interprofessional approach was deliberately chosen because all who provide clinical care will eventually interface with AI-based tools. Findings suggest significant alignment across health professions, indicating potential opportunities for interprofessional learners to develop competencies collaboratively.

이 연구는 개인의 역량에 초점을 맞추었지만, 내용전문가(SME)은 유능한 개인이 AI 기반 도구와 관련된 구조, 산출물 및 결과를 평가하고 모니터링할 수 있는 'AI 역량 조직' 내에서 기능해야 한다고 강조했습니다. 이러한 조직은 안전과 공정성에 중점을 둔 규제 시스템의 지원이 필요합니다. 최근 의약품 및 의료 기기 개발과 유사한 평가 프로세스가 AI 기반 도구에 대해 설명되었으며,39 다른 사람들은 새로운 실험실 테스트에 대해 유사한 프로세스를 제안했습니다. 40 그러나 두 모델 모두 현지 조직과 규제 기관 간의 책임(및 그에 따른 역량) 배분은 아직 명확히 밝혀지지 않았습니다. 
Although this study focused on individual competencies, the SMEs emphasized that competent individuals need to function within “AI-capable organizations,” which can evaluate and monitor the structure, outputs, and outcomes associated with AI-based tools. These organizations in turn need support from regulatory systems focused on safety and fairness. An evaluation process similar to that for drug and medical device development was recently described for AI-based tools, 39 whereas others have suggested a process similar to that for new laboratory tests. 40 However, in both models, the distribution of responsibilities (and thus capabilities) between local organizations and regulatory bodies remains to be clarified.

직접적인 질문 없이도 투명성은 유능한 임상의를 지원하는 데 필요한 조직과 시스템의 필수적인 특성으로 떠올랐습니다. 조직 차원에서 개방적이고 잘 소통되는 프로세스를 통해 환자와 임상의가 임베디드 툴에 대해 인지할 수 있습니다. 또한 투명성은 도구가 강력한 경쟁적 이해관계가 아닌 환자와 대중의 이익을 위해 기능할 수 있도록 보장하는 안전장치 역할을 합니다. 이러한 투명성을 확보하려면 모든 관련 이해관계자가 의사결정 테이블에 참여해야 하며 새로운 도구를 구현할 때 표준화된 접근 방식을 사용해야 합니다. 5 
Even without direct questioning, transparency emerged as an essential characteristic of the organizations and systems needed to support competent clinicians. Open and well-communicated processes at the organizational level can ensure that patients and clinicians are aware of embedded tools. Transparency also serves as a safeguard to ensure that tools will function primarily for the benefit of patients and populations and not for powerful competing interests. This transparency requires that all relevant stakeholders have seats at decision-making tables and that standardized approaches are used for implementing new tools. 5

개인과 조직의 역량은 시스템 전반의 투명성을 요구하며, 규제 표준은 AI 기반 도구의 구성 방식, 답변하도록 설계된 질문, 학습 및 검증에 사용되는 모집단에 대한 명확한 라벨링을 요구합니다. 1,41-43 복잡한 신경망과 진화하는 알고리즘을 갖춘 도구는 조사하기 어렵고 추가적인 지속적인 감독이 필요합니다. 39,43 
Individual and organizational competency demands system-wide transparency, with regulatory standards requiring clear labeling about how AI-based tools are constructed, the questions they are engineered to answer, and the populations used for training and validation. 1,41–43 Tools with complex neural networks and evolving algorithms will be difficult to interrogate and will require additional ongoing oversight. 39,43

내용전문가(SME)들은 또한 필요한 조직 및 규제 프로세스를 수립하고 감독할 AI 기반 도구의 구현과 관련된 분야에 대한 고급 교육을 받은 새로운 의료 전문가 집단cadre의 필요성에 대해서도 논의했습니다. 학위 프로그램, 펠로우십, 자격증 프로그램 등 이러한 인력의 성격과 교육에 대해서도 추가적인 정의가 필요합니다.
The SMEs also discussed the need for a new cadre of health care professionals with advanced training in areas related to the implementation of AI-based tools who would establish and oversee the needed organizational and regulatory processes. The nature of this workforce and its training, whether through degree programs, fellowships, or certificate programs, also needs further definition.

마지막으로, 역량 기반 교육은 개인이 역량을 습득하는 다양한 방법이 있다고 가정하므로 이 보고서에서는 교수 및 학습 접근 방식에 대한 구체적인 권장 사항을 제시하지 않습니다. 그러나 역량 목록(목록 1)은 학습자의 역량 습득을 돕기 위한 이니셔티브를 설계, 실행 및 결과를 측정하고자 하는 교육자에게 청사진을 제공합니다. 개별 임상의가 이미 보유하고 있을 수 있는 AI 관련 역량은 학습자 수준에 따라 다를 수 있으므로 교육 연속체의 뚜렷한 단계에 역량을 할당하지 않았습니다. 대신, 부록 디지털 부록 2에서는 어떤 역량을 초급으로 간주할 수 있는지, 어떤 역량을 고급으로 간주할 수 있는지 제안합니다. 
Finally, competency-based education assumes there are diverse ways in which individuals gain competencies; thus, this report does not make specific recommendations for teaching and learning approaches. However, the competency list (List 1) provides a blueprint for educators who wish to design, implement, and measure results of initiatives aiming to help learners acquire them. The AI-related competencies that individual clinicians might already possess are likely to vary across and within learner levels; therefore, we did not assign competencies to distinct phases of the educational continuum. Instead, Supplemental Digital Appendix 2 (at https://links.lww.com/ACADMED/B334) suggests which competencies could be considered entry level and which could be considered more advanced.

acadmed_2022_08_31_miller_acadmed-d-21-02684_sdc1.pdf

0.23MB

Competencies for the Use of Artificial Intelligence (AI)–Based Tools by Health Care Professionals

1. Basic Knowledge of AI: Explain what artificial intelligence is and describe its health care applications.

• a. Identify the range of health-related AI applications.
• b. Describe contributions from the disciplines of data science, computer science, and informatics to the development of health care AI tools. 
• c. Summarize the factors that influence the quality of data and explain how they impact the outputs of AI-based applications. 
• d. Explain how different approaches to data visualization can affect interpretation of the outputs of AI-based tools and the subsequent actions that might be taken. 
• e. Describe the statistical properties of AI-based tools and explain how they should be used in interpreting outputs.

2. Social and Ethical Implications of AI: Explain how social, economic, and political systems influence AI-based tools and how these relationships impact justice, equity, and ethics.

• a. Acknowledge personal responsibility for fairness and equity in the use of AI-based tools in health care.
• b. Describe how system-level factors and regulatory structures influence the implementation of AI-based tools in health care.
• c. Identify and evaluate how personal and structural biases can impact health data and the outputs of AI-based tools.
• d. Recognize the potential for use of AI-based tools to reduce or exacerbate health disparities and participate in debiasing activities to mitigate negative impacts.
• e. Appraise the ethical issues for clinicians, patients, and populations raised by various design, implementation, and use scenarios involving AI.

3. AI-Enhanced Clinical Encounters: Carry out AI-enhanced clinical encounters that integrate diverse sources of information in creating patient-centered care plans.

• a. Recognize that clinicians are responsible for all patient care decisions, including those that involve support from AI-based tools, and exercise judgment in applying AI-generated recommendations.
• b. Discern a patient’s information needs, preferences, numeracy, and health literacy levels regarding the use of AI-based tools in their care.
• c. Explain to patients the concepts of risk and uncertainty as they relate to the outputs of AI-based tools and describe practical implications for their care.
• d. Integrate information derived from multiple AI and non-AI sources in patient-centered decision-making processes that result in personalized care plans.
• e. Demonstrate comfort and humility in caring for data-empowered patients and incorporate patient-reported data and outcomes in developing care plans.
• f. Apply methods of data visualization to facilitate patient understanding of AI-derived data, with sensitivity to possible differential impacts related to race, ethnicity, sex, gender, and social determinants of health.
• g. Describe how AI-based tools can be used to enhance access and quality of care in remote and underserved settings. 

4. Evidence-Based Evaluation of AI-Based Tools: Evaluate the quality, accuracy, safety, contextual appropriateness, and biases of AI-based tools and their underlying datasets in providing care to patients and populations.

• a. Access critical information about specific AI-based tools before applying them to patient care, including sources and representativeness of training data, algorithm performance for the question being asked, and how they were validated. 
• b. Describe how the scope and quality of data sets used in development of AI tools influence their applicability to specific patients and populations.
• c. Identify potential biases in the design of an AI-based tool, and the implications of those biases for patient care and population health. 
• d. Collaborate with patients, caregivers, informaticians, and others in the ongoing monitoring of AI-based applications and communicate feedback through established organizational channels.

5. Workflow Analysis for AI-Based Tools: Analyze and adapt to changes in teams, roles, responsibilities, and workflows resulting from implementation of AI-based tools.

• a. Participate collaboratively in team-based discussions that analyze changing roles, responsibilities, and workflows associated with the adoption of novel AI-based tools and help implement necessary changes.
• b. Effectively use AI-based tools to facilitate critical communications between all members of health care teams.
• c. Recognize data and informatics professionals as valuable members of health care teams and collaborate with them in the design of AI tools that address clinical problems.
• d. Contribute to micro- and macro-system decision-making processes regarding which AI-based tools should augment and which should replace parts of current health care practices.

6. Practice-Based Learning and Improvement Regarding AI-Based Tools: Participate in continuing professional development and practice-based improvement activities related to use of AI tools in health care

 

목록1. 의료 전문가가 인공지능(AI) 기반 도구를 사용하기 위한 역량
List 1 Competencies for the Use of Artificial Intelligence (AI)–Based Tools by Health Care Professionals

• 1. 인공지능에 대한 기본 지식: 인공지능이 무엇인지 설명하고 인공지능의 의료 분야 적용 사례를 설명합니다.
  1. Basic Knowledge of AI: Explain what artificial intelligence is and describe its health care applications.
• 2. AI의 사회적, 윤리적 의미: 사회, 경제, 정치 시스템이 AI 기반 도구에 어떤 영향을 미치는지, 그리고 이러한 관계가 정의, 형평성, 윤리에 어떤 영향을 미치는지 설명합니다.
  2. Social and Ethical Implications of AI: Explain how social, economic, and political systems influence AI-based tools and how these relationships impact justice, equity, and ethics.
• 3. AI로 강화된 임상적 만남: 환자 중심의 치료 계획을 수립할 때 다양한 정보 소스를 통합하는 AI로 강화된 임상 진료를 수행합니다.
  3. AI-Enhanced Clinical Encounters: Carry out AI-enhanced clinical encounters that integrate diverse sources of information in creating patient-centered care plans.
• 4. AI 기반 도구의 증거 기반 평가: 환자와 집단에게 치료를 제공할 때 AI 기반 도구와 그 기본 데이터 세트의 품질, 정확성, 안전성, 맥락적 적절성, 편향성을 평가합니다.
  4. Evidence-Based Evaluation of AI-Based Tools: Evaluate the quality, accuracy, safety, contextual appropriateness, and biases of AI-based tools and their underlying datasets in providing care to patients and populations.
• 5. AI 기반 도구에 대한 워크플로 분석: AI 기반 도구의 구현으로 인한 팀, 역할, 책임, 워크플로우의 변화를 분석하고 이에 적응합니다.
  5. Workflow Analysis for AI-Based Tools: Analyze and adapt to changes in teams, roles, responsibilities, and workflows resulting from implementation of AI-based tools.
• 6. AI 기반 도구에 대한 실습 기반 학습 및 개선: 의료 서비스에서 AI 도구 사용과 관련된 지속적인 전문성 개발 및 실무 기반 개선 활동에 참여합니다.
  6. Practice-Based Learning and Improvement Regarding AI-Based Tools: Participate in continuing professional development and practice-based improvement activities related to use of AI tools in health care.

제한 사항
Limitations

다양한 전문 분야를 가진 내용전문가(SME)을 의도적으로 선정했지만, 15건의 인터뷰는 일부 관점에 대한 표본을 제공했습니다. 예를 들어, 사회복지사, 병원 관리자 또는 AI 기반 도구와 상호 작용할 기타 의료 전문가는 표본에 포함되지 않았습니다. 또한 이 연구는 미국에서 일하는 전문가로 제한되었으며, 해외 전문가들은 다른 견해를 추가할 가능성이 높습니다. 향후 연구에서는 더 많은 전문가 그룹을 참여시켜 다양한 치료 환경, 팀 역할, 전문 분야에 따라 어떤 역량 요소가 가장 중요한지 알아볼 수 있습니다. 또한 이 연구는 환자 중심의 임상적 AI 사용에만 초점을 맞추었으며 비즈니스 프로세스나 시스템 수준의 운영을 용이하게 하는 도구는 포함하지 않았습니다. 마지막으로, 빠른 변화의 속도를 고려할 때 이러한 역량은 적응이 필요하며 이 목록은 자주 재검토되어야 한다는 점을 인정합니다. 
Although we purposively selected the SMEs for their diverse areas of expertise, 15 interviews provided a small sampling of perspectives. For example, the sample did not include social workers, hospital administrators, or other health care professionals who will interact with AI-based tools. In addition, the study was restricted to experts working in the United States, and international experts would likely add different views. Future research could engage a wider group of experts to determine which competency elements are most critical for different care settings, team roles, and specialty contexts. Furthermore, this study focused only on patient-centered, clinical uses of AI and did not include tools that facilitate business processes or system-level operations. Finally, given the rapid pace of change, we acknowledge that the competencies will need to adapt and that this list should be frequently revisited.

결론
Conclusions

전문가 인터뷰와 주제별 분석을 사용한 이 정성적 연구에서는 의료 전문가가 AI 기반 도구를 사용하는 데 필요한 6개의 역량 영역과 25개의 하위 역량을 확인했습니다. 역량 선언문과 하위 역량은 향후 교육 단계에 걸쳐 의료 전문가를 위한 교육 및 학습 프로그램을 안내하는 데 사용할 수 있습니다. AI 기반 도구의 잠재적 이점을 극대화하고 잠재적 해악을 줄이려면 윤리적으로 유능한 개인과 조직을 개발하는 것이 중요합니다. 
This qualitative study using expert interviews and thematic analysis identified 6 competency domains and 25 subcompetencies needed for the use of AI-based tools by health care professionals. The competency statements and subcompetencies can be used to guide future teaching and learning programs for health care professionals across the phases of education. The development of ethically competent individuals and organizations is critical if the potential benefits of AI-based tools are to be maximized and their potential harms diminished.

 

---

Acad Med. 2023 Mar 1;98(3):348-356. doi: 10.1097/ACM.0000000000004963. Epub 2022 Sep 6.

Competencies for the Use of Artificial Intelligence-Based Tools by Health Care Professionals

Regina G Russell 1, Laurie Lovett Novak 2, Mehool Patel 3, Kim V Garvey 4, Kelly Jean Thomas Craig 5, Gretchen P Jackson 6, Don Moore 7, Bonnie M Miller 8

Affiliations collapse

1R.G. Russell is director of learning system outcomes, Office of Undergraduate Medical Education, and assistant professor of medical education and administration, Vanderbilt University School of Medicine, Nashville Tennessee; ORCID: https://orcid.org/0000-0002-5540-7073 .

2L.L. Novak is director, Center of Excellence in Applied Artificial Intelligence, Vanderbilt University Medical Center, and associate professor of biomedical informatics, Vanderbilt University School of Medicine, Nashville, Tennessee; ORCID: https://orcid.org/0000-0002-0415-4301 .

3M. Patel is associate chief health officer and chief medical officer of provider analytics, IBM Watson Health, Cambridge, Massachusetts, and clinical professor, Northeast Ohio Medical University, Rootstown, Ohio.

4K.V. Garvey is research instructor in anesthesiology, Vanderbilt University School of Medicine, and director of operations, Center for Advanced Mobile Healthcare Learning, Vanderbilt University Medical Center, Nashville, Tennessee; ORCID: https://orcid.org/0000-0002-2427-0182 .

5K.J.T. Craig is lead director, Clinical Evidence Development, Aetna Medical Affairs, CVS Health. At the time this work was completed, the author was deputy chief science officer of evidence-based practice, Center for AI, Research, and Evaluation, IBM Watson Health, Cambridge, Massachusetts; ORCID: https://orcid.org/0000-0002-9954-2795 .

6G.P. Jackson is vice president and scientific medical officer, Intuitive Surgical, Sunnyvale, California, and associate professor of surgery, pediatrics, and biomedical informatics, Vanderbilt University School of Medicine, Nashville, Tennessee. At the beginning of this work, the author was vice president and chief science officer, IBM Watson Health, Cambridge, Massachusetts; ORCID: https://orcid.org/0000-0002-3242-8058 .

7D. Moore is emeritus professor of medical education and administration, Vanderbilt University School of Medicine, Nashville, Tennessee.

8B.M. Miller is professor of medical education and administration, Vanderbilt University School of Medicine, and director, Center for Advanced Mobile Healthcare Learning, Vanderbilt University Medical Center, Nashville, Tennessee; ORCID: https://orcid.org/0000-0002-7333-3389 .

PMID: 36731054

DOI: 10.1097/ACM.0000000000004963

Abstract

Purpose: The expanded use of clinical tools that incorporate artificial intelligence (AI) methods has generated calls for specific competencies for effective and ethical use. This qualitative study used expert interviews to define AI-related clinical competencies for health care professionals.

Method: In 2021, a multidisciplinary team interviewed 15 experts in the use of AI-based tools in health care settings about the clinical competencies health care professionals need to work effectively with such tools. Transcripts of the semistructured interviews were coded and thematically analyzed. Draft competency statements were developed and provided to the experts for feedback. The competencies were finalized using a consensus process across the research team.

Results: Six competency domain statements and 25 subcompetencies were formulated from the thematic analysis. The competency domain statements are: (1) basic knowledge of AI: explain what AI is and describe its health care applications; (2) social and ethical implications of AI: explain how social, economic, and political systems influence AI-based tools and how these relationships impact justice, equity, and ethics; (3) AI-enhanced clinical encounters: carry out AI-enhanced clinical encounters that integrate diverse sources of information in creating patient-centered care plans; (4) evidence-based evaluation of AI-based tools: evaluate the quality, accuracy, safety, contextual appropriateness, and biases of AI-based tools and their underlying data sets in providing care to patients and populations; (5) workflow analysis for AI-based tools: analyze and adapt to changes in teams, roles, responsibilities, and workflows resulting from implementation of AI-based tools; and (6) practice-based learning and improvement regarding AI-based tools: participate in continuing professional development and practice-based improvement activities related to use of AI tools in health care.

Conclusions: The 6 clinical competencies identified can be used to guide future teaching and learning programs to maximize the potential benefits of AI-based tools and diminish potential harms.

Copyright © 2022 by the Association of American Medical Colleges.