Passing the Torch : 의학을 가르치는 것은 횃불을 전달하는 것과 같다.

인공지능(AI)이 의료 서비스를 혁신하고 있습니다. 2018년 4월, 미국 식품의약국(FDA)은 안과 질환인 당뇨망막병증에 대한 진단 결정을 내리는 최초의 '자율' AI 소프트웨어 시스템인 IDx-DR의 시판을 허가했습니다(Digital Diagnostics, 2020; FDA, 2018a). 2019년 9월, 의료 신경 기술 회사인 BrainScope는 결과와 조치를 제공하여 뇌진탕 및 경미한 외상성 뇌손상 진단에 도움을 주는 AI 기반 의료 기기 BrainScope TBI(모델: Ahead 500)에 대한 FDA 허가를 받았습니다(FDA, 2019a). 이 외에도 심장 환자를 위한 최초의 AI 기반 의료 영상 플랫폼인 Arterys(FDA, 2017), 손목 골절을 감지하도록 설계된 AI 소프트웨어인 OsteoDetect(FDA, 2018b), 뇌졸중과 관련된 지표에 대한 컴퓨터 단층 촬영 결과를 분석하기 위해 AI를 사용하는 임상 의사 결정 지원 소프트웨어인 Viz.AI(FDA, 2018c) 등이 이미 FDA의 허가를 받거나 승인된 건강 AI입니다. 
Artificial Intelligence (AI) is transforming health care. In April 2018, the U.S. Food and Drug Administration (FDA) permitted marketing of the first “autonomous” AI software system, called IDx-DR, to provide a diagnostic decision for the eye disease diabetic retinopathy (Digital Diagnostics, 2020; FDA, 2018a). In September 2019, the medical neurotechnology company BrainScope received FDA clearance for its AI-based medical device BrainScope TBI (model: Ahead 500) that helps in the diagnosis of concussion and mild traumatic brain injury by providing results and measures (FDA, 2019a). Other health AIs that have already been cleared or approved by the FDA include Arterys, the first medical imaging platform powered by AI for cardiac patients (FDA, 2017), OsteoDetect, an AI software designed to detect wrist fractures (FDA, 2018b) and Viz.AI, a clinical decision support software that uses AI to analyze computed tomography results for indicators associated with a stroke (FDA, 2018c).

지금까지 160개 이상의 의료용 AI 기반 기기가 FDA의 허가를 받았거나 승인되었으며(Ross, 2021), 현재 개발 파이프라인에 더 많은 제품이 있습니다. 의료 AI의 미래를 예측하기는 어렵지만 가상 비서, 개인 맞춤형 의료, 자율 로봇 수술은 의료 시스템의 미래 모습에 대한 가능성의 영역에서 벗어나지 않습니다. 의료 AI는 의료를 더 나은 방향으로 변화시킬 수 있는 엄청난 잠재력을 가지고 있지만, 사전 동의, 편견, 안전, 투명성, 환자 개인정보 보호, 할당에 이르기까지 윤리적 문제도 제기합니다.  
Over 160 health AI-based devices have been cleared or approved by the FDA so far (Ross, 2021), and there are currently many more products in the development pipeline. It is difficult to predict what the future of health AI will bring, but virtual assistants, personalized medicine, and autonomous robotic surgeries are not outside the realm of possibilities of how the health care system could look like in the future. Health AI has tremendous potential to transform medicine for the better, but it also raises ethical issues, ranging from informed consent, bias, safety, transparency, patient privacy to allocation.

의료 AI는 이미 의료 서비스를 변화시키고 있고 앞으로도 계속 변화할 것이지만, 의료 AI 윤리는 아직 의과대학 커리큘럼에 표준 과목으로 포함되어 있지 않습니다. 이러한 격차는 현재의 문헌에도 반영되어 있습니다: AI와 의학교육에 초점을 맞춘 출판물은 거의 없으며, 윤리를 전혀 언급하지 않은 출판물은 더 적습니다(Kolachalama & Garg, 2018; Wartman & Combs, 2018; Wartman & Combs, 2019; Paranjape et al., 2019; AMA, 2019). 
Although health AI is already shaping health care and will continue to do so, health AI ethics is not yet a standard course in medical school curriculums. This gap may also be reflected in the current literature: Only few publications focus on AI and medical education, and even fewer mention ethics at all (Kolachalama & Garg, 2018; Wartman & Combs, 2018; Wartman & Combs, 2019; Paranjape et al., 2019; AMA, 2019).

먼저 의료 인공지능 윤리가 무엇인지 설명한 다음 의과대학에서 이러한 교육이 필요한 이유를 논증할 것입니다. 그런 다음 의대 교육이 필요한 의료 AI가 제기하는 6가지 주요 윤리적 문제인 사전 동의, 편향성, 안전, 투명성, 환자 개인정보 보호, 할당에 대해 집중적으로 논의할 것입니다. 이러한 윤리적 이슈는 임상 의료 윤리와 관련된 AI의 프레임워크를 형성합니다. 실제 사례를 사용하여 응용적인 맥락에서 의료 AI 윤리를 가르치는 것이 유용할 수 있습니다. 
We will first explain what health AI ethics is and will then argue why this education is needed in medical schools. Our focus will then be devoted to a discussion of six key ethical issues raised by health AI that require medical school education: informed consent, bias, safety, transparency, patient privacy, and allocation. These ethical issues form a framework for AI that is pertinent to clinical medical ethics. We suggest that it may be useful to teach Health AI Ethics in an applied context using real-life examples.

우리는 건강 AI 윤리를 'AI가 관여하는 건강 분야의 맥락에 윤리를 적용하고 분석하는 것'으로 정의합니다. 건강이 여러 가지 방식으로 정의되어 온 것처럼(Huber 등, 2011), 1955년 McCarthy 등(2006)에 의해 처음 사용된 인공지능(AI)이라는 용어에 대한 단일 정의도 존재하지 않습니다. 의료 분야에서 의료 전문가가 AI와 그 응용 분야를 이해하는 것이 점점 더 중요해지고 있습니다.
We define Health AI Ethics as the ‘application and analysis of ethics to contexts in health in which AI is involved’. Just as health has been defined in several ways (Huber et al., 2011), there is also no single definition for the term artificial intelligence (AI), which was first coined in 1955 by McCarthy et al. (2006). In medicine, it is becoming increasingly important for health care professionals to understand AI and its applications.

예를 들어, 미국의학협회(AMA)는 AI를 다음과 같이 정의합니다:
For example, the American Medical Association (AMA) defines AI as:

일반적으로 이성적인 인간과 관련된 방식으로 작업을 완료하는 컴퓨터의 능력, 즉 개체가 환경에서 적절하게 기능하고, 선견지명을 가지고 기능할 수 있도록 하는 자질입니다. 진정한 AI는 인공지능이 인간과 구별할 수 없는 지능적인 행동을 보일 수 있어야 한다는 튜링 테스트(2018)를 이길 수 있는 프로그램 또는 알고리즘으로 널리 알려져 있습니다.
The ability of a computer to complete tasks in a manner typically associated with a rational human being—a quality that enables an entity to function appropriately and with foresight in its environment. True AI is widely regarded as a program or algorithm that can beat the Turing Test, which states that an artificial intelligence must be able to exhibit intelligent behavior that is indistinguishable from that of a human (2018).

AI를 구성하는 요소에 대한 이해는 수년에 걸쳐 발전해 왔습니다. 1970년대에 의료 분야의 AI는 심전도 해석과 같은 규칙 기반 알고리즘으로 구성되었으며, 이는 오늘날에도 여전히 일반적이지만 일반적으로 "진정한 AI"라고 불리는 알고리즘은 아닙니다(Kundu 외., 2000; Yu 외., 2018). 최근 AI의 발전은 알고리즘을 사용하여 데이터에서 패턴을 찾는 컴퓨터 과학의 한 분야인 머신 러닝(ML)으로 이루어졌습니다(Murphy, 2012; Yu et al., 2018). ML은 지도형 또는 비지도형일 수 있습니다. 지도 ML은 학습 중에 입출력 데이터의 상관관계를 기반으로 출력을 예측하는 데 사용되는 반면, 비지도 ML은 레이블이 지정되지 않은 데이터에서 패턴을 식별합니다(Yu et al., 2018). 예를 들어, 지도 머신러닝은 이미지에서 특정 유형의 암 유무를 감지하도록 학습되지만, 비지도 머신러닝은 많은 수의 이미지를 평가하여 패턴을 감지하고 그에 따라 이미지를 그룹화합니다. 특히 대규모 데이터 세트에 다층 인공 신경망을 사용하는 ML의 한 분야인 딥러닝의 발전은 AI 분야를 더욱 발전시켰습니다(Yu et al., 2018). 임상 치료에 사용되는 대부분의 AI는 아직 인간의 지능을 능가하지 못하며, 여전히 협소하고 특정 업무에 국한되어 있습니다(Hosny 외., 2018). AMA는 "증강 지능"이라는 용어를 사용하여 의사의 지능을 대체하는 것이 아니라 의사의 지능을 증강하는 현재 AI의 능력을 강조합니다(2018). 
The understanding of what constitutes AI has evolved over the years. In the 1970s, AI in health care consisted of rule-based algorithms, such as electrocardiogram interpretation, which remain commonplace today but are not typically those referred to as “true AI” (Kundu et al., 2000; Yu et al., 2018). Recent developments in AI have consisted of Machine Learning (ML), a branch of computer science that finds patterns in data using algorithms (Murphy, 2012; Yu et al., 2018). ML can be supervised or unsupervised. Supervised ML is used to predict outputs based on correlations of input–output data during training, while unsupervised ML identifies patterns in data that is not labelled (Yu et al., 2018). For example, while supervised ML would be trained to detect the presence or absence of a certain type of cancer on an image, unsupervised ML would evaluate a large number of images to detect patterns and group images accordingly. In particular, developments within Deep Learning, a field within ML that uses multi-layered artificial neural networks on large datasets, has propelled the field of AI forward (Yu et al., 2018). Most AI that is used in clinical care has yet to surpass human intelligence, and remains narrow and task-specific (Hosny et al., 2018). The AMA uses the term “Augmented Intelligence” to highlight current AI’s ability to augment the physician’s intelligence rather than to replace it (2018).

윤리는 간단히 말해서 옳고 그름의 문제를 고려하는 철학의 한 영역입니다. 윤리는 규범적 윤리, 메타윤리, 응용 윤리로 나눌 수 있습니다(Fieser, 1999). 

• 규범 윤리는 올바른 행동 방식에 대한 질문에 답하려고 합니다. 규범적 윤리 이론에는 의무론, 결과론, 덕 윤리가 포함되지만 이에 국한되지는 않습니다.
• 메타윤리학은 옳고 그름의 본질에 대한 질문을 다루는 철학의 한 분야입니다.
• 응용 윤리는 윤리적 이론이나 원칙을 구체적인 실생활 문제에 적용하는 것을 다룹니다. 

많은 의대생들은 보챔프와 차일드레스(2012)가 제시한 자율성, 비악성, 유익성, 정의라는 네 가지 생의학 윤리의 원칙을 잘 알고 있을 것입니다. 원칙주의로 알려진 이 다원주의 이론은 의학의 윤리적 딜레마를 해결하기 위한 실용적인 접근 방식을 안내합니다. 의료 인공지능 윤리 교육은 사례 기반의 응용적 방법을 통해 윤리에 접근해야 하지만 규범 윤리와 메타 윤리의 요소도 포함해야 합니다. 정보에 입각한 동의, 편견, 안전, 투명성, 환자 프라이버시, 배분 등 6가지 이슈로 구성된 의료 AI 윤리를 학습하는 프레임워크가 의료 학습자에게 가장 적합하다고 제안합니다.
Ethics is the area of philosophy that, in simplest terms, considers questions of right and wrong. Ethics can be divided into normative ethics, metaethics, and applied ethics (Fieser, 1999).

• Normative ethics tries to answer questions about the right way to act. Normative ethical theories include, but are certainly not limited to deontology, consequentialism, and virtue ethics.
• Metaethics is the branch of philosophy that addresses questions about the nature of right and wrong.
• Applied ethics deals with applying ethical theories or principles to specific, real-life issues.

Many medical students will be familiar with Beauchamp and Childress’ (2012) four principles of biomedical ethics: autonomy, non-maleficence, beneficence, and justice. This pluralistic theory, known as principlism, is meant to guide a pragmatic approach to resolving ethical dilemmas in medicine. A Health AI Ethics education should approach ethics through an applied, case-based method, but should also include elements from normative ethics and metaethics. We suggest that a framework to study Health AI Ethics consisting of the following six issues is most pertinent for medical learners: informed consent, bias, safety, transparency, patient privacy, and allocation.

의료 AI가 의료 분야에 미칠 영향력이 커질 것이라는 징후가 몇 가지 있습니다. 첫째, 전 세계 의료 시스템 전반에 걸쳐 엄청난 양의 데이터가 수집되고 있습니다. 한 추정에 따르면 '글로벌 데이터스피어'는 2025년까지 175제타바이트까지 증가할 것으로 예상됩니다(Reinsel et al., 2018). 이러한 전례 없는 양의 데이터는 의료 AI와 같이 데이터에 의존하는 분야에서 혁신적인 발전으로 이어질 수 있습니다. 
Several signs point toward the increasing impact that health AI will have in medicine. First, there are gigantic amounts of data being collected across the global health care system. According to one estimate, the “global datasphere” is expected to grow to 175 zettabytes by 2025 (Reinsel et al., 2018). These unprecedented amounts of data may lead to revolutionary developments in fields that rely on data, such as health AI.

둘째, 의료 AI 시장은 2020년 49억 달러에서 2026년 452억 달러로 증가할 것으로 예상됩니다(Markets & Markets, 2020). 특히 구글, 마이크로소프트, IBM과 같이 전통적으로 의료와 관련이 없었던 거대 기술 기업들도 빠르게 성장하는 이 시장의 경제적 인센티브에 자극을 받아 의료 AI 시장의 주요 플레이어로 부상하고 있습니다. 
Second, it is estimated that the market for health AI will increase from 4.9 billion USD in 2020 to 45.2 billion USD in 2026 (Markets & Markets, 2020). In particular, tech giants that are traditionally not health-related, such as Google, Microsoft, and IBM, are key players in the health AI market and are probably motivated by the economic incentives of this rapidly growing market.

셋째, 환자들은 AI를 사용하는 연결된 세상에 살고 있다는 사실을 알게 되었습니다. 환자들은 더 이상 의사 진료실에만 국한되지 않고, '닥터 구글'에게 조언을 구하고, 피트니스 트래커, 건강 AI 앱, 디지털 알약 등을 사용하여 건강을 모니터링하고 관리합니다(Gerke et al., 2019). 이러한 활동의 대부분은 환자 데이터를 수집하며, 데이터는 경제적 가치로 인해 오늘날 경제에서 "새로운 석유"라고 불리고 있습니다(The Economist, 2017). 한편, 병원은 데이터와 증거를 통해 개선된 환자 치료 개발을 추진하는 '학습형 의료 시스템'으로 거듭나도록 장려되고 있습니다(Olsen et al., 2007). 의료 AI는 새로운 방식으로 대량의 데이터를 분석할 수 있는 역량을 통해 병원이 이러한 목표를 달성하는 데 도움을 줄 수 있는 잠재력을 가지고 있습니다. 방대한 데이터 생성, 데이터 시장의 성장, 환자 치료 환경의 변화는 의료 AI의 의료 혁신 잠재력에 대한 환영할 만한 징후입니다. 
Third, patients have found themselves to be living in a connected world that uses AI. Health care is no longer confined to the doctor’s office—patients are targeted for health adds, are quick to consult ‘Dr. Google’ for advice, and use fitness trackers, health AI apps, and digital pills (Gerke et al., 2019) to help them monitor and manage their health. Many of these activities collect patient data, and data has been dubbed “the new oil” in today’s economy for its economic value (The Economist, 2017). Meanwhile, clinics have been encouraged to become “learning healthcare systems,” systems in which data and evidence are intended to drive the development of improved patient care (Olsen et al., 2007). Health AI has the potential to help hospitals achieve this goal through its capacity to analyze large quantities of data in novel ways. The massive generation of data, increasing market for data, and changing patient care landscape serve as welcoming indications for health AI’s potential to transform medicine.

그러나 이러한 변화에는 많은 윤리적 문제가 수반됩니다(아래 참조). 예를 들어, 아니타 호(2019)와 주나이드 나비(2018)는 헤이스팅스 센터 보고서에서 의료 분야에서 AI가 어떻게 윤리적으로 설계되고 구현되어야 하는지에 대한 글을 썼습니다. Ho는 의료 AI가 현재의 요구에 부응하고 그 과정에서 발생하는 문제에 대해 열린 자세를 유지하는 의료 서비스 품질 개선 문화 속에서 개발되어야 한다고 주장합니다. 나비는 의료 AI는 생명윤리 원칙을 지침으로 삼아 설계되어야 한다고 주장합니다. 미래의 중요한 의료 이해당사자인 의대생이 의료 AI 윤리에 대한 적절한 교육 없이는 의료 AI의 설계, 구현 및 사용에 참여하기 어렵다는 것이 우리의 주장입니다. 
Such changes, however, bring with them many ethical issues (see below). For example, both Anita Ho (2019) and Junaid Nabi (2018) have written in the Hastings Center Report about how AI should be designed and implemented ethically in medicine. Ho argues that health AI should be developed within a culture of quality improvement in health care that responds to current needs and remains open to issues that arise along the way. Nabi argues that health AI should be designed with bioethical principles as a guidance. We argue that, for medical students, as important future stakeholders in medicine, it will be difficult to participate in the design, implementation, and use of health AI without adequate training in health AI ethics.

일부 학자들은 이미 AI 시대에 의과대학 커리큘럼 개혁을 촉구한 바 있습니다(Kolachalama & Garg, 2018; Wartman & Combs, 2018; Wartman & Combs, 2019; Paranjape et al., 2019). 예를 들어, Kolachalama와 Garg(2018)는 의과대학이 AI의 '이점, 위험 및 윤리적 딜레마'에 중점을 둔 '머신러닝 리터러시'를 위해 노력할 것을 권장합니다. 2019년 6월, AMA는 증강 지능을 의학교육에 통합하는 것에 관한 정책을 발표했습니다. AMA는 무엇보다도

• 의과대학 교수진에 데이터 과학자와 엔지니어를 포함시킬 것과
• 증강 지능 애플리케이션의 편견과 불균형을 해소하는 교육 자료를 제공할 것을 권장합니다.
• 또한 협회는 인증 및 라이선스 기관에 증강 지능을 인증 및 라이선스 표준에 통합하는 방법을 고려할 것을 촉구합니다. 

Some scholars have already called for a medical school curriculum reform in the age of AI (Kolachalama & Garg, 2018; Wartman & Combs, 2018; Wartman & Combs, 2019; Paranjape et al., 2019). For example, Kolachalama and Garg (2018) encourage medical schools to strive for “machine learning literacy,” which includes an emphasis on “the benefits, risks, and the ethical dilemmas” of AI. In June 2019, the AMA released a policy regarding the integration of augmented intelligence into medical education. The AMA recommends, among other things,

• the inclusion of data scientists and engineers on medical school faculties, as well as
• educational materials that address bias and disparities of augmented intelligence applications.
• The Association also calls on accreditation and licensing bodies to consider how augmented intelligence should be integrated into accreditation and licensing standards.

우리는 이러한 요구를 지지하며, 의료 인공지능의 윤리적 차원을 포괄적으로 다루는 의과대학 커리큘럼의 필요성을 강조합니다. 의료 전문가가 의료 AI에 적절히 대비할 수 있도록 의대생은 데이터 과학에 대한 지식뿐만 아니라 AI가 제기하는 윤리적 문제에 대한 미묘한 이해와 인식도 키워야 합니다. 오늘날의 의대생은 의료 서비스에 통합된 AI의 개발, 구현 및 평가에 참여하게 될 것입니다. 이러한 과정에 의미 있게 참여하려면 AI 윤리에 대한 탄탄한 기초가 필요합니다.
We support these calls and highlight the need for a medical school curriculum that comprehensively addresses the ethical dimensions of health AI. To ensure that health care professionals are adequately prepared for health AIs, medical school students do not only need to become knowledgeable in data science but also need to develop a nuanced understanding and awareness of the ethical issues raised by them. Today’s medical students will be involved in the development, implementation, and evaluation of AI that is integrated into health care. They require a solid foundation in AI ethics to engage meaningfully in these processes.

특히 의과대학 교육이 필요한 6가지 주요 윤리적 이슈는 의료 AI에 의해 제기됩니다:

• 1. 사전 동의,
• 2. 편견,
• 3. 안전,
• 4. 투명성,
• 5. 환자 개인정보 보호,
• 6. 할당.

우리는 모든 의료 전문가가 이러한 이슈가 AI와 어떻게 상호작용하는지에 대한 윤리적 이해가 있어야 한다고 생각합니다. 의대생은 이미 공부하면서 이러한 문제를 접했을 수도 있지만, AI는 이러한 문제를 복잡하게 만들고 특별한 주의가 필요한 고유한 우려를 제시합니다. 각 문제에 대해 사례 기반 방식으로 커리큘럼에 통합할 수 있는 AI의 예를 제공합니다. 
There are, in particular, six key ethical issues raised by health AI that require medical school education:

• 1. informed consent,
• 2. bias,
• 3. safety,
• 4. transparency,
• 5. patient privacy, and
• 6. allocation.

We believe that all health professionals should have an ethical understanding of how these issues interplay with AI. Although medical students may already come across these issues in their studies, AI complicates these issues and presents unique concerns that warrant special attention. For each issue, we provide examples with AI that can be incorporated into the curriculum in a case-based method.

정보에 입각한 동의
Informed consent

새로운 의료 AI를 임상 진료에 배치할 때 정보에 입각한 동의에 대한 긴급한 질문이 제기됩니다(Gerke et al., 2020c). 의사가 치료 계획을 결정하기 위해 의료 AI를 사용하는 경우 환자는 의사 결정 과정에 AI가 관여했다는 사실을 알 권리가 있나요? 만약, 그렇다면 환자에게 어떤 구체적인 정보를 알려야 할까요? (Cohen, 2020). 예를 들어, 임상의는 알고리즘을 훈련하는 데 사용되는 데이터가 전자 건강 기록 데이터인지 또는 인위적으로 생성된(합성) 데이터인지와 같은 데이터에 대해 환자에게 알려야 하나요?  
The deployment of new health AIs in clinical practice raises urgent questions about informed consent (Gerke et al., 2020c). If a doctor uses a health AI to determine a treatment plan, does the patient have a right to know that the AI was involved in the decision-making process, and if so, what specific information should the patient be told? (Cohen, 2020). For example, does the clinician need to inform the patient about the data that is being used to train the algorithm, such as whether it is electronic health record data or artificially created (synthetic) data?

환자의 자율성을 존중하기 위해 의료계는 일반적인 치료 동의서에 서명하는 것 외에 정보에 입각한 동의가 필요한 건강 AI 사용에 대해 결정할 필요가 있습니다. 이 문제에 대한 답은 특정 의료 AI와 그 적용 분야에 따라 달라질 수 있습니다. 가상의 미래 AI가 환자의 치료 과정을 완전히 자율적으로 결정하는 경우에는 구체적인 사전 동의가 필요할 수도 있습니다. 저희는 의사가 사전 동의를 둘러싼 윤리와 특정 의료 AI의 개발 방식, 작동 방식, 사용 의도를 이해해야만 이 문제에 대해 비판적인 의견을 제시할 수 있다고 믿습니다. 이해관계자들은 더 많은 의료 AI가 임상 진료에 도입되기 전에 지금부터 사전 동의의 윤리적 문제에 대한 논의를 시작해야 합니다. 이 논의를 거친 후 두 번째 단계로, 특정 의료 AI에 맞는 사전 동의에 관한 의사를 위한 가이드라인과 커뮤니케이션 계획이 개발되어 임상에서 유용한 도구로 사용될 수 있습니다. 의대생들은 이 분야를 주시할 필요가 있으며, 이러한 논의를 형성하는 데 중요한 역할을 할 수 있습니다. 
In an effort to respect patient autonomy, the medical community needs to decide if there is something essential about using health AIs that requires informed consent (in addition to signing the general treatment consent form). The answer to this issue will likely depend on the particular health AI and its application. Perhaps a hypothetical future AI that fully autonomously decides on the treatment course of a patient will warrant a specific informed consent. We believe that only by understanding the ethics surrounding informed consent, as well as how a specific health AI is developed, how it works, and how it is intended to be used, can physicians formulate a critical opinion on this matter. Stakeholders should start the discussion today on the ethical issue of informed consent before even more health AIs enter clinical practice. As a second step (after having this discussion), guidelines and communication plans for physicians on informed consent that are tailored to specific health AIs could then be developed and serve as a useful tool in clinical practice. Medical students need to watch this space and can also play a role in shaping this discussion.

편견
Bias

편견에는 다양한 유형이 있으며, 의료 전문가는 의료 AI에 존재하는 편견의 유형을 인식하고 환자를 대할 때와 의료 시스템 수준에서 이러한 편견을 완화하는 방법에 대해 생각하는 것이 중요합니다. 편향된 데이터로 의료 AI를 학습시키면 기존의 건강 격차가 줄어들기는커녕 오히려 확대될 수 있습니다. 예를 들어, 의사가 주로 백인 피부를 대상으로 학습된 의료 AI 암 검진 기기를 신뢰하여 흑인 환자의 피부가 어두운 사람에게 가장 흔한 흑색종(Villines, 2019)을 놓치는 시나리오가 발생할 수 있습니다(Adamson & Smith, 2018). 지도 머신러닝을 기반으로 하든 비지도 머신러닝을 기반으로 하든, 백인 피부만을 입력 데이터로 학습한 AI는 다른 피부 타입의 암을 진단하는 방법을 학습할 수 없습니다. 
There are different types of biases, and it is important for health care professionals to be aware of the types of biases that exist with health AI, and to think about how to mitigate such biases both within their patient encounters and on a health care system level. If health AIs are trained on biased data, existing disparities in health may be augmented rather than reduced. For example, the scenario could be that a Black patient’s acral lentiginous melanoma, the most common type of melanoma in individuals with darker skin (Villines, 2019), is missed because a physician trusts a health AI cancer screening device that was primarily trained on white skin (Adamson & Smith, 2018). Whether this AI is based on supervised or unsupervised ML, if it is only trained on white skin as input data, it cannot learn how to diagnose cancer in any other skin type.

다른 경우에는 알고리즘에 편견이 있을 수 있습니다. 예를 들어, 최근 대규모 의료 시스템과 보험사가 매년 미국 내 약 2억 명에게 적용되는 의료 결정을 안내하는 데 사용하는 알고리즘에서 흑인 환자에 대한 심각한 인종적 편견이 있음을 보여준 Obermeyer 등(2019)의 연구 결과가 있습니다. 이 알고리즘은 데이터 세트의 흑인 환자가 훨씬 더 아팠음에도 불구하고 백인 환자와 동일한 수준의 위험을 흑인 환자에게 잘못 할당했습니다(Obermeyer et al., 2019). 이러한 인종적 편향은 알고리즘이 건강 요구 수준을 대신하여 (질병 대신) 의료 비용을 사용했기 때문에 발생했습니다(Obermeyer 외., 2019). 흑인 환자의 건강에 더 적은 비용이 지출되었기 때문에 알고리즘은 흑인 환자가 더 건강하다고 잘못 결론을 내렸습니다(Obermeyer et al., 2019). 알고리즘 편향은 사용된 라벨에 대해 신중하게 생각함으로써 완화될 수 있지만(Obermeyer 등, 2019), 편향되지 않은 모델에 대해 학습할 수 있는 새로운 알고리즘도 필요합니다(Wiens 등, 2020). 
In other cases, the algorithm may exhibit bias. For example, Obermeyer et al., (2019) recently showed a major racial bias against Black patients in an algorithm used by large health systems and payers to guide health decisions applied to about 200 million people in the U.S. every year. The algorithm falsely assigned the same level of risk to Black as to White patients, even though Black patients in the dataset were much sicker (Obermeyer et al., 2019). Such a racial bias arose because the algorithm used health care costs (instead of illness) as a proxy for the level of health needs (Obermeyer et al., 2019). Since less money was spent on Black patients’ health, the algorithm incorrectly concluded that Black patients were healthier (Obermeyer et al., 2019). Algorithmic biases may be mitigated by carefully thinking about the labels used (Obermeyer et al., 2019), but new algorithms are also needed that can be trained on unbiased models (Wiens et al., 2020).

따라서 목표는 "제품이 설계되고 테스트된 후가 아니라 설계 단계에서부터 윤리를 고려하는 것"이어야 합니다(Gerke et al., 2019). 이해관계자, 특히 AI 제조업체는 의료 AI와 함께 존재할 수 있는 편견의 유형을 인식하고 제품 개발 과정에서 가능한 한 빨리 편견을 완화하기 위해 노력해야 합니다. 발생할 수 있는 편견의 유형에 대한 인식이 있다면 의대생들이 AI 개발 팀에 합류하여 미래의 의료 AI 설계에 기여할 수 있습니다. 또한, 미래의 직업에 대비하여 환자 치료를 위해 임상에서 사용하기 전에 의료 AI를 비판적으로 면밀히 검토할 준비가 될 것입니다. 
Consequently, the goal should be “ethics by design—rather than after a product has been designed and tested” (Gerke et al., 2019). Stakeholders, particularly AI makers, must be aware of the types of biases that can exist alongside health AI and try as early as possible in the development process of their products to mitigate biases. With an awareness of the types of biases that can arise, medical students may be encouraged to join AI development teams, and contribute to the design of future health AIs. Moreover, they will be prepared for their future profession and will be ready to critically scrutinize a health AI before using it in clinical practice for the treatment of their patients.

안전
Safety

속 쓰림을 호소하는 여성에게 위식도 역류 질환(흔히 위산 역류로 알려져 있음)이 있다고 가정하고 단순히 제산제를 추천하는 온라인 챗봇을 생각해 보세요. 숙련된 의사는 이 환자에게 심장마비를 즉시 배제하는 것이 중요하다는 것을 알고 있어야 합니다. 많은 AI 앱과 챗봇은 불필요한 병원 방문을 제한하도록 설계되었지만, 지속적인 업데이트, 점검 또는 규제가 이루어지지 않으면 소비자에게 심각한 피해를 입힐 수 있습니다. 
Consider an online chatbot that assumes that a woman with a sensation of heartburn has gastroesophageal reflux disease, commonly known as acid reflux, and simply recommends an antacid. A trained physician should know the importance of immediately ruling out a heart attack for this patient. Many AI apps and chatbots are designed to limit unnecessary doctor visits, but some of them can also cause serious harm to consumers if they are not continuously updated, checked, or regulated.

FDA와 같은 규제 당국은 최근 일부 의료용 AI(의료용 소프트웨어, 즉 SaMD, "하드웨어 의료 기기의 일부가 아니면서 이러한 목적을 수행하는 하나 이상의 의료 목적으로 사용되는 소프트웨어")를 규제하는 새로운 접근 방식을 도입하여 성능을 개선하고 안전성과 효과를 보장하기 위한 조치를 취하고 있습니다(IMDRF, 2013). 예를 들어, 소프트웨어 사전 인증 프로그램을 개발하려는 FDA의 노력(2019b), 소위 "업데이트 문제"와 "적응형" 알고리즘과 "잠금형" 알고리즘의 처리 문제를 해결하기 위한 최근 토론 보고서(2019c), 최근 실행 계획(2021)이 있습니다. 특히 FDA와 같은 규제 기관은 현재 시간이 지남에 따라 계속 학습하고 변화하는 알고리즘의 마케팅을 허용해야 하는지에 대한 문제에 직면해 있습니다(FDA, 2019c; Babic et al., 2019). 이러한 적응형 알고리즘의 마케팅을 허용하기로 결정할 경우, 이러한 AI/ML 기반 SaMD가 지속적으로 안전하고 효과적이라는 것을 어떻게 보장할 수 있는지에 대한 후속 문제에 직면하게 됩니다. 규제 당국은 이러한 새로운 혁신적 규제 모델의 세부 사항을 파악해야 하지만, 이러한 모델의 핵심 구성 요소는 기기 관점이 아닌 시스템 관점뿐만 아니라 AI/ML 시스템 고유의 기능으로 인한 위험에 초점을 맞춘 지속적인 위험 모니터링 접근 방식이 필수적입니다(Babic 외., 2019; Gerke 외., 2020a).  
Regulators like the FDA have recently initiated steps toward new approaches of regulating some health AIs—those that are classified as Software as a Medical Device (i.e., SaMD, “software intended to be used for one or more medical purposes that perform these purposes without being part of a hardware medical device”) (IMDRF, 2013)—to improve their performance and ensure their safety and effectiveness. Examples include the FDA’s effort to develop a Software Precertification Program (2019b), its recent discussion paper (2019c) to address the so-called “update problem” and the treatment of “adaptive” versus “locked” algorithms (Babic et al., 2019), and its recent Action Plan (2021). In particular, regulators like the FDA currently face the problem of whether they should permit the marketing of algorithms that continue to learn and change over time (FDA, 2019c; Babic et al., 2019). If they decide to permit the marketing of such adaptive algorithms, they face the follow-up issue of how they can safeguard that such AI/ML-based SaMD are continuously safe and effective. Regulators still need to figure out the details of such new innovative regulatory models, but it is essential that a key component of such models will be a continuous risk monitoring approach that focuses on risks due to features that are specific to AI/ML systems as well as a system view rather than a device one (Babic et al., 2019; Gerke et al., 2020a).

학생들이 이러한 노력을 이해하는 것이 중요하며, 특히 여전히 남아있는 의료 AI 안전에 대한 격차와 장벽에 주의를 기울여야 합니다. 지속적인 규제 이니셔티브에도 불구하고 미래의 의료 전문가는 특정 임상 의사 결정 지원 소프트웨어와 많은 AI 앱 및 챗봇과 같이 현재 많은 의료 AI가 FDA 검토 대상이 아니라는 사실을 알아야 합니다(미국 연방 식품, 의약품 및 화장품법, 520(o)(1)). FDA 시판 전 검토를 받아야 하는 의료용 AI의 경우, 안전성과 효과에 대한 합리적인 보증을 제공하기 위해 다양한 통제가 필요한 여러 경로가 적용될 수 있습니다(FDA, 2018d). 의대생은 복잡한 규제 환경을 인식하고 해당 분야의 새로운 발전과 프로세스에 계속 참여하는 것이 중요합니다. 
It is important for students to understand these efforts, with particular attention to the gaps and barriers to health AI safety that remain. Even with ongoing regulatory initiatives, future health professionals need to know that many health AIs are currently not subject to FDA review, such as certain clinical decision support software and many AI apps and chatbot (U.S. Federal Food, Drug, and Cosmetic Act, s. 520(o)(1)). Of those health AIs that do need to undergo FDA premarket review, they can be subject to different pathways requiring different controls to provide reasonable assurance of their safety and effectiveness (FDA, 2018d). It is important for medical students to be aware of the complicated regulatory landscape and to remain engaged with such processes and new developments in the field.

환자들이 진료실 밖에서 찾을 수 있는 의료 솔루션을 점점 더 많이 수용함에 따라 의료 전문가는 소비자 건강 AI의 잠재적 위험에 대해 환자에게 교육해야 합니다. 또한 안전을 염두에 두고 설계된 AI 앱과 챗봇을 추천할 수 있어야 합니다. 이미 시장에 압도적으로 많은 앱과 챗봇이 출시되어 있고 매일 더 많은 앱과 챗봇이 추가되고 있기 때문에 이는 의료 전문가에게 현실적인 도전이 될 것입니다. 또한 이러한 앱과 챗봇은 자주 업데이트되기 때문에, 여전히 신뢰할 수 있고 추천할 만한지 판단하기가 더욱 어렵습니다. 또한 AI가 환자 치료에 관여할 때 누가 책임을 져야 하는지에 대한 우려도 상당합니다(Price et al., 2019, 2021). 의대생들이 이러한 문제에 대한 인식을 갖게 되면 해당 분야의 전문가들과 협력하여 건강 앱과 챗봇의 안전성과 효과를 평가하는 강력한 윤리 및 법적 프레임워크를 개발하는 등 문제 해결에 참여하도록 장려할 수 있습니다. 
As patients embrace health care solutions that can be increasingly found outside of the doctor’s office, health professionals will need to educate patients about the potential risks of consumer health AIs. They will need to be able to recommend AI apps and chatbots that are designed with safety in mind. This will be a practical challenge for health professionals since there is already an overwhelming number of apps and chatbots available on the market, and more are added every day. In addition, these apps and chatbots are frequently updated, which makes it even harder to determine whether they are still trustworthy and recommendable. There are also significant concerns regarding who is liable when AI is involved in patient care (Price et al., 2019, 2021). By gaining an awareness of these problems, medical students might be encouraged to participate in solving them, such as by engaging with experts in the field to develop robust ethical and legal frameworks that evaluate the safety and effectiveness of health apps and chatbots.

투명성
Transparency

사전 동의와 안전 문제를 복잡하게 만들기 위해 '블랙박스'인 의료 AI를 사용하면 의사가 본질적으로 완전히 투명하지 않은 시스템으로 작업하면서 환자에게 어떻게 투명성을 유지할 수 있는지에 대한 의문이 제기됩니다. '블랙박스'는 일반적으로 의사의 환자 치료를 돕기 위해 설계되었지만 입력 데이터가 어떻게 분석되어 의사 결정에 도달하는지 설명하지 않는 소프트웨어로 설명할 수 있습니다(Daniel et al., 2019). 이러한 설명 불가능성은 의사가 쉽게 이해할 수 없는 복잡한 AI/ML 모델 또는 알고리즘이 독점적인 것으로 간주되기 때문에 발생할 수 있습니다(Daniel et al., 2019). 의사가 특정 환자에 대해 의료 AI/ML이 어떻게 또는 왜 결정을 내렸는지 이해할 수 없는 경우, 환자에게 알려야 할 내용은 물론 해당 소프트웨어에 의존해야 하는지 여부를 고려하는 것이 중요합니다. 데이터 과학자들이 AI/ML의 블랙박스를 열기 위해 노력하고 있지만(Lipton, 2016), 의사와 환자가 얼마나 많은 정보를 가져야 하는지에 대한 문제는 설명 가능한 AI와 함께 남아있을 것입니다. 
To complicate the matters of informed consent and safety, the use of health AIs that are ‘black boxes’ raises the question of how physicians can remain transparent with patients while working with systems that are, by nature, not fully transparent. ‘Black boxes’ can be described as software that is usually designed to help physicians with patient care, but that does not explain how the input data is analyzed to reach its decision (Daniel et al., 2019). This inexplicability may result from complicated AI/ML models that cannot be easily understood by physicians or due to the algorithm being considered proprietary (Daniel et al., 2019). If physicians cannot comprehend how or why a health AI/ML has arrived at a decision for a particular patient, it is important to consider whether they should be relying on the software, let alone what they should be informing their patients. Although data scientists are working on opening the black box of AI/ML (Lipton, 2016), the issue of how much information physicians and their patients should have will remain with explainable AI.

새로 배포된 의료 AI/ML이 환자의 사망 날짜를 예측했지만, 의사는 의료 AI/ML이 이 날짜를 어떻게 계산했는지 이해할 방법이 없는 상황을 생각해 보십시오. 사망률을 예측하는 ML 기법은 이미 여러 그룹에서 설명한 바 있습니다(Motwani 외., 2017; Shouval 외., 2017; Weng 외., 2019). 의료 AI/ML이 환자가 몇 시간 더 생존하지 못할 것이라고 계산했다고 상상해 보세요. 한편 의사는 제한적이기는 하지만 다른 환자에 대한 임상 경험을 바탕으로 환자의 예후를 훨씬 더 좋게 예측할 수 있습니다.

• 의사는 환자와 가족에게 건강 AI의 계산 결과를 알려야 할까요?
• 의사가 정확히 뭐라고 말해야 할까요?

이제 대부분의 경우 건강 AI/ML이 올바른 것으로 판명되었다고 가정해 보겠습니다.

• 이제 의사는 이 AI/ML에 전적으로 의존해야 할까요?
• 의사가 임상에서 블랙박스형 의료 AI/ML 모델을 전혀 사용해야 할까요? 

Consider a situation in which a newly deployed health AI/ML predicts the date of a patient’s death, but the physician has no way of understanding how the health AI/ML has calculated this date. ML techniques to predict mortality have already been described by several groups (Motwani et al., 2017; Shouval et al., 2017; Weng et al., 2019). Imagine that the health AI/ML has calculated that the patient will not survive a few more hours. Meanwhile, based on clinical experience, albeit limited, with other patients, the physician would estimate a much better prognosis for the patient.

• Should the physician inform the patient and their family about the health AI’s calculation?
• What exactly would the physician say?

Now consider that the health AI/ML turns out to be correct in most such cases.

• Should a physician now rely on this AI/ML fully?
• Should physicians use black-box health AI/ML models in clinical practice at all?

이러한 질문에 대한 답은 의사의 법적 책임 위험과 같은 다양한 고려 사항에 따라 달라질 수 있습니다. 또한 AI/ML 제조업체가 무작위 임상시험 등을 통해 해당 기기가 안전하고 효과적이라는 충분한 증거를 제시했는지 여부에 따라 달라질 수 있습니다. 의대생이라면 알겠지만, 의학에서 사용되는 많은 약물은 초기에 완전히 이해되지 않았을 수 있습니다. 예를 들어, 임상의들은 약 70년 동안 아스피린이 해열, 진통, 항염증 효과가 있다는 것을 알고 있었지만 그 근본적인 메커니즘은 알지 못한 채 아스피린을 처방해 왔습니다(London, 2019). 아스피린이 사이클로옥시게나제와 결합하여 프로스타글란딘 생성을 억제하여 이러한 효과를 생성하는 경로는 나중에야 밝혀졌습니다(Vane & Botting, 2003). 따라서 신뢰할 수 있고 정확하며 장기와 같은 희소 자원을 할당하는 데 사용되지 않는다는 충분한 증거가 있는 한, 의사가 임상에서 일부 블랙박스 건강 AI/ML 모델을 사용할 수 있고 사용해야 한다고 주장할 수도 있습니다(Babic et al., 2020). 의대생들이 가까운 미래에 의사로서 블랙박스 의료 AI/ML 모델과 함께 일하게 된다면, 병원이 상당한 비용을 들여 구입하여 사용을 권장하고 있는 블랙박스 의료 AI/ML에 대해 병상에서 반대하는 자신을 발견하기 전에 윤리적으로 그렇게 하는 방법에 대한 논의가 시작되어야 합니다. 
The answers to such questions may depend on different considerations, such as the physician’s liability risk. They may also depend on whether the AI/ML maker has shown sufficient proof that the device is safe and effective such as through randomized clinical trials. As medical students might know, many of the drugs used in medicine may not have been fully understood initially. For example, clinicians prescribed Aspirin for about 70 years, knowing that the drug had antipyretic, analgesic, and anti-inflammatory effects, but without knowing its underlying mechanism (London, 2019). The pathway by which aspirin binds cyclooxygenase to inhibit prostaglandin production to produce these effects was only later understood (Vane & Botting, 2003). Thus, one might argue that physicians can (and perhaps should) use some black-box health AI/ML models in clinical practice, as long as there is sufficient proof that they are reliable and accurate and are not used for allocating scarce resources such as organs (Babic et al., 2020). If medical students are to be working alongside black-box health AI/ML models as physicians in the near future, the discussions about how to do so ethically should begin before they find themselves at the bedside disagreeing with a black-box health AI/ML that the hospital purchased for a considerable amount of money and thus is likely encouraging them to use.

환자 개인정보 보호
Patient privacy

임상 환경을 넘어 웨어러블과 건강 앱을 통해 일상 생활에서 환자로부터 수집되는 대량의 건강 데이터로 인해 환자 개인정보 보호가 중요한 고려 사항으로 떠올랐습니다. 전례 없는 양의 건강 데이터가 축적되면 환자가 어느 정도인지 인지하지 못한 채 환자의 개인정보가 침해될 수 있습니다. 
With the large amounts of health data collected from patients, beyond clinical settings and in daily life through wearables and health apps, patient privacy has emerged as an important consideration. The accumulation of unprecedented amounts of health data may compromise patient privacy, without patients even realizing to what extent.

예를 들어, 최근의 소송인 Dinerstein 대 Google 소송(2019)은 개인의 데이터 보호 및 개인정보 보호에 대한 새로운 관심을 반영하고 있습니다. 이 소송은 시카고대학교 의료센터의 환자였던 매트 디너스타인이 개인 자격으로, 그리고 비슷한 처지에 있는 다른 모든 환자를 대신하여 Google, 시카고대학교, 시카고대학교 의료센터를 상대로 제기한 소송입니다. 2017년 시카고대학교 의료센터와 Google은 병원 재입원과 같은 의료 이벤트를 예측하기 위해 새로운 머신러닝 기법을 사용하기 위한 파트너십을 선언했고(Wood, 2017), 1년 후 연구 결과가 발표되었습니다(Rajkomar 외., 2018). Dinerstein은 2009년부터 2016년 사이에 시카고대학교 의료센터가 환자의 명시적 동의 없이 자유 텍스트 메모와 데이터 스탬프가 포함된 수십만 건의 의료 기록을 Google에 전송했다고 주장했습니다(Dinerstein v. Google; Rajkomar 외., 2018). 그러나 이 소송은 2020년 9월 일리노이주 연방 판사가 Dinerstein이 손해를 입증하지 못했다는 이유로 기각했습니다. 이 사례는 구글과 같은 거대 기술 기업과 환자 데이터를 공유하는 병원을 상대로 소송을 제기하는 데 따르는 어려움을 강조하고, 의료 데이터 개인정보 보호가 불충분하다는 것을 보여줍니다(Becker, 2020). 
For example, the recent lawsuit, Dinerstein v. Google, has reflected the emerging concern for individuals’ data protection and privacy (2019). The lawsuit was by Matt Dinerstein, a patient of the University of Chicago Medical Center, individually and on behalf of all other patients similarly situated, against Google, the University of Chicago, and the University of Chicago Medical Center. In 2017, the University of Chicago Medical Center and Google proclaimed a partnership to use new ML techniques to predict medical events, such as hospital readmissions (Wood, 2017), and the study results were published a year later (Rajkomar et al., 2018). Dinerstein claimed that between 2009 and 2016, the University of Chicago Medical Center transferred hundreds of thousands of medical records to Google, which included free-text notes and datestamps without obtaining patients’ express consent (Dinerstein v. Google; Rajkomar et al., 2018). However, this lawsuit was dismissed in September 2020 by a federal judge in Illinois on the grounds that Dinerstein failed to demonstrate damages. This case highlights the challenges of pursuing claims against hospitals that share patient data with tech giants such as Google, and shows the insufficient protection of health data privacy (Becker, 2020).

이 사례를 통해 학생들은 데이터 처리 방법 및 공유 대상과 같은 데이터 공유 문제와 환자가 자신의 데이터에 대해 가져야 하는 권리의 유형에 대해 배울 수 있습니다. 이 사례는 다음과 같은 새로운 환자 개인정보 보호 문제에 대한 토론을 촉진하는 데 도움이 됩니다. 

• 데이터 삼각 측량을 통한 재식별 문제(Cohen & Mello, 2019; Price & Cohen, 2019; Gerke 외., 2020b),
• 의료 AI 혁신과 민감한 환자 데이터 간의 상호 작용,
• 병원 시스템과 타사 의료 AI 개발자 간의 관계 

Through this example, students can learn about data sharing issues such as how data should be handled and with whom it should be shared, as well as the types of rights patients should have regarding their data. This example helps to facilitate a discussion on emerging patient privacy concerns, such as

• the issue of reidentification through data triangulation (Cohen & Mello, 2019; Price & Cohen, 2019; Gerke et al., 2020b),
• the interplay between health AI innovation and sensitive patient data, and
• the relationship between hospital systems and third party health AI developers.

환자 개인정보 보호는 의학계에서 오랫동안 지켜온 원칙이며, 모든 의료 AI의 개발과 구현에 있어 핵심적인 고려사항으로 남아 있어야 합니다. 의대생은 의료 분야에서 데이터 프라이버시의 윤리적, 법적 차원에 대한 이해와 함께 새로운 의료 AI 개발을 접하여 환자 프라이버시를 위협하는 새로운 의료 기술의 구현을 비판적으로 평가할 수 있어야 합니다.
Patient privacy has been a longstanding principle in medicine, and should remain a key consideration with the development and implementation of all health AIs. Medical students should be confronted with new health AI developments alongside an understanding of the ethical and legal dimensions of data privacy in health care so they can critically appraise the implementation of new health technologies that threaten patient privacy.

할당
Allocation

마지막으로 할당 문제가 있습니다. 자원의 공정한 배분은 의료 분야에서 지속적으로 제기되는 문제이며, 의료 AI의 등장으로 더욱 복잡해졌습니다. 실제 사례 중 하나는 알고리즘을 기반으로 간병 자원을 할당하는 것입니다. 2016년에 주 프로그램의 일환으로 주당 56시간의 간병을 배정받았던 아칸소 주 출신의 뇌성마비 여성 태미 돕스(Tammy Dobbs)는 주정부가 알고리즘에 의존해 간병을 배정하기로 결정한 후 갑자기 32시간만 배정받았습니다(Lecher, 2018). 돕스 씨에 따르면 이 시간은 충분하지 않았고 알고리즘이 어떻게 결정에 도달했는지에 대한 정보도 제공되지 않았습니다(Lecher, 2018). AI는 이러한 결정을 보이지 않게 만들 수 있기 때문에 할당 결정을 복잡하게 만듭니다. 의대생들은 태미 돕스처럼 자동화된 시스템으로 인해 의료 자원에 대한 접근성이 저하될 수 있는 미래의 환자들을 옹호할 수 있도록 AI가 자원 할당과 어떻게 상호 작용하는지에 대한 인식을 가져야 합니다. 
Finally, there is the issue of allocation. The just allocation of resources is an ongoing issue in health care, made more complicated by the advent of health AI. One real-life example involves the allocation of caregiving resources based on an algorithm. In 2016, Tammy Dobbs, a woman from Arkansas with cerebral palsy who was initially allocated 56 h of care per week as part of a state program, was suddenly allotted just 32 h after the state decided to rely on an algorithm to allocate its caregiving (Lecher, 2018). According to Ms. Dobbs, these hours were insufficient, and she was not given any information about how the algorithm reached its decision (Lecher, 2018). AI complicates allocation decisions because it can make these decisions invisible. Medical students must gain an awareness of how AI interfaces with resource allocation so they can advocate for future patients, who, like Tammy Dobbs, may find their access to health care resources undermined by automated systems.

임상 환경에서 의료 AI를 사용하는 것은 이러한 도구의 급여화에 달려 있습니다. 미래의 많은 환자들, 아마도 가장 취약한 환자들은 보험이 적용되지 않는다면 의료 AI 진단 또는 의료 AI 치료 도구에 접근하지 못할 수도 있습니다. 학생들과 함께 논의해야 할 질문은 다음과 같습니다:

• 의료 AI의 맥락에서 정의란 무엇인가?
• 정의를 파괴하지 않고 증진하기 위해 의료 AI를 어떻게 설계하고 사용할 수 있을까요?
• 의사, 의료 보험 회사, 공중 보건 당국은 어떻게 의료 AI의 공정한 배분을 보장할 수 있을까요? 

The use of health AIs in clinical settings also depends on the reimbursement of such tools. Many future patients—perhaps the most vulnerable ones—may not have access to health AI diagnostic or health AI treatment tools if their insurance does not cover them. Questions that should be discussed with students include:

• What is justice in the context of health AI?
• How can health AI be designed and used to promote justice rather than to subvert it?
• How can physicians, health insurance companies, and public health authorities ensure the just allocation of health AI?

의료 시스템의 중요한 미래 이해당사자인 오늘날의 의대생은 환자와의 일상적인 임상적 상호 작용에서, 그리고 의료에 AI를 통합하는 것에 대한 광범위한 정책 논의에서 의료 AI 사용과 관련된 중요한 결정을 내려야 할 것입니다. 최근의 사건들은 의대생들에게 의료 AI 윤리를 가르쳐야 할 필요성을 강조하고 있습니다. 의과대학에서 의료 AI에 대한 윤리적 논의를 시작하여 학생들이 의료 AI의 지속적인 발전에 주의를 기울일 뿐만 아니라, 윤리적 렌즈를 통해 이러한 발전을 이해하고 의료 AI 또는 기타 디지털 의료 기술로 인해 새롭게 제기되는 윤리적 문제를 처리하는 데 필요한 도구를 개발할 수 있도록 장려해야 합니다. 
As important future stakeholders in the health care system, today’s medical students will have to make important decisions related to the use of health AI, both in every day clinical interactions with patients, and in broader policy discussions about the emergent integration of AI into health care. Recent events are highlighting the need to teach health AI ethics to medical students. We must begin the ethical discussion about health AI in medical schools so that students will not only be encouraged to pay attention to the ongoing developments in health AI but also will develop the tools needed to understand these developments through an ethical lens and be able to deal with new emerging ethical issues raised by health AI or other digital health technologies.

이 커리큘럼을 구성하는 윤리적 이슈는 사전 동의, 편견, 안전, 투명성, 환자 개인정보 보호 및 할당입니다. 이러한 문제에 대해 도전적인 질문을 제기하고 사례 연구의 맥락에서 제시할 수 있는 최신 의료 AI 이벤트가 부족하지 않습니다. 의대생은 이러한 문제를 제기하는 실제 사례를 바탕으로 한 사례 연구를 접함으로써 이미 의료 현장에 영향을 미치고 있는 의료 AI의 윤리적 문제를 이해하고 해결할 수 있는 기술을 습득할 수 있습니다.

The ethical issues that should constitute this curriculum are informed consent, bias, safety, transparency, patient privacy, and allocation. There is no shortage of current health AI events that raise challenging questions about these issues, and that can be presented in the context of case studies. With exposure to case studies based on real-life examples that raise these issues, medical students can gain the skills to appreciate and solve the ethical challenges of health AI that are already affecting the practice of medicine.

Health Artificial Intelligence (AI) has the potential to improve health care, but at the same time, raises many ethical challenges. Within the field of health AI ethics, the solutions to the questions posed by ethical issues such as informed consent, bias, safety, transparency, patient privacy, and allocation are complex and difficult to navigate. The increasing amount of data, market forces, and changing landscape of health care suggest that medical students may be faced with a workplace in which understanding how to safely and effectively interact with health AIs will be essential. Here we argue that there is a need to teach health AI ethics in medical schools. Real events in health AI already pose ethical challenges to the medical community. We discuss key ethical issues requiring medical school education and suggest that case studies based on recent real-life examples are useful tools to teach the ethical issues raised by health AIs.

• 분석 프레임워크: 분석에 참여하는 연구자들이 공동으로 개발한 카테고리로 구성된 일련의 코드로, 데이터를 관리하고 구성하는 데 사용할 수 있습니다. 프레임워크는 연구 질문에 답하는 데 도움이 되는 방식으로 데이터를 요약/축소하는 데 도움이 되는 새로운 데이터 구조(참가자가 제공한 전체 원본 설명이 아닌)를 생성합니다.
  Analytical framework: A set of codes organised into categories that have been jointly developed by researchers involved in analysis that can be used to manage and organise the data. The framework creates a new structure for the data (rather than the full original accounts given by participants) that is helpful to summarize/reduce the data in a way that can support answering the research questions.
• 분석 메모: 특정 개념, 주제 또는 문제에 대한 서면 조사로, 분석 프로세스를 포착하는 데이터의 새로운 이슈를 반영합니다(추가 파일 1, 섹션 7 참조).
  Analytic memo: A written investigation of a particular concept, theme or problem, reflecting on emerging issues in the data that captures the analytic process (see Additional file 1, Section 7).
• 카테고리: 분석 과정에서 코드는 유사하고 상호 연관된 아이디어 또는 개념을 중심으로 클러스터로 그룹화됩니다. 카테고리와 코드는 일반적으로 분석 프레임워크에서 트리 다이어그램 구조로 배열됩니다. 카테고리는 원시 데이터와 밀접하고 명시적으로 연결되어 있지만, 카테고리를 개발하는 것은 데이터를 추상화하는 프로세스를 시작하는 방법입니다(즉, 특정 또는 일화적인 것이 아니라 일반적인 것을 향해).
  Categories: During the analysis process, codes are grouped into clusters around similar and interrelated ideas or concepts. Categories and codes are usually arranged in a tree diagram structure in the analytical framework. While categories are closely and explicitly linked to the raw data, developing categories is a way to start the process of abstraction of the data (i.e. towards the general rather than the specific or anecdotal).
• 차트 작성: 요약된 데이터를 프레임워크 메서드 매트릭스에 입력합니다(추가 파일 1, 섹션 6 참조). 
  Charting: Entering summarized data into the Framework Method matrix (see Additional File 1, Section 6).
• 코드: '코딩'이라는 프로세스에서 원시 데이터의 발췌에 할당되는 설명적 또는 개념적 레이블입니다(추가 파일 1, 섹션 3 참조). 
  Code: A descriptive or conceptual label that is assigned to excerpts of raw data in a process called ‘coding’ (see Additional File 1, Section 3).
• 데이터: 정성적 데이터는 일반적으로 분석하기 전에 텍스트 형식이어야 합니다. 이러한 텍스트는 도출 텍스트(음식 일기 등 연구를 위해 특별히 작성된 텍스트) 또는 기존 텍스트(회의록, 정책 문서 또는 웹로그 등 기존 텍스트)일 수도 있고, 인터뷰 또는 포커스 그룹 데이터를 필사하거나 참여자 관찰을 수행하거나 대상 또는 사회적 상황을 관찰하면서 '현장' 노트를 작성하여 생성할 수도 있습니다.
  Data: Qualitative data usually needs to be in textual form before analysis. These texts can either be elicited texts (written specifically for the research, such as food diaries), or extant texts (pre-existing texts, such as meeting minutes, policy documents or weblogs), or can be produced by transcribing interview or focus group data, or creating ‘field’ notes while conducting participant-observation or observing objects or social situations.
• 색인화: 합의된 분석 프레임워크의 코드를 전체 데이터 세트에 체계적으로 적용하는 것입니다(추가 파일 1, 섹션 5 참조).
  Indexing: The systematic application of codes from the agreed analytical framework to the whole dataset (see Additional File 1, Section 5).
• 매트릭스: 스프레드시트에는 요약된 데이터를 코드(열)와 사례(행)별로 입력하는 수많은 셀이 포함되어 있습니다(추가 파일 1, 섹션 6 참조).
  Matrix: A spreadsheet contains numerous cells into which summarized data are entered by codes (columns) and cases (rows) (see Additional File 1, Section 6).
• 주제: 전체 데이터 집합 분석의 최종 결과물로, 데이터의 측면을 묘사하거나 설명하는 해석적 개념 또는 명제입니다. 테마는 사례 간 및 사례 내 비교를 통해 데이터 범주를 조사하여 명확하게 표현하고 개발합니다. 일반적으로 여러 범주가 각 테마 또는 하위 테마에 속합니다[3].
  Themes: Interpretive concepts or propositions that describe or explain aspects of the data, which are the final output of the analysis of the whole dataset. Themes are articulated and developed by interrogating data categories through comparison between and within cases. Usually a number of categories would fall under each theme or sub-theme [3].
• 트랜스크립트: 인터뷰나 대화와 같은 구두 상호 작용에 대한 축어적(단어 하나하나) 기록입니다.
  Transcript: A written verbatim (word-for-word) account of a verbal interaction, such as an interview or conversation.

프레임워크 방법은 흔히 주제별 분석 또는 질적 콘텐츠 분석이라고 하는 광범위한 분석 방법군에 속합니다. 이러한 접근 방식은 정성적 데이터의 공통점과 차이점을 파악한, 다음 데이터의 여러 부분 간의 관계에 초점을 맞추어 주제를 중심으로 한 기술적 또는 설명적 결론을 도출하고자 합니다. 프레임워크 방법은 1980년대 후반 영국 국립사회연구센터의 질적 연구 부서의 연구자인 제인 리치와 리즈 스펜서에 의해 대규모 정책 연구에 사용하기 위해 개발되었습니다[1]. 현재는 건강 연구를 비롯한 다른 분야에서도 널리 사용되고 있습니다[3-12]. 요약된 데이터의 행(사례), 열(코드), '셀'로 구성된 매트릭스 아웃풋은 연구자가 데이터를 체계적으로 축소하여 사례별, 코드별로 분석할 수 있는 구조를 제공합니다[1]. 대부분의 경우 '사례'는 개별 인터뷰 대상자이지만, 미리 정의된 그룹이나 조직과 같은 다른 분석 단위에도 적용될 수 있습니다. 전체 데이터 세트에서 주요 주제에 대한 심층 분석이 이루어질 수 있지만, 각 연구 참여자의 견해는 매트릭스 내에서 해당 account의 다른 측면과 연결되어 있으므로 개인의 견해에 대한 맥락이 손실되지 않습니다. 데이터를 비교하고 대조하는 것은 질적 분석에 매우 중요하며, 프레임워크 방법의 구조와 프로세스에는 개별 사례 내뿐만 아니라 사례 간 데이터를 쉽게 비교할 수 있는 기능이 내장되어 있습니다. 
The Framework Method sits within a broad family of analysis methods often termed thematic analysis or qualitative content analysis. These approaches identify commonalities and differences in qualitative data, before focusing on relationships between different parts of the data, thereby seeking to draw descriptive and/or explanatory conclusions clustered around themes. The Framework Method was developed by researchers, Jane Ritchie and Liz Spencer, from the Qualitative Research Unit at the National Centre for Social Research in the United Kingdom in the late 1980s for use in large-scale policy research [1]. It is now used widely in other areas, including health research [3–12]. Its defining feature is the matrix output: rows (cases), columns (codes) and ‘cells’ of summarised data, providing a structure into which the researcher can systematically reduce the data, in order to analyse it by case and by code [1]. Most often a ‘case’ is an individual interviewee, but this can be adapted to other units of analysis, such as predefined groups or organisations. While in-depth analyses of key themes can take place across the whole data set, the views of each research participant remain connected to other aspects of their account within the matrix so that the context of the individual’s views is not lost. Comparing and contrasting data is vital to qualitative analysis and the ability to compare with ease data across cases as well as within individual cases is built into the structure and process of the Framework Method.

프레임워크 방법은 따라야 할 명확한 단계를 제공하며, 요약된 데이터의 고도로 구조화된 결과물을 생성합니다. 따라서 여러 연구자가 프로젝트를 진행하는 경우, 특히 모든 구성원이 질적 데이터 분석 경험이 없는 다학제 연구팀에서 전체 데이터 집합에 대한 총체적이고 설명적인 개요를 얻는 것이 바람직한 대규모 데이터 집합을 관리하는 데 유용합니다. 그러나 이 방법은 모든 유형의 정성적 데이터를 분석하거나 모든 정성적 연구 질문에 답하는 데 적합한 도구가 아니며, 정량적 연구자를 위한 '쉬운' 정성적 연구 버전도 아니므로 이 방법을 선택하기 전에 주의를 기울이는 것이 좋습니다. 중요한 점은 프레임워크 방법은 매우 이질적인 데이터를 수용할 수 없다는 것입니다. 즉, 데이터는 유사한 주제나 주요 이슈를 다루고 있어야 분류가 가능하다는 것입니다. 물론 개별 인터뷰 대상자는 각 주제와 관련하여 매우 다른 견해나 경험을 가지고 있을 수 있으며, 이를 비교하고 대조할 수 있습니다. 프레임워크 방법은 반구조화된 인터뷰 녹취록의 주제별 분석에 가장 일반적으로 사용되지만, 원칙적으로 회의록이나 일기[12], 관찰 현장 노트[10] 등 다른 유형의 텍스트 데이터[13]에도 적용될 수 있습니다.
The Framework Method provides clear steps to follow and produces highly structured outputs of summarised data. It is therefore useful where multiple researchers are working on a project, particularly in multi-disciplinary research teams were not all members have experience of qualitative data analysis, and for managing large data sets where obtaining a holistic, descriptive overview of the entire data set is desirable. However, caution is recommended before selecting the method as it is not a suitable tool for analysing all types of qualitative data or for answering all qualitative research questions, nor is it an ‘easy’ version of qualitative research for quantitative researchers. Importantly, the Framework Method cannot accommodate highly heterogeneous data, i.e. data must cover similar topics or key issues so that it is possible to categorize it. Individual interviewees may, of course, have very different views or experiences in relation to each topic, which can then be compared and contrasted. The Framework Method is most commonly used for the thematic analysis of semi-structured interview transcripts, which is what we focus on in this article, although it could, in principle, be adapted for other types of textual data [13], including documents, such as meeting minutes or diaries [12], or field notes from observations [10].

질적 연구자와 함께 일하거나 처음으로 질적 연구를 탐구하는 정량적 연구자에게는 프레임워크 방법의 체계적인 프로세스와 '스프레드시트' 접근 방식이 정량적 패러다임에 더 밀접하게 부합하는 것처럼 보이기 때문에 매력적으로 다가옵니다[14]. 프레임워크 방법은 다루기 어려워 보일 수 있는 정성적 데이터를 분류하고 정리하는 매우 체계적인 방법이지만, (분석 선택을 내리고 해석 전략을 가시화하고 감사할 수 있게 만드는 방법 등) 정성적 데이터 분석과 관련된 일반적인 문제에 대한 만병통치약은 아닙니다. 매트릭스를 적절하게 해석하고 설명, 범주, 설명 및 유형화를 용이하게 생성하기 위해서는 질적 연구 스킬이 필요합니다. 또한 다른 질적 방법에서와 마찬가지로 프레임워크 방법에서도 반성성, 엄격성 및 품질이 요구됩니다. 따라서 분석에 프레임워크 방법을 사용하는 연구는 숙련된 질적 연구자가 감독하는 것이 필수적이지만, 그렇다고 해서 질적 연구를 처음 접하는 연구자가 더 넓은 연구팀의 일원으로 분석에 기여하는 것을 배제하는 것은 아닙니다. 
For quantitative researchers working with qualitative colleagues or when exploring qualitative research for the first time, the nature of the Framework Method is seductive because its methodical processes and ‘spreadsheet’ approach seem more closely aligned to the quantitative paradigm [14]. Although the Framework Method is a highly systematic method of categorizing and organizing what may seem like unwieldy qualitative data, it is not a panacea for problematic issues commonly associated with qualitative data analysis such as how to make analytic choices and make interpretive strategies visible and auditable. Qualitative research skills are required to appropriately interpret the matrix, and facilitate the generation of descriptions, categories, explanations and typologies. Moreover, reflexivity, rigour and quality are issues that are requisite in the Framework Method just as they are in other qualitative methods. It is therefore essential that studies using the Framework Method for analysis are overseen by an experienced qualitative researcher, though this does not preclude those new to qualitative research from contributing to the analysis as part of a wider research team.

질적 데이터 분석에는 담화 분석[15] 및 민족지학[16]과 같이 언어와 사회적 상호작용에서 언어가 어떻게 사용되는지에 주목하는 접근법, 현상학[17, 18] 및 내러티브 방법[19]과 같이 경험, 의미 및 언어에 관심을 갖는 접근법, 근거 이론[20, 21]과 같이 일련의 절차와 상호 연결된 단계를 통해 데이터에서 도출된 이론을 개발하고자 하는 접근법 등 다양한 접근법이 존재합니다. 이러한 접근법 중 다수는 특정 분야와 연관되어 있으며 분석 과정을 형성하는 철학적 아이디어에 의해 뒷받침됩니다[22]. 그러나 프레임워크 방법은 특정 인식론적, 철학적 또는 이론적 접근 방식과 일치하지 않습니다. 오히려 테마를 생성하는 것을 목표로 하는 다양한 질적 접근 방식과 함께 사용할 수 있도록 조정할 수 있는 유연한 도구입니다. 
There are a number of approaches to qualitative data analysis, including those that pay close attention to language and how it is being used in social interaction such as discourse analysis [15] and ethnomethodology [16]; those that are concerned with experience, meaning and language such as phenomenology [17, 18] and narrative methods [19]; and those that seek to develop theory derived from data through a set of procedures and interconnected stages such as Grounded Theory [20, 21]. Many of these approaches are associated with specific disciplines and are underpinned by philosophical ideas which shape the process of analysis [22]. The Framework Method, however, is not aligned with a particular epistemological, philosophical, or theoretical approach. Rather it is a flexible tool that can be adapted for use with many qualitative approaches that aim to generate themes.

테마의 개발은 질적 데이터 분석의 공통적인 특징으로, 조사 대상 현상을 밝힐 수 있는 완전한 설명을 생성하기 위해 패턴을 체계적으로 검색하는 것을 포함합니다. 특히, 많은 질적 접근 방식은 근거 이론의 일부로 개발된 '지속적 비교 방법'을 사용하는데, 이는 각 주제를 구체화하기 위해 사례 간에 체계적으로 비교하는 것을 포함합니다[21, 23]. 근거 이론과 달리 프레임워크 방법은 사회 이론을 생성하는 데는 관심이 없지만, 매트릭스 전반에 걸친 데이터 검토를 통해 지속적인 비교 기법을 크게 촉진할 수 있습니다. 
The development of themes is a common feature of qualitative data analysis, involving the systematic search for patterns to generate full descriptions capable of shedding light on the phenomenon under investigation. In particular, many qualitative approaches use the ‘constant comparative method’ , developed as part of Grounded Theory, which involves making systematic comparisons across cases to refine each theme [21, 23]. Unlike Grounded Theory, the Framework Method is not necessarily concerned with generating social theory, but can greatly facilitate constant comparative techniques through the review of data across the matrix.

프레임워크 방법이 매우 체계적이기 때문에, 다른 논평가들이 지적했듯이, 종종 질적 분석에 대한 연역적 접근법과 혼동되기도 합니다[13, 14]. 그러나 이 도구 자체는 귀납적 또는 연역적 주제 분석 중 어느 쪽에도 충실하지 않으며, 연구가 귀납적-연역적 연속체에서 어디에 위치하는지는 연구 질문에 따라 달라집니다.

• '환자가 심혈관 질환 발병에 대해 정확한 생의학적 설명을 할 수 있는가'와 같은 질문은 본질적으로 예/아니오 질문이므로(설명의 정도나 적절한 용어 사용에 따라 미묘한 차이가 있을 수 있지만) 데이터 수집과 분석(예: 구조화 또는 반구조화 인터뷰, 지시적 질적 내용 분석[24]) 모두에 연역적 접근 방식이 필요합니다.
• 마찬가지로 행동 변화 이론과 같은 기존 이론에 근거하여 분석하는 경우, 예를 들어 '계획된 행동 이론이 GP 처방을 설명하는 데 어떻게 도움이 되는가'와 같은 연구 질문의 경우 연역적 접근 방식을 취할 수 있습니다[11].
• 그러나 '사람들은 심혈관 질환 발병에 대한 설명을 어떻게 구성하는가'와 같은 연구 질문은 예상치 못한 것을 허용하고 연구자가 미리 예측할 수 없는 문화적 신념, 음식 준비 습관, '운명'의 개념 또는 슬픔과 같은 삶의 다른 중요한 사건과의 연관성을 포함할 수 있는 인터뷰 대상자의 사회적 위치 응답[25]을 허용하는 보다 귀납적 접근 방식이 필요합니다(예: 인터뷰 대상자 주도 개방형 인터뷰 및 근거 이론 [20]).

Perhaps because the Framework Method is so obviously systematic, it has often, as other commentators have noted, been conflated with a deductive approach to qualitative analysis [13, 14]. However, the tool itself has no allegiance to either inductive or deductive thematic analysis; where the research sits along this inductive-deductive continuum depends on the research question.

• A question such as, ‘Can patients give an accurate biomedical account of the onset of their cardiovascular disease?’ is essentially a yes/no question (although it may be nuanced by the extent of their account or by appropriate use of terminology) and so requires a deductive approach to both data collection and analysis (e.g. structured or semi-structured interviews and directed qualitative content analysis [24]).
• Similarly, a deductive approach may be taken if basing analysis on a pre-existing theory, such as behaviour change theories, for example in the case of a research question such as ‘How does the Theory of Planned Behaviour help explain GP prescribing?’ [11].
• However, a research question such as, ‘How do people construct accounts of the onset of their cardiovascular disease?’ would require a more inductive approach that allows for the unexpected, and permits more socially-located responses [25] from interviewees that may include matters of cultural beliefs, habits of food preparation, concepts of ‘fate’, or links to other important events in their lives, such as grief, which cannot be predicted by the researcher in advance (e.g. an interviewee-led open ended interview and grounded theory [20]).

이러한 모든 경우에 프레임워크 방법을 사용하여 데이터를 관리하는 것이 적절할 수 있습니다.

• 연역적 접근법에서는 이전 문헌, 이전 이론 또는 연구 질문의 특성에 따라 주제와 코드가 미리 선택되는 반면,
• 귀납적 접근법에서는 개방형(제한 없는) 코딩을 통해 데이터에서 주제를 생성한 후 주제를 구체화하는 방식으로 차이가 분명해집니다.

많은 경우, 프로젝트에 탐구해야 할 특정 이슈가 있지만 참가자의 경험이나 현상에 의미를 부여하는 방식에서 예상치 못한 다른 측면을 발견할 수 있는 여지를 남겨두려는 목적이 있는 경우 두 가지 접근 방식을 결합하는 것이 적절합니다. 요컨대, 프레임워크 방법은 연역적, 귀납적 또는 복합적 유형의 질적 분석에 맞게 조정할 수 있습니다. 그러나 사례와 주제별로 데이터를 분석하는 것이 적절하지 않은 연구 질문이 있으므로 프레임워크 방법을 피해야 하는 경우도 있습니다. 예를 들어,

• 연구 질문에 따라 생활사 데이터는 내러티브 분석[19]을,
• 환자와 의료진 간의 상담 기록은 대화 분석[26]을,
• 임산부를 위한 자료와 같은 다큐멘터리 데이터는 담화 분석[27]을 사용하여 분석하는 것이 더 적합할 수 있습니다. 

In all these cases, it may be appropriate to use the Framework Method to manage the data. The difference would become apparent in how themes are selected:

• in the deductive approach, themes and codes are pre-selected based on previous literature, previous theories or the specifics of the research question; whereas
• in the inductive approach, themes are generated from the data though open (unrestricted) coding, followed by refinement of themes.

In many cases, a combined approach is appropriate when the project has some specific issues to explore, but also aims to leave space to discover other unexpected aspects of the participants’ experience or the way they assign meaning to phenomena. In sum, the Framework Method can be adapted for use with deductive, inductive, or combined types of qualitative analysis. However, there are some research questions where analysing data by case and theme is not appropriate and so the Framework Method should be avoided. For instance,

• depending on the research question, life history data might be better analysed using narrative analysis [19];
• recorded consultations between patients and their healthcare practitioners using conversation analysis [26]; and
• documentary data, such as resources for pregnant women, using discourse analysis [27].

연구 설계나 데이터 수집을 심도 있게 고려하는 것은 이 백서의 범위에 속하지 않지만, 프레임워크 방법 분석 프로세스를 설명하기 전에 한 걸음 물러나서 분석을 시작하기 전에 어떤 일이 일어나야 하는지 간략하게 살펴볼 필요가 있습니다. 분석 방법의 선택은 연구 제안 단계에서 고려되어야 하며, 연구 질문과 연구의 전반적인 목표에 부합해야 합니다. 많은 질적 연구, 특히 귀납적 분석을 사용하는 연구는 본질적으로 새로운 것이므로 연구자는 앞으로 일어날 일에 대한 "상상적 리허설"만 제공할 수 있습니다[28]. 혼합 방법 연구에서는 프로젝트의 더 넓은 목표 내에서 질적 구성 요소의 역할도 고려해야 합니다. 데이터 수집 단계에서는 질적 인터뷰가 고도로 숙련된 활동이기 때문에 적절히 훈련된 연구원이 질적 인터뷰를 수행할 수 있도록 리소스를 할당해야 합니다. 경우에 따라 연구팀은 일반인, 환자 또는 동료를 인터뷰에 참여시키기로 결정할 수 있으며[29-32], 이 경우 적절한 훈련과 멘토링을 받아야 하므로 시간과 자원이 필요합니다. 이 초기 단계에서는 데이터 관리 및 분석에 도움을 줄 수 있는 컴퓨터 지원 질적 데이터 분석 소프트웨어(CAQDAS)를 사용할지 여부를 고려하는 것도 유용합니다.

It is not within the scope of this paper to consider study design or data collection in any depth, but before moving on to describe the Framework Method analysis process, it is worth taking a step back to consider briefly what needs to happen before analysis begins. The selection of analysis method should have been considered at the proposal stage of the research and should fit with the research questions and overall aims of the study. Many qualitative studies, particularly ones using inductive analysis, are emergent in nature; this can be a challenge and the researchers can only provide an “imaginative rehearsal” of what is to come [28]. In mixed methods studies, the role of the qualitative component within the wider goals of the project must also be considered. In the data collection stage, resources must be allocated for properly trained researchers to conduct the qualitative interviewing because it is a highly skilled activity. In some cases, a research team may decide that they would like to use lay people, patients or peers to do the interviews [29–32] and in this case they must be properly trained and mentored which requires time and resources. At this early stage it is also useful to consider whether the team will use Computer Assisted Qualitative Data Analysis Software (CAQDAS), which can assist with data management and analysis.

모든 형태의 정성적 또는 정량적 분석은 순전히 기술적인 과정이 아니라 연구자의 특성과 학문적 패러다임의 영향을 받기 때문에 연구의 설계, 데이터의 구성 또는 수집, 분석 등 연구 과정 전반에 걸친 비판적 성찰이 무엇보다 중요합니다. 팀의 모든 구성원은 연구 일기를 작성하여 반성적 메모, 데이터에 대한 인상, 분석에 대한 생각 등을 연구 과정 전반에 걸쳐 기록해야 합니다. 숙련된 질적 연구자는 엄격하고 반성적인 방식으로 데이터를 선별하고 분석하는 데 더욱 능숙해집니다. 실제 사회생활의 복잡성을 포용하고 설명하며 복잡한 사회 문제에 적용할 수 있는 풍부하고 미묘한 연구 결과를 도출하기 위해서는 확실성에 너무 집착하지 않고 연구 전반에 걸쳐 유연성과 적응력을 유지해야 합니다. 프레임워크 방법을 사용할 때는, 데이터 수집과 데이터 분석이 연구 과정의 엄격하게 순차적이고 상호 배타적인 단계인 양적 연구와 달리, 질적 분석에서는 프로젝트에 따라 어느 정도는 데이터 수집, 분석, 이론 개발 사이에 지속적인 상호작용이 있다는 점을 기억하는 것이 중요합니다. 예를 들어, 참가자의 새로운 아이디어나 인사이트가 잠재적으로 유익한 탐구 방향을 제시하거나, 면밀한 분석을 통해 추가 조사가 필요한 미묘한 불일치를 발견할 수 있습니다. 
As any form of qualitative or quantitative analysis is not a purely technical process, but influenced by the characteristics of the researchers and their disciplinary paradigms, critical reflection throughout the research process is paramount, including in the design of the study, the construction or collection of data, and the analysis. All members of the team should keep a research diary, where they record reflexive notes, impressions of the data and thoughts about analysis throughout the process. Experienced qualitative researchers become more skilled at sifting through data and analysing it in a rigorous and reflexive way. They cannot be too attached to certainty, but must remain flexible and adaptive throughout the research in order to generate rich and nuanced findings that embrace and explain the complexity of real social life and can be applied to complex social issues. It is important to remember when using the Framework Method that, unlike quantitative research where data collection and data analysis are strictly sequential and mutually exclusive stages of the research process, in qualitative analysis there is, to a greater or lesser extent depending on the project, ongoing interplay between data collection, analysis, and theory development. For example, new ideas or insights from participants may suggest potentially fruitful lines of enquiry, or close analysis might reveal subtle inconsistencies in an account which require further exploration.

분석 절차
Procedure for analysis

1단계: 전사
Stage 1: Transcription

좋은 품질의 오디오 녹음이 필요하며, 이상적으로는 인터뷰의 축어적(단어 대 단어) 필사본이 필요합니다. 프레임워크 방법 분석의 경우, 내용이 주요 관심사이기 때문에 읽기 어려울 수 있는 대화 필사본의 규칙(예: 일시 정지 또는 두 사람이 동시에 대화하는 경우)을 반드시 포함할 필요는 없습니다. 트랜스크립트에는 나중에 코딩하고 메모할 수 있도록 여백이 넓고 줄 간격이 적절해야 합니다. 필사 과정은 데이터에 몰입할 수 있는 좋은 기회이므로 신입 연구자에게 적극 권장할 만합니다. 그러나 일부 프로젝트에서는 이 작업을 전문 전사자에게 아웃소싱하는 것이 더 나은 리소스 활용이라고 판단할 수 있습니다. 
A good quality audio recording and, ideally, a verbatim (word for word) transcription of the interview is needed. For Framework Method analysis, it is not necessarily important to include the conventions of dialogue transcriptions which can be difficult to read (e.g. pauses or two people talking simultaneously), because the content is what is of primary interest. Transcripts should have large margins and adequate line spacing for later coding and making notes. The process of transcription is a good opportunity to become immersed in the data and is to be strongly encouraged for new researchers. However, in some projects, the decision may be made that it is a better use of resources to outsource this task to a professional transcriber.

2단계: 인터뷰에 익숙해지기
Stage 2: Familiarisation with the interview

오디오 녹음 및/또는 녹취록과 면접관이 녹음한 상황별 또는 반성적 메모를 사용하여 전체 인터뷰에 익숙해지는 것은 해석에 있어 매우 중요한 단계입니다. 오디오 녹음의 전체 또는 일부를 다시 듣는 것도 도움이 될 수 있습니다. 다학제 또는 대규모 연구 프로젝트의 경우, 데이터 분석에 참여하는 사람과 인터뷰를 진행하거나 필사한 사람이 다를 수 있으므로 이 단계가 특히 중요합니다. 한 칸의 여백을 사용하여 분석 메모, 생각 또는 인상을 기록할 수 있습니다. 

Becoming familiar with the whole interview using the audio recording and/or transcript and any contextual or reflective notes that were recorded by the interviewer is a vital stage in interpretation. It can also be helpful to re-listen to all or parts of the audio recording. In multi-disciplinary or large research projects, those involved in analysing the data may be different from those who conducted or transcribed the interviews, which makes this stage particularly important. One margin can be used to record any analytical notes, thoughts or impressions.

3단계: 코딩
Stage 3: Coding

익숙해지면 연구자는 대본을 한 줄 한 줄 주의 깊게 읽으면서 구절에서 중요하다고 해석한 내용을 설명하는 문구나 라벨('코드')을 붙입니다. 귀납적 연구에서는 이 단계에서 가능한 한 다양한 관점에서 관련성이 있을 수 있는 모든 것을 코딩하는 '오픈 코딩'이 이루어집니다. 코딩은 다음 등을 나타낼 수 있습니다.

• 실체적인 것(예: 특정 행동, 사건 또는 구조),
• 가치(예: 근거 기반 의학 또는 환자 선택에 대한 믿음과 같이 특정 진술을 알리거나 뒷받침하는 것),
• 감정(예: 슬픔, 좌절, 사랑) 및
• 인상적/방법론적인 요소(예: 인터뷰 대상자가 설명하기 어려운 것을 발견했다, 인터뷰 대상자가 감정적이 되었다, 인터뷰자가 불편함을 느꼈다) [33] 

After familiarization, the researcher carefully reads the transcript line by line, applying a paraphrase or label (a ‘code’) that describes what they have interpreted in the passage as important. In more inductive studies, at this stage ‘open coding’ takes place, i.e. coding anything that might be relevant from as many different perspectives as possible. Codes could refer to

• substantive things (e.g. particular behaviours, incidents or structures),
• values (e.g. those that inform or underpin certain statements, such as a belief in evidence-based medicine or in patient choice),
• emotions (e.g. sorrow, frustration, love) and
• more impressionistic/methodological elements (e.g. interviewee found something difficult to explain, interviewee became emotional, interviewer felt uncomfortable) [33].

순수 연역적 연구에서는 코드가 미리 정의되어 있을 수 있으므로(예: 기존 이론 또는 프로젝트의 특정 관심 분야) 이 단계가 꼭 필요하지 않을 수 있으며 바로 색인화로 넘어갈 수도 있지만, 일반적으로 데이터의 중요한 측면을 놓치지 않으려면, 적어도 몇 개의 트랜스크립트에서 오픈 코딩을 수행하는 것이 광범위한 연역적 접근 방식을 취하는 경우에도 도움이 될 수 있습니다. 코딩은 모든 데이터를 분류하여 데이터 세트의 다른 부분과 체계적으로 비교할 수 있도록 하는 것을 목표로 합니다. 가능하면 최소 두 명의 연구자(또는 다학제 연구팀의 경우 각 분야 또는 전문 분야에서 한 명 이상)가 처음 몇 개의 기록물을 독립적으로 코딩해야 합니다. 환자, 대중 참여 대표 또는 임상의도 이 단계에 생산적으로 참여할 수 있는데, 이는 대안적인 관점을 제시하여 특정 관점이 지배적이지 않도록 보장할 수 있기 때문입니다. 
In purely deductive studies, the codes may have been pre-defined (e.g. by an existing theory, or specific areas of interest to the project) so this stage may not be strictly necessary and you could just move straight onto indexing, although it is generally helpful even if you are taking a broadly deductive approach to do some open coding on at least a few of the transcripts to ensure important aspects of the data are not missed. Coding aims to classify all of the data so that it can be compared systematically with other parts of the data set. At least two researchers (or at least one from each discipline or speciality in a multi-disciplinary research team) should independently code the first few transcripts, if feasible. Patients, public involvement representatives or clinicians can also be productively involved at this stage, because they can offer alternative viewpoints thus ensuring that one particular perspective does not dominate.

귀납적 코딩에서는 문자 그대로의 설명적인 방식으로 코딩하는 것이 아니라, 예상치 못한 것을 찾아내는 것이 중요하므로, 다양한 관점을 가진 사람들의 참여가 큰 도움이 될 수 있습니다. 한 줄 한 줄 코딩을 통해 전체적인 내용을 파악할 수 있을 뿐만 아니라, 명확하게 표현되지 않았거나 나머지 계정과 '맞지 않아서' 보통은 보이지 않는 부분을 고려하도록 연구자에게 경각심을 줄 수 있습니다. 이런 식으로 데이터의 이상 징후를 조정하고 설명하면 분석을 더욱 강력하게 만들 수 있습니다. 코딩은 새로운 코드를 자동으로 추적할 수 있는 유용한 방법인 CAQDAS를 사용하여 디지털 방식으로도 수행할 수 있습니다. 그러나 일부 연구자들은 코딩의 초기 단계를 종이와 펜으로 하는 것을 선호하며, 5단계(아래 참조)에 도달한 후에야 CAQDAS를 사용하기 시작합니다.
It is vital in inductive coding to look out for the unexpected and not to just code in a literal, descriptive way so the involvement of people from different perspectives can aid greatly in this. As well as getting a holistic impression of what was said, coding line-by-line can often alert the researcher to consider that which may ordinarily remain invisible because it is not clearly expressed or does not ‘fit’ with the rest of the account. In this way the developing analysis is challenged; to reconcile and explain anomalies in the data can make the analysis stronger. Coding can also be done digitally using CAQDAS, which is a useful way to keep track automatically of new codes. However, some researchers prefer to do the early stages of coding with a paper and pen, and only start to use CAQDAS once they reach Stage 5 (see below).

4단계: 작업용 분석 프레임워크 개발하기
Stage 4: Developing a working analytical framework

처음 몇 개의 트랜스크립트를 코딩한 후에는 관련된 모든 연구자가 모여 각자가 적용한 레이블을 비교하고, 이후의 모든 트랜스크립트에 적용할 코드 세트에 동의해야 합니다. 코드를 카테고리로 그룹화한 다음(도움이 된다면 트리 다이어그램을 사용) 명확하게 정의할 수 있습니다. 이렇게 하면 작업용 분석 프레임워크가 형성됩니다. 추가 코드가 나오지 않을 때까지 분석 프레임워크를 여러 번 반복해야 할 수도 있습니다. 각 범주 아래에 '기타' 코드를 두어 맞지 않는 데이터를 무시하지 않도록 하고, 마지막 기록이 코딩될 때까지 분석 프레임워크는 결코 '최종'이 아닙니다. 
After coding the first few transcripts, all researchers involved should meet to compare the labels they have applied and agree on a set of codes to apply to all subsequent transcripts. Codes can be grouped together into categories (using a tree diagram if helpful), which are then clearly defined. This forms a working analytical framework. It is likely that several iterations of the analytical framework will be required before no additional codes emerge. It is always worth having an ‘other’ code under each category to avoid ignoring data that does not fit; the analytical framework is never ‘final’ until the last transcript has been coded.

5단계: 분석 프레임워크 적용
Stage 5: Applying the analytical framework

그런 다음 기존 카테고리와 코드를 사용하여 후속 트랜스크립트를 색인화하여 작업용 분석 프레임워크를 적용합니다. 각 코드에는 일반적으로 쉽게 식별할 수 있도록 번호나 약어가 할당되며(따라서 코드의 전체 이름을 매번 적을 필요가 없음), 트랜스크립트에 직접 기록됩니다. 컴퓨터 지원 정성적 데이터 분석 소프트웨어(CAQDAS)는 이 단계에서 특히 유용하며, 프로세스 속도를 높이고 이후 단계에서 데이터를 쉽게 검색할 수 있도록 해주기 때문입니다. 정확한 지침에 따라 실제로 계산을 수행하는 통계 분석용 소프트웨어와 달리, 정성적 분석 소프트웨어 패키지에 데이터를 넣는 것은 데이터를 분석하는 것이 아니라 분석 프로세스에 액세스할 수 있도록 데이터를 저장하고 구성하는 효과적인 방법일 뿐이라는 점에 유의할 필요가 있습니다.

The working analytical framework is then applied by indexing subsequent transcripts using the existing categories and codes. Each code is usually assigned a number or abbreviation for easy identification (and so the full names of the codes do not have to be written out each time) and written directly onto the transcripts. Computer Assisted Qualitative Data Analysis Software (CAQDAS) is particularly useful at this stage because it can speed up the process and ensures that, at later stages, data is easily retrievable. It is worth noting that unlike software for statistical analyses, which actually carries out the calculations with the correct instruction, putting the data into a qualitative analysis software package does not analyse the data; it is simply an effective way of storing and organising the data so that they are accessible for the analysis process.

6단계: 프레임워크 매트릭스에 데이터 차트화
Stage 6: Charting data into the framework matrix

정성적 데이터는 방대하며(한 시간의 인터뷰로 15~30페이지의 텍스트가 생성될 수 있음), 데이터를 관리하고 요약(축소)하는 것은 분석 프로세스에서 매우 중요한 측면입니다. 스프레드시트를 사용하여 매트릭스를 생성하고 데이터를 매트릭스에 '차트화'합니다. 차트 작성에는 각 기록에서 카테고리별로 데이터를 요약하는 작업이 포함됩니다. 좋은 차트를 작성하려면 한편으로는 데이터를 줄이고, 다른 한편으로는 인터뷰 대상자의 말의 원래 의미와 '느낌'을 유지하는 것 사이에서 균형을 맞출 수 있어야 합니다. 차트에는 흥미롭거나 예시적인 인용문에 대한 참조가 포함되어야 합니다. CAQDAS를 사용하여 데이터를 관리하는 경우 자동으로 태그를 지정할 수 있으며(N-Vivo 버전 9 이상에는 프레임워크 매트릭스를 생성하는 기능이 있음), 그렇지 않은 경우 대문자 'Q', (익명화된) 트랜스크립트 번호, 페이지 및 줄 참조로 충분합니다. 여러 분야가 참여하는 팀에서는 분석 프로세스의 초기 단계에서 요약 스타일을 비교하고 대조하여 팀 내 일관성을 유지하는 것이 도움이 됩니다. 약어를 사용할 때는 팀원들이 동의해야 합니다. 팀원들이 분석 프레임워크에 익숙해지고 코딩과 차트 작성에 능숙해지면 평균적으로 1시간 분량의 요약본을 작성하는 데 반나절 정도 걸립니다. 초기 단계에서는 훨씬 더 오래 걸립니다. 
Qualitative data are voluminous (an hour of interview can generate 15–30 pages of text) and being able to manage and summarize (reduce) data is a vital aspect of the analysis process. A spreadsheet is used to generate a matrix and the data are ‘charted’ into the matrix. Charting involves summarizing the data by category from each transcript. Good charting requires an ability to strike a balance between reducing the data on the one hand and retaining the original meanings and ‘feel’ of the interviewees’ words on the other. The chart should include references to interesting or illustrative quotations. These can be tagged automatically if you are using CAQDAS to manage your data (N-Vivo version 9 onwards has the capability to generate framework matrices), or otherwise a capital ‘Q’, an (anonymized) transcript number, page and line reference will suffice. It is helpful in multi-disciplinary teams to compare and contrast styles of summarizing in the early stages of the analysis process to ensure consistency within the team. Any abbreviations used should be agreed by the team. Once members of the team are familiar with the analytical framework and well practised at coding and charting, on average, it will take about half a day per hour-long transcript to reach this stage. In the early stages, it takes much longer.

7단계: 데이터 해석
Stage 7: Interpreting the data

데이터에 대한 인상, 아이디어, 초기 해석을 기록할 수 있는 별도의 노트나 컴퓨터 파일을 준비해 두는 것이 연구 전반에 걸쳐 유용합니다. 흥미로운 아이디어, 개념 또는 잠재적 주제를 탐색하기 위해 어느 단계에서든 분석 메모[20, 21]를 작성하여 일반인 및 임상 구성원을 포함한 다른 연구팀원들과 논의하는 것이 좋습니다. 점차적으로 데이터의 특징과 데이터 간의 차이점을 파악하여 다음을 할  수 있습니다. 

• 유형학을 생성하고,
• 이론적 개념(이전 개념 또는 데이터에서 나온 개념)을 질문하거나,
• 범주 간의 연결을 매핑하여 관계 및 인과관계를 탐색

데이터가 충분히 풍부하다면 이 과정을 통해 도출된 결과는 특정 사례에 대한 기술을 넘어 설명으로 확장될 수 있습니다. 

• 현상의 출현 이유,
• 조직이나 기타 사회적 행위자가 상황을 어떻게 선동하거나 대응할지 예측,
• 조직이나 시스템 내에서 제대로 작동하지 않는 영역을 식별

이 단계는 예상보다 오래 걸리는 경우가 많으므로 프로젝트 계획에 회의와 연구자 개개인의 연구 결과 해석 및 작성에 충분한 시간을 할당해야 합니다(추가 파일 1, 섹션 7 참조). 
It is useful throughout the research to have a separate note book or computer file to note down impressions, ideas and early interpretations of the data. It may be worth breaking off at any stage to explore an interesting idea, concept or potential theme by writing an analytic memo [20, 21] to then discuss with other members of the research team, including lay and clinical members. Gradually, characteristics of and differences between the data are identified, perhaps

• generating typologies,
• interrogating theoretical concepts (either prior concepts or ones emerging from the data) or
• mapping connections between categories to explore relationships and/or causality.

If the data are rich enough, the findings generated through this process can go beyond description of particular cases to explanation of, for example,

• reasons for the emergence of a phenomena,
• predicting how an organisation or other social actor is likely to instigate or respond to a situation, or
• identifying areas that are not functioning well within an organisation or system.

It is worth noting that this stage often takes longer than anticipated and that any project plan should ensure that sufficient time is allocated to meetings and individual researcher time to conduct interpretation and writing up of findings (see Additional file 1, Section 7).

프레임워크 방법은 25년 이상 개발되어 연구에 성공적으로 사용되어 왔으며, 최근 질적 보건 연구에서 널리 사용되는 분석 방법이 되었습니다. 질적 연구에서 품질을 평가하는 방법에 대한 문제는 많은 논쟁이 있어 왔지만[20, 34-40], 분석의 엄격성과 투명성을 보장하는 것은 필수적인 요소입니다. 물론 여러 가지 방법이 있지만 프레임워크 방법에서는 다음과 같은 방법이 도움이 됩니다: 
The Framework Method has been developed and used successfully in research for over 25 years, and has recently become a popular analysis method in qualitative health research. The issue of how to assess quality in qualitative research has been highly debated [20, 34–40], but ensuring rigour and transparency in analysis is a vital component. There are, of course, many ways to do this but in the Framework Method the following are helpful:

• 차트를 작성하는 동안 데이터를 요약하는 것은 데이터를 줄이는 실용적인 방법일 뿐만 아니라 일반인, 임상 및 (정량적) 학계 구성원을 포함한 다분야 팀의 모든 구성원이 (모든 기록을 읽거나 분석의 보다 기술적인 부분에 관여하지는 않더라도) 분석 과정에서 데이터에 참여하고 각자의 관점을 제공할 수 있음을 의미합니다.
  Summarizing the data during charting, as well as being a practical way to reduce the data, means that all members of a multi-disciplinary team, including lay, clinical and (quantitative) academic members can engage with the data and offer their perspectives during the analysis process without necessarily needing to read all the transcripts or be involved in the more technical parts of analysis.
• 또한 차트를 작성하면 연구자가 해석으로 넘어가기 전에 각 참여자의 주관적인 프레임과 표현을 사용하여 데이터를 설명하는 데 세심한 주의를 기울일 수 있습니다. 
  Charting also ensures that researchers pay close attention to describing the data using each participant’s own subjective frames and expressions in the first instance, before moving onto interpretation.
• 요약된 데이터는 각 사례의 더 넓은 맥락에서 유지되므로 복잡한 의미와 이해의 층위에 주의를 기울이는 두꺼운 설명을 장려합니다[38].
  The summarized data is kept within the wider context of each case, thereby encouraging thick description that pays attention to complex layers of meaning and understanding [38].
• 매트릭스 구조는 시각적으로 간단하며 모순되는 데이터, 비정상적인 사례 또는 빈 셀에 주의를 기울이는 등 연구팀의 모든 구성원이 데이터의 패턴을 쉽게 인식할 수 있습니다.
  The matrix structure is visually straightforward and can facilitate recognition of patterns in the data by any member of the research team, including through drawing attention to contradictory data, deviant cases or empty cells.
• 체계적인 절차(이 문서에 설명되어 있음)를 통해 여러 분야의 팀이나 대규모 데이터 세트가 있는 경우에도 쉽게 따라할 수 있습니다.
  The systematic procedure (described in this article) makes it easy to follow, even for multi-disciplinary teams and/or with large data sets.
• 인터뷰가 아닌 데이터(예: 인터뷰 중에 작성한 현장 메모 또는 반성적 고려 사항)도 매트릭스에 포함할 수 있을 만큼 유연합니다.
  It is flexible enough that non-interview data (such as field notes taken during the interview or reflexive considerations) can be included in the matrix.
• 특정 인식론적 관점이나 이론적 접근 방식과 일치하지 않으므로 귀납적 또는 연역적 분석 또는 이 둘을 조합하여 사용할 수 있습니다(예: 기존의 이론적 구성을 연역적으로 사용한 다음 귀납적 측면으로 이론을 수정하거나 귀납적 접근 방식을 사용하여 데이터에서 주제를 식별한 다음 문헌으로 돌아가 연역적으로 이론을 사용하여 특정 주제를 추가로 설명하는 데 도움이 됨).
  It is not aligned with a particular epistemological viewpoint or theoretical approach and therefore can be adapted for use in inductive or deductive analysis or a combination of the two (e.g. using pre-existing theoretical constructs deductively, then revising the theory with inductive aspects; or using an inductive approach to identify themes in the data, before returning to the literature and using theories deductively to help further explain certain themes).
• 주제를 설명하기 위해 관련 데이터 추출을 식별하고 제안된 주제에 대한 충분한 증거가 있는지 확인하는 것이 쉽습니다.
  It is easy to identify relevant data extracts to illustrate themes and to check whether there is sufficient evidence for a proposed theme.
• 마지막으로, 원본 원시 데이터에서 최종 테마까지, 예시 인용문을 포함한 명확한 감사 추적이 있습니다.
  Finally, there is a clear audit trail from original raw data to final themes, including the illustrative quotes.

이 접근 방식에는 여러 가지 잠재적인 함정이 있습니다:
There are also a number of potential pitfalls to this approach:

• 배경에서 언급했듯이 체계적인 접근 방식과 매트릭스 형식은 정량적으로 훈련된 사람들에게는 직관적으로 매력적이지만, '스프레드시트' 형식은 정성적 연구에 대한 심층적인 이해가 없는 사람들이 정성적 데이터를 정량화하려는 유혹을 더욱 증가시킬 수 있습니다(예: "20명의 참가자 중 13명이 X라고 답함"). 정성적 연구의 표본 추출은 더 넓은 집단을 대표하도록 설계된 것이 아니라 현상에 대한 다양성을 포착하기 위한 것이기 때문에 이러한 종류의 진술은 분명히 무의미합니다 [41]. 
  The systematic approach and matrix format, as we noted in the background, is intuitively appealing to those trained quantitatively but the ‘spreadsheet’ look perhaps further increases the temptation for those without an in-depth understanding of qualitative research to attempt to quantify qualitative data (e.g. “13 out of 20 participants said X). This kind of statement is clearly meaningless because the sampling in qualitative research is not designed to be representative of a wider population, but purposive to capture diversity around a phenomenon [41].
• 모든 질적 분석 방법과 마찬가지로 프레임워크 방법도 시간과 리소스 집약적입니다. 응용 보건 연구의 모범 사례처럼 데이터 분석 및 해석에 여러 이해관계자 및 분야를 참여시킬 경우 필요한 시간이 연장됩니다. 이 시간은 펀딩 전 단계에서 프로젝트 제안서에 반영되어야 합니다. 
  Like all qualitative analysis methods, the Framework Method is time consuming and resource-intensive. When involving multiple stakeholders and disciplines in the analysis and interpretation of the data, as is good practice in applied health research, the time needed is extended. This time needs to be factored into the project proposal at the pre-funding stage.
• 새로운 다분야 팀에서 이 방법을 성공적으로 사용하려면 많은 교육이 필요합니다. 분석에서 각자의 역할에 따라 연구팀 구성원은 데이터를 코딩, 색인화, 차트화하는 방법을 배우고, 자신의 정체성과 경험이 분석 과정에 어떤 영향을 미치는지 반성적으로 생각해야 하며, 데이터의 의미와 중요성을 정당하게 해석하기 위해 일반화 방법(통계적 일반화가 아닌 분석적 일반화 및 전이 가능성[41])에 대해 배워야 할 수도 있습니다. 
  There is a high training component to successfully using the method in a new multi-disciplinary team. Depending on their role in the analysis, members of the research team may have to learn how to code, index, and chart data, to think reflexively about how their identities and experience affect the analysis process, and/or they may have to learn about the methods of generalisation (i.e. analytic generalisation and transferability, rather than statistical generalisation [41]) to help to interpret legitimately the meaning and significance of the data.

프레임워크 방법은 비전문가도 데이터 분석에 참여할 수 있지만, 대규모 혼합 방법 연구의 전체 책임자가 다른 사람이더라도 숙련된 질적 연구자가 프로젝트를 이끄는 것이 이 방법을 성공적으로 사용하는 데 매우 중요합니다. 질적 연구 책임자는 최소한 질적 분석에 대한 사전 교육이나 경험이 있는 다른 연구자들과 함께 하는 것이 이상적입니다. 질적 연구 책임자의 책임은 연구 설계, 프로젝트 일정 및 리소스 계획에 기여하고, 주니어 질적 연구자를 멘토링하고, 임상, 일반 및 기타 (비질적) 학자들이 분석 과정에 적절히 기여할 수 있도록 교육하고, 데이터 및 다른 팀원들과 비판적이고 반성적인 참여를 장려하는 방식으로 분석 회의를 촉진하고, 마지막으로 연구 보고서 작성을 주도하는 것입니다. 
While the Framework Method is amenable to the participation of non-experts in data analysis, it is critical to the successful use of the method that an experienced qualitative researcher leads the project (even if the overall lead for a large mixed methods study is a different person). The qualitative lead would ideally be joined by other researchers with at least some prior training in or experience of qualitative analysis. The responsibilities of the lead qualitative researcher are: to contribute to study design, project timelines and resource planning; to mentor junior qualitative researchers; to train clinical, lay and other (non-qualitative) academics to contribute as appropriate to the analysis process; to facilitate analysis meetings in a way that encourages critical and reflexive engagement with the data and other team members; and finally to lead the write-up of the study.

우리는 프레임워크 방법 연구가 의료 전문가, 심리학자, 사회학자, 경제학자, 일반인/서비스 사용자 등을 포함하는 다학제 연구팀에 의해 수행될 수 있다고 주장해 왔습니다. 다양한 관점을 포함한다는 것은 분석 과정에서 의사결정을 내리는 데 많은 시간과 리소스가 소요될 수 있음을 의미합니다. 인터뷰 대상자가 표현하고 녹취록에서 확인된 아이디어가 각 분야의 기존 개념 및 이론과 프로젝트가 해결하고자 하는 보건 시스템의 실제 '문제'와 어떻게 관련되어 있는지에 대해 광범위하고 반성적이며 비판적인 대화가 필요할 수 있습니다. 그러나 이러한 종류의 팀 노력은 연구 결과의 신뢰성과 관련성을 높여 '전체가 부분의 합보다 크다'는 것을 보장하기 위해 임상 및 일반인의 연구 참여뿐만 아니라 학제 간 협업을 촉진하는 훌륭한 포럼입니다.
We have argued that Framework Method studies can be conducted by multi-disciplinary research teams that include, for example, healthcare professionals, psychologists, sociologists, economists, and lay people/service users. The inclusion of so many different perspectives means that decision-making in the analysis process can be very time consuming and resource-intensive. It may require extensive, reflexive and critical dialogue about how the ideas expressed by interviewees and identified in the transcript are related to pre-existing concepts and theories from each discipline, and to the real ‘problems’ in the health system that the project is addressing. This kind of team effort is, however, an excellent forum for driving forward interdisciplinary collaboration, as well as clinical and lay involvement in research, to ensure that ‘the whole is greater than the sum of the parts’, by enhancing the credibility and relevance of the findings.

프레임워크 방법은 텍스트 데이터, 특히 인터뷰 녹취록의 주제별 분석에 적합하며, 여러 사례의 데이터를 주제별로 비교하고 대조하는 동시에 각 관점을 각 개인 기록의 다른 측면과의 연관성을 유지하여 맥락에 맞게 배치하는 것이 중요합니다. 숙련된 질적 연구자가 분석의 모든 측면을 주도하고 진행해야 하지만, 프레임워크 방법의 체계적인 접근 방식은 다분야 팀의 모든 구성원을 참여시키는 데 적합합니다. 엄격한 질적 분석을 위해서는 모든 팀원의 개방적이고 비판적이며 반성적인 접근 방식이 필수적입니다.
The Framework Method is appropriate for thematic analysis of textual data, particularly interview transcripts, where it is important to be able to compare and contrast data by themes across many cases, while also situating each perspective in context by retaining the connection to other aspects of each individual’s account. Experienced qualitative researchers should lead and facilitate all aspects of the analysis, although the Framework Method’s systematic approach makes it suitable for involving all members of a multi-disciplinary team. An open, critical and reflexive approach from all team members is essential for rigorous qualitative analysis.

고품질의 질적 연구를 위해서는 실제 보건 시스템의 복잡성과 건강 문제에 대한 다양한 관점의 존재를 인정하는 것이 필요합니다. 질적 연구가 잘 수행되면 중요한 현상에 대한 설명과 예측을 제시하고, 대규모 연구의 정량적 부분과 건설적인 관계를 맺으며, 보건 서비스 개선과 보건 정책 개발에 기여할 수 있습니다. 프레임워크 방법을 적절히 선택하고 실행하면 신뢰할 수 있고 관련성 있는 결과를 도출하여 이러한 목표를 달성하는 데 적합한 도구가 될 수 있습니다. 
Acceptance of the complexity of real life health systems and the existence of multiple perspectives on health issues is necessary to produce high quality qualitative research. If done well, qualitative studies can shed explanatory and predictive light on important phenomena, relate constructively to quantitative parts of a larger study, and contribute to the improvement of health services and development of health policy. The Framework Method, when selected and implemented appropriately, can be a suitable tool for achieving these aims through producing credible and relevant findings.

요약
Summary

• 프레임워크 방법은 데이터를 관리하고 매핑하기 위한 체계적인 모델을 제공하기 때문에 주제별(질적 내용) 분석을 지원하는 데 탁월한 도구입니다.
  
• 프레임워크 방법은 사례 내 및 사례 간 비교를 통해 주제를 생성하는 것이 바람직한 인터뷰 데이터 분석에 가장 적합합니다.
  
• 프레임워크 방법은 매트릭스 형태로 요약된 데이터를 직관적으로 구조화한 개요를 제공하기 때문에 대규모 데이터 세트의 관리가 용이합니다.
  
• 프레임워크 방법의 명확한 단계별 프로세스는 학제 간 및 협업 프로젝트에 적합합니다.
  
• 이 방법의 사용은 숙련된 질적 연구자가 주도하고 촉진해야 합니다.
• The Framework Method is an excellent tool for supporting thematic (qualitative content) analysis because it provides a systematic model for managing and mapping the data.
• The Framework Method is most suitable for analysis of interview data, where it is desirable to generate themes by making comparisons within and between cases.
• The management of large data sets is facilitated by the Framework Method as its matrix form provides an intuitively structured overview of summarised data.
• The clear, step-by-step process of the Framework Method makes it is suitable for interdisciplinary and collaborative projects.
• The use of the method should be led and facilitated by an experienced qualitative researcher.

1Health Services Management Centre, University of Birmingham, Park House, 40 Edgbaston Park Road, Birmingham B15 2RT, UK. n.gale@bham.ac.uk.

Background: The Framework Method is becoming an increasingly popular approach to the management and analysis of qualitative data in health research. However, there is confusion about its potential application and limitations.

Discussion: The article discusses when it is appropriate to adopt the Framework Method and explains the procedure for using it in multi-disciplinary health research teams, or those that involve clinicians, patients and lay people. The stages of the method are illustrated using examples from a published study.

Summary: Used effectively, with the leadership of an experienced qualitative researcher, the Framework Method is a systematic and flexible approach to analysing qualitative data and is appropriate for use in research teams even where not all members have previous experience of conducting qualitative research.

Acad Med. 2023 Apr 1;98(4):497-504. doi: 10.1097/ACM.0000000000005115. Epub 2022 Dec 5.

Purpose: Faculty feedback on trainees is critical to guiding trainee progress in a competency-based medical education framework. The authors aimed to develop and evaluate a Natural Language Processing (NLP) algorithm that automatically categorizes narrative feedback into corresponding Accreditation Council for Graduate Medical Education Milestone 2.0 subcompetencies.

Method: Ten academic anesthesiologists analyzed 5,935 narrative evaluations on anesthesiology trainees at 4 graduate medical education (GME) programs between July 1, 2019, and June 30, 2021. Each sentence (n = 25,714) was labeled with the Milestone 2.0 subcompetency that best captured its content or was labeled as demographic or not useful. Inter-rater agreement was assessed by Fleiss' Kappa. The authors trained an NLP model to predict feedback subcompetencies using data from 3 sites and evaluated its performance at a fourth site. Performance metrics included area under the receiver operating characteristic curve (AUC), positive predictive value, sensitivity, F1, and calibration curves. The model was implemented at 1 site in a self-assessment exercise.

Results: Fleiss' Kappa for subcompetency agreement was moderate (0.44). Model performance was good for professionalism, interpersonal and communication skills, and practice-based learning and improvement (AUC 0.79, 0.79, and 0.75, respectively). Subcompetencies within medical knowledge and patient care ranged from fair to excellent (AUC 0.66-0.84 and 0.63-0.88, respectively). Performance for systems-based practice was poor (AUC 0.59). Performances for demographic and not useful categories were excellent (AUC 0.87 for both). In approximately 1 minute, the model interpreted several hundred evaluations and produced individual trainee reports with organized feedback to guide a self-assessment exercise. The model was built into a web-based application.

Conclusions: The authors developed an NLP model that recognized the feedback language of anesthesiologists across multiple GME programs. The model was operationalized in a self-assessment exercise. It is a powerful tool which rapidly organizes large amounts of narrative feedback.

1Department of Pediatrics, University of California San Francisco, San Francisco, California, USA.

1C. Barber is a PhD candidate, School of Health Professions Education (SHE), Faculty of Health, Medicine and Life Sciences, Maastricht University, Maastricht, the Netherlands; ORCID: https://orcid.org/0000-0003-3605-8485.

2C. van der Vleuten is professor, Department of Educational Development and Research, Faculty of Health, Medicine and Life Sciences, Maastricht University, Maastricht, the Netherlands.

3J. Leppink is senior lecturer in medical education, Hull York Medical School, University of York, York, United Kingdom.

4S. Chahine is associate professor, Faculty of Education, Queen's University, Kingston, Ontario, Canada; ORCID: https://orcid.org/0000-0003-0488-773X.

Purpose: Medical schools face growing pressures to produce stronger evidence of their social accountability, but measuring social accountability remains a global challenge. This narrative review aimed to identify and document common themes and indicators across large-scale social accountability frameworks to facilitate development of initial operational constructs to evaluate social accountability in medical education.

Method: The authors searched 5 electronic databases and platforms and the World Wide Web to identify social accountability frameworks applicable to medical education, with a focus on medical schools. English-language, peer-reviewed documents published between 1990 and March 2019 were eligible for inclusion. Primary source social accountability frameworks that represented foundational values, principles, and parameters and were cited in subsequent papers to conceptualize social accountability were included in the analysis. Thematic synthesis was used to describe common elements across included frameworks. Descriptive themes were characterized using the context-input-process-product (CIPP) evaluation model as an organizational framework.

Results: From the initial sample of 33 documents, 4 key social accountability frameworks were selected and analyzed. Six themes (with subthemes) emerged across frameworks, including shared values (core social values of relevance, quality, effectiveness, and equity; professionalism; academic freedom and clinical autonomy) and 5 indicators related to the CIPP model: context (mission statements, community partnerships, active contributions to health care policy); inputs (diversity/equity in recruitment/selection, community population health profiles); processes (curricular activities, community-based clinical training opportunities/learning exposures); products (physician resource planning, quality assurance, program evaluation and accreditation); and impacts (overall improvement in community health outcomes, reduction/prevention of health risks, morbidity/mortality of community diseases).

Conclusions: As more emphasis is placed on social accountability of medical schools, it is imperative to shift focus from educational inputs and processes to educational products and impacts. A way to begin to establish links between inputs, products, and impacts is by using the CIPP evaluation model.

임상 술기 습득의 인지 과학적 기반
The cognitive science basis of clinical skills acquisition

HPE 교육자가 직면한 첫 번째 과제 중 하나는 '임상 술기'의 정의에 포함되는 기술이 매우 다양하다는 것입니다.

• 신체 검사 기술 및 실습 기술부터
• 의사소통 기술, 치료 기술, 임상적 추론 또는 진단적 의사 결정 기술에 이르기까지 그 범위가 다양합니다.

이러한 기술 중 일부는 기술적 또는 절차적 성격이 강한 반면 일부는 지적 또는 인지적 성격이 강하기 때문에 업무 유형에 따라 그 차이가 큽니다. 또한 임상 술기에 어떤 영역을 포함할지에 대한 합의나 합의가 거의 없기 때문에 임상 술기 개발을 위한 최적의 교수 학습 전략에 대한 다양한 관점이 존재합니다(Michels Evans 및 Blok 2012). 그러나 인지과학적 관점에서 볼 때 모든 임상 술기의 기본 과정은 유사하며 선언적 지식과 절차적 지식의 효과적인 통합이 필요합니다.
One of the first challenges facing HPE educators is the wide variety of skills than come under the definition of ‘clinical skill’. The range is

• from physical examination skills and practical skills through
• to communication skills, treatment skills, and clinical reasoning or diagnostic decision-making skills.

The difference between all these skills in the type of task is significant since some are more technical or procedural in nature whereas some are more intellectual or cognitive in nature. There is also little consensus or agreement around which domains to include within clinical skills, therefore there are a number of different perspectives around the optimal teaching and learning strategies for developing clinical skills (Michels Evans and Blok 2012). However, from a cognitive science perspective, the underlying process of all clinical skills is similar and requires the effective integration of declarative and procedural knowledge.

선언적 지식은 사실이나 사건('무엇을 아는 것')을 말합니다(Anderson 1982). 임상 술기의 경우 선언적 지식에는 생의학 분야의 관련 사실 또는 개념적 지식과 실제 술기 수행 방법에 대한 기술적 측면이 포함됩니다. 

• 예를 들어, 혈압 측정에 대한 선언적 지식은 '수축기'와 '이완기'라는 용어의 사실적 차이점과 혈액이 몸속으로 펌프질되는 여러 단계에 대한 '수축기'와 '이완기'의 개념적 차이점을 알아야 합니다. 마찬가지로, 혈압을 측정할 때 환자와 기계의 위치를 가장 잘 잡는 방법과 관련된 개념적 지식과 함께 사용할 장비에 대한 사실적 지식도 필요합니다.

Declarative knowledge refers to facts or events (‘knowing what’) (Anderson 1982). In the case of clinical skills, declarative knowledge includes relevant factual or conceptual knowledge in the biomedical sciences and technical aspects about how to undertake the skill in practice. For example, declarative knowledge about measuring blood pressure requires knowing the factual differences between the terms ‘systolic’ and ‘diastolic’ and the conceptual difference between ‘systolic’ and ‘diastolic’ in terms of the different phases when blood is pumped around the body. Likewise, factual knowledge about the equipment to be used is also necessary, alongside conceptual knowledge related to how best to position the patient and the machine when taking blood pressure.

절차적 지식('방법 알기')은 선언적 지식으로 행동을 자동화하는 것을 의미하며, 반복적인 기술 연습을 통해 발전합니다(Anderson 1982). 

• 예를 들어, 절차적 지식은 환자의 혈압을 측정하고 그 절차를 수행하면서 환자에게 설명할 수 있는 능력을 말합니다. 시간이 지남에 따라 지식과 기술 모두에 의해 술기가 자동화되면 실제로는 더 빠른 수행으로 이어집니다. 

이 개념은 시간이 지남에 따라 기술이 쇠퇴하는 것을 이해하는 데 필수적입니다. 절차적 지식은 일반적으로 시간이 지나도 유지되는 반면, 선언적 지식은 시간이 지나면 쇠퇴할 수 있으며 반복적으로 사용하지 않으면 잊어버릴 수 있습니다(Anderson 1982; Anderson 외. 2004). 기술을 숙달했더라도 일정 기간 사용하지 않으면 전문가가 최적의 성과를 발휘하는 데 여전히 어려움을 겪을 수 있으며, 이는 선언적 지식의 쇠퇴와 관련이 있을 가능성이 높습니다.
Procedural knowledge (‘knowing how’) refers to the automatizing of our actions with declarative knowledge and develops with repeated practice of the skill (Anderson 1982).

• For example, procedural knowledge refers to taking a patient’s blood pressure and being able to explain the procedure to them whilst undertaking it. The automatization of the skill over time, due to both knowledge and skill, leads to faster performance in practice.

This concept is essential for understanding skill decay over time. Whereas procedural knowledge is usually maintained over time, declarative knowledge can decay and may be forgotten without repeated use of the skill (Anderson 1982; Anderson et al. 2004). Even though a skill has been mastered, after a period of disuse, professionals may also still face some difficulties to demonstrate optimal performance, and again is more likely related to the decay of declarative knowledge.

임상 술기를 포함한 효과적인 술기 습득은 교사가 주도하는 특정 교육을 통해 선언적 지식을 구성하고 유지하는 것으로 시작해야 하며, 여기에는 학습자가 처음에 술기를 시연하는 교사를 관찰하는 것이 포함될 수도 있고 포함되지 않을 수도 있습니다. 시간이 지남에 따라 연습하면 절차화라는 과정을 통해 선언적 지식을 절차적 지식으로 변환하여 기술 습득을 증가시킬 수 있습니다(Taatgen and Lee 2003). 절차화는 개인이 기술 수행을 자동화함에 따라 학습자의 정신적 노력이 시간이 지남에 따라 감소하고, 그 과정에서 경험하는 인지적 요구와 오류의 양이 감소하기 때문에 효과적입니다(Anderson 1982). 
Effective skill acquisition, including clinical skills, should begin with constructing and maintaining declarative knowledge through specific teacher-led instruction, which may or may not include observation by learners of the teacher demonstrating the skill in the beginning. Practice over time will increase skill acquisition by transforming declarative knowledge into procedural knowledge through a process known as proceduralization (Taatgen and Lee 2003). The proceduralization is effective because the mental effort for learners reduces over time as individuals automatize the performance of the skill, thereby also reducing the cognitive demand experienced and the amount of errors in the process (Anderson 1982).

인지 과학을 숙달 학습과 의도적 연습에 적용하기
Applying cognitive science to mastery learning and deliberate practice

숙달 학습과 의도적 연습은 현재 임상 술기 교육에서 절차화를 통한 자동화를 개발하는 데 널리 사용되고 있습니다. 그러나 이러한 접근법의 교육 활동 설계에 인지 과학 증거 기반 교육 전략을 통합하면 숙련도 저하를 방지하기 위해 숙련도 습득 및 숙련도 유지에 대한 효과를 크게 향상시킬 수 있습니다. 이러한 전략 중 다수는 전통적으로 지식의 개발 또는 구성과 관련이 있지만, 술기 개발에는 다양한 유형의 지식이 필요하기 때문에 임상 술기 교육에도 적용할 수 있다고 생각합니다.
Mastery learning and deliberate practice are currently widely used to develop automatization through proceduralization in clinical skills teaching. However, the effectiveness for skill acquisition and skill retention over time to avoid skill decay can be greatly enhanced by also integrating cognitive science evidence-based teaching strategies into the design of the educational activities of these approaches. Although many of these strategies have been traditionally associated with the development or construction of knowledge, we consider that these can also be applied to the teaching of clinical skills because different types of knowledge are required for skills development.

임상 술기 교육의 예시입니다: 고급 생명 유지 교육
Illustrative example of clinical skills training: Advanced life support training

고급 생명 유지(ALS)에는 청진, 심전도 해석, 다양한 약물 처방 등 여러 임상 기술이 필요합니다. 학습자가 직면한 과제는 방대한 양의 선언적 지식과 절차적 지식을 통합하는 것입니다. 표 1에서는 루게릭병 교육에 증거 기반 인지 과학 전략을 실제로 구현할 수 있는 방법에 대한 개요를 제공합니다(표 1). 표 1은 가장 많은 근거를 가진 전략과 그 전략이 중요한 이유, 수행 방법에 대한 설명이 순서대로 나열되어 있습니다.
Advanced Life Support (ALS) requires multiple clinical skills, including auscultation, interpretation of electrocardiograms, and prescribing a variety of medications. The challenge for learners is the integration of a large volume of declarative and procedural knowledge. In Table 1, we provide an overview of how evidence-based cognitive science strategies can be practically implemented into ALS training (Table 1). Table 1 is ordered by the strategy with the most evidence, and a description of what to do, why it is important, and how to do.

그림 1은 왼쪽에 근거 기반 인지 과학 전략을 사용한 루게릭병 입문 과정의 교육 설계를 보여줍니다. 오른쪽은 동일한 과정의 전통적인 설계입니다. 이 과정은 4개의 스킬 로테이션과 워크샵으로 나누어 진행되었습니다:

1. 관련 리저스 스킬
   
2. 평가에 대한 ABCDE 접근 방식 IIO
   
3. 리듬 인식
   
4. 고품질 CPR 및 제세동

Figure 1 shows on the left side a training design of an introduction to ALS course using evidence-based cognitive science strategies. On the right side is the traditional design of the same course. This course was divided into four skill rotations and workshops:

1. Associated Resus Skills
2. The ABCDE Approach to assessment inc IIO
3. Rhythm Recognition
4. High-quality CPR and Defibrillation

또한 이 코스에는 6개의 심장마비 시나리오(CAS)가 있어 학생들은 시뮬레이션된 임상 시나리오를 연습할 수 있습니다.
Also, in the course there are 6 Cardiac Arrest Scenarios (CAS) in which students have the opportunity to practice simulated clinical scenarios.

추가 개발 및 평가
Further development and evaluation

인지 과학은 인지 모델링의 복잡성을 발전시키고 신경 과학과 명시적으로 연결되는 흥미진진하고 진화하는 분야입니다. 인지 모델은 이제 활성화될 뇌 영역을 예측하여 선언적 지식과 절차적 지식이 상호 작용하는 방식에 대한 정보를 제공하고 복잡한 기술을 습득하는 방식에 대한 시사점과 통찰력을 제공할 수 있습니다(Borst and Anderson 2013, Taatgen 2013). 수학 교육에 사용되는 지능형 튜터의 성공적인 개발(Anderson 외. 1995)에 이어, 이제 인지 과학 원리를 임상 술기 교육에 어떻게 구현할 수 있는지 고려할 수 있는 기회가 생겼습니다. 인지 과학은 임상 추론과 같은 과제를 위한 이론 중심의 지능형 튜터를 설계하는 데 도움이 될 수 있으며, 전문가가 항상 참석하여 성과를 관찰하고 피드백을 제공할 필요를 없애줍니다. 요즘에는 다양한 피드백 시스템이 포함된 시뮬레이터를 사용하여 임상 술기에도 이러한 작업이 가능할 수 있습니다. 예를 들어, 복강경 시뮬레이터에는 인지 과학의 증거를 사용하여 개선할 수 있는 햅틱 피드백 시스템이 포함되어 있습니다. 또한 시뮬레이터는 수행 수준을 측정하고 다른 훈련 세션이 필요한 시기를 알려줄 수도 있습니다. 인지 과학은 또한 학습자가 과제를 수행하는 데 필요한 인지 처리량이 개인적으로 투자해야 하는 양을 초과할 때 더 높은 수준의 어려움을 경험할 때 주어진 과제에 대한 이해를 높이는 데 도움이 될 수 있습니다(Korbach 외. 2017). 예를 들어, 학습자가 초음파의 모든 구성 요소를 숙지하지 않은 상태에서 비만 환자에 대한 초음파 검사를 수행하도록 요구하면 초음파 검사를 성공적으로 수행하지 못하고 환자 치료가 손상될 수 있습니다. 
Cognitive science is an exciting and evolving field that has advanced in the complexity of cognitive modeling as well as making an explicit connection with neuroscience. Cognitive models can also now predict the areas of the brain that will be activated, providing information on how declarative and procedural knowledge interact, with implications and insights for how complex skills are acquired (Borst and Anderson 2013; Taatgen 2013). Following the successful development of intelligent tutors used for teaching mathematics (Anderson et al. 1995), there is now an opportunity to consider how cognitive science principles can be implement to clinical skills training in HPE. Cognitive science may help in the design of theory-driven intelligent tutors for tasks such as clinical reasoning, removing the need for an expert to always be present for observing and giving feedback on performance. This may also be feasible for clinical skills with the use of simulators, which nowadays include many feedback systems. For example, laparoscopic simulators have included a haptic feedback system, which can be improved by using evidence from cognitive science. The simulators could also measure the level of performance and indicate when another training session is necessary. Cognitive science may also help increase understanding around given learners experience greater levels of difficulty when the amount of cognitive processing necessary to execute a task exceeds what they have to personally invest into it (Korbach et al. 2017). For example, requiring learners to perform an ultrasound exam on an obese patient without mastering all the components of the ultrasound will lead to an unsuccessful performance of the ultrasound while compromising patient care.

Students have to develop a wide variety of clinical skills, from cannulation to advanced life support, prior to entering clinical practice. An important challenge for health professions' educators is the implementation of strategies for effectively supporting students in their acquisition of different types of clinical skills and also to minimize skill decay over time. Cognitive science provides a unified approach that can inform how to maximize clinical skill acquisition and also minimize skill decay. The Guide discusses the nature of expertise and mastery development, the key insights from cognitive science for clinical skill development and skill retention, how these insights can be practically applied and integrated with current approaches used in clinical skills teaching.

학생 참여란 무엇인가요?
What is student engagement?

교육 문헌에서 학생 참여의 의미에 대한 공통된 합의에 도달하는 것은 난제였습니다. 언어학적으로 참여는 '어떤 일에 관여하는 사실'(캠브리지 사전) 또는 '누군가 또는 무언가를 이해하기 위해 그/그것에 관여하는 것'(옥스퍼드 영어 사전)으로 정의됩니다. 학생 참여의 정의에 대한 합의가 부족하지만 다음은 몇 가지 선구적인 시도입니다:
Reaching a common agreement about the meaning of student engagement in the education literature has been a conundrum. Linguistically, engagement is defined as ‘the fact of being involved with something’ (Cambridge Dictionary, nd), or ‘being involved with someone or something in an attempt to understand them/it’ (Oxford English Dictionary, nd). Although there is lack of consensus about defining student engagement, the following are some pioneering attempts:

이 가이드의 개념적 프레임워크에 따르면 학생 참여는 학습, 교수, 연구, 거버넌스 및 커뮤니티 활동을 포함하는 학업 및 비학업적 경험에 대한 학생의 시간과 에너지 투자로 정의됩니다. 학생은 인지적, 정서적, 행동적, 주체적, 사회문화적 차원에서 이러한 측면에 참여합니다.
According to our conceptual framework in this guide, we define student engagement as the student investment of time and energy in academic and non-academic experiences that include learning, teaching, research, governance, and community activities. Students are involved in these aspects at the cognitive, affective, behavioral, agentic, and socio-cultural dimensions.

학생 참여의 심리적 관점
Psychological perspective of student engagement

심리적 관점은 대학 전 교육 상황에서 가장 널리 사용되는 관점이며(프레드릭스 외. 2004), HPE를 비롯한 대학 수준에서 무비판적으로 대규모로 채택되고 있습니다.

• 이 관점의 주요 장점은 참여의 지표, 동인, 결과를 구분할 수 있다는 점입니다. 또한 참여의 정서적, 행동적, 인지적 차원을 통합하여 학생들의 경험에 대한 풍부한 이미지를 묘사할 수 있습니다.
• 그러나 이 관점의 단점은 학생 참여도를 형성하는 데 있어 맥락의 역할을 사소화한다는 점(Furlong 외. 2003)과 차원 수 및 각 차원 아래의 지표를 포함한 명확한 개념화가 부족하다는 점입니다.
• 심리적 관점에서 학생 참여도를 설명할 수 있는 다섯 가지 이론적 모델은 다음과 같습니다. a) 참여-식별 모델, b) 자기 결정 이론, c) 흐름 이론, d) 학업 참여도 모델, e) 메타 구성으로서의 참여도 모델입니다.

The psychological perspective is the most prevailing in precollege education contexts (Fredricks et al. 2004), and has been uncritically adopted on a large scale at university levels including HPE.

• The main advantage of this perspective is making the distinction between indicators, drivers, and outcomes of engagement. In addition, it portrays a rich image of students experience by incorporating the affective, behavioral, and cognitive dimensions of engagement.
• However, disadvantages of this perspective are trivializing the role of context in shaping up student engagement (Furlong et al. 2003) and lack of clear conceptualization including the number of dimensions and the indicators under each dimension.
• The following five theoretical models can explain student engagement from the psychological perspective: a) participation-identification models, b) self-determination theory, c) flow theory, d) schoolwork engagement model, and e) model of engagement as a meta-construct.

학생 참여의 행동적 관점
Behavioral perspective of student engagement

이 관점은 학생 만족도 및 성취도와 관련된 학생 행동 및 교육기관 관행의 지표로서 참여를 강조합니다(Kahu 2013). 따라서 이 관점에서의 학생 참여는 학생이 교육적으로 목적이 있는 활동에 투자하는 시간과 노력으로 정의됩니다(Kuh G 2009). 그러나 이 관점은 개인의 심리적 상태로서의 참여보다는 제도적 관행을 더 강조합니다. 따라서 이 접근법의 단점은 참여 구조와 이를 주도하는 제도적 요인을 구분하지 못한다는 점입니다(Kahu 2013). 또한 참여의 행동적 측면을 강조하기 때문에 학생 참여의 다른 차원을 설명하는 데 있어 이 관점의 유용성은 제한적입니다. 

• 행동적 관점에서 학생 참여도를 측정하는 데 사용되는 주요 방법으로는 전국 학생 참여도 설문조사(NSSE)와 호주 학생 참여도 설문조사(AUSSE)가 있습니다. NSSE와 AUSSE는 모두 고등 교육 기관의 질과 벤치마킹의 지표로 대규모로 사용되어 왔습니다.
• HPE 연구 맥락에서는 NSSE의 일부(Hopper 2016, Hopper and Brake 2018, Hopper and Kaiser 2018) 또는 전체 설문지를 사용한 연구도 있습니다(Popkess and McDaniel 2011, Shoepe 외. 2020, Clynes 외. 2020a, 2020b).

This perspective emphasizes engagement as an indicator of student behaviors and institutional practices that related to student satisfaction and achievement (Kahu 2013). Therefore, student engagement in this perspective is defined as the time and effort students devote to educationally purposeful activities (Kuh G 2009). However, this perspective emphasizes on institutional practices more than engagement as an individual psychological state. Accordingly, the disadvantage of this approach is the lack of distinction between the engagement construct and institutional factors driving it (Kahu 2013). Furthermore, because of the emphasis on the behavioral aspect of engagement, the utility of this perspective in explaining the other dimensions of student engagement is limited.

• The main methods used for measuring student engagement from the behavioral perspective are the National Survey for Student Engagement (NSSE) and the Australian Survey of Student Engagement (AUSSE). Both NSSE and AUSSE have been used on a large scale as a proxy of institutional quality and benchmarking in higher education.
• In the HPE research context, studies have used portions of NSSE (Hopper 2016; Hopper and Brake 2018; Hopper and Kaiser 2018) or the full-fledged questionnaire (Popkess and McDaniel 2011; Shoepe et al. 2020; Clynes et al. 2020a, 2020b).

학생 참여에 대한 사회 문화적 관점
Socio-cultural perspective of student engagement

사회 문화적 관점은 사회, 문화 및 정치적 측면이 학생 참여에 미치는 영향을 다룹니다. 학생이 학교 커뮤니티에 참여하려면 자신의 정체성을 개발할 수 있는 소셜 네트워크 내에서 자신을 확립해야 합니다. 학생들은 자신의 정체성을 개발하면서 학교 커뮤니티에 대한 소속감을 형성합니다(Trowler 2019). 이러한 소속감은 [학생의 기존 규범 및 가치]와 [학교 공동체의 가치] 사이의 일치 정도와 관련이 있습니다(Kahu와 Nelson 2018). 사회경제적 계층이 낮거나 통학생, 소수 민족 또는 장애를 가진 학생과 같은 '비전통적' 학생의 경우 이러한 정체성 간의 일치성을 개발하는 것이 더 어렵습니다(Kahu 2013).
The socio-cultural perspective addresses the impact of social, cultural, and political aspects on student engagement. For students to be engaged in the school community, they need to establish themselves within a social network where they can develop their identity. As the students develop their identity, they construct a sense of belonging to the school community (Trowler 2019). This belonging relates to the degree of congruence between the existing norms and values of the student with that of the school community (Kahu and Nelson 2018). Developing this congruence between identities is more challenging for ‘non-traditional’ students such as those with low socio-economic class, commuters, ethnic minorities, or with disabilities (Kahu 2013).

[사회 문화적 관점]은 파트너십을 통한 학생 참여를 이해하기 위한 포괄적인 관점을 제공합니다. 결과적으로 다음 세 가지 이론이 파트너로서 학생의 참여를 설명할 수 있습니다: 실천 공동체, 자기 결정 이론, 포지셔닝 이론. 

• 실천 공동체는 동일한 관심 영역을 공유하고, 정기적인 상호작용을 통해 공동 활동이나 토론에 참여하며, 반복되는 문제를 해결하기 위해 공유된 실천 모음을 개발하는 개인들의 그룹입니다.
• '실천공동체(CoP)' 이론에 따르면, 참여 파트너는 다음을 공유하게 됩니다(Wenger 1998, 2010).
  • 공동체감 (소속감으로서의 학습),
  • 실천 (행함으로써 학습),
  • 의미 (경험함으로써 학습),
  • 정체성 (공동체의 일원이 됨으로써 학습)
• SDT 이론은 참여에 대한 내재적 동기는 파트너가 학생에게 제공하는 자율성, 역량 및 관련성의 충족 정도에 따라 결정된다고 가정합니다(Konings 외. 2021).
• 마지막으로, 포지셔닝 이론은 교사와 학생이 자신의 세계 내에서 자신과 상대방을 위치시키기 위해 자신의 위치를 구성하는 관행과 상호 작용을 말합니다(Andreouli 2010). 학생과 교사 간의 관계의 권력 역학은 각 정체성 위치와 관련된 권리와 의무와 관련이 있습니다(Andreouli 2010). 학생과 교사의 정체성을 파트너로 받아들이려면 각각의 '새로운' 위치를 공동으로 재생산하기 위한 협력과 공유된 이해가 필요합니다(Konings 외. 2021).

The socio-cultural perspective offers an umbrella for understanding student engagement through partnerships. Consequently, the following three theories could explain engagement of students as partners: communities of practice, self-determination theory, and positioning theory.

• A community of practice is a group of individuals who share the same domain of interest, engage in joint activities or discussions through regular interactions, and develop a shared collection of practice to address recurring problems. According to ‘Communities of Practice (CoP)’ theory, engaged partners share the feeling of
  • community (learning as belonging),
  • practice (learning by doing),
  • meaning (learning by experiencing), and
  • identity (learning by becoming a member of a community) (Wenger 1998, 2010).
• The SDT theory posits that intrinsic motivation for engagement in determined by the degree of fulfillment of autonomy, competence, and relatedness provided to students by their partners (Konings et al. 2021).
• Finally, positioning theory refers to the practices and interactions by which teachers and students construct their positions to situate themselves and the other within their world (Andreouli 2010). The power dynamics of the relationships between students and teachers is associated with rights and duties related to each identity position (Andreouli 2010). Accepting the identities of the students and teachers as partners requires collaboration and shared understanding to jointly reproduce the ‘new’ positions for each (Konings et al. 2021).

현재 통합 프레임워크
Current integrated frameworks

학생 참여에 대한 세 가지 이론적 관점을 비판적으로 분석한 후 Kahu(2013)는 통합 프레임워크를 제안했습니다(Kahu 2013). 이 프레임워크는 학생 참여를 제도적 요인과 학생 요인의 영향을 받고 더 넓은 사회문화적 맥락에 내재된 내적 심리 상태로 인정합니다.

• 제도적 요인에는 구조적(문화, 정책, 커리큘럼, 평가) 및 심리사회적(교수, 교직원, 지원, 업무량) 요인이 포함됩니다.
• 학생 요인에는 구조적(배경, 성별, 업무량) 및 심리사회적(성격, 기술, 정체성) 요인이 포함됩니다.
• 또한 이 프레임워크는 단기적(학업 성취도, 웰빙, 만족도, 대인관계 및 팀워크 기술) 및 장기적(유지, 업무 성공, 개인 개발, 평생 학습) 결과를 포함한 참여의 결과를 식별합니다.

Following critical analysis of the three theoretical perspectives of student engagement, Kahu (2013) proposed her integrated framework (Kahu 2013). The framework acknowledges student engagement as an internal psychological state which is affected by institutional and student factors and embedded within a wider sociocultural context.

• The institutional factors include structural (culture, policies, curriculum, assessment) and psychosocial (teaching, staff, support, workload) factors.
• Student factors include structural (background, gender, workload) and psychosocial (personality, skills, identity) factors.
• The framework also identifies the outcomes of engagement including
  • short-term (academic achievement, well-being, satisfaction, interpersonal and teamwork skills) and
  • long-term (retention, work success, personal development, lifelong learning) outcomes.

그런 다음 Kahu와 Nelson은 개선된 프레임워크를 개발하여 학생의 참여와 성공을 중재하기 위해 기관과 학생 요인 간의 상호작용을 위한 심리사회적 공간으로서 '교육 인터페이스'라는 개념을 포함시켰습니다(Kahu와 Nelson 2018).

• 이 모델에서 그들은 이러한 상호작용을 위한 네 가지 매개 구성 요소, 즉 자기 효능감, 감정, 소속감, 웰빙을 제안했습니다(Kahu and Nelson 2018).
• 4년 후, Trowler 등은 참여의 세 가지 차원(정치적, 사회문화적, 비판적)을 추가하고
• 참여의 매개 요인으로 동기부여, 회복탄력성, 성찰성의 세 가지 심리사회적 구성을 추가하여 Kahu와 Nelson 모델을 더욱 정교화할 것을 제안했습니다(Trowler 외. 2022).

Then, Kahu and Nelson developed a refined framework and included the concept of ‘educational interface’ as a psychosocial space for interactions between institutional and student factors to mediate student engagement and success (Kahu and Nelson 2018).

• In their model, they proposed four mediating constructs for these interactions: self-efficacy, emotions, belonging, and well-being (Kahu and Nelson 2018).
• Four years later, Trowler et al suggested more refinement of Kahu and Nelson model by including
  • three additional dimensions of engagement: political, sociocultural, and critical, and
  • added three psychosocial constructs as mediators of engagement: motivation, resilience, and reflectivity (Trowler et al. 2022).

기존 통합 프레임워크의 문제점
Problems with the existing integrated frameworks

기존 문헌의 통합 프레임워크는 학생 참여에 대한 이해에 크게 기여했습니다(Kahu 2013; Kahu와 Nelson 2018; Trowler 외. 2022).

• 그러나 이러한 프레임워크는 대학교육의 시장화와 맞물려 있으며 '고객' 또는 외부 이해관계자로서의 학생의 역할에 초점을 맞추고 있습니다(Kahu 2013; Milburn-Shaw와 Walker 2017; Kahu와 Nelson 2018; Trowler 외. 2022).
• 따라서 교육의 파트너로서 학생의 역할이 명시적으로 누락되어 있고 학생의 참여가 학교의 역할로 간주됩니다.
• 또한, 우리는 감정과 회복탄력성과 같은 이러한 모델에서 참여의 매개 구성 요소 중 일부는 각각 정서적 및 인지적 참여의 지표로 간주된다고 주장합니다 (구성 내에서). 또한, 학생의 웰빙은 참여의 중재자이자 결과로서 제안됩니다(Kahu와 Nelson 2018). 이처럼 참여의 [지표, 매개변수, 결과]를 구분하지 않는 것은 이미 존재하는 참여 구성의 모호함을 야기할 수 있습니다.

The integrated frameworks in the extant literature contributed significantly to understanding of student engagement (Kahu 2013; Kahu and Nelson 2018; Trowler et al. 2022).

• However, these frameworks go in line with the marketization of university education and focus on the role of the student as a ‘customer’ or an external stakeholder (Kahu 2013; Milburn-Shaw and Walker 2017; Kahu and Nelson 2018; Trowler et al. 2022).
• Therefore, the role of students as partners in education is explicitly missing and engagement of students is considered as the role of schools.
• In addition, we argue that some of the proposed mediating constructs of engagement in these models such as emotions and resilience are considered indicators (within the construct) of emotional and cognitive engagement, respectively.
• Furthermore, student wellbeing is proposed both as a mediator and an outcome of engagement (Kahu and Nelson 2018). This lack of distinction between indicators, mediators, and outcomes of engagement could contribute to the already existing fuzziness of the engagement construct.

HPE에서 제안하는 학생 참여의 통합 프레임워크
A proposed integrated framework of student engagement in HPE

이 가이드에서는 이전에 발표된 프레임워크에 추가 구성 요소로 학생 참여의 영역을 포함하는 포괄적인 프레임워크를 제안합니다(그림 1). 이전 모델과 마찬가지로, 우리는 학생 참여를 학생 내부에 위치하며, 교육기관과 학생 간의 상호작용에 의해 촉진되고, 심리사회적 메커니즘에 의해 매개되며, 더 넓은 사회문화적 맥락에 내재된, 학생 내부의 심리사회적 상태로 간주합니다. 또한 참여 구조는 행동, 정서, 인지, 대리인, 사회문화의 다섯 가지 차원으로 구성될 것을 제안합니다. 
We propose in this guide a comprehensive framework that includes the spheres of student engagement as an additional component to previously published frameworks (Figure 1). In agreement with previous models, we consider student engagement as an internal psychosocial state which is situated within the student, facilitated by the interactions between the institution and the student, mediated by psychosocial mechanisms, and embedded within a broader sociocultural context. We propose also that the engagement construct consists of five dimensions: behavioral, emotional, cognitive, agentic, and sociocultural.

그러나 제안된 프레임워크의 독창성은 학생의, 학생과 함께, 학생에 의한 참여를 강조하기 위해 학생의 '파트너십을 통한 참여'라는 개념을 도입한 것입니다. 이에 따라 참여의 영역을 크게 다음으로 분류합니다.

• (1) 교실, 실험실, 임상 현장, 숙제 또는 자율 학습 등 개별 학습 활동에 대한 참여를 포함하는 자기 학습 참여와
• (2) 교육 제공, 학술 연구, 학교 거버넌스 및 품질 보증, 지역사회 활동에서의 파트너십을 포함하는 파트너십을 통한 참여

However, the uniqueness of the proposed framework is introducing the concept of student ‘engagement through partnerships’ to emphasize engagement of, with, and by, students. Accordingly, we classify the spheres of engagement into two main categories:

• (1) engagement in own learning, which includes engagement in individual learning activities in the classroom, laboratory, clinical sites, homework, or self-study, and
• (2) engagement through partnerships, which include partnerships in provision of education, scholarly research, school governance & quality assurance, and community activities.

파트너십을 통한 학생 참여의 분류는 이 분야에 대한 최신 문헌(Healey와 해링턴 2014)과 학생 참여에 대한 기관의 우수성 기준(ASPIRE 2020)에 따라 개념적으로 안내됩니다. 이 프레임워크가 학생 참여에 대한 향후 발전과 이해를 촉진할 수 있는 토론을 촉발할 수 있기를 바랍니다.
The classification of student engagement through partnerships is conceptually guided by the current literature on this field (Healey and Harrington 2014), and by the AMEE-ASPIRE criteria for institutional excellence in student engagement (ASPIRE 2020). We hope that this framework triggers a debate which can stimulate future developments and understanding of student engagement in HPE.

박스 1 통합 이론 모델을 HPE 실무에 적용한 예시.
Box 1 Example of applying the integrative theoretical model in HPE practice.

다음 섹션에서는 학생 참여를 위해 제안된 통합 프레임워크의 다섯 가지 구성 요소(선행 요소, 매개자, 차원, 영역 및 결과)에 대한 개요를 제공합니다.
In the following section, we provide an overview of the five components of the proposed integrated framework for student engagement (antecedents, mediators, dimensions, spheres, and outcomes).

조직 문화와 학생 참여
Organizational culture and student engagement

이전 연구에서는 학교 문화와 고등 교육에서의 학생 참여 사이의 관계를 입증했습니다(van der Velden 2012; Borhan 2020). 학생 참여에 도움이 되는 학교 문화는 다음과 같은 특징이 있습니다:

• (a) 팀 빌더로 인식되는 친근한 리더,
• (b) 학교 구성원이 신뢰하는 대인 관계로 가족 같은 느낌을 공유(Cameron and Quinn 2011),
• (c) 학생이 커뮤니티의 파트너로 간주(Borhan 2020),
• (d) 유연성과 적응력을 갖춘 창의성, 혁신 및 성장에 집중(Borhan 2020) 등이 있습니다. 그

러나 안정성과 규정 준수에 중점을 두는 위계질서나 관료주의 문화에서는 학생 참여가 감소합니다(van der Velden 2012; Borhan 2020).
Previous studies demonstrated the relationship between school culture and student engagement in higher education (van der Velden 2012; Borhan 2020). School cultures that are conducive for student engagement are characterized by the following:

• (a) friendly leaders who are perceived as teambuilders,
• (b) members of the school share the feeling of a family with trusting interpersonal relationships (Cameron and Quinn 2011),
• (c) students are considered as partners in the community (Borhan 2020), and
• (d) focus on creativity, innovation, and growth with flexibility and adaptability (Borhan 2020).

However, student engagement is decreased in hierarchy or bureaucratic cultures, which focus on stability and enforcing compliance (van der Velden 2012; Borhan 2020).

학생 요인
Student factors

학생 참여에서 성별의 역할을 조사한 연구에 따르면 여학생은 남학생보다 더 높은 수준의 학습 참여를 보이는 반면(Presoto 외. 2021), 남학생은 연구 및 과외 활동에 참여할 가능성이 더 높은 것으로 나타났습니다(Salgueira 외. 2012). 또한 대학 입학 전 학업 수준은 학생의 대학 참여에 대한 중요한 예측 변수입니다(Salgueira 외. 2012). 그러나 사회경제적 지위, 부모의 특성 또는 소수 집단 소속을 포함한 학생의 배경은 학생들의 대학 참여도에 영향을 미치지 않는 것으로 보입니다(Pike and Kuh 2005; Trowler and Trowler 2010; Karabchuk and Roshchina 2022). 반면에 시간제 취업 학생의 참여도는 비취업 학생과 비교했을 때 비슷하거나(Clynes 외. 2020a), 낮거나(Walpole 2003), 높거나(Kuh 2009) 일관되지 않은 결과를 나타냈습니다.
Studies examining the role of gender in student engagement demonstrated that female students exhibit higher level of learning engagement more than male students (Presoto et al. 2021), while male students are more likely to engage in research and extracurricular activities (Salgueira et al. 2012). In addition, pre-college entry academic level is a significant predictor for student engagement in university (Salgueira et al. 2012). However, the student background including socioeconomic status, parental characteristics, or belonging to minority groups, does not appear to play a role in the level of engagement of students in colleges (Pike and Kuh 2005; Trowler and Trowler 2010; Karabchuk and Roshchina 2022). On the other hand, engagement of part-time employed students has yielded inconsistent results with similar (Clynes et al. 2020a), lower (Walpole 2003), or higher (Kuh 2009) engagement compared with non-employed students.

관계
Relationships

긍정적인 학생-학생 및 학생-교수 관계는 학생 참여도를 향상시키는 것으로 나타났습니다(Leiken 2017; Banos 외. 2019; Geraghty 외. 2020; Shoepe 외. 2020). 이는 교사가 친절하고 접근하기 쉬우며 도전적인 학습 활동을 제공할 때 분명해집니다(Bryson and Hand 2007). 학생과 교직원 또는 또래 간에 신뢰 관계를 발전시키면 학생들은 타인의 판단으로부터 자유로워지고 교육 활동에 온전히 집중할 수 있어 심리적 안전이 증진됩니다(Tsuei et al. 2019).

• 학생에게 심리적으로 안전한 관계의 결과에는 위험 감수, 권위 있는 사람에게 말할 수 있는 자유, 창의성 등이 있습니다(Edmondson and Lei 2014). 또한 심리적 안전은 팀 성과를 향상시키고 구성원의 지속 가능한 다양성을 보장합니다.

이러한 관계의 근간이 되는 메커니즘은 업무량에 대한 인식을 낮추고(Kember 2004; Xerri 외. 2018), 학생들의 학교 공동체에 대한 소속감을 높이는 것입니다(Milburn-Shaw and Walker 2017).
Positive student-student and student-faculty relationships appear to enhance student engagement (Leiken 2017; Banos et al. 2019; Geraghty et al. 2020; Shoepe et al. 2020). This becomes evident when teachers are friendly, approachable, and provide challenging learning activities (Bryson and Hand 2007). Developing trusting relationships between students and staff or with their peers promote psychological safety of students by feeling free from judgment by others while fully concentrating on engagement with educational activities (Tsuei et al. 2019).

• The outcomes of psychologically safe relationships for students include risk-taking, freedom to speak-up with higher authority persons, and creativity (Edmondson and Lei 2014). In addition, psychological safety enhances team performance and ensures sustainable diversity of the members.

The mechanisms underlying these relationships could be lowering the perception of workload (Kember 2004; Xerri et al. 2018) and enhancing students’ sense of belonging to the school community (Milburn-Shaw and Walker 2017).

동기 부여
Motivation

동기는 참여의 원동력으로 간주되며 활동 전에 발생하는 반면, 참여는 활동 자체에서 학생의 적극적인 참여를 나타냅니다(그림 2). 내재적 동기는 의대생의 학습 참여를 향상시키고(Berman and Artino 2018; Wu 외. 2020), 간호대생의 학습 참여와 긍정적인 상관관계가 있습니다(Bayoumy and Alsayed 2021).

• 특히, 학생 동기는 인지적 참여를 유의미하게 예측하며(Walker 외. 2006), 행동적 참여의 매개 메커니즘으로 제안되고 있습니다(Trowler 외. 2022).

동기는 과제 가치를 높이고 숙달 목표를 촉진함으로써 학생의 참여도를 높일 수 있습니다(Trowler 외. 2022). 예를 들어, 새로운 수술 기술을 배우면서 [숙달 목표]를 설정한 의대생은 [성과 목표]를 설정한 학생에 비해 과제에 더 잘 몰입하는 것으로 나타났습니다(Gardner 외. 2016).
Motivation is considered as the fuel for engagement and occurs before an activity while engagement represents students’ active involvement during the activity itself (Figure 2). Intrinsic motivation enhances learning engagement of medical students (Berman and Artino 2018; Wu et al. 2020) and positively correlates with learning engagement of nursing students (Bayoumy and Alsayed 2021).

• Specifically, student motivation significantly predicts cognitive engagement (Walker et al. 2006), and is proposed as a mediating mechanism for behavioral engagement (Trowler et al. 2022).

Motivation could increase student engagement through enhancing task value and promoting mastery goals (Trowler et al. 2022). For example, medical students prepared with mastery goals while learning new surgical skills exhibited better engagement in the tasks compared with those provided with performance goals (Gardner et al. 2016).

자기 효능감
Self-efficacy

자기효능감은 제도적 요인과 학생 참여 간의 상호작용을 매개하는 메커니즘 중 하나로 제안되었습니다(Kahu and Nelson 2018; Trowler 외. 2022). 이전 연구에서는 자기효능감과 학생 참여도 간에 긍정적인 유의미한 관계가 있음이 입증되었습니다(Walker 외. 2006; Koob 외. 2021). 또한 학생의 동기 부여와 자기 효능감은 모두 학습 참여도를 높여 의대생의 학업 성취도를 높입니다(Wu 외. 2020). 자기효능감의 증가는 과제 자원에 대한 인식을 높이고 학생의 주체성을 장려함으로써 학생의 참여를 향상시킬 수 있습니다(Trowler 외. 2022). 
Self-efficacy has been proposed as one of the mediating mechanisms of interactions between institutional factors and student engagement (Kahu and Nelson 2018; Trowler et al. 2022). Previous studies demonstrated a positive significant relationship between self-efficacy and student engagement (Walker et al. 2006; Koob et al. 2021). In addition, both student motivation and self-efficacy increase academic performance of medical students through enhancing learning engagement (Wu et al. 2020). The increase in self-efficacy could enhance student engagement by increasing awareness of task resources and encouraging student agency (Trowler et al. 2022).

소속감
Sense of belonging

소속감은 교직원과 동료들로부터 가치 있고, 받아들여지고, 포용되고, 격려받는다는 느낌입니다. 이 느낌은 학생이 학교에 대한 심리적 소속감 또는 학교 및 학교 내 개인과의 관계를 나타냅니다(Burkhardt 외. 2015). 소속감은 학생 참여, 특히 사회-문화적 참여(Trowler 외. 2022)를 매개하는 메커니즘으로 제안되었습니다(Kahu and Nelson 2018). 또한, 또래에 비해 높은 소속감을 경험하는 학생은 정서적 및 행동적 참여가 증가하는 경향이 있습니다(Gillen-O'Neel 2021). 소속감은 더 높은 수준의 학생 동기 부여를 유지함으로써 참여도 증가에 기여할 수 있으며(Ryan and Deci 2000), 학생 참여는 소속감도 증가시킬 수 있습니다(Finn 1989).
Sense of belonging is the feeling of being valued, accepted, included, and encouraged by staff and peers. This feeling represents a psychological membership of the students with their school or connection with the school and individuals within the school (Burkhardt et al. 2015). Belonging has been proposed as a mediating mechanism of student engagement (Kahu and Nelson 2018), especially the socio-cultural engagement (Trowler et al. 2022). In addition, students who experience higher sense of belonging compared with their peers tend to have increased emotional and behavioral engagement (Gillen-O’Neel 2021). The sense of belonging can contribute to increased engagement by maintaining a higher level of student motivation (Ryan and Deci 2000), while student engagement can also increase the sense of belonging (Finn 1989).

반성
Reflectivity

성찰은 학생 참여도를 향상시킬 수 있기 때문에 중요한 교육 전략으로 간주됩니다(Sandars 2009). 임상 문제를 해결하는 동안 의도적인 성찰은 의대생의 학습 활동 참여를 촉진하고 학습 성과를 증가시켰습니다(Ribeiro et al. 2019). 이러한 의도적인 성찰은 학생들이 문제에 대해 더 많이 알 수 있도록 상황적 흥미를 유발하여 참여도를 높일 수 있습니다(Linnenbrink-Garcia 외. 2013; Ribeiro 외. 2018).
Reflection is considered an important educational strategy because of its potential enhancement of student engagement (Sandars 2009). Deliberate reflection while solving clinical problems promoted engagement of medical students in a learning activity and increased learning outcomes (Ribeiro et al. 2019). This deliberate reflection may increase engagement by triggering situational interest for students to know more about the problem (Linnenbrink-Garcia et al. 2013; Ribeiro et al. 2018).

학생의 자기 주도적 학습 참여
Student engagement in own learning

학생이 스스로 학습에 참여하는 것은 학생 행동의 중요한 측면이자 학업 성공의 매개체입니다. 학습 상황은 대규모 수업, 소그룹 학습, 과제 또는 자가 학습 등 다양할 수 있습니다. 각 맥락에서 학생 참여의 차원은 다를 수 있습니다. 예를 들어, 소그룹 PBL 튜토리얼에 참여하는 학생은 참여의 인지적 및 행동적 차원 외에 사회적-정서적 차원에 더 중점을 둘 수 있습니다. 
Student engagement in own learning represents an important aspect of student behavior and a mediator for academic success. The learning context could vary from large classroom, small group learning, assignments, or self-learning. The dimensions of student engagement in each context could be different. For example, student engagement in small group PBL tutorials may focus more on the social-emotional dimensions in addition to the cognitive and behavioral dimensions of engagement.

학생 참여의 개념적 명확성을 확보하려면 인지적 참여와 자기조절 학습 간의 관계를 설명하는 것이 중요합니다. 일부 연구자들은 자기조절 학습 전략이 학생의 인지적 참여도를 나타내는 지표라고 제안했습니다(Horner and Shwery 2002; Furlong and Christenson 2008). 그러나 최근의 한 모델에서는 이러한 구성 요소가 상호 연관되어 있지만 별개의 실체라는 것을 보여주었습니다(Li and Lajoie 2022). 이 모델에서 SRL은 사전 사고, 수행 및 자기 성찰의 세 가지 연속적인 단계를 기반으로 개념화됩니다(Zimmerman 2000).

• 사전 생각 단계에서 학생은 학습 과정과 학습에 필요한 정신적 노력의 양을 계획합니다.
• 수행 단계에서 학생은 학습 활동 중에 사용할 인지 전략과 정신적 노력의 수준을 스스로 통제하고 모니터링합니다.
• 자기 성찰 단계에서 학생은 계획된 학습 목표를 달성하는 데 있어 인지적 참여 수준의 효과를 평가하고 그에 따라 해당 수준을 조정합니다(그림 2).

이 모델은 활동의 유형과 계획된 학습 목표 달성에 대한 이러한 요소의 효과에 따라 정신적 노력의 양과 사용되는 학습 전략의 유형을 조정할 수 있는 인지적 참여의 역동적인 특성을 보여줍니다(Li and Lajoie 2022). 
To ensure the conceptual clarity of student engagement, it is important to delineate the relationship between cognitive engagement and self-regulated learning. Some researchers proposed that self-regulated learning strategies are indicators of student cognitive engagement (Horner and Shwery 2002; Furlong and Christenson 2008). However, a recent model demonstrated that these constructs are interrelated, but distinct, entities (Li and Lajoie 2022). In that model, SRL is conceptualized based on three consecutive phases: forethought, performance, and self-reflection (Zimmerman 2000).

• In the forethought phase, students plan their learning process and the amount of mental effort in learning.
• In the performance phase, students perform self-control and monitoring of the cognitive strategies and the level of mental effort to be used during the learning activity.
• During the self-reflection phase, students evaluate the effectiveness of the level of cognitive engagement in achieving the planned learning goals and adjust that level accordingly (Figure 2).

This model demonstrates the dynamic nature of cognitive engagement where the amount of mental effort and the types of learning strategies used can be adjusted according to the type of activity and the effectiveness of these factors on achieving the planned learning goals (Li and Lajoie 2022).

파트너십을 통한 학생 참여
Student engagement through partnerships

"파트너로서의 학생"(SaP)의 참여는 고등 교육을 변화시킬 수 있는 잠재적인 방법으로 제안되었습니다(Healey 외. 2016). 파트너십에 대한 가장 널리 인용되는 정의는 다음과 같습니다: '모든 참여자가 커리큘럼 또는 교육학적 개념화, 의사 결정, 실행, 조사 또는 분석에 반드시 동일한 방식은 아니지만 동등하게 기여할 수 있는 기회를 갖는 협력적이고 호혜적인 과정'(Cook-Sather 외. 2014)입니다. 이러한 파트너십은 주로 학생과 학자 간에 이루어지며, 학생-학생 파트너십은 파트너십 구조의 두 번째로 일반적인 범주에 속합니다(Mercer-Mapstone 외. 2017). 파트너십은 기본적으로 결과보다는 참여의 과정이며, 다른 형태의 학생 참여를 보완합니다(Healey 및 Harrington 2014). 파트너십의 주요 기본 원칙은 상호 존중, 정직, 투명성, 파트너 간의 정기적인 연결, 공유된 가치와 목표입니다(Bretts 외. 2018). 파트너십을 뒷받침하는 공유 가치는 다음과 같습니다:

• (a) 모든 파트너가 자신의 경험, 관점 또는 재능을 공유할 권리가 있는 포용성,
• (b) 각 파트너가 프로세스를 통해 이익을 얻거나 배울 목표가 있는 상호성,
• (c) 모든 파트너가 파트너십을 통해 일할 때 동등한 권한을 갖는 권한 부여,
• (d) 파트너가 상호 존중을 기대하며 정직하고 개방적으로 소통하는 신뢰,
• (e) 소속감과 자신이 기여한 것에 대한 감사함,
• (f) 그룹으로서 하는 일과 개별적으로 기여한 것에 대한 책임감 (Healey and Harrington 2014). 

Engagement of “students as partners” (SaP) has been proposed as a potential method for transforming higher education (Healey et al. 2016). The most widely quoted definition of partnership is: ‘a collaborative, reciprocal process through which all participants have the opportunity to contribute equally, although not necessarily in the same ways, to curricular or pedagogical conceptualization, decision making, implementation, investigation, or analysis’ (Cook-Sather et al. 2014). This partnership is mainly between students and academics, with the student-student partnership coming as the second most common category of partnership structure (Mercer-Mapstone et al. 2017). Partnership is basically a process of engagement rather than an outcome and complements other forms of student engagement (Healey and Harrington 2014). The main underlying principles of partnerships are mutual respect, honesty, transparency, regular connections between partners, and shared values and goals (Bretts et al. 2018). The shared values underpinning the partnerships include the following:

• (a) inclusivity, where every partner has the right to share his or her experience, perspectives, or talents; (b) reciprocity, where each partner has a goal to benefit or learn for the process;
• (c) empowerment, where every partner has an equal power in working through partnerships;
• (d) trust, where partners communicate with honesty and openness with an expected mutual respect;
• (e) sense of belonging and feeling of appreciation of what they contribute; and
• (f) responsibility for what they do as a group and for what they contribute individually (Healey and Harrington 2014).

파트너십을 통해 학생이 얻을 수 있는 혜택으로는 지속적인 참여에 대한 동기 부여 증가(Border 외. 2021), 자기 효능감 증가(Henderson 외. 2018), 자신감 및 의사소통 기술 향상(Qazi 외. 2019; Reeves 외. 2019), 학업 경험에 대한 이해도 향상 등이 있습니다. 2019), 학업 경험에 대한 이해도 향상, 학생-교직원 및 학생-학생 관계 개선, 메타인지 능력 향상(Geraghty 외. 2020; Gheihman 외. 2021), 소속감 증가(Bovill 외. 2021), 규율 학습 개선, 학생 복지 증진(Cook-Sather 외. 2014; Mercer-Mapstone 외. 2017) 등의 효과가 있습니다. 

• 그러나 파트너십의 내용이나 과정에 대한 전문성 부족, 학생과 교수진 간의 권력 관계, 음성 피로로 인한 파트너십 지속 꺼려하기 등 학생에게는 어려움이 있습니다(Konings 외. 2021). 
• 교사의 어려움에는 학생에게 권한을 양보하는 데 따른 보안 부족, 변화에 대한 저항, 파트너십 참여 방법 이해, 시간 제약 등이 있습니다(Bovill 외. 2015; Gheihman 외. 2021; Konings 외. 2021).

The student benefits from partnerships include increased motivation for continuous engagement (Border et al. 2021), increased self-efficacy (Henderson et al. 2018), improved self-confidence and communication skills (Qazi et al. 2019; Reeves et al. 2019), improved understanding of academic experiences, enhanced student-staff and student-student relationships, enhanced metacognitive skills (Geraghty et al. 2020; Gheihman et al. 2021), increased sense of belonging (Bovill et al. 2021), improved discipline learning, and increased student well-being (Cook-Sather et al. 2014; Mercer-Mapstone et al. 2017).

• However, there are challenges for students that include lack of expertise in the content or process of partnerships, power relations between students and faculty, and reluctance to continue in partnerships because of voice fatigue (Konings et al. 2021).
• Challenges for teachers include lack of security because of conceding authority to students, resistance to change, understanding how to engage in partnerships, and time constraints (Bovill et al. 2015; Gheihman et al. 2021; Konings et al. 2021).

파트너십에 대한 학생의 참여는 저강도, 저호혜성, 단기 참여에서 고강도, 고호혜성, 장기 참여에 이르기까지 다양합니다(Gheihman 외. 2021). 다섯 가지 영역 각각에서 학생 참여의 단계는 연속체를 따라 질적으로 다른 네 가지 형태의 참여를 나타낼 수 있습니다(Dunne and Zandstra 2011). 

• 1단계(협의)는 학생이 자신의 의견, 견해 및 관점을 표현할 수 있는 기회를 제공하는 단계,
• 2단계(참여)는 학생에게 보다 적극적인 역할을 제공하는 단계,
• 3단계(파트너)는 학생과 교수진/직원/다른 학생 간의 공동 협력 과정,
• 4단계(변화 주도자)는 학생이 전적으로 통제권을 갖는 단계를 의미합니다.

Participation of students in partnerships can range from low-intensity, low-reciprocity, short-term involvement to high-intensity, high reciprocity, long-term involvement (Gheihman et al. 2021). The stages of student engagement in each of the five spheres can represent four qualitatively different forms of participation along a continuum (Dunne and Zandstra 2011).

• Stage 1 (consult) means provision of opportunities for students to express their opinions, views, and perspectives;
• stage 2 (participate) is providing more active role for students;
• stage 3 (partner) is a shared collaborative process between students and faculty/staff/other students; and
• stage 4 (change agent) where students are in full control.

다음 섹션에서는 파트너십을 통한 학생 참여의 네 가지 영역인 (1) 교육 프로그램 제공, (2) 학술 연구, (3) 기관 거버넌스 및 질 향상, (4) 커뮤니티 활동에 대해 설명합니다.
In the following section, we describe the four areas of student engagement through partnerships: (1) provision of the education programme, (2) scholarly research, (3) institutional governance and quality enhancement, and (4) community activities.

교육 프로그램 제공에 대한 학생 참여
Student engagement in provision of the education programme

강력한 파트너십 유형은 학생들을 교육, 학습 및 평가에 참여시키는 것입니다. 교육 프로그램 제공의 파트너로서 학생의 참여에는 프로그램의 공동 제작자, 교사 및 평가자로서의 역할이 포함됩니다.
A powerful type of partnerships is engaging students in teaching, learning, and assessment. Involvement of students as partners in provision of the education programme include their role as co-creators, teachers, and assessors in the programme.

학술 연구에 대한 학생 참여
Student engagement in scholarly research

학부 연구에 참여하는 학생은 졸업 후 더 많은 연구 논문을 발표하고(Reinders 외. 2005), 연구 수행에 대한 자신감을 높이며(Pearson 외. 2017), 학계에 대한 관심을 높이고, 교수직을 얻을 확률이 높아지는 등 많은 이점을 누릴 수 있습니다(Solomon 외. 2003). 또한 학생의 연구 참여는 특히 의학 지식과 전문성(Zhang 외. 2022), 의학 문헌에 대한 비판적 사고와 비판적 평가(Laskowitz 외. 2010) 영역에서 학습 성과를 향상시킵니다. 학생 참여의 주요 원동력은 연구와 경력 발전에 대한 본질적인 관심입니다(Remes 외. 2000; Alamri 2019). 그러나 학생들의 연구 참여에 장애가 되는 요인으로는

• 지도교수 찾기 어려움(Remes 외. 2000; Alexander 외. 2019),
• 시간 제약(Remes 외. 2000; Pearson 외. 2017; Trethewey 외. 2018; Alamri 2019; Alexander 외. 2019),
• 자금 부족(Pearson 외. 2017),
• 연구 교육 부족(Hamdan and Kakarla 2013; Alexander 외. 2019),
• 잠재적 연구 프로젝트에 대한 인식 부족(Hamdan and Kakarla 2013; Trethewey 외. 2018) 등이 있습니다.

Student engagement in undergraduate research has many advantages including publishing more research articles after graduation (Reinders et al. 2005), increased confidence in conducting research (Pearson et al. 2017), increased interest in academic career, and higher probability of getting an academic position (Solomon et al. 2003). In addition, engaging students in research improves their learning outcomes especially in the domains of medical knowledge and professionalism (Zhang et al. 2022), as well as in critical thinking and critical appraisal of medical literature (Laskowitz et al. 2010). The main driving factors for student engagement are intrinsic interest in research and career progression (Remes et al. 2000; Alamri 2019). However, the barriers to engagement of students in research include

• difficulty in finding supervisors (Remes et al. 2000; Alexander et al. 2019),
• time constraints (Remes et al. 2000; Pearson et al. 2017; Trethewey et al. 2018; Alamri 2019; Alexander et al. 2019),
• lack of funding (Pearson et al. 2017),
• lack of training in research (Hamdan and Kakarla 2013; Alexander et al. 2019), and
• lack of awareness about potential research projects (Hamdan and Kakarla 2013; Trethewey et al. 2018).

거버넌스 및 품질 보증에 대한 학생 참여
Student engagement in governance and quality assurance

기관 거버넌스 및 품질 보증에 대한 학생 참여는 성숙한 형태의 참여를 나타냅니다(Naylor 외. 2021). 그러나 경제적, 문화적 요인으로 인해 교육기관 거버넌스에서 학생의 참여는 교육기관마다 큰 편차를 보이며 아직 미발달 상태입니다(Green 2019).

• 기관 거버넌스에 학생을 참여시키는 근거는 민주적 가치에 대한 헌신, 학생의 목소리를 개선의 촉진 요인으로 인정하는 것, 또는 인증 시스템의 요구 사항을 충족하는 것 등 다양할 수 있습니다(Naylor 외. 2021).
• 거버넌스 및 품질 보증에 대한 학생 참여의 이점은 직원 및 동료와의 커뮤니케이션 개선, 개인 및 전문성 개발, 리더십 기술 및 전문성 향상입니다(Meeuwissen 외. 2019). 또한 학생들은 메타인지적 사고, 주장하기, 토론, 로비 및 네트워킹 기술을 습득합니다(Meeuwissen 외. 2019).
• 학교 거버넌스 및 품질 보증의 파트너로서 HPE 학생의 역할에 대한 연구 문헌은 아직 초기 단계에 있습니다.
  • 의과대학에서 보고된 학생-교수 파트너십에 대한 성공 사례의 예로는 실시간 피드백을 통해 학생의 커리큘럼 평가를 촉진하기 위한 Ed Reps 프로그램(Scott 외 2019), 모듈 공동 감독으로서의 학생(Milles 외 2019), 커리큘럼에 대한 직접적인 피드백을 제공하기 위한 학생 커리큘럼 위원회(SCB) 프로그램(Geraghty 외 2020) 등이 있습니다. 이러한 프로그램은 학생과 교수진 간의 협업을 강화하고(Geraghty 외. 2020), 커리큘럼과 학교 문화에 긍정적인 영향을 미치며(Scott 외. 2019), 학생의 역량을 강화하는 것으로 잘 알려져 있습니다.

Student participation in institutional governance and quality assurance represents a mature form of engagement (Naylor et al. 2021). However, due to economic and cultural factors, student agency in institutional governance is still underdeveloped with large variations between institutions (Green 2019).

• The rationale for involving students in institutional governance could vary from commitment to democratic values, to acknowledging the student voice as a promoting factor for improvement, or just meeting the requirements of accreditation systems (Naylor et al. 2021).
• The benefits of student engagement in governance and quality assurance are improved communication with staff and peers, personal and professional development, leadership skills, and professionalism (Meeuwissen et al. 2019). Students also acquire skills of metacognitive thinking, making an argument, debating, lobbying, and networking (Meeuwissen et al. 2019).
• The research literature on the role of HPE students as partners in school governance and quality assurance is still in infancy.
  • Examples of the reported success stories from medical schools about student-faculty partnerships include the Ed Reps program that aimed to promote curriculum evaluation by students through real-time feedback (Scott et al. 2019), students as module co-directors (Milles et al. 2019), and Student Curricular Board (SCB) program for providing direct feedback about curriculum (Geraghty et al. 2020). These programs were well-perceived as enhancing collaborations between students and faculty (Geraghty et al. 2020), having positive impact on the curriculum and school culture (Scott et al. 2019), and empowering students.

커뮤니티 활동에 대한 학생 참여
Student engagement in community activities

학생이 지역사회에 참여하는 것은 학생들이 지역사회로부터 배우고 지역사회에 봉사하는 시너지 효과를 낼 수 있는 경험입니다(Talib 외. 2017). 지역사회 활동에 대한 학생 참여의 예로는

• a) 지역사회 봉사 선택 과목 수강,
• b) 학생이 운영하는 보건소에서의 자원봉사,
• c) 기본 생활 지원 및 지역사회 기반 재난 지원 교육 제공 등 지역사회를 위한 교육 활동 조직(Shannon 2019),
• d) 워크숍 및 공개 프레젠테이션과 같은 아웃리치 활동 등을 들 수 있습니다.

이러한 파트너십은 학교 기반 프로젝트를 통해 시작하거나 학생들이 독립적인 파트너십을 통해 시작할 수 있습니다. 학생 주도의 자원봉사 이니셔티브의 대상 지역사회는 일반적으로 노숙자(Batra 외. 2009), 이주 노동자(Sin 외. 2019)와 같이 의료적으로 소외되거나 불우한 지역사회입니다. 지역사회 활동에 참여하는 학생들은 의사소통 기술, 팀워크, 전문성(Nauhria 외. 2021), 대인관계 기술(Haidar 외. 2020), 공감, 의사결정, 리더십 기술(Loh 외. 2016)과 같은 역량을 습득합니다. 또한 봉사활동은 학생들의 이타심을 증진하고(Batra 외. 2009), 학업 성취도를 향상시키며(Blue 외. 2006), 사회적 결정요인과 건강 간의 관계에 대한 학생들의 이해를 높이고(Talib 외. 2017), 졸업 후 지역사회 봉사에 대한 헌신을 높입니다(Jones 외. 2014). 또한 종단적 봉사 학습은 취약하고 소외된 불우 환자에 대한 의대생들의 태도를 개선합니다(Arebalos 외. 2021). 

Student engagement with the community is a synergistic experience where students learn from, and provide service to, the community (Talib et al. 2017). Examples of student engagement in community activities include the following:

• a) taking a community service elective,
• b) volunteering at student-run health clinics,
• c) organizing educational activities for the community such as providing training in basic life support and community-based disaster support (Shannon 2019), and
• d) outreach activities such as workshops and public presentations.

These partnerships can be initiated through school-based projects or through independent partnerships by the students. Target communities for student-led volunteering initiatives are usually medically underserved or disadvantaged communities such as homeless population (Batra et al. 2009), and migrant workers (Sin et al. 2019). Students who engage in community activities acquire competencies such as communication skills, teamwork, professionalism (Nauhria et al. 2021), interpersonal skills, (Haidar et al. 2020), empathy, decision-making, and leadership skills (Loh et al. 2016). In addition, volunteering services promote altruism of students (Batra et al. 2009), improve academic performance (Blue et al. 2006), improve student understanding of the relationship between social determinants and health (Talib et al. 2017), and increase the commitment to community volunteering after graduation (Jones et al. 2014). Furthermore, longitudinal service learning improves the attitudes of medical students towards the vulnerable and marginalized underserved patients (Arebalos et al. 2021).

학교 커뮤니티 문화 조성
Promote a culture of a school community

교육기관은 학생들이 커뮤니티의 일원이라는 느낌을 받을 수 있도록 환영하는 문화를 제공해야 합니다. 학생들은 학교에 입학한 첫날부터 이러한 느낌을 발전시켜야 합니다. 공동체 문화를 조성하기 위한 전략에는 다음이 포함될 수 있습니다:

• a) 학생마다 '학생이 되는 방식'이 다르다는 개념을 받아들이고 포용적인 방식으로 수용(Bryson 2014; Ashwin and McVitty 2015),
• b) 학생 그룹 및 기관 차원의 그룹에 가입하여 신입생을 학교 커뮤니티에 통합하여 역량과 소속감을 개발하도록 지원(Milburn-Shaw and Walker 2017),
• c) 소속감을 높이기 위해 오리엔테이션 및 동료 지원 프로그램을 처음에 실시,
• d) 저소득층 및 소수 민족 학생 등 취약 계층 학생에게 재정 지원 제공(Hu 2010) 등이 있습니다.

Institutions need to provide a welcoming culture to students to make them feel part of a community. Students should develop this feeling starting from the first day of admission to the school. Strategies for promoting a culture of community could include the following:

• a) adopt the concept that students are different in their ‘ways of being a student’ and accommodate them in an inclusive way (Bryson 2014; Ashwin and McVitty 2015),
• b) support integrating newcomers into the school community by joining student groups and institutional level groups (Milburn-Shaw and Walker 2017) to develop the sense of competence and belongingness,
• c) implement orientation and peer support programs at the beginning to enhance the sense of belonging, and
• d) provide financial assistance to students from disadvantaged populations such as low-income and minority students (Hu 2010).

심리적 안전 문화 조성
Foster a culture of psychological safety

학생들이 심리적 안정감을 느끼면 타인에게 유능한 이미지를 투영하기보다 학습 과제에 집중할 수 있습니다(Tsuei 외. 2019). 심리적 안전 문화를 조성하기 위해 학교는 다음과 같은 전략을 적용할 수 있습니다:

• a) 의견을 말하는 학생에게 보상하고 학생과 교직원 간, 학생과 또래 간 쉬운 소통 채널을 구축(Tsuei et al. 2019),
• b) 교사는 다가가고 자신의 실수를 인정하며 학생의 말을 주의 깊게 듣고 존중과 신뢰로 학생을 대해야 합니다(Konings et al. 2021),
• c) 학생의 자율성과 창의성을 증진하고 안전한 환경에서 학생의 발달과 성장의 기회를 제공해야 하며,
• d) 학생 평가는 채점보다는 건설적인 피드백을 통해 학생의 개인 개발에 초점을 맞춰야 합니다(Tsuei et al. 2019).

Students’ feeling of psychological safety makes them focus on engagement on the learning tasks rather than projecting an image of competence for others (Tsuei et al. 2019). To create a culture of psychological safety, schools could apply the following strategies:

• a) reward students who speak-up and establish easy channels of communications between students and staff and between students and their peers (Tsuei et al. 2019),
• b) teachers should be approachable, admit their own mistakes, listen attentively to their students, and treat them with respect and trust (Konings et al. 2021),
• c) promote student autonomy and creativity and provide opportunities for their development and growth in a safe environment, and
• d) student assessment should focus on personal development of students through constructive feedback rather than on grading (Tsuei et al. 2019).

파트너로서의 학생 참여 문화 확립
Establish a culture of student engagement as partners

파트너로서 학생의 참여를 지원하는 문화를 구축하는 것은 학교 리더, 교수진, 학생의 헌신과 공동의 노력이 필요한 복잡한 과정입니다.
Establishing a culture that supports engagement of students as partners is a complex process that requires commitment and collective effort from the school leaders, faculty, and students.

텍스트 상자 2는 HPE에서 파트너십을 통해 학생 참여를 개발하고 확립하기 위한 실용적인 팁을 제공합니다.Text Box 2 provides practical tips for developing and establishing student engagement through partnerships in HPE.